CN101589625B - 质量可缩放编码 - Google Patents

质量可缩放编码 Download PDF

Info

Publication number
CN101589625B
CN101589625B CN2006800566963A CN200680056696A CN101589625B CN 101589625 B CN101589625 B CN 101589625B CN 2006800566963 A CN2006800566963 A CN 2006800566963A CN 200680056696 A CN200680056696 A CN 200680056696A CN 101589625 B CN101589625 B CN 101589625B
Authority
CN
China
Prior art keywords
picture
depth
bit
mapping
data stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2006800566963A
Other languages
English (en)
Other versions
CN101589625A (zh
Inventor
德特勒夫·马尔佩
马丁·温肯
海科·施瓦茨
托马斯·威甘德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Video Compression LLC
Original Assignee
Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Forderung der Angewandten Forschung eV
Publication of CN101589625A publication Critical patent/CN101589625A/zh
Application granted granted Critical
Publication of CN101589625B publication Critical patent/CN101589625B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

一种更有效处理不同比特深度或不同比特深度和色度采样格式要求的方式，这种方式是通过使用低比特深度和/或低色度分辨率表示，以提供表示该低比特深度和/或低色度分辨率表示的相应基本层数据流，并提供(134)较高比特深度和/或较高色度分辨率表示，使得可以对相应预测残差进行编码，以获得较高比特深度和/或较高色度分辨率表示。通过这种方法，实现了一种编码器(100)，以存储画面或视频序列的基本质量表示以及针对较高比特深度和/或减小的色度子采样的增强信号，任何传统解码器或视频解码器可以对所述基本质量表示进行解码，而忽略所述增强信号。

Description

质量可缩放编码
技术领域
本发明涉及画面和/或视频编码，具体地，涉及使用质量可缩放数据流的质量可缩放编码。
背景技术
ISO/IEC运动画面专家组(MPEG)与ITU-T视频编码专家组(VCEG)的联合视频小组(JVT)的当前项目是开发最新技术视频编码标准H.264/MPEG4-AVC的可缩放扩展，所述最新技术视频编码标准H.264/MPEG4-AVC的可缩放扩展定义于T.Wiegand，G.J.Sullivan，J.Reichel，H.Schwarz和M.Wien的“Scalable Video Coding-Joint Draft7，”Joint Video Team，Doc.JVT-T201，Klagenfurt，Germany，July 2006以及J.Reichel，H.Schwarz和M.Wien的“Joint Scalable VideoModel JSVM-7，”Joint Video Team，Doc.JVT-T202，Klagenfurt，Germany，July 2006中，支持视频序列的时间、空间和SNR可缩放编码或其任何组合。
ITU-T Rec.&ISO/IEC 14496-10AVC，“Advanced Video Coding forGeneric Audiovisual Services，”version 3，2005中描述的H.264/MPEG4-AVC规定了一种混合视频编解码器，其中，宏块预测信号通过运动补偿预测在时域中产生，或通过帧内预测在空间域中产生，这两种预测之后接着都进行残差编码。不带有可缩放性扩展的H.264/MPEG4-AVC编码被称为单层H.264/MPEG4-AVC编码。与单层H.264/MPEG4-AVC编码相当的率失真性能意味着：典型地，可以10％的比特率实现相同的视觉重现质量。基于上述情况，可以将可缩放性看作：在以任何所支持的空间、时间或SNR分辨率实现与该特定分辨率下的单层H.264/MPEG4-AVC编码相当的R-D性能的同时，去除部分比特流中的功能。
可以将可缩放视频编码(SVC)的基本设计归类为分层视频编解码器。在每一层中，如H.264/MPEG4-AVC中一样，采用运动补偿的预测和帧内预测的基本概念。然而，已经集成了附加层间预测机制，以利用若干空间或SNR层之间的冗余。基本上，SNR可缩放性是通过残差量化来实现的，而对于空间可缩放性，采用运动补偿预测与过采样金字塔分解的组合。保持了H.264/MPEG4-AVC的时间可缩放性方法。
一般而言，编码器结构取决于应用所需的可缩放性空间。作为示意，图3示出了具有两个空间层902a、902b的典型编码器结构900。在每一层中，采用具有层专用运动参数的906a、b的独立分级运动补偿预测结构904a、b。层间预测概念908利用连续层902a、b之间的冗余，层间预测概念908包括针对运动参数906a、b以及纹理数据910a、b的预测机制。通过与H.264/MPEG4-AVC中类似的变换编码916a、b来获得每一层902a、b的输入画面914a、b的基本表示912a、b，对应的NAL单元(NAL——网络抽象层)包含运动信息和纹理数据；最低层的基本表示的NAL单元(即912a)与单层H.264/MPEG4-AVC兼容。可以通过所谓的渐进细化像条的附加编码918a、b来改进基本表示的重构质量；可以任意截断对应NAL单元以支持细粒度质量可缩放性(FGS)或灵活比特率适配。复用器920对相应层902a、b的基本层编码916a、b和渐进SNR细化纹理编码918a、b分别输出的结果比特流进行复用，以产生可缩放比特流922。该比特流922在时间、空间和SNR质量上可缩放。
概括而言，根据上述视频编码标准H.264/MPEG4-AVC的可缩放扩展，通过使用分级预测结构来提供时间可缩放性。对于这种分级预测结构，可以无需任何改变地使用单层H.264/MPEG4-AVC标准之一。对于空间和SNR可缩放性，必须将附加工具添加至单层H.264/MPEG4-AVC。可以将所有这3种可缩放性类型进行组合，以产生支持较大程度的组合可缩放性的比特流。
对于SNR可缩放性，粗粒度可缩放性(CGS)与细粒度可缩放性(FGS)不同。使用CGS，仅支持所选的SNR可缩放性层，并且针对粗速率分级(从一层至下一层的因子为1.5-2)来优化编码效率。FGS实现了在任何任意的并最终字节对齐的点处对NAL单元进行截断。NAL单元表示比特分组，这些比特分组顺次对齐，以表示复用器920输出的可缩放比特流922。
为了支持细粒度SNR可缩放性，已经引入了所谓的渐进细化(PR)像条。渐进细化像条包含用于细化重构质量的细化信息，分别可以被来自基本层比特流912a、b的像条使用。甚至更准确地，PR像条的每个NAL单元表示与量化步长的对分(QP下降6)相对应的细化信号。按照以下方式来表示这些信号：在解码器侧，仅需要对每个变换块执行单次反变换。换言之，由PR NAL单元表示的细化信号对已由视频的当前画面分离而成的变换块的变换系数进行细化。在解码器侧，在执行反变换之前，可以使用该细化信号来对基本层比特流内的变换系数进行细化，以重构预测残差的纹理，所述预测残差的纹理用于使用空间和/或时间预测(如通过运动补偿)来重构实际画面。
可以在任何任意点截断渐进细化NAL单元，以便能够以细粒度的方式来改进SNR基本层的质量。因此，已经对变换系数水平的编码顺序进行了修改。不像(正常)像条中所进行的那样逐宏块地扫描变换系数，而是在分离的路径中在每条路径中扫描变换系数块，仅对变换系数块的几个编码符号进行编码。除了修改的编码顺序之外，对H.264/MPEG4-AVC中规定的CABAC熵编码进行重用。
已经开发了单层H.264/MPEG4-AVC编码标准，用于使用可能的色度采样结构中的固定采样结构(如分别为4:2:0和4:2:2)。在该标准的不同特性中包括不同的色度采样能力。对此，参考Marpe，Wiegand，Sullivan：“The H.264/MPEG4Advanced Video Coding Standard and itsapplications”，IEEE Communication Magazine，August 2006，p.134-143。例如，在4:2:0中，在采样点方面，色度或着色采样内容(指示色彩偏离灰色的程度，并由两个色度分量定义)总计仅为亮度内容(表示明亮度，并且由一个亮度分量定义)的采样数目的四分之一。换言之，亮度分量采样的数目在水平和垂直维度上均为亮度采样数目的一半。根据所使用的标准的特性，用于每采样的编码精度固定为8比特或10比特。再次参考刚刚提及的文献。为了完整性起见，应注意，根据标准，术语亮度实际上是指非线性或γ校正后的RGB成分的加权和。然而，根据另一观点，可以将亮度视为指示RGB成分的线性关系的亮度(luminance)。根据本申请，这两种观点将同样适用。
一般而言，术语色度采样格式是指相对于相应亮度采样的数目和位置的色度采样的数目和位置。现在描述3种可能的采样格式的示例。如上所述，根据4:2:0采样，与亮度信号相比，色度信号具有一半的水平分辨率和一半的垂直分辨率。图4中示意了这种格式，图中的叉指示了亮度采样的位置，而圈表示色度采样的位置，其中每个色度采样可以由两个色度分量(如Cb和Cr)组成。另一采样格式为4:2:2，其中色度信号具有亮度信号一半的水平分辨率和与亮度信号相同的垂直分辨率。在图5中示出了这一点。根据4:4:4色度采样格式，色度信号具有与亮度信号或内容分别相同的水平和垂直分辨率。在图6中示意了这一点。
当彩色视频源信号分别具有与解码器或播放器所需的动态范围和/或色度采样格式不同的动态范围和/或不同的色度采样格式时，将出现问题。在上述当前SVC工作草案中，仅针对基本层和增强层均表示亮度和色度采样的相应阵列具有相同比特深度的给定视频源的情况规定了可缩放性工具，此外还假设对于基本层和增强层，相对于亮度采样的色度采样(即色度采样格式)是固定的。因此，分别考虑需要不同比特深度和色度采样格式的不同解码器和播放器，必须分别提供专用于每一种比特深度和色度采样格式要求的若干编码流。然而，在速率/失真意义上，这分别意味着增加的开销和降低的效率。
因此，期望提供一种克服上述缺陷的编码方案。
发明内容
本发明的目的是提供一种编码方案，实现一种更有效的方式来提供画面或视频的编码，所述编码适用于不同比特深度或不同比特深度和色度采样格式要求。
为实现该目的，根据本发明的第一方面，提供了一种用于将画面编码为质量可缩放数据流的编码器，包括：基本编码装置，用于将画面编码为基本编码数据流，所述基本编码数据流表示具有第一画面采样比特深度的画面表示；预测装置，用于基于具有第一画面采样比特深度的画面表示来提供画面的预测，所述画面的预测具有第二画面采样比特深度，所述第二画面采样比特深度大于所述第一画面采样比特深度，所述预测装置包括：映射装置，用于对具有所述第一画面采样比特深度的画面表示执行采样映射以获得画面预测，所述采样映射是从与所述第一画面采样比特深度相对应的第一动态范围映射至大于所述第一动态范围并与第二画面采样比特深度相对应的第二动态范围，在所述映射中，针对采样的亮度和色度分量使用不同的映射机制或针对画面的不同区域使用不同的映射机制；以及残差编码装置，用于将所述预测的预测残差编码为比特深度增强层数据流；以及组合装置，用于基于所述基本编码数据流、所述比特深度增强层数据流以及指定所述映射装置所使用的映射机制的映射信息，来形成质量可缩放数据流。
根据本发明的第二方面，提供了一种用于对质量可缩放数据流进行解码的解码器，所述质量可缩放数据流是通过对画面进行编码而产生的，所述质量可缩放数据流包括基本层数据流和比特深度增强层数据流以及表示在提供画面预测时使用的映射机制的映射信息，所述基本层数据流表示具有第一画面采样比特深度的画面，所述比特深度增强层数据流表示具有第二画面采样比特深度的预测残差，所述第二画面采样比特深度大于所述第一画面采样比特深度，所述解码器包括：用于将所述基本层数据流解码为较低比特深度重构画面的装置；用于将所述比特深度增强数据流解码为所述预测残差的装置；用于基于所述较低比特深度重构画面来提供画面预测的装置，所述画面预测具有所述第二画面采样比特深度，其中，用于提供的装置适于对所述较低比特深度重构画面执行采样映射以获得画面预测，所述采样映射是从与所述第一画面采样比特深度相对应的第一动态范围映射至大于所述第一动态范围并与第二画面采样比特深度相对应的第二动态范围，在所述映射中，根据所述映射信息，针对采样的亮度和色度分量使用不同的映射机制或针对画面的不同区域使用不同的映射机制；以及用于基于所述预测和所述预测残差来重构具有所述第二画面采样比特深度的画面的装置。
根据本发明的第三方面，提供了一种用于将画面编码为质量可缩放数据流的方法，包括：将画面编码为基本编码数据流，所述基本编码数据流表示具有第一画面采样比特深度的画面表示；基于具有第一画面采样比特深度的画面表示来提供画面预测，所述画面预测具有第二画面采样比特深度，所述第二画面采样比特深度大于所述第一画面采样比特深度，所述提供包括对具有所述第一画面采样比特深度的画面表示执行采样映射以获得画面的预测，所述采样映射是从与所述第一画面采样比特深度相对应的第一动态范围映射至大于所述第一动态范围并与第二画面采样比特深度相对应的第二动态范围，在所述映射中，针对采样的亮度和色度分量使用不同的映射机制或针对画面的不同区域使用不同的映射机制；以及将所述预测的预测残差编码为比特深度增强层数据流；以及基于所述基本编码数据流、所述比特深度增强层数据流以及表示在提供预测时使用的映射机制的映射信息来形成质量可缩放数据流。
根据本发明的第四方面，提供了一种用于对质量可缩放数据流进行解码的方法，所述质量可缩放数据流是通过对画面进行编码而产生的，所述质量可缩放数据流包括基本层数据流和比特深度增强层数据流以及表示在提供画面预测时使用的映射机制的映射信息，所述基本层数据流表示具有第一画面采样比特深度的画面，所述比特深度增强层数据流表示具有第二画面采样比特深度的预测残差，所述第二画面采样比特深度大于所述第一画面采样比特深度，所述方法包括：将所述基本层数据流解码为较低比特深度重构画面；将所述比特深度增强数据流解码为所述预测残差；基于所述较低比特深度重构画面来提供画面的预测，所述画面的预测具有所述第二画面采样比特深度，所述提供包括对所述较低比特深度重构画面执行采样映射以获得画面的预测，所述采样映射是从与所述第一画面采样比特深度相对应的第一动态范围映射至大于所述第一动态范围并与第二画面采样比特深度相对应的第二动态范围，在所述映射中，根据所述映射信息，针对采样的亮度和色度分量使用不同的映射机制或针对画面的不同区域使用不同的映射机制；以及基于所述预测和所述预测残差来重构具有所述第二画面采样比特深度的画面。
本发明基于以下发现：当使用低比特深度或低比特深度和低色度分辨率表示(以下简称为低比特深度和/或低色度分辨率表示)时，可以实现更有效的方式来处理不同比特深度或不同比特深度和色度采样格式要求，以提供表示该低比特深度和/或低色度分辨率表示的相应基本层数据流，并提供较高比特深度和/或较高色度分辨率表示，使得可以对相应预测残差进行编码，以获得较高比特深度和/或较高色度分辨率表示。通过这种措施，编码器能够存储可以使用任何传统解码器或视频解码器来解码的画面或视频序列的基本质量表示，以及可以被传统解码器或视频解码器忽略的针对较高比特深度和/或减小的色度子采样的增强信号。例如，基本质量表示可以包含画面或视频序列的8比特版本，而高质量增强信号包含其10比特版本的“细化”，并且，基本质量表示可以表示画面或视频序列的4:2:0版本，而高质量增强信号包含其4:2:2或4:4:4版本的“细化”。
附图说明
以下参照附图来描述本申请的优选实施例。具体地，在附图中：
图1示出了根据本发明实施例的视频编码器的框图；
图2示出了根据本发明实施例的视频解码器的框图；
图3示出了用于可缩放视频编码的传统编码器结构的框图；
图4示出了4:2:0色度采样格式的示意图；
图5示出了4:2:2色度采样格式的示意图；以及
图6示出了4:2:4色度采样格式的示意图。
具体实施方式
图1示出了编码器100，包括：基本编码装置102、预测装置104、残差编码装置106和组合装置108以及输入110和输出112。图1的编码器100是在输入110处接收高质量视频信号，并在输出112处输出质量可缩放比特流的视频编码器。与输入110处的输入信号相比，基本编码装置102使用减小的画面采样比特深度，或使用具有相同亮度分辨率但减小的色度分辨率的色度采样格式，将输入110处的数据编码为表示输入110处的该视频信号的内容的基本编码数据流。预测装置104适于：基于基本编码装置102输出的基本编码数据流来提供预测信号，该预测信号具有输入110处的视频信号的完全或增大的画面采样比特深度和/或完全或增大的色度分辨率。编码器100还包括减法器114，用于形成由装置104提供的预测信号相对于输入110处的高质量输入信号的预测残差，残差编码装置106将该残差信号编码为质量增强层数据流。组合装置108将来自基本编码装置102的基本编码数据流与残差编码装置106输出的质量增强层数据流进行组合，以在输出112处形成质量可缩放数据流112。质量可缩放性意味着输出112处的数据流由以下部分组成：一方面是自包含(self-contained)的部分，该部分在无需任何其他信息并忽略数据流112中的其余部分的情况下，能够使用减小的比特深度和/或具有减小的色度分辨率的色度采样格式来重构视频信号110；另一部分能够与第一部分进行组合，以原始比特深度和原始色度采样格式(比第一部分的比特深度和/或色度分辨率更高)来重构输入110处的视频信号。
在相当概括地描述了编码器100的结构和功能之后，以下将更具体地描述其内部结构。具体地，基本编码装置102包括：下转换模块116、减法器118、变换模块120和量化模块122，这些模块以上述顺序分别串联连接在输入110与组合装置108和预测装置104之间。下转换模块116用于减小输入110处的视频信号的画面采样的比特深度和/或画面的色度分辨率，同时保持从输入110接收的视频信号的亮度分辨率。换言之，下转换模块116将输入110处的高质量输入视频信号不可逆地下转换为基本质量视频信号。如以下将要更详细描述的，这种下转换可以包括使用任何色调映射方案来减小信号采样的比特深度(即像素值)，所述色调映射方案包括诸如：对采样值进行舍入、在视频信号以亮度加色度分量的形式给出的情况下对色度分量进行二次采样，对输入110处的输入信号进行滤波(如使用RGB至YCbCr转换)或其任意组合。以下将介绍关于可能的预测机制的更多细节。具体地，下转换模块116可以针对在输入110处输入的视频信号或画面序列中的每个画面使用不同的下转换方案，或针对所有画面使用相同的方案。
减法器118、变换模块120和量化模块122进行协作，例如使用不可缩放视频编码方案(如H.264/MPEG4-AVC)来对下转换模块116输出的基本质量信号进行编码。根据图1的示例，减法器118、变换模块120和量化模块122与基本编码装置102和预测装置104通常包括的可选预测环路滤波器124、预测器模块126、反变换模块128和加法器130进行协作，以形成混合编码器的不相关性减小部分，该混合编码器使用基于运动补偿的预测与其后进行的预测残差的压缩来对下转换模块116输出的基本质量视频信号进行编码。具体地，减法器118从基本质量视频信号的当前画面或宏块中减去通过使用例如运动补偿根据基本质量视频信号中先前编码的画面重构的预测画面或预测宏块部分。变换模块120对预测残差应用变换，如DCT、FFT或小波变换。变换后的残差信号可以表示频谱表示，并且在量化模块122中对其变换系数进行不可逆量化。所产生的量化残差信号表示基本编码装置102输出的基本编码数据流的残差。
除了可选预测环路滤波器124、预测器模块126、反变换模块128和加法器130之外，预测装置104还包括用于减少编码伪像的可选滤波器132以及预测模块134。反变换模块128、加法器130、可选预测环路滤波器124和预测器模块126进行协作，使用下转换模块116定义的减小的比特深度和/或具有减小的色度分辨率的色度采样格式来重构视频信号。换言之，它们创建了输入至可选滤波器132的低比特深度和/或低色度分辨率视频信号，该信号表示也能够在解码器侧重构的、输入110处的源信号的低质量表示。具体地，反变换模块128和加法器130串联连接在量化模块122与可选滤波器132之间，而可选预测环路滤波器124和预测模块126以上述顺序串联连接在加法器130的输出以及加法器130的另一输入之间。预测器模块126的输出也连接至减法器118的反相输入。可选滤波器132连接在加法器130的输出与预测模块134之间，预测模块134继而连接在可选滤波器132的输出与减法器114的反相输入之间。
反变换模块128对基本编码装置102输出的基本编码后的残差画面进行反变换，以实现低比特深度和/或低色度分辨率残差画面。相应地，反变换模块128执行的反变换是模块120和122执行的变换和量化的逆过程。可选地，可以在反变换模块128的输入侧单独提供解量化模块。加法器130将预测添加至重构的残差画面，其中所述预测基于先前重构的视频信号画面。具体地，加法器130以减小的比特深度和/或减小的色度分辨率色度采样格式来输出重构的视频信号。例如，用于减少伪像的环路滤波器124对这些重构的画面进行滤波，此后，预测器模块126使用这些画面，例如通过根据先前重构的画面来进行的运动补偿，来预测当前要重构的画面。可选滤波器132与预测模块134的串联连接使用由此在加法器130的输出处所获得的基本质量信号，以获得输入110处的高质量输入信号的预测，要使用后一预测来形成残差编码装置106的输出处的高质量增强信号。这将在以下更详细描述。
具体地，用于减少编码伪像的可选滤波器132可选地对从加法器130获得的低质量信号进行滤波。此后，预测模块134使用该低质量视频信号来形成针对在连接至输入110的加法器114的非反相输入处接收的高质量视频信号的预测信号。该形成高质量预测的过程可以包括将解码后的基本质量信号画面采样乘以常数因子(即线性缩放)、使用基本质量信号采样的相应值作为包含相应高质量采样值的查找表的索引、使用基本质量信号采样的值来进行插值处理以获得相应的高质量采样值、对色度分量进行上采样、使用例如YCbCr至RGB转换来对基本质量信号进行滤波、或其任何组合。以下描述其他示例。
一般而言，例如，预测模块134可以使用特殊的插值滤波器，对基本质量视频信号的色度采样进行插值以将色度分辨率增大为与输入110处的视频信号的色度分辨率相对应，从而将基本质量视频信号的采样从第一动态范围映射至第二动态范围，该第二动态范围高于该第一动态范围。以与上述下转换模块116类似的方式，可以针对基本质量视频信号序列的不同画面使用不同的预测过程，也可以针对所有画面使用相同的预测过程。
减法器114在从输入110接收的高质量视频信号中减去从预测模块134接收的高质量预测，以向残差编码装置106输出高质量(即具有原始比特深度和/色度采样格式)的预测残差信号。在残差编码装置106中，示例性地使用压缩编码方案(例如H.264/MPEG4-AVC中规定的压缩编码方案)来对原始高质量输入信号与从解码后的基本质量信号导出的预测之间的差进行编码。为此，图1的残差编码装置106示例性地包括变换模块136、量化模块138和熵编码模块140，这些模块以上述顺序串联连接在减法器114的输出和组合装置108之间。变换模块136分别将残差信号或其画面变换至变换域或频谱域，其中量化模块138对频谱分量进行量化，熵编码模块140对量化后的变换值进行熵编码。熵编码的结果表示残差编码装置106输出的高质量增强层数据流。如果模块136至140实现H.264/MPEG4-AVC编码，则变换模块136中用于对来自减法器114的残差信号的亮度分量进行变换的变换大小可以针对每个宏块任意加以选择，而不一定必须与变换模块120中用于对基本质量信号进行编码的变换大小相同，H.264/MPEG4-AVC编码支持以4×4或8×8采样大小的变换以对亮度内容进行编码。对于色度分量的编码，当前规定的H.264/MPEG4-AVC标准未提供任何选择。在量化模块138中对变换系数进行量化时，可以使用与H.264/MPEG4-AVC中相同的量化方案，这意味着可以通过量化参数QP来控制量化器步长，QP的取值可以从-6*(高质量视频信号分量的比特深度-8)至51。量化模块122中用于对基本质量表示宏块进行编码的QP与量化模块138中用于对高质量增强宏块进行编码的QP不一定必须相同。
组合装置108包括熵编码模块142和复用器144。熵编码模块142连接在量化模块122的输出与复用器144的第一输入之间，而复用器144的第二输入连接至熵编码模块140的输出。复用器144的输出表示编码器100的输出112。
熵编码模块142对量化模块122输出的量化后的变换值进行熵编码，以根据量化模块122输出的基本编码数据流来形成基本质量层数据流。因此，如上所述，模块118、120、122、124、126、128、130和142可以被设计为根据H.264/MPEG4-AVC来进行协作，并一起表示混合编码器，其中熵编码器142对量化的预测残差进行无损压缩。
复用器144接收基本质量层数据流和高质量层数据流，并将它们放在一起来形成质量可缩放数据流。
预测模块134根据解码的基本表示来形成预测信号的方式(即预测方案)对解码器可以是已知的。然而，也可以通过信号将预测方案信息(表示预测模块134使用的预测)指示为辅助信息，即将这种辅助信息引入输出112处的比特流中。换言之，为了允许使用与解码的基本表示不同的方案来进行预测，可以通过信号将所使用的预测方案指示为辅助信息(例如在H.264/MPEG4-AVC的画面参数集PPS的扩展中)。此外，可以做出规定以防质量可缩放比特流中未指定明确的预测规则。例如，对于比特深度方面的可缩放性，将预测模块134的输入处的基本质量采样简单地乘以2M-N，其中M是高质量信号的比特深度，N是基本质量信号的比特深度，这与线性映射相对应。可选地，可以将其视为根据min(2M-Nx，2M-1)来执行对预测模块134的输入处的基本质量采样值的缩放和截断。
可选地，可以使用以下映射机制之一来进行预测过程。例如，当可以指定任意数目的插值点时，可以使用逐块(piece-wise)线性映射。例如，对于具有值x和两个给定插值点(xn，yn)和(xn+1，yn+1)的基本质量采样，根据以下公式使用模块134来获得相应预测采样y：
y = y n + x - x n x n + 1 - x n ( y n + 1 - y n )
如果将xn+1-xn限制为2的幂，则可以通过仅仅使用移位而不是除法运算，以很小的计算复杂度来执行该线性插值。
另一种可能的映射机制表示一种查找表映射，其中，通过基本质量采样值，在查找表中执行查表操作，在所述查找表中针对每个可能的基本质量采样值指定了相应的预测采样值。可以将该查找表作为辅助信息提供给解码器侧，或者缺省地该查找表对解码器侧可以是已知的。
此外，可以使用具有常数偏移的缩放。根据这种可选方式，为了实现具有较高比特深度的相应高质量预测采样y，例如分别根据以下公式之一，模块134将基本质量采样x乘以常数因子2M-N-K，此后加上常数偏移2M-1-2M-1-K：
y＝2M-N-Kx+2M-1-2M-1-K或
y＝min(2M-N-Kx+2M-1-2M-1-K，2M-1)。
通过这种措施，将低质量动态范围映射至第二动态范围，使得映射后的值x以集中方式相对于y的可能的动态范围[0；2M-1]分布，位于由K确定的扩展内。K的值可以是整数或实数值，并且例如可以在质量可缩放数据流内，作为辅助信息被传送给解码器，使得在解码器中某些预测装置的行为方式与以下将予以描述的预测模块134相同。至于M和N的定义，参照上面的描述。可以使用舍入运算来获得整数的y值。
另一种可能是以可变偏移进行缩放：例如根据以下公式之一，用基本质量采样x乘以常数因子，此后加上可变偏移：
y＝2M-N-Kx+D或
y＝min(2M-N-Kx+D，2M-1)
通过这种措施，将低质量动态范围映射至第二动态范围，使得映射后的值x分布在可能的y的动态范围的一部分内，其扩展由K确定，并且其相对于下界的偏移由D来确定。D可以是整数或实数。结果y表示高比特深度预测信号的画面采样值。例如，在质量可缩放数据流内，可以将K和D的值作为辅助信息传送给解码器。再一次，可以使用舍入运算来获得取整数值的y值，对于本申请中给出的针对比特深度映射的其他示例，后者也成立，不再重复地明确表述。
另一种可能性是使用具有叠加的缩放：例如根据以下公式之一，根据相应基本质量采样x来获得高比特深度预测采样y，其中floor(a)将a向下舍入至最接近的整数：
y＝floor(2M-Nx+2M-2Nx)或
y＝min(floor(2M-Nx+2M-2Nx)，2M-1)
可以将上述可能性进行组合。例如，可以使用具有叠加和常数偏移的缩放：例如根据以下公式之一来获得高比特深度预测采样y，其中floor(a)将a向下舍入至最接近的整数：
y＝floor(2M-N-Kx+2M-2N-Kx+2M-1-2M-1-K)
y＝min(floor(2M-N-Kx+2M-2N-Kx+2M-1-2M-1-K)，2M-1)
可以将K的值作为辅助信息指定给解码器。
类似地，可以使用具有叠加和可变偏移的缩放：例如根据以下公式来获得高比特深度预测采样y，其中floor(a)将a向下舍入至最接近的整数：
y＝floor(2M-N-Kx+2M-2N-Kx+D)
y＝min(floor(2M-N-Kx+2M-2N-Kx+D)，2M-1)
可以将D和K的值作为辅助信息指定给解码器。
此外，可以针对基本质量信号的亮度和色度分量来指定不同的映射机制，以考虑其统计特性(如其概率密度函数)可能不同。也可以针对画面的不同区域来指定不同的映射机制，其中区域不一定必须是连续的。此外，在采用上述映射机制之一后，可以指定：在编码器和解码器处，分别要将伪随机噪声信号(“抖动信号”)添加至由预测模块执行的预测过程内的高比特深度预测信号。由于解码器处必须精确知道该信号才能够对高比特深度表示进行解码，因此必须将特定参数(如伪随机产生器的初始化值、伪随机过程的方差和形状(例如正态或均匀分布))作为辅助信息来传送。如果在可缩放比特流中未传送这种辅助信息，根据所选的映射机制，可以使用缺省值，例如分别在范围[0，2M-N-1]或[0，2M-N-K-1]内的伪随机值的均匀分布。
上述是否使用预测方案辅助信息的可能性也适用于在色度采样格式方面的可缩放性。对于色度采样格式方面的可缩放性，可以将预测模块134用于产生上采样色度信号的插值滤波方案作为辅助信息(例如在H.264/MPEG4-AVC的PPS中)进行传送。在最简单的情况下，如果未指定上采样规则，则解码器可以假定上采样信号是针对4:2:0至4:2:2和4:2:2至4:4:4色度子采样的转换，通过基本质量色度采样点之间的线性插值来产生的，以及针对4:2:0至4:4:4色度子采样的转换通过双线性插值来产生的。关于上述色度采样格式，参考上述关于图4至6的描述。否则，预测模块134可以选择例如由ISO/IEC 14496-2：2004，“Information technology-Coding of audio-visual objects-Part 2：Visual”中的MPEG-4高级简单特性所规定的8抽头半像素插值滤波器，或由H.264/MPEG4-AVC规定的6抽头半像素插值滤波器，以产生插值的色度采样值。然而，关于色度采样格式可缩放性的预测方案不限于上述滤波器。也可以通过分别将所使用的滤波器抽头或FIR滤波器系数作为质量可缩放比特流(例如H.264/MPEG4-AVC的PPS)中的辅助信息来传送，以指定一般的插值滤波器。
关于色度采样格式方面的可缩放性，应当明确注意，当考虑图4至6所示的色度采样格式时，编码器100可以支持以下变型。首先，下转换模块116可以从4:2:2下采样至4:2:0，在这种情况下，预测模块134从4:2:0上采样至4:2:2，并且，在输出112处的质量可缩放比特流实现了从4:2:0至4:2:2的色度采样格式可缩放性。类似地，下采样模块116可以从4:4:4下采样至4:2:0，而预测模块134执行反向的上采样。相应地，下采样模块116可以从4:4:4下采样至4:2:2，继而预测模块134可以执行从4:2:2至4:4:4的上采样。
在模块136、138和140实现与H.264/MPEG4-AVC相容的编码的情况下，在熵编码模块140输出的编码后的高质量增强信号中，可以针对每个宏块传送以下信息。可以包括编码块模式(CBP)信息，用于指示宏块内的4个8×8亮度变换块中的哪一个以及宏块的相关联色度变换块中的哪一个可能包含非零变换系数。如果不存在非零变换系数，则不针对该特定宏块发送任何其他信息。其他信息可以涉及用于对亮度分量进行编码的变换大小，即在其中(即在4×4或8×8变换块中)在变换模块136中对由16×16亮度采样组成的宏块进行变换的变换块的大小。此外，高质量增强层数据流可以包括量化模块138中用于控制量化器步长的量化参数QP。此外，针对熵编码模块140输出的高质量增强层数据流中的每个宏块，可以包括量化后的变换系数，即变换系数级。
在描述了编码器的实施例之后，参考图2来描述解码器的实施例。图2的解码器由参考标记200表示，并包括：解复用装置202、基本解码装置204、预测装置206、残差解码装置208和重构装置210以及输入212、第一输出214和第二输出216。解码器200在其输入212处接收质量可缩放数据流，该数据流例如是由图1的编码器100输出的。如上所述，质量可缩放性可以涉及比特深度和/或色度采样格式。换言之，输入212处的数据流具有：自包含部分，可独立用于以减小的比特深度和/或减小的色度分辨率以及保持不变的亮度分辨率来重构视频信号；以及附加部分，与第一部分进行组合，能够以较高的比特深度和/或较高的色度分辨率来重构视频信号。在输出216处输出较低质量的重构视频信号，而在输出214处输出较高质量的重构视频信号。
解复用装置202将输入212处的输入的质量可缩放数据流划分为基本编码数据流和高质量增强层数据流，已经针对图1提到了这两种数据流。基本解码装置204用于将基本编码数据流解码为视频信号的基本质量表示，可选地，可以直接(如在图2的示例中的情况)或经由伪像减少滤波器(未示出)间接地在输出216处输出。基于基本质量表示视频信号，预测装置206形成具有增大的画面采样比特深度和/或增大的色度采样分辨率的预测信号。解码装置208对增强层数据流进行解码，以获得具有增大的比特深度和/或增大的色度分辨率的预测残差。重构装置210根据预测和预测残差来获得高质量视频信号，并经由可选伪像减少滤波器在输出214处将其输出。
解复用装置202内部包括解复用器218和熵解码器220。解复用器218的输入连接至输入212，解复用器218的第一输出连接至残差解码装置208。熵解码模块220连接在解复用器218的另一输出与基本解码装置204之间。如上所述，解复用器218将质量可缩放数据流划分为分别输入至复用器144的基本层数据流和增强层数据流。熵解码模块220执行例如霍夫曼解码或算术解码算法，以获得变换系数级、运动向量、变换大小信息和其他所需的语法元素，以从其中导出视频信号的基本表示。
基本解码装置204包括反变换模块222、加法器224、可选环路滤波器226和预测器模块228。在功能和相互连接方面，基本解码装置204中的模块222至228与图1的元件124至130相对应。更准确地说，反变换模块222和加法器224以上述顺序串联连接在一方面为解复用装置202与另一方面分别为预测装置206和基本质量输出之间；可选环路滤波器226和预测器模块228以上述顺序串联连接在加法器224的输出与加法器224的另一输入之间。通过这种措施，加法器224以减小的比特深度和/或减小的色度分辨率来输出基本表示视频信号，可以在输出216处从外部接收该信号。
预测装置206包括可选伪像减少滤波器230和预测信息模块232，这两个模块以相对于图1的元件132和134同步的方式工作。换言之，可选伪像减少滤波器230可选地对基本质量视频信号进行滤波，以减少其中的伪像，预测信息模块232以以上已针对预测模块134描述过的方式来检索具有增大的比特深度和/或增大的色度分辨率的预测画面。这就是说，通过或不通过质量可缩放数据流中包含的辅助信息，预测信息模块232可以将输入画面采样映射至较高动态范围和/或将空间插值滤波器应用至画面的色度内容，以增大色度分辨率。
残差解码装置208包括熵解码模块234和反变换模块236，这两个模块以上述顺序串联连接在解复用器218与重构装置210之间。熵解码模块234和反变换模块236进行协作，以反转图1的模块136、138和140执行的编码过程。具体地，熵解码模块234执行例如霍夫曼解码或算术解码算法来获得语法元素，所述语法元素其中包括变换系数级等，反变换模块236对变换系数级进行反变换，以获得预测残差信号或残差画面序列。
重构装置210包括加法器238，加法器238的输入分别连接至预测信息模块232的输出和反变换模块236的输出。加法器238将预测残差与预测信号相加，以获得具有增大的比特深度和/或增大的色度分辨率的高质量视频信号，经由可选伪像减少滤波器240将该信号馈送至输出214。
因此，从图2中可以导出，基本质量解码器可以根据输入212处的质量可缩放数据流来重构基本质量视频信号，并且，为此可以不包括元件230、232、238、234、236和240。另一方面，高质量解码器可以不包括输出216。
换言之，在解码过程中，基本质量表示的解码较为直接。对于高质量信号的解码，首先需要对基本质量信号进行解码，这是由模块218至228来执行的。此后，使用解码后的基本表示，采用上述针对模块232和可选模块230描述的预测过程。例如由H.264/MPEG4-AVC中规定的，用反变换模块236对高质量增强信号的量化后的变换系数进行缩放和反变换，以获得残差或差值信号采样，预测模块232将该残差或差值信号采样添加至从解码后的基本表示采样导出的预测。作为对要在输出214处输出的高质量视频信号进行的解码过程的最后一步，可以采用可选滤波器，以去除或减小在视觉上恼人的编码伪像。应注意，包括模块226和228在内的运动补偿预测环路是完全自包含的，仅使用基本质量表示。因此，解码复杂度适中，并且不需要插值滤波器，所述插值滤波器在预测器模块228的运动补偿的预测过程中对高比特深度或高色度分辨率图像数据进行操作。
对于上述实施例，值得一提的是，伪像减少滤波器132和230是可选的，并且可以去除。这也分别适用于环路滤波器124和226以及滤波器240。此外，本发明不限于视频编码。相反，以上描述也适用于静止图像编码。相应地，也可以去除分别包括元件118、128、130、126和124以及元件224、228和226的运动补偿的预测环路。类似地，不一定必须执行上述熵编码。
甚至更准确地，在上述实施例中，基本层编码118-130、142基于运动补偿的预测，该运动补偿的预测基于有损编码后的画面的重构。在这种情况下，如在以上描述中所进行的，也可以将基本编码过程的重构视为高质量预测形成过程的一部分。然而，在对基本表示进行无损编码的情况下，将不必须进行重构，可以直接将下转换的信号分别转发至装置132、134。在有损基本层编码中未进行基于运动补偿的预测的情况下，用于在编码器侧重构基本质量信号的重构过程将特别地专用于104中的高质量预测形成。换言之，可以分别以其他方式来执行元件116-134和142与装置102、104和108的关联。具体地，可以将熵编码模块142视为基本编码装置102的一部分，其中预测装置仅包括模块132和134，组合装置108仅包括复用器144。这种观点与图2中使用的模块/装置关联的相关性在于：预测装置206不包括基于运动补偿的预测。然而，还可以将解复用装置202视为不包括熵模块220，使得基本解码装置也包括熵解码模块220。然而，这两种观点产生相同的结果：基于源素材的具有减小的比特深度和/或减小的色度分辨率的表示来执行104中的预测，所述表示分别被有损编码为质量可缩放比特流和基本层数据流并可以从质量可缩放比特流和基本层数据流导出。根据图1所基于的观点，预测134基于基本编码数据流的重构，而在该可选观点中，该重构将始于基本质量信号的中间编码版本或中途编码版本，为了将其完全编码为基本层数据流，所述版本未经过根据模块142的无损编码。对此，还应注意，模块116中的下转换不一定必须由编码器100来执行。相反，编码器100可以具有两个输入，一个用于接收高质量信号，另一个用于从外部接收下转换版本。
在上述实施例中，质量可缩放性确实仅与比特深度和/或色度分辨率相关。然而，可以容易地将上述实施例扩展至包括时间可缩放性、空间可缩放性以及细粒度质量可缩放性。例如，在编码器侧，图1的中的多个编码器可以具有将输入信号的未经空间抽取和递增空间抽取后的版本输入至这些空间层编码器。可以使用低空间分辨率层的重构表示作为下一较高空间分辨率层的预测，以利用这些层之间的冗余。例如，通过相应地将变换系数级编码在量化分辨率递增的层或与递减量化步长相对应的层中，使得能够根据各FGS层的成分之和导出变换系数级，可以在残差编码装置106和残差解码装置208中分别实现细粒度质量可缩放性。
因此，上述实施例实现了可缩放视频编码向采样比特深度和/或色度采样格式方面的可缩放性的扩展，从而实现了一种编码器，用于存储可由任何传统视频解码器解码的视频序列的基本质量表示，以及被传统视频解码器所忽略的较高比特深度和/或减小的色度子采样的增强信号。例如，基本质量表示可以包含视频序列的8比特版本，而高质量增强信号包含细致程度达到相同序列的10比特版本的“细化”。
因此，换言之，上述实施例描述了一种视频编码器(编码器/解码器)，用于对视频信号的分层表示进行编码(编码/解码)，所述编码包括例如：标准化的视频编码方法，用于对基本质量层进行编码；预测方法，用于使用重构的基本质量信号来执行高质量增强层信号的预测；以及残差编码方法，用于对高质量增强层信号的预测残差进行编码。在这种视频编码器中，可以使用从与基本质量层相关联的动态范围至与高质量增强层相关联的动态范围的映射函数来执行预测。具体地，可以通过根据公式(2M-Nx，2M-1)来对基本质量层的采样值x进行缩放和截断来执行预测，其中，基本质量层的采样值x以比特深度N来表示，而高质量增强层的采样值以比特深度M来表示(M＞N)。以上已经示出了其他可选方案。可选地，可以使用逐块线性映射来执行预测，其中将给定数目的插值点作为辅助信息发送。甚至可选地，可以通过使用基本质量信号采样的值来作为查找表的索引来执行预测，该查找表包含对应的高质量采样值，并且也可以作为辅助信息发送。可以按照H.264/MPEG4-AVC来执行残差编码。可以以一个亮度分量和两个色度分量的形式来给出视频信号的色彩空间表示，其中基本质量层和高质量增强层的色度采样格式分别为4:2:0和4:2:2，而且，可以使用对基本质量层的色度采样值应用的空间插值滤波器来执行高质量增强层信号的色度采样值的预测。类似地，可以以一个亮度分量和两个色度分量的形式来给出视频信号的色彩空间表示，其中基本质量层和高质量增强层的色度采样格式分别为4:2:2和4:4:4，而且，可以通过使用对基本质量层的色度采样值应用的空间插值滤波器来执行高质量增强层信号的色度采样值的预测。相应地，可以以一个亮度分量和两个色度分量的形式来给出视频信号的色彩空间表示，其中基本质量层和高质量增强层的色度采样格式分别为4:2:0和4:4:4，而且，可以通过使用对基本质量层的色度采样值应用的空间插值滤波器来执行高质量增强层信号的色度采样值的预测。在基本质量层和高质量增强层分别为4:2:0和4:2:2的情况下，所使用的空间插值滤波器可以是垂直应用于基本质量层的色度采样值的线性插值滤波器。类似地，如果基本质量层和高质量增强层分别为4:2:2和4:4:4，则可以将线性插值滤波器水平地应用于基本质量层的色度采样值，并且，如果基本质量层和高质量增强层分别为4:2:0和4:4:4，则空间插值滤波器可以是应用于基本质量层的色度采样值的双线性插值。此外，如果基本质量层和高质量增强层分别为4:2:0和4:2:2，则空间插值滤波器可以是H.264/MPEG4-AVC所规定的、垂直应用于基本质量层的色度采样值的6抽头半像素插值滤波器。类似地，如果基本质量层和高质量增强层分别为4:2:2和4:4:4，则空间插值滤波器可以是H.264/MPEG4-AVC所规定的、水平应用于基本质量层的色度采样值的6抽头半像素插值滤波器。如果基本质量层和高质量增强层分别为4:2:0和4:4:4，则空间插值滤波器可以由H.264/MPEG4-AVC所规定的、分离地应用于基本质量层的色度采样值的6抽头半像素插值滤波器来实现。类似地，在基本质量层和高质量增强层分别为4:2:0和4:2:2的情况下，在预测模块134和232中，可以分别将MPEG2第二部分视觉、高级简单特性所规定的8抽头半像素插值滤波器垂直应用于基本质量层的色度采样值。类似地，如果基本质量层和高质量增强层分别为4:2:2和4:4:4，则可以将MPEG2第二部分视觉、高级简单特性所规定的8抽头半像素插值滤波器水平应用于基本质量层的色度采样值。如果基本质量层和高质量增强层分别为4:2:0和4:4:4，则可以将MPEG2第二部分视觉、高级简单特性所规定的8抽头半像素插值滤波器分离地应用于基本质量层的色度采样值。使用FIR插值滤波器作为空间插值滤波器也是可能的。例如，如果基本质量层和高质量增强层分别为4:2:0和4:2:2，则可以将FIR插值滤波器垂直应用于基本质量层的色度采样值，其中可以将FIR滤波器的滤波器抽头作为辅助信息发送。类似地，如果基本质量层和高质量增强层分别为4:2:2和4:4:4，则可以将FIR插值滤波器水平应用于基本质量层的色度采样值，其中可以将FIR滤波器的滤波器抽头作为辅助信息发送。如果基本质量层和高质量增强层分别为4:2:0和4:4:4，则可以将FIR插值滤波器分离地应用于基本质量层的色度采样值，其中可以将FIR滤波器的滤波器抽头作为辅助信息发送。也可以以一个亮度分量和两个色度分量的形式，以4:2:0或4:2:2的色度子采样格式来给出基本质量视频信号的色彩空间表示，其中高质量视频信号的色度采样格式为4:4:4，而其色彩空间表示不同于基本质量表示的色彩空间表示。在这种情况下，可以首先如上所述将空间插值滤波器应用于基本质量层的色度采样值，随后将所产生的上采样的基本质量信号色彩变换为高质量增强层的色彩空间，以分别执行模块134和232内高质量增强层信号的色度采样值的预测。
根据实际实现方式，可以以硬件或软件来实现本发明的编码方案。因此，本发明也涉及一种计算机程序，可以将计算机程序存储在计算机可读介质(如CD、盘或任何其他数据载体)上。因此，本发明也是一种具有程序代码的计算机程序，当在计算机上执行时，程序代码执行结合上述附图来描述的本发明的方法。具体地，图1和2中的装置和模块的实现可以包括在例如CPU、ASIC的电路部分等上运行的子例程。

Claims (32)

1.一种用于将画面编码为质量可缩放数据流的编码器，包括：
基本编码装置(102)，用于将画面编码为基本编码数据流，所述基本编码数据流表示具有第一画面采样比特深度的画面表示；
预测装置(104)，用于基于具有第一画面采样比特深度的画面表示来提供画面的预测，所述画面的预测具有第二画面采样比特深度，所述第二画面采样比特深度大于所述第一画面采样比特深度，所述预测装置包括：映射装置(134)，用于对具有所述第一画面采样比特深度的画面表示执行采样映射以获得画面预测，所述采样映射是从与所述第一画面采样比特深度相对应的第一动态范围映射至大于所述第一动态范围并与第二画面采样比特深度相对应的第二动态范围，在所述映射中，针对采样的亮度和色度分量使用不同的映射机制或针对画面的不同区域使用不同的映射机制；以及
残差编码装置(106)，用于将所述预测的预测残差编码为比特深度增强层数据流；以及
组合装置(108)，用于基于所述基本编码数据流、所述比特深度增强层数据流以及指定所述映射装置(134)所使用的映射机制的映射信息，来形成质量可缩放数据流。
2.如权利要求1所述的编码器，其中，所述预测装置包括：
基于所述基本编码数据流重构具有第一画面采样比特深度的画面表示作为低比特深度重构画面的装置(124、126、138、130、132)，所述低比特深度重构画面具有所述第一画面采样比特深度。
3.如权利要求1所述的编码器，其中，所述映射装置(134)适于将采样从所述第一动态范围线性映射至所述第二动态范围。
4.如权利要求1所述的编码器，其中，所述映射装置(134)适于通过计算2M-N-Kx+2M-1-2M-1-K，将采样x从所述第一动态范围映射至所述第二动态范围，其中N是所述第一画面采样比特深度，M是所述第二画面采样比特深度，K是映射参数，并且，所述映射装置适于将映射参数K转发至组合装置(108)，以还基于所述映射参数来形成质 量可缩放数据流。
5.如权利要求1所述的编码器，其中，所述映射装置(134)适于通过计算2M-N-Kx+D，将采样x从所述第一动态范围映射至所述第二动态范围，其中N是所述第一画面采样比特深度，M是所述第二画面采样比特深度，K和D是映射参数，并且，所述映射装置适于将映射参数K和D转发至组合装置(108)，以还基于所述映射参数来形成质量可缩放数据流。
6.如权利要求1所述的编码器，其中，所述映射装置(134)适于通过计算floor(2M-N-Kx+2M-2N-Kx+D)，将采样x从所述第一动态范围映射至所述第二动态范围，其中floor(a)将a向下舍入为最接近的整数，N是所述第一画面采样比特深度，M是所述第二画面采样比特深度，K和D是映射参数，并且，所述映射装置适于将映射参数K和D转发至组合装置(108)，以还基于所述映射参数来形成质量可缩放数据流。
7.如权利要求1所述的编码器，其中，所述映射装置(134)适于将采样从所述第一动态范围逐块线性映射至所述第二动态范围，并将定义逐块线性映射的插值点信息转发至组合装置(108)，以还基于所述插值点信息来形成质量可缩放数据流。
8.如权利要求1所述的编码器，其中，所述映射装置(134)适于通过使用采样作为查找表的索引来执行映射。
9.如权利要求1所述的编码器，其中，所述基本编码装置(102)包括：
用于将表示具有所述第二画面采样比特深度的画面的采样从所述第二动态范围映射至与所述第一画面采样比特深度相对应的第一动态范围以获得质量降低的画面的装置(116)；以及
用于对所述质量降低的画面进行编码以获得基本编码数据流的装置(118、120、122、124、126、128、130)。
10.如权利要求1所述的编码器，其中，所述画面是视频信号的一部分。
11.如权利要求10所述的编码器，其中，所述基本编码装置(102)包括基于根据所述基本编码数据流重构的画面来执行时间预测的装置 (124、126、128、130)，所述执行时间预测的装置(124、126、128、130)同时形成基于所述基本编码数据流来为预测装置(104)重构低比特深度重构画面的装置(124、126、128、130)，所述低比特深度重构画面具有所述第一画面采样比特深度。
12.如权利要求1所述的编码器，其中，所述画面表示具有亮度分辨率和第一色度分辨率，并且，所述预测装置(104)还包括：
用于应用空间插值滤波器以根据具有所述亮度分辨率和所述第一色度分辨率的画面表示来获得画面预测的装置(134)，所述画面预测具有所述亮度分辨率和第二色度分辨率，所述第二色度分辨率高于所述第一色度分辨率。
13.如权利要求12所述的编码器，其中，所述空间插值滤波器是从由线性插值滤波器、双线性插值滤波器以及FIR插值滤波器构成的组中选择的。
14.如权利要求12所述的编码器，其中，所述基本编码装置(102)适于使得所述基本编码数据流表示第一色彩空间域中的画面，并且，用于应用的装置(134)适于应用空间插值滤波器，然后执行从所述第一色彩空间域到第二色彩空间域的色彩空间变换以获得画面预测。
15.如权利要求12所述的编码器，其中，用于应用的装置(134)适于将与所述空间插值滤波器相关的滤波器信息转发至组合装置(108)，以还基于所述滤波器信息来形成质量可缩放数据流。
16.如权利要求12所述的编码器，其中，所述基本编码装置(102)包括：
用于接收具有所述亮度分辨率和所述第二色度分辨率的画面并将所述第二色度分辨率减小至所述第一色度分辨率以获得质量降低的画面的装置(116)；以及
用于对所述质量降低的画面进行编码以获得基本编码数据流的装置(118、120、122、124、126、128、130)。
17.如权利要求1所述的编码器，其中，所述预测装置适于执行抖动以获得画面预测。
18.一种用于对质量可缩放数据流进行解码的解码器，所述质量 可缩放数据流是通过对画面进行编码而产生的，所述质量可缩放数据流包括基本层数据流和比特深度增强层数据流以及表示在提供画面预测时使用的映射机制的映射信息，所述基本层数据流表示具有第一画面采样比特深度的画面，所述比特深度增强层数据流表示具有第二画面采样比特深度的预测残差，所述第二画面采样比特深度大于所述第一画面采样比特深度，所述解码器包括：
用于将所述基本层数据流解码为较低比特深度重构画面的装置(204)；
用于将所述比特深度增强数据流解码为所述预测残差的装置(208)；
用于基于所述较低比特深度重构画面来提供画面预测的装置(206)，所述画面预测具有所述第二画面采样比特深度，其中，用于提供的装置(206)适于对所述较低比特深度重构画面执行采样映射以获得画面预测，所述采样映射是从与所述第一画面采样比特深度相对应的第一动态范围映射至大于所述第一动态范围并与第二画面采样比特深度相对应的第二动态范围，在所述映射中，根据所述映射信息，针对采样的亮度和色度分量使用不同的映射机制或针对画面的不同区域使用不同的映射机制；以及
用于基于所述预测和所述预测残差来重构具有所述第二画面采样比特深度的画面的装置(210)。
19.如权利要求18所述的解码器，其中，用于提供的装置(206)适于根据第一映射机制将采样从所述第一动态范围线性映射至所述第二动态范围。
20.如权利要求18所述的解码器，其中，用于提供的装置(206)适于根据第二映射机制，通过计算2M-N-Kx+2M-1-2M-1-K，将采样x从所述第一动态范围映射至所述第二动态范围，其中N是所述第一画面采样比特深度，M是所述第二画面采样比特深度，K是从所述质量可缩放数据流中获取的映射参数。
21.如权利要求18所述的解码器，其中，所述用于提供的装置(206)适于根据第三映射机制，通过计算2M-N-Kx+D，将采样x从 所述第一动态范围映射至所述第二动态范围，其中N是所述第一画面采样比特深度，M是所述第二画面采样比特深度，K和D是映射参数，并且，所述用于提供的装置适于从所述质量可缩放数据流中获取映射参数K和D。
22.如权利要求18所述的解码器，其中，所述用于提供的装置(206)适于根据第四映射机制，通过计算floor(2M-N-Kx+2M-2N-Kx+D)，将采样x从所述第一动态范围映射至所述第二动态范围，其中floor(a)将a向下舍入为最接近的整数，N是所述第一画面采样比特深度，M是所述第二画面采样比特深度，K和D是映射参数，并且，所述用于提供的装置适于从所述质量可缩放数据流中获取映射参数K和D。
23.如权利要求18所述的解码器，其中，用于提供的装置(206)适于根据第五映射机制，使用从所述质量可缩放数据流中获取的插值点信息，将采样从所述第一动态范围逐块线性映射至所述第二动态范围
24.如权利要求18所述的解码器，其中，用于提供的装置(206)适于根据第六映射机制，通过使用采样作为查找表的索引来执行映射。
25.如权利要求18所述的解码器，其中，所述画面是视频信号的一部分。
26.如权利要求18所述的解码器，其中，所述较低比特深度重构画面具有亮度分辨率和第一色度分辨率，并且，用于提供的装置(206)还适于应用空间插值滤波器以根据所述较低比特深度重构画面来获得画面预测，所述画面预测具有所述亮度分辨率和第二色度分辨率，所述第二色度分辨率高于所述第一色度分辨率。
27.如权利要求26所述的解码器，其中，所述空间插值滤波器是从由线性插值滤波器、双线性插值滤波器以及FIR插值滤波器构成的组中选择的。
28.如权利要求26所述的解码器，其中，用于提供的装置(206)还适于应用空间插值滤波器，然后执行从所述第一色彩空间域至第二色彩空间域的色彩空间变换，以获得画面预测。 
29.如权利要求26所述的解码器，其中，用于提供的装置(206)基于从所述质量可缩放数据流中获取的滤波器信息来执行所述应用。
30.如权利要求18所述的解码器，其中，用于提供的装置(206)还适于执行抖动以获得画面预测。
31.一种用于将画面编码为质量可缩放数据流的方法，包括：
将画面编码为基本编码数据流，所述基本编码数据流表示具有第一画面采样比特深度的画面表示；
基于具有第一画面采样比特深度的画面表示来提供画面预测，所述画面预测具有第二画面采样比特深度，所述第二画面采样比特深度大于所述第一画面采样比特深度，所述提供包括对具有所述第一画面采样比特深度的画面表示执行采样映射以获得画面的预测，所述采样映射是从与所述第一画面采样比特深度相对应的第一动态范围映射至大于所述第一动态范围并与第二画面采样比特深度相对应的第二动态范围，在所述映射中，针对采样的亮度和色度分量使用不同的映射机制或针对画面的不同区域使用不同的映射机制；以及
将所述预测的预测残差编码为比特深度增强层数据流；以及
基于所述基本编码数据流、所述比特深度增强层数据流以及表示在提供预测时使用的映射机制的映射信息来形成质量可缩放数据流。
32.一种用于对质量可缩放数据流进行解码的方法，所述质量可缩放数据流是通过对画面进行编码而产生的，所述质量可缩放数据流包括基本层数据流和比特深度增强层数据流以及表示在提供画面预测时使用的映射机制的映射信息，所述基本层数据流表示具有第一画面采样比特深度的画面，所述比特深度增强层数据流表示具有第二画面采样比特深度的预测残差，所述第二画面采样比特深度大于所述第一画面采样比特深度，所述方法包括：
将所述基本层数据流解码为较低比特深度重构画面；
将所述比特深度增强数据流解码为所述预测残差；
基于所述较低比特深度重构画面来提供画面的预测，所述画面的预测具有所述第二画面采样比特深度，所述提供包括对所述较低比特深度重构画面执行采样映射以获得画面的预测，所述采样映射是从与 所述第一画面采样比特深度相对应的第一动态范围映射至大于所述第一动态范围并与第二画面采样比特深度相对应的第二动态范围，在所述映射中，根据所述映射信息，针对采样的亮度和色度分量使用不同的映射机制或针对画面的不同区域使用不同的映射机制；以及
基于所述预测和所述预测残差来重构具有所述第二画面采样比特深度的画面。 
CN2006800566963A 2006-10-25 2006-10-25 质量可缩放编码 Active CN101589625B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2006/010297 WO2008049446A1 (en) 2006-10-25 2006-10-25 Quality scalable coding

Publications (2)

Publication Number Publication Date
CN101589625A CN101589625A (zh) 2009-11-25
CN101589625B true CN101589625B (zh) 2011-09-21

Family

ID=38036405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800566963A Active CN101589625B (zh) 2006-10-25 2006-10-25 质量可缩放编码

Country Status (5)

Country Link
US (5) US8774269B2 (zh)
EP (2) EP2084913B1 (zh)
JP (1) JP5039142B2 (zh)
CN (1) CN101589625B (zh)
WO (1) WO2008049446A1 (zh)

Families Citing this family (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9113147B2 (en) * 2005-09-27 2015-08-18 Qualcomm Incorporated Scalability techniques based on content information
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
WO2007116551A1 (ja) * 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
EP1840875A1 (en) * 2006-03-31 2007-10-03 Sony Deutschland Gmbh Signal coding and decoding with pre- and post-processing
JP5039142B2 (ja) 2006-10-25 2012-10-03 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 品質スケーラブルな符号化方法
US8233536B2 (en) * 2007-01-23 2012-07-31 Sharp Laboratories Of America, Inc. Methods and systems for multiplication-free inter-layer image prediction
US8665942B2 (en) 2007-01-23 2014-03-04 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction signaling
US8503524B2 (en) 2007-01-23 2013-08-06 Sharp Laboratories Of America, Inc. Methods and systems for inter-layer image prediction
US8085852B2 (en) * 2007-06-26 2011-12-27 Mitsubishi Electric Research Laboratories, Inc. Inverse tone mapping for bit-depth scalable image coding
WO2009000110A1 (en) * 2007-06-27 2008-12-31 Thomson Licensing Method and apparatus for encoding and/or decoding video data using enhancement layer residual prediction for bit depth scalability
KR101366249B1 (ko) * 2007-06-28 2014-02-21 삼성전자주식회사 스케일러블 영상 부호화장치 및 방법과 그 영상 복호화장치및 방법
KR101365596B1 (ko) 2007-09-14 2014-03-12 삼성전자주식회사 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법
EP2051527A1 (en) * 2007-10-15 2009-04-22 Thomson Licensing Enhancement layer residual prediction for bit depth scalability using hierarchical LUTs
BRPI0817770B1 (pt) * 2007-10-16 2020-11-10 Interdigital Madison Patent Holdings métodos e aparelhos para a remoção de artefatos para a escalabilidade de profundidade em bits
KR101365597B1 (ko) 2007-10-24 2014-02-20 삼성전자주식회사 영상 부호화장치 및 방법과 그 영상 복호화장치 및 방법
US8165210B2 (en) * 2007-12-17 2012-04-24 Vixs Systems, Inc. Video codec with shared interpolation filter and method for use therewith
US8953673B2 (en) * 2008-02-29 2015-02-10 Microsoft Corporation Scalable video coding and decoding with sample bit depth and chroma high-pass residual layers
US8711948B2 (en) 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US8542748B2 (en) * 2008-03-28 2013-09-24 Sharp Laboratories Of America, Inc. Methods and systems for parallel video encoding and decoding
JP5203503B2 (ja) 2008-04-16 2013-06-05 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン ビット深度スケーラビリティ
EP2294827A4 (en) * 2008-06-12 2017-04-19 Thomson Licensing Methods and apparatus for video coding and decoding with reduced bit-depth update mode and reduced chroma sampling update mode
US9571856B2 (en) * 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
IT1394245B1 (it) * 2008-09-15 2012-06-01 St Microelectronics Pvt Ltd Convertitore per video da tipo non-scalabile a tipo scalabile
KR101660558B1 (ko) * 2009-02-03 2016-09-27 톰슨 라이센싱 비트 깊이 스케일리빌리티에서 스무드 참조 프레임에 의한 모션 보상을 하는 방법들 및 장치
WO2010100089A1 (en) * 2009-03-02 2010-09-10 Thomson Licensing Method and device for displaying a sequence of pictures
US9197677B2 (en) * 2009-03-09 2015-11-24 Arris Canada, Inc. Multi-tiered scalable media streaming systems and methods
RU2504011C2 (ru) 2009-03-13 2014-01-10 Долби Лабораторис Лайсэнзин Корпорейшн Многоуровневое сжатие видеоизображения с расширенным динамическим диапазоном, визуальным динамическим диапазоном и широкой цветовой гаммой
WO2012044487A1 (en) 2010-10-01 2012-04-05 Dolby Laboratories Licensing Corporation Optimized filter selection for reference picture processing
US8566393B2 (en) 2009-08-10 2013-10-22 Seawell Networks Inc. Methods and systems for scalable video chunking
US8589999B1 (en) * 2009-08-11 2013-11-19 Arris Solutions, Inc. Methods and systems for splicing between media streams
US9406252B2 (en) 2009-12-31 2016-08-02 Broadcom Corporation Adaptive multi-standard video coder supporting adaptive standard selection and mid-stream switch-over
CN105472387B (zh) * 2010-04-09 2018-11-02 Lg电子株式会社 处理视频数据的方法和装置
WO2011127964A2 (en) * 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for intra predicting a block, apparatus for reconstructing a block of a picture, apparatus for reconstructing a block of a picture by intra prediction
US10334288B2 (en) * 2010-06-15 2019-06-25 Avago Technologies International Sales Pte. Limited Method and system for zero overhead parallel entropy decoding
WO2011159617A1 (en) * 2010-06-15 2011-12-22 Dolby Laboratories Licensing Corporation Encoding, distributing and displaying video data containing customized video content versions
WO2012004709A1 (en) * 2010-07-06 2012-01-12 Koninklijke Philips Electronics N.V. Generation of high dynamic range images from low dynamic range images
WO2012008130A1 (ja) * 2010-07-13 2012-01-19 日本電気株式会社 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
JP5388977B2 (ja) * 2010-09-24 2014-01-15 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラム
JP5339300B2 (ja) * 2010-09-24 2013-11-13 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、及びプログラム
US9313514B2 (en) * 2010-10-01 2016-04-12 Sharp Kabushiki Kaisha Methods and systems for entropy coder initialization
EP2456204A1 (en) * 2010-11-18 2012-05-23 Koninklijke Philips Electronics N.V. Method and apparatus for encoding or generating an image
US8923389B1 (en) * 2011-01-13 2014-12-30 Zenverge, Inc. Unified scaling with differential coding for internal bit depth extension and reference frame compression
MX2013001051A (es) * 2011-02-22 2013-04-03 Panasonic Corp Metodo de codificacion de imagen, metodo de decodificacion de imagen, aparato de codificacion de imagen, aparato de decodificacion de imagen y aparato de codificacion/decidificacion de imagen.
WO2012114724A1 (ja) 2011-02-22 2012-08-30 パナソニック株式会社 フィルタ方法、動画像符号化装置、動画像復号装置及び動画像符号化復号装置
PL2863637T3 (pl) 2011-03-09 2019-08-30 Nec Corporation Urządzenie do dekodowania wideo, sposób dekodowania wideo i program do dekodowania wideo
EP2688297A4 (en) * 2011-03-16 2014-08-27 Korea Electronics Telecomm DEVICE AND METHOD FOR PROVIDING STREAMING CONTENT USING PREPARATIONS
TR201802291T4 (tr) 2011-04-14 2018-03-21 Dolby Laboratories Licensing Corp Çoklu renk kanallı çoklu regresyon öngörücü.
EP2717565A4 (en) * 2011-04-28 2016-04-13 Panasonic Ip Man Co Ltd RECORDING MEDIUM, PLAYING DEVICE, RECORDING DEVICE, ENCODING METHOD AND DECOMPOSITION METHOD FOR HIGHER IMAGE QUALITY
GB2492130A (en) * 2011-06-22 2012-12-26 Canon Kk Processing Colour Information in an Image Comprising Colour Component Sample Prediction Being Based on Colour Sampling Format
JP5973434B2 (ja) 2011-06-23 2016-08-23 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 画像フィルタ装置、フィルタ方法および動画像復号装置
PL3367686T3 (pl) * 2011-06-24 2021-06-28 Ntt Docomo, Inc. Urządzenie i sposób predykcji z kompensacją ruchu
US9055304B2 (en) * 2011-07-01 2015-06-09 Qualcomm Incorporated Reduced resolution pixel interpolation
WO2013011659A1 (ja) 2011-07-19 2013-01-24 パナソニック株式会社 フィルタ方法、動画像復号方法、動画像符号化方法、動画像復号装置、動画像符号化装置及び動画像符号化復号装置
US9948938B2 (en) * 2011-07-21 2018-04-17 Texas Instruments Incorporated Methods and systems for chroma residual data prediction
US8948248B2 (en) * 2011-07-21 2015-02-03 Luca Rossato Tiered signal decoding and signal reconstruction
TWI575933B (zh) * 2011-11-04 2017-03-21 杜比實驗室特許公司 階層式視覺動態範圍編碼中之層分解技術
CN102542528B (zh) * 2011-12-26 2013-10-09 Tcl集团股份有限公司 一种图像转换处理方法及系统
TWI606718B (zh) 2012-01-03 2017-11-21 杜比實驗室特許公司 規定視覺動態範圍編碼操作及參數
EP2803190B1 (en) 2012-01-09 2017-10-25 Dolby Laboratories Licensing Corporation Hybrid reference picture reconstruction method for multiple layered video coding systems
JP5905610B2 (ja) * 2012-03-12 2016-04-20 ドルビー ラボラトリーズ ライセンシング コーポレイション ３ｄ視覚的ダイナミックレンジ符号化
US8958474B2 (en) * 2012-03-15 2015-02-17 Virtualinx, Inc. System and method for effectively encoding and decoding a wide-area network based remote presentation session
KR20130125168A (ko) * 2012-05-08 2013-11-18 삼성전자주식회사 비디오 인코딩 장치 및 그것의 인코딩 방법
US9584805B2 (en) * 2012-06-08 2017-02-28 Qualcomm Incorporated Prediction mode information downsampling in enhanced layer coding
JP5873395B2 (ja) * 2012-06-14 2016-03-01 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
GB2506345A (en) * 2012-09-06 2014-04-02 British Broadcasting Corp Video encoding and decoding with chrominance sub-sampling
PL2901688T3 (pl) * 2012-09-28 2020-05-18 Nokia Technologies Oy Aparat i sposób do kodowania i dekodowania wideo
CN103716622B (zh) * 2012-09-29 2017-02-08 华为技术有限公司 用于图像处理的方法和装置
CN103716630B (zh) * 2012-09-29 2017-02-22 华为技术有限公司 上采样滤波器的生成方法和装置
KR102367210B1 (ko) 2012-10-01 2022-02-24 지이 비디오 컴프레션, 엘엘씨 공간적 인트라 예측 파라미터들의 인터-레이어 예측을 이용한 스케일러블 비디오 코딩
US9979960B2 (en) 2012-10-01 2018-05-22 Microsoft Technology Licensing, Llc Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions
CA2889671C (en) * 2012-11-27 2017-08-15 Lg Electroncs Inc. Signal transceiving apparatus and signal transceiving method
TWI597968B (zh) * 2012-12-21 2017-09-01 杜比實驗室特許公司 在高位元深度視訊的可適性編碼中，高精度升取樣
EP3490256B1 (en) * 2013-01-02 2021-07-21 Dolby Laboratories Licensing Corporation Backward-compatible coding for ultra high definition video signals with enhanced dynamic range
US9628808B2 (en) * 2013-03-26 2017-04-18 Dolby Laboratories Licensing Corporation Encoding perceptually-quantized video content in multi-layer VDR coding
CN104079941B (zh) * 2013-03-27 2017-08-25 中兴通讯股份有限公司 一种深度信息编解码方法、装置及视频处理播放设备
US9521438B2 (en) * 2013-03-29 2016-12-13 Microsoft Technology Licensing, Llc Custom data indicating nominal range of samples of media content
ES2665908T3 (es) * 2013-04-08 2018-04-30 Ge Video Compression, Llc Predicción inter-componente
US9143797B2 (en) 2013-05-29 2015-09-22 Blackberry Limited Lossy data compression with conditional reconstruction refinement
EP2816805B1 (en) * 2013-05-29 2020-12-30 BlackBerry Limited Lossy data compression with conditional reconstruction reinfinement
US10659817B2 (en) 2013-07-15 2020-05-19 Hfi Innovation Inc. Method of sample adaptive offset processing for video coding
RU2016115055A (ru) 2013-09-20 2017-10-25 Вид Скейл, Инк. Системы и способы обеспечения кодирования 3d справочной таблицы для масштабируемости цветовой гаммы
EP3055997B1 (en) * 2013-10-07 2019-12-04 VID SCALE, Inc. Combined scalability processing for multi-layer video coding
WO2015052979A1 (ja) * 2013-10-11 2015-04-16 ソニー株式会社 画像処理装置及び画像処理方法
US9948916B2 (en) * 2013-10-14 2018-04-17 Qualcomm Incorporated Three-dimensional lookup table based color gamut scalability in multi-layer video coding
US10397607B2 (en) 2013-11-01 2019-08-27 Qualcomm Incorporated Color residual prediction for video coding
WO2015089352A1 (en) * 2013-12-13 2015-06-18 Vid Scale, Inc Color gamut scalable video coding device and method for the phase alignment of luma and chroma using interpolation
US9445111B2 (en) * 2014-01-08 2016-09-13 Sony Corporation Image processing apparatus and image processing method
US10123019B2 (en) * 2014-02-13 2018-11-06 Dolby Laboratories Licensing Corporation Piecewise inter-layer prediction for signals with enhanced dynamic range
USRE48920E1 (en) 2014-02-21 2022-02-01 Lattice Semiconductor Corporation Adaptive processing of video streams with reduced color resolution
US9699469B2 (en) 2014-02-21 2017-07-04 Lattice Semiconductor Corporation Adaptive processing of video streams with reduced color resolution
US20150262404A1 (en) * 2014-03-13 2015-09-17 Huawei Technologies Co., Ltd. Screen Content And Mixed Content Coding
CA2961681C (en) * 2014-09-30 2022-08-09 Hfi Innovation Inc. Method of adaptive motion vetor resolution for video coding
JP6409516B2 (ja) * 2014-11-13 2018-10-24 富士通株式会社 ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置
GB2533109B (en) * 2014-12-09 2018-11-28 Gurulogic Microsystems Oy Encoder, decoder and method for data
US9854201B2 (en) * 2015-01-16 2017-12-26 Microsoft Technology Licensing, Llc Dynamically updating quality to higher chroma sampling rate
US10283032B2 (en) 2015-10-07 2019-05-07 Samsung Display Co., Ltd. Integrated circuit for nonlinear data encoding
GB2553556B (en) * 2016-09-08 2022-06-29 V Nova Int Ltd Data processing apparatuses, methods, computer programs and computer-readable media
JP6769231B2 (ja) * 2016-10-17 2020-10-14 富士通株式会社 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法、及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム
KR20180042899A (ko) * 2016-10-19 2018-04-27 디지털인사이트 주식회사 적응적 보간 필터를 사용하는 비디오 코딩 방법 및 장치
US10368080B2 (en) 2016-10-21 2019-07-30 Microsoft Technology Licensing, Llc Selective upsampling or refresh of chroma sample values
US10791340B2 (en) * 2016-11-15 2020-09-29 Sony Corporation Method and system to refine coding of P-phase data
CN108574845A (zh) * 2017-03-12 2018-09-25 上海天荷电子信息有限公司 动态采用多种采样格式的数据压缩方法和装置
US10771797B2 (en) * 2018-07-30 2020-09-08 Logmein, Inc. Enhancing a chroma-subsampled video stream
GB2613262B (en) * 2018-10-09 2023-11-15 V Nova Int Ltd Signal element coding format compatibility within a hierarchical coding scheme using multiple resolutions
GB201817784D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media
RU2697928C1 (ru) 2018-12-28 2019-08-21 Самсунг Электроникс Ко., Лтд. Способ сверхразрешения изображения, имитирующего повышение детализации на основе оптической системы, выполняемый на мобильном устройстве, обладающем ограниченными ресурсами, и мобильное устройство, его реализующее
WO2020262988A1 (ko) * 2019-06-25 2020-12-30 엘지전자 주식회사 영상 코딩 시스템에서 무손실 코딩을 적용하는 영상 디코딩 방법 및 그 장치

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4843466A (en) * 1988-04-27 1989-06-27 Universal Video Communications Corp. Method and system for decompressing color video slope encoded data
US6282364B1 (en) * 1996-02-05 2001-08-28 Matsushita Electric Industrial Co., Ltd. Video signal recording apparatus and video signal regenerating apparatus
JP3130266B2 (ja) * 1996-03-09 2001-01-31 三星電子株式会社 平均分離ヒストグラム等化を用いる映像改善方法及びその回路
JPH1056639A (ja) * 1996-06-03 1998-02-24 Matsushita Electric Ind Co Ltd 画像符号化装置と画像復号化装置
US6829301B1 (en) * 1998-01-16 2004-12-07 Sarnoff Corporation Enhanced MPEG information distribution apparatus and method
US6636633B2 (en) 1999-05-03 2003-10-21 Intel Corporation Rendering of photorealistic computer graphics images
US6911975B2 (en) * 2000-09-11 2005-06-28 Canon Kabushiki Kaisha Stereo image display apparatus and method, and storage medium
US6925120B2 (en) * 2001-09-24 2005-08-02 Mitsubishi Electric Research Labs, Inc. Transcoder for scalable multi-layer constant quality video bitstreams
EP1553782A3 (en) 2002-05-28 2005-07-27 Sharp Kabushiki Kaisha Methods and systems for image intra-prediction mode estimation, communication, and organization
WO2004045217A1 (en) 2002-11-13 2004-05-27 Koninklijke Philips Electronics N.V. Transmission system with colour depth scalability
US7146059B1 (en) 2003-03-05 2006-12-05 Massachusetts Institute Of Technology Method of performing fast bilateral filtering and using the same for the display of high-dynamic-range images
US7773694B2 (en) * 2003-07-02 2010-08-10 Panasonic Corporation Communication apparatus and communication method
US8014450B2 (en) * 2003-09-07 2011-09-06 Microsoft Corporation Flexible range reduction
US7924921B2 (en) * 2003-09-07 2011-04-12 Microsoft Corporation Signaling coding and display options in entry point headers
US7400683B2 (en) * 2003-11-18 2008-07-15 Lsi Corporation Device with virtual tilized image memory
US20050259729A1 (en) * 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
KR100657268B1 (ko) 2004-07-15 2006-12-14 학교법인 대양학원 컬러 영상의 신축적 부호화, 복호화 방법 및 장치
DE102004059993B4 (de) 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
US7860168B2 (en) * 2004-10-27 2010-12-28 Lsi Corporation Method and apparatus for improved increased bit-depth display from a transform decoder by retaining additional inverse transform bits
KR100763178B1 (ko) * 2005-03-04 2007-10-04 삼성전자주식회사 색 공간 스케일러블 비디오 코딩 및 디코딩 방법, 이를위한 장치
US7404645B2 (en) 2005-06-20 2008-07-29 Digital Display Innovations, Llc Image and light source modulation for a digital display system
US7956930B2 (en) * 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US8315308B2 (en) 2006-01-11 2012-11-20 Qualcomm Incorporated Video coding with fine granularity spatial scalability
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
WO2007107170A1 (en) 2006-03-22 2007-09-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Coding scheme enabling precision-scalability
US7535383B2 (en) 2006-07-10 2009-05-19 Sharp Laboratories Of America Inc. Methods and systems for signaling multi-layer bitstream data
JP2010506440A (ja) * 2006-09-30 2010-02-25 トムソン ライセンシング ビデオのカラーエンハンスメント層をエンコード及びデコードする方法及び装置
JP5039142B2 (ja) 2006-10-25 2012-10-03 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 品質スケーラブルな符号化方法
US7756348B2 (en) 2006-10-30 2010-07-13 Hewlett-Packard Development Company, L.P. Method for decomposing a video sequence frame
EP1933563A1 (en) * 2006-12-14 2008-06-18 Thomson Licensing Method and apparatus for encoding and/or decoding bit depth scalable video data using adaptive enhancement layer residual prediction
US7983496B2 (en) 2007-06-26 2011-07-19 Mitsubishi Electric Research Laboratories, Inc. Inverse tone mapping for bit-depth scalable image coding adapted to variable block sizes
EP2051527A1 (en) * 2007-10-15 2009-04-22 Thomson Licensing Enhancement layer residual prediction for bit depth scalability using hierarchical LUTs
US8432968B2 (en) * 2007-10-15 2013-04-30 Qualcomm Incorporated Scalable video coding techniques for scalable bitdepths
KR20100086478A (ko) 2007-10-19 2010-07-30 톰슨 라이센싱 조합된 공간 및 비트 심도 확장성
JP5097523B2 (ja) 2007-12-07 2012-12-12 船井電機株式会社 音声入力装置
KR20090095316A (ko) 2008-03-05 2009-09-09 삼성전자주식회사 영상 인트라 예측 방법 및 장치
US8369638B2 (en) * 2008-05-27 2013-02-05 Microsoft Corporation Reducing DC leakage in HD photo transform
KR101807886B1 (ko) 2009-10-14 2017-12-11 돌비 인터네셔널 에이비 깊이 맵 처리를 위한 방법 및 디바이스
CN102939750B (zh) 2010-04-13 2016-07-06 Ge视频压缩有限责任公司 跨平面预测
ES2671596T3 (es) 2010-08-11 2018-06-07 Ge Video Compression, Llc Códec de señal de múltiples vistas
EP2521357A1 (de) 2011-05-06 2012-11-07 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Filterung von kodierten Bildpartitionen

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A. Tanju Erdem.Compression of lo-bit video using the tools of MPEG-2.《Signal Processing: Image Communication》.1995,第7卷(第1期),27-56. *
Andrew Segall.Tone Mapping SEI Message.《Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6) 19th Meeting》.2006,全文.
Andrew Segall.Tone Mapping SEI Message.《Joint Video Team (JVT) of ISO/IEC MPEG &amp *
ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6) 19th Meeting》.2006,全文. *

Also Published As

Publication number Publication date
US20100020866A1 (en) 2010-01-28
US20140321530A1 (en) 2014-10-30
JP2010507941A (ja) 2010-03-11
EP2084913B1 (en) 2019-02-20
US9843800B2 (en) 2017-12-12
US11115651B2 (en) 2021-09-07
US10165269B2 (en) 2018-12-25
US8774269B2 (en) 2014-07-08
US20200351491A1 (en) 2020-11-05
WO2008049446A1 (en) 2008-05-02
US20180063523A1 (en) 2018-03-01
EP2084913A1 (en) 2009-08-05
JP5039142B2 (ja) 2012-10-03
US10659776B2 (en) 2020-05-19
CN101589625A (zh) 2009-11-25
US20190082174A1 (en) 2019-03-14
EP3484154A1 (en) 2019-05-15

Similar Documents

Publication Publication Date Title
CN101589625B (zh) 质量可缩放编码
CN102007768B (zh) 编码器、解码器、编码方法及解码方法
CN102084653B (zh) 支持像素值细化可缩放性的可缩放视频编码
CN101601300B (zh) 用自适应增强层预测对位深度可分级视频数据进行编码和/或解码的方法和设备
CN101558650B (zh) 编码和/或解码视频数据的方法及设备
CN102144391B (zh) 用于层间残余视频编码和解码的跳过模式
CN101529911B (zh) 用于对多层比特流数据进行信号指示的方法和系统
CN101601299A (zh) 用位深度可分级性的增强层残差预测对视频数据进行编码和/或解码的方法和设备
US8149914B2 (en) Video-signal layered coding and decoding methods, apparatuses, and programs
WO2008049445A1 (en) Quality scalable coding
CN102833542B (zh) 一种提高可伸缩视频编码质量增强层编码速度装置和方法
KR100480751B1 (ko) 동영상부호화/복호화방법및장치
Chen et al. Bidirectional scalable motion for scalable video coding
CN103155556A (zh) 用于基于特征的视频编译的方法和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: GE VIDEO COMPRESSION, LLC

Free format text: FORMER OWNER: FRAUNHOFER-GESELLSCHAFT ZUR FORDERUNG DER ANGEWANDTEN FORSCHUNG E.V.

Effective date: 20150812

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150812

Address after: American New York

Patentee after: GE VIDEO COMPRESSION LLC

Address before: Munich, Germany

Patentee before: Fraunhofer Application and Research Promotion Association