CN101822059A - 可缩放视频的层间残差预测的方法和设备 - Google Patents

可缩放视频的层间残差预测的方法和设备 Download PDF

Info

Publication number
CN101822059A
CN101822059A CN200880111589A CN200880111589A CN101822059A CN 101822059 A CN101822059 A CN 101822059A CN 200880111589 A CN200880111589 A CN 200880111589A CN 200880111589 A CN200880111589 A CN 200880111589A CN 101822059 A CN101822059 A CN 101822059A
Authority
CN
China
Prior art keywords
tone
layer
mapping
inverse mapping
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880111589A
Other languages
English (en)
Other versions
CN101822059B (zh
Inventor
尹鹏
罗建聪
高永英
武宇文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
International Digital Madison Patent Holding SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN101822059A publication Critical patent/CN101822059A/zh
Application granted granted Critical
Publication of CN101822059B publication Critical patent/CN101822059B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了可缩放视频的层间残差预测的方法和设备。针对通过向图像块的层间残差预测处理应用色调逆映射来对图像的块进行编码的编码器或对图像的块进行解码的解码器，来描述一种设备，其中，色调逆映射在像素域中执行。还描述了用于对图像的块进行编码(440、460)或解码(540、560)的方法；并通过向块的层间预测处理应用色调逆映射来执行该方法，其中，色调逆映射在像素域中执行。

Description

可缩放视频的层间残差预测的方法和设备
相关申请的交叉引用
本申请要求于2007年10月15日提交的序列号为60/979,956的美国临时申请的权益，其全部公开一并在此作为参考。此外，本申请涉及标题为“METHODS AND APPARATUS FOR INTER-LAYER RESIDUEPREDICTION FOR SCALABLE VIDEO”、代理文档号为PU080157的非临时申请，该申请也要求于2007年10月15日提交的序列号为60/979,956的美国临时申请的权益，这是共同转让的，并入在此作为参考并与此一同提交。
技术领域
本发明总体上涉及视频编码和解码，更具体地，涉及可缩放视频的层间残差预测的方法和设备。
背景技术
“比特深度”，也可交换地称为“颜色深度”和/或“像素深度”，是指用于保持像素的比特的数目。比特深度确定可以一次显示的最大颜色数目。近年来，在许多应用领域中更期望具有比特深度大于8的数字图像和/或数字视频，这些应用领域包括但不限于，医疗图像处理、制作和后期制作的数字电影工作流、家庭影院相关应用、等等。
有若干处理例如8比特视频和10比特视频共存的方式。在第一现有技术解决方案中，仅传输10比特编码的比特流，并且通过向10比特呈现应用色调映射方法，来获得针对标准8比特显示设备的8比特呈现。色调映射是将较高比特深度转换成较低比特深度的公知技术，通常利用更有限的动态范围来近似媒体中高动态范围图像的表现。
在第二现有技术解决方案中，传输包括8比特编码呈现和10比特编码呈现的同时联播比特流。在选择对那种比特深度进行解码方面，这对于解码器而言是优选的。例如支持10比特的解码器可以解码和输出10比特视频，而仅支持8比特视频的正常解码器能够仅输出8比特视频。
第一解决方案固有地不符合国际标准化组织/国际电工委员会(ISO/IEC)运动图像专家组-4(MPEG-4)的第10部分高级视频编码(AVC)标准/国际电信联盟电信部(ITU-T)H.264推荐标准(下文称作“MPEG-4AVC标准”)的8比特简档。第二解决方案符合所有当前标准，但需要更多开销。然而，比特缩减和标准向后兼容性之间的良好折衷可能是可缩放解决方案。可缩放视频编码(SVC)也被称为MPEG-4AVC标准的可缩放扩展，考虑了对比特深度可缩放性的支持。
比特深度可缩放编码相比于后处理或联播具有至少三个优点。第一优点在于，比特深度可缩放编码实现了与MPEG-4AVC标准的高简档向后兼容方式的10比特视频。第二优点在于，比特深度可缩放编码实现了对不同网络带宽或设备能力的适应。比特深度可缩放编码的第三优点在于，提供低复杂性、高效率和高灵活性。
在MPEG-4AVC标准的当前可缩放视频编码扩展中，支持单循环解码，以降低解码复杂性。只有当前空间或粗增益可缩放(CGS)层需要帧间编码宏块的完全解码(包括运动补偿预测和去块)。这可以通过将层间帧内纹理预测约束到利用帧内宏块编码的较低层图像的那些部分来实现。为了针对比特深度可缩放性来扩展层间帧内纹理预测，使用色调逆映射。可缩放视频编码还支持层间残差预测。由于一般而言，在像素(空间)域中使用色调映射，所以很难在残差域中找到相应的色调逆映射。在第三和第四现有技术方法中，比特位移用于层间残差预测。
在被称为平滑参考预测(SRP)的第五现有技术方法(是无需比特深度可缩放性而增加单循环解码的层间编码效率的技术)中，当设置了语法元素residual_prediction_flag和base_mode_flag两者时，发送一个比特的语法元素smoothed_reference_flag。当smoothed_reference_flag等于1时，在解码器处采用以下步骤来获得重构的视频块：
1.使用增强层参考帧和来自基本层的上采样运动矢量，来获得预测块P；
2.对相应基本层残差块rb进行上采样，并将U(rb)与P相加以形成P+U(rb)；
3.首先沿着水平方向然后沿着垂直方向应用具有抽头[1，2，1]的平滑滤波器，以获得S(P+U(rh))；以及
4.将增加层残差块与(3)相加，以获得重构块R＝S(P+U(rb))+re。
转向图1，使用平滑参考预测的解码器的一部分总体上由参考数字100指示。
解码器部分100包括具有与组合器132的第一非反相输入进行信号通信的输出的运动补偿器112。组合器132的输出以信号通信的方式与开关142的输入相连接。开关142的第一输出以信号通信的方式与组合器162的第一非反相输入相连接。开关142的第二输出以信号通信的方式与滤波器152的输入相连接。滤波器152的输出以信号通信的方式与组合器162的第一非反相输入相连接。
参考帧缓冲器122的输出以信号通信的方式与运动补偿器112的第一输入相连接。
运动补偿器112的第二输入可用作至解码器部分100的输入，以接收增强层运动矢量。运动补偿器112的第三输入可用作至解码部分100的输入，以接收上采样的基本层运动矢量。组合器132的第二非反相输入可用作解码器部分100的输入，以接收上采样的基本层残差。开关142的控制输入可用作解码器部分100的输入，以接收smoothed_reference_flag语法元素。组合器162的第二非反相输入可用作解码器部分100的输入，以接收增加层残差。组合器162的输出可用作解码器部分100的输出，以输出重构的块R。
然而，不利地，先前现有技术不能直接与比特深度可缩放性一同使用。
发明内容
本发明原理解决了现有技术的这些和其他缺陷和缺点，本发明原理涉及可缩放视频的层间残差预测的方法和设备。
根据本发明的一个方面，提供了一种设备。该设备包括：通过向图像的块的层间残差预测处理应用色调逆映射来对图像的块进行编码的编码器。色调逆映射是在像素域中执行的，以支持比特深度可缩放性。
根据本发明的另一方面，提供了一种方法，该方法包括：通过向图像的块的层间残差预测处理应用色调逆映射，来对图像的块进行编码。色调逆映射是在像素域中执行的，以支持比特深度可缩放性。
根据本发明的又一方面，提供了一种设备。该设备包括：用于通过向图像的块的层间残差预测处理应用色调逆映射来对图像的块进行解码的解码器。色调逆映射是在像素域中执行的，以支持比特深度可缩放性。
根据本发明的又一方面，提供了一种方法，该方法包括：通过向图像的块的层间残差预测处理应用色调逆映射，来对图像的块进行解码。色调逆映射是在像素域中执行的，以支持比特深度可缩放性。
根据结合附图阅读的示例性实施例的以下详细描述，本发明的这些和其他方面、特征以及优点将变得显而易见。
附图说明
根据以下示例附图可以更好地理解本发明原理，在附图中：
图1是根据现有技术的使用平滑参考预测的解码器的一部分的框图；
图2是根据本发明实施例的可以应用本发明原理的示例性视频编码器的框图；
图3是根据本发明实施例的可以应用本发明原理的示例性解码器的框图；
图4是根据本发明实施例的使用针对比特深度可缩放性的层间残差预测进行编码的示例方法的流程图；以及
图5是根据本发明实施例的使用针对比特深度可缩放性的层间残差预测进行解码的示例方法的流程图。
具体实施方式
本发明原理涉及可缩放视频的层间残差预测的方法和设备。
本说明书示意了本发明原理。因此将理解的是，尽管这里没有明确描述或示出，本领域的技术人员将能够设想体现本发明原理并包括在本发明精神和范围内的各种布置。
这里所引述的所有示例和条件性语言均为了教导的目的，以帮助读者理解本发明原理以及发明人对现有技术做出贡献的构思，应看作不会被限制为这里具体引述的示例和条件。
此外，这里对本发明的原理、方面、实施例及其特定示例做出引述的所有声明意在包括本发明的结构和功能上的等同物。另外，该等同物将包括当前已知的等同物以及将来开发出的等同物，即所开发出来的执行相同功能的任何组件，而与结构无关。
因此，本领域的技术人员可以理解，例如这里所表示的框图展示出体现本发明的示意性电路的概念图。类似地，将理解，任何流程、流程图、状态转移图、伪代码等表现出实质上可以在计算机可读介质上表现的、并且由计算机或处理器执行的各个过程，无论是否明确示出该计算机或处理器。
可以通过使用专用硬件和能够执行适合的软件的关联软件的硬件而实现图中所示各个组件的功能。当由处理器来提供时，这些功能可以由单个的专用处理器、单个的共享处理器、或多个单独的处理器来提供，其中一些可以是共享的。此外，术语“处理器”或“控制器”的显式使用不应被解释为排他性地指代能够执行软件的硬件，而且可以隐式地包括(不限为)数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)以及非易失性存储器。
还可以包括常规和/或定制的其它硬件。类似地，图中所示的任何开关仅是概念上的。其功能可以通过程序逻辑的操作、专用逻辑、程序控制和专用逻辑的交互、或甚至是手动地实现，实施者可以选择的具体技术可以从上下文中得到明确的理解。
在权利要求书中，表示为用于执行指定功能的装置的任何组件意在包括执行该功能的任何方式，例如包括：a)执行该功能的电路元件的组合，或b)任意形式的软件，包括固件、微代码等，并与用于执行该软件以执行该功能的适合的电路进行组合。由权利要求所限定的本发明原理在于如下事实：将各个引述的装置所提供的功能以权利要求所要求的方式组合在一起。因此，可以把能够提供这些功能的任意装置看作与这里所示的装置相等同。
在说明书中涉及本发明原理的“一个实施例”或“实施例”是指：结合实施例描述的特定特征、结构、特性等包括在本发明的至少一个实施例中。因此，贯穿说明书在不同地方出现的短语“在一个实施例中”或“在实施例中”不必均指相同的实施例。此外短语“在另一实施例中”不排除与另一实施例全部或部分组合的所描述实施例的主题。
此外，应当理解的是，术语“和/或”的使用，例如在“A和/或B”的情况下，意在包括只选择第一所列项目(A)、只选择第二所列项目(B)、或选择两个项目(A和B)。作为另一示例，在“A、B和/或C”的情况下，这样的表示意在包括只选择第一所列项目(A)、只选择第二所列项目(B)、只选择第三所列项目(C)、选择第一和第二所列项目(A和B)、选择第一和第三所列项目(A和C)、选择第二和第三所列项目(B和C)、或选择所有三个项目(A和B和C)。对于本领域和相关领域的普通技术人员来说显而易见的是，对于所列的许多项目，上述是可以扩展的。
此外，应当理解，尽管这里关于MPEG-4AVC标准的可缩放视频编码扩展描述本发明的一个或多个实施例，但本发明原理不仅限于该扩展和/或该标准，并因此可以关于其他视频编码标准、推荐标准及其扩展来使用，同时保留本发明的精神。
此外，应当理解，以下描述在这里关于高比特视频的一个或多个示例使用10比特视频，本发明适用于大于8的任何数目比特，包括但不限于例如12比特、14比特等。
如这里所使用的，“高级别语法”是指在分级地位于宏块层之上的比特流中出现的语法。例如，如这里所使用的高级别语法可以指代但不限于片首部级、补充增强信息(SEI)级、图像参数集(PPS)级、序列参数集(SPS)级、网络抽象层(NAL)单元首部级处的语法。
如上所述，本发明原理涉及可缩放视频的层间残差预测的方法和设备。
转向图2，可以应用本发明原理的示例视频编码器总体上由参考数字200指示。
编码器200包括具有与变换器210的输入进行信号通信的输出的组合器205。变换器210的输出以信号通信的方式与量化器215的输入相连接。量化器的输出以信号通信的方式与熵编码器220的第一输入和逆量化器225的输入相连接。逆量化器225的输出以信号通信的方式与逆变换器230的输入相连接。逆变换器230的输出以信号通信的方式与组合器235的第一非反相输入连接。组合器235的输出以信号通信的方式与环路滤波器240的输入相连接。环路滤波器240的输出以信号通信的方式与运动估计器和层间预测确定器245的第一输入相连接。运动估计器和层间预测确定器245的输出以信号通信的方式与熵编码器220的第二输入以及运动补偿器255的输入相连接。运动补偿器255的输出以信号通信的方式与色调映射器260的输入相连接。色调映射器260的输出以信号通信的方式与组合器270的第一非反相输入相连接。组合器270的输出以信号通信的方式与平滑滤波器275的输入相连接。平滑滤波器275的输出以信号通信的方式与色调逆映射器280的输入相连接。色调逆映射器280的输出以信号通信的方式与组合器235的第二非反相输入以及组合器105的反相输入相连接。上采样器250的输出以信号通信的方式与运动估计器和层间预测确定器245的第二输入相连接。上采样器265的输出以信号通信的方式与组合器270的第二非反相输入相连接。
组合器205的输入可用作编码器200的输入，以接收高比特深度图像。上采样器250的输入可用作编码器200的输入，以接收基本层运动矢量。上采样器265的输入可用作编码器200的输入，以接收低比特深度基本层残差。熵编码器220的输出可用作编码器200的输出，以输出比特流。
转向图3，可以应用本发明原理的示例解码器总体上由参考数字300来指示。
解码器300包括具有与逆量化器310的输入进行信号通信的第一输出的熵解码器305。逆量化器310的输出以信号通信的方式与逆变换器315的输入相连接。逆变换器315的输出以信号通信的方式与组合器320的第一非反相输入相连接。
熵解码器305的第二输出以信号通信的方式与运动补偿器325的第一输入相连接。运动补偿器325的输出以信号通信的方式与色调映射器330的输入相连接。色调映射器330的输出以信号通信的方式与组合器335的第一非反相输入相连接。组合器335的输出以信号通信的方式与平滑滤波器340的第一输入相连接。平滑滤波器340的输出以信号通信的方式与色调逆映射器345的输入相连接。色调逆映射器345的输出以信号通信的方式与组合器320的第二非反相输入相连接。
上采样器350的输出以信号通信的方式与组合器335的第二非反相输入相连接。上采样器355的输出以信号通信的方式与运动补偿器325的第二输入相连接。
熵解码器305的输入可用作至解码器300的输入，以接收增强层比特流。运动补偿器325的第三输入可用作解码器300的输入，以接收多个增强层参考帧。平滑参考滤波器340的第二输入可用作至解码器300的输入，以接收平滑参考标志。上采样器350的输入可用作至解码器300的输入，以接收低比特深度基本层残差。上采样器355的输入可用作至解码器300的输入，以接收基本层运动矢量。组合器320的输出可用作解码器300的输出，以输出图像。
考虑到以下事实，比特深度可缩放性潜在地是有用的：在未来某个时间，传统8比特深度和高比特深度数字成像系统将同时存在于市场中。
根据本发明原理的一个或多个实施例，提出了比特深度可缩放性(BDS)的层间残差预测的新技术。
在比特深度可缩放性中，在使用单循环解码的情况下，当在增强层(较高比特深度层)处执行运动补偿时，很难应用针对层间残差预测的色调逆映射。因此，根据本发明原理，提出了新的层间残差预测技术，来提高比特深度可缩放性的编码效率。根据本发明原理的一个或多个实施例，不是在残差域中进行针对层间残差预测的色调逆映射，而是将针对层间残差预测的色调逆映射问题从残差域转换到像素域(空间域)。
出于示意的目的，这里提供了一个或多个示例，仅考虑比特深度和单循环解码结构的使用。然而，应当认识到，给出这里提供的本发明原理的教导的情况下，本领域和相关领域技术人员可以容易地将关于以上参考示例描述的本发明扩展成组合的可缩放性，包括但不限于，比特深度和空间可缩放性等等。此外，本发明原理可以容易地应用在多个循环解码体系结构中。当然，本发明原理不限于前述应用和变型，因此也可以相对于本发明原理采用本领域和相关领域技术人员容易确定的其他应用和变型，同时保持本发明原理的精神。
因此，在实施例中，如果使用层间残差预测，在将色调映射后的运动补偿预测和来自基本层的上采样残差相加之后，应用色调逆映射。仅针对比特深度可缩放性，空间上采样因子为1。
因此，根据实施例的编码方法的一个示例如下：
1.使用增强层参考帧来获得预测块P，然后将P色调映射到基本层中，得到T(P)；
2.对相应基本层残差块rb进行空间上采样，并将U(rb)与P相加以形成T(P)+U(rb)；
3.使用滤波器，以获得S(T(P)+U(rb))；
4.然后应用色调逆映射，以获得T-1(S(T(P)+U(rb)))；以及
5.通过从增强层块O中减去(4)，产生增强层残差块re，
re＝O-T-1(S(T(P)+U(rb)))。
转向图4，使用针对比特深度可缩放性的层间残差预测进行编码的示例方法总体上由参考数字400指示。
方法400包括将控制传递至判定框410的开始框405。判定框410确定是否应用层间运动预测。如果是，则将控制传递至功能框415。否则，将控制传递至功能框425。
功能框415使用基本层运动矢量，并将控制传递至功能框420。功能框420对基本层运动矢量进行上采样，并将控制传递至功能框430。
功能框425使用增强层运动矢量，并将控制传递至功能框430。
功能框430获得运动补偿后的块P，并将控制传递至功能框435。功能框435对P执行色调映射，以获得低比特深度T(P)，并将控制传递至功能框440。功能框440读取基本层纹理残差rb，并将控制传递至功能框445。功能框445计算P′＝T(P)+rb，并将控制传递至判定框450。判定框450确定是否应用平滑参考。如果是，则将控制传递至功能框455。否则，将控制传递至功能框460。
功能框455对P’应用平滑滤波，并将控制传递至功能框460。
功能框460对P’执行色调逆映射，以获得高比特深度预测T-1(P′)，并将控制传递至功能框465。功能框465从高比特深度预测T-1(P′)中减去在色调映射和色调逆映射运算之间的误差值，并将控制传递至功能框470。功能框470通过从原始图像中减去T-1(P′)，来获得增强层残差re，其中，re＝O-T-1(P′)，O表示原始图像，并将控制传递至结束块499。
根据实施例的解码方法的一个示例如下：
1.使用增强层参考帧来获得预测块P，然后将P色调映射到基本层中，得到T(P)；
2.对相应基本层残差块rb进行空间上采样，并将U(rb)与P相加以形成T(P)+U(rb)；
3.使用滤波器，以获得S(T(P)+U(rb))；
4.然后应用色调逆映射，以获得T-1(S(T(P)+U(rb)))；以及
5.将增强层残差块与(4)相加，来获得重构块
R＝T-1(S(T(P)+U(rb)))+re。
转向图5，使用针对比特深度可缩放性的层间残差预测进行解码的示例方法总体上由参考数字500指示。
方法500包括将控制传递至判定框510的开始框505。判定框510确定层间运动预测标志是否设置为真。如果是，则将控制传递至功能框515。否则，将控制传递至功能框525。
功能框515对基本层运动矢量进行读取和熵解码，并将控制传递至功能框520。功能框520对基本层运动矢量进行上采样，并将控制传递至功能框530。
功能框525对增强层运动矢量进行读取和熵解码，并将控制传递至功能框530。
功能框530获得运动补偿后的块P，并将控制传递至功能框535。功能框535对P执行色调映射以获得低比特深度T(P)，并将控制传递至功能框540。功能框540对基本层纹理残差rb进行读取和熵解码，并将控制传递至功能框545。功能框545计算P′＝T(P)+rb，并将控制传递至判定框550。判定框550确定平滑参考标志是否设置为真。如果是，则将控制传递至功能框555。否则，将控制传递至功能框560。
功能框555对P’应用平滑滤波，并将控制传递至功能框560。
功能框560对P’执行色调逆映射，以获得高比特深度预测T-1(P′)，并将控制传递至功能框565。功能框565向高比特深度预测T-1(P′)中加上在色调映射和色调逆映射运算之间的误差值，并将控制传递至功能框567。功能框567对增强层残差re进行读取和熵解码，并将控制传递至功能框570。功能框570获得重构块R，其中，R＝T-1(P′)+re，并将控制传递至结束块599。
已经注意到，在现有技术中，如果不使用层间运动预测，则通过来自增强层的运动矢量来产生运动补偿后的块P，或者如果使用层间运动预测，则根据来自基本层的上采样的运动矢量来产生运动补偿后的块P。在本发明的实施例中，本发明的技术可以用于以上两种情况。在另一实施例中，当使用层间运动预测时，只需将本发明的技术进行组合。如果不使用层间运动预测，如参照以上第三和第四现有技术方法，则将比特位移应用于残差预测。
同样，可以交换第三和第四现有技术方法的方案。即，首先执行滤波，然后执行色调逆映射。备选地，首先执行色调逆映射，然后执行滤波。滤波器可以是线性的、或非线性的、一维的、或二维的等等。在一个示例中，可以首先垂直地、然后水平地使用3抽头滤波器[1 2 1]。该滤波器也可以是相同的，从不需要第三现有技术过程。
因此，根据本发明原理的一个实施例，通过信号通知来通知色调映射和色调逆映射这两个方法。可以使用算法计算、查找表等来执行该信号通知。可以在序列、图像、片或块级别上来执行该信号通知。由于色调映射和色调逆映射不是真正可逆的，即，T-1(T)≠I，可以考虑误差I-T-1(T)，其中，I表示单位元素。在一个示例中，由于T-1(T(P))≠P，可以考虑误差d＝P-T-1(T(P))。即，在编码器侧，减去d。在解码器侧，加上d。
现在将对本发明的许多附加优点/特征给出描述，其中的一些以上已经提及。例如，一个优点/特征是一种设备，该设备具有通过向图像的块的层间残差预测处理应用色调逆映射来对图像的块进行编码的编码器。色调逆映射是在像素域中执行的，以支持比特深度可缩放性。
另一优点/特征是具有编码器的上述设备，其中，编码器通过以下操作来执行层间残差预测处理：在图像的增强层中执行运动补偿以获得增强层预测；执行将增强层预测色调映射到图像的基本层中，以获得块的色调映射后的运动补偿低比特深度预测；将来自基本层的空间上采样残差与块的色调映射后的运动补偿低比特深度预测相加，以获得和；以及执行将该和色调逆映射到增强层中，以获得块的较高比特深度预测。
又一优点/特征是具有编码器的上述设备，其中，该编码器在执行色调逆映射之前还通过向和应用平滑滤波，来执行层间残差预测处理。该色调逆映射是在滤波后的和上执行的。
又一优点/特征是具有编码器的上述设备，其中，高级别语法元素和块级别语法元素中的至少一个用于信号通知色调映射和色调逆映射中的任一个。
此外，另一优点/特征是具有编码器的上述设备，其中，高级别语法元素包括在片首部、序列参数集、图像参数集、查看参数集、网络抽象层单元首部、以及补充增强信息消息中的至少一个中。
此外，另一优点/特征是具有编码器的上述设备，其中，编码器还通过从块的较高比特深度预测中减去在色调映射和色调逆映射之间的误差值，来执行层间残差预测处理。
基于这里的教导，本领域的普通技术人员可以容易地确定本发明的这些以及其它特征和优点。应理解的是，本发明的教导可以以硬件、软件、固件、专用处理器或其组合的各种形式来实现。
最优选地，将本发明的教导实现为硬件和软件的组合。此外，可以将该软件实现为在程序存储单元上具体体现的应用程序。可将该应用程序上载到包括任何适合架构在内的机器并由该机器执行。优选地，在具有硬件(如，一个或多个中央处理单元(“CPU”)、随机访问存储器(“RAM”)以及输入/输出(“I/O”)接口)的计算机平台上实现该机器。该计算机平台还可以包括操作系统和微指令代码。这里描述的各种处理和功能可以是可由CPU执行的微指令代码的一部分或应用程序的一部分，或其组合。此外，可将其它各种外围单元连接到计算机平台，如附加的数据存储单元和打印单元。
还应理解的是，由于在附图中描述的一些构成系统组件和方法优选地以软件来实现，根据对本发明原理编程的方式，系统组件或处理功能块之间的实际连接可以有所不同。在这里给出教导的情况下，本领域的普通技术人员将能够想到本发明的这些以及类似的实现方式或配置。
虽然这里参考附图描述了示意性的实施例，但是应理解的是，本发明并不限于这些确定的实施例，在不背离本发明的范围或精神的情况下，本领域的普通技术人员可以实现各种变化和修改。旨在将所有这些变化和修改包括在如所附权利要求中所阐述的本发明的范围内。

Claims (15)

1.一种设备，包括：
编码器(200)，用于通过向针对图像的块的层间残差预测过程应用色调逆映射，来对所述图像的块进行编码，其中所述色调逆映射是在像素域中执行的。
2.根据权利要求1所述的设备，其中，所述编码器(200)通过以下操作来执行层间残差预测过程：在图像的增强层中执行运动补偿以得到增强层预测；将增强层预测色调映射到图像的基本层，以得到所述块的色调映射后的运动补偿低比特深度预测；将来自基本层的空间上采样后的残差加上所述块的色调映射后的运动补偿低比特深度预测，以得到和；以及将所述和色调逆映射到增强层，以得到所述块的较高比特深度预测。
3.根据权利要求2所述的设备，其中，所述编码器(200)还通过在执行色调逆映射之前向所述和应用平滑滤波，来执行层间残差预测过程，其中所述色调逆映射是对滤波后的和执行的。
4.根据权利要求2所述的设备，其中，使用高级别语法元素和块级别语法元素中的至少一个，来信号通知色调映射和色调逆映射中的任何一个。
5.根据权利要求4所述的设备，其中，高级别语法元素包含在以下中的至少一项中：片首部、序列参数集合、图像参数集合、查看参数集合、网络抽象层单元首部、以及补充增强信息消息。
6.根据权利要求2所述的设备，其中，所述编码器(200)还通过从所述块的较高比特深度预测中减去色调映射与色调逆映射之间的误差值，来执行层间残差预测过程。
7.根据权利要求1所述的设备，其中，色调逆映射是在像素域中执行的，以支持比特深度可缩放性。
8.一种方法，包括：
通过向针对图像的块的层间残差预测过程应用色调逆映射，来对所述图像的块进行编码，其中所述色调逆映射是在像素域中执行的(440，460)。
9.根据权利要求8所述的方法，其中，层间残差预测过程包括：
在图像的增强层中执行运动补偿，以得到增强层预测(430)；
将增强层预测色调映射到图像的基本层，以得到所述块的色调映射后的运动补偿低比特深度预测(435)；
将来自基本层的空间上采样后的残差加上所述块的色调映射后的运动补偿低比特深度预测，以得到和(440，445)；以及
将所述和色调逆映射到增强层，以得到所述块的较高比特深度预测(460)。
10.根据权利要求9所述的方法，其中，层间残差预测过程还包括：在执行色调逆映射的步骤之前，向所述和应用平滑滤波，其中所述色调逆映射是对滤波后的和执行的(455)。
11.根据权利要求9所述的方法，其中，高级别语法元素和块级别语法元素中的至少一个用于信号通知色调映射和色调逆映射中的任何一个(435，460)。
12.根据权利要求11所述的方法，其中，高级语法元素包含在以下中的至少一项中：片首部、序列参数集合、图像参数集合、查看参数集合、网络抽象层单元首部以及补充增强信息消息。
13.根据权利要求9所述的方法，其中，层间残差预测过程还包括：从所述块的较高比特深度预测中减去色调映射与色调逆映射之间的误差值(465)。
14.根据权利要求8所述的方法，其中，色调逆映射是在像素域中执行的，以支持比特深度可缩放性。
15.一种计算机可读存储介质，其上编码了视频数据，包括：
图像的块，所述图像的块是通过向所述块的层间残差预测过程应用色调逆映射来编码的，其中所述色调逆映射是在像素域中执行的。
CN2008801115895A 2007-10-15 2008-10-14 可缩放视频的层间残差预测的方法和设备 Active CN101822059B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US97995607P 2007-10-15 2007-10-15
US60/979,956 2007-10-15
PCT/US2008/011712 WO2009051694A2 (en) 2007-10-15 2008-10-14 Methods and apparatus for inter-layer residue prediction for scalable video

Publications (2)

Publication Number Publication Date
CN101822059A true CN101822059A (zh) 2010-09-01
CN101822059B CN101822059B (zh) 2012-11-28

Family

ID=40493616

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2008801108139A Active CN101822055B (zh) 2007-10-15 2008-10-14 可缩放视频的层间残差预测的方法和设备
CN2008801115895A Active CN101822059B (zh) 2007-10-15 2008-10-14 可缩放视频的层间残差预测的方法和设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN2008801108139A Active CN101822055B (zh) 2007-10-15 2008-10-14 可缩放视频的层间残差预测的方法和设备

Country Status (8)

Country Link
US (2) US8537894B2 (zh)
EP (2) EP2206350B1 (zh)
JP (2) JP5534522B2 (zh)
KR (2) KR101436671B1 (zh)
CN (2) CN101822055B (zh)
BR (2) BRPI0818648A2 (zh)
TW (2) TWI528831B (zh)
WO (2) WO2009051694A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104412591A (zh) * 2012-07-09 2015-03-11 高通股份有限公司 用于差域帧内预测的帧内模式扩展
CN105659603A (zh) * 2013-10-03 2016-06-08 高通股份有限公司 用于视频译码的高精度显式经加权预测
WO2023072216A1 (en) * 2021-10-28 2023-05-04 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8184693B2 (en) 2008-04-11 2012-05-22 Intel Corporation Adaptive filtering for bit-depth scalable video codec
HUE031487T2 (en) * 2008-04-16 2017-07-28 Ge Video Compression Llc Bit depth scalability
WO2010090630A1 (en) * 2009-02-03 2010-08-12 Thomson Licensing Methods and apparatus for motion compensation with smooth reference frame in bit depth scalability
BRPI1008372A2 (pt) * 2009-02-11 2018-03-06 Thomson Licensing métodos e aparelho para codificação e decodificação de vídeo escalável com profundidade de bit utilizando mapeamento de tons e mapeamento inverso de tons
JP5589006B2 (ja) * 2009-03-13 2014-09-10 ドルビー ラボラトリーズ ライセンシング コーポレイション 高ダイナミックレンジ、視覚ダイナミックレンジ及び広色域のビデオの階層化圧縮
JP5237212B2 (ja) * 2009-07-09 2013-07-17 キヤノン株式会社 画像処理装置、画像処理方法
US20110134315A1 (en) * 2009-12-08 2011-06-09 Avi Levy Bi-Directional, Local and Global Motion Estimation Based Frame Rate Conversion
CN107105229B9 (zh) 2011-04-14 2020-03-31 杜比实验室特许公司 图像解码方法、视频解码器和非暂态计算机可读存储介质
WO2012148883A1 (en) 2011-04-25 2012-11-01 Dolby Laboratories Licensing Corporation Non-linear vdr residual quantizer
US8891863B2 (en) * 2011-06-13 2014-11-18 Dolby Laboratories Licensing Corporation High dynamic range, backwards-compatible, digital cinema
CN103975594B (zh) * 2011-12-01 2017-08-15 英特尔公司 用于残差预测的运动估计方法
TWI556629B (zh) * 2012-01-03 2016-11-01 杜比實驗室特許公司 規定視覺動態範圍編碼操作及參數
WO2013162450A1 (en) * 2012-04-24 2013-10-31 Telefonaktiebolaget L M Ericsson (Publ) Encoding and deriving parameters for coded multi-layer video sequences
US9219913B2 (en) 2012-06-13 2015-12-22 Qualcomm Incorporated Inferred base layer block for TEXTURE—BL mode in HEVC based single loop scalable video coding
EP2868078A4 (en) * 2012-06-27 2016-07-27 Intel Corp PREDICTION OF RESIDUES BETWEEN LAYERS AND BETWEEN CHANNELS
CA2878807C (en) 2012-07-09 2018-06-12 Vid Scale, Inc. Codec architecture for multiple layer video coding
US9854259B2 (en) 2012-07-09 2017-12-26 Qualcomm Incorporated Smoothing of difference reference picture
CA2807404C (en) * 2012-09-04 2017-04-04 Research In Motion Limited Methods and devices for inter-layer prediction in scalable video compression
US20140086319A1 (en) * 2012-09-25 2014-03-27 Sony Corporation Video coding system with adaptive upsampling and method of operation thereof
US10085017B2 (en) 2012-11-29 2018-09-25 Advanced Micro Devices, Inc. Bandwidth saving architecture for scalable video coding spatial mode
RU2651241C2 (ru) * 2012-12-13 2018-04-18 Сони Корпорейшн Передающее устройство, способ передачи, приемное устройство и способ приема
US20140192880A1 (en) * 2013-01-04 2014-07-10 Zhipin Deng Inter layer motion data inheritance
CN116320392A (zh) 2013-01-04 2023-06-23 Ge视频压缩有限责任公司 高效可伸缩编码概念
WO2014161355A1 (en) * 2013-04-05 2014-10-09 Intel Corporation Techniques for inter-layer residual prediction
CN117956144A (zh) 2013-04-08 2024-04-30 Ge视频压缩有限责任公司 多视图解码器
US20160142593A1 (en) * 2013-05-23 2016-05-19 Thomson Licensing Method for tone-mapping a video sequence
WO2015099401A1 (ko) 2013-12-24 2015-07-02 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
MX364028B (es) * 2013-12-27 2019-04-11 Sony Corp Aparato y metodo de procesamiento de imagenes.
WO2015147426A1 (ko) * 2014-03-24 2015-10-01 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
JP6510039B2 (ja) * 2014-10-02 2019-05-08 ドルビー ラボラトリーズ ライセンシング コーポレイション ジャダー可視性制御のためのデュアルエンドメタデータ
EP3076669A1 (en) * 2015-04-03 2016-10-05 Thomson Licensing Method and apparatus for generating color mapping parameters for video encoding

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004045217A1 (en) * 2002-11-13 2004-05-27 Koninklijke Philips Electronics N.V. Transmission system with colour depth scalability
US7295345B2 (en) * 2003-04-29 2007-11-13 Eastman Kodak Company Method for calibration independent defect correction in an imaging system
US8218625B2 (en) * 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US20050259729A1 (en) 2004-05-21 2005-11-24 Shijun Sun Video coding with quality scalability
US7483486B2 (en) * 2004-07-02 2009-01-27 Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V. Method and apparatus for encoding high dynamic range video
DE102004059993B4 (de) 2004-10-15 2006-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Bewegungsdaten-Prädiktion sowie Computerprogramm und computerlesbares Medium
US7876833B2 (en) * 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
US8483277B2 (en) * 2005-07-15 2013-07-09 Utc Fire & Security Americas Corporation, Inc. Method and apparatus for motion compensated temporal filtering using split update process
US8014445B2 (en) * 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104412591A (zh) * 2012-07-09 2015-03-11 高通股份有限公司 用于差域帧内预测的帧内模式扩展
CN105659603A (zh) * 2013-10-03 2016-06-08 高通股份有限公司 用于视频译码的高精度显式经加权预测
CN105659603B (zh) * 2013-10-03 2018-09-14 高通股份有限公司 编码及解码视频数据的方法、装置及计算机可读存储媒体
WO2023072216A1 (en) * 2021-10-28 2023-05-04 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Also Published As

Publication number Publication date
JP2011501564A (ja) 2011-01-06
CN101822055B (zh) 2013-03-13
BRPI0817769A2 (pt) 2015-03-24
US8537894B2 (en) 2013-09-17
US8385412B2 (en) 2013-02-26
BRPI0818648A2 (pt) 2015-04-07
WO2009051694A3 (en) 2009-06-04
WO2009051692A3 (en) 2009-06-04
TWI528831B (zh) 2016-04-01
EP2206350A2 (en) 2010-07-14
EP2206350B1 (en) 2015-03-04
JP5534522B2 (ja) 2014-07-02
TW200935914A (en) 2009-08-16
KR101436671B1 (ko) 2014-09-02
WO2009051692A2 (en) 2009-04-23
TWI422231B (zh) 2014-01-01
JP5534521B2 (ja) 2014-07-02
CN101822059B (zh) 2012-11-28
US20100208809A1 (en) 2010-08-19
KR101492302B1 (ko) 2015-02-23
WO2009051694A2 (en) 2009-04-23
KR20100085106A (ko) 2010-07-28
CN101822055A (zh) 2010-09-01
US20100208810A1 (en) 2010-08-19
KR20100081988A (ko) 2010-07-15
JP2011501563A (ja) 2011-01-06
EP2206349A2 (en) 2010-07-14
EP2206349B1 (en) 2015-03-11
TW200935913A (en) 2009-08-16

Similar Documents

Publication Publication Date Title
CN101822059B (zh) 可缩放视频的层间残差预测的方法和设备
CN101828401B (zh) 用于比特深度缩放的伪像去除的方法和设备
JP6214511B2 (ja) トーンマッピング及び逆トーンマッピングを利用したビット深度スケーラブル映像符号化及び復号化の方法及び装置
CN102308579B (zh) 位深可分级中使用平滑参考帧的运动补偿的方法和设备
CN101491099B (zh) 使用虚拟参考画面的方法及装置
CN101288311B (zh) 用于可分级视频编码和解码中的加权预测的方法和装置
CN102067609B (zh) 利用降低的比特深度更新模式和降低的色度采样更新模式进行视频编码和解码的方法及装置
CN109845255A (zh) 用于将解块滤波器应用于重构视频数据的系统和方法
JP2008259174A (ja) コンピュータにより実施される動きベクトルのマッピング方法、動きベクトルをマッピングするトランスコーダ及び動きベクトルをマッピングするデコーダ
CN107277512A (zh) 用于空间变化残差编码的方法和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: French Boulogne - Bilang Kurt

Patentee before: THOMSON LICENSING

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190130

Address after: Paris France

Patentee after: International Digital Madison Patent Holding Co.

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

Effective date of registration: 20190130

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING