CN105580369B - 使用分层编码对多格式高动态范围视频进行编解码的方法、装置及系统 - Google Patents

使用分层编码对多格式高动态范围视频进行编解码的方法、装置及系统 Download PDF

Info

Publication number
CN105580369B
CN105580369B CN201480014456.1A CN201480014456A CN105580369B CN 105580369 B CN105580369 B CN 105580369B CN 201480014456 A CN201480014456 A CN 201480014456A CN 105580369 B CN105580369 B CN 105580369B
Authority
CN
China
Prior art keywords
image
stream
enhancement layer
coding
base layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480014456.1A
Other languages
English (en)
Other versions
CN105580369A (zh
Inventor
苏冠铭
萨米尔·N·胡利亚尔卡尔
陈涛
曲晟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN105580369A publication Critical patent/CN105580369A/zh
Application granted granted Critical
Publication of CN105580369B publication Critical patent/CN105580369B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

编码器接收要在分层表示中使用多个编码格式来存储和传输的输入增强动态范围(EDR)图像。层分解器根据EDR图像生成较低动态范围(LDR)图像。一个或更多个基本层(BL)编码器对LDR图像进行编码以生成主编码BL流和一个或更多个次级编码BL流，其中每个次级BL流以与主编码BL流不同的编码格式来编码。使用主编码BL流、LDR图像以及输入EDR图像来生成单个增强层(EL)编码流和相关的元数据。输出编码流包括：编码EL流、元数据以及主编码BL流或者多个次级编码BL流中的一个次级编码BL流。还描述了用于EDR图像的计算可伸缩解码和显示管理处理。

Description

使用分层编码对多格式高动态范围视频进行编解码的方法、 装置及系统
相关申请的交叉引用
本申请要求2013年3月11日提交的美国临时专利申请第61/776,610 号以及2013年10月22日提交的美国临时专利申请第61/894,198号的优先权，通过引用将其全部内容并入本文。
技术领域
本发明一般涉及视频图像。更具体地，本发明的实施方式涉及使用分层编码对具有高动态范围或增强动态范围的多格式视频图像进行分布。
背景技术
如本文所用，术语“动态范围”(DR)可以涉及人类心理视觉系统 (HVS)感知图像中的强度(例如，照度、亮度)的范围(例如从最暗暗色(黑色)到最亮亮色(白色))的能力。在这个意义上，DR涉及“场景相关”强度。DR也可以涉及显示设备充分或大约呈现特定宽度的强度范围的能力。在这个意义上，DR涉及“显示相关”强度。除非明确指定特定意义在本文描述中的任何点处具有特别重要性，可以推断的是，该术语可以在任一意义上例如可以互换来使用。
如本文所用，术语高动态范围(HDR)涉及跨越人类视觉系统(HVS) 的14至15个数量级的DR宽度。例如，(例如，在统计、生物特征或眼科意义中的一个或更多个中)基本正常的良好适应的人具有跨越大约15 个数量级的强度范围。适应的人可以感知如一小撮光那么少的暗淡光源。另外，相同的这些人可以感知在沙漠、海或雪中的正午太阳的接近痛苦的耀眼强度(或者甚至瞥过太阳，但简短地以防止受伤)。然而，这个跨度可用于“适应的”人，例如其HVS具有用于复位和调整的时间段的人。
与此相反，人可以同时感知强度范围中的广泛宽度的DR可以相对于 HDR被截短。如本文所用，术语增强动态范围(EDR)或视觉动态范围 (VDR)可以单独地或可互换地涉及能够由HVS同时感知的DR。如本文所用，EDR可以涉及跨越5至6个数量级的DR。因此，虽然也许EDR 相对于真实场景相关HDR较窄，但是EDR表示广泛的DR宽度。
在实践中，图像包括一个或更多个颜色分量(例如，亮度Y以及色度Cb和Cr)，其中，每个颜色分量由每像素n比特的精度来表示(例如， n＝8)。使用线性编码的图像(其中n≤8，(例如，彩色24比特JPEG图像))被视为标准动态范围的图像，而其中n>8的图像可以被视为增强动态范围的图像。也可以使用高精度(例如，16比特)浮点数格式(例如由工业光魔研发的OpenEXR文件格式)来存储和分布EDR图像和HDR 图像。
大多数用户的台式显示器支持200至300cd/m2或nit的照度。大多数用户的HDTV的范围为从300至1000cd/m2。因此，这种传统的显示器相对于HDR或EDR使低动态范围(LDR)典型化，LDR也被称为标准的动态范围(SDR)。随着EDR内容的可用性由于捕获装备(如摄像机)和EDR显示器(例如来自杜比实验室的PRM-4200专业基准监测器)的进步而增加，EDR内容可以为渐变色并且可以显示在支持较高动态范围 (例如，从1000nit到5000nit或更大)的EDR显示器上。
可以通过多个参数来表征视频信号，所述多个参数例如比特深度、颜色空间、色域以及分辨率。现代电视机和视频重放设备(如蓝光播放器) 支持多种分辨率，包括标准清晰度(例如，720×480i)和高清晰度(HD) (例如，1920×1080p)。超高清晰度(UHD)是具有至少3,840×2,160 分辨率(简称为4K UHD)和用于进行高达7,680×4320(简称为8K UHD) 的选项的下一代分辨率格式。超高清晰度也可以称为超HD、UHDTV或超高视。如本文所用，UHD表示高于HD分辨率的任何分辨率。
为了向后支持与传统重放设备的兼容性以及新的HDR或UHD显示技术，多个比特流层可以用于将UHD和HDR(或EDR)视频数据从上游设备传送至下游设备。鉴于这样的多层流，传统解码器可以使用一组层来重构内容的HD EDR版本。高级解码器可以使用第二组层来重构内容的UHD EDR版本，以将其呈现在功能更强的显示器上。如发明人所理解的，用于编码的改进技术和多格式EDR视频的分布是理想的。
在本部分中描述的方法是可以实行的方法，但不一定是先前已经构思或实行的方法。因此，除非另有说明，否则不应当假定在本部分描述的方法中的任何方法仅仅由于其包含在本部分中而有资格作为现有技术。类似地，除非另有说明，相对于一个或更多个方法而确定的问题不应该认为是基于本部分而在任何现有技术中已被认识。
附图说明
在附图中通过示例并且以非限制的方式示出了本发明的实施方式，在附图中相似的附图标记指代相似的元件，并且在附图中：
图1A、图1C和图1G描绘了根据本发明的实施方式的针对用于EDR 图像的分层的多格式编码系统的示例数据流；
图1B、图1D、图1E、图1F以及图1H描绘了根据本发明的实施方式的针对用于EDR图像的分层的多格式解码系统的示例数据流；
图2描绘了根据本发明的实施方式的针对用于EDR图像的计算可伸缩或分辨率可伸缩显示管理处理的示例；
图3描绘了根据本发明的实施方式的示例可再配置解码器系统；以及
图4A和图4B描绘了根据本发明的实施方式的用于配置可再配置解码器系统中的基本层伸缩器和增强层伸缩器的两个示例决策处理。
具体实施方式
本文描述了对具有增强动态范围(EDR)的多格式视频图像的高效分布和计算可伸缩解码。在以下的描述中，出于说明的目的，阐述了许多具体细节以提供对本发明的彻底理解。然而，明显的是可以在没有这些具体细节的情况下实施本发明。在其他实例中，没有详细描述公知的结构和设备以避免对本发明的不必要的封闭、模糊或混淆。
概述
本文描述的示例实施方式涉及对具有高动态范围或增强动态范围的多格式视频图像的分布。编码器接收输入增强动态范围(EDR)图像序列，该图像要在分层表示中使用多个编码格式来存储或传输。层分解处理使用输入EDR图像来生成较低动态范围(LDR)图像。编码器使用一个或更多个基本层(BL)编码器来编码LDR图像以生成主编码BL流和一个或更多个次级编码BL流，其中，以与主编码BL流不同的编码格式来编码每个次级BL流。使用主编码BL流、LDR图像以及输入EDR图像来生成单个增强层(EL)编码流和相关的元数据。输出编码EDR流包括编码 EL流、元数据、以及主编码BL流或者多个次级编码BL流中的一个次级编码BL流。
在一些实施方式中，以与主编码BL流不同的分辨率来编码次级编码 BL流。
在一些实施方式中，以与主编码BL流不同的比特率来编码次级BL 流。
在一些实施方式中，使用与主编码BL流不同的编码标准来编码次级 BL流。
在一些实施方式中，生成单个BL编码流、主EL编码流以及一个或更多个次级编码EL流，其中，使用与主编码EL流不同的编码格式来编码次级编码EL流中的每个次级编码EL流。输出编码EDR流包括编码 BL流、用于生成编码BL流和主编码EL流的元数据，以及主编码EL流或者多个次级编码EL流中的一个次级编码EL流。
在解码器中，所接收到的编码EDR信号包括具有第一空间分辨率的编码BL流、具有低于第一空间分辨率的第二空间分辨率的编码EL流以及用于基于解码BL流来预测EDR图像的预测函数。合成器对预测EDR 图像和解码EL图像进行组合以生成EDR输出图像。在一个实施方式中，将解码EL图像上采样至第一空间分辨率，并且对具有第一空间分辨率的所有图像进行合成。在另一实施方式中，将解码BL图像下采样至第二空间分辨率，并且对具有第二空间分辨率的所有图像进行合成；然后对合成器的输出进行上采样以生成具有第一分辨率的输出EDR图像。
EDR解码器可能不具有足够的计算能力来以EDR信号的全空间分辨率进行对EDR信号的显示管理。在计算可伸缩解码器中，对具有第一空间分辨率的输入EDR图像进行下采样以生成具有低于第一空间分辨率的第二空间分辨率的第一下采样EDR图像。对第一下采样EDR图像进行上采样以生成具有第一空间分辨率的第二EDR图像。残差图像表示输入 EDR图像的像素与第二EDR图像的像素之间的差。显示管理处理对第一下采样EDR图像进行操作以生成低分辨率DM图像。对低分辨率DM图像进行上采样以生成具有第一空间分辨率的中间DM信号，以及将残差图像添加至中间DM信号以生成全分辨率DM信号。
在可再配置EDR解码器中BL伸缩器和EL伸缩器中的每个伸缩器可以被配置成取决于编码信号的空间分辨率、编码BL流和编码EL流的空间分辨率以及目标显示的分辨率来进行向上伸缩、向下伸缩或不伸缩。进行配置以使得解码EDR信号不需要输出伸缩并且EDR解码器中的伸缩操作被最少化。
针对多格式EDR信号的编码器和解码器
分层编码和解码
现有显示和回放设备(例如HDTV、机顶盒或蓝光播放器)通常支持高达1080p HD分辨率(例如，1920×1080，60帧每秒)的信号。对于用户应用，现在通常以亮度-色度颜色格式使用每颜色分量每像素8比特的比特深度来压缩这样的信号，其中，通常色度分量具有与亮度分量相比较低的分辨率(例如，YCbCr或YUV，4:2:0颜色格式)。因为8比特深度和相应的低动态范围，所以这样的信号通常被称为具有标准动态范围 (SDR)的信号。
随着新的电视标准(例如超高清晰度(UHD))的发展。期望对具有增强分辨率和/或增强动态范围的信号进行编码。
图1描绘了支持对具有增强动态范围(EDR)的UHD信号进行编码的系统的实现的实施方式。编码器包括基本层(BL)编码器(120)和增强层(EL)编码器(170)。在实施方式中，BL编码器120可以包括新的基于标准的编码，例如HEVC编码器，而EL编码器可以是传统的编码器，例如AVC(或H.264)编码器。然而，该系统适用于已知的编码器或未来的编码器的任意组合，而无论这些编码器是基于标准的编码器还是专有的编码器。
在一些实施方式中，例如可以由上游设备(例如图1A的EDR图象编码器100)使用基本层和一个或更多个增强层来将一个或更多个视频信号(或编码比特流)中的EDR图像数据传送至下游设备(例如，图1B 的EDR图像解码器105)。编码图像数据可以包括较低比特深度(例如8 比特或10比特)的基本层图像数据112和增强层图像数据172，其中，基本层图像数据112从较高比特深度(例如12比特或更多比特)EDR输入图像102量化并且在编码基本层图像容器122中承载，以及增强层图像数据172包括根据基本层图像数据生成的预测图像数据142和EDR图像102 之间的残差值。可以由下游设备接收并使用基本层图像数据和增强层图像数据，以重构为输入EDR图像(102)的接近近似的EDR输出(197)。
在一些实施方式中，编码基本层图像数据122可能不是后向兼容于传统编码SDR格式；相反，基本层图像数据连同增强层图像数据一起被优化以用于重构用于在EDR显示器上观看的高质量EDR图像。
图1A描绘了根据示例实施方式的分层EDR编码器架构。在实施方式中，可以在YCbCr 4：2：0颜色空间中进行基本层和增强层中的所有视频编码。EDR图像编码器100和EDR图像解码器105中的每个可以由一个或更多个计算设备来实现。
EDR图像编码器(100)被配置成接收高分辨率(例如，UHD)输入 EDR图像(102)。如本文所用，“输入EDR图像”指代可以用于获得输入图像的EDR版本的增强动态范围图像数据或高动态范围图像数据(例如，通过高端图像获取设备等捕获的原始图像数据)。输入EDR图像102 可以处于支持高动态范围色域的任何颜色空间。在实施方式中，输入EDR 图像是16比特YCbCr图像，其可能原始处于RGB空间。如本文所用，对于具有多个颜色分量(例如，RGB或YCbCr)的图像，术语n比特图像(例如，12比特图像或8比特图像)表示下述图像：该图像的颜色分量的每个像素由n比特像素表示。例如，在8比特RGB图像中，每个像素包括三个颜色分量，每个颜色分量(例如，R、G或B)由8比特表示，每个颜色像素总计24比特。
每个像素可以可选地和/或替代地包括针对颜色空间中的一个或更多个通道的上采样像素值或下采样像素值。应当指出的是，在一些实施方式中，除了三基色(如红、绿及蓝)之外，不同基色可以同时在如本文所述的颜色空间中使用，例如以支持宽的色域；在这些实施方式中，如本文所述的图像数据包括针对这些不同基色的附加像素值并且可以通过本文所述的技术同时处理。
EDR至基本层量化器(从现在起被称为层分解器，LD)110将EDR 输入102转换成较低深度的BL图像(112)(例如，8比特图像)。在通过引用将其全部内容并入本文的在2012年11月1日由G-M.Su等人提交的题为“分层VDR编码中的层分解”的PCT申请第PCT/US2012/062932 (“932申请”)中描述了LD处理的示例。取决于BL编码器120的比特深度能力，可以通过裁剪处理115来(例如，针对8比特信号在范围(0， 255)中)裁剪BL信号112的像素值。
BL图像编码器(120)被配置成编码/格式化BL图像(112)以生成编码(或压缩)BL图像122。在一些实施方式中，在基本层图像容器中的图像数据不用于产生被优化以用于在SDR显示器上观看的SDR图像；相反，在基本层图像容器中的图像数据被优化以在较低比特深度图像容器中包括最优量的基本层图像数据，以用于最小化针对编码EDR图像的总比特需求以及提高最终解码图像(197)的总体质量。BL编码器可以是任何公知的视频编码器，例如由ISO/IEC MPEG-2、MPEG-4、部分2、H.264 或HEVC标准指定的编码器或者其他编码器(例如谷歌的VP8、微软的 VC-1等)。
EDR图像编码器(100)中的BL解码器(130)将在基本层图像容器中的图像数据解码为解码基本层图像135。信号135表示将由兼容接收机接收的解码BL。解码基本层图像135不同于BL图像(112)，因为解码基本层图像包括在由BL编码器(120)和BL解码器(130)进行的编码操作和解码操作中引入的编码变化、舍入误差和近似。
预测器处理140基于解码BL流135(或者，在一些实施方式中，LDR 信号112或裁剪步骤的输出115)来进行与预测EDR信号102相关的一个或更多个操作。预测器140试图实现与在LD 110中进行的操作相反的操作。在“932PCT申请”和通过引用将其全部内容并入本文的在2012 年4月13日由G-M.Su等人提交的题为“多颜色通道多回归分析预测器”的PCT申请第PCT/US2012/033,605中描述了这种预测器的示例实施方式。从EDR输入102中减去预测器输出142以生成残差152。
在一些实施方式中，可以通过裁剪掩模处理155来处理残差图像152，裁剪掩模处理155将残差图像152的特定值设置成固定值。令vi,si,及 ri分别表示输入EDR信号102、BL信号112、预测EDR信号142以及残差信号152。如前所述，如果si大于预定阈值TBL(例如，针对8比特编码，TBL＝255)，则在裁剪115期间，如果si>TBL，则si＝TBL。给定第二阈值TEL(例如，针对8比特编码，TEL＝250)，然后在对残差的裁剪掩模裁剪155期间，如果si<TEL，则将对应的残差值ri设置成固定值(例如，如果si<TBL，则ri＝0)，否则，在增强层编码流中对残差ri进行编码。因此，在基本层和增强层这两层中都编码(例如，当TEL<si<TBL时)的量化像素值的窄范围之外，在或者BL或者EL中对输入流值进行编码。
在示例实施方式中，EDR图像编码器(100)中的增强层量化器(NLQ) 160被配置成使用由一个或更多个NLQ参数确定的NLQ函数将EDR残差值(152)从高比特深度数字表示(例如，16比特)量化成较低数字表示(例如，8比特)。NLQ函数可以为线性、分段线性或非线性。在通过引用将其全部内容并入本文的在2012年4月24日由G-M Su等人提交的题为“非线性VDR残差量化器”的PCT申请第PCT/US2012/034747中描述了非线性NLQ设计的示例。
在一些实施方式中，NLQ 160可以跟随有空间分辨率下采样器(例如，从4K分辨率下降到2K分辨率)。在一些实施方式中，下采样器165可以在NLQ 160之前。在NLQ和下采样之后，裁剪167确保要被编码的所有残差值处于由EL编码器170支持的动态范围内(例如，针对8比特编码器的(0，255))。
增强层(EL)编码器170被配置成对增强层图像容器中的残差值进行编码以生成编码EL流172。EL编码器170可以是任何公知的视频编码器，例如由ISO/IEC MPEG-2、MPEG-4、部分2、H.264或HEVC标准指定的编码器或者其他编码器(例如谷歌的VP8、微软的VC-1等)。EL 编码器和BL编码器可以不同或相同。
可以将在LD 110、预测器140以及NLQ 160中使用的一组参数传输至下游设备(例如，EDR图像解码器105)，作为补充增强信息(SEI) 或在(例如增强层中的)视频比特流中可用的其他类似的元数据携带(例如元数据142和元数据162)的一部分。如本文中所定义的，术语“元数据”可以涉及被传输作为编码比特流的一部分并且辅助解码器呈现解码图像的任何辅助信息。这样的元数据可以包括但不限于下述信息：如本文所述的颜色空间信息或色域信息、动态范围信息、色调映射信息或其他预测器算子、向上伸缩算子以及量化器算子。
在生成分层EDR流的所有部分之后，编码EL流(172)、编码BL 流(122)以及相关的元数据被复用并且分组化，以使得它们可以被存储在存储介质中和/或被传输至解码器。
在一些实施方式中，可以以与EDR输入102的原始分辨率相比较低的空间分辨率(例如，以720p或1080p)来压缩BL信号112。然后，可以在由BL编码器120对EDR信号102进行编码之前对EDR信号102进行下采样。可以在LD处理110之前或之后来进行下采样。在其中在BL 编码之前对BL信号进行下采样的情况下，可以在预测步骤140之前或之后适当地进行上采样，以使得信号102和信号104具有匹配的空间分辨率。
图1B描绘了根据示例实施方式的双层EDR视频解码器105。该解码器被配置成接收在包括基本层122和一个或更多个增强层(例如，172) 的多个层(或多个比特流)中的输入视频信号。
如图1B所描绘的，BL解码器180被配置成基于输入编码基本层视频信号122来生成解码基本层图像182。在一些实施方式中，BL解码器 180可以与EDR图像编码器(100)中的BL解码器130相同或基本相似。将BL解码输出182传递给预测器(或反向BL量化器)190以生成EDR 估计图像192。预测器190可以与预测器140相同或基本相似。预测器190 可以利用输入元数据142来提取所需的预测参数。
与EL编码器170对应的EL解码器175用于对所接收的编码EL流 172进行解码以生成解码量化残差流176。将解码流176传递至反向EL 量化器(NLdQ)185以生成残差187。在一些实施方式中，如果对原始 EL流进行下采样(165)，则通过由舍入处理或裁剪处理179跟随的对应的上采样器177来处理解码EL流175，以使得上采样像素不超过NLdQ 的输入动态范围。NLdQ 185将低比特深度残差(例如8比特)映射成高比特深度(例如16比特)残差187，高比特深度(例如16比特)残差187 被添加至预测EDR流192以生成最终解码EDR信号197，最终解码EDR 信号197表示原始EDR信号102的接近近似。还可以通过显示管理(DM) (例如，参见图2)处理来后处理EDR信号197以匹配用于在合适的EDR 显示器上呈现的信号需求。
如图1B所描绘的，在解码处理105期间也可以由预测器190和反向量化器185来使用所接收到的、包括由EDR编码器100计算出的量化参数和预测参数的元数据142和元数据162。
多格式分布
在一些实施方式中，媒体服务器可能需要跨各种传输媒介来将EDR 输入102传输至具有针对编码格式(例如压缩算法或标准)、编码比特率以及空间分辨率的不同支持的接收器。
图1C描绘了支持对EDR视频信号的这种多格式传输的系统(100B) 的另一实施方式。如图1C所描绘的，除了以第一比特率编码的原始BL 流122(例如4K流)之外，内容提供者可以提供具有不同比特率和/或分辨率的附加BL流(例如122B和122C)。BL编码器120B和120C可以与BL编码器120相同(例如，基于HEVC)但是以不同的比特率进行压缩，或者BL编码器120B和120C以及BL编码器120可以是不同的编码器(例如，基于H.264或其他压缩方案)。可选的下采样器(例如，125) 还可以创建比主BL流122具有更低分辨率的BL流。所有的这些BL流 (例如，122，122B以及122C)可以存储在共享公共EL流(172)和单个一组元数据(例如，142和162)的服务器上，从而在媒介分布服务器上节省相当大的存储空间。给定传输需求和编码格式需求，编码器100B 将对输出流进行复用，所述输出流包括：编码EL流172、被生成以用于编码主BL流(122)的元数据(142，162)、以及或者主编码BL流(122) 或者补充编码BL流(122B，122C)中的一个补充编码BL流。
图1D描绘了用于对多格式FDR流进行解码的实施方式。给定输入编码BL比特流122或122B，解码器105B与之前所述的解码器105相同。给定较低分辨率BL流122C，解码器105B与解码器105相比包括附加的上采样器188。上采样器188用于补偿在编码器100B中使用的下采样器 (125)。BL解码器180C也对应于BL编码器120C。
图1E描绘了当BL流的分辨率与压缩EL流172的空间分辨率相匹配时对较低分辨率BL流122C(例如2K流)进行解码的替代实施方式。在解码器105C中，可以用在合成器195之后设置的单个上采样器198来替换解码器105B的两个上采样器177和188。
图1G描绘了其中服务器可以使用单个BL流(122)和多个EL流 (172A，172B及172C)而不是使用单个EL流(172)和多个BL流的替代编码实施方式(100C)。在这种配置中，在对残差(160)的EL量化之后，可以使用主EL编码器(170A)来编码残差以生成具有主编码格式的编码EL流(172A)，以及使用一个或更多个替代编码器(170B，170C) 来编码残差以生成具有补充编码格式的编码EL流(172B，172C)。例如 EL编码器170C可以是具有与编码器170A不同的比特率或比特深度或者使用不同编码标准的压缩信号162。替代地，EL编码器170B可以是具有与EL编码器170A不同的空间分辨率的编码信号162。给定传输需求和编码格式需求，编码器将对输出流进行复用，该输出流包括：编码BL流 122、被生成以用于编码主BL流(122)和主编码EL流的元数据(142， 162)、以及主编码EL流(172A)或者补充编码EL流(172B，172C) 中的一个补充编码EL流。
图1H描绘了适于接收和解码由多格式编码器100C传输的信号的多格式解码器(105E)的示例实施方式。如105E所描绘的，EL解码器(175) 的输出可能需要被上采样器(177)来上采样，以使得在合成处理195期间预测器(192)和反向量化器(187)的输出具有匹配的分辨率和颜色格式。
计算可伸缩解码
在具有硬件加速器的一些解码器中，使用这些加速器对图像数据进行下采样或上采样可能在计算上比使用通用CPU以引入BL流(122)的全空间分辨率(例如，4K)来进行图像预测(190)和合成(195)(或者其他操作)更高效。图1F描绘了支持计算可伸缩解码的解码数据流的示例实施方式。
如图1F所描绘的，在BL解码180之后由下采样器193来对其输出进行下采样。下采样器193可以具有与编码器100中的下采样器165系统相同的下采样比率(例如，2：1)，因此解码器105D与解码器105相比可能不需要上采样器177和裁剪处理179。在解码器105D中，以更低的空间分辨率来进行可以由通用CPU进行的预测190和合成195，因此减小了CPU上的总体计算负荷。在合成195之后将其输出197上采样(198) 回到全分辨率以生成EDR输出199。
在一些实施方式中，在解码器中，在重构了EDR信号(197或199) 之后，信号可以通过显示管理(DM)处理来将所接收到的EDR信号的动态范围映射成目标显示设备的动态范围。在通过引用将其全部内容并入本文的在2013年2月21日由R.Atkins等人提交的题为“用于高动态范围视频的显示管理”的美国临时申请第61/767,380中描述了用于EDR信号的示例DM处理。由于DM处理的潜在复杂性，传统的接收器可能不能够对全分辨率图像进行DM。可替代地，目标显示可能也不支持所接收到的EDR信号的全分辨率。例如，所接收到的信号可以是UHD(例如 4K)信号，但是该信号可以在HD(例如，1080p)显示器或UHD(例如 4K)显示器上显示。图2描绘了针对计算可伸缩和/或分辨率可伸缩DM 处理的示例实施方式。
如图2所描绘，在DM处理215之前，使用本领域任意公知的图像处理下采样滤波器来下采样(例如，通过两倍)所接收到的信号202。在并行路径中，还将下采样信号207上采样(210)回到原始分辨率，并且生成残差信号(232)。残差信号232表示由于下采样/上采样处理而生成的误差。在DM处理215完成之后，DM输出217适于在较低分辨率目标显示器上显示。可替代地，可以上采样(220)DM输出217以将其显示在高分辨率显示器上。为了提高总体质量，可以将残差信号232添加回到上采样器(222)的输出以生成用于高分辨率显示的最终显示映射信号227。可再配置解码
正如前面提到的，比特率需求或处理需求可以强制编码器(例如，100) 来传输具有不同分辨率的编码BL流和编码EL流。例如，考虑到编码基本层流(122)包括(例如，使用HEVC编码的)10比特UHD流的情况，而编码EL流(172)包括(例如，使用AVC编码的)8比特HD流的情况。现在，考虑下述情况，在解码器上目标EDR显示可能仅支持HD分辨率。如图1B所描绘的，对于这样的分层比特流，UHD EDR解码器(105) 需要在合成(195)UHD EDR输出(197)之前对解码EL流(176)进行上采样(177)；然而，由于目标显示不支持UHD分辨率，所以在这种情形下，需要附加的下采样器(未示出)来将UHD EDR信号(197)转换成HD EDR信号。忽略解码需求和预测需求，这种情形将需要：
·8比特HD至UHD向上伸缩器(例如，177)
·14比特UHD至HD输出向下伸缩器，以及
·UHD合成器(例如，195)
图3描绘了可以容纳各种比特流和目标显示分辨率的通用可再配置 EDR解码器(300)的示例实施方式。将解码器(300)与之前的解码实施方式(例如，105或105d)相比，除了BL解码器(180)、EL解码器 (175)、预测器(190)、非线性去量化器(NLdQ 185)以及合成器(195) 之外，解码器(300)还可以包括BL伸缩器(305)、EL伸缩器(310) 以及可选的输出伸缩器(315)。在实施方式中，所有的伸缩器可以以三个模式进行操作：向上伸缩至目标分辨率、向下伸缩至目标分辨率或者不操作(NOP)。在NOP模式下不进行伸缩，也就是说，伸缩器被旁路并且伸缩器的输出具有与其输入相同的分辨率。
可是使用一个或更多个处理器以软件或硬件来实现这些伸缩器。伸缩单元可以是不同的，也就是说，可以由不同的处理器并行地进行BL伸缩和EL伸缩，或者可以使用单个处理器来在时间上复用伸缩操作。
回到之前的示例，在其中BL流分辨率＝UHD、EL流分辨率＝HD以及目标显示分辨率＝HD的情况下，如前所述，在传统的解码实现下，三个伸缩器可以被设置如下：
BL伸缩器：NOP
EL伸缩器：从HD上采样至UHD
输出伸缩器：从UHD下采样至HD
由于解码器已知目标显示的分辨率，假定解码器(例如，通过由编码器发送的流342或362中的元数据)预先已知BL流和EL流的分辨率，在更高效的解码器中可以将对输出伸缩操作(315)的实现移动并结合至 BL伸缩操作和EL伸缩操作，以减少处理功率和/或硬件资源。例如在优选实施方式中，三个伸缩器可以被设置如下：
BL伸缩器：从UHD下采样至HD
EL伸缩器：NOP
输出伸缩器：NOP
在这种情形下，解码需要：
·UHD至HD向下转换器
·HD合成器
这代表相对于之前所述的传统实现而言显著降低的计算成本和硬件成本，其中，传统实现需要：上采样器、下采样器以及UHD合成器。
可以扩展下述方法以得到针对所有可能情形的最优架构：所述方法为在最小化伸缩操作的数量以及以具有最小可能的空间分辨率来利用合成器时考虑目标显示、原始源、BL流以及EL流的分辨率。图4A和图4B 描绘了针对可再配置EDR解码器的最优设置的决策处理的示例实施方式。
如图4A所描绘的，在实施方式中，根据下述分辨率输入(405)来配置BL伸缩器(305)和EL伸缩器(310)：原始EDR输入源的分辨率 (RO)(例如，EDR输入(102)或EDR输出(197)的分辨率)、目标显示的分辨率(RT)以及分别表示为RB和RE的所接收到的BL流和EL流的分辨率。作为示例，这些分辨率中的每个分辨率可以约束为UHD或 HD；然而这些方法适用于具有任何空间分辨率的信号。
在步骤(407)中，对目标分辨率显示是否小于默认输出分辨率RO (例如输入信号的分辨率)进行确定。如果不是这样，也就是说，目标显示分辨率(例如UHD)等于或大于视频信号分辨率(例如，HD或UHD)，则在步骤(415)中，如所需的那样，可以将BL流和EL流上采样至目标分辨率。例如，如果RO＝RT＝UHD、RB＝UHD并且RE＝HD，则将EL 伸缩器设置成上采样至UHD以及将BL伸缩器设置成NOP。输出伸缩器总是设置成NOP。图4B还描绘了步骤(415)的扩展版本的示例。
如果RO>RT，则进行关于BL流和EL流是否具有相同分辨率的第二确定(420)。如果是，则进行关于其分辨率是否与已知为高于目标显示分辨率的默认视频分辨率(RO)相匹配或者其分辨率是否大于目标显示分辨率的决策。如果是(例如，RB>RT或者RE>RT)，则在步骤(430)中将BL伸缩器和EL伸缩器都设置成从输入分辨率下采样至目标显示分辨率，否则在步骤(435)中将BL伸缩器和EL伸缩器都设置成NOP。输出伸缩器总是设置成NOP。
如果RB和RE不同，则将它们进行比较(440)。如果RB>RE，则在步骤(450)中，将BL伸缩器设置成向下伸缩至HD，并且将EL伸缩器设置成NOP。如果RB<RE，则在步骤(445)中，将BL伸缩器设置成 NOP并且将EL伸缩器设置成向下伸缩至HD。
在另一实施方式中，如果RO≤RT，则可以用下述决策树来替换与 (420)、(425)以及(440)相关的确定步骤：
如果(RB>RT)，则BL伸缩器：下采样
否则，BL伸缩器：NOP
如果(RE>RT)，则EL伸缩器：下采样
否则，EL伸缩器：NOP
图4B中描绘了这种实施方式的示例实现。如本领域普通技术人员所理解的，可以适用类似于上述方法的其他方法来产生相同的结果。例如，在实施方式中，决策步骤的次序可以不同(例如，可以在检查是否RB>RT之前检查是否RE>RT)。注意，在所提出的重新配置下，输出伸缩器总是被设置为NOP，因此在大多数实施方式中，可以去除输出伸缩器。如果解码器输出信号(197)需要任何伸缩，则目标显示的伸缩器可以承受该伸缩。
非限制性地，作为示例，如果四个输入分辨率(405)中的每个输入分辨率可以采取两个可能值(例如，UHD和HD)，则存在有16种可能的输入配置，该16种可能的输入配置可以映射成九种可能的硬件配置。表1总结了当RO＝UHD时针对主要感兴趣的八种情况的推荐的伸缩器设置。
表1：当对UHD EDR流进行解码时的BL伸缩器和EL伸缩器设置
R<sub>B</sub> R<sub>E</sub> R<sub>T</sub> BL伸缩器 EL伸缩器
HD HD HD NOP NOP
HD UHD HD NOP 向下伸缩
UHD HD HD 向下伸缩 NOP
UHD UHD HD 向下伸缩 向下伸缩
HD HD UHD 向上伸缩 向上伸缩
HD UHD UHD 向上伸缩 NOP
UHD HD UHD NOP 向上伸缩
UHD UHD UHD NOP NOP
示例计算机系统实现
可以用计算机系统、在电子电路和部件中配置的系统、集成电路(IC) 设备(如微控制器)、现场可编程门阵列(FPGA)或另一可配置或可编程逻辑设备(PLD)、离散时间或数字信号处理器(DSP)、专用IC(ASIC) 和/或包括一个或更多个这种系统、设备或部件的装置来实现本发明的实施方式。计算机和/或IC可以进行、控制或执行与对如本文所述的具有增强动态范围的多格式图像进行分层编码和分层解码相关的指令。计算机和 /或IC可以计算涉及本文所述的分层编码处理和分层解码处理的任何各种参数或值。可以以硬件、软件、固件及其各种组合来实现图像和视频实施方式。
本发明的某些实施方式包括执行软件指令的计算机处理器，所述软件指令使处理器执行本发明的方法。例如，显示器、编码器、机顶盒、代码转换器等中的一个或更多个处理器可以通过执行可访问处理器的程序存储器中的软件指令来实现与上述的对多格式EDR图像进行分层编码和分层解码相关的方法。也可以以程序产品的形式提供本发明。程序产品可以包括承载一组计算机可读信号的任何介质，所述计算机可读信号包括下述指令，所述指令当由数据处理器执行时使数据处理器执行本发明的方法。根据本发明的程序产品可以具有任何各种各样的形式。例如，程序产品可以包括物理介质如：磁数据存储介质，包括软盘、硬盘驱动器；光学数据存储介质，包括CD ROM、DVD；电子数据存储介质，包括ROM、闪速RAM等。程序产品中的计算机可读信号可以可选地被压缩或加密。
部件(例如，软件模块、处理器、组件、设备、电路等)是指如上所述，除非另外指出，对部件的引用(包括对“装置”的引用)应被解释为：包括作为部件的等同物的进行所描述的部件的功能的任何部件(例如，功能上等同)，包括结构上不等同于所公开的结构、并且进行本发明所示出的示例实施方式中的功能的部件。
等同、扩展、替代以及其他
因此，描述了设计对多格式EDR图像的高效分层编码和解码的示例实施方式。在前述的说明书中，已经参照可能取决于实现方式而不同的许多具体细节描述了本发明的实施方式。因此，关于本发明是什么以及本申请人意在限定本发明是什么的基础和排他指示是根据本申请包括任何后续修改以这样的权利要求以其发布的特定形式发布的一组权利要求。本文针对包含在权利要求中的术语而明确阐述的任何定义应该决定如权利要求中所使用的这些术语的含义。因此，权利要求中没有明确记载的限制、元件、特性、特征、优点或属性不应该以任何形式限制权利要求的范围。因此，说明书和附图应被认为是说明性的意义而不是限制性的意义。

Claims (18)

1.一种用于使用多个编码格式来对增强动态范围图像进行编码的方法，所述方法包括：
接收具有第一空间分辨率的输入增强动态范围图像(102)；
使用层分解器(110)来分解所述输入增强动态范围图像以生成较低动态范围图像(112)；
使用第一基本层编码器(120)来对所述较低动态范围图像进行编码，以生成第一编码基本层流(122)；
特征在于：
使用第二基本层编码器(120B)来对所述较低动态范围图像进行编码，以生成第二编码基本层流(122B)，其中，所述第二编码基本层流(122B)包括与所述第一编码基本层流(122)的编码格式参数不同的至少一个编码格式参数，所述编码格式参数包括编码算法、编码比特率或编码比特流的空间分辨率；
使用预测器(140)将预测函数(140)应用至所述第一编码基本层流(122，135)，以生成预测增强动态范围图像(142)；
计算残差图像(152)，所述残差图像(152)表示所述预测增强动态范围图像(142)的像素值与所述输入增强动态范围图像(102)的像素值之间的差；
将裁剪掩模(155)应用至所述残差图像以生成裁剪掩模图像，其中，应用裁剪掩模包括：如果所述较低动态范围图像(112)的对应的像素值低于预定的增强层阈值，则将所述残差图像的像素值设置成预定的固定值；
将增强层量化器(160)应用至所述裁剪掩模图像，以生成增强层图像；
使用增强层编码器(170)来对所述增强层图像进行编码，以生成编码增强层流(172)；以及
对表示所述第一编码基本层流(122)、所述第二编码基本层流(122B)及单个编码增强层流(172)的数据以及表示所述预测函数(142)的一组元数据进行编码以及存储；
传输表示所述编码增强层流(172)、所述预测函数(142)以及取决于所需要的编码格式参数的或者所述第一编码基本层流(122)或者所述第二编码基本层流(122B)的数据。
2.根据权利要求1所述的方法，其中，所述第一编码基本层流(122)和所述第二编码基本层流(122B)是非后向兼容的，并且其中，所述第一编码基本层流(122)或所述第二编码基本层流(122B)连同所述单个编码增强层流(172)一起被优化以重构用于在增强动态范围显示器上观看的高质量增强动态范围图像。
3.根据权利要求1或2所述的方法，其中，为了使针对编码增强动态范围图像的总比特需求最小化以及提高最终解码增强动态范围图像的总体质量，编码基本层流中的图像数据被优化以在较低比特深度图像容器中包括最优量的图像数据。
4.一种用于使用多个编码格式来对增强动态范围图像进行编码的方法，所述方法包括：
接收具有第一空间分辨率的输入增强动态范围图像(102)；
使用层分解器(110)来分解所述输入增强动态范围图像以生成较低动态范围图像(112)；
使用第一基本层编码器(120)来对所述较低动态范围图像进行编码，以生成第一编码基本层流(122)；
特征在于：
使用第二基本层编码器(120B)来对所述较低动态范围图像进行编码，以生成第二编码基本层流(122B)，其中，所述第二编码基本层流(122B)包括与所述第一编码基本层流(122)的编码格式参数不同的至少一个编码格式参数，所述编码格式参数包括编码算法、编码比特率或编码比特流的空间分辨率；
使用预测器(140)将预测函数(140)应用至所述第一编码基本层流(122，135)，以生成预测增强动态范围图像(142)；
计算残差图像(152)，所述残差图像(152)表示所述预测增强动态范围图像(142)的像素值与所述输入增强动态范围图像(102)的像素值之间的差；
将裁剪掩模(155)应用至所述残差图像以生成裁剪掩模图像，其中，应用裁剪掩模包括：如果所述较低动态范围图像(112)的对应的像素值低于预定的增强层阈值，则将所述残差图像的像素值设置成预定的固定值；
将增强层量化器(160)应用至所述裁剪掩模图像，以生成增强层图像；
使用增强层编码器(170)来对所述增强层图像进行编码，以生成编码增强层流(172)；以及
对表示所述编码增强层流(172)、所述预测函数(142)以及所述第一编码基本层流(122)或者所述第二编码基本层流(122B)的数据进行编码以及存储或传输，
其中，所述第一编码基本层流(122)和所述第二编码基本层流(122B)是非后向兼容的，并且其中，所述第一编码基本层流(122)或所述第二编码基本层流(122B)连同所述编码增强层流(172)一起被优化以重构用于在增强动态范围显示器上观看的高质量增强动态范围图像。
5.根据权利要求1或4所述的方法，包括：存储或传输在所述层分解器(110)、所述预测器(140)以及所述增强层量化器(160)中使用的参数作为元数据(142，162)。
6.根据权利要求1或2或4所述的方法，包括：无论所述第一编码基本层流的分辨率或比特率如何，都使用单个预测器(140)来应用所述预测函数。
7.根据权利要求1或2或4所述的方法，其中，所述第一基本层编码器(120)与所述第二基本层编码器(120B)相同。
8.根据权利要求1或2或4所述的方法，还包括：将所述裁剪掩模图像下采样(165)至低于所述第一空间分辨率的第二空间分辨率，以生成下采样增强层图像，其中，在应用所述增强层量化器(160)之前或之后执行所述下采样，以及编码增强动态范围流是基于所述下采样增强层图像。
9.根据权利要求1或2或4所述的方法，其中，所述第一基本层编码器包括HEVC兼容编码器，以及所述增强层编码器包括H.264兼容编码器。
10.根据权利要求1或2或4所述的方法，其中，使用8比特的比特深度来对所述第一编码基本层流和所述编码增强层流进行编码，所述预定的增强层阈值为250，以及所述预定的固定值为0。
11.一种用于减小在对根据前述权利要求中任一项所述的方法编码的高分辨率增强动态范围信号进行解码期间的计算负荷的方法，所述方法包括：
接收编码流，所述编码流包括：具有第一空间分辨率和低于目标增强动态范围的较低动态范围的编码基本层流、具有第二空间分辨率和低于所述目标增强动态范围的较低动态范围的编码增强层流以及用于预测函数的参数，其中，所述第一空间分辨率高于所述第二空间分辨率；
使用基本层解码器(180)来对所述编码基本层流进行解码，以生成解码基本层图像；
使用增强层解码器(175)来对所述编码增强层流进行解码，以生成解码增强层图像；
下采样所述解码基本层图像，以生成具有所述第二空间分辨率的第二基本层图像；
通过将所述预测函数应用至所述第二基本层图像来生成预测增强动态范围图像；
使用所述预测增强动态范围图像和所述解码增强层图像来合成(195)第一增强动态范围图像(197)；以及
上采样(198)所述第一增强动态范围图像(197)以生成具有所述第一空间分辨率的输出增强动态范围图像(199)。
12.根据权利要求11所述的方法，其中，所述第一空间分辨率为4KUHD，以及所述第二空间分辨率为HD。
13.一种用于使用多个编码格式来对增强动态范围图像进行编码的方法，所述方法包括：
接收具有第一空间分辨率的输入增强动态范围图像(102)；
使用层分解器(110)来分解所述输入增强动态范围图像，以生成较低动态范围图像(112)；
使用第一基本层编码器(120)来对所述较低动态范围图像进行编码，以生成编码基本层流(122)；
特征在于：
使用预测器(140)将预测函数(140)应用至所述编码基本层流(122，135)，以生成预测增强动态范围图像(142)；
计算残差图像(152)，所述残差图像(152)表示所述预测增强动态范围图像(142)的像素值与所述输入增强动态范围图像(102)的像素值之间的差；
将裁剪掩模(155)应用至所述残差图像，以生成裁剪掩模图像，其中，应用裁剪掩模包括：如果所述较低动态范围图像(112)的对应的像素值低于预定的增强层阈值，则将所述残差图像的像素值设置成预定的固定值；
将增强层量化器(160)应用至所述裁剪掩模图像，以生成增强层图像(162)；
使用第一增强层编码器(170A)来对所述增强层图像进行编码，以生成第一编码增强层流(172A)；
使用第二增强层编码器(170B)来对所述增强层图像进行编码，以生成第二编码增强层流(172B)，其中，所述第二编码增强层流(172B)包括与所述第一编码增强层流(172)的编码格式参数不同的至少一个编码格式参数，所述编码格式参数包括编码算法、编码比特率或编码比特流的空间分辨率；以及
对表示单个编码基本层流(122)、所述预测函数(142)、所述第一编码增强层流(172A)以及所述第二编码增强层流(172B)的数据进行编码以及存储；
传输表示所述编码基本层流(122)、所述预测函数(142)以及取决于所需要的编码格式的或者所述第一编码增强层流(172A)或者所述第二编码增强层流(172B)的数据。
14.根据权利要求13所述的方法，还包括：下采样(165)所述增强层图像(162)以生成下采样增强层图像，以及基于所述下采样增强层图像来生成所述第二编码增强层流。
15.根据权利要求1、2、4、13至14中任一项所述的方法，还包括：
将所述裁剪掩模图像下采样(165)至低于所述第一空间分辨率的第二空间分辨率，以生成下采样增强层图像；
基于所述下采样增强层图像来生成所述编码增强层流(172)；
将所述较低动态范围图像(112)下采样(125)至所述第二空间分辨率，以生成第三基本层图像；
使用基本层编码器(120C)来对所述第三基本层图像进行编码，以生成第三编码基本层流(122C)；
将表示所述编码增强层流(172)、所述预测函数(142)以及所述第三编码基本层流(122C)的数据传输至解码器；
在所述解码器处接收表示所述编码增强层流(172)、所述预测函数(142)以及所述第三编码基本层流(122C)的数据以生成解码增强动态范围图像，所述解码包括：
对所述第三编码基本层流(122C)进行解码，以生成解码基本层图像(182)；
将所述预测函数(142)应用(190)至所述解码基本层图像(182)以生成预测增强动态范围图像(190)；
对所述编码增强层流(172)进行解码，以生成解码增强层图像(176，187)；
组合(195)所述解码增强层图像(176，187)和所述预测增强动态范围图像(192)，以生成中间增强动态范围图像(197)；
将所述中间增强动态范围图像上采样(198)至所述第一空间分辨率，以生成所述解码增强动态范围图像(199)。
16.一种包括处理器的装置，还包括存储器，所述处理器被配置成执行所述存储器中存储的指令来实现根据权利要求1至15所述的方法中的任一种方法。
17.一种包括编码器和解码器的系统，所述编码器被配置成执行根据权利要求1至10以及13至14中任一项所述的方法，以及所述解码器被配置成执行根据权利要求11或12所述的方法。
18.一种存储有计算机可执行指令的非暂态计算机可读存储介质，所述计算机可执行指令用于执行根据权利要求1至15中任一项所述的方法。
CN201480014456.1A 2013-03-11 2014-02-14 使用分层编码对多格式高动态范围视频进行编解码的方法、装置及系统 Active CN105580369B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361776610P 2013-03-11 2013-03-11
US61/776,610 2013-03-11
US201361894198P 2013-10-22 2013-10-22
US61/894,198 2013-10-22
PCT/US2014/016544 WO2014163793A2 (en) 2013-03-11 2014-02-14 Distribution of multi-format high dynamic range video using layered coding

Publications (2)

Publication Number Publication Date
CN105580369A CN105580369A (zh) 2016-05-11
CN105580369B true CN105580369B (zh) 2019-04-26

Family

ID=50272706

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480014456.1A Active CN105580369B (zh) 2013-03-11 2014-02-14 使用分层编码对多格式高动态范围视频进行编解码的方法、装置及系统

Country Status (5)

Country Link
US (1) US11146803B2 (zh)
JP (1) JP6205000B2 (zh)
CN (1) CN105580369B (zh)
HK (1) HK1223474A1 (zh)
WO (1) WO2014163793A2 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2819414A3 (en) * 2013-06-28 2015-02-25 Samsung Electronics Co., Ltd Image processing device and image processing method
US9538155B2 (en) 2013-12-04 2017-01-03 Dolby Laboratories Licensing Corporation Decoding and display of high dynamic range video
CN111901599B (zh) 2014-06-27 2024-05-14 松下知识产权经营株式会社 再现装置
JP6862830B2 (ja) * 2014-12-29 2021-04-21 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
CN107750456B (zh) * 2015-04-13 2022-02-11 V-诺瓦国际有限公司 利用依赖于复杂性信息的一个信号的数据速率目标对多个信号进行编码
WO2017015397A1 (en) * 2015-07-22 2017-01-26 Dolby Laboratories Licensing Corporation Video coding and delivery with both spatial and dynamic range scalability
US10834407B2 (en) 2015-07-28 2020-11-10 Dolby Laboratories Licensing Corporation SDR bit depth enhancement via codeword range amplification in a codec with inverse display management
US9992502B2 (en) 2016-01-29 2018-06-05 Gopro, Inc. Apparatus and methods for video compression using multi-resolution scalable coding
US10291910B2 (en) 2016-02-12 2019-05-14 Gopro, Inc. Systems and methods for spatially adaptive video encoding
US10163030B2 (en) 2016-05-20 2018-12-25 Gopro, Inc. On-camera image processing based on image activity data
US20170359596A1 (en) * 2016-06-09 2017-12-14 Apple Inc. Video coding techniques employing multiple resolution
WO2018041244A1 (en) * 2016-09-02 2018-03-08 Mediatek Inc. Incremental quality delivery and compositing processing
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US10198862B2 (en) 2017-01-23 2019-02-05 Gopro, Inc. Methods and apparatus for providing rotated spherical viewpoints
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US11032345B2 (en) 2018-05-10 2021-06-08 Microsoft Technology Licensing, Llc Client side data stream processing
AU2019315029A1 (en) * 2018-08-03 2021-03-11 V-Nova International Limited Transformations for signal enhancement coding
JP2022508741A (ja) * 2018-10-09 2022-01-19 ヴイ－ノヴァ インターナショナル リミテッド 複数解像度を使う階層コーディングスキーム内での信号エレメントコーディングフォーマット互換性
GB201817784D0 (en) * 2018-10-31 2018-12-19 V Nova Int Ltd Methods,apparatuses, computer programs and computer-readable media
EP3959709A1 (en) 2019-04-23 2022-03-02 Dolby Laboratories Licensing Corporation Display management for high dynamic range images
US20220272342A1 (en) * 2019-07-05 2022-08-25 V-Nova International Limited Quantization of residuals in video coding
US11570479B2 (en) * 2020-04-24 2023-01-31 Samsung Electronics Co., Ltd. Camera module, image processing device and image compression method
CN111696477B (zh) * 2020-06-03 2021-05-18 康佳集团股份有限公司 一种超高清电视的显示控制方法及8k超高清电视
US11582470B2 (en) * 2020-09-03 2023-02-14 Tencent America LLC Method and apparatus for multi-scale neural image compression with intra-prediction residuals
MX2024003527A (es) * 2021-09-28 2024-05-10 Dolby Laboratories Licensing Corp Mapeo de pantalla en varios pasos y reconstruccion de metadatos para video hdr.
CN114630129A (zh) * 2022-02-07 2022-06-14 浙江智慧视频安防创新中心有限公司 一种基于智能数字视网膜的视频编解码方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1985514A (zh) * 2004-07-13 2007-06-20 皇家飞利浦电子股份有限公司 空间和snr图像压缩的方法
CN102202218A (zh) * 2010-03-25 2011-09-28 联发科技股份有限公司 视频解码器

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7369610B2 (en) * 2003-12-01 2008-05-06 Microsoft Corporation Enhancement layer switching for scalable video coding
EP1692872A1 (en) * 2003-12-03 2006-08-23 Koninklijke Philips Electronics N.V. System and method for improved scalability support in mpeg-2 systems
CN1890980A (zh) * 2003-12-08 2007-01-03 皇家飞利浦电子股份有限公司 具有盲区的空间可缩放压缩方案
KR100631777B1 (ko) * 2004-03-31 2006-10-12 삼성전자주식회사 다 계층의 모션 벡터를 효율적으로 압축하는 방법 및 장치
EP1655966A3 (en) * 2004-10-26 2011-04-27 Samsung Electronics Co., Ltd. Apparatus and method for processing an image signal in a digital broadcast receiver
FR2880743A1 (fr) * 2005-01-12 2006-07-14 France Telecom Dispositif et procedes de codage et de decodage echelonnables de flux de donnees d'images, signal, programme d'ordinateur et module d'adaptation de qualite d'image correspondants
EP1932363B1 (en) * 2005-10-05 2016-05-18 LG Electronics Inc. Method and apparatus for reconstructing image blocks
KR20070038396A (ko) * 2005-10-05 2007-04-10 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
US20100220789A1 (en) * 2007-10-19 2010-09-02 Wu Yuwen Combined spatial and bit-depth scalability
US20090141809A1 (en) * 2007-12-04 2009-06-04 Sony Corporation And Sony Electronics Inc. Extension to the AVC standard to support the encoding and storage of high resolution digital still pictures in parallel with video
US8594191B2 (en) * 2008-01-03 2013-11-26 Broadcom Corporation Video processing system and transcoder for use with layered video coding and methods for use therewith
JP5188356B2 (ja) 2008-02-28 2013-04-24 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド 復号器において画像を逆トーンマッピングする方法
US8639519B2 (en) * 2008-04-09 2014-01-28 Motorola Mobility Llc Method and apparatus for selective signal coding based on core encoder performance
US9571856B2 (en) * 2008-08-25 2017-02-14 Microsoft Technology Licensing, Llc Conversion operations in scalable video encoding and decoding
TWI479898B (zh) 2010-08-25 2015-04-01 Dolby Lab Licensing Corp 擴展影像動態範圍
US20140003527A1 (en) * 2011-03-10 2014-01-02 Dolby Laboratories Licensing Corporation Bitdepth and Color Scalable Video Coding
DK3324622T3 (da) 2011-04-14 2019-10-14 Dolby Laboratories Licensing Corp Indikator med multiple regressioner og multiple farvekanaler
US9066070B2 (en) 2011-04-25 2015-06-23 Dolby Laboratories Licensing Corporation Non-linear VDR residual quantizer
WO2013042359A1 (ja) * 2011-09-22 2013-03-28 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号化方法、および、動画像復号化装置
TWI575933B (zh) 2011-11-04 2017-03-21 杜比實驗室特許公司 階層式視覺動態範圍編碼中之層分解技術
BR112015020009B1 (pt) 2013-02-21 2023-02-07 Dolby Laboratories Licensing Corporation Gerenciamento de exibição para vídeo de alta gama dinâmica

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1985514A (zh) * 2004-07-13 2007-06-20 皇家飞利浦电子股份有限公司 空间和snr图像压缩的方法
CN102202218A (zh) * 2010-03-25 2011-09-28 联发科技股份有限公司 视频解码器

Also Published As

Publication number Publication date
US20160014422A1 (en) 2016-01-14
HK1223474A1 (zh) 2017-07-28
JP6205000B2 (ja) 2017-09-27
WO2014163793A2 (en) 2014-10-09
WO2014163793A3 (en) 2016-05-26
CN105580369A (zh) 2016-05-11
JP2016522588A (ja) 2016-07-28
US11146803B2 (en) 2021-10-12

Similar Documents

Publication Publication Date Title
CN105580369B (zh) 使用分层编码对多格式高动态范围视频进行编解码的方法、装置及系统
CN103535038B (zh) 用于分层vdr编码的有效架构
US10158835B2 (en) Extending image dynamic range
US9872033B2 (en) Layered decomposition of chroma components in EDR video coding
US9538155B2 (en) Decoding and display of high dynamic range video
CN106488246B (zh) 用于增强动态范围信号的分层编码的自适应整形的方法
CN104322072B (zh) 分层vdr编码方法以及编码器
JP5589006B2 (ja) 高ダイナミックレンジ、視覚ダイナミックレンジ及び広色域のビデオの階層化圧縮
CN103563372B (zh) 多颜色通道多元回归预测算子
US20150023433A1 (en) High Dynamic Range, Backwards-Compatible, Digital Cinema
EP2807823B1 (en) Piecewise cross color channel predictor
CN105052143A (zh) 对多层vdr译码中的感知量化的视频内容进行编码
CN107077726B (zh) 使用扩展颜色范围的内容映射
JP7386977B2 (ja) テンソル積ｂスプライン予測子
US9877032B2 (en) Weighted multi-band cross color channel predictor
US8971408B2 (en) Piecewise cross color channel predictor

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20160511

Assignee: Dongguan de video technology Co. Ltd. Kit

Assignor: Dolby International AB|Dolby Laboratories Licensing Corp.

Contract record no.: 2016990000507

Denomination of invention: Distribution of multi-format high dynamic range video using layered coding

License type: Common License

Record date: 20161216

REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1223474

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant