CN110830804B - 用于用信号通知画面/视频格式的方法和设备 - Google Patents
用于用信号通知画面/视频格式的方法和设备 Download PDFInfo
- Publication number
- CN110830804B CN110830804B CN201911356760.5A CN201911356760A CN110830804B CN 110830804 B CN110830804 B CN 110830804B CN 201911356760 A CN201911356760 A CN 201911356760A CN 110830804 B CN110830804 B CN 110830804B
- Authority
- CN
- China
- Prior art keywords
- picture
- ldr
- hdr
- format
- syntax element
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 88
- 230000011664 signaling Effects 0.000 title abstract description 10
- 230000015654 memory Effects 0.000 claims description 42
- 238000004891 communication Methods 0.000 claims description 29
- 230000000153 supplemental effect Effects 0.000 claims description 4
- 238000005286 illumination Methods 0.000 abstract description 97
- 238000003860 storage Methods 0.000 abstract description 11
- 238000004590 computer program Methods 0.000 abstract description 2
- 238000012856 packing Methods 0.000 description 34
- 238000010586 diagram Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000012937 correction Methods 0.000 description 9
- 238000013507 mapping Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 8
- 239000000470 constituent Substances 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 229920013655 poly(bisphenol-A sulfone) Polymers 0.000 description 5
- 238000012805 post-processing Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 101100021996 Arabidopsis thaliana CYP97C1 gene Proteins 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000002688 persistence Effects 0.000 description 2
- 229920001690 polydopamine Polymers 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241000665848 Isca Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000033458 reproduction Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Non-Portable Lighting Devices Or Systems Thereof (AREA)
Abstract
本公开总体上涉及一种用于在表示根据HDR画面获得的LDR画面和照明画面二者的比特流中用信号通知所述LDR画面的解码版本的画面/视频格式(表示为输出LDR格式)和所述HDR画面的解码版本的画面/视频格式(表示为输出HDR格式)二者的方法，所述方法包括：在所述比特流中对定义输出LDR格式的第一语法元素进行编码。所述方法特征在于它还包括：在所述比特流中对不同于第一语法元素并定义输出HDR格式的第二语法元素进行编码。本公开还涉及编码/解码方法/设备、计算机程序产品、处理器可读介质、非暂时性存储介质和信号。
Description
本申请是申请日为2015年6月4日、申请号为201580033334.1的发明专利申请“用于用信号通知画面/视频格式的方法和设备”的分案申请。
技术领域
本公开总体上涉及在包括双调制编码/解码方案的分发框架中用信号通知输出画面/视频格式。
本公开还涉及一种生成表示LDR画面和照明画面的比特流的编码方法，以及根据通过所述比特流用信号通知的输出画面/视频格式对LDR或HDR画面进行解码的解码方法和设备。
背景技术
本部分是为了向读者介绍可能与下文所描述的和/或所要求保护的本公开的各个方面相关的现有技术的各个方面。相信本讨论有益于向读者提供背景信息以便于更好地理解本发明的各个方面。因此，应当理解，这些陈述应以这种方式被解读，而不是作为对现有技术的承认。
在下文中，画面(现有技术中有时称为图像或帧)包含特定画面/视频格式的一个或若干个样本阵列(像素值)，所述特定画面/视频格式指定关于画面(或视频)的像素值的所有信息以及可由显示器和/或解码设备用来可视化和/或解码画面(或视频)的所有信息。画面包括呈第一样本阵列的形状的至少一个分量，通常是亮度(或发光度)分量，并且可能地，包括呈至少一个其他样本阵列的形状的至少一个其他分量，通常是颜色分量。
低动态范围画面(LDR画面)是其亮度样本由有限数量的比特(最常见为8或10)表示的画面。这种有限的表示不允许小信号变化的正确呈现，特别是在灰暗和明亮的亮度范围内。在高动态范围画面(HDR画面)中，信号表示被扩展以便在其整个范围上保持信号的高精度。在HD R画面中，亮度样本通常以浮点格式(对于每个分量为32位或16位，即浮点或半浮点)表示，最流行的格式为openEXR半浮点格式(每RGB分量16个比特，即每样本48比特)或者具有长表示的整数，通常至少16个比特。
双调制方案是用于在比特流中对输入HDR画面进行编码并通过至少部分地解码所述比特流来获得输入HDR画面的解码版本的典型方法。其原理是根据输入的HDR画面获得照明画面(也称为照明图或背光画面)。然后通过将输入的HDR画面除以照明画面获得残差画面，并且然后对照明画面(或表示照明画面的照明数据)和残差画面二者进行直接编码。
使用这种方法对输入HDR画面进行编码导致对两个分量进行编码：残差画面(以下称为LDR画面)，其可以是可见画面；以及照明画面(或表示照明画面的照明数据)。然后可以通过至少部分地直接解码比特流来获得LDR画面的解码版本，并且还可以通过将LDR画面的解码版本乘以至少部分地解码比特流(或从至少部分地解码比特流获得的照明数据)所获得的照明画面的解码版本来获得输入HDR画面的解码版本。
LDR画面和照明画面可以具有不同的输入画面/视频格式(YUV、RG B、XYZ、...)，并且不需要具有相同的格式。例如，照明画面可以是单色的，并且LDR画面格式可以是YUV或RGB。
下面称为输出LDR格式的输入LDR画面的解码版本的画面/视频格式以及下面称为输出HDR格式的输入HDR画面的解码版本的画面/视频格式可以与输入LDR和HDR画面的格式(在下文中分别称为输入LDR格式和输入HDR格式)相同。
然而，输入格式和输出格式通常不相同，因为输出格式适合于特定条件是有利的。例如，输出LDR或HDR格式可以适用于一些目标特定显示器、用于显示解码后画面的环境条件或用户偏好。输出格式的这种适应性增加了所述目标特定显示器上的画面的解码版本的视觉质量，因为编码/解码方案优化了给定比特率的分布，以便达到所述目标特定显示器的更好视觉质量。
本公开要解决的问题是，可以根据相同比特流解码的LDR画面或HDR画面二者应当符合与输入LDR或HDR格式不同的特定输出LDR或HDR格式。
在适于编码单个画面(或单个视频)的传统编码/解码方案中，使用以下语法元素在双向流中用信号通知输入画面的画面/视频格式：所谓的“视频可用性信息”(VUI)，例如在HEVC推荐(“High Efficien cy Video Coding”,SERIES H:AUDIOVISUAL ANDMULTIMEDIA SYSTEM S,Recommendation ITU-T H.265,TelecommunicationStandardizati on Sector of ITU,April 2013)或H264/AVC推荐(“Advanced videocoding for generic audiovisual Services”,SERIES H:AUDIOVISU AL AND MULTIMEDIASYSTEMS,Recommendation ITU-T H.264,Telecom munication Standardization Sectorof ITU,February 2014)中定义的。
然后，输入画面的解码版本的画面/视频格式是由VUI定义的画面/视频格式，即与输入画面的画面/格式格式相同。
此外，因为这样的传统编码/解码方案仅允许单个VUI用信号通知要编码的画面的输入画面/视频格式，所以它不适于在同一比特流中用信号通知两种画面/视频输出格式，其中每种画面/视频输出格式与可根据比特流解码的画面相关。
发明内容
鉴于前述内容，本公开的各方面涉及在计算机系统上创建和维护数据对象之间的语义关系。以下呈现了本公开的简要概括以便提供对本公开的一些方面的基本理解。本发明内容不是本公开的广泛概述。其不意在标明本公开的关键或必要元素。以下发明内容仅以简化形式呈现本公开的一些方面，作为下面呈现的更详细描述的前言。
本公开提出了通过利用一种用于在表示根据HDR画面获得的LDR画面的比特流中用信号通知所述LDR画面的解码版本的画面/视频格式(表示为输出LDR格式)和所述HDR画面的解码版本的画面/视频格式(表示为输出HDR格式)二者的方法，来补救现有技术的一些缺点，该方法包括：在所述比特流中对定义输出LDR格式的第一语法元素进行编码。所述方法的特征在于，其还包括：在所述比特流中对不同于第一语法元素并且定义输出HDR格式的第二语法元素进行编码。
本公开还提出了一种方法，包括：在表示根据HDR画面获得的LDR画面的比特流中对第一语法元素和第二语法元素进行编码，所述第一语法元素定义被表示为输出LDR格式的所述LDR画面的解码版本的画面/视频格式，所述第二语法元素不同于所述第一语法元素并且定义被表示为输出HDR格式的所述HDR画面的解码版本的画面/视频格式；在所述比特流中对表示所述LDR画面的数据进行编码；以及在所述比特流中对表示所述HDR画面的数据进行编码。
本公开还提出了一种方法，包括：从表示根据HDR画面获得的LDR画面的比特流中访问第一语法元素和第二语法元素，所述第一语法元素定义被表示为输出LDR格式的所述LDR画面的解码版本的画面/视频格式，所述第二语法元素不同于所述第一语法元素并且定义被表示为输出HDR格式的所述HDR画面的解码版本的画面/视频格式；以及从所述比特流中访问表示所述LDR或HDR画面的数据。
本公开还提出了一种设备，包括至少一个处理器，所述至少一个处理器被配置为：在表示根据HDR画面获得的LDR画面的比特流中对第一语法元素和第二语法元素进行编码，所述第一语法元素定义被表示为输出LDR格式的所述LDR画面的解码版本的画面/视频格式，所述第二语法元素不同于所述第一语法元素并且定义被表示为输出HDR格式的所述HDR画面的解码版本的画面/视频格式；在所述比特流中对表示所述LDR画面的数据进行编码；以及在所述比特流中对表示所述HDR画面的数据进行编码。
本公开还提出了一种设备，包括至少一个处理器，所述至少一个处理器被配置为：从表示根据HDR画面获得的LDR画面的比特流中访问第一语法元素和第二语法元素，所述第一语法元素定义被表示为输出LDR格式的所述LDR画面的解码版本的画面/视频格式，所述第二语法元素不同于所述第一语法元素并且定义被表示为输出HDR格式的所述HDR画面的解码版本的画面/视频格式；以及从所述比特流中访问表示所述LDR或HDR画面的数据。
本公开还提出了一种方法，包括：从表示根据HDR画面获得的LDR画面的比特流中对第一语法元素和第二语法元素进行解码，所述第一语法元素定义被表示为输出LDR格式的所述LDR画面的解码版本的画面/视频格式，所述第二语法元素不同于所述第一语法元素并且定义被表示为输出HDR格式的所述HDR画面的解码版本的画面/视频格式。
本公开还提出了一种设备，包括至少一个处理器，所述至少一个处理器被配置为：从表示根据HDR画面获得的LDR画面的比特流中对第一语法元素和第二语法元素进行解码，所述第一语法元素定义被表示为输出LDR格式的所述LDR画面的解码版本的画面/视频格式，所述第二语法元素不同于所述第一语法元素并且定义被表示为输出HDR格式的所述HDR画面的解码版本的画面/视频格式。
本公开还涉及编码/解码方法/设备、计算机程序产品、处理器可读介质、非暂时性存储介质和信号。
从以下结合附图对实施例的描述中，本公开的具体性质以及本公开的其他目的、优点、特征和用途将变得显而易见。
附图说明
在附图中，示出了本发明的实施例。其示出了：
图1示出了根据本公开实施例的用于在比特流F1中对HDR画面I进行编码的方法的步骤的框图，其中在比特流中，根据所述HDR画面获得LDR画面和照明画面；
图2示出了根据本公开实施例的用于根据表示LDR画面和照明画面的比特流解码HDR画面或LDR画面的方法的框图；
图3示出了根据本公开实施例的其语法符合HEVC推荐的表示输出LDR格式的VUI消息的示例；
图4示出了HEVC规范的高级语法的变化以用信号通知新的SEI消息的存在；
图5示出了根据本公开实施例的表示输出HDR格式的SEI消息的示例；
图5a示出了图5中的SEI消息的变型；
图6示出了用于嵌入照明画面的数据的附加SEI消息的示例；
图7示出了图5所示的表示HDR输出格式的SEI消息的语法的变型的示例；
图8示出了根据本公开实施例的用于对根据HDR画面获得的LDR画面和照明画面二者进行编码的步骤11的子步骤的框图；
图9示出了根据本公开实施例的用于对表示LDR画面和照明画面的比特流进行解码的步骤21的子步骤的框图；
图10示出了根据本公开实施例的关于帧打包布置的SEI消息的语法的示例；
图11示出了给出图10的标志“content_interpretation_type”的解释的表；
图12示出了给出图10的标志“frame_packing_arrangement_type”的解释的表；
图13示出了根据本公开实施例的帧打包布置方案的示例；
图14示出了根据本公开实施例的帧打包布置方案的示例；
图15示出了根据本公开实施例变型的帧打包布置方案的示例；
图16示出了根据本公开实施例的步骤10的子步骤的框图；
图17示出了根据本发明实施例的步骤162的子步骤的框图；
图18示出了根据本发明实施例的步骤162的子步骤的框图；
图19示出了根据本发明实施例的步骤162的子步骤的框图；
图20示出了根据如图1所述的方法的变型的方法步骤的框图；
图21示出了根据如图2所述的方法的变型的方法步骤的框图；
图22至图23示出了根据本公开实施例的表示输出LDR格式的SEI消息的示例和表示输出HDR格式的VUI消息的示例；
图24示出了根据本公开实施例的设备的架构的示例；以及
图25示出了根据本公开实施例的通过通信网络通信的两个远程设备。
相似或相同的元件用相同的附图标记表示。
具体实施方式
下文中将参考示出了本公开实施例的附图更全面地对本公开进行描述。然而，本公开可以体现为多种备选形式，并且不应当被解释为受限于本文阐述的实施例。因此，尽管本公开容许各种修改和替代形式，但是以示例方式在附图中示出并将在本文中详细描述其具体实施例。然而，应理解，不意图将本公开限制为所公开的具体形式，相反，本公开将覆盖落入由权利要求限定的本公开的精神和范围内的所有修改、等同物和备选。
本文中所使用的术语仅仅是为了描述具体实施例的目的，而不是意在限制本公开。如本文中使用的，单数形式“一”、“一个”和“所述”意图还包括复数形式，除非上下文明确地给出相反的指示。还将理解，当在本说明书中使用时，术语“包括”和/或“包含”表示存在所陈述的特征、整数、步骤、操作、元件和/或组件，但是不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或其组合。此外，当提及元件“响应于”或“连接到”另一元件时，它可以直接响应于或连接到该另一元件，或者可以存在介于中间的元件。相比之下，当提及元件“直接响应于”或“直接连接到”另一元件时，不存在介于中间的元件。如本文中使用的术语“和/或”包括关联列出的项目中的一个或多个的任意和所有组合，并且可以缩写为“/”。
将理解，虽然本文中可以使用术语第一、第二等来描述各元件，但是这些元件不应被这些术语限制。这些术语仅用来将一个元件与另一元件区分开来。例如，在不背离本公开的教导的情况下，第一元件可以被称为第二元件，类似地，第二元件可以被称为第一元件。
尽管一些图在通信路径上包括箭头来指示通信的主要方向，但是将理解通信可以在与所指示的箭头的相反方向上发生。
参考框图和操作流程图来描述一些实施例，其中，每个框表示包括用于实现指定逻辑功能的一个或多个可执行指令的电路元件、模块或代码部分。还应当注意，在其他实现方式中，框中标注的功能可以不按所示顺序发生。例如，根据所涉及到的功能，连续示出的两个块实际上可以被基本上同时执行，或者块有时可以以相反的顺序执行。
本文中对“一个实施例”或“实施例”的提及意味着结合实施例所描述的特定特征、结构或特性可以包含在本公开的至少一个实现中。在说明书中各处出现短语“在一个实施例中”或“根据实施例”不一定都指代相同的实施例，也不是与其他实施例必需互斥的分离的或备选的实施例。
权利要求书中出现的附图标记仅作为举例说明而不限制权利要求的范围。
虽然没有明确描述，但是所呈现的实施例和变型可以被实施为任意组合或子组合。
下面描述的方法适于对HDR画面进行编码，但是可以扩展以对HDR画面序列(视频)进行编码，因为序列中的画面彼此独立地编码。
一般来说，本公开涉及一种用于在比特流中用信号通知根据HDR画面获得的LDR画面RF的解码版本的画面/视频格式(称为输出LDR格式)和所述原始HDR画面I的解码版本的画面/视频格式(称为输出HDR格式)的方法。
该方法包括：在所述比特流中对定义输出LDR格式的第一语法元素以及不同于第一语法元素并定义输出HDR格式的第二语法元素进行编码。
图1示出了根据本公开实施例的用于在比特流F1中对HDR画面I进行编码的方法的步骤的框图，其中在比特流中根据所述HDR画面获得LDR画面和照明画面。
该方法包括模块FENC，其被配置为在比特流F2中对定义输出LDR格式的第一语法元素SE1以及不同于第一语法元素SE1并定义输出HDR格式的第二语法元素SE2进行编码(步骤12)。
其是用于根据要编码的输入HDR画面确定LDR画面和照明画面IF的公知方法。(“High Dynamic Range video coding”,JCTVC-P0159,San José,US,9-17Jan.2014)
例如，照明画面IF可以包括用于输入HDR画面I的每个样本的照明值的三元组，三元组的每个值是样本的颜色分量值的照明值。照明画面IF可以由HDR画面I的形状函数的加权线性组合或亮度分量的低频版本来表示，但是本公开不限于用于获得或表示相对于要编码的HDR画面I的照明画面IF的任何特定手段。
LDR画面RF通常是根据HDR画面和照明画面IF获得的残差画面。通常，通过将HDR画面I除以照明画面IF来获得残差画面。
在步骤10，分离器SPLM被配置为获得LDR画面RF和照明画面IF。
根据实施例，模块SPLM被配置为从本地/远程存储器和/或从通信网络获得LDR画面RF或照明画面IF或两者。
根据实施例，模块SPLM被配置为将HDR画面I分割为LDR画面RF和照明画面IF。
在步骤11，LDR画面和照明画面(或者备选地，表示照明画面IF的照明数据)通过编码器ENC进行编码。
根据变型，模块FENC还被配置为对由编码器ENC使用的一些参数Param进行编码。
根据实施例，参数Param在比特流F2中被编码。
根据实施例，至少一些参数Param和比特流F1(和/或可能地F2)被异步地发送。
将在下面描述一些参数Param。
图2示出了根据本公开实施例的用于根据表示LDR画面和照明画面的比特流对HDR画面或LDR画面进行解码的方法的框图。
在步骤20，模块FDEC被配置为通过至少部分地解码比特流F2来获得定义输出LDR格式的第一语法元素SE1和定义输出HDR格式的第二语法元素SE2。
根据变型，模块FDEC还被配置为从本地存储器或通过至少部分地解码比特流F2来获得一些参数Param。
根据变型，至少一些参数Param和比特流F1(和/或可能地F2)被异步地接收。
在步骤21，解码器DEC被配置为通过至少部分地解码比特流F1来获得LDR画面RF的解码版本和照明画面IF的解码版本
根据步骤21的实施例，可以根据照明数据获得照明画面IF的解码版本
根据变型，从本地存储器获得LDR画面RF的解码版本和/或照明画面IF的解码版本
根据变型，还根据一些参数Param获得LDR画面RF的解码版本
LDR画面RF的解码版本具有由第一语法元素SE1的输出LDR格式定义的格式。
在步骤22，模块ISPLM被配置为根据LDR画面RF的解码版本和照明画面IF的解码版本获得HDR画面I的解码版本
HDR画面I的解码版本具有由第二语法元素SE2的输出HDR格式定义的格式。
根据变型，根据一些参数Param获得HDR画面I的解码版本
根据该方法的第一实施例，第一语法元素SE1是被称为例如“vui-parameter()”的VUI(视频可用性信息)消息，并且第二语法元素SE2是被称为例如“dual-modulation-info()”的SEI消息(补充增强信息)消息。
图3示出了根据本公开实施例的其语法符合HEVC推荐的表示输出LDR格式的VUI消息“vui-parameter()”的示例。
VUI消息包含标签，其实际上定义输出LDR格式：
-video_format指示LDR画面的格式(例如，PAL或SECAM)；
-video_full_range_flag指示LDR画面是否占据编码值的完整可用范围；
-colour_description_present_flag是等于1的标志，其指示三个元素colour_primaries、transfer_characteristics和matrix_coeffs是否将用于使显示器能够正确地渲染颜色；
-colour_primaries指示源基色的色度坐标；
-transfer_characteristics指示LDR画面的光电传输特性；
-matrix_coeffs描述了用于根据绿色、蓝色和红色基色导出亮度和色度分量的矩阵系数。
图5示出了根据本公开实施例的表示输出HDR格式的SEI消息“dual-modulation-info()”的示例。
SEI消息“dual-modulation-info()”提供关于HDR画面I的解码版本的输出HDR格式的信息。
-modulation_channel_cancel_flag等于1指示SEI消息“dual-modulation-info()”以输出顺序取消任何先前SEI消息“dual-modulation-info()”的持续性。
-modulation_cancel_cancel_flag等于0指示接着是照明画面信息。
-modulation_channel_target_sample_format指定HDR画面I的解码版本的亮度和色度样本阵列的样本的格式。
根据实施例，标签modulation_channel_target_sample_format等于0指示样本为整数格式。modulation_channel_target_sample_format的大于0的值被保留以供ITU-T|ISO/IEC将来使用。当不存在时，modulation_channel_target_sample_format的值被推断为等于0。
根据实施例，标签modulation_channel_target_sample_format等于1支持16位半浮点格式。
根据实施例，标签modulation_channel_target_sample_format等于2支持32位全浮点格式。
-modulation_channel_target_bit_chroma_format_idc具有与上面引用的HEVC推荐的针对chroma_format_idc语法元素的子条款7.4.3.2中所规定的相同的语义，以下情况除外：modulation_channel_target_bit_chroma_format_idc指定HDR画面I的解码版本的色度格式，而不是用于编码视频序列(CVS)的色度格式。
当modulation_channel_target_bit_chroma_format_idc不存在于SEI消息“dual-modulation-info()”中时，modulation_channel_target_bit_chroma_format_idc的值被推断为等于chroma_format_idc(其涉及LDR画面)。
-modulation_channel_target_bit_depth_luma_minus8加8指定HDR画面I的解码版本的亮度样本阵列的样本的位深(bit depth)。
标签modulation_channel_target_bit_depth_luma_minus8应在0到8(含)的范围内。当modulation_channel_target_bit_depth_luma_minus8不存在于SEI消息“dual-modulation-info()”中时，modulation_channel_target_bit_depth_luma_minus8的值被推断为等于bit_depth_luma_minus8。
-modulation_channel_target_bit_depth_chroma_minus8加8指定HDR画面I的解码版本的色度样本阵列的样本的位深。
标签modulation_channel_target_bit_depth_chroma_minus8应在0到8(含)的范围内。当modulation_channel_target_bit_depth_chroma_minus8不存在于SEI消息“dual-modulation-info()”中时，modulation_channel_target_bit_depth_chroma_minus8的值被推断为等于bit_depth_chroma_minus8。
-modulation_channel_target_video_full_range_flag具有与上面引用的HEVC推荐的针对video_full_range_flag语法元素的子条款E.2.1中所规定的相同的语义，以下情况除外：modulation_channel_target_video_full_range_flag指定用于HDR画面I的解码版本的颜色空间，而不是用于CVS的颜色空间。
当标签modulation_channel_target_video_full_range_flag不存在于SEI消息“dual-modulation-info()”中时，modulation_channel_target_video_full_range_flag的值被推断为等于video_full_range_flag。
-modulation_channel_target_colour_primaries具有与上面引用的HEVC推荐的针对colour_primaries语法元素的子条款E.2.1中所规定的相同的语义，以下情况除外：modulation_channel_target_colour_primaries指定用于HDR画面I的解码版本的颜色空间，而不是用于CVS的颜色空间。当modulation_channel_target_colour_primaries不存在于SEI消息“dual-modulation-info()”中时，modulation_channel_target_colour_primaries的值被推断为等于colour_primaries。
-modulation_channel_target_transfer_characteristics具有与上面引用的HEVC推荐的针对transfer_characteristics语法元素的子条款E.2.1中所规定的相同的语义，以下情况除外：modulation_channel_target_transfer_characteristics指定用于HDR画面I的解码版本的颜色空间，而不是用于CVS的颜色空间。
当modulation_channel_target_transfer_characteristics不存在于SEI消息“dual-modulation-info()”中时，modulation_channel_target_transfer_characteristics的值被推断为等于transfer_characteristics。
-modulation_channel_target_matrix_coeffs具有与上面引用的HEVC推荐的针对matrix_coeffs语法元素的子条款E.2.1中所规定的相同的语义，以下情况除外：modulation_channel_target_matrix_coeffs指定用于HDR画面I的解码版本的颜色空间，而不是用于CVS的颜色空间。
当modulation_channel_target_matrix_coeffs不存在于SEI消息“dual-modulation-info()”中时，modulation_channel_target_matrix_coeffs的值被推断为等于matrix_coeffs。
SEI消息“dual-modulation-info()”还提供用于获得照明画面IF的解码版本的信息，所述照明画面IF的解码版本用于获得HDR画面I的解码版本
-modulation_channel_type指示用于生成HDR画面I的解码版本的模式。标签modulation_channel_type等于0指示照明画面IF的解码版本对应于辅助编码画面的样本值，如果辅助画面具有比主编码画面更小的宽度和/或高度，则可能在上采样之后。注意，辅助画面和主画面由上面引用的HEVC推荐来定义。
根据图5所示的实施例，标签modulation_channel_type等于1指示照明画面IF的解码版本由形状函数(PSF，如下面详细解释的)的加权线性组合来表示。
在这种情况下，参数“modulation_PSF_X_spacing”、“modulation_PSF_Y_spacing”、“modulation_PSF_width”、“modulation_PSF_height”、“modulation_PSF_length_minus1”和“modulation_PSF_coefs”与PSF的描述相关。
modulation_channel_type的大于1的值被保留以供ITU-T|ISO/IEC将来使用。当不存在时，modulation_channel_type的值被推断为等于0。
根据实施例，应用于PSF以获得照明画面IF的解码版本的加权系数被嵌入在其语法符合HEVC推荐的辅助画面中。
根据图6所示的实施例，除了SEI消息“dual_modulation_info()”之外，还指定附加SEI消息“modulation_channel_info()”。
应用于PSF以获得照明画面IF的解码版本的加权系数被嵌入(编码到)SEI消息“modulation_channel_info()”中。
-modulation_channel_width对应于第一颜色分量(其可以是例如亮度分量或Y分量)的加权系数矩阵的每行样本的数目。
-modulation_channel_height对应于第一颜色分量(其可以是例如亮度分量或Y分量)的加权系数矩阵的每列样本的数目。
-modulation_channel_width_CbCr对应于第二和/或第三颜色分量(其可以是例如色度分量或X或Z分量)的加权系数矩阵的每行样本的数目。
-modulation_channel_height_CbCr对应于第二和/或第三颜色分量(其可以是例如色度分量或X或Z分量)的加权系数矩阵的每列样本的数目。
-modulation_channel_sample[c][cy][cx]是加权系数矩阵中的水平位置cx和垂直位置cy处的颜色分量c的样本的样本值。
SEI消息“dual-modulation-info()”还提供关于后处理的参数的信息，所述后处理用于在LDR画面RF的解码版本与照明画面IF的解码版本相乘之前应用于LDR画面RF的解码版本。
-“modulation_ldr_mapping_type”涉及将被应用于LDR画面RF的解码版本的处理的类型。该标签指示LDR画面是表示在Lab颜色空间中还是表示在YCbCr(或Yuv)颜色空间中。
根据变型，当LDR画面表示在YCbCr颜色空间中时，一些附加参数(“modulation_slog_a0”、“modulation_slog_b0”、“modulation_slog_c0”、“modulation_scaling_factor”、“modulation_RGB_factor”)被嵌入在图5中的SEI消息“dual_modulation_info()”中。这些参数由后处理使用，后处理用于在相乘之前应用于LDR画面RF的解码版本
根据该变型的替代，当后处理涉及对单个样本值的注入操作时，并且当这些连续操作可以被连接成一个单操作时，将查找表嵌入在SEI消息中，而不是在SEI消息中编码附加参数。
例如，对于每个样本值，进行简单数学运算的级联，例如：
s＝s*S/65536
s＝exp((s-c0)/a0)–b0
s＝s*RGB_factor/1024
其中，S、a0、b0、0、RGB_factor通常是根据先前变型嵌入在SEI消息中的参数。
-modulation_channel_LUT0_size指示阵列modulation_channel_LUT0_coefs的大小
-modulation_channel_LUT0_coefs对应于大小为modulation_channel_LUT0_size的阵列，其应用于照明画面的第一分量阵列的样本。
-modulation_channel_LUT1_size指示阵列modulation_channel_LUT1_coefs的大小
-modulation_channel_LUT1_coefs对应于大小为modulation_channel_LUT1_size的阵列，其应用于照明画面的至少第二分量阵列的样本。
-modulation_LDR_LUT0_size指示阵列modulation_LDR_LUT0_coefs的大小
-modulation_LDR_LUT0_coefs对应于大小为modulation_LDR_LUT0_size的阵列，其应用于LDR画面的第一分量阵列的样本。
-modulation_LDR_LUT1_size指示阵列modulation_LDR_LUT1_coefs的大小
-modulation_LDR_LUT1_coefs对应于大小为modulation_LDR_LUT1_size的阵列，其应用于LDR画面的至少第二分量阵列的样本。
该替代的变型是，在对样本值进行后处理之前，将参数(例如，“modulation_slog_a0”、“modulation_slog_b0”、“modulation_slog_c0”、“modulation_scaling_factor”、“modulation_RGB_factor”)编码在SEI消息中，以根据这些参数建立查找表。
根据该方法的变型，当比特流表示画面序列时，可以针对每个画面在比特流中对加权系数矩阵进行编码，并且第一和第二语法元素可以保持不变。
根据变型，当使用用于LDR画面的Lab颜色空间(这里对应于等于0的modulation_ldr_mapping_type，图5)时，VUI消息(图3)中的一些参数必须被固定为对应于“未指定(Unspecified)”的值，以指示LDR画面RF的解码版本不能在未被处理的情况下被显示器或渲染设备直接解释：
-colour_primaries＝2(未指定)
-transfer_characteristics＝2(未指定)
-matrix_coeffs＝2(未指定)。
当如图6所示照明画面IF在附加SEI消息“modulation_channel_info”中用信号通知时，可以通过仅使与加权系数的小阵列的信令相对应的调制模式能够应用于用于重建照明画面的局部PSF来简化SEI消息“dual-modulation-info()”。实际上，与照明画面的通常样本数(例如，对于HD画面，从几百到几千个样本)相比，该变型能够显著地减少SEI消息中的编码值(样本)的数目。因此，这更适合于将保持大小减小的SEI消息的构思。但是简化还可以应用于照明画面的任何类型的信令，即帧打包或附加的SEI消息。
图7示出了图5所示的表示HDR输出格式的简化SEI消息的示例。
在HEVC推荐之后，将在比特流中指示任何SEI消息的有效载荷。
图4示出了被称为“SEI_payload”的语法结构中的SEI消息信令的示例。它用于在比特流F2中用信号通知关于图5(或图7)描述的特定SEI消息。SEI有效载荷“sei-payload()”具有符合HEVC推荐的语法，除了已经被添加以用信号通知SEI消息“dual-modulation-info()”的粗体文本之外。注意，“XXX”是将基于HEVC推荐中已经使用的值定义的固定给定值。
图8示出了根据本公开实施例的用于对LDR画面和照明画面IF进行编码的步骤11的子步骤的框图。
根据下面关于图8描述的实施例的变型，通过从HDR画面I中减去LDR画面RF的解码版本来获得第二残差画面。该第二残差画面还在下面被称为第二LDR画面。该第二残差画面可以通过将HDR画面I除以LDR画面RF来获得。然后，第二残差画面包括HDR画面I和LDR画面RF之间的比率残差信息。
在子步骤80，模块PACKM被配置为根据特定帧打包布置方案FPAS在单个帧SF中打包LDR画面RF和照明画面IF(以及可能地，至少另一个画面，例如第二残余画面)。
在下文中，仅公开了LDR画面和照明画面的情况，但是显然可以将以下公开扩展为在单个帧SF中打包多于两个的画面。
在子步骤81，编码器VENC将帧SF编码到比特流F1中。
根据实施例，根据取决于特定帧打包布置方案的编码参数来对单个帧SF进行编码。这些参数可以被认为是一些参数Param。
根据该实施例的变型，定义编码参数，以便将单个帧编码在两个不同的片中，一个片包含LDR画面RF，另一个片包含照明画面IF。根据所采用的标准编码方案(H.264/AVC、HEVC、JPEG2000)，这些片还可以采取片组、分片、分片组、分区的形式。
该变型是有利的，因为其允许诸如特定编码的特定处理应用于照明画面IF，分别应用于LDR画面RF，而是不应用于LDR画面RF，分别应用于照明画面IF。
比特流F1因此包括帧SF，帧SF包含两个不同的打包构成画面(LDR画面RF和照明画面IF)的样本。
在子步骤82，模块IDM处理信息数据ID，信息数据ID指示帧SF包含根据特定帧打包布置方案FPAS的至少两个不同的打包构成画面的样本。
信息数据ID包括至少一个标志并且可以是一些参数Param。
模块IDM还被配置为指定信息数据ID指示所述至少两个不同的打包构成画面中的一个对应于LDR画面RF，并且所述至少两个不同的打包构成画面中的另一个对应于与所述LDR画面RF相关联的照明画面IF。
根据实施例，信息数据ID还指示所述至少两个不同的打包构成画面中的另一个对应于另一画面，例如第二残差画面，即通过从LDR画面减去LDR画面的编码/解码版本所获得的残差画面。
根据实施例，信息数据ID标识特定帧打包布置方案。然后，编码参数可以受特定帧打包布置方案约束。
根据子步骤82的实施例，模块IDM还被配置为定义信息数据ID指示LDR画面和照明画面不具有相同的大小(不具有相同数目的行或相同数目的列或两者)和/或在帧SF中具有特定位置。
根据子步骤82的实施例，模块IDM还被配置为定义信息数据ID指示LDR画面的大小(行数和列数)和/或位置和/或照明画面的大小和/或位置。
根据子步骤82的实施例，特定帧打包布置方案指示LDR画面和/或照明画面被分割成若干片段，并且然后模块IDM被配置为在信息数据ID中添加用于指示每个片段在帧SF中的位置的至少一个参数。
根据实施例，特定帧打包布置方案FPAS以及可能地相关编码参数是一些参数Param。
根据本公开的实施例，信息数据ID可以存储在本地或远程存储器上和/或通过通信接口(例如，到总线或通过通信网络或广播网络)发送。
根据本公开的实施例，比特流F1和信息数据ID通过不同的通信接口(到不同的总线或通过不同的通信网络或广播网络)发送。
根据本公开的实施例，以异步方式发送信息数据和比特流F1。
图9示出了根据本公开实施例的用于对表示LDR画面和照明画面的比特流进行解码的步骤21的子步骤的框图。
在子步骤90，解码器VDEC通过至少部分地解码比特流F1来获得解码帧SF。
在子步骤81，模块IDD可能根据参数Param和/或从本地/远程存储器获得信息数据ID。信息数据ID指示解码帧SF包含根据特定帧打包布置方案FPAS的至少两个不同的打包构成画面的样本。
根据实施例，特定帧打包布置方案FPAS由信息数据ID定义或从存储器获得。
在子步骤82，模块CH检查信息数据ID是否指示所述至少两个不同的打包构成画面中的一个对应于LDR画面，并且所述至少两个不同的打包构成画面中的另一个对应于照明画面。
当信息数据指示至少一个不同的打包构成画面中的一个对应于LDR画面，并且至少一个不同的打包构成画面中的另一个对应于照明画面时，在子步骤83，模块UPACKM根据解码的单个帧SF获得根据特定帧打包布置方案FPAS的LDR画面和照明画面两者。
然后，例如，LDR画面和照明画面用于根据例如由信息数据ID定义的方法来获得HDR画面。
根据实施例，根据取决于特定帧打包布置方案FPAS的解码参数来对解码画面进行解码。
根据本公开的实施例，信息数据是SEI消息(补充增强信息消息)。
图10示出了根据本公开实施例的关于帧打包布置的SEI消息的语法的示例。
SEI消息的语法是由上面引用的H.264推荐定义的帧打包布置SEI消息的语法的扩展。代替扩展，除了现有的帧打包布置SEI消息之外，还可以针对HDR画面解码处理具体地定义新的帧打包布置SEI消息。为了避免多个不同的SEI消息，帧打包SEI消息还可以包括与输出HDR格式相关的参数以及与模块ISPLM相关的参数，其中模块ISPLM根据LDR画面RF的解码版本和照明画面IF的解码版本生成HDR画面I的解码版本因此，该新的帧打包SEI消息将合并与帧打包相关的参数以及图5或图7中提到的参数。
简言之，帧打包布置SEI消息向解码器通知输出的解码画面包含使用所指示的帧打包布置方案的多个不同的空间打包构成画面的样本。该信息可以由解码器用于适当地重新布置样本并适当地处理构成画面的样本以用于显示或其他目的。
图10中的SEI消息的语法类似于由引用的H.264推荐(以及还由HEVC推荐)的章节D.1.25的表给出的语法。
图11示出了给出图10的标志“content_interpretation_type”的解释的表。
标签“content_interpretation_type”可以等于如在引用的ITU-T推荐H.264(表D-10)中定义的三个值(0-2)。
根据本公开的实施例，该标签还可以等于特定值(这里是3)，该特定值指示至少两个不同的打包构成画面中的一个对应于LDR画面，并且所述至少两个不同的打包构成画面中的另一个对应于与所述LDR画面关联的HDR照明画面。
根据变型，例如，标签“content_interpretation_type”的该特定值还可以指示在帧SF的解码之后要应用的后处理，以便例如根据解码的LDR画面和照明画面获得HDR画面。
图12示出了给出图10的标志“frame_packing_arrangement_type”的解释的表。
该标志的每个值定义特定帧打包布置方案。该标签可以等于如在引用的H.264推荐(表D-9)中定义的高度值(0-7)。
根据本公开的实施例，该标签可以等于特定值(这里是8)以指示LDR画面和照明画面不具有相同大小和/或在帧SF中具有特定位置。
该标签还可以指示不同大小和/或位置由至少一个附加标志定义。
根据变型，LDR画面(分别地，照明画面)的大小由SEI消息中的附加参数定义，而照明画面(分别地，LDR画面)的大小可以根据SPS(序列参数集)中导出。注意，SPS包含画面SF的大小。
在SEI消息的语法中添加标题为“different_views_size_flag”的第一附加标志1，以指示LDR画面和照明画面不具有相同大小和/或在帧SF中具有特定位置。
在SEI消息的语法中添加一组附加参数2，以指示LDR画面的大小(宽度和高度)以及照明画面的大小：值“picture0_pic_width_in_luma_samples”指示画面picture0从其左上角起的列数，值“picture0_pic_height_in_luma_samples”指示画面picture0从其左上角起的行数，标志“picture1_pic_width_in_luma_samples”指示画面picture1从其左上角起的列数，并且标志“picture1_pic_height_in_luma_samples”指示画面picture1从其左上角起的行数。
在SEI消息的语法中添加一组附加参数3，以指示在帧SF中LDR画面的位置和照明画面的位置：值“picture0_offset_x_in_luma_samples”指示与画面SF的第一行的偏移，值“picture0_offset_y_in_luma_samples”指示与帧SF的第一列的偏移，值“picture1_offset_x_in_luma_samples”指示与帧SF的第一行的偏移，并且值“picture1_offset_y_in_luma_samples”指示与帧SF的第一列的偏移。
在图10中，picture0表示LDR画面，分别地，照明画面IF，picture1表示照明画面IF，分别地，LDR画面。
根据实施例，标志“picture_packing_arrangement_type”可以等于特定值以约束编码器根据特定帧打包布置FPAS对帧SF进行编码。
例如，编码器可以被约束为逐片地对帧SF进行编码(例如，如图13、图14或图15所示)或者使分片边界与帧SF一致，如图14和图15所示。
根据实施例，标志“picture_packing_arrangement_type”指示其中LDR画面和/或照明画面被分割成若干片段的特定帧打包布置方案FPAS。该特定帧打包布置方案FPAS还指示每个片段在帧SF中的位置。
图13示出了根据该实施例的这种帧打包布置方案的示例。
根据该帧打包布置方案，picture1(LDR画面或照明画面)被分割为四个片(片段)并且这些片位于画面SF的底部。
图15示出了图14的帧打包布置方案的变型。
这里，通过沿两个方向对picture1进行下采样来获得四个子画面。
本公开的范围不限于所公开的帧打包布置方案，而是扩展到在单个画面中打包两个画面的任何帧打包布置方案。
图16示出了根据本公开实施例的步骤10的子步骤的框图。
在步骤161，模块IC获得要编码的HDR画面I的亮度分量L和潜在地至少一个颜色分量C(i)。
例如，当HDR画面I属于颜色空间(X,Y,Z)时，通过分量Y的变换f(.)(例如，L＝f(Y))获得亮度分量L。
当HDR画面I属于颜色空间(R,G,B)时，例如在709色域中通过线性组合获得亮度分量L，所述线性组合由下式给出：
L＝0.2127.R+0.7152.G+0.0722.B
在步骤162，模块BAM根据HDR画面I的亮度分量L确定照明画面IF。
根据图17所示的步骤162的实施例，模块BI将背光画面Ba确定为由下式给出的形状函数ψi的加权线性组合：
Ba＝∑iaiψi (1)
其中ai是加权系数。
因此，根据亮度分量L确定背光画面Ba包括：找到最佳加权系数(并且如果事先不知道，则潜在地还有最佳形状函数)，以便背光画面Ba适合亮度分量L。
存在许多公知的方法来找到加权系数ai。例如，一种方法可以使用最小均方方法来最小化背光画面Ba和亮度分量L之间的均方误差。
可以注意到，形状函数可以是显示器背光(例如由LED制成，然后每个形状函数对应于一个LED的响应)的真实物理响应，或者可以是纯数学结构，以便最佳地适合亮度分量。
根据该实施例，从步骤162输出的照明画面IF是由等式(1)给出的背光画面Ba。
根据图18所示的步骤162的实施例，模块BM用通过模块HL获得的输入HDR画面I的平均亮度值Lmean来调制背光画面Ba(由等式(1)给出)。
根据该实施例，从步骤162输出的照明画面IF是调制后的背光画面。
根据实施例，模块HL被配置为计算整个亮度分量L上的平均亮度值Lmean。
根据实施例，模块HL被配置为通过下式计算平均亮度值Lmean：
其中β是小于1的系数，E(X)是亮度分量L的数学期望值(平均值)。
该上一个实施例是有利的，因为其避免了平均亮度值Lmean受到具有极高值的几个像素的影响，其中，当HDR画面I属于图像序列时，极高值通常导致非常令人讨厌的时间平均亮度不稳定性。
本发明不限于用于计算平均亮度值Lmean的具体实施例。
根据图19所示的该实施例的变型，模块N通过背光图像Ba(由等式(1)给出)的平均值E(Ba)对背光图像Ba进行归一化，使得获得用于HDR画面(或者如果HDR画面I属于画面序列，则用于所有HDR画面)的中间灰度一致(mid-gray-at-one)背光图像Bagray：
然后，模块BM被配置为通过使用下面的关系用HDR画面I的平均亮度值Lmean调制该中间灰度一致背光图像Bagray：
Bamod≈cstmod·Lmean α·Bagray (2)
其中cstmod是调制系数，α是小于1的另一个调制系数，通常是1/3。
根据该变型，从步骤162输出的照明画面IF是由等式(2)给出的调制后的背光图像Bamod。
可以注意到，调制系数cstmod被调整以获得对于残差画面的良好的亮度，并且高度依赖于获得背光画面的处理。例如，对于通过最小均方获得的背光画面，cstmod≈1.7。
实际上，通过线性，调制背光图像的所有操作适用于背光系数ai，作为将系数ai变换为新系数的校正因子，使得获得：
在步骤163，通过将HDR画面I除以照明画面IF的解码版本来计算残差画面Res。
使用HDR照明画面IF的解码版本以确保编码器和解码器两侧的相同照明数据是有利的，从而导致HDR画面I的解码版本的更佳精度。
更精确地，将从模块IC获得的HDR画面I的亮度分量L和潜在地每个颜色分量C(i)除以照明画面IF的解码版本该除法是逐像素进行的。
例如，当输入HDR画面I的分量R、G或B被表示在颜色空间(R,G,B)中时，如下获得分量RRes、GRes和BRes：
例如，当HDR画面I的分量X、Y或Z被表示在颜色空间(Y,Y,Z)中时，如下获得分量XRes、YRes和ZRes：
根据该方法的实施例，照明画面IF的解码版本通过借助于如关于图2所描述的解码器DEC(步骤21)至少部分地解码比特流F1来获得。
图20示出了根据如图1所述的方法的变型的方法步骤的框图。
在子步骤201，模块TM0对步骤10输出的残差画面Res进行色调映射，以便获得可见的LDR画面Resv。
可能出现残差图像Res不可见，因为其动态范围太高，并且因为该残差图像Res的解码版本显示出太可见的伪影。对残差图像进行色调映射补救了这些缺点中的至少一个。
本发明不限于任何特定色调映射算子。这个单一的条件是色调映射算子应是可逆的。
例如，可以使用由Reinhard定义的色调映射算子(Reinhard，E.、Stark，M.、Shirley，P.和Ferwerda，J.，“Photographic tone rep roduction for digital images”，ACM Transactions on Graphics 21(2002年7月)，或者Boitard，R.、Bouatouch，K.、Cozot，R.、Tho reau，D.、&Gruson，A.(2012).“Temporal coherency for video tone mapping”.A.M.J.van Eijk，C.C.Davis，S.M.Hammel，&A.K.Majumdar(Eds.)，Proc.SPIE 8499，Applications of Digital Image Processing(p.84990D-84990D-10))。
根据步骤201的实施例，对残差画面Res进行色调映射包括：根据残差画面的像素值的伽马校正或SLog校正。
然后，例如通过下式给出可见的LDR画面Resv：
Re sv＝A·Re sγ
其中A是恒定值，γ是等于例如1/2.4的伽马曲线的系数。
备选地，例如通过下式给出可见的LDR画面Resv：
Re sv＝a·ln(Res+b)+c
其中a、b和c是被确定为使得0和1不变的SLog曲线的系数，并且当被低于1的伽马曲线延长时，SLog曲线的导数在1中是连续的。因此，a、b和c是参数γ的函数。
根据实施例，将伽马-Slog曲线的参数γ编码为参数Param。
对残差画面Res应用伽马校正拉起了暗区，但不降低足够高的光以避免明亮像素的燃烧。
对残差画面Res应用SLog校正降低了足够高的光，但不拉起暗区。
然后，根据步骤201的优选实施例，模块TMO根据残差画面Res的像素值应用伽马校正或SLog校正。
当残差画面Res的像素值低于阈值(例如等于1)时，应用伽马校正，否则应用SLog校正。
通过构造，取决于HDR画面I的亮度，可见LDR画面Resv通常具有或多或少地接近1的平均值，使得使用上述伽马-SLog组合特别有效。
根据该方法的实施例，在步骤202，模块SCA在编码(步骤11)之前通过将残差画面Res或可见LDR画面Resv的每个分量乘以缩放因子cstscaling来缩放残差画面Res或可见残差画面Resv。然后，通过下式给出所得LDR画面Ress：
Ress＝cstscaling.Res或者
Ress＝cstscaling.Resv
在特定实施例中，定义缩放因子cstscaling以将残差画面Res或可见LDR画面Resv的值映射在从0到最大值2N-1之间，其中，N是被编码器用于对残差画面Res或可见LDR画面Resv进行编码的所允许的作为编码输入的比特数。
这是通过将值1(其大致是残差画面Res或可见LDR画面Resv的平均值)映射到中间灰度值2N-1而自然获得的。因此，对于具有标准比特数N＝8的残差画面Res或可见LDR画面Resv，等于120的缩放因子是非常一致的值，因为在27＝128处非常接近中性灰色。
根据该方法的实施例，在步骤203，模块CLI在编码之前截断(clip)残差画面Res、Resv或Ress，以将其动态范围限制到目标动态范围TDR，其中，例如根据编码器用于对残差画面进行编码的能力来定义该目标动态范围TDR。
根据该上一个实施例，例如通过根据该方法的实施例的下式给出所得LDR画面Resc：
Resc＝max(2N,Res)
Resc＝max(2N,Resv)或者
Resc＝max(2N,Ress)。
本发明不限于这种截断(max(.))，而是扩展到任何种类的截断。
组合缩放和截断实施例导致通过根据该方法的实施例的下式给出的LDR画面图像Ressc：
Ressc＝max(2N,cstscaling*Res)
或者Ressc＝max(2N,cstscaling*Resv)。
根据该方法的实施例，残差画面RF是残差画面Res、Resv、Ress或Resc之一。
然后，照明画面IF和残差画面RF由编码器ENC编码(步骤11)，如结合图1所述。
残差画面的色调映射和缩放是参数化过程。可以注意到，参数α、cstmod、cstscaling、γ、β可以在后期制作和颜色分级中根据专家的喜好最佳地适合内容。此外，这些参数可以是固定的或不是固定的，并且在后一种情况下，它们可以被认为是一些参数Param。
另一方面，可以定义通用参数，以便对于所有的各种各样的画面是可接受的。
图21示出了根据如图2所述的方法的变型的方法步骤的框图。
如上所述，从步骤21获得LDR画面RF的解码版本和照明画面IF的解码版本
在步骤213，通过将LDR画面RF的解码版本乘以照明画面IF的解码版本来获得HDR画面I的解码版本
根据实施例，参数和/或还从本地存储器或从模块FDEC获得(步骤20)。
根据方法的实施例，在步骤211，模块ISCA通过将LDR画面RF的解码版本除以参数来对LDR画面RF的解码版本应用逆缩放。
根据实施例，在步骤212，模块ITMO借助于参数对LDR画面RF的解码版本应用逆色调映射。
例如，参数定义伽马曲线，并且逆色调映射仅仅是通过伽马曲线找到与LDR画面RF的解码版本的像素值相对应的值。
因此，根据方法的一些实施例，在步骤213中使用的LDR画面RF的解码版本是步骤21输出的LDR画面RF的解码版本或其逆缩放版本(步骤211的输出)或其逆色调映射版本(没有步骤211的步骤212的输出)或其逆缩放和逆色调映射版本(具有步骤211的步骤212的输出)。
比特流F1可以存储在本地或远程存储器上和/或通过通信接口(例如，到总线或通过通信网络或广播网络)发送。
比特流F2可以存储在本地或远程存储器上和/或通过通信接口(例如，到总线或通过通信网络或广播网络)发送。
比特流F1和F2可以被异步发送。
根据本公开的变型，比特流F1和F2可以组合在一起以表示单个比特流。
解码器DEC、FDEC和VDEC被配置为分别对由编码器ENC、FENC和VENC编码的数据进行解码。
编码器ENC、FENC和VENC(以及解码器DEC、FDEC和VDEC)不限于特定编码器(解码器)，但是当需要熵编码器(解码器)时，诸如霍夫曼编码器、算术编码器或如在h264/AVC或HEVC中使用的Cabac的上下文自适应编码器之类的熵编码器是有利的。
编码器ENC、FENC和VENC(以及解码器DEC、FDEC和VDEC)不限于可以是例如诸如JPEG、JPEG2000、MPEG2、h264/AVC或HEVC的具有损失的图像/视频编码器的特定编码器。
根据变型，输出LDR格式被编码在SEI消息(第一消息SE1)中，并且输出HDR格式被编码在VUI消息(第二语法元素SE2)中。
当解码的LDR画面在任何情况下在任何渲染LDR设备上都不可见时，这些变型可能是相关的，例如因为它对应于任何现有渲染LDR设备不支持的颜色空间(例如，Lab颜色空间)。在这种情况下，可以优选地保持VUI以用信号通知输出HDR格式。
图22至图23示出了根据本公开实施例的其语法符合HEVC推荐的表示输出LDR格式的SEI消息(例如称为“LDR_video_info()”)的示例和表示输出HDR格式的VUI消息(例如称为“vui_parameters()”)的示例。
SEI消息“LDR_video_info()”包含以下标签，其实际上定义输出LDR格式：
LDR_video_cancel_flag,
LDR_video_full_range_flag,
LDR_video_colour_primaries,
LDR_video_transfer_characteristics,和
LDR_video_matrix_coeffs。
这些标签的语义类似于针对关于图3描述的SEI消息所提及的语义，除了语法元素与LDR画面相关之外。例如：
-LDR_video_cancel_flag等于1指示SEI消息“LDR_video_info()”以输出顺序取消任何先前SEI消息“LDR_video_info()”的持续性。
-LDR_video_full_range_flag具有与上面引用的HEVC推荐的针对video_full_range_flag语法元素的子条款E.2.1中所规定的相同的语义，以下情况除外：LDR_video_full_range_flag指定用于HDR画面I的解码版本的颜色空间，而不是用于CVS的颜色空间。当标签LDR_video_full_range_flag不存在于SEI消息“LDR_video_info()”中时，LDR_video_full_range_flag的值被推断为等于video_full_range_flag。
-LDR_video_target_colour_primaries具有与上面引用的HEVC推荐的针对colour_primaries语法元素的子条款E.2.1中所规定的相同的语义，以下情况除外：LDR_video_target_colour_primaries指定用于HDR画面I的解码版本的颜色空间，而不是用于CVS的颜色空间。当LDR_video_target_colour_primaries不存在于SEI消息“LDR_video_info()”中时，LDR_video_target_colour_primaries的值被推断为等于colour_primaries。
-LDR_video_target_transfer_characteristics具有与上面引用的HEVC推荐的针对transfer_characteristics语法元素的子条款E.2.1中所规定的相同的语义，以下情况除外：LDR_video_target_transfer_characteristics指定用于HDR画面I的解码版本的颜色空间，而不是用于CVS的颜色空间。当LDR_video_target_transfer_characteristics不存在于SEI消息“LDR_video_info()”中时，LDR_video_target_transfer_characteristics的值被推断为等于transfer_characteristics。
-LDR_video_target_matrix_coeffs具有与上面引用的HEVC推荐的针对matrix_coeffs语法元素的子条款E.2.1中所规定的相同的语义，以下情况除外：LDR_video_target_matrix_coeffs指定用于HDR画面I的解码版本的颜色空间，而不是用于CVS的颜色空间。当LDR_video_target_matrix_coeffs不存在于SEI消息“LDR_video_info()”中时，LDR_video_target_matrix_coeffs的值被推断为等于matrix_coeffs。
SEI消息“LDR_video_info()”的其他标签提供用于获得照明画面IF的解码版本的关于模块ISPLM使用的参数的信息，所述照明画面IF的解码版本用于获得HDR画面I的解码版本这些标签的语义类似于针对关于图5描述的SEI消息所提及的语义。
图23示出了VUI消息“vui_parameters()”的示例。
标签的语义类似于针对关于图3描述的VUI消息所提及的语义，除了语法元素与HDR画面相关之外。
根据变型，在VUI中添加特定语法元素“sample_format”以允许对非整数格式(浮点格式)的支持。作为示例，提出语法元素“sample_format”的语义以指定HDR画面I的解码版本的亮度和色度样本阵列的样本的格式。然后，图23中的标签“sample_format”等于0，以指示样本是整数格式。标志“sample_format”的大于0的值被保留以供ITU-T|ISO/IEC将来使用。当不存在时，标签“sample_format”的值被推断为等于0。
例如，根据变型，标签“sample_format”等于1，以指示样本是半浮点格式。
在图1至图23上，模块是功能单元，其可以与可区分的物理单元相关或不相关。例如，这些模块或它们中的一些可以在独特的组件或电路中集合在一起，或者有助于软件的功能。相反，一些模块可能潜在地由单独的物理实体组成。与本发明兼容的装置使用纯硬件来实现，例如使用诸如ASIC或FPGA或VLSI(分别为“专用集成电路”、“现场可编程门阵列”、“超大规模集成”)的专用硬件，或者由嵌入在设备中的若干集成电子组件或由硬件和软件组件的混合物来实现。
图24表示可以被配置为实现关于图1至图23描述的方法的设备240的示例性架构。
设备240包括通过数据和地址总线241链接在一起的以下元件：
-微处理器242(或CPU)，其例如是DSP(或数字信号处理器)；
-ROM(或只读存储器)243；
-RAM(或随机存取存储器)244；
-I/O接口245，用于从应用接收要发送的数据；以及
-电池246。
根据变型，电池246在设备的外部。图24的这些元件中的每一个是本领域技术人员公知的，并且将不进一步公开。在每个所提及的存储器中，在本说明书中使用的词语“寄存器”可以对应于小容量的区域(一些比特)或非常大的区域(例如，整个程序或大量的接收或解码的数据)。ROM 243包括至少一个程序和参数。根据本发明的方法的算法存储在ROM 243中。当接通时，CPU 242将程序上传到RAM中并执行相应的指令。
RAM 244在寄存器中包括由CPU 242执行并在设备240接通之后上传的程序、寄存器中的输入数据、寄存器中方法的不同状态中的中间数据以及寄存器中用于执行方法的其他变量。
可以例如用方法或过程、装置、软件程序、数据流或信号来实现本文所描述的实施方式。虽然仅在单个实现形式的上下文中进行讨论(例如，仅作为方法或设备讨论)，但是所讨论特征的实现还可以以其他形式(例如，程序)来实现。装置可以实现为例如适当的硬件、软件和固件。所述方法可被实现于诸如处理器的装置中，所述处理器一般是指处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑器件。处理器还包括通信设备(例如，计算机、蜂窝电话、便携/个人数字助理(“PDA”))以及促进终端用户之间的信息通信的其他设备。
根据编码或编码器的具体实施例，从源获得输入HDR画面。例如，所述源属于包括以下项的组：
-本地存储器(243或244)，例如，视频存储器或RAM(或随机存取存储器)、闪存、ROM(或只读存储器)、硬盘；
-存储器接口(245)，例如，大容量存储器、RAM、闪存、ROM、光盘或磁性载体的接口；
-通信接口(245)，例如，有线接口(例如，总线接口、广域网接口、局域网接口)或无线接口(例如，IEEE 802.11接口或 接口)；以及
-画面捕获电路(例如，传感器，如CCD(或电荷耦合器件)或CMOS(或互补金属氧化物半导体))。
根据解码或解码器的不同实施例，解码画面和/或IF被发送到目的地；具体地，所述目的地属于包括以下项的组：
-本地存储器(243或244)，例如，视频存储器或RAM、闪存、硬盘；
-存储器接口(245)，例如，大容量存储器、RAM、闪存、ROM、光盘或磁性载体的接口；
-通信接口(245)，例如，有线接口(例如，总线接口(例如，USB(或通用串行总线))、广域网接口、局域网接口、HDMI(高清多媒体接口)接口)或无线接口(例如，IEEE 802.11接口、或 接口)；以及
-显示器。
根据编码或编码器的不同实施例，将比特流F和信息数据ID发送到目的地。作为一个例子，比特流F和信息数据ID或二者被存储在本地或远程存储器中，例如，视频存储器(244)或RAM(244)、硬盘(243)。在变型中，将比特流F或信息数据ID或二者发送到存储器接口(245)，例如，与大容量存储器、闪存、ROM、光盘或磁性载体的接口、和/或通过通信接口(245)(例如，到点对点链路、通信总线、点对多点链路或广播网络的接口)进行发送。
根据解码或解码器的不同实施例，从源获得比特流F和/或信息数据ID。示例性地，从本地存储器读取比特流和/或信息数据ID，例如，视频存储器(244)、RAM(244)、ROM(243)、闪存(243)或硬盘(243)。在变型中，从存储器接口(1405)接收比特流和/或信息数据ID，例如，与大容量存储器、RAM、ROM、闪存、光盘或磁性载体的接口，和/或从通信接口(245)(例如，到点对点链路、总线、点对多点链路或广播网络的接口)接收比特流和/或信息数据ID。
根据不同实施例，被配置为实现关于图1所描述的方法的设备240属于包括以下项的组：
-移动设备；
-通信设备；
-游戏设备；
-平板(或平板计算机)；
-膝上型计算机；
-静止图像相机；
-视频相机；
-编码芯片；
-静止图像服务器；以及
-视频服务器(例如，广播服务器、视频点播服务器或网络服务器)。
根据不同实施例，被配置为实现关于图2所描述的方法的设备240属于包括以下项的组：
-移动设备；
-通信设备；
-游戏设备；
-机顶盒；
-电视机；
-平板(或平板计算机)；
-膝上型计算机；
-显示器；以及
-解码芯片。
根据图25所示的实施例，在两个远程设备A和B之间通过通信网络NET的传输上下文中，设备A包括被配置为实现如关于图1所描述的方法的装置，并且设备B包括被配置为实现关于图2所描述的方法的装置。
根据本发明的变型，网络是广播网络，其适于将静态画面或视频画面从设备A广播到包括设备B的解码设备。
本文所述的多种处理和特征的实现方案可以实现为多种不同设备或应用，具体地，例如，设备或应用。这种设备的示例包括编码器、解码器、处理来自解码器的输出的后处理器、向编码器提供输入的预处理器、视频编码器、视频解码器、视频编解码器、网络服务器、机顶盒、膝上型计算机、个人计算机、蜂窝电话、PDA以及其他通信设备。应当清楚，设备可以是移动的，甚至安装在移动交通工具中。
另外，方法可以通过由处理器执行的指令来实现，并且这样的指令(和/或由实现所产生的数据值)可以存储在计算机可读存储介质上。计算机可读存储介质可采用计算机可读程序产品的形式，所述计算机可读程序产品实现在一个或多个计算机可读介质中，并且其上实现有可由计算机执行的计算机可读程序代码。本文使用的计算机可读存储介质被认为是非暂时存储介质，其具有用来在其中存储信息的内在能力以及从中获取信息的内在能力。计算机可读存储介质可以是例如但不限于：电、磁、光、电磁、红外或半导体系统、装置或设备或前述系统、装置或设备的任意合适组合。应当认识到，在提供本发明原理可以应用到的计算机可读存储介质的更具体示例的同时，如本领域普通技术人员容易理解的，以下内容仅是说明性的而不是详尽列表：便携式计算机磁盘；硬盘；只读存储器(ROM)；可擦除可编程只读存储器(EPROM或闪存)；便携式紧凑盘只读存储器(CD-ROM)；光存储设备；磁存储设备；或者前述项的任意适当组合。
指令可以形成在处理器可读介质上有形实现的应用程序。
指令可位于例如硬件、固件、软件或其组合中。可以在例如操作系统、单独应用或两者组合中发现指令。因此，处理器可以被特征化为例如配置用于执行处理的设备和包括具有用于执行处理的指令的处理器可读介质(诸如，存储设备)的设备。此外，处理器可读介质可存储实现所产生的数据值，作为对指令的添加或替代。
本领域技术人员应清楚，实施方式可以产生被格式化为承载例如可存储的或可传输的信息的多种信号。信息可以包括例如执行方法的指令或通过描述的实施方式之一所产生的数据。例如，信号可以被格式化为将用于写入或读取所述实施例的语义的规则承载为数据，或将由所述实施例写入的真实语义值承载为数据。这种信号可被格式化为例如电磁波(例如使用频谱的射频部分)或基带信号。格式化可包括例如对数据流进行编码或者使用已编码数据流调制载波。信号承载的信息可以是例如模拟或数字信息。可以通过公知的多种不同有线或无线链路来传输信号。信号可存储在处理器可读介质上。
已经描述了多种实施方式。但是应当理解，可以做出各种修改。例如，可以组合、增补、修改或去除不同实施方式的要素，以便产生其他实施方式。另外，本领域普通技术人员将理解的是，其他结构或处理可以替代那些公开的内容，并且所得到的实施方式将用至少基本相同的方式来执行至少基本相同的功能，以实现与所公开的实施方式基本相同的结果。因此，本申请还考虑这些和其他实施方式。
Claims (25)
1.一种方法，包括：
-在表示根据HDR画面获得的LDR画面的比特流中对第一语法元素和第二语法元素进行编码，所述第一语法元素定义被表示为输出LDR格式的所述LDR画面的解码版本的画面/视频格式，所述第二语法元素不同于所述第一语法元素并且定义被表示为输出HDR格式的所述HDR画面的解码版本的画面/视频格式；
-在所述比特流中对表示所述LDR画面的数据进行编码；以及
-在所述比特流中对表示所述HDR画面的数据进行编码。
2.根据权利要求1所述的方法，其中所述方法还包括：发送用于对所述LDR和HDR画面进行解码的参数。
3.一种方法，包括：
-从表示根据HDR画面获得的LDR画面的比特流中访问第一语法元素和第二语法元素，所述第一语法元素定义被表示为输出LDR格式的所述LDR画面的解码版本的画面/视频格式，所述第二语法元素不同于所述第一语法元素并且定义被表示为输出HDR格式的所述HDR画面的解码版本的画面/视频格式；以及
-从所述比特流中访问表示所述LDR或HDR画面的数据。
4.根据权利要求3所述的方法，其中所述方法还包括：接收用于对所述LDR和HDR画面进行解码的参数。
5.一种设备，包括至少一个处理器，所述至少一个处理器被配置为：
-在表示根据HDR画面获得的LDR画面的比特流中对第一语法元素和第二语法元素进行编码，所述第一语法元素定义被表示为输出LDR格式的所述LDR画面的解码版本的画面/视频格式，所述第二语法元素不同于所述第一语法元素并且定义被表示为输出HDR格式的所述HDR画面的解码版本的画面/视频格式；
-在所述比特流中对表示所述LDR画面的数据进行编码；以及
-在所述比特流中对表示所述HDR画面的数据进行编码。
6.根据权利要求5所述的设备，其中所述至少一个处理器还被配置为：发送用于对所述LDR和HDR画面进行解码的参数。
7.一种设备，包括至少一个处理器，所述至少一个处理器被配置为：
-从表示根据HDR画面获得的LDR画面的比特流中访问第一语法元素和第二语法元素，所述第一语法元素定义被表示为输出LDR格式的所述LDR画面的解码版本的画面/视频格式，所述第二语法元素不同于所述第一语法元素并且定义被表示为输出HDR格式的所述HDR画面的解码版本的画面/视频格式；以及
-从所述比特流中访问表示所述LDR或HDR画面的数据。
8.根据权利要求7所述的设备，其中所述至少一个处理器还被配置为：接收用于对所述LDR和HDR画面进行解码的参数。
9.一种方法，包括：从表示根据HDR画面获得的LDR画面的比特流中对第一语法元素和第二语法元素进行解码，所述第一语法元素定义被表示为输出LDR格式的所述LDR画面的解码版本的画面/视频格式，所述第二语法元素不同于所述第一语法元素并且定义被表示为输出HDR格式的所述HDR画面的解码版本的画面/视频格式。
10.根据权利要求9所述的方法，其中所述第一语法元素是语法符合HEVC推荐的VUI消息，并且所述第二语法元素是补充增强信息消息。
11.根据权利要求9或10所述的方法，其中所述方法还包括：对所述LDR或HDR画面进行解码。
12.根据权利要求11所述的方法，其中所述方法还包括：接收用于对所述LDR和HDR画面进行解码的参数。
13.一种设备，包括至少一个处理器，所述至少一个处理器被配置为：从表示根据HDR画面获得的LDR画面的比特流中对第一语法元素和第二语法元素进行解码，所述第一语法元素定义被表示为输出LDR格式的所述LDR画面的解码版本的画面/视频格式，所述第二语法元素不同于所述第一语法元素并且定义被表示为输出HDR格式的所述HDR画面的解码版本的画面/视频格式。
14.根据权利要求13所述的设备，其中所述第一语法元素是语法符合HEVC推荐的VUI消息，并且所述第二语法元素是补充增强信息消息。
15.根据权利要求13或14所述的设备，其中所述至少一个处理器还被配置为：对所述LDR或HDR画面进行解码。
16.根据权利要求15所述的设备，其中所述至少一个处理器还被配置为：接收用于对所述LDR和HDR画面进行解码的参数。
17.一种设备，包括：
-用于访问HDR画面的画面捕获电路、本地存储器、存储器接口或通信接口；
-根据权利要求5或6的设备；以及
-用于发送信号的通信接口，所述信号承载根据权利要求1-2之一的方法导出的比特流。
18.根据权利要求17所述的设备，其中所述设备是以下列表中的一个设备：移动设备，通信设备，游戏设备，平板计算机，膝上型计算机，静止图像相机，视频相机，编码芯片，或静止图像/视频服务器。
19.一种设备，包括：
-用于根据权利要求3-4的方法访问比特流的本地存储器、存储器接口或通信接口；以及
-权利要求13-15之一的设备。
20.根据权利要求19所述的设备，其包括显示器，所述显示器被配置为显示解码的LDR或HDR画面。
21.根据权利要求19或20之一所述的设备，其中所述设备是以下列表中的一个设备：移动设备，通信设备，游戏设备，平板计算机，膝上型计算机，静止图像相机，视频相机，静止图像/视频服务器，机顶盒，电视机，平板计算机，显示器或解码芯片。
22.一种计算机可读介质，包括指令，用于使一个或多个处理器执行：
-在表示根据HDR画面获得的LDR画面的比特流中对第一语法元素和第二语法元素进行编码，所述第一语法元素定义被表示为输出LDR格式的所述LDR画面的解码版本的画面/视频格式，所述第二语法元素不同于所述第一语法元素并且定义被表示为输出HDR格式的所述HDR画面的解码版本的画面/视频格式；
-在所述比特流中对表示所述LDR画面的数据进行编码；以及
-在所述比特流中对表示所述HDR画面的数据进行编码。
23.一种计算机可读介质，包括指令，用于使一个或多个处理器执行：
-从表示根据HDR画面获得的LDR画面的比特流中访问第一语法元素和第二语法元素，所述第一语法元素定义被表示为输出LDR格式的所述LDR画面的解码版本的画面/视频格式，所述第二语法元素不同于所述第一语法元素并且定义被表示为输出HDR格式的所述HDR画面的解码版本的画面/视频格式；以及
-从所述比特流中访问表示所述LDR或HDR画面的数据。
24.一种计算机可读介质，包括指令，用于使一个或多个处理器执行：从表示根据HDR画面获得的LDR画面的比特流中对第一语法元素和第二语法元素进行解码，所述第一语法元素定义被表示为输出LDR格式的所述LDR画面的解码版本的画面/视频格式，所述第二语法元素不同于所述第一语法元素并且定义被表示为输出HDR格式的所述HDR画面的解码版本的画面/视频格式。
25.一种计算机可读存储器，包括指令代码，用于当所述指令代码在计算机上执行时实现权利要求1-4之一的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911356760.5A CN110830804B (zh) | 2014-06-20 | 2015-06-04 | 用于用信号通知画面/视频格式的方法和设备 |
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP14305963.2 | 2014-06-20 | ||
| EP14305963.2A EP2958328A1 (en) | 2014-06-20 | 2014-06-20 | Method and device for signaling in a bitstream a picture/video format of an LDR picture and a picture/video format of a decoded HDR picture obtained from said LDR picture and an illumination picture |
| CN201911356760.5A CN110830804B (zh) | 2014-06-20 | 2015-06-04 | 用于用信号通知画面/视频格式的方法和设备 |
| CN201580033334.1A CN106464923B (zh) | 2014-06-20 | 2015-06-04 | 用于用信号通知画面/视频格式的方法和设备 |
| PCT/EP2015/062470 WO2015193112A1 (en) | 2014-06-20 | 2015-06-04 | Method and device for signaling in a bitstream a picture/video format of an ldr picture and a picture/video format of a decoded hdr picture obtained from said ldr picture and an illumination picture |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580033334.1A Division CN106464923B (zh) | 2014-06-20 | 2015-06-04 | 用于用信号通知画面/视频格式的方法和设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110830804A CN110830804A (zh) | 2020-02-21 |
| CN110830804B true CN110830804B (zh) | 2024-01-02 |
Family
ID=51162639
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580033334.1A Active CN106464923B (zh) | 2014-06-20 | 2015-06-04 | 用于用信号通知画面/视频格式的方法和设备 |
| CN201911356760.5A Active CN110830804B (zh) | 2014-06-20 | 2015-06-04 | 用于用信号通知画面/视频格式的方法和设备 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580033334.1A Active CN106464923B (zh) | 2014-06-20 | 2015-06-04 | 用于用信号通知画面/视频格式的方法和设备 |
Country Status (11)
| Country | Link |
|---|---|
| US (1) | US10219007B2 (zh) |
| EP (2) | EP2958328A1 (zh) |
| JP (2) | JP6719391B2 (zh) |
| KR (1) | KR102389652B1 (zh) |
| CN (2) | CN106464923B (zh) |
| AU (1) | AU2015276393B2 (zh) |
| BR (1) | BR112016029963A2 (zh) |
| MX (2) | MX364806B (zh) |
| TW (1) | TWI680674B (zh) |
| WO (1) | WO2015193112A1 (zh) |
| ZA (1) | ZA201608451B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201506644D0 (en) * | 2015-04-20 | 2015-06-03 | Univ Warwick | HDR compression method and application to viewers |
| WO2017011636A1 (en) | 2015-07-16 | 2017-01-19 | Dolby Laboratories Licensing Corporation | Signal reshaping and coding for hdr and wide color gamut signals |
| JP6986670B2 (ja) | 2015-09-11 | 2021-12-22 | パナソニックＩｐマネジメント株式会社 | 映像受信方法及び映像受信装置 |
| CN107950031B (zh) * | 2015-09-11 | 2021-02-19 | 松下知识产权经营株式会社 | 影像接收方法以及影像接收装置 |
| JP6820507B2 (ja) * | 2015-09-14 | 2021-01-27 | パナソニックＩｐマネジメント株式会社 | 映像受信方法、映像送信方法、映像受信装置及び映像送信装置 |
| US10200690B2 (en) * | 2015-09-22 | 2019-02-05 | Qualcomm Incorporated | Video decoder conformance for high dynamic range (HDR) video coding using a core video standard |
| EP3220645A1 (en) | 2016-03-18 | 2017-09-20 | Thomson Licensing | A method and a device for encoding a high dynamic range picture, corresponding decoding method and decoding device |
| CN107277399B (zh) * | 2017-06-09 | 2020-10-20 | 深圳Tcl新技术有限公司 | 电视终端及hdr图像转为sdr的方法和计算机可读存储介质 |
| CN112330543A (zh) * | 2020-12-01 | 2021-02-05 | 上海网达软件股份有限公司 | 一种基于自监督学习的视频超分辨方法及系统 |
| KR20240026319A (ko) | 2022-08-18 | 2024-02-28 | 삼성디스플레이 주식회사 | 표시 장치 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1827024A1 (en) * | 2006-02-24 | 2007-08-29 | Sharp Kabushiki Kaisha | High dynamic range video coding |
| WO2011163114A1 (en) * | 2010-06-21 | 2011-12-29 | Dolby Laboratories Licensing Corporation | Displaying images on local-dimming displays |
| WO2012147010A1 (en) * | 2011-04-28 | 2012-11-01 | Koninklijke Philips Electronics N.V. | Method and apparatus for generating an image coding signal |
| EP2579591A1 (en) * | 2011-10-04 | 2013-04-10 | Thomson Licensing | Method of and device for encoding an HDR image, method of and device for reconstructing an HDR image and non-transitory storage medium |
| EP2613532A1 (en) * | 2012-01-06 | 2013-07-10 | Thomson Licensing | Method of and device for encoding an HDR video together with an LDR video, method of and device for reconstructing one of an HDR video and an LDR video coded together and non-transitory storage medium |
| CN103493487A (zh) * | 2011-04-28 | 2014-01-01 | 皇家飞利浦有限公司 | 用于hdr图像编码和解码的装置和方法 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030163477A1 (en) * | 2002-02-25 | 2003-08-28 | Visharam Mohammed Zubair | Method and apparatus for supporting advanced coding formats in media files |
| US7609762B2 (en) * | 2003-09-07 | 2009-10-27 | Microsoft Corporation | Signaling for entry point frames with predicted first field |
| US7483486B2 (en) * | 2004-07-02 | 2009-01-27 | Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V. | Method and apparatus for encoding high dynamic range video |
| KR20050092688A (ko) * | 2005-08-31 | 2005-09-22 | 한국정보통신대학교 산학협력단 | 통합 멀티미디어 파일 포맷 구조와 이를 기반으로 하는멀티미디어 서비스 제공 시스템 및 그 방법 |
| US8880571B2 (en) * | 2006-05-05 | 2014-11-04 | Microsoft Corporation | High dynamic range data format conversions for digital media |
| US7826673B2 (en) * | 2007-01-23 | 2010-11-02 | Sharp Laboratories Of America, Inc. | Methods and systems for inter-layer image prediction with color-conversion |
| KR20100106327A (ko) * | 2007-11-16 | 2010-10-01 | 디브이엑스, 인크. | 멀티미디어 파일을 위한 계층적 및 감소된 인덱스 구조 |
| US8175158B2 (en) * | 2008-01-04 | 2012-05-08 | Sharp Laboratories Of America, Inc. | Methods and systems for inter-layer image prediction parameter determination |
| US20130107956A1 (en) * | 2010-07-06 | 2013-05-02 | Koninklijke Philips Electronics N.V. | Generation of high dynamic range images from low dynamic range images |
| TWI624182B (zh) * | 2011-04-15 | 2018-05-11 | 杜比實驗室特許公司 | 高動態範圍影像的編碼、解碼及表示 |
| US9131245B2 (en) * | 2011-09-23 | 2015-09-08 | Qualcomm Incorporated | Reference picture list construction for video coding |
| IN2014CN03598A (zh) * | 2011-11-04 | 2015-07-31 | Sharp Kk | |
| US9866829B2 (en) * | 2012-01-22 | 2018-01-09 | Qualcomm Incorporated | Coding of syntax elements that correspond to coefficients of a coefficient block in video coding |
| US9432664B2 (en) * | 2012-09-28 | 2016-08-30 | Qualcomm Incorporated | Signaling layer identifiers for operation points in video coding |
| CN105340272B (zh) * | 2013-06-10 | 2018-11-06 | 汤姆逊许可公司 | 编码和解码方法以及对应的编码器和解码器 |
| EP3026912A1 (en) * | 2014-11-27 | 2016-06-01 | Thomson Licensing | Method and device for encoding and decoding a HDR picture and a LDR picture using illumination information |
-
2014
- 2014-06-20 EP EP14305963.2A patent/EP2958328A1/en not_active Withdrawn
-
2015
- 2015-06-04 US US15/320,302 patent/US10219007B2/en active Active
- 2015-06-04 WO PCT/EP2015/062470 patent/WO2015193112A1/en active Application Filing
- 2015-06-04 BR BR112016029963A patent/BR112016029963A2/pt unknown
- 2015-06-04 JP JP2016573811A patent/JP6719391B2/ja active Active
- 2015-06-04 MX MX2016017116A patent/MX364806B/es active IP Right Grant
- 2015-06-04 KR KR1020177001460A patent/KR102389652B1/ko active IP Right Grant
- 2015-06-04 CN CN201580033334.1A patent/CN106464923B/zh active Active
- 2015-06-04 AU AU2015276393A patent/AU2015276393B2/en active Active
- 2015-06-04 EP EP15728801.0A patent/EP3158745A1/en not_active Ceased
- 2015-06-04 CN CN201911356760.5A patent/CN110830804B/zh active Active
- 2015-06-12 TW TW104118996A patent/TWI680674B/zh active
-
2016
- 2016-12-07 ZA ZA2016/08451A patent/ZA201608451B/en unknown
- 2016-12-19 MX MX2019005301A patent/MX2019005301A/es unknown
-
2020
- 2020-06-16 JP JP2020103552A patent/JP7053722B2/ja active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1827024A1 (en) * | 2006-02-24 | 2007-08-29 | Sharp Kabushiki Kaisha | High dynamic range video coding |
| WO2011163114A1 (en) * | 2010-06-21 | 2011-12-29 | Dolby Laboratories Licensing Corporation | Displaying images on local-dimming displays |
| WO2012147010A1 (en) * | 2011-04-28 | 2012-11-01 | Koninklijke Philips Electronics N.V. | Method and apparatus for generating an image coding signal |
| CN103493487A (zh) * | 2011-04-28 | 2014-01-01 | 皇家飞利浦有限公司 | 用于hdr图像编码和解码的装置和方法 |
| EP2579591A1 (en) * | 2011-10-04 | 2013-04-10 | Thomson Licensing | Method of and device for encoding an HDR image, method of and device for reconstructing an HDR image and non-transitory storage medium |
| EP2613532A1 (en) * | 2012-01-06 | 2013-07-10 | Thomson Licensing | Method of and device for encoding an HDR video together with an LDR video, method of and device for reconstructing one of an HDR video and an LDR video coded together and non-transitory storage medium |
Non-Patent Citations (2)
| Title |
|---|
| Overview of the High Efficiency Video Coding (HEVC) Standard;Gary J. Sullivan;《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》;20121231;全文 * |
| 融合视觉感知特性的HDR视频编码率失真优化算法;杨桐;郁梅;姜浩;蒋刚毅;;光电工程(01);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| AU2015276393A1 (en) | 2017-02-02 |
| TW201601519A (zh) | 2016-01-01 |
| EP3158745A1 (en) | 2017-04-26 |
| JP6719391B2 (ja) | 2020-07-08 |
| MX2019005301A (es) | 2024-01-29 |
| EP2958328A1 (en) | 2015-12-23 |
| MX2016017116A (es) | 2017-05-10 |
| BR112016029963A2 (pt) | 2017-08-22 |
| MX364806B (es) | 2019-05-08 |
| CN106464923B (zh) | 2020-01-21 |
| US20180213259A1 (en) | 2018-07-26 |
| TWI680674B (zh) | 2019-12-21 |
| AU2015276393B2 (en) | 2020-02-27 |
| US10219007B2 (en) | 2019-02-26 |
| CN106464923A (zh) | 2017-02-22 |
| WO2015193112A1 (en) | 2015-12-23 |
| ZA201608451B (en) | 2018-05-30 |
| KR20170020873A (ko) | 2017-02-24 |
| JP2017522794A (ja) | 2017-08-10 |
| JP7053722B2 (ja) | 2022-04-12 |
| JP2020174358A (ja) | 2020-10-22 |
| CN110830804A (zh) | 2020-02-21 |
| KR102389652B1 (ko) | 2022-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110830804B (zh) | 用于用信号通知画面/视频格式的方法和设备 | |
| US11178412B2 (en) | Method and apparatus of encoding and decoding a color picture | |
| RU2710291C2 (ru) | Способы и устройства для кодирования и декодирования цветного изображения hdr | |
| US11006151B2 (en) | Method and device for encoding both a HDR picture and a SDR picture obtained from said HDR picture using color mapping functions | |
| RU2737507C2 (ru) | Способ и устройство для кодирования изображения высокого динамического диапазона, соответствующий способ декодирования и устройство декодирования | |
| EP3051489A1 (en) | A method and apparatus of encoding and decoding a color picture | |
| WO2015193113A1 (en) | Method and device for signaling in a bitstream a picture/video format of an ldr picture and a picture/video format of a decoded hdr picture obtained from said ldr picture and an illumination picture. | |
| WO2015193114A1 (en) | Method and device for signaling in a bitstream a picture/video format of an ldr picture and a picture/video format of a decoded hdr picture obtained from said ldr picture and an illumination picture | |
| EP3099073A1 (en) | Method and device of encoding/decoding a hdr and a sdr picture in/from a scalable bitstream |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |