CN103210418A - 高动态范围图像的内容元数据增强 - Google Patents

高动态范围图像的内容元数据增强 Download PDF

Info

Publication number
CN103210418A
CN103210418A CN2011800546566A CN201180054656A CN103210418A CN 103210418 A CN103210418 A CN 103210418A CN 2011800546566 A CN2011800546566 A CN 2011800546566A CN 201180054656 A CN201180054656 A CN 201180054656A CN 103210418 A CN103210418 A CN 103210418A
Authority
CN
China
Prior art keywords
image
view data
mapping
dark
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800546566A
Other languages
English (en)
Other versions
CN103210418B (zh
Inventor
P·W·朗赫斯特
L·约翰逊
N·W·迈斯莫尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby Laboratories Licensing Corp
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of CN103210418A publication Critical patent/CN103210418A/zh
Application granted granted Critical
Publication of CN103210418B publication Critical patent/CN103210418B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/644—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor using a reduced set of representative colours, e.g. each representing a particular range in a colour space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

以更低位深格式对图像数据进行编码以便进行分发。图像数据具有小于最大范围的范围，并通过使用如下的映射来被映射到更低位深格式，即所述映射使得更低位深表示的范围与更低位深表示的最大范围的比率大于图像数据的范围与图像数据的最大范围的比率。表征映射的元数据与更低位深表示相关联。元数据可在下游使用，以便进行映射的逆向处理从而使得色调细节得到更好的再现。

Description

高动态范围图像的内容元数据增强
相关申请的交叉引用
本申请要求2010年11月23日提交的美国临时专利申请No.61/416,728的优先权，其全部内容通过引用并入此处。
技术领域
本公开涉及当在具有位深（bit depth）n的显示器上显示以位深m编码的图像时减少不希望的视觉可感知的伪像（artifact），其中，m<n。与图像一起分发的元数据表征图像的亮度（luminance）范围。
背景技术
显示器的位深对应于每个显示器像素能够再现或显示的明亮度（brightness）等级的数量。显示器的位深越高，能够再现的离散明亮度等级越多。例如，具有为1的位深的显示器可在每个像素中表现21=2个明亮度等级中的任意一个（例如，每个像素可为导通（ON）或关断（OFF））。形成对比的是，在具有为10的位深的显示器中，该显示器可能能够将每个像素控制为具有210=1024个不同的明亮度等级中的一个。
彩色显示器可对于多个原色中的每一个提供分离的子像素。例如，显示器可提供包括红、绿、蓝子像素的像素。像素的亮度和颜色可通过改变每个子像素的明亮度而得到控制。子像素控制中的位深越大，允许表现的离散亮度等级越多，且允许彩色显示器显示的不同颜色的数量越大。在对于每个子像素为1的位深的情况下，一个子像素可为黑或红，另一子像素可为黑或绿，第三个子像素可为黑或蓝。在这种情况下，像素可表现21×21×21=23=8种颜色中的任意颜色。
位深为8的彩色显示器能够在每个所显示的子像素中表现28=256个明亮度等级中的任意一个。例如，为0的值可代表子像素亮度范围底部的值（通常为黑色），为255的值可代表子像素亮度范围顶部的值。这种显示器理论上能在每个像素中显示28·28·28=224=16777216种颜色中的任意一种。
为了便于其显示，图像通过使用多种编码方案来被编码。位深是这种方案的一种属性。如果使用为8的位深来对图像进行编码，那么，编码后的图像的子像素（或者，在单色图像的情况下的像素）中的每一个可表现28=256个明亮度等级中的任意一个。如果使用为10的位深来对同一图像进行编码，那么，编码后的图像的子像素（或者，在单色图像的情况下的像素）中的每一个可表现210=1024个明亮度等级中的任意一个。因此，位深越高，在像素亮度范围内提供的粒度（granularity）越是精细。
某些用于彩色图像的编码方案不直接指定各个子像素的明亮度。例如，LUV方案指定像素的整体亮度（L），并使用两个色度坐标值U和V指定该像素的颜色。再一次地，更大的位深可用于增大能由图像数据表现的颜色和/或不同亮度步阶（step）的数量。
一般而言，希望的是被显示图像中的亮度步阶足够小，以使得一个步阶的亮度差不能被人类视觉系统（HVS）容易地感知。大于此的步阶能导致可见的伪像，例如条带（banding），特别是在亮度缓慢变化的图像区域中。由于位深越高则可能的步阶越为精细，因此希望更高的位深用于显示具有更大亮度范围的图像。然而，与使用较低位深编码的图像相比，使用较高位深编码的图像更大（即，消耗更多的计算机内存或存储空间以及通信链路上的更多带宽），并相应地在其能被显示前需要增多的计算处理时间和资源。因此，尽管可使用具有较高位深能力的显示器，且事实上图像常常在最初以较高的位深获得，但图像常常以低于最佳位深的位深编码以便分发。
存在对于这样的实用且成本有效的方法和设备的需求：其用于分发和再现具有希望的图像质量的图像（静止和视频图像二者）。
发明内容
本发明提供了可在图像数据的分发、处理和显示中应用的方法和设备。本发明的方面提供：用于以较低位深格式对图像数据进行编码以便分发的方法；用于准备用于显示的分发的图像数据并且对这种分发的图像数据进行显示的方法；用于使用可变映射以较低位深表示对图像数据进行编码的设备；用于使用可变映射将较低位深图像数据处理为较高位深的设备；用于显示分发的图像数据的设备。本发明可应用于例如电影、电视节目以及其他视频内容的分发和显示。例如，本发明可在电视、视频监视器、计算机监视器、计算机系统、专用显示器等等之中具体实现。
本发明的一方面提供用于分发图像数据的方法。该方法包括：确定图像数据的范围，以及将图像数据映射到减小位深格式，以便产生图像数据的更低位深表示。所述映射使用如下的映射来完成，即该映射使得更低位深表示的范围与更低位深表示的最大范围的比率大于图像数据的范围与图像数据的最大范围的比率。该方法生成表征所述映射的元数据，并将元数据与更低位深表示相关联。
本发明的另一方面提供用于显示图像的方法。该方法包括：获得处于具有第一位深的第一格式的图像数据和相应的元数据。基于元数据，该方法生成用于将图像数据映射到具有第二位深的第二格式的色调（tone）映射，其中第二位深大于第一位深。然后，该方法应用色调映射以便将图像数据映射到第二格式，并显示第二格式数据。
本发明的又一方面提供包括图像分析器的图像处理设备，图像分析器被配置成：对于处于第一格式的图像确定图像数据中的值的范围，并对于该图像生成从第一格式到第二格式的映射，第二格式具有与第一格式相比更低的位深。该设备包括：映射单元，映射单元被配置成根据所述映射将图像从第一格式映射到第二格式；以及，编码单元，编码单元被配置成将第二格式图像数据和代表映射的元数据编码成分发格式。
下面描述并在附图中示出本发明的更多方面以及本发明的示例实施例的特征。
附图说明
附图示出了本发明的示例性非限制性实施例。
图1是现有技术的成像系统的简化框图图示，其中，n+位图像数据用m位的位深编码，并分发到具有位深n的显示器，其中，m<n。
图2是成像系统的简化示意性图示，其中，n+位深的图像数据在具有减小的位深的分发路径上被分发。示例分发路径包括有线电视、卫星电视、盘（例如DVD或蓝光TM盘）以及因特网路径。
图3示意性地示出了根据现有技术分别在可调光（dimmable）显示器上的亮图像与暗图像的显示。
图4示意性地示出了对图像数据的亮度范围的重新映射。
图5为示出根据本发明一示例实施例的方法的流程图。
图6为示出根据本发明另一实施例的方法的简化流程图。
图7以图形形式示出了在对图像数据进行编码时对亮度步阶进行移位和重新缩放，以便从以具有有限位深的格式呈现的图像数据获得改进的图像质量。在所示出的示例实施例中，位深为5位。
图8示意性地示出了根据本发明一实施例经由m位位深编码的图像来分发图像数据，以便在具有n位位深能力的显示器上进行显示。
图9示意性地示出了根据本发明一示例实施例的设备。
具体实施方式
贯穿下面的描述，给出具体的细节以便为本领域技术人员提供更为全面的理解。然而，公知的元件可能没有示出或详细描述，以避免不必要地模糊本公开。相应地，说明书和附图将被看作是说明性而不是限制性意义。
背景
图1示出了示例性情况，其中，图像处理器14将具有至少为n位（n+位）的位深的图像数据10转换为m位的较低位深并编码以进行分发。m位信号15被递送到图像处理器16（例如，其可位于显示器内部或显示器外部）。图像处理器16以n位的位深呈现信号以便在显示器12上显示。
尽管显示器可能具有更高位深能力，但将要显示的图像的位深实际上能将显示器约束到与图像的位深相等的有效位深。例如，在具有10位位深的显示器上显示以8位位深编码的图像的一种方法是将8位图像数据用作用于显示器的10位驱动信号的8个最高有效位。这具有使用显示器的几乎全部亮度范围的优点。然而，结果得到的图像可能具有条带或其他不希望的视觉可感知伪像，这是因为没有利用显示器的全部位深，且因此在相邻亮度等级之间的步阶可能是可见的。在亮度范围大的情况下，例如在显示器为高明亮度、高动态范围显示器的情况下，这种伪像能特别引人注目。将8位位深图像数据用作用于显示器的10位驱动信号的最低有效位也是不期望的，因为显示器的亮度范围能力没有被完全或充分利用。
图2示出了高清电视（HDTV）30和连接到计算机31的高清计算机监视器32。计算机31和HDTV30均被连接为在多种分发介质路径上接收图像数据。HDTV30和计算机监视器32各自能够显示具有n位位深的图像数据。在每个情况下，即使图像数据初始具有较大的位深，该图像数据也以较低位深格式（例如m位）分发。在此示例中，图像数据20最初具有n位或更大（n+位）的位深，每个分发路径包括其中图像数据以具有m位位深的格式被运送的至少一个区间，其中，m<n。m不必对于所有分发路径相同。图2示出的是因特网分发路径21、盘（例如DVD或蓝光TM盘）分发路径22、有线电视分发路径23以及卫星电视分发路径24。
从诸如照相机25之类的合适的源获得图像数据20。因特网分发路径21穿过因特网以m位位深格式运送图像数据20。盘分发路径22在盘播放器27上回放的盘26上以m位位深格式记录图像数据20。有线电视分发路径23穿过有线电视系统网络28将处于m位位深格式的图像数据20运送到有线电视机顶盒29，有线电视机顶盒29将图像数据20的较低位深（即m位，其中，m<n）编码版本分发到n位背光式高动态范围图像显示器，例如高清电视（HDTV）30或高清计算机监视器32。卫星电视分发路径24包括卫星发送器33，该卫星发送器33将图像数据20的m位编码版本分发到卫星接收器34。将理解，具有更少或更多图像源、更少或更多图像处理器以及更少或更多显示器的成像系统变体是可行的。
某些背光式显示器具有“全局调光”能力，由此，显示器背光中的所有发光元件能被同时调光或关断。相比于不具有调光能力的相当的显示器，全局调光能改善显示器的亮度范围。
某些其他的背光式显示器具有“局部调光”能力，由此，显示器背光中的各个发光元件或发光元件组能被选择性地调光或关断。相比于不具有调光能力的相当的显示器，局部调光可显著改善显示器的动态范围，或者，相比于具有全局调光能力的相当的显示器，局部调光可改善显示器的局部对比度以及同步范围。
图3使用log（L）图形表示示意性地示出了分别在可调光显示器上的亮图像与暗图像的显示，其中，L表示以尼特（nit）为单位的亮度。例如，高动态范围图像数据可指定从0.001到10000尼特的范围的亮度值，其对应于图3中的条41。例如，显示器可能能够显示亮度值范围从0.1到600尼特的图像，其对应于图3中示出的条42。如果显示器具有调光能力，则当显示器的调光能力被完全利用时，同一显示器也可能能够显示亮度值范围从0.01到60尼特的暗图像，其对应于图3所示的条43。
图3包括可在显示器上显示的一个场景（scene）“场景A”的直方图。场景A对应于由范围从0.005到10000尼特的亮度值表征的亮场景的高动态范围图像。显示器的调光能力未被使用，以便使得当场景A图像被显示时图像较亮特性的减小最小化。所指定明亮度超过600尼特的场景A的像素可被限幅（clip）到600尼特或以其他方式受到处理（例如缩放、色调映射等），以便在条42所指示的范围内显示。类似地，所指定明亮度小于0.1尼特的场景A的像素可被限幅到0.1尼特或以其他方式受到处理（例如缩放、色调映射等），以便在条42所指示的范围内显示。
图3还包括另一场景“场景B”的直方图，场景B对应于由范围从0.001到200尼特的亮度值表征的暗场景的高动态范围图像。显示器的调光能力可被使用，以便在场景B图像被显示时在由条44指示的中间亮度范围内改善图像亮度特性的保持力。所指定明亮度超过200尼特的场景B的任何像素可被限幅到200尼特或以其他方式受到处理（例如缩放、色调映射等），以便在条44所指示的范围内显示。类似地，所指定明亮度小于大约0.03尼特的场景B的像素可被限幅到0.03尼特或以其他方式受到处理（例如缩放、色调映射等），以便在条44指示的范围内显示。
内容元数据图像增强
本发明的实施例重新定义了图像数据值和相应亮度值之间的映射。例如，重新定义可对此映射进行缩放和/或对此映射应用偏移量（offset）。这种方法可被应用以当图像数据以较低位深格式分发时获得更好质量的图像。在某些实施例中，重新定义的映射可由与图像数据相关联的元数据指定。元数据可被编码在图像数据中、与图像数据一起递送或与图像数据分开来递送。在某些实施例中，重新定义的映射至少部分地通过对全局或局部调光的控制来在显示器处实现。
图4提供了图像数据值到亮度等级的重新映射可如何用于改进图像质量的放大的图示。具体而言，线49的集合示出了128个图像数据值（为7的位深）到500尼特的亮度范围上的亮度值的可能的映射。图4中的线50图形地示出了32个图像数据值（为5的位深）到相同的500尼特亮度范围上的亮度值的可能的映射。在每个情况下，如常见的那样，γ（gamma）2.4已被用于分布步阶。例如，对于线49的图像数据值可由7位二进制数（为7的位深）提供。例如，对于线50的图像数据值可由5位二进制数（为5的位深）提供。能够看出，线50中相邻亮度值之间的步阶显著大于线49中相邻亮度值之间的步阶。这种大的步阶对于HVS可能是可感知的，并可能在图像中导致可见的伪像，例如条带。
将起初处于较高位深格式（如线49所举例的）的图像数据编码为较低位深格式（如线50所举例的）导致来自较高位深图像数据的多个离散亮度值被编码为较低位深图像数据中的相同亮度值，并导致相邻的可不同地表现的亮度值之间的步阶增大。
在许多图像中，图像数据值向着较高或较低亮度集中，而不是在可能的图像数据值的整个范围上均匀展开。例如，暗图像可能不具有高于某一阈值的图像值或具有较少的高于某一阈值的图像值，亮图像可能不具有低于某一阈值的图像值或具有较少的低于某一阈值的图像值。对于这种图像，改变图像数据值与亮度值之间的映射可允许相邻亮度值之间的较小的步阶，而不增大用于表现图像数据值的位深。
考虑以较高位深图像数据49表现的暗图像的情况，其中，不具有亮度值超过100尼特的像素。将该图像数据映射到较低位深图像数据50会导致细节的显著损失，因为较低位深图像数据50能在0到100尼特的范围内表现作为较高位深图像数据49的仅仅1/4的离散明亮度等级。
在图4中，线52的集合示出了这样的情况下的亮度值：其中与线50对应的相同较低位深图像数据值已经被重新映射为与0到100尼特范围内的亮度值对应。在这种情况下，重新映射包括以小于1的因子（在所示出的示例中，0.2的因子）进行缩放。能够看出，相邻亮度值之间的步阶相比于线50之间的步阶减小。使用线52所举例的映射将0到100尼特范围内的较高位深图像数据49映射到较低位深数据，能够保留如果使用像线50的映射那样的传统映射则会损失的细节。
在图4中，线54的集合示出了这样的情况下的亮度值：其中，与线50对应的相同图像数据值已经被重新映射到250到500尼特的范围内的亮度值。在这种情况下，重新映射包括缩放以及以偏移量56平移二者。再一次地，能够看出，相比于线50之间的步阶，相邻亮度值之间的步阶减小。在较高位深图像数据49描绘基本上由250到500尼特范围内的亮度值组成的图像的情况下，于是，线54所举例的映射可被用于在以较低位深形式对该较高位深图像数据进行编码时保留细节。
可对于整个图像或场景（图像组）进行、或对于图像或场景内的局部区域进行将图像数据值重新映射到亮度值（或等同物）。如果对于局部区域进行重新映射，那么，局部区域可以为由预先确定的网格指定的区域、通过图像数据分析识别的区域或类似区域。
在已经通过使用特殊映射将图像或图像的一部分编码为较低位深表示的情况下，于是，指定使用了何种映射的信息可被保存，并在后来用于将图像数据转换回到较高位深表示，以便进行显示。例如，表征映射的信息可以作为元数据与较低位深图像数据相关联。
图5示出了应用如上所述的重新映射的方法55。方法55通过在方框56中对图像或图像内的局部区域进行分析而开始。该分析确定图像或局部区域中的亮度值是否落在（或大部分落在）有限的范围内。如果是这样，那么方框57生成映射，该映射能用于将亮度值映射到图像的减小位深表示中的图像数据值，且反之亦然。例如，如果亮度值全部在250尼特到500尼特的范围内，那么，映射可对应于图4中的线54。在某些实施例中，方框57可对图像数据进行限幅、压缩、色调映射或类似的操作，以便使得亮度值落在有限的范围内。在某些实施例中，方框57从许多个预先确定的映射中选择最适合于图像或图像内的局部区域的映射。在某些实施例中，方框57基于图像或图像内的局部区域的特性来生成自定义映射。
方框57可基于对关于图像或图像内的局部区域的统计信息的分析来生成映射。例如，方框57可基于图像或图像内的局部区域的直方图来生成映射。例如，直方图可对于不同的亮度值或等同物或者不同的亮度值范围或等同物提供与该亮度值或亮度值范围对应的像素数量。由直方图能够确定：图像是否主要为亮、主要为暗或者既包括亮的区域又包括暗的区域，图像是否包括宽广范围的亮度值、是否包括狭窄范围的亮度值等等。可应用这样的评估来选择合适的映射。
在方框58中，方框57的映射被应用以将来自图像数据的亮度值（或等同物）映射到以减小位深编码的图像数据值。在方框59中，编码后的图像数据在传输路径上被传输。在方框60中，表征映射的元数据也被传输。方框60可包括，例如，将元数据编码在图像数据自身之中，将元数据编码为包括图像数据的数据包的一部分，将元数据与图像数据一起传输，或是将元数据在与图像数据传输路径分开来的传输路径上传输。
元数据可指定预先确定的映射，和/或可提供用于映射的参数（例如，参数可直接或间接指定线性或非线性映射函数的参数和/或缩放因子和/或偏移量）。在某些实施例中，可为具有不同特性的图像选择不同的映射函数。例如，用于主要由非常亮的高光构成的图像的映射可具有与用于主要由暗影构成的图像的映射函数不同的函数形式。
在方框62中，元数据被应用于重新创建映射，在方框64中，重新创建的映射被应用于将图像数据重定格式为较大的位深。在方框66中，对重定格式的图像数据进行显示。在方法55中，例如，可在图像数据的源处执行方框56到58，可在位于显示器上游的传输路径上的装置（例如机顶盒或转码器）处或在显示器处执行方框62和64。
能够明了，将方法55应用于一系列图像或图像内的局部区域能使得：对于减小位深编码的图像数据中的不同局部区域和/或对于不同的图像，相同的亮度值被编码为不同的图像数据值。将方法55应用于一系列图像或图像内的局部区域可以使得：对于减小位深编码的图像数据内的不同的局部区域和/或对于不同的图像，不同的亮度值被编码为相同的图像数据值。
图6示出了可利用调光显示器的另一示例方法70。在方法70中，表征高动态范围图像71的亮度范围的元数据可与图像的m位编码版本一起被分发到高动态范围显示器72，该高动态范围显示器72可为非调光显示器、全局调光显示器或局部调光显示器。显示器72具有n位位深能力，其中，m<n。图像71可从多种图像源中的任意一种获得，显示器72可以为多种显示器类型中的任意一种。
由显示器72外部的处理器对图像71的亮度特性进行分析（图6，方框74）。处理器可包括多种图像处理器中的任意一种。如果方框74的分析确定图像71相对较亮（方框74的“亮”分支），则使用如下的映射对图像71进行m位编码（方框76），在该映射中，使用使得与图像数据等级对应的亮度值跨（span）图像71的亮度范围（由于图像71不具有或仅仅具有较少的暗像素，所以图像71的亮度范围小于图像71可具有的最大亮度范围）的映射，将每个像素的明亮度映射到2m个图像数据等级中的一个。
如果方框74的分析确定图像71相对较暗（方框74的“暗”分支），则使用如下的映射对图像71进行m位编码（方框78），在该映射中，使用使得与图像数据等级对应的亮度值跨图像71的相对较暗的亮度范围（由于图像71不具有或仅仅具有较少的亮像素，所以图像71的相对较暗的亮度范围也小于图像71可具有的最大亮度范围）的映射，将每个像素的明亮度映射到2m个图像数据等级中的一个。一般地，使用如下的映射对图像71进行m位编码，在该映射中，将每个像素的亮度或等同物映射到2m个图像数据值中的一个，使得与图像数据值对应的亮度值跨图像71的亮度范围。
在某些实施例中，图像71（或图像71内的区域）的亮度范围将远离中心的（outlying）像素的亮度值排除在外。例如，映射所基于的亮度范围可不包括低于明亮度的百分之X且高于明亮度的百分之Y的亮度值。在某些实施例中，方框74的图像分析可被配置成使得在方框74确定图像既不亮也不暗的情况下应用标准映射。
表征方框76的映射（或从其可推断出映射）的元数据在方框76A中生成。表征方框78的映射（或从其可推断出映射）的元数据在方框78A中生成。在任一情况下，例如，元数据可表征在相应的方框76或78中编码的图像数据的亮度范围。
在方框80中，对m位编码的图像数据进行分发。在方框79中，元数据被分发。在某些实施例中，方框79包括将元数据嵌入到编码的图像数据中，使得对编码的图像数据进行分发也对元数据进行分发。可替代地，元数据可以以另一方式进行分发。在某些实施例中，编码的图像数据和元数据经由一个或更多个分发通道（像上面关于图2所描述的那样）来分发。
在某些实施例中，图像数据71在先前已被分析（方框76和78的上游），并包括元数据或与元数据相关联，该元数据直接或间接地表征：图像数据71中表现的图像或图像内的区域的亮度范围或将被应用于这些图像或图像内的区域的映射。在这样的实施例中，方框76和78可包括提取或访问先前确定的元数据以及根据基于该元数据的映射对图像数据进行编码。在某些实施例中，方框74表征当前图像或图像内的区域的亮度特性，方框76和78的功能组合在如下的方框中，即该方框使用基于在方框74中做出的确定的合适的映射，对用于当前图像或区域的图像数据进行编码。
在显示器或其他装置处接收到图像71的m位编码版本时，取决于该装置是未被配置为对元数据进行处理的传统装置（方框82的“是”分支）还是能够对元数据进行处理的显示器（方框82的“否”分支），方法70不同地前进。
对于传统装置，图像71的m位编码版本被解码，但元数据被忽略（方框84）。解码后的图像在不考虑元数据的情况下被相应地显示，因此，保留了与传统显示器的兼容性。如果装置被配备为对元数据进行处理（方框82的“否”分支），那么，元数据被用于改进编码的图像数据中的图像的显示。在此示例中，通过将元数据用于控制显示器72的调光能力，获得改进的图像质量。这仅仅是实现本发明的多种方式中的一种。例如，与图像71的m位编码版本相关联的元数据可被应用于重新创建用于对图像71进行m位编码的映射，重新创建的映射可被应用于将图像数据解码为n位位深。本发明不限于具有调光背光的显示器或使用元数据在这种显示器中对背光调光进行控制。
在显示器72为全局调光显示器（方框82的“是”分支以及方框86的“全局”分支）的方法70中，然后，图像71的m位编码版本被解码，相关联的元数据（例如，其可从编码的图像数据导出或提取）被处理，以便确定图像的亮度特性。然后，显示器72的背光根据元数据被调节（方框88），以便最佳地实现图像的亮度特性，使得图像71的m位编码版本基于元数据被正确地映射到输出光等级。
如果显示器72为局部调光显示器（方框82的“否”分支以及方框86的“局部”分支），那么，图像71的m位编码版本被解码，且与图像71相关联的元数据被处理，以便确定图像的局部亮度特性。显示器72的各个背光元件然后根据元数据被选择性地调节（方框90），以便最佳地实现图像的亮度特性。
在某些实施例中，m位编码的图像71的解码和背光调节是相互依赖的。例如，m位编码的图像数据71可被解码，并且显示器的背光可被调节，使得组合的重新映射和背光调节重新创建或逼近在步骤76或78中用于对图像数据71进行m位编码的映射。例如，在步骤76或步骤78中使用的映射包括缩放以及以偏移量平移的情况下，m位编码的图像71可被解码以应用该缩放，且显示器的背光的明亮度可被调节以应用该偏移量。
在方法70中，对于全局调光显示器和局部调光显示器二者，因为到m位编码的图像数据的初始映射被改变为将全局或局部亮度特性考虑在内，使得相邻亮度等级之间的步阶减小，由此减小或消除了因亮度等级之间的较大步阶带来的可感知的伪像，所以，图像质量得到改进。
图7类似于图4，但放大程度较小。图7示出对于明亮图像、暗淡图像、以及包括亮度值的全部范围的图像可如何将m位编码数据的等级映射到不同的亮度等级。
在不同的映射被应用到图像中的局部区域的实施例中，可执行附加的处理，以避免不同局部区域（无论是根据预先确定的网格定义的还是以其他方式定义的）之间的可感知的边界。附加的处理可包括例如下面中的一种或更多种：
●空间滤波；
●在区域边界附近的抖动（dither）（例如，在区域边界附近，随机或拟随机地应用从不同的相邻区域到像素的映射）；
●相邻映射之间的混合（例如，在区域边界附近，对于与相邻区域相关联的多种映射计算像素值，并在映射之间进行内插，从而跨边界区域地提供从一种映射到另一种映射的平滑过渡）。在某些实施例中，混合可根据样条曲线来进行。样条曲线可被预先定义或由元数据定义。
图8示意性地示出了本发明的另一示例实施例。原始图像数据100在图8中通过直方图来表示。原始图像数据100处于提供较高位深的格式。例如，图像数据100可包括16位整数或16位浮点数据格式的数据。这种格式允许为像素分配全亮度范围内非常大数量的离散亮度值中的任何一个亮度值。因此，图像数据100中的相邻亮度值之间的步阶可以较小。原始图像数据100的最大以及最小亮度值跨能由数据格式表示的亮度值的最大范围100A。
原始图像数据100如101所示地受到加窗（window），以便提供加窗图像数据102。加窗图像数据102包括减小亮度范围102A内的亮度值，减小亮度范围102A小于图像数据100的格式能够表示的全亮度范围100A。加窗101可包括：将亮度值限幅到减小亮度范围102A的端点、将减小亮度范围102A外部的亮度值压缩到减小亮度范围102A之中、将减小亮度范围102A外部的亮度值色调映射到减小亮度范围102A之中、它们的组合等。在某些实施例中，加窗101包括色调压缩，使得在特定的亮度范围内，加窗图像数据102包括比原始图像数据100少的不同亮度值。减小亮度范围102A和从图像数据100获得加窗图像数据102的加窗操作可被选择为保留原始图像数据100中的细节。加窗图像数据102仍可以以具有相对较高位深的格式（其可以为与原始图像数据100相同的格式）被表示。
如103所指示的，加窗图像数据102被映射到处于减小位深格式的值上，以产生减小位深图像数据104。103所施加的映射使得，相比于已将图像数据100的全亮度范围100A映射到范围104A的情况，加窗图像数据102的减小亮度范围102A被映射到更大比例的能由减小位深格式表示的范围104A（即较低位深表示的最大范围）。在某些实施例中，减小亮度范围102A的映射是到范围104A的整个范围（或几乎为范围104A的整个范围，例如大于范围104A的85%或90%或95%或98%）。因此，所有或几乎所有能用减小位深格式表示的不同值被用于表示加窗亮度数据102的减小亮度范围102A的上下端之间的值。映射103可包括在m<n的情况下将n+位位深图像数据映射到m位图像数据。
元数据107表征在映射103中所使用的映射，并且，可选地，表征在101处执行的加窗，使得下游处理能够使用元数据107来确定如何进行在103处执行的映射的逆向处理，以及可选地如何进行在101处执行的部分或全部加窗的逆向处理。
减小位深数据104可通过任何合适的传输机制来分发。较低精度的减小位深数据104使得与原始图像数据100相比，减小位深数据104更小且可压缩性更大。元数据107与减小位深数据104一起分发。减小位深数据104被分发到显示器或中间装置，在显示器或中间装置处，希望将减小位深数据104转换回较高位深格式，以便进行显示。
在显示器或其他装置处，减小位深数据如105所示地被重新映射，以便提供重新构建的数据106。重新构建的数据106具有与减小位深数据104相比更大的位深。重新映射步骤105使用元数据107来确定重新映射应该如何进行，以便最为接近地重新创建加窗数据102。重新构建的数据106于是能被显示。
在某些实施例中，映射103包括：将加窗图像数据102的顶端映射到减小位深图像数据104的顶端，将加窗图像数据102的底端映射到减小位深数据104的下端，并根据线性或对数均匀的映射将加窗图像数据102的中间值映射到减小位深图像数据104的相应中间值。在其他的实施例中，中间值根据不均匀的映射来被映射，使得相比于均匀的映射，减小位深图像数据104的离散等级在具有大量色调细节的亮度范围内以更小的亮度步阶分隔开，并在没有大量色调细节的亮度范围内以相应的更大亮度步阶分隔开。例如，加窗图像数据102的亮度范围102A内的任何特定亮度子范围中存在的色调细节量可根据作为亮度子范围内的像素数量以及那些像素在亮度子范围中具有的离散亮度值的数量的增函数的图像直方图来估计。因此，加窗图像数据102的亮度范围的存在少的像素以及少的不同亮度值的部分可被映射到减小位深数据104，使得相邻亮度值之间存在相对较大的步阶，加窗图像数据102的亮度范围的存在许多像素以及许多不同亮度值的部分可被映射到减小位深数据104，使得相邻亮度值之间存在相对较小的步阶。
例如，原始图像数据100和加窗图像数据102中的图像数据值与亮度之间的对应关系可以为线性或对数关系。形成对比的是，减小位深图像数据104中的图像数据值与亮度之间的对应关系可遵循非线性函数，例如双s曲线或由多项式逼近的曲线。
作为示例，高位深、高动态范围图像可被提供为10位对数编码的信号，其具有0.001到600尼特的期望响应范围。显示器可具有全局或局部可调光背光以及具有700：1的对比度和500尼特的峰值明亮度能力的8位液晶显示器（LCD）面板。如上面所阐释的那样，导出表征图像的一个或更多个所选亮度特性的亮度元数据。例如，可使用图像中的亮度值的分布来导出与图像的8位映射版本对应的最优色调曲线。最优色调曲线可将显示器的能力考虑在内，以便在图像中保持最多的细节。元数据（例如色调曲线以及黑电平）然后与图像数据一起被发送到显示器。在从元数据获知图像的亮度范围的情况下，显示器能以显示器的较高固有位深将图像数据映射到适当的亮度范围之中。
在对于至少某些图像的某些实施例中，显示器（或其他中间图像处理装置）接收的较低位深编码数据被直接映射到用于该显示器的较高位深驱动的位。例如，在某些情况下，8位的较低位深数据可被直接映射到用于对显示器进行驱动的10位图像数据的最高有效位。
形成对比的是，传统现有技术的成像系统会典型地使用预定义的、不变的映射方案来对10位对数编码的信号进行映射，以产生图像的8位功率/γ编码版本，然后，其会通过使用固定的明亮度和响应来被显示。由于所有映射是固定的，所以在原始图像数据输入中清楚且详细的暗场景会在底端被限制为较少的位和较大的明亮度。
图9示意性地示出了根据本发明示例实施例的设备110。设备110包括图像数据准备部111A和图像数据恢复部111B。图像数据准备部111A不必实时运行（即快到足够以视频帧的显示速率对视频帧进行处理），尽管其可以这样做。图像数据准备部111A准备用于分发的图像数据，图像数据恢复部111B恢复用于显示的图像数据。
图像数据准备部包括数据存储器112，其包含原始图像数据114。原始图像数据114可包括静止或视频图像。在下面的讨论中，假设原始图像数据114包括视频数据，且视频数据包括一系列的视频帧。设备110包括图像分析模块116。图像分析模块116确定帧的（或者，在某些实施例中，一系列帧的，或者帧或一系列帧内的局部区域的）亮度范围。可选地，图像分析模块116也评估是否存在这样的情形：其使得帧可被加窗为具有较小的亮度范围而不造成图像质量方面的不期望的劣化，并且在存在的情况下，评估将被应用的加窗的类型和/或程度。在某些实施例中，图像分析模块116生成或获得帧的直方图，并对直方图进行分析。例如，直方图可绘制图像中的具有各个像素值的像素的数量。
在所示出的实施例中，设备110包括加窗模块118，其响应于来自图像分析模块116的控制信号对每个帧进行加窗。映射单元119通过使用基于每个加窗帧的亮度范围的映射将来自加窗模块118的加窗帧映射到较低位深。映射可逐帧变化。在某些实施例中，映射单元119提供多种预先确定的映射。例如，映射单元119可包括多个查找表，这些查找表接受加窗帧的亮度值（或等同物）作为输入，并输出对应的映射值。每个查找表可对应于不同的映射。作为另一示例，可由处理器所用的不同参数值指定不同的映射（可以可选地提供多组预先确定的处理器值）。作为另一示例，可通过不同的逻辑路径和/或不同的软件模块来提供不同的映射。
编码器120以分发格式122对较低位深图像数据连同元数据进行编码。元数据可被编码到标准元数据路径（例如补充增强信息（SEI）消息、电视文字广播等等）中。分发格式122的图像数据然后可例如通过将其写入盘或其他的分发介质、在有线电视或其他广播介质上广播、文件传输、流数据传输等等被分发。分发通道在图9中用125表示。图9示出了两种体系结构。在一种情况下，分发的图像数据由显示器132A内部的处理器130A处理。在另一种情况下，分发的图像数据由显示器132B外部的外部处理器130B处理。
显示器132A和132B各自具有比分发的图像数据的位深更大的位深。处理器130A和130B各自包括：解码器134，其对分发的图像数据进行解码；以及，元数据提取器136，其从分发的图像数据中提取元数据。根据按照元数据设置的映射，映射器140将分发的图像数据映射到显示器的位深。例如，映射器可包括：实现不同的预先确定的映射的一组查找表或逻辑路径，根据所提供的参数值或控制输入实现映射的逻辑路径，实现根据所提供的参数值或控制输入进行映射的映射算法的处理器，执行多种预先确定的映射算法中的一种的处理器，等等。
结语
这里描述的系统和模块可包括适用于这里描述的目的的软件、固件、硬件、或者软件、固件或硬件的任何组合。软件和其他模块可驻存在服务器、工作站、个人计算机、计算机化平板、PDA以及适用于这里描述的目的的其他装置之上。换句话说，这里描述的软件和其他模块可由通用计算机执行，例如由服务器计算机、无线装置或个人计算机执行。相关领域技术人员将会明了，系统的各方面可以通过包括如下的其他通信、数据处理或计算机系统配置来实践：因特网设备、手持装置（包括个人数字助理（PDA））、可佩戴计算机、所有形式的蜂窝或移动电话、多处理器系统、基于微处理器的或可编程的消费电子产品、机顶盒、网络PC、微型计算机、主计算机（mainframecomputer）等。事实上，术语“计算机”、“服务器”、“主机”、“主机系统”等通常在这里可互换地使用，并指的是任何上面的装置和系统以及任何数据处理器。另外，系统的各方面可以在这样的专用计算机或数据处理器中具体实现：该专用计算机或数据处理器被特定地编程、配置或构建为执行这里详细阐释的一个或更多个计算机可执行指令。
软件和其他模块可经由本地存储器、经由网络、经由浏览器或ASP上下文中的其他应用或经由适用于这里描述的目的的其他装置访问。本技术的示例也可以在分布式计算环境中被实践，在该分布式计算环境中，任务或模块由通过例如局域网（LAN）、广域网（WAN）或因特网的通信网络链接的远程处理装置来执行。在分布式计算环境中，程序模块可位于本地和远程存储器存储装置二者中。这里描述的数据结构可包括适用于这里描述的目的的计算机文件、变量、编程阵列、编程结构或任何电子信息存储方案或方法或其任意组合。这里描述的用户界面元件可包括来自图形用户界面、命令行界面以及适用于这里描述的目的的其他界面的元件。
上面描述的图像处理和处理步骤可以以硬件、软件或硬件与软件的适当的组合来执行。例如，这样的数据处理可由运行使得数据处理器实现这里描述的方法的软件和/或固件指令的数据处理器（例如一个或更多个微处理器、图形处理器、数字信号处理器等等）来执行。这样的方法也可由可被硬配置或可配置的逻辑电路（例如，由现场可编程门阵列“FPGA”提供的逻辑电路）来执行。
本发明的某些实现方式包括计算机处理器，其执行使得处理器执行本发明的方法的软件指令。例如，视频工作站、机顶盒、显示器、转码器等等中的一个或更多个处理器可通过执行可由处理器访问的程序存储器中的软件指令来实现这里描述的方法。
本发明还可以以程序产品的形式提供。程序产品可包括任何非暂时性介质，其承载包括指令的一组计算机可读信号，该指令在由数据处理器执行时使得数据处理器执行本发明的方法。根据本发明的程序产品可以采用大量形式中的任意形式。例如，程序产品可包括物理介质，例如：磁数据存储介质，包括软盘、硬盘驱动；光学数据存储介质，包括CD ROM、DVD；电子数据存储介质，包括ROM、闪速RAM、硬接线或预编程芯片（例如EEPROM半导体芯片）、纳米技术存储器等等。程序产品上的计算机可读信号可以可选地压缩或加密。实践本技术时使用的计算机指令、数据结构和其它数据可通过因特网或通过其他网络（包括无线网络）在一时间段上在传播介质（例如电磁波、声波等）上的传播信号上分发，或者，它们可以在任何模拟或数字网络（包交换，电路交换或其他方案）上提供。
在上面提及部件（例如软件模块、处理器、组件、装置、电路等）的情况下，除非另有说明，提及该部件（包括提及“装置”）应当解释为包括：作为该部件的等同物的、执行所描述部件的功能的任何部件（即，其为功能上等同的），包括与执行本发明所示出的示例性实施例中的功能的所公开结构在结构上并不等同的部件在内。
除非上下文清楚地另有要求，贯穿说明书和权利要求书，措辞“包括”、“包含”等以开放性意义解释，而不是排除性或穷举性意义，也就是说，以“包括、但不限于”的意义解释。这里所使用的术语“连接”、“耦合”或其任何变体意味着两个或多于两个元件之间的直接或间接的任何连接或耦合；元件之间的连接或耦合可以是物理的、逻辑的或其组合。另外，措辞“这里”、“上面”、“下面”以及类似引入的措辞在用于本申请时，应当作为一个整体地提及本申请，而不是本申请的任何特定部分。在上下文允许的情况下，上面的“具体实施方式”中使用单数或复数的措辞也可分别包括复数或单数。在提及两个或更多个项目的列表的措辞“或”涵盖该措辞的以下所有解释：列表中的任一项目、列表中的所有项目以及列表中的项目的任意组合。
对本技术的示例的以上详细描述不意图为穷举性的或是将本系统限制为上面公开的精确形式。尽管上面出于说明性目的描述了本系统的具体示例以及用于本系统的示例，但是相关领域技术人员将会意识到，在本系统的范围内，多种等价修改是可能的。例如，尽管处理或方框以给定的顺序示出，但是替代性示例可以不同顺序执行具有步骤的例程或使用具有方框的系统，某些处理或方框可被删除、移动、增加、细分、合并和/或修改以提供替代性方式或者子组合。这些处理或方框中的每一个可以以多种不同的方式实现。另外，尽管处理或方框在时间上被示为连续执行，这些处理或方框可作为替代地并行执行，或者可以在不同的时刻执行。
这里提供的对本技术的教导能够应用于其他的系统，不必为上面描述的系统。上面描述的多种示例的元件和动作可被组合，从而提供其他的示例。如有必要，系统的各方面可修改为使用上面描述的多个参考文献的系统、功能和构思，以提供本技术的另外的示例。
在上面的具体实施方式部分的启示下，可对本系统做出这些修改以及其他修改。尽管上面的描述描述了本系统的特定示例，并描述了所想到的最优方式，但是无论上文在文本上看起来有多详细，本系统可以以多种方式实现。用于对信息进行分类和传输的系统和方法的细节可在其实现方式细节上大幅变化，而同时仍落在这里公开的系统的范围内。如上面提到的，当描述本系统的特定特征或方面时使用的特定术语不应被看作暗示该术语在这里被重新定义为限制于该术语相关联的系统的任何具体的特性、特征或方面。一般地，所附权利要求书中使用的术语不应解释为将本系统限制为说明书中公开的具体示例，除非上面的具体实施方式部分明确地定义了这些用语。相应地，本系统的实际范围不仅包括所公开的示例，还包括实践或实现权利要求涵盖的技术的所有等同方式。
由上文可见，将会明了，已经出于说明性目的在这里描述了系统和方法的具体示例，但是，在不脱离本发明的精神和范围的情况下，可作出多种修改。本领域技术人员将会明了，这里描述的实施例的特定特征可以与这里描述的其他实施例的特征结合使用，这里描述的实施例可在没有其在这里所具有的全部特征的情况下实践或实现。具有本领域技术背景的读者将会想到的对所描述实施例的变体（包括包含来自不同实施例的特征的混合和选配的变体）属于本发明的范围。
在上面所公开内容的启示下，本领域技术人员将会明了，在不脱离本发明的精神或范围的情况下，在实践本发明时，许多变化、修改、增加和替换是可行的。这里所描述的实施例仅仅是示例。通过组合所公开实施例的特征，可获得其他的示例性实施例而没有限制。因此，下面所附的权利要求书以及此后引入的权利要求意图被解释为将所有这些变化、修改、替换、增加、组合以及子组合包括为落在其真实精神和范围之内。

Claims (16)

1.一种用于分发图像数据的方法，所述方法包括：
确定图像数据的范围；
使用如下的映射将图像数据映射到减小位深格式以产生图像数据的更低位深表示，即所述映射使得更低位深表示的范围与更低位深表示的最大范围的比率大于图像数据的范围与图像数据的最大范围的比率；
生成表征所述映射的元数据；以及
将元数据与更低位深表示相关联。
2.根据权利要求1所述的方法，其中，将元数据与更低位深表示相关联包括：对元数据和更低位深表示进行编码以提供包括元数据和更低位深表示二者的分发格式。
3.根据权利要求1所述的方法，包括：在对图像数据进行映射之前执行色调压缩。
4.根据权利要求1所述的方法，包括：对于视频的多个帧重复所述方法，其中，所述映射对于不同帧而不同。
5.根据权利要求1所述的方法，包括：分发更低位深表示和元数据以便进行显示。
6.根据权利要求5所述的方法，其中，分发元数据和更低位深表示包括：将元数据和更低位深表示写到非暂时性分发介质上。
7.根据权利要求1所述的方法，包括：识别图像数据的范围中包含更多色调细节的部分并且生成映射，使得所识别的部分映射到更低位深表示中的如下的部分，即与所识别的部分在图像数据的范围中占据的比例相比，更低位深表示中的所述部分在更低位深表示的最大范围中占据更大的比例。
8.根据权利要求1所述的方法，其中，更低位深表示的位深是9或更小，并且图像数据的位深是10或更大。
9.一种用于显示图像的方法，该方法包括获得处于第一格式的图像数据以及相应的元数据，其中，第一格式具有第一位深；
基于元数据，生成用于将图像数据映射到第二格式的色调映射，其中，第二格式具有大于第一位深的第二位深；
应用色调映射以便将图像数据映射到第二格式；以及
显示第二格式的数据。
10.一种图像处理设备，包括：
图像分析器，被配置成：对于处于第一格式的图像，确定图像数据中的值的范围，以及，对于所述图像生成从第一格式到第二格式的映射，其中，第二格式具有比第一格式更低的位深；
映射单元，被配置成：根据所述映射，将所述图像从第一格式映射到第二格式；
编码单元，被配置成：将第二格式的图像数据和代表所述映射的元数据编码成分发格式。
11.根据权利要求10所述的图像处理设备，其中，更低位深表示的范围与更低位深表示的最大范围的比率大于图像数据的范围与图像数据的最大范围的比率。
12.一种图像处理设备，包括：
解码器，被配置成：对以第一位深编码的图像数据进行解码；以及
映射单元，被配置成：根据可变的映射，将图像数据映射到更高位深表示，可变的映射是根据与图像数据相关联的元数据设置的。
13.根据权利要求12所述的图像处理设备，包括显示器，所述显示器被连接以对由更高位深表示表现的图像进行显示。
14.根据权利要求13所述的图像处理设备，其中，解码器被配置成从图像数据提取元数据。
15.根据权利要求12所述的图像处理设备，包括多个预定义的映射，其中，所述图像处理设备被配置成基于元数据来选择所述预定义的映射中的一个。
16.根据权利要求12所述的图像处理设备，包括多个查找表，所述多个查找表中的每个查找表提供图像数据与更高位深表示之间的映射，其中，映射单元被配置成在所述多个查找表中的一个查找表中查找更高位深表示的值。
CN201180054656.6A 2010-11-23 2011-11-17 高动态范围图像的内容元数据增强 Active CN103210418B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US41672810P 2010-11-23 2010-11-23
US61/416,728 2010-11-23
PCT/US2011/061112 WO2012071235A1 (en) 2010-11-23 2011-11-17 Content metadata enhancement of high dynamic range images

Publications (2)

Publication Number Publication Date
CN103210418A true CN103210418A (zh) 2013-07-17
CN103210418B CN103210418B (zh) 2016-08-17

Family

ID=46146163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180054656.6A Active CN103210418B (zh) 2010-11-23 2011-11-17 高动态范围图像的内容元数据增强

Country Status (6)

Country Link
US (1) US9275605B2 (zh)
EP (3) EP4053786B1 (zh)
KR (1) KR101496755B1 (zh)
CN (1) CN103210418B (zh)
PL (1) PL4053786T3 (zh)
WO (1) WO2012071235A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105379263A (zh) * 2013-11-13 2016-03-02 杜比实验室特许公司 用于edr视频的内容创建和受指导显示管理的工作流程
CN105474624A (zh) * 2014-07-28 2016-04-06 索尼公司 图像处理装置和图像处理方法
CN105850128A (zh) * 2013-12-27 2016-08-10 汤姆逊许可公司 对高动态范围图像编码和/或对比特流解码的方法和设备
CN106031172A (zh) * 2014-02-25 2016-10-12 苹果公司 用于视频编码和解码的自适应传递函数
CN106062860A (zh) * 2014-03-05 2016-10-26 索尼公司 图像处理装置、图像处理方法及图像显示装置
CN106796489A (zh) * 2014-09-12 2017-05-31 三星电子株式会社 用于处理电子设备中的显示数据的方法和装置
CN107690811A (zh) * 2015-06-05 2018-02-13 苹果公司 呈现和显示高动态范围内容
CN107710757A (zh) * 2015-06-04 2018-02-16 英特尔公司 用于缓慢运动视频记录的自适应批量编码
CN108141576A (zh) * 2015-09-30 2018-06-08 三星电子株式会社 显示装置及其控制方法
CN110662061A (zh) * 2018-06-29 2020-01-07 想象技术有限公司 有保证的数据压缩
CN114428869A (zh) * 2021-12-20 2022-05-03 北京镁伽科技有限公司 测试图像的输出显示方法、装置及图像信号发生器

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2707868B1 (en) * 2011-05-10 2024-04-03 Koninklijke Philips N.V. High dynamic range image signal generation and processing
US9210208B2 (en) * 2011-06-21 2015-12-08 The Nielsen Company (Us), Llc Monitoring streaming media content
WO2013090120A1 (en) 2011-12-15 2013-06-20 Dolby Laboratories Licensing Corporation Backwards-compatible delivery of digital cinema content with extended dynamic range
JP5730439B2 (ja) * 2012-03-21 2015-06-10 富士フイルム株式会社 画像表示装置、撮影装置、画像表示システム及び方法
US9357197B2 (en) * 2012-05-24 2016-05-31 Dolby Laboratories Licensing Corporation Multi-layer backwards-compatible video delivery for enhanced dynamic range and enhanced resolution formats
AR091515A1 (es) * 2012-06-29 2015-02-11 Sony Corp Dispositivo y metodo para el procesamiento de imagenes
US8902328B2 (en) * 2013-03-14 2014-12-02 Konica Minolta Laboratory U.S.A., Inc. Method of selecting a subset from an image set for generating high dynamic range image
JP2015008361A (ja) * 2013-06-24 2015-01-15 ソニー株式会社 再生装置、再生方法、および記録媒体
CN105379258A (zh) * 2013-07-14 2016-03-02 Lg电子株式会社 在数字广播系统中发送和接收用于表达高质量色彩的超高清晰度广播信号的方法和设备
GB201314068D0 (en) * 2013-08-06 2013-09-18 Microsoft Corp Encoding Video Captured in low light
KR101759954B1 (ko) 2013-09-06 2017-07-21 엘지전자 주식회사 디지털 방송 시스템에서 광역 밝기 표현을 위한 초고화질 방송 신호 송수신 방법 및 장치
US9412336B2 (en) * 2013-10-07 2016-08-09 Google Inc. Dynamic backlight control for spatially independent display regions
JP5845485B2 (ja) * 2013-11-06 2016-01-20 株式会社アクセル 誤差耐性化処理方法並びにその方法を採用した予測符号化／復号化装置及び色座標変換装置
KR20160103012A (ko) * 2014-01-03 2016-08-31 톰슨 라이센싱 비디오 컨텐츠를 렌더링할 때 초고선명 해상도로의 업스케일링을 최적화하는 방법, 장치, 및 컴퓨터 프로그램 제품
WO2015139203A1 (en) 2014-03-18 2015-09-24 Mediatek Singapore Pte. Ltd. Dlt signaling in 3d video coding
CN111836047B (zh) * 2014-06-27 2024-05-28 松下知识产权经营株式会社 显示装置
JP6724788B2 (ja) * 2014-11-17 2020-07-15 ソニー株式会社 送信装置、送信方法、受信装置、受信方法およびプログラム
US10062405B2 (en) * 2015-05-06 2018-08-28 Samsung Electronics Co., Ltd. Electronic device and method for operating the same
KR102638468B1 (ko) * 2015-05-06 2024-02-21 삼성전자주식회사 전자 장치 및 그의 동작 방법
US10198794B2 (en) * 2015-12-18 2019-02-05 Canon Kabushiki Kaisha System and method for adjusting perceived depth of an image
JP2017151308A (ja) * 2016-02-25 2017-08-31 キヤノン株式会社 情報処理装置および情報処理方法
US10516810B2 (en) 2016-03-07 2019-12-24 Novatek Microelectronics Corp. Method of gamut mapping and related image conversion system
US10019785B2 (en) * 2016-03-07 2018-07-10 Novatek Microelectronics Corp. Method of processing high dynamic range images using dynamic metadata
WO2017222778A1 (en) * 2016-06-24 2017-12-28 Flir Systems, Inc. Thermal-image based video compression systems and methods
CN109328463A (zh) * 2016-06-28 2019-02-12 交互数字Vc控股公司 用于传送高动态范围的区域背光元数据的方法和装置
US10609372B2 (en) 2017-09-29 2020-03-31 Dolby Laboratories Licensing Corporation Up-conversion to content adaptive perceptual quantization video signals
TWI730428B (zh) * 2019-09-27 2021-06-11 瑞昱半導體股份有限公司 資料映射器與資料映射方法
KR20210121508A (ko) 2020-03-30 2021-10-08 삼성전자주식회사 이미지 신호 처리부의 동작 방법 및 이미지 신호 처리부를 포함하는 이미지 시스템
US11734806B2 (en) * 2021-11-24 2023-08-22 Roku, Inc. Dynamic tone mapping
WO2024064054A1 (en) * 2022-09-23 2024-03-28 Apple Inc. Method and device for generating metadata estimations based on metadata subdivisions
EP4354453A1 (en) * 2022-10-11 2024-04-17 Koninklijke Philips N.V. Communicating medical image data

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999037096A1 (en) * 1998-01-16 1999-07-22 Sarnoff Corporation Region-based information compaction for digital images
US6829301B1 (en) * 1998-01-16 2004-12-07 Sarnoff Corporation Enhanced MPEG information distribution apparatus and method
US20080018506A1 (en) * 2006-07-20 2008-01-24 Qualcomm Incorporated Method and apparatus for encoder assisted post-processing
EP2144444A1 (en) * 2008-07-10 2010-01-13 The University Of Warwick HDR video data compression devices and methods

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI249630B (en) 1999-05-10 2006-02-21 Matsushita Electric Ind Co Ltd Image display device and method for displaying image
JP4556319B2 (ja) 2000-10-27 2010-10-06 ソニー株式会社 画像処理装置および方法、並びに記録媒体
EP1359746A4 (en) 2001-05-31 2006-06-28 Matsushita Electric Ind Co Ltd APPARATUS AND METHOD FOR IMAGE PROCESSING
TWI231701B (en) 2001-06-14 2005-04-21 Matsushita Electric Ind Co Ltd Automatic tone correction device, automatic tone correction method, and tone correction program recording medium
CN100531291C (zh) 2004-11-01 2009-08-19 彩色印片公司 对增强的色彩空间内容进行母版制作和分发的方法和系统
JP2006276677A (ja) 2005-03-30 2006-10-12 Toshiba Corp 表示装置と表示装置の駆動方法
KR100716791B1 (ko) 2005-08-08 2007-05-14 삼성전기주식회사 이미지 압축디바이스 및 그 방법
TWI319688B (en) 2006-03-16 2010-01-11 Quanta Comp Inc Method and apparatus for adjusting contrast of image
JP4203081B2 (ja) 2006-05-19 2008-12-24 株式会社東芝 画像表示装置および画像表示方法
KR20080015626A (ko) 2006-08-16 2008-02-20 삼성전자주식회사 영상처리장치 및 영상처리방법
US8982146B2 (en) * 2007-01-30 2015-03-17 Fergason Patent Properties Llc Image acquisition and display system and method using information derived from an area of interest in a video image implementing system synchronized brightness control and use of metadata
US20090226152A1 (en) 2008-03-10 2009-09-10 Hanes Brett E Method for media playback optimization
KR101337076B1 (ko) * 2008-10-07 2013-12-05 엘지디스플레이 주식회사 액정표시장치 및 그 구동 방법
KR20100045080A (ko) * 2008-10-23 2010-05-03 삼성전자주식회사 엘시디 모듈 및 이를 구비한 디스플레이 시스템
US8339475B2 (en) * 2008-12-19 2012-12-25 Qualcomm Incorporated High dynamic range image combining
WO2010090130A1 (en) * 2009-02-06 2010-08-12 Semiconductor Energy Laboratory Co., Ltd. Method for driving display device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999037096A1 (en) * 1998-01-16 1999-07-22 Sarnoff Corporation Region-based information compaction for digital images
US6829301B1 (en) * 1998-01-16 2004-12-07 Sarnoff Corporation Enhanced MPEG information distribution apparatus and method
US20080018506A1 (en) * 2006-07-20 2008-01-24 Qualcomm Incorporated Method and apparatus for encoder assisted post-processing
EP2144444A1 (en) * 2008-07-10 2010-01-13 The University Of Warwick HDR video data compression devices and methods

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105379263A (zh) * 2013-11-13 2016-03-02 杜比实验室特许公司 用于edr视频的内容创建和受指导显示管理的工作流程
CN105379263B (zh) * 2013-11-13 2017-09-22 杜比实验室特许公司 用于指导图像的显示管理的方法和设备
CN105850128A (zh) * 2013-12-27 2016-08-10 汤姆逊许可公司 对高动态范围图像编码和/或对比特流解码的方法和设备
CN105850128B (zh) * 2013-12-27 2019-08-16 汤姆逊许可公司 对高动态范围图像编码和/或对比特流解码的方法和设备
CN106031172B (zh) * 2014-02-25 2019-08-20 苹果公司 用于视频编码和解码的自适应传递函数
CN106031172A (zh) * 2014-02-25 2016-10-12 苹果公司 用于视频编码和解码的自适应传递函数
US11445202B2 (en) 2014-02-25 2022-09-13 Apple Inc. Adaptive transfer function for video encoding and decoding
US10986345B2 (en) 2014-02-25 2021-04-20 Apple Inc. Backward-compatible video capture and distribution
CN106062860A (zh) * 2014-03-05 2016-10-26 索尼公司 图像处理装置、图像处理方法及图像显示装置
CN105474624A (zh) * 2014-07-28 2016-04-06 索尼公司 图像处理装置和图像处理方法
CN105474624B (zh) * 2014-07-28 2020-11-06 索尼公司 图像处理装置和图像处理方法
CN106796489A (zh) * 2014-09-12 2017-05-31 三星电子株式会社 用于处理电子设备中的显示数据的方法和装置
CN106796489B (zh) * 2014-09-12 2020-07-28 三星电子株式会社 用于处理电子设备中的显示数据的方法和装置
CN107710757A (zh) * 2015-06-04 2018-02-16 英特尔公司 用于缓慢运动视频记录的自适应批量编码
CN107690811B (zh) * 2015-06-05 2020-08-04 苹果公司 呈现和显示高动态范围内容
CN107690811A (zh) * 2015-06-05 2018-02-13 苹果公司 呈现和显示高动态范围内容
US10542242B2 (en) 2015-09-30 2020-01-21 Samsung Electronics Co., Ltd. Display device and method for controlling same
CN108141576B (zh) * 2015-09-30 2020-09-04 三星电子株式会社 显示装置及其控制方法
CN108141576A (zh) * 2015-09-30 2018-06-08 三星电子株式会社 显示装置及其控制方法
CN110662061A (zh) * 2018-06-29 2020-01-07 想象技术有限公司 有保证的数据压缩
CN114428869A (zh) * 2021-12-20 2022-05-03 北京镁伽科技有限公司 测试图像的输出显示方法、装置及图像信号发生器

Also Published As

Publication number Publication date
PL4053786T3 (pl) 2024-04-08
US20130235072A1 (en) 2013-09-12
EP4053786A1 (en) 2022-09-07
EP2643809B1 (en) 2020-06-24
EP3716632B1 (en) 2022-05-04
EP4053786B1 (en) 2023-12-27
WO2012071235A1 (en) 2012-05-31
KR20130082163A (ko) 2013-07-18
EP2643809A1 (en) 2013-10-02
EP2643809A4 (en) 2014-12-17
US9275605B2 (en) 2016-03-01
KR101496755B1 (ko) 2015-02-27
EP3716632A1 (en) 2020-09-30
CN103210418B (zh) 2016-08-17

Similar Documents

Publication Publication Date Title
CN103210418A (zh) 高动态范围图像的内容元数据增强
KR102061349B1 (ko) 높은 다이내믹 레인지 이미지 신호의 생성 및 처리
TWI733986B (zh) 用以編碼和解碼視頻資料之方法、設備及系統
US20180352257A1 (en) Methods and devices for encoding and decoding a color picture
US11172231B2 (en) Method, apparatus and system for encoding or decoding video data of precincts by using wavelet transform
CN107113367B (zh) 具有颜色恒定性的亮度改变图像处理
US8922578B2 (en) Embedding ARGB data in a RGB stream
EP3185558A1 (en) Method, apparatus and system for determining a luma value
KR20170110090A (ko) 높은 동적 범위(hdr) 비디오들을 인코딩하고 디코딩하는 방법 및 장치
CN111771375B (zh) 用于处理多种hdr视频格式的系统
CN105580369A (zh) 使用分层编码对多格式高动态范围视频进行分布
CN105052143A (zh) 对多层vdr译码中的感知量化的视频内容进行编码
CN103460243A (zh) 使用直方图产生图像内容的替代版本
CA3068342A1 (en) Methods and apparatuses for tone mapping and inverse tone mapping
US20170085887A1 (en) Method, apparatus and system for displaying video data
US20170330349A1 (en) Method, Apparatus and System for Determining a Luma Value
WO2015128268A1 (en) Method for generating a bitstream relative to image/video signal, bitstream carrying specific information data and method for obtaining such specific information
Gadgil et al. The technology behind the exceptional visual experience via high dynamic range
US9456215B2 (en) Image transmission apparatus in digital TV broadcasting
Baumann The interaction between transfer function and compression in high dynamic range video
Goldman Ultra-High-Definition Television

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant