CN107211077A

CN107211077A - 局部动态范围调整颜色处理

Info

Publication number: CN107211077A
Application number: CN201680008085.5A
Authority: CN
Inventors: W.德哈安
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2015-01-29
Filing date: 2016-01-15
Publication date: 2017-09-26
Also published as: JP2018509802A; US20170347113A1; EP3251337A1; WO2016120085A1

Abstract

为了获得特别地在用于根据第一图像外表定义第二图像外表的编码技术中的鲁棒的照度动态范围转换，我们描述了一种图像颜色处理装置（205），其被布置为将具有第一照度动态范围的输入图像（Im_in）的像素的输入颜色（R,G,B）变换成具有第二照度动态范围的输出图像（Im_res）的像素的输出颜色（Rs,Gs,Bs），所述第一和第二动态范围在程度上至少2倍不同，所述图像颜色处理装置（205）包括：‑颜色变换器（100），其被布置为将所述输入变换成所述输出颜色，所述颜色变换器具有取决于输入图像（Im_in）中的所述像素的空间位置（x，y）局部地对颜色进行处理的能力；‑其中，所述颜色处理装置（205）包括几何情形元数据读取单元（203），其被布置为对所接收的指示几何变换已在原始图像（Im_orig）与所述输入图像之间发生的数据（220）进行分析，几何位置数据（S）根据所述原始图像（Im_orig）被确定，所述几何位置数据（S）用于使所述几何位置数据的接收器能够确定所述原始图像的至少一个区域。

Description

局部动态范围调整颜色处理

技术领域

本发明涉及使能够实现协调的空间地局部化的颜色处理的装置和方法以及产生的像是数据存储装置或者传输产品或者信号这样的产品，所述颜色处理在图像的变换中被使用以便使它们在比色上被正确地分级，以用于在具有不同动态范围并且典型地具有不同峰值明亮度的至少两个显示器上显示。

背景技术

最近，一些非常不同的显示器已出现在市场上，特别是具有非常不同的峰值明亮度的电视信号接收显示器（电视机）。而在过去，所谓的旧有低动态范围（LDR）显示器的峰值明亮度（PB）相差最多大约2倍，最近的向越来越高的峰值明亮度的倾向已导致产生所谓的1000 nit及以上的高动态范围（HDR）的电视机和5000 nit PB的显示器等，并且已假设不久各种这样的更高PB的显示器将上市。甚至在电影院中，人们正在考虑增大被观看者感知的极限明亮度动态范围的方法。相比于100 nit LDR标准旧有TV，例如，2000 nit显示器具有20倍之多的明亮度，这总计多于4个附加的停止点可用。另一方面，假设人们也使用新一代HDR图像或者捕获系统，这允许对HDR场景或者效果的好得多的渲染。例如，取代对建筑物或者车辆外部的阳光充足的世界进行（软）剪辑（如将在旧有LDR分级中发生的），人们可以使用HDR TV色域的照度轴上的附加的可用明亮度来显示明亮并且多彩的外部区域。这意味着我们将称为颜色分级机的内容创造者有余地来制作非常漂亮的专用HDR图像或者视频内容。然而另一方面，这产生问题：LDR图像编码被相对设计为从白色开始并且对于18%反射的中等灰度被很好地照亮，这意味着典型地例如100 nit的相对低PB的5%以下的被显示器渲染的亮度将典型地由于难以辨别深灰色或者甚至取决于周围照度而被观看者看作不可辨别的黑色。在5000 nit显示器上，对于该最优地经分级的HDR图像将不存在任何问题：5000nit的5%仍然有250 nit，因此这将例如看起来像正常的内部，并且像例如是灯、接近这样的灯的即被明亮地照亮的区域这样的最高95%可以纯被用于HDR效果。但在LDR上，对该HDR分级的渲染将变成完全错误的（因为它也不是针对这样的显示器被创造的），并且观看者例如可能仅看见接近黑色的区域上的与最明亮的区域相对应的热点。一般地，对于针对足够不同（PB上至少2倍不同）的显示器创造最优的图像需要重新分级。该情况将在以下两者时候发生：对用于较低动态范围显示器的图像进行重新分级以使它适合于在较高动态范围显示器上的渲染（例如，1000 nit参考显示器内容被进行颜色处理以便在5000 nit PB的实际显示器上进行渲染），作为相反方向，即，使图像降级以使得它将适合于在具有比与被编码为视频图像的分级相关联的参考显示器低的PB的实际显示器上显示。出于简洁的考虑，我们将仅描述在其中一个或多个HDR图像将被降级到LDR的场景。

因为HDR技术（借此我们指应当能够处置至少某些HDR图像的技术，但其也可以与LDR图像或者中等动态范围图像等一起工作）将渗入消费者和专业两者用途（例如，照相机、像蓝光播放器、电视机、计算机软件、投影系统、安全性或者视频会议系统这样的数据处置设备等）的各种领域，我们将需要能够以不同的方式处置各种方面的技术。

在Wo2013/144809中，我们一般地阐述了用于执行颜色处理的技术，其用于产生适合于不同于与输入图像（Im-in）相关联的参考显示器动态范围的另一个显示器动态范围（典型地，PB足够表征不同的显示器动态范围以及因此被最优地分级的图像）的图像（Im_res），这形成在下面被阐明的用于对其进行改进的发明的良好的现有技术。我们以更接近相同的原理的当前的实际实施例的方式在图1中再次简洁地重新阐述了所述原理。输入图像Im_in的各种像素被颜色变换器100连续地进行颜色处理（通过由乘法器104将它们的线性RGB值乘以乘法因子（a））以便获得输出图像Im_res中的像素的输出颜色RsGsBs。乘法因子是根据某个色调映射规范建立的，这样的色调映射规范典型地可以由人类颜色分级机创造，但也可以来自对图像的特性（例如，直方图或者像面部这样的特殊对象的颜色属性等）进行分析的自动转换算法。映射函数可以粗糙地是例如伽马类的，使得较暗的颜色被提升（其被需要以使它们变得更明亮并且更对比强烈以便在LDR显示器上渲染），代价是明亮区域的对比度降低，这将在LDR显示器上变成彩画的（pastelized）。分级机可能进一步已识别像面部这样的某个特殊对象，对于该特殊对象的照度，他已在曲线中创造增加了的对比度部分。现在特殊的是，该曲线被曲线应用单元102（其可以廉价地是例如LUT，其可以典型地在已接收例如是伽马因子这样的对映射的函数形状进行编码的参数之后在执行颜色处理的接收侧处例如每图像镜头地被计算）应用于被称为M的每个像素的R、G和B颜色分量的最大值（由最大值评估单元101确定）。然后，乘法因子计算单元103对于每个当前被处理的像素计算合适的乘法因子。如果图像将在比方例如100 nit LDR显示器这样的第一目标显示器上被渲染，则这可以例如是被应用于M的色调映射函数F的输出，即F(M)除以M。如果需要针对例如中间显示器的图像，这样的中间显示器例如是800 nit PB的（或者另一个值，可能高于HDR输入图像Im_in的参考显示器PB），则可以对F(M)/M应用进一步的函数G，其将输入颜色的乘性映射的量重新缩放到适合于该图像适合于的显示器动态范围的值（不论其被直接渲染在显示器上还是被传送或者存储在某个存储器中以便稍后使用）。

我们迄今为止已描述的部分构成全局颜色处理。这意味着，处理可以仅基于像素的连续集合的颜色的特定的值被完成。因此，如果人们仅从例如图像的圆形子选择内的像素的集合获得像素，则颜色处理可以根据上面阐述的原理被完成。然而，由于人类视觉是非常相对的，因此，关于图像中的其它对象的色度学属性对对象的颜色和明亮度进行评判（并且也是鉴于各种技术限制），存在执行局部处理的意愿。在某个（些）图像中，人们想要隔离像灯或者面部这样的一个或多个对象，并且对该对象执行专用的处理。然而，在我们的技术中，这构成对可以从主分级的像素的图像导出的至少一个另外的分级（这里，从HDR导出的LDR）的编码的部分。即，如果需要的话，颜色处理被需要来通过解码LDR图像进行构造。局部处理原理在编码技术中被使用的事实具有技术含义，特别是人们需要基本数学处理方法的简单集合，因为领域中的全部解码IC或者软件需要实施此，需要能够理解编码并且创造解码器LDR图像。申请人在Wo2013/144809中介绍的计算量不太昂贵但足够通用的简单原理通过区域评估单元108完成分级机专用的双重测试。该单元对几何和比色状况两者进行评估。在几何上，基于当前的像素（x,y）的坐标，其例如检查像素是否位于矩形（x_s,y_s）到（x_e,y_e）内。在比色上，其例如可以检查照度或者max(R,G,B)位于门限以上（在这种情况下，像素被评估为属于将被特殊处理的区域）还是以下（在这种情况下，其不被评估为属于将被特殊处理的区域），或者对当前将被处理的像素的颜色属性的更高级的评估被执行。颜色变换器100然后例如可以取决于像素不是位于特殊区域中并且将被全局处理还是将被局部处理加载另一个色调映射LUT，或者两个并行的处理分支可以被使用，等等。

如果输出图像完美地在几何上与输入图像重叠，则该局部颜色处理可以良好工作（即，对于输出图像的每个像素，结果将是正确的，因为我们知道如何基于输入图像像素对其进行分类）。或者，如果用于将像素分类到若干颜色处理类中的选择区域的几何公式在它们在其上被定义（例如，由分级机定义）的图像和在其上它们将被用于局部颜色处理的图像这两者中位于相同的绝对像素位置处，则在另一个场景中被更特殊地阐述的局部处理将良好工作，在该另一个场景中，生成像素评估算法，所述生成是与它们为了（例如由分级机在很长时间以前、在另一个物理位置处并且在另一个装置即编码装置上）通过对HDR像素颜色进行处理来解码LDR图像而被需要时分离的。需要进一步的技术方案的实践上的问题在于，在实践中，然而，图像的至少某个（些）部分可以在它将被重新分级之前被移位。例如，可以在原始的例如4K的图像上定义矩形，但在内容创造与例如由显示器执行的最终图像使用之间介入图像处置链的装置例如可以制作该图像的小型画中画（PIP）版本，所述制作是通过将其缩放到例如大小的四分之一并且将其放在例如2K图像的右上角中的偏移中，同时用例如是实心蓝色这样的计算机图形内容填充2K图像的剩余部分而实现的。

现在假设，在被定义为20像素的半径的圆内的所述4K图像的中心内，存在太阳，该太阳是HDR图像中的周围的像素的10倍明亮，并且不论什么全局处理处于像素的剩余部分上，其在HDR-2-LDR转换中都必须被设置为(R,G,B)=(255,255,255)（或者反之，对于全部非太阳像素，LDR图像颜色也可以被提升到例如50% PB的最大值，即使它们在作为被接收的原图像的LDR图像中具有白色，但太阳必须被映射到最大码或者根据LDR图像的HDR被解码分级的对应的照度）。接收侧装置得到用于重构圆形选择区域的数据，并且得到将被动态范围转换的某些图像数据。如果例如是电视机这样的接收装置得到原始的4K图像，则它可以如被分级机期望并且在该算法中编码的那样利用局部处理完美地对太阳进行提升。如果在进一步的几何变换之后，它得到PIP版本，即使也是4K图像，圆形也将选择不正确的像素，并且，例如在被认为将存在蓝色背景图形的地方绘制白色圆形。即，对于该编码技术，存在创造不正确的经解码图像的可能性，这需要纠正技术。

发明内容

上面的问题被一种图像颜色处理装置（205）解决，所述图像颜色处理装置（205）被布置为将具有第一照度动态范围的输入图像（Im_in）的像素的输入颜色（R, G, B）变换成具有第二照度动态范围的输出图像（Im_res）的像素的输出颜色（Rs, Gs, Bs），所述第一和第二动态范围在程度上至少2倍不同，所述图像颜色处理装置（205）包括：

-颜色变换器（100），其被布置为将所述输入颜色变换成所述输出颜色，所述颜色变换器具有取决于输入图像（Im_in）中的像素的空间位置（x，y）局部地对颜色进行处理的能力；

-其中，所述颜色处理装置（205）包括几何情形元数据读取单元（203），其被布置为对所接收的指示几何变换已在原始图像（Im_orig）与所述输入图像之间发生的数据（220）进行分析，几何位置数据（S）根据所述原始图像（Im_orig）被确定，所述几何位置数据（S）用于使所述几何位置数据的接收器能够确定所述原始图像的至少一个区域。

HDR原始图像（针对适当的HDR外表被主分级）的动态范围将与例如5000 nit或者1000 nit（并且较低端点将接近零，并且出于本发明的目的可以等同于零）的峰值明亮度（PB）相对应，并且LDR图像典型地可以利用PB=100 nit（或者，对于专业电影院视频，50nit）被分级。我们需要开发可以处置实践中发生的HDR图像或者特别地视频通信（编（解）码）和/或处置的全部问题的框架，所述框架在本领域中将由全都需要好的相似的解决方案的较简单的和较复杂的系统组成。应当指出，如果在具有特定的峰值明亮度的显示器中被应用，则动态范围转换可以是例如在主分级内容的5000 nit与显示器的1500 nit或者如果其是另一个显示器的话1200 nit的PB之间的。技术人员理解，存在用于在位置数据S中传送人们可以如何确定像素是否属于被特殊对待的局部区域的各种方式（例如，人们可以指定用于确定颜色位于颜色空间中的特定体积之内还是之外的矩形和比色准则等）。

我们已在图2中通过被包括在知道其自己的峰值明亮度并且因此完成所需的重新分级颜色处理的电视机中的一种特定的可能的图像处理装置阐明了所述情形。根据本发明的递送所需的输入图像（Im_in）和其它数据的图像传送装置在该特定的示例中是蓝光播放器，该蓝光播放器继而得到图像和用于对其进行颜色处理的函数（F）以便获得被存储在被引入的蓝光盘上的至少一个经重新分级的图像。各种类型的BD播放器可能存在于未来的市场上。某些将能够处理图像，并且已向电视机供应按照需要被重新分级的图像。某些可以甚至着眼于函数，并且可以对附加的函数进行编码。多数BD播放器将据推测完成仅少量处理，并且主要传递BD上的信息让电视机进行处理。某些BD播放器可以完全不对数据做任何事，但它们可以至少填充指示符221，指示符221指示它们已完成至少一些几何处理，例如对盘上接收的原始图像（Im_orig）的像素进行缩放。将变成对于电视机的输入的图像（Im_in）因而将是不同的图像，其中，实际的电影或者节目像素占用其仅一部分，并且例如由BD播放器生成的其它的像素例如被设置为黑色或者某个文本等。在最简单的情况下，所述指示符可以是单个比特BSVid，其如果被设置为1则意味着存在几何处理，并且接收装置应当小心，以及，如果被设置为0则输入图像是与原始图像在几何属性上相同的，并且指定用于局部处理的特殊区域可以如何被确定（在太阳示例中，圆形中的白色像素利用指定其中心位置和半径的数据被指定）的原始几何位置数据（S）可以被复制到被传送（不论通过实时视频通信链路还是向存储器）的输出信号（S_out）中，并且此后被接收器安全地用于局部颜色变换。某些BD播放器也可以少量着眼于几何位置数据（S），并且针对在几何变换被图像变换装置201应用以便获得Im_in之后出现的新的几何情形重新确定其是正确的。尽管我们仅绘制了BD播放系统，但技术人员将理解，可能存在在其中第一图像处置装置可以对图像应用某种几何变换、并且需要与最终接收数据的第二装置对此进行协调、并且必须潜在地完成局部颜色处理的许多类似的场景。例如，这可能在专业系统中出现，其中，所述图像传输装置因而可以是有线电视运营商分布单元，该有线电视运营商分布单元在电影中作为小型PIP插入商业，并且商业和电影两者将被适当地动态范围处理。或者，所述图像颜色处理装置可以是计算机，该计算机例如在基于互联网的图形用户界面中同时示出各种图像和/或视频，因此，从各种内容源被接收但具有通用的（即，被缩放到它们的原始大小和以（0，0）开始的位置）处理指令的图像不知道所述计算机软件将如何将它们全部一起放在所述UI中，等等。

如果所述图像处理装置（205）接收包括指示符（221）的所述数据（220），所述指示符（221）将任何已发生的几何变换代码化，所述几何变换诸如例如是包括所述原始图像（Im_orig）的图像像素的区域的大小的缩放，则其是有利的。其然后可以检查该指示符的值，并且然后可以快速地决定例如它是否需要自己确定新的几何情形是什么（例如，其可以具有图形检测器和视频检测器，并且利用此估计哪个子矩形包含所述视频，并且根据此重新确定所述数据以便在几何上确定将被局部处理的特殊区域，这例如通过重新计算矩形的新的最左上像素位置及其新的大小来实现，该矩形是必要的第一检查准则，因为仅其界限内的像素应当被局部处理，并且该矩形之外的像素永远不被局部处理，即，那些外部像素不论它们的颜色是什么都应当通过全局处理函数被颜色变换），或者该情形是否可能是风险太大的，并且仅全局处理被应用。通常，全局处理已给出合理的外表，并且局部处理仅提高图像外表的影响和质量，但如果例如为了能够跟随所述视频而仅示出了小型PIP，则由全局处理实现的较暗部分的足够的可见度可能是足够的，并且完美的质量可能不被需要。即，局部处理因而可以被关闭。

替换地或者附加地，所述图像颜色处理装置（205）接收包括所述几何位置数据（S）的至少一个参数的新的被重新计算的值的数据（220），所述几何位置数据（S）将在所述输入图像（Im_in）的哪个几何位置处像素将局部地被处理代码化，并且其可以在第二指示符（222）中接收所述几何位置数据（S）的至少一个参数已根据其原始值被重新计算。例如，如果所述几何变换是所述原始图像向右移位所述输入图像的大小的一半（即，没有缩放），为了例如为文本菜单或者所接收的文本信息腾出空间，则仅每个局部处理窗口的定位位置需要被更新，例如，所述矩形的最左上坐标。所述图像颜色处理装置（205）可以使用其几何情形元数据读取单元（203）来通过读取所述数据对所述几何变换情形进行评估，以及例如，通过读取比特BRec=1，其知道用于计算将被局部处理的像素的几何位置的全部相关数据已被所述传送装置正确地重新确定，因此该数据可以被安全地用于完成所述颜色处理。在某些场景中，对于接收侧装置来说，如果它知道存在特殊的在几何上被变换的区域，自主地确定该区域将位于哪里将是相对简单的。当然，在根本不知道任何事，即，甚至不知道已经存在这样的被传送的变换问题的唯一比特的情况下，则可能有风险所述接收器不能总是正确地决定（例如，在新闻节目中，可能存在位于新闻读者之后的小屏幕，该小屏幕然后被认为将通过主窗口的全局颜色变换被变换）。在其它场景中，可能存在复杂的图形合成，例如，所述PIP可以是位于其自己的框架中，具有条带，或者可能甚至是花朵图标边框或者某个东西，并且因而对于接收器来说，确定局部处理位置准确地应当在哪里可能更困难。装置201可以在决定要发送单个比特还是所述几何情形的准确代码实现时将此考虑在内。

替换地，所述图像颜色处理装置（205）可以接收所述数据（220）的变型，其包括指定已发生的所述几何变换的数据。任何允许接收侧完全重构所述变换的数据（即，原始的Im_orig与输入图像Im_in的像素位置之间的关系），或者换句话说选择区域或者允许对图像区域的选择的指定的变换将行得通，因此这可以例如是定义仿射变换的参数。对于所述移位示例，该数据可以例如是固定的变换码SHIFT和像素的数量，并且接收装置根据此实现原始的几何位置数据（S）被传送，以及它可以自己利用所述数据（220）计算用于在几何上选择将被局部处理的像素的已更新的选择准则。应当指出，原始图像Im_orig可以经常典型地是像它例如从照相机被捕获或者在将效果放入数字中间片之后被存储在某个中介服务器上时那样的图像，但将被局部处理的区域的全部参考当然可以也关于例如某个标准化的参考大小（例如，10000x10000像素，绝对或者相对被指定的）的图像Im_orig被给出，只要每个像素位置贯穿图像处置链保持是可正确地定位的即可。假设多于一个变换在链中被应用，则可以存在用于跟踪各种变换的数据。例如，分级装置可能已通过仍然需要是与例如是4K形式的BD盘上的电影的某些部分和2K形式的其它这样的实际图像相关的的方式指定被局部处理的区域，并且该几何映射的数据可能也已经被编码在BD盘上，而不考虑BD播放器可以仍然完成哪些变换，并且最终在例如是HDMI电缆这样的图像通信链路上向电视机传送。

遵循相同的协调原理，在图像源侧，可以存在图像传输装置（201），所述图像传输装置（201）被布置为传送包括具有输入颜色（R,G,B）的像素的至少一个图像（Im_in），并且被布置为传送指定用于对所述输入颜色（R,G,B）进行颜色变换的函数或者算法的变换数据（226），其中，所述变换数据（226）包括用于执行局部颜色变换的数据，该数据包括使接收器能够计算所述至少一个图像（Im_in）的哪些像素位置将利用所述局部颜色变换被处理的几何位置数据（S），其中，所述装置包括几何情形指定设备（212），所述几何情形指定设备（212）被布置为对指示几何变换已在原始图像（Im_orig）与所述输入图像之间发生的数据（220）进行编码，所述几何位置数据（S）根据所述原始图像（Im_orig）被确定。该装置可以被包括在更大的系统中，该更大的系统还可以执行另外的函数。例如，其可以是位于代码转换器中的，所述代码转换器将旧有LDR电影变换成HDR电影（或者更精确地说，允许确定与各种显示器PB相对应的一些重新分级的数据，所述一些重新分级中的至少一项是LDR分级，并且至少一项是HDR分级）。该代码转换器可以例如具有向第一接收器供应完整分辨率图像的第一输出和传送该图像的在几何上被处理的变型的第二输出，但在这两者输出上具有完全相同的变换数据（226），即，这两者都具有将被局部应用的色调映射函数F，而还有相同的几何位置数据（S），即用于从原始的未在几何上被处理的图像中提取区域。该设备然后可以使用数据（220）变型中的一个或多个变型来协调允许各种被连接的接收器最终完成正确的颜色变换的正确信息。在对图2的简单阐明中，我们已假设全部信息例如作为元数据被协同编码在被传送的图像信号（S_out）中，但技术人员应当理解，例如为了订阅更高质量的或者其它的动态范围重新分级，用于颜色处理的元数据也可以驻留在不同的服务器上。特别地，还是对于这样的场景，重要的是全部接收器最终知道哪些局部颜色处理规范与哪些几何位置相对应。

有利地，所述图像传输装置（201）具有所述几何情形指定设备（212），所述几何情形指定设备（212）被布置为将指示符（221）编码在所述数据（220）中，所述指示符（221）例如借助于一个比特将任何几何变换已发生代码化。

有利地，所述图像传输装置（201）具有所述几何情形指定设备（212），所述几何情形指定设备（212）被布置为变更所述几何位置数据（S）的至少一个参数，所述变更是相比于其针对该参数所接收的值的。其然后可以已计算用于正确地识别将被局部地处理的像素的新数据，使得接收器不需要完成此。

作为此的替换，所述图像传输装置（201）具有所述几何情形指定设备（212），所述几何情形指定设备（212）被布置为将指定已发生的所述几何变换的数据编码在所述数据（220）中。如果接收器得到关于Im_in的像素相比于Im_orig的那些像素已如何被映射的全部信息，该接收器可以作为评估像素是否应当经历与本地的不同的某种局部颜色变换的一部分自己确定用于完成几何适应的策略。传送装置因而根本不需要花费时间来着眼于所述数据，并且可以仅将其直接传送给接收器（即，例如，读取BD数据分组，并且将它们重新格式化在图像通信标准的分组中，例如，HDMI或者视频广播标准或者互联网协议等）。为了更精确，例如，BD播放器可以已自己完成对图像进行解码（如果我们已在LDR编码框架中强制施行HDR分级，则这可以由其旧有解码器完成），但其不需要为关于动态范围变换的任何数据操心，并且不需要具有用于处置那些细节的硬件或者软件。

有利地，一种图像颜色处理的方法包括以下步骤：

-对所接收的指示几何变换已在原始图像（Im_orig）与输入图像之间发生的数据（220）进行分析，几何位置数据（S）根据所述原始图像（Im_orig）被确定，所述几何位置数据（S）用于使所述几何位置数据的接收器能够确定所述原始图像的至少一个区域；以及

-将具有第一照度动态范围的输入图像（Im_in）的像素的输入颜色（R, G, B）变换成具有第二照度动态范围的输出图像（Im_res）的像素的输出颜色（Rs, Gs, Bs），所述第一和第二动态范围在程度上至少2倍不同，其中，所述被应用的颜色变换取决于所接收的数据（220）的值。

有利地，一种图像颜色处理的方法在所接收的数据中的指示符（221）指示几何变换已发生的条件下仅执行全局颜色变换。

有利地，一种图像颜色处理的方法在所述分析推断几何变换已发生的条件下执行对所述几何位置数据（S）的重新确定。

有利地，一种图像传输的方法，包括：

-获得图像（Im_in）；

-获得用于对所述图像（Im_in）进行颜色变换的变换数据（226）；

-确定相比于在确定所述变换数据时被使用的原始图像（Im_orig）所述图像（Im_in）是否已在几何上变形；以及

-传送所述图像（Im_in）、所述变换数据（226）和指示几何变换已在所述原始图像（Im_orig）与所述输入图像之间发生的数据（220）。

为对任何传送和接收装置进行协调，可以存在一种图像信号，所述图像信号包括：图像（Im_in）的像素的像素颜色数据；变换数据（226），用于对所述图像（Im_in）进行颜色变换；以及数据（220），其指示几何变换已在被用于确定所述变换数据（226）的原始图像（Im_orig）与输入图像（Im_in）之间发生。应当指出，尽管我们利用特别有用的线性RGB型动态范围处理阐明了我们的发明，但相对于几何图像变换的局部专用颜色处理的问题和解决方案当然也可以在任何其它动态范围转换中发生，例如，在利用局部提升对图像进行提升、在Yuv或者YCrCb表示中完成颜色处理等的时候。

此外，计算机程序产品可以通过包括代码来体现我们的发明的各种实施例，所述代码将上面的方法中的任一种方法的步骤中的每个步骤代码化，因此在其运行时使处理器能够执行相应的方法。

附图说明

根据本发明的方法和装置的任何变型的这些和其它的方面将从下文中描述的实施方案和实施例中是明显的，以及将参考下文中描述的实施方案和实施例并且参考附图被阐明，所述附图仅用作例示更一般的概念的非限制性的特定的图示，并且其中，虚线被用于指示构件是可选的，非虚线构件不必然是必要的。虚线还可以被用于指示被解释为必要的元素被隐藏在对象的内部，或者被用于诸如是对对象/区域的选择、图表中的值水平的指示等这样的无形的事物。

在附图中：

图1示意性地图示了用于完成包括局部颜色处理的动态范围变换的可能的颜色处理装置，所述颜色处理将典型地包括至少变更输入图像中的对象的照度；

图2示意性地图示了系统的示例，所述系统被布置为在任何源装置可以对将被动态范围颜色变换的图像执行各种几何变换时，对所需要的动态范围颜色变换进行协调；

图3利用一个可能的示例阐明了可能在以局部为基础利用图像外表编码的实践中的HDR图像或者视频处置系统中出现的问题；以及

图4示意性地图示了将经由某种图像通信技术向另外的装置供应HDR图像的可能的典型HDR图像或者视频处置装置的基本功能性。

具体实施方式

图2示出了人们可以如何体现我们的发明的一个易于理解的实践上的示例。技术人员将理解，人们可以在其它HDR处置系统中使用相同的构件配置，因此我们决不打算这是对我们的发明的基本框架原理的任何限制。假设分级机251已在图像创造装置250上制作主分级，该原版分级是HDR分级。该图像可以被看作经归一化的图像（其中，R、G、B具有[0,1]中的值），即，仍然不考虑其最优渲染。换句话说，颜色值的统计数据将确定该图像以哪个峰值明亮度被最佳地示出在哪个显示器上（典型地思考关联的参考显示器的峰值明亮度也被包括在经编码的图像信号S_src中，指出该图像已例如在2000 nit显示器上针对显示器被正确地分级）。由于归一化，该图像可以以旧有视频编码被存储，该旧有视频编码例如是具有每信道10比特的HEVC。因此，仅HDR图像编码将仅在HDR显示器上正确地渲染，然而，分级机需要包括某些颜色变换函数数据（F），以便能够根据经编码的HDR图像（Im_orig）计算至少100 nit旧有LDR分级。分级机将已基于他正在工作于的原始图像（Im_orig）的几何形状指定该函数，并且更重要的是指定数据S，数据S指定至少一个局部颜色变换应当对于哪些像素位置被完成。尽管许多图像通信技术是可能的，但在该示例中，我们假设数据（HDR图像 +用于至少重新分级成LDR分级的函数）被存储在可以被消费者购买的具有HDR能力的蓝光盘上。作为图像传输装置（201）的示例的BD播放器可以至少读取盘上的图像数据，并且以正确的位置、大小等将其播放出来。其因此在图像信号S-out中将该图像数据和函数F发送给图像颜色处理装置（205），图像颜色处理装置（205）在该示例中被并入作为接收装置（202）的示例的具有LED背光的电视机，但该接收装置也可以例如是具有用于在存储之前对图像进行重新分级的计算能力的数据存储服务器等。在其中BD播放器仅通过几何上未被修改的视频的场景中，不存在问题。电视机将完成所需的颜色变换，以便得到对于其物理特性来说最优的重新分级，并且将该图像发送给例如用于驱动背光和LCD像素阀的显示器驱动器204。然而，例如如果用户开始与BD播放器的菜单交互，则其可以示出具有文本和内容视频的小型的经重新缩放的版本的图像，并且通过例如是HDMI电缆或者无线图像通信信道等这样的图像连接（210）将其发送给电视机。

为传送几何变换情形，BD播放器可以在信号S-out中添加一种或多种类型的附加的数据（220），所述数据（220）表征几何变换情形，使得接收侧可以理解其。例如，可以存在仅将任何几何变换已发生代码化的简单指示符（221）。但BD播放器也可以根据其应用的几何变换重新计算获得将被局部处理的像素的空间位置所需的数据。这可以在数据中将其指示为例如：第二指示符（222），其指示已根据其原始值被重新计算的几何位置数据（S）的至少一个参数；以及，几何选择参数（223），其现在不包含原始的几何位置数据（S），而例如包含作为矩形的最左上点的新起点（xs2，ys2）；等等。

假设接收装置将重新确定将被局部处理的像素应当如何在几何上被确定，则传送装置可以在数据（220）中添加指定已发生的几何变换的变换数据（224）。这例如可以是缩放因子（s= 例如¼）和作为像素的数量的偏移量（xws，yws）或者将更复杂的变换代码化的更复杂的信息，所述信息不需要必然包括全部原始像素，而也可以例如选择某个通过窗口中的Im_orig的子集等。最后，BD播放器将传送完成正确的颜色变换（F）所需的数据和原图像（Im_in），其中，如果具有关联的PB或者否则经重新分级的显示器被连接，则原图像（Im_in）可以被直接使用。这将是图像分级已编码数据225。

图3示出了典型的HDR图像，或者特别地，针对其设计了本发明及其实施例的视频处置场景。读者还应当认识到，典型地在HDR中，可以不必然存在仅一个图像（与仅一个外表相对应，该外表具有采用第一对象照度对第二对象照度的比例的特定配置的其场景对象的其相对照度）。这是针对旧有LDR视频编码的场景，因为仅存在一个按照定义存在的0-100nit照度范围。然而，现在人们必须迎合使全部可能的HDR场景以及它们的图像最优地渲染在具有例如100 nit、400 nit、1000 nit、2000 nit、5000 nit和10,000 nit的峰值明亮度的各种可能的最终显示器上。人们可以想象，如果人们就像在10,000 nit监视器或者TV上那样渲染已被颜色分级为在100 nit PB显示器上看起来最优地明亮的图像，则其可能看起来令人痛苦地太明亮。因此，对此的解决方案在于，典型地，更好的编码系统不仅仅对HDR图像（例如，在5000 nit PB参考照度范围上被定义的）的单个集合进行编码，而相反对例如是5000 nit分级和旧有100 nit分级的图像（即，具有对于它们在旧有100 nit LDR显示器上被直接地渲染（即不需要进一步的比色变换）正确的外表的图像）的双重集合进行编码。并且此外，为节省带宽，人们典型地可能想要用尽可能少的数据开销对第二图像进行编码，即，作为图像的第一集合的函数性的或者算法性的变换，其确实例如根据HEVC标准作为实际图像（即被DCT的像素块）被发送。即，例如，人们发送LDR图像的集合（其可以被用于在LDR显示器上直接渲染，但出人意外地同时是针对HDR高动态范围外表的图像的双倍，所述针对HDR高动态范围外表的图像为例如4000 nit显示器供应看起来最优的或者合理的图像），并且人们发送元数据，所述元数据允许接收器将LDR图像变换成作为在传送侧被内容创造者创造的HDR外表图像的接近的重构的HDR图像，或者反过来，所述元数据包括用于将被传送的HDR图像（经HEVC编码的）降级为LDR图像的函数。

如果我们仅使用全局变换，则将不存在任何问题，但已为人所知，在某些场景中在局部定义颜色变换中的一些颜色变换可能是有利或者必要的（即，尽管例如通过窗口303被看见的颜色是与（PIP 302）的图像的剩余部分中的颜色在特定程度上相似的，但它们被有差别地变换，因为它们需要变得例如非常明亮，或者反之亦然地暗）。人们应当认识到，这不只是人们可以利用其随意地播放的仅有变换，而其是新图像的实际编码，所述编码理想地需要看起来精确地就像它们的内容创造者定义它们那样，即，需要相当特殊的技术考虑以便保持在任何HDR处置装置或者链中的任何地方正确地处置它们。因此，我们不只具有对图像分辨率进行处置的情形，而实际上还有对图像重新定义的处置，即，对颜色变换函数的正确的调整。

在图3中，我们看到PIP的示例，但是其它类似的场景是可想到的（例如，粗化图像的一部分以便形成低分辨率的流光溢彩的投影光模式的在像移动电话这样的第二侧显示器上的显示、POP等）。出于阐明的考虑，我们将在不想限制我们自己的情况下假设这将是例如蓝光盘读取器完成例如包含某些导演评述的第二视频流的PIP的场景。

在主区域301中，将存在电影。其可以根据可能的HDR编解码器的某个版本被定义，并且其需要最终被转换成将在显示器上被渲染的输出照度Luminance_out。现在，存在HDR编码中的许多不同的方面，所述方面为了使本发明的讨论复杂化而不被需要，例如，视频可以根据各种码分配函数或者使亮度码与照度产生关联的EOTF被编码，并且其可以相比于可以与例如是2500 nit的渲染显示器的峰值明亮度不同的例如是5000 nit的峰值明亮度被定义。此外，显示器可能想完成其自己的图像处理等。在任一种情况下，我们可以将情形概括为我们用输入照度Luminance_in（其在5000 nit照度轴上将与在HEVC图像中被接收的亮度并且一般地像素颜色相对应，特别地，如图4中的Im_1）与最终输出照度之间的定制变换曲线311代表的全局映射。此外，可以证实，人们可以在经归一化的照度轴上定义该变换，但x轴上的1.0因而与实际的5000 nit相对应，并且y轴上的1.0与例如2500 nit被连接或者最终将被供应的TV的PB相对应。在该示例中，曲线指示，人们需要将可以例如是夜景中的黑色摩托车这样的较暗的区域（相对照度子范围312）明亮化到某个程度，并且我们想提高某些较明亮的区域（相对照度子范围313）的对比度，例如以便像通过窗口被看见那样非常清脆地看见房子的用白炽灯被照亮的房间里的一切。这构成针对主视频的比色变换曲线图310。

现在第二，存在PIP 302，PIP 302得到其自己的视频/图像，并且具有其自己的特定的并且不同的颜色变换（图315）。如果系统什么都不知道，则其将也仅对那些像素颜色应用全局变换311。在这里，我们假设我们可以具有针对像素的大部分的全局颜色/照度变换和例如用于明亮化外部像素的局部变换316，其像通过窗口303被看见的那样（在不忽略一般概念的情况下，读者可以将该示例理解为该辅助视频是利用较廉价的LDR照相机被快速地拍摄地，并且不是专门非常小心地经HDR分级的，并且基本上，其通过保持全部像素LDR并且仅提升明亮的外部区域303而被转换成粗糙的伪HDR。因此，实际上我们仅对用于在局部对较明亮的外部像素进行处理的函数照度变换形状316感兴趣，并且我们在该阐明中不需要为对于像在PIP视频的其它地方具有相似的照度的像素这样的其它像素发生什么（获得变换317）或者针对较暗的像素颜色的变换操心。

但是外部区域303的局部变换将正确地进行很重要，否则看起来令人不愉快或者不自然的颜色可能出现，或者更糟的是，几何假象可能在最终的图像中并且不必是PIP区域中但潜在也在主电影中出现。

图4示出了创造几何情形信息的可能的装置的更多一点的信息。我们将再次出于简单的阐明而描述BD播放器，但是技术人员理解，通过类似的方式，这样的系统可以在许多装置中出现，所述装置例如是混合来自各种照相机的馈入的电视车中的视频合成器、本地有线电视分布中心中的视频插入器、对两个流进行合成的互联网上的视频服务器等。

第一图像（或者图像的集合）Im_1来自第一图像源401，并且第二图像Im_2（我们假设其被PIP，但是当然，若干其它的几何变换是可能的，甚至具有动态地移动的区域等）来自第二图像源402。当然，出于对我们的原理的简单的阐明，人们可以假设这两者都来自蓝光盘，但是当然，甚至在蓝光应用的情况下，第二图像可以来自互联网连接上的服务器，或者在实况生产装置实施例的情形下，则来自照相机等。

几何变换单元403例如根据用户界面软件的规则对视频（Im_2）完成几何变换，例如，其对PIP中的视频进行缩放和重新定位。现在假设像电视机这样的链中的稍后的接收设备仍然必须完成动态范围处理中的一些动态范围处理，假设是仅向其动态范围的转换（例如，5000 nit PB视频向2500 nit显示器动态范围）。如果，例如是BD播放器这样的装置201将完成全部最优颜色变换，并且为（哑）显示器的显示器驱动器供应正确的值，则在多数场景中也将不是问题。几何情形指定设备212可以从几何变换单元403得到什么在几何上被完成的信息，并且然后根据针对特定的应用被期望的不论什么实施例定义需要被传送到接收侧的情形参数。如所述的，某些实施例不需要哪些几何变换被实际上完成的任何详细的代码实现，而仅需要一个比特，该比特指示某事被完成，并且这不再是变换函数F1与之相对应的纯原始电影视频Im_1（如我们已在研究中示出的那样，其偶然地可以脱离根据例如5000nit图像Im_1定义100 nit外表或者反之，也被用于计算用于在不等于例如是2500或者1400nit的那两个值的峰值明亮度的显示器上渲染的看起来最优的图像）。因此，在某些场景中，几何情形指定设备212将生成将在去往某个输出系统401（例如，如果装置201位于最终消费者房屋处则经由HDMI直接去往显示器，或者去往用于联网视频递送的代码转换器或者装置的网络视频存储存储器等）的视频信号（或者潜在地经由不同的机制被传送的多个相关的视频信号部分）中被输出的唯一比特。这对于在其中不正确的解码不必太至关重要的应用场景可以是良好的，并且接收侧装置因而可以切换到安全模式（例如，没有主和/或辅区域中的局部处理）。这将原则上导致在某些区域中获得不正确的颜色的错误的解码，即，错误的例如针对PIP的HDR图像外表的重构，所述区域即至少那些需要被局部重构的区域。例如，在图3的示例中，我们通过使用全局照度变换曲线（即，对于那些较明亮的像素是其部分317）将获得太暗的阳光充足的外部颜色。但装置201可以确定，情形的严重性将例如是仅PIP中的小窗口可能不需要是完美的。这将取决于各种因素，诸如精确的几何情形，但还有图像内容的细节，但还有最终的渲染的特性（例如，在1000 nit TV上，窗口中的错误可以比在5000 nit TV上较不严重，并且如果错误是区域通过全局映射变得太明亮，特别是如果接近PB的话，则其可能对于3000 nit以上的TV是非常不适当的，但1000 nit以下的PB的TV上存在错误是较不成问题的）。关于内容的影响，应当指出，局部变换可能已主要被完成用于得到更好的对比度或者更少的像条带这样的伪影，并且装置201可以在其对如何对必要的几何变换信息进行编码的决定中将此考虑在内。特别地，如果人类例如在视频生产系统中存在并且与装置201交互的话，他可以检查例如通过放弃局部变换来不正确地完成解码的影响的严重性将是什么，特别是如果他考虑到固定的或者一系列最终的显示器的话。自动化装置可以计算将像素的量（局部区域的大小）和重构对理想的颜色差别以及甚至进一步的图像信息考虑在内的错误度量，当然，仅假设他们完成某些HDR计算的话（我们设计了还用于廉价的系统的较简单的变型，其（几乎）不做任何事，并且仅将全部比色编码参数通传给另一个装置以便其完成全部计算。即，如果立即在某个——特别如果较低质量的话——显示器上被渲染，则单比特解决方案可能是适当的，但如果全部数据被归档以便稍后使用，则具有被尽可能精确地编码的全部信息的较高质量版本可能是有序的。

在该示例阐明中，我们假设装置201仅计算用于找到应当对其应用局部颜色变换（316）的Im_2的像素的新规则S2*，并且局部函数形状F2_L仅从被从视频源402作为例如元数据读取直接地被传递给输出，类似于Im_1和F1在该实施例中典型地可以如何被传递以便由某个接收侧装置执行颜色处理。

本文中公开的算法构件可以（整体上或者部分地）在实践中被实现为硬件（例如，专用IC的部分）或者在特殊数字信号处理器或者通用处理器上运行的软件等。它们在至少一些用户输入可以存在/已存在（例如，在工厂或者消费者输入或者其它人类输入中）的意义上可以是半自动化的。

对于本领域的技术人员应当能从我们的呈现中理解，哪些构件可以是可选的改进，并且可以结合其它构件被实现，以及方法的（可选的）步骤如何与装置的相应的设备相对应，以及反之亦然。在本发明中采用特定的关系（例如，在单个图中采用特定的配置）公开了某些构件的事实不意味着其它配置作为与在本文中被公开的用于获取专利的发明构思相同的发明构思下的实施例是不可能的。此外，出于实用的原因已描述了仅有限的范围的示例的事实不意味着其它变型不能落在权利要求的范围下。事实上，本发明的构件可以在沿任何使用链的不同的变型中被体现，例如，像编码器这样的创造侧的全部变型可以类似于或者对应于例如是解码器这样的经分解的系统的消费侧处的对应的装置，并且反之亦然。实施例的若干构件可以被编码为信号中的特定的信号数据，以用于在编码器与解码器之间采用任何传输技术的传输或者诸如是协调这样的进一步的使用等。术语“装置”在本申请中在其最宽泛的意义上被使用，即，允许实现特定的目标的设备的组，并且因此可以例如是IC（的小部分）或者专用家电（诸如具有显示器的家电）或者联网系统的部分等。“布置”或者“系统”也旨在在最宽泛的意义上被使用，因此其可以尤其包括单个物理的、可购买的装置、装置的一部分、协同运行的装置（的部分）的集合等。

计算机程序产品表示应当被理解为包括使通用或者专用处理器能够在一系列加载步骤（其可以包括中间转换步骤，诸如到中间语言和最终的处理器语言的转换）之后将命令输入处理器中以便执行发明的特性功能中的任何功能的命令的集合的任何物理的实现。特别地，计算机程序产品可以被实现为诸如例如是磁盘或者磁带这样的载体上的数据、存在于存储器中的数据、经由网络连接——有线的或者无线的——行进的数据或者纸上的程序代码。除了程序代码之外，程序所需的特性数据也可以被体现为计算机程序产品。这样的数据可以（部分地）以任何方式被提供。

本发明或者像视频数据这样的根据本发明实施例的任何哲学可用的任何数据可以也被体现为数据载体上的信号，所述数据载体可以是像光盘、闪存、可移除硬盘、可经由无线设备写的便携式设备等这样的可移除存储器。

任何被呈现的方法的操作所必需的步骤中的一些步骤可以取代被描述在计算机程序产品或者任何单元中而已存在于处理器或者本发明的任何装置实施例的功能中，本文中描述的装置或者方法（具有本发明实施例的细节），诸如数据输入和输出步骤，众所周知地典型地合并诸如是标准显示器驱动等这样的处理步骤。我们还期望对于产生的产品和相似的产出的保护，像例如在方法的任何步骤处或者装置的任何子部分中被涉及的特定的新颖的信号，以及这样的信号的任何新用途或者任何相关的方法。

应当指出，上面提到的实施例图示而非限制本发明。在技术人员可以容易地实现被呈现的示例向权利要求的其它区域的映射的情况下，我们为简洁起见还未深入提到全部这些选项。除了如在权利要求中被组合的本发明的元素的组合之外，元素的其它组合是可能的。元素的任何组合可以在单个专用元素中被实现。

权利要求中的括号之间的任何附图标记不旨在用于限制权利要求，附图中的任何特定的符号也不旨在这样。词“包括”不排除未在权利要求中被列出的元素或者方面的存在。在元素前面的词“一个”或者“一个”不排除多个这样的元素的存在。

Claims

1. 一种图像颜色处理装置（205），其被布置为将具有第一照度动态范围的输入图像（Im_in）的像素的输入颜色（R, G, B）变换成具有第二照度动态范围的输出图像（Im_res）的像素的输出颜色（Rs, Gs, Bs），所述第一和第二动态范围在程度上至少2倍不同，所述图像颜色处理装置（205）包括：

2.根据权利要求1所述的图像颜色处理装置（205），其中，所述数据（220）包括指示符（221），所述指示符（221）将任何几何变换已发生代码化，所述几何变换诸如例如是包括所述原始图像（Im_orig）的图像像素的区域的大小的缩放。

3.根据权利要求1所述的图像颜色处理装置（205），其中，所述数据（220）包括所述几何位置数据（S）的至少一个参数的新的被重新计算的值，所述几何位置数据（S）将在所述输入图像（Im_in）的哪个几何位置处像素将局部地被处理代码化。

4.根据权利要求3所述的图像颜色处理装置（205），进一步包括第二指示符（222），所述第二指示符（222）指示所述几何位置数据（S）的至少一个参数已根据其原始值被重新计算。

5.根据权利要求1所述的图像颜色处理装置（205），其中，所述数据（220）包括指定已发生的所述几何变换的变换数据（224）。

6.一种图像传输装置（201），其被布置为传送包括具有输入颜色（R,G,B）的像素的至少一个图像（Im_in），并且被布置为传送指定用于对所述输入颜色（R,G,B）进行颜色变换的函数或者算法的变换数据（226），其中，所述变换数据（226）包括用于执行局部颜色变换的数据，该数据包括使接收器能够计算所述至少一个图像（Im_in）的哪些像素位置将利用所述局部颜色变换被处理的几何位置数据（S），其中，所述装置包括几何情形指定设备（212），所述几何情形指定设备（212）被布置为对指示几何变换已在原始图像（Im_orig）与所述输入图像之间发生的数据（220）进行编码，所述几何位置数据（S）根据所述原始图像（Im_orig）被确定。

7.根据权利要求6所述的图像传输装置（201），其中，所述几何情形指定设备（212）被布置为将指示符（221）编码在所述数据（220）中，所述指示符（221）将任何几何变换已发生代码化。

8.根据权利要求6所述的图像传输装置（201），其中，所述几何情形指定设备（212）被布置为变更所述几何位置数据（S）的至少一个参数，所述变更是相比于其针对该参数接收的值的。

9.根据权利要求6所述的图像传输装置（201），其中，所述几何情形指定设备（212）被布置为将指定已发生的所述几何变换的数据编码在所述数据（220）中。

10. 一种图像颜色处理的方法，包括以下步骤：

11.根据权利要求10所述的图像颜色处理的方法，如果所接收的数据中的指示符（221）指示几何变换已发生，则其仅执行全局颜色变换。

12.根据权利要求10所述的图像颜色处理的方法，如果所述分析推断几何变换已发生，则其执行对所述几何位置数据（S）的重新确定。

13.一种图像传输的方法，包括：

-获得图像（Im_in）；

14.一种图像信号，包括：图像（Im_in）的像素的像素颜色数据；变换数据（226），其指定对所述图像（Im_in）的颜色变换，以便获得针对不同的显示器动态范围的图像；以及数据（220），其指示几何变换已在被用于确定所述变换数据（226）的原始图像（Im_orig）与输入图像（Im_in）之间发生。

15.一种包括代码的计算机程序产品，所述代码将上面的方法权利要求中的任一项权利要求的步骤中的每个步骤代码化，从而在其被运行时使处理器能够执行该相应的方法。