CN103155535B - 使用局部色域定义的图像处理方法和设备 - Google Patents

Abstract

提供了使用局部色域定义对图像数据进行编码和解码的方法和设备。可基于图像数据的色域特性来定义局部色域定义。对图像数据应用色域变换，其中，将由图像数据指定的颜色坐标映射到局部色域定义中的相应颜色坐标。局部色域定义的使用可有利于图像数据压缩或图像数据的增加颜色深度指定。

Description

使用局部色域定义的图像处理方法和设备

对相关申请的引用

本申请要求2010年10月18日提交的美国专利临时申请61/394,294的优先权，其全部内容通过引用合并于此。

技术领域

本发明涉及图像处理、图像数据压缩、图像显示和图像再现。本发明的实施例提供了用于对图像数据进行处理以传送到下游装置并在下游装置上进行显示的方法和设备。

背景技术

图像数据（包括视频数据和静止图像数据）可以具有多种不同格式中的任意一种。一些示例图像数据格式为：RGB、YLU、GIF、TIFF、JPEG/JIF、PNG、BMP、PDF、RAW、FITS、MPEG、MP4、诸如BEF、HDRi、JPEGXR、JPEGHDR、RGBE、ScRGB的高动态范围（HDR）格式以及多种其它格式。图像数据格式可以具有在各方面域中显著不同的能力，诸如，例如，可以指定的不同颜色范围（即，色域（gamut））、可以指定的亮度级别范围（即，动态范围）、可以指定的色域内的离散颜色的数量、可以指定的离散亮度级别的数量等。一些图像数据格式包括具有不同能力的多个版本。

可以在很多不同的颜色空间中指定颜色。一些示例包括RGB、HSV、CIELUV、YCbCr、YIQ、xvYCC、HSL、XYZ、CMYK、CIELAB、IPT等。不同的图像数据格式可以在不同的颜色空间中指定颜色。

显示器可包括广泛种类的基本显示器技术中的任意技术。显示器技术的范围包括从数字影院显示到电视机，其可包括：液晶显示（LCD）面板显示器，其中LCD面板由不同类型的背光系统来从背后照亮；发光二极管（LED）显示器；有机LED显示器（OLED显示器）；等离子显示器；阴极射线管（CRT）显示器；激光投影仪；数字微镜装置（DMD）显示器；电致发光显示器等。在这些一般技术的任意技术内，对于发光和/或滤波元件可以有广泛种类的不同构造和构成。结果，不同的显示器可具有在各方面中显著不同的能力，诸如，例如，可以显示的不同颜色范围（即，色域）、可以显示的亮度值范围（即，显示的动态范围）等。

宽色域的显示器可能能够再现传统显示器上可显示的色域之外的颜色。然而，能由提供至显示器的图像数据来指定的离散颜色的范围和数量会受到多种因素的约束，诸如，例如，图像数据格式的能力、图像数据带宽、图像数据压缩等。

需要用于对具有不同色域的图像数据进行处理和显示的方法和设备。需要用于对图像数据进行处理和显示以便以高精度在显示器上再现不同的颜色的方法和设备。特别期望如下方法和设备：其可以以高效方式将图像数据传递到显示器或其它下游装置，并且可以在不同图像数据格式、可用图像数据带宽和图像数据压缩的约束内进行操作。

发明内容

以下描述了并在附图中示出了本发明的多个方面和本发明的示例实施例。

附图说明

附图示出了本发明的非限制性实施例。

图1A和图1B是CIEu’v’颜色空间中的色域图。

图2A和图2C是根据示例实施例的对图像数据进行编码的方法的流程图。

图2B和图2D是根据示例实施例的对图像数据进行解码的方法的流程图。

图3A、图3B和图3C是可在图2A的方法中使用的、根据示例实施例的选择局部色域定义的方法的流程图。

图4示出了被划分成子帧块的图像数据的帧的区域。

图5示出了用于图像数据的帧的区域的预定义色域定义。

图6A和图6B是分别示出根据示例实施例的编码设备和解码设备的框图。

具体实施方式

在以下描述中，阐述了具体细节以便为本领域技术人员提供更透彻的理解。然而，可能没有详细示出或描述公知的要素以避免不必要地模糊本公开。因此，描述和附图应被视为说明性意义而非限制性意义。

可以在三维或三分量颜色空间中表示颜色。内容色域可以被定义为图像数据中的局部像素组所占据的颜色空间的范围。图像数据格式的色域可以被定义为可由图像数据格式指定的颜色空间的范围。例如，在每个分量使用四位的三分量颜色空间中指定颜色的图像数据格式允许在图像数据格式的色域内指定高达(2⁴)³或4096个颜色或分量组合。除非考虑大样本图像数据（例如，长帧序列），否则图像数据中的局部像素组不可能需要可由图像数据格式指定的所有可能颜色。此外，可以理解，某些颜色分量组合趋向于比其它颜色分量组合更频繁地出现在图像数据中。

本文中描述的方法和设备的特定实施例可应用于图像数据的一个或多个帧或者帧的区域没有使用可由图像数据格式指定的全色域的情况。在这样的情况下，可使用局部色域定义来对图像数据进行编码。如以下所说明的，局部色域定义的使用可有利于图像数据压缩、图像数据的增加颜色深度指定以及视频递送管线（videodeliverypipeline）的下游装置对图像数据的处理。

图1A和图1B例如示出了如下情况：以内容色域边界22为界的内容色域（图像数据中的局部像素组占据的颜色范围）的区域占据了图像数据的各个图像数据格式的整个色域的区域的一部分。在图1A中，可以假设图像数据为具有以色域边界20为界的色域的Rec.709格式。在图1B中，可以假设图像数据为具有以色域边界26为界的色域的宽色域格式（即，具有比Rec.709格式更宽的色域）。对于这些情况中的每种情况，可以使用可至少部分基于内容色域边界22而确定的局部色域定义来对图像数据进行编码。为了参考目的，在图1A和图1B上还绘出了谱轨迹30（表示纯谱或单色颜色的点的轨迹）和CIE标准发光体D65（表示平均日光的白点）。应理解，为了易于图示，图1A和图1B在二维空间中示出了色域边界。如上所指出的，可以在三维或三分量颜色空间中表示颜色。在三维颜色空间中指定的颜色信息可被变换到如下颜色空间：在该颜色空间中，沿着两条轴（诸如图1A和图1B所示）指定色度信息并且沿着第三条轴（图1A和图1B中未示出）指定亮度信息。

在图1A所示的情况下，可定义具有与内容色域边界22一致的局部色域边界24的局部色域。在其它实施例中，局部色域边界24可包围或包括内容色域边界22和/或接近内容色域边界22。局部色域所占据的颜色空间的原点可被定义在局部色域内的某个点。在对图像数据进行编码期间，在图像数据中指定的颜色坐标可被映射到局部色域中的相应颜色坐标。由于局部色域包括图像数据格式的色域的区域的一部分，因此可使用减少数量的位来表示局部色域内的颜色坐标。因此，在这样的情况下可采用局部色域定义来减少用于表示图像的数据量。

针对无线或有线数据传送的带宽限制可能限制可传送到显示器的图像数据量。因此，可能期望应用诸如以上参照图1A描述的局部色域定义，以在保留图像的原始颜色深度的同时减少表示图像中的颜色所需的数据量。

在其它实施例中，可采用局部色域定义来减小在图像数据格式的色域的分区内可指定的颜色之间的步阶的大小（即，减少颜色之间的量化级），从而增加可指定颜色的精度。在图像中一次可以表示的特定色域内的颜色的数量或颜色深度受到用于表示每个像素的颜色的位数（即，“位深”）所限制。例如，假设要编码的图像数据的内容色域以图1A的内容色域边界22为界，并且正使用16位深度颜色方案（使用5位来表示32级红色、使用6位来表示64级绿色并且使用5位来表示32位蓝色，总共为32×64×32或65,536个不同的颜色）来表示所示出的以色域边界20为界的Rec.709格式内的所有可用颜色。在一些图像帧或帧区域中，可能不使用可由这种颜色方案指定的所有65,536级颜色；因此，为了减少颜色之间的量化级，可应用新的局部色域定义，在该新的局部色域定义中，所有65,536级颜色被重新定义为该局部色域内的颜色。局部色域定义的使用可以以局部色域之外的颜色深度为代价来增加局部色域内的颜色深度（从而减少颜色之间的量化级）。例如，如果在Rec.709格式内将局部色域定义为具有与内容色域边界22一致的局部色域边界24，则可定义新的16位深度颜色方案来表示局部色域内的所有可用颜色，从而将局部色域内可指定的颜色数量增加到65,536（即，32×64×32）。

在显示器能够以比可由图像数据格式指定的颜色深度更大的颜色深度来再现颜色和/或期望对颜色之间的量化级的更精细控制的某些情况下，可能期望使用局部色域定义来增加颜色深度。例如，如图1B所示，如果在不同的图像数据格式之间位深是恒定的，则宽色域格式（具有以色域边界26为界的色域）中的图像数据的颜色指定精度将比诸如Rec.709格式的较窄色域格式（具有以色域边界20为界的色域）中的图像数据的颜色指定精度低。较宽色域中的颜色的量化级之间的差必然较大，以允许在增加的色域区域中指定颜色。为了增加可以指定颜色的精度，可以以较高位深来提供图像数据，但是在多数情况下这可能是不实际的。

在图1B的示例中，图像数据为宽色域格式，并且内容色域（由色域边界22定义）的一些颜色在Rec.709色域之外。图像数据的内容色域占据所示出的以色域边界26为界的宽色域格式的色域的区域的一部分。为了增加可以表示图像数据中的颜色的精度，可为图像数据定义具有与内容色域边界22一致的或包括内容色域边界22的局域色域边界24的局部色域。新的颜色方案可被定义为表示该局部色域内的颜色。在图像数据中指定的颜色坐标可被映射到局部色域中的相应颜色坐标。

用于示出如何可通过使用局部色域定义来增加颜色深度的示例如下：假设由颜色分量码字的N个组合来描述图像数据格式的全色域，并且与图像数据格式的全色域相比局部内容色域较小（例如，局部内容色域需要N个可能组合的子集）。可以确定局部内容色域边界，并且可以重新分配N个码字以占据直到局部内容色域边界的颜色空间。因此，可以使用N个码字以比先前高的颜色分辨率（颜色深度）来指定图像数据格式的全色域的较小分区中的颜色。

用于局部色域定义的新颜色方案可具有与图像数据格式相同的位深。在其它情况下，用于局部色域定义的新颜色方案可具有比图像数据格式减小的位深，同时仍允许以期望的颜色深度来指定局部色域内的颜色。

在一些实施例中，可在图像数据的后期制作处理期间由专业的颜色分级机（colorgrader）来选择和使用对于局部色域定义的新颜色方案，以便以比图像数据格式的现有颜色方案可允许的精度更大的精度来指定颜色。在其它实施例中，可由下游装置来确定或检索对于局部色域定义的新颜色方案，并且该新颜色方案被用来增强已应用了色域压缩（例如，将宽色域图像数据压缩到更常用色域（例如，Rec.709色域）的约束的处理）的处理后图像数据的颜色指定。

在使用局部色域定义对图像数据进行编码的情况下，可将关于局部色域定义的信息传输到下游装置，以使得下游装置能够对图像数据进行解码。这样的信息可被编码为图像数据中的元数据，或者可作为图像数据的帧前面（诸如，在电影、广播、场景等的开端处）的元数据来传输。下游装置（例如，机顶盒或显示处理器）可通过下述方式来对图像数据进行解码以进行显示：从图像数据提取局部色域信息，并且应用这样的信息来将使用局部色域定义所定义的颜色坐标值转换为用于在显示器上进行再现的颜色坐标值。重新映射后的颜色坐标值可具有与普通颜色坐标值相同的格式和定义，以使得图像数据的传送、显示等不受影响。

在显示之前，下游装置可选地对解码图像数据进行滤波，以减少在解码之后可能出现在图像数据中的视觉假象（visualartifact）。视觉假象可能是由于在帧或帧区域之间应用不同的局部色域定义来对图像数据进行编码而导致的。

在特定实施例中，可在视频递送管线中的不同级使用局部色域信息，以有利于对颜色信息的指定和取决于局部颜色特性的操作。典型的视频递送管线包括各种级，诸如，例如，内容捕获、后期制作编辑、编码、传送、解码和显示。由上游装置在管线中较早生成的局部色域信息可在管线向下传递（例如，利用元数据），以在对视频数据进行处理时对一个或多个下游装置进行引导。下游装置可使用局部颜色特性来例如：增强图像中的细节、掩盖或抑制噪声或假象、执行局部色调映射和/或确定双调制显示器中的有色背光所需要的局部色域。可通过使用已由上游装置预先计算的且提供给下游装置的局部色域信息来降低这样的操作的总计算成本。

图2A示出了根据一个实施例的使用局部色域定义对图像数据进行编码的方法100。方法100以接收内容图像数据102来开始，该内容图像数据102可包括图像数据的一个或多个帧或者帧的区域。图像数据102可包括例如视频数据。在块104处对图像数据102的内容色域进行表征。块104的色域表征可包括例如确定以下中的一个或多个：

●包括内容色域的所有点或内容色域的一部分的边界；

●包括内容色域的所有点或内容色域的一部分的边界内的区域；

●关于针对局部像素组指定的颜色坐标或颜色信息的统计信息，诸如平均值、标准偏差、方差、最大值和最小值等。

以下还参照图3A至图3C来讨论色域表征方法。

在块107处，对在块104处确定的色域表征进行评估，以确定条件是否适合于对图像数据应用局部色域变换。如果在块107处确定条件是适合的，则在块108处确定或检索对于图像数据102的局部色域。局部色域可选自预定局部色域定义的集合或者可基于块104处的色域表征来针对图像数据102而生成。以下参照图3A至图3C来讨论确定局部色域定义的方法。可为图像的块或其它区域指定局部色域定义。在一些实施例中，可将帧划分成多个子帧块，这些子帧块中的一个或多个可与局部色域定义相关联。在其它实施例中，可关于图像的色域特性来定义与局部色域相关联的区域（例如，可为帧内具有类似色调的对象或区域指定局部色域）。

块108的局部色域可由与内容色域一致的或包围内容色域的色域边界来限定。色域边界可以以多种方式中的任意方式来表示，诸如，例如：

作为现有色域（例如，Rec.709色域）中的点的子集的点集合；以及多项式表示。

在图1A和图1B中绘出了与由内容色域边界22限定的内容色域对应的局部色域边界24的示例。局部色域可在与图像数据格式的色域相同或不同的颜色空间中。定义局部色域的颜色空间的原点可位于局部色域内的某个点处，但是这不是必须的，并且原点可被定义在某个其它位置。在某些实施例中，原点可位于图像数据的颜色坐标值的平均值处。

在块110处，对图像数据应用局部色域变换，以将由图像数据102指定的颜色坐标映射到局部色域中的相应颜色坐标。在一些实施例中，可定义新的颜色方案来表示局部色域中的颜色坐标。新颜色方案可具有与图像数据格式相同或不同的位深；位深确定在局部色域中可指定颜色的精度。例如，在内容色域占据传统或非宽色域格式的色域的区域的一部分的情况（例如，图1A所示的情况）下，则可能对于图像数据不需要使用全位深，并且可使用减小的位深来表示局部色域内的颜色坐标。另一方面，在内容色域占据宽色域格式的色域的区域的一部分并且内容色域的至少一部分在传统或非宽色域格式的色域之外的情况（例如，图1B所示的情况）下，则可使用图像数据格式的全位深来表示局部色域内的所有可用颜色以达到期望精度水平。

块110处的局部色域变换可利用例如以下来执行：

●查找表（LUT）；

●函数，其接受输入值并将这些输入值转换为局部色域中的相应输出值；

●等等。

在某些实施例中，为了表征色域、评估色域特性、确定局部色域变换、和/或应用局部色域变换（即，方法100A的块104、107、108和/或110）的目的，可将颜色信息从其原始颜色空间变换到另一颜色空间中。新的颜色空间可能对于视觉和感知分析更方便。到新颜色空间的变换可有利于图像数据处理以及图像数据的更高效表示。到新颜色空间的变换可以是非线性的。

可将在原始颜色空间中评估的、关于图像数据颜色信号的统计信息转换为新颜色空间中的不同统计值。在表征色域时，对于原始和/或新颜色空间中的局部像素组，可以考虑诸如平均值、最大值、最小值、标准偏差、方差等的统计度量。还可以考虑诸如距平均值的距离的一些界限描述。

根据一些实施例，可在块110处应用一种或多种变换，以减小变换后的颜色信号信息的范围，同时保留显著的颜色特性。在一些实施例中，通过对各种统计度量的非线性变换进行测试，可以选择并应用最优变换，以压缩颜色信号信息，同时使显著颜色特性的失真最小化或减小该失真。根据特定实施例，应用非线性变换，随后应用一般的最优线性变换（例如，奇异值分解或主成分分析）以进一步压缩颜色信号信息。

在块112处，对图像数据102进行压缩。可使用适合于图像数据格式的一种或多种技术来执行压缩，诸如，例如：

●如可用于例如JPEG图像数据和MPEG视频数据的、诸如利用离散余弦变换（DCT）的变换编码；

●如可用于例如MPEG视频数据的预测编码；

●如可用于例如GIF和TIFF图像数据的无损压缩（例如，蓝波-立夫-卫曲压缩（Lempel-Ziv-Welchcompression））；

●基于小波的压缩；

●上述一种或多种技术的组合；

●等等。

在一些实施例中，使用标准图像编码技术（例如，DCT、频率相关或频率无关量化、频率扫描排序、固定或可变运行长度编码等）对残差图像数据（即，在输入或先前帧图像数据与应用预测技术之后的预测输出或随后帧图像数据之间的差）进行编码。使用帧间或帧内预测技术来执行预测。可将帧划分为局部子帧块。通过使用先前编码的图像数据来预测每个连续块。残差图像数据由于基于块的预测技术而携带有输入图像的一些统计信息和一些新的局部统计信息。如本文中所述的局部色域表示技术可以应用于残差图像数据。

为了辅助下游装置对图像数据进行处理和解码，在块114处，可将元数据116嵌入在图像数据中，或者可连同图像数据一起传送元数据116。元数据116可提供关于特定帧或者帧的区域的局部色域定义的信息。元数据116可包括，例如：下游装置可用的局部色域定义库40（图5）的索引；用于标识帧的应用了局部色域定义（如例如索引所指定的）的区域的坐标42（图5）；关于映射函数的或者可以从其得到查找表的信息（即，用于将使用局部色域定义所定义的颜色坐标映射回到图像数据中的颜色坐标以在显示器上进行再现），等等。然后，输出包括元数据116的处理后且压缩后的图像数据118，以传送到下游装置。

可能不是在每种情况下都应用局部色域定义。例如，在方法100中，对于图像数据的某些帧或帧的区域，如果通过块107对色域特性的评估而确定条件不适合于对图像数据应用局部色域变换，则可不应用局部色域定义。在这样的情况下，方法100可绕过局部色域确定和变换，并且继续到在块112处对图像数据进行压缩。在一些实施例中，可将表示没有对这样的图像数据应用局部色域定义的元数据116传输到下游装置。

如例如图2B的方法120所示，随后可由显示器或其它下游装置对已根据图2A的方法100编码的图像数据118进行解码，以将该数据准备用于输出到显示器。方法120以接收处理后的图像数据118来开始。方法120通过从图像数据118提取元数据116而继续到块122。在块124处，对图像数据进行解压缩。在块126处，通过对图像数据应用逆局部色域变换来对解压缩后的图像数据的颜色信息进行解码。块126的逆变换可至少部分基于元数据116，元数据116引导从可应用的局部色域定义的颜色坐标值到图像数据格式的颜色坐标值的映射，以在显示器上进行再现。例如，实现方法120的下游装置可使得局部色域定义库40（参见图5）对其可用。元数据116可包括用于对局部色域定义库40进行索引的局部色域标志和用于标识帧的应用了特定局部色域定义的区域的坐标（参见图5）。在一些实施例中，可使用元数据116来配置局部色域定义库40。

在其它实施例中，块126的变换可从可应用的局部色域定义的颜色坐标值映射到不同的颜色空间（例如，RGB颜色空间）内的颜色坐标值，以在显示器上进行再现。

在方法120的块128处，可选地对解码图像数据进行滤波，以减少解码之后可能出现在图像数据中的视觉假象。所得到的滤波后解码图像数据作为输出图像数据130被输出到显示器。

传输元数据116需要用于允许下游装置对图像数据进行解码的一些开销。尽管开销增加，但是在内容色域的区域是图像数据格式的色域的区域的一部分的情况下，可通过使用局部色域定义对图像数据进行编码而在适当的环境中实现对图像数据的更大压缩（诸如在图1A所示的情况下）。

图3A、图3B和图3C分别示出了根据示例实施例的、可作为方法100（图2A）的块104、107和108的具体示例实现而应用的方法200、240和280。在方法200、240和280中的每种方法中，在块202处接收内容图像数据102的帧并且将该帧划分为子帧块，每个子帧块均包括与表示颜色信息的值相关联的N×N个像素。图4例如示出了被划分成四个子帧块32的帧31的区域。帧实际上可以具有多于所示出的四个子帧块。在图4的所示出的示例中，每个子帧块32具有8×8个像素。如果在CIELUV颜色空间中表示图像数据，则子帧块的64个像素中的每个可与L’、u’、v’值相关联。对于在其它颜色空间中表示的图像数据，每个像素可与其它颜色值相关联。

在方法200、240和280中的每个方法中，在块204处确定每个子帧块32的色域特性。基于这样的色域特性，可在块206处评估一个或多个条件。如果满足某些条件，则在块208处检索局部色域定义。

对于方法200、240和280中的每个方法，根据图像数据确定的色域特性可包括表示每个子帧块的平均颜色的值（如在块204A处确定的）。在一些实施例中，这样的值可以是例如DCT系数矩阵的DC系数（即，DC值）（参见图4）。DC系数33的确定可包括对子帧块32中的像素值应用离散余弦变换（DCT）。图像数据的色域特性还可包括每个子帧块的最小颜色值和最大颜色值（如在块204B处所确定的）。当在CIELUV颜色空间中表示图像数据的情况下，可对于L’、u’、v’分量中的每个分量来分开地计算每个子帧块32的平均值（例如，DC系数33）以及最小值和最大值。在特定其它实施例中，可利用来自上游装置（诸如例如颜色分级工具）的传输或者图像数据中的元数据而将块204处的色域特性提供到编码器。

方法200、240和280在块206处所评估的条件和在块208处选择或生成的局部色域定义方面不同。图3A的方法200评估条件是否适合于使用局部色域定义以有利于数据压缩。图3B的方法240评估条件是否适合于使用局部色域定义以增加颜色深度。图3C的方法280包括方法200和240的方面，并且评估条件是否适合于使用局部色域定义以有利于数据压缩或增加颜色深度。

如上所述，图3A的方法200以在块202处将帧划分为子帧块32以及在块204处确定色域特性来开始。在块204处确定色域特性之后，方法200通过针对每个子帧块32来评估（1）平均值与最小值之间的差的绝对值以及（2）平均值与最大值之间的差的绝对值是否分别小于预定阈值（即，“阈值1”）而继续到块206B。如果这些差不小于阈值，则方法200可通过在块209处返回条件不适于使用局部色域定义的指示而继续。例如，内容色域可能覆盖这样大的区域：其使得在考虑了将关于局部色域定义的使用的信息传输到下游装置时的开销之后，局部色域定义的使用不会减少图像数据超过微小量。

在替选实施例中，可在方法200的块206B处评估一个或多个其它条件，以确定是否适合于使用局部色域定义，以用于数据压缩目的。这些其它条件可包括，例如：

●评估作为图像数据格式的色域的面积的百分比的内容色域的面积；

●评估作为图像数据格式的色域的体积的百分比的内容色域的体积（即，考虑三维颜色空间中的色域）；

●评估平均值与图像数据格式的色域的边界之间的距离；

●评估相邻子帧块的颜色特性；

●评估应用局部色域变换的成本和益处（例如，成本可包括视觉假象）；

●评估应用全局色域变换的成本和益处；

●等等。

如果在方法200的块206B处评估的、平均值与最小值/最大值之间的差小于阈值，则方法200通过在块208D处检索对于图像数据的局部色域定义而继续。局部色域定义可：选自预定局部色域定义的集合，从存储器检索，从视频信号提取，和/或基于在块204处确定的平均值和/或最小和最大值（或其它色域特性）来生成。局部色域定义可具有与内容色域一致的或包围内容色域的边界。

图3B的方法240确定可以用于对图像数据进行编码以增加其颜色深度的局部色域定义。可在例如图像数据格式具有宽色域（比诸如Rec.709格式的传统色域宽的色域）的情况下应用方法240，因为在这样的情况下，可能期望增加在图像数据中可指定颜色的精度。如以上参照图1B所说明的，使用局部色域定义对图像数据进行编码可允许在图像数据格式的色域的一个区域内指定更大数量的颜色，而不需增加图像数据的位深。

如图3B所示，在块204处确定色域特性之后，方法240通过确定内容色域的边界上的点是否足够靠近图像数据格式的色域的边界而继续到块206A。如果边界不充分靠近，则方法240可通过在块209处返回条件不适合于使用局部色域定义的指示而继续（例如，由于内容色域没有逼近宽色域格式的色域的边界，因此不需要定义特殊的局部色域；然而，在一些实施例中，可使用另一色域定义来对图像数据进行编码，诸如，传统或非宽色域格式的色域定义）。

如果内容色域的边界足够靠近图像数据格式的色域的边界，则方法240通过评估（1）平均值与最小值之间的差的绝对值以及（2）平均值与最大值之间的差的绝对值是否分别小于预定阈值（即，“阈值2”）而继续到块206C。如果这些差不小于阈值，则方法240可通过在块209处返回条件不适合于使用局部色域定义的指示而继续。例如，内容色域可能覆盖这样大的区域：其使得局部色域定义的使用不会增加颜色深度超过显著程度。

如果在方法240的块206C处评估的平均值与最小值/最大值之间的差小于阈值，则方法240通过在块208A处检索对于图像数据的局部色域定义而继续。局部色域定义可选自预定局部色域定义的集合，或者可基于在块204处确定的平均值和/或最小和最大值（或其它色域特性）而生成局部色域定义。局部色域定义可具有与内容色域一致的或者包围内容色域的边界。可为局部色域定义新的颜色方案以增加颜色深度。

在其它实施例中，可以定义局部色域定义而与内容色域边界与图像数据格式的色域边界的靠近程度无关。然而，某些操作（诸如基于局部色域信息的变换）可基于局部内容色域边界与图像数据格式的色域边界的相对关系和/或与相邻子帧块的局部内容色域边界的相对关系。

图3C的方法280包括方法200和240的方面以检索局部色域定义，从而有利于数据压缩或增加颜色深度。在方法280中，与方法200和240的步骤类似的步骤标有相同的附图标记。如在图3C中可见，在块204处确定色域特性之后，方法280通过针对每个子帧块32评估如上参照图3A的块206B以及图3B的块206A、206C所述的条件而继续到块206（其包括块206A、206B、206C）。基于这样的评估的结果，方法280继续到如图3C所示的以下步骤之一：

●在块209处返回条件不适合于使用局部色域定义的指示；

●在块208A处检索局部色域定义以增加颜色深度；以及

●在块208D处检索局部色域定义以有利于数据压缩。

在方法200、240和280的一些实施例中，如果条件不适合于使用局部色域定义，则方法240可简单地在块209处什么都不做（使得图像处理继续接下来的步骤而不选择和应用局部色域定义），而不是在块209处返回指示。

应理解，可对图像数据的每个子帧块（或其它部分）执行确定和评估色域特性以及选择局部色域定义的步骤（如以上对于方法200、240和280所描述的）。可对于图像数据的连续帧重复这些方法。

图2C示出了根据另一实施例的使用局部色域定义对图像数据进行编码的示例方法100A。图2C的方法100A在一些方面与图2A的方法100类似，并且除了对于方法100A的步骤的附图标记附有字母“A”之外，将类似的附图标记用于表示类似的步骤。可对图像数据102的每帧（或帧的区域）执行方法100A。

方法100A以接收图像数据102的帧或帧的区域来开始。在块104A处表征图像数据102的内容色域。在块107A处，对在块104A处确定的色域表征进行评估，以确定条件是否适合于对图像数据应用局部色域变换。在块104A和107A处执行的步骤可与在方法100的块104和107处执行的步骤类似。

如果在块107A处确定条件适合，则方法100A可通过以下方式继续：确定图像数据的平均颜色坐标值，并且基于这样的平均颜色坐标值，对图像数据的剩余颜色坐标值应用局部色域变换。例如，在所示出的方法100A的实施例中，在块106A处，可对图像数据的像素值应用离散余弦变换（DCT），以确定图像数据的DCT系数矩阵的DC系数33（即，DC值）（参见图4）。基于DC系数33，可在块108A处确定局部色域变换。可在块110A处对图像数据应用局部色域变换，以使得DCT系数矩阵中的剩余值（即，AC系数34，参见图4）趋向于随着局部色域变换将颜色坐标值映射到接近DC系数33的新值而平均来说变得更小。因此，在块111A处对变换后的图像数据进行量化时，可将AC系数34中的很多个量化为零，从而有利于在块112A处对图像数据进行压缩。在块110A处的局部色域变换不会影响DC系数33。在某些实施例中，可基于帧内的块（或其它区域）的DC系数或者基于帧内的多个相邻块的DC系数（例如，诸如相邻块的DC系数的平均值）而确定块110A处的局部色域变换。

在方法100A中所使用的、用于在块106A处确定DC或平均值以及在块110A处应用局部色域变换的变换不限于离散余弦变换。在其它实施例中，可应用某种其它变换，该变化以确定对于图像数据的DC或平均分量来开始，并且然后对于每个值确定与平均分量的差（或“残差”）。

为了辅助下游装置对图像数据进行处理和解码，在块114A处，可将元数据116嵌入在图像数据中，或者可连同图像数据一起传送元数据116。元数据116可包括对图像数据应用了局部色域变换的表示。在特定实施例中，元数据116可提供关于用于确定和应用局部色域变换的算法的信息（例如，局部色域变换是基于帧内的单个块的DC系数还是基于帧内的多个相邻块的DC系数而选择的，等等。）。所得到的变换后的、压缩后的处理后数据118A被输出到下游装置。

在其它实施例中，不需要执行方法100A的块104A和107A。在这样的实施例中，可基于子帧块的DC系数和/或周围或附近子帧块的DC系数，对图像数据的每个子帧块（或其它区域）执行局部色域变换。在接收到图像数据的子帧块（或其它区域）时，方法可通过确定对于图像数据的子帧块的DC系数而继续，如在例如方法100A的块106处所描述的那样。在其它实施例中，可基于由例如颜色分级工具生成的、且利用在图像数据中传送的元数据而传输的色域信息，对图像数据的每个子帧块执行局部色域变换。

在对图像数据的每个子帧块（或其它区域）执行局部色域变换的某些实施例中，在方法100A的块114A处可能不需要将元数据116编码在图像数据中。例如，下游装置可被配置成通过以下方式来继续：在基于预定算法（例如，基于块的DC系数和/或周围或附近子帧块的DC系数的算法）对图像数据的每个子帧块应用了局部色域变换这一假设下，对图像数据进行解码。

图2D示出了可由显示器或其它下游装置执行、以用于对已根据例如图2C的方法100A编码的图像数据进行解码的方法120A的示例实现。可对处理后图像数据118的每个帧或帧的区域来执行方法120A，以准备用于输出到显示器的图像数据。图2D的方法120A在一些方面与图2B的方法120类似，并且除了用于方法120A的步骤的附图标记附有字母“A”之外，将类似的附图标记用于表示类似的步骤。

方法120A以接收处理后图像数据118的帧或帧的区域来开始。方法120通过从图像数据118提取元数据116而继续到块122A。在块124A处，对图像数据118进行解压缩。如果在块124B处元数据116表示对图像数据应用了局部色域变换，则在块125A处，从图像数据提取DC系数33（由于其不受在方法100A的块110A处应用的局部变换的影响）。基于这样的DC系数33，可在块125B处确定逆局部色域变换，即，基于DC系数33（对于特定实施例，可选地连同元数据116），下游装置可以确定在方法100A的块108A处确定局部色域变换所用的算法。在块126A处，对图像数据应用逆局部色域变换，以将可应用的局部色域定义的颜色坐标值映射到图像数据格式的颜色坐标值以在显示器上进行再现。在其它实施例中，块126A的变换可从可应用的局部色域定义的颜色坐标值映射到不同的颜色空间（例如，RGB颜色空间）内的颜色坐标值以在显示器上进行再现。

在方法120A的块128A处，可对解码图像数据进行滤波以减少在解码之后可能出现在图像数据中的视觉假象。所得到的滤波后解码图像数据作为输出图像数据130被输出到显示器。

图6A和图6B分别示出了可用于实现本文中所述的一种或多种方法的编码设备和解码设备140、160。可使用解码设备160对已由编码设备140编码的图像数据进行解码。编码设备140可实现例如方法100（图2A）、100A（图2C）、200（图3A）、240（图3B）和280（图3C）中的一种或多种。解码设备160可实现例如方法120（图2B）和120A（图2D）。

在所示出的图6A的实施例中，编码设备140包括色域表征和选择单元142。色域表征和选择单元142可被配置成执行例如方法200（图3A）、240（图3B）和280（图3C）中的一种或多种。色域表征和选择单元142可被配置成接收图像数据102并且确定或获得图像数据102的色域特性。色域表征和选择单元142可有权访问局部色域定义的存储库144。色域表征和选择单元142可执行软件和/或硬件功能以评估图像数据102的色域特性。可对图像数据帧的多个子帧块中的每个子帧块执行这样的评估。基于这样的评估，色域表征和选择单元142可从存储库144选择适当的局部色域定义146以用于对图像数据进行编码。如上所述，局部色域定义146的使用可有利于数据压缩或更精确的颜色再现。

可将局部色域定义146连同图像数据102一起提供到色域变换单元148。色域变换单元148被配置成将由图像数据102指定的颜色坐标映射到局部色域定义的相应颜色坐标，从而得到被提供到编码设备140的压缩单元152的变换后数据150。

对于一些图像数据帧或子帧块，可能根据对色域特性的评估而确定条件不适合于使用局部色域定义。在这样的情况下，色域表征和选择单元142使得图像数据102被传递到压缩单元152，从而绕过色域变换单元148。

压缩单元152可操作用于使用适当的压缩技术（诸如上述压缩算法之一）对其所接收的图像数据进行压缩。所得到的压缩图像数据154被传递到元数据写入器156，元数据写入器156与色域变换单元148通信并且有权访问元数据存储库中的元数据116。基于从色域变换单元148接收的信号，元数据写入器156可对元数据（例如，指定局部色域定义的元数据）进行编码，该元数据将辅助下游装置对元数据进行解码。然后，输出包括元数据116的所得到的处理后图像数据118以传送到下游装置。

图6B示出了可对处理后图像数据118进行接收和解码以在显示器上进行再现的下游装置（即，解码设备160）。在所示出的实施例中，解码设备160包括元数据读取器或提取器162，该元数据读取器或提取器162被配置成从处理后图像数据118提取元数据116。随后将图像数据提供至解压缩单元164以进行解压缩。逆变换单元168接收未压缩数据166和元数据116。受元数据116的引导，逆变换单元168通过对图像数据应用可应用的局部色域变换的逆来对图像数据进行解码。逆变换可将局部色域定义的颜色坐标值映射到图像数据格式的颜色坐标值以在显示器上进行再现。滤波器172对所得到的解码图像数据170进行滤波以减少解码后的视觉假象，并且将图像数据130输出到显示器。

可实现根据本发明的方法和设备的一些具体方式包括：

●包括根据本发明的实施例的设备的图像处理芯片；

●包括本文中所述的解码设备的机顶盒、电视机、计算机监视器、投影仪和/或其它显示器；

●包括本文中所述的编码设备的图像数据源，诸如DVD播放器（例如，蓝光播放器）、视频播放器、摄像装置、移动电话等；

●包括固件或其它计算机可读指令的物理或非暂态计算机可读介质，这些固件或其它计算机可读指令在被执行时，配置可编程处理器和/或可配置逻辑设备来执行根据本发明的方法；

●一个或多个中央处理单元（CPU）、一个或多个微处理器、一个或多个现场可编程门阵列（FPGA）、一个或多个专用集成电路（ASIC）、一个或多个图形处理单元（GPU）或其任意组合、或者包括能够执行根据本发明的方法的硬件和/或软件的任意其它适当处理单元；以及

●包括本文中所述的编码设备的颜色分级工具。

尽管以上讨论了多个示例性方面和实施例，但是本领域技术人员将意识到这些示例性方面和实施例的某些变型、置换、添加及子组合。因此，旨在使下面所附权利要求以及以下给出的权利要求被理解为包括在其真实精神和范围内的所有这样的变型、置换、添加和子组合。

Claims (27)

1.一种对图像数据进行编码以传送到下游装置的方法，包括：

接收图像数据，所述图像数据具有内容色域，所述内容色域被定义为所述图像数据中的局部像素组所占据的颜色空间的范围；

确定所述图像数据的内容色域的一个或更多个色域特性；

至少部分基于所述色域特性，确定用于所述图像数据的局部色域定义，其中所述局部色域定义限定包括所述图像数据的内容色域的一部分的局部色域；以及

对已被确定了所述局部色域定义的所述图像数据应用色域变换，其中，在所述色域变换中，将由该图像数据指定的颜色坐标映射到所述局部色域定义的相应颜色坐标。

2.根据权利要求1所述的方法，包括：对已被应用了所述色域变换的所述图像数据进行压缩。

3.根据权利要求2所述的方法，包括：将与所述局部色域定义对应的元数据编码在已被压缩的所述图像数据中。

4.根据权利要求1或2所述的方法，其中，所述图像数据包括图像数据的子帧块。

5.根据权利要求4所述的方法，其中，所述色域特性包括表示所述子帧块的平均颜色的值。

6.根据权利要求5所述的方法，其中，对所述子帧块应用离散余弦变换DCT以提供DCT系数矩阵，并且所述色域特性包括所述DCT系数矩阵的DC值。

7.根据权利要求4所述的方法，其中，所述色域特性包括所述子帧块的最小颜色值和最大颜色值。

8.根据权利要求4所述的方法，其中，所述色域特性包括所述内容色域的面积。

9.根据权利要求4所述的方法，其中，所述色域特性包括所述内容色域的体积。

10.根据权利要求4所述的方法，其中，所述色域特性包括图像数据的相邻子帧块的颜色特性。

11.根据权利要求1或2所述的方法，其中，所述图像数据具有如下的图像数据格式：该图像数据格式具有比Rec.709色域宽的色域。

12.根据权利要求11所述的方法，其中，所述内容色域是所述图像数据格式的色域的子集。

13.根据权利要求12所述的方法，其中，所述局部色域定义限定所述内容色域内的颜色的范围。

14.根据权利要求13所述的方法，其中，所述局部色域定义具有与所述图像数据格式相同的位深。

15.根据权利要求1或2所述的方法，其中，评估色域特性包括将由所述图像数据指定的颜色坐标变换到新的颜色空间。

16.根据权利要求1或2所述的方法，其中，应用所述色域变换包括将由所述图像数据指定的颜色坐标变换到新的颜色空间。

17.根据权利要求16所述的方法，其中，所述色域变换是非线性的。

18.一种对图像数据进行解码以在显示器上进行再现的方法，包括：

从所述图像数据提取元数据，其中，所述图像数据具有内容色域，所述内容色域被定义为所述图像数据中的局部像素组所占据的颜色空间的范围，所述元数据表示局部色域定义，并且所述局部色域定义限定包括所述图像数据的内容色域的一部分的局部色域；

对已被提取了元数据的图像数据进行解压缩；以及

对解压缩后的图像数据应用逆色域变换，其中，所述逆色域变换将所述局部色域定义的颜色坐标值映射到图像数据格式的颜色坐标值。

19.根据权利要求18所述的方法，包括：对已被应用所述逆色域变换的图像数据进行滤波，以减少视觉假象的出现。

20.一种对图像数据进行解码以在显示器上进行再现的方法，包括：

确定所述图像数据的内容色域的一个或更多个色域特性，其中所述内容色域被定义为所述图像数据中的局部像素组所占据的颜色空间的范围；

基于所述色域特性，确定用于对所述图像数据进行编码的局部色域定义，其中所述局部色域定义限定包括所述图像数据的内容色域的一部分的局部色域；

对所述图像数据应用逆色域变换，其中，所述逆色域变换将所述局部色域定义的颜色坐标值映射到图像数据格式的颜色坐标值。

21.根据权利要求20所述的方法，其中，所述色域特性包括所述图像数据的DC值。

22.一种用于对图像数据进行编码的设备，包括：

色域表征和选择单元，被配置成：

接收图像数据，所述图像数据具有内容色域，所述内容色域被定义为所述图像数据中的局部像素组所占据的颜色空间的范围；

确定所述图像数据的内容色域的色域特性；以及

基于对所述色域特性的评估，从存储库选择局部色域定义，其中所述局部色域定义限定包括所述图像数据的内容色域的一部分的局部色域；以及

色域变换单元，被配置成：

接收所述图像数据和所述局部色域定义；以及

通过将由所述图像数据指定的颜色坐标映射到所述局部色域定义的相应颜色坐标，来应用局部色域变换。

23.根据权利要求22所述的设备，包括：压缩单元，被配置成对由所述色域变换单元变换后的图像数据进行接收和压缩。

24.根据权利要求23所述的设备，包括：

元数据写入器，被配置成将与所述局部色域定义对应的元数据编码在已被压缩的所述图像数据中。

25.一种用于对图像数据进行解码的设备，包括：

元数据提取器，被配置成从所述图像数据提取元数据，其中，所述图像数据具有内容色域，所述内容色域被定义为所述图像数据中的局部像素组所占据的颜色空间的范围，所述元数据表示局部色域定义，并且所述局部色域定义限定包括所述图像数据的内容色域的一部分的局部色域；

解压缩单元，被配置成对已被提取了元数据的图像数据进行解压缩；以及

逆变换单元，被配置成对解压缩后的图像数据应用逆色域变换，其中，所述逆色域变换将所述局部色域定义的颜色坐标值映射到图像数据格式的颜色坐标值。

26.根据权利要求25所述的设备，包括：滤波单元，被配置成对逆变换后的图像数据进行滤波，以减少视觉假象的出现。

27.一种用于对图像数据进行解码的设备，包括：

局部色域定义单元，被配置成：评估所述图像数据的内容色域的色域特性，并且基于所述色域特性，确定用于对所述图像数据进行编码的局部色域定义，其中，所述内容色域被定义为所述图像数据中的局部像素组所占据的颜色空间的范围，并且所述局部色域定义限定包括所述图像数据的内容色域的一部分的局部色域；

解压缩单元，被配置成对所述图像数据进行解压缩；以及

逆变换单元，被配置成对解压缩后的图像数据应用逆色域变换，其中，所述逆色域变换将所述局部色域定义的颜色坐标值映射到图像数据格式的颜色坐标值。