CN105940666A - 将饱和图像变换成不饱和图像的方法 - Google Patents

Abstract

方法包含：将多个行分割成饱和像素的区域；针对这些饱和区域，选择不饱和的至少一个色彩通道；然后，针对所述区域的每个像素，对由所述像素的饱和色彩通道所提供的色彩信息添加由所述像素的所选择的不饱和色彩通道所提供的色彩信息与针对该像素的区域计算出的基线色彩值之间的差分。

Description

将饱和图像变换成不饱和图像的方法

技术领域

本发明涉及基于来自图像的饱和区域的不饱和色彩通道的色彩信息来重构这些区域。

背景技术

多数现有的相机只可以捕获单次曝光内的有限范围的照明。相机设置的错误选择以及相机传感器的物理约束限制了对于给定的曝光时间和放大器增益可以捕获并存储为图像的最大发光值。因此，无法精确地捕获超出相机传感器元件的最大能力的场景发光值，导致所捕获的图像中的过度曝光或色彩饱和的区域。

图像的明亮图像区域的饱和当然是不期望的，因为其视觉上降低了图像的品质。在高动态范围(HDR)成像的情况下，具体地，在逆色质映射的情况下，丢失明亮图像区域中的细节特别是个问题。在显示器性能方面的最近的进展表明，消费者显示器在不远的将来能够显示HDR内容，这需要针对这种新的显示形式准备现有的内容。多数当前的逆色质映射解决方案检测并扩展图像中的明亮区域，因此，以健壮的方式恢复这些区域中的丢失的色彩信息是至关紧要的。

图像色彩饱和可以采取两种形式，其通常使用显著不同的方法来处理。如果图像的饱和部分的色彩的全部三个色彩通道由于饱和而被修剪，则在图像的该部分中存在不健壮的色彩信息，因此，校正方法依赖于从图像的其余部分所获得的用以使丢失的像素产生幻觉的有问题的信息，或者依赖于基于该图像的全局在前部分在丢失信息中进行的填充。另一方面，如果在图像的一部分中仅RGB成分中的一个或两个是饱和的，则能够使用未修剪的通道中的色彩信息或者通过将其与来自附近图像区域的信息相结合，来重构经修剪的色彩通道中的丢失信息。本发明涉及该第二形式的图像色彩饱和。

由于特别是在RGB色彩空间中的色彩通道之间的强相关性(参见E.Reinhard和T.Pouli，“Colour spaces for colour transfer”，IAPR ComputationalColor Imaging Workshop，ser.Lecture Notes in Computer Science，R.Schettini、S.Tominaga和A.Tremeau，Eds.Springer Berlin Heidelberg，2011-invitedpater，第6626卷，第1-15页)，涉及上述第二形式的多数方法处理RGB色彩空间中的图像。在最简单的情况下，色彩通道之间的全局相关性可以以全局贝叶斯模型的形式来确定，并且可以用于恢复由于饱和而丢失的色彩信息的处理中(参见X.Zhang和D.H.Brainard，“Estimation of saturated pixelvalues in digital color imaging”，JOSA A，第21卷，第12号，第2301-2310页，2004页)。

可以通过使用相同空间区域内的未修剪的色彩通道中的信息来利用色彩通道之间的相关性。在S.Z.Masood、J.Zhu和M.F.Tappen的“Automaticcorrection of saturated regions in photographs using cross-channel correlation”(Computer Graphics Forum，第28卷，第7号，Wiley Online Library，2009年，第1861-1869页)中，Zhang等人的贝叶斯建模方法(参见上文)被扩展并且使用像素与它们的邻域之间的关系以估计RGB通道之间的比率。

该方法依赖于两个成本函数的最小化，其显著地增加了其计算复杂度。另外，使用邻域信息可能导致不正确的色调值。

本发明的目的是避免前述的不足。

发明内容

将饱和图像变换成不饱和图像的方法还依赖于色彩通道之间的相关性，但是选择简单的统计量，以便恢复修剪的色彩信息以及增强跨越图像的不同行的色彩的空间一致性。

另外，与先前的方法不同，本方法被设计为对图像的行轮廓进行操作，使其良好地适合于硬件应用和显示器侧的处理。

本方法依赖于在过度曝光的图像区域中RGB成分倾向于不在相同的空间位置处修剪这一事实。基于色彩通道在空间上强相关的假设，本方法通过考虑相同空间位置处的未修剪的色彩通道内的变化来重构一个色彩通道的过度曝光的区域。

本发明的主题是一种将饱和图像变换成不饱和图像的方法，其包含：

将饱和图像分割成其色彩具有饱和的线性RGB色彩空间中的至少一个色彩通道的像素区域，并且对于这些饱和区域中的每个，

在针对区域的像素提供所述线性RGB色彩空间中的色彩信息的不同的色彩通道之中，选择在所述区域上不饱和的至少一个色彩通道，

对于所述区域的每个像素，用重构的不饱和色彩信息来替换由所述区域的至少一个饱和色彩通道提供的所述像素的色彩信息，

其中，所重构的不饱和色彩信息是由所述像素的所述区域的至少一个饱和色彩通道所提供的色彩信息和由所述像素的所选择的至少一个不饱和色彩通道所提供的色彩信息与针对所述像素的区域所计算出的基线色彩值之间的差分的和，从而提供所变换的不饱和图像。

优选地，将区域的基线色彩值计算为在该区域中的至少所有像素上的该区域的参考色彩通道所提供的最小色彩值。可以考虑其他像素，特别是该区域周围的像素，来计算该最小色彩值。

注意，在EP2367360的第63、66和69以及图8中，饱和像素的所重构的不饱和色彩信息是所述像素的不饱和色彩通道所提供的色彩信息和差分(而不是如本发明中那样的饱和色彩通道)的和。在本发明中，假设直至修剪或饱和阈值，在每个色彩通道中所提供的色彩信息是正确的。如果针对区域的像素以值G_max修剪色彩通道G，则本发明考虑在没有饱和的情况下的那些像素的正确的G值将是G_max加上某个增量，该增量由于饱和/修剪而未被捕获。在EP2367360中，校正的G值不是G_max加上某个增量，而是B值加上某个增量或者R值加上某个增量。在EP2367360中，最大的校正G值将不大于G_max，因为在本发明中正确的G值总是超过G_max，并且因此更接近于真实的场景值。这意味着，本发明特别良好地适合于范围的动态扩展，亦即适合于将LDR图像变换成HDR图像。

优选地，逐行地、即具有饱和像素的行相继地执行分割，并且其中所述区域是行的片段。优选地，将片段的基线色彩值计算为最小色彩值，在该片段中的所有像素上并且在色调比接近阈值更接近于该片段的代表性平均色调的相邻行中的邻近于该片段的像素上由该片段的参考像素通道提供该最小色彩值。优选地，还使用基于属于所述像素的片段的相同行和/或属于相邻行的其他像素有关的色彩信息的色彩统计量来计算替换由所述至少一个饱和色彩通道所提供的像素的色彩信息的所重构的色彩信息。优选地，这些相邻行彼此邻近。

本发明的主题还是一种将饱和图像变换成不饱和图像的方法，所述饱和图像的每个像素的色彩信息通过三个不同的色彩通道来提供，诸如以将该色彩信息表示到RGB色彩空间中，所述方法包含以下步骤：

将所述饱和图像的邻近像素的行分割成其色彩具有饱和的至少一个色彩通道的邻近像素的片段，以及

对于这些饱和片段中的每个，

在针对所述片段的像素提供所述线性RGB色彩空间中的色彩信息的不同的色彩通道上，选择在所述片段上不饱和的至少一个色彩通道，

对于所述片段的每个像素，将所述片段的至少一个饱和色彩通道所提供的所述像素的色彩信息替换为使用针对相同像素由所述片段的所选择的至少一个不饱和的色彩通道所提供的至少一个色彩信息计算出的重构的色彩信息，

从而提供所变换的不饱和图像。

优选地，通过将所述片段的至少一个饱和色彩通道所提供的所述像素的色彩信息和由所述像素的所述片段的所选择的至少一个不饱和的色彩通道所提供的色彩信息与针对所述片段计算出的基线色彩值之间的差分相加，来计算出片段的像素的所重构的不饱和的色彩信息。

优选地，将片段的所述基线色彩值计算为最小色彩值，在该片段中的所有像素上以及在其色调比接近阈值更接近于该片段的代表性平均色调的相邻行中的邻近该片段的像素上、由该片段的参考色彩通道提供该最小色彩值。优选地，相邻的行彼此邻近。

优选地，所述方法逐行地，即具有饱和像素的行相继地实现。

总之，根据本发明的方法包含将行分割成饱和像素的区域，并且针对这些饱和区域中的每个，选择不饱和的至少一个色彩通道，然后针对所述区域的每个像素，向由所述像素的饱和色彩通道所提供的色彩信息添加由所述像素的所选择的不饱和色彩通道所提供的色彩信息与针对该像素的区域所计算出的基线色彩值之间的差分。

本发明的主题还是一种将饱和图像变换成去饱和的图像的图像变换设备，其包含：

第一模块，其被配置为将图像分割成其色彩具有色彩饱和的线性RGB色彩空间中的至少一个色彩通道的像素的区域，以及

第二模块，其被配置为通过选择在所述区域的像素上不饱和的至少一个色彩通道，并且针对那些像素中的每个，将所述区域的至少一个饱和色彩通道所提供的所述像素的色彩信息替换为由所述像素的所述区域的所述至少一个饱和色彩通道所提供的色彩信息和由所述像素的所选择的至少一个不饱和的色彩通道所提供的色彩信息与针对所述像素的区域所计算的基线色彩值之间的差分的和，来对第一模块所提供的每个饱和区域的像素去饱和。

优选地，所述第一模块被配置为将所述图像的每个行分割成作为所述行的片段的区域。

本发明的主题还是一种电子设备，其包含根据本发明的图像变换设备。优选地，该电子设备是电视机、手机、平板、机顶盒、网关或相机。

附图说明

通过阅读以下作为非限制性示例给出的描述，并且参照附图，将更清楚地理解本发明，附图中：

图1是例示根据本发明的方法的第一实施例的流程图；

图2例示针对每个色彩通道Red、Green和Blue的在图1的实施例的第一步骤之后所获得的掩蔽S；

图3例示在图1的实施例的第二步骤之后的饱和图像的一行到色彩饱和像素的不同片段s₁、s₂、s₃、……的分段，其基于它们的色调值而被分组；

图4例示图3所示的相同行的所有像素上由三个色彩通道R、G、B所提供的色彩信息的变化，其中相同的饱和片段s₁、s₂、s₃、……通过由三个色彩通道R、G、B中的至少一个所提供的色彩信息的饱和来标识；

图5例示在图3和图4的片段中如何根据图1的实施例的第四步骤将针对该片段的像素由参考色彩通道所提供的色彩值与针对该片段所计算出的基线色彩值ρ_si之间差分添加到由该片段的饱和色彩通道所提供的像素的色彩值；

图6例示图1的实施例的第四步骤结束时的、从图5所示的所有色彩通道的去饱和得到的、在图3所示的相同的行的所有像素上由三个色彩通道R、G、B所提供的色彩信息的变化；

图7是例示根据本发明的方法的第二实施例的流程图。

具体实施方式

现在将参照图1来描述根据本发明的方法的两个非限制性实施例的不同的步骤。这些不同的步骤通过使用专用硬件以及与适当的软件相关联的能够执行软件的硬件(一起形成图像变换设备)来提供。特别地，硬件可以非限制性地包括数字信号处理器(“DSP”)硬件、用于存储软件的只读存储器(“ROM”)、随机存取存储器(“RAM”)以及非易失性储存器。图像变换设备可以是例如电视机、手机、平板、机顶盒、网关或相机这样的电子消费者设备的一部分。

将在R、G、B色彩通道下进行色彩编码的、大小为M x N个像素的、被标记为I的输入的8比特RGB饱和图像提供给图像变换设备。如果该图像变换设备是手机、平板或相机的一部分，则该图像可以直接通过图像的捕获来提供。在这样的情况下，与R、G、B色彩通道相关联的线性RGB色彩空间优选与图像捕获设备(特别是用于该捕获的图像捕获设备)相关。如果该图像变换设备是诸如电视机、机顶盒、手机、平板或网关这样的电子设备的一部分，则图像可以通过在它们中集成的图像接收器来提供。在这样的情况下，与R、G、B色彩通道相关联的线性RGB色彩空间优选与该电子设备或其图像接收器所关联的图像显示设备相关。

如有必要，首先从饱和图像以本身已知的方式移除伽马校正(例如假设2.2伽马)以便获得具有在显示设备的线性RGB色彩空间中所表示的色彩数据的图像。该显示设备可以是任何种类的实际的或虚拟的设备，例如LCD、OLED显示器、投影仪或者除例如ITU 709这样的标准的任何设备。对于图像的像素的每个色彩，对应有表示线性RGB空间中的该色彩的色彩坐标的三个色彩值。每个色彩值与色彩通道R、G或B相关。

现在将描述本发明的第一非限制性实施例，其中将图像分割成全部属于像素的相同行的色彩饱和邻近像素的片段。该实施例的优点是，图像可以逐行地处理，从而需要较低的计算资源。

在该第一实施例的第一步骤中，针对图像的每个色彩通道以本身知道的方式重构饱和掩蔽S以便标记图像的过度曝光的区域，更准确地说，标记具有该图像在三个色彩通道的至少一个中饱和的至少一个色彩值的每个像素。在图2中例示这些掩蔽。对于每个色彩通道，例如通过下面的等式1、使用可以对所有色彩通道公用的或者可以特定于每个色彩通道的饱和色彩值t来计算饱和掩蔽S：

其中，l_m(n，c)是属于图像的行m和图像的列n的像素的色彩通道c中色彩的值，其中m属于区间[1；M]并且表示行，其中n属于区间[1；N]并且表示列，其中c属于色彩通道R、G和B的分组并且表示色彩通道。对于8比特RGB图像，阈值t例如对于所有色彩通道是公用的并且被设置为235(而不是2⁸)以考虑噪声。

根据被分配给色彩通道c的饱和掩蔽S的每个像素的值的上述定义：

在位置m,n处的像素的值0意味着与该像素相关联的色彩通道c的值是饱和的并且针对该像素需要重构与该色彩通道相关的色彩信息；

该像素的值1意味着与该像素相关联的色彩通道c的值是不饱和的并且不需要重构色彩信息。

在该第一实施例的第二步骤中，图像的邻近像素的行被分割成掩蔽的对应值为0的邻近像素的片段。那些片段中的任何一个的所有像素被修剪，亦即具有至少一个色彩通道饱和的色彩。

在理想的情况下，将对整个图像执行成为邻近饱和像素的片段的分割以及每个饱和像素的重构的不饱和色彩信息的所述的计算这两者(参见下面的第四步骤)。然而，在多数基于硬件的应用中，特别是在图像处理设备集成到电子消费者设备中时，处理作为整体的饱和图像在计算上将是不可行的。为了解决这一点，如下所述，优选分开地处理已经标记了邻近饱和像素的至少一个片段的不同行，亦即逐行地处理。有利地，这样的迭代处理仅需要访问该行以及(如下所述)前面的和随后的α行(亦即区域[m-α，m+α]中的所有行)的色彩值来处理。当具有低计算资源时，可以将α设置为0或1，而为了增加方法的健壮性，优选更大的值。当然，图像的像素的行一般是水平的，然后列是垂直的。但是像素的行也可以是垂直的，然后列是水平的。

关于使用在上述第一步骤中建立的饱和掩蔽将饱和图像的像素的行分割成邻近色彩饱和像素的片段的一种方式，现在将给出更多的细节。在不脱离本发明的情况下，可以使用将行分割成饱和片段的其他方式，例如那些不需要掩蔽的方式。

在该第一实施例中，为了避免引入不连续性并且确保以一致的方式来处理图像的类似的修剪区域，在图像的每行中，将修剪的像素基于它们的色调值来分组成片段，并且如下所述那样地对每个分组(亦即片段)的像素分配相同的像素标签。

属于行m和列n的像素的色调H_m(n)以通常的方式在CIELab色彩空间中被定义为H_m(n)＝arctan(b_m(n)；a_m(n))，其中a和b是与该像素的RGB色彩空间中的上述色彩值相对应的Lab色彩空间中的CIELab色度成分。然后执行图像的像素的行m的分割处理，使得考虑具有比给定阈值t_c(例如t_c＝30°)更近的色调值H_m(n)的经修剪和邻近的像素作为该行的相同片段的一部分，并且因此被分配相同的标签s_m,i。因此，属于行m和列n的像素的标签s_m,i可以根据等式2定义如下：

S_m，i如果ΔH(m，n)＜t_c并且S_m(n，c)≡1

S_m，(i+1)如果ΔH(m，n)≥t_c并且S_m(n，c)≡1

否则

其中，i属于区间[1，L_m]，L_m为行m中的经修剪的片段的数量，

其中，关于像素位置m,n的函数Δ_H(m，n)在等式3中定义：

ΔH(m，n)＝min(|H_m(n)-H_m(n+1)|，360-|H_m(n)-H_m(n+1)|) 等式(3)

其中，H_m(n)是如上所定义的该像素的色调。

在包含色彩饱和像素的行m的该分割步骤结束时，如图3和图4所示，在该行中存在色彩饱和像素的L_m个片段s₁、s₂、s₃、……、s_Lm，它们的色彩值需要针对相同的至少一个色彩通道来重构。在图4中，饱和的RGB色彩空间的色彩通道可以在每个片段s₁、s₂、s₃、……中是等同的。使用图像的每个行中的相似的色调值对经修剪的像素进行分组的处理是可选的，但是优选的，因为其确保相似的色度的像素将被相似地处理，并且因此将能够在重构用于去饱和的色彩信息之后获得更一致的外观。

在第一实施例的第三步骤中，对于行m的饱和片段s₁、s₂、……、s_i、……、s_Lm中的每个s_i，在提供该片段的像素的色彩信息的不同色彩通道之中选择出不饱和的至少一个色彩通道。该所选择的色彩通道被称为参考色彩通道c_ref，因为其将被如下所述的那样地用于重构该片段的像素的色彩信息。根据下面的表格1中定义的规则，基于该片段的饱和色彩通道的标识，例如使用图4所示的不同通道所提供的色彩信息，在片段的未修剪的色彩通道之中选择出该参考通道c_ref。

表格1

Nb	饱和色彩通道	参考色彩通道
			1	红色	绿色
2	绿色	蓝色和/或红色
			3	蓝色	绿色
4	红色和绿色	蓝色
			5	红色和蓝色	绿色
6	蓝色和绿色	红色
			7	红色、蓝色和绿色	亮度扩展(见下文)

根据该规则，如果在片段中仅修剪一个色彩通道(在表格1中的情况1、2和3)，将未修剪的通道中的一个选择为用于去饱和校正的参考色彩通道。在可能的情况下，在该选择中绿色通道优选为偏好，因为发现该通道对于其余通道是更好的预测器。这阻止其由于通常在相机中所使用的色彩滤波器阵列而与图像亮度的高相关性。在两个色彩通道是饱和的情况下(表格1中的情况4、5和6)，仅选择未修剪的色彩通道作为将被用于去饱和校正的参考色彩通道。最后，如果在该片段中所有色彩通道都是饱和的，则根据被应用于图像的其余部分的校正来应用简单的亮度扩展(见下文)。

在第一实施例的第四步骤中，在如上所定义的行的每个饱和的片段中，与该片段的所标识的饱和色彩通道有关的每个像素的色彩值被替换为通过至少使用与在上述第三步骤中所选择的该片段的参考色彩通道有关的相同像素的色彩值而计算出的重构的不饱和色彩值。

在该步骤中，每个所检测的片段的像素的饱和通道根据针对该片段所选择出的参考色彩通道c_ref所给出的信息来去饱和。

现在将针对具有一个或两个饱和色彩通道的行m的片段s_i的这些饱和色彩通道中的一个来描述用于该片段的像素的去饱和的色彩校正。对于该校正，如下所述，由该片段的参考色彩通道c_ref所提供的一些色彩信息将被传递给该片段的饱和色彩通道。为了实现该校正而不引入图像的类似区域之间的不一致性(例如，在相同对象上的多个高光)，除了基于色调分割成上述第二步骤的像素的片段之外，还使用色调一致性约束。这种类型的色调约束是可选的，但是优选的。

假设与片段s_i的参考色彩通道c_ref有关的色彩值的变换可以被用于重构该片段s_i内的像素的另外的色彩通道中的丢失的色彩信息。然而，色彩值无法被直接从参考色彩通道传递给饱和色彩通道，因为沿着该片段的饱和通道和沿着相同片段的不饱和通道不提供相同级别的值。一个比另一个更高。因此，如下所述，优选地，针对该传递执行缩放操作。

为了解决该缩放问题，计算与要去饱和的片段s_i的参考色彩通道c_ref有关的基线色彩值ρ_si。在下面详述这样的计算。然而，如图5所示那样地执行传递，亦即，针对该片段s_i的每个像素，将该像素的参考色彩通道c_ref的色彩值与针对该片段所计算出的基线色彩值ρ_si之间的差分添加到相同像素的饱和色彩通道的色彩值。

为了计算行m的饱和片段s_i的用于缩放的和与参考色彩通道c_ref相关的基线色彩值ρ_si，首先在该片段s_i的所有像素的CIELab色彩空间中计算出该片段s_i的代表性平均色调H_si。然后，如上述的等式3那样地以类似的方式计算该片段s_i的该平均色调H_si与处于k,n处(其中亦即在行m中以及α个前面的以及随后的行中)的像素的色调H_k(n)的平均值之间的差分ΔH(k，n)。然后，根据下面的等式4计算出基线色彩值ρ_si：

$\begin{array}{cc}{\mathrm{\&rho;}}_{s_i}={\min }_{k\&Element;\{m-\mathrm{\&alpha;},m+\mathrm{\&alpha;}\}}\left(I_k\right(n,c_{ref}\left)\right)& \&ForAll;k\left|\mathrm{\&Delta;}H(k,n)\right|<t_{hue}\end{array}---\left(Eq.4\right)$

其中，其中优选地，t_hue等于大约20°。

这意味着，当α＝0时，将基线色彩值ρ_si计算为其色度根据基于由|ΔH(m，n)|＜t_hue所定义的接近参数t_hue的标准足够接近于H_si的片段s_i中的所有像素上的参考色彩通道c_ref所提供的最小色彩值。

这意味着，当α＞0时，将基线色彩值ρ_si计算为在行m的片段s_i中的所有像素上以及在其色调根据基于由所定义的接近参数t_hue的标准足够接近于H_si的相邻行k(其中中的邻近于该片段的像素上的参考色彩通道c_ref所提供的最小色彩值。

然后，如果存在另外的色彩通道，则针对其重复用于图像的行的片段的所有像素的饱和色彩通道的色彩值的去饱和的上述色彩校正。在所有三个色彩通道被修剪的片段中，这些片段的像素的色彩值根据相同行上的像素的经校正的邻近色彩值来扩展，以便获得局部最大色彩值。这确保完全修剪的像素与被应用于相同行的其他经修剪的片段的一个或两个色彩通道的校正一致。

然后，针对该行的每个片段，迭代上述色彩校正处理。图6示出然后所获得的该行的所有像素上的三个色彩通道R、G、B所提供的色彩信息的变化。

然后，针对包含具有饱和色彩的像素的图像的所有行，迭代上述针对一行像素描述的处理。

在对图像的所有像素去饱和之后，获得去饱和的图像I’，然后以相比于上述的处理的开始相反的方式进行伽马校正。

可选地，为了进一步提高上述方法的健壮性，水平地并且垂直地处理图像。这意味着，在上述的第一处理之后，饱和图像的行变成列，并且该饱和图像的列变成行，然后在该饱和图像上，第二次重复去饱和处理，提供第二去饱和图像。通过在两个去饱和的图像上取得每个像素的每个色彩通道的最大色彩值，计算出最终图像。为了避免在饱和边界附近引起不连续性，优选地，通过使用区间[t；255]中的输入像素值的简单倾斜(ramp)的未校正的输入，对经校正的图像进行alpha混合。

代替依赖于复杂的图像分析，根据该第一实施例的方法采用从图像的像素的行的小集合计算出的简单统计量来增强所恢复的区域之间的色调一致性。通过在整个校正过程中考虑色调信息，该方法产生自然的结果。方法的分割和校正步骤这两者对像素的少量行进行，使得该方法良好地适合于实时的硬件应用，诸如在扩展动态范围之前在显示器侧校正图像。尽管计算简单，但是该方法胜过现有的根据若干图像质量和色彩差分度量的部分饱和校正方案。

参照图1，被用于实现该第一实施例的图像变换设备主要包含：

第一模块1，其被配置为将具有带有饱和色彩的至少一个像素的图像的像素的每个行分割成其色彩具有饱和的线性RGB色彩空间中的至少一个色彩通道的邻近像素的至少一个片段，以及

第二模块2，其被配置为对由第一模块1所提供的行的每个饱和片段的像素去饱和，其通过在提供所述片段的像素的所述线性RGB色彩空间中的色彩信息的不同的色彩通道之中选择在所述片段上不饱和的至少一个色彩通道c_ref，并且将所述片段的至少一个饱和色彩通道所提供的那些像素中的每个的色彩信息替换为至少使用所述像素的所选择的至少一个不饱和的色彩通道c_ref所提供的色彩信息所计算出的重构的不饱和色彩信息。

现在，将参照图7来描述本发明的第二非限制性实施例，其中图像被分割成色彩饱和的邻近像素的区域，其中给定的饱和区域的像素一般分布在像素的若干行上。

在该第二实施例的第一步骤中，针对图像的每个色彩通道，以本身已知的方式，如上述第一实施例中那样地构造饱和掩蔽S，以便标记图像的过度曝光的区域，更准确地说，标记具有在三个色彩通道中的至少一个中饱和的至少一个色彩值的该图像的每个像素。这些掩蔽再次在图2中示出。

在该第二实施例的第二步骤中，将图像分割成色彩饱和像素的区域。

为了执行该第二步骤，最初，通过检测饱和掩蔽内的连通的色彩成分，将图像分割成邻近像素的加标签的区域。为此，如果在步骤1的饱和掩蔽中被分配0值的像素(亦即，作为相同区域的一部分)是近邻，则对它们给出相同的分割标签。当两个像素之间的空间像素距离小于或等于空间距离近邻阈值时，将这些像素视为近邻。这被视为近邻标准。空间距离近邻阈值一般包含在4与8个像素之间。如果在步骤1的饱和掩蔽中被分配0值的像素不满足邻近标准，则对它们给出不同的分割标签，并且因此将被视为属于不同的初始区域。

然后，如下那样地，基于色彩相似性和加标签的区域之间的距离，对图像的上述初始分割进行精细化：

1.以本身已知的方式将图像的像素的色彩从RGB色彩空间变换到CIELab色彩空间；

2.对于每个加标签的区域r∈R，使用计算平均色彩值，其中|r|表示该区域r内的像素的数量；

3.对于每个标签的区域r，使用计算r与每个其他加标签的区域ρ之间的色彩差异；

4.对于每个标签的区域r，另外使用以下来计算其到每个其他加标签的区域ρ的空间距离D_r(ρ)：

a.ΔM_r(ρ)＝min|M_r-M_ρ|，其中M表示图像中的每个区域的垂直坐标，

b.ΔN_r(ρ)＝min|N_r-N_ρ|，其中N表示图像中的每个区域的水平坐标，

c.

5.最后，合并具有小于色彩距离合并阈值的到每个其他加标签的区域ρ的色彩差分ΔE_r(ρ)的加标签的区域和小于空间距离合并阈值的到每个其他加标签的区域ρ的空间距离D_r(ρ)。

色彩距离合并阈值例如等于10，并且空间距离合并阈值例如等于图像的最大尺度的1％。

在该步骤结束时，获得图像到色彩饱和区域的最终分割。

在该第二实施例的第三步骤中，对于每个饱和区域r₁、r₂、……、r_i、……、r_L’，在提供该饱和区域的像素的色彩信息的不同的色彩通道之中选择不饱和的至少一个色彩通道。该所选择的色彩通道被称为参考色彩通道c’_ref，ri，并且将如下面在步骤4中所描述的那样地被用于该区域r_i的像素的色彩信息的重构。针对每个区域r_i，如在第一实施例的第三步骤中所描述的那样地，选择特定参考通道c’_ref，ri。

如果将术语“片段”替换为“区域”，则该第二实施例的第四步骤类似于第一实施例的第四步骤。

在以上分割步骤2中所定义的每个饱和区域中，对像素的饱和色彩通道去饱和。更准确地说，如在第一实施例的步骤4中那样地，将与该区域的所标识的饱和色彩通道相关的该区域的每个像素的色彩值替换为重构的不饱和色彩值。

针对每个饱和区域r_i，计算与要去饱和的区域r_i的参考色彩通道c’_ref，ri有关的基线色彩值ρ’_ri。该基线色彩值ρ’_ri例如被采取为该饱和区域r_i中的所有像素上的参考通道c’_ref，ri所提供的最小色彩值，并且根据下面的等式来计算：

${{\mathrm{\&rho;}}^{\&prime;}}_{ri}=\underset{k\&Element;r_i}{min}\left(I\right(k,C_{ref,ri}\left)\right),$

其中，k表示区域r_i内的像素位置。

然后，对于饱和区域r_i的每个像素，通过将该像素的饱和色彩通道的色彩值和该像素的参考色彩通道c’_ref，ri的色彩值与针对该区域所计算出的基线色彩值ρ’_ri之间的差分相加，来获得该像素的重构的不饱和色彩值。

在该第二实施例中，针对每个饱和区域完成基线ρ’_ri的计算。这改善图像中的一致性，因为更多的像素被涉及用来计算该基线，并且因为其有利地允许不同的饱和区域更准确地遵循图像结构。

如果存在另外的色彩通道，则针对其重复用于对图像的饱和区域的所有像素的饱和色彩通道的色彩值去饱和的上述色彩校正。

然后。针对图像的每个饱和区域迭代上述色彩校正处理，直到最后的区域r_L’。

在对图像所有饱和区域去饱和之后，获得去饱和图像I’，然后以相比于处理的开始相反的方式对其进行伽马校正。

参照图7，被用于实现该第二实施例的图像变换设备主要包含：

第一模块1’，其被配置为将图像分割成其色彩具有色彩饱和的线性RGB色彩空间中的至少一个色彩通道的像素区域，以及

第二模块2’，其被配置为对第一模块1’所提供的每个饱和区域(r_i)的像素去饱和，其通过针对这些饱和区域的每个(r_i)，选择所述区域(s_i；r_i)的所述像素上不饱和的至少一个色彩通道(c_ref,c’_ref,ri)，并且对于那些像素中的每个，将所述区域的至少一个饱和色彩通道所提供的所述像素的色彩信息替换为所述像素的所述区域的所述至少一个饱和色彩通道所提供的色彩信息和所述像素的所选择的至少一个不饱和色彩通道(c_ref；c’_ref，ri)所提供的色彩信息与针对所述像素的区域(s_i；r_i)所计算出的基线色彩值(ρ_si；ρ’_si)之间的差分的和。

应当理解，被用于实现第一和第二实施例以及以下所要求保护的任何其他实施例的图像变换设备可以包含各种形式的硬件、软件、固件、专用处理器或者它们的组合。特别地，本发明可以实现为硬件和软件的组合。而且，软件可以是有形地实施在程序存储单元上的应用程序。应用程序可以被上载至包含任何适合架构的机器，并由其执行。优选地，该机器可以实现在具有诸如一个或多个中央处理单元(“CPU”)、随机存取存储器(“RAM”)和输入/输出(“I/O”)接口这样的硬件的计算机平台上。计算机平台还可以包括操作系统和微指令代码。在本文中所描述的各种处理和功能可以是微指令代码的一部分或者应用程序的一部分，或者它们的组合，其可以由CPU执行。另外，各种其他外围单元可以连接到计算机平台，诸如另外的数据存储单元以及在去饱和之前和之后显示图像的监视器显示设备。

特别地，该图像变换设备可以是诸如电视机、手机、平板、机顶盒、网关或相机这样的电子设备的一部分。

作为结论，已经描述的将饱和图像变换成去饱和图像的方法利用在自然图像中存在的空间RGB通道相关性。替代依赖于复杂的图像分析，根据本发明的方法采用从图像的像素的小集合计算出的简单的统计量。

虽然以上参照具体实施例描述了本发明，但是应当理解，本发明不限于该实施例。因此，在下面所要求保护的本发明包括来自在本文中描述的该实施例的变型，这对于本领域的技术人员是显然的。

Claims (7)

1.一种将饱和图像变换成不饱和图像的方法，其包含：

将所述饱和图像分割成其色彩具有饱和的线性RGB色彩空间中的至少一个色彩通道的像素的区域，并且针对这些饱和区域中的每个(s_i；r_i)，

在针对所述区域(s_i；r_i)的像素提供所述线性RGB色彩空间中的色彩信息的不同的色彩通道之中，选择在所述区域(s_i；r_i)的像素上不饱和的至少一个色彩通道(c_ref；c’_ref,ri),

针对所述区域的每个像素，将所述区域(s_i；r_i)的至少一个饱和色彩通道所提供的所述像素的色彩信息替换为重构的不饱和色彩信息，

其中，所述重构的不饱和色彩信息是由所述像素的所述区域的所述至少一个饱和色彩通道所提供的色彩信息和由所述像素的所选择的至少一个不饱和色彩通道(c_ref；c’_ref,ri)所提供的色彩信息与针对所述像素的区域(s_i；r_i)所计算出的基线色彩值(ρ_si；ρ'_si)之间的差分的和，

从而提供所述变换的不饱和图像。

2.根据权利要求1所述的进行变换的方法，其中，将区域(s_i；r_i)的所述基线色彩值(ρ_si；ρ'_si)计算为在该区域的至少所有像素上由该区域的参考色彩通道(c_ref；c’_ref,ri)所提供的最小色彩值。

3.根据权利要求1至2中的任一项所述的进行变换的方法，其中，逐行地、具有饱和像素的行相继地执行所述分割，并且其中所述区域是行的片段。

4.一种将饱和图像变换成去饱和的图像的图像变换设备，其包含：

第一模块(1,1’)，其被配置为将图像分割成其色彩具有色彩饱和的线性RGB色彩空间中的至少一个色彩通道的像素的区域，以及

第二模块(2,2’)，其被配置为通过选择在所述区域(s_i；r_i)的所述像素上不饱和的至少一个色彩通道(c_ref,c’_ref,ri)，并且针对那些像素中的每个，将所述区域的至少一个饱和色彩通道所提供的所述像素的色彩信息替换为由所述像素的所述区域的所述至少一个饱和色彩通道所提供的色彩信息和由所述像素的所选择的至少一个不饱和的色彩通道(c_ref；c’_ref,ri)所提供的色彩信息与针对所述像素的区域(s_i；r_i)所计算的基线色彩值(ρ_si；ρ'_si)之间的差分的和，来对第一模块(1,1’)所提供的每个饱和区域(s_i；r_i)的像素去饱和。

5.根据权利要求4所述的图像变换设备，其中，所述第一模块(1)被配置为将所述图像的每个行分割为作为所述行的片段的区域。

6.一种包含根据权利要求4或5所述的图像变换设备的电子设备。

7.根据权利要求6所述的电子设备，其中，所述电子设备是电视机、手机、平板、机顶盒、网关或相机。