电子彩色图像饱和度处理方法
本发明涉及电子彩色图像饱和度处理方法。
本发明还涉及用于处理电子彩色图像饱和度的设备。
本发明还涉及电子显示器、电子存储单元、网络单元和包括所述设备的照相机。
本发明还涉及包括用于所述方法的代码的计算机程序产品。
本发明还涉及用于所述方法的经过特殊改进的电子图像表示。图像表示意味着与当前图像信号等价的某种量,其从数学上描述一个物理的(例如整数元组(tuple)像素值的有序集)或者标准化的电视信号。
在现有技术中,改变图像的饱和度是众所周知的。饱和度事实上是一个心理视觉量,它难于从数学上建模。在大脑中,存在比实际的传统三维色度学更多的维数。例如,有个称为视彩度(colorfulness)的量,它是一种“饱和度”,但是它随着颜色的视亮度(brightness)而增大:一块亮红斑看起来比照度更低时更加“饱和”(Hunt效应)。饱和度是一个相对独立于视亮度的度量,度量的是颜色的鲜艳(chromatic)程度如何,即大脑对此进行了补偿。
在本文的其余部分,我们将像颜色技术人员通常的做法一样宽松地使用术语饱和度。当他们提及饱和度时,他们指的是这样一个量,其值(至少部分)确定在人脑中某物看起来鲜艳程度如何。该量可以在多个不同的颜色空间进行描述(具体的颜色空间确定知觉影响受控制的精度如何),例如在PAL制电视的颜色空间YUV。由于被改变的参数不是真实心理视觉感知的精确数学表示,因此将使用术语“饱和度相关量”(或者饱和度)。
在颜色平面(诸如图1中示意性画出的CIE x,y平面)内定义的一种典型的色调相关量是所谓的“主波长”,它是由通过特定颜色和该颜色空间白点(对于PAL制标准是D65)的线与例如x轴组成的角度。
一种典型的饱和度的度量是沿从所述颜色空间白点到某颜色的直线的距离。
由知觉研究可知,人们喜欢饱和的图像,常常是甚至比实际图像更加饱和的图像。此外,照相机具有这样的副作用,即颜色的饱和度一般会降低。
因此,举例来说,电视机配备有通常用于饱和度增加的饱和度控制。这可以容易实现,因为根据所述定义人们只需将图像要素(像素)的颜色沿着所述直线从白点移到更大的距离。
但是,这些现有技术的饱和度控制的缺点在于:它们不能很好地处理许多真实图像,尤其在假定颜色被移动到显示器色域(其能物理显示的所有颜色)之外的时候可能存在裁切伪像。
人们希望提供一种电子彩色图像饱和度处理方法以及相应的设备,其允许对数量增加的真实图像内容进行改进的饱和度处理。
这一目标的实现在于,所述电子彩色图像处理方法包括:
-输入图像
-基于存在于至少图像的第一部分中的颜色来获得一个颜色(A);以及
-针对至少图像的第二部分改变相对于该颜色(A)而定义的饱和度相关量(S2)。
图2上部的曲线图用符号显示了输入图像中具有例如特定照明色调的一维颜色簇的两个端点m和M。这种彩色图像可能是例如在黎明的微红光线下的室外景物。传统的饱和度修改(该修改在中间的曲线图中示出)存在至少两个问题,其可以在该图中看出。首先,在所述簇中的“平均”颜色A的颜色因相对所述颜色空间白色(D65)的移动而改变。该颜色一般可以是所述景物中的白色,例如在微红光线照射下的白花的花瓣。人眼将会扣除光源的影响并且仍将该花看成白色,但是照相机将会把它记录成微红色并且它将在原始光源的影响不能那么轻易地扣除的条件下显示给人看。此时,增加所有颜色的饱和度将会使得该花看起来甚至更红(如同它更接近最大可显示的红色B时所看到的那样)。由示出根据本发明的所述方法的效果的下面的曲线图可见,如果在该例实施方案中首先确定了所述平均颜色A,然后相对A改变所有饱和度(即距离),那么那些颜色会更加饱和(人类视觉系统对相对距离有反应),但是该平均颜色A保持不变。
其次,当采用现有技术方法使彩色程度已经很高的颜色饱和时,饱和度增加很有可能导致溢出色域,这一般会导致令人讨厌的裁切伪像(通常称作细节的丢失,因为所有那些饱和的颜色映射到单一的颜色,由此丧失了它们的几何图案)。这是因为用于饱和度增加所留下的空间由边界颜色B和饱和度增加的颜色αA之间的间隔所确定,而不是由新方法中边界颜色B和未修改颜色A之间的间隔所确定。
总之,采用本方法,饱和度修改的图像将会更加符合观察者的期望。
在本发明的实施方案中,所述获得包括标识所述颜色(A)为内容自适应白点。
如上已经所示的,当所述未修改颜色是白点颜色时,所述方法的应用效果特别好,尽管它可能是所述簇中的任何颜色。很多精心选择的颜色将会比所述颜色空间白点产生更好的结果。用于存在于图像中的内容的白点(例如,太阳光的微红色)能够根据文献中的不同启发式数学方法加以确定。例如,物体上的镜面反射可以被确定,在这种情况下,形成一个或者多个镜面反射的像素集构成所述图像的第一部分。注意所述图像的第一和第二部分可以相同(例如整幅图像),但也可以是不同的部分。例如,对于蓝天下的冰景场景,天空可以形成用于估计颜色A的所述第一部分,而其下的场景可以形成第二部分,它的饱和度将被修改。
在进一步的实施方案中,颜色A的获得包括计算所述图像第一部分中全部像素的平均值。平均运算也是一种获得场景相关白点的估计值的方法。
当所述改变包括根据图像要素的明度相关量值选择所述图像的第二部分时是有利的。
在这种情况下,所述图像的第二部分可能在图像中形成非连通像素集。基于它们的明度值选择像素允许根据图像的某部分有多亮来应用不同的饱和度修改,对于在较暗区域中的饱和度修改,这可能尤其引人关注。
当所述改变包括根据图像要素的色调相关量值选择所述图像的第二部分时,也是有利的。例如,黄色物体的饱和度可以有别于带青色物体的饱和度进行改变。两种方式当然可以结合,得到多维颜色相关饱和度修改。
在所述改变中使用的乘法饱和度修改因子可以进一步取决于在例如连续或者离散曲线上饱和度待改变的颜色到所述颜色的距离,应用于其本身也根据饱和度值和/或者其他的颜色坐标进行选择的域上。
在一些实施方案中,所述改变包括选择成为矩形像素块的所述第二部分,这是一种局部改变饱和度的非常简单的方法。例如,图像可以按16×16像素块扫描,所述颜色A是该16乘16块的平均颜色。
当所述改变包括选择成为矩形像素块的图像的第三部分,并且其中该第三部分的饱和度相关量的改变依赖于所述第二部分的饱和度相关量的改变时,这些实施方案可以得到改善。
为了降低残余的小块伪像,可以通过首先计算例如修改的饱和度改变,使得两相邻块内的该改变更为相似,或者作为后处理来使得相邻块的饱和度改变彼此依赖。例如,如果第一块具有饱和度增量σ1,并且其相邻块具有饱和度增量σ2,一旦该第二个增量大得多,那么这就可以看出来。通过分别施加饱和度改变σ1+kΔσ和σ2-kΔσ可以对此进行改善,其中Δσ是饱和度增量之差,k是个利用现有优化启发式算法所确定的常量。更高级的方法可能沿所述块应用饱和度特征图(profile),以便在块的中心附近可以使用不同的增量,但是在块边界的任一侧,各中心值被改变以获得更为相似的增量。
当所述颜色(A)的获得进一步基于第二幅图像的第四部分时,是有利的。这样可得到沿图像序列的更为连续的饱和度改变,该序列定义为例如一次拍摄例如日出下的所有图像,而对于例如在城市中的下一次拍摄,则进行饱和度降低。可根据其颜色或者其他指示来确定各取景。
当所述改变包括转换到不同的颜色空间时,是有利的。
例如,可以首先旋转使得所述颜色(A)变为白色[R,G,B]=[1,1,1],随后执行常规的饱和度修改,接着进行逆旋转。
如果饱和度修改在一个比例如X,Y,Z空间更精确地模拟了人类颜色视觉的颜色空间中执行,那是最好的,因此可以使用例如到CIE-Lab空间的转换(它相当精确,然而计算仍然相对容易)。
所述改变还可以在由亮度和两个色度定义的颜色空间执行。
例如,PAL和导出的ITU-R建议BT.601标准Y′CRCB是可在其中执行非精确但简单的饱和度增强的颜色空间。
在一个质量实施方案中,所述改变包括将增益施加到饱和度改变的颜色,它取决于饱和度改变前所述颜色的三个R,G,B颜色分量的最大值和所述饱和度改变的颜色的三个R,G,B颜色分量的最大值的比较。
上述方法全部可以在被配置为执行它们中的一个或者多个的设备(通常是类似(部分)ASIC的小型计算单元或者在无论何种物理设备中的处理器上运行的软件模块)中实现。
一种用于电子彩色图像处理的设备,包括:
-图像输入端;
-被配置为基于存在于至少图像的第一部分中的颜色来获得一个颜色(A)的获得装置;以及
-被配置为针对至少图像的第二部分改变相对于该颜色(A)而定义的饱和度相关量(S2)的改变装置。
在所述设备进一步的实施方案中,所述获得装置包括被配置为标识所述颜色(A)为内容自适应白点的标识装置,或者所述改变装置包括用于选择作为第二部分的矩形像素块的选择装置。
该基本计算设备适用于成为电子显示器的一部分(例如在一个独立电视机中),其中,例如该设备可以应用户要求在显示生成图像之前采用所述饱和度改变。这对于例如低质量便携式显示器是非常有用的,其中饱和度增强可能是所希望的,以便获得可接受的图像。
该设备也可以包含于电子存储单元中,所述电子存储单元被配置为将饱和度改变的图像存储到存储器中,例如能够自动或者由用户控制改变图像的饱和度,以便能够存储更加美丽的图像版本的DVD记录机。另一个存储单元的例子是在照相机内,其在记忆棒上进行存储。
该设备也可以包含于被配置为通过网络连接传输饱和度改变的图像的网络单元,例如在电视(再)分配器的硬件中,或者在连接到电缆的照相机输出单元中。
本发明的功能可以实施为包括处理器可读代码以使处理器能够执行根据权利要求1的方法的计算机程序产品,该处理器可读代码包括:
-用于基于存在于至少图像的第一部分中的颜色来获得一个颜色(A)的代码;以及
-用于针对至少图像的第二部分改变相对于该颜色(A)而定义的饱和度相关量(S2)的代码。
具有经过特殊调整的电子图像表示也是有利的,其包括至少一个描述,所述描述为颜色(A)可用于所述方法中,而且可能进一步包括用于说明在其中应用所述方法的图像区域和/或饱和度改变参数的数据。
除了自动地例如从块的统计量中获得颜色A的所述方法之外,可以从所述表示,例如电视信号,中获得用于所述饱和度修改的合适的颜色A。
这种图像表示(例如,信号)是一种从技术上构造的新实体,以允许应用如电视显示器之类的更好设备。它可以通过网络传输或者存储在存储器中。
参考下面描述的实施例和实施方案,以及参考附图,将会明白根据本发明的方法和设备的这些和其他方面,并且将对其进行阐释,所述附图仅仅用作非限制性的具体示例以说明更为一般的概念,并且其中虚线用来指示某部分是可选的,不加虚线的部分不一定是必须的。
在附图中:
图1示意性地显示了用来解释该方法的基于颜色平面的颜色空间;
图2示意性地显示了该方法与现有技术的饱和度增量的比较;
图3在一个颜色空间中示意性地显示了该方法;
图4用符号显示了根据本发明的设备的实施方案;
图1示意性地显示了由颜色平面(在本例中是CIE-x,y)和亮度轴构成的颜色空间。在传统的饱和度增强中,颜色104通过与颜色空间白点D65相比较来表示。在电视颜色空间中,这是很容易的,因为颜色坐标已经相对于该颜色空间白色的非彩色轴而被规定(例如对于灰色,U=V=0)。
这定义了该颜色(例如特定像素的)的自然饱和度S0。该饱和度现在可以被增加以获得具有增加的饱和度S1的修改的颜色106。一种有时使用的理论(technical)饱和度相关量是“纯度”,它被定义为距离S0或者S1相对于白点D65和单色轨迹(马蹄形)上具有相同理论色调的颜色108之间的最大距离的比率。
该方法的优点在于所有的颜色看起来更加鲜艳/生动,并且灰色(假定位于非彩色轴AW上)的颜色没有改变,也就是保持灰色。但是实际上灰色很少是真正的灰色。很多场景中环境光会将图像中的灰色着色,例如:
-太阳光
-在有时非常鲜艳的彩色人造光源(例如,热发光公共光源)照射下的图像块;
-具有许多呈特定颜色的物体(诸如在树林遮掩下的物体)的场景。
内容提供者(摄像师)选择特定的色偏来实现特定的效果,这也是经常发生的。例如,通过降低明度对比度、饱和度以及给该场景赋予偏蓝色来模拟夜景。
如果接收到任何这样的图像,例如增加饱和度后显示图像的电视将显示其色已经(有时令人讨厌地)发生改变的物体白色,由于这种物体白色不具有颜色空间白色D65,而具有例如颜色104,因此将被修改。
因此希望识别这些情况。例如,对于被彩色人造光源照射的图像某部分,根据本发明的方法可以识别这一部分(通过对时空上发生的特定颜色值采用简单的启发式算法,或者借助更高级的句法场景分析),表征颜色A,例如局部照明颜色(例如通过求平均,或识别高亮部分等),然后执行相对该颜色A的饱和度改变。这对于具有全局色偏的图像,例如黎明或森林场景,是特别容易的。
本方法相对颜色A定义饱和度S2,也就是颜色114和颜色A之差,并且沿着这两种颜色之间的直线改变该饱和度以获得例如进一步沿着该直线的修改的颜色116。
图2示意性地显示了本方法的几个优点。这里示出了通过颜色平面到达例如颜色108的色调H的一维截面,颜色108此处表示为边界色B(但它也可以是显示器色域投影外多边形上的颜色)。上部曲线图图2a显示的是简单输入图像情况,表示由微黄色光源色A照明的、具有不同物体光谱的场景。更黄的物体将产生接近所述簇的一端M的颜色,而更蓝的物体将产生接近端点m的颜色。
使用传统的饱和度增量会将所有的颜色朝着边界移动。如果假设所述簇的原始饱和度展宽(spread)(也就是最饱和的颜色M的饱和度)等于kA,那么可以证明,为了避免跨过可再现颜色B的边界,可得最大相对饱和度增量:
但是采用本方法,可得到仍能避免溢出色域问题的更大的饱和度:
因此本方法的性能更好,因为它能够得到知觉上更饱和的图像外观。注意,*表示修改的颜色。
如图3所示,饱和度改变还可以直接在颜色空间执行。该饱和度是相对颜色A的相异性,即这可以用到它的向量的垂直距离表示。由于理想的饱和度改变不涉及亮度改变,颜色M和M*的向量的端点应当位于垂直于亮度轴Y的平面内。
有可能首先用矩阵运算旋转所有色彩,该运算将颜色A映射到颜色空间白色W,随后执行将白色投影到其本身的饱和度修改,然后进行逆矩阵运算,使所有颜色朝颜色A返回。
图4示意性地显示了设备400的一个实施示例以及电视机系统中的一个可能的配置。
图像——例如来自于家用照相机,可以通过输入端418输入,该输入端连接到被配置为获得颜色A的获得装置(通过从例如通常保存在保留附加区中的输入图像数据中将其读出,或者通过从图像内容导出其本身)。优选地实施为白点识别装置的颜色导出装置404,可以进行例如平均颜色计算,或者更高级的白点估计算法。或者颜色A可以由另一个启发式算法定义(例如天空的蓝色,或者军服的绿色)。
任选地,该图像也可以通过颜色分析装置406,它可被配置为对明度和色调相关量之类的颜色坐标进行统计。例如,像素可以被分类在不同的区间(bin)。还可以具有分割单元408,它可以将任何已知的分割算法应用于灰色和/或者彩色数据(例如分裂和合并算法)。结果得到分割明细说明(specification),与输入图像一起使用或者被导出装置404用作分割的图像本身。例如,得到的分割的图像(具有说明这些片断的附加注解的图像)可根据统计和几何性质来确定:例如图像的第一部分被确定为人的外衣的一部分,但是该部分只是那些位于一定明度范围内的像素。对于第二部分也是如此,其中的饱和度待修改。
所述获得装置的输出至少是一个颜色A1,也可以包括分割片断识别器R1,R2(使得饱和度修改部分不必无谓地再作分割,因为存在例如这样的情况,其中用于获得颜色的第一部分和用于修改饱和度的第二部分是分离的,例如,对于一物体及其高亮部分)。
存在一种连接,用于将该信息发送给被配置为改变至少图像的一部分的改变装置410。这是通过饱和度修改单元412来实现的。在到达该单元之前,图像可以首先通过被配置为例如将图像分割成一块一块的分割单元410(但是该单元也可以具有分割单元408的全部功能)。假如颜色A1、A2还没有被获得装置关联(couple)(该功能也可能存在于例如饱和度修改单元412),分割单元410可以被配置为将它们关联到其片断上。
饱和度修改可以由饱和度修改单元412在图像本身的颜色空间(例如,ITU-601颜色空间)中执行,得到例如:
其中Y是亮度,U和V是色度,σ是饱和度的增量或者减小量(例如1.4),而下标A表示颜色坐标是有关颜色A的,如果没有下标,则是关于另一像素颜色的。
饱和度参数σ可由用户通过用户接口装置432(例如,按钮,图形界面,语音接口,...)来指定,或者可通过用于描述漂亮的图像应该看起来如何的启发式算法来自动地导出。
但是,在一个更加合适的颜色空间执行饱和度增强是更为有利的,优选地,该颜色空间近似地模拟了人类的视觉,诸如CIE-Lab。
至少优选的是:通过施加伽玛幂函数给电视信号,典型地是2.2,以便工作在近似线性空间。
因此,可以提供一种颜色空间转换单元414,以便在饱和度修改之前转换图像或其部分的表示。
结果是饱和度修改的输出图像,它可以被发送给网络单元422,用于通过诸如频道(airways),电话网,室内无线网络,或者普通电缆之类的网络434传输。
网络单元422可以包括格式化单元,以使所述信号适于传输,例如包装、频率转换等等。如同其他单元一样,该设备可以物理地包括在称为网络单元的设备中,或者与某网络单元合并,包含在另一个系统中。
输出图像也可被发送到电子存储单元,使得图像能被存储在例如硬盘或者任何其他存储器436上。
输出图像也可以输出到显示器438。
上述任何方法的算法可以在软件载体440上通过读取装置442装载到设备中。
由于方程1产生了视觉上不太满意的饱和度,因此可以使用更为精确的变体。例如,引入的亮度误差可以通过以未处理的和饱和度修改的颜色的比率进行缩放来校正,如在优先权日为2003年9月12日的未预公开申请EP03103375中所记载的。
或者,可根据未处理的和饱和度修改的颜色的(R,G,B)分量的最大值来进行校正,如在优先权日为2004年7月20日的未预公开申请EP04103454中所记载的。对于如何实现这种饱和度改变的细节,读者可以参考那些文档的教导。
本文中所公开的算法部分实际中已被(全部或者部分地)实现为硬件(例如专用IC的部分),或者实现为在专门的数字信号处理器或通用处理器等上运行的软件。
计算机程序产品应被理解为在一系列加载步骤(其可包括中间转换步骤,如翻译成中间语言,及最后的处理器语言)以将命令取入到处理器之后,使得处理器——普通的或者专用的——执行发明的任何特有功能的指令集的任何物理实现。特别地,该计算机程序产品可以实现为诸如例如盘或带之类的载体上的数据、存在于存储器中的数据、通过网络连接—有线或者无线—传输的数据,或者纸上的程序代码。除了程序代码之外,程序所需的特定数据也可以看作计算机程序产品。
执行所述方法所需的一些步骤可能已经存在于处理器的功能中,而不是在计算机程序产品中描述,例如数据输入和输出步骤。
应当指出,上述实施方案用于阐述而非限制本发明。除了在权利要求中组合的本发明的要素组合之外,其他的要素组合也是可能的。任何要素的组合都可以在单一的专用要素中实现。
权利要求中括号内的任何参考标记都不是用于限制该权利要求。单词“包括”(comprising)并不排除未在权利要求中列出的要素或者方面的出现。在要素之前的单词“一”或者“一个”并不排除多个这样的要素的出现。