发明内容
本发明的目的是提供一种在再现色域内保留颜色但是造成较少的细节丢失的色域映射。
本发明的第一方面提供了一种权利要求1中所述的输入图像的色域映射方法。本发明的第二方面提供了一种权利要求10中所述的色域映射装置。本发明的第三方面提供了一种权利要求11中所述的视频信号接收器。本发明的第四方面提供了一种权利要求12中所述的相机。本发明的第五方面提供了一种权利要求13中所述的计算机程序产品。从属权利要求中定义了有利的实施例。
按照本发明的第一方面的色域映射方法接收由像素组成的输入图像。通常,输入图像中的像素对应于再现装置(比如显示装置或打印机)中的像素。显示装置实际上可以是具有像素的矩阵显示器,但是也可以是CRT。输入图像具有由输入RGB(红色、绿色和蓝色)原色定义的输入色域。再现装置具有由再现RGB原色定义的再现色域。再现色域比输入色域窄,或者从另一个角度说,输入色域包含再现色域。
该方法将代表输入图像并且相对于输入RGB原色定义的输入信号变换为相对于再现RGB原色定义的变换的输入信号。进行该变换,使得像素的颜色信息在再现色域内得以保留。这种变换(同样是公知的)也称为真彩色映射。输入信号可以是RGB信号。如将变得清楚的,在公知的真彩色映射算法中,不对可能具有大于1的值或者小于0的值的色域外像素进行剪裁。
确定缩放因子,该缩放因子表示一方面处于再现色域之外的变换的信号的像素与另一方面再现色域的边缘之间的距离。因为不需要对再现色域内的像素进行任何动作,所以将与这些像素相关的缩放因子设为1。对所有像素的缩放因子进行空间低通滤波,以获得经滤波的因子。可选地,可以仅仅对色域外的像素应用低通滤波,而根本不更改色域内的像素。但是这样做的缺点在于将不会把具有色域外邻居的色域内像素向内映射一点,以致不能维持正确的相对色差。最后,响应于经滤波的因子来校正像素的分量值,以获得再现分量值,这些再现分量值是按照经滤波的因子进行了缩放的输入分量值。
在现有技术中,用它们自己的缩放因子单独对所有的像素值进行缩放。这造成色域外的邻近输入像素被缩放到色域边缘上几乎相同的输出像素值。因此,这些像素的所有输出值都彼此非常接近地位于这个边缘上。实际上,原始色差遭到了非常严重的压缩,对于输入颜色处于再现色域外的区域而言,这造成了其中的细节丢失。按照本发明,在这些区域中,缩放因子的低通滤波提供了缩放因子,每个像素的缩放因子取决于这个像素的局部邻域内的缩放因子。这样,这组邻近像素值是按照差异没有现有技术那么大的缩放因子来缩放的,并且因此,该组像素的相对色差得以更好地保持原样,这会导致更好地保留图像中的细节。
需要注意的是,US5450216公开了一种在笛卡儿颜色空间中从与装置无关的形式到装置相关形式的彩色图像色域映射系统。数字图像是以这样一种方式映射到任何装置相关色域中的:使得人对迫使色域外像素进入指定的装置相关色域所必需的亮度和色度二者的变化的视觉响应最小。邻域色域映射技术考虑了附近像素对每个像素的映射的主观视觉影响。使图像亮度偏向于装置相关色域中最大色度量值可用于固定色调角的亮度。空间滤波利用了人对亮度和色度二者变化不敏感的视觉响应的不同空间频率区域。
该现有技术并没有公开从由输入RGB原色定义的输入图像到再现RGB原色的彩色图像色域映射。现有技术的彩色图像色域映射是在亮度/色度颜色空间内定义的,而不是RGB空间。这样的缺点在于需要查找表来确定输入像素是处于再现色域的内部还是外部。该现有技术的图6公开了使用经过低通滤波的色域外距离来控制加权平均滤波器的权重,加权平均滤波器确定输入像素亮度和可用于固定色调角的最大色度量值所对应的查到的亮度的加权平均值。该滤波器的权重由经过低通滤波的色域外距离来控制。按照本发明,经过低通滤波的色域外距离控制分量信号的缩放因子。此外,必须要指出的是,该现有技术还改变再现色域内部像素的颜色,并且因此不是真彩色映射。
在实施例中,空间低通滤波包括边缘保留低通滤波。这样的优点是防止了晕圈伪影,其表现为对象边缘周围的亮或暗影。这样,获得了局部内容自适应色域映射算法,该算法在防止剪裁和晕圈伪影出现的同时,最优地保持了图像的色彩丰富度。
在实施例中,边缘保留低通滤波是包括空间滤波器内核和加权函数的双边滤波(bilateral filtering)。需要注意的是,加权函数对要滤波的像素与滤波器内核的滤波支持范围(filter support)内的像素之间的色差进行加权。加权函数随着色差的增大而减小,这是通过向滤波支持范围内具有与所要滤波的像素接近的颜色值的像素分配比分配给滤波支持范围内具有与所要滤波的像素不太接近的颜色值的像素的加权因子高的加权因子来实现的。在文献中,滤波支持范围也称为滤波覆盖范围(footprint)。从C.Tomasi和R.Manduchi的公开文献《Bilateral filtering for gray and color images》(IEEEinternational Conference on Computer Vision的会议文件,第839-846页,1998)中可以了解到这种双边滤波器。这一公开文献公开了空间滤波器内核和针对当前像素与滤波支持范围内的像素之间强度差的加权函数。不过,需要注意的是,在本发明中,加权函数是在色差上定义的,而不是在强度差上定义的。
在实施例中,对于滤波支持范围内与所要滤波的像素之间具有低于预定阈值的色差的像素,加权因子的值为一。对于滤波支持范围内具有高于预定阈值的色差的像素,加权因子的值为零。这一相对简单的办法看起来提供了非常好的性能。
在实施例中,变换是由RGBt=inv(A2)*A1*RGBin来定义的。输入信号RGBin和变换的信号RGBt都是RGB信号。A1和A2是分别具有包含输入RGB原色和再现RGB原色的三色激励值(也称为分量)的列的3×3矩阵。
在实施例中,对于再现色域之外的变换的信号的像素,缩放因子是按照下式确定的:
如果像素的至少一个分量值大于1,则
SFi=min[(1-XR)/(RCi-XR),(1-XG)/(GCi-XG),(1-XB)/(BCi-XB)],如果像素的至少一个分量值小于0,则
SFi=min[(0-XR)/(1-RCi-XR),(0-XG)/(1-GCi-XG),(0-XB)/(1-BCi-XB)]。
其中SFi是缩放因子,RCi、GCi、BCi是变换的信号RGBt的像素的归一化RGB分量值,XR、XG、XB是要将变换的信号RGBt缩放到的再现色域中的颜色点的归一化RGB分量值。将再现色域内部的像素的缩放因子设为1。
变换的信号被缩放到的再现色域中的颜色点的归一化RGB分量值可以选择在再现色域内的任何地方。例如,为了最佳地保留颜色信息,在连接白色点和黑色点的灰度线上选择。例如,如果RCi或GCi或BCi小于零,则将变换的信号RGBt被缩放到的再现色域中的颜色点的归一化RGB分量值选择为白色点,或者如果RCi或GCi或BCi大于一,则选择为黑色点。在黑色点中,变换的信号被缩放到的再现色域中的颜色点的归一化RGB分量值三个全部为零。
在实施例中,校正包括用于控制校正力度的全局增益因子。该全局增益因子(其至少对于相同对象的校正因子而言是相同的)以相同的方式影响所有的缩放因子。例如,将经过低通滤波的缩放因子与全局增益因子相乘,或者通过生成以全局增益因子为幂的经过低通滤波的缩放因子来校正经过低通滤波的缩放因子。全局增益因子的控制可以用来改变色域外像素到再现色域中映射的量。全局增益因子可以是自动确定的,以确保将所有的色域外像素都移动到再现色域内。全局增益因子也可以是由用户定义的或控制的。要注意的是,由于缩放因子的平均,对于再现色域外的特定像素而言,朝向再现色域的映射并不会将所有这些像素都移动到色域的内部或色域的边缘上。通过选择适当的全局增益因子,可以将这些像素也移动到再现色域的内部或边缘上。
参照下文中介绍的实施例,将会明了本发明的这些和其它方面,并且将会参照下文介绍的实施例阐述本发明的这些和其它方面。
具体实施方式
图1示出了CIE xy色度图中输入色域和输出色域以及它们的RGB原色的例子。输入色域IG是由输入原色Rin、Gin、Bin定义的,输入原色形成输入色域三角形的顶点。再现色域RG是由再现RGB原色Ro、Go、Bo定义的,再现RGB原色形成再现色域三角形的顶点。输入色域三角形包含再现色域三角形。作为例子,示出了两个输入像素P10和P20。输入像素P20已经位于再现色域RG之内,故而不需要加以校正。输入像素P10位于再现色域RG之外,故而不能被忠实再现。本发明涉及如何以最小的细节丢失来将这种位于再现色域RG之外的输入像素P10缩放到再现色域RG中。
图2示出了现有技术中输入像素在再现RG子空间中的色域映射的例子。这个附图仅仅示出了三维RGB空间的二维RG子空间,以简化在三维RGB空间中发生的情况的解释说明。红色向量RR和绿色向量GR(代表红色和绿色再现原色)形成正交坐标系。没有示出由蓝色向量定义的第三维。红色向量RR的长度定义像素的红色分量的值,并且绿色向量GR的长度定义像素的绿色分量的值。将红色和绿色的贡献值归一化到区间[0,1]中,这使得表示与实际实施方式无关。在实际实施方式中,不可能给出负的贡献值或大于一的贡献值。这样使得图2的RG空间中的再现色域被限于红色向量RR和绿色向量RG定义的正方形。在点0,0,红色向量RR和和绿色向量GR都具有零长度。如果蓝色向量也是零,那么这个点就会再现为黑色。在点1,1,红色向量RR和和绿色向量GR都具有长度一。如果蓝色向量也是一,那么这个点就会再现为白色。结果,灰度级处于穿过黑色点和白色点的直线GL上。
像素P4具有再现色域RG内的颜色,因而可以被忠实显示而无需任何校正。像素P1、P2、P3位于再现色域RG之外,因为在所示的例子中,绿色贡献值大于一。应当将这些像素的颜色校正成能够用再现色域RG的红色/绿色部分的再现原色Ro、Go再现它们。
图2中所示的现有技术的剪裁到黑色真彩色映射实际上并不校正像素P4的颜色,并且沿着将像素P1到P3与黑色(因此是点0,0)连接起来的线移动这些像素,直到绿色分量具有长度1。对于色域之外的像素P1到P3中的每个像素,可以将该过程定义为首先搜索沿着向量GR和RR的分量的最大值。在这个例子中,对于像素P1、P2、P3,沿着向量GR的分量分别具有最大值b1、b2、b3。经过校正的像素P1′是通过将像素P1沿着向量GR和RR的两个分量除以值b1确定的,经过校正的像素P2′是通过将像素P2沿着向量GR和RR的两个分量除以值b2确定的,经过校正的像素P3′是通过将像素P3沿着向量GR和RR的两个分量除以值b3确定的。因此,值1/b1、1/b2、1/b3也称为缩放因子SF1、SF2、SF3。这些缩放因子SF1、SF2分别与输入像素P1、P2、P3的分量值相乘,以获得经过校正的像素P1′、P2′、P3′。
经过校正的像素P1′到P3′现在具有与原始颜色最为接近的颜色。不过,经过校正的像素P1′到P3′的再现颜色之间在颜色上的差异要远小于像素P1到P3的原始颜色之间在颜色上的差异。结果,现有技术具有这样的缺点:由于从再现色域RG之外到该色域中进行色域映射,造成了细节(颜色上的小差异)丢失。
图3示出了按照本发明的输入像素在再现RG子空间中的色域映射的实施例。图3示出了和图2相同的RG空间,带有相同的像素P1到P4,并且也是剪裁到黑色真彩色映射。与图2的差别在于,现在对像素P1到P3的缩放因子SF1、SF2、SF3应用空间低通滤波3(见图5),从像素P1到P3都处于滤波器3的支持范围内这一角度讲,它们是邻近的。空间低通滤波器3按照加权函数对缩放因子SF1=1/b1、SF2=1/b2和SF3=1/b3进行加权,以便为P1到P3的每个像素获得经过滤波的缩放因子FF1、FF2、FF3。由于滤波器3具有低通特性,因此邻近像素的这些缩放因子FF1、FF2、FF3比原始的缩放因子SF1、SF2、SF3更加接近相等。结果,现在是用更加接近相等的经过滤波的缩放因子FF1、FF2、FF3对每个输入像素P1、P2、P3的分量值进行缩放,并且对像素P1到P3之间差异的保留比关于图2讨论的现有技术的办法好得多。
如图3中所示,由于进行了低通滤波,经过滤波的缩放因子FF1、FF2、FF3中的至少一些太小,而无法将像素P1到P3中的相应像素映射到再现色域RG中。结果,这些经过缩放的像素P1′和P3′仍然无法得到再现。可以引入对于所有输入像素P1到P3是相同的全局增益因子,从而使得所有的输入像素都被映射到再现色域RG中。该全局增益因子可以是由用户控制的。
图4示出了按照本发明另一实施例的输入像素在再现RG子空间中的色域映射。图4示出了和图3相同的RG子空间,带有相同的像素P1到P4,但是现在是剪裁到灰色真彩色映射。所要剪裁到的灰色点由X表示。这种办法与关于图3介绍的办法几乎相同。仅有的差别在于,缩放因子SFi是相对于灰色点确定的,而不是相对于黑色点0,0确定的,并且缩放是朝向灰色点X进行的,而不是朝向黑色点0,0进行的。
更加一般地讲,缩放可以朝向再现色域RG内的任何颜色点进行。
图5示出了按照本发明实施例的执行色域映射的色域映射装置的框图。色域映射装置10包括颜色变换单元1、缩放因子单元2、空间低通滤波器3和校正单元4。
颜色变换单元1将相对于输入RGB原色Rin、Gin、Bin定义的输入信号RGBin变换为相对于再现RGB原色Ro、Go、Bo定义的变换的信号RGBt。颜色变换单元1保留了再现色域RG内的输入像素的颜色。
例如,如果输入信号RGBi和变换的信号RGBt都是RGB信号,则颜色变换单元1的变换动作由下式定义:
RGBt=inv(A2)*A1*RGBin,
其中RGBin是输入信号,RGBt是变换的信号,A1和A2是具有分别包含输入RGB原色Rin、Gin、Bin和再现RGB原色Ro、Go、Bo的三色激励值的列的3×3矩阵。
缩放因子单元2至少为处于再现色域RG之外的每个变换的像素Pi确定缩放因子SFi。例如,对于分量Ri、Bi、Gi中的一个或多个值大于1的像素并且到由坐标XR、XG、XB定义的颜色点X的映射,缩放因子单元2按照下式计算缩放因子:
SFi=min[(1-XR)/(RCi-XR),(1-XG)/(GCi-XG),(1-XB)/(BCi-XB)],
其中min[]的含义是1和颜色点X的各坐标之间的距离与像素Pi的相应分量和颜色点X的相应坐标之间的距离的最小分数。
举例来说,对于映射到黑色(通常对于再现色域RG之外的具有至少一个大于1的分量的输入像素Pi而言是很好的办法),颜色点X的坐标是XR=XG=XB=0,缩放因子单元2按照下式计算缩放因子:
SFi=min(1/RCi,1/GCi,1/BCi)=(1/max(RCi,GCi,BCi))。
另一方面,对于分量Ri、Bi、Gi中的一个或多个值小于0的像素Pi,以及到由坐标XR、XG、XB定义的颜色点X的映射,缩放因子单元2按照下式计算缩放因子SFi:
SFi=min[(0-XR)/(1-RCi-XR),(0-XG)/(1-GCi-XG),(0-XB)/(1-BCi-XB)],
对于映射到白色(通常对于再现色域RG之外的具有至少一个小于0的分量的输入像素Pi而言是很好的办法),颜色点X的坐标是XR=XG=XB=1,缩放因子单元2按照下式计算缩放因子:
SFi=min(-1/-Rci,-1/-Gci,-1/-Bci),
必须要注意,最后这两个公式是一样的。这是因为:对于大于一和小于零的像素,一般映射公式是不同的,并且基本点X是据此设定的。
空间低通滤波器3对缩放因子SFi进行空间低通滤波,以便为再现色域RG之外的至少每个像素Pi获得经过滤波的因子FFi。将会参照图6A和6B更加详细地解释说明这个滤波器3的操作。
校正单元4使用该经过滤波的因子FFi来将相应的色域外输入像素Pi移向或移入再现色域RG。例如,校正单元执行下列计算:
RGBo=Xrgb+RGBin·FFig。
其中RGBin代表用再现原色Ro、Go、Bo表示的输入分量(通常是RGB)值,RGBo代表再现原色Ro、Go、Bo的输出分量(通常是RGB)值,Xrgb代表朝向其进行映射的颜色点,·定义这些分量的点积,因子g是可以由用户定义并且控制由校正单元4实施的校正的力度的全局增益因子。
必须要指出的是,校正单元4使用经过低通滤波的缩放因子FFi来朝向在再现色域RG内选择的颜色点Xrgb映射输入分量RGBin。如果颜色点Xrgb是0,0,0,那么该映射是实际的缩放。
图6A和6B示出了低通滤波器的滤波器内核和滤波器加权函数。
图6A示出了空间滤波器内核FK的例子,举例来说,它支持或覆盖5乘5像素Pij,这些像素的像素分量值统称为PCij。要滤波的像素由Px表示。
图6B示意性地示出了加权函数WF,其具有加权因子Wij,从而加权因子Wx是用于要滤波的像素Px的加权因子。加权函数WF对要滤波的像素Px与滤波器内核FK的滤波支持范围内的像素Pij之间的色差进行加权。
在实施例中,滤波器3进行边缘保留低通滤波。边缘保留滤波器的例子是双边滤波器,双边滤波器的加权函数WF随着色差的增大而减小,这是通过向滤波支持范围内具有与所要滤波的像素Px更为类似的颜色值PCij的像素Pij分配比分配给滤波支持范围内具有与所要滤波的像素Px不太类似的颜色值PCij的像素Pij的加权因子高的加权因子Wij来实现的。
在实施例中,对于滤波支持范围内与要滤波的像素Px之间的色差低于预定阈值TH的像素Pij,加权因子Wij的值为1,对于滤波支持范围内色差高于预定阈值TH的像素Pij,加权因子Wij的值为0。
图7示出了包括色域映射装置的图像(静止图片(例如便携式电子相框)或视频)信号接收器的框图。该图像信号接收器包括输入处理单元,该输入处理单元用于处理视频输入信号,以便向色域映射装置10提供输入信号RGBin。色域映射装置10向显示装置6提供再现信号RGBo。
图8示出了包括色域映射装置的相机的框图。该相机包括图像采集传感器(7),该图像采集传感器向色域映射装置10提供输入图像作为输入信号RGBin,色域映射装置10提供再现信号RGBo。
按照本发明的色域映射程序可以应用于再现色域RG小于输入图像色域的任何情形。对很多移动显示器来说这尤其成立。随着宽色域获取器材的出现,可以预期,这样的色域映射对在天生具有较小再现色域的EBU显示器上显示宽色域输入视频将变得不可或缺。而且在必须要对输入信号(例如EBU信号)加以扩展才能利用宽色域显示器的大色域的应用中,按照本发明的办法,可以生成可送回到再现色域中的色域外颜色。最后,按照本发明的色域映射程序可以应用于需要防止剪裁伪影的任何场合,比如与目的在于锐度和对比度增强的算法相结合。这些方法经常牵涉到中频和高频的放大,该放大可能会导致驱动值大于所允许的范围。按照本发明的办法大大减少了剪裁造成的细节丢失。
应当注意,前面提到的实施例图解说明了本发明而不是对本发明加以限制,并且本领域技术人员将能够设计出很多可选实施例,而不会超出由所附权利要求书定义的范围。
在权利要求书里,置于括号之间的任何附图标记都不应看作是对权利要求的限定。动词"包括"及其变形的使用并不排除存在除了权利要求中列出的那些要素或步骤之外的要素或步骤。置于要素前面的冠词"一"并不排除存在多个这种要素。本发明可以借助包括数个截然不同的元件的硬件来实现,并且可以借助适当编程的计算机来实现。在列举出数个构件的装置权利要求中,这些构件中的若干个可以由同一个硬件制品来具体实现。在相互不同的从属权利要求中记载特定手段,这并不表明使用这些手段的组合没有有益效果。