CN1269349C - 抽样率变换期间的色键保存 - Google Patents

Abstract

从被色键控制的图像抽取被色键控制的图像的被色键控制的区域，以及单独缩放被色键控制的区域和非被色键控制的区域。随后合并单独缩放的区域来用清楚区分的被色键控制的区域和非被色键控制的区域形成经缩放的色键图像。为最小化非色键区域中边缘的混乱，在从被色键控制的图像抽取色键信息后，将非色键颜色延伸到被色键控制的区域中。为使得缩放的被色键控制的区域侵入缩放的色键图像的缩放的非被色键控制的区域中最小化，通过将被色键控制的区域定义为每个缩放/过滤的色键值超过非零阀值的区域，锐化经缩放的色键区域的边缘。为便于使用每个象素的三个分量如RGB、YUV等编码的图像中现有的存储器和结构，将抽取的被色键控制的区域存储在存储器结构中，存储器结构通常用来存储可靠第四分量，如透明或纹理参数。

Description

抽样率变换期间的色键保存

本发明涉及图像处理领域，更具体地说，涉及包含经识别用于插入其他图像数据的区域的键的图像数据的处理。

当在后续处理步骤中用不同的图像或图形信息替换图像或图形窗口的某些区域时，使用色键控制或色度键控。例如，当播音员正在录音时，通常将“蓝屏”用作电视播音员的背景。然后将与如相关故事的“录像带胶片(file footage)”一致的背景图像插入包含播音员的图像中以便形成包含播音员在前景以及录像带胶片在背景中的合成图像。将录像带胶片背景的相应区域插入在播音员的图像中检测到蓝屏颜色的地方。将选择作为替代的背景颜色的具体颜色称为色键，以及通常选择很容易区别于前景图像中希望的颜色。

亮度键控操作类型，其中图像区域的亮度级定义是否将替换图像插入每个区域中。由Keith Jack，HighText Interactive，Inc.，SanDiego，CA，原文“VIDEO DEMYSTIFIED”的第九章提出了用于亮度和色键控制的各种技术，在此一并引用，作为参考。

因为色键控制更普遍地用于形成单个背景和前景图像数据的合成图像以及用于每个参照，在此使用的术语色键控制指的是根据与形成数据元素的一个或多个部分有关的值，对图像区域之间的差别进行处理。用同样的方式，在此使用术语色键来识别用来提供用于识别图像的插入区域的装置的方案，即便如此，也可采用多种技术的任何一个来提供该识别。术语被色键控制的图像用来定义包含将被替换的区域的图像，以及术语背景图像用来定义包含替换数据的图像，即便如此，插入的数据本身可能不形成“背景”。也就是说，例如，被色键控制的图像可能包括非基本色背景(non-key colored background)和色键值的前景对象。在该例子中从“背景图像”插入数据实现将前景图像信息插入被色键控制的图像中。在此使用术语合成图像来定义包含将背景图像插入被色键控制的图像的被色键控制的区域中的图像。

随着图像处理和图像操作领域继续扩大，对灵活的色键控制方案的需要继续增长。具体来说，存在用于允许组合以满足可能不同的图像比例尺的不同数据源的图像的需要。简单的解决方法是修改背景图像的比例尺以达到与被色键控制的图像的比例尺一致，然后实现色键合并。如果想要输出的图像的比例尺或可获得的分辨率不同于被色键控制的图像，适当地按比例绘制合成图像。然而，注意，该方案不管可获得的输出分辨率是否好于被色键控制的图像的分辨率，都将背景图像的有效分辨率限定到色键图像的分辨率。最好，在合并前，可按比例将被色键控制的图像和背景图像两者绘制成想要的输出图像比例尺，以便通过限制背景图像的分辨率来匹配被色键控制的图像的分辨率，而不会损失分辨率，反之亦然。

然而，改变被色键控制的图像的比例尺可能对被色键控制的区域的识别具有负影响。大多数图像定标器，通常称为抽样率转换器，包括按输出采样附近中的多个输入采样的加权平均提供每个输出采样的过滤器。例如，如果正在向上采样图像，其中产生比输入采样更多的输出采样，每个输出采样值是基于输出采样的位置附近的输入采样值的内插法。如果正在向下采样图像，每个输出采样是输出采样位置附近的输入采样的平均值。用来防止成比例图像数据中不连续或其他异常的内插或平均值提供多个相邻输入值的混合的输出值。同样地，沿被色键控制的区域的边缘的值将与非被色键控制的区域中的值混合，而混合值将很可能是在原始图像中不存在的非色键值。如果合成图像得到过滤，在对象的边缘将有些颜色混合，但是因为混合颜色是基于每个边缘的每端的颜色，它仅出现为较小的陡沿。在播音员后的蓝屏的例子中，播音员有目的不穿该蓝色调的衣服，然而，播音员边的混合值将为与色键值不同且不同于播音员的衣服或皮肤的颜色的浅蓝色。在被色键控制的区域边的该非色键浅蓝色的效果是当背景图像替换与色键值匹配的区域，但不替换边缘上的非色键浅蓝色时为播音员的直观清晰的“轮廓”。

本发明的目的是提供一种允许用背景图像信息替换被色键控制的区域的被色键控制的图像的缩放(scaling)或过滤的装置和方法，而不带来明显的假影(artifact)。本发明的另一目的是提供一种使用现有的视频处理存储器和结构，允许缩放和/或过滤被色键控制的图像而不带来明显的人工因素的装置和方法。

通过从被色键控制的图像抽取被色键控制的区域、单独地缩放被色键控制的区域和非被色键控制的区域来实现上述和其他目的。随后合并这些独立的缩放区域以便用清楚区分的被色键控制的区域和非被色键控制的区域形成缩放色键图像。为减小非色键区域中边缘模糊，从被色键控制的图像抽取色键信息后，将非色键颜色延伸到被色键控制的区域中。为减小缩放被色键控制的区域侵入缩放的被色键控制的图像的缩放非被色键控制的区域中，通过将被色键控制的区域定义为每个缩放/过滤的色键值超过非零阀值的区域，来锐化缩放被色键控制的区域的边缘。为便于在图像中使用现有的存储器和结构，使用每个象素的三个分量，如RGB、YUV等编码图像，将抽取的被色键控制的区域存储在存储器结构中，存储器结构通常用来存在可选的第四分量，如透明或纹理参数。

将通过例子，参考附图来进一步详细解释本发明，其中：

图1根据本发明，描述图像处理系统的示例框图。

图2根据本发明，描述色键图像缩放和合并处理的示例流程图。

在这些附图中，相同的参考数字表示相似或相应的特征或功能。

图1根据本发明，描述图像处理系统100的示例框图。图像处理系统100用来独立地缩放被色键控制的图像101中的色键区域和非色键区域，以及合并这些独立缩放图像来形成缩放的被色键控制的图像161。

色键抽取和替换模块120使被色键控制的图像101偏析到仅包含非色键象素的抽取的色被色键控制的图像121和仅包含色键象素的仅色被色键控制的图像122中。经一个或多个抽样率变换器130、140，独立缩放每个这些图像121、122以便分别产生缩放图像131和141。合并装置160合并这些缩放图像131、141产生缩放被色键控制的图像161。尽管为了便于理解，示出了单独的抽样率变换器130、140，可使用同样的抽样率变换器来缩放每个图像121、122。

如本领域公知的，抽样率变换器130、140通常包括过滤器，将每个输出抽样确定为在输出抽样附近中多个输入抽样的函数，如上所述。同样地，在每个仅缩放色键122和从常规的抽样率变换器130、140抽取的被色键控制的图像121中被色键控制的区域和非被色键控制的区域的边缘将包含混合色值。

在本发明的优选实施例中，采样两种技术来最小化沿缩放色键和非被色键控制的区域边缘的混合。在缩放抽取的色被色键控制的图像131中的缩放的非被色键控制的区域的边缘，保留抽取的色被色键控制的图像121中非缩放被色键控制的区域的边缘的色值。而且，对缩放的色键抽取图像141中的缩放被色键控制的区域进行锐化以避免侵入抽取的缩放的被色键控制的图像131的缩放非色键区域中。

为保留抽取的缩放的被色键控制的图像中的非被色键控制的区域的边缘的色值，最好选择用来替换抽取的色被色键控制的图像121中的色键值的象素值以便变换器130的过滤器对色值的影响最小。如果，例如，将无效或零值用作替换值，当图像121的前色键区域中的零值作为这些缩放象的判定时，那么沿图像131的非色键区域的边缘缩放的象素的值将得到减小。在优选实施例中，为避免沿图像131的非色键区域的边缘的色值失真，将图像121的非色键区域的值延伸到图像121的现有的色键区域中。通过将非色键区域的边缘的色值延伸到现有的色键区域中，形成图像131的输出象素值由包含在图像121的非色键值区域中的值单独确定。在优选实施例中，为减小计算复杂度，替换图像121中的每个色键象素的值是水平地最接近非色键象素的值。即，对图像121的每个水平线来说，在被色键控制的区域的边缘的每个非色键值从图像101的在前被色键控制的区域的左和右部分延伸到相邻的在前被色键控制的区域中。

用于估计形成所抽取的色被色键控制的图像121的图像101的被色键控制的区域中的颜色以便减小图像131的非被色键控制的区域边缘的色值失真、包括内插和平均的其他技术，根据该公开的内容对本领域的普通技术人员来说是显而易见的。

在另一实施例中，将唯一可识别值用作图像121中的色键象素的色键替换值，以及将抽样率变换器130、特别用于忽略在确定用于形成图像131的输出象素值中的具有该唯一值的象素。将唯一可识别值选择为不可能出现在图像121的非被色键控制的区域中的一个值，以便明确识别被色键控制的区域。在该实施例中，唯一色键替换值可以选为与色键值相同的值，从而消除“替换”图像121的被色键控制的区域中象素值的需要，然而，包括替换步骤提供了分别使用图像101和121中独立色键值和色键替换值的灵活性。

根据本发明的该方面，因为图像121的抽取的被色键控制的区域中的色值是非被色键控制的区域边缘的颜色或在缩放过程中所忽略的色值，缩放图像131中的非被色键控制的区域边缘将通过把色键颜色混合到非被色键控制的区域中来实现最小的失真。

当形成缩放被色键控制的图像161时，为避免图像141的缩放色键区域侵入缩放的非色健区域131，将每个缩放象素值与非零阀值比较，对图像141的缩放色键区域边缘进行锐化。仅具有色键的图像122包含除在每个色键区域中的零值。如上所述，与抽样率转换器140的缩放过程有关的过滤将减小区域边缘附近中的象素的值，因为根据相邻零值象素确定象素值，会产生包含混合色值的“模糊”边缘。通过将缩放的非色被色键控制的图像141中的每个象素值与非零阀值进行比较，产生缩放色键区域的轮廓分明的边缘。即，在边缘处，象素值将从与色键一致的值逐渐减小为与非色值一致的值。通过将色键区域定义成包含超过指定阀值的象素的区域，与非色键区域相邻的锥体尾的象素将不包含在色键区域中，色键区域与抽取的缩放非色键区域131的非色键区域合并。用于锐化仅具有色键的图像141的缩放色键区域的边缘的其他技术，对本领域的普通技术人员来说是显而易见的。

在本发明的优选实施例中，只要可行，采用了常规的图像处理系统中公知的存储器空间和结构。例如，许多图像处理系统构造成能够支持包括达到用于每个象值的四个分量的色空间。例如，大多数的图形系统使用三个分量来定义象素的颜色，以及另一分量用来定义如颜色的透明度、或不透明度。通常，对常规的图像处理任务，如现有图像的合并不使用该第四个分量。如果被色键控制的图像101是在常规的三个分量的颜色空间中，如RGB(红(R)、绿(G)以及蓝(B)分量)或YUV(亮度(Y)以及两个色度(U，V)分量)，以及处理系统构造成支持每个象素的四个分量，将仅具有色键的图像122存储为四个象素，通常称为α(A)分量。通过将只有色键的图像122存储为常规图像处理存储器结构的第四分量，可以获得众多优点。通常将常规的四个分量色空间系统中的抽样率变换器构造成独立缩放每个分量值。因此，通过将仅色键的图像122存储为第四分量值，由常规的抽样率变换器130自动提供与图1的变换器140一致的抽样率变换过程，常规的抽样率变换器130缩放抽取的色被色键控制的图像121。同样，通过将仅具有色键的图像存储为常规存储器结构的第四分量值，仅具有色键的图像122以及缩放的仅具有色键的图像141将占用现有的存储空间以及结构，以及对本发明的该实施例不需要另外的存储器。这些和其他系统优化根据该公开的内容对本领域的普通技术人员来说是显而易见的，下面给出了另外的选择。

图2根据本发明，描述色键图像缩放和合并过程的示例流程图。该流程图是用于说明和便于理解。本领域的普通技术人员将意识到可采用不同的顺序和步骤来产生相似的结果。为便于理解，下述说明包括引用图1中的项目；图1中的每个项目具有首数字“1”，而图2中的项目具有首数字“2”。

在步骤210中，对存储仅具有色键的图像122的存储空间进行清零。经循环220-229处理被色键控制的图像101中的每个象素以便识别和替换每个色键象素。如果，在222，象素值与色键值相应，在224，同样标记仅具有色键的图像122中的相应象素标记。可使用多种技术中的任何一种来标记每个色键区域的每个象素。在优选实施例中，其中使用常规象素色空间的第四分量，将相应的第四分量值设置成用于每个色键象素的最小值以及用于每个非色键象素的最小值。另外，使用单个位来标记仅具有色键的图像122中的每个相应象素。在一些格式中，编码的第四分量包括单个位。例如，用于编码三个分量象素值，如红绿蓝(RGB)分量的一般格式是将每个分量编码成五位值。当将该象素存储在十六位字中时，该编码剩下有效的单个位。通常使用该剩下的单个位来区别不透明和透明颜色，以及将四个分量编码称为RGBa，并对应于“R”、“G”、“B”和“a”分量值的5-5-5-1位编码。

在抽取的被色键控制的图像121中替换被色键控制的图像101中的色键值。需注意的是，在优选实施例中，相同的存储空间用来存储被色键控制的图像101和抽取的被色键控制的图像121。即，替换被色键控制的图像101中的色键象素，以及不改变非色键象素，从而修改被色键控制的图像101来产生抽取的被色键控制的图像121，而不是将抽取的被色键控制的图像121创建成单个图像。如上所述，对色键象素来说，选择替换色键值的值最好最接近非色键值。也可使用其他替换值。例如，为避免对将最接近非色键值确定为替换值的“期望”功能的需求，在图像的每条线上的色键区域前的“最后一个”非色象素值设置为替换值。另外，如前所述，如果将缩放过程130构造成忽略色键值，则删除步骤226。

如果处理被色键控制的图像中的所有象素以便产生仅色被色键控制的图像122和抽取的色被色键控制的图像121(或修改后的101)后，在步骤230、240缩放仅色被色键控制的图像122和抽取的色被色键控制的图像121(101)。如上面提到过的，如果将仅色被色键控制的图像122存储为常规图像数据结构的第四分量，使用常规的四个分量的缩放器，用单个步骤来完成步骤230、240。如果使用单个位值来识别图像的色键区域，通过将缩放象素的“相位”(即，相对于缩放象素的左右的色键和非色键象素的缩放象素的位置)与阀值比较来确定色键区域边缘的缩放象素值。例如，阀值0.5可能对应于最接近象素的常规的“舍入”值。

经循环250-259处理缩放的仅色键141和缩放的抽取色键131中每个象素位置来产生缩放的被色键控制的图像161。当在输入过程中，使用用来包含缩放的抽取色被色键控制的图像131的同样的存储空间来包含缩放的被色键控制的图像161。即，通过不改变图像131中缩放的抽取色键象素值，以及用色键值覆盖与缩放的仅色被色键控制的图像141中的色键象素一致的图像131中的象素位置来形成合并的输入图像161。

在步骤252，从存储器检索缩放的仅具有色键的图像141中的象素值，并在步骤254与阀值进行比较。如果象素值超过阀值，则在步骤256将色键值存储在缩放的抽取色被色键控制的图像的相应的象素位置，从而形成合并的色被色键控制的图像161。忽略低于阀值的象素值，并不影响抽取的色被色键控制的图像131中相应的象素位置，从而减小缩放的仅色被色键控制的图像141中缩放的色键区域侵入合并的色被色键控制的图像161的非色键区域中。

上述说明仅描述了本发明的原理。可以认可，本领域的技术人员能设计出尽管在此未清楚描述或示出但包含本发明的原理并且在其精神和范围内的各种装置。例如，能独立和可选地采用每种技术，该技术用来减小非色键区域边缘的象素值的混合。例如，如果认为色键区域可能侵入非色键区域不甚明显，则可以删除阀值步骤150。同样，如果认为沿非色键区域边缘的颜色的亮度减小不甚明显，则可将抽取的色键区域的值设为零，或其他中性颜色(如灰度)值，而不必将最接近的非色键值视为替换值。用相同的方式，如果通过设定很低或零阀值，判定缩放的仅色被色键控制的图像141中缩放色键区域侵入非色键区域，以及有效地覆盖非色键区域的任何混合边缘，可直接缩放被色键控制的图像101，而不必替换色键值以及删除图2中的步骤226。根据该公开的内容，对本领域的普通技术人员来说这些和其他系统结构和优化特征是显而易见的，并包括在下述权利要求的范围内。

Claims (16)

1、一种图像处理系统(100)，包括：

色键抽取器(120)，经配置从被色键控制的图像(101)创建只有色键的图像(122)；

包含一个或多个键区域的被色键控制的图像(101)，一个或多个键区域用来识别被色键控制的图像(101)中的区域，被色键控制的图像(101)中的区域用于由其他图像信息替换；

只有色键的图像(122)，具有与被色键控制的图像(101)的键区域对应的识别区域；

缩放器(130、140)，经配置单独地缩放被色键控制的图像(101)和只有色键的图像(122)以便生成缩放被色键控制的图像(131、161)以及缩放的只有色键的图像(141)；以及

合并器(160)，经配置将缩放的被色键控制的图像(131，161)以及缩放的只有色键的图像(141)进行合并。

2、如权利要求1的图像处理系统(100)，其中：

缩放器(130、140)，包括提供输出象素值的过滤器，输出象素值按多个输入象素值混合形成缩放图像，以及

色键抽取器(120)，进一步经配置以替换一个或多个键区域中的象素值，替换值用来最小化由键区域中的键象素值产生的非色键区域边缘的混合。

3、如权利要求2的图像处理系统(100)，其中每个替换象素值的替换值与以下值中的一个相对应：

最近的非键象素值的值，

水平最近的非键象素值的值，

在先前确定的非键象素值的值，

中间值，以及

预先确定的值。

4、如权利要求1的图像处理系统(100)，其中：

缩放器(130、140)，包括提供输出象素值的过滤器，输出象素值按多个输入象素值混合形成缩放图像，以及

经配置仅混合输入象素值，而输入象素值不与所定义的键替换值对应。

5、如权利要求1的图像处理系统(100)，其中：合并器(160)经配置通过将缩放的只有色键的图像(141)中的每个象素值与阀值比较以及如果象素值超过阀值，用定义的键值来替换缩放的被色键控制的图像中的相应的象素值来将缩放的被色键控制的图像(131、161)和缩放的只有色键的图像(141)合并。

6、如权利要求1的图像处理系统(100)，其中：缩放器(130、140)经配置将缩放的只有色键的图像(141)中的一个或多个键区域边缘的象素的相位与阀值进行比较以便确定用于缩放的只有色键的图像(141)中象素的值。

7、如权利要求1的图像处理系统(100)，其中：

使用三个分量的色空间来编码被色键控制的图像(101)，

将只有色键的图像(122)编码成与键的三个分量的色空间一致的第四分量，以及

缩放器(130、140)，经配置通过四个分量的色空间缩放，同时缩放被色键控制的图像(101)以及只有色键的图像(122)。

8、如权利要求1的图像处理系统(100)，其中：被色键控制的图像(101)与一个被色键控制的图像对应。

9、一种缩放被色键控制的图像(101)的方法，包括：

创建(220-229)与被色键控制的图像(101)中的键区域一致的只有色键的图像(122)，

缩放(230)只有色键的图像(122)以便形成缩放的只有色键的图像(141)，

缩放(240)被色键控制的图像(101)以便形成缩放被色键控制的图像(131、161)，以及

合并(250-259)缩放的只有色键的图像(141)和缩放被色键控制的图像(131、161)。

10、如权利要求9的方法，进一步包括：

替换(226)被色键控制的图像的键区域中的象素值以便在被色键控制的图像(101)的缩放期间使得非色键区域边缘的失真最小化。

11、如权利要求10的方法，其中用键区域外的象素值替换键区域中的象素值。

12、如权利要求9的方法，其中

合并(250-259)经缩放的只有色键的图像(141)和经缩放的被色键控制的图像(131、161)包括：

将经缩放的只有色键的图像(141)中的多个象素值的每个象素值与阀值进行比较，以及

用定义的键值替换(256)经缩放的被色键控制的图像(131、161)中的相应的象素值。

13、如权利要求9的方法，其特征在于：

经缩放(230)只有色键的图像(122)包括

将键区域边缘的每个象素的相位与阀值进行比较以便确定用于键区域边缘的每个象素的相应值。

14、如权利要求9的方法，进一步包括：

将只有色键的图像(122)存储为四个分量色空间的第四分量，四个分量的色空间包括作为四个分量色空间的三个分量的被色键控制的图像(101)，以及其中

缩放(230、240)只有色键的图像(122)和被色键控制的图像(101)是根据同时缩放四个分量色空间来实现的。

15、如权利要求9的方法，进一步包括：

在合并经缩放的只有色键的图像(141)和经缩放的被色键控制的图像(131、161)前，对经缩放的只有色键的图像(141)中的边缘进行锐化处理。

16、如权利要求9的方法，其中被色键控制的图像(101)与一个被色键控制的图像对应。

Images