CN105657295A - 用于在数据处理系统中处理帧的方法和装置 - Google Patents

Abstract

用于在数据处理系统中处理帧的方法和装置。本发明提供了一种在色度键控配置中提供要与背景帧合成的前景帧的装置，该前景帧和该背景帧均包括一起形成各自帧的一个或更多个区域。检测模块(700)确定各帧区域是否具有预定颜色值，并基于该确定生成并存储色度键控信息。控制电路(710)随后根据所存储的色度键控信息控制要对所述区域执行的图像处理。

Description

用于在数据处理系统中处理帧的方法和装置

技术领域

本发明涉及色度键控(keying)领域。具体而言，本发明涉及在色度键控处理中对将要与背景帧合成的前景帧进行处理的方法和装置。

背景技术

色度键合成或色度键控是根据图像的色调(色度范围)将前景图像与背景图像(或将前景视频流与背景视频流)合成的技术。在合成期间选择前景帧中的一个或更多个像素用背景帧的像素代替，并且通过使要从前景帧中去除的像素具有限定的色值或键控颜色值(例如，绿)来标识这些像素。具有该键控颜色值的这些前景像素通常称为“键控像素”。

此处应当理解的是，正在处理的给定帧通常包括一起形成该帧的多个像素(采样位置)(数据位置阵列)。这里，像素对应于一个采样位置。对于该帧的每个像素(采样位置)，可以存储一个或多个数据值(例如，RGB值)，每个数据值可以用例如若干个比特(诸如8比特的数)来表示(其中，例如该帧存储为RGB888格式)。

图1中示出了例示简化的键控操作的示意图。当前景帧100要与背景帧101合成时(104)，将前景帧的每个像素的值与键控颜色值103进行比较(102)，使得作为键控像素的前景像素被背景帧的像素代替，从而仅期望的前景对象与背景帧合成。前景对象例如可以是说明字幕的文字、天气预报的预报员等，而背景例如可以是天气图。

色度键控技术可以在数据(图像)处理系统中实现。在同一个数据处理系统中，还可以实现一个或更多个其他数据处理模块。在该情况下，在执行色度键控操作及合成之前，前景图像和/或背景图像可以由一个或更多个其他图像处理模块处理。

在图2中示意性示出了数据处理系统中的色度键控技术的常规实现，其中，在对前景帧进行处理(210)之后执行对前景帧中的键控像素的检测(220)。类似地对背景帧的像素进行处理(230)，并将处理后的前景帧和背景帧合成(240)。在该常规方法中，即使前景帧中的一个或更多个像素是键控像素，也对前景帧中的所有像素进行处理，这些像素在合成期间将被背景图像中的像素代替。因此，在某些情况下不必要地消耗处理和带宽资源。

一些图像处理操作依赖于像素组的数据值。在键控像素与前景对象之间的边界处执行这种操作的情况下，如果输入像素值包括来自一个或更多个键控像素和一个或更多个前景对象像素的值的合成，则输出像素值中的该一个或更多个前景对象像素的值会受到输入中的键控像素的值的影响，类似地，输出中的键控像素的值会受到输入中的前景对象像素的值的影响。在前一种情况下，前景对象失真，导致图像质量的损失，并且在后一种情况下，键控像素可能无法被检测到，因此不被背景图像的像素代替。

当在键控像素与前景对象像素之间的边界处执行时可能会受到影响的图像处理的示例是过滤或从帧取得像素“窗”(组)作为其输入的其他操作，例如当通过应用缩放窗对图像进行缩放或者通过应用锐化窗对图像进行锐化时。在常规方法中，当针对输入像素执行这种“加窗”操作时，不但根据输入像素的值而且根据该输入像素周围的像素的值来确定所得到的输出像素的值。在加窗操作中使用的周围像素的数量依赖于该窗的大小。例如，对于3×3的窗，该窗覆盖了9个像素的范围，因此该操作取输入像素的值以及该输入像素的周围另外8个像素的值。因此，如果过滤器窗覆盖了包围键控像素和前景对象像素这两者的范围，则输出像素的值是键控像素与前景对象像素的组合结果。

图3中示出了由“渗入(bleeding)”前景对象中的键控像素导致的失真的示例，其中，键控像素被示出为白色，前景像素为深灰色，背景像素为浅灰色。在该示例中，对前景帧310应用3×3的过滤器窗。当对前景帧310的像素310-1应用过滤器窗时，该过滤器窗覆盖了范围310-2，其包含键控像素和前景像素这两者。当对像素310-1执行过滤操作时，其值根据范围310-2中的各像素的值确定。因此，当针对前景帧310中的每个像素完成了过滤操作时，在所得到的帧320的键控像素与前景像素之间的边界350处会看到失真。当对所得到的帧320执行色度键控操作以检测并代替处理后前景帧中的键控像素时，未检测到边界处的失真键控像素，因此，当将处理后的前景帧与背景帧330合成时，失真仍保留在合成帧340中位于前景像素与背景像素之间的边界360处。

在常规方法中，如图4中示意性所示，在色度键控操作102和合成104之后执行失真检测401和失真校正402，以检测和校正前景对象中的失真。有许多方法来执行失真检测和失真校正。然而，依赖于所使用的失真检测方法，可能无法检测到某些失真像素。此外，由于去除前景对象中的失真有时可能需要在应用过滤之前的前景帧的知识，并且类似地去除由未被检测到的键控像素导致的背景中的失真有时可能需要在合成之前的背景图像的知识，因而并非总是能够完全去除所有的失真。因此，这种失真校正方法可能仅能够减少键控像素对前景对象和背景图像的影响，但并不能完全去除所有失真。

鉴于此，希望减少处理和带宽资源的不必要的消耗。还希望减少合成图像中的失真并由此改善图像质量。

发明内容

因此，根据本发明的方面，提供了一种提供要与背景帧合成的前景帧的方法，该前景帧和背景帧均包括一起形成各自帧的一个或更多个区域。对于前景帧的至少一个区域，该方法包括：对前景帧进行检测以确定所述区域是否具有预定颜色值(例如，键控颜色值)，基于该检测而生成并存储色度键控信息，以及根据所存储的色度键控信息控制要对所述前景帧的该区域执行的图像处理。

前景/背景帧可以按任何适当或期望方式划分为一个或更多个区域。在优选实施方式中，各个区域对应于该帧的独立像素(采样位置)。然而，在一些实施方式中，这些帧可以被划分为包括多于一个像素(采样位置)的区域，这些像素可以根据需要具有相同或不同的大小。该预定颜色值可以是单个值或值的范围，并且优选地为键控颜色值，该键控颜色值被设置用于标识前景帧中的要在合成期间用背景帧中的像素代替的像素。

根据本发明的另一方面，提供了一种用于提供要与背景帧合成的前景帧的装置，各个前景帧和背景帧包括一起形成各自帧的一个或更多个区域。该装置包括：检测模块，用于对前景帧的区域执行检测以确定该区域是否具有预定颜色值，并基于该检测生成色度键控信息；存储器，用于存储该色度键控信息；以及控制电路，用于根据所存储的色度键控信息控制要对该区域执行的图像处理。

在优选实施方式中，在对前景帧执行一个或更多个图像处理之前，对前景帧执行检测以生成色度键控信息。作为检测结果而生成的色度键控信息被存储并在一个或更多个图像处理操作期间使用。因此，该色度键控信息可以视为沿着处理流水线与前景帧一起传播。此外，优选地基于色度键控信息来修改要对前景帧执行的图像处理操作，因此可以根据前景帧的检测结果来适应图像处理。

所存储的色度键控信息可以包括与前景帧的像素值有关的任何适当或期望的信息。在优选实施方式中，色度键控信息指示了前景帧的区域是否具有预定颜色值，例如键控颜色值。例如，在实施方式中，可以通过设置标记来指示区域是否具有键控颜色值以存储色度键控信息。在这种实施方式中，可以提供多个色度键控标记的阵列，每个色度键控标记对应于前景帧的区域(例如，像素)以指示每个对应区域是否具有键控颜色值。因此，通过读取所存储的色度键控信息，可以确定前景帧的区域是否具有键控颜色值，即，该区域是否将在合成期间被背景帧的区域代替，并相应修改要对前景帧的该区域执行的图像处理操作。

要对前景帧执行的图像处理操作可以是在与背景帧合成之前在前景帧中执行的任意适当和期望的处理操作。可以使用所存储的色度键控信息按任何适当或期望的方式来控制(并且优选地，修改)该处理操作。在优选实施方式中，如果色度键控信息指示该区域具有色度键控值，则可以完全省略要对前景帧的该区域执行的图像处理操作。

申请人认识到，在常规方法中，仅在处理过前景帧之后才执行用于在前景帧的前景对象像素中标识出键控像素的色度键控操作，前景帧中的每个像素都按相同方式进行处理，而不管其是键控像素还是前景对象像素。此外，前景帧中的键控像素在合成期间被背景帧中的像素代替，因此对键控像素执行的任何处理实际上是不必要的。

因此，根据本发明的实施方式，通过在对前景帧执行处理之前获得前景帧的色度键控信息，可以根据所获得的色度键控信息按需来修改要执行的处理。

本发明通过如下操作来帮助实现此效果：在对前景帧执行图像处理之前，对前景帧执行色度键控确定，以检测前景帧中具有键控颜色值的区域，例如单个像素或像素组，因此指示了在前景帧与背景帧合成时这些像素要被背景帧的像素代替。在优选实施方式中，该检测生成色度键控信息，该色度键控信息标识出前景帧中的区域是否具有键控颜色值，并且该色度键控信息被存储并与前景帧一起例如经过处理流水线传播。使用所存储的色度键控信息，可以基于区域是否具有键控颜色值来修改要对前景帧执行的任何处理。在区域被识别为具有键控颜色值的情况下，已知该区域在合成期间将被背景帧中的像素代替，因此要对该区域执行的任何处理将是不必要的。因此，在特别优选实施方式中，如果色度键控信息指示了区域具有键控颜色值，则省略对该区域的图像处理。

所获得的针对前景帧的色度键控信息可以不加改变地与前景帧一起传播到合成。另选地，如果要根据缩放比例对前景帧执行缩放操作，则希望基于相同的缩放比例来修该改色度键控信息。例如，在前景帧的色度键控信息是色度键控标记的阵列(每个色度键控标记对应于前景帧的像素)的情况下，可以优选地将按相同的缩放比例对色度键控标记的阵列进行缩放。这确保了在对前景帧进行扩展(upscale)或缩减(downscale)后该色度键控信息保持其与前景帧区域的对应性。

本发明的实施方式可以应用于要对前景帧执行的任一个或更多个处理操作，以基于通过对前景帧的检测获得的色度键控信息来修改该一个或更多个处理操作。在要对前景帧执行的处理是例如对前景帧的一个或更多个或所有区域应用过滤器窗的加窗操作的实施方式中，可以修改该加窗操作。

在预定大小的窗覆盖了包括被操作像素和一个或更多个周围像素的帧范围的加窗操作中，被操作像素的输出值依赖于周围像素和其自身的输入值。申请人认识到，当被操作像素是键控像素时，其在合成期间将被背景帧的像素代替，因此操作是不必要的。申请人进一步认识到，在一些情况下，甚至不希望对键控像素执行加窗操作，因为这会改变像素的值使得其不再具有键控颜色值，在该情况下，其在合成期间不会被标识出来并且不会被背景像素代替，从而会导致失真。

根据优选实施方式，如果色度键控信息指示了要操作的区域具有键控颜色值，则可以省略要对该区域执行的操作。因此，能够减少数据处理系统执行的处理量，并进一步减少在合成帧中出现失真的可能性。

附加地或另选地，如果色度键控信息指示了该窗覆盖的所有周围区域都具有键控颜色值，则可以省略要对该区域执行的加窗操作。在该情况下，由于周围像素都具有键控颜色值，如果使用周围区域的值对该区域执行加窗操作，则在该操作之后该区域的值可能受到其他区域的键控颜色值的影响。例如，如果要操作的区域是前景对象像素，则加窗操作会导致键控颜色“渗入”到前景对象中。因此，通过在该情况下省略过滤操作，可以避免要操作区域的失真，并可以减少数据处理系统执行的处理量。

根据本发明的优选实施方式，当借助其中根据周围区域的值以及其自身的值确定该区域的输入值的处理操作(诸如使用过滤器窗的过滤操作)对前景帧的区域进行处理时，当被操作区域具有键控颜色值时，和/或如果要用于该处理操作的所有其他(例如，周围)区域(例如，被该窗覆盖的区域)具有键控颜色值时，优选地省略该操作。因此，可以避免不必要的处理，由此减少功率和带宽消耗。此外，可以减少前景对象和/或键控像素的失真量，由此改善最终合成帧的图像质量。

在一些示例中，当要对前景帧的区域执行的处理操作依赖于周围区域的值时，例如使用过滤器窗的过滤，并且该周围区域包含键控像素和前景对象像素的组合，则必须执行该操作，因为该处理操作后的像素值必须考虑被过滤器窗覆盖的作为前景对象一部分的周围区域的值。在该情况下，申请人认识到该操作应当忽略(disregard)来自键控像素的输入，否则会导致失真。因此，根据本发明的实施方式，如果要操作的区域不具有键控颜色值(即，不是一个或更多个键控像素)，则通过基于由(例如，过滤)窗覆盖的一个或更多个周围区域的色度键控信息来修改要应用于该区域的(例如过滤)窗的输入，对该处理操作进行修改。

因此，根据本发明的优选实施方式，通过在执行处理之前使用所获得的色度键控信息，可以省略对前景帧区域执行的不必要的处理操作。此外，对于使用其他(例如，周围)区域以及要被操作的区域的像素值的处理操作，如果其他(例如，周围)区域包含前景对象像素和键控像素，则优选地对该处理操作进行修改。因此，能够减少功率和带宽消耗以及最终合成帧中的失真。与无论像素是前景对象像素还是键控像素都对前景像素进行处理并随后对合成帧中的失真像素进行检测和校正的常规方法相比，根据优选实施方式，合成帧中的失真减少，因此在一些情况下可以省略对失真的检测和校正。

在实施方式中，当要对前景帧的区域执行的处理操作是对包含该区域及一个或更多个其他区域在内的区域组执行的操作，且该操作的输出依赖于该组中各区域的输入值时，如果包含在该组中的其他区域包括前景对象像素和键控像素，则通过修改对该操作的输入值使得该其他区域中的具有键控颜色值的(优选地，每个)区域的输入值被该组中不具有键控颜色值的另一区域(即，前景对象的一部分)的输入值代替，来修改该处理操作。

在实施方式中，当要对前景帧的区域执行的处理操作是使用包含该区域及一个或更多个周围区域在内的“窗”的操作(诸如，过滤操作)时，如果该窗覆盖的周围区域包含前景对象像素和键控像素，则通过修改对该窗(例如，过滤器)的输入使得周围区域中的具有键控颜色值的(优选地，每个)区域的输入值被不具有键控颜色值的邻接区域(即，前景对象的一部分)的输入值代替，来对处理操作进行修改。

在特定示例中，如果存在多于一个区域与一个周围区域邻接并具有键控颜色值，则可以根据一个或更多个预定规则来选择邻接区域以代替具有具有键控颜色值的区域的输入值。例如，可以对规则进行设置，使得如果周围区域中的区域具有键控颜色值，则优选地该区域的输入值被“中间”区域的输入值代替，其中，该中间区域是要被操作的区域。在所涉及的区域不与该中间区域邻接的情况下，其窗输入可以由为周围区域中的区域且其值不同于该键控颜色值的邻接区域的值来代替。在所涉及的区域在水平方向上与第一区域邻接且在垂直方向上与第二区域邻接，且该第一区域和该第二区域都具有与该键控颜色值不同的值，则可以将规则设置为，相比于水平邻接区域的值，优选地选择垂直邻接区域的值来代替所涉及区域，或者另选地，根据需要相比于竖直邻接区域的值，优选地选择水平邻接区域的值。

当然，也可以使用其他设置。

在过滤器窗覆盖包含奇数个区域的范围的实施方式中，中间区域(优选地)是位于过滤器窗中间的区域。如果过滤器窗是二维的，则中间区域优选地是在两个维度上位于过滤器窗的中间的区域。例如，对于3×3的过滤器窗，该中间区域位于第二行的第二列。

在过滤器窗覆盖包含偶数个区域的范围的实施方式中，优选地将可能的“候选”“中间”区域之一选择为“中间”区域。对于一维窗，在该窗的中间大致存在两个位置。在该情况下，可以设置为，根据预定规则交替选择这两个中间位置作为该窗的中间位置。

在示例中，过滤器窗可以是具有NP个相和NT个抽头的多相过滤器(因此过滤器窗在每个相覆盖NT个区域)，例如多相缩放过滤器。如果NT是奇数，则中间区域可以简单地是位于第(NT+1)/2个抽头处的区域。另一方面，如果NT是偶数使得多相过滤器覆盖偶数个区域，则可以设置为使得中间区域的位置在位于第NT/2个抽头和第(NT/2)+1个抽头的两个区域之间交替。在该示例中，优选的是根据过滤器的相选择过滤器窗的不同区域作为中间区域，因此可以将规则设置为，使得当多相缩放过滤器的相大于或等于NP/2时，中间区域是位于第NT/2个抽头处的区域，而当多相缩放过滤器的相小于NP/2时，中间区域是位于第(NT/2)+1个抽头处的区域。因此，根据该实施方式，在处理操作输入窗覆盖偶数个区域的情况下，可以设置为使得两个中间区域交替以确保公平分布。

虽然以上主要参照对前景帧的给定区域的处理描述了本发明，但本领域技术人员应当理解，优选的是，可以对前景帧的多个区域以及优选地每个相应区域重复上述操作。在按照该方式处理完了前景帧时，前景帧可以被存储和/或根据需要通过使用色度键控信息等与背景帧合成。随后优选地对要合成的后续前景帧和背景帧重复进行处理。

可以在能够操作用于生成要发送到电子显示器以供显示的帧的任何期望和适当的数据处理系统中实现本发明。

实现本发明的数据处理系统可以包含任何期望的、合适的和适当的元件和部件。因此，优选地，其可以包含以下一种或更多种或全部：CPU、GPU、视频处理器(视频引擎/编码器--解码器)、图像处理器、显示控制器、以及用于存储多种帧、色度键控信息和所需其他数据的适当存储器。

可以由整体数据处理系统的任何适当和期望的部件执行前景帧的色度键控信息的检测和生成。例如，可以由设置在系统中(系统中片上)的CPU、GPU或独立处理器(例如ASIC)或者显示用的显示控制器来执行。相同的元件可以执行所有的处理，或者可以根据需要，这些处理可以分布在系统的不同元件上。

前景帧、背景帧、合成帧、任何其他图形帧、视频帧等可以以任何适当和期望的方式存储在存储器中，优选地存储在适当的缓存器中。例如，处理后的前景帧和处理后的背景帧可以优选地存储在相应输出帧缓存器中。输出帧缓存器可以是片上缓存器，或者可以是外部缓存器。类似地，输出帧缓存器可以是用于此目的的专用存储器，或者也可以是用于其他数据的存储器的一部分。

类似地，当生成(渲染)前景帧和/或背景帧时前景帧和/或背景帧首先写入的缓存器可以包括任何适当的这种缓存器，并且可以按任何适当和期望方式配置在存储器中。例如，其可以是片上缓存器或单独多个片上缓存器，或者可以是外部缓存器。类似地，其可以是用于此目的的专用存储器，或者也可以是用于其他数据的存储器的一部分。输入帧缓存器例如可以是本申请所需的任何格式，并且，例如可以存储在系统存储器中(例如，以统一存储器架构)，或者图形存储器中(例如以非统一存储器架构)。

本发明可以实现在任何适当系统中，例如适当配置的基于微处理器的系统。在一些实施方式中，本发明实现在计算机中和/或基于微处理器的系统中。

可以按任何期望和适当的方式实现本发明的多种功能。例如，根据需要，本发明的功能可以用硬件或软件来实现。因此，例如，本发明的多种功能元件和“装置”可以包括可以操作用于执行多种功能的适当的处理器、控制器、功能单元、电路、处理逻辑、微处理器装置等，例如能够编程以期望方式操作的适当的专用硬件元件(处理电路)和/或可编程硬件元件(处理电路)。

此处还应当注意的是，本领域技术任意将理解，可以在给定处理器上并行地复制和/或执行本发明的多种功能等。同样地，多种处理阶段可以根据需要共享处理电路等。

本发明适用于任何适当形式或配置的数据处理系统，例如具有“流水线”处理设置的系统。

本领域技术人员还应当理解，本发明的所有描述的方面和实施方式可以根据需要包括此处描述的任意一个或更多个或全部优选的和可选的特征。

可以至少部分地使用软件(例如计算机程序)来实现根据本发明的方法。因此，将会看到，当从本发明的另外实施方式来查看时，本发明提供了：当安装在数据处理装置上时特别适于执行此处所述方法的计算机软件；包括计算机软件代码部分的计算机程序元件，当计算机程序元件运行在数据处理装置上时该计算机程序元件用于执行此处所述方法；以及包括代码装置的计算机程序，当该程序运行在数据处理系统上时该代码装置适于执行此处所述一种或多种方法的所有步骤。该数据处理系统可以是微处理器、可编程FPGA(现场可编程门阵列)等。

本发明还扩展到包括这种软件的计算机软件载体，当用于操作图形处理器、渲染器或包括数据处理装置的其他系统时，与所述数据处理装置、所述处理器、渲染器或系统相结合用于执行本发明的方法的步骤。这种计算机软件载体可以是物理存储介质，例如ROM片、CDROM、RAM、闪存或盘，或者可以是信号，例如通过线传播的电信号、光信号、或者例如传播到卫星的无线电信号等。

进一步应当理解的是，并非本发明的方法的所有步骤都需要由计算机软件来执行，因此从更广泛的方面来看，本发明的实施方式提供了计算机软件，并且这种软件安装在计算机软件载体上用于执行此处所述方法的步骤中的至少一个。

因而，此处本发明可以适当实现为与计算机系统使用的计算机程序产品。这种实现可以包括固化在诸如计算机可读介质的有形非临时介质上的一系列计算机可读指令，该计算机可读介质例如是盘、CDROM、ROM、RAM、闪存或硬盘。其还可以包括一系列计算机可读指令，可以在包括但不限于光或模拟通信线的有形介质上，或者使用包括但不限于微波、红外或其他传输技术的无线技术而以无形方式，经由调制解调器或其他接口设备将该计算机可读指令发送到计算机系统。该系列计算机可读指令实现了如前所述功能的全部或部分。

本领域技术人员将理解，可以用许多编程语言来编写这种计算机可读指令，以与许多计算机体系或操作系统使用。此外，这种指令可以使用当前或未来的任何存储技术来存储，包括但不限于半导体、磁、光，或者可以使用当前或未来的任何通信技术发送，包括但不限于光、红外或微波。可以设想的是，这种计算机程序产品可以分布为具有附带印刷或电子文档的可移除介质(例如，压缩打包软件)，利用计算机系统预加载到系统ROM或固定盘上，或者通过例如互联网或万维网的网络从服务器或电子公告牌分发。

附图说明

下面将参照附图并仅作为示例来描述本发明的实施方式，在附图中：

图1是例示色度键控操作的简化示意图；

图2是例示应用于色度键控的常规方法的示例的示意图；

图3示例性例示了合成帧失真的产生；

图4是例示在数据处理系统中应用色度键控操作的常规方法的示例的示意图；

图5是例示根据实施方式的示例性色度键控技术的示意图；

图6示出了在数据处理系统中实现图5的技术的示例；

图7示意性例示了根据实施方式的图像处理流水线的示例；

图8示意性例示了根据实施方式的对独立操作于像素的处理操作进行修改的示例性方法；

图9示意性例示了根据实施方式的对操作于像素组的处理操作进行修改的示例性方法；

图10示出了根据图9的示例性方法对过滤器窗进行修改的示例；

图11示出了根据图9的示例性方法对过滤器窗进行修改的另一示例；

图12例示了图9的示例性方法的效果；

图13示例性例示了根据实施方式的对与帧对应的色度键控信息进行修改的示例性方法；

图14A示意性例示了扩展色度键控信息的示例；以及

图14B示意性例示了缩减色度键控信息的示例。

在附图中，尽可能用相同的附图标记表示相同的特征。

具体实施方式

图5中示出了根据实施方式的用于实现色度键控技术的示例性方法的示意图，其中前景帧与背景帧合成。根据本实施方式，在执行图像处理(520)之前，对前景帧的像素执行检测(510)以生成与前景帧有关的色度键控信息。在本实施方式中，执行像素检测以在前景帧中标识出键控像素，并且色度键控信息针对前景帧像素指示其是否具有键控颜色值(即，是否为键控像素)。因此，所产生的色度键控信息与前景帧一起经过一个或更多个图像处理操作传播后与背景帧合成(530)。

在示例中，色度键控信息是以一个或更多个色度键控标记的形式，其中当检测到像素具有指示该像素是键控像素的键控颜色值时，设置标记。像素i(或第i个像素)的色度键控标记总结如下：

当然可以另选地根据需要将值等于色度键控值的像素的色度键控标记设置为0，并将值不等于该色度键控值的像素的色度键控标记设置为1。当然，还可以有其他的方式来存储色度键控信息，例如可以生成并存储位图。

在本示例中，对前景帧的每个像素设置标记。然而，这不是必须的。在其他示例中，如果确定前景帧的范围排他地包含具有键控颜色值(或不具有键控颜色值)的(多个)像素，则可以对该范围设置单一标记。

图6示出了如何应用图5的方法的示例。在该示例中，数据(图像)处理系统包括视频编码器/解码器610、GPU620和显示处理器640。数据处理系统构造成与片外存储器630-1、630-2通信。根据需要，数据处理系统可以进一步包括诸如CPU的其他模块和装置。视频编码器/解码器610将作为视频帧的背景帧输出到片外存储器630-1。GPU620生成前景帧，该前景帧包括一行作为前景对象和键控像素的说明字幕，并将该前景帧输出到片外存储器630-2。

显示处理器640从片外存储器630-1读取背景帧，在将其输入到合成引擎643之前在显示处理器640中对其进行包含颜色转换641和反向伽马校正642的一些图像处理操作。

前景帧在另一方面由显示处理器640从片外存储器630-2读取，并首先执行键控颜色检测(644)，其中生成色度键控信息以例如通过设置标记来指示在前景帧中的具有键控颜色值的一个或更多个像素。色度键控信息与前景帧一起经过包含反向伽马校正(645)和扩展(646)在内的一些图像处理操作，通过合成引擎643与背景帧合成。在合成时，基于该色度键控信息，前景帧中的键控像素被背景帧的像素代替，随后向显示设备等输出最终合成帧。

图7示意性例示了处理流水线的示例，其中对前景帧和背景帧处理并随后合成。

首先由色度键控像素检测器700对包括前景对象像素和键控像素的、例如视频帧、图形帧、文本等的前景帧进行处理，生成与前景帧有关的色度键控信息。在该示例中，色度键控信息采取一个或更多个色度键控标记的形式，该一个或更多个色度键控标记可以针对前景帧的被检测到具有色度键控值(例如，绿色)的区域(例如，一个或更多个像素)而设置为(例如)1。

检测器700生成的色度键控信息被存储在存储器(未示出)中，并沿着对前景帧进行处理的处理流水线与前景帧的像素数据一起传播。在该示例中，由控制电路710使用所存储的色度键控信息来控制要由一个或更多个处理模块执行的处理。在本示例中，控制电路710被示出为单独的模块。然而，在其他示例中，该控制电路可以集成到检测器700中或其他硬件元件中，或者布置到处理流水线的一个或更多个处理模块上。

在检测后，反向伽马校正模块720对前景帧进行处理。由于色度键控信息已经可用，因此可以确定前景帧的哪个或哪些区域是键控像素。因此，控制电路710使得反向伽马校正模块720不处理键控像素而仅处理前景对象像素的像素数据。

反向伽马校正后的像素数据被发送到图像缩放模块730，该图像缩放模块730使用缩放过滤器对像素数据进行过滤。控制电路710再次使用色度键控信息来控制图像缩放模块730。图像缩放模块730将缩放过滤器应用于前景对象像素的像素数据，而不对基于色度键控信息确定为键控像素的区域进行过滤。在使用过滤器窗的情况下，如果过滤器窗覆盖了包含前景对象像素和键控像素在内的前景帧的范围，则按照使得键控像素的值不影响应用了过滤器窗的前景对象像素的输出值的方式修改过滤器窗输入。下面详细说明对过滤器窗输入进行修改的细节。为了确保色度键控信息与缩放后的像素数据之间的正确对应性，优选的是根据应用于像素数据的缩放因子(比例)对色度键控信息进行修改。

缩放后像素数据与色度键控信息被一起发送到图像增强模块740。控制电路710使得图像增强模块740向前景对象像素的像素数据应用锐化过滤器而忽略被确定为键控像素的区域。再次地，在对前景对象像素应用过滤器窗且且该过滤器窗覆盖包含前景对象像素和键控像素这两者的范围的情况下，按照使得键控像素的值不影响应用了过滤器窗的前景对象像素的输出值的方式修改过滤器窗输入。

类似地，由反向伽马校正模块750、然后是图像缩放模块760、最后是图像增强模块770对背景帧进行处理。应当理解的是，可以由一个或更多个与前景帧相同或不同的模块对背景帧进行处理。此外，前景帧和背景帧不一定要经历相同的一个或更多个处理操作。

前景帧的处理后的像素数据和色度键控信息发送到合成模块780。类似地，背景帧的处理后的像素数据发送到合成模块780。然后，合成模块780通过根据色度键控信息将前景帧中的键控像素用背景帧中的像素代替，将前景帧与背景帧合成。随后，输出合成帧以供例如显示设备790显示。

图8例示了对像素单独执行应用于前景帧像素的处理(例如，反向伽马校正)的实施方式。在键控像素检测期间生成色度键控信息，并且该色度键控信息与前景帧的像素数据一起传播进行处理。像素处理模块810使用色度键控信息对前景对象像素的像素数据进行处理，从前景帧中标识出一个或更多个键控像素，不对这些键控像素执行处理。前景帧的处理后的像素数据被输出以供与色度键控信息一起使用。

根据本发明，省略(绕过或不执行)对键控像素的处理，仅对前景对象像素进行处理。因此，通过将键控像素用背景像素代替进行处理，可减少不必要的功率和带宽消耗。

图9例示了对像素组执行应用于前景帧像素的处理的实施方式，例如对包含该像素与多个周围像素的像素组执行诸如锐化过滤器或缩放过滤器之类加窗操作以输出该像素的值。前景帧的色度键控信息与像素数据一起传播经过该处理。

在该处理操作中，对当前像素(“中间”像素)应用过滤器窗，该过滤器窗覆盖了包含当前像素和一个或更多个周围像素这两者的范围。检测模块910使用前景帧的色度键控信息检测当前像素是否为键控像素。如果确定当前像素是键控像素，则不执行过滤，并输出当前像素被而不进行处理。由于键控像素将被背景像素代替，因此键控像素的处理是不必要的从而可以省略。

如果确定当前像素是前景对象像素，则检测模块920使用色度键控信息检查过滤器窗覆盖的周围像素是否包含一个或更多个键控像素。如果确定所有的周围像素都是键控像素，则不执行过滤，输出当前像素被而不进行处理。由于过滤器窗需要来自周围像素的输入，如果所有的周围像素都是键控像素，则使用周围像素的值作为输入会对当前像素的输出值引入错误/失真，因此在该情况下省略对当前像素的处理。

如果当前像素是前景对象像素且周围像素包含键控像素和前景对象像素这两者，则根据预定修改规则由窗修改模块930对过滤器窗输入进行修改。随后使用修改后的过滤器窗940对当前像素进行处理，并将处理后像素数据与处理后前景帧的色度键控信息一起输出以供使用。修改规则按照使得该组周围像素中存在的键控像素的值不影响当前像素的输出值的方式，对过滤器窗输入进行修改。

根据本实施方式，当待处理当前像素是键控像素时，或者当待处理当前像素是前景对象像素但过滤器窗覆盖的所有其他像素是键控像素时，处理被省略，因此减少了不必要的带宽和功率消耗。此外，通过省略对仅由键控像素周围的当前像素执行的处理，或者当周围像素包括键控像素和前景对象像素时通过修改过滤器窗，能够减少(在某些情况下甚至能够避免)输出像素中的引入失真。在优选实施方式中，可以减少由于在过滤操作中使用键控像素值而导致的失真，并可以减少后处理失真检测和校正。

可以根据处理操作中使用的过滤器的类型或者按照适当或期望的方式来设置预定修改规则。下面将描述一些示例。

在图10中示出了根据本发明的实施方式的对过滤器窗进行修改的示例，其中过滤器窗是3×3锐化过滤器窗。在该示例中，灰色方块代表键控像素，而白色方块代表前景对象像素。在具有奇数个像素的方窗中，待处理像素(当前像素)是位于该窗中间的像素。在该示例中，是位于第二列第二行的像素。

在示例10A中，作为待处理的当前像素的像素E是键控像素。在该情况下，省略过滤，并且在不进行过滤的情况下输出像素E的像素数据。应当理解的是，虽然在该示例中，周围像素A、B、C、D、F、G、H和I都是前景对象像素，当前像素E是键控像素则确定省略过滤，因此即使周围像素都是键控像素或者是键控像素和前景对象像素的组合，也省略过滤。

在示例10B中，当前像素E是前景对象像素，而所有周围像素A、B、C、D、F、G、G和I都是键控像素。在该情况下，也省略过滤。

在示例10C中，当前像素是前景对象像素，而周围像素A、B、C、D、F、G、H和I是键控像素和前景对象像素的组合。在该情况下，确定过滤器要进行修改。在当前示例中，用前景对象像素的值代替与键控像素的值对应的要输入到过滤器的值。

根据这些实施方式，过滤器输入的键控像素被用邻接像素代替。优选地，与键控像素对应的输入值用位于过滤器窗中间的当前像素的值代替。例如，像素B的过滤器输入用像素E的过滤器输入(值)代替。如果要被代替的键控像素不与当前像素邻接，则要被代替的键控像素优选地用同一行中的邻接像素代替。例如，像素I的过滤器输入用像素H的过滤器输入(值)代替。如果要被代替的键控像素的同一行中的邻接像素也是键控像素，则要被代替的键控像素的值用同一列中的邻接像素的值代替。例如，像素A的过滤器输入被用像素D的过滤器输入(值)代替。

在示例10D中，键控像素B、D和H都与当前像素E邻接，因此像素B、D和H的过滤器输入用像素E的过滤器输入(值)代替。与键控像素I位于同一行的邻接像素也是键控像素，因此像素I的过滤器输入被作为与像素I位于同一行的前景对象像素的像素F的过滤器输入(值)代替。与像素A邻接的两个像素也都是键控像素，在该情况下，像素A的过滤器输入用像素B的(代替)过滤器输入代替，像素B的(代替)过滤器输入即是像素E的过滤器输入(值)。

图11中示出了根据本发明的实施方式的对过滤器窗进行修改的另一示例，其中，该过滤器窗是多相图像缩放过滤器窗。

多相过滤缩放算法通常用于高质量图像缩放操作。通常，多相过滤器缩放方法在水平和垂直方向上都执行多相过滤。多相过滤是基于FIR过滤器，其中冲击响应被划分为相，因此可以应用不同的系数集合来计算不同像素的过滤结果。使用那个系数集合取决于过滤器的当前相。可以按照任何适当和期望(及已知)的方式实现本实施方式中的多相缩放，因此将省略其详细描述。

这种二维过滤可以被分解为两个正交一维操作。为了简化对实施方式的描述，示例性多相缩放过滤器是以一维过滤器的形式。在该情况下，可以使用下式确定该示例性多相缩放过滤器的相：

$phase\left(n\right)=floor\left(\mathrm{mod}\right(initial\_phase+n\·\frac{\mathrm{si}ze\_in}{size\_out}\·NP+\frac{NP}{2},NP\left)\right)$

其中，phase(n)是第n个输出像素的过滤器的相，initial_phase是初始相偏移(在某些应用中该参数可以省略，在该情况下，可以使用NP/2的值来代替)，size_in是输入帧的大小，size_out是输出帧的大小，NP是总相数，floor(x)是将值x向着0取整到最近整数的函数，mod(a,b)是a除以b后的模。

本示例性多相图像缩放过滤器使用6抽头16相过滤器应用。随后，可以在过滤器的抽头2或抽头3(因为它们都在过滤器的中间)输出该过滤器输出的像素(当前像素)。在该情况下，该当前或中间像素被认为是位于输入帧中与当前输出在输出帧中所在位置最接近位置处的过滤器窗中的像素。对于6抽头16相缩放过滤器，如果过滤器的当前相大于或等于8(phase(n)≥8)则中间像素是过滤器的抽头2处的像素，而如果过滤器的当前相小于8(phase(n)<8)，则过滤器的抽头3处的像素被认为是中间像素。

在本实施方式中，如果过滤器窗覆盖的该组输入像素的中间像素是前景对象像素，并且该组的所有其余像素也是前景对象像素，如示例11A中所示，则正常执行过滤，且各抽头的过滤器输入值简单对应于该抽头处像素的值。

如果当前像素是键控像素，则省略过滤。例如，如果过滤器的相大于或等于8，则当前像素是抽头2处的像素。因此，如示例11C中所示，如果抽头2处的像素是键控像素，则省略过滤。如果过滤器的相小于8，则当前像素是抽头3处的像素。因此，如示例11F中所示，如果抽头3处的像素是键控像素，则省略过滤。

如果当前像素是前景对象像素，则根据一组代替规则来修改过滤器。对过滤器窗所覆盖的像素组中当前像素以外的像素执行检测，以检测位置与当前像素最接近的键控像素。然后，键控像素和除了键控像素以外的所有其他像素(不含当前像素)用与键控像素邻接的位于键控像素与当前像素之间的前景对象像素代替。

例如，在示例11B中，其中过滤器的相小于8，位于抽头3处的当前像素是前景对象像素，利用修改后的过滤器执行过滤。具体而言，抽头2处的像素C是键控像素，因此抽头0到抽头2(键控像素及其以外)的过滤器输入用抽头3(即像素D)的过滤器输入代替。

在示例11G中，其中过滤器的相大于或等于8，则抽头2处的当前像素是前景对象像素，利用修改后的过滤器执行过滤。具体而言，抽头3处的像素D是键控像素，因此抽头3到抽头5(键控像素及其以外)的过滤器输入用抽头2(即像素C)的过滤器输入代替。

还示出了其他示例11D、11E、11H和11J，其中抽头2和抽头3都是前景对象像素且至少一个抽头是键控像素。在示例11D中，抽头1处的像素B是键控像素，因此抽头1和抽头1的过滤器输入用抽头2的过滤器输入代替。在示例11H中，抽头4处的像素E是键控像素，因此抽头4和抽头5的过滤器输入用抽头3的过滤器输入代替。在示例11E中，抽头0是键控像素且其过滤器输入用抽头1的过滤器输入代替，而在示例11J中，抽头5是键控像素且其过滤器输入用抽头4的过滤器输入代替。

在本实施方式中，对其他方向使用在一个方向上修改一维多相缩放过滤器的相同方法，因此省略对其的说明。

根据优选实施方式，通过修改过滤器使得来自键控像素的过滤器输入用邻接前景对象像素的过滤器输入代替，能够减少由于键控像素“渗入”前景对象而导致的失真。

例如，如图12所示，前景帧120例如要通过利用多相过滤器过滤进行处理，然后与背景帧121合成。此时，过滤器窗应用于范围122，该范围122包含来自于前景对象120-1和前景对象120-2的像素以及键控像素120-3的组合。

如果对范围122应用未修改的过滤器窗125，且未修改的过滤器窗还应用于包含前景对象像素和键控对象像素的组合的其他范围，则得到的合成帧126在前景对象120-1和120-2与键控像素120-3之间的边界处发生失真。

另一方面，根据优选实施方式，假设抽头3(从左起第四个抽头)是当前(或中间)像素，由于抽头2是键控像素，则抽头0至抽头2的过滤器输入用抽头3的过滤器输入代替，如过滤器窗123所示。作为修改的结果，合成帧124不存在失真。

在上述示例中，在对前景帧进行处理期间，前景帧的色度键控信息被用于修改处理操作，但不加任何改变地传播经过该处理操作。然而，在一些实施方式中，优选的是根据处理后的前景帧来修改色度键控信息。

例如，如图13所示，在前景帧131的色度键控信息存储为色度键控标记阵列133形式的情况下，其中每个标记对应于上述前景帧131的像素(或采样点)，如果该处理操作使得处理后前景帧132中的图像分辨率发生变化，则处理操作之前前景帧中的像素数量可能与处理后前景帧中的像素数量不同。在该情况下，色度键控信息优选地修改为使得每个标记维持其与处理后前景帧的各个像素的对应性。

在实施方式中，如果前景帧进行了缩放，则根据与应用于前景帧的缩放比例相对应的比例对前景帧的色度键控信息进行缩放。例如，可以使用下式确定第n个采样点的键控信息：

$out\_chroma\_keying\_flag\left(n\right)=in\_chroma\_keying\_flag\left(floor\right(n\&CenterDot;\frac{size\_in}{size\_out}+0.5\left)\right)$

其中，out_chroma_keying_flag(n)是输出前景帧的第n个采样点的色度键控标记的值，in_chroma_keying_flag(n)是输入前景帧的第n个采样点的色度键控标记的值，size_in是输入前景帧的大小，size_out是输出前景帧的大小，floor(x)是将数x向着0取整到最接近整数的函数。

图14A和14B中例示了在对前景帧进行缩放的情况下用于确定色度键控标记的值的公式，图14A和14B分别示出了扩展和缩减时的情形。缩放帧的像素的色度键控标记的取值是原始帧中位于相对于缩放帧中该像素(例如图13中的像素131a和像素132a)的位置最近对应位置处像素的色度键控标记的值，其中，缩放帧与原始帧之间的位置对应性由上式右侧确定。因此，如图13所示，通过该式将作为原始前景帧131的色度键控信息的色度键控标记阵列133变换为作为缩放前景帧132的色度键控信息的色度键控标记阵列134。

在该实施方式中，可以通过任何适当或期望的缩放方法对前景帧进行缩放，但可以基于应用于前景帧的缩放比例按照相同方式对色度键控信息进行修改，而与所使用的缩放方法无关。

根据对前景帧的色度键控信息进行修改的示例性方式，当扩展和/或缩减前景帧时对色度键控信息进行修改。优选地，根据例如上式的预定规则基于应用于前景帧的缩放比例对色度键控信息进行修改。该修改优选地维持色度键控信息与缩放后前景帧的各像素之间的相关性。

根据此处描述的实施方式，在对前景帧的区域进行处理来获得该区域的色度键控信息之前，对该区域执行色度键控检测。色度键控信息优选地指示该区域是否具有键控颜色值。基于色度键控信息，可以修改要对该区域执行的后续处理。

在优选实施方式中，如果色度键控信息指示该区域具有键控颜色值，则可以省略要对该区域执行的处理。在该情况下，可以减少数据处理系统的总体功耗。在一些实施方式中，其中该区域的处理结果取决于周围(相邻)区域的数据值，可以基于周围区域的色度键控信息修改要对该区域执行的处理。在实现示例中，其中要对该区域执行的处理是对该区域应用图像过滤器，可以基于该区域以及图像过滤器所覆盖的周围区域的色度键控信息来修改过滤器输入。

通过基于色度键控信息修改要对该区域执行的处理，可以减少在将前景帧与背景帧合成时发生失真(或伪影)的可能性。因此，在某些情况下，可以省略对合成帧中失真的检测和校正。

在优选实施方式中，前景帧的色度键控信息传播经过对前景帧的处理，使得可以根据需要在后续处理中，或者在将前景帧与背景帧合成以标识前景帧中要用背景帧的像素代替的键控像素期间，使用该色度键控信息。

从以上说明可以理解的是，本发明的实施方式能够提供一种用于修改要对前景帧执行的图像处理操作的机制，该前景帧要与背景帧合成例如以供显示。此外，与已有的常规处理技术相比，本发明的优选实施方式可以提供一种在对前景帧进行处理时减少数据(图像)处理系统中所需处理量的机制。因此，能够减少例如在将前景帧与背景帧合成时的失真量，并减少例如在对前景帧的内容进行处理时的功耗。

Claims (20)

1.一种提供要与背景帧合成的前景帧的方法，该前景帧包括一个或更多个区域，该方法包括以下步骤：针对所述前景帧的至少一个区域：

确定该区域是否具有预定颜色值；

基于该确定生成并存储色度键控信息；以及

根据所存储的色度键控信息来控制要对所述区域执行的图像处理。

2.根据权利要求1所述的方法，其中，存储所述色度键控信息的步骤包括：设置标记以指示所述区域是否具有所述预定颜色值。

3.根据权利要求1或2所述的方法，其中，控制图像处理的步骤包括：如果所述色度键控信息指示了所述区域具有所述预定颜色值，则省略要对所述区域执行的图像处理。

4.根据权利要求1或2所述的方法，其中，要对所述区域执行的图像处理根据缩放比例来改变所述前景帧的分辨率，并且所述方法进一步包括：基于所述缩放比例修改所述色度键控信息。

5.根据权利要求1或2所述的方法，其中，要执行的图像处理包括：通过对所述区域应用过滤器窗进行过滤，所述过滤器窗覆盖包括所述区域和一个或更多个周围区域在内的前景帧的范围，并且控制图像处理的步骤包括：如果所述色度键控信息指示了所有所述一个或更多个周围区域具有所述预定颜色值，则省略所述过滤。

6.根据权利要求1或2所述的方法，其中，要执行的图像处理包括：通过对所述区域应用过滤器窗进行过滤，所述过滤器窗覆盖包括所述区域和一个或更多个周围区域在内的前景帧的范围，并且控制图像处理的步骤包括：如果所述色度键控信息指示了所述区域不具有所述预定颜色值，则基于所述一个或更多个周围区域的所述色度键控信息来修改所述过滤器窗的输入。

7.根据权利要求6所述的方法，其中，修改所述过滤器窗的所述输入的步骤包括：用所述区域的值或者用所述一个或更多个周围区域中不具有所述预定颜色值的区域的值来代替所述一个或更多个周围区域中具有所述预定颜色值的区域的值。

8.根据权利要求5所述的方法，其中，所述过滤器窗是具有NP个相和NT个抽头的多相缩放过滤器，所述过滤器窗覆盖包括偶数个区域的前景帧的范围，并且应用所述过滤器窗使得当所述多相缩放过滤器的相大于或等于NP/2时，所述区域位于第NT/2个抽头处，而当所述多相缩放过滤器的相小于NP/2时，所述区域位于第(NT/2)+1个抽头处。

9.根据权利要求1或2所述的方法，所述方法进一步包括以下步骤：通过用所述背景帧的一个或更多个区域代替所述前景帧中所述色度键控信息指示具有所述预定颜色值的一个或更多个区域，来将所述前景帧与所述背景帧合成。

10.据权利要求1或2所述的方法，其中，各个帧区域是该帧的像素。

11.一种提供要与背景帧合成的前景帧的装置，该前景帧包括共同形成所述前景帧的一个或更多个区域，所述装置包括能够执行如下操作的处理电路：

确定所述前景帧的区域是否具有预定颜色值，并基于该确定而生成和存储色度键控信息；以及

根据所存储的色度键控信息，控制要对所述区域执行的图像处理。

12.根据权利要求11所述的装置，其中，所述处理电路能够通过设置标记以指示所述区域是否具有所述预定颜色值，来存储所述色度键控信息。

13.根据权利要求11或12所述的装置，其中，所述处理电路能够通过以下操作来控制图像处理：如果所述色度键控信息指示所述区域具有所述预定颜色值，则省略要对所述区域执行的图像处理。

14.根据权利要求11或12所述的装置，其中，要对所述区域执行的所述图像处理根据缩放比例来改变所述前景帧的分辨率，并且所述处理电路进一步能够基于所述缩放比例来修改所述色度键控信息。

15.根据权利要求11或12所述的装置，其中，要执行的所述图像处理包括：通过对所述区域应用过滤器窗进行过滤，所述过滤器窗覆盖包括所述区域和一个或更多个周围区域在内的所述前景帧的范围，并且所述处理电路能够通过如下操作来控制所述图像处理：如果所述色度键控信息指示所有的所述一个或更多个周围区域具有所述预定颜色值，则省略所述过滤。

16.根据权利要求11或12所述的装置，其中，要执行的图像处理包括：通过对所述区域应用过滤器窗进行过滤，所述过滤器窗覆盖包括所述区域和一个或更多个周围区域在内的所述前景帧的范围，并且所述处理电路能够通过如下操作来控制所述图像处理：如果所述色度键控信息指示所述区域不具有所述预定颜色值，则基于所述一个或更多个周围区域的所述色度键控信息来修改所述过滤器窗的输入。

17.根据权利要求16所述的装置，其中，对所述过滤器窗的所述输入进行修改包括：用所述区域的值或者用所述一个或更多个周围区域中不具有所述预定颜色值的一个区域的值来代替所述一个或更多个周围区域中具有所述预定颜色值的区域的值。

18.根据权利要求15所述的装置，其中，所述过滤器窗是具有NP个相和NT个抽头的多相缩放过滤器，所述过滤器窗覆盖包括偶数个区域的前景帧的范围，并且应用所述过滤器窗使得当所述多相缩放过滤器的相大于或等于NP/2时，所述区域位于第NT/2个抽头处，而当所述多相缩放过滤器的相小于NP/2时，所述区域位于第(NT/2)+1个抽头处。

19.根据权利要求11或12所述的装置，其中，所述处理电路进一步能够执行如下操作：通过用背景帧的一个或更多个区域代替所述前景帧中所述色度键控信息指示具有所述预定颜色值的一个或更多个区域，来将所述前景帧与所述背景帧合成。

20.根据权利要求11或12所述的装置，其中，各个帧区域是该帧的像素。