CN101690245A

CN101690245A - 用于产生色度键的方法和装置

Info

Publication number: CN101690245A
Application number: CN200780053582A
Authority: CN
Inventors: 梅忽而·S·潘德亚
Original assignee: Thomson Licensing SAS
Current assignee: GVBB Holdings SARL
Priority date: 2007-06-29
Filing date: 2007-09-18
Publication date: 2010-03-31
Also published as: CA2690987C; WO2009005511A1; CA2690987A1; JP2010532629A; JP5209713B2

Abstract

用于产生自适应色度键的方法和装置包括在创建合成场景期间，将前景对象信息考虑在内。前景键与背景场景之间的感兴趣区域的亮度和色度被考虑，并且在创建合成场景期间被考虑在内。

Description

用于产生色度键的方法和装置

相关申请的交叉引用

本申请要求2007年6月29日提交的题为“Method and Apparatus forChroma Key Production(用于产生色度键的方法和装置)”的序列号为PCT/US2007/015254的国际专利申请的优先权，将该申请通过引用整体结合于此。

技术领域

本发明涉及色度键控(chroma keying)。更具体地，本发明涉及自适应色度键的产生。

背景技术

色度键一般将前景对象置于背景场景(scene)中。由于仅基于前景场景来计算每场的色度键参数，因此，前景对象不能适应背景场景光照。因此，环境光或人造光的使用发生改变。

实际上，色度键参数是基于均匀分布的工作室光照条件而非背景场景中的光照的。这种类型的光照失配不能产生自然的色度键。

发明内容

本发明的一个方面是提供克服了现有技术缺陷的自适应色度键。

该方面以及其它方面是通过用于产生色度键的方法来实现的，该方法包括：利用前景键确定合成场景的感兴趣区域(AOI)；在将所确定AOI中的像素的物理特性考虑在内的情况下来产生色度键。

根据本发明的另一方面，用于产生色度键的装置包括：源选择设备，被配置为利用前景键确定合成场景的感兴趣区域(AOI)，并且在将所确定AOI中的像素的物理特性考虑在内的情况下来产生色度键。源选择设备可以包括：多个输入源；处理器；与处理器通信的切换逻辑；以及连接到处理器和切换逻辑的自适应色度键子系统，该自适应色度键子系统在处理器的控制下进行操作，以针对合成场景有选择地组合输入源中的两个或更多个输入源。

附图说明

从结合附图考虑的下面的详细描述中将清楚本发明的其它方面和特征。然而，将会明白，附图仅被设计用于图示说明的目的而不作为对本发明的限制定义，本发明的限制定义应当参考所附权利要求。还应当明白，附图不必按比例绘制，并且除非以其他方式指出，否则它们仅意欲概念性地说明这里描述的结构和过程。

贯穿各个视图，相似的标号表示类似的组件，在附图中：

图1是着成绿色的虚拟工作室布景(set)中的前景场景的图形表示；

图2是场景中的前景对象的图形表示；

图3是意欲与前面的场景一起使用的背景场景的图形表示；

图4是前景键的图形表示；

图5是前景和背景场景的合成输出的图形表示；

图6是合成场景中的感兴趣区域(AOI)的图形表示；

图7是具有更明亮背景和前景对象两者的合成场景的图形表示；

图8是具有更暗背景和前景对象两者的合成场景的图形表示；

图9a-9c是示出背景场景中的不同色调(hue)如何能够创建不同但相匹配的前景对象的图形表示；

图10a是根据本发明实现方式的用于显示合成图像的亮度确定的流程图；

图10b是根据本发明实现方式的用于色度键的AOI的确定的框图；

图11是根据本发明实现方式的用于显示合成图像的色度确定和应用的流程图；

图12是被配置为实现本发明的自适应色度键控的切换器装置的框图；以及

图13是根据本发明实现方式的自适应色度键子系统的框图。

具体实施方式

一般而言，色度键允许将前景对象放置在背景场景中。由于色度键参数是仅基于前景场景来针对每场计算出的，因此，前景对象不能适应背景场景光照(例如，环境的和人造的)改变。实际上，通常针对工作室光照条件而非背景场景中的光照来使色度键参数均匀化。

本发明通过允许利用来自背景场景的亮度和色度信息来自适应地创建色度键，从而提供针对这种色度键控方案的可选方案。

图1-5示出了用于理解本发明的概念的某些背景信息。图1示出了前景场景10(由图中的人来表示)以及着成绿色的虚拟工作室布景12。图2示出了没有虚拟工作室布景12的前景对象10。图3示出了将显示在虚拟工作室布景上的背景场景14。图4示出了表示将被叠加在背景场景上的前述场景的图像的前景键16。图5是通过组合背景场景14和前景场景10得到的合成输出图像的表示。

首先，根据本发明，确定前景场景和背景场景之间的感兴趣区域(AOI)(图10a的步骤102)。参考图10b，为了实现此目的，前景键被覆盖在背景场景上(110)，并且标识背景场景中的落在前景键内的所有像素(112)。这种标识构成了AOI。图6示出了从这种处理获得的AOI18的图形表示。

根据一种实现方式，来自背景场景的信息被色度键逻辑用来自适应地创建色度键。在这样做时，方法包括考虑所确定AOI中的像素的一个或多个物理特性，以便创建色度键。在本示例中，这些物理特性包括像素的亮度和色度。

图10a示出了用于考虑AOI的亮度的方法100，并且图11示出了用于考虑AOI的色度的方法150。

参考图10a，首先，确定合成场景的AOI(102)。然后计算AOI中的像素的平均亮度(104)，并且还计算前景场景中的采样区域(sampledarea)的平均亮度(106)。一旦进行了这些亮度计算，前景场景中的亮度就被链接到AOI中的亮度(108)。换言之，我们针对每场将AOI的亮度中的差异(Δ)应用到前景场景中的亮度。如果背景具有剧烈的光照改变，例如经过曼哈顿明亮和黑暗的街道的视频剪辑节目，则前景对象(例如，新读者或报道)将适应背景场景并且相应地改变其光照。图7示出了具有更亮前景对象的更亮背景的一个示例，并且图8示出了具有更暗前景对象的更暗背景的一个示例。

图11示出了考虑到色度信号的方法150的一个示例。在确定102了AOI之后，判断(120)常数向量是否被应用到AOI中的所有像素。如果不是，则前景场景保持不变(124)。如果存在应用到AOI中的所有像素的常数向量，则将较小百分比的相同常数向量应用于得到的前景场景。例如，如果背景场景是具有旋转的多色光束的迪斯科俱乐部，则前景对象适应背景场景中的色调改变(即，如果红色光束落在AOI上，则轻微的淡红色也将出现在前景对象上)。因此，背景场景中的不同色调可以在前景中创建不同但相匹配的对象。在图9a-9c的示例性图像中示出了这种概念。在各图中，色调不同，导致前景对象颜色的改变，并且由此导致所显示的整个合成图像的总体改变。图9b示出了添加到背景光照中的泛红(redish)色调的效果(由覆盖整个图9b的非常小的点的阵列表示)以及前景对象上的泛红色调的总体效果(即，泛红色调与背景的匹配)，而图9c示出了背景场景中的泛绿(greenish)色调的效果(由覆盖整个图9c的非常小的破折号的阵列表示)。

图12示出了被编程来根据本发明进行操作的切换器系统200的框图。切换器202包括多个输入208、处理器204以及与处理器通信的切换逻辑206。处理器204可以包括板载(onboard)存储器210，或者可以被链接到外部存储介质，例如硬盘驱动器、致密盘驱动器、闪存或其它固态存储器设备，或者任何其它存储器存储装置。自适应色度键子系统207与处理器204以及切换逻辑206通信，并且被配置为执行本发明的方法，并获取具有背景场景的所述输入208之一，并且有选择地将其与具有前景场景的另一输入组合，以提供所希望的合成场景作为其输出212。

图13示出了根据本发明实现方式的自适应色度键子系统207的框图。前景视频250和前景键252由插值器(interpolator)258进行插值。在色调选择(经由色调选择器262和辅助色调选择器266)和抑制(经由主抑制264和辅助抑制268)之后，视频270被传递到切换器202中的下一逻辑子系统(例如，切换逻辑206)。辅助色调选择器266输出在应用背景改变280之前被处理(剪辑和增益278)的前景信息。背景视频254和背景键256由插值器260进行插值，并且随后AOI 272被确定。如上所述，一旦确定了AOI，则AOI的亮度改变274以及色度改变276就被确定并且被应用于前景280。在此阶段中，将偏移282应用于前景键信号，然后输出前景键212。

可以以各种各样的方式中的一种或多种来实现各个方面、实现方式和特征，甚至如上所述，不参考特定方式或者仅使用一种方式。例如，可以利用如下方式的一种或多种来实现各个方面、实现方式和特征：方法，装置，用于执行方法、程序或其它指令集合的装置或处理设备，包括程序或指令集合的装置以及计算机可读介质。

装置例如可以包括分立的或集成的硬件、固件和软件。作为一个示例，装置例如可以包括一般称为处理设备的处理器，例如包括微处理器、集成电路或者可编程逻辑设备。作为另一示例，装置可以包括具有用于执行一个或多个处理的指令的一个或多个计算机可读介质。

计算机可读介质例如可以包括软件载体或其它存储设备，例如硬盘、致密磁盘、随机存取存储器(“RAM”)或者只读存储器(“ROM”)。计算机可读介质例如还可以包括经格式化的电磁波编码或发送指令。指令例如可以在硬件、固件、软件或电磁波中。例如可以在操作系统、单独的应用或者二者的组合中找到指令。因此，可以将处理器特征化为例如被配置为执行处理的设备以及包括具有执行处理的指令的计算机可读介质的设备两者。

已描述了多种实现方式。然而，将明白，可以进行各种修改。例如，可以组合、补充、修改或移除不同实现方式的元件，来产生其它实现方式。因此，其它实现方式在所附权利要求的范围内。

Claims

1.一种用于产生色度键的方法，包括：

利用前景键确定合成场景的感兴趣区域(AOI)；

在将所确定AOI中的像素的物理特性考虑在内的情况下来产生色度键。

2.如权利要求1所述的方法，其中，所述确定步骤包括：

将前景键覆盖在背景场景上；并且

标识所述背景场景中落在所述前景键内部的像素。

3.如权利要求1所述的方法，其中，所述产生步骤还包括：

计算所述AOI中的像素的平均亮度；

计算所述前景场景中的采样区域的平均亮度；并且

将所述前景场景中的亮度链接到所述AOI中的亮度。

4.如权利要求1所述的方法，其中，所述产生步骤还包括：考虑所述AOI中的色度信号。

5.如权利要求4所述的方法，其中，所述考虑步骤还包括：

判断常数向量是否被应用于所述AOI中的所有像素；以及

当常数向量被应用于所有像素时，将较小百分比的相同常数向量应用于得到的前景场景。

6.如权利要求4所述的方法，其中，所述考虑步骤还包括：

判断常数向量是否被应用于所述AOI中的所有像素；以及

当常数向量未被应用于所有像素时，不改变得到的前景场景。

7.如权利要求5所述的方法，其中，所述较小百分比包括5-10％。

8.一种用于产生色度键的装置，所述装置包括：

用于利用前景键确定合成场景的感兴趣区域(AOI)的装置(204，207)；以及

用于在将所确定AOI中的像素的物理特性考虑在内的情况下来产生色度键的装置(204，207)。

9.如权利要求8所述的装置，还包括：

用于将前景键覆盖在背景场景上的装置(204，207)；以及

用于标识所述背景场景中落在所述前景键内部的像素的装置(204，207)。

10.如权利要求8所述的装置，还包括：

用于计算所述AOI中的像素的平均亮度的装置(204，207)；

用于计算所述前景场景中的采样区域的平均亮度的装置(204，207)；以及

用于将所述前景场景中的亮度链接到所述AOI中的亮度的装置(204，207)。

11.如权利要求8所述的装置，其中，所述产生装置还包括：用于考虑所述AOI中的色度信号的装置(204，207)。

12.如权利要求11所述的装置，其中，所述考虑装置包括：

用于判断常数向量是否被应用于所述AOI中的所有像素的装置(204，207)；以及

用于在判断出常数向量被应用于所有像素时，将较小百分比的相同常数向量应用于得到的前景场景的装置(204，207)。

13.如权利要求11所述的装置，其中，所述考虑装置包括：

用于在常数向量未被应用于所有像素时，不改变得到的前景场景的装置(124)。

14.如权利要求11所述的装置，其中，所述较小百分比包括5-10％。

15.一种用于产生色度键的装置，包括：

源选择设备(202)，被配置为利用前景键确定合成场景的感兴趣区域(AOI)，并且在将所确定AOI中的像素的物理特性考虑在内的情况下来产生色度键。

16.如权利要求15所述的装置，其中，所述源选择设备包括：

多个输入源(208)；

处理器(204)；

与所述处理器通信的切换逻辑(206)；以及

连接到所述处理器和所述切换逻辑的自适应色度键子系统(207)，所述自适应色度键子系统在所述处理器的控制下进行操作，以针对合成场景有选择地组合所述输入源中的两个或更多个输入源。

17.如权利要求15所述的装置，其中，像素的物理特性包括亮度信号和色度信号。

18.如权利要求17所述的装置，其中，所述源选择设备被配置为计算感兴趣区域AOI中的像素的平均亮度以及前景场景中采样区域的平均亮度，并且通过提供用于将所述前景场景中的亮度链接到所述AOI中的亮度的链接数据，来产生色度键。

19.如权利要求17所述的装置，其中，所述源选择设备被配置为判断常数向量是否被应用于所述AOI中的所有像素，并且当常数向量被应用于所述AOI中的所有像素时，将较小百分比的相同常数向量应用于所述合成场景中得到的前景场景。