CN101911120A

CN101911120A - 提取色彩

Info

Publication number: CN101911120A
Application number: CN2009801024443A
Authority: CN
Inventors: M·A·彼得斯
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2008-01-17
Filing date: 2009-01-12
Publication date: 2010-12-08
Also published as: US20100278421A1; WO2009090592A1; EP2245595A1; JP2011510391A

Abstract

一种处理图像信号的方法包括：接收包括一系列的帧的图像信号；对于该系列的帧，计算多个主色；选择该图像信号的帧的子集；对于该子集的帧，计算多个主色；将该子集的帧的主色与该系列的帧的主色进行比较；和确定与该系列的帧中的最接近主色具有最大差的该子集的帧中的主色。

Description

提取色彩

技术领域

本发明涉及处理图像信号的方法和系统。

背景技术

人们通常观看电视并参与包括可视内容的诸如观看DVD的其他活动。用户对于观看这样的视频内容的体验将在未来改变。第一迹象例如在Philip(飞利浦)的电视产品中已是看得见的，其中添加灯来增强观看电视的体验。这种增加更多的设备和附加的功能来增强诸如观看电影之类的娱乐体验的过程正在增长。风险投资企业(venture)“amBX”(例如，参见www.ambx.com)正在准备接下来的步骤，以便通过与原始的音频/可视内容一起播放脚本(script)来甚至进一步增强诸如观看电视的体验，其中脚本包含能够使用合适的增强系统给用户提供的效果描述。用户的娱乐空间中附加的设备给视频内容提供了强化作用。

例如，美国专利申请公开US2002169817披露了真实世界表现系统，其包括一组设备，每个设备被安排为提供一个或多个真实世界参数，例如音频和视觉特性。至少一个设备被安排为以标记语言的指令集合的形式来接收真实世界描述，并且根据该描述来操作这些设备。以该语言表述的普通项(通用术语)由本地服务器或分布式浏览器来解释，以便操作这些设备来向用户再现真实世界体验。这样，传送用于与传送原始内容的电视一起来控制其他设备的脚本。

然而，需要创作将用于在附加设备中产生附加效果的脚本。为了辅助该创作过程，许多应用(程序)使用内容分析来自动化否则将不得不人工完成的处理。对于例如amBX脚本制作的内容创建，受过良好训练的创作者逐帧仔细检查电影(影片)并选择他们希望启动/停止诸如一个或多个灯的显示的附加效果的特定帧。这些照明效果具有创作者使之适合于视频序列中的某物(背景，爆炸，目标)的色彩。

内容分析能够为脚本创作者提供极大的益处。例如，镜头切换(shot cut)能够自动地被检测，这及时给创作者提供了其中这些灯有可能被改变的位置。对于镜头中的每个帧或抽样的帧的选择，能够提取主色(dominant color)，从中能够推荐将与特定的镜头或时间间隔中的色彩相匹配的一组色彩。后者的一个示例可以是MPEG 7主色描述符，这为帧给出了高达8种色彩。也可以使用用于选择色彩的其他方法，例如，直方图。这些主色给创作者提供非常好的建议，尤其具有高发生率的那些建议。然而，时常，不是如此明显的色彩可以是非常显著的且能够用于创建令观看者大为惊奇的效果。然而，当前不可能检测到这些令人感兴趣的色彩来给脚本创作者建议这些色彩。

发明内容

因此，本发明的目的是改善现有技术。

根据本发明的第一方面，提供一种处理图像信号的方法，包括：接收包括一系列的帧的图像信号；对于该系列的帧，计算多个主色；选择该图像信号的帧的子集；对于该子集的帧，计算多个主色；将该子集的帧的主色与该系列的帧的主色进行比较；和确定与该系列的帧中的最接近主色具有最大差的该子集的帧中的主色。

根据本发明的第二方面，提供一种用于处理图像信号的系统，包括：接收器，用于接收包括一系列的帧的图像信号；和处理器，用于：对于该系列的帧，计算多个主色；选择该图像信号的帧的子集；对于该子集的帧，计算多个主色；将该子集的帧的主色与该系列的帧的主色进行比较；和确定与该系列的帧中的最接近主色具有最大差的该子集的帧中的主色。

根据本发明的第三方面，提供在计算机可读媒体上的计算机程序产品，用于处理图像信号，该产品包括指令，用于：接收包括一系列的帧的图像信号；对于该系列的帧，计算多个主色；选择该图像信号的帧的子集；对于该子集的帧，计算多个主色；将该子集的帧的主色与该系列的帧的主色进行比较；和确定与该系列的帧中的最接近主色具有最大差的该子集的帧中的主色。

归功于本发明，有可能自动地从图像信号中提取创作者感兴趣的一序列的色彩，同时超出最主要色彩的明显选择。该方法和系统为给定时间间隔的视频序列提供在那个间隔中的帧的色彩与整个视频序列的色彩之间的比较，并找到在该时间间隔中与整个序列中的主色最不同的一种或多种色彩。这些色彩是值得注意(显著)的色彩，并且这些色彩与该序列的主色越是不同，则这些色彩对于内容创作者例如在amBX脚本创作中创建令人惊异的效果就越是令人感兴趣的。

在一个实施例中，该图像信号进一步包括包含彩色信息的数据，并且计算多个主色的步骤包括访问该数据。这通过使用例如以MPEG7彩色信息的形式存在于该图像信号中的元数据提供了这些色彩的处理的自动化。对此的备选方案是：计算多个主色的步骤包括执行这些帧的彩色含量的分析。存在各种方法来例如通过使用各个色彩的像素计数从图像帧中提取(一种或多种)色彩。

有益地，每一种主色包括3维色空间的表示，并且确定与该系列的帧中最接近主色具有最大差的该子集的帧中的主色的步骤包括针对每种主色求解欧几里德距离。

优选地，该方法进一步包括：生成一个值，该值涉及所确定的与该系列的帧中的最接近主色具有最大色差的该子集的帧中的主色；并定义该差的范围。除了识别一序列的连续帧内显著的色彩之外，例如，该方法和系统还能够被配置为对与该主色的差的范围赋值，该值能够用于自动化的创作过程中。例如，如果黄色被检测为帧序列中最显著的色彩，则与距最近主色的欧几里德距离有关的值能够被返回为：该色彩黄色在该序列中是多显著的。

附图说明

现在，将仅利用示例、参考附图来描述本发明的实施例，其中：

图1是图像帧的示意图，

图2是用于图1的图像帧的色彩和色值的表格，

图3是图像信号的示意图，

图4是图像信号的另一示意图，

图5是处理图像信号的方法的流程图，

图6是表示主色和色彩比较的一对表格，和

图7是用于处理图像信号的系统的示意图。

具体实施方式

为了阐明图像帧内色彩的问题，在图1中示出图像帧10的示例。该帧10显示在素(普通)背景上的西红柿。由于以黑白来再生该图像，所以标注该帧10内的三个原色，即红色、蓝色和绿色。图2概述了该帧10内的色彩，其具有各自的色值。这些色值被表示成整个帧10的百分比，但可以是绝对值，诸如像素的数量，或被归一化为1。如能够从该表格中所看到的，图1的帧10的2％是黑色的，其由该帧10内的红绿分量的轮廓(outline)构成。该图中所示的帧10已被故意地保持为简单的，以展示该图像帧10内色彩和色值的概念。图2的表格中所示的值能够通过执行该帧10内彩色含量的分析来计算，或可以从与该帧10的内容有关的单独数据中进行确定。

图3示出图像信号12，其包括一系列14的帧10，并且也包括包含有关每个各自帧10的彩色信息的数据16。该系列14的帧10构成视频序列。因为使用例如每秒25帧来产生视频是公知的，所以该系列14的帧10对于诸如电影的视频内容将包括极大数量的帧10。虽然只有小部分在图3中示出，但是该系统的原理对于任何序列的图像帧10都是起作用的。

需要为整个视频序列14确定代表性的一组主色。一个良好的示例将是MPEG 7主色描述符的平均值。MPEG 7主色描述符对于帧10给出高达8种代表性的色彩，并且其被包含在数据16中。用于多个帧10的这样一组色彩的平均值能够进行计算。也能够使用用于表示该系列14中的主色的其他方法，例如直方图。能够将该视频序列14的平均值计算为直方图随时间的平均值。这产生类似于图2所示的表格，但是在这种情况中，该表格代表在该系列14的帧10内的所有帧10上的色彩和色值。

图2中的表格将这些色彩显示为被标注为“红”、“绿”等的常规色彩。实际上，该帧10中的每个像素具有RGB值，其有效地定义色空间(具有红、绿、蓝的三个轴)中的点。在确定帧10内像素的色彩时，如果每个RGB元素在0-255数值范围上，则在该帧10内具有可能的256³种不同的色彩。为了针对该帧10内的色彩返回切合实际的(sensible)结果，使用例如将0-255的每个刻度分为16个子范围0-15、16-31等的RGB值的范围。这允许每个像素被放置在某一范围内，并减少不同色彩的数量。将该范围的实际色彩取为中间值，这提供了足够好的落入该范围内的所有像素的近似值。该帧10内的主色随后被认为是在其之内具有最多像素的那些范围。

这不是能够为图像帧计算主色的唯一方式。上面的这种方法能够被认为是基于构造图像帧内的不同色彩的直方图，其中每个直方图代表预先确定的色彩范围。主色确定也能够仅返回该图像帧内n个最多数量的色彩作为RGB值，其中n可能是8。这是基于这些像素的实际RGB值确定主色，并且仅寻找n个最常出现的RGB值。

一旦已为整个系列14的帧10计算了主色，则进行这些帧10的子集18的选择，如图4所示。这种选择能够根据各种不同的标准来进行。该选择可以是用户定义的，或能够基于图像信号12内的某些内部标准的自动检测。例如，由该子集18所定义的特定时间间隔能够是电影内的单个镜头。上面针对整个系列14所概述的相同的处理现在能够用于该子集18上，以确定这个子集18的帧10内的主色(及其色值)。一旦这已完成了，则有可能将那个时间间隔18的主色与整个序列14的主色进行比较。如果这是基于MPEG 7主色描述符的使用，则对于该时间间隔18将具有多达8种色彩，并且对于整个序列14将具有多达8种色彩。

对于特定间隔18的每一种主色，则有可能计算距整个序列14的最接近主色的距离。这个距离度量理想地在感知上统一的色空间例如LUV中进行计算。为了保证切合实际的结果，以这样的方式来比较距离是有意义的，即该距离对于人类感知是有意义的。这个比较处理的最终结果是：对于该间隔中的每个主色，具有至该系列14的平均主色集合中的每种色彩的距离。接下来，确定该子集18中的哪种主色至该序列14的平均色彩集合中的其最接近主色具有最大距离。这是最显著的色彩，因为这是感知上距该序列14的平均色彩最远的。这将在下面结合图6针对特定的示例进行解释。

在图5中概述了处理图像信号12以便相对于整个内容信号12来确定帧序列18中最显著的色彩的方法。该方法包括：在步骤S1，接收包括一系列14的帧10的图像信号12；在步骤S2，对于该系列14的帧10，计算多个主色；在步骤S3，选择该图像信号12的帧10的子集18；在步骤S4，对于该子集18的帧10，计算多个主色；在步骤S5，将该子集18的帧10的主色与该系列14的帧10的主色进行比较；以及最后，在步骤S6，确定与该系列14的帧10中最接近主色具有最大差的该子集18的帧10中的主色。

图6显示了两个样本表格，表格6a表示如在图5的步骤S2中所计算的图像信号12的整个序列14的帧10的平均主色及其％值、以及如在步骤S4中所计算的信号12的子集18的帧10的主色及其％值。底部表格6b显示了表格6a的两组主色的比较。在表格6a中，整个系列14的8个主色是MDC值(电影主色)，并且该子集18的8个主色是SDC值(镜头主色)。

如果seq₁、...、seq_n是代表整个视频序列14的色彩且c₁、...、c_m是代表特定时间间隔的色彩，则我们寻找下式中使c_index最优化的色彩：

Max(i：1≤i≤m：Min(j：1≤j≤n：distance(c_i，seq_j)))公式(1)

其中该距离是感知上统一的距离度量，例如，LUV色空间中的欧几里德距离。而且，公式(1)的值也是这个色彩有多显著的指示。从c_index至整个序列的代表性色彩的距离越大，则这个色彩就可能越加令人感兴趣。

表格6a的RGB值被变换为LUV值，并且这些LUV值的欧几里德距离显示在表格6b中。有效地，表格6a中的每种色彩是色空间中的点，并且表格6b中的值代表在每对点之间所画的直线的长度。整个电影中的8种主色与镜头中的8种色彩进行比较，给出了64个不同对的点。表格6b的底端行显示每一种镜头色彩的最小值，该最小值代表距最接近的电影主色的距离。能够明白：SDC8距最接近电影色彩具有最大距离，即，最小值行中的54.73值。这是将利用图5的步骤S6来确定的色彩。

图像信号12的处理的方法也能够应用于更加灵活的环境，例如，应用于推拉窗。视频序列能够具有大部分，其出现在完全不同于其他部分的环境中，并且该处理能够被配置，以致于将具有特定间隔中的色彩与该视频的一部分的色彩之间的比较，而不是与整个视频进行的比较。另一实施例是将推拉窗与仍然包含第一窗的较大推拉窗进行比较。这强调了在小刻度上、甚至在镜头内是显著的色彩。随着该距离度量被定义，该处理将仅返回那些是显著不同的色彩。这提供了滤掉不是那么令人感兴趣的色彩并且仅聚焦在其中最突出的色彩最有可能是所关心的时刻(time instance)的自动化方法。

图7示意地阐明用于处理图像信号12的系统。该系统包括接收器20和处理器22。该系统能够被配置为专用的硬件块，或能够以计算机程序产品来实施，其包括用于完成图5中所包含的方法的指令。视频信号12由该处理器22进行分析。在块24，检测该信号12内的镜头切换。电影领域中的镜头切换在使用例如从内部镜头到外部镜头的照相机变化时是有效的。镜头切换检测是众所周知的，并且例如描述在US5642294中。同时，并行地，在块26，针对主色，分析信号12的帧10。对于每个镜头，在块28，使用被指定为在该镜头内的所有(或子抽样集合)的帧10的主色来确定总体的主色。类似地，该处理器22被安排为在块30确定整个电影的主色。对于每个镜头，在块32，将这些主色与电影主色进行比较，以识别哪一个是距平均值(和该距离的范围)最远的。

上面的描述涉及主色的使用。类似于色彩直方图的其他描述符也能够被用作确定在该信号12的一个或多个帧内的色彩的色值的一种方式。以类似的方式，镜头和镜头切换的使用只是选择该信号12内帧10的子集18的一个示例。对于诸如amBX的技术，每个镜头具有稳定的色彩是有益的。然而，显然上面的技术能够用于任何类型的间隔。因此，镜头切换检测在此只是作为一个示例。如上所述，不将镜头或间隔的主色与整个电影的主色进行比较，而是有可能使用推拉窗来将这个推拉窗中的色彩与较大的重叠窗进行比较。

Claims

1.一种处理图像信号(12)的方法，包括：

接收包括一系列(14)的帧(10)的图像信号(12)；

对于该系列(14)的帧(12)，计算多个主色；

选择该图像信号(12)的帧(10)的子集(18)；

对于该子集(18)的帧(10)，计算多个主色；

将该子集(18)的帧(10)的主色与该系列(14)的帧(10)的主色进行比较；和

确定与该系列(14)的帧(10)中的最接近主色具有最大差的该子集(18)的帧(10)中的主色。

2.根据权利要求1的方法，其中该图像信号(12)进一步包括包含彩色信息的数据(16)，并且计算多个主色的步骤包括访问该数据(16)。

3.根据权利要求1的方法，其中计算多个主色的步骤包括执行帧(10)的彩色含量的分析。

4.根据权利要求1、2或3的方法，其中每种主色包括3维色空间的表示。

5.根据权利要求4的方法，其中确定与该系列(14)的帧(10)中的最接近主色具有最大差的该子集(18)的帧(10)中的主色的步骤包括求解每种主色的欧几里德距离。

6.根据任何一项在前权利要求的方法，进一步包括：

生成一值，该值涉及所确定的与该系列(14)的帧(10)中的最接近主色具有最大差的该子集(18)的帧(10)中的主色；和

定义该差的范围。

7.一种用于处理图像信号(12)的系统，包括：

接收器(20)，用于接收包括一系列(14)的帧(10)的图像信号；和

处理器(22)，用于：

对于该系列(14)的帧(10)，计算多个主色；

选择该图像信号的帧(10)的子集(18)；

对于该子集(18)的帧(10)，计算多个主色；

8.根据权利要求7的系统，其中该图像信号进一步包括包含彩色信息的数据(16)，并且该处理器(22)用于在计算多个主色时访问该数据(16)。

9.根据权利要求7的系统，其中该处理器(22)用于在计算主色时执行帧(10)的彩色含量的分析。

10.根据权利要求7、8或9的系统，其中每种主色包括3维色空间的表示。

11.根据权利要求10的系统，其中该处理器(22)用于：在确定与该系列(14)的帧(10)中的最接近主色具有最大差的该子集(18)的帧(10)中的主色时，求解每种主色的欧几里德距离。

12.根据权利要求7-11之中任何一项权利要求的系统，其中该处理器(22)进一步用于：

生成一值，该值涉及所确定的与该系列(14)的帧(10)中的最接近主色具有最大差的该子集(18)的帧(10)中的主色，和

定义该差的范围。

13.一种计算机可读媒体上的计算机程序产品，用于处理图像信号，该产品包括指令，用于：

接收包括一系列(14)的帧(10)的图像信号；

对于该系列(14)的帧(10)，计算多个主色；

选择该图像信号的帧(10)的子集(18)；

对于该子集(18)的帧(10)，计算多个主色；

14.根据权利要求13的计算机程序产品，其中该图像信号进一步包括包含彩色信息的数据(16)，并且用于计算多个主色的指令包括用于访问该数据(16)的指令。

15.根据权利要求13的计算机程序产品，其中用于计算多个主色的指令包括用于执行帧(10)的彩色含量的分析的指令。

16.根据权利要求13、14或15的计算机程序产品，其中每种主色包括3维色空间的表示。

17.根据权利要求16的计算机程序产品，其中用于确定与该系列(14)的帧(10)中的最接近主色具有最大差的该子集(18)的帧(10)中的主色的指令包括用于求解每种主色的欧几里德距离的指令。

18.根据权利要求13-17之中任何一项权利要求的计算机程序产品，进一步包括指令，用于：

定义该差的范围。