CN101655983B - 主颜色提取装置和方法 - Google Patents

Abstract

本发明提供主颜色提取装置和方法，装置包括：颜色直方图生成装置，当输入图像时，根据预定的颜色空间生成关于图像的颜色直方图；颜色类别划分装置，对颜色直方图中关于各个颜色的局部极大值点编号并传播给关于相应颜色的除局部极大值点外的邻接点，以将关于每个颜色的所有直方图点划分为同一类别；颜色类别合并装置，基于各个类别的邻接点在颜色直方图中的直方图值为最大的邻接值，将确定进行合并的两个或两个以上的类别进行重新编号，以将两个或两个以上的类别划分为同一类别；以及主颜色确定装置，在合并后的各个类别中将对应的像素数目占对应于颜色直方图中的所有颜色的像素的比例大于预定阈值的类别的颜色确定为主颜色。

Description

主颜色提取装置和方法

技术领域

本发明涉及图像/视频的分割、检索和分析领域，更具体地，涉及一种在特定颜色空间中的直方图上对图像进行主颜色提取的主颜色提取装置和方法。

背景技术

可以人为视觉上容易理解以非常低的分辨率示出的图像/视频的内容及其细节的这种现象表示大的均匀着色区域是图像/视频分析的必要特征。这些特征通常被描述为主颜色或主颜色区域。主颜色(dominant color，简称为DC)被限定为一组类似的颜色，这组相似颜色对应的像素在图像或视频分割(的特定区域)中占有相当大的比例。DC提取可用于许多应用中，诸如图像分割、视频(当时的)分割、图像/视频检索等。

所谓图像或者视频片断中的某一主颜色指的是一簇相近的颜色，或者说是颜色空间中的一个连续的范围，其中，这些颜色对应的像素在输入的图像或者视频片段的所有像素中占有较大的比例，其比例大于某一设定的阈值。

根据上述定义，主颜色提取的首要问题是如何将输入的所有颜色分为若干类，或者说根据输入像素在颜色空间中的分布，将整个颜色空间划分为若干个区域。这可以看作是一个颜色直方图中的聚类问题。

目前，已对DC提取技术进行了广泛的研究。在现有技术中，采用的聚类方法包括全局峰值点(相对阈值法)、局部峰值点(固定范围法)、预先模型训练、K均值、在线K均值、期望最大化、增量期望最大化、广义Lloyd算法、均值移动等等。从应用的角度来看，现有的这些技术可以分别两类：一类是预先对主颜色的分布特性有足够的了解，根据先验知识构造主颜色的“模型”，然后在主颜色提取过程中使用此“模型”；另一类是不需要预先知晓主颜色的分布特性，采用统一的方案便可以提取各种类型的主颜色。

在D.Zhong和S.-F.Chang的“Real-time view recognition andevent detection for sports video”，Journal of Visual Communication-and Image Representation，vol.15，no.3，pp.330-347，2004中，利用拍摄于不同场地条件的网球比赛视频，用K均值算法学习得到若干个网球场地主颜色的模型。对一个待处理的网球视频，通过用各个模型分别与视频的初始部分进行匹配以选择出适合此视频的主颜色模型。

在L.-Y.Duan和M.Xu等人的“Semantic Shot Classification inSports Video，Proc.SPIE Storage and Retrieval for Media Databases”，pp.300-313，2003中，采用高斯混合模型(Gaussian Mixture Model)来描述足球视频中场地主颜色在直方图中的分布，并采用在线K均值算法来训练高斯混合模型，这样，主颜色对应的高斯模型就会由于比重较大而一直被保留下来。

在A.Ekin和A.M.Tekalp等人的“Automatic soccer videoanalysis and summarization”，IEEE Trans，Image Processing，vol.12，no.7，pp.796-807，2003中，首先在一维的色度(Hue)直方图上搜索最大值，然后以此为中心，向左右分别搜索，找到频度值小于最大值一定比例的位置。左右两位置之间的颜色被认为是足球比赛视频中的场地主颜色。

在L.Xie和P.Xu等人的“Structure analysis of soccer video withdomain knowledge and hidden Markov models，Pattern RecognitionLetters”，vol.25，no.7，pp.767-775，2004中，足球视频场地主颜色提取也是在一维的色度(Hue)直方图上进行的，其认为主颜色在色度直方图上符合正态分布，用从比赛开始阶段提取的样本学习正态分布的参数，从而提取出主颜色。

在B.Han和Y.Hu等人的“Enhanced Sports Video Shot BoundaryDetection Based on Middle Level Features and a Unified Model”，IEEETrans.Consumer Electronics，vol.53，no.3，pp.1168-1176，2007中，通过大量统计得到足球视频中场地主颜色在色度-饱和度-亮度(Hue-Saturation-Value)空间中的分布特性，包括在各个颜色分量上的分布范围和分布的离散程度。根据这些特性，通过在各一维直方图上依次筛选确定主颜色的范围。

以上是第一类DC提取技术，由于这些技术都需要足够的关于主颜色分布的先验知识，或者强烈依赖于某些关于主颜色在直方图中分布的假设，所以它们仅能针对某一特定的已知类别的图像或视频来使用。

在L.Wang和Y.Zeng等人的“Automatic extraction of semanticcolors in sports video，IEEE Int.Conf.Acoustic，Speech，and SignalProcessing”，2004和刘扬、黄庆明等人的自适应高斯混合模型球场检测算法及其在体育视频分析中的应用，计算机研究与发展，vol.43，no.7，pp.1207-1215，2006中，它们采用高斯混合模型来描述体育视频中的主颜色在直方图中的分布，并采用期望最大化(ExpectationMaximization)或增量期望最大化(Incremental ExpectationMaximization)方法来对颜色进行聚类，但是这两种方法存在缺点，它们都要求各个主颜色在直方图中的分布满足高斯模型或高斯混合模型的假设；高斯混合模型中高斯模型的数目很难选取，过大会导致主颜色划分过细、过小会导致主颜色与非主颜色混淆，并且计算复杂度很高。

在林通、张宏江等人的“镜头内容分析及其在视频检索中的应用”，软件学报，vol.13，no.4，pp.1-10，2002中，对每帧图像，在色度-饱和度-亮度(Hue-Saturation-Value)直方图中找到所有重要的局部最大值点。对每个最大值点，把以此为中心，以3个量化单位为直径的球内的颜色视为一个主颜色。此方法的主要缺点为：主颜色范围在颜色空间中的半径是此方法的重要参数，对不同的主颜色不尽相同，很难找到一个针对各种视频都很好的参数；并且该方法将局部最大值点作为主颜色的类中心，这要求主颜色在直方图中的分布必须满足中心频度最高的假设。

在Y.Deng和C.Kenney等人的“Peer group filtering andperceptual color quantization”，in Proc.IEEE Int.Symp.Circuits Syst.，vol.4，1999，pp.21-24和Y.Deng以及B.S.Manjunath等人的“AnEfficient Color Representation for Image Retrieval”，IEEE Trans.Image Processing，vol.10，no.1，pp.140-147，2001中，首先根据图像(或其某一区域)中的颜色空间分布来估计颜色的类别数目，然后从颜色的矢量量化角度出发，用广义Lloyd算法(Generalized LloydAlgorithm)将所有颜色划分为上述数目个类别，最后将距离小于某一特定阈值的类别合并。此方法的主要缺点为：准确的颜色类别数目估计难以实现；广义Lloyd算法以最小化全局量化误差为准则，这导致出现频度高的颜色空间区域分割过度(为解决此问题，算法采用了粗糙的类别合并方案)，而出现频度低的颜色空间区域分割不足；计算复杂度很高。

在D.Comaniciu和P.Meer的“Mean Shift：a robust approachtoward feature space analysis”，IEEE Trans.Pattern Analysis andMachine Intelligence，vol.24，no.5，2002.pp.603-619和L.-Y.Duan以及M.Xu等人的Nonparametric color characterization using meanshift，Proc.ACM Int.Conf.Multimedia，2003，pp.243-246中，在颜色直方图中对各个不同的颜色值进行均值移动(Mean Shift)处理，这样，具有相同的均值移动终点的颜色就被划为相同的颜色类别。改变均值移动算法的窗口大小，会改变主颜色聚类的结果。此方法的主要缺点为：均值移动算法的窗口大小与主颜色提取结果紧密相关，难以设置适用于各种图像的最优参数；均值移动算法容易陷入局部最优，因此对颜色直方图中的噪声、即直方图的不平滑十分敏感；对各个颜色都进行迭代的均值移动计算，复杂度很高。

可以看出，与第一类方法相比，第二类方法虽然具有通用性，可以应用于各种不同类别的图像或视频，但是，现有的各种技术在应用中仍存在不足之处。

发明内容

为了解决现有技术中的各种问题，本发明提供了一种主颜色提取方法和装置，其通过检测直方图中的所有局部峰然后分别向周围不断扩张的方法对所有颜色值进行聚类，并在对直方图中各颜色按频度值从大到小顺序的扫描过程中，对相邻的颜色类别进行适当的合并，从而根据各个颜色类别所对应的像素所占的比例分别做出是否为主颜色的判断。

根据本发明的一个方面，提供了一种主颜色提取装置，其包括：颜色直方图生成装置，用于当输入图像时，根据预定的颜色空间，生成关于输入的图像的颜色直方图；颜色类别划分装置，用于对颜色直方图中关于各个颜色的局部极大值点进行编号，并将每个编号分别同时迭代地传播给关于相应颜色的除局部极大值点外的邻接点，以将关于每个颜色的所有直方图点划分为同一类别；颜色类别合并装置，用于基于各个类别的邻接点在颜色直方图中的直方图值为最大的邻接值，将确定进行合并的两个或两个以上的类别进行重新编号，以将两个或两个以上的类别划分为同一类别；以及主颜色确定装置，用于在合并后的各个类别中，将对应的像素数目占对应于颜色直方图中的所有颜色的像素的比例大于预定阈值的类别的颜色确定为主颜色。

其中，当在颜色直方图中，局部极大值点之一具有同为局部极大值点的邻接点时，颜色类别划分装置可以找出与局部极大值点之一直接邻接的局部极大值点和间隔有其他局部极大值点的局部极大值点，并为这些局部极大值点分配共同的编号，并且从多个局部极大值点开始按照从近及远的顺序分别将编号传播给颜色的邻接点，从而将具有相同的编号的所有直方图点划分为同一类。

当一个直方图点没有被编号时，如果一个直方图点的邻接点的值都不大于一个直方图点的值，或者一个直方图点的邻接点的值大于一个直方图点的值但一个直方图点的邻接点没有编号，则颜色类别划分装置不对一个直方图点执行任何操作。

可选地，当一个直方图点没有被编号时，如果一个直方图点的邻接点的值大于一个直方图点的值以及一个直方图点的邻接点具有编号，并且邻接点唯一且邻接点的编号唯一，则颜色类别划分装置将邻接点的编号分配给一个直方图点。而当一个直方图点已经被编号时，颜色类别划分装置不再为直方图点分配其他编号。

另外，可选地，当一个直方图点没有被编号时，如果一个直方图点的邻接点的值大于一个直方图点的值以及一个直方图点的邻接点具有编号，但是邻接点不唯一或邻接点的编号不唯一，则颜色类别划分装置选择邻接点的编号中的一个分配给一个直方图点。

在颜色类别合并装置中可以包括：平均颜色计算装置，用于计算邻接类别中的每个类别内大于邻接值的所有直方图点所对应的像素的平均颜色；以及邻接类别合并确定装置，用于在平均颜色之差大于人眼易视觉区分的色差阈值的情况下，确定不将邻接类别合并为同一类。此外，在颜色类别合并装置中，当确定将邻接类别合并为同一类时，邻接类别合并确定装置按照各个邻接类别对应的邻接值从大到小的顺序执行邻接类别的合并。

可选地，邻接类别合并确定装置还可以用于在邻接值小于取决于每个邻接类别内的直方图点的分布的阈值的情况下，确定不将邻接类别合并为同一类。而且，邻接点确定装置还用于在存在分别属于两个类别且为邻接点的两个直方图点的情况下，将两个类别确定为邻接类别并且将两个直方图点中的较小值的直方图点确定为两个类别的邻接点。

另外，根据本发明的主颜色提取装置还可以包括：邻接点确定装置，用于将在预定的颜色空间中距离小于预定值的两个直方图点确定为邻接点。在本发明中，预定的颜色空间至少包括CIE LAB空间

根据本发明的另一个方面，提供了一种主颜色提取方法，其包括以下步骤：当输入图像时，根据预定的颜色空间，生成关于输入的图像的颜色直方图；对颜色直方图中关于各个颜色的局部极大值点进行编号，并将每个编号分别同时迭代地传播给关于相应颜色的除局部极大值点外的邻接点，以将关于每个颜色的所有直方图点划分为同一类别；基于各个类别的邻接点在颜色直方图中的直方图值为最大的邻接值，将确定进行合并的两个或两个以上的类别进行重新编号，以将两个或两个以上的类别划分为同一类别；以及在合并后的各个类别中，将对应的像素数目占对应于颜色直方图中的所有颜色的像素的比例大于预定阈值的类别的颜色确定为主颜色。

因而，由于本发明并不依赖于在特定颜色空间中的分布假设，所以可应用在不同颜色空间，适合于各种图像、视频类型的应用。另外，由于本发明引入了对相邻颜色类进行适当合并的方案，所以具有对颜色直方图中噪声(非平滑性)的鲁棒性。此外，由于本发明在邻接颜色类合并时考虑了两类平均颜色间的距离，所以颜色分类更加符合人对主颜色的理解，并且通过调节生成直方图所用的量化步长参数，本发明可以达到在颜色分辨细致程度与计算速度之间的折中。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是根据本发明的主颜色提取装置的框图；

图2是根据本发明的主颜色提取方法的流程图；

图3是根据本发明实施例的主颜色提取处理的流程图；

图4是根据本发明实施例的颜色类别划分(图3的S302和S304)过程的流程图；

图5是根据本发明实施例的颜色类别合并(图3的S306和S308)过程的流程图；

图6是根据本发明实施例的千岛湖场景的示图；

图7是根据本发明实施例的类别合并处理的流程图；

图8是通过本发明对体育视频画面进行处理后得到的结果的示图；以及

图9是通过本发明对颜色区域进行分割后得到的结果的示图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

本发明的DC提取方案是以千岛湖算法为基础的。这种无参数方案既考虑到了颜色的分布情况还考虑到了颜色的相似性，从而能够更好的研究主颜色的各种特征。在本发明中，在颜色直方图中的各种颜色首先经由局部极大值点编号和编号传播处理而加以分类。然后，将这些极大值点作为湖中的小岛，看作当湖中水位下降时，一些小岛就会被合并起来，从而使本发明能够足以应对在颜色直方图中出现的噪声(粗糙)。最后，对应于足够大比例像素的每个类别就被提取出来作为主要颜色。

图1是根据本发明的主颜色提取装置100的框图。如图1所示，主颜色提取装置100包括：颜色直方图生成装置102，用于当输入图像时，根据预定的颜色空间，生成关于输入的图像的颜色直方图；颜色类别划分装置104，用于对颜色直方图中关于各个颜色的局部极大值点进行编号，并将每个编号分别同时迭代地传播给关于相应颜色的除局部极大值点外的邻接点，以将关于每个颜色的所有直方图点划分为同一类别；颜色类别合并装置106，用于基于各个类别的邻接点在颜色直方图中的直方图值为最大的邻接值，将确定进行合并的两个或两个以上的类别进行重新编号，以将两个或两个以上的类别划分为同一类别；以及主颜色确定装置108，用于在合并后的各个类别中，将对应的像素数目占对应于颜色直方图中的所有颜色的像素的比例大于预定阈值的类别的颜色确定为主颜色。

其中，当在颜色直方图中，局部极大值点之一具有同为局部极大值点的邻接点时，颜色类别划分装置104可以找出与局部极大值点之一直接邻接的局部极大值点和间隔有其他局部极大值点的局部极大值点，并为这些局部极大值点分配共同的编号，并且从多个局部极大值点开始按照从近及远的顺序分别将编号传播给颜色的邻接点，从而将具有相同的编号的所有直方图点划分为同一类。

当一个直方图点没有被编号时，如果一个直方图点的邻接点的值都不大于一个直方图点的值，或者一个直方图点的邻接点的值大于一个直方图点的值但一个直方图点的邻接点没有编号，则颜色类别划分装置104不对一个直方图点执行任何操作。

可选地，当一个直方图点没有被编号时，如果一个直方图点的邻接点的值大于一个直方图点的值以及一个直方图点的邻接点具有编号，并且邻接点唯一且邻接点的编号唯一，则颜色类别划分装置104将邻接点的编号分配给一个直方图点。而当一个直方图点已经被编号时，颜色类别划分装置104不再为直方图点分配其他编号。

另外，可选地，当一个直方图点没有被编号时，如果一个直方图点的邻接点的值大于一个直方图点的值以及一个直方图点的邻接点具有编号，但是邻接点不唯一或邻接点的编号不唯一，则颜色类别划分装置104选择邻接点的编号中的一个分配给一个直方图点。

在颜色类别合并装置104中可以包括：平均颜色计算装置，用于计算邻接类别中的每个类别内大于邻接值的所有直方图点所对应的像素的平均颜色；以及邻接类别合并确定装置，用于在平均颜色之差大于人眼易视觉区分的色差阈值的情况下，确定不将邻接类别合并为同一类。此外，在颜色类别合并装置104中，当确定将邻接类别合并为同一类时，邻接类别合并确定装置按照各个邻接类别对应的邻接值从大到小的顺序执行邻接类别的合并。

此外，根据本发明的主颜色提取装置108还包括：邻接点确定装置，用于将在预定的颜色空间中距离小于预定值的两个直方图点确定为邻接点。而且，邻接点确定装置还用于在存在分别属于两个类别且为邻接点的两个直方图点的情况下，将两个类别确定为邻接类别并且将两个直方图点中的较小值的直方图点确定为两个类别的邻接点。

图2是根据本发明的主颜色提取方法的流程图。如图9所示，该方法包括以下步骤：

S202，当输入图像时，根据预定的颜色空间，生成关于输入的图像的颜色直方图；

S204，对颜色直方图中关于各个颜色的局部极大值点进行编号，并将每个编号分别同时迭代地传播给关于相应颜色的除局部极大值点外的邻接点，以将关于每个颜色的所有直方图点划分为同一类别；

S206，基于各个类别的邻接点在颜色直方图中的直方图值为最大的邻接值，将确定进行合并的两个或两个以上的类别进行重新编号，以将两个或两个以上的类别划分为同一类别；以及

S208，在合并后的各个类别中，将对应的像素数目占对应于颜色直方图中的所有颜色的像素的比例大于预定阈值的类别的颜色确定为主颜色。

应了解，本发明是在特定的颜色空间(为了感觉上更加统一，最好是CIE(国际光学协会)LAB空间)中的直方图上进行的。对于各种不同的目标应用，这些直方图的分辨率都是可以调整的。当然，分辨率越高精度也就越高，而分辨率越低所需的处理时间也就降低了。应注意，对于低分辨率的图像来说，直方图的分辨率不应太大才能避免直方图过于稀疏。

此外，在本发明中，关键点在于将所有的颜色分成多个类别。然后，对于每个类别，如果落入其中的像素比例大于预定阈值，那么就将这个类别看作主颜色。

为了能够更加直观的了解本发明，接下来以千岛湖为例来对本发明进行详细描述。

应了解，在某种特定的距离准则下，若颜色空间中两点之间的距离小于特定的阈值，则说这两点“邻接”。而颜色空间中与一个点邻接的所有点的集合，构成此点的“邻域”。另外，对颜色空间中的一点，如果它的值大于等于其邻域中的任何点，则它是一个“局部极大值”。另外，假设A和B为颜色空间中的两类，若存在点a和b，a点属于A类，b点属于B类，并且a和b邻接，则说类A和B“邻接”；如果a点的值和b点的值相等，则它们皆为A类和B类的“邻接点”，否则它们之中只有值较小的点是A类和B类的“邻接点”；所有这样的邻接点构成A类和B类的邻接点集合。

图3是根据本发明实施例的主颜色提取处理的流程图。如图3所示，其中，颜色直方图是整个处理的输入，而所获得的颜色类别是其输出。在图3中主要包括了四个步骤：S302，极大值编号；S304，极大值编号传播；S306，邻接值搜索；以及S308类别合并。

应了解，图3中的步骤S302和S304对应于在图1中的颜色类别划分装置104中所执行的处理以及图2中的步骤S204，而步骤S306和S308对应于在图1中的颜色类别合并装置108中所执行的处理以及图2中的步骤S206。

在步骤S302，首先找到在直方图中的所有局部极大值点并且为每个局部极大值点分配一个唯一的标号。对于一个直方图点x来说，如果满足以下的表达式(1)，那么这个直方图点x就是局部极大值点。

$\mathrm{HT}\left(x\right)\≥\mathrm{HT}\left(y\right),\∀y\∈\mathrm{NB}\left(x\right)---\left(1\right)$

其中，HT表示直方图中各个直方图点的直方图值，以及NB表示邻域。

应了解，在直方图中可以存在多个点邻接且同为局部极大值点的情况，这时就需要从这些点原来的编号中选取一个作为它们共同的新编号。

在步骤S304中，通过迭代传播所有极大值点的标号并将具有相同标号的直方图点作为一个类别来对输入的多种颜色进行分类。

然后，在步骤S306中，找到每两个邻接类别的邻接值。假设存在两个邻接类别Δ和Ω，那么它们的邻接关系(JT)通过如下的表达式(2)来定义：

$\⇒x\∈\text{JT}(\mathrm{\Δ},\mathrm{\Ω})$                              (2)

其中，x和y表示分别属于两个邻接类别Δ和Ω的两个直方图点。

接下来，按以下表达式(3)来限定邻接值(CV)：

CV(Δ，Ω)＝max[HT(x)|x∈JT(Δ，Ω)]           (3)

在步骤S308中，使用以上计算得到的邻接值，就可以在直方图值扫描处理中将一些邻接的类别进行合并。

接下来将对以上的各个步骤进行详细描述。图4是根据本发明实施例的颜色类别划分(图3的S302和S304)过程的流程图。

应了解，对于任一个尚未具有编号的点，若其邻域中不存在值比此点值大的点，或者存在值比此点值大的点但具有更大值的点都不具有编号，则其状态不变；若其邻域中存在值比此点值大且具有编号的点，且这样的点唯一或者这些点的编号唯一，则将此编号赋予这个尚未编号的点；以及若其邻域中存在值比此点值大且具有编号的点，且具这样的点不唯一且它们的编号不唯一，则在这些编号中选择一个赋予这个尚未编号的点。

具体地，在图4所示的处理中，在直方图值大于零的每个直方图点都被加上编号之前，迭代执行编号传播处理。接下来描述一个周期的处理。

应了解，对于满足以下表达式(4)的两个直方图点x和y来说，使LB(y)＝LB(x)；

[LB(x)≠Φ]∧[LB(y)＝Φ]∧

[y∈NB(x)]∧[HT(y)<HT(x)](4)

其中，LB表示各个直方图点的编号，以及Φ表示没有编号。

在某些情况下，假设对于没有编号的直方图点y来说，存在一个以上具有编号并且直方图值大于直方图点y的直方图值的临界点，那么就选择其中直方图值最大的直方图点的编号来分配给直方图点y。

LB(y)＝LB{argmax[HT(x)|x满足表达式(4)]}    (5)

因此，通过以上处理，就可以将编号从各个极大值点传播给直方图中的非极大值点。现在，我们以非极大值点的角度来进行考虑。假定一个直方图点具有指向两个不同极大值点的两个上升路径，那么由于不同极大值点的编号是同时传播的，所以较接近直方图点的那个极大值点将首先到达。因此，本发明寻找的是对于每个直方图点来说距局部极大值点最短的上升路径，从而看出，本发明考虑到了颜色分布和颜色相似度两个方面。

通过图4所示的处理，已将所有的输入图像进行分类，但是还存在以下问题，即，高分辨率的直方图一般都不是很平滑的，所以，可能存在多个局部极大值点，这就会使各个直方图点被划分的过细。为了解决上面这些问题，就需要对一些邻接的类别进行适当的合并。接下来通过图5所示的处理来描述颜色类别合并过程。

图5是根据本发明实施例的颜色类别合并(图3的S306和S308)过程的流程图，图6是根据本发明实施例的千岛湖场景的示图，以及图7是根据本发明实施例的类别合并处理的流程图。以下将结合图5～图7对颜色类别合并处理进行详细描述。

颜色类别合并的一个观点来自于图6所示的千岛湖场景。在千岛湖中，各个小岛是各个山的顶点。虽然一些小岛彼此隔离，但是它们可能属于同一座山。如果直方图是二维的颜色空间(仅为实例，并非限制直方图为二维)，那么通过图4所示处理获得的类别就好像那些小岛一样的类别。而通过图5的处理就可以获得就好像小山一样的类别。

如图5所示，包括以下步骤：

S502，对每两个邻接的类，找到其邻接点中的最大值，作为它们的邻接值；

S504，按照频度值从大到小的顺序，用直方图中所有的点生成一个序列；

S506，依次取序列中的每个值，考察其是否为某些类的邻接值；若是，考察对应的类是否应合并，如果应该合并，则从它们原来的编号中选取一个作为共同的新编号；以及

S508，编号给出分类结果，即所有具有相同编号的点划分为同一类。

其中，考察对应的类是否应合并的方法为：对两个邻接的类，分别计算类内的值大于等于当前考察值的所有点对应的像素的平均颜色；如果这两个类的平均颜色在某种特定的距离准则下间距大于特定的阈值，则它们不应合并，而对两个邻接的类，如果它们的邻接值小于由它们类内的值的分布所决定的特定阈值，则它们不应合并。除上述两种情况之外的邻接颜色类就要合并。

如图6所示，当水位高到只有山顶才可见时，我们无法了解一些山顶是否对应于同一座山。随着湖中水位的降低，一些小岛就变成相连的了，并且这样的连接就表示它们是属于同一座山的。

因此，在本发明中，对应地，以降序方式来扫描直方图中的所有值。对于正在扫描的任何邻接值来说，将考虑将邻接的类别合并到一起。

具体地，类别合并过程如图7所示。首先以降序方式对所有的直方图值进行分类。然后在整个类别合并过程中，将这些直方图值逐一作为水位。

对于直方图值h>0的情况，通过以下表达式(6)，使具有HT(x)＝h的每个直方图点x用于修改对应类别的平均颜色(MC)。

然后，如果h是一些类别的邻接值，则将这些类别进行合并。如果满足了以下的两个表达式(7)和(8)，那么就对这两个类别进行合并。

‖MC(Δ，h)-MC(Ω，h)‖≤T_D            (7)

CV(Δ，Ω)≥T_p.

min{max[HT(x)|x∈Δ]，max[HT(x)|x∈Ω]}    (8)

在表达式7中，‖‖表示归一化的距离。另外，其中，阈值T_D是人眼可以清楚识别的色差。以及T_P∈[0.5，0.75]。

应了解，以上的两个表达式指的是，如果两个类别的平均颜色足够类似并且它们的邻接值与它们的极大值点相比并不是特别小，那么这两个类别就可以进行合并。

当两个类别被合并时，它们与其他类别之间的邻接关系可以被合并后得到的新类别继承下去，所以新的类别还可以与邻接类别进一步的合并。

当扫描完所有的邻接值时，将考虑合并所有可能的邻接值。因此，当迭代完成之后，这个合并步骤也就结束了。

应了解，主颜色的提取通常用于体育视频分析，接下来以图8和图9为例来对通过本发明处理后的结果进行描述。

图8是通过本发明对运动视频画面进行处理后得到的结果的示图。在图8中，(a)是足球场的示图，(b)是网球场的示图，(c)是排球场的示图，(d)是羽毛球场的示图，(e)是垒球场的示图，(f)是篮球场的示图，(g)是跳水场景的示图，以及(h)是花样滑冰场景的示图。

如图8所示，对于所有的图像，分辨率都是720×576，以64×64×64的CIE Lab间隔进行DC提取，阈值设定为：TP＝0.1，TH＝0.5，TD＝0.07。每张图像的处理时间为60-300ms(Intel Core21.86GHz CPU，单线程)。

为了清楚地显示结果，提取的DC像素使用了根据通过如下表达式的平均颜色获得的颜色标记，其中，两个结合值均为8位量化(8-bit quantization)的255。

L＝L_MC，a＝a_BOUND-a_MC，b＝b_BOUND-b_MC(9)

可以看出，球场/球馆/游泳池的DC被精确提取。应注意，在(c)中，由于不稳定的照明条件，蓝绿色场地颜色被聚类为两种DC。在(f)和(g)中，各DC也是从背景和表面区域提取的。

在图8中所示的结果中，具有每个所提取主颜色的远视图像被标以不同的颜色。

图9是通过本发明对颜色区域进行分割后得到的结果的示图。如图9所示，示出了对用于图像压缩的一些标准测试图像的主颜色区域分割结果，其中，提取的主颜色区域的边界(超过100像素)被标记为白色。

可以通过对通过图像分割各个区域进行主颜色提取来获得主颜色区域。为了更好展示主颜色提取性能时，在整个图像上进行主颜色提取，然后将相同主颜色的各个邻接成分都看作是主颜色区域。

在图9中，对于所有的图像，分辨率都是512×512，在64×128×128的CIE LAB空间中进行DC提取，并且阈值设定为：T_P＝0，T_H＝0.5，T_D＝0.07。每张图像的处理时间为100-2000ms(Intel Core21.86GHz CPU，单线程)。具有重要语义的DC区域获得良好的分割。应注意，有复杂纹理的区域，例如，第一张图像的树枝和最后一张图像的头发，在没有任何空间信息的情况下，难以得到完整的分割。

因此，根据本发明，主要致力于颜色分类和类别合并，因此，不但考虑到了颜色分布，还考虑到了颜色的相似度。另外，这种无参数方法适合于许多计算机视觉的应用中。对于特定的任务，本发明可以用于具有不同量化步长的颜色空间中。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种主颜色提取装置，其特征在于，包括：

颜色直方图生成装置，用于当输入图像时，根据预定的颜色空间，生成关于输入的所述图像的颜色直方图；

颜色类别划分装置，用于对所述颜色直方图中关于各个颜色的局部极大值点进行编号，并将每个所述编号分别同时迭代地传播给关于相应颜色的除所述局部极大值点外的邻接点，以将关于每个颜色的所有直方图点划分为同一类别；

颜色类别合并装置，用于基于各个类别的邻接点在所述颜色直方图中的直方图值为最大的邻接值，将确定进行合并的两个或两个以上的类别进行重新编号，以将所述两个或两个以上的类别划分为同一类别；以及

主颜色确定装置，用于在合并后的所述各个类别中，将对应的像素数目占对应于所述颜色直方图中的所有颜色的像素的比例大于预定阈值的类别的颜色确定为主颜色；

还包括：邻接点确定装置，用于将在所述预定的颜色空间中距离小于预定值的两个直方图点确定为邻接点。

2.根据权利要求1所述的主颜色提取装置，其特征在于，当在所述颜色直方图中，所述局部极大值点之一具有同为局部极大值点的邻接点时，

所述颜色类别划分装置找出与所述局部极大值点之一直接邻接的局部极大值点和间隔有其他局部极大值点的局部极大值点，并为这些局部极大值点分配共同的编号，并且从所述多个局部极大值点开始按照由近及远的顺序分别将所述编号传播给所述颜色的邻接点，从而将具有相同的所述编号的所有直方图点划分为同一类别。

3.根据权利要求1所述的主颜色提取装置，其特征在于，当一个直方图点没有被编号时，如果所述一个直方图点的邻接点的值都不大于所述一个直方图点的值，或者所述一个直方图点的邻接点的值大于所述一个直方图点的值但所述一个直方图点的邻接点没有编号，则所述颜色类别划分装置不对所述一个直方图点执行任何操作。

4.根据权利要求1所述的主颜色提取装置，其特征在于，当一个直方图点没有被编号时，如果所述一个直方图点的邻接点的值大于所述一个直方图点的值以及所述一个直方图点的邻接点具有编号，并且所述邻接点唯一或所述邻接点的编号唯一，则所述颜色类别划分装置将所述邻接点的编号分配给所述一个直方图点。

5.根据权利要求1所述的主颜色提取装置，其特征在于，当一个直方图点没有被编号时，如果所述一个直方图点的邻接点的值大于所述一个直方图点的值以及所述一个直方图点的邻接点具有编号，但是所述邻接点不唯一且所述邻接点的编号不唯一，则所述颜色类别划分装置选择所述邻接点的编号中的一个分配给所述一个直方图点。

6.根据权利要求1所述的主颜色提取装置，其特征在于，当一个直方图点已经被编号时，所述颜色类别划分装置不再为所述直方图点分配其他编号。

7.根据权利要求1所述的主颜色提取装置，其特征在于，在所述颜色类别合并装置中包括：平均颜色计算装置，用于计算邻接类别中的每个类别内大于所述邻接值的所有直方图点所对应的像素的平均颜色；以及邻接类别合并确定装置，用于在所述平均颜色之差大于人眼易视觉区分的色差阈值的情况下，确定不将所述邻接类别合并为所述同一类别。

8.根据权利要求7所述的主颜色提取装置，其特征在于，在所述颜色类别合并装置中，当确定将所述邻接类别合并为所述同一类别时，所述邻接类别合并确定装置按照各个邻接类别对应的邻接值从大到小的顺序执行所述邻接类别的合并。

9.根据权利要求7所述的主颜色提取装置，其特征在于，所述邻接类别合并确定装置还用于在所述邻接值小于取决于每个所述邻接类别内的直方图点的分布的阈值的情况下，确定不将所述邻接类别合并为所述同一类别。

10.根据权利要求1所述的主颜色提取装置，其特征在于，所述邻接点确定装置还用于在存在分别属于两个类别且为邻接点的两个直方图点的情况下，将所述两个类别确定为邻接类别并且将所述两个直方图点中的较小值的直方图点确定为所述两个类别的邻接点。

11.根据权利要求1至9中任一项所述的主颜色提取装置，其特征在于，所述预定的颜色空间为CIE LAB空间。

12.一种主颜色提取方法，其特征在于，包括以下步骤：

当输入图像时，根据预定的颜色空间，生成关于输入的所述图像的颜色直方图；

对所述颜色直方图中关于各个颜色的局部极大值点进行编号，并将每个所述编号分别同时迭代地传播给关于相应颜色的除所述局部极大值点外的邻接点，以将关于每个颜色的所有直方图点划分为同一类别；

基于各个类别的邻接点在所述颜色直方图中的直方图值为最大的邻接值，将确定进行合并的两个或两个以上的类别进行重新编号，以将所述两个或两个以上的类别划分为同一类别；以及

在合并后的所述各个类别中，将对应的像素数目占对应于所述颜色直方图中的所有颜色的像素的比例大于预定阈值的类别的颜色确定为主颜色；

其中，将在所述预定的颜色空间中距离小于预定值的两个直方图点确定为所述邻接点。

Images