CN101517616A

CN101517616A - 使用分类技术来从图像中提取主色

Info

Publication number: CN101517616A
Application number: CNA2007800352494A
Authority: CN
Inventors: M·李; W-Y·马; Z·李; Y·陈
Original assignee: Microsoft Corp
Current assignee: Microsoft Corp
Priority date: 2006-09-21
Filing date: 2007-09-21
Publication date: 2009-08-26
Also published as: CA2660798A1; JP2010504593A; EP2064677A1; EP2064677A4; US20080075360A1; WO2008036941A1; US7809185B2; EP2064677B1

Abstract

提供了一种用于生成检测图像的主色的检测器的方法和系统。主色系统训练检测器将颜色分类为图像的主色。主色系统使用训练图像的集合来训练该检测器。为了训练检测器，主色系统首先标识训练图像的候选主色。主色系统然后提取候选主色的特征。主色系统还输入每一个候选主色的优势度的指示。主色系统然后将候选主色的所提取的特征和优势度的指示用作训练数据来训练检测器检测图像的主色。

Description

使用分类技术来从图像中提取主色

背景

如Google和Overture等许多搜索引擎服务允许对能经由因特网访问的信息进行搜索。这些搜索引擎服务允许用户搜索用户可能感兴趣的显示页面，如网页。在用户提交包含搜索项的搜索请求(即，查询)之后，搜索引擎服务标识可能与这些搜索项相关的网页。为快速标识相关的网页，搜索引擎服务可维护关键词到网页的映射。该映射可以通过“爬寻(crawl)”web(即，万维网)来标识每一网页的关键词来生成。为爬寻web，搜索引擎服务可使用根网页列表来标识能通过这些根网页访问的所有网页。任何特定网页的关键词可使用各种公知信息检索技术来标识，如标识标题行的文字、在网页的元数据中提供的文字、突出显示的文字等等。搜索引擎服务基于网页的关键词与查询的文字匹配得如何来标识可能与搜索请求相关的网页。搜索引擎服务随后将到所标识的网页的链接以基于可以按照其与查询的相关度、流行度、重要性和/或其它度量来确定的排名的顺序显示给用户。

因特网正越来越多地用于搜索和查看图像(例如，照片)。为了支持该用途，商用搜索引擎服务自2005年以来已定位并索引了超过10亿个图像。用于网页图像的索引技术通常以类似网页索引的方式来工作。一旦搜索引擎服务标识了一图像，它就试图从包含该图像的网页上的、该图像周围的文本或从其他网页上引用包含该图像的网页的链接周围的文本中标识与该图像有关的关键词。搜索引擎服务然后创建从这些关键词到该图像的映射。用户然后可以在搜索一图像时提交文本查询。例如，对定位关于老虎的图像感兴趣的用户可提交查询“老虎动物”。搜索引擎服务然后可以在关键词索引中搜索关键词“老虎”和“动物”以便定位相关图像。搜索引擎服务显示每一张相关图像的缩略图作为搜索结果。

为了帮助改进搜索图像，已使用基于内容的图像检索技术。某些基于内容的图像检索技术使用诸如颜色、纹理和锐度等低级特征来表示图像。然而，这些低级特征没有有效地表示图像的语义。某些基于内容的图像检索技术使用诸如主色和图像类型(例如，照片或图形)等中级特征来表示图像。这些中级特征往往提供比低级特征更具语义的信息并由此在搜索图像时更有用。

图像的主色能够由搜索引擎服务以不同的方式用来改善搜索体验。例如，搜索引擎服务可允许用户连同表达所需图像的语义的关键词一起输入主色作为所需图像的视觉特征。由此，查询可由关键词“老虎森林”和主色“绿”组成。作为另一示例，搜索引擎服务可标识匹配查询的关键词的图像并且然后基于其主色来群集所标识的图像。为了便于主色的使用，搜索引擎服务可基于图像的主色来索引其图像。

图像的主色还可在搜索之外的应用中使用。在计算机显示器或电视上显示图像的系统可自动生成围绕每一个图像的遮片(matte)。这些系统可基于主色来为该遮片选择颜色。例如，为该遮片选择的颜色可以是与图像的主色互补的颜色。其他系统在显示图像或视频时生成环境光。这些系统可为该环境光选择基于当前正在显示的图像或视频帧的主色的颜色。

用于标识图像的主色的现有技术通常选择在图像中出现最频繁的颜色或应用某一统计算法。然而，这些当前技术并不能总是将适当的颜色标识为主色。例如，如果一图像中25％的像素是一种颜色而75％的像素是非常相似的颜色(与第一种颜色有很大的不同)，但是不超过5％的像素是任一种相似的颜色，则当前技术可能错误地将25％的像素的颜色选为主色。

概述

提供了一种用于生成检测图像的主色的检测器的方法和系统。主色系统训练检测器将颜色分类为图像的主色。主色系统使用训练图像的集合来训练该检测器。为了训练检测器，主色系统首先标识训练图像的候选主色。主色系统然后提取候选主色的特征。所提取的候选主色的特征中的某一些可基于该候选主色与该图像的特定区域内的颜色之间的差异。主色系统还输入每一个候选主色的优势度的指示。主色系统然后将候选主色的所提取的特征和优势度的指示用作训练数据来训练检测器检测图像的主色。主色系统可基于各种分类技术来训练检测器。一旦训练了检测器，检测器就可由各种应用程序用来标识目标图像的主色。为了标识主色，应用程序使用用于标识训练图像的候选主色的相同的技术来标识目标图像的候选主色。应用程序然后同样使用用于提取训练图像的候选主色的特征的相同的技术来提取候选主色的特征。应用程序然后将检测器应用于每一个所提取的候选主色的特征来生成指示该候选主色对于目标图像的优势度的分数。应用程序然后可将具有最高分数的候选主色选为目标图像的主色。

提供本概述以便以简化的形式介绍将在以下详细描述中进一步描述的一些概念。该概述不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

附图简述

图1是示出一个实施例中的主色系统的各组件的框图。

图2是示出一个实施例中的主色系统的生成检测器组件的处理的流程图。

图3是示出一个实施例中的主色系统的标识候选主色组件的处理的流程图。

图4是示出一个实施例中的主色系统的变换色彩空间组件的处理的流程图。

图5是示出一个实施例中的主色系统的将颜色量化为柱组件的处理的流程图。

图6是示出一个实施例中的主色系统的计算平均色组件的处理的流程图。

图7是示出一个实施例中的主色系统的计算权重组件的处理的流程图。

图8是示出一个实施例中的主色系统的群集颜色组件的处理的流程图。

图9是示出一个实施例中的主色系统的过滤颜色组件的处理的流程图。

图10是示出一个实施例中的主色系统的提取候选主色的特征组件的处理的流程图。

图11是示出一个实施例中的主色系统的计算图像中的差异分布组件的处理的流程图。

图12是示出一个实施例中的主色系统的计算与周围颜色的差异组件的处理的流程图。

图13是示出一个实施例中的主色系统的标识主色组件的处理的流程图。

详细描述

提供了一种用于生成检测图像的主色的检测器的方法和系统。在一个实施例中，主色系统训练检测器将颜色分类为图像的主色。主色系统使用训练图像的集合来训练该检测器。例如，训练图像可以是由搜索引擎服务索引的图像的子集。为了训练检测器，主色系统首先标识训练图像的候选主色。主色系统可使用诸如选择具有最高频率的颜色等用于标识候选主色的常规技术，或者可使用如以下所描述的群集技术。主色系统然后提取候选主色的特征。所提取的候选主色的特征中的某一些可基于该候选主色与该图像的特定区域内的颜色之间的差异。例如，一个提取的特征可基于候选主色与同图像中的关注区域(attention area)相关联的颜色之间的差异。主色系统还输入每一个候选主色的优势度的指示。指示可以是二进制值(即，主导或非主导)、其他离散值(例如，极度、高、正常和低)或连续值(例如，0和1之间的实数值)。优势度的指示可以是来自审阅训练图像并提供其对候选主色的优势度的意见的人的输入。主色系统然后将候选主色的所提取的特征和优势度的指示用作训练数据来训练检测器检测图像的主色。主色系统可基于诸如支持向量机(“SVM”)、自适应增强和神经网络等各种分类技术来训练检测器。一旦训练了检测器，检测器就可由各种应用程序用来标识目标图像的主色。为了标识主色，应用程序使用用于标识训练图像的候选主色的相同的技术来标识目标图像的候选主色。应用程序然后再次使用用于提取训练图像的候选主色的特征的相同的技术来提取候选主色的特征。应用程序然后将检测器应用于每一个所提取的候选主色的特征来生成指示该候选主色对于目标图像的优势度的分数。应用程序然后可将具有最高分数的候选主色选为目标图像的主色。以此方式，可基于从训练数据学习哪些候选主色的特征最能指示颜色的优势度来标识图像的主色。

在一个实施例中，主色系统通过将图像的颜色量化为柱(bin)、计算各柱的代表色、计算各柱的权重、以各权重为因子群集各代表色、并且然后过滤掉权重过低的代表色来标识图像的候选主色。主色系统认为在过滤之后剩余的代表色是图像的候选主色。主色系统首先将图像的颜色转换为大致在知觉上统一的色彩空间，以使得颜色之间的相似性可基于色彩空间中的欧几里得距离。例如，主色系统可以在CIE L^*a^*b色彩空间中表示颜色。在这种情况下，如果图像的颜色在诸如RGB等另一色彩空间中，则主色系统使用本领域内公知的技术来将该图像的颜色变换到CIE L^*a^*b色彩空间。如由以下公式所表示地，主色系统可使用欧几里得距离度量来表示颜色之间的差异：

其中，L、a和b表示CIE L^*a^*b空间中的色彩分量。

在一个实施例中，主色系统将图像的颜色量化为柱以降低标识候选主色的计算复杂度。主色系统基于对色彩分量的量化来标识柱。主色系统可根据以下表来定义各柱：

色彩分量	范围	柱数	柱阈值
色彩分量	范围	柱数	柱阈值	L	0→100	10	10，20，...，90
a	-86.183→98.235	19	-80，-70，...，90	L	0→100	10	10，20，...，90
a	-86.183→98.235	19	-80，-70，...，90	b	-107.865→94.477	21	-100，-90，...，90

由此，主色系统定义了3990个柱(即，10×19×21)。本领域的技术人员可以理解可以使用不同数量的柱和不同的阈值。例如，柱阈值可以以5为间隔(例如，5、10和15)，从而得到大约八倍之多的柱，或者以20为间隔(例如，20、40和60)，从而得到约八分之一多的柱。主色系统将图像的每一个像素的每一种颜色添加到适当的柱。例如，主色系统将颜色(21，101，39)添加到由阈值20、100和-30表示的柱。主色系统然后基于柱中的颜色来计算每一个柱的代表色。主色系统可将柱中的平均色选为该柱的代表色。主色系统还为每一代表色生成一权重，其最初被设置为柱中的颜色总数的百分比。例如，如果图像具有160×160个像素而一个柱具有256个像素，则该柱的代表色的权重可以是.01(即，256/(160×160))。

在一个实施例中，主色系统群集各代表色并将所群集的代表色选为候选主色。主色系统最初认为每一个代表色都是一个代表色的聚类。主色系统连续标识如由公式1的差异度量指示的最相似的代表色对。主色系统然后以各代表色的权重为因子将各代表色组合成单个组合代表色，并且然后将其权重组合成单个组合权重。主色系统可使用线性或非线性加权技术来组合代表色和权重。例如，主色系统可基于以下公式来线性地组合代表色：

C_{n} = \frac{{W_{i}}^{*} C_{i} + {W_{j}}^{*} C_{j}}{W_{i} + W_{j}} - - - (2)

其中C_i表示第i个代表色的色彩分量而W_i表示第i个代表色的权重。主色系统可基于以下公式来线性地组合权重：

W_n＝W_i+W_j (3)

主色系统只要代表色之间的相似性低于阈值就继续群集最相似的代表色的过程。主色系统然后可过滤掉权重低于阈值的代表色以帮助确保仅从少量像素中生成的代表色不被选为候选主色。主色系统可使用固定阈值(例如，小于.05的权重)或动态阈值(例如，过滤掉具有低权重的代表色中的80％或过滤掉具有权重小于最高权重的某一百分比的代表色)。

主色系统提取候选主色的各种特征以表示该颜色的特性。在一个实施例中，主色系统使用27个元素的特征向量来表示候选主色。主色系统生成4个六维特征元素和一个三维特征元素(即，颜色的色彩分量)。主色系统基于候选主色与图像的特定区域内的颜色之间的差异来标识特征元素。图像的区域可包括整个图像、图像的中央区域和图像中的关注区域。对应于这些区域的六维特征元素是根据差异生成的直方图。在生成整个图像的直方图时，主色系统计算候选主色和该图像的每一种颜色之间的差异。主色系统基于该差异来递增适当的直方图柱。直方图柱可以均匀地分布在0和色彩空间中的最大差异之间或者非线性地分布。在递增了对应于图像的每一种颜色的柱之后，主色系统为每一柱计算该柱中的图像的像素总数的百分比并将这些百分比用作六维直方图的值。主色系统以类似的方式生成对应于关注区域和中央区域的直方图。中央区域可包括图像像素中图像中央附近的25％。关注区域可以是使用公知的关注区域(例如，感兴趣的区域)标识技术来标识的区域。详见例如，Ma，Y.F.、Zhang，H.J.的“Contrast-Based Image Attention Analysis by Using Fuzzy Growing(通过使用模糊成长的基于对比度的图像关注分析”，美国加利福尼亚州伯克利市2003年ACM多媒体大会会刊第374-381页。主色系统可选择这些技术给出最高分数的关注区域。

主色系统还提取基于类似于候选主色的颜色和这些相似颜色的相邻颜色之间的差异的六维特征元素。主色系统标识图像中类似于候选主色的颜色。主色系统然后计算该相似的颜色和该图像中的相邻的相似颜色之间的差异。在一个实施例中，主色系统将相邻颜色定义为相似颜色的像素的5×5区域内的像素颜色。主色系统基于相似颜色与其相邻颜色之间的差异来为每一种相似的颜色创建六维直方图。主色系统将直方图转换为百分比。在主色系统为每一种相似的颜色生成百分比直方图之后，它生成所有相似颜色的平均百分比直方图并将该平均直方图用作候选主色的特征元素。

在一个实施例中，主色系统通过如上所述地标识一集合的图像的候选主色并提取候选主色的特征来生成用于训练检测器的训练数据。主色系统然后为每一主色输入该颜色对于其图像的优势度的指示。所提取的特征及其优势度的指示表示训练数据。主色系统然后使用训练数据来训练检测器检测图像的主色。主色系统可使用用于训练分类器的各种技术来训练检测器。检测器可使用自适应增强技术、支持向量机技术、神经网络技术等来训练。在主色系统生成了分类器之后，它可由应用程序用来标识图像的主色，如以上所描述的。

自适应增强是在具有示例的训练数据的集合上运行多次测试的迭代过程。自适应增强将弱学习算法(仅以比偶然性稍好的水平执行的算法)变换成强学习算法(显示低出错率的算法)。弱学习算法可以在训练数据的不同子集上运行。该算法越来越专注于其前任倾向于显示错误的那些示例。该算法校正由早先的弱学习算法所造成的错误。因为其调整其前任的出错率，因此该算法是自适应的。自适应增强组合粗略和适度地不准确的经验法则以创建高性能算法。自适应增强将各独立运行测试的结果组合成单个、非常准确的分类器或排序功能。

支持向量机通过在可能的输入的空间中寻找超曲面来操作。超曲面尝试通过最大化正和负示例中最接近的一个与超曲面之间的距离而将正示例(例如，数据表的特征向量)与负示例(例如，布局表的特征向量)分开。这允许相似于但不同于训练数据的数据的正确的分类。可使用多种技术训练支持向量机。一种技术使用将较大的二次编程问题分解成一系列可被分析求解的较小的二次编程问题的顺序最小优化算法。(请参考http://research.microsoft.com/～jplatt/smo.html上的顺序最小优化。)

神经网络具有三个主要的组件：体系结构、成本函数和搜索算法。体系结构定义将输入和输出相关的功能形式(按照网络拓扑、单元连通度和激活功能)。训练过程是在权重空间中搜索最小化目标函数的一组权重。神经网络可以使用径向基函数(“RBF”)网络并用标准梯度下降作为搜索技术。

图1是示出在一个实施例中的主色系统的各组件的框图。主色系统100包括图像存储110、检测器120、训练检测器组件130、标识主色组件140和生成检测器组件150。图像存储包含主色系统据其生成训练数据的训练图像。检测器由训练检测器组件通过使用由生成检测器组件生成的训练数据来生成。标识主色组件由应用程序用来标识图像的主色。生成检测器组件通过使用标识候选主色组件160、提取候选主色的特征组件170和输入优势度的指示组件180来生成训练数据。标识候选主色组件通过使用将在以下详细描述的变换色彩空间组件161、将颜色量化为柱组件162、计算平均色组件163、计算权重组件164、群集颜色组件165和过滤颜色组件166来标识候选主色。提取候选主色的特征组件通过使用将在以下详细描述的计算图像中的差异分布组件171、计算关注区域中的差异分布组件172、计算中央区域中的差异分布组件173、计算与周围颜色的差异组件174和选择颜色组件175来提取特征。

其上可以实现主色系统的设备可以包括中央处理单元、存储器、输入设备(例如，键盘和定点设备)、输出设备(例如，显示设备)和存储设备(例如，盘驱动器)。物理存储器和存储设备是可以包含实现主色系统的指令和数据结构的计算机可读介质。此外，主色系统的指令、数据结构和模块可被存储或经由诸如通信链路上的信号之类的数据传送介质发送。可以使用各种通信链路来连接该系统的各组件，如因特网、局域网、广域网、点对点拨号连接、蜂窝电话网络等。

主色系统的各实施例可在各种操作环境中实现，这些操作环境包括个人计算机、服务器计算机、多处理器系统、基于微处理器的系统、网络PC、小型机、大型计算机、包括任何上述系统或设备的分布式计算环境等等。

主色系统可以在诸如程序模块等由一个或多个计算机或其他设备执行的计算机可执行指令的通用上下文中描述。一般而言，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。通常，程序模块的功能可以在各个实施例中按需进行组合或分布。例如，标识主色组件可以在与实现生成检测器组件的计算系统分开的计算系统上实现。

图2是示出一个实施例中的主色系统的生成检测器组件的处理的流程图。该组件通过传递得到训练图像、从图像中生成训练数据、并训练检测器检测图像的主色。在框201-205中，该组件循环生成每一个训练图像的训练数据。在框201，该组件选择下一个训练图像。在判定框202，如果已选择了所有训练图像，则该组件在框206处继续，否则该组件在框203处继续。在框203，该组件调用标识候选主色组件来标识所选图像的候选主色。在框204，该组件调用提取候选主色的特征组件来提取所选图像的候选主色的特征。在框205，该组件输入所选图像的候选主色的优势度的指示并且然后循环至框201以选择下一个训练图像。在框206，该组件使用所提取的特征和优势度的指示来训练检测器并且然后完成。

图3是示出一个实施例中的主色系统的标识候选主色组件的处理的流程图。该组件通过传递得到一图像并且标识该图像的候选主色。在框301，该组件调用变换色彩空间组件来将所传递的图像的颜色变换到适当的色彩空间。本领域的技术人员可以理解这是可任选的步骤。主色系统可以使用任何色彩空间和用于该色彩空间的适当的差异度量以使得差异表示知觉上的差异。在框302，该组件调用将颜色量化为柱组件来将所传递的图像的颜色量化为柱。在框303，该组件调用计算平均色组件来计算每一柱的代表色。在框304，该组件调用计算权重组件来计算每一柱或代表色的权重。在框305，该组件调用群集颜色组件来群集各代表色。在框306，该组件调用过滤颜色组件来过滤掉权重过低的代表色。该组件然后返回还未被过滤掉的代表色作为候选主色。

图4是示出一个实施例中的主色系统的变换色彩空间组件的处理的流程图。该组件通过传递得到具有RGB色彩空间中的颜色的图像并将这些颜色变换到CIE L^*a^*b色彩空间。在框401，该组件选择所传递的图像的下一个像素。在判定框402，如果已经选择了所有像素，则该组件返回，否则该组件在框403处继续。在框403，该组件将RGB色彩分量转换为对应的CIE L^*a^*b色彩分量。该组件然后循环至框401以选择所传递的图像的下一个像素。

图5是示出一个实施例中的主色系统的将颜色量化为柱组件的处理的流程图。该组件通过传递得到一图像并且返回包含该图像的颜色的柱。在框501，该组件选择所传递的图像的下一个像素。在判定框502，如果已经选择了所传递的图像的所有像素，则该组件返回柱，否则该组件在框503处继续。在框503-505，该组件基于柱的阈值来量化所选像素的色彩分量。在框506，该组件将所选像素的颜色添加到经量化的分量所标识的柱。该组件然后循环至框501以选择所传递的图像的下一个像素。

图6是示出一个实施例中的主色系统的计算平均色组件的处理的流程图。该组件通过传递得到包含图像的颜色的柱。该组件循环计算每一柱的平均色以及每一柱中的颜色数量的计数。在框601，该组件选择下一个柱。在判定框602，如果已经选择了所有柱，则该组件返回平均色作为代表色，否则该组件在框603处继续。在框603，该组件初始化所选柱中的颜色的每一个分量的累加总计。在框607，该组件初始化所选柱中的颜色数量的计数。在框608-613，该组件累积所选柱中的每一个分量值的总数。在框608，该组件选择所选柱的下一颜色。在判定框609，如果已经选择了所选柱的所有颜色，则该组件在框614处继续，否则该组件在框610处继续。在框610-612，该组件将分量值的总数递增所选颜色的分量值。在框613，该组件递增所选柱中的颜色数量的计数并且然后循环至框608以选择所选柱中的下一种颜色。在框614-616，该组件计算所选柱的平均色的每一个分量的平均值。该组件随后循环至框601以选择下一个柱。

图7是示出一个实施例中的主色系统的计算权重组件的处理的流程图。该组件通过传递得到各柱并将柱的权重计算为该柱中的颜色对于像素总数的百分比。在框701，该组件选择下一个柱。在判定框702，如果已经选择了所有柱，则该组件返回，否则该组件在框703处继续。在框703，该组件计算所选柱的权重并且然后循环至框701以选择下一个柱。

图8是示出一个实施例中的主色系统的群集颜色组件的处理的流程图。该组件通过传递得到各代表色及其权重并且生成由组合色和组合权重表示的相似颜色的聚类。在框801，该组件为每一个代表色创建初始聚类并将聚类的权重设置成该颜色的权重。在框802，该组件选择具有最小差异的聚类的代表色。在判定框803，如果最小差异大于阈值，则该组件返回已被标识为候选主色的聚类的代表色，否则该组件在框804处继续。在框804，该组件组合所选颜色。在框805，该组件组合所选颜色的权重。在框806，该组件丢弃作为聚类的所选颜色并用组合色和权重生成新聚类。该组件随后循环至框802以选择下一种颜色。

图9是示出一个实施例中的主色系统的过滤颜色组件的处理的流程图。该组件通过传递得到候选主色并过滤掉权重过低的候选主色。在框901，该组件选择下一个候选主色。在判定框902，如果已选择所有候选主色，则该组件返回，否则该组件在框903处继续。在判定框903处，如果所选候选主色的权重低于阈值，则该组件在框904处继续，否则该组件在框901处继续以选择下一个候选主色。在框904，该组件丢弃所选候选主色并且然后循环至框901以选择下一个候选主色。

图10是示出一个实施例中的主色系统的提取候选主色的特征组件的处理的流程图。该组件通过传递得到一图像和候选主色并且生成该候选主色的27个元素的特征向量。该27个元素的特征向量包括4个六维直方图和三个色彩分量。在框1001，该组件调用计算图像中的差异分布组件来生成基于该候选主色和整个所传递的图像的颜色之间的差异的直方图。在框1002，该组件调用计算关注区域中的差异分布组件来生成基于该候选主色和所传递的图像的关注区域的颜色之间的差异的直方图。在框1003，该组件调用计算中央区域中的差异分布组件来生成基于该候选主色和所传递的图像的中央区域的颜色之间的差异的直方图。在框1004，该组件调用计算与周围颜色的差异组件来生成表示类似于候选主色的颜色和相邻颜色之间的差异的直方图。在框1005，该组件选择每一个色彩分量作为特征元素。该组件然后返回特征向量。

图11是示出一个实施例中的主色系统的计算图像中的差异分布组件的处理的流程图。该组件通过传递得到一图像和候选主色并生成基于整个所传递的图像的颜色和所传递的候选主色之间差异分布的直方图。在框1101，该组件选择所传递的图像的下一个像素。在判定框1102，如果已经选择了所有像素，则该组件在框1105处继续，否则该组件在框1103处继续。在框1103，该组件计算所选像素的颜色和所传递的候选主色之间的差异。在框1104，该组件递增与所计算的差异相关联直方图柱并且然后循环至框1101以选择所传递的图像的下一个像素。在框1105，该组件计算直方图的每一个柱的百分比。该组件然后返回这些百分比作为所生成的直方图。虽然计算关注区域中的差异分布组件和计算中央区域中的差异分布组件并未单独示出，但它们以类似的方式操作，不同之处在于它们标识关注区域和中央区域并生成基于这些区域而非整个图像的直方图。

图12是示出一个实施例中的主色系统的计算与周围颜色的差异组件的处理的流程图。该组件通过传递得到一图像和候选主色并生成该颜色的直方图。在框1201，该组件选择所传递的图像的下一个像素。在判定框1202，如果已经选择了所有像素，则该组件在框1210处继续，否则该组件在框1203处继续。在框1203，该组件计算所选像素的颜色和所传递的候选主色之间的色差。在判定框1204，如果该差异小于阈值，则该颜色与所传递的候选主色不相似并且该组件循环至框1201以选择下一个像素，否则该组件在框1205处继续。在框1205-1208，该组件循环生成各直方图柱中对于所选像素的颜色与相邻像素的颜色之间的差异的计数。在框1205，该组件选择下一个相邻像素。在判定框1206，如果已经选择了所有相邻像素，则该组件在框1209处继续，否则该组件在框1207处继续。在框1207，该组件计算所选像素的颜色和所选相邻像素的颜色之间的差异。在框1208，该组件基于所计算的差异来递增适当的直方图柱。该组件然后循环至框1205以选择所选像素的下一个相邻像素。在框1209，该组件计算各直方图柱的百分比并且然后循环至框1201以选择所传递的图像的下一个像素。在框1210，该组件计算为每一个相似的像素生成的直方图的百分比的平均值。该组件然后返回平均直方图柱。

图13是示出一个实施例中的主色系统的标识主色组件的处理的流程图。该组件由应用程序调用来确定图像的主色。该组件通过传递得到目标图像并返回主色。在框1301，该组件调用标识候选主色组件来标识目标图像的候选主色。在框1302，该组件调用提取候选主色的特征组件来提取每一个候选主色的特征。在框1303，该组件为每一个候选主色调用由主色系统生成的检测器。该组件传递每一个候选主色的特征并且作为回报接收指示候选主色的优势度的分数。在框1304，该组件选择具有最高分数的候选主色并返回该颜色作为所传递的目标图像的主色。

尽管用对结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述具体特征和动作是作为实现权利要求的示例形式公开的。主色系统可用于标识从视频帧或视频帧序列、照片、计算机生成的图形等得到的图像的主色。因此，本发明只由所附权利要求来限制。

Claims

1.一种在计算系统中用于生成检测图像的主色的检测器的方法，所述方法包括：

提供训练图像的集合(110)；

对于每一个训练图像，

标识所述训练图像的候选主色(160)；

提取所述训练图像的候选主色的特征(170)；以及

输入所述候选主色对所述训练图像的优势度的指示(180)；以及

使用所述候选主色的所提取的特征和优势度的指示来训练检测器检测所述图像的主色(130)。

2.如权利要求1所述的方法，其特征在于，包括：

标识目标图像的候选主色；

提取所述目标图像的候选主色的特征；以及

通过将所述检测器应用于所提取的所述目标图像的特征来检测所述目标图像的主色。

3.如权利要求1所述的方法，其特征在于，所述标识所述训练图像的候选主色包括：

将所述训练图像的颜色量化为柱；

计算所述柱的平均色；

计算所述柱的权重；以及

以所述柱的权重为因子群集所述柱的平均色，所群集的平均色表示所述候选主色。

4.如权利要求3所述的方法，其特征在于，包括基于所群集的平均色的权重来过滤所群集的平均色。

5.如权利要求3所述的方法，其特征在于，所述群集包括为差异最小的颜色对连续创建组合色。

6.如权利要求5所述的方法，其特征在于，所述组合色是所述颜色对的加权组合并且具有从所述颜色对的权重得到的组合权重。

7.如权利要求1所述的方法，其特征在于，所述提取所述训练图像的候选主色的特征包括提取基于候选主色和所述训练图像的颜色之间的差异的特征。

8.如权利要求7所述的方法，其特征在于，所述差异基于选自整个区域、中央区域和关注区域的训练图像的区域。

9.如权利要求1所述的方法，其特征在于，提取所述训练图像的候选主色的特征包括提取基于所述训练图像中类似于候选主色的相似的颜色和具有所述相似的颜色的所述像素的相邻像素的颜色之间的差异的特征。

10.如权利要求1所述的方法

其特征在于，所述标识所述训练图像的候选主色包括：

将所述训练图像的颜色量化为柱；

计算所述柱的平均色；

计算所述柱的权重；以及

以所述柱的权重为因子群集所述柱的平均色，所群集的平均色表示所述候选主色；并且

所述提取所述训练图像的候选主色的特征包括提取基于候选主色和所述训练图像的颜色之间的差异的特征；并且包括：

标识目标图像的候选主色；

提取所述目标图像的特征；以及

11.一种生成检测图像的主色的检测器的计算系统，包括：

标识图像的候选主色的标识候选主色组件(160)；

提取图像的候选主色的特征的提取候选主色的特征组件(170)；

输入所标识的候选颜色的优势度的指示的输入优势度的指示组件(180)；以及

训练组件(130)，所述训练组件(130)使用所提取的训练图像的候选主色的特征和所述训练图像的候选主色的优势度的指示来训练检测器检测图像的主色。

12.如权利要求11所述的计算系统，其特征在于，所述训练组件使用所述标识候选主色组件来标识所述训练图像的候选主色、使用所述提取候选主色的特征组件来提取所述训练图像的候选主色的特征、以及使用所述输入优势度的指示组件来输入所述训练图像的候选主色的优势度的指示。

13.如权利要求11所述的计算系统，其特征在于，包括：

通过将所述检测器应用于所提取的目标图像的特征来标识所述目标图像的主色的标识主色组件。

14.如权利要求11所述的计算系统，其特征在于，包括：

标识主色组件，所述标识主色组件通过以下动作来标识目标图像的主色：

使用所述标识候选主色组件来标识所述目标图像的候选主色；

使用所述提取候选主色的特征组件来提取所述目标图像的候选主色的特征；以及

通过使用所提取的所述目标图像的候选主色的特征来使用所述检测器来检测所述目标图像的主色。

15.如权利要求11所述的计算系统，其特征在于，所述标识候选主色组件

将所述训练图像的颜色量化为柱；

计算所述柱的平均色；以及

群集所述柱的平均色，所群集的平均色表示所述候选主色。

16.如权利要求11所述的计算系统，其特征在于，所述提取候选主色的特征组件提取基于候选主色和所述训练图像的颜色之间的差异的特征。

17.如权利要求11所述的方法，其特征在于，所述差异基于选自整个区域、中央区域和关注区域的训练图像的区域。

18.一种包含用于控制计算系统通过一种方法来标识目标图像的主色的指令的计算机可读介质，所述方法包括：

标识所述目标图像的候选主色(160)；

提取所述目标图像的候选主色的特征(170)；以及

通过将检测器应用于所提取的所述候选主色的特征来检测所述目标图像的主色(120)，所述检测器通过以下动作来生成：

标识训练图像的候选主色；

提取所述训练图像的候选主色的特征；

接收所述训练图像的候选主色的优势度的指示；以及

使用所述训练图像的候选主色的所提取的特征和优势度的指示来训练所述检测器检测图像的主色。

19.如权利要求18所述的计算机可读介质，其特征在于，所述标识候选主色包括群集图像的相似的颜色。

20.如权利要求19所述的计算机可读介质，其特征在于，所述提取所述候选主色的特征包括提取基于候选主色和图像的颜色之间的差异的特征。