CN102257495A - 使用颜色布局相关性对图像搜索结果进行交互地排列 - Google Patents

Abstract

本发明描述了用于使用颜色布局的对图像搜索结果进行交互地排列的细化方法的各种示例性用户界面、方法和计算机程序产品。方法包括接收用于图像搜索的文本查询，基于文本查询和来自兴趣颜色布局的信息在结构化呈现中呈现图像搜索结果。过程基于选色板或颜色布局说明方案来创建可由用户选择的图像搜索结果。随后基于选色板和颜色布局说明方案，根据来自图像搜索结果的颜色布局和来自用户的兴趣颜色布局之间的相似度分数，过程随后通过对结果进行排序来对图像搜索结果进行排列。

Description

使用颜色布局相关性对图像搜索结果进行交互地排列

技术领域

本主题一般涉及图像搜索，更具体地，涉及通过与图像视觉信息的交互来细化图像搜索结果。

背景技术

商业图像搜索引擎的快速发展允许用户仅通过通常在搜索引擎上键入文本查询就能轻松地检索大量的图像。然而，现有的搜索引擎存在的问题是搜索结果仅使用与文本查询相关联的图像周围的文本信息的相关性。现有的搜索引擎在提供搜索结果方面不使用图像视觉信息。因此，正在进行努力通过利用包括有用的图像视觉信息的图像内容来改进图像搜索结果。

数字图像内容的增长已经使得浏览大量的搜索结果更富挑战性。为了帮助检索图像，已经尝试了用于图像搜索结果细化的技术。通常用来帮助结果细化的两种常规技术是基于内容的重新排列和意图搜索(IntentSearch)。

基于内容的重新排列可依靠图像聚类和分类来提供一组图像的高级描述。虽然基于内容的重新排列使用视觉信息对搜索结果进行重新排序，但其并未考虑用户的意图。另一方面，意图搜索提供界面以允许用户指示感兴趣的一些图像，并自动地试图猜测用户的意图以对图像搜索结果进行重新排序。然而，基于所选图像猜测用户的意图是有些困难。这样，与图像视觉信息一同使用的这些常规的方法不能真正地获得用户对于图像的意图。

因此，期望的是通过用户与图像视觉信息的交互来找到细化图像搜索结果的方法。

发明内容

提供本发明内容以便以简化形式介绍将在以下的具体实施方式中进一步描述的一些概念。本发明内容并不旨在标识出所要求保护主题的关键特征或必要特征，也不旨在用于限定所要求保护主题的范围。

鉴于以上原因，本发明描述了用于通过将颜色布局相关性作为图像检索的一部分来对图像搜索结果进行交互地排列的各种示例性用户界面、方法和计算机程序产品。使用颜色布局相关性方法来对图像搜索结果进行交互地排列包括基于用户提交的文本查询和来自用户的用于兴趣颜色布局的信息，在结构化呈现中呈现图像搜索结果。过程允许从选色板或颜色说明方案中进行选择的交互的设计。接下来，相似度评估对兴趣颜色布局和对应于搜索结果中全部图像的颜色布局之间的相似度进行比较。过程随后根据已计算的相似度分数对图像搜索结果进行排序。

这样，本发明允许用户与图像搜索结果进行交互，从而获得用户的意图。因此，使用颜色布局相关性过程对图像搜索结果进行交互地排列使用颜色布局相关性方法，以使得用户更为方便地指定感兴趣的颜色布局而无需任何特殊的知识或技能。

附图说明

参考附图说明详细描述。参考附图来描述各教学示例。在附图中，附图标记中最左边的数字标识该附图标记首次出现的附图。在不同附图中使用相同的附图标记指示相似或相同的项。

图1是用于使用颜色布局相关性应用程序来对图像搜索结果进行交互地排列的示例性系统的框图。

图2是示出用于使用图1的颜色布局相关性对图像搜索结果进行交互地排列的示例性过程的框图。

图3是示出用于使用颜色布局相关性对图像搜索结果进行交互地排列的示例性过程的概览流程图。

图4是示出用于兴趣颜色布局的用户输入的示例性过程的流程图。

图5是用于使用颜色布局相关性对图像搜索结果进行交互地排列的示例性用户界面的框图。

图6是示出用于使用颜色布局相关性对图像搜索结果进行交互地排列的示例性颜色布局提取的框图。

图7是示出用于使用颜色布局相关性对图像搜索结果进行交互地排列的示例性颜色布局相似度评估的框图。

图8是示出用于使用颜色布局相关性对图像搜索结果进行交互地排列的示例性自由涂写的框图。

图9是示出用于使用颜色布局相关性对图像搜索结果进行交互地排列的示例性颜色布局排列结果的框图。

图10是示出用于使用颜色布局相关性对图像搜索结果进行交互地排列的示例性操作系统的框图。

具体实施方式

概览

本发明致力于用于为图像检索使用颜色布局相关性对图像搜索结果进行交互地排列的各种示例性用户界面、方法和计算机程序产品。存在通过使用文本查询来处理图像搜索的常规的图像检索技术。这些技术通常关注文本查询而不利用图像视觉信息，并且不涉及用户的意图。这样，使用此处描述的颜色布局相关性对图像搜索结果进行交互地排列允许用户通过利用丰富且有用的图像视觉信息以及将对兴趣颜色布局的用户输入纳入对图像搜索结果进行细化的过程中来搜索图像。

一方面，使用颜色布局相关性过程对图像搜索结果进行交互地排列使用了颜色布局提取、兴趣颜色布局说明和布局排列器。在从因特网爬寻到图像之后为每个图像执行颜色布局提取。此外，过程接收对于兴趣颜色布局的用户输入，并基于用户的意图对图像搜索结果进行重新排序。布局排列器包括兴趣颜色布局和图像颜色布局之间的相似度评估。具体而言，图像的颜色布局包括颜色外观兼容性、空间分布一致性和上下文布局相似度。

另一方面，使用了使用颜色布局相关性对图像搜索结果进行交互地排列的过程提供交互的用户界面。用户界面允许用户轻松地涂写以指示兴趣颜色布局。此外，用户界面允许用户挑选感兴趣的颜色并指定颜色布局。

所述的使用颜色布局相关性方法对图像搜索结果进行交互地排列在图像检索期间为用户在便利性、灵活性和适应性方面提供了优势。此外，由于特征提取的计算成本低，使用所述的颜色布局相关性方法来对图像搜索结果进行交互地排列提供了低存储需求、所建议的布局相似度和颜色布局的代表性以及效率。作为示例而非限制，使用此处描述的颜色布局相关性方法对图像搜索结果进行交互地排列可应用于许多上下文和环境中。例如，使用颜色布局相关性方法对图像搜索结果进行交互地排列可被实现以支持通过网络搜索、搜索引擎、网络规模的应用程序、企业网络、内容网站、内容博客、多媒体等的图像检索。

示例性系统

图1是用于使用颜色布局相关性对图像搜索结果进行交互地排列以检索图像的示例性系统100的概览框图。系统100包括客户机侧和服务器侧上的某些组件的体系结构。或者，这些组件可驻留在多个其他位置。例如，图1的全部组件可驻留在客户机侧或服务器侧。此外，所示组件中的两个或更多可组合以在单个位置处形成单个组件。

示出位于客户机侧的计算设备102。适合与系统100一同使用的计算设备102包括但不限于，个人计算机、膝上型计算机、台式计算机、工作站计算机、个人数字助理、蜂窝式电话、智能电话等。客户机侧的计算设备102可包括监视器104或显示器以显示作为图像检索的一部分的用于使用颜色布局相关性对图像搜索结果进行交互地排列的图像结果。

系统100可包括将使用颜色布局相关性对图像搜索结果进行交互地排列作为，例如但不限于，工具、方法、解算机、软件、应用程序、服务、包括对因特网的访问的技术资源、网络浏览器的一部分、商业或小型搜索引擎的一部分等。此处，使用颜色布局相关性对图像搜索结果进行交互地排列被实现为应用程序106。在其他实现中，使用颜色布局相关性对图像搜索结果进行交互地排列被提供为服务或商业搜索引擎的一部分。

术语“使用颜色布局相关性应用程序106对图像搜索结果进行交互地排列”可与以下术语相互交换地使用，对图像搜索细化进行交互地排列、颜色布局相关性或对图像搜索结果进行交互性地排列。

颜色布局相关性应用程序106使得用户108在搜索图像方面更为便利。用于图像检索的传统的技术仅解决文本查询。在现实中，图像通常与文本、丰富且有用的图像视觉信息相关联。如上所述，这些传统的技术关注文本查询而不利用图像视觉信息，并且不涉及用户的意图。这已经成为图像检索在满足用户意图方面存在的问题。这些传统的方法处理每个文本查询，而不考虑用户的意图。存在试图猜测用户的意图的其他常规的技术，但不是很有效或准确。

在一个实现中，颜色布局相关性应用程序106的初始输入是由用户108提交的特定的文本查询110。由用户108提交的特定的文本查询110是基于用户的意图或目标。例如，用户108可期望查找某些所返回的图像以帮助其工作。用户108可以是期望用于演示、海报设计、幻灯片等的某些搜索图像的解说员。

系统100的服务器侧包括可位于服务器114上的颜色布局提取112。可存在位于服务器侧的一个或多个服务器、数据库或处理器。在服务器侧，从因特网116爬寻得到图像，图像附有元数据。图像可包含附连的文本。例如，搜索引擎可将文本附连在图像上，即微软实况图像搜索(MS Live Image Search)。颜色布局提取112包括离线图像元数据提取，其包括在从因特网爬寻到图像之后为每个图像执行颜色布局提取112。

如上所述，颜色布局提取112包括图像、文本和颜色布局。颜色布局提取112提供若干属性：低存储、代表性和效率。低存储是网络规模的应用程序的主要需求之一。该需求源自大量的图像以及预先计算相关联的特征以避免在线计算的需要。代表性涉及已提取的特征如何表述空间布局特征。此外，通过所建议的布局相似度评估方案，使用该特征可轻松地区分不同的颜色布局。效率将计算特征提取的成本保持得尽可能低。这在处理网络规模数量的图像时是期望的。

一旦用户108键入特定的文本查询110，则从服务器114返回图像搜索结果，服务器114与现有的图像搜索引擎(即，微软实况图像搜索)类似地运行。颜色布局提取112不提取文本，但文本提取存在于当前的图像搜索引擎。颜色布局相关性应用程序106的实现包括但不限于，通过使用搜索引擎、企业网络、内容网站、内容博客等在因特网116上进行网络搜索的图像检索。在通过颜色布局相关性应用程序106处理了图像之后，用户108可从感兴趣的颜色中进行选择，并在图像搜索结果中指定兴趣颜色布局118。过程随后评估相似度以对兴趣颜色布局和对应于搜索结果中全部图像的颜色布局进行比较。

随后基于已计算的相似度对图像进行排序120。如此处示出的，颜色布局相关性应用程序106利用图像搜索结果120的重新排序，其中对排列相似度分数进行排序以用于在图像检索评估中的排列。这样，颜色布局相关性应用程序106对文本查询110进行评估，提取颜色布局特征112，接收对于感兴趣的颜色和兴趣颜色布局118的用户108输入，并将相关的已排序的图像搜索结果120返回给用户108。图像搜索结果连同用户108的兴趣颜色布局选择一起基于特定的查询和用户108的意图。

说明性概览过程

图2和3示出用于颜色布局相关性应用程序106的示例性过程。图2是示出用于图1的颜色布局相关性方法的示例性过程200的框图。图3是示出用于图1的颜色布局相关性方法的示例性过程300的流程图。

图2和3分别示出用于实现颜色布局相关性应用程序106以在搜索相关图像方面为用户提供益处的过程的框图和流程图。为了易于理解，方法被描绘为被表示为图2和3中的独立框的单独的步骤。然而，这些独立描绘的步骤不应解释为必须依赖于其执行的次序。描述过程的次序并不旨在解释为限制，并且任何数目的所述过程框的可以按任何次序组合以实现本方法或替换方法。此外，还有可能省略一个或多个所提供的步骤。

图2是示出用于颜色布局相关性方法的示例性过程200的框图。过程200提供图1的颜色布局相关性应用程序106的示例性实现。左侧开始的是框112，其表示颜色布局提取。如前所述，离线地计算颜色布局提取112以提供提取特征的低存储和低计算成本。颜色布局提取112包括图像、文本和颜色布局：I₁、文本、颜色布局；I₂、文本、颜色布局；I₃、文本、颜色布局；…以及I_N、文本、颜色布局。颜色布局提取112过程涉及两个步骤：为每个网格提取代表色并将网格串接为若干布局，每个布局对应于相同的已量化颜色。随后在图6进行颜色布局提取的更加详细的讨论。

框202表示用于对文本进行排列的文本排列器。文本排列器202从颜色布局提取112中取出信息，颜色布局提取112在从因特网爬寻到图像之后为每个图像执行颜色布局提取。该过程202从用户108接收特定的文本查询110以对文本进行排列。在线地执行文本排列器202，将已指定的文本查询110用作由用户108提交的输入。

框204表示图像搜索结果I：从在线的文本排列器202生成的I₅、I₁₀、I₁、…I_K。已经根据由用户108提交的文本110对这些已生成的图像搜索结果204进行排列。然而，这些图像搜索结果不是最终的图像搜索结果，因为颜色布局相关性应用程序106使用来自用户108的对于兴趣颜色布局的反馈来提供最终的图像搜索结果。

框206表示对兴趣布局进行排列的布局排列器。在线地执行布局排列器206，将图像204及其相关联的颜色布局作为输入来接收，以及接收来自用户108的用于兴趣颜色布局的输入。在该过程中，图像的颜色布局用于与用户的兴趣颜色布局进行比较，随后图像的颜色布局和兴趣颜色布局之间的相似度用于对图像进行重新排序。布局排列器206包括两个子步骤：相似度评估(SE)方案210和图像排列(IR)212。相似度评估(SE)方案210满足两个属性：在计算上高效的和有区别性的。在计算上高效的是指预先计算颜色相似度和布局分量级相似度查找表以避免在线计算。有区别性的是指相似度评估方案具有在不同的颜色布局之间进行区分的能力。通过使用来自相似度评估方案210的相似度分数直接对图像搜索结果进行排序来获得图像排列(IR)212。

框208表示兴趣颜色布局，该兴趣颜色布局包括兴趣颜色选择(ICS)214和兴趣布局说明(ILS)216。兴趣颜色选择214提供常用的调色板以允许用户108从感兴趣的颜色中进行选择。存在三种类型的调色板用于选择：标准调色板、查询依存调色板和来自搜索结果的颜色。用户108选择兴趣颜色之后，用户108随后可选择兴趣布局说明216。用户108可从三种不同类型的兴趣布局中进行选择：自由涂写、模板布局、查询依存布局和来自示例图像的布局。随后在图4和5中进行兴趣布局208的更加详细的讨论。

框218表示图像搜索结果II：从在线的布局排列器206生成的I₃、I₆₃、I₃₁、…I_J。已经根据图像的颜色布局和兴趣颜色布局之间的相似度以及使用图像搜索结果I 204对已生成的图像搜索结果进行排列和重新排序，所述兴趣颜色布局来自用户108提供的兴趣颜色选择和兴趣布局说明。这些是用于颜色布局相关性应用程序106的最终的图像搜索结果，直至用户108通过作出不同的兴趣颜色布局选择开始过程。

图3是示出用于图1的颜色布局相关性方法300的示例性过程300的流程图。流程图提供颜色布局相关性应用程序106的示例性实现以在理解过程300方面提供帮助。左侧开始的是框112，其表示离线计算的颜色布局提取。颜色布局提取112包括图像、文本和颜色布局作为对框202的输入。

框202表示对文本进行排列。该过程202还从用户108接收特定的文本查询110以对文本进行排列，如上右框所示。在线地执行文本排列器202，将已指定的文本查询110连同来自颜色布局提取112的信息一起作为由用户108提交的输入。

框204表示从在线的文本排列器202生成的图像搜索结果I。这些图像搜索结果I不是最终的图像搜索结果。将图像搜索结果I 204作为向布局排列器206的输入。

框206表示布局排列器。在线地执行布局排列器206，接收用于兴趣颜色布局208的信息连同图像204及对应于图像的相关联的颜色布局一起作为来自用户108的输入。如上所述，布局排列器206将图像的颜色布局与由用户108选择的兴趣颜色布局进行比较。随后图像的颜色布局和兴趣颜色布局之间的相似度用于对图像进行重新排序。

框208表示为布局排列器206提供兴趣颜色布局。如前所述，兴趣颜色布局208允许用户108从感兴趣的颜色中进行选择并指定兴趣颜色布局。

布局排列器206根据相似度分数对图像进行排序。布局排列器206标识图像分数是否相似。过程确定是否要对图像执行对布局206的排列。如果过程300通过“否”分支到框302，则不对图像执行布局排列。

返回至布局排列器206，如果过程确定对图像执行对布局206的排列，则过程300通过“是”分支到框304。此处，将对图像执行对布局206的排列。

框218表示颜色布局排列结果，这是最终的图像搜索结果，直至用户通过针对兴趣颜色布局提供输入或通过新的文本查询开始过程而再次开始该过程。从在线的布局排列器206生成图像搜索结果218。用于颜色布局相关性应用程序106的最终的图像搜索结果使用来自用户108的对于兴趣颜色布局208的反馈来提供已被排列和重新排序的最终的图像搜索结果218。沿着来自框218的箭头，用户108可提供开始排列或重新排序过程的兴趣颜色布局输入。

示例性兴趣颜色布局

图4是示出用于用户输入兴趣颜色布局208的示例性过程400的流程图。框208表示兴趣颜色布局，该兴趣颜色布局包括兴趣颜色选项214和兴趣布局说明216。

框214示出了兴趣颜色选项，提供常用的调色板以允许用户108从感兴趣的颜色中进行选择。兴趣颜色选项214具有两个属性：易于使用和智能。

下面在过程400中示出的是用户108可从中选择的三种类型的调色板：标准调色板402、查询依存调色板404和来自搜索结果的颜色406。标准调色板402组织颜色，但不使用来自图像搜索结果的信息。查询依存调色板404挖掘图像搜索结果，并呈现在图像搜索结果中最频繁出现的颜色。来自搜索结果的颜色406是通过使用从图像搜索结果中选择的图像直接生成的调色板。具体地，用户108将图像作为调色板拖拽，并从图像中选择颜色。

用户108从三种类型的调色板中的一种选择兴趣颜色214：标准调色板402、查询依存调色板404或来自搜索结果的颜色406。一旦用户108已经选择，则过程400移至下一个选项。

过程400移至兴趣布局说明216。此处，用户108可通过使用若干说明方案来指定布局。用户108可从三个说明方案中进行选择：自由涂写408、模板布局410、查询依存布局412和来自示例图像的布局414。

自由涂写408允许用户108自由地绘制笔划以指示兴趣布局。图8示出自由涂写的示例。

模板布局410允许用户108从一组模板中选择兴趣布局，并可改变位于笔划中的颜色。模板布局410对于所有文本查询是通用的。模板布局410包括但不限于带有如下区域的设计：可重叠或单独地放置的矩形或方形区域，在各种颜色方案中获取的颜色的区域，在重叠的颜色方案中具有若干图层的颜色的区域等。

基于由用户108提交的查询，查询依存布局412允许用户108选择已被预定义的布局类型。从对应于文本查询的图像搜索结果中挖掘查询依存布局412。

来自示例或样本的布局414允许用户108从图像搜索结果中选择示例或样本。用户可在示例或样本图像上绘制以指示兴趣颜色布局。此外，图像可被拖入兴趣颜色布局的界面。

过程400移至用于对图像布局进行排列的布局排列器206。基于用户108的反馈连同从文本排列器202生成的图像搜索结果204一起，布局排列器206接收用于兴趣布局208的信息作为输入。

如前所述，布局排列器206包括两个子步骤：相似度评估(SE)方案210和图像排列(IR)212。相似度评估(SE)方案210满足两个属性：在计算上高效的和有区别性的。通过使用来自相似度评估方案210的相似度分数直接对图像搜索结果进行排序来获得图像排列(IR)212。

框218表示颜色布局排列结果，是从布局排列器206生成的图像搜索结果II。已经根据图像的颜色布局和兴趣颜色布局之间的相似度以及使用图像搜索结果I 204对已生成的图像搜索结果II 218进行排列，兴趣颜色布局来自用户108提供的兴趣颜色选项214和兴趣布局说明216。

说明性用户界面

图5是用于颜色布局相关性应用程序106的示例性用户界面500的框图。用户界面500允许用户选择感兴趣的颜色并指定颜色布局。具体而言，用户界面500提供便利性、灵活性和适应性。用户界面500通过使用户108指定感兴趣的颜色布局且无需任何特殊的知识或技能来提供便利性。用户界面通过呈现若干颜色说明方案来提供灵活性：自由涂写408、模板布局410、查询依存布局412和来自示例或样本图像的布局414。如上所述，不同的用户可自由地选择为他们的特定的目标、需要、兴趣、期望等量身定制的不同的方案。此外，用户界面500通过挖掘每个查询的颜色分布图像搜索结果来提供适应性，并且自适应地提供与特定的搜索结果相关联的调色板。颜色布局相关性应用程序106分析颜色布局，并向用户呈现查询依存的颜色布局模板。

框502示出用于兴趣颜色布局的选项。用户108可在该选项中涂写以指定兴趣颜色布局。还示出了用户108可应用于兴趣颜色布局的选项，诸如“撤消、重做、清除”。

在框504示出的是用于兴趣颜色的选项。用户108可在该选项中从调色板自由地选择兴趣颜色。

在框506示出的是用于颜色布局模板的选项。用户108可在该选项中选择预定义的颜色布局模板，其包括查询依存布局模板和从对应于查询的图像搜索结果中挖掘的查询依存布局。作为用于颜色布局模板的选项示出的是四个不同的模板。

在508示出的是图像搜索结果，包括来自文本查询的原始结果以及基于兴趣颜色布局重新排序的结果，示出了图像1-20。

在510示出的是用于使能颜色布局排列的可复选的框。该框允许用户能够确定是否开启用于颜色布局排列的特征。可能有用户在查找图像而不期望开启颜色布局排列的时候。

用于颜色布局相关性应用程序106的用户界面可包括与排列图像搜索结果集成在一起的浏览器工具栏。该工具栏允许用户在单独的浏览器中浏览排列图像搜索结果中的项目，而不中断图像搜索结果。用于颜色布局相关性应用程序106的用户界面还可允许用户将来自排列图像搜索结果中的一项保存至文件，以使用户能够打开文件中的该项以供随后使用、将文件移至另一计算设备、或者与另一用户共享该文件。

示例性颜色布局提取

图6是示出用于使用颜色布局相关性对图像搜索结果进行交互地排列的示例性颜色布局提取600的框图。如前所述，颜色布局提取包括两个步骤：为每个网格提取代表色并将网格串接为若干布局，每个布局对应于相同的已量化颜色。

首先将图像均匀地划分为g×g网格。对于每个网格(x，y)，颜色提取过程600旨在查找若干主色

来表示该网格中的颜色。通过以下讨论查找主色。在每个网格中，颜色布局相关性应用程序106计算全部颜色的频率，并根据频率将它们排序。颜色布局相关性应用程序106选择对应于前k个最高频率的颜色，以满足f_i-1＜2f_i，

以及i≠1。过程发现g＝8在该过程中是有效的。

作为预处理步骤，颜色布局相关性应用程序106首先将红、绿、蓝(RGB)颜色空间转换为色调、饱和度、值(HSV)空间，该空间被量化为12×4×4，即共计192种颜色，并且对于每种颜色，颜色布局相关性应用程序106通过将窗口宽度设为5来对HSV图像执行中值滤波。

在每个网格中为每个图像提取颜色之后，颜色布局应用程序106将代表色集示为公式：

C＝U_xy C_xy.。

随后对于每种颜色c∈C，颜色布局相关性应用程序106将布局计算为二进制向量1以满足

其中k是二维索引(x，y)中的一维索引。总之，图像的颜色布局表示为I＝{(c_t，l_t)}。这个提取过程非常简单并且可被有效地执行。已提取的颜色布局特征可有效地表示图像布局，并且通过组合所建议的相似度评估方案被证明是非常有价值的。

由于1是二进制向量，颜色布局相关性应用程序106通过若干字节变量(即[b₁，…，b_n]^T)以紧凑的方式来表示它，这无疑会节省存储并通过使用预先计算的查找表以带来快速的相似度评估。为方便起见，颜色布局相关性应用程序106将在以下讨论中使用二进制向量1。

带有公式的说明性颜色布局相似度评估

图7是示出用于使用颜色布局应用程序106对图像搜索结果进行交互地排列的示例性颜色布局相似度评估700的框图。

颜色布局相关性应用程序106对兴趣颜色布局和图像搜索结果中的任意图像的颜色布局之间的相似度进行评估。假设图像的颜色布局被表示为I＝{(c_k，l_k)}，兴趣颜色布局被表示为Q＝{(c_q，l_q)}。相似度定义包括三个方面：颜色外观兼容性702、空间分布一致性704和上下文布局相似度706。

颜色外观兼容性通过在标识为702的行中示出。与行702一同示出的第一列中是兴趣颜色布局，第二列中是样本图像1的颜色布局，第三列中是样本图像2的颜色布局。如行702所示，第二列中的样本图像1相比第三列中的样本图像2与第一列中的兴趣颜色布局更为兼容。

兼容性评估过程可如下所述。对于兴趣颜色布局中的每种颜色，颜色布局相关性应用程序106将该布局和图像中全部颜色的布局进行比较，通过将颜色相似度作为权重来聚集相似度以获得各个颜色布局与图像的兼容性。随后，颜色布局相关性应用程序106通过将全部兼容性相乘来获得整体兼容性。在数学上，该过程被公式化为：

$s_a(Q,I)=\underset{q|c_q\∈C_q}{\mathrm{\Σ}}\frac{1}{Z_q}{s}_a((c_q,l_q),I)$

$=\underset{q|c_q\∈C_q}{\mathrm{\Σ}}\frac{1}{Z_q}\underset{k|c_k\∈C_i}{\mathrm{\Σ}}\mathrm{sim}(c_q,c_k)\mathrm{sim}(l_q,l_k),$

其中C_q和C_i是兴趣颜色布局和图像颜色布局的代表色集，Z_q是等于I_q、‖I_q‖₁的范数之一的归一化变量，

用于评估各个颜色布局(c_q，I_q)和整体图像颜色布局

之间的兼容性，sim(c_q，c_k)是c_q和c_k之间的颜色相似度，sim(I_q，I_k)是I_q和I_k之间的布局分量级相似度或空间出现一致性。这两个相似度的细节将在以后讨论。

在标识为704的行中示出的是空间分布一致性。与行704一同示出的第一列中是兴趣颜色布局，第二列中是样本图像1的颜色布局，第三列中是样本图像2的颜色布局。第二列中样本图像1与第三列中样本图像2的区别在于两个网格。通过使用所示的兼容性评估公式：

$s_a(Q,I)=\underset{q\left|\right|c_q\∈C_q}{\mathrm{\Σ}}\frac{1}{Z_q}{s}_a((c_q,l_q),I)$

$=\underset{q|c_q\∈C_q}{\mathrm{\Σ}}\frac{1}{Z_q}\underset{k|c_k{\∈C}_i}{\mathrm{\Σ}}\mathrm{sim}(c_q,c_k)\mathrm{sim}(l_q,l_k),$

相似度测量可带来相似度(甚至是相同)分数。然而，直觉可能告诉用户108样本图像1与兴趣布局更为相似，因为出现在对应于兴趣颜色布局中“蓝色”的样本图像2中顶部区域的“浅绿色”与兴趣颜色布局的底部区域的“绿色”更为相似。这是不同颜色的空间关系不一致性的示例。因此，颜色布局相关性应用程序106引入空间分布一致性704评估方案。直观上，优选地出现在对应于兴趣颜色区域的区域中的颜色应该不如其他兴趣颜色相似。这样，颜色布局相关性应用程序106检查与每个兴趣颜色相关联的每个区域，并计算空间分布一致性704。

在数学上，空间分布一致性704被定义为

$s_s(Q,I)$

$=\underset{q|c_q\∈C_q}{\mathrm{\Σ}}\frac{1}{Z_q}{s}_s((c_q,l_q),I)$

$=\underset{q|c_q\∈C_q}{\mathrm{\Σ}}\frac{1}{Z_q}\underset{k|c_k\∈C_i}{\mathrm{\Σ}}\mathrm{asim}(c_q,c_k,C_q)\mathrm{sim}(l_k,l_q)$

$=\underset{q|c_q\∈C_q}{\mathrm{\Σ}}\frac{1}{Z_q}\underset{k|c_k\∈C_i}{\mathrm{\Σ}}$

$\left[\underset{q^{\′}|c_{q^{\′}}\∈C_q,q^{\′}\≠q}{\min }(\mathrm{sim}(c_q,c_k)-\mathrm{sim}(c_{q^{\′}},c_k))\mathrm{sim}(l_k,l_q)\right],$

其中Z_a＝‖l_q‖₁，asim(c_a，c_k，C_a)是兴趣颜色c_q和颜色c_k之间的相似度，由全部兴趣颜色c_q所调整。将其与空间出现一致性sim(I_q，I_k)相组合，测量将反映兴趣颜色布局中兴趣颜色与图像中多种颜色中的一种的空间关系之间的一致性程度。

在标识为706的行中示出的是上下文布局相似度。有时，用户108可以仅涂写以指示粗略的颜色布局查询。由于粗略性，对于布局相似度仅考虑所涂写的区域是不够的。第一列中示出的是兴趣颜色布局/传播，第二列中是样本图像1，第三列中是样本图像2。如果兴趣颜色布局给定如第一列中所示，则清楚的是它们的相似度是相同的。然而，第三列中的样本图像2相比第二列中的样本图像1与兴趣颜色布局更为相似。

颜色布局相关性应用程序106建议方案以“概括”兴趣颜色布局。颜色布局相关性应用程序106通过将所涂写的区域视为种子来处理查询颜色布局。具体而言，颜色布局相关性应用程序106采用前传播方案以传播视为种子的颜色。为了将已传播区域区别于原始颜色区域，颜色布局相关性应用程序106根据距种子区域的距离向已传播区域分配不同的权重。

出于计算效率的考虑，颜色布局相关性应用程序106为已传播的颜色仅分配两种不同的权重，即为近区域设置权重为0.5，远区域为0.25。沿着行706第一列中的传播示出其中权重由颜色饱和度进行区分的传播示例。颜色布局相关性应用程序106将已传播的已加权颜色布局表示为

例如，第一列示出的已传播兴趣颜色布局。例如，已传播的“蓝色”区域由具有不同权重和空间布局、但具有相同颜色的两种类型的分量来表示。关于那些颜色布局的相似度如以下公式所示：

$s_c(Q,I)=s_a^{\′}(\stackrel{\‾}{Q},I)+s_s^{\′}(\stackrel{\‾}{Q},I)$

其中

是上下文颜色外观兼容性，

是上下文空间分布一致性。它们如以下公式中所示地被定义：

$s_a^{\′}(\stackrel{\‾}{Q},I)=\underset{q|c_q\∈{\stackrel{\‾}{C}}_q}{\mathrm{\Σ}}\frac{w_q}{Z_q}{s}_a((c_q,{\stackrel{\‾}{l}}_q),I),$

$s_s^{\′}(\stackrel{\‾}{Q},I)=\underset{q|c_q\∈{\stackrel{\‾}{C}}_q}{\mathrm{\Σ}}\frac{w_q}{Z_q}{s}_s((c_q,{\stackrel{\‾}{l}}_q),I),$

其中

和

与之前两个子部分的定义相同，是已传播的兴趣颜色布局的已加权的代表色集。

说明性颜色和布局分量级相似度

在HSV颜色空间中基于距离评估颜色相似度。c_i和c_j之间的颜色距离在公式中被定义为：

$d(c_i,c_j)=\sqrt{{(s_i\cos h_i-s_j\cos h_j)}^2+{(s_i\sin h_i-s_j\sin h_j)}^2+{(v_i-v_j)}^2},$

其中[h_i，s_i，v_i]^T＝c_i，[h_j，s_j，v_j]^T＝c_j。基于上述距离，颜色布局相关性应用程序106可将颜色相似度定义为以下公式中所示：

$s(c_i,c_j)={(1-\frac{d(c_i,c_j)}{d_{\max }})}^{\mathrm{\β}},$

其中d_max＝max_ijd(c_i，c_j)，以及β＝2。

实践表明用户倾向于对H(色调)颜色分量更敏感。因此，颜色布局相关性应用程序106可更加注意该H分量。颜色布局相关性应用程序106将H分量的相似度定义为：

$s(h_i,h_j)=\frac{1}{\mathrm{\σ}\sqrt{2\mathrm{\π}}}\exp (-\frac{{(h_i-h_j)}^2}{2{\mathrm{\σ}}^2}),$

其中

h的变化范围是[0，2π]。该分配使得具有相当不同的H分量的不同颜色之间的相似度更小了。随后，在如下的公式示出整体的颜色相似度：

sim(c_i，c_j)＝s(h_i，h_j)×s(c_i，c_j)

如前所述，颜色布局相关性应用程序106将HSV空间量化为12×4×4种颜色，即共计192种颜色。颜色布局相关性应用程序106提前计算它们的相似度并将其存储在查找表中。通过这种方式，颜色布局相关性应用程序106通过仅查找表而非在线计算来降低计算成本。

说明性布局分量级相似度

布局之间的分量级相似度非常简单，且被评估为内积

如前所述，1是具有条目等于0或1的二进制向量，由如前所述的字节变量向量[b₁，…，b_n]^T来表示。因此，可通过如下的“与”运算快速评估内积：

其中基本运算Λ是对字节变量的“与”运算，count(·)是置位的数目。对于字节变量共有256个不同的值。为了避免在线“与”运算，颜色布局相关性应用程序106预先计算256×256查找表，其中每个条目是分量级相似度。

用于颜色布局相关性的说明性自由涂写

图8是示出用于颜色布局相关性应用程序106的示例性自由涂写800的框图。第二、三列示出的是用户108可能期望用于他们工作产品的图像。用户108可能想要查找带有特定的颜色空间分布的图像。例如，示出的是用户108可能对带有顶部是蓝天底部是绿草的图像感兴趣。在该实例中，蓝天、绿草或绿树的图像。用户108可在第一列的空白图像中自由地涂写以获得他或她的选择的颜色布局。

说明性颜色布局排列结果

图9是示出用于使用颜色布局相关性对图像搜索结果进行交互地排列的示例性颜色布局排列结果900的框图。来自用户108的文本查询110可以沿着“旗帜”行。在902示出的是旗帜的原始排列。然而，用户108随后为兴趣颜色布局208提供输入，将图像搜索结果I 204输入到布局排列器206。这样，布局排列器206基于在904示出的颜色布局排列结果对结果进行排列和重新排序。

用于颜色布局相关性的说明性操作系统

图10是示例性通用操作系统1000的示意性框图。系统1000可被配置为能够实现使用颜色布局相关性应用程序106对图像搜索结果进行交互地排列的任何适合的系统。在一个示例性的配置中，系统包括至少一个处理器1002和存储器1004。处理单元1002可在适当时被实现为硬件、软件、固件、或其组合。处理单元1002的软件或固件实现可包括以任何适合的程序设计语言编写的、执行所描述的各种功能的计算机或机器可执行指令。

存储器1004可存储可在处理器1002上加载、嵌入、或编码、并执行的指令程序以及在这些程序的执行期间生成的数据。取决于计算设备的配置和类型，存储器1004可以是易失性的(诸如RAM)和/或非易失性的(诸如ROM、闪存等)。系统1000还可包括附加的可移动存储1006和/或不可移动存储1008，其包括但不限于磁盘、光盘和/或磁带。盘驱动器及其相关联的计算机可读介质可提供对计算机可读指令、数据结构、程序模块以及用于通信设备的其它数据的非易失性存储。

更为详细地转向存储器1004的内容，可包括操作系统1010，用于实现使用颜色布局相关性方法对图像搜索结果进行全部或部分的交互地排列的使用颜色布局相关性对图像搜索结果进行交互地排列的应用程序106。例如，系统1000示出驻留在一个系统或服务器上的这些组件的体系结构。或者，这些组件可驻留在多个其它位置、服务器、或系统中。例如，全部组件可存在于客户机侧。此外，所示组件中的两个或更多可组合以在单个位置处形成单个组件。

在一个实现中，存储器1004包括使用颜色布局相关性应用程序106、数据管理模块1012和自动模块1014对图像搜索结果进行交互地排列。数据管理模块1012存储和管理诸如颜色布局提取信息、图像等信息的存储，并且可以与一个或多个本地和/或远程数据库或服务进行通信。自动模块1014允许进程在没有人工干预的情况下操作。

存储器1004、可移动存储1006和不可移动存储1008都是计算机存储介质的示例。可以存在的附加类型的计算机存储介质包括但不限于，RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光学存储、磁带盒、磁带、磁盘存储或其它磁性存储设备、或可用于存储所需信息且可以由计算设备104访问的任何其它介质。

系统1000还可包含允许处理器1002与服务器、用户终端、和/或网络上的其它设备进行通信的通信连接1016。通信连接1016是通信介质的一个示例。通信介质通常具体化为计算机可读指令、数据结构和程序模块。作为示例而非限制，通信介质包括有线介质，诸如有线网络或直接线连接，以及无线介质，诸如声学、RF、红外线和其它无线介质。如此处所使用的术语“计算机可读介质”包括存储介质和通信介质两者。

系统1000还可包括诸如键盘、鼠标、笔、语音输入设备、触摸输入设备等的输入设备1018，和诸如显示器、扬声器、打印机等的输出设备1020。系统1000可包括托管在处理器1002上的数据库。所有这些设备在本领域是众知的并且不必在此详细讨论。

上述主题可以用硬件、或软件、或硬件和软件两者来实现。尽管用结构特征和/或方法动作专用的语言描述了用于广告的点击日志挖掘的各个实施例，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，具体特征和动作是作为用于广告的点击日志挖掘的示例性实现的示例性形式而公开的。例如，该方法动作不必以此处所述的顺序或组合来执行，而能以一个或多个动作的任何组合来执行。

Claims (15)

1.一种具有计算机可读指令的用户界面(500)，当由处理器(1002)执行时该指令使处理器(1002)执行以下动作：

接收用于图像搜索的文本查询(110)；

基于文本查询(110)和来自兴趣颜色布局(118、208)的信息，在结构化呈现中呈现图像搜索结果(120、204、218)；

通过从选色板(214)和颜色布局说明方案(216)中进行选择来使能创建排列图像搜索结果(120、204、218)的交互的设计；

基于选色板(214)和颜色布局说明方案(216)，根据来自图像搜索结果(120、204、218)的颜色布局和来自用户(108)的兴趣颜色布局(118、208)之间的相似度分数，通过对图像搜索结果(120、204、218)进行排序来对图像搜索结果(206)进行排列。

2.如权利要求1所述的用户界面，其特征在于，其中指示兴趣颜色的选色板包括：

标准调色板，其中组织颜色而不使用来自图像搜索结果的信息；

查询依存调色板，其中在图像搜索结果中出现最频繁的颜色；以及

由选择来自图像搜索结果中的图像而生成的调色板。

3.如权利要求1所述的用户界面，其特征在于，其中颜色布局说明方案包括：

自由涂写，允许用户自由地绘制笔划以指示兴趣布局；

模板布局，允许用户从一组模板中选择兴趣布局，所述模板对于文本查询是通用的；

查询依存布局，允许用户从一组查询依存模板中选择兴趣布局，所述查询依存模板是从对应于文本查询的图像搜索结果中挖掘得到；以及

来自样本图像的布局，允许用户从图像搜索结果中选择样本图像并在样本图像上绘制以指示兴趣颜色布局。

4.如权利要求1所述的用户界面，其特征在于，还包括与排列图像搜索结果集成在一起的浏览器工具栏，所述工具栏使用户能够在单独的浏览器中浏览排列图像搜索结果中的项目而无需中断图像搜索结果。

5.如权利要求1所述的用户界面，其特征在于，还包括将来自排列图像搜索结果中的一项保存至文件，使用户能够打开文件中的该项以供随后使用，将文件移至另一计算设备，或者与另一用户共享该文件。

6.一种用于通过使用颜色布局相关性(106)来对图像搜索结果进行交互地排列的方法(200、300)，该方法至少部分地由计算设备(102)执行，该方法(200、300)包括：

在从因特网(116)爬寻到图像之后提取用于图像的颜色布局(112)；

接收用于图像搜索的文本查询(110)；

对兴趣颜色布局(118、208)和图像搜索结果(120、204、218)中的任何图像(112)的颜色布局之间的相似度(206、210、212)进行评估，其中相似度是基于颜色外观兼容性(702)、空间分布一致性(704)和上下文布局相似度(706)，其中颜色外观兼容性(702)、空间分布一致性(704)和上下文布局相似度(706)是基于颜色相似度和布局分量级相似度；以及

根据选色板(214)和颜色布局说明方案(216)的选择，基于图像(112)的颜色布局和来自用户(108)的兴趣颜色布局(118、208)之间的已评估的相似度，对图像搜索结果(120、204、218)进行重新排序(206、210、212)。

7.如权利要求6所述的方法，其特征在于，选色板包括标准调色板、查询依存调色板和使用来自图像搜索结果的颜色的调色板。

8.如权利要求6所述的方法，其特征在于，所述颜色布局说明方案包括以下中的至少一个：

自由涂写，允许用户自由地绘制笔划以指示兴趣布局；

模板布局，允许用户从一组模板中选择兴趣布局，所述模板对于文本查询是通用的；以及

查询依存布局，允许用户从一组查询依存模板中选择兴趣布局，所述查询依存模板是从对应于文本查询的图像搜索结果中挖掘得到；以及

来自样本图像的布局，允许用户从搜索结果中选择样本图像并在样本图像上绘制以指示兴趣颜色布局。

9.如权利要求6所述的方法，其特征在于，其中颜色外观兼容性包括对应于兴趣布局区域的图像中的颜色与兴趣颜色布局中的颜色相似的程度。

10.如权利要求6所述的方法，其特征在于，其中上下文布局相似度包括为已传播的颜色分配不同的权重，根据从种子网格到包括已传播的颜色的网格之间的距离来设置权重。

11.一种包括可在计算设备(104)上执行的计算机可读指令(106)的计算机可读存储介质(1006、1008)，所述计算机可读指令(106)包括指令用于：

接收用于图像搜索的文本查询(110)；

提取颜色布局(112)；

基于颜色外观兼容性(702)、空间分布一致性(704)、上下文布局相似度(706)、颜色相似度和布局分量级相似度来测量相似度(206、210、212)；

为图像搜索结果(120、204、218)提供带有选色板(214)和颜色布局说明方案(216)的交互的选项；

使用颜色布局排列(206)对图像搜索结果(120、204、218)进行重新排序(206、210、212)；以及

基于文本查询(110)和来自兴趣颜色布局(118、208)的信息，在结构化呈现中呈现已排列的图像搜索结果(120、204、218)。

12.如权利要求11所述的计算机可读存储介质，其特征在于，其中空间分布一致性包括出现在对应于兴趣颜色区域的区域中的颜色应该不如其他兴趣颜色相似。

13.如权利要求11所述的计算机可读存储介质，其特征在于，其中上下文布局相似度包括为已传播的颜色分配不同的权重，根据从种子网格到包括已传播的颜色的网格之间的距离来设置权重。

14.如权利要求11所述的计算机可读存储介质，其特征在于，其中指示兴趣颜色的选色板包括：

标准调色板，其中组织颜色而不使用来自图像搜索结果的信息；

查询依存调色板，其中在图像搜索结果中出现最频繁的颜色；以及

由选择来自图像搜索结果中的图像而生成的调色板。

15.如权利要求11所述的计算机可读存储介质，其特征在于，其中颜色说明方案包括：

自由涂写，允许用户自由地绘制笔划以指示兴趣布局；

模板布局，允许用户从一组模板中选择兴趣布局，所述模板对于文本查询是通用的；

查询依存布局，允许用户从一组查询依存模板中选择兴趣布局，所述查询依存模板是从对应于文本查询的图像搜索结果中挖掘得到；以及

来自示例图像的布局，允许用户从搜索结果中选择样本图像并在示例图像上绘制以指示兴趣颜色布局。

Images