CN105493078B - 彩色草图图像搜索 - Google Patents

彩色草图图像搜索 Download PDF

Info

Publication number
CN105493078B
CN105493078B CN201380077462.7A CN201380077462A CN105493078B CN 105493078 B CN105493078 B CN 105493078B CN 201380077462 A CN201380077462 A CN 201380077462A CN 105493078 B CN105493078 B CN 105493078B
Authority
CN
China
Prior art keywords
color
image
word
sketch
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380077462.7A
Other languages
English (en)
Other versions
CN105493078A (zh
Inventor
C·王
A·萨德
L·张
X·孙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Priority to CN201910660658.8A priority Critical patent/CN110413816B/zh
Publication of CN105493078A publication Critical patent/CN105493078A/zh
Application granted granted Critical
Publication of CN105493078B publication Critical patent/CN105493078B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Abstract

对于将要搜索的图像集合中的每个图像，该图像被表示为色边字集合，其中每个色边字包括位置信息、形状信息和颜色信息。该图像可基于色边字被索引。接收用户生成的草图作为查询并将其表示为色边字集合。相似性将表示草图的色边字集合与该图像索引进行比较以基于位置相似性、形状相似性和颜色相似性的组合来标识搜索结果。

Description

彩色草图图像搜索
背景
搜索图像是许多计算机用户执行的常见任务。例如，用户可经由互联网搜索大量可用信息来寻找特定地点或事物的图像。尽管搜索查询通常仅是基于关键字的，最近的技术进步已经使得其它选项成为可能。
绘制草图是人类彼此通信、记录其思想、以及自我表达的最自然的方式之一。触摸屏设备正变得越来越可用和流行，它们使得用户能够容易地输入手绘草图。技术进步还使得用户提交操作以被用作搜索与该草图类似的图像的基础成为可能。
一些“草图到图像”匹配技术主要考虑形状相似性或颜色相似性之一。然而，形状和颜色两者均传达图像中的重要信息。因此，主要基于形状信息来执行草图到图像匹配可能由于缺少对颜色信息的考虑而返回较差结果。类似地，主要基于颜色信息来执行草图到图像匹配可能由于缺少形状信息而返回较差结果。
概述
本文描述了彩色草图图像搜索。提供用户界面以使用户能够生成彩色草图并提交该草图作为搜索查询。要搜索的图像和用户提交的草图被表示为色边字集合。每个色边字包括位置信息、形状信息、以及颜色信息。要搜索的图像的集合可被索引，且匹配算法基于位置相似性、形状相似性和颜色相似性的组合来确定草图和图像之间的相似性得分。
提供本概述以便以简化形式介绍将在以下详细描述中进一步描述的一些概念。本概述不旨在标识所要求保护的主题的关键特征或基本特征，也不旨在被用来帮助确定所要求保护的主题的范围。例如，术语“工具”可以指上述上下文和通篇文档所准许的设备、系统、方法、和/或计算机可读介质。
附图简述
参考附图来描述具体实施方式。在附图中，附图标记最左边的数字标识该附图标记首次出现的附图。在各附图中，使用相同的标号来指示相同的特征和组件。
图1是可在其中实现彩色草图图像搜索的示例网络环境的框图。
图2是如图1中所示的示例色边字表示模块的精选组件的框图。
图3是示出局部片检测的插图。
图4是示出图像的示例色边字表示的插图。
图5是用于彩色插图图像搜索的强匹配实现的示例倒置索引的框图。
图6是用于彩色插图图像搜索的灵活匹配实现的示例倒置索引的框图。
图7是示例颜色传播和查询扩大的插图。
图8是用于生成查询草图的示例用户界面的插图。
图9是示出示例查询草图生成的插图。
图10是用于彩色草图图像搜索的示例过程的流程图。
图11是用于预处理数据库图像的示例过程的流程图。
图12是用于生成图像或草图的色边字表示的示例过程的流程图。
详细描述
绘制彩色草图作为图像查询的输入是用户传达其搜索兴趣的自然技术。当基于用户提交的草图执行搜索时，重要的是要考虑草图中包括的形状和颜色两者。
各种绘制技术可被采用来使用户能够创建用于基于图像的查询的草图。例如，用户界面可为用户提供使用各种绘制工具来创建彩色草图的选项，所述绘制工具包括例如：钢笔和色桶(color bucket)、钢笔和色刷、彩色铅笔、或色刷。各种用户输入设备可被用来与该用户界面交互来控制绘制工具，包括例如鼠标、指示笔、触摸屏等等。草图/图像表示被实现以捕捉用户提交的草图和要搜索的图像的形状和颜色信息两者，使用草图到图像匹配技术来标识与用户提交的搜索类似的图像，且使用索引结构来允许图像到用户提交的草图的高效匹配。
在示例实现中，使用图像或草图来基于色边字(color-edge word)生成类似文档的字袋(bag-of-words)表示，其中每个色边字(CEW)由图像或草图内的位置、两种颜色、以及表示分割这两种颜色的轮廓段的形状构成。基于色边字表示，使用修改过的Chamfer匹配算法来匹配彩色草图和图像。利用倒置索引结构来加速大范围数据库中的匹配过程。而且，在一示例实现中，为了提供适恰图像将被匹配到用户提交的草图的可能性，每个草图以及每个图像中的主要对象在尝试将图像匹配到用户提交的草图之前被调整尺度(rescale)。
示例环境
图1示出可在其中实现彩色草图图像搜索的示例网络环境100。该示例环境包括客户端计算设备102、服务器计算设备104、以及图像储存库106，其中每个设备均经由网络108通信地耦合至其它设备。网络108是例如因特网的代表。
客户端计算设备102是任何能够联网的计算设备的代表，包括但不限于台式计算机系统、膝上型计算机系统、电视系统、游戏系统、移动智能电话、平板计算机系统等等。示例客户端计算设备102包括一个或多个处理器110、网络接口112和存储器114。网络接口112使得客户端计算设备102能够通过网络与其他设备通信。
操作系统116、浏览器应用118、以及任何数目的其他应用120作为计算机可读指令被存储在存储器114中，并至少部分地由处理器110执行。浏览器应用118包括彩色草图输入模块122，该彩色草图输入模块使得用户能够生成被用作搜索查询的基础的彩色草图。
服务器计算设备104代表实现搜索引擎并能经由网络108访问的任何类型的计算设备。示例服务器计算设备104包括一个或多个处理器124、网络接口126和存储器128。网络接口126使得服务器计算设备104能够通过网络与其他设备通信。
操作系统130、搜索引擎132、以及任何数目的其他应用134作为计算机可读指令被存储在存储器128中，并至少部分地由处理器124执行。
示例搜索引擎132包括色边字(CEW)表示模块136、匹配模块138、索引模块140、以及图像预处理模块142。色边字表示模块136分析图像或用户生成的草图，从而生成图像或草图的色边字表示。匹配模块138针对用户提交的彩色草图，确定来自图像储存库106的与该草图最相似的图像。索引模块140基于图像储存库106中的图像的色边字表示生成倒置索引来改善匹配模块138能够标识与用户提交的草图最相似的图像的速度。图像预处理模块142将图像储存库106中的每个图像转换为边图(edge map)。通过色边字表示模块136处理边图来生成图像的色边字表示。
尽管这里参考浏览器应用和因特网搜索引擎进行了描述，但是彩色草图图像匹配可在其他搜索环境中被实现。例如，浏览器应用418和搜索引擎132的组件可表示用于搜索图像储存库的接口，图像储存库可以或可以不通过因特网来被访问。例如，彩色图像匹配可被实现以使得用户能够从文档编辑应用内搜索剪贴画。替换地，彩色草图图像匹配可被实现以使用户能够搜索个人相片储存库。如本文所述的彩色草图图像匹配可在其中用户想要定位图像的基本上任何环境或场景中实现，其中图像的性质可用用户生成的彩色草图表示。在各实现中，彩色草图输入模块122、CEW表示模块136、匹配模块138、索引模块140、以及图像储存库106的任何组合可在单个设备(例如，客户端计算设备102)上实现或可跨能够经由网络彼此访问的多个计算设备分布。
虽然在图1中被示为存储在客户端计算设备102的存储器114中，但浏览器应用118或其各部分可以使用可由客户端计算设备102访问的任何形式的计算机可读介质来实现。另外，在替代实现中，操作系统116、浏览器应用118、以及其他应用120的一个或多个组件可被实现为作为客户但计算设备102的一部分或可被客户端计算设备访问的集成电路的一部分。
类似地，搜索引擎132或其部分可使用可由服务器计算设备104访问的任何形式的计算机可读介质实现。另外，在替代实现中，操作系统130、搜索引擎132、以及其他应用134的一个或多个组件可被实现为作为服务器计算设备104的一部分或可被计算设备408访问的集成电路的一部分。
计算机可读介质包括至少两种类型的计算机可读介质，即计算机存储介质和通信介质。
计算机存储介质包括以用于存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括但不限于，RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光存储、磁带盒、磁带、磁盘存储或其它磁存储设备，或者可用于存储供计算设备访问的信息的任何其它介质。
相反，通信介质可在诸如载波的已调制数据信号或其他机制中体现计算机可读指令、数据结构、程序模块或其他数据。如本文所定义的，计算机存储介质不包括通信介质。
色边字表示
尽管有用于自然图像分析的现有公知局部特征技术，诸如SIFT(尺度不变特征变换)，可被有效地用于专业绘图或图像，然而手绘草图通常更简单且抽象，通常缺少详细的纹理，纹理是大多数局部特征中的基础元素。而且，大多数全局特征技术，诸如GIST和ColorHistogram(彩色全息)仅捕捉来自图像的全局统计数据而不对详细的形状结构进行编码。
手绘彩色草图到可用图像数据库的精确匹配最可能使用尽可能多地与人脑比较图像相同的方式比较图像的算法来实现。认知科学的研究已经带来关于人类如何感知图像内的形状和颜色的一些结论。具体而言，关于形状和颜色的视觉感知的两个观察在开发本文描述的色边字表示时已被考虑在内。第一，形状和颜色的人类感知在对象识别过程中精妙地互相关。第二，颜色信息主要在图像的轮廓和角落区域中，而不是在跨整个图像等同地采样的位置处，获得和测量。相应地，本文描述的色边字表示将轮廓和角落区域中的颜色信息和局部形状信息相组合地考虑。
除了编码形状和颜色信息两者之外，色边字表示允许被表示的草图/图像的重现和索引。每个草图/图像由具有坐标的特征袋来表示，以使得对于每个小轮廓段，该轮廓段和该轮廓段的每一侧上的颜色被编码为单一视觉字，在本文中将其称为色边字。
图2示出了示例CEW表示模块136的精选组件。在示例实现中，CEW表示组件136包括局部片检测器202、片定位器204、形状检测器206、形状词汇表208、区域指定器210、颜色检测器212、颜色词汇表214、以及色边字生成器216。
局部片检测器202沿草图或图像的轮廓提取局部片(patch)。
片定位器204确定图像或草图内的该片的位置。在一示例实现中，位置由(x,y)坐标表示。
形状检测器206分析片的轮廓段，将该轮廓段与在形状词汇表208中找到的形状相比较。形状检测器206从形状词汇表208中选择与该片的该轮廓段最接近地相似的形状。
形状词汇表208包括至少类似于图像轮廓段的多个形状。在一示例实现中，形状词汇表208基于在样本图像集中标识的片来构建。例如，来自图像储存库106的图像可被用来构建形状词汇表208。在一示例实现中，100000个片被从所述图像随机采样。随后利用k-medoids(k-中心点)群集算法来对来自所述片的轮廓段分组。两个轮廓段之间的距离可使用例如基础Chamfer距离来测量。随后使用示例群集来定义形状词汇表208中的形状。
如图2中所示，形状词汇表208可基于任何数量的轮廓段群集来构建。例如，形状词汇表208(A)仅基于两个群集。在此示例中，100000个被采样的片被分为仅两个群集。结果是仅包含水平形状和竖直形状的词汇表。这是非常简化的并且很可能不是很有用的形状词汇表。
形状词汇表208(B),208(C),208(D)和208(E)是使用渐增数量的群集构建的越来越复杂的形状词汇表的示例。在所示示例中，形状词汇表208(A),208(B),208(C)和208(D)中的每个形状是直线段。与之相对照，在更复杂的形状词汇表208(E)中，随着大量群集被用于构建形状词汇表，更复杂的形状(包括曲线和/或尖锐的转角)被包括在形状词汇表中。
形状词汇表的大小直接影响在执行彩色草图图像搜索时形状被考虑的程度。即，如果形状词汇表208相对较小(例如，形状词汇表208(A))，则与图像内每个被标识片相关联的形状可能仅是片的实际轮廓段的非常粗略的估计。与之相对，如果形状词汇表208相对较大(例如，形状词汇表208(E))，则与图像内每个被标识片相关联的形状可能是实际轮廓段的更精确的估计。每个片中的轮廓段的表示越准确，作为搜索结果返回的图像内的形状将与被用作搜索基础的用户生成的草图内的形状越紧密地匹配。
区域指定器210将片的一个区域指定为“右侧区域”，且将片的另一区域指定为“左侧区域”。在一示例实现中，区域指定器210基于片与种子片的比较来指定区域，所述种子片基于从形状词汇表208中选择的形状。
颜色检测器212确定片的每个区域的主色。例如，每个区域的主色可被提取并在特定色彩空间中量化。在一示例实现中，根据人类色彩感知将HSV(色调饱和度值)色彩空间218量化到预定数量的桶(bin)。在一个示例中，颜色词汇表214定义36个桶220。HSV色彩空间218被量化为36个桶，其中在低值/饱和区域具有更粗糙的量化，而在高值/饱和区域具有更精细的量化。在替换实现中，颜色词汇表可包括不同数量的颜色桶和/或可基于不同色彩空间。
为了确保用户生成的草图(该草图可包括没有颜色的区域)能够被匹配值各图像，“自由色”(或“百搭色”)222被定义为描述没有用任何颜色绘画的区域的颜色。任何颜色和自由色222之间的距离被定义为0。如此，任何颜色可匹配自由色。
色边字生成器216生成表示片的色边字。在一示例实现中，色边字被表示为基于片位置、所确定的形状、以及所确定的主色的五元组。
图3示出如由局部片检测器202和片定位器204执行的局部片检测和定位的示例。示例图像302包括各种颜色，如由该图像右侧的键所指示的。局部片随后在该图像内被标识，如在图像302(A)中所解说的。
在一示例实现中，局部片检测器202使用Canny边检测器提取显著轮廓，并移除短的琐碎线条。对于单一连续轮廓，局部片检测器202沿该轮廓滑动大小为R X R的片检测窗以标识片，每个片包含一轮廓段和两个相邻局部区域。在一示例实现中，所标识的片可交叠以确保每个片中的轮廓段足够长以毫无模糊地将该片分为两个区域。
在图像或草图的复杂区域中，特定片可包括多个轮廓段。为了确保每个片仅具有一个形状和两个区域，片被定义为具有与片的中心相交的轮廓段，且该轮廓段的末端满足片的边界。
在包括彼此足够靠近或相交的多个轮廓的复杂区域中，多个交叠片可被标识，以使得每个片具有一个相关联的轮廓段(即，与该片的中心相交的段)和两个不同的区域。
每个片的各组分随后在为每个片生成色边字时被考虑。例如，片定位器204确定图像302(A)中与片304相对应的特定位置。该位置可被(x,y)坐标306指定。而且，片304包括三个不同的组分，即：轮廓段308、第一区域310和第二区域312。
图4示出了如由片定位器执行的标识与片相关联形状、如由区域指定器210所执行的指定片的左侧和右侧区域、如由颜色检测器212所执行的标识片中的区域的主色、如由色边字生成器216所执行的生成片的色边字、以及将图像或草图表示为色边字袋。
如上面参考图3所描述的，片304包括轮廓段308。在示例实现中，形状检测器206将沦落段308与形状词汇表208中的各形状相比较。形状词汇表中最接近地类似轮廓段308的形状被选择来表示轮廓段308。在所示示例中，被指定为(v)的形状402被选择来表示轮廓段308。
区域指定器210指定每个片的左侧区域和右侧区域。在一示例实现中，形状词汇表208中的每个形状具有对象的种子片。种子片与该图像中所标识的片大小相同，且包括穿过种子片的中间放置的形状。种子片的两个区域被预定义为左侧区域和右侧区域。
在所示示例中，种子片404对应于形状402并具有预定义的左侧区域和预定义的右侧区域。为了针对区域310和312确定哪个区域是左侧区域而哪个区域是右侧区域，执行片304和种子片404之间的比较，如在406处所示。因为区域310的与种子片404的右侧区域交叠的部分大于区域312的与种子片404的右侧区域交叠的部分，所以区域310被指定为片304的右侧区域。类似地，因为区域312的与种子片404的左侧区域交叠的部分大于区域312的与种子片404的左侧区域交叠的部分，所以区域312被指定为片304的左侧区域。
颜色检测器212标识每个片中每个区域的主色。在所示示例中，区域310是绿色的，而区域312为棕色的。在示例场景中，区域310可实际上包括各种绿色的形状。类似地，区域312可包括各种棕色的形状。而且，区域310可包括绿色之外的少量一种或多种颜色，且类似地，区域312可包括棕色之外的少量一种或多种颜色。
如上所述，每个区域的主色可基于HSV色彩空间中的桶来确定，其中桶对应于人类可感知的颜色。这些桶构成颜色词汇表214。在所示示例中，左侧区域312被确定为具有主色408，其被指定为cL。类似地，右侧区域310被确定为具有主色410，其被指定为cR。
色边字生成器216随后生成每个片的色边字。在所示示例中，五元组412是从(x,y)坐标306、形状(v)402、左侧区域的主色(cL)408、以及右侧区域的主色(cR)410生成的色边字。该色边字由(x,y,v,cL,cR)表示。
该色边字还可由片414视觉地表示，该片包括形状(v)402，其中右侧区域具有颜色(cR)410而左侧区域具有颜色(cL)408。色边字(x,y)的位置组分表示在由该色边字表示的片的图像内的位置。
草图或图像随后被表示为色边字袋。例如，如图4中所示，代表性图像416是从图像或草图302生成的色边字的编译。
彩色草图到图像匹配
如本文所述的，彩色草图图像搜索的目标是接收用户生成的彩色草图并标识数据库(或其它数据储存库，例如因特网)中的类似图像。令Q表示代表彩色草图的色边字集合，其中色边字q∈Q为五元组(xq,yq,vq,cLq,cRq)，该五元组具有位置xq＝(xq,yq)，边字vq，以及色字cq＝(cLq,cRq)。类似地，令D表示数据库图像。为了确定D是否是的良好匹配Q，使用一种算法来计算Q和D之间的距离(或相似性)，该距离由DistQ,D(或SimQ,D)表示。
Chamfer匹配是基于形状将草图匹配到图像的有效工具。根据定义，从图像D到草图Q的基础Chamfer距离被定义为：
其中|D|是图像D的边像素(边素)的数量，而xp和xq是两个边素的位置。Chamfer匹配尝试针对数据库图像D的每个边素寻找查询草图Q上的最接近边素。在实践中，为了降低从O(|D|×|Q|)到O(|D|)的复杂度，可提前构建查询草图Q的距离转换图。此技术可通过增大存储成本来降低时间成本。对称Chamfer距离由下式给出：
尽管Chamfer匹配及其变型已经在形状匹配中取得了成功，然而Chamfer匹配是为原始曲线匹配设计的，而不能被直接用来匹配色边字。然而，通过一定的修改，开发了一种用于应用到由色边字集合表示的草图和图像的基于Chamfer匹配的新算法。
上面描述的Chamfer匹配算法被修改以使得基础元素是与坐标相关联的任何视觉字，而不是单一像素。而且，经修改的Chamfer算法不是计算如等式1表示的两个像素之间的几何距离，而是根据下式来计算两个视觉字之间的距离：
其中Q和D是任何视觉字集合，而dist(·，·)是特征距离测量。对称的经修改Chamfer距离与等式2相同。
为了将上述经修改的Chamfer算法应用到本文描述的色边字草图/图像表示，将距离函数更改为相似性函数以便据实现索引。一般化的单向相似性被定义为：
且一般化的对称Chamfer相似性被定义为：
如本文定义的，sim(p,q)由三个因子来确定：第一，p和q之间的几何距离，即simxy(p，q)；第二，形状相似性simv(p，q)；以及第三，颜色相似性simc(p，q)。总相似性由此被定义为：
sim(p，q)＝simxy(p，q)·simv(p，q)·simc(p，q) (6)
其中：
simxy(p，q)＝δ(||xp-xq||2≤r) (7)
simv(p，q)＝δ(vp＝＝vq) (8)
为了支持索引，如将在下面更详细地讨论的，simxy(xp，xq)和simv(vp，vq)两者均采用二元形式，其中如果自变量表达式为真则δ(·)为1，否则为0，且r是用于二元化两个色边字之间的距离(相似性)的参数。如果该距离小于r，则这两个局部轮廓段(即，形状)满足形状相似性阈值。如果该距离不小于r，则这两个局部轮廓段不满足形状相似性阈值。在示例实现中，δ(·)是Dirac Delta(狄拉克增量)函数，其被用来提供快速索引回忆。在示例实现中，可使用连续距离函数来提供进一步的重新排名。
在上式中，s(c1，c2)是基于来自同一侧的两个量化色字的颜色相似性函数。即，c1和c2是两个图像片的左侧区域的主色，或c1和c2是两个图像片的右侧区域的主色。
在本文中被称为“强匹配”的示例实现中，s(c1，c2)＝δ(c1＝＝c2)。在本文中被称为“灵活匹配”的示例实现中，s(c1，c2)＝max{δ(c1＝＝c2)，α}，其中0<α<1。强匹配实现刚性地实施草图和图像之间的颜色匹配。与之相对，灵活匹配实现经由参数α提供灵活性，该参数被用来调整颜色和形状之间的偏好。α的值越大，搜索结果越强调形状相似性。换言之，如果α是小值，则前面的搜索结果将包括具有良好形状匹配和良好颜色匹配的图像；随着α的值增大，搜索结果图像具有良好的形状匹配，但是更差的颜色匹配将排名得更高。强匹配实现等同于α＝0时的灵活匹配实现。
色边字索引
尽管Chamfer匹配是相对简单的过程，然而仍然难以开发出基于数百万图像的线性扫描的实时系统。然而，通过使用倒置索引，本文描述的匹配算法能被调整尺度到大尺度数据库。
首先参考上述强匹配实现，等式4定义一般化单向相似性。如上所述，等式6中的每个相似性是二元的。从而，等式4中的“max”运算也是二元的。相应地，等式4可被重写为：
其中如果存在满足等式7-9的q∈Q，则为HitQ(P)1，否则HitQ(P)为0。换言之，对于数据库图像中的色边字p，关于在查询草图中的位置xp附近是否存在相似色边字(即，具有相同形状和相同颜色的色边字)做出判断。在示例实现中，此判断使用查询扩大和五元组倒置索引查找来实现。
为了构建倒置索引以支持本文描述的Chamfer匹配，构造字典，以将每个色边字p＝(x，y，v，cL，cR)作为字包括在该字典中。色边字字典大小为图像_宽度x图像_高度x|V|x|C|2，其中|V|和|C|是形状词汇表208和颜色词汇表214的大小。
图5示出了强匹配实现的示例倒置索引502。如上所述，针对字典504中的每个色边字构造倒置列表。对于特定色边字，如果数据库中的图像包括该色边字，则与该图像相关联的图像ID被添加到针对该色边字的倒置列表。例如，色边字506具有包括图像ID 1、图像ID3、图像ID 5、图像ID 8……以及图像ID J的倒置列表，指示图像1、3、5、8……和J各包括与色边字506相匹配的片。类似地，色边字508具有包括图像ID 2、图像ID 3、图像ID 7……以及图像ID K的倒置列表。
图6示出了灵活匹配实现的示例倒置索引602。如上所述，在灵活匹配实现中，色字之间的相似性不是二元的。为了捕捉灵活匹配实现为匹配颜色所提供的灵活性，边字字典604包括三元组(x,y,v)作为字，其中每个三元组对应于一个或多个色边字并仅包括位置(x,y)和形状(v)信息。
与上面描述的倒置索引502相似，倒置索引602包括为字典604中的每个边字构建的倒置列表。对于字典604中的特定边字，如果数据库中的图像包括具有相同位置和形状信息的色边字，则与该图像相关联的图像ID被添加到该边字的倒置列表。与倒置索引502相对，因为字典604仅包括位置和形状信息，所以倒置列表中的每个条目除了图像ID之外还包括颜色信息。即，对于数据库图像中具有与字典604中的边字相匹配的位置和形状信息的色边字，该图像的图像ID和来自该色边字的颜色信息被一起存储在倒置索引中。
任选的图像预处理
要使用查询草图搜索的图像可能在大小和分辨率方面极大的不同。在一示例实现中，为了平衡结构信息保留和存储成本，在构建索引之前，每个数据库图像被下采样至最大维度(例如，200个像素)。Canny边检测器随后被用于提取图像的主要对象轮廓。显著性检测器随后可被用来提取主要前景对象，其提供了在匹配期间的特定尺度和平移不变性。所提取的显著性图被扩大(例如，经验性地5个像素)并被用作掩模来移除背景边。剩余的边被各向同性地调整尺度并被定位在中心以提供用于遍历数据库的对象检索的尺度和平移不变性。使用这些预处理技术，自然图像被转换为边图，基于边图色边字特征被提取以构建倒置索引。
颜色传播和查询扩大
图7示出示例颜色传播和查询扩大。当用户提交的查询草图被接收，颜色传播和查询扩大被执行。在示例实现中，草图中的仅被部分着色的区域可用颜色填充以确保精确的色边字表示。而且，为了确保形状定位的某种灵活性，查询草图中的每个色边字被传播至其在距离r内的邻居，如上面参考等式7所定义的。
在所示示例中，用户提交的草图702被接收。颜色传播被执行以将着色区域向上扩展至草图内的轮廓。例如，在所示草图702中，在三角形“之后”的区域大部分被着色。通过颜色传播，三角形“之后”的整个区域被着色。类似地，在所示草图702中，与三角形在一起的区域大部分被着色。通过颜色传播，三角形内的整个区域被着色。颜色传播的结果在草图704中示出。
草图706示出了已在颜色传播草图704内被标识的精选片。草图708示出了查询扩大。查询扩大被执行以在将草图内的位置匹配到图像内的位置时提供一定程度的灵活性。这与上面示出的等式7一致。在所示示例中，片710具有位置坐标(x,y)。虚线圈712具有半径，并定义了表示块710的色边字要针对其相关联的区域。换言之，与片710相关联的色边字v,cL和cR的值也将与虚线圈712内的每个其它位置相关联。相应地，具有相同v,cL和cR值的色边字将针对具有范围为从(x-r,y-r)到(x+r,y+r)的坐标的每个位置生成。r的值越大，在匹配草图和图像之间的位置时存在的灵活性越大。
匹配得分
根据所述强匹配实现，当用户提交的查询草图被接收时，如上所述，表示查询草图的一组色边字被生成。为了标识与该查询草图相匹配的图像搜索结果，倒置索引502被访问以标识具有至少一个与查询草图的色边字相匹配的色边字的每个图像。针对被标识为匹配的每个图像保留记分，以使得具有更高记分计数的图像与具有较低记分计数的图像相比具有更多与查询草图的色边字相匹配的色边字。随后根据等式10针对每个数据库图像计算单向匹配得分。例如，如果特定数据库图像D具有100个色边字，且那些色边字中的25个色边字与查询草图Q的色边字相匹配，则相似性SimD→Q＝0.25。
类似地，根据所述灵活匹配实现，当用户提交的查询草图被接收时，如上所述，表示查询草图的一组色边字被生成。为了标识与该查询草图相匹配的图像搜索结果，倒置索引602被访问以标识具有至少一个与查询草图的色边字的位置和形状信息相匹配的色边字(x,y,v)的每个图像。不是为被标识为匹配的每个图像保留记分，每当一匹配被标识，就根据等式9来评估颜色相似性，并且对于被标识为匹配的每个图像，维持所评估的颜色相似性值的和。随后根据等式4针对每个数据库图像计算单向匹配得分。
如上所述，倒置索引502和602是单向索引。在一示例实现中，另一索引结构可被构建以计算SimQ→D，且等式5随后可被用来计算每个图像的最终匹配得分。然而，为了构建这样的索引，应当针对每个数据库图像中的每个色边字执行图像扩大，这将显著增加存储成本。
相应地，在替换实现中，使用，回忆阈值数量的候选图像(例如前5000个)。这些候选图像被线性扫描以使用等式5计算这些图像中的每个图像的最终匹配得分。在一示例实现中，根据最终匹配得分对查询结果排名以便显示。在一些实现中，可使用连续距离函数执行进一步的重新排名。
示例用户界面
图8示出了用于提交彩色草图作为查询的示例用户界面800。在所示示例中，彩色草图图像搜索是作为搜索引擎的一部分实现的。相应地，用户界面800被描绘为浏览器界面。然而，如同上面讨论的，彩色草图搜索还可在各种其它环境中实现。如此，如本文所述的用户界面800的各组件可作为其它应用用户界面的组件来实现，诸如相片库应用、文档生成应用的剪贴画组件等等。
示例用户界面800包括绘制画布802、绘画工具804、拾色器806、以及查询提交按钮808。绘画工具804可包括例如二元钢笔810、彩色铅笔812、色桶814、以及色刷816。
通过选择颜色和工具，用户在绘制画布802内创建草图。当满意草图时，用户选择查询提交按钮808来将该草图作为查询发送给搜索引擎。
图9示出了示例查询草图生成。作为第一示例，可使用二元钢笔810和色桶814来生成美国国旗的草图。在第一步骤902中，使用二元钢笔810，用户绘制国旗的黑色轮廓。在第二步骤904中，使用色桶814，用户用蓝色填充国旗的方形部分。在第三步骤906中，使用色桶814，用户用红色和白色填充条纹。
作为第二示例，使用二元钢笔810和色刷816生成建筑物的草图。在第一步骤908中，使用二元钢笔810，用户绘制建筑物的黑色轮廓。在第二步骤910中，使用色刷816，用户添加蓝色以指定建筑物上方的背景。在第三步骤912中，使用色刷816，用户添加绿色以指定建筑物下方的前景。
作为第三示例，使用彩色铅笔812生成草莓的草图。在第一步骤914中，用户选择红色，并绘制草莓的轮廓。在第二步骤916中，用户选择绿色，并绘制草莓顶部的叶子的轮廓。在第三步骤918中，用户选择黄色，并在草莓的轮廓内添加代表种子的点。
作为第四示例，使用色刷816生成夜晚的埃菲尔铁塔的草图。在第一步骤920中，用户选择蓝色，并绘制表示埃菲尔铁塔的三角形。在第二步骤922中，用户选择黄色，并绘制铁塔紧下方的被照亮区域。在第三步骤924中，用户选择黑色，填充背景来表示夜空。
示例操作
图10-12示出了用于实现如本文所述的彩色草图图像的示例过程。这些过程被示为逻辑流程图中的各框的集合，这表示可用硬件、软件或其组合实现的一系列操作。在软件的上下文中，这些框表示存储在一个或多个计算机存储介质上的计算机可执行指令，这些指令在由一个或多个处理器执行时使得这些处理器执行既定操作。注意，描述过程的次序并不旨在解释为限制，并且任何数目的所述过程框可以按任何次序组合以实现所述过程或替换过程。另外，可从过程中删除各个框，而不背离此处所述的主题的精神和范围。而且，尽管这些过程是参考上面参考图1和2描述的计算环境100的组件描述的，然而其它计算机架构可整体或部分地实现这些过程的一个或多个部分。
图10示出了用于实现如本文所述的彩色草图图像的示例过程。
在框1002，预处理数据库图像。如上所述，可对照图像储存库的任何变型来执行彩色草图图像搜索，包括但不限于：剪贴画库、相片库、或通过因特网可用的图像。由于在这些图像之间可能存在很广的变化，所以图像预处理模块142对图像进行预处理来将每个图像转换为边图。
在框1004，从数据库图像提取色边字。例如，色边字表示模块136从如在框1002描述地生成的边图来提取色边字。用于从图像或草图提取色边字的过程在下面参考图12更详细地描述。
在框1006，构建倒置索引。例如，如上面参考图5和图6所描述的，索引模块140基于从数据库图像提取的色边字来构建倒置索引。
在框1008，接收查询草图。例如，用户生成的查询草图经由网络108被从浏览器应用118传送到搜索引擎132。
在框1010，预处理查询草图。例如，如上面参考图7描述的，局部片检测器202可执行颜色传播、查询扩大、以及片检测。作为结果，在该搜索查询内标识多个片，其中每个片包括将片分为两个区域的轮廓段。
在框1012，从查询草图提取色边字。例如，对于每个片，片定位器204确定与该片相关联的位置坐标，形状检测器206从形状词汇表208确定表示片的轮廓段的形状，区域指定器210指定片的“右侧区域”和“左侧区域”，且颜色检测器212使用颜色词汇表214分析每个区域的颜色来确定每个区域的主色。基于此信息，色边字生成器206生成每个片的色边字。用于从图像或草图提取色边字的过程在下面参考图12更详细地描述。
在框1014，将从查询草图提取的色边字与倒置索引进行比较以标识查询结果。例如，如上面参考图5和图6所述，匹配模块138与查询草图相关地计算每个数据库图像的相似性得分。
在框1016，对查询结果排名。例如，如上面参考图5和图6描述的，匹配模块138根据类似度得分对查询结果排名。
在框1018，返回查询结果。例如，搜索引擎132通过网络108将图像的经排名列表返回至浏览器应用118。
图11示出了用于预处理数据库图像以将每个图像转换为边图的示例过程。
在框1102，对图像进行下采样。例如，图像预处理模块142对图像进行下采样来实施最大维度。
在框1104，提取对象轮廓。例如，图像预处理模块142利用canny边检测器来提取主要对象轮廓。
在框1106，提取前景对象。例如，图像预处理模块142使用显著性检测器来提取主要前景对象，从而带来二元显著性图。
在框1108，移除背景边。例如，图像预处理模块142使用二进制显著性图作为用于移除背景边的图(map)。
在框1110，边被各向异性地调整尺度并定位在中心。例如，图像预处理模块142调整尺度以及重新定位剩余边以提供用于对象检索的尺度和平移不变性。
图12示出了用于生成图像或草图的色边字表示的示例过程。
在框1202，接收草图或图像。例如，来自图像储存库106的图像被访问或用户生成的草图被接收。
在框1204，执行局部片检测。例如，沿图像中的每个连续轮廓来标识局部片。每个局部片被标识，以使得该轮廓的一段穿过片的中心且该轮廓段的两端与片的边界连接。该轮廓段将该片分为两个区域，在该轮廓段的任一侧有一个区域。
在框1206，检测每个片的位置。例如，片定位器204确定与该片的中心相对应的(x,y)坐标。
在框1208，标识与每个片相关联的形状。例如，形状检测器206将穿过该片的中心的轮廓段与形状词汇表208中的形状进行比较。形状词汇表208中的最接近地类似于该轮廓段的形状被选为与该片相关联的形状。
在框1210，针对每个片指定左侧区域和右侧区域。例如，区域指定器210将在该轮廓段的一侧上的区域指定为“左侧区域”其恶将在该轮廓段的另一侧上的区域指定为“右侧区域”。关于用于确定哪个区域被指定为“左侧区域”而哪个区域被指定为“右侧区域”的示例过程的更多细节在下面参考图5来描述。
在框1212，标识每个片中的每个区域的主色。例如，颜色检测器212针对每个区域确定要与该区域相关联的主色。
颜色检测器212分析该片的每个区域，并且针对每个区域确定该区域的主色。例如，颜色检测器212可确定36个HSV桶中的哪个HSV桶与该区域最相似。基于该区域的平均颜色值或者基于该区域内与该HSV桶中的每个HSV桶相对应的像素数可确定该区域的主色，其中对应于最多像素的桶被选为该区域的主色。
在框1214，针对每个片生成色边字。例如，色边字生成器214将位置、形状、左侧区域颜色和右侧区域颜色进行组合来形成色边字。在一示例实现中，色边字由五元组(x,y,v,cL,cR)表示，其中x和y是该片的中心在该图像或草图内的坐标，v对应于表示穿过该片的中心的轮廓段的形状，cL是该片的左侧区域的主色，而cR是该片的右侧区域的主色。
在框1216，草图或图像随后被表示为色边字袋。例如，草图或图像由针对为该草图或图像标识的所有片生成的色边字集合来表示。
结语
尽管已经用结构特征和/或方法运算专用的语言描述了本主题，但要理解，所附权利要求书中定义的主题不必限于所描述的具体特征或操作。相反，这些具体特征和动作是作为实现权利要求的示例形式来公开的。

Claims (10)

1.一种用于图像比较的方法，包括：
标识图像内的轮廓；
标识沿所述轮廓的多个片，其中每个片包括与相应片相交的轮廓段；
对于该多个片中的特定片：
标识表示所述轮廓段的形状；
标识所述特定片中位于所述轮廓段的第一侧的区域的第一主色；
标识所述特定片中位于所述轮廓段的第二侧的区域的第二主色；
生成色边字，所述色边字表示所述特定片并且包括所述特定片的位置、所述第一主色以及所述第二主色的表示；以及
通过将表示第一图像的色边字与表示第二图像的色边字进行比较来确定所述第一图像与所述第二图像的相似性。
2.如权利要求1所述的方法，其特征在于，标识表示所述轮廓段的形状包括：
将所述轮廓段与形状词汇表中的形状进行比较；以及
从所述形状词汇表中选择最接近地类似于所述轮廓段的形状。
3.如权利要求2所述的方法，其特征在于，最接近地类似于所述轮廓段的形状是具有距所述轮廓段的最低值Chamfer距离的形状。
4.如权利要求1所述的方法，其特征在于，标识所述第一主色包括：
将出现在所述片内位于所述轮廓段的所述第一侧的所述区域内的颜色与颜色词汇表中的颜色进行比较；以及
从所述颜色词汇表中选择所述片内位于所述轮廓段的所述第一侧的所述区域内最频繁地出现的颜色。
5.如权利要求1所述的方法，其特征在于，标识所述第一主色包括：
构造包括多个颜色桶的颜色词汇表，其中每个颜色槽对应于色彩空间中的多个颜色；
对于出现在所述片内位于所述轮廓段的所述第一侧的所述区域内的每个颜色，确定所述颜色词汇表中与所述颜色相对应的颜色桶；以及
将与出现在所述片内位于所述轮廓段的所述第一侧的所述区域内的颜色最频繁地相对应的颜色桶选为所述第一主色。
6.如权利要求5所述的方法，其特征在于，所述色彩空间是色调饱和度值(HSV)色彩空间。
7.如权利要求1所述的方法，其特征在于，所述图像是用户生成的草图。
8.一种用于确定草图和图像之间的相似性的方法，所述方法包括：
定义色边字，所述色边字用于表示草图或图像内的位置、位于所述位置处的轮廓段的形状、所述草图或图像中在所述轮廓段的第一侧的部分的颜色以及所述草图或图像中在所述轮廓段的第二侧的部分的颜色；
将所述草图表示为第一色边字集合；
将所述图像表示为第二色边字集合；以及
计算所述第二色边字集合中与所述第一色边字集合中的色边字相匹配的色边字的数量作为匹配值；
通过用所述匹配值除以所述第二色边字集合中的色边字的总数来计算所述图像与所述草图的相似性。
9.一种用于图像搜索的方法，包括：
定义色边字，所述色边字用于表示草图或图像内的位置、位于所述位置处的轮廓段的形状、所述草图或图像中在所述轮廓段的第一侧的部分的颜色以及所述草图或图像中在所述轮廓段的第二侧的部分的颜色；
对于多个图像，将每个图像表示为色边字的集合；
生成字典，其中所述字典中的每个字基于所述色边字中的一个或多个；
对于所述字典中的每个字，生成表示所述多个图像中的图像的列表，其中对于所述列表中的每个图像表示，所述字典中的字对应于表示所述图像的色边字集合中的色边字；
接收包括草图的搜索查询；
将所述草图表示为色边字集合；
基于表示所述草图的色边字与所述字典中的字的比较来返回所述多个图像中的一个或多个图像作为搜索结果。
10.如权利要求9所述的方法，其特征在于：
所述字典中的每个字由与所述色边字中的一个或多个色边字相关联的位置信息和形状信息构成；以及
所述列表中与所述字典中的特定字相对应的每个图像表示由与表示所述图像的色边字相关联的图像标识符和颜色信息构成，其中表示所述图像的所述色边字的位置信息和形状信息与所述字典中的所述特定字的位置信息和形状信息相匹配。
CN201380077462.7A 2013-06-14 2013-06-14 彩色草图图像搜索 Active CN105493078B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910660658.8A CN110413816B (zh) 2013-06-14 2013-06-14 彩色草图图像搜索

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2013/077211 WO2014198051A1 (en) 2013-06-14 2013-06-14 Color sketch image searching

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910660658.8A Division CN110413816B (zh) 2013-06-14 2013-06-14 彩色草图图像搜索

Publications (2)

Publication Number Publication Date
CN105493078A CN105493078A (zh) 2016-04-13
CN105493078B true CN105493078B (zh) 2019-07-23

Family

ID=52021577

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910660658.8A Active CN110413816B (zh) 2013-06-14 2013-06-14 彩色草图图像搜索
CN201380077462.7A Active CN105493078B (zh) 2013-06-14 2013-06-14 彩色草图图像搜索

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910660658.8A Active CN110413816B (zh) 2013-06-14 2013-06-14 彩色草图图像搜索

Country Status (4)

Country Link
US (2) US9875253B2 (zh)
EP (1) EP3008632A4 (zh)
CN (2) CN110413816B (zh)
WO (1) WO2014198051A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9875253B2 (en) 2013-06-14 2018-01-23 Microsoft Technology Licensing, Llc Color sketch image searching
KR101912794B1 (ko) * 2013-11-27 2018-10-29 한화테크윈 주식회사 영상 검색 시스템 및 영상 검색 방법
WO2017020140A1 (es) * 2015-08-03 2017-02-09 Orand S.A. Sistema de búsqueda de imágenes por sketches usando histogramas de orientaciones de celdas y extracción de contornos basado en características de nivel medio
CN106202189A (zh) * 2016-06-27 2016-12-07 乐视控股（北京）有限公司 一种图像搜索方法及装置
KR102444148B1 (ko) * 2017-04-17 2022-09-19 삼성전자주식회사 전자 장치 및 그 동작 방법
US10380175B2 (en) * 2017-06-06 2019-08-13 International Business Machines Corporation Sketch-based image retrieval using feedback and hierarchies
US10902053B2 (en) * 2017-12-21 2021-01-26 Adobe Inc. Shape-based graphics search
US11232596B2 (en) * 2018-05-09 2022-01-25 Reflektion, Inc. Search quality improvement using color synonyms
AU2018427622B2 (en) * 2018-06-13 2021-12-02 Fujitsu Limited Acquiring method, generating method acquiring program, generating program, and information processing apparatus
CN109389660A (zh) * 2018-09-28 2019-02-26 百度在线网络技术（北京）有限公司 图像生成方法和装置
CN110659680B (zh) * 2019-09-16 2022-02-11 西安电子科技大学 一种基于多尺度卷积的图像patch匹配方法
CN112069336B (zh) * 2020-08-04 2022-10-14 中国科学院软件研究所 一种基于场景草图的细粒度图像检索方法及系统
CN113010741B (zh) * 2021-03-30 2023-09-05 南京大学 基于草图的移动应用模型查询方法
US20230360283A1 (en) * 2022-05-09 2023-11-09 Adobe Inc. Three-Dimensional Vector-Based Brushes
CN116737982B (zh) * 2023-08-11 2023-10-31 拓锐科技有限公司 一种基于数据分析的图片搜索结果智能筛选管理系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100517328C (zh) * 2006-02-01 2009-07-22 索尼株式会社 显示控制装置和方法
CN102265598A (zh) * 2008-10-26 2011-11-30 惠普开发有限公司 使用基于内容的过滤和基于主题的聚类将图像布置到页面中
CN102339306A (zh) * 2010-08-31 2012-02-01 微软公司 基于草图的图像搜索

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100422805B1 (ko) * 2000-12-26 2004-03-12 한국전자통신연구원 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치및 그 방법
CN101211341A (zh) * 2006-12-29 2008-07-02 上海芯盛电子科技有限公司 图像智能模式识别搜索方法
CN101159064B (zh) 2007-11-29 2010-09-01 腾讯科技（深圳）有限公司 画像生成系统以及按照图像生成画像的方法
CN101329677A (zh) * 2008-05-07 2008-12-24 裴亚军 基于图像内容的图像搜索引擎
CN101739397A (zh) * 2008-11-17 2010-06-16 新疆亚奥数码科技有限公司 基于mpeg-7的图像检索系统
US8223402B2 (en) * 2009-05-04 2012-07-17 Xerox Corporation Color trapping on a halftoned bi-level bitmap
US8861844B2 (en) 2010-03-29 2014-10-14 Ebay Inc. Pre-computing digests for image similarity searching of image-based listings in a network-based publication system
US8447752B2 (en) * 2010-09-16 2013-05-21 Microsoft Corporation Image search by interactive sketching and tagging
US20120162244A1 (en) 2010-12-28 2012-06-28 Microsoft Corporation Image search color sketch filtering
CN102902807B (zh) * 2011-10-18 2016-06-29 微软技术许可有限责任公司 使用多个视觉输入模态的视觉搜索
US8589410B2 (en) * 2011-10-18 2013-11-19 Microsoft Corporation Visual search using multiple visual input modalities
US9875253B2 (en) 2013-06-14 2018-01-23 Microsoft Technology Licensing, Llc Color sketch image searching

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100517328C (zh) * 2006-02-01 2009-07-22 索尼株式会社 显示控制装置和方法
CN102265598A (zh) * 2008-10-26 2011-11-30 惠普开发有限公司 使用基于内容的过滤和基于主题的聚类将图像布置到页面中
CN102339306A (zh) * 2010-08-31 2012-02-01 微软公司 基于草图的图像搜索

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《A review of weighting schemes for bag of visual words image retrieval》;Pierre Tirilly等;《HAL - INRIA》;20090501;第323-332页

Also Published As

Publication number Publication date
US9875253B2 (en) 2018-01-23
WO2014198051A1 (en) 2014-12-18
US10528620B2 (en) 2020-01-07
US20180129658A1 (en) 2018-05-10
EP3008632A4 (en) 2016-06-01
EP3008632A1 (en) 2016-04-20
US20160132498A1 (en) 2016-05-12
CN110413816B (zh) 2023-09-01
CN105493078A (zh) 2016-04-13
CN110413816A (zh) 2019-11-05

Similar Documents

Publication Publication Date Title
CN105493078B (zh) 彩色草图图像搜索
Chai et al. Autohair: Fully automatic hair modeling from a single image
Ma et al. A saliency prior context model for real-time object tracking
Eitz et al. Photosketcher: interactive sketch-based image synthesis
US11704357B2 (en) Shape-based graphics search
Noris et al. Smart scribbles for sketch segmentation
EP2587826A1 (en) Extraction and association method and system for objects of interest in video
CN106096542B (zh) 基于距离预测信息的图像视频场景识别方法
CN112287187A (zh) 利用对象属性检测模型来自动地选择图像中所检测的对象的实例
CN104106078B (zh) 光学字符辨识(ocr)高速缓冲存储器更新
CN110490238A (zh) 一种图像处理方法、装置及存储介质
CN110136198A (zh) 图像处理方法及其装置、设备和存储介质
CN106980866B (zh) 一种鞋类检索方法和装置
Zhao et al. A novel three-dimensional object detection with the modified You Only Look Once method
Montserrat et al. Logo detection and recognition with synthetic images
JP2019185787A (ja) 地理的地域内のコンテナのリモート決定
Zhang et al. Context-based sketch classification
Zhao et al. Learning best views of 3D shapes from sketch contour
JP4570995B2 (ja) マッチング方法およびマッチング装置ならびにプログラム
Lengauer et al. A sketch-aided retrieval approach for incomplete 3D objects
US11361467B2 (en) Pose selection and animation of characters using video data and training techniques
Meng et al. Merged region based image retrieval
Zhou et al. Modeling perspective effects in photographic composition
Boroujerdi et al. Deep interactive region segmentation and captioning
Zhang et al. Content-based superpixel segmentation and matching using its region feature descriptors

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant