CN103430179B

CN103430179B - 在图像数据库中添加新图像和其相关信息的方法、系统以及计算机可读存储介质

Info

Publication number: CN103430179B
Application number: CN201180068995.XA
Authority: CN
Inventors: T·H·金; 朴珉济; S·K·崔
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2011-02-07
Filing date: 2011-12-29
Publication date: 2017-04-05
Anticipated expiration: 2031-12-29
Also published as: US20120203759A1; JP2014509004A; EP2674884A1; EP2674884A4; KR101029160B1; WO2012108623A1; JP5617095B2; CN103430179A

Abstract

根据本发明的一个实施例，提供了包括如下步骤的方法：（a）通过将图像数据库中已存储的图像和查询图像进行匹配，搜索出图像数据库中是否有与查询图像相似的图像；（b）搜索结果如果为没有与查询图像相似的图像，则将查询图像存储到未识别图像数据库中；（c）基于存储在未识别图像数据库中的图像间的相似度，收集互相关联的图像来形成图像集；（d）若输入特定图像及其标签信息，就会对形成的图像集中特定图像集内的一部分图像和输入的特定图像进行比较，如果判断为具有预定临界值以上的相似度，则将该图像和输入的标签信息一起自动添加到图像数据库中。

Description

在图像数据库中添加新图像和其相关信息的方法、系统以及计算机可读存储介质

技术领域

本发明涉及在图像数据库中增加新图像和其相关信息的方法、系统以及计算机可读存储介质。更具体来讲，本发明涉及：在图像数据库中添加新图像和其相关信息时，在用于搜索的图像数据库中搜索输入的查询图像后，对于不匹配的未识别图像另外存储并分组，采用通过网页爬行（web crawling）等方法自动获得的图像(或者是用户手动提供的图像)和标签进行验证，易于把上述未识别图像和其标签信息添加到图像数据库的方法、系统以及计算机可读存储介质。

背景技术

最近，随着通信技术的发展以及互联网使用的扩大，搜索的方法也成多样化。例如，搜索需要了解的信息时，计算机用户除了直接找词典或者询问精通相关信息的其他人之外，可以通过互联网(更准确来说是网络服务)搜索找到需要的信息。即，使用网页浏览器连接到提供搜索服务的网络服务器，输入与需要找的信息相关的关键词，可以获得与网络服务器互动的搜索服务。

搜索服务的种类发展为多种多样，尤其在我国，为了获取信息，搜索的使用率呈上升趋势，如：知识搜索的所占比例增加等等。搜索服务功能就是这样被很多用户使用，一般来讲，用户访问网站直接与广告收入挂钩，确实有很多门户网站提供搜索功能。

但是，虽然提供搜索功能的网站的数量增加，多数是采用关键词等文本为中心的千篇一律的搜索方法，无法满足用户希望通过更加多样化的方法更容易获取信息的需求。

尤其是，当需要的信息由非文本的图像组成的时候，现有方法只是，推理出与该图像相关的关键词之后，输入相应的关键词进行搜索。当然，可以通过设置搜索范围只显示图像搜索结果，但是这样的图像搜索本身也是基于关键词等文本搜索的一种而已。

这种方法的问题在于，当用户不知道该图像是什么的时候，不容易推理相关的关键词，随之而来的是搜索时输入关键词的次数增加，不容易搜索到需要的信息。

为了解决这样的问题，先前开发过当用户等需要获得特定图像信息的时候，不通过文本，而是通过图像本身搜索的图像搜索系统。

但是，现有的图像搜索系统具有如下问题。首先，为了提供图像搜索系统需要一个包含充足的数据量的图像数据库，当图像数据库中不包含充足的数据时，即使输入查询图像也无法提供对于查询图像的搜索结果信息，将查询图像和图像数据库中存储的图像进行匹配后，结果为匹配失败的，即未识别的图像无法被再利用全部被丢弃。这个时候，在通过手动的方式把未识别的图像反映到图像数据库之前，即使反复重新搜索也同样无法提供对已有未识别图像的搜索结果信息。

发明内容

技术问题

本发明的目的在于解决上述所有问题。

而且，本发明的另一个目的在于，在用于搜索的图像数据库中搜索查询图像后，对于不匹配的未识别图像进行存储并分组，采用通过网页爬行等方法自动获得的图像(或者是用户手动提供的图像)以及标签信息(即，与该图像对应的信息)进行验证，从而易于把未识别图像和其标签信息添加到图像数据库中。

解决技术问题所采样的技术方案

为了达到上述目的，本发明典型的构成如下。

根据本发明的一个实施方式，在图像数据库中添加新图像和其相关信息的方法包括如下几个步骤：（a）如果输入查询图像，则通过对上述图像数据库中已存储的图像和上述查询图像进行匹配，来搜索上述图像数据库中是否有与上述查询图像相似的图像；（b）如果上述搜索结果为没有与上述查询图像相似的图像，则将上述查询图像存储到未识别图像数据库中；（c）在上述未识别图像数据库中存储的图像中，基于上述存储的图像间的相似度，来收集互相关联的图像从而形成图像集；（d）如果从外部输入特定图像及其标签信息，则比较所形成的图像集中特定图像集内的至少一部分图像和上述输入的特定图像，从而判断是否具有预定临界值以上的相似度，如果判断为具有上述预定临界值以上的相似度，则将上述至少一部分的图像和上述输入的标签信息一起自动添加到上述图像数据库中。

根据本发明另外一个实施方式，在图像数据库中添加新图像和其相关信息的系统包括如下几个部分：搜索部，如果输入查询图像，该搜索部通过匹配上述图像数据库中已存储的图像和上述查询图像，从而搜索上述图像数据库中是否有与上述查询图像相似的图像；未识别图像存储部，如果上述搜索结果为没有与上述查询图像相似的图像，则将上述查询图像存储到未识别图像数据库中；未识别图像形成部，在上述未识别图像数据库中保存的图像中，基于上述存储的图像间的相似度，来收集互相关联的图像从而形成图像集；新图像添加部，如果从外部输入特定图像及其标签信息，则比较所形成的图像集中特定图像集内的至少一部分图像和上述输入的特定图像，判断是否具有预定临界值以上的相似度，如果判断为具有上述预定临界值以上的相似度，则将上述至少一部分的图像和上述输入的标签信息一起自动添加到上述图像数据库中。

除此之外，还提供，实现本发明的其他方法、系统以及记录计算机程序的计算机可读存储介质，上述计算机程序可执行上述方法。

发明效果

根据本发明，可以达到如下效果：当图像数据库中不包含充足的数据的情况下，查询图像中的不与存储在图像数据库中的图像匹配的未识别图像不会被丢弃而是被再使用，使其可以合理地用于以后新输入的查询图像的匹配，从而最终实现自动改进的图像数据库。

附图说明

图1是概括性示出根据本发明一个实施例的在图像数据库中添加新图像和其相关信息的整体系统结构的示图。

图2是示意性示出根据本发明一个实施例的图像处理系统（200）的内部结构的示图。

图3是根据本发明一个实施例示出在未识别图像集形成部中基于存储在未识别图像数据库中图像间的相似度进行分组，来形成图像集的示图。

图4a以及图4b是根据本发明一个实施例示出在未识别图像集形成部中，收集存储在未识别图像数据库中相似的图像来形成图像集的一个实施例的示图。

图5是根据本发明一个实施例示意性地示出对于特征区域进行规范化的结构的示图。

图6是根据本发明一个实施例示意性地示出通过网页爬行器收集的图像以及属于图像集的图像所包含的特征区域的分布的示图。

<标号说明>

100：通信网

200：图像处理系统

210：搜索部

220：未识别图像存储部

230：未识别图像集形成部

240：新图像添加部

250：图像数据库

260：未识别图像数据库

270：通信部

280：控制部

300：用户终端设备

具体实施方式

在以下对于本发明的详细描述中，参考通过示例方式示出可以实施本发明的具体实施例的附图。充分详细地描述这些实施例，从而使得本领域的技术人员能够实施本发明。要理解的是，本发明的各个实施例尽管不同，但是不必相互排斥。例如，在不背离本发明的精神和范围的前提下，本文中一个实施例描述的特定形象、结构或特性可以在其它实施例中实施。此外，要理解的是，在不背离本发明的精神和范围的前提下，可以修改每个公开实施例中的个别组成部分的位置或布置。因此，以下详细描述不应被认为是限制性的；合理解释的话，本发明的范围仅仅由所附权利要求主张的等价物的全部范围以及权利要求所限定。在附图中，从多个角度来看，相似的参考标号表示相同或相似的功能。

如下，为了使得本发明所属的技术领域内普通人员容易实施本发明，参考附图详细说明本发明的优选实施例。

[本发明的优选实施例]

整体系统的结构

如图1所示，根据本发明一个实施例的整体系统可以由，通信网（100）、可在图像数据库中添加新图像和其相关信息的图像处理系统（200）以及用户终端设备（300）组成。

首先，通信网（100）可以不分有线以及无线等通信方式而组成，可由局域网（LAN：Local Area Network）、城域网（MAN：Metropolitan Area Network）、广域网（WAN：WideArea Network）等多种通信网组成。理想的是，本发明中所说的通信网（100）可以是公知的万维网（WWW：World Wide Web）。

根据本发明的一个实施例，以下所述的可在图像数据库中添加新图像和其相关信息的图像处理系统（200）可以执行如下功能：若从用户终端设备（300）通过通信网（100）输入查询图像，匹配已存储在图像数据库中的图像和查询图像，来搜索图像数据库中是否有与查询图像相似的图像，如果搜索结果为没有与查询图像相似的图像，就把查询图像存储在未识别图像数据库中。此时，通过匹配已存储在图像数据库中的图像的经过规范化的特征区域和查询图像的经过规范化的特征区域，从而可以搜索图像数据库中是否有与查询图像相似的图像。

并且，根据本发明一个实施例的图像处理系统（200）可以通过基于存储在未识别图像数据库中的图像间的相似度，将互相有关联的图像合起来进行分组从而组成图像集，此时，如果从外部（例如，网页爬行器或者任意的用户终端）获得特定图像以及其标签信息（即，对应于该图像的信息），将上述的图像集中特定图像集内至少一部分图像和上述特定图像进行比较，判断是否具有预定的临界值以上的相似度，如果判断为具有预定的临界值以上的相似度，将上述至少一部分图像和上述获得的标签信息一起自动添加到下述的图像数据库。

具体来讲，根据本发明的一个实施例，图像处理系统（200）可以执行如下功能：假设收集到超过预定个数的图像集数据（特定图像集内的数据或未识别图像数据库中存储的所有数据），参考通过爬行得到的数据以及/或用户输入的数据（例如，图像和该标签信息），来判断特定图像集内至少一部分图像与爬行得到的图像以及/或用户输入的图像是否有关联，如果判断为有关联，将上述至少一部分图像和爬行得到的标签信息以及/或用户输入的标签信息一起添加到图像数据库中。后面会详细说明图像处理系统（200）的内部结构。

另一方面，根据本发明一个实施例的用户终端设备（300）是具有使用户连接到图像处理系统（200）之后通信的功能的数码设备，只要是个人电脑（例如：台式机、笔记本电脑等等）、工作站、PDA、网页平板电脑（Web Pad）、移动电话等具备存储器且搭载微处理器从而具有运算能力的数码设备都可以作为本发明的用户终端设备（300）。

图像处理系统的结构

以下，介绍为了实现本发明执行重要功能的图像处理系统（200）的内部结构以及各个组成部分的功能。

参考图2，根据本发明一个实施例的图像处理系统（200）可以包括搜索部（210）、未识别图像存储部（220）、未识别图像集形成部（230）、新图像添加部（240）、图像数据库（250）、未识别图像数据库（260）、通信部（270）和控制部（280）。

根据本发明的一个实施例，搜索部（210）、未识别图像存储部（220）、未识别图像集形成部（230）、新图像添加部（240）、图像数据库（250）、未识别图像数据库（260）、通信部（270）和控制部（280）中至少一部分可以是与用户终端设备（300）通信的程序模块。这些程序模块可以以操作系统、应用程序模块以及其他程序模块的形式包含在图像处理系统（200）中，物理上可以存储在各种公知的存储器中。而且，这些程序模块也可以存储在可与图像处理系统（200）通信的远程存储器中。另一方面，这些程序模块包括但不限于执行根据本发明的下述的特定任务或者实行特定抽象数据类型的例程、子例程、程序、对象、成分和数据结构等等。

首先，根据本发明的一个实施例，搜索部（210）执行如下功能：若输入查询图像，匹配存储在图像数据库（250）中的图像和查询图像，搜索图像数据库（250）中是否存在与查询图像相似的图像。

具体来讲，根据本发明的一个实施例，搜索部（210）可以执行如下功能：匹配存储在图像数据库（250）中的图像经过规范化的特征区域和查询图像经过规范化的特征区域，从而搜索图像数据库（250）中是否存在与查询图像相似的图像。

在这里，为了图像间的匹配，搜索部（210）以及下述的未识别图像集形成部（230）、新图像添加部（240）可以从图像中事先提取出特征点以及特征区域。在这里，特征点表示包含该图像所含对象的特征因素的点，特征区域表示包含对象特性的特征点周边的区域，可以设定为对于图像的视角和照明变化不敏感。

如前面所涉及到，为了从图像提取出特征点和特征区域，需要规定的特征提取技术，根据本发明的一个实施例，作为这类特征识别技术可以参考C.Harris外一人共同著作的记载在1988年的“In Alvey Vision Conference”的称为“A combined corner and edgedetector”的论文等等（上述论文的整体内容需要看作为合并在本说明书内）。上述论文中记载着使用表示特征点周边的坡度分布的二次力矩矩阵来推理椭圆形的特征区域的方法。当然，适用于本发明的对象识别技术不仅限于上述论文中记载的方法，可以通过多种变形例来实现本发明。

接下来，根据本发明的一个实施例，未识别图像存储部（220）执行如下功能：当上述说明的搜索部（210）的搜索结果为在图像数据库（250）中没有与查询图像相似的图像的时候，将该查询图像存储在未识别图像数据库（260）中。

并且，根据本发明的一个实施例，未识别图像集形成部（230）执行如下功能：在存储于未识别图像数据库（260）中的图像中，参考所存储的图像间的相似度，将关联性高（假设，相互间的相似度比预定值高）的图像合起来进行分组来形成图像集。更具体来讲，未识别图像集形成部（230）执行如下功能：比较存储在未识别图像数据库（260）的图像的特征点或者特征区域，将被判断为具有相似性的图像合起来进行分组从而形成图像集。

图3是根据本发明一个实施例示出在未识别图像集形成部（230）中将存储在未识别图像数据库（260）中的图像作为对象，将相似度高的图像合起来进行分组，组成图像集的示图。参考图3，示出一个实施例：未识别图像集形成部（230）根据相似度，将未识别图像存储部（220）存储到未识别图像数据库（260）的图像进行分组，分别形成310、320、330等图像集。

并且，图4a以及图4b是根据本发明一个实施例的在未识别图像集形成部（230）中以存储在未识别图像数据库（260）中的图像作为图像，将相似度高的图像彼此合起来形成图像集的一个实施例的示图。参考图4a和图4b，根据本发明一个实施例的未识别图像集形成部（230），首先会在未识别图像数据库中采用图像匹配方法把判断为相似图像的图像如图4a所示集合到一起。接下来，根据本发明一个实施例的未识别图像集形成部（230），为了把如图4a所示集合到一起的图像组合成结构化的图像集，可以根据各个时间段以及不同的视角排列图像、进行结构化然后进行存储。虽然图4b示出了根据本发明一个实施例的未识别图像集形成部（230）根据各个时间段和不同的视角排列图像、进行结构化的一个实施例，但是没有必要局限于此，根据本发明一个实施例的未识别图像集形成部（230）可以使用多种方法组成图像集。

根据本发明的一个实施例，一旦通过规定的网页爬行器（未图示）或者用户终端（300）等获得特定图像以及其相关标签信息，新图像添加部（240）执行如下功能：比较上述图像集中特定图像集内至少一部分图像和上述获得的特定图像，判断相似度是否在预定的临界值以上，如果判断为相似度在上述预定的临界值以上，将上述至少一部分的图像和上述获得的标签信息一起自动添加到上述图像数据库（250）中。此时，当通过未识别图像集形成部（230）所收集的包含在特定图像集中的数据个数足够多到在预定的个数以上，或者所收集的在未识别图像数据库（260）中包含的数据个数足够多到在预定的个数以上，根据本发明一个实施例的新图像添加部（240）可以执行分析工作（即，图像匹配工作）。

另一方面，当新图像添加部（240）执行上述图像匹配工作的时候，由于作为图像匹配对象的通过网页爬行器等收集的图像和图像集中所属的图像有可能是在不同的照明环境下、通过不同视角拍摄的图像，所以各个图像包含的特征区域的大小以及形态的提取结果也可能根据视角或者照明而不同。因此，仅仅直接比较通过网页爬行器等收集的图像的特征区域和属于图像集的图像的特征区域，可能难以正确地匹配图像。以下，虽然为了方便，讲述的是通过网页爬行器收集的图像，但是理应也要包括通过用户终端（300）等收集的图像。

因此，为了解决从作为图像匹配对象的通过网页爬行器收集的图像以及属于图像集的图像中分别所包含的特征区域的大小以及形态的提取结果不同导致的上述问题，根据本发明一个实施例的新图像添加部（240）对于通过网页爬行器等收集的图像以及属于图像集的图像中分别所包含的特征区域的大小以及形态进行规范化，基于上述规范化的特征区域进行图像匹配，这样可以补偿由各个图像的视野以及照明的差异导致的误差。

图5是示意性地示出根据本发明一个实施例对于特征区域进行规范化的构成的示图。图5中的图像（a）是通过网页爬行器等收集的图像的一部分，示出从通过网页爬行器等收集的图像中提取的特征区域A（510）；图5的图像（b）示出从包含于图像集的图像中提取的特征区域B（520）。可以从图5的图像（a）和（b）看出，虽然各个图像表示同一个对象，但是由于视角或者照明的差异，同一个对象的同样的特征部分在各个图像中会以不同大小以及形态显示；由此，也可以看出，从网页爬行器等收集的图像以及属于图像集的图像的同一个特征部分中，提取出了具有各不相同的大小以及形态的特征区域（510、520）。

根据本发明一个实施例的新图像添加部（240）可以采用规定的规范化技术，对于具有各不相同的大小以及形态的一对特征区域进行规范化使其成为具有相同大小以及形态的一对特征区域；由此，可以将如图5的图像（a）和（b）的一对特征区域（510、520）进行规范化使其成为如图5的图像（c）和（d）的一对特征区域（530、540）。

另一方面，如上所涉及到的，为了对从图像中提取的特征区域进行规范化，需要规定的特征区域规范化技术，根据本发明的一个实施例，作为这种特征区域规范化技术，可以参考K.MIKOLAJCZYK外7人共同著作的记载在2005年11月的“International JournalComputer Vision”中的称为“A Comparison of Affine Region Detectors”的论文等（上述论文的整体内容需要看作为合并在本说明书内）。在上述论文中记载着：使用对于推理该图像的视角和照明条件的二次力矩矩阵M_L ^1/2以及M_R ^1/2进行规范化，使得由拥有多种大小以及形态的椭圆组成的特征区域成为拥有特定大小以及形态的圆的方法；并且记载着：为了判断一对规范化后的特征区域是否表示同一个对象，使用旋转矩阵R来旋转规范化后的特征区域的方法。当然，适用于本发明的规范化技术不仅限于上述论文中记载的方法，可以通过多种变形例实现本发明。

而且，根据本发明一个实施例的新图像添加部（240）通过比较属于图像集的图像的至少一个经过规范化的特征区域和上述收集的图像中至少一个经过规范化的特征区域，可以从各图像中检索出判断为表示同一对象的至少一对特征区域。而且，根据本发明一个实施例的新图像添加部（240），当检索到至少两对特征区域时，使用拓扑(topology)比较属于图像集的图像中的对应于至少两对特征区域的至少两个特征区域之间的相对位置关系和属于搜集的图像中的对应于至少两对特征区域的至少两个特征区域之间的相对位置关系，参考上述比较结果可以判断出属于图像集的图像和搜集的图像是否匹配。

图6是示意性地示出根据本发明一个实施例的通过网页爬行器等收集的图像以及属于图像集的图像中所包含的特征区域分布的示图。参考图6，新图像添加部（240）对于网页爬行器等搜集的图像（即，图像（a））中多个特征区域的相对位置关系和属于图像集中的图像（即，图像（b））中多个特征区域的相对位置关系进行比较，从而决定两个图像是否相似。

另一方面，如上所涉及，为了采用特征区域的相对位置关系来判断两个不同图像是否相似，需要规定的拓扑技术，根据本发明的一个实施例，作为这种拓扑技术，可以参考DERDAR Salah外2人共同著作的记载在2006年1月的“Proceeding of SPIE,Vol.6066”中的称为“Image matching using algebraic topology”的论文等（上述论文的整体内容需要看作为合并在本说明书内）。在上述论文中记载着：采用代数学的拓扑结构来测定包含在图像中的特征边界要素之间的相似度，从而进行图像匹配。当然，适用于本发明的拓扑技术不仅限于上述论文中记载的方法，可以通过多种变形例实现本发明。

如上说明，本发明的图像匹配方法具有如下效果：提高网页爬行器等收集的图像和属于图像集的图像之间的图像匹配的正确度。

另一方面，根据本发明一个实施例的新图像添加部（240），在向图像数据库（250）添加新图像和其相关信息的时候，可以将代表要添加的图像的n个代表图像和赋予该代表图像的代表标签一起添加。并且，根据本发明一个实施例的新图像添加部（240），在添加代表图像的时候，可以将反映与代表图像不同视角的或者不同时间段的m个子图像和代表图像一起添加。并且，此时，可以选择性地包括添加的子图像的子标签一起添加。这里，代表图像和子图像是指具有共享一个以上的特征点以及特征区域的关系的图像。

并且，根据本发明的一个实施例，图像数据库（250）是已完成对图像的验证且一并包含经验证的图像和其标签信息的数据库，未识别图像数据库（260）是，在搜索部（210）搜索图像数据库（250）之后，将不匹配的查询图像作为未识别图像进行存储的数据库。

另一方面，需要理解的是，在本发明中图像数据库（250）以及未识别图像数据库（260）不仅仅是狭义的数据库，是广义的数据库，可包含基于计算机文件系统的数据记录等等，如果能够搜索提取规定的数据，即便是简单的计算处理的日志集也可以作为本发明的数据库。虽然，图2示出图像处理系统（200）包括图像数据库（250）以及未识别图像数据库（260），但是根据实施本发明的本领域的技术人员的需求，图像数据库（250）以及未识别图像数据库（260）可以与图像处理系统（200）分开构成。

另一方面，根据本发明一个实施例的通信部（270）执行如下功能：能使图像处理系统（200）与用户终端设备（300）等外部设备进行通信。

并且，根据本发明一个实施例的控制部（280）执行如下功能：对搜索部（210）、未识别图像存储部（220）、未识别图像集形成部（230）、新图像添加部（240）、图像数据库（250）、未识别图像数据库（260）以及通信部（270）间的数据流进行控制。即，控制部（280）通过控制从外部来的或者图像处理系统（200）的各个组成部分之间的数据流，从而对搜索部（210）、未识别图像存储部（220）、未识别图像集形成部（230）、新图像添加部（240）、图像数据库（250）、未识别图像数据库（260）以及通信部（270）进行控制，使得各部分执行其固有功能。

另一方面，根据本发明一个实施例的图像处理系统（200）整体或者图像处理系统（200）各个组成部分即搜索部（210）、未识别图像存储部（220）、未识别图像集形成部（230）、新图像添加部（240）、图像数据库（250）、未识别图像数据库（260）、通信部（270）以及控制部（280）中至少一部分的结构要素可以通过对共享计算资源或者服务器资源的多个服务器设备进行虚拟化的云计算服务器来实现。

本发明的上述说明的实施例可由能通过各种计算机模块执行的程序命令形式来实现并记录在计算机可读存储介质上。上述计算机可读存储介质可以单独包括程序命令、数据文件、数据结构等等或包括上述的组合。存储到上述计算机可读存储介质的程序命令可以是为本发明特别设计或者组成的命令，或也可以是已被计算机软件领域的技术人员所公知且使用的命令。计算机可读存储介质包括如硬盘、软盘、磁带等磁性介质，如CD-ROM和DVD等光学介质，如软磁盘（floptical disk）的磁光介质（magneto-optical media）以及如ROM、RAM、闪存等为存储和执行程序命令而专门设计的硬件设备。程序命令不仅包括由编译器制成的机器语言代码，而且包括可使用译码器（interpreter）等来由计算机执行的高级代码。为执行根据本发明的处理，上述硬件设备可作为一个以上的软件模块来工作，反之亦然。

以上，尽管通过具体组成部分等等的特定事项和限定的实施例以及附图说明了本发明，这只是为了帮助加深对于本发明的整体理解而提供的，本发明并不限于上述实施例，本发明所属的技术领域内普通人员可以从上述记载进行多种修改和改变。

因此，本发明的思想不限于上述所说明的实施例，不仅包括上述专利权利要求，且与专利权利要求相同或等价变化的所有东西都属于本发明思想的范畴。

Claims

1.一种在图像数据库中写入新图像及其信息的方法，包括如下步骤：

(a)将所述图像数据库中预存储的图像与查询图像进行比较，以搜索所述图像数据库中是否有与所述查询图像相似的任何图像；

(b)如果所述搜索结果为没有与所述查询图像相似的图像，则将所述查询图像存储到未识别图像数据库中；

(c)基于所述未识别图像数据库中的未识别图像之间的相似度对所述未识别图像进行分组，以组织结构化的图像集；以及

(d)如果从外部输入特定图像以及其标签信息，就将所述特定图像与经过组织的所述结构化的图像集中的特定图像集内包含的至少一些图像进行比较，判断所述特定图像集中是否具有超出预定阈值的相似度的任何图像，并允许将判断为具有超出所述预定阈值的相似度的至少一个图像和从外部输入的标签信息一起自动写入到所述图像数据库中。

2.如权利要求1所述的方法，其特征在于：

在所述步骤(d)中，从web爬行器或者用户终端接收所述特定图像及其标签信息。

3.如权利要求1所述的方法，其特征在于：

在所述步骤(a)中，若输入所述查询图像，则通过将所述图像数据库中的预存储图像的经规范化的特征区域和所述查询图像的经规范化的特征区域进行比较，来搜索是否具有与所述查询图像相似的任何图像。

4.如权利要求1所述的方法，其特征在于：

在所述步骤(c)中，通过对存储在所述未识别图像数据库中的图像的特征点或者特征区域进行比较，来判断所述相似度，并据此来组织所述结构化的图像集。

5.如权利要求1所述的方法，其特征在于：

在所述步骤(c)中，如果所收集的所述特定图像集中的数据个数或者存储在所述未识别图像数据库中的数据个数超出预定个数，则执行所述步骤(d)。

6.如权利要求1所述的方法，其特征在于：

在所述步骤(d)中，将所述特定图像集中的图像的经规范化的特征区域与所述特定图像的经规范化的特征区域进行比较，从各图像中检索出被认为表示同一对象的至少一对特征区域，以及判断所述特定图像和所述特定图像集中的图像之间的相似度。

7.如权利要求6所述的方法，其特征在于：

在所述步骤(d)中，如果从各图像中检索到至少两对特征区域，则通过使用拓扑技术来比较所述特定图像集中的图像的至少两个特征区域之间的相对位置关系与所述特定图像的至少两个特征区域之间的相对位置关系，从而判断所述特定图像集中的图像和所述特定图像是否匹配。

8.如权利要求1所述的方法，其特征在于：

在所述步骤(d)中，将代表所述特定图像集中的所述至少一些图像的n个代表图像和它们的代表标签写入到所述图像数据库中。

9.如权利要求8所述的方法，其特征在于：

将来自所述代表图像的反映不同视角、不同照明或不同时间的m个子图像一起写入。

10.如权利要求9所述的方法，其特征在于：

在附加地写入所述子图像时，将所述子图像的子标签与所述子图像一起写入。

11.如权利要求9所述的方法，其特征在于：

所述代表图像和所述子图像共享至少一个特征点或者特征区域。

12.如权利要求1所述的方法，其特征在于：

所述步骤(a)、(b)、(c)和(d)中的至少一个步骤由云计算服务器来实现，所述云计算服务器对共享计算资源或者服务器资源的多个服务器设备进行虚拟化。

13.一种在图像数据库中写入新图像及其相关信息的系统，包括：

搜索部，用于将所述图像数据库中的预存图像与查询图像进行比较，以搜索所述图像数据库中是否有与所述查询图像相似的任何图像；

未识别图像存储部，如果所述搜索结果为没有与所述查询图像相似的图像，则所述未识别图像存储部将所述查询图像存储到未识别图像数据库中；

未识别图像集组织部，用于基于所述未识别图像数据库中的未识别图像之间的相似度对所述未识别图像进行分组，以组织结构化图像集；以及

新图像写入部，用于，如果从外部输入特定图像及其标签信息，则将所述特定图像与经过组织的所述结构化的图像集中的特定图像集中包含的至少一些图像进行比较，判断所述特定图像集中是否具有超出预定阈值的相似度的任何图像，并允许将判断为具有超出所述预定阈值的相似度的至少一个图像和从外部输入的标签信息一起自动写入到所述图像数据库中。

14.如权利要求13所述的系统，其特征在于：

所述外部包括爬行器或者用户终端。

15.如权利要求13所述的系统，其特征在于：

若输入所述查询图像，则所述搜索部通过将所述图像数据库中的预存图像的经规范化的特征区域与所述查询图像的经规范化的特征区域进行比较，来搜索是否具有与所述查询图像相似的任何图像。

16.如权利要求13所述的系统，其特征在于：

所述未识别图像存储部通过比较存储在所述未识别图像数据库中的图像的特征点或者特征区域来判断所述相似度，并据此来组织所述结构化的图像集。

17.如权利要求13所述的系统，其特征在于：

如果由所述未识别图像集组织部所收集的所述特定图像集中的数据个数或者所述未识别图像数据库中存储的数据个数超出预定个数时，所述新图像写入部将至少一些图像和所输入的标签信息一起自动写入到所述图像数据库中。

18.如权利要求13所述的系统，其特征在于：

所述新图像写入部将所述特定图像集中的图像的经规范化的特征区域与所述特定图像的经规范化的特征区域进行比较，从各图像中检索出被视为表示同一对象的至少一对特征区域，以及判断所述特定图像与所述特定图像集中的图像之间的相似度。

19.如权利要求18所述的系统，其特征在于：

如果从各图像中检索到至少两对特征区域，则所述新图像写入部通过使用拓扑技术来比较所述特定图像集中的图像的至少两个特征区域之间的相对位置关系与所述特定图像的至少两个特征区域之间的相对位置关系，从而判断所述特定图像集中的图像和所述特定图像是否匹配。

20.如权利要求13所述的系统，其特征在于：

所述新图像写入部将代表所述特定图像集中的至少一些图像的n个代表图像和它们的代表标签写入到所述图像数据库中。

21.如权利要求20所述的系统，其特征在于：

将所述代表图像和反映不同视角、不同照明或不同时间段的m个子图像一起写入。

22.如权利要求21所述的系统，其特征在于：

在附加地写入所述子图像的时候，将所述子图像的子标签与所述子图像一起附加地写入。

23.如权利要求21所述的系统，其特征在于：

24.如权利要求13所述的系统，其特征在于：

所述系统由云计算服务器实现，所述云计算服务器对共享计算资源或者服务器资源的多个服务器设备进行虚拟化。

25.一种用于在图像数据库中写入新图像及其信息的设备，包括：

用于将图像数据库中预存储的图像与查询图像进行比较，以搜索所述图像数据库中是否有与所述查询图像相似的任何图像的装置；

用于，如果所述搜索结果为没有与所述查询图像相似的图像，则将所述查询图像存储到未识别图像数据库中的装置；

用于基于所述未识别图像数据库中的未识别图像之间的相似度对所述未识别图像进行分组，以组织结构化图像集的装置；以及

用于，如果从外部输入特定图像以及其标签信息，就将所述特定图像与经过组织的所述结构化的图像集中的特定图像集内包含的至少一些图像进行比较，判断所述特定图像集中是否具有超出预定阈值的相似度的任何图像，并允许将判断为具有超出所述预定阈值的相似度的至少一个图像和从外部输入的标签信息一起自动写入到所述图像数据库中的装置。