CN101853268B - 图像检索系统及图像检索方法 - Google Patents

Abstract

本发明提供一种图像检索系统及图像检索方法。该图像检索系统由照相机(100)和处于该照相机(100)外部的检索引擎服务器(300)构成，照相机(100)具有：将包含被摄体像的图像数据与所述图像数据的摄像方位及特征信息建立关联而进行多个存储的图像存储部(36)的图像数据管理表格；从该图像存储部(36)所存储的多个图像数据中对特定的图像数据的选择进行检测，并针对检测出该选择的特定的图像数据，根据与其建立了关联的特征信息来检索相似的图像数据的控制部(42)；和将检测出选择的图像数据和作为检索结果而获取到的图像数据中的至少一个的摄像方位及特征信息发送给检索引擎服务器(300)的通信部(36)。检索引擎服务器(300)具有：通过上述处理接收从照相机(100)发送来的摄像方位及特征信息的通信I/F(340)；和根据接收到的特征信息及摄像方位，来推测所述图像数据中所包含的被摄体像的三维形状，并根据所推测出的被摄体像的三维形状来检索信息公开网，获取包括将与所述接收到的摄像方位不同的方位作为摄像方位的所述被摄体像的图像的图像数据的CPU(303)，而且，通信I/F(340)将上述获取到的图像数据发送给照相机(100)。

Description

图像检索系统及图像检索方法

技术领域

本发明涉及图像检索系统及图像检索方法，详细地是涉及利用三维模型化技术，对从希望的视点方向开始对被摄体图像或风景图像进行检索的图像检索系统及图像检索方法。

背景技术

当前，例如，公知如日本公开专利2006-309722号公报中所公开的利用了三维模型化技术的照片的检索·浏览系统(专利文献1)。根据该系统，用户能够显示·浏览从与画面上所浏览的三维模型近似的视点所拍摄的数字照片，此外，用户能够从与画面上所浏览的照片近似的视点显示并操作三维模型。

根据上述技术，虽然在想获取从希望的视点方向看到的图像时需要准备该图像的立体形状数据作为检索关键信息，但由于那样的立体形状数据的数据量庞大，所以存在通用性欠缺的问题。

发明内容

本发明是鉴于上述现有的课题而做出的发明，目的是能够采用更少张数的被摄体图像，容易地检索包括来自其它摄像方向的被摄体像的图像数据。

为了达到上述目的，本发明是由通信终端和处于该通信终端外部的检索装置构成的图像检索系统，

所述通信终端，包括：

存储单元，其将包含被摄体像的图像数据与所述图像数据的摄像方位及特征信息建立关联而进行多个存储；

选择检测单元，其从所述存储单元所存储的多个图像数据中对特定的图像数据的选择进行检测；

第一检索单元，其针对由所述选择检测单元检测出选择的特定的图像数据，根据与其建立了关联的特征信息，来检索相似的图像数据；和

第一发送单元，其将由所述选择检测单元检测出选择的图像数据和作为所述第一检索单元的检索结果而获取到的图像数据中的至少一个的摄像方位及特征信息发送给所述检索装置，

所述检索装置，具有：

接收单元，其接收由所述第一发送单元从所述通信终端发送来的摄像方位及特征信息；

推测单元，其根据由所述接收单元接收到的特征信息及摄像方位，对所述图像数据中包含的被摄体像的三维形状进行推测；

第二检索单元，其根据由所述推测单元推测出的被摄体像的所述三维形状来检索信息公开网，获取包含将与所述接收到的摄像方位不同的方位作为摄像方位的所述被摄体像的图像的图像数据；和

第二发送单元，其将由所述第二检索单元获取到的图像数据发送给所述通信终端。

此外，为了达到上述目的，本发明的方法，包括：

选择检测步骤，从将包含被摄体像的图像数据与所述图像数据的摄像方位及特征信息建立关联而进行多个存储的存储器中，对特定的图像数据的选择进行检测；

第一检索步骤，针对在所述选择检测步骤中检测出选择的特定的图像数据，根据与其建立了关联的特征信息，检索相似图像数据；

推测步骤，根据所述选择检测步骤中检测出选择的图像数据和作为第一检索步骤中的检索结果而获取到的图像数据中的至少一个的摄像方位及特征信息，对所述图像数据中包含的被摄体像的三维形状进行推测；

第二检索步骤，根据所述推测步骤中推测出的被摄体像的所述三维形状，对信息公开网进行检索，获取包含将所述存储器中未存储的方位作为摄像方位的所述被摄体像的图像的图像数据；以及

图像数据获取步骤，获取所述被摄体像的图像数据作为所述第二检索步骤中的检索结果。

附图说明

图1是例示本发明的一个实施方式的图像检索系统10的图。

图2是例示照相机100的硬件结构的图。

图3是例示检索引擎服务器300的功能结构的图。

图4是例示检索引擎服务器300的硬件结构的图。

图5是表示在照相机100中预先存储的、用于管理图像数据的表格的一个示例的图。

图6是说明照相机100的动作的各阶段的流程图。

图7是说明照相机100与检索引擎服务器300协同执行的图像检索处理的流程图。

图8是说明检索引擎服务器300执行的立体形状推测处理的流程图。

图9表示从在输入图像中采用来自不同视点的多个图像而生成的三维形状模型，生成改变视点后的二维图像，作为用于图像检索的检索关键信息的一个示例的图。

图10是表示从全体图像和部分图像生成三维形状模型的一个示例的图。

具体实施方式

以下，针对本发明的实施方式，参照附图详细地进行说明。而且，本实施方式中的构成要素，能够适当地与现有的结构要素进行置换，此外，能够包括与其它现有的结构要素的组合的各种变形。

因此，以本实施方式的记载，不局限于本发明的内容。在本发明的说明书中采用的术语“摄影”及“摄像”，是包括采用数字照相机或扫描仪等来读取计算机能够读取的图像数据。

[图像检索系统]

图1是例示本发明的一个实施方式的图像检索系统10的图。

图1所示的图像检索系统10包括：照相机100；检索引擎服务器300；服务提供机构(service provider)410；无线中继站430；图像数据库500；和网络600。网络600可以是互联网等的广域网，也可以是局域网(LAN)。

照相机100是具有无线通信功能的典型的数字照相机。然而，不局限于此，也可以采用具有摄像功能的便携式终端装置等。照相机100，经由无线中继站430与服务提供机构410连接，并能够利用与网络600连接的检索引擎服务器300等网络资源。照相机100具有存储单元、选择检测单元、检索单元及发送单元等结构要素，针对它们在后面进行描述。

照相机100具有的无线通信功能，作为照相机100内的一部分的电路而被组装，或者被提供作为以无线通信卡等方式提供的周边设备。这样的照相机100，能够将已拍摄的数字照片适当地进行编码，并发送给规定的计算机等。例如，照相机100，能将已拍摄的数字照片经由无线中继站430、服务提供机构410、及网络600，发送给检索引擎服务器300等。此外，照相机100能够经由包括这些无线通信方式的信息通信网，接收包含数字照片的信息。即，照相机100对检索引擎服务器300发送图像检索等请求，若从检索引擎服务器300发送与该请求对应的检索结果等，则能够接收该检索结果等。

检索引擎服务器300接收来自经由网络600而连接的照相机100等终瑞装置的图像检索等请求，并根据接收到的检索条件将检索结果发送给该终端装置。检索对象的图像数据等，例如，是图像数据库500等数据库装置中所存储的图像数据。本发明的检索引擎服务器300，不仅对单个图像进行检索，而且如后所述，根据图像检索的请求制成三维图像模型，进而从三维图像模型生成二维图像数据，并将该二维图像数据作为检索关键信息来执行图像检索。即，检索引擎服务器300与图像数据库500等一般的数据库装置不同，包括生成这样的三维图像模型及二维图像数据的动作。检索引擎服务器300具有接收单元、推测单元、检索单元及发送单元等结构要素，对此在后进行描述。

图像数据库500能够采用根据规定的检索条件对图像数据进行检索的通用的数据库装置等。本发明的图像数据库500能够通过采用后述的规定的数据构造，从而将图像数据、图像数据的摄像方位及图像数据的特征信息建立关联来进行存储。

服务提供机构410，典型而言，是提供用于连接互联网的服务的企业即互联网服务供应商等。无线中继站430，典型而言，是用于对照相机100无线连接并提供基于服务提供机构410的网络连接服务等。无线中继站430，也可以与服务提供机构410的电线设备等成为一体。

由此，在本实施方式的图像检索系统10中，无线通信照相机100对检索引擎服务器300发送图像检索的请求，检索引擎服务器300根据该请求，使用图像数据库500等提取与该检索条件相应的特定的图像来作为检索结果，将该检索结果发送给照相机100。无线通信照相机100能够接收来自检索引擎服务器300的检索结果。

[照相机的硬件结构]

图2是例示照相机100的硬件结构的图。

摄像部20具有：镜头22；光圈24及快门26。执行对被摄体光进行成像的动作。A/D转换部28，典型而言与摄像元件成为一体，接收成像后的被摄体光，并执行转换为数字信号的动作。信号处理部30，对转换后的数字信号执行图像内插处理等。

键输入部32适当地具有：用于指示快门26的动作的快门键；输入图像的选择等指示的操作键；用于投入或切断照相机100的电源的电源键；用于将照相机100的动作模式在摄像模式与再现模式之间进行切换的模式切换键等。

显示部34用于显示：在摄像模式下，从摄像部20到A/D转换部28所到达的被摄体像；在再现模式下，将在图像存储部36等所存储并被选择出的图像数据进行间拔后的图像数据、及优选动作信息或与图像数据相关的信息等。

图像存储部36用于存储包括由照相机100拍摄的图像数据的任意图像数据。例如，可以在图像存储部36中存储从检索引擎服务器300接收到的图像数据。

通信部38，典型而言，将天线进行内置，用于照相机100经由无线中继站430与图像检索系统10中所包括的检索引擎服务器300进行无线连接。通过通信部38，照相机100拍摄的数字照片等图像数据能够发送给检索引擎服务器300等。此外，照相机100能够经由通信部38将图像检索等请求发送给检索引擎服务器300，并接收来自检索引擎服务器300的检索结果。

图像处理部40，典型而言，执行下面的动作。

(图像处理部40的动作-1)在摄像模式下，对巡回地拍摄到的图像数据进行间拔，输出给显示部34的处理；

(图像处理部40的动作-2)通过键输入部32的快门·键的操作检测，在该时刻将进行摄像、A/D转换及信号处理后的图像数据进行压缩编码处理；及

(图像处理部40的动作-3)在再现模式下，通过在键输入部的规定的动作检测，将图像存储部36中所存储的图像数据输出给显示部34的处理。

控制部42，典型而言，执行下面的动作。

(控制部42的动作-1)照相机100整体控制的动作；

(控制部42的动作-2)在采用图5后述的管理表格中存储：在图像存储部36、数据存储卡46或经由扩展I/F56连接的存储卡等中记录的图像数据；方向探测部50探测的方位、倾斜角度；以及坐标和SIFT特征量的组的动作；

(控制部42的动作-3)对图像存储部36中所存储的多个图像数据的SIFT特征量彼此之间，通过加入坐标值来进行比较，计算出相似度的动作；

(控制部42的动作-4)针对根据相似度而判定为相似的图像数据，将与该图像数据建立了关联的方位、倾斜角度以及坐标和SIFT特征量的组发送给图像检索服务器300的动作；及

(控制部42的动作-5)将从检索引擎服务器300接收到的检索结果在显示部34中进行显示的动作。在控制部42的动作-4的判定中，所谓“判定为相似的图像数据”也可以包括“判定为一致的图像数据或相同的图像数据”。

程序存储器44对控制部42执行的控制程序进行存储。

数据存储器46被用作对伴随控制部42的动作需要暂时存储的数值等进行存储的工作存储器。但不局限于此，数据存储器46也可以用于任意的图像数据的存储。

图像特征量计算部48，在图像记录时，计算出每个坐标的SIFT特征量，并执行将上位规定数的组进行列表的动作。

SIFT(Scale Invariant Feature Transform)特征量，决定

像素的代表亮度梯度方向，并制成将该方向设为基准的亮度梯度直方图，作为多维向量来记述的特征量(例如，参照永桥、藤吉、金出“采用基于区域分割的SIFT特征的物体识别”，电器学会、系统·控制研究会，pp39-44，2007年1月；该文献能够从下面的网址在线取得；<URL；http://www.vision.cs.chubu.ao.jp/04/pdf/PIA08.pdf>)。例如，对某图像多次检测显著点(特征点，或醒目的点)，利用这样的点的周边的像素值来提取特征量。

在SIFT特征量的计算中，首先，将成为目标的图像在检测特征点的区域中进行分割。该分割通过采用混合正态分布的区域分割(永桥等，2007年)等来进行。接着，在SIFT特征量的计算中，决定注目像素的代表亮度梯度方向。例如，若以θ(x，y)表示图像L(x，y)的亮度梯度方向，以m(x，y)表示大小，则由下式求出它们。

【式1】

$m(x,y)=\sqrt{f_x(x,y)+f_y(x,y)}$

【式2】

$\mathrm{\&theta;}(x,y)={\tan }^{-1}\left(\frac{f_y(x,y)}{f_x(x,y)}\right)$

此外，在上述式中

【式3】

f_x(x，y)＝L(x+1，y)-L(x-1，y)

【式4】

f_y(x，y)＝L(x，y+1)-L(x，y-1)

采用亮度梯度的大小m及亮度梯度方向θ，能够求出如下式的直方图w(x，y)。

【式5】

w(x，y)＝G(x，y，σ)·m(x，y)

$h_{\mathrm{\&theta;}}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}w(x,y)\&CenterDot;\mathrm{\&delta;}[\mathrm{\&theta;},\mathrm{\&theta;}(x,y)]$

上述式中，G(x，y，σ)是高斯分布。此外，θ是采用将全方向进行了36分割。能够将该直方图的最大值的方向设为该图像中的坐标(x，y)中的代表亮度梯度方向。

接着，制成将该代表亮度梯度方向作为基准的周围的亮度梯度直方图。例如，将由正态分布得到的区域分割成4×4像素区域，并在各个位置上制成8方向亮度梯度直方图。当在4×4像素区域中制作8方向亮度梯度直方图时，得到128维向量的特征量。如此所得的128维向量的特征量，是与某像素区域对应的SIFT特征量。

因此，SIFT特征量，包括将图像数据中的坐标(x、y)与方向θ建立关联后的信息。作为方向θ的信息，也可以包含方位角等的角度信息，例如，可以包含变换为各θ的余弦值后的数值等。

方向探测部50，一般而言，具有方位传感器及倾斜传感器。方向探测部50，当在摄像模式下指示了记录时，探测从照相机100看到的被摄体所存在的方位、及照相机100的倾斜角度。

扩展I/F(接口)56用于将可装卸的存储卡等与照相机100连接。能够与扩展I/F56连接的硬件，不局限于这样的存储介质。例如，照相机100，也可以替代内置天线的通信部38，而经由扩展I/F56连接无线通信卡等无线通信单元，与图像检索服务器300等进行无线连接。

总线58用于在上述各个构成要素之间对数据或用于控制的信息等进行交换。

图2所示的硬件结构能够在照相机100中使用，摄像部20作为摄像单元，方向探测部50作为获取单元，图像存储部36或数据存储器46作为存储单元，图像特征量计算部48作为用于获取图像数据的特征量的特征信息获取单元，通信部38作为发送特征信息及摄像方位的发送单元，控制部42作为对在选择检测单元、存储单元中所存储的图像数据进行检索的检索单元及存储控制单元，能够分别发挥功能。

[检索引擎服务器的功能方框图]

图3是例示检索引擎服务器300的功能结构的图。在一个实施方式中，检索引擎服务器300具有：检索请求接收单元210；伪三维形状数据制成单元220；二维图像生成单元230；相似图像提取单元240；相似度计算单元250；相似图像输出单元260；控制单元270；存储单元280；和通信I/F(接口)290。

检索请求接收单元210，用于检索引擎服务器300接收检索请求。该检索请求包括：用于生成用为检索关键信息的图像的至少两个输入图像；以及与该输入图像建立了关联的摄像方向和特征信息的组。作为输入图像，例如，采用图1所示的通过照相机100拍摄的数字照片等图像数据。

伪三维形状数据制成单元220从至少两个输入图像，采用规定的三维模型化技术，生成三维图像数据。三维模型化的详细将在后面进行描述。

二维图像生成单元230，对生成的三维图像数据，生成从与输入图像建立了关联的摄像方向不同的摄像方向观察该三维图像数据时的投影图或剖视图。这些投影图或剖视图，也可以是二维图像数据。投影图或剖视图等的生成的详细将在后面进行描述。

相似图像提取单元240，将生成的二维图像数据作为检索关键信息，从图像数据库500等的与信息公开网连接的数据库中提取图像。

相似度计算单元250，对所生成的二维图像数据与被提取出的图像的相似度进行计算。

相似图像输出单元260，将相对于所生成的二维图像数据的该被提取出的图像的相似度与被提取出的图像建立关联后，作为检索结果进行输出。

控制单元270对上述各单元的动作进行控制。

存储单元280用作上述各单元的动作中的暂时的存储单元或用于使控制单元270动作的程序等的存储单元。

通信连接单元290用于接收来自照相机100等的检索请求后发送给检索请求接收单元210，并接收来自相似图像输出单元260的检索结果后发送给照相机100等。

图3所示的功能的结构能够用作检索引擎服务器300或检索引擎服务器功能。即，检索请求接收单元210作为用于从照相机100等接收特征信息及摄像方向的接收单元，控制单元270作为推测被摄体像的三维形状的推测单元、及从信息公开网检索图像的检索单元，通信连接单元290作为用于将检索的结果获取到的图像发送给照相机100的发送单元，分别发挥功能。

[检索引擎服务器的硬件结构]

图4是例示检索引擎服务器300的硬件结构的图。在图4中，作为以计算机为典型的信息处理装置，对检索引擎服务器300的所有硬件结构进行了说明，但不言而喻，能够根据其环境来选择需要的最小限的结构。

检索引擎服务器300具有作为计算机的功能，且具有：CPU(CentralProcessing Unit)303；总线305；通信I/F340；主存储器350；BIOS(BasicInput Output System)360；并行端口380；USB端口390；图形控制器320；VRAM324；声音处理器330；I/O控制器370；和键盘及鼠标适配器130等输入单元。在I/O控制器370上能够连接软盘(FD)驱动器372、硬盘374、光盘驱动器376、和半导体存储器378等存储单元。

通信I/F340用于将检索引擎服务器300与网络600连接。即，使用通信I/F340，检索引擎服务器300能够以可通信的方式与图1所示的图像检索系统10中包括的照相机100连接。由此，检索引擎服务器300，能够接收使用照相机100拍摄到的照片等图像数据、或者在PC490或图像数据库500中所存储的图像数据作为输入图像。

在声音处理器330上连接麦克风336、放大电路332及话筒334。此外，在图形控制器320上连接显示装置322。

BIOS360对检索引擎服务器300启动时CPU303执行的程序、或取决于检索引擎服务器300的硬件的程序等进行存储。

FD(软盘)驱动器372从软盘371读取程序或数据，经由I/O控制器370提供给主存储器350或硬盘374。

图3中虽然表示了在检索引擎服务器300的内部包括硬盘374的示例，但也可以将外部设备连接用接口(未图示)适当与总线305或I/O控制器370连接，在检索引擎服务器300的外部连接或增设硬盘。

作为光盘驱动器376，例如，能够使用DVD-ROM驱动器；CD-ROM驱动器；DVD-RAM驱动器；BD(Blu-ray Disk)-ROM驱动器等。此时，需要使用与各驱动器对应的光盘377。光盘驱动器376能够从光盘377读取程序或数据，经由I/O控制器370提供给主存储器350或硬件374。

提供给检索引擎服务器300的计算机程序是存储于软盘371、光盘377或存储卡等记录介质中且由使用者提供的。该计算机程序是经由I/O控制器370从记录介质读出，或经由通信I/F340被下载，而安装到检索引擎服务器300中被执行的。计算机程序作用于信息处理装置而使其进行的动作，与已说明的装置中的动作相同，所以省略。

所述计算机程序，也可以存储于外部的存储介质中。作为存储介质，除了软盘371、光盘377或主存储卡，还可以使用MD等光磁记录介质，磁带介质。此外，也可以使用在与专用通信电线或互联网连接的服务器系统中所设置的硬盘或光盘程序库等的存储装置作为记录介质，并经由通信线将计算机程序提供给检索引擎服务器300。

以上的示例，主要针对检索引擎服务器300进行了说明，但通过在计算机中安装具有在信息处理装置中所说明的功能程序，并使该计算机作为信息处理装置来动作，能够实现与上述说明的信息处理装置相同的功能。

图4所示的硬件的结构要素，能够作为检索引擎服务器300的结构要素来使用。即，通信I/F340作为用于从照相机100等接收特征信息及摄像方向的接收单元、以及用于将检索的结果获取到的图像发送给照相机100的发送单元，CPU303作为对被摄体像的三维形状进行推测的推测单元、以及从信息公开网检索图像的检索单元，分别发挥功能。

本装置能够作为硬件、软件、或硬件及软件的组合来实现。在基于硬件与软件的组合的实施中，作为典型的示例列举在具有规定程序的计算机系统中的实施。此时，通过在该计算机系统中加载并执行该规定的程序，使该程序在计算机系统执行与本发明相关的处理。该程序由任意的语言、代码、或由表述能够表现的命令组构成。这样的命令组是使系统能够直接执行特定的功能、或者能够在进行了(1)向其它语言、代码、或表述的变换、(2)向其它介质的复制中的任一个或两者之后执行的命令组。当然，本发明不仅包括这种程序本身，而且包含记录有程序的介质的程序产品也包括在其范围内。用于执行本发明的功能的程序，能够存储在软盘、MO、CD-ROM、DVD、硬盘装置、ROM、MRAM、RAM等任意的计算机可读介质中。该程序为了向计算机可读介质进行存储，能够从以通信线连接的其它计算机系统中下载，或从其它介质复制。此外，该程序能够压缩、或分割为多个，并存储到单一或多个记录介质中。

[由检索引擎服务器所管理的数据的结构]

图5是表示在本实施方式中用于管理图像数据的图像数据管理表格的一个示例的图。图5所示的图像数据管理表格具有以下结构：作为域(field)而分别包括存储地址452、文件名454、特征信息460及关联图像数据的存储地址468。而且，特征信息460包括方向数据462及SIFT特征量信息464。在本实施方式中，虽然将该图像数据管理表格作为存储于图2所示的照相机100的图像存储部36中的表格，但本发明不局限于此，例如，图4所示的检索引擎服务器300的硬盘374等，只要适合管理图像数据，则可以存储在任何存储介质中。

存储地址452是用于存储图像存储部36中的每个图像数据的存储器地址。即使将图像数据存储在数据存储器46或经由扩展I/F56而连接的存储卡等中时，也同样地，能够将存储地址452分配给个别的图像数据来设置管理表格。

文件名454是每个图像数据被赋予的文件名。例如，当每施行新的摄像来生成图像数据时，能够通过控制部42的动作，来自动地指定该图像数据的文件名。

方向数据462由图像记录时的方位及倾斜角度构成。这些信息，是当基于照相机100等的摄像时，按照每个拍摄到的图像数据，方向探测部50所探测到的信息。因此，方向数据462是与一个图像数据的文件名对应而存储的。

SIFT特征量信息464由SIFT特征量存在的坐标及SIFT特征量构成。该SIFT特征量信息464，通过图像特征量计算部48的动作，对一个图像数据进行分析，并作为该图像数据包含的SIFT特征量存在的坐标(换言之，特征点的坐标)和SIFT特征量的组而计算出的信息。例如，SIFT特征量信息464由坐标(x，y)和将代表亮度梯度方向变换为余弦值后的值构成。一个图像数据中能包括多个SIFT特征量信息464。图5中，存储地址452是“001A”且文件名454是“CIMG001.jpg”的一个图像数据，作为SIFT特征量信息464，例示了包括由(x11，y11，cost11)、(x12，y12，cost11)、…、(x1n，y1n，cost1n)构成的n个信息。对于具有其它存储地址452或文件名454的图像数据也同样，各个图像数据独立包含多个SIFT特征量信息464。

关联图像数据的存储地址468，用于与通过本发明的相似图像检索作为相似图像而被检索到的其它图像建立关联。

图5所示的图像数据管理表格的数据结构，不仅用于照相机100等中，而且也可以在图4所示的检索引擎服务器300的硬件结构中，例如用作用于在硬盘374中存储图像数据的数据结构。因此，检索引擎服务器300，能够采用图像数据管理表格的数据结构，将具有特定文件名的图像数据与该图像数据的特征信息建立关联来进行存储。

[图像检索的动作流程]

图6及图7是说明本发明的图像检索系统10执行的图像检索动作的流程图。图6例示照相机100执行的图像检索动作的各阶段的流程图，图7是说明照相机100与检索引擎服务器300为了图像检索而协同执行的动作的流程图。照相机100在控制部42的控制下执行以下动作，检索引擎服务器300在CUP303的控制下执行以下动作。

在本实施方式的相似图像检索中，为了检索相似图像，从三维形状生成二维图像数据。通过对概略地表示每个图像的特征的特征量进行比较，能够将相似图像作为数值的比较来处理。因此，在本发明的图像检索系统10的动作流程中，在从步骤110到步骤S200为止的动作的各阶段中，按照每个图像计算出SIFT特征量。

参照图6针对照相机100的动作进行说明。首先，在步骤S110中，照相机100将存储的图像进行一览显示。

在步骤S120中，照相机100判定是否选择了图像。判定若为“是”则进入步骤S190，若为“否”则进入步骤S130。具体而言，控制部42对键输入部32等的操作进行检测，来判定是否选择了图像。

在步骤S130中，照相机100对摄像部巡回地施行图像获取。

例如，用户使用照相机100来施行拍摄数字照片的操作。

在步骤S140中，照相机100判定是否检测出记录指示。判定的结果若为“是”则进入步骤S150，若为“否”则返回步骤S130。例如，拍摄数字照片，并通过在图像存储部36中将新的图像数据适当地压缩编码后进行记录，该判定能成为“是”。

在步骤S150中，照相机100对方位、倾斜角度进行检测。例如，读取由方向探测部50检测出的拍摄方向及倾斜角度。

在步骤S160中，照相机100对拍摄到的图像数据进行分析，并获取SIFT特征量和坐标值。由此，针对拍摄到的图像数据，计算出SIFT及坐标值，并作为该图像数据的特征量而被存储。

在步骤S170中，照相机100将获取到的方位、倾斜角度以及SIFT特征量和坐标的组与压缩编码后的图像数据建立关联，写入图像存储部36的管理表格中。该管理表格，例如，采用图5所示的图像数据管理表格的数据结构。管理表格能够参照的图像数据，能够存储在图像存储部36、数据存储器46、或经由扩展I/F56连接的存储卡(未图示)等中。

在步骤S180中，照相机100参照管理表格，并检索对计算出的SIFT特征量与规定范围内相近的SIFT特征量建立关联后的图像数据。由此，从照相机100内检索新拍摄到的图像数据和具有相似的特征量的其它图像数据。

另一方面，在步骤S190中，照相机100从管理表格中读出与被选择的图像数据建立了关联的SIFT特征量。该动作，选择已经拍摄的且存储于照相机100内的图像数据，并指示参照被选择的图像数据的特征量。因此，照相机100即使不施行新的拍摄，也能够利用已经拍摄到的图像数据来施行相似图像检索。

在步骤S200中，照相机100参照管理表格，检索对读出的SIFT特征量与规定范围内相近的SIFT特征量建立关联后的图像数据。该动作，与拍摄到新图像数据时的步骤S180的动作对应。

在步骤S220中，照相机100判定是否有相似的图像数据。若判定结果为“是”则进入步骤S230，若为“否”则进入步骤S290。

在步骤S230中，照相机100在管理表格的存储地址中存储彼此的存储地址作为关联图像数据。即，SIFT特征量处于规定的范围内且相互相似的多个图像，被作为关联图像数据来处理。

在步骤S240中，照相机100对所述的关联图像数据进行一览显示。

在步骤S250中，照相机100针对一览显示的关联图像数据，判定是否检测出选择。若判定的结果为“是”则进入步骤S260，若为“否”则返回步骤S240。

在步骤S260中，照相机100按照每个被选择的关联图像数据，分别读出方位、倾斜角度。

在步骤S270中，照相机100采用读出的方位、倾斜角度来判定立体形状是否能够推测。若判定的结果为“是”，则进入后续的图7所示的流程图的“B”，若为“否”则进入步骤S290。

在步骤S290中，照相机100判断为不能检索，并显示读出的图像(已拍摄记录的图像)、应拍摄的方向和大小(相对于视角的检索对象被摄体的大小)的信息。即，该动作是在以下情况下被实施的，所述情况为：在步骤S220中判定为相似图像数据不存在；或在步骤S270中判定为用相似图像数不能推测立体形状施行。在步骤S290之后，照相机100结束相似图像检索的动作。

通过这样的动作，若步骤S270的判定为“是”，则照相机100能够准备至少两个相似图像数据及与它们建立了关联的方位、倾斜角度以及SIFT特征量和坐标值的组的信息。

参照图7，针对本发明的一个实施方式的、照相机100与图像检索服务器300协同执行的图像检索处理的各阶段进行说明。图7所示的从步骤S310到步骤S370为止是照相机100的动作，从步骤S410到步骤S470为止是检索引擎服务器300的动作。

步骤S310是接着图6所示的步骤S270的判定为“是”时的动作而施行的。在步骤S310中，照相机100将方位、倾斜角度以及SIFT特征量和坐标值的组的信息发送给检索引擎服务器300。该发送，例如，作为检索请求被发送。

在步骤S320中，照相机100以会话(session)维持状态待机。即，维持与检索引擎服务器300能够通信的状态，待机针对检索请求的来自图像检索服务器300的响应。

另一方面，检索引擎服务器300根据来自照相机100的检索请求，施行用于检索本发明的相似图像检索的动作。

在步骤S410中，检索引擎服务器300施行注册认证处理。由此，检索引擎服务器300接收基于特定的照相机100的检索请求，开始相似图像检索的一个会话。

在步骤S420中，检索引擎服务器300接收方位、倾斜角度以及SIFT特征量和坐标值的组作为检索关键信息。

在步骤S430中，检索引擎服务器300根据接收到的方位、倾斜角度计算出拍摄方向。

在步骤S440中，检索引擎服务器300根据计算出的拍摄方向、SIFT特征量和坐标来施行推测立体形状的处理。由此，施行三维模型化，生成基于检索请求的三维图像数据。在该步骤S440的动作中，例如，能够采用后述的图8所示的来自多视点图像的三维形状数据生成。

在步骤S450中，检索引擎服务器300在被推测出的立体形状中，获取未接收的拍摄方向。即，针对已生成的三维图像数据，生成不包括在检索请求中的来自拍摄方向的投影图或剖视图等的二维图像数据。

在步骤S460中，检索引擎服务器300对图像数据进行检索。即，将在步骤S450中生成的二维图像数据作为检索关键信息，使用连接于图像数据库500等的信息公开网的数据库来检索相似的图像。检索的结果被发送给照相机100。

在步骤S470中，检索引擎服务器300施行注销处理。由此，结束基于检索请求的相似图像检索的一个会话。会话结束之后，检索引擎服务器300能再次接收来自照相机100等的终端装置的请求，进行待机。

再次返回照相机100的动作的各阶段，在步骤S330中，照相机100接收检索结果。

在步骤S340中，照相机100作为检索结果来判定是否接收到图像。若判定的结果为“是”则进入步骤S350，若为“否”则进入步骤S370。

在步骤S350中，照相机100在图像存储部36中存储接收到的图像，并追加存储地址作为关联图像数据进行存储。由此，作为检索结果而接收到的图像数据被作为相似图像检索的结果存储在图像存储部36中。而且，作为图像数据的存储单元，并不局限于图像存储部36，也可以是数据存储器46或经由扩展I/F56连接的存储卡等。

在步骤S360中，照相机100作为检索结果将接收到的关联图像数据与其它相似图像一起进行显示。由此，用户能够看到在照相机100的显示部34等中显示的关联图像数据及其它相似图像。

另一方面，当检索结果中未包含图像时，在步骤S370中，照相机100显示未发现图像。

在步骤S360或步骤S370之后，照相机100结束相似图像检索的动作。

根据这些从步骤S110到步骤S470为止的动作，照相机100与检索引擎服务器300连接，能够利用基于检索引擎服务器300的三维图像数据及二维图像数据的生成来施行相似图像检索。

此外，这些从步骤S110到步骤S470为止的动作，不仅作为一次相似图像检索来施行，而且还可以通过从照相机100在步骤S220中加入能够作为相似的图像数据来判定的追加的图像数据，使用该追加的图像数据，使检索引擎服务器300限定检索结果。

而且，作为追加的图像数据，可以采用预先准备的规定的三维图像数据。也可以由预先准备的规定的三维图像数据和所生成的伪三维形状数据生成二维图像。而且，也可以将所生成的二维图像与预先准备的规定二维图像数据进行比较。

图8是说明检索引擎服务器300根据CPU303的控制，在图7的步骤S440中执行的立体形状推测处理的流程图。根据该处理，图像检索服务器300制成基于多视点图像的三维形状数据。

在步骤S910中，检索引擎服务器300输入来自相同对象的不同视点的多个图像。

在步骤S920中，检索引擎服务器300施行前处理(清晰化、噪声除去、倾斜修正)。

在步骤S930中，检索引擎服务器300判定照相机信息是否已知。若判定的结果为“是”则进入步骤S940，若为“否”则进入步骤S970或步骤S980。该照相机信息，具体而言，指示与每个图像数据建立了关联的摄像方位等的参数。选择步骤S970或步骤S980的哪一个，能够根据这些照相机信息以外的条件，例如，根据用于生成三维形状数据的图像数据的张数、在各图像中计算出的特征量的平均或分散等统计的信息、或者任意的其它数值或用于拍摄的照相机的设计信息等，来施行。

在步骤S940中，检索引擎服务器300对各图像的照相机位置参数进行计算。例如，计算至被摄体为止的距离、照相机的摄像方位等。

在步骤S950中，检索引擎服务器300从各图像提取轮廓图像数据。由此，针对各图像生成轮廓图像数据。

在步骤S960中，检索引擎服务器300根据照相机位置和各轮廓图像制成被摄体的三维形状模型。由此，制成从多个视点能看到大致相同被摄体的三维形状模型。

在步骤S970中，检索引擎服务器300施行因子分解法的处理。

因子分解法，例如是如下面那样的图像信息处理方法。

(因子分解法-1)从各图像中提取表示被摄体的轮廓外形或脸的特征部位的线段、曲线或特征点。

(因子分解法-2)提取各图像的主要点的点特征，并将各特征点建立对应。

(因子分解法-3)从多视点图像中的各点坐标恢复照相机的活动信息及被摄体的三维形状信息。

在步骤S980中，检索引擎服务器300施行背景轮廓三维测量法(shape-from-silhouettes)的处理。

背景轮廓三维测量法，例如是如下的图像信息处理的方法。

(背景轮廓三维测量法-1)准备对形状进行存储的三维体素(voxel)空间，将它分割为立体格子。

(背景轮廓三维测量法-2)输入成为处理对象的各多视点图像的轮廓图像，对如前所述分割的各体素施行基于正投影的反投影。

(背景轮廓三维测量法-3)对各体素判定在处理对象图像的轮廓内是否存在，留下存在的体素，消除其它体素。

(背景轮廓三维测量法-4)针对全部体素反复进行判定，而且反复进行针对全部多视点图像的体素的判定。

(背景轮廓三维测量法-5)将留下的体素的集合作为被摄体的三维形状模型。

在步骤S990中，检索引擎服务器300生成主要被摄体的三维形状数据。作为生成的三维形状数据的形式，可任意地采用本领域内公知的线架构模型、平面模型、立体模型、CSG(Constructive Solid Geometry)表达，或边界表达等。在步骤S990之后，来自多视点图像的三维形状数据制成的各阶段结束。

[将来自不同的视点的多个图像作为输入图像的实施例]

图9表示本发明的一个实施方式的、从在输入图像中采用来自不同视点的多个图像而生成的三维形状模型生成改变视点后的二维图像作为用于图像检索的检索关键信息的一个示例的图。以下，针对包括照相机100及检索引擎服务器300的图像检索系统10的动作进行说明。

图9所示的输入图像A(810)及输入图像B(815)，例如，是从不同视点拍摄的大致相同的建筑物等的数字照片。照相机100，在拍摄模式的动作或再现模式的动作下，能够将这些图像存储在图像存储部36等中，并在显示部34中适当地显示。照相机100将这些图像及SIFT特征量等的附加信息发送给检索引擎服务器300，请求相似图像的检索。

检索引擎服务器300，响应该请求，从这些输入图像生成三维形状模型820。例如，施行作为图7的步骤S440的动作而例示的立体形状推测处理。

而且，检索引擎服务器300生成来自与这些输入图像的拍摄方向不同的方向的投影图。例如，采用作为图7的步骤S450的动作而例示的未接收的拍摄方向，生成三维形状模型820的投影图。例如，生成改变视点后的二维图像数据830或835等。

所生成的二维图像数据，被用作图像检索的检索关键信息，对图像数据库500等的数据库进行检索。例如，将图像数据库500中存储的记录完毕的图像数据840等与改变视点后的二维图像数据830或835等进行比较。

比较的结果，若判定为记录完毕的图像数据840与改变视点后的二维图像数据830或835等相似，则检索引擎服务器300将从记录完毕的图像数据检索到的相似图像850作为检索结果发送给照相机100。

如此，图像检索系统10，能够针对大致相同的被摄体，使用从不同的视点拍摄到的图像数据作为输入图像，生成三维形状模型820及改变视点后的二维图像数据830或835，对相似图像进行检索。

以上，使用本发明的实施方式来进行了说明，但本发明不局限于上述实施方式。对上述实施方式，能够加入各种的变更或改良。例如，作为上述图9的示例中的输入图像，虽然针对采用两张来自不同视点的图像进行了说明，但本发明不局限于此，作为输入图像来使用的来自不同视点的图像的个数也可以是两张以上，并且，只要能够安装则不设置任何限制。同样地，作为输入图像，也可以采用整体图像和部分图像来生成三维形状模型。照相机100在摄像模式的动作或再现模式的动作中，在图像存储部36等中存储大致相同的被摄体的任意个数的整体图像或部分图像，并适当地显示在显示部34中，将这些图像及SIFT特征量等的附带信息发送给检索引擎服务器300，请求相似图像的检索。与所述图9所示的示例相同，检索引擎服务器300也可以设置为：响应该请求，由这些任意个数的整体图像或部分图像的输入图像，生成三维形状模型870及投影图。

[将整体图像及部分图像作为输入图像的实施例]

图10是表示由整体图像和部分图像生成三维形状模型的一个示例的图。与所述图9所示的改变视点后的二维图像的生成相同，输入图像-1(861)、输入图像-2(862)及输入图像-N(868)，是从不同视点拍摄到的大致相同的建筑物等的数字照片。这些输入图像，适当包括大致相同的被摄体的整体图像或部分图像。N是任意的自然数。照相机100在拍摄模式的动作或再现模式的动作下，能够将这些图像存储在图像存储部36等中，并在显示部34中适当地显示。照相机100将这些图像及SIFT特征量等附带信息发送给检索引擎服务器300，并请求相似图像的检索。

与所述图9所述的示例相同，检索引擎服务器300响应该请求，由这些输入图像生成三维形状模型870。而且，检索引擎服务器300生成来自与这些输入图像的摄像方向不同方向的投影图。因此，与这些输入图像的摄像方向不同方向的投影图，例如，被生成为改变视点后的二维图像数据880或882等。

如此，在本发明的相似图像检索中，用于生成三维形状模型的输入图像，可以是大致相同的被摄体的整体图像或部分图像。

而且在上述实施方式中，虽然针对使用一台照相机100和无线中继站430的情况进行了说明，但本发明不局限于此，在图像检索系统中，可以采用包括具有摄像功能的手机等的任意多个照相机，而且，也可以采用任意个数的无线中继站。此外，也可以与具有读取图像的扫描仪、定点设备、读取描绘图像的图形输入板等的终端连接，且用户例如使用扫描仪来读取图像，对鼠标或专用笔等定点设备进行操作，用于检索在图形输入板上描绘的图像等。检索引擎服务器300与这些多个照相机、终端的通信可以是各种方式，例如，可以采用经由服务提供机构、无线中继站等的有线、无线网络，该网络也可以不仅是互联网等广域网，而也可以采用局域网(LAN)或者它们的组合等。

检索引擎服务器300对来自这些照相机的图像数据是否处于规定的范围内的位置或时刻存在进行判定，针对判定为大致相同的情况，能够作为相同被摄体的输入图像来进行图像检索。

而且，通过与网络连接的终端等的操作，能够对这些多个无线通信照相机进行控制，在规定范围内的位置或时刻从不同的视点拍摄相同被摄体，发送给检索引擎服务器300。通过与网络连接的终端，能够获取检索引擎服务器300进行的检索结果。

而且，在上述实施方式中，虽然将检索引擎服务器300与照相机100作为分别的结构进行了说明，但照相机也可以具有检索引擎服务器的功能。具体而言，也可以采用照相机具有的硬件资源的一部分，例如，执行检索引擎服务器300中的三维图像模型的制成及来自三维图像模型的二维图像数据生成等。此时，如图7所示的检索引擎服务器300的动作的各阶段，由照相机100来执行。如此，合并了检索引擎服务器300的功能的照相机与检索引擎服务器300同样，能够由输入图像生成三维图像模型及二维图像数据，并将所生成的二维图像数据用作用于检索相似图像的检索关键信息，从图像数据库500提取图像。

由此，本发明的图像检索系统能够通过内置有检索引擎服务器300的功能的照相机来实现。此外，该照相机并不将图像检索服务器300的全部功能内置，例如，对于由输入图像生成三维图像模型及二维图像数据、并将所生成的二维图像数据用作用于检索相似图像的检索关键信息的相似图像检索处理，以另一个检索引擎服务器300执行的方式等，也可以部分地内置检索引擎服务器300的功能。

而且，检索引擎服务器300的功能也可以部分地内置于与网络连接的其它终端中。此外，服务器装置不仅以单体方式执行检索引擎服务器300的功能，还能分担到多个终端来实现。具体而言，也可以将参照图7来说明的本发明的检索引擎服务器300的动作的各阶段分担到多个终端来执行。

在上述实施方式中，作为一个示例，采用数字照相机作为照相机来进行了说明，但本发明不局限于数字照相机，例如，也能适用于带有照相机的手机或具有PDA(Personal Digital Assistant)等摄像功能的摄像装置。而且，本发明的图像检索系统，能够通过将包括CPU和存储器的摄像装置具有的计算机作为上述各单元来发挥功能的图像检索程序来动作。图像检索程序，能够经由通信线来发布，也能够通过写入到CD-ROM等记录介质中来进行发布。本发明的用于控制检索引擎服务器的功能的程序，能够任意地使用本领域公知的语言来进行记述，例如，也可以作为照相机或终端等硬件上进行动作的虚拟机来实现。

Claims (2)

1.一种图像检索系统，在通信终端和处于该通信终端外部的检索装置之间进行图像检索，

包括：

摄像单元，其对被摄体进行摄像来获取图像数据；

方位获取单元，其获取所述摄像单元摄像时的摄像方位；

特征信息获取单元，其获取与所述摄像单元摄像而获取到的图像数据相关的特征信息；

存储控制单元，其将所述摄像单元获取到的图像数据、所述方位获取单元获取到的摄像方位及所述特征信息获取单元获取到的特征信息建立关联而存储到存储单元中；

存储单元，其将由所述存储控制单元建立了关联的包含被摄体像的图像数据与所述图像数据的摄像方位及特征信息进行多个存储；

选择检测单元，其从所述存储单元所存储的多个图像数据中，对作为图像数据而在规定的范围的位置或时刻所拍摄到的至少两个数字照片数据被选择为特定的图像数据进行检测；

第一检索单元，其针对由所述选择检测单元检测出选择的所述特定的图像数据，根据与其建立了关联的特征信息，来检索被存储于所述存储单元中的相似的图像数据；

第一发送单元，其将由所述选择检测单元检测出选择的所述特定的图像数据和作为所述第一检索单元的检索结果而获取到的图像数据中的至少一个的摄像方位及特征信息发送给所述检索装置；

接收单元，其接收由所述第一发送单元从所述通信终端发送来的摄像方位及特征信息；

推测单元，其根据由所述接收单元接收到的特征信息及摄像方位，对所述图像数据中包含的被摄体像的三维形状进行推测；

第二检索单元，其根据由所述推测单元推测出的被摄体像的所述三维形状，针对所生成的三维图像数据，生成不包括在检索请求中的来自拍摄方向的投影图或剖视图的二维图像数据，将所生成的二维图像数据作为检索信息，来检索信息公开网，获取包含将与所述接收到的摄像方位不同的方位作为摄像方位的所述被摄体像在内的图像的图像数据；和

第二发送单元，其将由所述第二检索单元获取到的图像数据发送给所述通信终端。

2.一种图像检索方法，在通信终端和处于该通信终端外部的检索装置之间进行图像检索，包括：

摄像步骤，对被摄体进行摄像来获取图像数据；

方位获取步骤，获取在所述摄像步骤中进行摄像时的摄像方位；

特征信息获取步骤，获取与在所述摄像步骤中进行摄像而获取到的图像数据相关的特征信息；

存储控制步骤，将由所述摄像步骤获取到的图像数据、由所述方位获取步骤获取到的摄像方位及由所述特征信息获取步骤获取到的特征信息建立关联而在存储步骤中进行存储；

存储步骤，将在存储控制步骤中建立了关联的包含被摄体像的图像数据与所述图像数据的摄像方位及特征信息进行多个存储；

选择检测步骤，从由所述存储步骤所存储的多个图像数据中，对作为图像数据而在规定的范围的位置或时刻所拍摄到的至少两个数字照片数据被选择为特定的图像数据进行检测；

第一检索步骤，针对在所述选择检测步骤中检测出选择的所述特定的图像数据，根据与其建立了关联的特征信息，检索在所述存储步骤中被存储的相似的图像数据；

第一发送步骤，将在所述选择检测步骤中检测出选择的所述特定的图像数据和作为所述第一检索步骤的检索结果而获取到的图像数据中的至少一个的摄像方位及特征信息发送给所述检索装置；

接收步骤，其接收由所述第一发送步骤从所述通信终端发送来的摄像方位及特征信息；

推测步骤，根据由所述接收步骤接收到的特征信息及摄像方位，对所述图像数据中包含的被摄体像的三维形状进行推测；

第二检索步骤，根据所述推测步骤中推测出的被摄体像的所述三维形状，针对所生成的三维图像数据，生成不包括在检索请求中的来自拍摄方向的投影图或剖视图的二维图像数据，将所生成的二维图像数据作为检索信息，来检索信息公开网，获取包含将与所述接收到的摄像方位不同的方位作为摄像方位的所述被摄体像在内的图像的图像数据；以及

第二发送步骤，将由所述第二检索步骤获取到的图像数据发送给所述通信终端。

Images