〔第1の実施形態〕
以下、図1乃至図12を用いて、本発明の第1の実施形態について説明する。図1は、本発明の第1の実施形態に係る画像検索システムの概略図であり、まずは図1を用いて、本実施形態の概略を説明する。
図1に示す撮像装置10aは、所定の被写体を撮像するデジタルカメラ等の撮像機能を有しており、例えば、撮像装置10aの利用者が、街中、野山等で見つけた被写体を撮影することができる。そして、撮影された被写体の画像データを通信ネットワークを介して検索支援装置20aに送信する。検索支援装置20aは、被写体の名称やカテゴリに対応した図鑑系の検索エンジン等のURLを管理しており、撮像装置10aから送られて来た画像データに基づいて、最適な検索エンジンを選択する。検索支援装置20aでは、選択された検索エンジンを有する検索サーバ30aに対して、検索キーデータを送信することで、検索を開始させる。検索サーバ30aは、検索支援装置20aから送られて来た検索キーデータに基づいて検索を行い、検索結果である画像データを通信ネットワークを介して撮像装置10aに送る。これにより、例えば、被写体が「おたまじゃくし」の場合、撮像装置10aで撮像された「おたまじゃくし」の画像データを検索支援装置20aに送信すれば、検索支援装置20aが検索サーバ30aに「おたまじゃくし」の未来の画像を検索させ、検索サーバ30aは、「おたまじゃくし」の未来の生物としての「蛙」の画像データを検索結果として撮像装置10aに送信する。これにより、撮像装置10aでは、ディスプレイに「蛙」の画像を表示することができ、被写体である「おたまじゃくし」に関連する物体である「蛙」の画像データを容易に取得できる。このように、撮像装置10aの利用者は、被写体の将来等の物体の画像データを容易に取得することができるため、街中、野山等で珍しい生物等を見つけたような場合に、この生物は将来どのように変わって行くのだろうかと思う好奇心に迅速に応えることができる。
次に、図2乃至図12を用いて、本発明の第1の実施形態を更に詳細に説明する。図2は、本実施形態に係る画像検索システムを構成する各装置のハードウェア構成図である。まず、図2に示されているように、本実施形態の画像検索システムは、撮像装置10a、検索支援装置20a、及び検索サーバ30aによって構築されている。検索支援装置20aと検索サーバ30aとは、インターネット2を介して通信することができる。撮像装置10aと検索支援装置20a及び検索サーバ30aとは、インターネット2、ゲートウェイ3、携帯電話網4、及び基地局5によって構築される通信ネットワークを介して、通信することができる。
このうち、撮像装置10aは、撮像装置10a全体の動作を制御するCPU(Central Processing Unit)101、基本入出力プログラムを記憶したROM(Read Only Memory)102、CPU101のワークエリアとして使用されるRAM(Random Access Memory)103、CPU101の制御にしたがってデータの読み出し又は書き込みを行うEEPROM(Electrically Erasable and Programmable ROM)104、CPU101の制御に従って被写体を撮像し画像データを得るCCD(Charge Coupled Device)105、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサー等の各種加速度・方位センサー106、フラッシュメモリ等の記録メディア107に対するデータの読み出し又は書き込み(記憶)を制御するメディアドライブ108を備えている。そして、メディアドライブ108の制御に従って、既に記録されていたデータが読み出され、又は新たにデータが書き込まれて記憶する記録メディア107が着脱自在な構成となっている。
なお、EEPROM104には、CPU101が実行するオペレーティングシステム(OS)、その他のプログラム、及び、種々データが記憶されている。CCD105は、光を電荷に変換して被写体の画像を電子化する電荷結合素子であり、被写体を撮像するが、CCDに限らず。CMOS(Complementary Metal Oxide Semiconductor)を用いてもよい。
更に、撮像装置10aは、音声を音声信号に変換する音声入力部111、音声信号を音声に変換する音声出力部112、アンテナ113a、このアンテナ113aを利用して無線通信信号により、最寄の基地局5と通信を行う通信部113、GPS(Global Positioning Systems)衛星から撮像装置10aの位置情報(緯度、経度、および高度)を含んだGPS信号を受信するGPS受信部114、被写体の画像や各種アイコン等を表示する液晶や有機ELなどのディスプレイ115、このディスプレイ115上に載せられ、感圧式又は静電式のパネルによって構成され、指やタッチペン等によるタッチによってディスプレイ115上におけるタッチ位置を検出するタッチパネル116、及び、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン110を備えている。
なお、音声入力部111は、音声を入力するマイクが含まれ、音声出力部112には、音声を出力するスピーカが含まれている。また、基地局5は、携帯電話網4と通信を行い、携帯電話網4は、ゲートウェイ3を介してインターネット2と通信を行い、インターネット2は、検索支援装置20aや検索サーバ30aと通信を行う。これにより、撮像装置10aは、検索支援装置20aや検索サーバ30aと通信することが可能となる。ここで、通信部113で送受信される無線通信信号は、音声データ、文字データ、画像データ等が含まれる信号である。
一方、検索支援装置20aは、検索支援装置20a全体の動作を制御するCPU201、基本入出力プログラムを記憶したROM202、CPU201のワークエリアとして使用されるRAM203、CPU201の制御にしたがってHD(Hard Disk)205に対するデータの読み出し又は書き込みを制御するHDD(Hard Disk Drive)204、HDD204の制御に従って書き込まれたデータを記憶するHD205、CPU201の制御に従ってFD(Flexible Disk)207に対するデータの読み出し又は書き込み(記憶)を制御するFDD(Flexible Disk Drive)206を備えている。そして、FDD206の制御に従って、既に記憶していたデータが読み出され、又は新たにデータが書き込まれて記憶する記録媒体の一例としてのFD207が着脱自在な構成となっている。
更に、検索支援装置20aは、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する液晶、有機EL、CRT(Cathode-ray Tube)等のディスプレイ208、不図示のLANやインターネット2を利用してデータ伝送をするための通信インターフェース部209を備えている。更に、検索支援装置20aは、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード211、各種指示の選択や実行、処理対象の選択、カーソルの移動などをおこなうマウス212、着脱可能な記録媒体の一例としてのCD−ROM213に対するデータの読み出し又は書き込みを制御するCD−ROMドライブ214、及び、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン210を備えている。なお、RAM203に記憶されているプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM(Compact Disc Read Only Memory)、FD、CD−R(Compact Disc Recordable)、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。なお、検索サーバ30aは、検索支援装置20aと同様なハードウェア構成を有するため、同一の構成要素(各部)には、同一の符号を付して、その説明を省略する。
次に、図3を用いて、本実施形態の画像検索システムを構築する各装置の機能を説明する。図3は、本実施形態の画像検索システムを構成する各装置の機能ブロック図である。
まず、撮像装置10aは、送受信部11、要求受付部12、撮像部13、表示部14、対応判断部15、撮像状況検知部16、及び、記憶・読出処理部19を有し、これら各部は、図2に示すCPU101がROM102に記憶されているプログラムに従って動作することにより実現される機能又は手段である。また、撮像装置10aは、図2に示すEEPROM104により構築される記憶部1000を有している。
このうち、送受信部11は、主に図2に示す通信部113によって実行され、アンテナ113aを介して最寄の基地局5と無線通信信号(各種データ・情報を含む)の送受信を行う。要求受付部12は、主に図2に示す音声入力部111やタッチパネル116によって実行され、利用者(操作者)から、被写体の未来や過去を示す物体の画像データ、又は被写体の拡大や縮小された画像データ等の要求を受け付け、要求情報を作成する。なお、被写体が拡大された画像としては、被写体そのものを拡大して見る場合の拡大画像だけでなく、被写体と撮像装置10aとの距離を近くすることで、あたかも顕微鏡で被写体を見るような場合の拡大画像も含まれる。また、被写体が縮小された画像としては、被写体そのものを縮小して見る場合の縮小画像だけでなく、被写体と撮像装置10aとの距離を遠ざけることで、あたかも飛行機や衛星から見るような場合の縮小画像も含まれる。
また、撮像部13は、主に図2に示すCCD105によって実行され、被写体を撮像して画像データを得る。表示部14は、主に図2に示すディスプレイ115によって実行され、利用者から受け付けた要求を示す要求情報、図3に示す被写体等の画像データに係る画像やオートフォーカス枠等を表示する。対応判断部15は、主に図2に示すCPU101及びROM102並びにRAM103に展開されているプログラムによって実行され、要求受付部12で受け付けた利用者からの要求が、撮像装置10a単体で対応できるかを判断する。
また、撮像状況検知部16は、主に図2に示すGPS受信部114や加速度・方位センサー106などによって実行され、撮像部13によって被写体が撮像される際の状況を検知し、この検知結果を含めたメタデータを作成する。この撮像の状況の例として、撮像装置10aの地球上における位置や移動加速、撮像部13が向いている角度や方位、撮像時間(年、月、日、時間)等が挙げられ、これらが示される各情報がメタデータに含まれる。記憶・読出処理部19は、主に図2に示すCPU101やROM102などによって実行され、記憶部1000に各種データを記憶したり、記憶部1000に記憶された各種データを読み出す処理を行う。
また、記憶部1000には、被写体の画像データが、この被写体が撮影された際に作成されたメタデータと関連付けて記憶される。また、検索サーバから送られてくる画像データ、それ以外の画像データ、及び音声データ等も記憶することは可能である。
以上より、撮像装置10aは、検索支援装置20aに対して、撮像部13によって撮像され記憶部1000に記憶されている被写体の画像データ(D1)、要求受付部12によって利用者から受け付けた要求を示す要求情報(i1)、及び、撮像状況検知部で作成され記憶部1000に記憶されたメタデータ(d1)を送信することができる。また、撮像装置10aは、検索支援装置20aから送られてくる検索結果としての被写体に関連する物体の画像データ(D2)を受信することができる。
なお、図3に撮像装置3の正面図を示す。図3に示されているように、撮像装置10aは、本体10a−1、本体に設けられた「メニュー画面表示ボタン」10a−2、本体に設けられた表示部10a−3、本体に設けられたスピーカ10a−5を備えている。このうち、「メニュー画面表示ボタン」10a−2は、アプリケーションを示すアイコンが表示されているメニュー画面を表示させるためのボタンである。また、表示部10a−3には、被写体を撮影する際の撮影ボタン10a−4、被写体10a−6に対してオートフォーカス及びキャプチャリングを指示する際に利用者から押下されるオートフォーカス枠10a−7が表示されている。
次に、検索支援装置20aの各種機能について説明する。検索支援装置20aは、図4に示されているように、送受信部21、特定要求判断部22、画像認識部23、検索エンジン選択部24、及び、記憶・読出処理部29を有し、これら各部は、図2に示すCPU201がROM202に記憶されているプログラムに従って動作することにより実現される機能又は手段である。また、検索支援装置20aは、図2に示すHD205により構築される記憶部2000を有している。この記憶部2000には、図6に示されているような検索エンジン管理テーブルによって構成されている検索エンジン管理部2001と、画像認識部23が画像認識する際に用いる後述の識別辞書ファイル管理部2002とが構築されている。上記検索エンジン管理テーブルは、図6に示されているように、所定の被写体の名称又はカテゴリと、これら名称又はカテゴリ毎に使い分ける検索サーバ(検索エンジン)をそれぞれ特定するための検索エンジン特定情報とを関連付けて記憶する。ここでは、検索エンジン特定情報として、検索エンジンのURLを示しているが、これに限らず、検索エンジンを特定するための固有の識別子であってもよい。この場合には、別途、検索エンジンの識別子と検索エンジンのURLとを関連付けたテーブルが必要となり、この場合も、検索エンジン管理部2001を構成することになる。
また、上記送受信部21は、主に図2に示す通信インターフェース部203によって実行され、インターネット2と各種データの送受信を行う。この送受信部21は、撮像装置10aから送られて来る被写体の画像データ(D1)、要求情報(i1)、及び、メタデータ(d1)を受信する。また、送受信部21は、検索支援装置20aから検索サーバ30a(図7に示す検索サーバ30bの場合もある)に対して、画像データ(D1)を検索キーとし、要求情報(i1)に係る要求に対応した検索を開始させるための通信を行う検索開始部としての機能も有する。また、この検索開始部は、検索キーを画像データ(D1)ではなくメタデータ(d1)に含まれる位置情報にすると共に、前記状況情報(i1)に対応した検索を開始させるための通信を行うこともできる。
また、特定要件判断部22は、主に図2に示すCPU201及びROM202並びにRAM203に展開されているプログラムによって実行され、送受信部21が撮像装置10aから受信した要求情報(i1)に係る要求が、予め定められた特定の要求であるかを判断する。この特定の要求は、例えば、被写体と撮像装置10aとの距離を遠ざけることで、あたかも飛行機や衛星から見るような場合の縮小画像の要求である。即ち、利用者の要求が、図鑑用検索エンジンによる検索では対応できず、世界中の衛星写真によって構築されたバーチャル地球儀を提供する検索エンジンでなければ対応できないような場合には、特定の検索エンジンに検索させる必要があるため、この特定の検索エンジンを使用するかを判断する必要がある。
また、画像認識部23は、主に図2に示すCPU201及びROM202並びにRAM203に展開されているプログラムによって実行され、送受信部21で受信された画像データに対して画像認識の処理を行い、この画像データに係る被写体の名称又はカテゴリを出力する。ここで、図5を用いて、画像認識部23を更に詳細に説明する。なお、図5は、画像認識部23の詳細な機能ブロック図である。
図5に示されているように、画像認識部23は、画像入力部231、濃度変換部232、位置正規化処理部233、特徴パターン抽出部234、照合処理部235、及び、判定処理部236を有している。
このうち、画像入力部231は、特定要求判断部22から送られてくる被写体の画像データを以後の処理にあった形式のディジタル画像データに変換し、濃度変換部232に送る機能又は手段を有する。濃度変換部232は、被写体の画像データに対して輝度値の補正(照度値の正規化)などの濃度変換処理を施した後、位置正規化処理部233に送る機能又は手段を有する。位置正規化処理部233は、画像データ中から照合の対象となる日被写体の形状パターンの位置、傾き、及び大きさの正規化を行ない、照合処理の対象となる被写体の正規化パターンを切り出して特徴パターン抽出手部234へ送る機能又は手段を有する。ここで位置正規化処理部233の構成としては、例えば、特願平2−219675に示されている実施例を用いることができる。
続いて、特徴パターン抽出部234は、位置正規化処理部233から送られる被写体の正規化パターンに対して、照合時に標準パターンとの照合を行なう特徴パターンを抽出して、照合処理部235へ送る機能又は手段を有する。なお、記憶部2000には、予め識別対象物の標準的な画像について上述した画像入力部231から特徴パターン抽出部234までと同等の処理を行なって求めた標準パターンが管理されている識別辞書ファイル管理部が構築されている。
また、照合処理部235は、被写体の画像データについて特徴パターン抽出部234で求めた特徴パターンと、記憶・読出処理部29を介して得た識別辞書ファイル管理部2002で管理されている動物、昆虫等の標準パターンとの間に類似性尺度を数値化し、この結果を判定処理部236へ送る機能又は手段を有する。照合処理については、特徴ベクトルの最小距離識別の例に代表される統計的識別関数による方法、又は、ニューラルネットによる学習を応用する方法などが挙げられる。判定処理部236は、照合処理部235で計算された入力パターンと各識別対象物の標準パターンとの間の類似性尺度のデータ群に対して、実現しようとする識別機能の形態に即して、適当な値による閾値処理などによる判定処理を行ない、その結果得られる識別結果を検索エンジン選択部24に出力する機能又は手段を有する。
次に、図4に戻って、検索エンジン選択部24は、画像認識部23の画像認識により得られた画像データ(D1)に係る被写体の名称又はカテゴリに基づいて、記憶部2000に構築されている検索エンジン管理部2001を検索して、対応する検索エンジン特定情報を読み出す検索エンジン検索部241を有している。検索エンジン選択部24は、検索エンジン検索部241によって読み出された検索結果としての検索エンジン特定情報に基づいて、画像データ(D1)又はメタデータ(d1)の位置情報を検索キーとして検索させる検索エンジンを有する検索サーバを選択する。
また、記憶・読出処理部29は、主に図2に示すCPU201やROM202などによって実行され、記憶部2000に各種データを記憶したり、記憶部1000に記憶された各種データを読み出す処理を行う。
以上により、検索支援装置20aは、撮像装置10aから送られて来る画像データ(D1)、要求情報(i1)、及び、メタデータ(d1)を送信することができる。また、検索支援装置20aは、検索エンジン選択部24によって選択された検索エンジンを有する検索サーバに対して、検索キーとしての画像データ(D1)又はメタデータ(d1)の位置情報を、要求情報(i1)に係る要求に対応した検索を開始させることができる。
次に、検索サーバ30aの機能について説明する。ここでは、例えば、検索サーバ30aは、動物図鑑、昆虫図鑑、両生類図鑑、建物図鑑、乗物図鑑等の各種図鑑をそれぞれ管理している複数の検索サーバのうちの一つである。ここでは、その一例として、両生類図鑑を管理し検索することができる検索サーバを示している。これら複数の検索サーバは、検索支援装置20における検索エンジン選択部241によって選択される。また、図6に示す検索エンジン管理テーブルのカテゴリは、各種検索サーバに対応している。なお、図7に示す検索サーバ30bは、図鑑系の検索サーバとは異なり、世界中の衛星写真から構成されたバーチャル地球儀における所定の視点位置からの画像を検索することができる検索エンジンを有する検索サーバである。
また、検索サーバ30aは、図4に示されているように、送受信部31、検索部32、及び、記憶・読出処理部39を有し、これら各部は、図2に示すCPU201がROM202に記憶されているプログラムに従って動作することにより実現される機能又は手段である。また、検索サーバ30aは、図2に示すHD205により構築される記憶部3000を有している。この記憶部3000には、検索結果としての図鑑による物体の画像データが管理されている。例えば、両生類図鑑の場合には、おたまじゃくしの卵(おたまじゃくしの過去の物体)、おたまじゃく、蛙(おたまじゃくしの未来の物体)といったように、おたまじゃくしが時間的変移することにより成り得る物体の画像データが関連付けられて、時間的変移した物体であると認識できるように管理されている。
また、上記送受信部31は、主に図2に示す通信インターフェース部203によって実行され、インターネット2と各種データの送受信を行う。この送受信部21は、検索支援装置10aから送られて来る検索キーとしての被写体の画像データ(D1)(又はメタデータ(d1)の位置情報)、及び、要求情報(i1)を受信する機能を有する。また、送受信部31は、検索サーバ30aから撮像装置10aに対して、検索結果としての物体の画像データを送信する機能も有する。
また、検索部32は、主に図2に示すCPU201及びROM202並びにRAM203に展開されているプログラムによって実行され、いわゆる検索エンジンである。記憶・読出処理部39は、主に図2に示すCPU201やROM202などによって実行され、記憶部3000に各種データを記憶したり、記憶部1000に記憶された各種データを読み出す処理を行う。
以上により、検索サーバ30aは、検索支援装置10aから送られて来る検索キーとしての被写体の画像データ(D1)(又はメタデータ(d1)の位置情報)、及び、要求情報(i1)を受信して検索を行い、この検索結果としての物体の画像データを、撮像装置10aに送信することができる。
なお、上記では、複数の図鑑系検索サーバが存在していると説明したが、これに限らず、一つの検索サーバで、上記各種図鑑をそれぞれ管理し検索できる複数の検索エンジンを有するようにし、検索エンジン選択部241によって、最適な検索エンジンを選択することができるようにしてもよい。
また、検索サーバ30bは、検索結果管理部3001で管理するデータが、図鑑系データではなくバーチャル地球儀のデータである点、及び検索部32が、バーチャル地球儀用の専用検索エンジンである点以外は、同様の構成を有してるため、その説明を省略する。
続いて、図7乃至図12を用いて、本実施形態の画像検索システムを利用した画像検索方法について説明する。図7は、本実施形態に係る画像検索システムを構成する各装置における処理及び各装置間の処理を示したシーケン図である。図8は、撮像装置における利用者からの要求受付処理を示した処理フロー図である。図9は、検索支援装置における検索エンジンの選択処理を示した処理フロー図である。
まず、図7に示されているように、撮像装置10aは、利用者からの要求を受け付ける(ステップS1)。この処理は、図8に詳細に示されている。図8に示されているように、まずは、撮像された被写体の画像データに対して縮小又は拡大の要求があったかを判断する(ステップS1−1)。要求があったと判断した場合には(YES)、被写体をキャプチャリングして、撮像を開始する(ステップS1−2)。また、撮像された画像データ(D1)と撮像の際に取得したメタデータ(d1)を関連付けて、記憶部1000に記憶する(ステップS1−3)。次に、画像に対して縮小又は拡大の要求があったかを判断する(ステップS1−4)。縮小又は拡大の要求があったと判断した場合には(YES)、更に、拡大又は縮小の限界を超えたかを判断する(ステップS1−5)。ここで、限界を超えたと判断した場合には(YES)、記憶部1000から、画像データ(D1)及び、関連付けられているメタデータ(d1)を読み出す(ステップS1−6)。一方、上記ステップS1−4にて、縮小又は拡大の要求がないと判断した場合には、更に、画像に対して過去又は未来の要求があったかを判断する(ステップS1−7)。そして、過去又は未来の要求があったと判断した場合には(YES)、上記ステップS1−6と同様の処理を行う。そして、読み出された画像データ(D1)、メタデータ(d1)、及び、利用者からの要求(縮小又は拡大の画像を欲しい、又は、過去若しくは未来の画像を欲しい)を示す要求情報(i1)を出力する(ステップ1−8)。
ここで、利用者による縮小又は拡大の物体の画像の要求の受付は、図10に示すように、撮像装置10aの表示部10a−3のタッチパネルに指を触れて、外側に広げると拡大すると判断し、狭めると縮小すると判断することで行われる。また、利用者による過去又は未来の物体の画像の要求の受付は、図11に示されているように、撮像装置10aの表示部10a−3のタッチパネルに指を触れて、右側に移動させると未来だと判断し、左側に移動させると過去だと判断することで行われる。
なお、上記ステップ1−7で、過去又は未来の要求がなかったと判断した場合には(NO)、画像データ(D1)、メタデータ(d1)、及び、要求情報(i1)を出力しない(ステップS1−9)。また、上記ステップS1−5で、縮小又は拡大の限界を超えていないと判断した場合にも(NO)、画像データ(D1)、メタデータ(d1)、及び、要求情報(i1)を出力しない(ステップS1−10)。
以上のようにして出力された画像データ(D1)、メタデータ(d1)、及び、要求情報(i1)は、検索支援装置20aに送られる(ステップS2)。これにより、検索支援装置20aは、検索エンジンの選択を行う(ステップS3)。この処理は、図9に詳細に示されている。図9に示されているように、まずは、要求情報(i1)で示される要求が、特定の要求かを判断する(ステップS3−1)。この特定の要求は、上記のごとく、被写体と撮像装置10aとの距離を遠ざけた場合に得られる画像データの要求である。ここで、特定の要求でないと判断した場合には(NO)、画像データ(D1)に対して画像認識の処理を行う(ステップS3−2)。そして、この画像認識により得た画像データに係る被写体の名称又はカテゴリに基づいて、検索エンジン管理部2001を検索して、対応する検索エンジン特定情報を読み出す(ステップS3−3)。そして、画像データ(D1)を検索キーとして出力する(ステップS3−4)。一方、上記ステップ3−1にて、特定の要求であると判断した場合には、予め定められている検索エンジンを有する検索サーバ30bを特定する(ステップS3−5)。そして、メタデータ(d1)の位置情報を検索キーとして出力する(ステップ3−6)。
次に、上記S3−4の処理を実行した場合には、図7に戻って、検索支援装置20aは検索サーバ30aに、検索キーとしての画像データ(D1)及び要求情報(i1)を送信する(ステップS4)。これにより、検索サーバ30aは、要求情報(i1)に係る要求に応じて、画像データ(D1)を検索キーとした画像検索を行う(ステップS5)。その後、検索サーバ30aは、撮像装置10aに対して検索結果としての物体の画像データを送信する(ステップS6)。これにより。撮像装置10aでは、検索結果としての物体の画像データをモニタ10a−3に表示させる(ステップS7)。
一方、図9における上記S3−6の処理を実行した場合には、図7に戻って、検索支援装置20aは検索サーバ30bに、検索キーとしてのメタデータ(d1)の位置情報、及び要求情報(i1)を送信する(ステップS4’)。これにより、検索サーバ30bは、要求情報(i1)に係る要求に応じて、位置情報を検索キーとした画像検索を行う(ステップS5’)。その後、検索サーバ30bは、撮像装置10aに対して検索結果としての物体の画像データを送信する(ステップS6)。これにより。撮像装置10aでは、検索結果としての物体の画像データをモニタ10a−3に表示させる(ステップS7)。
以上説明したように、利用者の要求に応じた被写体の過去若しくは未来の物体の画像、又は、被写体の縮小(被写体との距離を遠ざける要求を含む)又は拡大(被写体との距離を近づける画像、顕微鏡画像、又は化学式の画像を含む)の物体の画像は、図12に示されているような画像である。図12では、横軸のプラス方向を「未来」、横軸のマイナス方向を「過去」、縦軸のプラス方向を「縮小」、及び、縦軸のマイナス方向を「拡大」の要求があった物体の画像として示されている。例えば、現時点の被写体の画像(0,0)が「おやまじゃくし」の場合、この未来の画像(1,0)は、「蛙」の画像である。また、過去の画像(−1,0)は、「卵」である。一方、現位置の被写体の画像(0,0)の縮小が進むと、撮像位置を上空から見た画像(0,2)となり、更に縮小が進むと、衛星画像(0,3)、(0,4)となる。なお、衛星画像(0,4)から過去要求すると、古代の地球の姿を示した画像(−N,4)を要求することになる。また、現位置の被写体の画像(0,0)の拡大が進むと、顕微鏡画像(0,−2)となり、更に拡大が進むと、化学式を示した画像(0,−3)を要求することになる。
以上説明したように本実施形態によれば、撮像された被写体である物体が世の中に存在する様々なものであっても、この被写体の画像データに関連する物体の画像データを取得できるという効果を奏する。また、被写体に関連する物体の画像データを容易に取得できるという効果を奏する。
〔第2の実施形態〕
以下に、本発明の第2の実施形態について説明する。なお、本実施形態の撮像装置10bと第1の実施形態の撮像装置10aとでは、基本的に外観と利用者の操作入力部分が異なるだけで、検索支援装置20aや検索サーバ30a、30bとの通信方法、及び通信データは同様であるため、説明を省略し、撮像装置10bの外観の構成のみを説明する。
図13に示されているように、撮像装置10bは、ルーペ状の構成を有しており、本体10b−1と、本体上部に回転自在に設けられた回転入力部10b−2と、本体10b−1の側面に設けられた回転・押下入力部10b−4により構成されている。回転入力部10b−2には画像を表示するディスプレイ10b−6が設けられている。ディスプレイ10b−6には、第1の実施形態と同様の機能を有するオートフォーカス枠10b−7が表示され、利用者の指などによるタッチによってオートフォーカスとキャプチャリングを行う。また、回転入力部10b−2が矢印の右ネジが締まる方向に回されると画像の拡大が要求されたと判断し、矢印の右ネジが外れる方向に回されると画像の縮小が要求されたと判断する。また、回転・押下入力部10b−4が矢印の右ネジが締まる方向(時計の針を進める方向)に回されると未来の物体の画像が要求されたと判断し、矢印の右ネジが外れる方向(時計の針を戻す方向)に回されると過去の物体の画像が要求されたと判断する。
以上説明したように本実施形態によれば、過去、未来、縮小、拡大の要求入力が、人間工学的に合致したものとなるため、上記実施形態の効果に加え、撮像装置を使い易いという効果を奏する。
なお、上記各実施形態では、検索支援装置20aは、検索サーバと別体としたが、これに限らず、検索サーバ30a、30bの検索エンジンを搭載してもよい。また、検索支援装置20aは、単一のコンピュータによって構築されてもよいし、複数のコンピュータによって構築されてもよい。本発明では、検索支援装置20aが単一のコンピュータと、複数のコンピュータの両方の場合を含める意味、及び、上記のごとく、検索エンジンを搭載している場合及び搭載していない場合も含める意味で、検索支援システムとしている。