JP2017157220A

JP2017157220A - 撮像装置

Info

Publication number: JP2017157220A
Application number: JP2017057430A
Authority: JP
Inventors: 佐々木　智彦; Tomohiko Sasaki; 智彦佐々木
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2017-03-23
Filing date: 2017-03-23
Publication date: 2017-09-07

Abstract

【課題】撮像された被写体である物体が世の中に存在する様々なものであっても、この物体の画像データに関連する物体の画像データを取得できる発明を提供することを目的とする。【解決手段】撮像装置１０ａ単体で利用者からの要求に対応できるかを判断し、対応できないと判断された場合には、利用者からの要求を示す要求情報及び写体の画像データを、通信ネットワークを介して検索支援装置２０ａに送信する。これに応じて検索支援装置１０ａが検索サーバ２３ａに検索させ、この検索結果である物体の画像データを撮像装置１０ａで受信する。【選択図】図１

Description

本発明は、所定の被写体を撮像する撮像手段を有し、当該撮像手段によって撮像された被写体の画像データを通信ネットワークを介して検索支援システムに送信することで、前記被写体に関連する情報を取得する発明に関する。

展望台に設置されているカメラ付き望遠鏡等によって、現実に見える山など風景を大きく拡大して見る場合には、拡大率に限界がある。そのため、拡大率が限界に達してしまうと、それ以上拡大して見ることができない。即ち、拡大値が最大に達してしまった場合、使用者が「さらに詳しく見たい」と思っても、更に詳しい情報を得ることができなかった。そのため、従来、望遠鏡内に予め被写体（対象物）のコンピュータグラフィックス画像を記憶しておき、拡大率が限界に達した場合に、現実に見える対象物をコンピュータグラフィックス画像に切り換えることで、使用者の要求を満たすという発明が開示されている（特許文献１）。

しかしながら、特許文献１に記載の発明では、展望台に設置されている望遠鏡で見える風景は、ある程度決まっているため、望遠鏡内に記憶しておくコンピュータグラフィックス画像を用意することは比較的容易であるが、街中、野山等を歩いている際に見つけた対象物を撮影するような場合には、世の中の様々な物体のコンピュータグラフィックス画像を用意しておく必要があるため、現実的には不可能であるという問題が生じる。

本発明は、上記事情に鑑みてなされたもので、撮像された被写体である物体が世の中に存在する様々なものであっても、この物体の画像データに関連する物体の画像データを取得できる発明を提供することを目的とする。

本発明は、所定の被写体を撮像する撮像手段を有し、当該撮像手段によって撮像された被写体の画像データを通信ネットワークを介して検索支援システムに送信することで、前記被写体に関連する情報を取得する撮像装置であって、利用者から前記被写体に関連する物体の画像データの要求を受け付ける要求受付手段と、当該撮像装置単体で前記利用者からの要求に対応できるかを判断する対応判断手段と、対応できないと判断された場合には、前記利用者からの要求を示す要求情報及び前記撮像された被写体の画像データを、前記通信ネットワークを介して前記検索支援システムに送信する送信手段と、前記要求情報及び前記画像データの送信に基づいて取得した所定の物体の画像データに係る画像を所定の表示部に表示する表示手段と、を有することを特徴とする撮像装置である。

以上説明したように本発明によれば、撮像された被写体である物体が世の中に存在する様々なものであっても、この物体の画像データに関連する物体の画像データを取得できるという効果を奏する。

図１は、本発明の第１の実施形態に係る画像検索システムの概略図である。である。図２は、本発明の第１の実施形態に係る画像検索システムを構成する各装置のハードウェア構成図である。図３は、本発明の第１の実施形態に係る撮像装置の正面図である。図４は、本発明の第１の実施形態に係る画像検索システムを構成する各装置の機能ブロック図である。図５は、検索支援装置における画像認識部の詳細な機能ブロック図である。図６は、検索エンジン管理テーブルを示す概念図である。図７は、本発明の第１の実施形態に係る画像検索システムを構成する各装置における処理及び各装置間の処理を示したシーケン図である。図８は、撮像装置における利用者からの要求受付処理を示した処理フロー図である。図９は、検索支援装置における検索エンジンの選択処理を示した処理フロー図である。図１０は、撮像装置の操作例を示した図である。図１１は、撮像装置の操作性を示した図である。図１２は、撮像装置のディスプレイに表示される画面の遷移を示した図である。図１３は、本発明の第２の実施形態に係る撮像装置の斜視図である。

〔第１の実施形態〕
以下、図１乃至図１２を用いて、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る画像検索システムの概略図であり、まずは図１を用いて、本実施形態の概略を説明する。

図１に示す撮像装置１０ａは、所定の被写体を撮像するデジタルカメラ等の撮像機能を有しており、例えば、撮像装置１０ａの利用者が、街中、野山等で見つけた被写体を撮影することができる。そして、撮影された被写体の画像データを通信ネットワークを介して検索支援装置２０ａに送信する。検索支援装置２０ａは、被写体の名称やカテゴリに対応した図鑑系の検索エンジン等のＵＲＬを管理しており、撮像装置１０ａから送られて来た画像データに基づいて、最適な検索エンジンを選択する。検索支援装置２０ａでは、選択された検索エンジンを有する検索サーバ３０ａに対して、検索キーデータを送信することで、検索を開始させる。検索サーバ３０ａは、検索支援装置２０ａから送られて来た検索キーデータに基づいて検索を行い、検索結果である画像データを通信ネットワークを介して撮像装置１０ａに送る。これにより、例えば、被写体が「おたまじゃくし」の場合、撮像装置１０ａで撮像された「おたまじゃくし」の画像データを検索支援装置２０ａに送信すれば、検索支援装置２０ａが検索サーバ３０ａに「おたまじゃくし」の未来の画像を検索させ、検索サーバ３０ａは、「おたまじゃくし」の未来の生物としての「蛙」の画像データを検索結果として撮像装置１０ａに送信する。これにより、撮像装置１０ａでは、ディスプレイに「蛙」の画像を表示することができ、被写体である「おたまじゃくし」に関連する物体である「蛙」の画像データを容易に取得できる。このように、撮像装置１０ａの利用者は、被写体の将来等の物体の画像データを容易に取得することができるため、街中、野山等で珍しい生物等を見つけたような場合に、この生物は将来どのように変わって行くのだろうかと思う好奇心に迅速に応えることができる。

次に、図２乃至図１２を用いて、本発明の第１の実施形態を更に詳細に説明する。図２は、本実施形態に係る画像検索システムを構成する各装置のハードウェア構成図である。まず、図２に示されているように、本実施形態の画像検索システムは、撮像装置１０ａ、検索支援装置２０ａ、及び検索サーバ３０ａによって構築されている。検索支援装置２０ａと検索サーバ３０ａとは、インターネット２を介して通信することができる。撮像装置１０ａと検索支援装置２０ａ及び検索サーバ３０ａとは、インターネット２、ゲートウェイ３、携帯電話網４、及び基地局５によって構築される通信ネットワークを介して、通信することができる。

このうち、撮像装置１０ａは、撮像装置１０ａ全体の動作を制御するＣＰＵ(Central Processing Unit)１０１、基本入出力プログラムを記憶したＲＯＭ(Read Only Memory)１０２、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ(Random Access Memory)１０３、ＣＰＵ１０１の制御にしたがってデータの読み出し又は書き込みを行うＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）１０４、ＣＰＵ１０１の制御に従って被写体を撮像し画像データを得るＣＣＤ（Charge Coupled Device）１０５、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサー等の各種加速度・方位センサー１０６、フラッシュメモリ等の記録メディア１０７に対するデータの読み出し又は書き込み（記憶）を制御するメディアドライブ１０８を備えている。そして、メディアドライブ１０８の制御に従って、既に記録されていたデータが読み出され、又は新たにデータが書き込まれて記憶する記録メディア１０７が着脱自在な構成となっている。

なお、ＥＥＰＲＯＭ１０４には、ＣＰＵ１０１が実行するオペレーティングシステム（ＯＳ）、その他のプログラム、及び、種々データが記憶されている。ＣＣＤ１０５は、光を電荷に変換して被写体の画像を電子化する電荷結合素子であり、被写体を撮像するが、ＣＣＤに限らず。ＣＭＯＳ(Complementary Metal Oxide Semiconductor)を用いてもよい。

更に、撮像装置１０ａは、音声を音声信号に変換する音声入力部１１１、音声信号を音声に変換する音声出力部１１２、アンテナ１１３ａ、このアンテナ１１３ａを利用して無線通信信号により、最寄の基地局５と通信を行う通信部１１３、ＧＰＳ（Global Positioning Systems）衛星から撮像装置１０ａの位置情報（緯度、経度、および高度）を含んだＧＰＳ信号を受信するＧＰＳ受信部１１４、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬなどのディスプレイ１１５、このディスプレイ１１５上に載せられ、感圧式又は静電式のパネルによって構成され、指やタッチペン等によるタッチによってディスプレイ１１５上におけるタッチ位置を検出するタッチパネル１１６、及び、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン１１０を備えている。

なお、音声入力部１１１は、音声を入力するマイクが含まれ、音声出力部１１２には、音声を出力するスピーカが含まれている。また、基地局５は、携帯電話網４と通信を行い、携帯電話網４は、ゲートウェイ３を介してインターネット２と通信を行い、インターネット２は、検索支援装置２０ａや検索サーバ３０ａと通信を行う。これにより、撮像装置１０ａは、検索支援装置２０ａや検索サーバ３０ａと通信することが可能となる。ここで、通信部１１３で送受信される無線通信信号は、音声データ、文字データ、画像データ等が含まれる信号である。

一方、検索支援装置２０ａは、検索支援装置２０ａ全体の動作を制御するＣＰＵ２０１、基本入出力プログラムを記憶したＲＯＭ２０２、ＣＰＵ２０１のワークエリアとして使用されるＲＡＭ２０３、ＣＰＵ２０１の制御にしたがってＨＤ(Hard Disk)２０５に対するデータの読み出し又は書き込みを制御するＨＤＤ(Hard Disk Drive)２０４、ＨＤＤ２０４の制御に従って書き込まれたデータを記憶するＨＤ２０５、ＣＰＵ２０１の制御に従ってＦＤ(Flexible Disk)２０７に対するデータの読み出し又は書き込み（記憶）を制御するＦＤＤ(Flexible Disk Drive)２０６を備えている。そして、ＦＤＤ２０６の制御に従って、既に記憶していたデータが読み出され、又は新たにデータが書き込まれて記憶する記録媒体の一例としてのＦＤ２０７が着脱自在な構成となっている。

更に、検索支援装置２０ａは、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する液晶、有機ＥＬ、ＣＲＴ（Cathode-ray Tube）等のディスプレイ２０８、不図示のＬＡＮやインターネット２を利用してデータ伝送をするための通信インターフェース部２０９を備えている。更に、検索支援装置２０ａは、文字、数値、各種指示などの入力のための複数のキーを備えたキーボード２１１、各種指示の選択や実行、処理対象の選択、カーソルの移動などをおこなうマウス２１２、着脱可能な記録媒体の一例としてのＣＤ−ＲＯＭ２１３に対するデータの読み出し又は書き込みを制御するＣＤ−ＲＯＭドライブ２１４、及び、上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン２１０を備えている。なお、ＲＡＭ２０３に記憶されているプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＦＤ、ＣＤ−Ｒ(Compact Disc Recordable)、ＤＶＤ(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。なお、検索サーバ３０ａは、検索支援装置２０ａと同様なハードウェア構成を有するため、同一の構成要素（各部）には、同一の符号を付して、その説明を省略する。

次に、図３を用いて、本実施形態の画像検索システムを構築する各装置の機能を説明する。図３は、本実施形態の画像検索システムを構成する各装置の機能ブロック図である。

まず、撮像装置１０ａは、送受信部１１、要求受付部１２、撮像部１３、表示部１４、対応判断部１５、撮像状況検知部１６、及び、記憶・読出処理部１９を有し、これら各部は、図２に示すＣＰＵ１０１がＲＯＭ１０２に記憶されているプログラムに従って動作することにより実現される機能又は手段である。また、撮像装置１０ａは、図２に示すＥＥＰＲＯＭ１０４により構築される記憶部１０００を有している。

このうち、送受信部１１は、主に図２に示す通信部１１３によって実行され、アンテナ１１３ａを介して最寄の基地局５と無線通信信号（各種データ・情報を含む）の送受信を行う。要求受付部１２は、主に図２に示す音声入力部１１１やタッチパネル１１６によって実行され、利用者（操作者）から、被写体の未来や過去を示す物体の画像データ、又は被写体の拡大や縮小された画像データ等の要求を受け付け、要求情報を作成する。なお、被写体が拡大された画像としては、被写体そのものを拡大して見る場合の拡大画像だけでなく、被写体と撮像装置１０ａとの距離を近くすることで、あたかも顕微鏡で被写体を見るような場合の拡大画像も含まれる。また、被写体が縮小された画像としては、被写体そのものを縮小して見る場合の縮小画像だけでなく、被写体と撮像装置１０ａとの距離を遠ざけることで、あたかも飛行機や衛星から見るような場合の縮小画像も含まれる。

また、撮像部１３は、主に図２に示すＣＣＤ１０５によって実行され、被写体を撮像して画像データを得る。表示部１４は、主に図２に示すディスプレイ１１５によって実行され、利用者から受け付けた要求を示す要求情報、図３に示す被写体等の画像データに係る画像やオートフォーカス枠等を表示する。対応判断部１５は、主に図２に示すＣＰＵ１０１及びＲＯＭ１０２並びにＲＡＭ１０３に展開されているプログラムによって実行され、要求受付部１２で受け付けた利用者からの要求が、撮像装置１０ａ単体で対応できるかを判断する。

また、撮像状況検知部１６は、主に図２に示すＧＰＳ受信部１１４や加速度・方位センサー１０６などによって実行され、撮像部１３によって被写体が撮像される際の状況を検知し、この検知結果を含めたメタデータを作成する。この撮像の状況の例として、撮像装置１０ａの地球上における位置や移動加速、撮像部１３が向いている角度や方位、撮像時間（年、月、日、時間）等が挙げられ、これらが示される各情報がメタデータに含まれる。記憶・読出処理部１９は、主に図２に示すＣＰＵ１０１やＲＯＭ１０２などによって実行され、記憶部１０００に各種データを記憶したり、記憶部１０００に記憶された各種データを読み出す処理を行う。

また、記憶部１０００には、被写体の画像データが、この被写体が撮影された際に作成されたメタデータと関連付けて記憶される。また、検索サーバから送られてくる画像データ、それ以外の画像データ、及び音声データ等も記憶することは可能である。

以上より、撮像装置１０ａは、検索支援装置２０ａに対して、撮像部１３によって撮像され記憶部１０００に記憶されている被写体の画像データ（Ｄ１）、要求受付部１２によって利用者から受け付けた要求を示す要求情報（ｉ１）、及び、撮像状況検知部で作成され記憶部１０００に記憶されたメタデータ（ｄ１）を送信することができる。また、撮像装置１０ａは、検索支援装置２０ａから送られてくる検索結果としての被写体に関連する物体の画像データ（Ｄ２）を受信することができる。

なお、図３に撮像装置３の正面図を示す。図３に示されているように、撮像装置１０ａは、本体１０ａ−１、本体に設けられた「メニュー画面表示ボタン」１０ａ−２、本体に設けられた表示部１０ａ−３、本体に設けられたスピーカ１０ａ−５を備えている。このうち、「メニュー画面表示ボタン」１０ａ−２は、アプリケーションを示すアイコンが表示されているメニュー画面を表示させるためのボタンである。また、表示部１０ａ−３には、被写体を撮影する際の撮影ボタン１０ａ−４、被写体１０ａ−６に対してオートフォーカス及びキャプチャリングを指示する際に利用者から押下されるオートフォーカス枠１０ａ−７が表示されている。

次に、検索支援装置２０ａの各種機能について説明する。検索支援装置２０ａは、図４に示されているように、送受信部２１、特定要求判断部２２、画像認識部２３、検索エンジン選択部２４、及び、記憶・読出処理部２９を有し、これら各部は、図２に示すＣＰＵ２０１がＲＯＭ２０２に記憶されているプログラムに従って動作することにより実現される機能又は手段である。また、検索支援装置２０ａは、図２に示すＨＤ２０５により構築される記憶部２０００を有している。この記憶部２０００には、図６に示されているような検索エンジン管理テーブルによって構成されている検索エンジン管理部２００１と、画像認識部２３が画像認識する際に用いる後述の識別辞書ファイル管理部２００２とが構築されている。上記検索エンジン管理テーブルは、図６に示されているように、所定の被写体の名称又はカテゴリと、これら名称又はカテゴリ毎に使い分ける検索サーバ（検索エンジン）をそれぞれ特定するための検索エンジン特定情報とを関連付けて記憶する。ここでは、検索エンジン特定情報として、検索エンジンのＵＲＬを示しているが、これに限らず、検索エンジンを特定するための固有の識別子であってもよい。この場合には、別途、検索エンジンの識別子と検索エンジンのＵＲＬとを関連付けたテーブルが必要となり、この場合も、検索エンジン管理部２００１を構成することになる。

また、上記送受信部２１は、主に図２に示す通信インターフェース部２０３によって実行され、インターネット２と各種データの送受信を行う。この送受信部２１は、撮像装置１０ａから送られて来る被写体の画像データ（Ｄ１）、要求情報（ｉ１）、及び、メタデータ（ｄ１）を受信する。また、送受信部２１は、検索支援装置２０ａから検索サーバ３０ａ（図７に示す検索サーバ３０ｂの場合もある）に対して、画像データ（Ｄ１）を検索キーとし、要求情報（ｉ１）に係る要求に対応した検索を開始させるための通信を行う検索開始部としての機能も有する。また、この検索開始部は、検索キーを画像データ（Ｄ１）ではなくメタデータ（ｄ１）に含まれる位置情報にすると共に、前記状況情報（ｉ１）に対応した検索を開始させるための通信を行うこともできる。

また、特定要件判断部２２は、主に図２に示すＣＰＵ２０１及びＲＯＭ２０２並びにＲＡＭ２０３に展開されているプログラムによって実行され、送受信部２１が撮像装置１０ａから受信した要求情報（ｉ１）に係る要求が、予め定められた特定の要求であるかを判断する。この特定の要求は、例えば、被写体と撮像装置１０ａとの距離を遠ざけることで、あたかも飛行機や衛星から見るような場合の縮小画像の要求である。即ち、利用者の要求が、図鑑用検索エンジンによる検索では対応できず、世界中の衛星写真によって構築されたバーチャル地球儀を提供する検索エンジンでなければ対応できないような場合には、特定の検索エンジンに検索させる必要があるため、この特定の検索エンジンを使用するかを判断する必要がある。

また、画像認識部２３は、主に図２に示すＣＰＵ２０１及びＲＯＭ２０２並びにＲＡＭ２０３に展開されているプログラムによって実行され、送受信部２１で受信された画像データに対して画像認識の処理を行い、この画像データに係る被写体の名称又はカテゴリを出力する。ここで、図５を用いて、画像認識部２３を更に詳細に説明する。なお、図５は、画像認識部２３の詳細な機能ブロック図である。

図５に示されているように、画像認識部２３は、画像入力部２３１、濃度変換部２３２、位置正規化処理部２３３、特徴パターン抽出部２３４、照合処理部２３５、及び、判定処理部２３６を有している。

このうち、画像入力部２３１は、特定要求判断部２２から送られてくる被写体の画像データを以後の処理にあった形式のディジタル画像データに変換し、濃度変換部２３２に送る機能又は手段を有する。濃度変換部２３２は、被写体の画像データに対して輝度値の補正（照度値の正規化）などの濃度変換処理を施した後、位置正規化処理部２３３に送る機能又は手段を有する。位置正規化処理部２３３は、画像データ中から照合の対象となる日被写体の形状パターンの位置、傾き、及び大きさの正規化を行ない、照合処理の対象となる被写体の正規化パターンを切り出して特徴パターン抽出手部２３４へ送る機能又は手段を有する。ここで位置正規化処理部２３３の構成としては、例えば、特願平２−２１９６７５に示されている実施例を用いることができる。

続いて、特徴パターン抽出部２３４は、位置正規化処理部２３３から送られる被写体の正規化パターンに対して、照合時に標準パターンとの照合を行なう特徴パターンを抽出して、照合処理部２３５へ送る機能又は手段を有する。なお、記憶部２０００には、予め識別対象物の標準的な画像について上述した画像入力部２３１から特徴パターン抽出部２３４までと同等の処理を行なって求めた標準パターンが管理されている識別辞書ファイル管理部が構築されている。

また、照合処理部２３５は、被写体の画像データについて特徴パターン抽出部２３４で求めた特徴パターンと、記憶・読出処理部２９を介して得た識別辞書ファイル管理部２００２で管理されている動物、昆虫等の標準パターンとの間に類似性尺度を数値化し、この結果を判定処理部２３６へ送る機能又は手段を有する。照合処理については、特徴ベクトルの最小距離識別の例に代表される統計的識別関数による方法、又は、ニューラルネットによる学習を応用する方法などが挙げられる。判定処理部２３６は、照合処理部２３５で計算された入力パターンと各識別対象物の標準パターンとの間の類似性尺度のデータ群に対して、実現しようとする識別機能の形態に即して、適当な値による閾値処理などによる判定処理を行ない、その結果得られる識別結果を検索エンジン選択部２４に出力する機能又は手段を有する。

次に、図４に戻って、検索エンジン選択部２４は、画像認識部２３の画像認識により得られた画像データ（Ｄ１）に係る被写体の名称又はカテゴリに基づいて、記憶部２０００に構築されている検索エンジン管理部２００１を検索して、対応する検索エンジン特定情報を読み出す検索エンジン検索部２４１を有している。検索エンジン選択部２４は、検索エンジン検索部２４１によって読み出された検索結果としての検索エンジン特定情報に基づいて、画像データ（Ｄ１）又はメタデータ（ｄ１）の位置情報を検索キーとして検索させる検索エンジンを有する検索サーバを選択する。

また、記憶・読出処理部２９は、主に図２に示すＣＰＵ２０１やＲＯＭ２０２などによって実行され、記憶部２０００に各種データを記憶したり、記憶部１０００に記憶された各種データを読み出す処理を行う。

以上により、検索支援装置２０ａは、撮像装置１０ａから送られて来る画像データ（Ｄ１）、要求情報（ｉ１）、及び、メタデータ（ｄ１）を送信することができる。また、検索支援装置２０ａは、検索エンジン選択部２４によって選択された検索エンジンを有する検索サーバに対して、検索キーとしての画像データ（Ｄ１）又はメタデータ（ｄ１）の位置情報を、要求情報（ｉ１）に係る要求に対応した検索を開始させることができる。

次に、検索サーバ３０ａの機能について説明する。ここでは、例えば、検索サーバ３０ａは、動物図鑑、昆虫図鑑、両生類図鑑、建物図鑑、乗物図鑑等の各種図鑑をそれぞれ管理している複数の検索サーバのうちの一つである。ここでは、その一例として、両生類図鑑を管理し検索することができる検索サーバを示している。これら複数の検索サーバは、検索支援装置２０における検索エンジン選択部２４１によって選択される。また、図６に示す検索エンジン管理テーブルのカテゴリは、各種検索サーバに対応している。なお、図７に示す検索サーバ３０ｂは、図鑑系の検索サーバとは異なり、世界中の衛星写真から構成されたバーチャル地球儀における所定の視点位置からの画像を検索することができる検索エンジンを有する検索サーバである。

また、検索サーバ３０ａは、図４に示されているように、送受信部３１、検索部３２、及び、記憶・読出処理部３９を有し、これら各部は、図２に示すＣＰＵ２０１がＲＯＭ２０２に記憶されているプログラムに従って動作することにより実現される機能又は手段である。また、検索サーバ３０ａは、図２に示すＨＤ２０５により構築される記憶部３０００を有している。この記憶部３０００には、検索結果としての図鑑による物体の画像データが管理されている。例えば、両生類図鑑の場合には、おたまじゃくしの卵（おたまじゃくしの過去の物体）、おたまじゃく、蛙（おたまじゃくしの未来の物体）といったように、おたまじゃくしが時間的変移することにより成り得る物体の画像データが関連付けられて、時間的変移した物体であると認識できるように管理されている。

また、上記送受信部３１は、主に図２に示す通信インターフェース部２０３によって実行され、インターネット２と各種データの送受信を行う。この送受信部２１は、検索支援装置１０ａから送られて来る検索キーとしての被写体の画像データ（Ｄ１）（又はメタデータ（ｄ１）の位置情報）、及び、要求情報（ｉ１）を受信する機能を有する。また、送受信部３１は、検索サーバ３０ａから撮像装置１０ａに対して、検索結果としての物体の画像データを送信する機能も有する。

また、検索部３２は、主に図２に示すＣＰＵ２０１及びＲＯＭ２０２並びにＲＡＭ２０３に展開されているプログラムによって実行され、いわゆる検索エンジンである。記憶・読出処理部３９は、主に図２に示すＣＰＵ２０１やＲＯＭ２０２などによって実行され、記憶部３０００に各種データを記憶したり、記憶部１０００に記憶された各種データを読み出す処理を行う。

以上により、検索サーバ３０ａは、検索支援装置１０ａから送られて来る検索キーとしての被写体の画像データ（Ｄ１）（又はメタデータ（ｄ１）の位置情報）、及び、要求情報（ｉ１）を受信して検索を行い、この検索結果としての物体の画像データを、撮像装置１０ａに送信することができる。

なお、上記では、複数の図鑑系検索サーバが存在していると説明したが、これに限らず、一つの検索サーバで、上記各種図鑑をそれぞれ管理し検索できる複数の検索エンジンを有するようにし、検索エンジン選択部２４１によって、最適な検索エンジンを選択することができるようにしてもよい。

また、検索サーバ３０ｂは、検索結果管理部３００１で管理するデータが、図鑑系データではなくバーチャル地球儀のデータである点、及び検索部３２が、バーチャル地球儀用の専用検索エンジンである点以外は、同様の構成を有してるため、その説明を省略する。

続いて、図７乃至図１２を用いて、本実施形態の画像検索システムを利用した画像検索方法について説明する。図７は、本実施形態に係る画像検索システムを構成する各装置における処理及び各装置間の処理を示したシーケン図である。図８は、撮像装置における利用者からの要求受付処理を示した処理フロー図である。図９は、検索支援装置における検索エンジンの選択処理を示した処理フロー図である。

まず、図７に示されているように、撮像装置１０ａは、利用者からの要求を受け付ける（ステップＳ１）。この処理は、図８に詳細に示されている。図８に示されているように、まずは、撮像された被写体の画像データに対して縮小又は拡大の要求があったかを判断する（ステップＳ１−１）。要求があったと判断した場合には（ＹＥＳ）、被写体をキャプチャリングして、撮像を開始する（ステップＳ１−２）。また、撮像された画像データ（Ｄ１）と撮像の際に取得したメタデータ（ｄ１）を関連付けて、記憶部１０００に記憶する（ステップＳ１−３）。次に、画像に対して縮小又は拡大の要求があったかを判断する（ステップＳ１−４）。縮小又は拡大の要求があったと判断した場合には（ＹＥＳ）、更に、拡大又は縮小の限界を超えたかを判断する（ステップＳ１−５）。ここで、限界を超えたと判断した場合には（ＹＥＳ）、記憶部１０００から、画像データ（Ｄ１）及び、関連付けられているメタデータ（ｄ１）を読み出す（ステップＳ１−６）。一方、上記ステップＳ１−４にて、縮小又は拡大の要求がないと判断した場合には、更に、画像に対して過去又は未来の要求があったかを判断する（ステップＳ１−７）。そして、過去又は未来の要求があったと判断した場合には（ＹＥＳ）、上記ステップＳ１−６と同様の処理を行う。そして、読み出された画像データ（Ｄ１）、メタデータ（ｄ１）、及び、利用者からの要求（縮小又は拡大の画像を欲しい、又は、過去若しくは未来の画像を欲しい）を示す要求情報（ｉ１）を出力する（ステップ１−８）。

ここで、利用者による縮小又は拡大の物体の画像の要求の受付は、図１０に示すように、撮像装置１０ａの表示部１０ａ−３のタッチパネルに指を触れて、外側に広げると拡大すると判断し、狭めると縮小すると判断することで行われる。また、利用者による過去又は未来の物体の画像の要求の受付は、図１１に示されているように、撮像装置１０ａの表示部１０ａ−３のタッチパネルに指を触れて、右側に移動させると未来だと判断し、左側に移動させると過去だと判断することで行われる。

なお、上記ステップ１−７で、過去又は未来の要求がなかったと判断した場合には（ＮＯ）、画像データ（Ｄ１）、メタデータ（ｄ１）、及び、要求情報（ｉ１）を出力しない（ステップＳ１−９）。また、上記ステップＳ１−５で、縮小又は拡大の限界を超えていないと判断した場合にも（ＮＯ）、画像データ（Ｄ１）、メタデータ（ｄ１）、及び、要求情報（ｉ１）を出力しない（ステップＳ１−１０）。

以上のようにして出力された画像データ（Ｄ１）、メタデータ（ｄ１）、及び、要求情報（ｉ１）は、検索支援装置２０ａに送られる（ステップＳ２）。これにより、検索支援装置２０ａは、検索エンジンの選択を行う（ステップＳ３）。この処理は、図９に詳細に示されている。図９に示されているように、まずは、要求情報（ｉ１）で示される要求が、特定の要求かを判断する（ステップＳ３−１）。この特定の要求は、上記のごとく、被写体と撮像装置１０ａとの距離を遠ざけた場合に得られる画像データの要求である。ここで、特定の要求でないと判断した場合には（ＮＯ）、画像データ（Ｄ１）に対して画像認識の処理を行う（ステップＳ３−２）。そして、この画像認識により得た画像データに係る被写体の名称又はカテゴリに基づいて、検索エンジン管理部２００１を検索して、対応する検索エンジン特定情報を読み出す（ステップＳ３−３）。そして、画像データ（Ｄ１）を検索キーとして出力する（ステップＳ３−４）。一方、上記ステップ３−１にて、特定の要求であると判断した場合には、予め定められている検索エンジンを有する検索サーバ３０ｂを特定する（ステップＳ３−５）。そして、メタデータ（ｄ１）の位置情報を検索キーとして出力する（ステップ３−６）。

次に、上記Ｓ３−４の処理を実行した場合には、図７に戻って、検索支援装置２０ａは検索サーバ３０ａに、検索キーとしての画像データ（Ｄ１）及び要求情報（ｉ１）を送信する（ステップＳ４）。これにより、検索サーバ３０ａは、要求情報（ｉ１）に係る要求に応じて、画像データ（Ｄ１）を検索キーとした画像検索を行う（ステップＳ５）。その後、検索サーバ３０ａは、撮像装置１０ａに対して検索結果としての物体の画像データを送信する（ステップＳ６）。これにより。撮像装置１０ａでは、検索結果としての物体の画像データをモニタ１０ａ−３に表示させる（ステップＳ７）。

一方、図９における上記Ｓ３−６の処理を実行した場合には、図７に戻って、検索支援装置２０ａは検索サーバ３０ｂに、検索キーとしてのメタデータ（ｄ１）の位置情報、及び要求情報（ｉ１）を送信する（ステップＳ４’）。これにより、検索サーバ３０ｂは、要求情報（ｉ１）に係る要求に応じて、位置情報を検索キーとした画像検索を行う（ステップＳ５’）。その後、検索サーバ３０ｂは、撮像装置１０ａに対して検索結果としての物体の画像データを送信する（ステップＳ６）。これにより。撮像装置１０ａでは、検索結果としての物体の画像データをモニタ１０ａ−３に表示させる（ステップＳ７）。

以上説明したように、利用者の要求に応じた被写体の過去若しくは未来の物体の画像、又は、被写体の縮小（被写体との距離を遠ざける要求を含む）又は拡大（被写体との距離を近づける画像、顕微鏡画像、又は化学式の画像を含む）の物体の画像は、図１２に示されているような画像である。図１２では、横軸のプラス方向を「未来」、横軸のマイナス方向を「過去」、縦軸のプラス方向を「縮小」、及び、縦軸のマイナス方向を「拡大」の要求があった物体の画像として示されている。例えば、現時点の被写体の画像（０，０）が「おやまじゃくし」の場合、この未来の画像（１，０）は、「蛙」の画像である。また、過去の画像（−１，０）は、「卵」である。一方、現位置の被写体の画像（０，０）の縮小が進むと、撮像位置を上空から見た画像（０，２）となり、更に縮小が進むと、衛星画像（０，３）、（０，４）となる。なお、衛星画像（０，４）から過去要求すると、古代の地球の姿を示した画像（−Ｎ，４）を要求することになる。また、現位置の被写体の画像（０，０）の拡大が進むと、顕微鏡画像（０，−２）となり、更に拡大が進むと、化学式を示した画像（０，−３）を要求することになる。

以上説明したように本実施形態によれば、撮像された被写体である物体が世の中に存在する様々なものであっても、この被写体の画像データに関連する物体の画像データを取得できるという効果を奏する。また、被写体に関連する物体の画像データを容易に取得できるという効果を奏する。

〔第２の実施形態〕
以下に、本発明の第２の実施形態について説明する。なお、本実施形態の撮像装置１０ｂと第１の実施形態の撮像装置１０ａとでは、基本的に外観と利用者の操作入力部分が異なるだけで、検索支援装置２０ａや検索サーバ３０ａ、３０ｂとの通信方法、及び通信データは同様であるため、説明を省略し、撮像装置１０ｂの外観の構成のみを説明する。

図１３に示されているように、撮像装置１０ｂは、ルーペ状の構成を有しており、本体１０ｂ−１と、本体上部に回転自在に設けられた回転入力部１０ｂ−２と、本体１０ｂ−１の側面に設けられた回転・押下入力部１０ｂ−４により構成されている。回転入力部１０ｂ−２には画像を表示するディスプレイ１０ｂ−６が設けられている。ディスプレイ１０ｂ−６には、第１の実施形態と同様の機能を有するオートフォーカス枠１０ｂ−７が表示され、利用者の指などによるタッチによってオートフォーカスとキャプチャリングを行う。また、回転入力部１０ｂ−２が矢印の右ネジが締まる方向に回されると画像の拡大が要求されたと判断し、矢印の右ネジが外れる方向に回されると画像の縮小が要求されたと判断する。また、回転・押下入力部１０ｂ−４が矢印の右ネジが締まる方向（時計の針を進める方向）に回されると未来の物体の画像が要求されたと判断し、矢印の右ネジが外れる方向（時計の針を戻す方向）に回されると過去の物体の画像が要求されたと判断する。

以上説明したように本実施形態によれば、過去、未来、縮小、拡大の要求入力が、人間工学的に合致したものとなるため、上記実施形態の効果に加え、撮像装置を使い易いという効果を奏する。

なお、上記各実施形態では、検索支援装置２０ａは、検索サーバと別体としたが、これに限らず、検索サーバ３０ａ、３０ｂの検索エンジンを搭載してもよい。また、検索支援装置２０ａは、単一のコンピュータによって構築されてもよいし、複数のコンピュータによって構築されてもよい。本発明では、検索支援装置２０ａが単一のコンピュータと、複数のコンピュータの両方の場合を含める意味、及び、上記のごとく、検索エンジンを搭載している場合及び搭載していない場合も含める意味で、検索支援システムとしている。

１０ａ撮像装置
１０ｂ撮像装置
１１送受信部
１２要求受付部
１３撮像部
１４表示部
１５対応判断部
１６撮像状況検知部
２０ａ検索支援装置２０ａ（検索支援システムの一例）
３０ａ検索サーバ
３０ｂ検索サーバ
２１送受信部
２２特定要求判断部
２３画像認識部
２４検索エンジン選択部
２４１検索エンジン検索部

特開２００３−１４３４７８号公報

Claims

所定の被写体を撮像する撮像手段を有し、当該撮像手段によって撮像された被写体の画像データを通信ネットワークを介して検索支援システムに送信することで、前記被写体に関連する情報を取得する撮像装置であって、
利用者から前記被写体に関連する物体の画像データの要求を受け付ける要求受付手段と、
当該撮像装置単体で前記利用者からの要求に対応できるかを判断する対応判断手段と、
対応できないと判断された場合には、前記利用者からの要求を示す要求情報及び前記撮像された被写体の画像データを、前記通信ネットワークを介して前記検索支援システムに送信する送信手段と、
前記要求情報及び前記画像データの送信に基づいて取得した所定の物体の画像データに係る画像を所定の表示部に表示する表示手段と、
を有することを特徴とする撮像装置。
前記要求情報は、前記被写体と前記撮像装置との距離が変更された状況で前記撮像手段により撮像し得る物体の画像データを要求するための情報であることを特徴とする請求項１に記載の撮像装置。
前記要求情報は、前記被写体が時間的変移することにより成り得る物体の画像データを要求するための情報であることを特徴とする請求項１に記載の撮像装置。
請求項１乃至３のいずれか一項に記載の撮像装置であって、更に、
前記撮像手段による撮像の状況を検知する状況検知手段を有し、
前記送信手段は、前記検知された撮像の状況を示すメタデータを前記検索支援システムに送信することを特徴とする撮像装置。