JP2010205121A - 情報処理装置および携帯端末 - Google Patents

Abstract

【課題】撮影画像に基づいて物体の関連情報を得る際に、撮影画像中の目的の物体の特定を容易にするとともに、当該物体の検索時の通信負荷を低減する。
【解決手段】カメラにより得られた画像中の物体を含む領域を抽出する。表示画面３００上にその画像を表示するとともに前記抽出された領域を矩形枠３１２で識別して表示する。ユーザによる領域の指定を受けて、その領域に該当する物体の特徴点データを抽出する。さらに、この特徴点データに基づいて、情報データベースの検索を行い、当該物体の関連情報を取得する。得られた検索結果を当該画像に対してポップアップメッセージ３１５として表示する。
【選択図】図９

Description

本発明は、通信機能およびカメラ撮影機能を有する情報処理装置および携帯端末に関し、特にこれらを用いた学習システムに関する。

実世界での物体の情報、例えば物の名前、属性、あるいはその物に関連した情報を知りたい場合がある。

このような場合、バーコード、ＱＲコード（登録商標）のような種々のコードを利用することが考えられる。このような一意なコードを物体に割り当てておくことにより、その物体の情報をコードに基づいて得ることができる。

しかし、このようなコードから認識できるのは、予め定められ、予め割り当てられた物体についての情報のみである。すなわち、情報を得るのは物体そのものからではなく、当該コードからなので、コードが付与されていない物体については、その情報を得ることができない。

テキスト情報の詳細を得るために実世界におけるテキストを解釈したり、それを他の言語に翻訳したりする技術として、テキスト認識技術が知られている。しかし、この技術はテキストに関する場合のみに適用されるものである。

特許文献１には、物体（植物、昆虫等）の名前、属性、特徴、飼育方法などを知りたいときに、携帯電話機に付属したカメラでその物体を撮影し、その画像と欲しい情報の内容をインターネットを介して検索用サーバにリクエストし、サーバ側からユーザが入力した質問事項に対して希望する情報を提供するシステムが開示されている。

特開２００３−１３２０６２号公報

David G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints", Accepted for publication in the International Journal of Computer Vision, 2004, Computer Science Department, University of British Columbia, Vancouver, B. C., Canada, January 5, 2004

上記特許文献１に記載の技術によれば、カメラ付き携帯電話機のカメラの利用により、携帯電話機を介して物体の名称や属性等を知ることが可能となる。

しかしながら、この技術では、撮影画像中には目的の物体だけでなく他の物体も同時に含まれる場合があり、サーバ側で目的の物体の識別が困難な場合がありうる。

また、撮影した画像の全体を画像データとしてサーバに送信するので、送信対象のデータサイズが大きく、通信所要時間や通信料金が過大となるおそれがある。

本発明はこのような背景においてなされたものであり、撮影画像に基づいて物体の関連情報を得る際に、撮影画像中の目的の物体の特定を容易にするとともに、当該物体の検索時の通信負荷を低減しようとするものである。

本発明による情報処理装置は、撮像手段により得られた画像を保存する画像保存手段と、前記画像中の物体を含む領域を抽出する領域抽出手段とを備える。また、表示画面上に前記画像を表示するとともに前記抽出された領域を識別して表示する表示手段と、ユーザによる領域の指定を受ける入力手段とを備える。さらに、ユーザにより指定された領域に該当する物体の特徴点データを抽出し、この特徴点データに基づいて、情報データベースの検索を行い、当該物体の関連情報を取得する検索手段とを備える。前記表示手段は、前記検索手段により得られた検索結果を表示する。

入力手段を用いたユーザによる「領域の指定」には、複数の領域が抽出された場合にいずれか一つの領域を指定することを含む。また、「領域の指定」には抽出された領域のサイズや位置を変更することをも含みうる。

前記情報データベースは通信ネットワークを介してアクセス可能なサーバ内に設けることができる。この場合、前記検索手段は当該サーバに対して前記特徴点データとともに検索要求を送信する。これに代えて、または、これに加えて、前記情報データベースは携帯端末内に設けることもできる。

本発明の携帯端末は上記の構成に加えて撮像手段をさらに備える。

本発明によれば、カメラの撮影により得られた画像の全体をそのまま利用するのではなく、物体の存在する領域を抽出した上で、ユーザによる領域の指定を受けるので、目的の物体の特定が確実になる。検索に用いる画像は、画像全体ではなくその一部の領域の画像なので、処理負荷が軽減される。また、検索に用いる画像をサーバに送信する場合には、画像データそのものではなく、画像データから抽出した物体の特徴点データを送信するので、通信負荷を軽減することができる。

本発明の実施の形態における携帯端末のハードウェア構成を示した図である。 本発明の実施の形態における学習システムのソフトウェア構成を示した図である。 図２内に示した情報ＤＢの構成を模式的にテーブル形式で示した図である。 図２内に示した取得画像記憶部およびローカル情報ＤＢの内容例を模式的にテーブル形式で示した図である。 本発明の実施の形態における表示画面の表示例を示した図である。 本発明の実施の形態における画像の領域を識別表示する矩形枠の説明図である。 図６の画面における物体を特定する方法の説明図である。 図７に示した矩形枠の領域のサイズや位置をユーザが変更する場合の説明図である。 図８の表示例において物体情報をポップアップメッセージとして表示した例の説明図である。 本発明の実施の形態における「私のアルバム」の説明図である。 図１０の画面に続く画面の説明図である。 本発明の実施の形態における「私の辞書」の説明図である。 本発明の実施の形態の学習システムにおける典型的な使用態様の処理の手順を示したフローチャートである。

以下、本発明の好適な実施の形態について図面を参照しながら詳細に説明する。ここでは情報処理装置として携帯端末を例として挙げる。

図１は、本実施の形態における携帯端末１００のハードウェア構成を示している。携帯端末１００としては、広く普及している携帯電話端末を利用してもよいし、学習システム専用の端末装置として構成してもよい。

携帯端末１００は、カメラ１０１、メモリ１０２、ＣＰＵ１０３、画像処理部１０４、表示部１０５、領域選択・入力部１０６、およびネットワーク接続部１０７を備えている。

カメラ１０１は、物体の画像を取得（撮像）するためのＣＭＯＳやＣＣＤ等の撮像デバイスを有するデジタルカメラのような撮像手段である。

メモリ１０２は、プログラムやデータ、特に本実施の形態における種々の物体の画像およびその関連情報（名称および属性情報等）を保存するための記憶部である。

ＣＰＵ１０３は、デジタル処理や各部の制御を行う制御部である。

画像処理部１０４は、カメラ１０１で得られた画像のエンコード／デコードのような画像処理を行う手段である。本発明における領域抽出手段は画像処理部１０４の一機能として実現される。

表示部１０５は、テキストや画像等を表示画面上に表示するユーザインタフェースを担う手段である。

領域選択・入力部１０６は、基本的なユーザとの対話のための手段、および、ユーザによる表示画面上での特定物体選択のためにユーザによる領域の指定を受ける手段である。領域選択・入力部１０６は、本実施の形態では、表示部１０５の画面に重ねて配置され、ユーザのタッチ位置を検出するタッチパネル（タッチスクリーン）を含む。

ネットワーク接続部１０７は、無線通信によるデータ通信を行う手段であり、携帯電話の基地局との通信を行う通信部、または、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの近距離無線通信を行う通信部などである。本例では、通信ネットワーク１５０に接続され、この通信ネットワーク１５０上のサーバ２００にアクセスすることができる。

図２は、本実施の形態による携帯端末１００により実現される学習システム１２０のソフトウェア構成を示している。

一般物体認識に基づく学習システム１２０は、携帯端末１００により実現される機能であり、ユーザインタフェース部１２１、一般物体認識部１２２、およびローカル情報ＤＢ１２３を備えて構成される。

一般物体認識部１２２は本発明の検索手段を構成する。ローカル情報ＤＢ１２３は、抽出された物体の情報を記憶する部位であり、図１内のメモリ１０２がその記憶部として利用される。

特定の物体の情報がこのローカル情報ＤＢ１２３内に存在しない場合に、このシステムは、通信ネットワークを介して、情報データベース（ＤＢ）２１０にアクセスし、当該情報の検索を要求することもできる。情報データベース（ＤＢ）２１０は、通信ネットワークを介してアクセス可能な図１のサーバ２００内に構築されたものである。学習システム１２０は物体の特徴点データとともに検索要求を情報ＤＢ２１０へ送信し、情報ＤＢ２１０はその検索結果を学習システム１２０へ返送する。

取得画像記憶部１３０は、図１のメモリ１０２内に確保された、撮影画像を保存するための記憶領域（画像保存手段）である。この記録領域内の各画像に対してローカル情報ＤＢ１２３の物体情報が対応付けられる。

この学習システム１２０は、アルバム表示手段をも提供する。アルバム表示手段は、ローカル情報ＤＢ１２３に管理されている複数の画像の縮小画像を並べて示す一覧画面を提示する機能を有する。さらに、この一覧画面に対するユーザの指示に応じて任意の画像を複数の縮小画像に代えてまたは重ねて表示し、当該画像中の物体に対するユーザの指示に応じてその関連情報を併せて表示する機能を有する。

学習システム１２０は、また、辞書表示手段をも提供する。辞書表示手段は、ローカル情報ＤＢ１２３に管理されている各画像中の物体の名称を用語としてリスト表示するリスト表示画面を提示する機能を有する。さらに、このリスト表示画面に対するユーザの指示に応じて任意の用語に対応する画像を表示し、当該画像中の物体に対するユーザの指示に応じてその関連情報を併せて表示する機能を有する。

図３は、情報ＤＢ２１０の構成を模式的にテーブル形式で示した図である。情報ＤＢ２１０は、物体毎にレコードが設けられる。各レコードは、その物体名（名称）、特徴点データ、属性情報（物体の説明等）、リンク（ＵＲＬ等）等を含む。

図４（ａ）は、取得画像記憶部１３０の内容例を模式的にテーブル形式で示した図である。取得画像記憶部１３０は、カメラ１０１により得られた各画像毎にレコードが生成される。各レコードは、画像識別情報である画像ＩＤ、撮影日時、画像データ等を含む。

図４（ｂ）は、ローカル情報ＤＢ１２３の構成を模式的にテーブル形式で示した図である。ローカル情報ＤＢ１２３も、情報ＤＢ２１０と同様に、物体毎にレコードが設けられる。各レコードは、その物体名（名称）、領域データ、特徴点データ、属性情報、リンク（ＵＲＬ等）、および画像ＩＤを含む。領域データは、画像中の物体の存在する領域を表すデータであり、例えば矩形枠の対角点の座標データである。画像ＩＤは取得画像記憶部１３０の画像ＩＤに対応するものである。

本実施の形態による学習システムは、一般物体認識に基づくものであり、現実の物体を情報に変換するダイナミック”辞書”を実世界から得ることを可能とするものである。

この学習システムは、児童教育の分野へ利用して好適である。すなわち本システムの典型的なユーザは、日々の生活の中で目にするあらゆるものについて学びたい子供達である。但し、本発明は児童教育の分野への利用に限定されるものではなく、例えば、外国人が言語学習のためにこのシステムを利用することも可能である。

以下、上記のような構成を有する学習システムの動作を説明する。

本実施の形態では、上述のようなデジタルカメラ、表示部、ネットワーク接続部を備えた携帯端末を用いて、ユーザは実世界上の物体を撮影し、その画像に基づいてその物体の関連情報（その名称や属性情報等）を得ることができる。

例えば、子供であるユーザが、例えば動物園に行った場合を考える。彼（または彼女）は、本学習システムを内蔵した携帯端末を所持しているものとする。彼はライオンを見て、これはなんだろうと思う。そこで、彼は携帯端末のカメラ機能を用いてその画像を取得する。携帯端末は、ユーザの指示に応じて、この画像内に写っている物体の領域を検出するとともに、その領域内の物体の特徴点データを抽出する。この特徴点データに基づいて、ローカル情報ＤＢ１２３またはインターネット経由で、その物体が何であるかを特定し、その物体の関連情報を得る。以下、具体的な例を挙げて説明する。

図５は、表示部１０５における表示画面３００の表示例を示している。表示画面３００には、カメラ１０１の撮影により得られた画像を表示する領域３１０が設けられ、その下側にソフトキー３２１，３２２，３２３が表示される。この表示画面３００は、本システムの基本的なユーザインタフェースを示している。各ソフトキーは、タッチパネルの機能により、ユーザの指（手）４００でタッチによる指示を受け付けるタッチキーとして機能する。ソフトキー３２１はユーザが撮影した画像上の特定の物体についてその情報を求める指示を行うための「これ何？」というソフトキーである。ソフトキー３２２は、カメラ１０１の撮影により得られた複数の画像をアルバム情報として利用するための「私のアルバム」というソフトキーである。ソフトキー３２３は、それらの画像についてソフトキー３２１を用いて得られた情報を、物体の名称とその属性情報とを対応付けた辞書として利用するための「私の辞書」というソフトキーである。

図５に示すように、ユーザが「これ何？」ソフトキー３２１を指示すると、図６に示すように、ユーザにより指示されうる目的の物体の候補となる画像の領域を矩形枠３１１、３１２で識別表示する。画像中の物体の存在する位置の検出は既存の周知技術を利用することができる。なお、矩形枠は図の例では破線で示しているが、これに限るものではない。例えば、色の付いた枠線でもよい。また、枠は線に限るものではなく、矩形枠全体の輝度を変えたり、反転表示したりしてもよい。また、枠は矩形である必要はなく、多角形、円形、自由曲線、等、任意である。

画像中で候補となる物体が複数（図６の例では２個）存在する場合、ユーザは図７に示すように、タッチスクリーン上でいずれかの矩形枠（またはその内部）を指示することにより、一つの物体を特定することができる。

このように「これ何？」という問いかけ（リクエスト）に対して、一つの物体が特定されたら、学習システムは、この物体の領域（矩形枠３１２）内の画像から特徴点データを抽出する。

図８に示すように、システムが検出して示した矩形枠の領域のサイズや位置をユーザが変更できるようにしてもよい。この例では、ライオンの全体像のうち、より特徴的な顔の部分のみに矩形枠３１２を縮小した例を示している。このような操作は、例えば、ユーザが矩形枠の頂点にタッチしてドラッグする操作により行うことができる。このような矩形枠の領域の変更を許容する場合、図７に示したような目的の物体の特定の段階では、まだ、特徴点データの抽出の処理へ移行せず、再度「これ何？」ソフトキー３２１が指示されたときに当該処理へ移行する。ユーザによる領域のサイズや一の変更は、システムによる領域の誤検出を修正する場合に利用できる。また、物体の全体の領域より特徴部分のみを含む領域を指定する場合に利用できる。特徴部分のみを含む領域からはより、マッチング精度の高い特徴点データが得られる。また、領域のサイズが小さくなることにより、特徴点データの抽出処理の負荷も軽減され、特徴点データのサイズも小さくなる。

特徴点データを用いた物体間のマッチングを含む検索処理が実行され、マッチングが成功した場合、検索結果として、その物体の関連情報が得られる。このようにして得られた関連情報は表示画面３００上で、当該物体の画像に対応付けて表示される。図９に示した例では、物体情報をポップアップメッセージ３１５として表示している。この例では、物体情報として他のソースへのリンク（ｈｔｔｐ：／／…）が設定されている。このリンクを指示することにより、例えばインターネット上の当該サイトにアクセスして、さらなる関連情報を得ることができる。

撮影された物体の画像およびその物体に関して得られた関連情報は、携帯端末内のローカル情報ＤＢ１２３内に保存される。この際、特徴点データも併せて記憶することにより、上述したようなローカル情報ＤＢ１２３を携帯端末内に構築することができる。

ローカル情報ＤＢ１２３は、携帯端末の出荷時に予め用意したり、出荷後にユーザが一括して外部からダウンロードできるようにしてもよい。但し、このような情報ＤＢは撮影画像を含んでおらず、撮影後にマッチングが成功したときに、当該撮影画像がローカル情報ＤＢ１２３内のレコードに対応付けられることになる。

図１０は、「私のアルバム」ソフトキー３２２が指示されたときに表示される画像一覧画面３３０の例を示している。この画像一覧画面３３０は、ローカル情報ＤＢ１２３内に管理されている複数の画像の縮小画像を並べて表示したものである。図の例では１頁あたり、３行３列の９画像を示しているが、その構成はこれに限るものではない。９個を越える画像については、画面上に表示される頁移動ソフトキー（図示せず）の操作により、頁を更新することができる。この画像一覧画面３３０において、表示されている特定の画像を指示すると、例えば図１１のようにその画像が、画像一覧画面３３０に代えて（または重ねて）拡大して（正規のサイズで）表示される。また、物体を指示したとき、その物体について属性情報が保存されていれば、その情報が当該画像に対して表示される。図の例では、画像の下部中央に画像更新ソフトキー３１６が表示されている。このソフトキーの操作により、画像一覧画面３３０から拡大表示する対象の画像を順次切り替えることができる。

上記の動物園の例では、ユーザは、帰宅後に、動物園で楽しい時間を過ごしたこと、色々な目新しい動物やその名前等について学んだことを思い起こす。彼は撮影した写真を見て、学習した新たな言葉（単語）を復習したいと思う。そこで、「私のアルバム」ソフトキー３２２を指示する。これにより、学習システムの画像ビューワが起動し、ローカル情報ＤＢ１２３および取得画像記憶部１３０を用いて、図１０に示したように、取得画像が一覧表示される。ユーザが、タッチスクリーン上でライオンの画像を選択すると、図１１に示したように、その画像が拡大して画面上に表示される。さらに、ユーザがタッチスクリーン上でライオンの領域を指示すると、ライオンに関するポップアップメッセージが表示される。このような学習システムにより、ユーザはその日学習した新たな言葉を復習することができる。

図１２は、ユーザが「私の辞書」というソフトキー３２３を指示したときの表示例を示している。このとき、学習システムは「私の辞書」モードへ移行する。表示画面３００内には辞書画面３４０が表示される。辞書画面３４０内には、注目用語欄３４１、用語リスト欄３４２、決定キー（Ｇｏ）３４３、画像表示欄３４４が配置される。用語リスト欄３４２にはローカル情報ＤＢ１２３内に保存されている物体名が読み出されて、リスト表示される。全用語が用語リスト欄３４２内に納まらない場合には、図示しないが、縦長のサイドスクロールバー等を表示し、ユーザによるリストに対する上下方向のスクロール操作を行うことができる。また、用語リスト欄３４２内でユーザにより選択指示された任意の１つの用語がフォーカスまたはカーソル３４５により識別表示される。この選択された用語は注目用語欄３４１内に表示され、決定キー３４３の指示により、当該用語に対応する画像が取得画像記憶部１３０（図２）から読み出されて、画像表示欄３４４に表示される。図１２はこのときの状態を示している。上記の例で、ユーザが「ライオン」の用語を選択して決定すると、彼が撮影したその写真が再び表示される。これによりユーザによる「ライオン」の記憶が強化される。

図示しないが、図１１で説明したと同様、画像表示欄３４４内に表示された物体を指示すると、その物体の属性情報が表示されるようにしてもよい。

以上は、本学習システムの基本的な使用態様を説明した。以下では、そのための処理について説明する。

図１３は、学習システム１２０における典型的な使用態様の処理の手順を示している。

ユーザインタフェース部１２１は、ユーザの操作に従って画像を取得する（Ｓ１１）。この取得された画像に基づいて、一般物体認識部１２２は物体を含むと推測される矩形枠の領域を求める（Ｓ２１）。ユーザインタフェース部１２１は、このエリアに基づいて物体を囲む矩形枠を表示する（Ｓ１２）。ユーザインタフェース部１２１はユーザから物体を選択する指示を受け付ける（Ｓ１３）。この指示に応じて、一般物体認識部１２２は、当該物体の特徴点データを抽出するとともに、この特徴点データに基づいてローカル情報ＤＢ１２３内に保存されている物体に対して該当する物体を検索する（すなわち特徴点データのマッチングを試みる）（Ｓ２２）。特徴点データのマッチングとしては、例えば非特許文献１に開示されたような技術を利用することができる。この技術によれば、物体の画像のサイズや物体の向きなどが異なる場合にも物体間のマッチングを高信頼度で行うことができる。なお、マッチングの前に、統計的に他の特徴点から大きくかけ離れた値を持つ特徴点を除外するアウトライア除去(outlier removal)を行ってもよい。

ローカル情報ＤＢ１２３内に該当する物体が見つかった場合（Ｓ２３，Ｙｅｓ）、ユーザインタフェース部１２１はローカル情報ＤＢ１２３から返送されてきた情報をポップアップ表示する（Ｓ１４）。

該当する物体が見つからなかった場合、一般物体認識部１２２は、インターネット経由等によりサーバ２００にアクセスして、他のデータ源としての情報ＤＢ２１０を検索する（Ｓ２４）。その際、情報ＤＢ２１０を用いた検索サービスを提供するサーバ２００へのリクエスト（検索要求）に特徴点データを埋め込む。この場合、特徴点データのマッチングはサーバ２００が行う。本発明ではサーバ２００に対して検索要求とともに画像を送信する場合、画像データそのものを送信するのではなく、その画像の特徴点データを送信するので、送信データ量を低減することができる。よって、通信所要時間も低減される。

サーバ２００は、物体が動物である場合、例えば動物園などの提供するＷｅｂサイト等である。情報ＤＢ２１０は当該検索サービスを提供する（Ｓ４１）。当該物体が発見されたら（Ｓ２５，Ｙｅｓ）、ユーザインタフェース部１２１は、情報ＤＢ２１０から返送されてきた情報をポップアップ表示する（Ｓ１４）。また、当該物体とその特徴点、関連情報を記憶部１２３に保存する（Ｓ２６，Ｓ３２）。情報ＤＢ２１０においても当該物体が発見されなければ、所定のメッセージを出力して本処理を終了する。

以上、本発明の好適な実施の形態について説明したが、上記で言及した以外にも種々の変形、変更を行うことが可能である。例えば、カメラ機能は情報処理装置が持たずに、外部のデジタルカメラで取得した画像データを内部に取り込んで利用する形態であってもよい。その場合、情報処理装置は「携帯」型である必要もない。タッチパネルは必須の要素ではなく、タッチキーに代えてハードウェアキーを用いてもよい。

１００…携帯端末、１０１…カメラ、１０２…メモリ、１０４…画像処理部、１０５…表示部、１０６…領域選択・入力部、１０７…ネットワーク接続部、１２０…学習システム、１２１…ユーザインタフェース部、１２２…一般物体認識部、１２３…ローカル情報ＤＢ、１３０…取得画像記憶部、１５０…通信ネットワーク、２００…サーバ、３００…表示画面、３１０…領域、３１１…矩形枠、３１２…矩形枠、３１５…ポップアップメッセージ、３１６…画像更新ソフトキー、３２１，３２２，３２３…ソフトキー、３３０…画像一覧画面、３４０…辞書画面、３４１…注目用語欄、３４２…用語リスト欄、３４３…決定キー、３４４…画像表示欄、３４５…カーソル、４００…指

Claims (7)

1. 撮像手段により得られた画像を保存する画像保存手段と、
   前記画像中の物体を含む領域を抽出する領域抽出手段と、
   表示画面上に前記画像を表示するとともに前記抽出された領域を識別して表示する表示手段と、
   ユーザによる領域の指定を受ける入力手段と、
   ユーザにより指定された領域に該当する物体の特徴点データを抽出し、この特徴点データに基づいて、情報データベースの検索を行い、当該物体の関連情報を取得する検索手段とを備え、
   前記表示手段は、前記検索手段により得られた検索結果を表示する
   情報処理装置。
2. 通信ネットワークと接続される通信手段をさらに備え、
   前記情報データベースは通信ネットワークを介してアクセス可能なサーバ内に有し、前記検索手段は前記通信手段を介して当該サーバに対して前記特徴点データとともに検索要求を送信する請求項１に記載の情報処理装置。
3. 前記情報データベースは情報処理装置内に有する請求項１または２に記載の情報処理装置。
4. 前記情報データベースは、物体毎に、少なくともその特徴点データ、関連情報を保存している請求項２または３に記載の情報処理装置。
5. 前記情報データベースに管理されている複数の画像の縮小画像を並べて示す一覧画面を提示するとともに、この一覧画面に対するユーザの指示に応じて任意の画像を前記複数の縮小画像に代えてまたは重ねて表示し、当該画像中の物体に対するユーザの指示に応じてその関連情報を併せて表示するアルバム表示手段をさらに備えた請求項３に記載の情報処理装置。
6. 前記情報データベースに管理されている各画像中の物体の名称を用語としてリスト表示するリスト表示画面を提示するとともに、このリスト表示画面に対するユーザの指示に応じて任意の用語に対応する画像を表示し、当該画像中の物体に対するユーザの指示に応じてその関連情報を併せて表示する辞書表示手段をさらに備えた請求項３に記載の情報処理装置。
7. 撮像手段と、
   この撮像手段により得られた画像を保存する画像保存手段と、
   前記画像中の物体を含む領域を抽出する領域抽出手段と、
   表示画面上に前記画像を表示するとともに前記抽出された領域を識別して表示する表示手段と、
   ユーザによる領域の指定を受ける入力手段と、
   ユーザにより指定された領域に該当する物体の特徴点データを抽出し、この特徴点データに基づいて、情報データベースの検索を行い、当該物体の関連情報を取得する検索手段とを備え、
   前記表示手段は、前記検索手段により得られた検索結果を表示する
   携帯端末。

Images