JP5472972B2 - 対象物情報表示装置、対象物情報表示方法、対象物情報表示プログラム - Google Patents

Description

本発明は、撮影された映像に含まれる映像対象物にかかる関連情報を取得する技術に関する。

撮影された映像内における物体やテキストなどの映像対象物を認識し、（画像認識を行い）、この映像対象物の関連情報を、映像内に重畳表示するシステムが開示されている（特許文献１）。また、撮影した画像からテキストに限らず、物質などの映像対象物の画像認識を行う関連技術が開示されている（特許文献２）。

また、これに対する関連技術として、携帯電話のカメラを対象物の撮影に利用し、利用者がキーボードでキーワード入力を行うことにより、撮影した画像から自動的にキーワードに対応する部分を検索し、その部分を拡大表示する、または、その関連情報をする手法が開示されている（特許文献３）。

特開２００６−１４８６１８公報 特開２００１−３０７０９６公報 特開２００６−６０５３５公報

しかしながら、上記特許文献１に開示された関連技術では、認識された物体（映像対象物）を利用者が見たい場合や画面に表示させたい場合でも、映像対象物が認識されると、この映像対象物にかかる関連情報が画面上に重畳表示されてしまうので、映像対象物は重畳表示された関連情報に隠れてしまい、映像対象物を表示することができないといった不都合が生じ得る。

このため、例えば、関連情報の表示および非表示などを制御するスイッチなどを備えた場合でも、利用者は映像対象物の関連情報を表示するためのスイッチ操作を意識的に行う必要があり、操作内容が煩雑になってしまうといった不都合がある。

また、上記特許文献２に開示された関連技術では、利用者が撮影を行う装置を利用して見る（つまり、撮影する）ものついて、予め何らかの知識を持ち、その利用を簡素化するために役立つものであるが、利用者がその映像対象物が何であるか知りたい場合や、撮影された映像対象物の関連情報を知りたい場合には、有効に利用することができないという不都合がある。

［発明の目的］
本発明は、上記関連技術の有する不都合を改善し、利用者により撮影された対象物にかかる関連情報を簡易な操作により取得し出力表示する対象物情報表示装置、対象物情報表示方法、対象物情報表示プログラムを提供することを、その目的とする。

上記目的を達成するために、本発明に係る対象物情報表示装置は、対象物の撮影を行うカメラ部と、前記カメラ部により撮影された映像を予め設定された出力画面に対して表示する出力表示制御部と、前記出力画面に表示された映像対象物にかかる情報を示す対象物情報を予め設定されたネットワーク回線を介して取得する対象物情報取得部とを備えた対象物情報表示装置であって、前記出力画面内に予め設定された認識領域内に表示された映像対象物を予め設定された対象物参照情報に基づき検知する映像対象物検知部と、前記映像対象物が前記認識領域内に表示された表示状態を監視し当該表示状態が予め設定された表示状態条件に合致するか否かを判定する表示状態条件判定部と、前記映像対象物の表示状態が前記表示状態条件に合致した場合に、前記映像対象物を検索対象物として、当該検索対象物にかかる対象物情報について前記ネットワーク回線を介しての検索を行う対象物情報検索手段と、検索し取得された前記対象物情報を前記出力画面に対して表示する対象物情報出力制御手段とを備えた構成をとっている。

又、本発明にかかる対象物情報表示方法は、対象物の撮影を行うカメラ部と、前記カメラ部により撮影された映像を予め設定された出力画面に対して表示する出力表示制御部とを備えた構成により、前記出力画面に表示された映像対象物にかかる情報である対象物情報を予め設定されたネットワーク回線を介して取得する対象物情報表示方法であって、前記出力画面内に予め設定された認識領域内に表示された映像対象物を予め設定された対象物参照情報に基づき検知し、前記検知された映像対象物が前記認識領域内に表示された表示状態が予め設定された表示状態条件に合致した場合に、前記映像対象物を検索対象物として特定し、当該検索対象物にかかる対象物情報について前記ネットワーク回線を介しての検索を行い、当該検索により取得された前記対象物情報を前記出力画面に対して表示することを特徴とすることを特徴としている。

更に、本発明にかかる対象物情報表示プログラムは、対象物の撮影を行うカメラ部と、前記カメラ部により撮影された映像を予め設定された出力画面に対して表示する出力表示制御部とを備えた対象物情報表示装置により、前記出力画面に表示された映像対象物にかかる情報である対象物情報を予め設定されたネットワーク回線を介して取得するための対象物情報表示プログラムであって、前記出力画面内に予め設定された認識領域内に表示された映像対象物を予め設定された対象物参照情報に基づき検知する映像対象物検知機能と、前記映像対象物が前記認識領域内に表示された表示状態が予め設定された表示状態条件に合致したか否かの判定を行う対象物表示状態判定機能と、前記映像対象物の表示状態が対象物表示状態判定機能により、予め設定された表示状態条件に合致したと判定された場合に、前記映像対象物を検索対象物として、当該検索対象物にかかる対象物情報について前記ネットワーク回線を介しての検索を行う対象物情報検索機能と、前記対象物情報検索機能により検索し取得された前記対象物情報を前記出力画面に対して表示する対象物情報出力制御機能、を前記対象物情報表示装置の備えたコンピュータに実行させることを特徴としている。

本発明は、以上のように構成され機能するので、これによると、出力画面内に表示され検知された映像対象物の表示状態が予め設定された表示状態条件に合致するか否かを判定する手段と表示状態条件に合致した場合に映像対象物にかかる対象物情報の検索を行う手段を備え、検索取得された対象物情報を前記出力画面に対して表示する構成としたことにより、撮影された映像対象物に係る情報を簡易に取得し表示することができる対象物情報表示装置、対象物情報表示方法、および対象物情報表示プログラムを提供することができる。

図１（ａ）および（ｂ）は、本発明による対象物情報表示装置の一実施形態の外観を示す概略構成図である。 図１に開示した対象物情報表示装置の一実施形態の外観を示す概略構成図である。 図１に開示した対象物情報表示装置の内部構成の一実施形態を示す概略ブロック図である。 図１に開示した対象物情報表示装置における全体的な動作を示すシーケンスチャートである。 図１に開示した対象物情報表示装置で対象物（バーコード）を撮影した場合に表示される表示画面の一例を示す説明図である。 図１に開示した対象物情報表示装置で表示される関連情報の表示変化の一例を示す説明図である。 図１に開示した対象物情報表示装置で対象物（文字列）を撮影した場合に表示される内容の表示画面の一例を示す説明図である。 図１に開示した対象物情報表示装置で対象物（文字列）を撮影した場合に表示される表示画面の内容の一例を示す説明図である。 図１に開示した対象物情報表示装置で対象物（文字列）を撮影した場合に表示される表示画面の内容の一例を示す説明図である。 図１に開示した対象物情報表示装置で対象物（カブトムシ）を撮影した場合に表示される表示画面の内容の一例を示す説明図である。

［実施形態］
次に、本発明の実施形態について、その基本的構成内容を説明する。

本実施形態としての対象物情報表示装置は、図１（ａ）、（ｂ）に示すように、使用者が握るための柄部１０２有し虫眼鏡の形状を備えた電子虫眼鏡１００であって、この電子虫眼鏡１００は、その表面側（図１（ａ）：表面）に、撮影された映像が出力表示される表示画面１０１を有し、この表示画面（出力画面）１０１の中央部裏側（図１（ｂ）：裏面）に撮影対象物（対象物）の撮影を行うためのカメラレンズ（カメラ部の一部）１０３（図１（ｂ））を備えた構成となっている。

また、電子虫眼鏡１００は、図２に示すように、柄部１０２の表面側に、映像対象物の関連情報の表示動作を制御する（関連情報のスクロール表示など）操作部２０１を備えた構成としてもよい。
尚、この操作部２０１は、カメラレンズ１０３による拡大撮影および縮小撮影や、カメラレンズ１０３の向きを制御するための操作インタフェースとして設けられた構成であってもよい。

次に、電子虫眼鏡１００の内部構成について、図３のブロック図に基づき詳説する。
電子虫眼鏡１００は、カメラレンズ１０３を含み構成され撮影対象物の撮影を行う撮影手段３０１と、撮影手段３０１により撮影された映像内におけるテキスト情報や特定の物質などの映像対象物を対象物特徴情報に基づき検知する画像認識手段（映像対象物検知手段）３０２と、画像認識手段３０２に接続して設けられ映像対象物を検知（画像認識）するためのリファレンス情報である対象物特徴情報（対象物参照情報）を保持する画像認識データベース３０７を備えている。
尚、カメラレンズ１０３は、撮影手段３０１の一部を構成するものとする。

また、電子虫眼鏡１００は、画像認識手段３０２により映像対象物が検知（画像認識）された場合に、検知された映像対象物から関連情報の検索が行われる映像対象物を検索対象として特定する検索情報判定手段３０３と、検知された映像対象物が表示画面１０１内の特定のエリアに表示されている時間を測定する表示時間測定手段３０８と、予め設けられた通信手段３０９を介して特定された映像対象物にかかる情報としての関連情報の検索を行う関連情報検索手段３０４を有する。

更に、電子虫眼鏡１００は、関連情報検索手段３０４により検索結果として取得された対象物情報（関連情報）を表示手段３０６に対して送信し関連情報の出力表示を行う関連情報再生手段３０５と、撮影手段３０１により撮影された映像情報、および関連情報再生手段３０５からの対象物情報を表示画面１０１に対して出力する動作を制御する表示手段３０６と、表示画面１０１に順次出力される関連情報を監視し、この関連情報の出力時間間隔を測定する再生時間測定手段３１０を備えた構成としている。

以下、これを詳説する。

撮影手段３０１は、カメラレンズ１０３を介して、テキスト（文字列）や対象物などの撮影対象物を撮影する対象物撮影機能を有する。
ここで、撮影手段３０１により撮影された映像は、表示手段３０６の制御により表示画面１０１に出力表示される。

ここでは、表示画面１０１中央部の点線円内（図５）が、画像認識手段３０２で認識対象を特定するために予め設定されたエリアであるものとする。
尚、このエリアは、表示画面１０１上に明示的に表示されていてもよく、また、表示画面内のどの位置に設定されたものであってもよい。

画像認識手段３０２は、撮影された映像内の映像対象物を、画像認識処理により検知（認識）する画像を認識機能を有する。これにより、画像認識手段３０２は、画像認識結果としての映像対象物を得る。
画像認識手段３０２は、画像認識処理として、表示画面１０１内の予め設定された特定のエリア内に表示された映像物（テキスト、物体、あるいはバーコード等の図表）の色や形状に基づき、画像認識データベース３０７に保持された対象物特徴情報との照合を行い、合致した場合に上記映像物を映像対象物として検知（認識）する画像認識機能を備えている。

尚、ここで上記画像認識処理では、既存の画像認識の手法を利用する設定としてもよい。
また、対象物特徴情報として設定された対象物は、例えば、キーワードなどの文字列や、バーコード、図形等、植物や動物などの実物などが含まれるものとする。

尚、画像認識データベース３０７は、ハードディスクドライブ(ＨＤ)などの大容量記録媒体により実現されるものとする。

ここで、上記対象物として、新聞などにおけるテキストが撮影された場合を図７に例示する。このとき、撮影された文字列「３月３日に気象観測衛星が種子島宇宙センターから打ち上げられた。衛星は無事軌道に乗り・・・」のうち、例えば、「気象観測衛星」「種子島宇宙センター」という２つの単語（テキスト）が画像認識データベース３０７に保存された対象物特徴情報と合致しているものとする。
また、画像認識手段３０２は、画像認識された文字列（「気象観測衛星」「種子島宇宙センター」）を強調表示（太文字化など）する設定としてもよい。

尚、図７においては、表示画面１０１には関連情報が重畳表示されていない。これは、点線で示されるエリア内に、異なる複数の単語が表示されており、どの単語に係る関連情報を表示されるか、つまり、表示されるべき単語が特定されていないためである。

検索情報判定手段３０３は、画像認識手段３０２により検知（画像認識）された映像対象物を検索対象として特定するための判定を行う検索情報判定機能を備えている。
また、検索情報判定手段３０３は、検知された映像対象物が異なる複数個あった場合に、検知された映像対象物の中から、予め設定された対象物表示条件に基づき、関連情報の検索対象として設定する映像対象物を特定する（対象物特定機能）。
尚、本実施形態では、映像対象物が複数ある場合に、検索対象としての映像対象物を１つに特定（限定する）する設定としているが、検索対象を複数個に設定してもよい。

ここで、上記対象物表示条件について説明する。
検索情報判定手段３０３には、画像認識手段３０２により検知された映像対象物がエリア内に一定以上の大きさで表示された場合に、この映像対象物を検索対象として判定する対象物表示条件[１]と、検知された映像対象物がエリア内に表示状態が一定時間（例えば２秒間）以上継続して表示された場合に、この映像対象物を検索対象として判定する対象物表示条件[２]と、検知された映像対象物がエリア内の予め設定された特定位置（例えば表示画面の中心画素）に最も近似する位置に表示されている映像対象物を検索対象と判定する対象物表示条件[３]が予め設定されているものとする。

本実施形態における検索情報判定手段３０３は、画像認識手段３０２により検知された映像対象物がエリア内に一定以上の大きさで表示され、さらにこの表示状態が２秒以上継続した場合（対象物表示条件（[１]×[２]）とする）に、この映像対象物を検索対象と判定する。

また、検索情報判定手段３０３は、画像認識手段３０２により検知された映像対象物がエリア内に一定以上の大きさで表示され、さらにこの表示状態が２秒以上継続して表示された映像対象物が複数存在する場合、エリア内の予め設定された特定位置（例えば表示画面の中心画素）に最も近似する位置に表示されている映像対象物を検索対象と判定する（対象物表示条件（[１]×[２]×[３]）とする）ものとする。

尚、検索情報判定手段３０３は、対象物表示条件[１]、[２]、または[３]のいずれか一つの条件により映像物対象物を検索対象と判定する設定としてもよい。
また、検索情報判定手段３０３は、画像認識手段３０２により検知された映像対象物がエリア内に一定以上の大きさで表示され、且つエリア内の予め設定された特定位置（例えば表示画面の中心画素）に最も近似する位置に表示されている映像対象物を検索対象と判定する（対象物表示条件（[１]×[３]）とする）設定、または、検知された映像対象物がエリア内に表示状態が一定時間（例えば２秒間）以上継続して表示され、且つエリア内の予め設定された特定位置（例えば表示画面の中心画素）に最も近似する位置に表示されている映像対象物を検索対象と判定する（対象物表示条件（[２]×[３]）とする）設定であってもよい。

これにより、電子虫眼鏡１００の利用者は、対象物を撮影し、関連情報を所望する対象物を表示画面の中心部に表示させるという、通常の虫眼鏡による操作と同等な簡易な操作によって、画像認識結果から検索対象を特定することができる。

関連情報検索手段３０４は、検索対象として特定（判定）された映像対象物に係る関連情報（付加情報）を検索する（関連情報検索機能）。
また、関連情報検索手段３０４は、通信手段３０９を介してインターネットにおける検索エンジンサービスを利用して検索対象の関連情報を取得するものとする。
尚、関連情報検索手段３０４は、通信手段３０９を介して予め設定された特定のデータベースサーバなどの記憶装置にアクセスを行い、検索対象の関連情報を検索し、取得する設定としてもよい。

通信手段３０９は、例えば、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などに接続可能な無線機器により実現される。
関連情報再生手段３０５は、関連情報検索手段３０４により取得された検索結果情報を表示手段３０６を介して表示画面１０１に順次表示する関連情報再生機能を有する。

ここで、例えば、図８に示すように、「気象観測衛星」という単語が判定エリア内の中心部に表示されるように撮影を行った場合、検索情報判定手段３０３が、単語「気象観測衛星」を検索対象として特定する。
次いで、特定された文字列「気象観測衛星」の関連情報が関連情報検索手段３０４により検索され、図８に示すように、検索結果である関連情報（「気象観測衛星とは・・・」）が、吹き出しの形で重畳表示される。

また、本実施形態では、例えば、実物のカブトムシやカブトムシの画像を撮影対象物として撮影した場合にも、図１０に示すように、映像対象物であるカブトムシが検索対象として特定され、カブトムシに係る関連情報（「カブトムシ・・・」）が重畳表示される。

また、電子虫眼鏡１００の利用者が、図８に示す状態から図９に示すように、「種子島宇宙センター」という単語が判定エリア内の中心部に表示されるように、撮影範囲を移動した場合には、文字列「種子島宇宙センター」が検索対象として特定され、「種子島宇宙センター」に係る関連情報が検索され、関連情報が表示画面１０１に吹き出しの形で重畳表示される。

このように、利用者は、関連情報を表示したい単語（対象物）を判定エリア内の中心部に表示されるように、電子虫眼鏡１００の撮影距離や撮影角度等を調節するといった簡易な操作により、対象物（ここでは文字列）の関連情報を表示画面に表示させることができる。

再生時間測定手段３１０は、関連情報再生手段３０５および表示画面１０１に接続されて設けられ、表示画面１０１に出力表示された各関連情報が画面表示された時間を測定して保持する再生時間測定記憶機能を有する。
また、関連情報再生手段３０５は、再生時間測定手段３１０を参照して、画面表示を順次切り替える動作の時間間隔を制御するものとする。
更に、関連情報再生手段３０５は、予め設定された関連情報の表示設定（例えば、関連情報である吹き出し内の文字表示を１秒間に２行ずつ自動的にスクロールしたり、２秒間に１ページずつページめくりをするなど）に基づき、画面表示設定を順次切り替えることができるものとする。

これにより、関連情報再生手段３０５は、再生時間測定手段３１０を参照することにより、利用者からの操作が行われていない状態にあっても、予め設定された表示時間設定に基づき関連情報を、例えば、自動的にスクロールしながら表示することができる。
また、関連情報再生手段３０５は、柄部１０２に設けられた入力手段２１０に対する利用者の入力操作に基づき、関連情報の表示再生を一時停止したり、巻き戻し、早送りを制御する設定としてもよい。

これにより、関連情報再生手段３０５は、関連情報検索手段３０４が検索取得した情報を、例えば、ビデオの再生を行うように、順次表示することができる。
また、通常、インターネットにおける検索エンジンサービスを利用して１つのキーワードを検索すると、検索結果として大量の情報が得られる。この関連情報再生手段３０５は、それらの情報を自動的に１つ１つ順番にスクロールしたりページめくりをしたりしながら表示をする。
このため、利用者は、片手で電子虫眼鏡を持ち、撮影対象物にカメラレンズを向けるという操作のみを行うことによって、対象物に係る関連情報を取得し表示することができる。

以上のように、電子虫眼鏡の利用者は、通常の虫眼鏡と同様に、対象物にレンズを近づけたり離したり傾けたりする、通常の虫眼鏡に対するのと同様な直感的な操作を行い、対象物を観察するだけで、通常の虫眼鏡では得ることができない付加情報や関連情報等を取得し、表示画面に表示させることができる。

［実施形態の動作説明］
次に、本実施形態の全体の動作について、その内容を概説する。
画像認識手段３０２が、出力表示画面１０１内に予め設定された認識領域内に表示された映像対象物を予め設定された対象物参照情報に基づき検知する（映像対象物認識工程）。
次いで、検索情報判定手段３０３が、検知された映像対象物が前記認識領域内に当該認識領域のサイズに対する一定値以上の割合の大きさで表示され、且つ当該表示された映像対象物の前記認識領域内に表示された状態が予め設定された一定時間以上継続された場合に、前記映像対象物を検索対象物として特定し（検索情報特定行程）、次に、関連情報検索手段３０４が、検索対象物にかかる対象物情報について前記ネットワーク回線を介しての検索を行い（関連情報検索行程）、表示手段３０６は、この検索により取得された前記対象物情報を、表示画面１０１に対して表示する処理を制御する（対象物情報出力制御工程）。

ここで、上記映像対象物認識工程、検索情報特定行程、関連情報検索行程、および対象物情報出力制御工程については、その実行内容をプログラム化し、コンピュータに実行させる構成としてもよい。

次に、本実施形態における電子虫眼鏡１００の動作について、図４のフローチャートに基づき詳説する。
まず、電子虫眼鏡１００の利用者が、電子虫眼鏡１００のカメラレンズ１０３を向けることにより、テキスト（文字列）や対象物などの撮影対象物を撮影する（ステップＳ４０１：画像を撮影）。
ここで、利用者は、撮影対象物が表示画面１０１内に適切なサイズで表示されるように、電子虫眼鏡１００本体を対象物に近づけたり対象物から遠ざけたりして撮影対象物の撮影を行い表示画面１０１内に表示させる。

このとき、ユーザは、撮影対象物として、例えば、菓子のパッケージを撮影し、図５に示すように、表示画面１０１の中央部分の点線円内に表示されるように菓子のパッケージ表面に印刷されたバーコードを撮影しているものとする。
ここでは、表示画面１０１中央部の点線円内が、画像認識手段３０２で認識対象を特定するために予め設定されたエリアであるものとする。
尚、このエリアは、表示画面１０１上に明示的に表示されていてもよく、また、表示画面内のどの位置に設定されていてもよい。

次に、画像認識手段３０２が、撮影した映像内の映像対象物を検知（認識）する（ステップ４０２：画像を認識）。
ここで、画像認識とは、表示画面１０１内に予め設定された特定のエリア内に表示されたテキスト、物体、あるいはバーコード等の図表の色や形状に基づき、画像認識データベース３０７と照合し、画像認識データベース３０７に保持された特徴情報と合致した場合に、その映像対象物を検知する（画像認識）。

尚、ここで上記画像認識の手法としては、既存の手法を利用する設定としてもよい。また、映像対象物は、例えば、キーワードを示すテキスト列であることもあるし、バーコード、図形等であることもあるし、植物や動物などの物体などが含まれるものとする。

次いで、検索情報判定手段３０３は、検知された映像対象物を検索対象として特定するための判定を行う（ステップＳ４０３）。また、このとき、検索情報判定手段３０３は、検知された映像対象物が異なる複数個あった場合に、検知された映像対象物の中から検索対象とする映像対象物を特定する。
ここでは、検索対象としての映像対象物を１つ特定する（限定する）場合を示すが、検索対象を複数個に設定してもよい。

検索情報判定手段３０３は、検知された映像対象物（バーコード）がエリア内に一定以上の大きさで表示された場合に、この映像対象物を検索対象として判定する（ＹＥＳ）。

また、検索情報判定手段３０３は、検知された映像対象物（バーコード）がエリア内に一定以上の大きさで表示され、さらにこの表示状態が２秒以上継続した場合に、この映像対象物を検索対象と判定する設定としてもよい（対象物表示条件（[１]×[２]））。

更に、検索情報判定手段３０３は、検知された映像対象物（バーコード）がエリア内に一定以上の大きさで表示され、さらにこの表示状態が２秒以上継続して表示された映像対象物が複数存在する場合は、エリア内の予め設定された特定位置（例えば表示画面の中心画素）に最も近似する位置に表示されている映像対象物を検索対象と判定する設定としてもよい（対象物表示条件（[１]×[２]×[３]））。

尚、本実施形態におけるステップＳ４０２およびステップＳ４０３が、逆の順番で実行される設定としてもよい。
つまり、検索情報判定手段３０３が、撮影された対象物が表示画面１０１における認識領域内に当該認識領域のサイズに対する一定値以上の割合の大きさで表示され、且つ当該表示された映像対象物の前記認識領域内に表示された状態が予め設定された一定時間以上継続された場合に、映像対象物（検索対象物）を特定し（ステップＳ４０３に相当）、その後、画像認識手段３０２が、出力表示画面１０１内に予め設定された認識領域内に表示された映像対象物を予め設定された対象物参照情報に基づき検知（画像認識）を行う（ステップＳ４０２に相当）設定としてもよい。

次いで、関連情報検索手段３０４が、検索対象として特定された映像対象物に係る付加情報（関連情報）を検索し（ステップＳ４０４）、関連情報再生手段３０５が、取得された検索結果情報を表示画面１０１に順次表示する（ステップＳ４０５）。
具体的には、図５に示すように、関連情報検索手段３０４が、例えば、検索対象として判定されたバーコードに対応した関連情報（映像対象物情報）を検索取得し、関連情報再生手段３０５が、表示画面１０１上に関連情報としての「＊＊チップス」という商品名（菓子パッケージの商品名）を表示画面１０１に表示する。

尚、関連情報を表示する方法としては、関連情報再生手段３０５が、関連情報検索手段３０４始めに取得された関連情報から順次取得された順で、関連情報を表示する設定としてもよい。
また、関連情報を順次表示する際に、再生時間測定手段３１０が、表示される各関連情報の表示時間および表示時間間隔を測定する。

具体的には、図５の表示画面状態が一定時間維持された場合に、関連情報再生手段３０５が、例えば、画面上に出力される関連情報（吹き出し）を、図６に示すように、一定時間毎に変化させる設定としてもよい。

ここでは、最初はバーコードに対応する商品名（「＊＊チップス」）だけが表示され、次に、この商品をインターネットにおける検索エンジンにより検索した結果から販売会社や食品成分（＊＊チップス、＊＊株式会社、＊＊カロリー、塩分：＊＊ｍｇ）が表示され、
次に、インターネット上のブログや掲示板から抽出された、この商品に関する利用者の評判をものが表示され、次に、他の商品との比較をすることができるようなお菓子人気ランキングなどが表示される設定となっている。

ここで、関連情報として表示されるこれらの情報は、例えば、通信回線を介してインターネットに接続されたＷｅｂサーバにおける検索エンジンを利用して商品名で検索を行った場合にヒットした検索結果（情報）の一例であるものとする。

その後、利用者が電子虫眼鏡１００のカメラレンズの向きを移動させることにより、撮影された映像が変化した場合には（ステップＳ４０１へ）、撮影された映像について、画像認識手段３０２が画像認識を行う（ステップＳ４０２）。

以上のように、本実施形態では、電子的ではない通常の虫眼鏡と同様な簡単な操作により、現実の物体などの撮影対象物を撮影した場合に、この撮影対象物に係る付加情報、関連情報を取得し、追加的に表示することができる。

また、このとき、本実施形態である電子虫眼鏡の利用者は、操作ボタン等による操作を必要とすることなく、例えば、対象物を詳しく観察しようとする際に虫眼鏡本体を対象物に近づけたり傾きを変えたりする直感的な操作を行うことにより、観察の対象物に係る関連情報の閲覧をすることができる。

本発明は、携帯電話やデジタルカメラなどの写真や映像撮影機能を有する撮影装置がインターネットワークなどの広域ネットワークに対して通信接続可能に設定されたシステムに適用することができる。

１００ 電子虫眼鏡
１０１ 表示画面（出力画面）
１０２ 柄部
１０３ カメラレンズ
２０１ 操作ボタン部
３０１ 撮影手段（カメラ部）
３０２ 画像認識手段（映像対象物検知手段）
３０３ 検索情報判定手段
３０４ 関連情報検索手段
３０５ 関連情報再生手段
３０６ 表示手段
３０７ 画像認識データベース
３０８ 表示時間測定手段
３０９ 通信手段
３１０ 再生時間測定手段

Claims (14)

1. 対象物の撮影を行うカメラ部と、前記カメラ部により撮影された映像を予め設定された出力画面に対して表示する出力表示制御部と、前記出力画面に表示された映像対象物にかかる情報を示す対象物情報を予め設定されたネットワーク回線を介して取得する対象物情報取得部とを備えた対象物情報表示装置であって、
   前記出力画面内に予め設定された認識領域内に表示された映像対象物を予め設定された対象物参照情報に基づき検知する映像対象物検知部と、
   前記映像対象物が前記認識領域内に表示された表示状態を監視し当該表示状態が予め設定された表示状態条件に合致するか否かを判定する表示状態条件判定部と、
   前記映像対象物の表示状態が前記表示状態条件に合致した場合に、前記映像対象物を検索対象物として、当該検索対象物にかかる対象物情報について前記ネットワーク回線を介しての検索を行う対象物情報検索手段と、
   検索し取得された前記対象物情報を前記出力画面に対して表示する対象物情報出力制御手段とを備えたことを特徴とする対象物情報表示装置。
2. 前記請求項１に記載の対象物情報表示装置において、
   前記表示状態条件判定部は、前記映像対象物検知部により異なる複数の映像対象物が検知された場合に、前記認識領域内に予め設定された認識中心点により近似して表示された前記映像対象物を特定することを特徴とする対象物情報表示装置。
3. 前記請求項２に記載の対象物情報表示装置において、
   前記表示状態条件判定部は、前記特定された映像対象物が前記認識領域内に当該認識領域のサイズに対する一定値以上の割合の大きさで表示された場合に、前記表示状態が前記表示状態条件に合致したともの判定することを特徴とする対象物情報表示装置。
4. 前記請求項２に記載の対象物情報表示装置において、
   前記表示状態条件判定部は、前記特定された映像対象物が前記認識領域内に表示された状態が予め設定された一定時間以上継続された場合に、前記表示状態が前記表示状態条件に合致したともの判定することを特徴とする対象物情報表示装置。
5. 前記請求項２に記載の対象物情報表示装置において、
   前記表示状態条件判定部は、前記特定された映像対象物が前記認識領域内に当該認識領域のサイズに対する一定値以上の割合の大きさで表示され、且つ当該表示された映像対象物の前記認識領域内に表示された状態が予め設定された一定時間以上継続された場合に、前記表示状態が前記表示状態条件に合致したともの判定することを特徴とする対象物情報表示装置。
6. 前記請求項１に記載の対象物情報表示装置において、
   前記表示状態条件判定部は、前記検知された映像対象物が前記認識領域内に当該認識領域のサイズに対する一定値以上の割合の大きさで表示された場合に、前記表示状態が前記表示状態条件に合致したともの判定することを特徴とする対象物情報表示装置。
7. 前記請求項１に記載の対象物情報表示装置において、
   前記表示状態条件判定部は、前記検知された映像対象物が前記認識領域内に表示された状態が予め設定された一定時間以上継続された場合に、前記表示状態が前記表示状態条件に合致したともの判定することを特徴とする対象物情報表示装置。
8. 前記請求項１に記載の対象物情報表示装置において、
   前記表示状態条件判定部は、前記検知された映像対象物が前記認識領域内に当該認識領域のサイズに対する一定値以上の割合の大きさで表示され、且つ当該表示された映像対象物の前記認識領域内に表示された状態が予め設定された一定時間以上継続された場合に、前記表示状態が前記表示状態条件に合致したともの判定することを特徴とする対象物情報表示装置。
9. 前記請求項１から８のいずれか１項に記載の対象物情報表示装置において、
   特定のテキスト情報又は、コード情報，図形，物体のいずれかを含む前記映像対象物を検知するためのリファレンス情報を前記対象物参照情報として記憶する画像認識記憶部を更に備えたことを特徴とする対象物情報表示装置。
10. 前記請求項１から９のいずれか１項に記載の対象物情報表示装置において、
    前記出力画面に表示される前記対象物情報の表示時間を測定する表示時間測定部を更に備え、
    対象物情報出力制御手段は、前記表示時間測定部を用いて、前記出力画面に表示される前記対象物情報を既定時間毎に変化させることを特徴とする対象物情報表示装置。
11. 前記請求項１から１０のいずれか１項に記載の対象物情報表示装置において、
    前記ネットワーク回線に対して無線通信接続を行う無線通信部を
    備えたことを特徴とする対象物表示装置。
12. 対象物の撮影を行うカメラ部と、前記カメラ部により撮影された映像を予め設定された出力画面に対して表示する出力表示制御部とを備えた構成により、前記出力画面に表示された映像対象物にかかる情報である対象物情報を予め設定されたネットワーク回線を介して取得する対象物情報表示方法であって、
    前記出力画面内に予め設定された認識領域内に表示された映像対象物を予め設定された対象物参照情報に基づき検知し、
    前記検知された映像対象物が前記認識領域内に表示された表示状態が予め設定された表示状態条件に合致した場合に、前記映像対象物を検索対象物として特定し、
    当該検索対象物にかかる対象物情報について前記ネットワーク回線を介しての検索を行い、
    当該検索により取得された前記対象物情報を前記出力画面に対して表示することを特徴とする対象物情報表示方法。
13. 対象物の撮影を行うカメラ部と、前記カメラ部により撮影された映像を予め設定された出力画面に対して表示する出力表示制御部とを備えた構成により、前記出力画面に表示された映像対象物にかかる情報である対象物情報を予め設定されたネットワーク回線を介して取得する対象物情報表示方法であって、
    前記出力画面内に予め設定された認識領域内に表示された映像対象物の前記認識領域内に表示された表示状態が予め設定された表示状態条件に合致した場合に、前記映像対象物を検索対象物として特定し、
    前記特定された検索対象物を予め設定された対象物参照情報に基づき検知し、
    前記検知された検索対象物にかかる対象物情報について前記ネットワーク回線を介しての検索を行い、
    前記検索により取得された前記対象物情報を前記出力画面に対して表示することを特徴とする対象物情報表示方法。
14. 対象物の撮影を行うカメラ部と、前記カメラ部により撮影された映像を予め設定された出力画面に対して表示する出力表示制御部とを備えた対象物情報表示装置により、前記出力画面に表示された映像対象物にかかる情報である対象物情報を予め設定されたネットワーク回線を介して取得するための対象物情報表示プログラムであって、
    前記出力画面内に予め設定された認識領域内に表示された映像対象物を予め設定された対象物参照情報に基づき検知する映像対象物検知機能と、
    前記映像対象物が前記認識領域内に表示された表示状態が予め設定された表示状態条件に合致したか否かの判定を行う対象物表示状態判定機能と、
    前記映像対象物の表示状態が対象物表示状態判定機能により、予め設定された表示状態条件に合致したと判定された場合に、前記映像対象物を検索対象物として、当該検索対象物にかかる対象物情報について前記ネットワーク回線を介しての検索を行う対象物情報検索機能と、
    前記対象物情報検索機能により検索し取得された前記対象物情報を前記出力画面に対して表示する対象物情報出力制御機能と、
    を前記対象物情報表示装置の備えたコンピュータに実行させることを特徴とする対象物情報表示プログラム。

Images