JP2012038153A - 周囲情報検索装置及び周囲情報検索方法 - Google Patents

Abstract

【課題】端末装置搭載のカメラを常に被写体に向けた状態で操作する必要がない周辺情報検索装置を提供する。
【解決手段】画像情報を取得する撮影手段と、画像を撮影した時の、自身の位置情報、撮影方向情報、画角情報をそれぞれ取得する測位手段、方向測定手段、画角情報取得手段と、前記画像情報、前記位置情報、前記撮影方向情報、前記画角情報を含む情報の蓄積、処理を行う情報処理手段と、前記画像情報を表示する画像表示手段と、を有し、前記情報処理手段は、画像を撮影した時に取得した前記位置情報、前記撮影方向情報、前記画角情報から、当該画像の撮影画面に収まる方向範囲を決定し、当該方向範囲内に存在する対象物および当該対象物に付随するデータをデータベースから抽出し、蓄積した前記画像情報を前記画像表示手段に表示したときの当該画像において、当該対象物が位置する場所に対応させて抽出した当該対象物に付随するデータを表示する。
【選択図】 図１

Description

本発明は、周囲情報検索装置及び周囲情報検索方法に関し、特に撮影した画像を表示する画面により対象物に付随するデータを検索する周囲情報検索装置及び周囲情報検索方法に関する。

近年、携帯電話などの携帯通信端末の機能向上に伴い、カメラで撮像した画面上に被写体に関連する情報を重ねて表示するＡＲ（Augmented Reality：拡張現実感）技術を利用した周囲情報検索が容易に利用可能になってきている。

たとえば特許文献１には、装備したカメラで画像を入力しながら、端末装置の位置と向きから被写体とその見え方を特定し、当該被写体に関する付随情報の画像を、実際の映像に対応して合成した画像を表示する技術が記載されている。この技術は、端末装置に装備したＧＰＳ（Global Positioning System：全地球測位システム）等の測位装置と電子コンパス等の方位測定装置で取得した、位置情報と方位情報から被写体の所在を求め、登録された地理データと照合して、当該被写体を特定している。さらに当該地理データに登録されている、特定された被写体に関する付随データを、カメラ映像上に、画像としてリアルタイムで重ねて表示している。

このような技術により、ユーザは自分の周辺にある対象物についての情報を携帯端末の表示画面を通して取得することができる。

特許第４２９４０９３号公報

しかしながら特許文献１に記載したような技術は、端末装置に搭載されたカメラを常に被写体に向けた状態で使用し続けなければならず、ユーザにとって長時間の運用は負荷が大きく、また例えば交通量の多い路上では利用が憚られるというような問題があった。

本発明の目的は、上記の問題点を克服し、端末装置に搭載されたカメラを常に被写体に向けた状態で操作する必要がなく、ユーザの負担や使用上の制約を大幅に削減できる周囲情報検索装置および周囲情報検索方法を提供することである。

本発明の周囲情報検索装置は、画像を撮影し、画像情報を取得する撮影手段と、前記撮影手段が画像を撮影した時の、自身の位置情報、撮影方向情報、画角情報をそれぞれ取得する測位手段、方向測定手段、画角情報取得手段と、前記画像情報、前記自身の位置情報、前記撮影方向情報、前記画角情報を含む情報の蓄積、処理を行う情報処理手段と、蓄積した前記画像情報を表示する画像表示手段と、を有し、前記情報処理手段は、前記撮影手段が画像を撮影した時に取得し、蓄積した前記自身の位置情報、前記撮影方向情報、前記画角情報から、当該撮影された画像の撮影画面に収まる方向範囲を決定し、当該方向範囲内に存在する対象物および当該対象物に付随するデータをデータベースから抽出し、蓄積した前記画像情報を前記画像表示手段に表示したときの当該画像において、当該対象物が位置する場所に対応させて、抽出された当該対象物に付随するデータを表示することを特徴としている。

また本発明の周囲情報検索方法は、画像を撮影し、画像情報を取得する撮影手順と、画像を撮影した時の、自身の位置情報、撮影方向情報、画角情報をそれぞれ取得する測位手順、方向測定手順、画角情報取得手順と、前記画像情報、前記自身の位置情報、前記撮影方向情報、前記画角情報を含む情報の蓄積、処理を行う情報処理手順と、蓄積した前記画像情報を表示する画像表示手順と、を有し、前記撮影手順で画像を撮影した時に取得し、蓄積した前記自身の位置情報、前記撮影方向情報、前記画角情報から、当該撮影された画像の撮影画面に収まる方向範囲を決定し、当該方向範囲内に存在する対象物および当該対象物に付随するデータをデータベースから抽出し、蓄積した前記画像情報を前記画像表示手段に表示したときの当該画像において、当該対象物が位置する場所に対応させて、抽出された当該対象物に付随するデータを表示することを特徴としている。

本発明によれば、周囲情報の検索において、端末装置に搭載されたカメラを常に被写体に向けた状態で操作する必要がなく、ユーザの負担や使用上の制約を大幅に削減できる。

本発明の第１の実施の形態の周囲情報検索装置の構成を示すブロック図である。 本発明の第２の実施の形態を説明する模式図である。 本発明の第３の実施の形態を説明する模式図である。 本発明の第４の実施の形態を説明する模式図である。 本発明の第５の実施の形態を説明する模式図である。

次に本発明の実施の形態について、図面を参照して説明する。
（第１の実施の形態）
図１は、本発明の第１の実施の形態の周囲情報検索装置の構成を示すブロック図である。

周囲情報検索装置１は、画像を撮影し、画像情報を取得する撮影部２と、撮影部２が画像を撮影した時の、自身の位置情報、撮影方向情報、画角情報をそれぞれ取得する測位部５、方向測定部６、画角情報取得部７を有している。また周囲情報検索装置１は、画像情報、自身の位置情報、撮影方向情報、画角情報を含む情報の収集、蓄積、処理を行う情報処理部４と、蓄積された画像情報を表示する画像表示部３と、を有している。

情報処理部４は、撮影部２が画像を撮影した時に取得し、蓄積した自身の位置情報、撮影方向情報、画角情報から、当該撮影された画像の撮影画面に収まる方向範囲を決定し、当該方向範囲内に存在する対象物および当該対象物に付随するデータをデータベースから抽出する。

そして、蓄積した画像情報を画像表示部３に表示したときの当該画像において、当該対象物が位置する場所に対応させて、抽出された当該対象物に付随するデータを表示する。

この第１の実施の形態では、ユーザは撮影するときだけ周囲情報検索装置１を撮影方向に向け、画像情報を取得する。取得した当該画像情報は情報処理部４に蓄積されるので、その後ユーザは自分の手元での操作により、蓄積した画像を画像表示部３に表示させ、画像表示部３を見ながら必要な情報を得ることができる。このためユーザはカメラを常に被写体に向けた状態で使用し続ける必要がなくなり、長時間の運用によりユーザの負荷が大きくなることはなく、またユーザは撮影場所に留まっている必要がないので、交通量の多い路上等に長時間留まるような状況も避けることができる。

なおデータベースは周囲情報検索装置１側に付属して設置されていても、外部の遠隔地に設置されていてもよく、あるいは装置側と遠隔地との両方に設置されていてもよく、対象とする情報の種類や規模などによってその構成を決めることができる。
（第２の実施の形態）
次に本発明の第２の実施の形態について説明する。

第２の実施の形態では、周囲情報検索装置の基本的な構成は図１に示したものと同様であるが、画像表示部３にはタッチパネルによるポインティングデバイスを搭載した液晶ディスプレイを用いる。また撮影部２はＣＭＯＳイメージセンサによる電子カメラを用い、画角情報取得部７は撮影部２に用いる電子カメラの撮影時の画角の設定値を読み込む。測位部５は、例えばＧＰＳ等の測位装置により撮影時の自身の位置情報を取得し、方向測定部６は、例えば電子コンパス等の方向測定装置により撮影方向を取得する。なおデータベースは周囲情報検索装置１に付属して設置されるが、検索対象となる対象物およびその付随データについては、外部のデータベースより必要なデータが読み出され、周囲情報検索装置１に付属して設置したデータベースに蓄積される。

情報処理部４は、測位部５、方向測定部６、画角情報取得部７がそれぞれ取得した、自身の位置情報、撮影方向情報、画角情報から、撮影画面に収まる方向範囲を決める。そしてその方向範囲に存在する対象物および当該対象物に付随するデータを、データベースに蓄積したデータの中から検索して抽出する。ここで対象物に付随するデータとしては、名称、所在地、形状、テナント、業態、由緒、その他の特性情報があり、ユーザは必要に応じて取得する特性情報を選択することができる。

図２（ａ）、（ｂ）は第２の実施の形態の動作を説明する模式図である。図２（ａ）では、撮影部２で撮影し情報処理部４に蓄積した画像情報を画像表示部３に表示した状態で、表示されている対象物のうち、ポインティングデバイスで指定した特定の対象物に関してのみ、その付随データを表示するようにしている。また図２（ｂ）に示すように、画面上で特定の領域を指定し、当該指定した領域内に位置する対象物のみ、付随データを表示するようにしてもよい。

このように第２の実施の形態では、複数の対象物が検出された場合、余分な対象物のデータを表示させないようにしているため、表示が見やすくなり、また目当ての対象物のデータを効率よく閲覧できる利点がある。
（第３の実施の形態）
図３は本発明の第３の実施の形態を説明する模式図である。

第３の実施の形態の周囲情報検索装置は、基本的な構成、動作は第２の実施の形態に示したものと同じであるが、周囲情報検索装置としてカメラ付き携帯電話８が利用される。そしてこのカメラ付き携帯電話８は画像解析機能を有している。またカメラ付き携帯電話８は付属のデータベースを有し、検索対象となる対象物およびその付随データについては、外部のデータベースより必要なデータが読み出され、カメラ付き携帯電話８に付属のデータベースに登録される。

付属のデータベースに登録された対象物に付随するデータには、対象物の視認情報が含まれている。ここで視認情報とは、人物固有の顔、文字のロゴ、モニュメントの形状構成、絵画の構図や配色といった、その対象物を特徴づける視覚的情報であり、カメラ付き携帯電話８が有する画像解析機能により画像から抽出することができる。

図３に示すように、カメラ付き携帯電話８はまず、第２の実施の形態と同様に、任意の方向の画像を撮影した時に、当該画像の撮影画面に収まる方向範囲を決定する。

次にカメラ付き携帯電話８は、撮影した画像を解析し、画像中に写っている被写体を個別に認識して、それぞれの視認情報を抽出する。

次にカメラ付き携帯電話８の情報処理部は、付属のデータベースに登録した対象物のうち、撮影方向範囲に存在する対象物について、それぞれの視認情報と、カメラ付き携帯電話８が抽出した被写体の視認情報とを照合する。

そして登録された対象物と、視認情報が一致する被写体が画像中に存在する場合、当該対象物に付随するデータが、画面上の当該被写体に対応した位置に表示される。

なお複数の対象物が、それぞれ被写体と視認情報が一致する対象物として検出された場合、画面上でポインティングデバイス等により指定した特定の被写体のみの付随データを表示するようにしてもよい。また画面上で特定の領域を指定し、当該指定した領域内に位置する対象物のみ、付随データを表示するようにしてもよい。

この第３の実施の形態では、地理的データのみでなく、対象物の視覚的な特徴を検索条件にしているため、目当ての対象物の検出精度や効率が大幅に向上する利点がある。
（第４の実施の形態）
図４は本発明の第４の実施の形態を説明する模式図である。

第４の実施の形態は、周囲情報検索装置１が、ある方向の画像を撮影した時の、当該画像の方向に存在する、付属のデータベースに登録された対象物のうち、一定の距離範囲内に存在する対象物に付随するデータのみを表示する。すなわちデータベースに登録されている対象物は、その所在地が付随データとして登録されている。そしてこの所在地データを参照し、例えば図４における、距離ａより遠い場所にある対象物は排除する、あるいは距離ａから距離ｂまでの範囲にある対象物のデータのみを表示するというように、エリアを指定することができる。

ここで検索対象範囲を規定する距離（以下、検索距離という）については、画角情報によって指定することができる。例えば周囲情報検索装置１の撮影部２は、図４に示すように近傍を撮影するときには画角を広く、遠方を撮影する場合は画角を狭くすることになる。すなわち検索距離は画角に対応し、ユーザは目視している風景を撮影部２の電子カメラを介して画像表示部３に表示させ、画角を調整しながら検索距離を設定することができる。

この第４の実施の形態では、簡単な操作で検索距離を設定することができ、エリアで絞り込んで検索することができる利点がある。
（第５の実施の形態）
図５は本発明の第５の実施の形態を説明する模式図である。

上述した他の実施の形態と同様に、周囲情報検索装置１は、まずある方向の画像を撮影した時に自身の位置情報、撮影方向情報、画角情報を取得し、これらの情報から当該画像の撮影画面に収まる方向範囲を決定する。なおこの撮影画像の画像情報は情報処理部４に蓄積され、また画像表示部３に表示される。

第５の実施の形態では次に、この方向範囲の３次元地図データを、インターネットを介して一般的に利用可能な３次元地図データ提供サイトよりダウンロードし、周囲情報検索装置１に付属のデータベースに取り込む。

そして図５に示すように、画像表示部３に表示した撮影画像に対し、データベースに取り込んだ３次元地図データの表示画面が、対応する画像構成物の位置、アングル、サイズが一致するように調整され画像表示部３上で重ねられる。すなわち撮影画像と３次元地図データ画面とは、当該画像を撮影した時に取得した自身の位置情報、撮影方向情報、画角情報に基づき、常に両者の対応関係が保たれた状態（データリンク状態）で重ねられるようにしている。また撮影画像に対して画像の拡大、縮小、スクロールといった操作が行われた場合、３次元地図データ画面も同様の拡大、縮小、スクロールがなされる。

なお実際には画面上に両者が重なって見えていると画像が見づらくなるので、画面表示上は撮影画面のみが見えるように設定されている。そして表示された撮影画面上で特定の対象物が指定されたときに、３次元地図データにおける対応する対象物に付随するデータが撮影画面上に表示される。

この第５の実施の形態では、周辺の対象物の付随データをデータベースに登録していない地域においても、一般に利用可能な３次元地図データとリンクさせることにより、対象物の付随データを得ることができる利点がある。

１ 周囲情報検索装置
２ 撮影部
３ 画像表示部
４ 情報処理部
５ 測位部
６ 方向測定部
７ 画角情報取得部
８ カメラ付き携帯電話

Claims (10)

1. 画像を撮影し、画像情報を取得する撮影手段と、
   前記撮影手段が画像を撮影した時の、自身の位置情報、撮影方向情報、画角情報をそれぞれ取得する測位手段、方向測定手段、画角情報取得手段と、
   前記画像情報、前記自身の位置情報、前記撮影方向情報、前記画角情報を含む情報の蓄積、処理を行う情報処理手段と、
   蓄積した前記画像情報を表示する画像表示手段と、を有し、
   前記情報処理手段は、前記撮影手段が画像を撮影した時に取得し、蓄積した前記自身の位置情報、前記撮影方向情報、前記画角情報から、当該撮影された画像の撮影画面に収まる方向範囲を決定し、当該方向範囲内に存在する対象物および当該対象物に付随するデータをデータベースから抽出し、
   蓄積した前記画像情報を前記画像表示手段に表示したときの当該画像において、当該対象物が位置する場所に対応させて、抽出された当該対象物に付随するデータを表示することを特徴とした、周囲情報検索装置。
2. 前記撮影手段が取得した画像を解析して抽出した画像中の対象物の視認情報を、データベースから抽出した対象物に付随する視認情報と照合し、視認情報が一致する対象物が検出された時に、画像中の当該対象物が表示されている位置に、当該対象物に付随するデータを対応させて表示することを特徴とした、請求項１に記載の周囲情報検索装置。
3. 前記画像表示手段に表示した画像中指定された特定領域に存在する対象物についてのみ付随データを表示することを特徴とする、請求項１または２に記載の周囲情報検索装置。
4. 前記画角情報に対応させて、対象物を検索する距離範囲を設定し、データベースから抽出した対象物のうち、設定された距離範囲内に存在する対象物に付随するデータを表示することを特徴とした、請求項１から３のいずれかに記載の周囲情報検索装置。
5. 前記方向範囲の３次元地図データをデータベースより抽出し、抽出した前記３次元地図データを、前記画像表示手段に表示した画像と対応させ、
   当該画像において任意の対象物が位置する場所を指定したときに、前記３次元地図データにおいて対応する当該対象物に付随するデータを表示することを特徴とした、請求項１から４のいずれかに記載の周囲情報検索装置。
6. 画像を撮影し、画像情報を取得する撮影手順と、
   画像を撮影した時の、自身の位置情報、撮影方向情報、画角情報をそれぞれ取得する測位手順、方向測定手順、画角情報取得手順と、
   前記画像情報、前記自身の位置情報、前記撮影方向情報、前記画角情報を含む情報の蓄積、処理を行う情報処理手順と、
   蓄積した前記画像情報を表示する画像表示手順と、を有し、
   前記撮影手順で画像を撮影した時に取得し、蓄積した前記自身の位置情報、前記撮影方向情報、前記画角情報から、当該撮影された画像の撮影画面に収まる方向範囲を決定し、当該方向範囲内に存在する対象物および当該対象物に付随するデータをデータベースから抽出し、
   蓄積した前記画像情報を表示したときの当該画像において、当該対象物が位置する場所に対応させて、抽出された当該対象物に付随するデータを表示することを特徴とした、周囲情報検索方法。
7. 前記撮影手順において取得した画像を解析して抽出した画像中の対象物の視認情報を、データベースから抽出した対象物に付随する視認情報と照合し、視認情報が一致する対象物が検出された時に、画像中の当該対象物が表示されている位置に、当該対象物に付随するデータを対応させて表示することを特徴とした、請求項６に記載の周囲情報検索方法。
8. 表示した画像中指定された特定領域に存在する対象物についてのみ付随データを表示することを特徴とする、請求項６または７に記載の周囲情報検索方法。
9. 前記画角情報に対応させて、対象物を検索する距離範囲を設定し、データベースから抽出した対象物のうち、設定された距離範囲内に存在する対象物に付随するデータを表示することを特徴とした、請求項６から８のいずれかに記載の周囲情報検索方法。
10. 前記方向範囲の３次元地図データをデータベースより抽出し、抽出した前記３次元地図データを、表示した画像と対応させ、
    当該画像において任意の対象物が位置する場所を指定したときに、前記３次元地図データにおいて対応する当該対象物に付随するデータを表示することを特徴とした、請求項６から９のいずれかに記載の周囲情報検索装置。

Images