JP2013037606A

JP2013037606A - 情報端末、情報提供システム及び情報提供方法

Info

Publication number: JP2013037606A
Application number: JP2011174673A
Authority: JP
Inventors: Tatsuya Kobayashi; 達也小林; Haruhisa Kato; 晴久加藤; Akio Yoneyama; 暁夫米山
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2011-08-10
Filing date: 2011-08-10
Publication date: 2013-02-21
Anticipated expiration: 2031-08-10
Also published as: JP5709261B2

Abstract

【課題】カメラで連続的に撮影された現実空間の画像と重畳表示する付加情報の位置合わせを高速に行う情報端末を提供する。
【解決手段】情報端末は、カメラ画像を取得し、現在位置および撮影方向を示す姿勢情報を検出する。情報端末は、姿勢情報が一致する又は最も近い２次元画像と付加情報を、姿勢情報と紐付けて２次元画像と付加情報を記録するデータベース部から検索し、取得する。情報端末は、カメラ画像と２次元画像間の対応関係を計算し、対応関係を利用して付加情報の表示位置を修正して、付加情報をカメラ画像に重畳表示する。
【選択図】図１

Description

本発明は、カメラで撮影された画像に付加情報を重畳して表示する情報端末、情報提供システム及び情報提供方法に関するものである。

近年の携帯電話端末は多機能化が進んでおり、液晶モジュール、カメラモジュール、非接触ＩＣカードモジュール、ＷｉＦｉ通信モジュール、Ｂｌｕｅｔｏｏｔｈ通信モジュール、ＧＰＳモジュール、加速度センサモジュール、方位センサモジュール、角速度センサモジュールのようなデバイスが搭載されるようになっている。

ＧＰＳモジュールや方位センサモジュールを用いることで、カメラでキャプチャーされた風景が何の風景であるかがある程度予測できるようになり、現実空間の映像をコンピュータで処理して更なる情報を付加する拡張現実感（ＡＲ）技術がカメラ付き携帯電話端末上で実用化されるようになっている。

特許文献１には、センサによって検出されたカメラの位置、姿勢、角度に基づいてＡＲ情報の表示位置を決定し、実空間の映像に重畳して画面表示するとともに、センサから検出されたカメラ部の姿勢、角度の変位量に基づいてＡＲ情報の表示位置を効率的に更新する技術が開示されている。

また特許文献２には、通信ネットワークを介してサービスプロバイダから現在位置の周辺の３次元構築物データを含む地図情報を取得し、カメラで撮影された画像と方位センサで検出された方位にある構築物データを比較することで、カメラに映った構築物の特定を行う技術が開示されている。

また特許文献３には、カメラ画像から抽出した画像情報、センサから取得した端末の位置、方向の情報をクエリとしてデータベースを検索する技術が開示されている。

特開２０１０−２３８０９６号公報特開２００６−１１９７９７号公報特開２０１０−１１８０１９号公報

カメラで撮影された画像に付加情報を重畳して表示するＡＲ技術では、付加情報を現実空間の適切な位置に重畳することが必要である。

しかしながら、特許文献１に記載の従来技術では、ＧＰＳセンサや方位センサ、加速度センサによってカメラの位置や姿勢を決定するため、各センサの取得する情報に誤差が含まれた場合にカメラで撮影された現実空間の画像と付加情報の表示位置にずれが生じる。例えばカメラに映った特定の店の看板や交通標識を対象に付加情報を重畳する場合では、前記の位置ずれによって対象が変わってしまう可能性があり、利便性が低下してしまうという問題点があった。

また、特許文献２に記載の従来技術は、カメラ画像と３次元構築物データの画像情報を比較することによって、現実空間の画像と付加情報の表示位置を正確に合わせることができるが、３次元構築物データの処理や画像比較の際の特徴点の抽出・比較といった画像認識処理は情報端末にとって負荷が大きいという問題点があった。

特許文献３に記載の従来技術は、カメラ画像から抽出した３次元特徴点を検索と位置合わせに使用するため、付加情報を正確な位置に重畳することが可能であるが、３次元特徴点の計算と照合の処理負荷が大きいという問題点があった。

そこで、本発明は上述の課題に鑑みてなされたものであり、カメラで連続的に撮影された現実空間の画像と重畳表示する付加情報の位置合わせを高速に行う情報端末、情報提供システム及び情報提供方法を提供することを目的とする。

上記目的を実現するため本発明による情報端末は、カメラ画像を取得する撮像手段と、情報端末の現在位置および撮影方向を示す姿勢情報を検出する姿勢情報取得手段と、姿勢情報と紐付けて２次元画像と付加情報を記録し、前記姿勢情報取得手段が取得した姿勢情報と一致する又は最も近い２次元画像と付加情報を検索するデータベース部と、前記カメラ画像と前記２次元画像間の対応関係を計算する照合手段と、前記対応関係を利用して前記付加情報の表示位置を修正して、前記付加情報を前記カメラ画像に重畳表示する表示制御手段とを備える。

また、前記照合手段が、前記カメラ画像と前記２次元画像から特徴点を検出し、該特徴点の対応関係から第１の変換行列を計算し、前記表示制御手段が、前記第１の変換行列を用いて前記付加情報の表示位置を修正することも好ましい。

また、前記データベース部が、前記姿勢情報取得手段が取得した姿勢情報と、データベース部に記録されている姿勢情報から、前記２次元画像を情報端末の視点に変換する第２の変換行列を計算し、前記照合手段が、前記第２の変換行列を用いて２次元画像の視点を変換してから、前記カメラ画像と前記２次元画像間の対応関係を計算することも好ましい。

また、前記姿勢情報取得手段は、情報端末と前記カメラ画像内の対象物との距離、および情報端末の撮影方向を示す姿勢情報を検出し、
前記データベース部が、前記撮影方向、前記距離、およびカメラの内部パラメータの情報から、前記第２の変換行列を計算することも好ましい。

また、前記情報端末は、前記カメラ画像を撮影する際の時間および／または天候を取得する手段をさらに備え、前記データベース部は、前記２次元画像と結びつけて、前記２次元画像の撮影時の時間および／または天候、並びに２次元画像の解像度および鮮明度である撮影条件を記録しており、前記データベース部は、前記姿勢情報に加えて、前記撮影条件が最も近い２次元画像を検索することも好ましい。

また、前記データベース部は、前記付加情報と紐付けて付加情報を表示する対象の形状情報を記録しており、前記データベース部は、前記形状情報によって前記撮影条件の近さの基準を変更するも好ましい。

また、前記データベース部は、３次元地図データを記録しており、前記データベース部は、前記３次元地図データを情報端末の姿勢から見た２次元画像に変換し、出力することも好ましい。

上記目的を実現するため本発明による情報提供システムは、カメラ画像を取得する撮像手段と、情報端末の現在位置および撮影方向を示す姿勢情報を検出する姿勢情報取得手段と、姿勢情報と紐付けて２次元画像と付加情報を記録し、前記姿勢情報取得手段が取得した姿勢情報と一致する又は最も近い２次元画像と付加情報を検索するデータベース部と、前記対応関係を利用して前記付加情報の表示位置を修正して、前記付加情報を前記カメラ画像に重畳表示する表示制御手段と、サービスプロバイダと通信する通信手段とを備える情報端末と、姿勢情報と紐付けて２次元画像と付加情報を記録し、前記姿勢情報取得手段が取得した姿勢情報と一致する又は最も近い２次元画像と付加情報を検索するデータベース部を備えるサービスプロバイダとを備え、前記情報端末のデータベース部は、前記サービスプロバイダのデータベース部の情報の一部を記録している。

また、前記情報端末のデータベース部は、情報端末の現在位置周辺の姿勢情報と紐付いた２次元画像と付加情報を記録しており、前記通信手段が、一定の時間間隔、または情報端末が一定距離移動した時、前記サービスプロバイダのデータベース部から新しい現在位置周辺の２次元画像と付加情報を取得し、前記情報端末のデータベース部の２次元画像と付加情報を更新することも好ましい。

また、前記情報端末が、情報端末の移動を考慮して、姿勢情報の差分が一定の範囲内に収まる複数の２次元画像と付加情報をまとめて、前記サービスプロバイダのデータベース部から取得して、前記情報端末のデータベース部に保存するも好ましい。

上記目的を実現するため本発明による情報提供方法は、カメラ画像を取得する撮像ステップと、情報端末の現在位置および撮影方向を示す姿勢情報を検出する姿勢情報取得ステップと、姿勢情報が一致する又は最も近い２次元画像と付加情報を、前記姿勢情報と紐付けて２次元画像と付加情報を記録するデータベース部から検索し、取得するステップと、前記カメラ画像と前記２次元画像間の対応関係を計算する照合ステップと、前記対応関係を利用して前記付加情報の表示位置を修正して、前記付加情報を前記カメラ画像に重畳表示する表示制御ステップとを有する。

本発明によれば、カメラで連続的に撮影された現実空間の画像とデータベースの画像の位置合わせを高速で行い、付加情報を正確な位置に重畳表示する情報端末、情報提供システム及び情報提供方法を提供することができる。

目標物の３次元モデルではなく２次元画像を取得することにより、通信量と情報端末の使用メモリを削減し、高速な処理が可能になる。さらに、姿勢情報を考慮した２次元画像を取得することで画像認識の認識率向上と負荷削減が可能になる。さらに、立体物の構造を考慮した２次元画像の選択により認識率の向上が可能になる。

本発明の第１の実施形態における情報端末の機能ブロック図を示す。本発明の第１の実施形態における情報端末の動作シーケンスを示す。本発明の第１の実施形態における座標系を示す。本発明の第２の実施形態における情報提供システムの構成を示した概念図である。

以下、本発明の実施形態について、図面を用いて、詳細に説明する。本発明における情報端末の実施の一形態として、携帯電話機を例に挙げて詳細に説明する。

本実施形態の情報端末１では、ユーザが情報端末１のカメラを現実空間内にかざすと、情報端末１がＧＰＳ衛星等で現在位置を取得し、方位センサモジュール等で方向を取得し、現在位置・撮影方向の情報を元にカメラで撮影された画像内に存在すると推測される目標物の２次元画像と付加情報を取得し、照合手段１４によって、２次元画像とカメラ画像の対応関係を取得し、この対応関係を利用して、付加情報をカメラ画像と合わせて画面に重畳表示する。

図１は、本発明の第１の実施形態における情報端末の機能ブロック図を示す。情報端末１は、カメラ等を用いてカメラ画像を取得する撮像部１１と、各種センサを用いて情報端末１の現在位置・撮影方向等の姿勢情報を検出する姿勢情報取得部１２と、姿勢情報と紐付けて２次元画像と付加情報を記録し、姿勢情報が一致する２次元画像と付加情報を検索するデータベース部１３と、カメラ画像と２次元画像の対応関係を計算する照合部１４と、この対応関係で付加情報の表示位置を修正して、付加情報をカメラ画像に重畳表示する表示制御部１５と、上記機能の制御や情報の受け渡しを行う制御部１６とを備える。

撮像部１１は、情報端末１に搭載されているカメラモジュールを利用して被写体カメラ画像を一定間隔で取得する。

姿勢情報取得部１２は、位置検出機能と方位検出機能を備えている。位置検出機能は、情報端末１に搭載されているＧＰＳモジュールやＷｉＦｉモジュールを利用して、ＧＰＳ衛星、ＷｉＦｉ基地局から信号を受信し、電波強度から現在位置の情報を特定する。位置情報は３次元空間内の任意の場所を原点とする３次元座標で表現する。また、ステレオカメラやその他情報端末１に搭載されている距離センサをさらに利用して目標物に対する位置関係を取得しても良い。方位検出機能は、情報端末１に搭載されている磁気センサ、加速度センサ等のセンサモジュールの情報を取得し、３次元空間内で情報端末１の撮影する方向を特定する。本実施形態では、撮影方向は３次元空間内の単位ベクトルで表現する。これらの情報端末の位置と撮影方向の情報をまとめて情報端末の姿勢情報と呼ぶ。

また、姿勢情報取得部１２は、情報端末１に搭載されているジャイロセンサモジュール等の角速度センサモジュールを利用して、情報端末１の撮影する方向の変化を取得することもできる。例えば情報端末１の撮影する方向がユーザの操作によって変化した場合、撮影する方向の変化の情報を利用することで、変化後の情報端末の姿勢情報を求めることが可能である。

データベース部１３は、個々の目標物の２次元画像又は３次元空間の風景を撮影した２次元地図画像を記録する。ここで、これらの画像をまとめて２次元画像と呼ぶ。この２次元画像は、姿勢情報と紐付けて記録され、さらに画像内の目標物に対する付加情報とその表示位置も同時に記録している。なお、データベース部１３は、情報端末１に搭載されているメモリモジュール（記録部）を利用して、２次元画像と付加情報（およびその表示位置）を姿勢情報と紐付けて記録している。

なお、ここで付加情報とは、例えば画面内の目標物に対する名称等を表すタグや広告、関連するＷＥＢページへのハイパーリンク、３次元ＣＧ等の２次元／３次元画像、動画、アニメーションであり、付加情報を目標物の位置に重畳表示し、利用者にＡＲサービスを提供することができる。ＡＲサービスとしては、特定の目標物を対象としたものではなく、ナビゲーション情報を道路に沿って重畳表示する等しても良いし、重畳表示に加えて音声や音楽を出力することも可能である。

また、データベース部１３は情報端末１の姿勢情報が一致する又は最も近い目標物の２次元画像と付加情報を検索し、制御部１６に入力する。姿勢情報が一致する２次元画像と付加情報が存在しなかった場合、最も近い位置情報を持つ２次元画像と付加情報と、姿勢情報間の対応関係を表す第２の変換行列とを制御部１６に返す。

照合部１４は、制御部１６から入力されたカメラ画像と２次元画像を比較することで、カメラ画像内の目標物の位置を特定する。第２の変換行列が入力された場合、照合部１４は、カメラ画像と２次元画像のどちらかを第２の変換行列によって変換する。照合部１４は、カメラ画像と２次元画像間の対応関係、変換後のカメラ画像と２次元画像間の対応関係、またはカメラ画像と変換後の２次元画像間の対応関係を表す第１の変換行列を計算し、制御部１６に入力する。

表示制御部１５は、情報端末１に搭載されている液晶ディスプレイや有機ＥＬディスプレイ等の表示装置を制御して、第１の変換行列および第２の変換行列を用いて付加情報の表示位置を修正し、制御部１６から入力されたカメラ画像に、目標物の付加情報を重畳して画面表示することでＡＲサービスを提供する。

制御部１６は、本発明の情報端末１の各機能の制御や情報の受け渡しを行う。なお、制御部１６は、操作部からユーザの付加情報に対する操作入力を受け取り、ブラウザの起動や動画・音楽プレーヤの起動／再生等、情報端末１の統括的な制御も行う。

図２は、本発明の第１の実施形態における情報端末の動作シーケンスを示す。
＜カメラ画像取得＞
撮像部１１は、情報端末１に搭載されているカメラモジュールを利用して被写体カメラ画像を一定間隔で取得する。撮影部１１は、取得したカメラ画像を制御部１６に入力する。

＜カメラ姿勢取得＞
姿勢情報取得部１２は、位置検出機能と方位検出機能により、姿勢情報（位置と方向）を検出し、検出された姿勢情報を制御部１６に入力する。制御部１６は、姿勢情報をデータベース部１３を出力する。

＜２次元画像選択＞
データベース部１３は、情報端末１の姿勢情報と紐付けて、２次元画像と付加情報（及びその表示位置）とを記録しており、制御部１６から姿勢情報の入力を受けて姿勢情報の一致する２次元画像と付加情報（及びその表示位置）を出力する。

データベース部１３には、多数の２次元画像が保存されるが、制御部１６から入力される姿勢情報に一致する画像が、存在しないこともある。この場合、カメラ姿勢が、姿勢情報と最も近い２次元画像を検索する。例えばある店の看板を認識して付加情報を表示する場合、データベース部１３が看板の東西南北の４方位から撮影された２次元画像を保有していたとすると、最も方位が近い看板の２次元画像を出力する。

また、データベース部１３は姿勢情報を所定の評価式に代入し、値が最も大きい２次元画像を取得してもよい。これにより、姿勢情報が一致する又は最も近い２次元画像を選択することができる。この評価式は例えば下記のようになる。
ｅ＝ｗ_ｚｅ_ｚ＋ｗ_ｒｅ_ｒｏｔ
ｅ_ｚは撮影地点の距離の近さを評価する値であり、式は例えば下記のようになる。
ｅ_ｚ＝１−２｜ｚ_ｄｂ−ｚ_{ｃａｍｅｒａ}｜／（ｚ_ｄｂ＋ｚ_{ｃａｍｅｒａ}）
ここで、ｚ_ｄｂとｚ_{ｃａｍｅｒａ}は、それぞれデータベース部１３の２次元画像とカメラ画像の姿勢情報に含まれるカメラと目標物の距離を表す。ｅ_ｒｏｔは角度の近さを評価する値であり、式は例えば下記のようになる。
ｅ_ｒｏｔ＝ｖ_ｄｂ・ｖ_{ｃａｍｅｒａ}
ここで、ｖ_ｄｂとｖ_{ｃａｍｅｒａ}はそれぞれデータベースの２次元画像とカメラ画像の姿勢情報に含まれる角度ベクトルを表す。ｗ_ｚとｗ_ｒは各評価基準の重みを表す。撮影距離の近さを重視したい場合はｗ_ｚをｗ_ｒより大きく設定し、撮影方向の近さを重視したい場合は逆にｗ_ｒを大きく設定すれば良い。本実施形態における評価式では、目標物がカメラ画像の中心に存在すると仮定したため、位置情報から撮影距離の情報を用いたが、そのような仮定を用いずに２枚の画像の重なりの度合いを用いて評価することも可能である。
＜２次元画像変換＞

データベース部１３は、姿勢情報が一致する２次元画像と付加情報が存在しなかった場合、最も近い姿勢情報を持つ２次元画像と、カメラ画像間の対応関係を表す第２の変換行列を制御部１６に返す。画像間の対応関係は姿勢情報間の対応関係から計算できる。ここで姿勢情報間の対応関係は目標物に対するカメラの位置と方向の変化分を表す。カメラの位置の変化はカメラの位置を表す３次元座標の差分で表すことができる。カメラの方向を３次元ベクトルで表現した場合、カメラの方向の変化分は３次元ベクトルの回転方向と回転量で表現することができ、例えば回転方向は３次元ベクトルの外積で、回転量は３次元ベクトルの内積で求める。本実施形態では、方向の変化分である回転方向と回転量の積をロドリゲス変換により回転行列

に変換し、位置の変化ベクトル

と合わせて姿勢情報の対応関係を表す行列Ｗ＝［Ｒ｜ｔ］を計算する。第２の変換行列はカメラの内部パラメータで構成される行列Ａ，Ｂとの積ＡＷＢで表す。

制御部１６は、検索された２次元画像、この画像の付加情報（及びその表示位置）、および計算された第２の変換行列を照合部１４に出力する。

＜表示位置決定＞
データベース部１３からの２次元画像は、第２の変換行列によって、姿勢情報が一致する画像に変換することができる。

姿勢情報取得部１２が、姿勢情報を誤差なく取得し、データベース部１３に姿勢情報が完全に一致する２次元画像が記録されていた場合、撮影したカメラ画像と受信した２次元画像は一致することになる。また、一致する２次元画像が無い場合でも姿勢情報に誤差が無ければ第２の変換行列のみによって付加情報の表示位置を正確な位置に修正することができる。この場合、位置ずれを修正する画像認識技術は不要となり、認識速度を向上させることができる。

また、姿勢情報取得部１２が取得した姿勢情報に、誤差が含まれている場合、撮影したカメラ画像と、２次元画像間にずれが生じる。この場合、照合部１４は第２の変換行列をさらに補正する第１の変換行列を計算することによって付加情報の表示位置を正確に修正することができる。照合部１４は、カメラ画像と変換後の２次元画像の双方から画像内の特徴点を抽出し、抽出された特徴点の情報を用いて特徴点の対応付け（マッチング）を行う。次にマッチングの結果に基づいて、付加情報の表示位置を修正するための第１の変換行列を求める。

特徴点の対応関係を用いて付加情報の表示位置を修正するための第１の変換行列を計算する手法はＡＲ技術の分野で一般的に用いられている。特徴点に基づいた比較を行うことで、画像内の障害物に比較的影響されない認識が可能になる。本発明の情報端末では、照合部１４が第２の変換行列を用いてカメラ画像と２次元画像のどちらかを視点変換した上で第１の変換行列を計算することで、従来のＡＲ技術における画像認識の負荷を低減し、第１の変換行列を高速に計算することができる。

本実施形態の照合部１４が行う第２の変換行列を用いた視点変換について具体的に式を用いて説明する。本実施形態では、カメラの焦点位置を原点、カメラの光軸をＺ軸とした座標系（図３）を用いて視点変換を行う。

２次元画像を視点変換する場合、カメラの焦点距離とｘ軸とｙ軸の画素サイズの積をそれぞれｆ_ｘ，ｆ_ｙとすると、２次元画像はピクセル座標の同次表現

から変換後のピクセル座標の同次表現

に以下の式で変換することができる。

ここでＨが２次元画像を変換する第２の変換行列となる。なお、行列Ｗ’、Ａ、Ｂは、

と表す。
ここで、カメラ画像と２次元画像の双方において対象物は画像の中央に位置していると仮定することで、位置の変化ベクトルtをz座標（つまり目標物と焦点の距離s）のみを持ったベクトルとして扱うことができる。
つまり、ｔ_ｚ＝ｓ、ｔ_ｘ＝０、ｔ_ｙ＝０となる。こうすることにより、対象物との距離を取得するセンサのみによって第２の変換行列を計算することができる。
本実施例では、カメラの内部パラメータｆ_ｘ、ｆ_ｙ、ｃ_ｘ、ｃ_ｙはカメラキャリブレーションによって予め求めておく。

＜表示画像作成・表示＞
制御部１６は、第１の変換行列、第２の変換行列、カメラ画像、その付加情報を表示制御部１５に入力し、表示制御部１５が、付加情報を第１の変換行列と第２の変換行列の積により表示位置を補正することで、付加情報をカメラ画像内の適切な位置に重畳表示することができる。第１の変換行列は、第２の変換行列による付加情報の表示位置の修正をさらに正確に行うためのものであり、第１の変換行列を用いることによって姿勢情報に誤差が含まれていた場合でも正確な位置に付加情報を表示することができる。

図４は、本発明の第２の実施形態における情報提供システムの構成を示した概念図である。本情報提供システムは、情報端末１、通信網２、および情報端末１に情報を提供するサービスプロバイダ３を備える。

本実施形態の情報提供システムでは、ユーザが情報端末１のカメラを現実空間内にかざすと、情報端末１がＧＰＳ衛星等で現在位置を取得し、方位センサモジュール等で方向を取得し、インターネットのような通信網２を介してサービスプロバイダ３と通信を行うことで、現在位置・撮影方向の情報を元にカメラで撮影された画像内に存在すると推測される目標物の２次元画像と付加情報を取得し、照合手段１４によって、２次元画像とカメラ画像の対応関係を取得し、この対応関係を利用して、付加情報をカメラ画像と合わせて画面に重畳表示する。

本実施形態において、情報端末１は、通信網２を経由してサービスプロバイダ３と通信する通信部１７をさらに備える。

通信部１７は、制御部１６の制御によって、情報端末１に搭載されている通信モジュールを利用して、サービスプロバイダ３のデータベースと通信を行い、データベース部１３の情報を更新する。データベース部１３が全ての２次元画像を記録する場合、通信部１７による情報の更新の必要性は低いが、情報端末１のメモリのサイズと、サービスプロバイダ３のデータベースが常に更新されていく利用形態を想定する場合、データベース部１３には、例えば現在位置周辺の２次元画像のみ記録することでメモリサイズを必要最小限に抑え、一定時間間隔でサービスプロバイダ３のデータベースから新しい現在位置周辺の２次元画像を取得してデータベース部１３の情報を更新することが望ましい。

サービスプロバイダ３は、個々の目標物の２次元画像（２次元目標物画像）又は３次元空間の風景を撮影した２次元地図画像を記録するデータベース部３１を備える。この２次元画像は、姿勢情報と紐付けて記録され、さらに画像内の目標物に対する付加情報とその表示位置も同時に記録している。データベース部３１は、３次元地図や地図内の目標物の画像データを提供する地図データベースと、画面に重畳表示する付加情報を提供するコンテンツデータベースを有している。サービスプロバイダ３は、通信網２を介して情報端末１に端末の位置、方向に則した情報を提供する。地図データベースとコンテンツデータベースは、同一のサービスプロバイダ３が提供する必要はなく、別々のサービスプロバイダ３が提供しても良いし、コンテンツデータベースは複数のサービスプロバイダ３が提供しても良いが、その場合、地図データベースサーバ内の目標物の付加情報をどのサービスプロバイダが提供するかを指定するデータベースを情報端末１が保持するか、地図データベースを提供するサービスプロバイダ３が情報端末１に通知する必要がある。

また、情報端末１がデータベース部１３を持たず、２次元画像や付加情報を全て通信部１７経由でサービスプロバイダ３のデータベース部３１から取得することも可能である。その場合、通信部１７はデータベース部３１に対して制御部１６から入力された姿勢情報を送信し、姿勢情報に合った２次元画像とその付加情報を受信する。通信部１７は受信した２次元画像とその付加情報を制御部１６に入力する。

また、データベース部３１が２次元画像を多く保有している場合、データベース部１３は、最も姿勢情報の近い２次元画像に加えて、カメラが移動することも考慮して、姿勢情報の差分が一定の範囲内に収まる２次元画像と姿勢情報を複数さらに取得しても良い。そうすることで、姿勢情報が変化した場合でも２次元画像を再度取得せずに目標物の位置を特定することができる。

なお、上記第１および第２の実施形態では、２次元画像は姿勢情報と紐付けられていたが、第３の実施形態では、データベース部１３およびデータベース部３１は、２次元画像と結びつけて保有する情報として、姿勢情報のほかに、撮影時の時間や天候、画像の解像度や鮮明度といった情報を保有することができる。本実施形態では、情報端末１は、撮影時の時間や天候を取得する手段をさらに備える。この場合、データベース部１３およびデータベース部３１は、撮影時の時間や天候、画像の解像度や鮮明度を近い２次元画像を選択することで、カメラ画像と２次元画像間の明度差や解像度の差を減らし、照合部１４での認識処理の負荷を削減することができる。

この場合、データベース部１３およびデータベース部３１は姿勢情報に加えてこれらの情報を、所定の評価式に代入し、値が最も大きい２次元画像を取得する。これにより、撮影条件が最も近い２次元画像を選択することができる。撮影時の時間や天候の近さを用いる場合、例えば評価式は下記のようになる。
ｅ＝ｗ_ｚｅ_ｚ＋ｗ_ｒｅ_ｒｏｔ＋ｗ_ｔｅ_ｔｉｍｅ＋ｗ_ｗｅ_{ｗｅａｔｈｅｒ}
ここで、ｅ_ｔｉｍｅは撮影時の時間帯の近さを表す値であり、例えば下記のようになる。
ｅ_ｔｉｍｅ＝｜｜ｔ_ｄｂ−ｔ_{ｃａｍｅｒａ}｜−１２｜／６−１
ここで、ｔ_ｄｂとｔ_{ｃａｍｅｒａ}はそれぞれデータベースの２次元画像とカメラ画像の撮影時間を表す。また、ｅ_{ｗｈｅａｔｈｅｒ}は撮影時の天候の近さを表す値であり、同じ天候の際に１、異なる天候の際に−１となるようにしても良い。ここで各評価基準の重みづけを変えることで撮影条件の近さの基準を変えることが可能である。

本発明の第４の実施形態では、データベース部１３およびデータベース部３１はさらに、目標物の形状を記録する。この場合、目標物の形状によって撮影条件の近さの基準を変えることで立体物の形状に合わせた画像認識が可能になる。例えば、看板や標識等主に平面で構成されている立体物の場合、撮影方向が多少ずれていても画像を透視変換することで補正することができるが、電柱広告等の円筒状の立体物、石像や銅像等の立体像、木や山等天然の立体物のような曲面で構成されている立体物の場合は撮影方向のずれを正確に補正することができない。データベース部１３およびデータベース部３１は曲面で構成される立体物が目的物の場合は姿勢情報の角度の重みづけを大きくすることで角度の近さを重視して２次元画像を選択することができる。

ここまでの説明ではデータベース部１３およびデータベース部３１が、２次元画像を多数保有している場合を説明してきたが、データベースとして保有する情報はこれに限ったものではない。例えばデータベースが３次元地図データを保有しており、受信した端末の姿勢に合わせて３次元地図データを２次元画像に変換した画像を情報端末１に送信しても良い。３次元地図データそのものを送信した場合、情報端末１の処理負荷が大きくなってしまうが、情報端末１の姿勢を考慮した２次元画像のみ（またはカメラの移動を考慮した複数の２次元画像やそれを合成した一枚のパノラマ画像）を送信することで、通信の高速化と処理負荷の軽減が可能になる。この場合、データベースは変換した２次元画像に加えて、２次元画像内に含まれる付加情報を表示することのできる目標物を指定して送信する必要がある。

また、上記実施形態では、データベース部１３及びデータベース部３１は２次元画像を記録していた。２次元画像の代わりに、２次元画像から予め抽出した特徴点を姿勢情報と紐付けて記録することも可能である。この場合、データベース部１３及びデータベース部３１は、姿勢情報が一致する又は最も近い特徴点と付加情報を検索し、制御部１６に入力する。姿勢情報が一致する特徴点と付加情報が存在しなかった場合、最も近い位置情報を持つ特徴点と付加情報と、姿勢情報間の対応関係を表す第２の変換行列とを制御部１６に返す。制御部１６は、カメラ画像、特徴点、および第２の変換行列を照合部１４に入力する。照合部１４は、カメラ画像を第２の変換行列で変換し、変換したカメラ画像から特徴点を抽出し、これを入力された特徴点と比較することで第１の変換行列を求め、制御部１６に出力する。

なお、特徴点に基づいた画像認識では、カメラと被写体間の距離や撮影方向の違いによって生じる、被写体の画像のサイズの変化や回転、透視変換による変形に対応した手法が提案されているが、これらに対応することによって計算量や使用メモリが増大する。本実施形態における情報端末１では、カメラの姿勢を考慮して視点変換した２次元画像を使用するため、画像認識する画像間のサイズの変化や回転、変形を抑えることができ、計算量や使用メモリを削減することが可能になる。

なお、上記実施形態では、カメラ画像に重畳していたが、重畳する対象はカメラ画像に限ったものではなく、現実空間に付加情報を投影しても良い。また、ヘッドマウントディスプレイ（ＨＭＤ）に設置した透過（透明）ディスプレイに付加情報を表示し、実際の視界に重畳表示することも可能である。この場合、本発明における情報端末の構成は、姿勢情報を取得する手段とデータベース、姿勢情報をデータベースから検索し、一致する付加情報を取得する制御手段と、付加情報を表示する表示制御手段となる。

また、以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様および変更態様で実施することができる。従って本発明の範囲は特許請求の範囲およびその均等範囲によってのみ規定されるものである。

１情報端末
２通信網
３サービスプロバイダ
１１撮像部
１２姿勢情報取得部
１３データベース部
１４照合部
１５表示制御部
１６制御部
１７通信部
３１データベース部

Claims

カメラ画像を取得する撮像手段と、
情報端末の現在位置および撮影方向を示す姿勢情報を検出する姿勢情報取得手段と、
姿勢情報と紐付けて２次元画像と付加情報を記録し、前記姿勢情報取得手段が取得した姿勢情報と一致する又は最も近い２次元画像と付加情報を検索するデータベース部と、
前記カメラ画像と前記２次元画像間の対応関係を計算する照合手段と、
前記対応関係を利用して前記付加情報の表示位置を修正して、前記付加情報を前記カメラ画像に重畳表示する表示制御手段と、
を備えることを特徴とする情報端末。
前記照合手段が、前記カメラ画像と前記２次元画像から特徴点を検出し、該特徴点の対応関係から第１の変換行列を計算し、
前記表示制御手段が、前記第１の変換行列を用いて前記付加情報の表示位置を修正することを特徴とする請求項１に記載の情報端末。
前記データベース部が、前記姿勢情報取得手段が取得した姿勢情報と、データベース部に記録されている姿勢情報から、前記２次元画像を情報端末の視点に変換する第２の変換行列を計算し、
前記照合手段が、前記第２の変換行列を用いて２次元画像の視点を変換してから、前記カメラ画像と前記２次元画像間の対応関係を計算することを特徴とする請求項１または２に記載の情報端末。
前記姿勢情報取得手段は、情報端末と前記カメラ画像内の対象物との距離、および情報端末の撮影方向を示す姿勢情報を検出し、
前記データベース部が、前記撮影方向、前記距離、およびカメラの内部パラメータの情報から、前記第２の変換行列を計算することを特徴とする請求項３に記載の情報端末。
前記情報端末は、前記カメラ画像を撮影する際の時間および／または天候を取得する手段をさらに備え、
前記データベース部は、前記２次元画像と結びつけて、前記２次元画像の撮影時の時間および／または天候、並びに２次元画像の解像度および鮮明度である撮影条件を記録しており、
前記データベース部は、前記姿勢情報に加えて、前記撮影条件が最も近い２次元画像を検索することを特徴とする請求項１から４のいずれか１項に記載の情報端末。
前記データベース部は、前記付加情報と紐付けて付加情報を表示する対象の形状情報を記録しており、
前記データベース部は、前記形状情報によって前記撮影条件の近さの基準を変更することを特徴とする請求項５に記載の情報端末。
前記データベース部は、３次元地図データを記録しており、
前記データベース部は、前記３次元地図データを情報端末の姿勢から見た２次元画像に変換し、出力することを特徴とする請求項１から６のいずれか１項に記載の情報端末。
カメラ画像を取得する撮像手段と、
情報端末の現在位置および撮影方向を示す姿勢情報を検出する姿勢情報取得手段と、
姿勢情報と紐付けて２次元画像と付加情報を記録し、前記姿勢情報取得手段が取得した姿勢情報と一致する又は最も近い２次元画像と付加情報を検索するデータベース部と、
前記カメラ画像と前記２次元画像間の対応関係を計算する照合手段と、
前記対応関係を利用して前記付加情報の表示位置を修正して、前記付加情報を前記カメラ画像に重畳表示する表示制御手段と、
サービスプロバイダと通信する通信手段と、
を備える情報端末と、
姿勢情報と紐付けて２次元画像と付加情報を記録し、前記姿勢情報取得手段が取得した姿勢情報と一致する又は最も近い２次元画像と付加情報を検索するデータベース部
を備えるサービスプロバイダと、
を備え、前記情報端末のデータベース部は、前記サービスプロバイダのデータベース部の情報の一部を記録していることを特徴とする情報提供システム。
前記情報端末のデータベース部は、情報端末の現在位置周辺の姿勢情報と紐付いた２次元画像と付加情報を記録しており、
前記通信手段が、一定の時間間隔、または情報端末が一定距離移動した時、前記サービスプロバイダのデータベース部から新しい現在位置周辺の２次元画像と付加情報を取得し、前記情報端末のデータベース部の２次元画像と付加情報を更新することを特徴とする請求項８に記載の情報提供システム。
前記情報端末が、情報端末の移動を考慮して、姿勢情報の差分が一定の範囲内に収まる複数の２次元画像と付加情報をまとめて、前記サービスプロバイダのデータベース部から取得して、前記情報端末のデータベース部に保存することを特徴とする請求項８または９に記載の情報提供システム。
カメラ画像を取得する撮像ステップと、
情報端末の現在位置および撮影方向を示す姿勢情報を検出する姿勢情報取得ステップと、
姿勢情報が一致する又は最も近い２次元画像と付加情報を、前記姿勢情報と紐付けて２次元画像と付加情報を記録するデータベース部から検索し、取得するステップと、
前記カメラ画像と前記２次元画像間の対応関係を計算する照合ステップと、
前記対応関係を利用して前記付加情報の表示位置を修正して、前記付加情報を前記カメラ画像に重畳表示する表示制御ステップと、
を有することを特徴とする情報提供方法。