JP2005115500A - 情報処理装置及び情報処理方法 - Google Patents

Abstract

【課題】 ＧＰＳやジャイロセンサーを用いることなく、ユーザの現在地と向きを正確に測定し、位置および向きに関連した情報を提示可能な装置を実現する。
【解決手段】 所定の位置に配置され、自身の位置が記述された位置情報マーカーをカメラ１３が撮影し、画像・映像キャプチャ部２が撮影された画像をキャプチャし、位置情報マーカー認識部３がキャプチャされた画像から位置情報マーカーの画像を切り出し、切り出した位置情報マーカーの画像からカメラ位置（マーカーとカメラとの距離）、角度（マーカーに対するカメラの角度）を判別するとともに、マーカーの記述を読み取り、情報獲得部４が読み取られたマーカーの記述からマーカーの位置に関連する情報を情報提示ＤＢ５から取得し、情報重畳部６がカメラ位置、角度に適合させて、取得された情報とキャプチャされた画像とを重畳し、画像・映像表示部７を介してディスプレイ１４に表示させる。
【選択図】 図１

Description

この発明は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）やジャイロセンサーを用いることなく、ユーザの現在地と向きを正確に測定し、位置および向きに関連した情報を提示可能な装置に関するものである。

・特開２００３−２８６６１号公報「帰路案内装置」
通路に沿う各地点に設置された位置標識から位置情報を経路順に読み取って記憶する装置である。ただし、位置標識の大きさ・傾きから位置標識までの距離・方向を画像から推定する構成となっていないため、たとえばカメラの映像上に３次元の位置関連情報（道案内の矢印など）を映像に合わせて合成することができない。

・特開２００３−１２１１９５号公報「目標位置探索装置、目標位置探索方法及びプログラム」
カメラの撮影方位、現在位置、撮影画角ならびに目標物の位置情報に基いて、撮影画像中の目標物の位置を特定し、撮影画像に重ねて表示する装置である。ただし、現在位置の取得にＧＰＳを、方向の推定に磁気センサなどの位置測位のための特別な装置を用いている。

・特開平１１−５３５８３号公報「景観ラベル利用型通信装置およびシステム」
カメラの位置、角度、焦点距離に関する情報と、地図情報とに基いて、画像中に存在する構造物のラベル情報を作成し、重畳して表示する装置である。ただし、「特開２００３−１２１１９５」同様、現在位置の取得にＧＰＳを、方向の推定に磁気センサなどの位置測位のための特別な装置を用いている。
特開２００３−２８６６１号公報 特開２００３−１２１１９５号公報 特開平１１−５３５８３号公報

従来のＧＰＳなどの測位装置を用いた情報提示装置は、ＧＰＳ衛星を捕捉するまで時間がかかり、かつ、ビルの谷間など衛星を捕捉することが困難な場所では正確な測位ができないという問題点があった。また、利用場所が屋外に限られることから、屋内でのナビゲーションができないという問題があった。

この発明は上記のような問題点を解決するためになされたもので、ＧＰＳやジャイロセンサーなどの特別な装置を用いずに利用者の現在地および向きを正確に測定し、かつ、屋内屋外を問わず利用可能とすることを目的とする。

本発明に係る情報処理装置は、
所定の形状を有し自身の位置が記述された位置情報マーカーを撮影可能な撮影装置と、接続可能な情報処理装置であって、
前記撮影装置が撮影した、位置情報マーカーの画像が含まれる撮影画像をキャプチャする画像キャプチャ部と、
前記画像キャプチャ部がキャプチャした撮影画像の中から位置情報マーカーの画像を抽出し、抽出した位置情報マーカーの画像の形状から位置情報マーカーと前記撮影装置との距離及び位置情報マーカーに対する前記撮影装置の角度の少なくともいずれかを判別するとともに、位置情報マーカーの記述を読み取るマーカー画像処理部とを有することを特徴とする。

本発明によれば、ＧＰＳやジャイロセンサーなどの特別な装置を用いずに利用者の現在地および向きを正確に測定し、利用者の現在地及び向きに関連した情報を提示することができ、また屋内屋外を問わず利用者の現在地及び向きを正確に測位し、利用者の現在地及び向きに関連した情報を提示することができる。

実施の形態１．
図１は本実施の形態に係る位置関連情報提示装置（情報処理装置）を示す構成図である。

図において、１は位置関連情報提示装置である。２は、カメラで撮影した画像や映像をキャプチャする画像・映像キャプチャ部である。３は、キャプチャした画像や映像から位置情報が記述されているマーカーを切り出し、マーカーに記述されている情報を認識し、さらに、カメラの撮影位置（カメラとマーカーとの距離）および角度（マーカーに対するカメラの角度）を求めるための位置情報マーカー認識部である。４は、位置情報マーカー認識部３で認識した位置情報を基に、その関連情報を取得する情報獲得部である。５は、情報獲得部４で獲得する情報を格納する提示情報ＤＢ（データベース）である。６はカメラの位置、角度に適合させて、情報獲得部４で獲得した情報をキャプチャ画像や映像に重畳して表示するための情報重畳部である。７は情報重畳部６で作成した画像あるいは映像を表示するための画像・映像表示部である。１３は画像や映像をキャプチャするためのカメラ、１４は情報を表示するためのディスプレイである。ここで、位置情報マーカーとは、所定の形状を有し、自身の位置が記述されたマーカーであり、例えば、図２の１６に示すマーカーである。本実施の形態では、位置情報マーカーが任意の位置、例えば店舗等の建物や美術館の作品の隣等に配置され、位置関連情報提供装置１のカメラ１３にてこの位置情報マーカーを撮影することを前提としている。

図１において、画像・映像キャプチャ部２は、画像キャプチャ部の例に相当し、位置情報マーカー認識部３は、マーカー画像処理部の例に相当し、情報獲得部４は、情報取得部の例に相当し、提示情報ＤＢ５は、表示情報データベースの例に相当し、情報重畳部６は、表示情報加工部の例に相当し、画像・映像表示部７は表示処理部の例に相当する。また、カメラ１３は撮影装置の例に相当し、ディスプレイ１４は表示装置の例に相当する。

位置情報マーカー認識部３はさらに、画像・映像キャプチャ部２でキャプチャした画像や映像から、位置情報マーカーの画像を切り出すためのマーカー切り出し部８、カメラの撮影位置や角度を認識するためのカメラ位置・角度認識部９、マーカーに記述された情報を認識するためのマーカー認識部１０から構成される。

情報重畳部６はさらに、情報獲得部４で獲得した情報をキャプチャ画像や映像に重畳するために画像化する重畳画像作成部１１と、重畳画像作成部１１で作成した重畳画像をキャプチャ画像や映像に重畳する画像重畳部１２から構成される。

なお、位置関連情報提示装置１は、図示していないが、例えばマイクロプロセッサ等のＣＰＵ、半導体メモリ等や磁気ディスク等の記録手段を有する計算機により実現することができる。記録手段には、位置関連情報提示装置１に含まれる各構成要素の機能を実現するプログラムが記録されており、ＣＰＵがこれらのプログラムを読み込むことにより位置関連情報提示装置１の動作を制御し、各構成要素の機能を実現することができる。
次に本発明の実施の形態１の動作を図２および図３を用いて説明する。

図２は本発明の実施の形態１の位置関連情報提示装置１の動作の一例を示した図である。図３は、動作を説明するためのフローチャートである。

本実施の形態では、例えば屋外および屋内の様々な場所に図２の１６に示すような位置情報マーカーが貼り付けられているとする。利用者は、本実施の形態に係る位置関連情報提示装置１が組み込まれた携帯電話やＰＤＡなどの情報機器１５を用いて任意の位置および方向から位置情報マーカー１６を撮影する。

利用者が位置情報マーカー１６を撮影すると、画像・映像キャプチャ部２でその画像をキャプチャし（ステップＳ１−１）、キャプチャした画像を位置情報マーカー認識部３に引き渡す。位置情報マーカー認識部３では、まずマーカー切り出し部８において画像中から位置情報マーカーの画像１７を探索し（ステップＳ１−２）、検出したマーカーの画像１７をキャプチャした画像から切り出す（ステップＳ１−３）。次に、カメラ位置・角度認識部においてカメラの位置および角度に応じて歪んだマーカー１８を、マーカー認識部１０において認識しやすいように、マーカー１８を正面から撮影した場合の状態を推定し、同時に情報重畳部６において情報を適切に重畳するために上記カメラ位置・角度を推定する。

まずカメラ位置・角度を推定するため、検出したマーカーの端点を求める（ステップＳ１−４）。そして、求めた端点の位置関係から３次元の幾何計算を行うことによりカメラの位置（マーカーとカメラとの距離）および角度（マーカーに対するカメラの角度）を求める（Ｓ１−５）。この情報は、射影行列と呼ばれる、３次元の物体を２次元の平面に投影するための幾何情報である。この情報を用いてマーカーを正面で撮影した際の状態を再現し、マーカー画像を認識するためにマーカー画像を正規化（マーカー上の１ドットが画像の１画素になるように拡大縮小する）する（ステップＳ１−６）。

以上で正規化したマーカー画像をマーカー認識部１０で認識し（マーカーの記述を読み取り）（ステップＳ１−７）、マーカーに記述された情報を基に情報獲得部４を用いて提示情報ＤＢ５から提示情報を取得し（ステップＳ１−８）、情報重畳部６で提示画像を作成し（ステップＳ１−９）、カメラ位置、角度に適合させて提示画像をキャプチャ画像と重畳し（ステップＳ１−１０）、ディスプレイ１４に表示する（ステップＳ１−１１）。

図１６及び図１７は、ディスプレイ１４に表示する情報の例であり、図１６では地図情報が表示され、図１７では道案内情報が表示されている。図１６の１４０は、位置関連情報提示装置１（カメラ付き情報機器）の利用者の位置を示す表示であり、位置情報マーカー認識部３で認識したカメラ位置・角度に基づいて利用者の位置、向きを表示している。また、図１７の道案内情報では、リアルタイムに利用者が見ている映像上に、位置情報マーカー認識部３で認識したカメラ位置・角度に基づいて道案内の矢印を表示している。また、美術館の作品の隣にマーカーが貼り付けられていれば、作品を説明するための情報や、店舗の陳列に貼り付けられていれば商品情報など、位置に関連するあらゆる情報を表示対象とすることができる。

次にマーカー切り出し部８の動作を図４および図５を用いて詳細に説明する。

図４は、マーカー切り出し部８の動作手順を説明するための図である。図５は動作を説明するためのフローチャートである。

本発明の実施の形態１では、位置情報マーカーは白黒で印刷された２次元バーコードを想定する。

マーカー切り出し部８では、まずマーカーを検出するためにキャプチャ画像２１を２値化する（ステップＳ２−１）。２値化の方法には、輝度の閾値を設定し、輝度値が閾値以下の画素を黒、それ以外を白とするものや、各画素の周辺画素の平均値を閾値とするものなど、画素を２値化可能な手段であればどれを用いてもよい。

画像を２値化した結果２２に対して、マーカーの端点を求めるために「３次元ビジョン」（徐 剛、辻 三郎著，１９９８年４月２０日発行，共立出版株式会社）のｐ．３４、ｐ．３６に記載のヘッセ行列あるいはＳＵＳＡＮオペレータなどのコーナー検出フィルタを適用し端点の候補を求める（ステップＳ２−２）。

上記コーナー検出フィルタを用いて検出した結果２３から、次にコーナーの位置の周囲に対してハフ変換処理を行い検出したコーナーを通る直線を検出する（ステップＳ２−３、ステップＳ２−４）。

ハフ変換とは、直線をρ＝ｘｃｏｓθ＋ｙｓｉｎθで表現し、上記２値化後のマーカー画像の座標値（ｘ、ｙ）を通る直線の（ρ、θ）の組合せをρとθのパラメータ空間上の座標とみなし、カウントするものである。もし、ある直線が存在する場合、その直線を表現するためのパラメータ（ρ、θ）におけるカウント数が多くなる。この性質を利用してρとθのパラメータ空間上の各座標に対するカウント数の極大点を求めれば、画像中の直線を検出することができる。

図４の２４は直線を検出した結果を示している。

次に、検出したコーナーの内、同じコーナーで交差する直線が２本以上存在するコーナーを選択する（ステップＳ２−５）。これは、マーカーが四角形であるため、マーカーの端点を通る直線は必ず２つ存在する。よって、上記条件でステップＳ２−２で検出した端点の候補を選別することができる。

以上で検出および選別したマーカーの端点に対して次の処理を行う（ステップＳ２−６）。

まず、現在注目している端点２５を通る２つの直線上に乗る別の端点２６、２７が存在するかを求める（ステップＳ２−７）。ここで、キャプチャ画像のノイズなどの影響により、マーカーの端点が正確にマーカーの稜辺に乗ることは困難であることから、ここでは、直線と点との距離が閾値以下でかつ着目している端点との距離が最も短いものを直線上に乗る端点であるとする。

マーカーは四角形であるため、１つの端点を通る２直線上に必ず点が必ず２点２６、２７存在する。よって２点が存在するか否かを判定し（ステップＳ２−８）、２点存在するのであれば次に検出した２点を通る別の２直線との交点にステップＳ２−５で検出した端点が存在するか否か、つまり、現在注目している端点と対角に存在する点２８であるか否かを判定し（ステップＳ２−９）、もし存在するのであれば、上記で求めた４点をマーカー上の端点であるとみなし、その外接矩形で画像を切り出す（ステップＳ２−１０）。最後に検出した４点を対象端点から除外する。

次にカメラ位置・角度認識部９の動作を図６〜図８を用いて詳細に説明する。

図６は、カメラで撮影された画像と３次元空間上の物体との関係を表す図である。図７は推定した角度の誤差を補正する処理を説明するための図である。図８はカメラ位置・角度認識部９の動作を説明するためのフローチャートである。

カメラで撮影された画像と３次元空間上のオブジェクトとの関係は図６のようになっている。図において２９は、マーカー切り出し部８で切り出したマーカー平面で、３０はカメラ画像平面、３１はカメラの設置位置を表す。

３次元空間上のマーカー平面２９の座標系における点（Ｘｆ、Ｙｆ、Ｚｆ）と、それに対応するカメラ座標系３０における点は次式の関係がある。

式１におけるＲとＴが回転成分と並進成分を表しており、これが、求めるカメラ位置と角度に等しい。

一方、カメラ座標系における３次元空間上の点とカメラ平面３０における２次元の点とは、次式に示す関係がある。

ここで、Ｐを含む行列は使用するカメラの透視投影行列であり、例えば「３次元ビジョン」（徐 剛、辻 三郎著，１９９８年４月２０日発行，共立出版株式会社）記載のカメラキャリブレーションにより予め求めることができる。

さて、マーカーの上下と左右の辺は平行している。この二組の平行した辺から矩形の３次元空間上の上下方向と左右方向の方向ベクトル（Ｘ軸、Ｙ軸）を求めることができる。

平行する辺のカメラ平面上における直線の方程式を

ａ₁ｘ＋ｂ₁ｙ＋ｃ₁＝０ （式３）
ａ₂ｘ＋ｂ₂ｙ＋ｃ₂＝０ （式４）

とすると、カメラ座標系３１における各直線を含む３次元の平面の方程式は次式であらわすことができる。

ａ₁Ｐ₁₁Ｘ_c＋（ａ₁Ｐ₁₂＋ｂ₁Ｐ₂₂）Ｙ_c＋（ａ₁Ｐ₁₃＋ｂ₁Ｐ₂₃＋ｃ₁）Ｚ_c＝０（式５）
ａ₂Ｐ₁₁Ｘ_c＋（ａ₂Ｐ₁₂＋ｂ₂Ｐ₂₂）Ｙ_c＋（ａ₂Ｐ₁₃＋ｂ₂Ｐ₂₃＋ｃ₂）Ｚ_c＝０（式６）

これら２つの平面の法線ベクトル（Ｘ、Ｙ、Ｚの係数）の外積を求めると上記方向ベクトルを求めることができる。

以上で、カメラ座標系３１における矩形のＸ軸、Ｙ軸に相当する方向ベクトルを求めることができるが、画像から得られる情報の誤差により、得られた方向ベクトルが図７に示すように直交していない場合がある。そこで、求めたベクトルをＳ１、Ｓ２としたときそのベクトルを基に直交ベクトルＶ１、Ｖ２を求める。

Ｚ軸方向のベクトルは、求めたＶ１とＶ２の外積から求められる。

この３つの方向ベクトルが式１における回転成分Ｒとなる。

回転成分が分かれば、２次元座標と３次元座標の対応点を式１と式２に代入することにより並進成分Ｔを求めることができる。なお、マーカー平面２９の座標系における点（Ｘｆ、Ｙｆ、Ｚｆ）をマーカーの端点とし、マーカーを正方形でかつ１辺の長さを予め決めておけば、４点（Ｘｆ、Ｙｆ、Ｚｆ）を事前に式１に与えることができる。

カメラ位置・角度認識部９では、マーカー切り出し部８で求めたマーカーの端点から式３および式４に示す各辺の直線パラメータ（方程式）を求め（ステップＳ３−１）、求めたパラメータを用い式５および式６を用いて、マーカーの３次元空間におけるＸ軸、Ｙ軸２９を求める（ステップＳ３−２）。そして前述の通り求めた軸が直交するように修正し、回転行列を求め（ステップＳ３−３）、さらに並進行列（ステップＳ３−４）を求める。

以上で求めた投影行列を用いて実際に３次元空間上のマーカーの端点をカメラ画像平面に投影したときの誤差に応じて投影行列を修正し（ステップＳ３−５、ステップＳ３−６）、誤差が閾値以下になったときの並進ベクトルおよび回転を求めそれをカメラの位置および角度とする（ステップＳ３−７）。

次にマーカー認識部１０の動作を図９〜図１１を用いて説明する。

図９は、マーカー認識部１０において撮影したマーカー画像を、正面から撮影したものになるように歪み補正をした結果を示したものである。図１０は、マーカーを認識しやすいように正規化した結果を示したものである。図１１は動作を説明するためのフローチャートである。

マーカー認識部１０では、マーカーを認識しやすいようにまず、カメラ位置・角度認識部９で求めた投影行列を用いて、マーカーを正面から撮影した画像を再現する。

マーカーの３次元座標とカメラで撮影されたマーカーの２次元座標の間には次式で示す関係がある。

ここでＰが求めた投影行列である。

よって、Ｐの逆行列を求め、それを両辺に左から掛け合わせれば、マーカー上のドットの３次元座標値がえられる。この３次元座標とは図６の２９で示したマーカー座標系であり、マーカー座標系における各ドットのＺ座標は０であることから、ここで求められる座標値は、マーカーを正面で撮影した時のドットの２次元座標（Ｘｆ、Ｙｆ）とみなすことができる。

よって、マーカー認識部１０では、まずカメラ位置・角度認識部９で求めた投影行列の逆行列を求め（ステップＳ４−１）、その行列を基にマーカーを正面から撮影した場合の画像を推定する（ステップＳ４−２）。例えば、図９に示す歪んだマーカー画像３６を正面から撮影した画像３７を推定することができる。

以上で推定した画像３７を、図１０に示すようにマーカーの１ドットが１画素となるように画像を拡大縮小し正規化する（ステップＳ４−３）。

最後に各ドットを読み取りマーカーに記述された情報を獲得する（ステップＳ４−４）。

例えばバーコードであった場合、このドットがビット情報を表すことになる。

なお、マーカーとして使用するものとして２次元バーコードでも良い。文字コードの場合は、文字認識処理を導入することによりマーカーを認識することができる。

次に、図１２を用いて情報重畳部６の動作を説明する。

図１２は情報重畳部６の動作を説明するためのフローチャートである。

情報重畳部６では、情報獲得部４で獲得した情報の種類を判断し（ステップＳ５−１）、もし情報が文字である場合は、重畳画像作成部１１において、文字を画像に変換する（ステップＳ５−２）。文字を画像に変換するためには、フォント情報を用いる。そして、文字上の画素を不透過、それ以外を透過となるように画素値を設定する。そして、画像重畳部１２において、上記で生成した文字画像の中心ををキャプチャ画像の中心に合わせ、不透過画素のみキャプチャ画像に重ねあわせる（ステップＳ５−４）。

情報が画像である場合、そのまま画像重畳部１２において各画素の透過・不透過情報を基にキャプチャ画像に重ね合わせる（ステップＳ５−４）。

情報が３次元モデルである場合、重畳画像作成部１１においてカメラ位置・角度認識部９で求めた投影行列を用いて３次元モデルをレンダリングし、重畳画像を作成する（ステップＳ５−３）。この重畳画像も、オブジェクト上の画素が不透過、背景が透過となるように画素値を設定する。そして、画像重畳部１２においてキャプチャ画像と重ね合わせを行う（ステップＳ５−４）。

以上の処理を行うことにより、図１６や図１７に示すようにリアルタイム映像に位置に関連した情報を表示することが可能となる。

本発明の実施の形態１によれば、以下に示す効果を得ることができる。

ＧＰＳやジャイロセンサーなどの特別な装置を用いることなく位置情報が獲得可能になる。

屋内および屋外を問わず利用可能になる。

マーカーの撮影位置・角度を認識することにより撮影映像に合わせて３次元情報も提示可能となる（道案内の矢印など）。

実施の形態２．
実施の形態１では、位置関連情報を装置に内蔵するようにしたものであったが、ネットワークを介して取得するようにしてもよい。

図１３は本発明の実施の形態２の位置関連情報提示装置である。図において４１はネットワーク上のサーバにアクセスするための通信部、４２は位置関連情報を提供する位置関連情報サーバ（表示情報保有装置）である。

次に図１４を用いて動作を説明する。図１４は本発明の実施の形態２の動作を説明するためのフローチャートである。

利用者が位置情報マーカーを撮影すると、画像・映像キャプチャ部２でその画像をキャプチャし（ステップＳ６−１）、キャプチャした画像を位置情報マーカー認識部３に引き渡す。位置情報マーカー認識部３では、まずマーカー切り出し部８においてキャプチャ画像中からマーカーの画像１７を探索し（ステップＳ６−２）、検出したマーカーの画像１７をキャプチャ画像から切り出す（ステップＳ６−３）。次に、カメラ位置・角度認識部においてカメラの位置および角度に応じて歪んだマーカーを、マーカー認識部１０において認識しやすいように、マーカーを正面から撮影した場合の状態を推定し、同時に情報重畳部６において情報を適切に重畳するために上記カメラ位置・角度を推定する。

まずカメラ位置・角度を推定するため、検出したマーカーの端点を求める（ステップＳ６−４）。そして、求めた端点の位置関係から３次元の幾何計算を行うことによりカメラの位置および角度を求める（ステップＳ６−５）。この情報は、射影行列と呼ばれる、３次元の物体を２次元の平面に投影するための幾何情報である。この情報を用いてマーカーを正面で撮影した際の状態を再現し、マーカー画像を認識するためにマーカー画像を正規化（マーカー上の１ドットが画像の１画素になるように拡大縮小する）する（ステップＳ６−６）。

以上で正規化したマーカー画像をマーカー認識部１０で認識し（ステップＳ６−７）、マーカーに記述された情報を取得する。ここまでの処理は、実施の形態１で説明した処理と同様である。

ここで、マーカーには情報を引き出すためのＩＤの他に、どのサーバにアクセスするかを示すアドレスが記述されているとする。

通信部４１では、マーカーに記述されたアドレスを基に位置関連情報サーバにアクセスし、マーカーに記述された情報ＩＤを基に関連情報を取得する（ステップＳ６−８、Ｓ６−９）。

そして、情報重畳部６で提示画像を作成し（ステップＳ６−１０）、提示画像をキャプチャ画像と重畳し（ステップＳ１−１１）、ディスプレイ１４に表示する（ステップＳ６−１２）。

以上のように、情報を内蔵することがないので、装置のリソースを節約することができ、かつ、マーカーに記述されたサーバアドレスに応じて様々な情報を自由に取得することが可能となる。

実施の形態３．
例えば、パンフレットに本発明で利用するマーカーを添付し、携帯端末でアニメーションなどの付加広告（商品情報）を見ることができる。

図１５に示すように、例えば車のパンフレットの場合、パンフレットに印刷された写真は静止しているが、同ページに印刷されたマーカー（商品情報取得マーカー）を携帯端末で写すことにより、動画像の広告を表示したりすることが可能となる。

具体的には、実施の形態２に示した手順と同様の手順にて実現可能であり、利用者がパンフレットに印刷されたマーカーを撮影すると、画像・映像キャプチャ部２でその画像をキャプチャし、キャプチャした画像を位置情報マーカー認識部３に引き渡す。位置情報マーカー認識部３では、まずマーカー切り出し部８において画像中からマーカーを探索し、検出したマーカーを画像から切り出す。次に、カメラ位置・角度認識部においてカメラの位置および角度に応じて歪んだマーカーを、マーカー認識部１０において認識しやすいように、マーカーを正面から撮影した場合の状態を推定し、マーカー画像を正規化した後、マーカー認識部１０がマーカー画像を認識し、マーカーに記述された情報を取得する。マーカーには情報を引き出すためのＩＤの他に、アクセスすべきサーバのアドレスが記述されているため、通信部４１がマーカーに記述されたアドレスを基に該当するサーバにアクセスし、マーカーに記述された情報ＩＤを基にアニメーションによる付加広告を取得し、ディスプレイ１４に表示する。

このように、本実施の形態によれば、パンフレット等に印刷されたマーカーの記述に基づいて商品の付加広告を容易に取得することができる。

ここで、実施の形態１〜３に示した位置関連情報提示装置の特徴を以下にて再言する。

実施の形態１記載の位置関連情報提示装置は、画像・映像キャプチャ部と位置情報マーカー認識部と情報獲得部と位置関連情報ＤＢと情報重畳部と画像映像表示部を備え、ＧＰＳやジャイロなどの特別な位置測位装置を用いるかわりに、矩形マーカーの歪み度を認識することにより利用者の位置情報と方向を正確に測位し、関連情報をキャプチャした画像や映像に合わせて重畳することを特徴とする。

実施の形態１記載の位置関連情報提示装置において、位置情報マーカー認識部は、コーナー検出処理と直線抽出処理を用いて画像中のマーカーを正確に抽出可能とするマーカー切り出し部を備えることを特徴とする。

実施の形態１記載の位置関連情報提示装置において、位置情報マーカー認識部は、切り出したマーカーの端点の座標からマーカーを撮影したカメラの位置や角度を正確に推定するカメラ位置・角度認識部を備えたことを特徴とする。

実施の形態１記載の位置関連情報提示装置において、位置情報マーカー認識部は、カメラの位置や角度の情報を基に、撮影されたマーカーの歪みを補正し、認識を容易にするマーカー認識部を備えたことを特徴とする。

実施の形態１記載の位置関連情報提示装置において、情報重畳部は、カメラの位置や角度の情報を基に、撮影した映像や画像中の構造物に合わせて、情報を重畳する重畳画像作成部を備えたことを特徴とする。

実施の形態２記載の位置関連情報提示装置は、通信部を備え、ネットワークを介して情報を獲得できるようにすることを特徴とする。

実施の形態３記載の位置関連情報提示装置は、例えば静止画広告の隣にマーカーを貼り付けることにより、端末を介して静止画に関連するアニメーションや動画の広告を見ることを可能とする。

実施の形態１に係る位置関連情報提示装置の構成例を示す図。 実施の形態１に係る位置関連情報提示装置の動作例を示す図。 実施の形態１に係る位置関連情報提示装置の動作例を示すフローチャート図。 実施の形態１に係るマーカー切り出し処理の例を示す図。 実施の形態１に係るマーカー切り出し部の動作例を示すフローチャート図。 カメラで撮影された画像と３次元空間上のオブジェクトとの関係を説明する図。 方向ベクトルが直交していない場合を示す図。 実施の形態１に係るカメラ位置・角度識別部の動作例を示すフローチャート図。 歪み補正の例を示す図。 正規化後のマーカーの例を示す図。 実施の形態１に係るマーカー認識部の動作例を示すフローチャート図。 実施の形態１に係る情報重畳部の動作例を示すフローチャート図。 実施の形態２に係る位置関連情報提示装置の構成例を示す図。 実施の形態２に係る位置関連情報提示装置の動作例を示すフローチャート図。 実施の形態３に係る位置関連情報提示装置の動作例を示す図。 実施の形態１においてディスプレイに表示される情報の例を示す図。 実施の形態１においてディスプレイに表示される情報の例を示す図。

符号の説明

１ 位置関連情報提示装置、２ 画像・映像キャプチャ部、３ 位置情報マーカー認識部、４ 情報獲得部、５ 提示情報ＤＢ、６ 情報重畳部、７ 画像・映像表示部、８ マーカー切り出し部、９ カメラ位置・角度認識部、１０ マーカー認識部、１１ 重畳画像作成部、１２ 画像重畳部、１３ カメラ、１４ ディスプレイ、３９ 通信部、４０ 位置関連情報サーバ。

Claims (13)

1. 所定の形状を有し自身の位置が記述された位置情報マーカーを撮影可能な撮影装置と、接続可能な情報処理装置であって、
   前記撮影装置が撮影した、位置情報マーカーの画像が含まれる撮影画像をキャプチャする画像キャプチャ部と、
   前記画像キャプチャ部がキャプチャした撮影画像の中から位置情報マーカーの画像を抽出し、抽出した位置情報マーカーの画像の形状から位置情報マーカーと前記撮影装置との距離及び位置情報マーカーに対する前記撮影装置の角度の少なくともいずれかを判別するとともに、位置情報マーカーの記述を読み取るマーカー画像処理部とを有することを特徴とする情報処理装置。
2. 前記情報処理装置は、所定の表示情報を表示可能な表示装置に接続可能であり、
   前記情報処理装置は、更に、
   前記マーカー画像処理部により読み取られた位置情報マーカーの記述に基づき、位置情報マーカーの位置に関連する表示情報を取得する情報取得部と、
   前記マーカー画像処理部により判別された位置情報マーカーと前記撮影装置との距離及び位置情報マーカーに対する前記撮影装置の角度の少なくともいずれかに基づいて、前記情報取得部により取得された表示情報を加工する表示情報加工部と、
   前記表示情報加工部により加工された表示情報を前記表示装置に出力する表示処理部とを有することを特徴とする請求項１に記載の情報処理装置。
3. 前記撮影装置は、矩形の位置情報マーカーを撮影可能であり、
   前記マーカー画像処理部は、
   前記画像キャプチャ部がキャプチャした撮影画像に含まれるコーナー部分を検出するコーナー検出処理、及び前記画像キャプチャ部がキャプチャした撮影画像に含まれる直線部分を検出する直線検出処理を行って、前記画像キャプチャ部がキャプチャした撮影画像の中から矩形の位置情報マーカーの画像を抽出することを特徴とする請求項１に記載の情報処理装置。
4. 前記撮影装置は、矩形の位置情報マーカーを撮影可能であり、
   前記マーカー画像処理部は、
   前記画像キャプチャ部がキャプチャした撮影画像の中から矩形の位置情報マーカーの画像を抽出するとともに、抽出した矩形の位置情報マーカーの画像について各端点の座標を求め、各端点の座標に基づき、位置情報マーカーと前記撮影装置との距離及び位置情報マーカーに対する前記撮影装置の角度の少なくともいずれかを判別することを特徴とする請求項１に記載の情報処理装置。
5. 前記マーカー画像処理部は、
   判別した位置情報マーカーと前記撮影装置との距離及び位置情報マーカーに対する前記撮影装置の角度の少なくともいずれかに基づき、位置情報マーカーの画像の歪みを補正し、歪み補正後の位置情報マーカーの画像から位置情報マーカーの記述を読み取ることを特徴とする請求項１に記載の情報処理装置。
6. 前記表示情報加工部は、
   前記情報取得部が取得した表示情報と前記画像キャプチャ部がキャプチャした撮影画像とを重畳して重畳表示情報を生成し、
   前記表示処理部は、前記表示情報加工部により生成された重畳表示情報を前記表示装置に出力することを特徴とする請求項２に記載の情報処理装置。
7. 前記表示情報加工部は、
   前記マーカー画像処理部により判別された位置情報マーカーと前記撮影装置との距離及び位置情報マーカーに対する前記撮影装置の角度の少なくともいずれかに適合させて前記情報取得部が取得した表示情報と前記画像キャプチャ部がキャプチャした撮影画像とを重畳して重畳表示情報を生成することを特徴とする請求項６に記載の情報処理装置。
8. 前記情報処理装置は、更に、
   複数の表示情報を保有する表示情報データベースを有し、
   前記情報取得部は、
   位置情報マーカーの位置に関連する表示情報を前記表示情報データベースから取得することを特徴とする請求項２に記載の情報処理装置。
9. 前記情報処理装置は、更に、
   複数の表示情報を保有する表示情報保有装置と通信可能な通信部を有し、
   前記情報取得部は、
   位置情報マーカーの位置に関連する表示情報を、前記通信部を介して前記表示情報保有装置から取得することを特徴とする請求項２に記載の情報処理装置。
10. 前記撮影装置は、商品情報の取得のための記述がなされた商品情報取得マーカーを撮影可能であり、
    前記画像キャプチャ部は、
    前記撮影装置が撮影した、商品情報取得マーカーの画像が含まれる撮影画像をキャプチャし、
    前記マーカー画像処理部は、
    前記画像キャプチャ部がキャプチャした撮影画像の中から商品情報取得マーカーの画像を抽出し、抽出した商品情報取得マーカーの画像から商品情報取得マーカーの記述を読み取り、
    前記情報取得部は、
    前記マーカー画像処理部により読み取られた商品情報取得マーカーの記述に基づき、商品情報取得マーカーに関連する商品情報を取得し、
    前記表示処理部は、
    前記情報取得部により取得された商品情報を前記表示装置に出力することを特徴とする請求項２に記載の情報処理装置。
11. 前記情報処理装置は、
    位置を測位するための位置測位装置を用いることなく、位置情報マーカーと前記撮影装置との距離及び位置情報マーカーに対する前記撮影装置の角度の少なくともいずれかを判別するとともに、位置情報マーカーの記述を読み取ることを特徴とする請求項１に記載の情報処理装置。
12. 前記情報処理装置は、
    前記撮影装置及び前記表示装置を備えることを特徴とする請求項２に記載の情報処理装置。
13. 所定の形状を有し自身の位置が記述された位置情報マーカーを所定の撮影装置を用いて撮影する撮影ステップと、
    前記撮影ステップにより撮影された、位置情報マーカーの画像が含まれる撮影画像をキャプチャする画像キャプチャステップと、
    前記画像キャプチャステップによりキャプチャされた撮影画像の中から位置情報マーカーの画像を抽出し、抽出した位置情報マーカーの画像の形状から位置情報マーカーと前記撮影装置との距離及び位置情報マーカーに対する前記撮影装置の角度の少なくともいずれかを判別するとともに、位置情報マーカーの記述を読み取るマーカー画像処理ステップとを有することを特徴とする情報処理方法。

Images