JP2005296478A - 情報呈示システム及び立体マーカ - Google Patents

Abstract

【課題】多様性及び遊戯性に富んだ情報呈示システムを提供する。
【解決手段】複数の面を有し、該複数の面の少なくとも１つの面が平面で構成され、該平面には平面マーカ２００が取り外し可能に設けられる立体マーカ２０を撮影して画像を取得する撮影手段（画像入力部１１）と、立体マーカ２０の平面に設けられた平面マーカ２００を同定するマーカ同定部１２４と、マーカ同定部１２４からの同定情報に基づいて、平面マーカ２００に関連する関連情報を呈示する情報提示部（表示画像生成部１２２，表示部１３）とを具備する。
【選択図】 図１

Description

本発明は、情報呈示システム及び立体マーカに関するものである。

従来より、遊戯カードとビデオゲームを組み合わせたゲームシステムが知られており、例えば、特開2001-334012号公報には、二次元コード等が印刷された遊戯カードに記憶された情報を読み出し、遊戯カードに記述されたキャラクタの個性を表現するデータ (音声または特徴情報等) を表示画面上に出力する情報呈示システムが記載されている。
特開2001-334012号公報

しかしながら、前記した特開2001-334012号公報を含む従来の情報呈示システムは、カードが個性表現情報の入力手段として利用されているに過ぎず、操作者の裁量範囲はどのカードを選択するかに限られてしまい、多様性、遊戯性の点で満足いくものではなかった。

本発明は、このような課題に着目してなされたものであり、その目的とするところは、多様性及び遊戯性に富んだ情報呈示システム及び立体マーカを提供することにある。

前記の目的を達成するために、第１の発明は、複数の面を有し、該複数の面の少なくとも１つの面が平面で構成され、該平面には平面マーカが設けられる立体マーカを撮影して画像を取得する撮影手段と、前記立体マーカの平面に設けられた平面マーカを同定するマーカ同定部と、前記マーカ同定部からの同定情報に基づいて、前記平面マーカに関連する関連情報を呈示する情報呈示部とを具備する。

また、第２の発明は、複数の面を有し、該複数の面の少なくとも１つの面が平面で構成され、該平面には平面マーカが設けられる立体マーカを撮影して画像を取得する撮影手段と、前記撮影により取得した画像を用いて、前記立体マーカの姿勢を判定する姿勢判定部と、前記立体マーカの平面に設けられた平面マーカを同定するマーカ同定部と、前記マーカ同定部からの同定情報と、前記姿勢判定部からの姿勢情報とに基づいて、前記平面マーカに関連する関連情報を呈示する情報呈示部とを具備する。

また、第３の発明は、第２の発明に係る情報呈示システムにおいて、前記姿勢判定部は、基準面に配置したマーカ、前記撮影手段に設けられた加速度センサ、前記撮影手段に設けられたジャイロセンサ、前記撮影手段に設けられた磁気センサのうち少なくとも１つを含む。

また、第４の発明は、第２の発明に係る情報呈示システムにおいて、前記撮影手段の撮影範囲の可動性は制限されており、前記姿勢判定部は、該制限により決まる可動領域に関する情報を用いて姿勢判定を行う。

また、第５の発明は、第１または第２の発明に係る情報呈示システムにおいて、前記情報呈示部は、前記撮影手段から取得した画像における前記立体マーカの位置及び／または姿勢に応じて異なる情報を呈示することを特徴とする請求項１または２記載の情報呈示システム。

また、第６の発明は、第１または第２の発明に係る情報呈示システムにおいて、前記立体マーカは複数であり、前記情報呈示部は、前記立体マーカ間の相対的な位置および／または姿勢に応じて異なる情報を呈示する。

また、第７の発明は、第１または第２の発明に係る情報呈示システムにおいて、前記情報呈示部は、前記マーカ同定部により同定された平面マーカの組み合わせに応じて異なる情報を呈示する。

また、第８の発明は、第１または第２の発明に係る情報呈示システムにおいて、前記立体マーカの各面に設けられる平面マーカはそれ自体の入れ替えおよび／または立体マーカに対する向きを入れ替え可能である。

また、第９の発明は、第８の発明に係る情報呈示システムにおいて、前記入れ替え可能な平面マーカは台紙へ装着可能である。

また、第１０の発明は、第２の発明に係る情報呈示システムにおいて、前記立体マーカの構成情報を登録する構成登録部を有し、前記姿勢判定部は、前記構成登録部に登録された立体マーカの構成情報を用いて前記立体マーカの姿勢を判定する。

また、第１１の発明は、第１０の発明に係る情報呈示システムにおいて、前記構成登録部は、前記立体マーカの構成情報をあらかじめ登録する。

また、第１２の発明は、第１０の発明に係る情報呈示システムにおいて、前記構成登録部は、前記撮影手段により取得した画像に基づいて前記立体マーカの構成情報を構築する。

また、第１３の発明は、第１または第２の発明に係る情報呈示システムにおいて、前記立体マーカは、穴を有する。

また、第１４の発明は、第１または第２の発明に係る情報呈示システムにおいて、前記平面マーカは電子的に表記が書き換え可能である。

また、第１５の発明は、第１または第２の発明に係る情報呈示システムにおいて、前記撮影手段と前記立体マーカとの位置関係に応じて位置及び照度が可変である照明手段を有する。

また、第１６の発明は、第１または第２の発明に係る情報呈示システムにおいて、前記マーカ同定部において同定された前記平面マーカに応じて位置及び照度あるいは照明の色が変化する照明手段を有する。

また、第１７の発明は、第１または第２の発明に係る情報呈示システムにおいて、前記平面マーカに関連する関連情報は、前記撮影手段により取得された画像とは異なる画像上に重畳呈示される。

また、第１８の発明は、複数の面を有し、該複数の面の少なくとも１つの面が平面で構成され、該平面には平面マーカが設けられる立体マーカであって、前記立体マーカを撮影して画像を取得する撮影手段と、前記立体マーカの平面に設けられた平面マーカを同定するマーカ同定部と、前記マーカ同定部からの同定情報に基づいて、前記平面マーカに関連する関連情報を呈示する情報呈示部とを具備する。

本発明によれば、多様性及び遊戯性に富んだ情報呈示システム及び立体マーカが提供される。

以下、図面を参照して本発明の実施形態を詳細に説明する。

（第１実施形態）
図１は、本発明の第１実施形態に係る情報呈示システムの構成を示す図である。本実施形態に係る情報呈示システムは、情報呈示装置１０と立体マーカ（図では例として２つの立体マーカ２０，２０−１が図示されている）とから構成される。情報呈示装置１０は、カメラ等の画像入力部１１と、該画像入力部１１で入力された画像を処理する情報処理部１２と、該情報処理部１２での処理結果として得られた情報を表示するディスプレイ等の表示部１３とから構成されている。なお、前記画像入力部１１は、所定の撮影範囲５０を有する撮影手段として機能するものである。また、前記情報処理部１２は、例えばゲーム機やパーソナルコンピュータ等の形態で提供されるもので、画像処理部１２１と、表示画像生成部１２２と、主制御部１２３と、マーカ同定部１２４と、姿勢判定部１２５とを含んでいる。表示画像生成部１２２と表示部１３とは、マーカ同定部１２４からの同定情報と、姿勢判定部１２５からの姿勢情報とに基づいて、平面マーカに関連する関連情報を呈示する情報呈示部を構成する。

前記画像入力部１１としてのカメラ１１１は、図２に示すように、撮影範囲５０の上方に設置してあり、その移動可能な範囲が可動領域１５０に制限されている。移動可能な範囲として表現される量は、画像入力部１１の物理的な位置姿勢のみならず、ズームによる撮影範囲の変化量も含む。

立体マーカ２０，２０−１を例とする立体マーカは、複数の平面から構成される立体形状であり、各平面には平面マーカ（例えば平面マーカ２００，２００−１）が貼付されている。立体マーカは、立方体や正十二面体のほかに、図３に示すような四角錐台２０１や、平板を曲げた形状２０２等の形態で提供される場合がある。また、立体マーカ２０には、ストラップ等を取り付け可能な穴１５１が設けられている。

平面マーカは、例えばカードや板状のプラスチック等の形態で提供されるものであり、立体マーカに対して取り外し可能となっている。例えば、テープ等により貼り替え可能であってもよいし、図４に示すように立体マーカ２０に設けたスリット２０４に平面マーカ２００を差し込む形態であってもよい。また、平面マーカ２００は、立体マーカ２０に対して方向自在に取り付け可能な形態であってもよいことは勿論である。

また、図４に示すように、平面マーカ２００を立体マーカ２０に取り付けないときに、該平面マーカ２００を取り付けておくための台紙２０３も提供されている。該台紙２０３は、例えばクレジットカードサイズであって、取り付ける平面マーカ２００に関する情報８０４が記載されていてもよい。

さらに、立体マーカの一面或いは複数面が液晶等の電子的ディスプレイである平面マーカで構成され、外部からの通信、または立体マーカに内蔵されたスイッチ等により任意の意匠や色を変化させるものであっても良い。

また、平面マーカは、少なくとも立体マーカに取り付けた状態において前記画像入力部１１で撮影可能であるとともに、互いの相対的配置が既知である少なくとも３つ以上の特徴部位 (マーカの特徴点) を有し、可視情報が記述された媒体となっている。なお、本明細書において、「特徴部位」とは、撮影可能であり、画像から位置の特定が可能な部位のことであり、特徴領域、特徴点、特徴線分を含む。例えば、所定位置に記述された可視情報として図１に示すようなキャラクタ２００Ａが描かれ、そのキャラクタ２００Ａを囲む四角形の黒枠２００Ｂを備えた平面マーカ２００において、キャラクタ２００Ａと黒枠２００Ｂをマーカとして利用するならば、黒枠２００Ｂの四隅の頂点や黒枠２００Ｂの線分を特徴部位とすることができる。

前記情報処理部１２の画像処理部１２１は、前記画像入力部１１によって撮影された立体マーカ２０の画像における前記３つ以上の特徴部位を特定し、その特定した特徴部位の前記画像入力部１１に対する相対的位置姿勢を検出する。なお、特徴部位 (マーカの特徴点) の位置姿勢の算出の手法については、例えば、特開２０００−２２７３０９号公報や特開２００１−１２６０５１号公報に記載の方法を利用すれば良い。これにより、マーカの３つ以上の特徴点を特定することができれば、画像入力部１１であるカメラ等と立体マーカ２０との相対的位置姿勢を推定することができる。

また、上記情報処理部１２のマーカ同定部１２４は、上記画像処理部１２１が検出した画像入力部１１と立体マーカ２０との相対的位置姿勢にもとづいて、立体マーカ２０に貼付した平面マーカ２００の中から処理対象とする平面マーカを特定する。

また、上記情報処理部１２の姿勢判定部１２５は、上記画像処理部１２１が検出した画像入力部１１と立体マーカ２０との相対的位置姿勢にもとづいて、処理対象とする立体マーカ２０の撮影範囲５０で表現される実空間に対する位置姿勢を判定する。

また、上記情報処理部１２の表示画像生成部１２２は、処理対象とする立体マーカ２０の撮影範囲５０で表現される実空間に対する位置姿勢およびマーカ同定部１２４で特定した処理対象とする平面マーカの情報から、該平面マーカに関連する関連情報を、前記画像入力部１１によって撮影された画像に重ね合わせた表示画像（出力画像）を生成する。また、特に図１には図示していないが、前記関連情報に関するパラメータ（例えば、オブジェクト、コンテンツまたはモデルの状態を示す情報）を設定するパラメータ設定部、等を含む。例えば、該平面マーカにキャラクタが描かれている場合、関連情報としては、そのキャラクタの３Ｄモデルデータやそのキャラクタの喜怒哀楽や変身した姿などのバリエ−ションが考えられる。

このように、平面マーカ上に描かれた可視情報の内容によって、関連情報としては各種のオブジェクトやコンテンツが考えられる。また、関連情報の呈示に伴い、平面マーカ上に描かれたキャラクタや前述の関連情報である３Ｄモデルに応じて図示しない照明の色や、照度、点滅、或いは照明位置を変化させることもゲーム等応用においては効果的演出に繋がることを確認している。

更に照明については、立体マーカの位置や装置周辺の照明環境に応じて照度や照明位置、或いは複数照明の場合に各々の点灯状態を調整することも前述の「特徴部位」または処理対象とする平面マーカの情報から連結処理が可能であることは言うまでもない。

前記情報処理部１２の主制御部１２３は、前記画像処理部１２１、表示画像生成部１２２、マーカ同定部１２４および姿勢判定部１２５を制御するものであり、また、特に図１には図示していないが、前記関連情報および立体マーカ２０に貼付された平面マーカ２００のＩＤ、テンプレート、位置姿勢等を記憶する記憶部を含む。

図５は、図１で説明した構成の変形例を示す図であり、図１の情報処理部１２の構成要素から姿勢判定部１２５を除いたことを特徴とする。このような構成であっても、図１の構成と同等の効果が得られる。

次に、図１に示す情報呈示装置１０の動作を、図６のフローチャートを参照して説明する。まず、画像入力部１１により立体マーカ２０を含む画像を撮影する (ステップＳ１１) 。例えば、立体マーカ２０を所定の撮影範囲５０に投げ込むことにより、図７（Ａ）に示すような入力画像１１２が得られる。ここで、情報処理部１２の主制御部１２３は、画像処理部１２１に、その入力画像１１２中から立体マーカ２０に貼付した平面マーカ２００を抽出させ (ステップＳ１２) 、マーカ即ち立体マーカ２０の画像入力部１１に対する相対的な位置姿勢を検出させる (ステップＳ１３) 。

次に、主制御部１２３は、姿勢判定部１２５に、前記検出した相対的位置姿勢情報にもとづいて、立体マーカ２０の撮影範囲５０で表現される実空間に対する位置姿勢を判定させる（ステップＳ１４−１）。この処理によって、撮影範囲５０内に投入された立体マーカ２０が操作者の存在する実空間に対して、どういった位置姿勢にあるのかが判定される。

また、主制御部１２３は、マーカ同定部１２４に、上記検出した相対的位置姿勢情報にもとづいて、立体マーカ２０に貼付した平面マーカのうち、処理対象とすべきものを特定させる (ステップＳ１４−２) 。マーカ同定部１２４は、立体マーカ２０に貼付した平面マーカで入力画像１１２から同定できたもののうち、入力画像内に占める面積が最大のものを立体マーカ２０の上面、つまり処理対象となる平面マーカ２００として特定する。

その後、主制御部１２３は表示画像生成部１２２に、上記特定した平面マーカ２００から、関連情報を特定するための情報であるテンプレートや関連付け情報 (マーカのＩＤ) を解析させる。そして、主制御部１２３は、その解析結果に対応する関連情報、例えばキャラクタの３Ｄモデルデータを、内部に備える不図示の記憶部から表示画像生成部１２２へ提供する（ステップＳ１５）。

次に、主制御部１２３は表示画像生成部１２２に対し、上記関連情報の解析結果および姿勢判定結果にもとづいて、該表示画像生成部１２２の内部に備える不図示のパラメータ設定部により、その関連情報に関するパラメータ、例えばモデルの状態を示す情報を前記検出した相対的位置姿勢に基づいて変化させる関連情報解析処理を実行させ、該パラメータに従った上記関連情報、例えばキャラクタの３Ｄモデルを生成させ、実際に画像入力部１１から得られた入力画像１１２にその３Ｄモデルを重畳した画面である出力情報を生成させる（ステップＳ１６）。例えば、撮影範囲５０を基準としたときの立体マーカ２０の絶対的位置姿勢によって、立体マーカ２０が撮影範囲５０の概略位置手前に位置するときには、キャラクタの正面を画像入力部１１の方向にするようパラメータを変更するが、撮影範囲５０の奥に位置するときには、キャラクタの姿勢に関するパラメータを変更しないといった処理を実行する。なお、関連情報は、例えば通信により外部に設けられたサーバ等に問い合わせて得るようにしても良いことは勿論である。この生成された出力情報は、表示部１３にて表示される。

すなわち図７（Ｂ）に示すように、出力画像１３１は、立体マーカ２０に貼付された処理対象となる平面マーカ２００に対応するキャラクタの３Ｄモデル１３２が、立体マーカ２０の絶対的位置姿勢に応じた状態で表示されることとなる。なお、出力情報としては、画像に限定されるものではなく、音声や振動等、操作者が関知できる刺激であっても良く、そのような出力情報とする場合には、音声出力部や振動出力部が情報呈示装置１０に備えられることとなる。

そしてその後、主制御部１２３は、処理を継続するか否かを判断する (ステップＳ１７) 。この判断は、例えば操作者による終了指示の有無を判別することによって行うことができる。継続する場合には、前記ステップＳ１１に戻る。

なお、主制御部１２３は、複数の立体マーカを投げ込み、マーカ同定部１２４が特定した平面マーカの組み合わせに応じて関連情報および／または関連情報に関するパラメータを変化させることも可能である。また、同様の処理は１つの立体マーカと１つの平面マーカ、複数の立体マーカと複数の平面マーカという組合せであっても可能であることは勿論である。

また、前記画像入力部１１が複数の撮影装置から構成されていてもよい。この場合、一つは前記のように撮影範囲５０の上方に設置し、それ以外は操作者の視線に近い位置に設置すると効果的な表示が可能となる。つまり、上方に設置した撮影装置から得られる画像にもとづいてステップＳ１５までの処理がなされ、ステップＳ１６の入力画像に３Ｄモデルを重畳した画面である出力情報を生成する段階で、操作者の視線に近い位置に設置した撮影装置から得られた画像を利用することにより、本システムは、臨場感の高い重畳画像を表示する。このためには、撮影範囲５０の上方に設置した撮影装置とその他の撮影装置との相対的な位置姿勢が主制御部の不図示の記憶部に記憶されていればよい。

（第１実施形態の応用例）
前記のような第１実施形態の応用例としては、例えば、ゲームへの利用が考えられる。即ち、情報処理部１２がゲーム機であり、該ゲーム機に画像入力部１１としてのカメラが接続されている。カメラは立体マーカであるサイコロを出す場所周辺を撮影範囲とするよう設置してある。

サイコロには、入れ替え可能なカードが各面に取り付けられており、ストラップを取り付け可能な穴も設けられている。カードにはマーカとして機能するテンプレートが印刷されている。カードが入れ替え可能になっているので、操作者はサイコロに取り付けるカードを自由に選び、所望のカードの組合せからなるサイコロを実現できる。サイコロのように確率的に上面が決定される媒体で、かつ自由に取り付けるカードを選択できるため、ゲームとしての多様性が飛躍的に向上する。

撮影範囲５０の上方に取り付けてあるカメラがサイコロを画像として捉えると、ゲーム機はサイコロの上面に取り付けられているカードを認識し、該カードに関連するキャラクタの３Ｄモデルを入力画像に重畳し出力する。この際、サイコロの位置、姿勢に応じて３Ｄモデルのパラメータを変化させる。サイコロが撮影範囲５０の右側にあると「喜」の表情になり、下側にあると「怒」の表情になり、左側にあると「哀」の表情になり、上側にあると「楽」の表情になる。

また、複数の操作者が各自のサイコロを投入し、対戦ゲームのモードも存在する。この場合には、複数のサイコロの相対的な位置姿勢によって、戦闘状態、待機状態を切り替える。

また、図８に示すように、操作者Ａのサイコロ１３３に対応するキャラクタ２５０の正面が、操作者Ｂのサイコロ１３４に対応するキャラクタ２５１の側面を向いていた場合には、操作者Ａの攻撃の効果は通常の１５０％となる。このように、複数のサイコロの相対的な位置のみならず、各組合せでの相対的な姿勢に応じてキャラクタの様々なパラメータを変更可能である。

また、同時もしくは順番に投入されたサイコロの上面の組合せによって、キャラクタの状態を変化させることも考えられる。例えば、キャラクタのカードを取り付けたサイコロと動作を意味するカードを取り付けたサイコロを同時に投入することで、登場させるキャラクタと、そのアクションを決定し、対応するアニメーションモデルを表示する。この場合、キャラクタについてはカードで呈示し、アクションについてのみサイコロとする、もしくはアクションについてはカードで呈示し、キャラクタについてのみサイコロとする、といった組合せであってもよい。

（第２実施形態）
図９は、本発明の第２実施形態に係る情報呈示システムの構成を示す図である。第２実施形態における情報呈示装置１０は、さらに構成情報構築部１２６を備えた情報処理部１２により構成される。また、撮影範囲５０の基準面、例えば床等に設置した基準マーカ２１を構成要素として含む。

前記構成情報構築部１２６は、画像入力部１１から得られる画像から平面マーカを同定し、立体マーカ２０に対してどの平面マーカがどの位置にどの姿勢で取り付けられているかを示す構成情報を構築する。また、基準マーカ２１は、平面マーカ２００と同様の構成である。

情報処理部１２のマーカ同定部１２４は、上記画像処理部１２１が検出した画像入力部１１と立体マーカ２０および基準マーカ２１との相対的位置姿勢にもとづいて、立体マーカ２０に貼付した平面マーカ２００の中から処理対象とする平面マーカを特定する。

情報処理部１２の表示画像生成部１２２は、前記画像処理部１２１が検出した画像入力部１１の立体マーカ２０および基準マーカ２１に対する相対的位置姿勢にもとづいて姿勢判定部１２５が判定した立体マーカ２０の実空間に対する位置姿勢及びマーカ同定部１２４で特定した処理対象とする平面マーカ２００の情報から、該平面マーカ２００に関連する関連情報を、前記画像入力部１１によって撮影された画像に重ね合わせた表示画像を生成するものである。例えば、該平面マーカ２００にキャラクタが描かれている場合、関連情報としては、そのキャラクタの３Ｄモデルデータが考えられる。このように、平面マーカ２００上に描かれた可視情報の内容によって、関連情報としては各種のオブジェクトやコンテンツが考えられる。

次に、前記した図９に示す構成の情報呈示装置１０の動作を、図１０のフローチャートを参照して説明する。まず、画像入力部１１により、立体マーカ２０の全面を撮影した画像列を取得する (ステップＳ２１) 。ここで、構成情報構築部１２６は、前記画像列から立体マーカ２０に貼付した平面マーカ２００を抽出し (ステップＳ２２) 、該平面マーカ２００間の相対的な位置姿勢から、立体マーカ２０に貼付されている平面マーカ２００の構成情報を構築する (ステップＳ２３) 。例えば、図１１に示す画像列 (画像Ａ，Ｂ，Ｃ) が得られることによって、該画像列が示す立体マーカ２０の全面に貼付した平面マーカ２００の構成情報が得られる。

次に、前記構成情報を主制御部１２３へ送信すると、主制御部１２３は不図示の記憶部に記憶する (ステップＳ２４) 。次に、画像入力部１１は、立体マーカ２０および基準マーカ２１を含む画像を撮影する (ステップＳ２５) 。例えば、立体マーカ２０を基準マーカ２１を含むよう設定した所定の撮影範囲５０に投げ込むことにより、図１２に示すような入力画像１１２が得られる。

ここで、情報処理部１２の主制御部１２３は、画像処理部１２１に、その入力画像１１２中から立体マーカ２０に貼付した平面マーカ２００および基準マーカ３０１を抽出させ (ステップＳ２６) 、マーカ即ち立体マーカ２０および基準マーカ２１の画像入力部１１に対する相対的な位置姿勢を検出させる (ステップＳ２７) 。

次に、主制御部１２３は、姿勢判定部１２５に、前記検出した相対的位置姿勢情報にもとづいて、立体マーカ２０の撮影範囲５０で表現される実空間に対する位置姿勢を判定させる（ステップＳ２８−１）。この処理によって、撮影範囲５０内に投入された立体マーカ２０が操作者の存在する実空間に対して、どういった位置姿勢にあるのかが判定される。

また、主制御部１２３は、マーカ同定部１２４に、前記検出した相対的位置姿勢情報にもとづいて、立体マーカ２０に貼付した平面マーカ２００のうち、処理対象とすべきものを特定させる (ステップＳ２８−２) 。

例えば、立体マーカ２０が図１２に示すような立方体３００として構成されており、基準マーカ２１が図１２に示すような平面マーカ２００として構成されており、基準マーカ２１と同じ法線成分を持つ面を処理対象とすべき平面マーカとして特定する場合は、図１３に示すステップで処理を実行する。なお、前記立方体３００の構成情報はステップＳ２１〜Ｓ２４の処理によって、主制御部１２３の不図示の記憶部に記憶されている。

ステップＳ３１では、画像入力部１１に対する立体マーカ２０および基準マーカ２１の相対的位置姿勢から、立体マーカ２０に対する基準マーカ２１の相対的位置姿勢を算出する。

ステップＳ３２では、基準マーカ２１の法線を立体マーカ２０の座標系へと変換する。ステップＳ３３では、ステップＳ３２で変換した基準マーカ２１の法線と、立方体３００に貼付された各平面マーカの法線との内積を計算する。各平面マーカの法線は主制御部１２３の不図示の記憶部に記憶されている構成情報から取得する。

ステップＳ３４では、ステップＳ３３で計算した内積が最大値となった平面マーカを特定する。

その後、主制御部１２３は表示画像生成部１２２に、前記特定したマーカから、関連情報を特定するための情報であるテンプレートや関連付け情報 (マーカのＩＤ) を解析させる。そして、主制御部１２３は、その解析結果に対応する関連情報、例えばキャラクタの３Ｄモデルデータを内部に備える不図示の記憶部から表示画像生成部１２２へ提供する（ステップＳ２９）。

次に、主制御部１２３は表示画像生成部１２２に対し、上記関連情報の解析結果および姿勢判定結果にもとづいて、該表示画像生成部１２２の内部に備える不図示のパラメータ設定部により、その関連情報に関するパラメータ、例えばモデルの状態を示す情報を前記検出した相対的位置姿勢に基づいて変化させる関連情報解析処理を実行させ、該パラメータに従った上記関連情報、例えばキャラクタの３Ｄモデルを生成させ、実際に画像入力部１１から得られた入力画像１１２にその３Ｄモデルを重畳した画面である出力情報を生成させる (ステップＳ３０) 。また、上記立方体３００が３個以上存在する場合も、それぞれ最も近傍の立方体（立体マーカ）間の相対的位置姿勢にもとづいた変化を与えることも、また、３個またはそれ以上の相対的位置姿勢にもとづいた関連情報解析処理を進めることも可能である。この生成された出力情報は、表示部１３にて表示される。

このステップの変化系として、前記画像入力部１１から得られた入力画像の代わりに、予めＣＧ等で製作された画像や予め取得された背景画像を再生し、その上に３Ｄモデルを所定の位置姿勢で重畳し、表示部１３にて出力する方法もある。この場合、背景画像のみを予め出力させ、実際に画像入力部１１から得られた入力画像のうち、立体マーカ或いは平面マーカ部のみを切り出し、更に平面マーカの同定から指示される前記関連情報（３Ｄキャラクター等）を重畳表示すると言った３元重畳表示も応用可能である。

これは、ゲーム等において立体マーカを投じる場を実際の造作物による脚色を図らずともＣＧデータ等の入れ替えのみにて簡単に異なるゲームに仕立て上げる事が出来る、と言ったコンテンツ製作上のコストメリットに繋がるし、ゲームのプレイヤーからも実写像とＣＧ像との混在によるコンテンツ表現の幅の広さを教授できると言った効果がある。

そしてその後、主制御部１２３は、継続するか否かを判断する (ステップＳ３１) 。この判断は、例えば操作者による終了指示の有無を判別することによって行うことができる。継続する場合には、前記ステップＳ２５に戻る。

このような構成、作用としても、前記第１実施形態と同様の効果が得られる。更にこの場合は、立体マーカの構成情報を取得するので、画像入力部１１の可動範囲を撮影範囲５０の上方に制限する必要がなくなり、１つのカメラであっても、重畳画像を操作者の視線に近いものにできるという効果もある。また画像入力部１１を操作者が自由に動かすことも可能となる。画像入力部１１の移動は操作者に限らず、第三者やシステムが機械的に行うことも可能であることは勿論である。

なお、基準マーカ２１は、立体マーカ２０と同様の構成であってもよい。つまり、基準マーカ２１も立体形状であり、各面に平面マーカ２００と同等のものが貼付されていてもよい。この場合、基準マーカ２１の所定の面を基準マーカの側面からも同定可能になるため、画像入力部１１の撮影範囲５０に対する位置姿勢の自由度が飛躍的に向上し、より多様な視点での重畳画像を提供する効果が得られる。

また、基準マーカ２１に代わって、ジャイロセンサ、磁気センサ、加速度センサを利用してもよい。これらのセンサを利用した場合、カメラと撮影範囲５０との３次元位置姿勢は一般に知られた方法で算出できるので、基準マーカ２１の法線と同等の情報を持つ撮影範囲５０の基準ベクトル、例えば重力方向を示すベクトル、を得られることになる。これにより、ステップＳ２８における処理を、基準マーカ２１を用いることなく実行することができる。

なお、前記ステップＳ２１で取得する立体マーカの全面の画像列は、画像入力部１１を移動させることにより立体マーカの全周を撮影してもよいし、回転台上に立体マーカを設置し撮影してもよい。また、複数の撮影装置を用いてもよい。

また、立体マーカを図１４に示すような展開図３１０から組み立てる、もしくは展開図３１０を貼付する構成にした場合、該展開図３１０を撮影した少なくとも１枚の画像から構成情報を構築することが可能となり、ステップＳ２１の工程を簡略化する効果が得られる。

なお、図１２の構成及び図１３のフローチャートでは、基準マーカの法線が鉛直上方に一致しており、立体マーカの上面を処理対象の平面マーカとして特定すると仮定して述べたが、処理対象とする立体マーカの面は上面に限定されるものではなく、システムまたは操作者が規定した方向に最も近い面としたり、画像入力部１１の光軸に最も近い面としてもよい。また、処理対象となる面は１面に限定されず、システムが規定する条件を満たす面全てとしてもよいことは勿論である。

なお、構成情報は、操作者が画像入力とは異なる手段で指示してもよい。例えば、情報処理部がゲーム機として提供されている場合、ゲーム機のコントローラが画像入力とは異なる手段として利用できる。

（第３実施形態）
図１５は、本発明の第３実施形態に係る情報呈示システムの構成を示す図である。本実施形態に係る情報呈示システムの構成および作用は第２実施形態と類似であるので、ここでは違いのみを述べる。

図１６は、図１５に示す情報呈示システムの作用を説明するためのフローチャートであり、ステップＳ４１〜Ｓ４７の処理は、第２実施形態のステップＳ２５〜Ｓ３１と同じである。

情報処理部１２の構成情報構築部１２６は、画像入力部１１からではなく、画像処理部１２１から平面マーカ２００の位置姿勢情報および平面マーカ２００のＩＤを取得し、主制御部１２３から記憶している構成情報を取得する。主制御部１２３から取得した構成情報に不足している平面マーカ情報が画像処理部１２１から得られたときには、ステップＳ４８の構成情報解析において該情報をマージする。そして、再度、主制御部１２３に記憶させる (ステップＳ４９) 。

このような構成、作用であっても、前記第１および第２実施形態と同様の効果が得られる。更にこの場合は、第２実施形態で行っていた事前の構成情報構築処理が省略され、繰り返し処理と並行に実行されるので、操作者はシステムを動作させるための繁雑な前処理から解放されるという効果が得られる。

なお、本システムの画像入力部１１は複数のカメラで構成されていてもよい。このときには、カメラ間の相対的な位置姿勢および認識した立体マーカ上の平面マーカの位置姿勢から構成情報を構築でき、１つのカメラの場合よりも、より確実性高く、少ない繰り返し回数で全ての構成情報を構築できる。

（第４実施形態）
図１７，図１８は、本発明の第４実施形態に係る情報呈示システムについて説明するための図である。第４実施形態は、第２実施形態あるいは第３実施形態の構成において、立体マーカ２０を射出する射出装置４００を付加した構成である。該射出装置４００は、撮影範囲５０に対して立体マーカ２０を射出する方向と強さを制御することができる。射出する強さは、射出装置４００に接続もしくは取り付けられたボタン４０１を押す強さによって制御される。立体マーカ２０は、射出装置４００からバネ、空気圧等を利用した一般によく知られた方法で射出される。

また、本システムは、射出装置４００を利用した予想落下地点を表示する機能を有する。以下にこのような機能について図１９、図２０を参照して説明する。まず、主制御部１２３は、射出装置４００のパラメータとしての方向および射出力を計測する (ステップＳステップＳ５１) 。例えば、射出装置４００の回転軸にはエンコーダー等が取り付けられており、このエンコーダ出力から射出装置４００の射出軸、つまり立体マーカ２０の射出方向を計測することができる。また、前記のように射出力は、ボタン４０１を押す強さとして、ボタン４０１に取り付けた圧電素子等の出力から計測することができる。

次に、主制御部１２３が立体マーカ２０の重量とステップＳ５１で計測した射出装置４００のパラメータから、立体マーカ２０の落下地点を計算する (ステップＳ５２) 。この計算は、いわゆる質点系の力学計算であってもよいし、体積や流体抵抗を考慮したものであってもよい。また、事前に各パラメータと落下地点との対応テーブルを構成しておき、該対応テーブルから落下地点をピックアップする方法であってもよいのは勿論である。

また、落下地点は点としての位置情報ではなく、確率的に範囲を表現する形態であってもよい。例えば、確率６０％で位置(x, y)を中心とする半径ｒの領域、確率９０％で位置(x, y)を中心とする半径２ｒの領域という表現形態である。

この後、表示画像生成部１２２は、前記ステップＳ５２で計算した予想落下地点の情報をＣＧ化し、画像入力部１１から得られる入力画像に重畳する (ステップＳ５３) 。図２０は、前記方法により重畳された予想落下地点４０８を示している。

表示画像生成部１２２は、主制御部１２３を介して入手される画像入力部１１と撮影範囲５０との相対的位置姿勢情報にもとづいて、前記重畳処理を実行する。該相対的位置姿勢情報は、第２実施形態または第３実施形態で述べたように、画像入力部１１と基準マーカ２１との相対的位置姿勢情報として、画像入力部１１より得られる入力画像から算出したものであってもよいが、図２１に示すように射出装置４００それ自身に画像入力部１１としてのカメラ４１０を固着した構成であれば、射出装置４００の射出方向情報にもとづいて算出することも可能である。

このような構成、作用では、前記第２実施形態から第３実施形態に記述した効果に加え、操作者に対して予想落下地点４０８の重畳画像をインタラクティブに呈示できるので、より遊戯性の高いシステムを提供できるという効果を得る。

なお、前記構成に加えて、更に撮影範囲５０に図２２に示すような升目状の仕切り４２０を有するスタジアム（ゲームの場）４２１を設置してもよい。このような升目状の仕切り４２０を利用することにより、複数の立体マーカが過度に密集する状況を回避でき、画像処理部１２１における入力画像の解析時のエラーを減少させることが可能となる。

また、升目状の仕切り４２０の高さを立体マーカ２０に貼付する平面マーカ２００と立体マーカ２０自身の角とのマージン４２２（図２３）以下にする場合、画像入力部１１の可動領域を立体マーカ２０の側方にまで拡大可能となり、より臨場感の高い重畳画像を提供可能となる。

また、射出装置４００に画像装置を取り付け、立体マーカ２０が射出装置４００に設置してあるときに、該立体マーカの構成情報を構築するための画像を撮影してもよい。立体マーカ２０を射出する際の画像を利用してもよい。これらの画像を用いることにより、第３実施形態で示した構成情報の事前構築処理が実現される。

（第５実施形態）
次に、本発明の第５実施形態を説明する。第５実施形態に係る情報呈示システムは、前記第１実施形態から第４実施形態の構成要素である平面マーカ２００を図２４に示すような袋４５０を有する袋状の構成へ変更したものである。すなわち、平面マーカ２００は袋状になっており、その前面に画像処理部１２１での抽出対象となるマーカ部２００−１が袋４５０よりも小さく貼り付けられている。袋４５０のマーカ部２００−１が貼り付けられている面は、マーカ部２００−１に覆われていない部分が透明もしくは半透明になっており、袋４５０の内部を観察可能な状態になっている。

マーカ部２００−１の形状情報および内部のテンプレートは主制御部１２３の不図示の記憶部に記憶されているが、関連情報は関連付けられていない。つまり、マーカ部２００−１に対して、どの関連情報、例えばキャラクタの３Ｄモデルを関連付けるかは未定の状態である。

次に、第５実施形態における関連付けのステップを図２５のフローチャートを用いて説明する。まず、操作者は所望の紙を平面マーカ２００の袋４５０に挿入する (ステップＳ６１) 。なお、紙でなくとも薄い平面状のもの等、袋４５０に挿入可能な形状・大きさであればよい。次に、画像入力部１１は平面マーカ２００を撮影し、袋４５０に挿入された紙を含む平面マーカ２００の入力画像を取得する (ステップＳ６２) 。ここで、画像処理部１２１は前記入力画像からマーカ部２００−１の情報を抽出する (ステップＳ６３）。

主制御部１２３は、前記マーカ部２００−１のテンプレートに対応した関連情報の有無を判断する (ステップＳ６４) 。関連情報が既に設定されている場合には、処理を終了する。一方、関連情報が設定されていない場合には、マーカ部２００−１周辺８点の色情報を取得する (ステップＳ６５) 。なお、上記のようにマーカ部２００−１に覆われていない部分は、袋４５０内部を観察可能であるので、マーカ部２００−１周辺８点の色情報は、袋４５０に挿入された紙により変化する。

主制御部１２３は前記色情報の平均値にもとづいて、関連付けする関連情報を決定する (ステップＳ６６) 。例えば、平均色の色相値が０ (赤) であれば、炎のモンスターの３Ｄモデルを前記平面マーカ２００−１に関連付ける。

このように平面マーカ２００を構成することによって、操作者は自分自身の手によって関連情報、つまりキャラクタの３Ｄモデル、を決定することができ、より高い遊戯性を実現できる。

なお、ここでは、マーカ部２００−１周辺８点の平均色を用いたが、関連付けを決定する情報源はこれに限定されるものではない。マーカ部２００−１周辺の点数を変更してもよいし、線もしくは面状に情報を取得してもよい。また、このように取得する情報は色に限定されず、周波数成分、色分布、濃度分布等を用いてもよい。これらの複数の組み合わせも可能であることは勿論である。

また、マーカ部２００−１周辺の情報から関連付ける関連情報を決定する方法は、予め組合せテーブルを作成しておいてもよいし、数式からパラメータとして決定してもよい。パラメータとして決定する場合、例えば、周辺の情報から、キャラクタの大きさをパラメータとして決定することが考えられる。また、キャラクタのＨＰや攻撃力、防御力といった属性情報をパラメータとして決定することも考えられる。

また、平面マーカ２００は必ずしも袋状である必要はなく、マーカ部２００−１が貼付可能な形態になっていれば、所望の紙にマーカ部２００−１を貼付することで平面マーカ２００を構成してもよい。

本発明の第１実施形態に係る情報呈示システムの構成を示す図である。 カメラ１１１の移動可能な範囲（可動領域）を示す図である。 立体マーカの変形例について説明するための図である。 立体マーカ２０にスリット２０４を設けて平面マーカ２００を差し込む実施形態を示す図である。 図１で説明した構成の変形例を示す図である。 図５に示す構成の情報呈示装置の動作を説明するためのフローチャートである。 入力画像と、これに対応する出力画像の一例を示す図である。 第１実施形態の応用例を説明するための図である。 本発明の第２実施形態に係る情報呈示システムの構成を示す図である。 図９に示す構成の情報呈示装置１０の動作を説明するためのフローチャートである。 平面マーカ２００の構成情報の構築例を説明するための図である。 第２実施形態における入力画像の例を示す図である。 基準マーカ２１と同じ法線成分を持つ面を処理対象とすべき平面マーカとして特定する場合の処理手順を示すフローチャートである。 立体マーカを組み立てるのに用いられる展開図３１０である。 本発明の第３実施形態に係る情報呈示システムの構成を示す図である。 図１５に示す情報呈示システムの作用を説明するためのフローチャートである。 本発明の第４実施形態に係る情報呈示システムについて説明するための図（その１）である。 本発明の第４実施形態に係る情報呈示システムについて説明するための図（その２）である。 射出装置４００を利用した予想落下地点を表示する機能について説明するための図（その１）である。 射出装置４００を利用した予想落下地点を表示する機能について説明するための図（その２）である。 射出装置４００それ自身にカメラ４１０を固着した構成を示す図である。 撮影範囲５０に升目状の仕切り４２０を有するスタジアム４２１を設置した例を示す図である。 升目状の仕切り４２０の高さを立体マーカ２０に貼付する平面マーカ２００と立体マーカ２０自身の角とのマージン４２２を示す図である。 本発明の第５実施形態として、平面マーカ２００を袋状にした構成を示す図である。 第５実施形態における関連付けのステップを示すフローチャートである。

符号の説明

１０…情報呈示装置、１１…画像入力部、１２…情報処理部、１３…表示部、２０、２０−１…立体マーカ、５０…撮影範囲、１２１…画像処理部、１２２…表示画像生成部、１２３…主制御部、１２４…マーカ同定部、１２５…姿勢判定部、２００、２００−１…平面マーカ。

Claims (18)

1. 複数の面を有し、該複数の面の少なくとも１つの面が平面で構成され、該平面には平面マーカが設けられる立体マーカを撮影して画像を取得する撮影手段と、
   前記立体マーカの平面に設けられた平面マーカを同定するマーカ同定部と、
   前記マーカ同定部からの同定情報に基づいて、前記平面マーカに関連する関連情報を呈示する情報呈示部と、
   を具備することを特徴とする情報呈示システム。
2. 複数の面を有し、該複数の面の少なくとも１つの面が平面で構成され、該平面には平面マーカが設けられる立体マーカを撮影して画像を取得する撮影手段と、
   前記撮影により取得した画像を用いて、前記立体マーカの姿勢を判定する姿勢判定部と、
   前記立体マーカの平面に設けられた平面マーカを同定するマーカ同定部と、
   前記マーカ同定部からの同定情報と、前記姿勢判定部からの姿勢情報とに基づいて、前記平面マーカに関連する関連情報を呈示する情報呈示部と、
   を具備することを特徴とする情報呈示システム。
3. 前記姿勢判定部は、基準面に配置したマーカ、前記撮影手段に設けられた加速度センサ、前記撮影手段に設けられたジャイロセンサ、前記撮影手段に設けられた磁気センサのうち少なくとも１つを含むことを特徴とする請求項２記載の情報呈示システム。
4. 前記撮影手段の撮影範囲の可動性は制限されており、前記姿勢判定部は、該制限により決まる可動領域に関する情報を用いて姿勢判定を行うことを特徴とする請求項２に記載の情報呈示システム。
5. 前記情報呈示部は、前記撮影手段から取得した画像における前記立体マーカの位置及び／または姿勢に応じて異なる情報を呈示することを特徴とする請求項１または２記載の情報呈示システム。
6. 前記立体マーカは複数であり、前記情報呈示部は、前記立体マーカ間の相対的な位置および／または姿勢に応じて異なる情報を呈示することを特徴とする請求項１または２記載の情報呈示システム。
7. 前記情報呈示部は、前記マーカ同定部により同定された平面マーカの組み合わせに応じて異なる情報を呈示することを特徴とする請求項１または２記載の情報呈示システム。
8. 前記立体マーカの各面に設けられる平面マーカはそれ自体の入れ替えおよび／または立体マーカに対する向きを入れ替え可能であることを特徴とする請求項１または２記載の情報呈示システム。
9. 前記入れ替え可能な平面マーカは台紙へ装着可能であることを特徴とする請求項８記載の情報呈示システム。
10. 前記立体マーカの構成情報を登録する構成登録部を有し、前記姿勢判定部は、前記構成登録部に登録された立体マーカの構成情報を用いて前記立体マーカの姿勢を判定することを特徴とする請求項２記載の情報呈示システム。
11. 前記構成登録部は、前記立体マーカの構成情報をあらかじめ登録することを特徴とする請求項１０記載の情報呈示システム。
12. 前記構成登録部は、前記撮影手段により取得した画像に基づいて前記立体マーカの構成情報を構築することを特徴とする請求項１０記載の情報呈示システム。
13. 前記立体マーカは、穴を有することを特徴とする請求項１または２記載の情報呈示システム。
14. 前記平面マーカは電子的に表記が書き換え可能であることを特徴とする請求項１または２記載の情報呈示システム。
15. 前記撮影手段と前記立体マーカとの位置関係に応じて位置及び照度が可変である照明手段を有することを特徴とする請求項１または２記載の情報呈示システム。
16. 前記マーカ同定部において同定された前記平面マーカに応じて位置及び照度あるいは照明の色が変化する照明手段を有することを特徴とする請求項１または２記載の情報呈示システム。
17. 前記平面マーカに関連する関連情報は、前記撮影手段により取得された画像とは異なる画像上に重畳呈示されることを特徴とする請求項１または２記載の情報呈示システム。
18. 複数の面を有し、該複数の面の少なくとも１つの面が平面で構成され、該平面には平面マーカが設けられる立体マーカであって、
    前記立体マーカを撮影して画像を取得する撮影手段と、
    前記立体マーカの平面に設けられた平面マーカを同定するマーカ同定部と、
    前記マーカ同定部からの同定情報に基づいて、前記平面マーカに関連する関連情報を呈示する情報呈示部と、
    を具備する情報呈示システムにおいて用いられることを特徴とする立体マーカ。

Images