JP2003103045A - 映像体験システムおよび情報処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 現実のボードゲームの面白さに加えて、臨場
感が増し、さらにゲームの進行状況が把握しやすくする
ことを目的とする。 【解決手段】 ゲームボード上にアイテムを配置するこ
とにより進行するゲームのための映像体験システムであ
って、プレイヤー視点の位置情報を求めるプレイヤー位
置決定手段と、ゲームボード上のアイテムに応じて、前
記プレイヤーの視点の位置情報に応じたコンピュータグ
ラフィックスを生成する生成手段と、現実世界の画像に
前記生成されたコンピュータグラフィックスを重畳させ
て表示するヘッドマウントディスプレイとを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】ゲームボード上にアイテムを
配置することにより進行するゲームに関するものであ
る。

【０００２】

【従来の技術】従来よりゲームのジャンルとして、ボー
ドゲームというものがある。これはボード上に区分けさ
れた領域があり、その領域上にコマを置いたり、除いた
り、また移動させたりしつつゲームを進行させていく類
のゲームである。例えば、コマとして通常特定の立体形
状をしたオブジェクトを使うものとしては、チェスやチ
ェッカー、バックギャモン、また囲碁や将棋、すごろく
等がよく知られている。またコマとしてカードを使うも
のもあり、これはカードゲームと呼ばれている。トラン
プを用いるものはババ抜き、ナポレオン、７並べ、ポー
カー、ブラックジャック等、枚挙に暇がない。

【０００３】さらにカードゲームには、ゲーム特有のカ
ードを用い、各々のカードには特定の役割を持たせたも
のもある。いわゆるカードバトルと呼ばれるゲームがこ
れに該当する。なお、トランプゲームの多くは区分けさ
れた領域が単純であるので、特別なボードを用いない場
合もあるが、これは不可視の区分けされた領域のあるボ
ードがあり、プレイヤーが互いにその存在を認知、共有
しているものと考えることができる。

【０００４】このようなボードゲーム、カードゲーム自
体はある出来事を想定しているものである場合も多く、
アイテム（例えば、コマ）も特定の動物、人物等を想定
していることが多い。またボードやコマはあらかじめ形
が決まっており、描かれている模様もゲームの進行状況
に応じて変化するものではなかった。

【０００５】一方、MR（Mixed Reality）技術を用いた
ゲームも存在する。これはゲームを行う環境を大道具、
小道具といった現実のセットで構築し、その中にプレイ
ヤーが入り込んで、プレイを行う。多くの場合、各プレ
イヤーはシースルーHMD（Head Mounted Display）を装
着し、HMDを装着しない場合に見える映像に、ゲーム進
行に合わせたCG映像を重畳してHMDに表示する。

【０００６】

【発明が解決しようとする課題】上記従来例のボードゲ
ームは、ゲームの状況に応じて、コマの形や模様が変化
するものではない。たとえば戦闘シーンでも実際に戦闘
が眼前で起こるというものではなく、また「天使が〜と
指示を出す」というようなカードにあたっても、実際に
天使が喋るわけではない。

【０００７】そのため、ゲーム自体はある場面を想定し
ているにもかかわらず、対応する表示がないために、臨
場感が劣るという問題があった。また、同様な理由でゲ
ームの進行状況を一目で把握するのが難しいという問題
があった。

【０００８】一方、上記従来例のMRゲームでは、臨場感
は非常にあるものの、ゲーム環境の設置が非常に大変で
ある。セットを作成する作業そのものも大掛かりになり
がちであるが、それに加えて、セットを構成するたびに
セット内のオブジェクトの位置を計測しなければならな
かった。また、ゲーム内容の変更は困難であった。

【０００９】本発明は上述の点に鑑みてなされたもので
あり、現実のボードゲームの面白さに加えて、臨場感が
増し、さらにゲームの進行状況が把握しやすくすること
を目的とする。

【００１０】そして、従来のＭＲ技術を用いたゲームに
比較して、設置が容易であり、ゲーム内容の変更にも比
較的柔軟に対応できるようにすることを目的とする。

【００１１】

【課題を解決するための手段】本発明は上記目的を達成
するために、以下の構成を有することを特徴とする。

【００１２】本願請求項１に記載の発明は、ゲームボー
ド上にアイテムを配置することにより進行するゲームの
ための映像体験システムであって、プレイヤー視点の位
置情報を求めるプレイヤー位置決定手段と、ゲームボー
ド上のアイテムに応じて、前記プレイヤーの視点の位置
情報に応じたコンピュータグラフィックスを生成する生
成手段と、現実世界の画像に前記生成されたコンピュー
タグラフィックスを重畳させて表示するヘッドマウント
ディスプレイとを有することを特徴とする。

【００１３】本願請求項１７に記載の発明は、ゲームボ
ード上にアイテムを配置することにより進行するゲーム
のための情報処理方法であって、プレイヤー視点の位置
情報を入力し、ゲームボード上のアイテムに応じて、前
記プレイヤーの視点の位置情報に応じたコンピュータグ
ラフィックスを生成し、プレイヤーが装着しているヘッ
ドマウントディスプレイに、現実世界の画像に前記生成
されたコンピュータグラフィックスを重畳させて表示さ
せることを特徴とする。

【００１４】

【発明の実施の形態】以下、本発明の映像体験システム
を図面に基づいて説明する。なお、各図面において同一
の構成については同一の番号を付加する。

【００１５】以下に説明する映像体験システムでは、プ
レイヤーにシースルーHMD（ヘッドマウントディスプレ
イ）を被ってもらい、ゲームボードという限られた場で
現実にボードゲームやカードゲームを行っている状況に
CG（コンピュータグラフィックス）を重畳して表示す
る。ここでCGはゲームの進行状況に応じて変化する。例
えばチェスであればナイトは馬に乗った騎士のCGであ
り、移動するときには馬が走るCGとなる。また相手のコ
マを取るときには、相手のコマに対応するCGと戦い、勝
利するCGとなる。

【００１６】この映像体験システムによれば、現実のボ
ードゲームの面白さに加えて、臨場感が増し、さらにゲ
ームの進行状況が把握しやすくなる。

【００１７】また、従来のＭＲ技術を用いたゲームに比
較して、設置が容易であり、ゲーム内容の変更にも比較
的柔軟に対応できる。

【００１８】（第１の実施形態）図１は第１の実施形態
の映像体験システムの構成例を示す図である。

【００１９】ゲームの場となるゲームボード１０１があ
り、プレイヤーはボード１０１上でコマを置いたり、除
いたり、移動させたりしてゲームを進行させていく。プ
レイヤーはシースルーHMD１０３を被ったままゲームを
行う。位置センサ１０４はHMD１０３に固定されてお
り、プレイヤー視点のポジションや姿勢を検出する。

【００２０】ここで本提案書で使用する「位置」「ポジ
ション」「姿勢」を定義しておく。「位置」とは、「ポ
ジション」と「姿勢」の両方を含んだものである。すな
わち、「位置情報」と言えば「ポジション情報」と「姿
勢情報」の両者の情報ということである。「ポジショ
ン」とは、特定の空間座標系の中で一点を指示するため
の情報であり、XYZ直交座標系の場合は(x,y,z)の３つの
値の組で表される。また、地球上の事象を表すのであれ
ば、緯度、経度、高度（または深度）の３つの値の組で
表すこともできる。「姿勢」とは、「ポジション」で示
される一点からどの方向を向いているかを示すもので、
向いている方向上にある任意の一点のポジションを使う
ことも可能であるし、XYZ直交座標系の場合は、視線が
各座標軸となす角度、あるいは規定の視線方向（たとえ
ば−Z方向）を決めておき、それを各座標軸のまわりに
どれだけ回転させるか、で表すことができる。

【００２１】いずれにしろ、特に拘束条件がない場合
は、「ポジション」は自由度３であり、「姿勢」も自由
度３である。

【００２２】位置センサは「ポジション」および「姿
勢」の６自由度の値を得ることができるセンサである。

【００２３】位置センサとしては様々なものが販売され
ており、磁場を利用したもの、マーカーを外部に設置し
たカメラで撮影し画像処理するもの、ジャイロセンサと
加速度センサを組み合わせたもの等がある。

【００２４】またボードゲームの性格上、プレイ中はプ
レイヤーの頭部の位置はほとんど変化しない。そこで、
ポジション情報としてはゲーム開始時に校正された値を
用い、姿勢情報のみを計測するセンサ、すなわち姿勢セ
ンサを用いることもできる。この場合、ゲーム中は姿勢
情報の３自由度のみを計測しているわけであるが、シス
テムとしては最初に校正されたポジション情報と併せ
て、６自由度の値を返しているものとして処理すること
ができる。すなわち、姿勢センサと校正されたポジショ
ンデータとで位置センサとみなすことができる。

【００２５】図２にゲーム前の校正の方法を示す。ゲー
ムボード１０１上には識別のためのマーカー２０１が四
隅に付けられている。マーカー２０１はここでは簡単の
ため、正方形に配置されているとし、正方形の一辺の長
さはｌである。プレイヤーはボードの手前に位置する
が、プレイヤーの視点２０２のポジションはボードの正
面で手前の辺からｄである。この状態でプレイヤーがボ
ードを見たとき、ボードは手前の辺に比べて奥の辺が短
く観測される。観測された手前の辺の長さをｍ_１、奥の
辺の長さをｍ_２とすると、視点２０２のボード１０１面
からの高さｈは投影方法にもよるが、次のように求めら
れる。

【００２６】 h=((m₂ ²(d+l)² m₁ ²d²) / (m₁ ² m₂ ²))^0.5 HMD１０３との映像の入出力、及び位置センサ１０４か
らの位置情報は、ゲームコンソールあるいはPC１０２に
よって処理される。

【００２７】図３はシースルーHMD１０３の内部構成を
示した図である。シースルーHMDにはビデオシースルー
タイプと光学シースルータイプとがある。

【００２８】ビデオシースルータイプの場合、プレイヤ
ーの目には直接外界の光は届かない。外界からの光は両
面ミラー３０１で光線方向を変更し、撮像素子３０２に
入る。また、プレイヤーに提示する映像は表示素子３０
３に表示され、両面ミラー３０１を経由してプレイヤー
の目に入る。撮像素子３０２の出力画像を直接表示素子
３０３に入力してやると、単なるメガネになるが、この
間にゲームコンソールまたはPC１０２で処理を加え、生
成したCGを重畳表示することができる。

【００２９】光学シースルータイプの場合は、外界の光
は直接プレイヤーの目に届く一方、別途生成したCGをも
同時に表示することにより、プレイヤーにはCGが重畳表
示されたように見える。

【００３０】外界からの光はハーフミラーをそのまま突
き抜けて、プレイヤーの目に入る。同時に表示素子に表
示された映像はハーフミラーで反射され、プレイヤーの
目に入る。この場合、撮像素子は必要ないが、プレイヤ
ー視点での映像を画像処理に使う場合には必要となる。
あるいは撮像素子３０２を用いずに、別途画像処理用に
カメラを設け、HMD１０３に固定することも可能であ
る。

【００３１】ゲームコンソールまたはPC１０２は、通常
のゲームと同様にゲームを管理・進行する。

【００３２】なお、ボードゲームの場合は、位置情報と
しては、ボード１０１とHMD１０３との相対的位置関係
さえわかればよく、設置のたびに大道具、小道具による
セットや、人体に装着するセンサの校正を行わなくてよ
い。

【００３３】本実施形態によれば、MRゲームに比べて必
要なセットがコンパクトである。さらにて、校正も含め
た設置が容易である。MRゲームについての詳細は、たと
えば日本バーチャルリアリティ学会第４回大会論文集の
22A:複合現実感の「複合現実型アミューズメントのため
のフレームワークと実装 (Design and Implementation
for MR Amusement Systems) に記載されている。

【００３４】また、本実施形態によれば、従来のボード
ゲームに比べて臨場感を向上させることができる。

【００３５】図４は本実施形態が適用される映像体験シ
ステムの構成例である。

【００３６】ゲームコンソールまたはPC１０２はゲーム
管理部４０１によりゲームの進行を管理する。そして、
ゲームの進行に応じて、各場面に対応したCG（コンピュ
ータグラフィックス）をCG生成部４０５で生成する。Ｃ
Ｇ生成部４０５はプレイヤー視点からみたCG画像を生成
するために、プレイヤー視点の位置情報をプレイヤー位
置決定手段４０２から取得する。プレイヤー位置決定手
段４０２には、たとえば、位置センサ１０４と、その情
報を解析し、プレイヤー視点の位置情報を決定する位置
センサ情報処理部４０３が含まれる。

【００３７】位置センサ情報処理部４０３は、位置セン
サ１０４から得られるデータのフォーマット変換や、シ
ステムで用いる座標系への変換、また位置センサの取り
付けられている位置とHMD１０３視点との差の補正等を
行う。

【００３８】CG生成部４０５で生成されたCGはプレイヤ
ー視点から見た画像であるので、ビデオシースルータイ
プのHMDの場合はHMD１０３の撮像部３０２より得られた
画像に、画像合成部４０４で重畳して、表示部３０３に
表示する。

【００３９】光学シースルータイプのHMDの場合は画像
合成の必要がないので、撮像部３０２及び画像合成部４
０４は必要なく、CG生成部４０５の出力をそのまま表示
部３０３に表示する。

【００４０】ゲーム管理部４０１はゲームそのものに関
する情報、いわゆるルールが格納され、ゲーム進行中は
現在の状態や場面を保持し、次にどの状態に移行するか
を決定、管理する。さらにCGを用いてプレイヤーに提示
する場面では、CGの描画指示をCG生成部４０５に対して
発行する。

【００４１】CG生成部４０５は、ゲーム管理部４０１か
らの指示に従い、各キャラクタに対応する内部表現であ
るモデルデータをプレイヤーがプレイしている仮想世界
の内部表現であるワールドに配置する。モデルデータも
ワールドもシーングラフと呼ばれる手法で内部表現され
ており、ワールドのシーングラフを生成したのちに、シ
ーングラフをレンダリングする。その際、プレイヤー位
置決定手段４０２より与えられる位置からワールドを見
たシーンをレンダリングする。

【００４２】レンダリングは表示されない内部のメモリ
上で行われることもあるし、フレームバッファと呼ばれ
る表示用のメモリ上に行われることもある。ここでは簡
単のため、表示されない内部のメモリ上にレンダリング
されるものとする。

【００４３】画像合成部４０４ではCG生成部４０５が生
成したCGをHMD１０３内の撮像部３０２によって撮像さ
れた画像に重畳する。画像を重畳表示するには、アルフ
ァブレンディングという手法が使える。画像合成部４０
４の画素出力フォーマットとして、RGBAというRGBの三
原色の強度に加えて、不透明度A（アルファ値）（０≦A
≦１）を持っている場合は、不透明度Aの値によって、
合成する。

【００４４】たとえば、撮像部３０２からの出力上のあ
る画素の値をRGB値で(R₁,G₁,B₁)、画像合成部４０４の
対応する画素の値をRGB値で(R₂,G₂,B₂)、不透明度の値
をAとする。

【００４５】そのとき、表示部３０３に出力される対応
する画素の値はつぎのようになる。

【００４６】 (R₁*(1−A)+R₂*A, G₁*(1A)+G₂*A, B₁*(1A)+B₂*A) このアルファブレンディングの処理はCG生成部４０５内
で行うことも可能であるが、ここでは機能をわかりやす
く説明するために、別々の構成要素として図示してあ
る。

【００４７】以上のような構成にすることにより、プレ
イヤーはゲームの面白さに加えて、臨場感の高まりを感
じる。さらに重畳されるCGはゲームの進行に同期したも
のなので、ゲームの進行状況が把握しやすくなる。

【００４８】また、位置情報としては、ボード１０１と
HMD１０３との相対的位置関係さえわかればよく、設置
のたびに大道具、小道具によるセットや、人体に装着す
るセンサの校正を行わなくてよい。

【００４９】なお、本発明はゲームに限ったものではな
く、プレゼンテーション、教育、シミュレーション、ビ
ジュアライゼーションといった、さまざまな分野のアプ
リケーションにも適用できる。

【００５０】（第２の実施形態）図５は第２の実施形態
の映像体験システムの構成例を示す図である。図４と比
べて、プレイヤー位置決定手段４０２の構成のみが異な
っている。

【００５１】プレイヤー位置決定手段４０２はHMD１０
３に固定されたカメラ５０１とボード画像認識部５０２
より構成される。カメラ５０１で撮影された画像に映っ
たボード１０１の画像はプレイヤー視点２０２の位置に
よって異なる。そこでカメラ５０１で撮影された画像を
ボード画像認識部５０２で解析し、プレイヤー視点の位
置、姿勢を決定することができる。

【００５２】ボード画像認識部ではボード１０１の画像
を認識するが、ゲームボード１０１にマーカー２０１が
付けられている場合、カメラ５０１によって得られる画
像は歪んだものとなる。この歪みをもとに、カメラ５０
１の位置を決定する。マーカー２０１に関して、少なく
とも４点の対応が取れれば、カメラ５０１の位置が決定
できることが知られている。こうして得られたカメラ５
０１の位置を、カメラ位置とプレイヤー視点位置の違い
に基づき補正し、プレイヤー視点２０２の位置を算出
し、出力とする。

【００５３】なお、HMD１０３に撮像部３０２が予め付
属している場合には、カメラ５０１の代わりに撮像部３
０２を使用してもよく、同等の効果がある。

【００５４】本実施形態によれば、プレイヤー位置決定
手段が、シースルーHMDに固定されたカメラ、およびボ
ード画像認識部により構成され、ボード画像認識部はカ
メラによって撮像されたボードの画像からボードとプレ
イヤー視点の相対的な位置を決定するので、位置センサ
を用いずにプレイヤー視点の位置情報を求めることがで
き、構成を簡単にすることができる。

【００５５】（第３の実施形態）図６は第３の実施形態
の映像体験システムの構成例を示す図である。

【００５６】図４、図５と比べて、プレイヤー位置決定
手段４０２の構成のみが異なっている。

【００５７】図４、図５におけるプレイヤー位置決定手
段４０２の構成要素の両方を構成要素として持ち、さら
に最尤位置決定部６０１を持つ。

【００５８】一般に位置センサ１０４の出力は外乱に弱
く、また安定度も低い。そこでボード画像認識部５０２
からの位置情報を、プレイヤー位置決定手段の出力とし
て用いればよいのであるが、カメラの撮像範囲にボード
１０１が必ずしも含まれているとは限らず、プレイヤー
の手など、認識を妨げる要素もある。このような場合
は、位置情報の値の信頼度が低下する。

【００５９】そこで、その場合に限って、位置センサ１
０４からの情報を用いるようにする。この結果、位置情
報出力が途切れることなく、またボード１０１が認識さ
れている期間は精度の高い位置情報が取得できる。

【００６０】最尤位置決定部の処理を示すUMLアクティ
ビティ図を図７に示す。

【００６１】まず、位置センサ情報処理部４０３から
と、ボード画像認識部５０２からとの位置情報データを
待つ。両者のデータが揃ったところで、ボード画像認識
部５０２からの位置情報データが適切なものかどうかを
判断する。適切と判断されれば、プレイヤー位置決定手
段４０２の出力として、ボード画像認識部５０２からの
情報を用い、そうでない場合は位置センサ情報処理部４
０３からの情報を用いる。

【００６２】なお、ここではボード画像認識部５０２か
らは正常に認識できている間は高精度な値が、そうでな
い場合は不適当な値が得られることを前提に説明してい
るが、本発明はそのような場合に限らない。カメラ５０
１からの画像によっては、値は算出できるが信頼度の低
い場合もあるかもしれず、またある種の位置センサを用
いれば、特定の範囲では非常に高精度な値が得られる
が、その範囲を外れると徐々に信頼度が低下していく場
合もあるかもしれない。位置センサ情報処理部４０３と
ボード画像認識部５０２の各々の出力値に対する信頼度
に基づき、もっとも最適と思われる値を出力するように
設計することが必要である。

【００６３】本実施形態によれば複数の方法で求められ
た位置情報のいずれかが不適当な場合でも、信頼できる
位置情報を求めることができる。

【００６４】（第４の実施形態）位置センサの方式には
いくつかあるが、多くの方式で、その得られた値が揺ら
ぐという問題がある。計測された値と本来の値との差dV
を時間経過を横軸にしてグラフ化したものの例を図８に
示す。点線のように小さく揺らぐものと、実線のように
大きく遷移していくものがあるが、本実施形態では実線
のように大きく値が遷移していく場合を対象とする。

【００６５】大きな遷移の場合、十分な頻度でサンプリ
ングすれば、連続するdVの２サンプルの差は微小であ
る。そこでボード画像認識部５０２の値が適正な場合
に、それを本来の値と仮定した上でdVを計算し、位置セ
ンサ情報の補正値として−dVを使う。

【００６６】こうすることにより、大きな値の遷移はボ
ード画像認識部５０２の値が不正となったときを０とし
て始まることになり、このときプレイヤー位置決定手段
４０２が出力する位置情報は連続した値となるために、
プレイヤーにとって突然CG描画位置がずれることによる
不快感はなくなる。

【００６７】さらにボード画像認識部５０２の値が不正
な期間が十分に短い場合は、大きな遷移によるdVの変化
は微小であるので、再びボード画像認識部５０２の値が
プレイヤー位置決定手段４０２の値となったときも、CG
描画位置が不連続になることはない。

【００６８】図９に第４の実施形態の映像体験システム
の構成例を示す。

【００６９】図６と比べて基本的構成は変わっていない
が、ボード画像認識部５０２の出力が最尤位置決定部６
０１に加えて、位置センサ情報処理部４０３にも入力さ
れており、位置センサ情報処理部４０３の出力が最尤位
置決定部６０１に加えて、ボード画像認識部５０２にも
入力されている点のみ異なる。ただしここでは位置セン
サ情報処理部４０３の出力がボード画像認識部５０２に
入力されている部分に関しては無視できるものとして説
明する。

【００７０】位置センサ情報処理部４０３の処理を示す
UMLアクティビティ図を図１０に示す。

【００７１】位置センサ１０４からの情報は通常通り処
理され、位置情報が計算される。その値を変数LastSens
orPosに退避する。変数LastSensorPosはオブジェクト変
数で、すぐ後で述べる別のスレッドからも参照される。

【００７２】続いて計算された位置情報に補正値を加え
た値を戻り値として一時退避する。なお補正値もオブジ
ェクト変数であり、すぐ後で述べる別のスレッドによっ
て値を設定される。戻り値はローカル変数であるが、こ
れは排他的実行を行うために一時的に使用するだけであ
る。そして、最後に戻り地を位置センサ情報処理部４０
３の出力として返す。

【００７３】さて、上述の補正値を計算する必要がある
が、これはボード画像認識部５０２から出力があったと
きに、随時更新される。

【００７４】まず、画像認識情報が適切かどうかを判断
する。不適切であった場合は更新処理は行わない。適切
であった場合は、補正値を画像認識による位置情報から
LastSensorPosを減じて設定する。

【００７５】なお、ここでは位置センサ情報処理部４０
３からボード画像認識部５０２への入力は無視できると
考えたが、本発明はそのような場合に限らない。位置セ
ンサ１０４から高精度な情報が得られる場合には、ボー
ド画像認識部５０２も位置センサ情報処理部と同様な方
法で補正値を更新できる。また、各々の値の確信度によ
り、互いにどの程度、値を補正するかを変化させてもよ
い。たとえば、確信度の差が非常に大きい場合には、高
い側の出力をほぼそのまま出力するように低い側の位置
決定手段の補正値を更新するが、あまり差がないような
場合は、互いに少しづつ補正しあうように補正値を更新
する、といった具合である。

【００７６】本実施形態によれば、補正値を更新するこ
とにより、常に高い信頼度のプレイヤー視点の位置情報
を連続した値で得ることができる。よって、突然ＣＧ描
画位置がずれることによる不快感を防ぐことができる。

【００７７】（第５の実施形態）位置センサの方式とし
て、ジャイロセンサと加速度センサを組み合わせたもの
があると前に述べたが、ジャイロセンサは姿勢情報のみ
を検出する。このような姿勢センサを用いる場合、あら
かじめポジションを校正しておけば、位置センサとして
使える。しかし、カメラ５０１とボード画像認識部５０
２からなる位置決定手段を同時に持つ場合には、校正が
不要である。

【００７８】そこで基本的には画像処理によって位置情
報を計算するが、画像処理による位置情報が不正である
場合に、姿勢データのみを姿勢センサの値で補完するこ
とができる。ボードゲームやカードゲームの場合、HMD
１０３のポジション変化による視野の変化とHMD１０３
の姿勢変化によるはそれを比べると、後者の方が支配的
と考えられるので、姿勢情報のみを補完することも大い
に有意義である。そこでカメラ５０１の他に姿勢センサ
をHMD１０３に固定する。

【００７９】これは第５の実施形態の映像体験システム
の例であり、図１１にその構成例を示す。

【００８０】図６と比べてプレイヤー位置決定手段３０
２の構成のみが変わっている。位置センサ１０４の代わ
りに姿勢センサ１１０１、位置センサ情報処理部４０３
の代わりに姿勢センサ情報処理部１１０２、最尤位置決
定部６０１の代わりに最尤姿勢決定部１１０３となって
いる。

【００８１】基本的な処理の流れは第３の実施形態の場
合と変わらない。姿勢センサ１１０１の出力データを姿
勢センサ情報処理部１１０２が処理をし、姿勢情報を出
力する。位置センサ情報処理部４０３では姿勢情報に加
えてポジション情報も出力していたが、その点が異な
る。

【００８２】最尤姿勢決定部１１０３の処理をUMLアク
ティビティ図を図１２に示す。

【００８３】まず姿勢センサ情報処理部１１０２からの
姿勢センサ情報と、ボード画像認識部５０２からの画像
認識情報の来るのを待つ。両データが揃ったら、画像認
識情報が適切であるかどうかを判断する。

【００８４】適切であると判断されると、そのうちのポ
ジション情報をのみをオブジェクト変数LastIPPosに設
定する。そして、画像認識情報を返して処理を終了す
る。

【００８５】もし、不適切だと判断されたなら、姿勢情
報として姿勢センサ情報を使うが、足りないポジション
情報としてさきほど設定しておいたLastIPPosを用い
る。両データを組み合わせて得られる位置情報を返して
処理を終了する。

【００８６】なお、ここでは姿勢情報に関しては姿勢情
報処理部の値よりもボード画像認識部の値のほうが信頼
度が高いと仮定しているが、互いの信頼度に応じて、最
尤姿勢決定部１１０３は両者の値から姿勢情報を計算、
決定することができる。

【００８７】本実施形態によれば、最尤姿勢決定部で
は、それぞれの出力値の信頼度によって、もっとも信頼
できるプレイヤー視点の姿勢を、各々の出力値を元に決
定するので、１つの出力が不適当な場合でも、もっとも
信頼できるプレイヤー視点の姿勢を得ることができる。

【００８８】また、姿勢センサのみの場合に必要だっ
た、プレイヤー視点の位置の校正が不要である。また、
位置センサの代わりに姿勢センサを用いるため、安価に
構成できる。

【００８９】（第６の実施形態）姿勢センサ情報処理部
１１０２から得られる姿勢情報も、前に説明した通り、
値が揺らぐ。そこで、第４の実施形態と同様な方法でこ
の問題を克服する。

【００９０】図１３は第６の実施形態の映像体験システ
ムの構成例を示す図である。図１１と比べて構成は変わ
っていないが、ボード画像認識部５０２の出力が最尤姿
勢決定部１１０３に加えて、姿勢センサ情報処理部１１
０２にも入力されている点のみ異なる。ただし、姿勢セ
ンサ情報処理部１１０２に渡される値は位置情報のうち
の姿勢情報のみである。

【００９１】姿勢センサ情報処理部１１０２の処理を示
すUMLアクティビティ図を図１４に示す。

【００９２】姿勢センサ１１０１からの情報は通常通り
処理され、姿勢情報が計算される。その値を変数LastSe
nsorDirに退避する。変数LastSensorDirはオブジェクト
変数で、すぐ後で述べる別のスレッドからも参照され
る。

【００９３】続いて計算された姿勢情報に補正値を加え
た値を戻り値として一時退避する。なお補正値もオブジ
ェクト変数であり、すぐ後で述べる別のスレッドによっ
て値を設定される。戻り値はローカル変数であるが、こ
れは排他的実行を行うために一時的に使用するだけであ
る。そして、最後に戻り値を姿勢センサ情報処理部１１
０２の出力として返す。

【００９４】さて、上述の補正値を計算する必要がある
が、これはボード画像認識部５０２から出力があったと
きに、随時更新される。

【００９５】まず、画像認識情報が適切かどうかを判断
する。不適切であった場合は更新処理は行わない。適切
であった場合は、補正値を画像認識による姿勢情報から
LastSensorDirを減じて設定する。

【００９６】なお、ここでは姿勢センサ情報処理部１１
０２からボード画像認識部５０２への入力は無視できる
と考えたが、本発明はそのような場合に限らない。姿勢
センサ１１０１から高精度な情報が得られる場合には、
ボード画像認識部５０２も姿勢センサ情報処理部と同様
な方法で補正値を更新できる。また、各々の値の確信度
により、互いにどの程度、値を補正するかを変化させて
もよい。たとえば、確信度の差が非常に大きい場合に
は、高い側の出力をほぼそのまま出力するように低い側
の姿勢決定手段、または位置決定手段内の姿勢決定にか
かわる部分の補正値を更新するが、あまり差がないよう
な場合は、互いに少しづつ補正しあうように補正値を更
新する、といった具合である。

【００９７】本実施形態によれば、高い信頼度のプレイ
ヤー視点の姿勢情報を含む位置情報を、連続した値で得
ることができる。

【００９８】（第７の実施形態）さて、ボードゲームで
用いる場であるボード１０１上にはいくつかの領域があ
り、プレイヤーは各領域にコマを置いたり、除いたり、
また領域間を移動させたりすることによって、ゲームを
進行させていくことは既に述べた通りである。ゲームの
場面状況、あるいは進行状況をゲーム管理部４０１が把
握することにより、CG生成部４０５は、ゲームの場面状
況、あるいは進行状況に合ったCGを生成することがで
き、プレイヤーにとってはより現実味の高いゲームと感
じられる。

【００９９】そこで、プレイヤーが操作するコマに関し
て、「どのコマが」「どの領域に」「置かれた／除かれ
た」を認識するコマ操作認識手段を持たせる。

【０１００】なお、コマに限らず他のアイテムを用いて
ゲームを進行させ、そのアイテムの操作を認識するよう
にしても構わない。

【０１０１】図１５は第７の実施形態の映像体験システ
ムの構成例である。

【０１０２】コマ操作認識手段１５０１は、コマに付け
られたバーコード等の特殊マークと、それを認識するバ
ーコードリーダ等の特殊マーク認識手段１５０２とから
構成される。ただし、特殊マークはコマに付けられるも
のであるので、図１５には図示していない。

【０１０３】なお、特殊マークはコマを識別するためだ
けのものなので、一般的な印刷によるマークのみなら
ず、ICチップ等を用いたRFIDと呼ばれるシステム、また
は類似のシステムを用いることもできる。

【０１０４】特殊マーク認識手段１５０２はボード１０
１上の各領域ごとに個別に設置してもよいし、複数の、
あるいは全部の領域をまとめて、１台で賄ってもよい。

【０１０５】特殊マーク認識手段１５０２からのデータ
は特殊マーク認識部１５０３に渡された後に、コマ操作
認識部１５０４に渡される。

【０１０６】特殊マーク認識部１５０３では、特殊マー
ク認識手段１５０２からの情報を解釈して、コマ操作認
識部１５０４が必要とするデータ形式に変換する。もし
各領域に対し、ひとつづつの特殊マーク認識部１５０３
が対応しているとすると、出力を出す特殊マーク認識部
１５０３によって「どの領域に」は判断できるので、そ
の情報は出力する必要はないが、複数の領域をひとつの
特殊マーク認識部１５０３が賄っている場合には、賄っ
ている範囲の領域に関しては「どの領域に」という情報
も出力する。また、たとえば特殊マーク認識手段１５０
２からの入力が１０桁の数字であった場合には、対応表
を用いる等して、「どのコマが」という情報に変換す
る。

【０１０７】コマ操作認識部１５０４では、「どのコマ
が」「どの領域に」「置かれた／除かれた」を認識し、
コマ操作認識手段１５０１の結果として、認識結果をゲ
ーム管理部４０１に渡す。

【０１０８】ゲーム管理部４０１では、コマ操作認識手
段１５０１からの認識結果をもとにゲームを進行させて
いく。実際のゲーム進行においては、「どのコマが」
「どの領域から」「どの領域に」移動した、という情報
が必要な場合もある。これは、コマが「領域ｊから除か
れた」という情報と、「コマｉ領域ｋに置かれた」とい
う情報を組み合わせることにより、ゲーム管理部４０１
が判断する。この場合ならば領域ｊに置かれているコマ
がｉだったならば、「コマｉが領域ｊから領域ｋに移動
した」となる。領域ｊに置かれているコマがｉだったと
いうことは、ゲーム管理部が履歴を管理、参照すること
で認知可能である。

【０１０９】図１６はコマ操作認識部の処理をUMLのア
クティビティ図で示したものである。

【０１１０】特殊マーク認識手段１５０２が、ボード１
０１上の各領域に一つづつ設置されており、領域ｉには
特殊マーク認識手段ｉが対応している。また特殊マーク
認識部１５０３はコマｊが置かれたときは特殊マーク識
別子としてｊを、除かれたときは特別な特殊マーク識別
子Nothingを返すものとする。

【０１１１】特殊マーク認識部からの入力を待ち、特殊
マーク識別子ｊがNothingであれば「領域ｉからコマが
除かれた」とし、そうでなければ「領域ｉにコマｊが置
かれた」として、コマ操作認識手段１５０１の結果とす
る。

【０１１２】本実施形態によれば、ゲームの進行を実際
にプレイヤーが行った動作をもとに進められることがで
きる。そして、ゲームの場面状況、あるいは進行状況に
合ったＣＧを生成することができるので、プレイヤーに
とってはより現実味の高いゲームと感じられるという効
果がある。

【０１１３】（第８の実施形態）バーコードを特殊マー
ク識別子として用いることができる。これは請求項１０
に対応する。

【０１１４】バーコードは物流等の分野で広く使われて
おり、入手がしやすい、高精度の認識、認識が安定して
いる、安価である、等の特徴がある。特にカードゲーム
の場合は、カードの印刷時に同時にバーコードを印刷で
きる。また、不可視のバーコードを用いれば、デザイン
に影響を与えることなく、特殊マークを付与できる、と
いう効果がある。

【０１１５】（第９の実施形態）ＲＦＩＤシステムを特
殊マーク認識手段として用いることができる。ＲＦＩＤ
とはRadio Frequency Identificationと呼ばれる技術
で、無線周波による非接触自動識別技術のことである。

【０１１６】タグあるいはトランスポンダと呼ばれるも
のを物体に取り付け、リーダでタグ固有のＩＤを読み取
る。一般的には、タグは送受信回路、制御回路メモリ等
がシングルチップされた半導体とアンテナで構成され
る。リーダは質問電波を発射するが、この質問電波を電
気エネルギーとして使用するため、タグには電池が不要
である。タグは質問電波に対して、予めメモリに収めら
れたＩＤを発射する。リーダはこのＩＤを読み取り、物
体を識別する。

【０１１７】ＲＦＩＤシステムは、ＩＤカード等で広く
使われている技術で、入手の容易性、高精度の認識、安
定した認識、安価、といった特徴がある。またコマの内
部に納めれば、外観に全く影響を与えずにコマの認識が
できる、という効果がある。さらに表面形状は平面でな
くてもよく、また非金属の物体であればタグとリーダの
間に障害物があってもよいため、コマやボードそのもの
のデザインに自由度が出る、という効果もある。

【０１１８】（第１０の実施形態）「どのコマが」を認
識するのは、特殊マーク認識手段を用いずとも、カメラ
を用いて得られた画像を画像認識処理することによって
も可能である。例えばカードゲームであれば、カード表
面に描かれた模様を、チェスのようなものであればコマ
の形状を、さらにゲームによってはコマの形状とそこに
描かれた模様を同時に用いて、コマを認識する。

【０１１９】ここでは四角いカード表面に描かれた模様
を認識することを例にとるが、本発明はコマの形状を認
識しても、またコマの形状とそこに描かれた模様を同時
に用いて認識する場合でも、適用可能である。

【０１２０】図１７は第１０の実施形態の映像体験シス
テムの構成例である。図１５と比べて、コマ操作認識手
段１５０１の構成のみが異なっており、特殊マーク認識
手段１５０２がコマ認識カメラ１７０１に、特殊マーク
認識部１５０３がコマ画像認識部１７０２に対応してい
る。なお、コマ操作認識部１５０４は同一なものであ
る。

【０１２１】ここではコマに描かれた模様として、図１
８に示す２パターンのものを認識する例を示すが、さら
に複雑な処理を用いれば、漫画や写真のような複雑な様
々な模様を認識することも可能である。

【０１２２】図２０はコマ画像認識部１７０２の処理を
UMLアクティビティ図で示したものである。

【０１２３】認識には２段階あり、まず枠の検出、続い
て模様の検出である。枠が検出できなかった場合は、カ
ードがないと判断し、コマ識別子としてNothingを返
す。枠の検出は特に図示しないが、ハフ変換等を用いて
直線を検出し、それらの位置関係から枠と判定する方法
等がある。

【０１２４】枠が検出できた場合は、次に模様を検出す
る。枠内を図１９に示すように４つに分け、各々の領域
の色を検出する。色検出にもいくつかの手法がある。た
とえば、白と黒だけの検出では、明度情報のみを用い、
検出しようとする領域の明度の平均値を求め、その値が
ある一定値Ｔ_Ｂ以下ならば黒、ある一定値Ｔ_Ｗ以上なら
ば白と判定することができる。

【０１２５】各々の領域に図１９に示すように１から４
の番号を付けた。領域１から４までの色を順に並べた結
果が、黒白白黒または白黒黒白であれば、コマ識別子と
して１を返し、黒黒白白または白白黒黒または黒白黒白
または白黒白黒であれば２を返す。それ以外であれば、
想定していないカードであるか枠の誤認識等であり、こ
れはカードがないものとしてNothingを返す。なお、連
続して画像認識する場合、同じ結果が連続して出る。

【０１２６】またカードを置いている最中、あるいは除
こうとしている最中はカードが置かれたり除かれたりと
いった状態がランダムに出力される可能性がある。これ
らが問題となるようなゲームでは連続する同じ出力は抑
制したり、一定時間以上同じ状態が続いたときに出力を
する、といった工夫が必要になるが、ここでは説明しな
い。

【０１２７】（第１１の実施形態）コマの認識用いるカ
メラとして、HMD１０３に固定されたカメラ５０１を使
ってもよい。コマ操作認識手段で用いるカメラとして、
プレイヤーのHMDに固定されたカメラを用いるので、装
置を簡素化することができる。

【０１２８】ボード画像認識部５０２によって、ボード
１０１が認識できれば、ボード１０１上に設けられた領
域を判断することができる。そこで、その領域にあるコ
マを認識することによって、コマ操作認識手段とするこ
とができる。

【０１２９】図２１は第１１の実施形態の映像体験シス
テムの構成例である。コマ操作認識手段１５０１はボー
ド上コマ画像認識部２１０１とコマ操作認識部１５０４
とから構成され、認識する画像データはカメラ５０１よ
り、ボード１０１の認識情報はボード画像認識部５０２
より入力される。ボード画像認識部５０２の出力はプレ
イヤー視点の位置であるが、プレイヤー視点の位置がわ
かれば、その情報から画像上のボードの位置は容易に計
算できる。

【０１３０】図２２はボード上コマ画像認識部の処理を
UMLアクティビティ図で示したものである。カメラ５０
１からの画像入力を得、続いてその画像に対応したHMD
視点の位置をボード画像認識部５０２から得る。

【０１３１】HMD視点の位置から、まず入力画像上のボ
ード１０１の位置を計算する。次いで予め決められたボ
ード上の各領域の位置情報から、入力画像上での各領域
の位置を計算する。

【０１３２】各領域の位置がわかればその位置の画像を
切り出し、画像認識を行うことにより、各領域上のコマ
を認識する。この際、各領域の位置情報には姿勢の情報
も含まれているので、この情報も用いて画像認識を行う
ことにより、精度を上げることもできる。

【０１３３】（第１２の実施形態）カメラ５０１を用い
て、ボード上のコマを認識する場合、カメラ５０１から
コマまでの距離や、カメラ５０１に対するコマの姿勢等
が問題となり、画像上のコマが占める画素数が少なくな
り認識が難しくなったり、画像の変形を補正するために
画像認識部の構成が複雑になることがある。

【０１３４】そこで「どのコマか」を認識する際にカメ
ラ５０１から、予め定められた特定の位置にコマを持っ
てくることにより、コマの認識を行う。

【０１３５】たとえば、眼前３０ｃｍのところにコマを
持ってくるという具合である。もし図１８に示したよう
なカードであれば、枠が画像上の特定の位置にくること
により、カードをかざしたと判定でき、そこで認識を行
う。

【０１３６】コマが認識できれば、「どこに置く」はボ
ード上に置かれるまでコマを追跡してもよいし、第１０
の実施形態での画像認識部を簡略化して「何かが置かれ
た」を認識させればよい。「除かれた」に関しても同様
である。

【０１３７】「どのコマが」を認識する際に、特定のカ
メラの特定の位置にコマを配置するようにすることによ
り、認識率を上げることができる。さらに、認識部の構
成を簡単にすることができる。

【０１３８】図２３は第１２の実施形態の映像体験シス
テムの構成例である。図２１と比べてコマ操作認識手段
１５０１の構成のみが異なる。ボード上コマ画像認識部
２１０１は第１１の実施形態で記載のものでもよいが、
コマが「置かれた」「除かれた」のみを判断すればよい
ので、さらに簡略化してもよい。コマ画像認識部は第１
０の実施形態で記載したものと同様である。コマ操作認
識部２３０１はコマ操作認識部１５０４と多少異なって
おり、ボード上コマ画像認識部２１０１とコマ画像認識
部１７０２の両者から入力を得る。

【０１３９】図２４、図２５にコマ操作認識部２３０１
の処理をUMLアクティビティ図で示す。コマ画像認識部
１７０２から「コマｊが認識された」という情報があっ
たときを図２４に、ボード上コマ画像認識部２１０１か
ら「領域ｉにコマが置かれた／除かれた」という情報が
あったときを図２５に示す。

【０１４０】コマ画像認識部１７０２から「コマｊが認
識された」という情報があったときは、「コマｊ」とい
うことをオブジェクト変数に記録しておき、後に「どの
領域にコマが置かれた」という情報があったときに「ど
のコマが」という情報として用いる。

【０１４１】ボード上コマ画像認識部２１０１から「領
域ｉにコマが置かれた」という情報があったときは、オ
ブジェクト変数からさきほど記録しておいた「コマｊ」
を読み出し、「領域ｉにコマｊが置かれた」という結果
を返す。

【０１４２】また「ボード上コマ画像認識部２１０１」
から「領域ｉからコマが除かれた」という情報があった
ときは、「領域ｉからコマが除かれた」という結果をそ
のまま返す。

【０１４３】なお、コマ画像認識部１７０２への入力を
HMD１０３に固定されたカメラ５０１ではなく、別途用
意した書画カメラのような専用のカメラを用いてもよ
い。また、専用のカメラとコマ画像認識部１７０２の組
み合わせを、別途用意した特殊マーク認識手段１５０２
と特殊マーク認識部１５０３に置き換えても同様の効果
がある。

【０１４４】（第１３の実施形態）カメラ５０１の前に
コマをかざすことにより、コマは認識されるわけである
が、プレイヤーにとってはどの位置に持っていったらよ
いのかが、なかなかわかりにくい。また、映像体験シス
テム側としてはなるべくプレイヤーの使いやすいように
すると、空間的な認識範囲を広く取らざるを得ず、そう
すると認識部の複雑・高度化や認識率の低下を招く。

【０１４５】プレイヤーが迷うことなく、予め定められ
た空間的に狭い認識範囲にコマをかざすことができれば
よい。それにはプレイヤーがコマを認識させようと思っ
たときに、HMD１０１の表示部３０３にガイドを表示
し、プレイヤーはそのガイドに合わせるようにコマをか
ざせばよい。

【０１４６】図２６に第１３の実施形態の映像体験シス
テムの構成例を示す。図２３と比べて、構成は変わって
いないが、コマ画像認識部１７０２がコマ画像認識・ガ
イド表示指示部２６０１に変更になり、ここからCG生成
部４０５に情報が出力されている部分のみが異なってい
る。

【０１４７】コマ画像認識・ガイド表示指示部２６０１
はコマ画像認識部１７０２とほとんど同じ構成である
が、認識結果に対する確信度がある程度以下の場合はガ
イド表示指示を出す点のみが異なる。図２７にコマ画像
認識部１７０２とコマ画像認識・ガイド表示指示部２６
０１の出力の違いを示す。

【０１４８】コマ画像認識部１７０２と同様な認識エン
ジンを用いるとすると、認識の確信度がコマ画像認識部
１７０２よりも高いある値Th以上であれば認識できたと
判断し、認識結果を出力する。この閾値Thが高いため
に、高い認識率を実現することが容易となる。

【０１４９】ある値Tlよりも低い確信度の場合は非認
識、すなわちコマがかざされていないと判断するが、こ
の値Tlはコマ画像認識部１７０２の場合は、認識できる
場合の値Thと同一である。しかし、コマ画像認識・ガイ
ド表示指示部２６０１の場合は低く設定してある。この
「認識」でも「非認識」でもない確信度の場合、ガイド
表示指示を出すことになる。

【０１５０】図２８にコマ画像認識・ガイド表示指示部
２６０１の処理をUMLアクティビティ図で示す。なお、
確信度を０以上１以下とすると、0<Tl≦Th<1の関係があ
る。コマ画像認識処理を行い、その認識結果に対する確
信度がTlよりも低ければ非認識として、何も行わない。
もし確信度がThよりも高ければ、認識できたとしてコマ
操作認識部２３０１に認識結果を渡す。そのどちらでも
ない場合は、CG生成部４０５に対して、ガイド表示指示
を出す。ガイド表示は例えば図２９のようなものであ
る。

【０１５１】本実施形態によれば、特定のカメラの特定
の位置にコマを配置する際、コマを配置しやすくするガ
イドをCGで構成し、プレイヤーのHMDに合成表示するの
で、プレイヤーがコマを空間上の適切な場所にかざすこ
とが容易である。

【０１５２】（第１４の実施形態）複数のプレイヤーに
よって行うゲームでは、ボード１０１上での出来事は表
示も含め、全てのプレイヤーによって共有する必要があ
る。これは、論理的に１つのゲーム管理部４０１を全て
のプレイヤーで共有することによって実現できる。物理
的には、１台の専用PCとしても、他の構成部分を含む特
定の１台の専用ゲームコンソールでも、また分散データ
ベースのように複数のゲームコンソールまたはPC上に配
置されていてもよい。

【０１５３】すなわち各プレイヤーにとって、ゲームコ
ンソールまたはPC１０２は図４のような構成をとってお
り、ゲーム管理部４０１は他のプレイヤーが行った操作
の結果も反映している。

【０１５４】図３０は第１４の実施形態の映像体験シス
テムの構成例を示す。

【０１５５】プレイヤー１人に各１台のゲームコンソー
ルまたはPC１０２が割り当てられ、互いにネットワーク
で接続されている。ネットワークを流れる情報は各ゲー
ムコンソールまたはPC１０２内の各ゲーム管理部４０１
の内容の同期を取るための情報である。

【０１５６】また、コマ操作認識手段は各ゲームコンソ
ールまたはPC１０２に配置されているが、この場合同じ
コマを複数の視点から認識を行っていることになる。こ
のような場合、ネットワークを介して、互いに情報を交
換し合い、より信頼度が高い側の認識結果を使うことも
できる。

【０１５７】図３１も第１４の実施形態の映像体験シス
テムの構成例である。インターネット上のゲームサーバ
内にゲームコンテンツがあり、各プレイヤーのゲームコ
ンソールまたはPC１０２はインターネットを介して接続
される。

【０１５８】ゲーム管理部４０１はローカルゲーム管理
部３１０１とゲームサーバ３１０２で構成され、ゲーム
サーバ３１０２は独立したマシンに配置される。ローカ
ルゲーム管理部３１０１は各プレイヤーにのみ関係する
こと、また時間的遅延が問題となる各ローカルプレイヤ
ーへのフィードバックが必要なことを扱う。また、個々
のゲームコンテンツの内容に関連することは、ゲーム開
始時、またはゲーム中にネットワークを介してゲームサ
ーバ３１０２よりデータやプログラムをダウンロードす
る。

【０１５９】本実施形態によれば、複数のプレイヤーが
ひとつのボード上でプレイし、複数のプレイヤーによる
複合操作の結果を各プレイヤー視点で、それぞれのHMD
に表示することができ、複数のプレイヤーで対戦するゲ
ームを体験することができる。

【０１６０】（他の実施形態）前述した実施の形態の機
能を実現する様に各種のデバイスを動作させる様に該各
種デバイスと接続された装置あるいはシステム内のコン
ピュータに、前記実施の形態の機能を実現するためのソ
フトウエアのプログラムコードを供給し、そのシステム
あるいは装置のコンピュータ（CPUあるいはMPU）を格納
されたプログラムに従って前記各種デバイスを動作させ
ることによって実施したものも本発明の範疇に含まれ
る。

【０１６１】この場合、前記ソフトウエアのプログラム
コード自体が前述した実施の形態の機能を実現すること
になり、そのプログラムコード自体、及びそのプログラ
ムコードをコンピュータに供給するための手段、例えば
かかるプログラムコードを格納した記憶媒体は本発明を
構成する。

【０１６２】かかるプログラムコードを格納する記憶媒
体としては例えばフロッピー（登録商標）ディスク、ハ
ードディスク、光ディスク、光磁気ディスク、CD-ROM、
磁気テープ、不揮発性のメモリカード、ROM等を用いる
ことが出来る。

【０１６３】またコンピュータが供給されたプログラム
コードを実行することにより、前述の実施形態の機能が
実現されるだけではなく、そのプログラムコードがコン
ピュータにおいて稼働しているOS(オペレーティングシ
ステム)、あるいは他のアプリケーションソフト等と共
同して前述の実施形態の機能が実現される場合にもかか
るプログラムコードは本発明の実施形態に含まれること
は言うまでもない。

【０１６４】更に供給されたプログラムコードが、コン
ピュータの機能拡張ボードやコンピュータに接続された
機能拡張ユニットに備わるメモリに格納された後そのプ
ログラムコードの指示に基づいてその機能拡張ボードや
機能格納ユニットに備わるCPU等が実際の処理の一部ま
たは全部を行い、その処理によって前述した実施形態の
機能が実現される場合も本発明に含まれることは言うま
でもない。

【０１６５】

【発明の効果】本発明によれば、現実のボードゲームの
面白さに加えて、臨場感が増し、さらにゲームの進行状
況が把握しやすくすることができる。

【０１６６】そして、従来のＭＲ技術を用いたゲームに
比較して、設置が容易であり、ゲーム内容の変更にも比
較的柔軟に対応することができる。

【図面の簡単な説明】

【図１】第１の実施形態の映像体験システムの構成例を
示す図である。

【図２】ボードと、プレイヤー視点の高さを計算する際
のボードの見え方を示す図である。

【図３】シースルーHMDの内部構成を示した図である。

【図４】第１の実施形態の映像体験システムの構成例を
示す図である。

【図５】第２の実施形態の映像体験システムの構成例を
示す図である。

【図６】第３の実施形態の映像体験システムの構成例を
示す図である。

【図７】第３の実施形態の映像体験システムの構成要素
である最尤位置決定部の処理を表すUMLアクティビティ
図である。

【図８】第４の実施形態の映像体験システムの構成要素
である位置センサにより計測された値と本来の値との差
を、時間経過とともにグラフ化したものの例を示す図で
ある。

【図９】第４の実施形態の映像体験システムの構成例を
示す図である。

【図１０】第４の実施形態の映像体験システムの構成要
素である位置センサ情報処理部の処理を表したUMLアク
ティビティ図である。

【図１１】第５の実施形態の映像体験システムの構成例
を示す図である。

【図１２】第５の実施形態の映像体験システムの構成要
素である最尤姿勢決定部の処理を表したUMLアクティビ
ティ図である。

【図１３】第６の実施形態の映像体験システムの構成例
を示す図である。

【図１４】第６の実施形態の映像体験システムの構成要
素である姿勢センサ情報処理部の処理を表したUMLアク
ティビティ図である。

【図１５】第７の実施形態の映像体験システムの構成例
を示す図である。

【図１６】第７の実施形態の映像体験システムの構成要
素であるコマ操作認識部の処理を表したUMLアクティビ
ティ図である。

【図１７】第１０の実施形態の映像体験システムの構成
例を示す図である。

【図１８】第１０の実施形態の映像体験システムの動作
を説明するのに用いる、カードの模様の例を示す図であ
る。

【図１９】第１０の実施形態の映像体験システムの動作
を説明するのに用いる、カード上の認識領域を示す図で
ある。

【図２０】第１０の実施形態の映像体験システムの構成
要素であるコマ画像認識部の処理を示すUMLアクティビ
ティ図である。

【図２１】第１１の実施形態の映像体験システムの構成
例を示す図である。

【図２２】第１１の実施形態の映像体験システムの構成
要素であるボード上コマ画像認識部の処理を示すUMLア
クティビティ図である。

【図２３】第１２の実施形態の映像体験システムの構成
例を示す図である。

【図２４】第１２の実施形態の映像体験システムの構成
要素であるコマ操作認識部の処理を示すUMLアクティビ
ティ図である。

【図２５】第１２の実施形態の映像体験システムの構成
要素であるコマ操作認識部の処理を示すUMLアクティビ
ティ図である。

【図２６】第１３の実施形態の映像体験システムの構成
例を示す図である。

【図２７】第１３の実施形態の映像体験システムの構成
要素であるコマ画像認識・ガイド表示指示部を説明する
ために、コマ画像認識部との出力の違いを示した図であ
る。

【図２８】第１３の実施形態の映像体験システムの構成
要素であるコマ画像認識・ガイド表示指示部の処理を示
すUMLアクティビティ図である。

【図２９】第１３の実施形態の映像体験システムによっ
て、HMDのに表示部に表示されるガイドの例を示す図で
ある。

【図３０】第１４の実施形態の映像体験システムの構成
例を示す図である。

【図３１】第１４の実施形態の映像体験システムの構成
例を示す図である。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 1/00 ２８０ Ｇ０６Ｔ 1/00 ２８０ 3/00 ３００ 3/00 ３００ 7/20 １００ 7/20 １００ 7/60 １５０ 7/60 １５０Ｂ 17/40 17/40 Ｅ (72)発明者 松井 太一 東京都大田区下丸子３丁目30番２号キヤノ ン株式会社内 Ｆターム(参考） 2C001 AA01 AA12 AA13 BA02 BA03 BA05 BA06 BB02 BC01 BC04 BC05 BC06 BC08 CA08 CB01 CB02 CB04 CB06 CB08 CC01 CC08 DA04 2F065 AA03 AA04 AA37 BB27 FF04 JJ03 LL00 QQ24 QQ25 QQ31 QQ32 5B050 AA10 BA09 BA11 BA18 EA13 EA19 FA02 5B057 AA20 CA13 CB13 CE08 CH01 DA07 DA16 DB03 5L096 AA09 BA20 CA02 EA01 FA69 JA16

Claims (20)

【特許請求の範囲】
1. 【請求項１】 ゲームボード上にアイテムを配置するこ
   とにより進行するゲームのための映像体験システムであ
   って、 プレイヤー視点の位置情報を求めるプレイヤー位置決定
   手段と、 ゲームボード上のアイテムに応じて、前記プレイヤーの
   視点の位置情報に応じたコンピュータグラフィックスを
   生成する生成手段と、 現実世界の画像に前記生成されたコンピュータグラフィ
   ックスを重畳させて表示するヘッドマウントディスプレ
   イとを有することを特徴とする映像体験システム。
2. 【請求項２】 前記プレイヤーの位置情報は、前記プレ
   イヤー視点の前記ゲームボードからの相対的な位置を示
   す情報であることを特徴とする請求項１記載の映像体験
   システム。
3. 【請求項３】 さらに、前記プレイヤーの姿勢情報を計
   測する計測手段を有し、 前記プレイヤー位置決定手段は、前記プレイヤーの姿勢
   情報と予め校正されたポジション情報とから前記プレイ
   ヤー視点の位置情報を求めることを特徴とする請求項１
   記載の映像体験システム。
4. 【請求項４】 さらに、前記ヘッドマウントディスプレ
   イに固定されたカメラを有し、 前記プレイヤー位置決定手段は、前記カメラの撮影画像
   を解析し画像認識することにより、前記プレイヤー視点
   の位置情報を求めることを特徴とする請求項１記載の映
   像体験システム。
5. 【請求項５】 さらに、プレイヤーの位置を計測する位
   置センサと、 前記ヘッドマウントディスプレイに固定されたカメラと
   を有し、 前記プレイヤー位置決定手段は、前記位置センサからの
   出力からプレイヤー視点の位置情報を求める第一の位置
   決定部と、前記カメラの撮影画像からプレイヤー視点の
   位置情報を求める第二の位置決定部とを有し、前記第一
   および前記第二の位置決定部の夫々の出力値の信頼度に
   基づき、前記プレイヤーの視点の位置情報を求めること
   を特徴とする請求項１に記載の映像体験システム。
6. 【請求項６】 さらに、プレイヤーの姿勢を計測する姿
   勢センサと、 前記ヘッドマウントディスプレイに固定されたカメラと
   を有し、 前記プレイヤー位置決定手段は、前記姿勢センサからの
   出力からプレイヤー視点の位置情報を求める第一の位置
   決定部と、前記カメラの撮影画像からプレイヤー視点の
   位置情報を求める第二の位置決定部とを有し、前記第一
   および前記第二の位置決定部の夫々の出力値の信頼度に
   基づき、前記プレイヤーの視点の位置情報を求めること
   を特徴とする請求項１に記載の映像体験システム。
7. 【請求項７】 さらに、前記第一の位置決定部または前
   記第２の位置決定部の出力値から補正値を求め、前記補
   正値を用いて前記第一の位置決定部または前記第２の位
   置決定部の出力値を補正することを特徴とする請求項５
   または請求項６記載の映像体験システム。
8. 【請求項８】 さらに、前記ボードゲーム上のアイテム
   の変化を認識するアイテム操作認識手段を持つことを特
   徴とする請求項１に記載の映像体験システム。
9. 【請求項９】 前記コマ操作認識手段は、アイテムに付
   けられた特殊マーク識別子を認識することを特徴とする
   請求項８記載の映像体験システム。
10. 【請求項１０】 可視あるいは不可視のバーコードを特
    殊マーク識別子として用いることを特徴とする請求項９
    記載の映像体験システム。
11. 【請求項１１】 RFIDトランスポンダを特殊マーク識別
    子として用いることを特徴とする請求項９記載の映像体
    験システム。
12. 【請求項１２】 前記アイテム操作認識手段は、アイテ
    ムの形状、またはアイテム上に描かれた模様、あるいは
    その両方を、画像認識を用いて認識することを特徴とす
    る請求項８に記載の映像体験システム。
13. 【請求項１３】 前記ヘッドマウントディスプレイに固
    定されたカメラの撮影画像を用いることを特徴とする請
    求項１２記載の映像体験システム。
14. 【請求項１４】 前記アイテム操作認識手段は、特定の
    カメラの特定の位置にアイテムを配置されたことを認識
    することにより、変更されるアイテムを認識することを
    特徴とする請求項１２に記載の映像体験システム。
15. 【請求項１５】 前記特定のカメラの前記特定の位置に
    コマを配置する際、アイテムを配置しやすくするガイド
    をコンピュータグラフィックスで構成し、前記プレイヤ
    ーのヘッドマウントディスプレイに表示させることを特
    徴とする請求項１４に記載の映像体験システム。
16. 【請求項１６】 複数のプレイヤーがひとつのゲームボ
    ード上でプレイし、複数のプレイヤーによる複合操作の
    結果を各プレイヤー視点で、それぞれのヘッドマウント
    ディスプレイに表示することを特徴とする請求項１記載
    の映像体験システム。
17. 【請求項１７】 ゲームボード上にアイテムを配置する
    ことにより進行するゲームのための情報処理方法であっ
    て、 プレイヤー視点の位置情報を入力し、 ゲームボード上のアイテムに応じて、前記プレイヤーの
    視点の位置情報に応じたコンピュータグラフィックスを
    生成し、 プレイヤーが装着しているヘッドマウントディスプレイ
    に、現実世界の画像に前記生成されたコンピュータグラ
    フィックスを重畳させて表示させることを特徴とする情
    報処理方法。
18. 【請求項１８】 前記プレイヤーの視点の位置情報は、
    プレイヤー視点の前記ゲームボードからの相対的な位置
    を示す情報であることを特徴とする請求項１７記載の情
    報処理方法。
19. 【請求項１９】 情報処理装置を制御して、請求項１７
    に記載された情報処理を実行することを特徴とするプロ
    グラム。
20. 【請求項２０】 請求項１９に記載されたプログラムが
    記録されたことを特徴とする記録媒体。