JP2000098870A - 仮想画像立体合成装置、仮想画像立体合成方法、ゲーム装置及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 観察者の属する実空間上の基準面を簡易に、
しかも、少ない計算量で認識できるようにすると共に、
その仮想空間の基準面上でＴＶ番組のキャラクタ画像な
どを合成できるようにする。 【解決手段】 観察者の属する外界像に３Ｄポリゴン１
０の画像を立体的に合成するゲーム装置１００であっ
て、観察者の属する実空間上で任意の基準面を認識する
ために使用するブレスレット１と、そのブレスレット１
に設けられた４つの発光ダイオードＬＥＤ１〜４の点滅
パターンを流し撮りして基準面を表示する表示手段２４
と、その基準面の属する仮想空間上で３Ｄポリゴン１０
の画像を合成する特殊グラストロン２とを備え、実空間
上の基準面の属する位置に、あたかも、３Ｄポリゴン１
０が存在するようになされたものである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、ＴＶ番組のキャ
ラクタを仮想空間上の手のひらで遊ばせる、いわゆるバ
ーチャルキャラクタ育成ゲーム装置などに適用して好適
な仮想画像立体合成装置、仮想画像立体合成方法、ゲー
ム装置及び記憶媒体に関する。

【０００２】詳しくは、観察者の属する実空間上で面認
識手段を設け、その実空間上の基準面を簡易に、しか
も、少ない計算量で認識できるようにすると共に、その
仮想空間の基準面上に仮想体画像を合成表示できるよう
にしたものである。

【０００３】

【従来の技術】近年、バーチャル・リアリティ（仮想現
実感）に基づく表示技術の向上に伴い、複数の画像表示
面に跨って仮想現実感を観察者に提供するための仮想画
像立体合成装置が出現している。

【０００４】この種の立体表示装置は、特開平９−２３
７３５３号の技術文献に見られる。この技術文献によれ
ば、縦横数ｍ程度の大きさの映写空間が設けられ、各々
の面に表示装置が配置され、各々の表示装置から恐竜、
怪獣や武器などの仮想体の画像が立体表示される。そし
て、観察者は液晶シャッター付きの眼鏡をかけ、その映
写空間に立つと、あたかも、各々の表示装置で表示され
た仮想体と同じ場所に居るようなされる。

【０００５】また、観察者が仮想空間上で手にする武器
がカメラによって撮像され、その武器の動きによって仮
想体が反応するように画像処理されている。これによ
り、観察者は数千年前の原始時代にタイムスリップし
て、恐竜退治などをゲーム感覚で行うことができる。

【０００６】

【発明が解決しようとする課題】ところで、従来方式の
立体表示装置によれば、映写空間が立体形状であること
を前提にして、その立体形状の重心が求められ、その重
心から映写空間の相対座標が求められる。そして、その
相対座標に基づいてカメラと、仮想体の位置関係とを求
め、仮想空間上に恐竜などの仮想体を合成表示してい
る。

【０００７】例えば、映写空間上のある基準面に恐竜な
どの仮想体を立たせようとしたときに、その仮想体と外
接する矩形領域が画像処理によって抽出され、その矩形
領域の四隅の画像上の位置が相対座標から求められ、透
視投影変換法などから得られたパラメータを用いてカメ
ラと、その仮想体の矩形領域の位置関係とが求められ
る。

【０００８】従って、観察者の属する実空間の基準面上
に、ＴＶ番組のキャラクタなどを仮想的に飛び出させ、
その仮想空間上の観察者の手のひらでそのキャラクタを
遊ばせるような仮想画像立体合成装置を構成しようとし
たときに、従来方式の立体表示装置をそのまま適用する
と、その立体表示装置が大がかりとなったり、基準面を
認識するための画像処理が複雑になったり、その時の計
算量が多くなったりして、ゲーム装置などのコストアッ
プにつながるという問題がある。

【０００９】そこで、本発明は上記の課題に鑑み創作さ
れたものであり、観察者の属する実空間上の基準面を簡
易に、しかも、少ない計算量で認識できるようにすると
共に、その仮想空間の基準面上でＴＶ番組のキャラクタ
画像などを合成できるようにした仮想画像立体合成装
置、仮想画像立体合成方法、ゲーム装置及び記録媒体を
提供することを目的とする。

【００１０】

【課題を解決するための手段】上述した課題は、観察者
の属する外界像に仮想体の画像を立体的に合成する装置
であって、観察者の属する実空間上で任意の基準面を認
識する面認識手段と、その面認識手段により認識された
仮想空間の基準面上に仮想体の画像を合成する合成手段
とを備え、実空間上の基準面の属する位置に、あたか
も、仮想体が存在するようになされたことを特徴とする
仮想画像立体合成装置によって解決される。

【００１１】本発明の仮想画像立体合成装置によれば、
観察者の属する外界像に仮想体の画像を立体的に合成す
る際に、面認識手段によって、観察者の属する実空間上
で任意の基準面が認識される。例えば、面認識手段では
仮想体の画像を合成させようとする位置に取付けられた
３点以上の光源が、点滅パターンが異なるように点滅さ
れ、その光源が、撮像手段によって所定の撮像方向に流
すように撮像される。

【００１２】その撮像手段による３つの点滅パターンの
輝度信号は演算手段で画像処理され、そして、３つの光
源の位置が求められ、その後、この３点を結ぶことによ
り、基準面が求められる。そして、面認識手段で認識さ
れた基準面が表示手段に表示されると、その仮想空間の
基準面上に仮想体の画像が合成される。

【００１３】従って、面認識手段において、観察者の属
する実空間上の基準面を簡易に、しかも、少ない計算量
で認識することができるので、その実空間上の基準面の
属する位置に、あたかも、ＴＶ番組のキャラクタなどを
飛び出させ、観察者の手のひらで遊ばせるバーチャルキ
ャラクタ育成ゲーム装置やその他のゲーム装置などに、
本発明の仮想画像立体合成装置を十分応用することがで
きる。

【００１４】本発明の仮想画像立体合成方法は、観察者
の属する外界像に仮想体の画像を立体的に合成する方法
であって、観察者の属する実空間上で任意の基準面を設
定し、ここで設定された基準面を撮像して仮想空間上に
表示し、そこに表示された仮想空間の基準面上に仮想体
の画像を重ね合わせて合成することにより、実空間上の
基準面の属する位置に、あたかも、仮想体が存在するよ
うになされたことを特徴とするものである。

【００１５】本発明の仮想画像立体合成方法によれば、
観察者に対して仮想体の画像を立体的に合成する際に、
観察者の属する実空間上で任意の基準面が認識される。
例えば、仮想体の画像を合成させようとする位置に取付
けられた３点以上の光源が、点滅パターンが異なるよう
に点滅され、その光源が、所定の撮像方向に流すように
撮像される。そして、撮像された３つの光源による輝度
信号の点滅パターンに関して、３つの輝点を含むＸＹ平
面を成す空間的な配置パターンに変換され、その配置パ
ターン上を走査して、少なくとも、３つの輝点の位置座
標が求められ、この３点の位置座標を結ぶことにより基
準面が求められる。

【００１６】従って、観察者の属する実空間上の基準面
を簡易に、しかも、少ない計算量で認識することができ
るので、従来方式に比べて演算負担を軽減できると共
に、バーチャルキャラクタ育成ゲーム装置などを構成し
た場合に、そのコストダウンを図ることができる。

【００１７】本発明のゲーム装置は、観察者の属する外
界像に任意のキャラクタ画像を立体的に合成する装置で
あって、観察者の属する実空間上で任意の基準面を認識
する面認識手段と、その面認識手段により認識された基
準面を表示する表示手段と、その表示手段により表示さ
れた仮想空間の基準面上にキャラクタ画像を合成する合
成手段とを備え、実空間上の基準面の属する位置に、あ
たかも、その任意のキャラクタが存在するようになされ
たことを特徴とするものである。

【００１８】本発明のゲーム装置によれば、上述した仮
想画像立体合成装置が応用されるので、観察者の属する
実空間上の基準面を簡易に、しかも、少ない計算量で認
識することができる。従って、その実空間上の基準面の
属する位置に、あたかも、ＴＶ番組のキャラクタなどを
飛び出させ、観察者の手のひらで遊ばせるバーチャルキ
ャラクタ育成ゲーム装置などを安価に構成することがで
きる。

【００１９】本発明の記録媒体は、観察者の属する外界
像に仮想体の画像を立体的に合成するアルゴリズムを格
納した記録媒体であって、記録媒体には、観察者の属す
る実空間上で任意の基準面を設定し、ここで設定された
基準面を撮像して仮想空間上に表示し、そこに表示され
た仮想空間の基準面上に仮想体の画像を重ね合わせて合
成するアルゴリズムを格納するようになされたことを特
徴とするものである。

【００２０】本発明の記録媒体によれば、上述した仮想
画像立体合成方法を実行するアルゴリズムが格納された
ので、そのアルゴリズムを実行することによって、観察
者の属する実空間上の基準面を簡易に、しかも、少ない
計算量で認識することができる。従って、実空間上の基
準面の属する位置に、あたかも、仮想体が存在するよう
に画像処理をすることができるので、バーチャルキャラ
クタ育成ゲーム装置などを再現性良く構成することがで
きる。

【００２１】

【発明の実施の形態】以下、図面を参照しながら、この
発明の実施形態としての仮想画像立体合成装置、仮想画
像立体合成方法、ゲーム装置及び記録媒体について説明
をする。

【００２２】（１）第１の実施形態 図１は本発明に係る実施形態としての仮想画像立体合成
装置を応用したゲーム装置１００の構成例を示す斜視図
である。

【００２３】この実施形態では、観察者の属する実空間
上で任意の基準面を認識する面認識手段を設け、そこで
認識された基準面の属する仮想空間上で仮想体の画像を
合成するようにして、その実空間上の基準面の属する位
置に、あたかも、キャラクタ画像などを飛び出させ、観
察者の手のひらで遊ばせる、いわゆるバーチャルキャラ
クタ育成ゲーム装置などを安価かつコンパクトに構成で
きるようにしたものである。

【００２４】図１に示すゲーム装置１００は観察者の属
する外界像に、ＴＶ番組のキャラクタなどの仮想体画像
を立体的に合成表示する装置である。このゲーム装置１
００は基準面設定用のブレスレット１、特殊グラストロ
ン２及び画像処理装置３を有している。このブレスレッ
ト１は例えば観察者の左手に装着して使用される。この
特殊グラストロン２の本体部２１にはベルト２２が設け
られ、眼鏡をかけるように本体部２１が観察者の顔面に
装着されると共に、その観察者の頭部外周部に沿ってベ
ルト２２が固定される。

【００２５】また、特殊グラストロン２には少なくとも
流し撮りＣＣＤ装置２３及び表示手段２４が設けられて
いる。特殊グラストロン２の機種によっては通常のＣＣ
Ｄ撮像装置２５が設けられる。この基準面設定用のブレ
スレット１、流し撮りＣＣＤ装置２３及び画像処理装置
３によって面認識手段が構成され、観察者の属する実空
間上で任意の基準面を認識できるようになされている。
ここで、流し撮りとは、流し撮りＣＣＤ装置２３におい
て、同一フィールド期間中に複数回、光電変換素子（フ
ォトダイオードなど）から信号電荷を読み出す撮影モー
ドをいう。

【００２６】この例で流し撮りＣＣＤ装置２３として垂
直転送部を有するインターライン転送方式の二次元撮像
デバイスを使用した場合には、同一フィールド期間中に
複数回、光電変換素子から垂直転送部に信号電荷が読み
出される。また、流し撮りＣＣＤ装置２３として電荷蓄
積部を有するフレーム転送方式の二次元撮像デバイスを
使用した場合には、同一フィールド期間中に複数回、光
電変換素子から電荷蓄積部に信号電荷が読み出される。

【００２７】更に、特殊グラストロン２には画像処理装
置３が接続され、流し撮りＣＣＤ装置２３から出力され
た画像データに基づいて基準面などを認識する画像処理
がなされる。この画像処理装置３には表示手段２４が接
続され、面認識手段により認識された基準面が表示され
る。この特殊グラストロン２内には偏光ビームスプリッ
タなどの光学手段が設けられる場合があり、表示手段２
４によって表示された仮想空間の基準面上で仮想体の画
像が合成される。この例では、実空間上の基準面の属す
る位置に、あたかも、仮想体としての３Ｄポリゴン（雪
だるま）１０が存在するようになされている。

【００２８】この例で、基準面設定用のブレスレット１
は図２に示すプレート部１１と、腕輪部１２とを有して
いる。プレート部１１は基準面を成すものであり、凹凸
の無い平坦状に形成される。プレート部１１の大きさは
例えば腕時計程度であり、その一辺の長さは３ｃｍ程度
であり、大きくても、せいぜい５ｃｍ程度である。プレ
ート部１１の表面四隅には、３点以上の光源としてそれ
ぞれ発光ダイオード（ＬＥＤ１〜４）が取付けられ、３
Ｄポリゴン１０を飛び出せようとする基準面の４つの点
Ｐ１〜Ｐ４の座標として（ｘ１，ｙ１）、（ｘ２，ｙ
２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）が与えられる
（仮想空間上では画像を合成しようとする基準面に相当
する）。

【００２９】この４個の発光ダイオードＬＥＤ１〜４
は、そのマーク部としての機能を発揮するために、つま
り、その取付け位置が明らかになるように、少なくと
も、点滅パターンが異なるように点滅される。この発光
ダイオードＬＥＤ１〜４の発光は特殊グラストロン２内
の流し撮りＣＣＤ装置２３により、所定の流し撮像方向
に流すように撮像される。この流し撮りは４個の発光ダ
イオードＬＥＤ１〜４の取付け位置から基準面を特定す
るためである。この基準面の特定については図８及び図
９で説明をする。

【００３０】この腕輪部１２は観察者の手首にフィット
させるように伸縮自在である構造が好ましい。例えば、
バンド部材にマジックテープを設けて装着状態を加減で
きるようにしたものなどである。プレート部１１は流し
撮りＣＣＤ装置２３の撮影範囲内に入るように左手の甲
側に装着するとよい。

【００３１】図３に示す特殊グラストロン２は非透過型
のヘッドマウントディスプレイを構成しており、通常の
ＣＣＤ撮像装置２５と、上述した流し撮りＣＣＤ装置２
３と、第１の画像表示素子としての右眼表示用の液晶表
示装置（以下ＬＣＤという）２６と、第２の画像表示素
子としての左眼表示用のＬＣＤ２７とを有している。

【００３２】つまり、観察者の眉間に相当する位置に
は、通常のＣＣＤ撮像装置２５と、流し撮りＣＣＤ装置
２３とが並べて配置され、前者によって観察者の属する
外界像が撮像され、後者によってブレスレット１の４個
の発光ダイオードＬＥＤ１〜４が流し撮りされる。従っ
て、観察者が基準面設定用のブレスレット１に目を向け
ると、その基準面の方向に流し撮りＣＣＤ装置２３が向
くようになる。

【００３３】そして、特殊グラストロン２内の観察者の
右目に相対する位置にはＬＣＤ２６が取付けられ、例え
ば、通常のＣＣＤ撮像装置２５により撮影した観察者の
ブレスレット１と、予め準備されたコンピユータ・グラ
フィックス（ＣＧ）による３Ｄポリゴン１０の画像とを
合成したステレオ画像の一方が表示される。

【００３４】また、その観察者の左目に相対する位置に
はＬＣＤ２７が取付けられ、上述のブレスレット１と、
３Ｄポリゴン１０の画像と合成したステレオ画像の他方
が表示される。この特殊グラストロン２は観察者の顔面
又は頭部に装着され、上述のＬＣＤ２６のステレオ画像
と、ＬＣＤ２７のステレオ画像とが観察者の眼球に導く
ようになされている。これにより、観察者の属する背景
像と３Ｄポリゴン１０とは頭の中で合成される。

【００３５】図４に示す特殊グラストロン２０は透過型
のヘッドマウントディスプレイを構成しており、通常の
ＣＣＤ撮像装置２５は搭載されていない。従って、透過
型のヘッドマウントディスプレイは、流し撮りＣＣＤ装
置２３と、外界像取り込み用の液晶シャッタ２８と、画
像表示素子としてのＬＣＤ２９を有している。

【００３６】例えば、観察者の眉間に相当する位置に
は、流し撮りＣＣＤ装置２３が配置され、観察者が基準
面設定用のブレスレット１に目を向けると、ブレスレッ
ト１の４個の発光ダイオードＬＥＤ１〜４が流し撮りさ
れる。そして、観察者の左目及び右目に相当する位置に
は液晶シャッタ２８が設けられ、例えば、液晶シャッタ
２８が開かれると、その液晶シャッタ２８を通過した観
察者のブレスレット１の実像が直接眼球に導かれる。

【００３７】また、特殊グラストロン２内の観察者の左
目又は右目の脇に位置する部分には、ＬＣＤ２９が取付
けられ、上述の特殊グラストロン２と同様にしてキャラ
クタ画像が表示される。図示しないが、液晶シャッタ２
８と、ＬＣＤ２９との間には偏光ビームスプリッタなど
の光学手段が設けられ、観察者のブレスレット１の実像
と、３Ｄポリゴン１０の画像とが観察者の眼球に導くよ
うになされている。これにより、観察者の属する背景像
と３Ｄポリゴン１０とが頭の中で合成される。

【００３８】続いて、インターライン転送方式の流し撮
りＣＣＤ装置２３の内部構成について説明する。図５に
示す流し撮りＣＣＤ装置２３は基板３１を有している。
その基板３１上には、１画素を構成する光電変換素子と
してフォトダイオードＰＨｉｊ（ｉ＝１〜ｎ、ｊ＝１〜
ｍ）がｎ列×ｍ行のマトリクス状に配置されている。

【００３９】この基板の列方向には電荷転送部としてｍ
本の垂直転送部３２が設けられ、フォトダイオードＰＨ
ｉｊから読み出した信号電荷が垂直読み出し信号Ｓ１に
基づいて垂直方向（流し撮り方向）に転送される。この
垂直転送部３２には水平転送部３３が接続され、その信
号電荷が水平読み出し信号Ｓ２に基づいて水平方向に転
送されるので、出力端子３４に流し撮り信号ＳOUTが出
力される。この例では、流し撮りをするために、少なく
とも、同一フィールド期間中に複数回、フォトダイオー
ドＰＨｉｊから垂直転送部３２に信号電荷が読み出され
る。

【００４０】また、流し撮りＣＣＤ装置２３は図６に示
す魚眼レンズ３５を有している。魚眼レンズ３５は例え
ばＣＣＤ撮像素子３６の光軸上に設けられる。この魚眼
レンズ３５によって観察者の基準面設定用のブレスレッ
ト１などを広範囲に撮像できるようになされている。も
ちろん、通常のレンズでも構わないが、視野が狭くなる
ので、観察者はブレスレット１に向けてより多く頭部を
傾けなければならない。

【００４１】続いて、ゲーム装置１００の回路構成につ
いて説明する。図７に示すゲーム装置１００は大きく分
けて３つの回路ブロックから成る。第１の回路ブロック
は基準面設定用のブレスレット１であり、このブレスレ
ット１には点滅制御回路１３が設けられ、４個の発光ダ
イオードＬＥＤ１〜４に所定の電圧が印加されて点滅制
御される。点滅制御回路１３では点滅パターンが異なる
ように発光ダイオードＬＥＤ１、ＬＥＤ２、ＬＥＤ３及
びＬＥＤ４が点滅間隔が制御される。発光ダイオードＬ
ＥＤ１〜４の電源には図示しない小型の乾電池やボタン
電池などが使用される。

【００４２】第２の回路ブロックは特殊グラストロン２
であり、非透過型の場合には上述した流し撮りＣＣＤ装
置２３、通常のＣＣＤ撮像装置２５、右眼表示用のＬＣ
Ｄ２６及び左眼表示用のＬＣＤ２７を有している。

【００４３】第３の回路ブロックは画像処理装置３であ
り、内部バス４１を有している。内部バス４１にはイン
タフェース（Ｉ／Ｏ）４２、画像キャプチャ部４３、画
像処理部４４、ＣＰＵ４５、ＲＯＭ４６、ＲＡＭ４７及
びＥ²ＰＲＯＭ（電気的な書き込み及び消去が可能な読
み出し専用メモリ）４８が接続されている。流し撮りＣ
ＣＤ装置２３、通常のＣＣＤ撮像装置２５、右眼表示用
のＬＣＤ２６及び左眼表示用のＬＣＤ２７はインタフェ
ース４２を介して内部バス４１に接続される。

【００４４】この内部バス４１には記録媒体としてＥ²
ＰＲＯＭ４８が接続され、観察者の属する外界像に３Ｄ
ポリゴン１０の画像を立体的に合成するアルゴリズムが
格納されている。例えば、Ｅ²ＰＲＯＭ４８には、観察
者の属する実空間上で任意に設定された基準面を撮像し
て仮想空間上にその基準面を表示すると共に、その仮想
空間上に３Ｄポリゴン１０の画像を重ね合わせて合成す
るアルゴリズムが格納される。

【００４５】従って、このアルゴリズムを実行すること
によって、簡易に、しかも、少ない計算量で実空間上の
基準面を認識することができる。これにより、実空間上
の基準面の属する位置に、あたかも、３Ｄポリゴン１０
が存在するように画像処理することができるので、バー
チャルキャラクタ育成ゲーム装置などのゲーム装置１０
０を再現性良く構成することができる。

【００４６】更に、内部バス４１にはＲＯＭ４６が接続
され、このゲーム装置１００を制御するためのシステム
プログラムや、メモリの読み出し手順などの制御情報な
どが格納される。内部バス４１にはワーキング用のＲＡ
Ｍ４７が接続され、システムプログラムやキャラクタ画
像を表示する表示情報が一時記録される。また、内部バ
ス４１にはＣＰＵ４５が接続され、インタフェース４
２、画像キャプチャ部４３、画像処理部４４、ＲＯＭ４
６、ＲＡＭ４７及びＥ²ＰＲＯＭ４８の入出力の制御
や、流し撮りＣＣＤ装置２３、ＣＣＤ撮像装置２５、Ｌ
ＣＤ２６及びＬＣＤ２７の入出力の制御が行われる。

【００４７】このインタフェース４２には画像処理部４
４が接続され、例えば、通常のＣＣＤ撮像装置２５で撮
像された図８に示す基準面設定用の４つの発光ダイオー
ドＬＥＤ１〜４の画像が、ＣＰＵ４５の制御命令と共に
インタフェース４２を介して、画像処理部４４に取り込
まれ、そこで所定の画像処理がなされ、再び、インタフ
ェース４２を介して特殊グラストロン２内のＬＣＤ２６
及びＬＣＤ２７などに転送される。

【００４８】また、インタフェース４２には画像キャプ
チャ部４３が接続され、ＣＰＵ４５の制御命令を受け
て、流し撮りＣＣＤ装置２３から入力した点滅パターン
の画像データを獲得する所定のキャプチャ処理がなされ
る。この点滅パターンの画像データは時間経過に対応す
る輝度の変化として表現されている。画像キャプチャ部
４３には演算手段としての画像処理部４４が接続され、
所定の画像処理が施された画像データに関して、点滅パ
ターンの同期ずれが補正されたり、観察者の属する基準
面が求められる。

【００４９】例えば、画像処理部４４では流し撮りＣＣ
Ｄ装置２３から出力された流し撮り信号（輝度信号）Ｓ
OUTの点滅パターンに関して、図９に示すウインドウＷ
により画定された画像領域内で、４つの流し撮り輝点Ｐ
１〜Ｐ４を含むＸＹ平面を成す空間的な配置パターンに
変換される。その後、その配置パターン上を走査して、
少なくとも、４つの輝点Ｐ１〜Ｐ４の位置座標（Ｘ１，
Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ
４）が求められる。この４つの輝点Ｐ１〜Ｐ４は観察者
に装着されたブレスレット１の基準面設定用の４つの発
光ダイオードＬＥＤ１〜４である。実空間上の４つの発
光ダイオードＬＥＤ１〜４の位置座標は既知であり、そ
の位置座標は（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ
３，ｙ３）、（ｘ４，ｙ４）である。

【００５０】従って、上述の実空間上の基準面は４つの
発光ダイオードＬＥＤ１〜４の取付け位置に射影する変
換行列を演算することにより得られる。ここで実空間の
平面上の点（ｘｉ，ｙｉ，０）をある並進・回転運動に
よって移動し、それを透視変換で画像座標系に射影した
点を（Ｘｉ，Ｙｉ）で示すと、両者の間には次の（１）
式の関係がある。

【００５１】

【数１】

【００５２】但し、ａ１・・・・ａ８は未知の係数でＣ
ＣＤ撮像装置２５などの外部パラメータ（位置と方向）
及び焦点距離などの内部パラメータである。これらのパ
ラメータは実空間の既知の点の位置座標（ｘ１，ｙ
１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ
４）と、それらに対応する４組の画像処理系の位置座標
（Ｘ１，Ｙ１）、（Ｙ２，Ｙ２）、（Ｘ３，Ｙ３）、
（Ｘ４，Ｙ４）が存在すれば、次の（２）式の方程式を
解くことにより得られる。

【００５３】

【数２】

【００５４】ここで得られた４点の位置座標（Ｘ１，Ｙ
１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ
４）を結ぶことにより、図８に示した実空間上の基準面
が認識される。

【００５５】具体的には、図９に示す配置パターン上で
流し撮像方向をＹ軸とし、そのＹ軸に直交する方向をＸ
軸としたときに、画像処理部４４によって流し撮像方向
と同一方向又はその反対方向に輝度信号値が加算され
る。この加算値がＸ軸上にプロットされると、そのＸ軸
にプロットされた輝度信号値が最大となる４７の位置が
検出され、この４つの位置に対応したＸ座標値Ｘ１、Ｘ
２、Ｘ３、Ｘ４が求められる。また、その配置パターン
上で取得画像をＹ方向に走査したときに、そのＹ方向に
並んだ複数の輝点のうち、最初に発光した輝点位置が各
々Ｘ座標値に対応したＹ座標値Ｙ１、Ｙ２、Ｙ３、Ｙ４
として求められる。

【００５６】ここで、実空間上の４つの発光ダイオード
ＬＥＤ１〜４の位置座標をｗｉ（ｉ＝１〜４）とし、そ
の４つの発光ダイオードＬＥＤ１〜４の位置座標ｗｉの
カメラ座標系上での表現ベクトルをＣｉとし、その４つ
の発光ダイオードＬＥＤ１〜４のＬＣＤ画面上での位置
座標をＰｉとし、流し撮りＣＣＤ装置２３の回転マトリ
クスをＲ、その移動ベクトルをＴとすると、（３）式、
すなわち、 Ｃｉ＝Ｒ・ｗｉ＋Ｔ ・・・（３） 但し、Ｃｉ＝Ｐｉ・ｋｉ（ｋｉはスカラー） という関係がある。従って、通常のＣＣＤ撮像装置２５
の回転マトリクスＲとその移動ベクトルＴとを演算し、
これをパラメータとして実空間と仮想空間との間で座標
変換を容易に行うことができるので、仮想空間上の基準
面にキャラクタ画像を合成することができる。

【００５７】次に、本発明の仮想画像立体合成方法に関
してゲーム装置１００の動作を説明する。この例では、
観察者の属する外界像に３Ｄポリゴン１０の画像を立体
的に合成する場合を想定する。例えば、観察者は図３に
示した特殊グラストロン２を頭部に装着する。まず、図
１０に示すフローチャートのステップＡ１で観察者の属
する実空間上で任意の基準面を設定するために、観察者
は、例えば、プレート部１１が上に向くように、左腕に
基準面設定用のブレスレット１を装着する。その後、点
滅制御回路１３をオンして４つの発光ダイオードＬＥＤ
１〜４を所定の点滅パターンで点滅する。

【００５８】次に、ステップＡ２において、一方で通常
のＣＣＤ撮像装置２５を使用して実空間上の基準面を撮
影してＬＣＤ２６及びＬＣＤ２７にステレオ画像を表示
する。他方で、流し撮りＣＣＤ装置２３を使用して実空
間上の基準面を流し撮りする。例えば、３Ｄポリゴン１
０の画像を合成させようとする位置に取付けられた４つ
の発光ダイオードＬＥＤ１〜４が、点滅パターンが異な
るように点滅されるので、その点滅パターンが所定の撮
像方向に流すように撮像される。

【００５９】その後、ステップＡ３で観察者の属する実
空間上に任意に設定された基準面を認識するために画像
処理する。画像処理部４４では、例えば、図１１に示す
サブルーチンをコールしてステップＢ１でビデオキャプ
チャ処理を実行する。その後、ステップＢ２で四隅の発
光ダイオードＬＥＤ１〜４を認識する。具体的には、流
し撮りＣＣＤ装置２３で撮像された４つの発光ダイオー
ドＬＥＤ１〜４による輝度信号の点滅パターンが、４つ
の輝点Ｐ１〜Ｐ４を含むＸＹ平面を成す空間的な配置パ
ターンに変換される。

【００６０】その後、その配置パターン上を走査して、
少なくとも、４つの輝点Ｐ１〜Ｐ４の位置座標（Ｘ１，
Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ
４）が求められ、上述した（１）式及び（２）式を使用
して、実空間上の４つの発光ダイオードＬＥＤ１〜４の
取付け位置と、画像処理系の４点の位置座標（Ｘ１，Ｙ
１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ
４）との関係が求められ、この４点を結ぶことにより基
準面が求められる。その後、ステップＢ３で画像処理部
４４では上述の（３）式に基づいて演算処理が行われ、
流し撮りＣＣＤ装置２３と基準面との位置関係が検出さ
れる。

【００６１】その後、図１０に示すメインルーチンにリ
ターンして、そのステップＡ４で仮想空間の基準面上に
３Ｄポリゴン１０の画像を重ね合わせて合成する。この
とき、観察者が装着した特殊グラストロン２では、ＬＣ
Ｄ２６による実空間の外界像と３Ｄポリゴン１０の画像
とを合成したステレオ画像の一方が観察者の右の眼球に
導くようになされる。ＬＣＤ２７による実空間の外界像
と３Ｄポリゴン１０の画像とを合成したステレオ画像の
他方が観察者の左の眼球に導くようになされる。従っ
て、図１２Ａに示す実空間上では基準面上に３Ｄポリゴ
ン１０が出現していないのに、図１２Ｂに示す仮想空間
ではその基準面上に３Ｄポリゴン１０を出現させること
ができる。これにより、観察者の属する実空間上の背景
画像と、仮想空間上に出現した３Ｄポリゴン１０とが頭
の中で合成されるので、実空間上の基準面の属する位置
に、あたかも、３Ｄポリゴン１０が存在するようにでき
る。

【００６２】このように、本実施形態としての仮想画像
立体合成装置を応用したゲーム装置１００によれば、観
察者の属する外界像に３Ｄポリゴン１０の画像を立体的
に合成する際に、４つの発光ダイオードＬＥＤ１〜４に
よる点滅パターンを流し撮りすることによって、観察者
の属する実空間上の基準面を簡易に、しかも、少ない計
算量で認識することができる。

【００６３】従って、観察者の属する実空間上の基準面
の属する位置に、あたかも、ＴＶ番組のキャラクタなど
を飛び出させ、観察者の手のひらで遊ばせるバーチャル
キャラクタ育成ゲーム装置やその他のゲーム装置を構成
することができる。また、従来方式に比べて画像処理部
４４における演算負担を軽減できると共に、これらのバ
ーチャルキャラクタ育成ゲーム装置などのコストダウン
を図ることができる。

【００６４】（２）第２の実施形態 図１３は第２の実施形態としての基準面設定用の二次元
バーコード５０の例を示す図である。この実施形態では
４つの発光ダイオードＬＥＤ１〜４に代わって、図１３
に示す二次元バーコード５０を使用して基準面が認識さ
れるものである。

【００６５】この例の面認識手段は２次元マトリクスコ
ード５０を有しており、実空間上の基準面を認識するた
めに使用される。２次元バーコード５０は少なくとも、
白地に黒で印刷されたｎ行×ｎ列の白黒マトリクスと、
その白黒マトリクスと同じ太さの黒枠部５１から成る。
この例では黒枠部５１で囲まれた５×５画素がコード領
域部５２であり、この２５画素のうち、図１４に示す１
２画素が黒で塗りつぶされている。

【００６６】このバーコード５０は３Ｄポリゴン１０の
画像を合成しようとする位置、例えば、図２に示したブ
レスレット１のプレート１１上に設けられる。この二次
元マトリクスコード５０は流し撮りＣＣＤ装置２３に代
わって通常のＣＣＤ撮像装置２５で撮像される。この撮
像装置２５の出力段には、図７で説明したような画像処
理装置３が接続される。その画像処理装置３には演算手
段が設けられ、ＣＣＤ撮像装置２５から出力された撮像
信号（輝度信号）を画像処理して二次元マトリクスコー
ド５０から基準面が求められる。

【００６７】例えば、画像処理部４４では前処理が施さ
れる。この処理では、まず、取得画像が適当な閾値で２
値化される。バーコード部分は白地に黒で印刷されてい
るので、固定閾値によって、かなり安定的に背景画像と
コード領域とを分離することができる。次に、黒ピクセ
ルの連結領域毎にラベル付けが施される。２次元バーコ
ード５０の黒枠部５１はラベル付けされた連結領域のい
ずれかに含まれることとなる。従って、連結領域の外接
四角形の大きさと縦横比を考慮して、コード領域部５２
が含まれている可能性の低い背景画像（領域）は除去す
るようになされる。

【００６８】その後、前処理の結果得られた連結領域の
各要素に対してバーコード枠の当てはめを行う。例え
ば、外接四角形の各辺から内側に向かって、黒領域を探
索し、コー黒枠部５１の点列を得る。この点列に対して
最小二乗法で線分を当てはめる。その後、当該二次元バ
ーコード５０に与えられたコード領域部５２を認識す
る。

【００６９】上述の基準面は黒枠部５１の４頂点を正方
形の頂点に射影する変換行列を演算することにより得ら
れる。ここで実空間の平面上の点（ｘｉ，ｙｉ，０）を
ある並進・回転運動によって移動し、それを透視変換で
画像座標系に射影した点を（Ｘｉ，Ｙｉ）で示すと、両
者の間には第１の実施形態で説明した（１）式と同様な
関係がある。従って、これらのパラメータは実空間の既
知の点の位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、
（ｘ３，ｙ３）、（ｘ４，ｙ４）と、それらに対応する
４組の画像処理系の位置座標（Ｘ１，Ｙ１）、（Ｙ２，
Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）が存在すれ
ば、先に説明した（２）式の方程式を解くことにより得
られる。

【００７０】ここで得られた位置座標（ｘ１，ｙ１）、
（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）に関
して、一辺の長さを「１」とする正方形の４頂点とする
と、この４頂点を結ぶ面が実空間上の基準面となる。な
お、画面上の黒枠部５１はＣＣＤ撮像装置２５の姿勢
や、透視投影によって歪んでいるが、外部パラメータ及
び内部パラメータによって、画面上の矩形頂点を正方形
の各頂点に射影することができる。従って、図１４に示
す仮想空間上の二次元バーコード５０の四隅の位置座標
から正立方体５３を作成することができるので、その正
立方体５３に３Ｄポリゴン１０などを合成することがで
きる。

【００７１】このように、本実施形態としてのゲーム装
置１００によれば、観察者の属する外界像に３Ｄポリゴ
ン１０の画像を立体的に合成する際に、二次元バーコー
ド５０を通常撮影することによっても、第１の実施形態
と同様に観察者の属する実空間上の基準面を簡易に、し
かも、少ない計算量で認識することができる。

【００７２】従って、第１の実施形態と同様に観察者の
属する実空間上の基準面の属する位置に、あたかも、Ｔ
Ｖ番組のキャラクタなどを飛び出させ、観察者の手のひ
らで遊ばせるバーチャルキャラクタ育成ゲーム装置やそ
の他のゲーム装置を構成することができる。

【００７３】なお、各実施形態では非透過型の特殊グラ
ストロン２又は透過型の特殊グラストロン２０を使用す
る場合について説明したが、これに限られることはな
く、透過型と非透過型を切換え可能な兼用タイプの特殊
グラストロンを用いても、もちろん構わない。

【００７４】また、各実施形態では、単に３Ｄポリゴン
１０を基準面上に仮想的に飛び出させる場合について説
明したが、これに限られることはなく、特殊グラストロ
ン２や、特殊グラストロン２０にスピーカーを取り付
け、３Ｄポリゴン１０が基準面上に飛び出すときに擬声
音などを鳴らしたり、その後、３Ｄポリゴン１０が何か
を喋るようにしてもよい。

【００７５】この実施形態のゲーム装置１００は、特開
平１０−１２３４５３号、特開平９−３０４７２７号、
特開平９−３０４７３０号、特開平９−２１１３７４
号、特開平８−１６０３４８号、特開平８−９４９６０
号、特開平７−３２５２６５号、特開平７−２７０７１
４号及び特開平７−６７０５５号に記載される透過型の
ヘッドマウントディスプレイに適用することができる。

【００７６】この実施形態では流し撮りＣＣＤ２３に関
してインターライン方式の二次元撮像デバイスを使用す
る場合について説明したが、これに限られることはな
く、フレーム転送方式の二次元撮像デバイスを使用する
場合であっても同様な効果が得られる。

【００７７】

【発明の効果】以上説明したように、本発明の仮想画像
立体合成装置によれば、観察者の属する実空間上で任意
の基準面を認識する面認識手段が設けられ、認識された
基準面の属する仮想空間上で仮想体の画像を合成するよ
うにしたものである。

【００７８】この構成によって、観察者の属する実空間
上の基準面を簡易に、しかも、少ない計算量で認識する
ことができるので、その実空間上の基準面の属する位置
に、あたかも、ＴＶ番組のキャラクタなどが飛び出して
きて観察者の手のひらで遊ぶバーチャルキャラクタ育成
ゲーム装置やその他のゲーム装置などに、本発明の仮想
画像立体合成装置を十分応用することができる。

【００７９】本発明の仮想画像立体合成方法によれば、
観察者の属する実空間上で任意の基準面を認識し、その
後、認識された基準面の属する仮想空間上で仮想体の画
像を合成するようにしたものである。

【００８０】この構成によって、簡易に、しかも、少な
い計算量で実空間上の基準面を認識することができるの
で、従来方式に比べて演算負担を軽減できると共に、こ
れらのバーチャルキャラクタ育成ゲーム装置などのコス
トダウンを図ることができる。

【００８１】本発明のゲーム装置によれば、上述した仮
想画像立体合成装置が応用されるので、観察者の属する
仮想空間の基準面上にキャラクタ画像を合成することが
できる。この構成によって、上述のバーチャルキャラク
タ育成ゲーム装置などを容易に構成することができる。

【００８２】本発明の記録媒体によれば、上述した仮想
画像立体合成方法を実行するアルゴリズムが格納される
ので、そのアルゴリズムを実行することによって、バー
チャルキャラクタ育成ゲーム装置などを再現性良く構成
することができる。

【００８３】この発明は、ＴＶ番組のキャラクタを仮想
空間上の手のひらで遊ばせるバーチャルキャラクタ育成
ゲーム装置などの製造に適用して極めて好適である。

【図面の簡単な説明】

【図１】本発明に係る第１の実施形態としての仮想画像
立体合成装置を応用したゲーム装置１００の構成例を示
す斜視図である。

【図２】第１の実施形態で使用する基準面設定用のブレ
スレット１の構成例を示す斜視図である。

【図３】ゲーム装置１００で使用する特殊グラストロン
２の構成例を示す正面から見た概念図である。

【図４】ゲーム装置１００で使用する他の特殊グラスト
ロン２０の構成例を示す正面から見た概念図である。

【図５】その特殊グラストロン２の流し撮りＣＣＤ装置
２３の内部構成例を示す平面図である。

【図６】その流し撮りＣＣＤ装置２３の光学系の構成例
を示す断面図である。

【図７】ゲーム装置１００の回路ブロック例を示す図で
ある。

【図８】その基準面を成すプレート部１１の通常画像例
を示すイメージ図である。

【図９】その基準面の位置座標の算出例を示す模式図で
ある。

【図１０】ゲーム装置１００の動作例（その１）を示す
メインルーチンのフローチャートである。

【図１１】ゲーム装置１００の動作例（その２）を示す
サブルーチンのフローチャートである。

【図１２】Ａは、実空間上のプレート部１１の実像例で
あり、Ｂは、仮想空間における基準面上の３Ｄポリゴン
の合成例を示すイメージ図である。

【図１３】第２の実施形態で使用する基準面設定用の２
次元バーコード５０の例を示す平面図である。

【図１４】その２次元バーコード５０上の３Ｄポリゴン
１０の合成例を示す斜視図である。

【符号の説明】

１・・・基準面設定用のブレスレット（面認識手段）、
２，２０・・・特殊グラストロン、３・・・画像処理装
置、１０・・・３Ｄポリゴン、２３・・・流し撮りＣＣ
Ｄ装置、２４・・・表示手段、２５・・・ＣＣＤ撮像装
置、２６・・・右眼表示用のＬＣＤ（第１の画像表示素
子）、２７・・・左眼表示用のＬＣＤ（第２の画像表示
素子）、３２・・・垂直転送部、３３・・・水平転送
部、５０・・・２次元バーコード、１００・・・ゲーム
装置

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 5/272 Ｈ０４Ｎ 13/02 13/02 13/04 13/04 Ａ６３Ｆ 9/22 Ｂ // Ａ６３Ｆ 13/00 Ｇ０６Ｆ 15/62 ３５０Ｋ

Claims (14)

【特許請求の範囲】
1. 【請求項１】 観察者の属する外界像に仮想体の画像を
   立体的に合成する装置であって、 前記観察者の属する実空間上で任意の基準面を認識する
   面認識手段と、 前記面認識手段により認識された仮想空間の基準面上に
   仮想体の画像を合成する合成手段とを備え、 前記実空間上の基準面の属する位置に、あたかも、仮想
   体が存在するようになされたことを特徴とする仮想画像
   立体合成装置。
2. 【請求項２】 前記面認識手段は、 仮想体の画像を合成しようとする位置に取付けられた、
   少なくとも、点滅パターンが異なるように点滅する３点
   以上の光源と、 前記光源を所定の撮像方向に流すように撮像する撮像手
   段と、 前記撮像手段による点滅パターンの輝度信号を画像処理
   して前記光源の３点の位置を求め、その後、前記３点の
   光源の位置を結んで基準面を求める演算手段とを有する
   ことを特徴とする請求項１記載の仮想画像立体合成装
   置。
3. 【請求項３】 前記撮像手段には、 各画素を構成する複数の光電変換素子を有した二次元撮
   像デバイスが使用され、 前記光電変換素子から得られた信号電荷を所定の方向に
   転送するときに、 少なくとも、同一フィールド期間中に複数回、前記光電
   変換素子から前記信号電荷を読み出すようになされたこ
   とを特徴とする請求項２記載の仮想画像立体合成装置。
4. 【請求項４】 前記撮像手段及び演算手段が設けられる
   場合であって、 前記演算手段は、 前記撮像手段による輝度信号の点滅パターンに関して、
   ３つの輝点を含むＸＹ平面を成す空間的な配置パターン
   に変換し、 前記配置パターン上を走査して、少なくとも、３つの輝
   点の位置座標を求め、 前記３点の位置座標を結ぶことにより前記基準面を認識
   するようになされたことを特徴とする請求項２記載の仮
   想画像立体合成装置。
5. 【請求項５】 前記演算手段は、 ３つの輝点を含むＸＹ平面を成す配置パターン上で流し
   撮像方向をＹ軸とし、該Ｙ軸に直交する軸をＸ軸とした
   ときに、 前記流し撮像方向に輝度信号値を加算してＸ軸上にプロ
   ットし、 前記Ｘ軸上にプロットされた輝度信号値が最大となる位
   置を検出して３つのＸ座標値を求め、かつ、 前記配置パターン上でＹ軸方向に走査したときに、 前記流し撮像方向に並んだ複数の輝点のうち、最初に発
   光した輝点位置を各々Ｘ座標値に対応したＹ座標値とし
   て求めることを特徴とする請求項２記載の仮想画像立体
   合成装置。
6. 【請求項６】 前記面認識手段は、 仮想体の画像を合成しようとする位置に取付けられた、
   少なくとも、白地に黒で印刷されたｎ行×ｎ列の白黒マ
   トリクスと、該白黒マトリクスと同じ太さの黒枠から成
   る２次元マトリクスコードと、 前記二次元マトリクスコードを撮像する撮像手段と、 前記撮像手段による輝度信号を画像処理して前記二次元
   マトリクスコードから基準面を求める演算手段とを有す
   ることを特徴とする請求項１記載の仮想画像立体合成装
   置。
7. 【請求項７】 前記合成手段は、 観察者の属する外界像を撮像する撮像手段と、 前記撮像手段による外界像と予め準備された仮想体の画
   像と合成したステレオ画像の一方を表示する第１の画像
   表示素子と、 前記ステレオ画像の他方を表示する第２の画像表示素子
   とを有したヘッドマウントディスプレイであり、 前記ヘッドマウントディスプレイは、観察者の顔面又は
   頭部に装着され、 前記第１の画像表示素子によるステレオ画像と、前記第
   ２の画像表示素子によるステレオ画像とを重ね合わせて
   観察者の眼球に導くようになされたことを特徴とする請
   求項１記載の仮想画像立体合成装置。
8. 【請求項８】 前記合成手段は、 観察者の属する外界像を取り込むために入射光の開閉を
   する液晶シャッタと、 前記外界像に合成するための仮想体の画像を表示する画
   像表示素子と、 前記画像表示素子による仮想体の画像と、前記液晶シャ
   ッタを通過した観察者の属する外界像とをその観察者の
   眼球に導く光学手段とを有したヘッドマウントディスプ
   レイであり、 前記ヘッドマウントディスプレイは、観察者の顔面又は
   頭部に装着され、 前記液晶シャッタを開いたときは、 前記液晶シャッタを通過した観察者の属する実空間上の
   外界像に、前記画像表示素子による仮想体の画像を重ね
   合わせて観察者の眼球に導くようになされたことを特徴
   とする請求項１記載の仮想画像立体合成装置。
9. 【請求項９】 観察者の属する外界像に仮想体の画像を
   立体的に合成する方法であって、 観察者の属する実空間上で任意の基準面を設定し、 前記設定された基準面を撮像して仮想空間上に表示し、 前記表示された仮想空間上に仮想体の画像を重ね合わせ
   て合成することにより、前記実空間上の基準面の属する
   位置に、あたかも、仮想体が存在するようになされたこ
   とを特徴とする仮想画像立体合成方法。
10. 【請求項１０】 前記仮想体の画像を合成しようとする
    位置に、少なくとも、点滅パターンが異なる３つの光源
    を取付け、 前記光源を所定の撮像方向に流すように撮像し、 前記撮像された３つの光源の点滅パターンの輝度信号を
    画像処理して、前記光源の３点の位置を求め、その後、
    前記３点の光源の位置を結んで基準面を求めることを特
    徴とする請求項９記載の仮想画像立体合成方法。
11. 【請求項１１】 前記撮像された３つの光源の輝度信号
    の点滅パターンに関して、３つの輝点を含むＸＹ平面を
    成す空間的な配置パターンに変換し、 前記配置パターン上を走査して、少なくとも、３つの輝
    点の位置座標を求め、 前記３点の位置座標を結ぶことにより前記基準面を認識
    するようになされたことを特徴とする請求項１０記載の
    仮想画像立体合成方法。
12. 【請求項１２】 前記配置パターン上で流し撮像方向を
    Ｙ軸とし、該Ｙ軸に直交する方向をＸ軸としたときに、 前記流し撮像方向に輝度信号値を加算してＸ軸上にプロ
    ットし、 前記Ｘ軸にプロットされた輝度信号値が最大となる位置
    を検出して３つのＸ座標値を求め、かつ、 前記配置パターン上でＹ軸方向に走査したときに、 前記Ｙ方向に並んだ複数の輝点のうち、最初に発光した
    輝点位置を各々Ｘ座標値に対応したＹ座標値として求め
    ることを特徴とする請求項１１記載の仮想画像立体合成
    方法。
13. 【請求項１３】 観察者の属する外界像に任意のキャラ
    クタ画像を立体的に合成する装置であって、 前記観察者の属する実空間上で任意の基準面を認識する
    面認識手段と、 前記面認識手段により認識された基準面を表示する表示
    手段と、 前記表示手段に表示された仮想空間の基準面上に前記キ
    ャラクタ画像を合成する合成手段とを備え、 前記実空間上の基準面の属する位置に、あたかも、任意
    のキャラクタが存在するようになされたことを特徴とす
    るゲーム装置。
14. 【請求項１４】 観察者の属する外界像に仮想体の画像
    を立体的に合成するアルゴリズムを格納した記録媒体で
    あって、 前記記録媒体には、 前記観察者の属する実空間上で任意の基準面を設定し、 前記設定された基準面を撮像して仮想空間上に表示し、 前記表示された仮想空間の基準面上に仮想体の画像を重
    ね合わせて合成するアルゴリズムを格納するようになさ
    れたことを特徴とする記録媒体。