JP2000230806A

JP2000230806A - 位置認識装置、位置認識方法及び仮想画像立体合成装置

Info

Publication number: JP2000230806A
Application number: JP3191899A
Authority: JP
Inventors: Takeshi Hayakawa; 健早川; Shinichiro Gomi; 信一郎五味; Tsukasa Yoshimura; 司吉村
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-02-09
Filing date: 1999-02-09
Publication date: 2000-08-22
Anticipated expiration: 2019-02-09
Also published as: JP4281139B2

Abstract

(57)【要約】【課題】静止物体の特定位置及びその特定位置から離れ
た任意の位置を簡易にかつ少ない計算量で、しかも、ベ
ストフォーカスで精度良く画像処理系などにおいて認識
できるようにする。【解決手段】任意の静止物体の特定位置を認識する装置
であって、少なくとも、静止物体の所望位置に取付けら
れた複数の被認識マークＭｉ（ｉ＝１〜８）と、静止物
体の被認識マークを撮像する撮像手段６と、この撮像手
段６により撮像された被認識マークＭｉによる輝度信号
を画像処理してその被認識マークＭｉの位置情報を求め
る演算手段７とを備え、被認識マークＭｉの任意の一つ
に目標を設定して撮像手段６を近づけたときに、演算手
段７は、目標とされた被認識マークＭｊの位置情報と他
の被認識マークＭｉの配置情報とに基づいて目標とされ
た被認識マークＭｊと撮像手段６との間の距離情報を求
めるようになされたものである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、仮想空間上の基
準面などに複数の仮想体を出現させ、しかも、その仮想
体の１つに目標を設定してその仮想体内に踏み込んだと
きに、その仮想体の内部の構造などが表示されるような
画像処理システムに適用して好適な位置認識装置、位置
認識方法及び仮想画像立体合成装置に関するものであ
る。

【０００２】

【従来の技術】近年、バーチャル・リアリティ（仮想現
実感）に基づく表示技術の向上に伴い、複数の画像表示
面に跨って仮想現実感を観察者に提供するための仮想画
像立体合成装置が出現している。

【０００３】この種の立体表示装置は、特開平９−２３
７３５３号の技術文献に見られる。この技術文献によれ
ば、縦横数ｍ程度の大きさの映写空間が設けられ、各々
の面に表示装置が配置され、各々の表示装置から恐竜、
怪獣や武器などの仮想体の画像が立体表示される。そし
て、観察者は液晶シャッター付きの眼鏡をかけ、その映
写空間に立つと、あたかも、各々の表示装置で表示され
た仮想体と同じ場所に居るようなされる。

【０００４】また、観察者が仮想空間上で手にする武器
がカメラによって撮像され、その武器の動きによって仮
想体が反応するように画像処理されている。これによ
り、観察者は数千年前の原始時代にタイムスリップし
て、恐竜退治などをゲーム感覚で行うことができる。

【０００５】

【発明が解決しようとする課題】ところで、従来方式の
立体表示装置によれば、映写空間が立体形状であること
を前提にして、その立体形状の重心が求められ、その重
心から映写空間の相対座標が求められる。そして、その
相対座標に基づいてカメラと、仮想体の位置関係とを求
め、仮想空間上に恐竜などの仮想体を合成表示してい
る。

【０００６】例えば、映写空間上のある基準面に恐竜な
どの仮想体を立たせようとしたときに、その仮想体と外
接する矩形領域が画像処理によって抽出され、その矩形
領域の四隅の画像上の位置が相対座標から求められ、透
視投影変換法などから得られたパラメータを用いてカメ
ラと、その仮想体の矩形領域の位置関係とが求められ
る。

【０００７】従って、観察者の属する実空間の実際の壁
面（以下静止物体ともいう）には実物の絵画などが存在
しないのに、その仮想空間の壁面及びその壁面から離れ
た位置に複数の絵画を出現させ、しかも、その絵画の１
つに目標を設定してその目標に撮像系を近づけたとき
に、その絵画の下位階層の映像を表示されるような仮想
画像立体合成装置を構成しようとしたときに、従来方式
の装置をそのまま適用すると、画像処理システムが大が
かりとなったり、静止物体の基準面の認識のための画像
処理が複雑になったり、その時の計算量が多くなったり
して、仮想画像立体合成装置などのコストアップにつな
がるという問題がある。

【０００８】そこで、本発明は上記の課題に鑑み創作さ
れたものであり、静止物体の特定位置及びその特定位置
から離れた任意の位置を簡易にかつ少ない計算量で、し
かも、ベストフォーカスで精度良く画像処理系などにお
いて認識できるようにした位置認識装置、位置認識方法
及び仮想画像立体合成装置を提供することを目的とす
る。

【０００９】

【課題を解決するための手段】上述した課題は、任意の
静止物体の特定位置を認識する装置であって、少なくと
も、静止物体の所望位置に取付けられた被認識マークが
複数と、静止物体の被認識マークを撮像する撮像手段
と、この撮像手段により撮像された被認識マークによる
輝度信号を画像処理して該被認識マークの位置情報を求
める演算手段とを備え、被認識マークの任意の一つに目
標を設定して撮像手段を近づけたときに、演算手段は、
目標とされた被認識マークの位置情報と他の被認識マー
クの配置情報とに基づいて目標とされた被認識マークと
撮像手段との間の距離情報を求めるようになされたこと
を特徴とする位置認識装置によって解決される。

【００１０】本発明に係る位置認識装置によれば、静止
物体の所望位置に取付けられた被認識マークの任意の一
つに目標を設定して撮像手段が近づけられたときに、そ
の撮像手段により撮像された被認識マークによる輝度信
号が演算手段によって画像処理され、目標とされた被認
識マークの位置情報と他の被認識マークの位置情報とに
基づいて目標とされた被認識マークと撮像手段との間の
距離情報が求められる。

【００１１】従って、静止物体の特定位置及びその特定
位置から離れた任意の位置を簡易にかつ少ない計算量
で、しかも、ベストフォーカスで精度良く画像処理系な
どに認識させることができる。これにより、静止物体の
特定位置及びその特定位置から離れた任意の位置に基準
面を設定し、その基準面を取り込んだ仮想空間上で仮想
体の画像を合成するような仮想画像立体合成装置などに
当該位置認識装置を十分に応用することができる。

【００１２】本発明に係る位置認識方法は、任意の静止
物体の特定位置を認識する方法であって、少なくとも、
静止物体の所望位置に複数の被認識マークを取り付け、
静止物体の被認識マークを撮像系によって撮像し、ここ
で撮像された被認識マークによる輝度信号を画像処理し
て該被認識マークの位置情報を求め、被認識マークの任
意の一つに目標を設定して撮像系を近づけたときに、目
標とされた被認識マークの位置情報と他の被認識マーク
の配置情報とに基づいて目標とされた被認識マークと撮
像系との間の距離情報を求めることを特徴とするもので
ある。

【００１３】本発明に係る位置認識方法によれば、静止
物体の所望位置に取付けられた被認識マークの任意の一
つに目標を設定し、その目標とされた被認識マークと撮
像系との間の距離情報によって、静止物体の特定位置及
びその特定位置から離れた任意の位置を簡易にかつ少な
い計算量で、しかも、ベストフォーカスで精度良く画像
処理系などに認識させることができる。

【００１４】本発明に係る仮想画像立体合成装置は、観
察者の属する外界像に仮想体の画像を立体的に合成する
装置であって、観察者の属する実空間上の任意の静止物
体の特定位置及び該特定位置から任意に離れた位置で基
準面を認識する位置認識手段と、この位置認識手段によ
り認識された仮想空間の基準面上で仮想体の画像を合成
する合成手段とを備え、位置認識手段は、少なくとも、
静止物体の所望位置に取付けられた被認識マークが複数
と、静止物体の被認識マークを撮像する撮像手段と、こ
の撮像手段により撮像された被認識マークによる輝度信
号を画像処理して該被認識マークの位置情報を求める演
算手段とを有し、被認識マークの任意の一つに目標を設
定して撮像手段を近づけたときに、演算手段は、目標と
された被認識マークの位置情報と他の被認識マークの配
置情報とに基づいて目標とされた被認識マークと撮像手
段との間の距離情報を求めるようになされたことを特徴
とするものである。

【００１５】本発明の仮想画像立体合成装置によれば、
上述の位置認識装置及び位置認識方法が応用されるの
で、静止物体の特定位置及びその特定位置から離れた任
意の位置を簡易にかつ少ない計算量で、しかも、ベスト
フォーカスで精度良く画像処理系などに認識させること
ができる。

【００１６】従って、静止物体の特定位置及びその特定
位置から離れた任意の位置に基準面を設定することがで
きるので、その基準面を取り込んだ仮想空間上で仮想体
の画像を合成するような仮想画像立体合成処理を行うこ
とができる。例えば、予め静止物体の特定位置から任意
に離れた位置に第１の基準面が設定されると共に、その
静止物体の特定位置に第２の基準面が設定されると、観
察者が第１の基準面よりも遠くの位置で被認識マークを
注視するときは、予め準備された仮想体の画像が合成手
段によって第１の基準面上で合成され、観察者が第１の
基準面内に踏み込んだときは、仮想体の画像の下位階層
の画像が合成手段によって第２の基準面上で合成され
る。

【００１７】これにより、実際の静止物体には実物の絵
画などが存在しない場合であっても、仮想空間の静止物
体には複数の絵画が出現し、しかも、その絵画の１つに
目標を設定してその絵画の中に踏み込んだときに、その
絵画の下位階層の画像が表示されるようなバーチャル美
術館などを構築することができる。

【００１８】

【発明の実施の形態】以下、図面を参照しながら、この
発明の実施形態としての位置認識装置、位置認識方法及
び仮想画像立体合成装置について説明をする。（１）実施形態としての位置認識装置及び位置認識方法図１は、本発明に係る実施形態としての位置認識装置１
０の構成例を示す斜視図である。この実施形態では、静
止物体の所望位置に被認識マークを取り付け、その被認
識マークによる輝度信号を画像処理してその被認識マー
クの位置情報を求める演算手段を設け、その被認識マー
クの任意の一つに目標を設定して撮像系を近づけた場合
に、その目標とされた被認識マークの位置情報と他の被
認識マークの配置情報とに基づいて目標とされた被認識
マークと撮像系との間の距離情報を求め、静止物体の特
定位置及びその特定位置から離れた任意の位置を簡易に
かつ少ない計算量で、しかも、精度良く画像処理系など
において認識できるようにしたものである。

【００１９】この発明の位置認識装置１０は任意の静止
物体の特定位置を認識する装置である。図１に示す位置
認識装置１０では、少なくとも、予め壁面１などの静止
物体の所望位置に複数の被認識マークＭｉ（ｉ＝１、
２、３、ｊ〜ｎ）が取付けられることを前提とする。こ
の被認識マークＭｉに関しては、予め点滅パターンが異
なるように点滅する３点以上の光源を有した複数の光源
ブロック、又は、白地に黒で形成されたｎ行×ｎ列の白
黒マトリクスを有した２次元マトリクスコードが準備さ
れる。

【００２０】この位置認識装置１０には撮像手段６が設
けられ、静止物体の被認識マークＭｉが撮像される。こ
の被認識マークＭｉに関して光源ブロックを適用する場
合には、撮像手段６として流し撮り用の撮像装置が使用
され、光源ブロック内の光源の点滅パターンを所定の撮
像方向に流すように撮像される。ここで、流し撮りとは
流し撮り撮像装置において、同一フィールド期間中に複
数回、光電変換素子（フォトダイオードなど）から信号
電荷を読み出す撮影モードをいう。被認識マークＭｉに
関して二次元バーコードを適用する場合には、通常のＣ
ＣＤ撮像装置が使用される。

【００２１】この撮像手段６には演算手段７が接続さ
れ、この撮像手段６により撮像された被認識マークＭｉ
による輝度信号が画像処理されてその被認識マークＭｉ
の位置情報が求められる。演算手段７には中央演算装置
（ＣＰＵ）などが使用される。この例では、演算手段７
には記憶手段８が接続され、被認識マークＭｉの配置情
報が記憶される。記憶手段８にはＲＡＭなどが使用され
る。この配置情報には、被認識マークＭｉの固体番号を
識別するためのブロック識別情報及び被認識マークＭｉ
間の配置距離情報が含まれている。

【００２２】そして、この例では被認識マークＭ１〜Ｍ
ｎの任意の一つの被認識マークＭｊに目標を設定して撮
像手段６を近づけたときに、演算手段７では、その目標
とされた被認識マークＭｊの位置情報と他の被認識マー
クＭｉの配置情報とに基づいて目標とされた被認識マー
クＭｉと撮像手段６との間の距離情報Ｓｘを求めるよう
になされる。その際に、演算手段７によって記憶手段８
から他の被認識マークＭｉの配置情報が読み出され、三
角法などによって被認識マークＭｊと撮像手段６との間
の距離情報Ｓｘが求られる。更に、被認識マークＭｉに
関して光源ブロックが適用される場合には、流し撮り用
の撮像手段６により撮像された光源の点滅パターンに基
づく輝度信号が演算手段７によって画像処理され、その
光源の３点の位置が求められる。

【００２３】続いて、本発明に係る位置認識方法につい
て位置認識装置１０の処理例について説明する。図２
は、位置認識装置１０による処理例を示すフローチャー
トである。この例では、壁面１などの任意の静止物体の
特定位置を画像処理系などに認識させることを前提と
し、その特定位置から任意に離れた位置に第１の基準面
を設定し、その特定位置に第２の基準面を設定する場合
を想定する。

【００２４】これを前提として、まず、図２に示すフロ
ーチャートのステップＡ１で、少なくとも、静止物体の
所望位置に複数の被認識マークＭｉを取り付ける。例え
ば、被認識マークＭｉに関して、予め点滅パターンが異
なるように点滅する３点以上の光源を設けた光源ブロッ
クを作成する。そして、光源ブロックを静止物体の所望
位置に３点以上を取付ける。もちろん、白地に黒で形成
されたｎ行×ｎ列の白黒マトリクスを有した２次元マト
リクスコードを作成し、その二次元バーコードを静止物
体の所望位置に３点以上を取付けてもよい。

【００２５】その後、ステップＡ２（第１段階）で静止
物体の被認識マークＭｉを撮像系によって撮像する。ス
テップＡ２では静止物体に取付けられた全ての光源ブロ
ックを撮像する位置に撮像系を固定して被注視領域を画
定する。そして、ステップＡ３で被認識マークＭｉによ
る輝度信号を画像処理してその被認識マークＭｉの全て
の位置情報を取得する。この被注視領域内の被認識マー
クＭｉの位置情報からステップＡ４で第１の基準面が画
像処理系で認識される。第１の基準面は静止物体の特定
位置から任意に離れた位置に設定される。

【００２６】その後、ステップＡ５で被認識マークＭｉ
の任意の一つに目標を設定する。そして、ステップＡ６
（第２段階）でその被認識マークＭｉに撮像系を徐々に
近づけて行き、その撮像系がその目標を認識できたかを
判断する。その際の判断はその被注視領域内で目標とさ
れた光源ブロック内の光源の点滅パターンを所定の撮像
方向に流すように撮像したときに、その光源ブロック内
の光源の点滅パターンが認識できたか否かを検出するこ
とにより行う。

【００２７】上述のステップＡ６で撮像系が目標とする
被認識マークＭｊに近づいていない場合には、ステップ
Ａ７に移行して撮像系を被認識マークＭｊに近づけて行
く。ステップＡ６で撮像系が目標とする被認識マークＭ
ｊに近づいた場合には、目標とされた光源ブロック内の
光源の点滅パターンが認識できることから、ステップＡ
８では演算手段７によってその光源ブロック内の光源の
点滅パターンの輝度信号を画像処理して光源の３点の位
置が求められ、その後、３点の光源の位置を結んで第２
の基準面が求められる。

【００２８】この撮像系が被認識マークＭｊに近づいて
行く間中、ステップＡ９でその目標とされた被認識マー
クＭｊの位置情報と他の被認識マークＭｉの配置情報と
に基づいて目標とされた被認識マークＭｊと撮像系との
間の距離情報Ｓｘが演算手段７によって求められる。従
って、この目標とされた光源ブロック内の光源の点滅パ
ターンが認識できた場合には仮想空間の第２の基準面上
で仮想体の画像を合成するような処理を行うことがで
き、その光源の点滅パターンを認識できない場合には第
１の基準面上で仮想体の画像を合成するような処理を行
うことができる。

【００２９】このように、本実施形態に係る位置認識装
置及び位置認識方法によれば、静止物体の所望位置に取
付けられた被認識マークＭｉの任意の一つに目標を設定
して撮像手段６が近づけられたときに、その撮像手段６
により撮像された被認識マークＭｉによる輝度信号が演
算手段７によって画像処理され、目標とされた被認識マ
ークＭｉの位置情報と他の被認識マークＭｉの配置情報
とに基づいて目標とされた被認識マークＭｉと撮像手段
６との間の距離情報Ｓｘが求められる。

【００３０】従って、静止物体の特定位置及びその特定
位置から離れた任意の位置を簡易にかつ少ない計算量
で、しかも、精度良く画像処理系などに認識させること
ができる。これにより、静止物体の特定位置から離れた
任意の位置に第１の基準面を設定し、その特定位置に第
２の基準面を設定して、その第１又は第２の基準面を取
り込んだ仮想空間上で仮想体の画像を合成するような仮
想画像立体合成装置などに当該位置認識装置１０を十分
に応用することができる。

【００３１】（２）実施形態としての仮想画像立体合成
装置図３は本発明に係る位置認識装置及び位置認識方法を応
用した第１の実施形態としての仮想画像立体合成装置１
００の構成例を示す斜視図である。この実施形態では、
上述した位置認識装置及び位置認識方法を応用して、静
止物体の特定位置及びその特定位置から離れた任意の位
置を簡易にかつ少ない計算量で、しかも、ベストフォー
カスで精度良く画像処理系などに認識させ、静止物体の
特定位置及びその特定位置から離れた任意の位置に基準
面を設定し、その基準面を取り込んだ仮想空間上で仮想
体の画像を合成できるようにしたものである。

【００３２】図３に示す仮想画像立体合成装置１００
は、観察者の属する外界像に、人物や風景などの静止画
像（２Ｄ）又はＴＶ番組のキャラクタ画像（３Ｄ）など
の仮想体画像を立体的に合成表示する装置である。

【００３３】この仮想画像立体合成装置１００は観察者
の属する実空間上の任意の静止物体、例えば、壁面１の
所望位置に取付けられた複数の被認識マークＭｉとして
基準面設定用の８個の光源ブロックＢＬｉ（ｉ＝１〜
８）と、観察者の頭部に装着される合成手段としての特
殊グラストロン２と、この特殊グラストロン２における
撮像画像及び表示画像の入出力を制御する画像処理装置
３を備えて成るものである。

【００３４】この特殊グラストロン２の本体部２１には
ベルト２２が設けられ、眼鏡をかけるように本体部２１
が観察者の顔面に装着されると共に、その観察者の頭部
外周部に沿ってベルト２２が固定される。この例で特殊
グラストロン２は、表示手段２４と、流し撮り用の撮像
手段としての流し撮りＣＣＤ装置２３及び領域抽出用の
通常のＣＣＤ撮像装置２５とを有しており、その通常の
ＣＣＤ撮像装置２５により認識される第１の基準面（仮
想壁面１’）上で仮想体の画像を合成し、及び、流し撮
りＣＣＤ装置２３により流し撮り（認識）された特定位
置の第２の基準面（壁面１）上で仮想体の画像を表示手
段２４によって合成表示するようになされる。

【００３５】この例では、仮想空間の第１の基準面を構
成する仮想壁面１’で、例えば、光源ブロックＢＬ１を
中心に仮想体として肖像画Ｐ１１が、光源ブロックＢＬ
２を中心に船の絵画（図示せず）Ｐ２１が、光源ブロッ
クＢＬ３を中心に山の絵画（図示せず）Ｐ３１などがあ
たかも存在するようになされる。更に、実空間の第２の
基準面を構成する壁面１上で、例えば、光源ブロックＢ
Ｌ１を中心に肖像画Ｐ１１の下位階層として人体内部構
造の画像Ｐ１２が、光源ブロックＢＬ２を中心に船の絵
画（図示せず）Ｐ２１の下位階層として操舵室の画像Ｐ
２２が、光源ブロックＢＬ３を中心に山の絵画（図示せ
ず）Ｐ３１の下位階層の画像としてその山の地底構造の
画像などがあたかも存在するようになされる。第２の基
準面を認識する際には、光源ブロックＢＬｉ内の複数の
光源が流し撮りＣＣＤ装置２３によって所定の撮像方向
に流すように流し撮りされる。

【００３６】また、上述の壁面１に取付けられた８個の
光源ブロックＢＬ１〜ＢＬ８と、流し撮りＣＣＤ装置２
３及び通常のＣＣＤ撮像装置２５とにより位置認識手段
５が構成され、壁面１の特定位置から任意に離れた位置
（離隔距離Ｓ０）で第１の基準面が認識され、その特定
位置で第２の基準面を認識するようになされる。この位
置認識手段５には本発明に係る位置認識装置１０及び位
置認識方法が応用される。

【００３７】この例では壁面１に取付けられた８個の光
源ブロックＢＬ１〜ＢＬ８が通常のＣＣＤ撮像装置２５
によって撮像されて被注視領域が画定されると共に、観
察者によって８個の光源ブロックＢＬ１〜ＢＬ８の内の
任意の１つに目標が設定されてその目標に撮像系を近づ
けていったときに、流し撮りＣＣＤ装置２３によって被
注視領域内で目標とされた光源ブロックＢＬｉが流し撮
りされる。

【００３８】この流し撮りＣＣＤ装置２３として垂直転
送部を有するインターライン転送方式の二次元撮像デバ
イスを使用した場合には、同一フィールド期間中に複数
回、光電変換素子から垂直転送部に信号電荷が読み出さ
れる。また、流し撮りＣＣＤ装置２３として電荷蓄積部
を有するフレーム転送方式の二次元撮像デバイスを使用
した場合には、同一フィールド期間中に複数回、光電変
換素子から電荷蓄積部に信号電荷が読み出される。

【００３９】この特殊グラストロン２には演算手段とし
て画像処理装置３が接続され、流し撮りＣＣＤ装置２３
及び通常のＣＣＤ撮像装置２５により撮像された光源ブ
ロックＢＬｉによる輝度信号が画像処理され、その光源
ブロックＢＬｉの位置情報が求められ、その位置情報に
基づいて光源ブロックＢＬｉにおける第１及び第２の基
準面などが設定される。

【００４０】例えば、光源ブロックＢＬｉの任意の一つ
に目標を設定して撮像系を近づけたときに、画像処理装
置３は、目標とされた光源ブロックＢＬｊの位置情報と
他の光源ブロックＢＬｉの配置情報とに基づいて目標と
された光源ブロックＢＬｉと撮像系との間の距離情報Ｓ
ｘを求めるようになされる。この配置情報には、光源ブ
ロックＢＬｉの固体番号を識別するためのブロック識別
情報及び光源ブロックＢＬｉ間の配置距離情報が含まれ
ている。配置情報については図６で説明する。

【００４１】この例で、図４に示す基準面設定用の光源
ブロックＢＬ１〜ＢＬ８は静止物体として比較的に平坦
な壁面１に取付けられる。例えば、観察者の属する実空
間の間口（幅）が４ｍ×高さが２．５ｍ程度の大きさの
壁面１に、８個の光源ブロックＢＬ１〜ＢＬ８が予め定
められた間隔で図４に示す位置に格子状に配されてい
る。光源ブロックＢＬｉの水平方向の間隔（ピッチ：Ｐ
ｈ）は１ｍ程度であり、その垂直方向の間隔（ピッチ：
Ｐｖ）は１．５ｍ程度である。この８個の光源ブロック
ＢＬ１〜ＢＬ８の各々の仮想壁面１’上で肖像画Ｐ１
１、船の絵画Ｐ２１、山の絵画Ｐ３１・・・・その他の
絵画Ｐ８などの画像が合成表示される。仮想壁面１’は
第１の基準面を成すものであり、実空間の壁面１の特定
位置から任意に離れた位置（この例では距離Ｓ０）に仮
想的に存在するものである。

【００４２】これらの下位階層の人体内部構造の画像Ｐ
１２、操舵室の画像Ｐ２２及び地底構造の画像が８個の
光源ブロックＢＬ１〜ＢＬ８の各々の壁面（第２の基準
面）１上で合成される。これらの肖像画Ｐ１１、船の絵
画Ｐ２１、山の絵画Ｐ３１・・・、及び、人体内部構造
の画像Ｐ１２、操舵室の画像Ｐ２２及び地底構造の画像
等の映像情報は画像処理系のメモリなどに予め格納され
ているものを使用する。

【００４３】各々の光源ブロックＢＬｉは図５に示す正
方形状のプレート部１１を有している。プレート部１１
は第２の基準面を成すものであり、凹凸の無い平坦状に
形成される。プレート部１１の大きさは例えば、その一
辺の長さは５ｃｍ程度である。プレート部１１の表面四
隅には、３点以上の光源としてそれぞれ発光ダイオード
（ＬＥＤ１〜ＬＥＤ４）が取付けられ、人体内部画像、
操舵室の画像Ｐ２２画像及び地底構造の画像Ｐ３２画像
などの仮想映像を飛び出せようとする基準面の４つの点
ｐ１〜ｐ４の座標として（ｘ１，ｙ１）、（ｘ２，ｙ
２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）が与えられる
（仮想空間上では画像を合成しようとする第２の基準面
に相当する）。

【００４４】この光源ブロックＢＬｉ内には点滅制御回
路１３が設けられ、４個の発光ダイオードＬＥＤ１〜Ｌ
ＥＤ４がそのマーク部としての機能を発揮するために、
つまり、その取付け位置が明らかになるように、少なく
とも、点滅パターンが異なるように点滅制御される。こ
の点滅制御回路１３については、図７で説明する。この
発光ダイオードＬＥＤ１〜ＬＥＤ４の点滅パターンは特
殊グラストロン２内の流し撮りＣＣＤ装置２３により、
所定の流し撮像方向に流すように撮像される。この流し
撮りは４個の発光ダイオードＬＥＤ１〜ＬＥＤ４の取付
け位置から第２の基準面を特定するためである。この第
２の基準面の特定については図１８、図１９で説明をす
る。

【００４５】この例では、４つの発光ダイオードＬＥＤ
１〜ＬＥＤ４は正方形内に位置し、発光ダイオードＬＥ
Ｄ１とＬＥＤ３の間（ｘ方向）の距離Ｌｘが（ｘ３−ｘ
１）であり、発光ダイオードＬＥＤ２とＬＥＤ４の間の
距離もＬｘで、その距離Ｌｘが（ｘ４−ｘ２）である。
また、発光ダイオードＬＥＤ１とＬＥＤ２の間（ｙ方
向）の距離Ｌｙが（ｙ２−ｙ１）であり、発光ダイオー
ドＬＥＤ２とＬＥＤ４の間の距離もＬｙで、その距離Ｌ
ｘが（ｙ４−ｙ３）である。

【００４６】ここで、ブロック識別情報について説明す
る。この例では光源ブロックＢＬｉを識別するために図
６に示す所定のデータフォーマットが準備されている。
このデータフォーマットは３つの領域に分かれている。
第１のデータ領域には各光源ブロックＢＬｉを識別する
ために、各々の光源ブロックＢＬｉ毎に割り当てられた
ブロックＮｏ識別コード１Ｘ、２Ｘ・・・８Ｘなどが書
き込まれ、第２のデータ領域には各光源ブロックＢＬｉ
内の４個の発光ダイオードＬＥＤ１〜ＬＥＤ４の位置情
報が書き込まれ、第３のデータ領域には発光ダイオード
ＬＥＤｉ、ＬＥＤｊ間の距離情報Ｌｘ、Ｌｙが書き込ま
れる。このブロックＮｏ識別コード、発光ダイオードＬ
ＥＤ１〜ＬＥＤ４の位置情報及び距離情報Ｌｘ、Ｌｙを
総称してブロック識別情報という。

【００４７】このデータフォーマットに基づいた８個の
光源ブロックＢＬｉのブロック識別情報を画像処理装置
３内のＲＡＭに格納するようになされる。光源ブロック
ＢＬ１を例にとってそのブロック識別情報を説明する
と、ブロックＮｏ識別コード１Ｘには４ビットのデータ
が割り当てられ、４個の発光ダイオードＬＥＤ１〜ＬＥ
Ｄ４が全て「００００」、「００００」、「００００」
及び「００００」である。

【００４８】また、４個の発光ダイオードＬＥＤ１〜Ｌ
ＥＤ４の位置情報には２ビットが割り当てられ、発光ダ
イオードＬＥＤ１が「００」、ＬＥＤ２が「０１」、Ｌ
ＥＤ３が「１０」、及び、ＬＥＤ４が「１１」である。
発光ダイオードＬＥＤｉ、ＬＥＤｊ間の距離情報Ｌｘ、
Ｌｙについては、Ｌｘ＝（ｘ３−ｘ１）＝（ｘ４−ｘ
２）及び、Ｌｙ＝（ｙ２−ｙ１）＝（ｙ４−ｙ３）が書
き込まれる。図６では「ＸＸ」で示している。

【００４９】更に、光源ブロックＢＬｉ間の配置距離情
報は光源ブロックＢＬｉの水平方向の間隔（ピッチ：Ｐ
ｈ）及びその垂直方向の間隔（ピッチ：Ｐｖ）から容易
に得られる。例えば、光源ブロックＢＬ１の配置位置を
原点（Ｘ，Ｙ）＝（０，０）としたときに、光源ブロッ
クＢＬ２の位置座標として（０，−Ｐｖ）、光源ブロッ
クＢＬ３＝（Ｐｈ，０）、光源ブロックＢＬ４＝（Ｐ
ｈ，−Ｐｖ）、光源ブロックＢＬ５＝（２Ｐｈ，０）、
光源ブロックＢＬ６＝（２Ｐｈ，−Ｐｖ）、光源ブロッ
クＢＬ７＝（３Ｐｈ，０）、光源ブロックＢＬ８＝（３
Ｐｈ，−Ｐｖ）で与えられる。

【００５０】上述したブロック識別情報及び光源ブロッ
クＢＬｉ間の配置距離情報によって配置情報が構成され
る。これらの配置情報は壁面１の認識及び第１及び第２
の基準面の設定の際に使用するために、予め画像処理装
置３内のＲＡＭ（情報が随時書き込み読み出し可能なメ
モリ）などに登録される。

【００５１】この例では、図７に示す点滅制御回路１３
がＩＣチップ化され、このＩＣチップがプレート部１１
内に組込まれ、４個の発光ダイオードＬＥＤ１〜ＬＥＤ
４に所定の電圧が印加されて点滅制御される。この点滅
制御回路１３は例えばクロック発生部６１を有してい
る。クロック発生部６１には例えば、１／２分周回路６
２、１／３分周回路６３、１／４分周回路６４が接続さ
れており、所定周波数のクロック信号ＣＬＫ１と、この
クロック信号ＣＬＫ１を１／２分周回路６２で１／２分
周したクロック信号ＣＬＫ２と、１／３分周回路６３で
１／３分周したクロック信号ＣＬＫ３と、１／４分周回
路６４で１／４分周したクロック信号ＣＬＫ４とが出力
される。

【００５２】各々のクロック信号ＣＬＫ１〜ＣＬＫ４は
安定化用の抵抗Ｒを通して各々の発光ダイオードＬＥＤ
１、ＬＥＤ２、ＬＥＤ３及びＬＥＤ４に供給されてい
る。このクロック発生部６１には電源スイッチＳＷを介
在して直流電源Ｅが接続され、この電源Ｅには小型の乾
電池やボタン電池などが使用される。もちろん、８個の
光源ブロックＢＬ１〜ＢＬの点滅制御回路１３を並列に
接続して、ＡＣ−ＤＣアダプタから直流電圧を供給する
ようにしてもよい。

【００５３】図８は光源ブロックＢＬｉの発光ダイオー
ドＬＥＤ１、ＬＥＤ２、ＬＥＤ３及びＬＥＤ４への電圧
供給例を示す波形図である。この例では、図７に示した
点滅制御回路１３の電源スイッチＳＷをオンすると、発
光ダイオードＬＥＤ１にはクロック信号ＣＬＫ１が供給
され、発光ダイオードＬＥＤ２にはクロック信号ＣＬＫ
１を１／２分周したクロック信号ＣＬＫ２が供給され、
発光ダイオードＬＥＤ３にはクロック信号ＣＬＫ１を１
／３分周したクロック信号ＣＬＫ３が供給され、発光ダ
イオードＬＥＤ４にはクロック信号ＣＬＫ１を１／４分
周したクロック信号ＣＬＫ４が供給される。従って、各
々の光源ブロックＢＬｉの４つの発光ダイオードＬＥＤ
１、ＬＥＤ２、ＬＥＤ３及びＬＥＤ４の点滅パターンを
異なるように点滅制御をすることができる。

【００５４】図９に示す特殊グラストロン２は非透過型
のヘッドマウントディスプレイを構成しており、通常の
ＣＣＤ撮像装置２５と、上述した流し撮りＣＣＤ装置２
３と、第１の画像表示素子としての右眼表示用の液晶表
示装置（以下ＬＣＤという）２６と、第２の画像表示素
子としての左眼表示用のＬＣＤ２７と、図示しない注視
点検出用の撮像手段（第２の撮像系、以下、注視点検出
カメラ４という）とを有している。

【００５５】つまり、観察者の眉間に相当する位置に
は、通常のＣＣＤ撮像装置２５と、流し撮りＣＣＤ装置
２３とが並べて配置され、前者によって観察者の属する
外界像が撮像され、後者によって光源ブロックＢＬ１〜
ＢＬ８の４個の発光ダイオードＬＥＤ１〜ＬＥＤ４が流
し撮りされる。従って、観察者が基準面設定用の光源ブ
ロックＢＬ１〜ＢＬ８に目を向けると、その基準面の方
向に流し撮りＣＣＤ装置２３が向くようになる。

【００５６】この例では、流し撮りＣＣＤ装置２３に自
動ズーム機構が設けられ、８個の光源ブロックＢＬ１〜
ＢＬ８の中の任意の光源ブロックＢＬｉを注視した場合
や、その光源ブロックＢＬｉの中で更に任意の発光ダイ
オードＬＥＤｉを注視すると、画像処理装置３によって
自動的にその発光ダイオードＬＥＤｉにズームさせるこ
とができる。この自動ズーム機構に関しては、例えば、
技術文献である特開平８−１７９１９３号公報の電子機
器及びカメラの技術を応用することができる。

【００５７】そして、特殊グラストロン２内の観察者の
右目に相対する位置にはＬＣＤ２６が取付けられ、例え
ば、通常のＣＣＤ撮像装置２５により撮影した観察者の
光源ブロックＢＬ１〜ＢＬ８と、予め準備された肖像画
Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの仮想映
像とを合成したステレオ画像の一方が表示される。ま
た、その観察者の左目に相対する位置にはＬＣＤ２７が
取付けられ、上述の光源ブロックＢＬ１〜ＢＬ８と、肖
像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの仮
想映像とを合成したステレオ画像の他方が表示される。

【００５８】この例では、図１０に示す右眼表示用のＬ
ＣＤ２６と、左眼表示用のＬＣＤ２７の表示面内に注視
点検出カメラ４としてのフィルム状の電荷結合素子（以
下フィルムＣＣＤという）４Ｒ（右）、４Ｌ（左）が配
置され、基準面を注視する観察者の眼球運動を撮像して
その観察者の注視点ｐが検出される。この例でフィルム
ＣＣＤ４Ｒ、４Ｌは、観察者の眼球に相対するＬＣＤ２
６及びＬＣＤ２７上に分散して配置されている。

【００５９】このフィルムＣＣＤ４Ｒ、４Ｌでは、例え
ば、図１１Ａに示す４×６画素のマトリクスの全体画素
に対して歯抜け状（斜線部分）に撮像素子（電荷結合素
子）４Ａが配置されている。従って、白抜き部分には撮
像素子４Ａが配置されておらず、ＬＣＤ２６及びＬＣＤ
２７による映像を通すようになされる。注視点検出カメ
ラ４Ｒ、４Ｌは、フィルム上に部分的にシリコン膜を形
成して光電変換素子などのＣＣＤを歯抜け状に作成し、
このフィルムＣＣＤ４Ｒ、４ＬをＬＣＤ２６及びＬＣＤ
２７の前方に張り合わせるなどして形成される。

【００６０】なお、フィルムＣＣＤ４Ｒ、４Ｌは、サフ
ァイヤを基礎材料にして、シリコン膜を部分的に形成す
ることができるので、ＬＣＤ２６及びＬＣＤ２７と歯抜
け状のフィルムＣＣＤ４Ｒ、４Ｌとを１チップ化するこ
ともできる。ただし、チップの透明性（光透過率）は薄
いサングラス程度となる。

【００６１】このフィルムＣＣＤ４Ｒでは、図１１Ｂに
示す観察者の左眼の瞳の動きや、その瞳孔の絞り状態が
撮像され、フィルムＣＣＤ４Ｌでは、同図に示す観察者
の右眼の瞳の動きや、その瞳孔の絞り状態が撮像され
る。多少撮像性能は落ちるが、観察者の眼球運動を撮像
する分には支障はない。従って、フィルムＣＣＤ４Ｒ、
４Ｌから得られたカメラ出力信号Ｓ３に基づいてピント
が常に一定になるように流し撮りＣＣＤ装置２３の自動
ズーム機構を制御することができる。

【００６２】この特殊グラストロン２は図１２に示す観
察者の顔面又は頭部に装着され、上述のＬＣＤ２６のス
テレオ画像と、ＬＣＤ２７のステレオ画像とが観察者の
眼球に導くようになされる。図１２において、特殊グラ
ストロン２を装着した観察者の両目の光軸が重なったと
ころが、注視点ｐである。この注視点ｐを基準にして、
観察者の属する背景像のステレオ画像と肖像画Ｐ１１、
船の絵画Ｐ２１、山の絵画Ｐ３１などの仮想映像のステ
レオ画像とが頭の中で合成される。

【００６３】ここで、観察者の眼球表面から注視点ｐに
至る離隔距離をＳｅとし、流し撮りＣＣＤ装置２３のレ
ンズ表面から注視点ｐに至る焦点距離をＳｃとし、観察
者の眼球表面と流し撮りＣＣＤ装置２３のレンズ表面と
の間のオフセット距離をＳoffとする。

【００６４】この観察者の眼球映像は、上述したように
左右のＬＣＤ２６、２７の前面にフィルムＣＣＤ４Ｒ、
４Ｌを設ける場合に限られることはなく、左眼表示用の
ＬＣＤ２７から背景映像を出力し、右眼表示用のＬＣＤ
２６上にフィルムＣＣＤ４Ｒ目を設け、そのＣＣＤ４Ｒ
によって眼球映像を取得してもよい。この逆の方法でも
よい。この例では、観察者の眼球運動から黒目と瞳孔の
位置関係及び瞳孔の形状を認識し、その認識情報から注
視点ｐの方向と離隔距離Ｓｅとを求め、その離隔距離Ｓ
ｅに基づいて特殊グラストロン２と発光ダイオードＬＥ
Ｄｉとの間の焦点距離Ｓｃ＋Ｓoffを補正するようにな
される。

【００６５】続いて、インターライン転送方式の流し撮
りＣＣＤ装置２３の内部構成について説明する。図１３
に示す流し撮りＣＣＤ装置２３は基板３１を有してい
る。その基板３１上には、１画素を構成する光電変換素
子としてフォトダイオードＰＨｉｊ（ｉ＝１〜ｎ、ｊ＝
１〜ｍ）がｎ列×ｍ行のマトリクス状に配置されてい
る。

【００６６】この基板の列方向には電荷転送部としてｍ
本の垂直転送部３２が設けられ、フォトダイオードＰＨ
ｉｊから読み出した信号電荷が垂直読み出し信号Ｓ１に
基づいて垂直方向（流し撮り方向）に転送される。この
垂直転送部３２には水平転送部３３が接続され、その信
号電荷が水平読み出し信号Ｓ２に基づいて水平方向に転
送されるので、出力端子３４には流し撮り信号ＳOUTが
出力される。この例では、光源ブロックＢＬｉの４つの
発光ダイオードＬＥＤ１〜ＬＥＤ４を流し撮りをするた
めに、少なくとも、同一フィールド期間中に複数回、フ
ォトダイオードＰＨｉｊから垂直転送部３２に信号電荷
が読み出される。

【００６７】また、流し撮りＣＣＤ装置２３は図１４に
示す魚眼レンズ３５を有している。魚眼レンズ３５は例
えばＣＣＤ撮像素子３６の光軸上に設けられる。この魚
眼レンズ３５によって観察者の基準面設定用の光源ブロ
ックＢＬ１〜ＢＬ８などを広範囲に撮像できるようにな
されている。もちろん、通常のレンズでも構わないが、
視野が狭くなるので、観察者は光源ブロックＢＬｉに向
けてより多く頭部を傾けなければならない。

【００６８】この例では、魚眼レンズ３５の中央に一番
近い部分で発光ダイオードＬＥＤｉの点滅パターンが確
認されると、流し撮りＣＣＤ装置２３の自動ズーム機構
によりそのピントが常に一定になるように焦点が合わせ
込まれる。従って、発光ダイオードＬＥＤの点滅パター
ンの取得精度を向上させることができる。このピントが
合った状態で、４個の発光ダイオードＬＥＤ１〜ＬＥＤ
４の発光位置が求められ、その位置を結んで第２の基準
面が認識される。その際に、観察者の注視する発光ダイ
オードＬＥＤｉと流し撮りＣＣＤ装置２３との焦点距離
Ｓｃが近すぎて、その発光ダイオードＬＥＤによる輝度
情報が取得できない場合には、ピントを通常に戻して広
域の他の発光ダイオードＬＥＤｉの点滅パターンを認識
するようにする。

【００６９】続いて、仮想画像立体合成装置１００の回
路構成について説明する。図１５に示す仮想画像立体合
成装置１００は大きく分けて３つの回路ブロックから成
る。第１の回路ブロックは基準面設定用の光源ブロック
ＢＬ１〜ＢＬ８であり、この光源ブロックＢＬ１〜ＢＬ
８には点滅制御回路１３が各々設けられ、４個の発光ダ
イオードＬＥＤ１〜ＬＥＤ４に所定の電圧が印加されて
点滅制御される。点滅制御回路１３では点滅パターンが
異なるように発光ダイオードＬＥＤ１、ＬＥＤ２、ＬＥ
Ｄ３及びＬＥＤ４が点滅間隔が制御される（図７、図８
参照）。

【００７０】第２の回路ブロックは特殊グラストロン２
であり、上述した流し撮りＣＣＤ装置２３、通常のＣＣ
Ｄ撮像装置２５、右眼表示用のＬＣＤ２６、左眼表示用
のＬＣＤ２７及び左右のフィルムＣＣＤ４Ｒ、４Ｌ（注
視点検出用のカメラ４）を有している。

【００７１】第３の回路ブロックは画像処理装置３であ
り、内部バス４１を有している。内部バス４１にはイン
タフェース（Ｉ／Ｏ）４２、画像キャプチャ部４３、画
像処理部４４、ＣＰＵ４５、ＲＯＭ４６、ＲＡＭ４７及
びＥ²ＰＲＯＭ（電気的な書き込み及び消去が可能な読
み出し専用メモリ）４８が接続されている。流し撮りＣ
ＣＤ装置２３、通常のＣＣＤ撮像装置２５、右眼表示用
のＬＣＤ２６、左眼表示用のＬＣＤ２７及び注視点検出
用のカメラ４はインタフェース４２を介して内部バス４
１に接続される。

【００７２】この内部バス４１にはＥ²ＰＲＯＭ４８が
接続され、観察者の属する外界像に肖像画Ｐ１１、船の
絵画Ｐ２１、山の絵画Ｐ３１、これらの下位階層の人体
内部構造の画像Ｐ１２、操舵室の画像Ｐ２２及び地底構
造の画像などの仮想映像を立体的に合成するアルゴリズ
ムが格納されている。例えば、Ｅ²ＰＲＯＭ４８には、
観察者の属する実空間上の壁面１で任意に設定された仮
想壁面１’で肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画
Ｐ３１などの仮想映像を重ね合わせて合成するアルゴリ
ズムと、その実空間上の壁面１で任意に設定された第２
の基準面上で肖像画Ｐ１１の下位階層の人体内部構造の
画像Ｐ１２、船の絵画Ｐ２１の下位階層の操舵室の画像
Ｐ２２又は山の絵画Ｐ３１の下位階層の地底構造の画像
などの仮想映像を重ね合わせて合成するアルゴリズムが
格納される。

【００７３】従って、このアルゴリズムを実行すること
によって、簡易に、しかも、少ない計算量で実空間の壁
面１の光源ブロックＢＬｉ上で第１又は第２の基準面を
認識することができる。これにより、実空間上の壁面１
の光源ブロックＢＬｉの第１の基準面の属する位置に、
あたかも、肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ
３１などが存在するように仮想画像立体合成処理をする
こと、及び、その第２の基準面上で、これらの下位階層
の人体内部構造の画像Ｐ１２、操舵室の画像Ｐ２２及び
地底構造の画像などが存在するように仮想画像立体合成
処理をすることができるので、バーチャル美術館などの
仮想画像立体合成装置１００を再現性良く構成すること
ができる。

【００７４】更に、内部バス４１にはＲＯＭ４６が接続
され、この仮想画像立体合成装置１００を制御するため
のシステムプログラムや、メモリの読み出し手順などの
制御情報などが格納される。内部バス４１にはワーキン
グ用のＲＡＭ４７が接続され、システムプログラムや、
肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの
仮想画像を表示する表示情報が一時記録される。

【００７５】例えば、ＲＡＭ４７には、基準面設定用の
８個の光源ブロックＢＬ１〜ＢＬ８の各々４つの発光ダ
イオードＬＥＤ１〜ＬＥＤ４の位置情報（ｘ１，ｙ
１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ
４）及び、４つの発光ダイオードＬＥＤ１〜ＬＥＤ４間
の距離情報Ｌｘ＝（ｘ３−ｘ１）＝（ｘ４−ｘ２）や、
距離情報Ｌｙ＝（ｙ２−ｙ１）＝（ｙ４−ｙ３）が記憶
されている。その際に、予め定められた配置間隔で８個
の光源ブロックＢＬ１〜ＢＬ８を壁面１に取付ける場合
には、その８個の光源ブロックＢＬ１〜ＢＬ８の配置情
報を予めアドレスマップにしてＲＡＭ４７に記憶してお
いてもよい。

【００７６】また、内部バス４１には制御手段としてＣ
ＰＵ４５が接続され、インタフェース４２、画像キャプ
チャ部４３、画像処理部４４、ＲＯＭ４６、ＲＡＭ４７
及びＥ²ＰＲＯＭ４８の入出力の制御や、流し撮りＣＣ
Ｄ装置２３、ＣＣＤ撮像装置２５、ＬＣＤ２６、ＬＣＤ
２７及び注視点検出用のカメラ４の入出力の制御が行わ
れる。この例では観察者が注視した発光ダイオードＬＥ
Ｄｉと特殊グラストロン２との間の焦点距離ＳｃがＣＰ
Ｕ４５によって算出される。ここで算出された焦点距離
Ｓｃと、フィルムＣＣＤ４Ｒ、４Ｌによるカメラ出力信
号Ｓ３とに基づいて、観察者が注視した特定の発光ダイ
オードＬＥＤｉに対して流し撮りＣＣＤ装置２３のピン
トをより高精度に合わせ込むことができる。

【００７７】例えば、ＣＰＵ４５はカメラ出力信号Ｓ３
に基づいて流し撮りＣＣＤ装置２３の焦点距離Ｓｃを調
整したり、観察者の眼球運動から認識された瞳孔の動き
に基づいてその観察者が注視した発光ダイオードＬＥＤ
ｉと流し撮りＣＣＤ装置２３との間の焦点距離Ｓｃを補
正するように動作する。この補正動作については図１６
で説明する。その他にＣＰＵ４５はカメラ出力信号Ｓ３
に基づいてＬＣＤ２６、ＬＣＤ２７への映像出力を制御
するようになされる。例えば、観察者が注視した部分の
画像を所定の倍率で拡大してＬＣＤ２６、ＬＣＤ２７に
表示するような拡大表示制御が行われる。

【００７８】これに関連してインタフェース４２には操
作部９が設けられ、少なくとも、観察者が注視した部分
の画像を所定の大きさに戻して表示するような指示信号
（リセット信号）Ｓ５がインタフェース４２を介してＣ
ＰＵ４５に指示が与えるようになされている。一時拡大
した画像を通常の大きさの画像に戻すためである。

【００７９】このインタフェース４２には画像処理部４
４が接続され、例えば、流し撮りＣＣＤ装置２３で撮像
された基準面設定用の光源ブロックＢＬｉの４つの発光
ダイオードＬＥＤ１〜ＬＥＤ４の画像（図１７参照）
が、ＣＰＵ４５の制御命令と共にインタフェース４２を
介して、画像処理部４４に取り込まれ、そこで所定の画
像処理がなされ、再び、インタフェース４２を介して特
殊グラストロン２内のＬＣＤ２６及びＬＣＤ２７などに
転送される。

【００８０】また、インタフェース４２には画像キャプ
チャ部４３が接続され、ＣＰＵ４５の制御命令を受け
て、流し撮りＣＣＤ装置２３から入力した点滅パターン
の画像データを獲得する所定のキャプチャ処理がなされ
る。この点滅パターンの画像データは時間経過に対応す
る輝度の変化として表現されている。画像キャプチャ部
４３には演算手段としての画像処理部４４が接続され、
所定の画像処理が施された画像データに関して、点滅パ
ターンの同期ずれが補正されたり、観察者の属する基準
面が求められる。この基準面の算出については図１７〜
図１９で説明する。

【００８１】続いて、仮想画像立体合成装置１００の位
置認識手段５の焦点補正時の動作例について説明をす
る。図１６に示す流し撮りＣＣＤ装置２３には図示しな
いインタフェース４２を介して画像処理部４４が接続さ
れ、基準面設定用の光源ブロックＢＬｉの４つの発光ダ
イオードＬＥＤ１〜ＬＥＤ４の画像が取り込まれ、そこ
で所定の画像処理がなされる。

【００８２】また、図１６に示す光源ブロックＢＬｉに
よる基準面を注視する観察者の眼球運動が注視点検出カ
メラ４によって撮像され、その観察者の注視点ｐが検出
される。この注視点検出カメラ４には図示しないインタ
フェース４２を介して制御手段としてのＣＰＵ４５が接
続され、この注視点検出カメラ４から得られたカメラ出
力信号Ｓ３に基づいて流し撮りＣＣＤ装置２３の焦点距
離が調整される。

【００８３】例えば、ＣＰＵ４５は、流し撮りＣＣＤ装
置２３にズーム制御信号Ｓ０を出力して、観察者の眼球
運動から認識された瞳孔の動きに基づく発光ダイオード
ＬＥＤｉと流し撮りＣＣＤ装置２３との間の焦点距離を
補正するようになされる。

【００８４】ここで、観察者の眼球表面から注視点ｐに
至る離隔距離をＳｅとし、流し撮りＣＣＤ装置２３のレ
ンズ表面から注視点ｐに至る焦点距離をＳｃとし、観察
者の眼球表面と流し撮りＣＣＤ装置２３のレンズ表面と
の間のオフセット距離をＳoffとすると、その注視点ｐ
に至る離隔距離Ｓｅが焦点距離Ｓｃ＋Ｓoffよりも多い
場合には、ＣＰＵ４５がその焦点距離Ｓｃを長くするよ
うに流し撮りＣＣＤ装置２３の光学系を調整する。反対
に、注視点ｐに至る離隔距離Ｓｅが焦点距離Ｓｃ＋Ｓof
fよりも少ない場合には、ＣＰＵ４５はその焦点距離Ｓ
ｃを短くするように流し撮りＣＣＤ装置２３の光学系を
調整するようになされる。

【００８５】続いて、画像処理装置３の第２の基準面の
設定時の動作例について説明をする。この例では、図１
５に示した画像処理装置３では、ＲＡＭ４７から読み出
された基準面設定用の光源ブロックＢＬ１〜ＢＬ８の４
つの発光ダイオードＬＥＤ１〜４の位置情報及び距離情
報Ｌｘ，Ｌｙを参照しながら、流し撮りＣＣＤ装置２３
で撮像された実際の４つの発光ダイオードＬＥＤ１〜Ｌ
ＥＤ４の位置情報及び距離情報Ｌｘ，Ｌｙが演算され
る。

【００８６】この実際の４つの発光ダイオードＬＥＤ１
〜ＬＥＤ４の位置情報及び距離情報Ｌｘ，ＬｙがＲＡＭ
４７による発光ダイオードＬＥＤ１〜ＬＥＤ４の位置情
報及び距離情報Ｌｘ，Ｌｙにより一層近づくように、流
し撮りＣＣＤ装置２３の焦点光学系が自動調節される。
これにより、図１９に示す基準面設定用の光源ブロック
ＢＬｉの４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の修
正後の画像を画像処理部４４に取り込むことができる。
修正後の画像は、４つの発光ダイオードＬＥＤ１〜ＬＥ
Ｄ４の位置が、４つ輝点ｐ１〜ｐ４の位置座標（ｘ１，
ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ
４）に近似し、しかも、４つの発光ダイオードＬＥＤ１
〜ＬＥＤ４間の距離がＬｘ＝（ｘ３−ｘ１）＝（ｘ４−
ｘ２）や、距離情報Ｌｙ＝（ｙ２−ｙ１）＝（ｙ４−ｙ
３）に近似するようなイメージになされる。

【００８７】例えば、図１５に示した画像処理部４４で
は流し撮りＣＣＤ装置２３から出力された流し撮り信号
（輝度信号）ＳOUTの点滅パターンに関して、図１９に
示すウインドＷにより画定された画像領域内で、４つの
流し撮り輝点ｐ１〜ｐ４を含むＸＹ平面を成す空間的な
配置パターンに変換される。その後、その配置パターン
上を走査して、少なくとも、４つの輝点ｐ１〜ｐ４の位
置座標（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ
３）、（Ｘ４，Ｙ４）が求められる。

【００８８】この４つの輝点ｐ１〜ｐ４は壁面１に取付
けられた基準面設定用の８個の光源ブロックＢＬ１〜Ｂ
Ｌ８のうちの１つを注視した際の、光源ブロックＢＬｉ
の４つの発光ダイオードＬＥＤ１〜ＬＥＤ４である。実
空間上の光源ブロックＢＬｉの４つの発光ダイオードＬ
ＥＤ１〜ＬＥＤ４の位置座標は既知であり、その位置座
標は（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ
３）、（ｘ４，ｙ４）である。

【００８９】従って、上述の実空間上の光源ブロックＢ
Ｌｉの基準面は４つの発光ダイオードＬＥＤ１〜ＬＥＤ
４の取付け位置に射影する変換行列を演算することによ
り得られる。ここで実空間の光源ブロックＢＬｉの平面
上の点（ｘｉ，ｙｉ，０）をある並進・回転運動によっ
て移動し、それを透視変換で画像座標系に射影した点を
（Ｘｉ，Ｙｉ）で示すと、両者の間には（１）式なる関
係がある。

【００９０】

【数１】

【００９１】但し、ａ１・・・・ａ８は未知の係数でＣ
ＣＤ撮像装置２５などの外部パラメータ（位置と方向）
及び焦点距離などの内部パラメータである。これらのパ
ラメータは実空間の既知の点の位置座標（ｘ１，ｙ
１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ
４）と、それらに対応する４組の画像処理系の位置座標
（Ｘ１，Ｙ１）、（Ｙ２，Ｙ２）、（Ｘ３，Ｙ３）、
（Ｘ４，Ｙ４）が存在すれば、（２）式の方程式を解く
ことにより得られる。

【００９２】

【数２】

【００９３】ここで得られた４点の位置座標（Ｘ１，Ｙ
１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ
４）を結ぶことにより、図１９に示した実空間上の光源
ブロックＢＬｉの基準面が認識される。

【００９４】具体的には、図１９に示す配置パターン上
で流し撮像方向をＹ軸とし、そのＹ軸に直交する方向を
Ｘ軸としたときに、画像処理部４４によって流し撮像方
向と同一方向又はその反対方向に輝度信号値が加算され
る。この加算値がＸ軸上にプロットされると、そのＸ軸
にプロットされた輝度信号値が最大となる４つの位置が
検出され、この４つの位置に対応するＸ座標値Ｘ１、Ｘ
２、Ｘ３、Ｘ４が求められる。

【００９５】また、その配置パターン上で取得画像をＹ
方向に走査したときに、そのＹ方向に並んだ複数の輝点
のうち、最初に発光した輝点位置が各々Ｘ座標値に対応
したＹ座標値Ｙ１、Ｙ２、Ｙ３、Ｙ４として求められ
る。この４つの輝点間の距離情報はＬｘ＝（Ｘ３−Ｘ
１）＝（Ｘ４−Ｘ２）及びＬｙ＝（Ｙ２−Ｙ１）＝（Ｙ
４−Ｙ３）として求めることができる。

【００９６】ここで、実空間上の４つの発光ダイオード
ＬＥＤ１〜ＬＥＤ４の位置座標をｗｉ（ｉ＝１〜４）と
し、その４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の位
置座標ｗｉのカメラ座標系上での表現ベクトルをＣｉと
し、その４つの発光ダイオードＬＥＤ１〜４のＬＣＤ画
面上での位置座標をＰｉとし、流し撮りＣＣＤ装置２３
の回転マトリクスをＲ、その移動ベクトルをＴとする
と、（３）式、すなわち、Ｃｉ＝Ｒ・ｗｉ＋Ｔ・・・（３）但し、Ｃｉ＝Ｐｉ・ｋｉ（ｋｉはスカラー）という関係
がある。従って、通常のＣＣＤ撮像装置２５の回転マト
リクスＲとその移動ベクトルＴとを演算し、これをパラ
メータとして実空間と仮想空間との間で座標変換を容易
に行うことができるので、仮想空間上の光源ブロックＢ
Ｌｉの基準面に肖像画Ｐ１１、船の絵画Ｐ２１、山の絵
画Ｐ３１などの画像を合成することができる。

【００９７】続いて、壁面１、仮想壁面１’及び特殊グ
ラストロン２を装着した観察者との位置関係について説
明をする。図２０は、仮想壁面１’と撮像系との位置関
係例を示す上面図である。この例では、図２０に示す壁
面１の特定位置から距離Ｓ０だけ離れた位置に第１の基
準面として仮想壁面１’が設定され、各々の光源ブロッ
クＢＬｉ上に第２の基準面が設定される。

【００９８】そして、図２０に示す位置Ｓ１に撮像系が
存在する場合、すなわち、図２１Ａに示す特殊グラスト
ロン２を装着した観察者３０が壁面１から遠くに離れた
位置ＳＰ１に立った場合（Ｓ０＜＜Ｓ１）には、８個の
光源ブロックＢＬ１〜ＢＬ８が壁面１に取り付けられて
いることが特殊グラストロン２の撮像系によって辛うじ
て認識される。この際に観察者３０は光源ブロックＢＬ
１を頂点として壁面１に対して直角を成す方向に立つ。

【００９９】その後、撮像系の接近目標として光源ブロ
ックＢＬ１を設定する。そして、図２０に示す位置Ｓ２
に撮像系が移動した場合、すなわち、図２１Ｂに示す観
察者３０が壁面１の方向に近づいて立った場合（Ｓ２＞
Ｓ０）には、壁面１に取り付けられた８個の光源ブロッ
クＢＬ１〜ＢＬ８が撮像系によって認識される。もちろ
ん、観察者３０は光源ブロックＢＬ１に向かって真っ直
ぐに移動する。この位置はそれ以上壁面側に撮像系を進
ませると、８個の光源ブロックＢＬ１〜ＢＬ８の内の右
端の２つの光源ブロックＢＬ７、ＢＬ８の画像が撮像系
の視野から切れてしまう位置でもある。この位置に撮像
系が存在する場合には、８個の光源ブロックＢＬ１〜Ｂ
Ｌ８の位置はＲＡＭ４７からの配置距離情報を参照する
ことによって認識することができる。

【０１００】この８個の光源ブロックＢＬ１〜ＢＬ８の
位置が画像処理系で認識可能になると、光源ブロックＢ
Ｌｉの個々の発光ダイオードの点滅パターンがつぶれて
認識できなくとも、特殊グラストロン２によって、予め
準備された肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ
３１などが第１の基準面上に存在するように仮想画像立
体合成処理をすることができる。

【０１０１】ここで、目標とされた光源ブロックＢＬ１
と撮像系との間の距離情報Ｓｘは（４）式により求めら
れる。Ｓｘ＝Ｓｈｘ・tan（９０−θ）・・・・・（４）

【０１０２】但し、θは撮像系の視野角である。Ｓｈｘ
は光源ブロックＢＬ１からの壁面１に沿った方向への配
置距離である。光源ブロックＢＬ３、ＢＬ４では配置距
離がＳｈであり、光源ブロックＢＬ５、ＢＬ６では配置
距離が２Ｓｈであり、光源ブロックＢＬ７、ＢＬ８では
配置距離が３Ｓｈである。

【０１０３】更に、図２０に示す位置Ｓ３に撮像系が存
在する場合、すなわち、図２２Ａに示す特殊グラストロ
ン２を装着した観察者３０が仮想壁面１’の直前位置Ｓ
Ｐ３に立った場合（Ｓ０＝Ｓ３）には、上下２個の光源
ブロックＢＬ１、ＢＬ２が壁面１に取り付けられている
ことが撮像系によって認識される。

【０１０４】この位置はそれ以上仮想壁面１’よりに前
に撮像系を進ませると、４個の光源ブロックＢＬ１〜Ｂ
Ｌ４の内の右端の２つの光源ブロックＢＬ３及びＢＬ４
の画像が撮像系の視野から切れてしまう位置でもある。
この位置が画像処理系では画像切り替え点として認識さ
れる。例えば、肖像画Ｐ１１から人体内部構造の画像Ｐ
１２に表示を切り替える位置である。

【０１０５】つまり、図２０に示す位置Ｓ４に撮像系が
移動した場合、すなわち、図２２Ｂに示す観察者３０が
仮想壁面１’の中に踏み込んで壁面１の方向に近づいて
立った場合（Ｓ４＜Ｓ０）には、すでに壁面１に取り付
けられた光源ブロックＢＬ１が流し撮りＣＣＤ装置２３
によって認識可能となっているので、光源ブロックＢＬ
１による第２の基準面上で肖像画Ｐ１１の下位階層であ
る人体内部構造の画像Ｐ１２を特殊グラストロン２の表
示手段２４に表示することができる。

【０１０６】次に、本発明の位置認識方法に関して仮想
画像立体合成装置１００の動作を説明する。図２３はそ
の動作例を示すメインルーチンのフローチャートであ
り、図２４はその流し撮りＣＣＤ装置２３の焦点距離の
補正例を示すサブルーチン、図２５は、その通常のＣＣ
Ｄ撮像装置２５の最大望遠時の動作例を示すサブルーチ
ン、図２６はその壁面１の光源ブロックＢＬｉの拡大撮
像例を示すサブルーチン、及び、図２７はその発光ダイ
オードＬＥＤ１〜ＬＥＤ４の位置算出例を示すサブルー
チンの各々のフローチャートである。図２８は仮想画像
立体合成装置１００を応用したバーチャル美術館の構成
例を示すイメージ図である。

【０１０７】この例では、ほぼ平坦な壁面１の所望位置
に基準面設定用の８個の光源ブロックＢＬｉ（ｉ＝１〜
８）を予め定められた配置ピッチ（間隔）で配置し、そ
の８個の光源ブロックＢＬｉを撮像して画像処理系に認
識させた後に、第１の基準面上で仮想画像の合成処理を
し、その後、８個の光源ブロックＢＬｉの中の１つの光
源ブロックＢＬｉを目標に設定してその目標に撮像系を
近づけたときに、その光源ブロックＢＬｉを拡大して流
し撮りし、この流し撮りに基づいて第２の基準面で仮想
画像を合成処理する場合を想定する。

【０１０８】この位置認識原理を応用して、８個の光源
ブロックＢＬ１〜ＢＬ８の各々の仮想空間上で肖像画Ｐ
１１、船の絵画Ｐ２１、山の絵画Ｐ３１・・・・その他
の絵画Ｐ８などの８枚の画像を表示する。図２８ではそ
の第１の基準面を含む仮想空間上に、光源ブロックＢＬ
１を中心に肖像画Ｐ１１が、光源ブロックＢＬ２を中心
に船の絵画Ｐ２１が、光源ブロックＢＬ３を中心に山の
絵画Ｐ３１があたかも存在するようになされる。その
後、この３枚のうちの１枚の映像に観察者３０が目標を
設定して壁面方向に近づくと、その絵画映像が下位階層
の画像に切り替えられて特殊グラストロン２に表示する
ような場合を想定する。もちろん、観察者３０は図９に
示した特殊グラストロン２を頭部に装着する。

【０１０９】これを前提にして、図２３に示すフローチ
ャートのステップＢ１で壁面１に取付けられた光源ブロ
ックＢＬｉを撮像して被注視領域を画定する。例えば、
図２４のサブルーチンをコールしてそのフローチャート
のステップＣ１で、まず、流し撮りＣＣＤ装置２３が最
大望遠状態になされる。この最大望遠状態は通常の視野
で遠くの物を見た場合である。

【０１１０】このように遠くから物を見た状態にする
と、流し撮りＣＣＤ装置２３では各光源ブロックＢＬ１
〜ＢＬ８の発光ダイオードＬＥＤ１〜４の点滅パターン
まで識別することができず、画像処理系では各光源ブロ
ックＢＬ１〜ＢＬ８が同期して点滅していると認識され
る。従って、光源ブロックＢＬ１〜ＢＬ８の存在位置を
画像処理系によって認識させることができる。

【０１１１】つまり、ステップＣ２に移行して、その壁
面１に配置された８個の光源ブロックＢＬ１〜ＢＬ８が
全部、流し撮りＣＣＤ装置２３の撮像範囲に収まったか
否かが画像処理系で判別される。この際の判別ではパタ
ーン認識などを利用して行ってもよい。その８個の光源
ブロックＢＬ１〜ＢＬ８が撮像範囲に収まらない場合に
は、ステップＣ３に移行して流し撮りＣＣＤ装置２３の
焦点調整機構がパーン（螺旋回転）された後に、ステッ
プＣ４に移行して８個の光源ブロックＢＬ１〜ＢＬ８が
画像処理系で認識処理される。

【０１１２】その後、ステップＣ２に戻って、その壁面
１に配置された８個の光源ブロックＢＬ１〜ＢＬ８が全
部撮像範囲に収まったか否かが再度、画像処理系で判別
される。そして、図２３に示すメインルーチンのステッ
プＢ１に戻り、ステップＢ２に移行して、画像処理装置
３では、ＲＡＭ４７から読み出された８個の光源ブロッ
クＢＬ１〜ＢＬ８の配置距離情報を参照しながら、通常
のＣＣＤ撮像装置２５で撮像された実際の８個の光源ブ
ロックＢＬ１〜ＢＬ８の位置情報が演算される。

【０１１３】その後、ステップＢ３では第１の基準面が
認識され、特殊グラストロン２の表示手段２４には仮想
壁面１’が表示される。そして、ステップＢ４に移行し
て仮想壁面１’に肖像画Ｐ１１、船の絵画Ｐ２１、山の
絵画Ｐ３１・・・・その他の絵画Ｐ８などの８枚の画像
が合成される。このとき、観察者３０が装着した特殊グ
ラストロン２では、ＬＣＤ２６により実空間の外界像で
ある壁面１と、肖像画Ｐ１１、船の絵画Ｐ２１、山の絵
画Ｐ３１などの画像とを合成したステレオ画像の一方が
観察者３０の右の眼球に導くようになされる。ＬＣＤ２
７により、実空間の壁面１と、肖像画Ｐ１１、船の絵画
Ｐ２１、山の絵画Ｐ３１などの画像とを合成したステレ
オ画像の他方が観察者３０の左の眼球に導くようになさ
れる。

【０１１４】従って、実空間上の壁面１には、肖像画Ｐ
１１、船の絵画Ｐ２１、山の絵画Ｐ３１などが出現して
いない（図４参照）のに、図２８に示す仮想壁面１’に
は肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１など
を出現させることができる。これにより、観察者３０の
属する実空間上の背景画像と、仮想空間上に出現した肖
像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの画
像が頭の中で合成されるので、実空間上の壁面１の属す
る光源ブロックＢＬｉの位置に、あたかも、肖像画Ｐ１
１、船の絵画Ｐ２１、山の絵画Ｐ３１などが存在するよ
うにできる。

【０１１５】この一連の撮像処理及び画像処理と並行し
て、ステップＢ１２では観察者３０の眼球運動が撮像さ
れると共に、ステップＢ１３で少なくとも、流し撮りＣ
ＣＤ装置２３の焦点距離の補正がなされる。もちろん、
通常のＣＣＤ撮像装置２５の焦点距離を補正するように
してもよい。例えば、図２５のサブルーチンをコールし
てそのフローチャートのステップＤ１で、観察者３０の
注視点ｐが図１１Ａに示した歯抜けのフィルムＣＣＤ４
Ｒ、４Ｌなどの注視点検出用のカメラ４で検出される。

【０１１６】その後、ステップＤ２で観察者３０の眼球
表面から注視点ｐに至る離隔距離Ｓｅと、その観察者３
０が注視した発光ダイオードＬＥＤｉと流し撮りＣＣＤ
装置２３との間の焦点距離Ｓｃ＋ＳoffとがＣＰＵ４５
よって比較される。ここで、注視点ｐに至る離隔距離Ｓ
ｅと流し撮りＣＣＤ装置２３の焦点距離Ｓｃ＋Ｓoffと
が一致している場合には、光学系の調整は不要なので、
ステップＤ８に移行して、観察者３０の眼球運動の監視
を継続する。この注視点ｐに至る離隔距離Ｓｅと流し撮
りＣＣＤ装置２３の焦点距離Ｓｃ＋Ｓoffとが不一致の
場合には、ステップＤ３に移行する。

【０１１７】このステップＤ３では、注視点ｐに至る離
隔距離Ｓｅが流し撮りＣＣＤ装置２３の焦点距離Ｓｃ＋
Ｓoffよりも多い（Ａ）か、少ない（Ｂ）かが判定され
る。例えば、注視点ｐに至る離隔距離Ｓｅが流し撮りＣ
ＣＤ装置２３の焦点距離Ｓｃ＋Ｓoffよりも多い場合に
は、ステップＤ４に移行してＣＰＵ４５によってその焦
点距離Ｓｃを増加するように流し撮りＣＣＤ装置２３の
絞りやレンズなどの光学系が調整される。

【０１１８】この調整結果で、ステップＤ５で離隔距離
Ｓｅと焦点距離Ｓｃ＋Ｓoffとが一致した場合には、ス
テップＤ８に移行し、一致しない場合はステップＤ４に
戻って調整を継続する。反対に、観察者３０の眼球表面
から注視点ｐに至る離隔距離Ｓｅが焦点距離Ｓｃ＋Ｓof
fよりも少ない場合には、ステップＤ６に移行してＣＰ
Ｕ４５により、その焦点距離Ｓｃを減少するように流し
撮りＣＣＤ装置２３の光学系が調整される。その調整結
果で、ステップＤ７で離隔距離Ｓｅと焦点距離Ｓｃ＋Ｓ
offとが一致した場合には、ステップＤ８に移行し、一
致しない場合はステップＤ６に戻って調整を継続する。
これにより、観察者３０が注視した光源ブロックＢＬｉ
と流し撮りＣＣＤ装置２３の光学系との間の焦点距離Ｓ
ｃ＋Ｓoffを自動補正することができる。

【０１１９】そして、図２３に示すメインルーチンのス
テップＢ５では８個の光源ブロックＢＬｉのうちのどの
光源ブロックＢＬｉに目標が設定されたかが、図２５の
サブルーチンのステップＤ１の観察者３０の注視点ｐの
情報に基づいて検出される。この際に、いずれかの光源
ブロックＢＬｉに注視された場合にはステップＢ６に移
行する。反対に、いずれの光源ブロックＢＬｉも注視さ
れない場合にはステップＢ１４に移行する。

【０１２０】従って、いずれかの光源ブロックＢＬｉに
目標が設定されたときは、その目標に向かって観察者３
０が壁面１の方向へ近づいて行く間中、ステップＢ６で
撮像系と目標との間の距離情報Ｓｘが算出される。この
際の距離情報Ｓｘに関しては（４）式により演算され
る。もちろん、第１の基準面には肖像画Ｐ１１、船の絵
画Ｐ２１、山の絵画Ｐ３１などの画像が表示されてい
る。

【０１２１】そして、ステップＢ７で観察者３０が仮想
壁面１’に到達したか否かが検出される。観察者３０が
仮想壁面１’に到達していない場合にはステップＢ６に
戻って撮像系と目標との間の距離情報Ｓｘの算出が継続
される。ここで、観察者３０が図２２Ａに示した仮想壁
面１’の直前位置ＳＰ３に立ったような場合には距離情
報Ｓｘ＝Ｓ０＝Ｓ３が画像処理装置３によって検出され
る。この位置は肖像画Ｐ１１から人体内部構造の画像Ｐ
１２に表示を切り替える位置である。従って、一歩でも
仮想壁面１’内へ踏み込むと、特殊グラストロン２の表
示手段２４の映像が切り替わるようになされる。

【０１２２】例えば、ステップＢ８に移行して、その被
注視領域内で目標とされた光源ブロックＢＬ１を拡大し
て撮像する。そして、光源ブロックＢＬ１の４つの発光
ダイオードＬＥＤ１〜ＬＥＤ４が全部、流し撮りＣＣＤ
装置２３の撮像範囲に収まった場合には、図２６のサブ
ルーチンをコールしてそのフローチャートのステップＥ
１で光源ブロックＢＬ１に発光ダイオードＬＥＤ１〜Ｌ
ＥＤ４が存在するか否かが検出される。このとき、観察
者３０が注目した光源ブロックＢＬ１にステップＥ２で
ズームアップされる。

【０１２３】この際に、画像処理装置３では、ＲＡＭ４
７から読み出された基準面設定用の光源ブロックＢＬ１
の４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の位置情報
及び距離情報Ｌｘ，Ｌｙを参照しながら、流し撮りＣＣ
Ｄ装置２３で撮像された実際の４つの発光ダイオードＬ
ＥＤ１〜ＬＥＤ４の位置情報及び距離情報Ｌｘ，Ｌｙが
演算される。

【０１２４】そして、実際に撮像された４つの発光ダイ
オードＬＥＤ１〜ＬＥＤ４の位置及び距離Ｌｘ，Ｌｙが
ＲＡＭ４７による発光ダイオードＬＥＤ１〜ＬＥＤ４の
位置情報及び距離情報Ｌｘ，Ｌｙにより一層近づくよう
に、流し撮りＣＣＤ装置２３の焦点光学系が自動調整さ
れる。その後、ステップＥ１に戻る。従って、ステップ
Ｅ１で観察者３０が注目した光源ブロックＢＬｉに４個
の発光ダイオードＬＥＤ１〜ＬＥＤ４が存在することが
認識されると、ステップＥ３に移行して画像処理系では
位置認識処理がなされる。この処理については、図１８
及び図１９で説明した通りである。

【０１２５】その後、ステップＥ４に移行して壁面１が
認識できたか否かが判別される。この壁面１が認識でき
た場合には、この位置認識処理を終了してメインルーチ
ンにリターンする。この壁面１が認識できない場合に
は、ステップＥ５に移行して４つの輝点の距離情報Ｌ
ｘ、Ｌｙが、図１５に示したＲＡＭ４７から読み出され
た距離情報（基準値）Ｌｘ、Ｌｙよりも小さいかが検出
される。ＲＡＭ４７による距離情報Ｌｘ、Ｌｙよりも演
算された距離情報Ｌｘ、Ｌｙが小さい場合には、ステッ
プＥ６に移行してズームアップされる。その後、ステッ
プＥ３に戻って位置認識処理が行われる。

【０１２６】また、ステップＥ５でＲＡＭ４７による距
離情報Ｌｘ、Ｌｙよりも演算された距離情報Ｌｘ、Ｌｙ
が大きい場合には、ステップＥ７に移行して再度、４つ
の輝点の距離情報Ｌｘ、ＬｙがＲＡＭ４７に格納された
距離情報（基準値）Ｌｘ、Ｌｙよりも大きいかが検出さ
れる。ＲＡＭ４７による距離情報Ｌｘ、Ｌｙよりも演算
された距離情報Ｌｘ、Ｌｙが大きい場合には、ステップ
Ｅ８に移行してズームダウンされる。

【０１２７】そして、ステップＥ８でズームダウンした
後、及び、ステップＥ７でＲＡＭ４７による距離情報Ｌ
ｘ、Ｌｙよりも演算された距離情報Ｌｘ、Ｌｙが大きく
ない場合には、ステップＥ３に戻って位置認識処理が行
われる。その後、ステップＥ４に移行して壁面１が認識
できたか否かが判別される。

【０１２８】以上の処理を繰り返すことで、観察者３０
が注視した特定の光源ブロックＢＬｉを、再現性よく画
像処理系に認識させることができる。従って、画像処理
系で壁面１が認識されると、この位置認識処理を終了し
て図２３のメインルーチンのステップＢ８にリターンす
る。

【０１２９】そして、図２３のフローチャートのステッ
プＢ９に移行して拡大撮像された光源ブロックＢＬｉに
よる輝度信号を画像処理してその光源ブロックＢＬｉの
位置を求める。例えば、図２７のサブルーチンをコール
してそのフローチャートのステップＦ１でビデオキャプ
チャ処理を実行する。その後、ステップＦ２で光源ブロ
ックＢＬｉの四隅の発光ダイオードＬＥＤ１〜ＬＥＤ４
を認識する。具体的には、流し撮りＣＣＤ装置２３で撮
像された光源ブロックＢＬｉの４つの発光ダイオードＬ
ＥＤ１〜ＬＥＤ４による輝度信号の点滅パターンが、４
つの輝点ｐ１〜ｐ４を含むＸＹ平面を成す空間的な配置
パターンに変換される。

【０１３０】その後、その配置パターン上を走査して、
少なくとも、４つの輝点ｐ１〜ｐ４の位置座標（Ｘ１，
Ｙ１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ
４）が求められ、上述した（１）式及び（２）式が演算
され、実空間上の４つの発光ダイオードＬＥＤ１〜４の
取付け位置と、画像処理系の４点の位置座標（Ｘ１，Ｙ
１）、（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ
４）との関係が求められ、この４点を結ぶことにより基
準面が求められる（壁面の認識原理）。そして、ステッ
プＦ３で画像処理部４４では上述の（３）式に基づいて
演算処理が行われ、流し撮りＣＣＤ装置２３と基準面と
の位置関係が検出される。

【０１３１】その後、図２３のメインルーチンのステッ
プＢ９にリターンし、ステップＢ１０に移行して壁面１
の特定位置である光源ブロックＢＬ１に第２の基準面が
設定される。そして、ステップＢ１１に移行して仮想空
間の光源ブロックＢＬ１の第２の基準面上に肖像画Ｐ１
１の下位階層の画像である人体内部構造の画像Ｐ１２が
特殊グラストロン２に表示される。例えば、特殊グラス
トロンでは、ＬＣＤ２６により実空間の外界像である壁
面１と、肖像画Ｐ１１の下位階層の画像である人体内部
構造の画像Ｐ１２とを合成したステレオ画像の一方が観
察者３０の右の眼球に導くようになされる。ＬＣＤ２７
により、実空間の壁面１と、その人体内部構造の画像Ｐ
１２とを合成したステレオ画像の他方が観察者３０の左
の眼球に導くようになされる。

【０１３２】従って、実空間上の壁面１には、人体内部
構造の画像Ｐ１２などが出現していない（図４参照）の
に、仮想空間の光源ブロックＢＬｉによる第２の基準面
上に、は図２９Ａに示すような人体内部構造の画像Ｐ１
２を出現させることができる。これにより、観察者３０
の属する実空間上の背景画像と、仮想空間上に出現した
人体内部構造の画像Ｐ１２が頭の中で合成されるので、
実空間上の壁面１の属する光源ブロックＢＬｉの位置
に、あたかも、人体内部構造の画像Ｐ１２が存在するよ
うにできる。

【０１３３】この例では、上述の壁面１の認識原理を応
用することにより、観察者３０が例えば図２８に示す左
側の肖像画Ｐ１１に注視すると、注視点検出用のカメラ
４からＣＰＵ４５へ「肖像画に注視している」旨のカメ
ラ出力信号Ｓ３が出力されるので、画像処理装置３で
は、その肖像画Ｐ１１に目標を設定されたことを判断で
きる。

【０１３４】また、右眼表示用のＬＣＤ２６及び左表示
用のＬＣＤ２７に人体内部構造の画像Ｐ１２及び肖像画
Ｐ１１を拡大して表示した場合には、先に述べた操作部
９を操作すると、指示信号Ｓ５がＣＰＵ４５に出力さ
れ、観察者３０が注視した肖像画Ｐ１１を所定の大きさ
に戻した表示がなされる。そして、図２３に示したフロ
ーチャートのステップＢ１４の「終了する」に対して
「ＮＯ」でステップＢ１に戻ってその仮想画像合成表示
処理を継続し、「ＹES」でその仮想画像合成表示処理を
終了する。

【０１３５】なお、図２９Ａは、肖像画の下位階層の画
像例を示す人体内部構造の画像Ｐ１２のイメージ図、及
び、図２９Ｂは船の絵画Ｐ２１の下位階層の画像例を示
す操舵室から進行方向を見た画像Ｐ２２を示すイメージ
図である。図２８において、目標を船の絵画Ｐ２１に設
定した場合には、観察者３０が仮想壁面１’を越えた時
点で図２８に示した船の絵画Ｐ２１から図２９Ｂに示す
操舵室の画像Ｐ２２に表示を切り換えることができる。

【０１３６】このように、本実施形態としての仮想画像
立体合成装置１００によれば、上述の位置認識装置１０
及び位置認識方法が応用されるので、壁面１の特定位置
の光源ブロックＢＬｉ及びその光源ブロックＢＬｉから
離れた任意の位置を簡易にかつ少ない計算量で、しか
も、ベストフォーカスで精度良く画像処理系などに認識
させることができる。

【０１３７】従って、壁面１の特定位置の光源ブロック
ＢＬｉから離れた任意の位置に第１の基準面を設定し、
又は、その光源ブロックＢＬｉに第２の基準面を設定す
ることができるので、その第１の基準面を取り込んだ仮
想壁面１’上で仮想体の画像を合成するような仮想画像
立体合成処理を行うこと、及び、その第２の基準面を取
り込んだ壁面１上で仮想体の画像を合成するような仮想
画像立体合成処理を行うことができる。

【０１３８】これにより、実際の壁面１には肖像画Ｐ１
１、船の絵画Ｐ２１、山の絵画Ｐ３１などの実物の絵画
などが存在しない場合であっても、仮想壁面１’には複
数の絵画が出現し、しかも、その絵画の１つに目標を設
定してその絵画の中に踏み込んだときに、その絵画の下
位階層の画像が表示されるようなバーチャル美術館など
を再現性よく構築することができる。

【０１３９】また、本例のバーチャル美術館では、仮想
空間上で、図２８に示した肖像画Ｐ１１、船の絵画Ｐ２
１及び山の絵画Ｐ３１の３枚の画像のうち、観察者３０
が注視した１枚の画像に通常のＣＣＤ撮像装置２５の焦
点を合わせ込むとができるので、その画像をズームアッ
プして表示することができる。従って、このバーチャル
美術館では実空間の壁面１に８個の光源ブロックＢＬｉ
を設け、その映像ソフトをＣＤ−ＲＯＭなどから供給す
ればよく、観察者３０が注視した画像を忠実に画像表示
することができる。

【０１４０】更に、この例では、観察者３０が注視した
特定の発光ダイオードＬＥＤｉに流し撮りＣＣＤ装置２
３の焦点を精度良く合わせ込むことができる。従って、
ベストフォーカスで４つの発光ダイオードＬＥＤ１〜Ｌ
ＥＤ４を所定の撮像方向に流すように撮像することがで
きる。これと共に、その点滅パターンの輝度信号を画像
処理装置３で最適に画像処理することができるので、８
個の光源ブロックＢＬ１〜ＢＬ８による第１及び第２の
基準面を精度良く認識させることができる。

【０１４１】しかも、観察者３０の属する実空間上の壁
面１に関して第１及び第２の基準面を簡易に、しかも、
少ない計算量で認識することができる。従って、画像処
理部４４における演算負担を従来方式に比べて軽減でき
ると共に、これらのバーチャル美術館などの仮想画像立
体合成装置のコストダウンを図ることができる。

【０１４２】この実施形態では流し撮りＣＣＤ２３に関
してインターライン転送方式の二次元撮像デバイスを使
用する場合について説明したが、これに限られることは
なく、フレーム転送方式の二次元撮像デバイスを使用す
る場合であっても同様な効果が得られる。

【０１４３】（３）第２の仮想画像立体合成装置図３０は本発明に係る位置認識装置及び位置認識方法を
応用した第２の実施形態としての仮想画像立体合成装置
２００の構成例を示す斜視図である。この実施形態で
は、壁面１に取付けられる被認識マークＭｉが光源ブロ
ックＢＬｉから二次元バーコードＢＣｉ（ｉ＝１〜８）
に置き換わったものであり、その内の任意の１つに目標
が設定され、その目標に撮像系を近づけた場合におい
て、その目標となされた二次元バーコードＢＣｉと撮像
系との距離情報を求める演算手段を設け、壁面１の特定
位置及びその特定位置から離れた任意の位置を簡易にか
つ少ない計算量で、しかも、ベストフォーカスで精度良
く画像処理系などに認識させ、壁面１の特定位置及びそ
の特定位置から離れた任意の位置に各々基準面を設定
し、その各々の基準面を取り込んだ仮想空間上で仮想体
の画像を合成できるようにしたものである。

【０１４４】図３０に示す仮想画像立体合成装置２００
は、第１の実施形態と同様にして観察者３０の属する外
界像に、人物や風景などの静止画像（２Ｄ）又はＴＶ番
組のキャラクタ画像（３Ｄ）などの仮想体画像を立体的
に合成表示する装置である。

【０１４５】この仮想画像立体合成装置２００は壁面１
の所望位置に取付けられた複数の被認識マークＭｉとし
ての基準面設定用の８個の二次元バーコードＢＣｉ（ｉ
＝１〜８）と、観察者３０の頭部に装着される合成手段
としての特殊グラストロン２０と、この特殊グラストロ
ン２０における撮像画像及び表示画像の入出力を制御す
る画像処理装置３を備えて成るものである。

【０１４６】この特殊グラストロン２０の本体部２１に
は第１の実施形態と同様にしてベルト２２が設けられ、
眼鏡をかけるように本体部２１が観察者３０の顔面に装
着されると共に、その観察者３０の頭部外周部に沿って
ベルト２２が固定される。この例で特殊グラストロン２
０は、表示手段２４と、領域抽出用の撮像手段としての
通常のＣＣＤ撮像装置２５とを有しており、そのＣＣＤ
撮像装置２５により撮像（認識）された仮想空間の基準
面上に仮想体の画像を表示手段２４によって合成表示す
るようになされる。

【０１４７】この例では、実空間上の壁面１の基準面の
属する位置に、例えば、光源ブロックＢＬ１を中心に仮
想体として肖像画Ｐ１１が、光源ブロックＢＬ２を中心
に船の絵画（図示せず）Ｐ２１が、光源ブロックＢＬ３
を中心に山の絵画（図示せず）Ｐ３１などがあたかも存
在するようになされる。その際に通常のＣＣＤ撮像装置
２５によって二次元バーコードＢＣｉが撮像される。ま
た、上述の壁面１に取付けられた８個の二次元バーコー
ドＢＣ１〜ＢＣ８と、通常のＣＣＤ撮像装置２５とによ
り位置認識手段５０が構成され、壁面１の特定位置及び
その特定位置から離れた任意の位置で基準面を認識（設
定）するようになされる。この位置認識手段５０には本
発明に係る位置認識装置１０及び位置認識方法が応用さ
れる。

【０１４８】この例では壁面１に取付けられた８個の二
次元バーコードＢＣ１〜ＢＣ８が通常のＣＣＤ撮像装置
２５によって撮像されて被注視領域が画定されると共
に、観察者３０によって８個の二次元バーコードＢＣ１
〜ＢＣ８の内の任意の１つに目標が設定されたときに、
その被注視領域内で目標となされた二次元バーコードＢ
ＣｉがＣＣＤ撮像装置２５によって撮像される。

【０１４９】この特殊グラストロン２０には演算手段と
しての画像処理装置３が接続され、及び通常のＣＣＤ撮
像装置２５により撮像された二次元バーコードＢＣｉに
よる輝度信号を画像処理してその二次元バーコードＢＣ
ｉの位置が求められ、その位置情報に基づいて二次元バ
ーコードＢＣｉにおける第１及び第２の基準面などを設
定するための画像処理がなされる。

【０１５０】この例で、図３１に示す基準面設定用の二
次元バーコードＢＣ１〜ＢＣ８は静止物体として比較的
に平坦な壁面１に取付けられる。壁面１の大きさについ
ては第１の実施形態で述べた通りであり、８個の二次元
バーコードＢＣｉが予め定められた間隔で図３１に示す
位置に格子状に配されている。二次元バーコードＢＣｉ
の水平方向の間隔（ピッチ：Ｐｈ）は１ｍ程度であり、
その垂直方向の間隔（ピッチ：Ｐｖ）は１．５ｍ程度で
ある。この８個の二次元バーコードＢＣ１〜ＢＣ８の各
々の仮想空間上で第１の実施形態と同様にして肖像画Ｐ
１１、船の絵画Ｐ２１、山の絵画Ｐ３１・・・・その他
の絵画Ｐ８などの画像が合成表示される。これらの肖像
画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１・・・の映
像や、これらの下位階層の映像は画像処理系のメモリな
どに予め格納されているものを使用する。

【０１５１】図３２は第２の実施形態としての仮想画像
立体合成装置２００で使用する基準面設定用の二次元バ
ーコードＢＣｉの構成例を示す図である。各々の二次元
バーコードＢＣｉは、一辺が５ｃｍ程度であり、少なく
とも、図３２に示す白地に黒で印刷されたｎ行×ｎ列
（この例では、ｎ＝７）の白黒マトリクスと、その白黒
マトリクスと同じ太さの黒枠部５１から成る。この例で
は黒枠部５１で囲まれた５×５画素がコード領域部５２
であり、この２５画素のうち、図３２に示す１２画素が
黒で塗りつぶされている。この二次元バーコードＢＣｉ
が基準面として使用されるものである。

【０１５２】この例でも、基準面設定用の各々の二次元
バーコードＢＣｉの各々の四隅の点の位置情報（ｘ１，
ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ
４）及び、４つの点間の距離情報Ｌｘ＝（ｘ３−ｘ１）
＝（ｘ４−ｘ２）や、距離情報Ｌｙ＝（ｙ２−ｙ１）＝
（ｙ４−ｙ３）が規定されている。これらの位置情報及
び距離情報は壁面１の認識の際に使用するために、ブロ
ック識別情報と共に予め画像処理装置３内のＲＡＭなど
に登録されている。

【０１５３】この例では第１の実施形態と同様にして各
々の二次元バーコードＢＣｉを識別するために所定のデ
ータフォーマットが準備されている（図６参照）。そし
て、一方のデータ領域には各二次元バーコードＢＣｉを
識別するために、各々の二次元バーコードＢＣｉ毎に割
り当てられたブロックＮｏ識別コード（コード領域部５
２のデコード値）「１、２・・・８」などが書き込ま
れ、他のデータ領域には各二次元バーコードＢＣｉの四
隅の４点の位置情報及び距離情報Ｌｘ、Ｌｙが書き込ま
れる。このブロックＮｏ識別コード及び二次元バーコー
ドＢＣｉの四隅の点の位置情報及び距離情報Ｌｘ、Ｌｙ
を総称してこの例でもブロック識別情報という。

【０１５４】また、二次元バーコードＢＣｉ間の配置距
離情報は二次元バーコードＢＣｉの水平方向の間隔（ピ
ッチ：Ｐｈ）及びその垂直方向の間隔（ピッチ：Ｐｖ）
から光源ブロックＢＬｉと同様にして容易に得られる。
上述したブロック識別情報及び二次元バーコードＢＣｉ
間の配置距離情報によって配置情報が構成される。これ
らの配置情報は壁面１の認識及び第１及び第２の基準面
の設定の際に使用するために、予め画像処理装置内のＲ
ＡＭ（情報が随時書き込み読み出し可能なメモリ）４７
などに登録される。

【０１５５】図３３に示す特殊グラストロン２０は非透
過型のヘッドマウントディスプレイを構成しており、通
常のＣＣＤ撮像装置２５と、第１の画像表示素子として
の右眼表示用の液晶表示装置（以下ＬＣＤという）２６
と、第２の画像表示素子としての左眼表示用のＬＣＤ２
７と、図示しない注視点検出用の撮像手段（第２の撮像
系、以下、注視点検出カメラ４という）とを有してい
る。

【０１５６】つまり、観察者３０の眉間に相当する位置
には、通常のＣＣＤ撮像装置２５が配置され、観察者３
０の属する外界像が撮像されると共に、二次元バーコー
ドＢＣ１〜ＢＣ８が撮像される。従って、観察者３０が
基準面設定用の二次元バーコードＢＣ１〜ＢＣ８に目を
向けると、その基準面の方向にＣＣＤ撮像装置２５が向
くようになる。

【０１５７】この例では、ＣＣＤ撮像装置２５に自動ズ
ーム機構が設けられ、８個の二次元バーコードＢＣ１〜
ＢＣ８の中の任意の二次元バーコードＢＣｉを注視する
と、画像処理装置３によって自動的にその二次元バーコ
ードＢＣｉにズームさせることができる。この自動ズー
ム機構に関しては、第１の実施形態で説明した通りであ
るのその説明を省略する。

【０１５８】そして、特殊グラストロン２０内の観察者
３０の右目に相対する位置にはＬＣＤ２６が取付けら
れ、例えば、通常のＣＣＤ撮像装置２５により撮影した
観察者３０の二次元バーコードＢＣ１〜ＢＣ８と、予め
準備された肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ
３１などの仮想映像とを合成したステレオ画像の一方が
表示される。また、その観察者３０の左目に相対する位
置にはＬＣＤ２７が取付けられ、上述の二次元バーコー
ドＢＣ１〜ＢＣ８と、肖像画Ｐ１１、船の絵画Ｐ２１、
山の絵画Ｐ３１などの仮想映像とを合成したステレオ画
像の他方が表示される。

【０１５９】続いて、仮想画像立体合成装置２００の回
路構成例について説明する。図３４に示す仮想画像立体
合成装置２００は大きく分けて２つの回路ブロックから
成る。第１の回路ブロックは特殊グラストロン２０であ
り、上述した通常のＣＣＤ撮像装置２５、右眼表示用の
ＬＣＤ２６、左眼表示用のＬＣＤ２７及び左右のフィル
ムＣＣＤ４Ｒ、４Ｌ（注視点検出用のカメラ４）を有し
ている。

【０１６０】第２の回路ブロックは画像処理装置３であ
り、内部バス４１を有している。内部バス４１にはイン
タフェース（Ｉ／Ｏ）４２、画像キャプチャ部４３、画
像処理部４４、ＣＰＵ４５、ＲＯＭ４６、ＲＡＭ４７及
びＥ²ＰＲＯＭ４８が接続されている。通常のＣＣＤ撮
像装置２５、右眼表示用のＬＣＤ２６、左眼表示用のＬ
ＣＤ２７及び注視点検出用のカメラ４はインタフェース
４２を介して内部バス４１に接続される。

【０１６１】このＥ²ＰＲＯＭ４８には、観察者３０の
属する外界像に肖像画Ｐ１１、船の絵画Ｐ２１、山の絵
画Ｐ３１などの仮想映像を立体的に合成するアルゴリズ
ムが格納されている。例えば、Ｅ²ＰＲＯＭ４８には、
観察者３０の属する実空間上の壁面１で任意に設定され
た二次元バーコードＢＣｉに基づく基準面を撮像して仮
想空間上にその基準面を表示すると共に、その仮想空間
上に肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１な
どの仮想映像を重ね合わせて合成するアルゴリズムが格
納される。

【０１６２】従って、このアルゴリズムを実行すること
によって、簡易に、しかも、少ない計算量で実空間上の
壁面１の二次元バーコードＢＣｉと撮像系との間の距離
情報や、その位置で基準面を認識することができる。こ
れにより、実空間上の壁面１の二次元バーコードＢＣｉ
の基準面の属する位置に、あたかも、肖像画Ｐ１１、船
の絵画Ｐ２１、山の絵画Ｐ３１などが存在するように仮
想画像立体合成処理をすることができるので、第１の実
施形態と同様にしてバーチャル美術館などの仮想画像立
体合成装置２００を再現性良く構成することができる。

【０１６３】更に、内部バス４１にはＲＯＭ４６が接続
され、この仮想画像立体合成装置２００を制御するため
のシステムプログラムや、メモリの読み出し手順などの
制御情報などが格納される。内部バス４１にはワーキン
グ用のＲＡＭ４７が接続され、システムプログラムや、
肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの
仮想画像を表示する表示情報が一時記録される。

【０１６４】例えば、ＲＡＭ４７には、基準面設定用の
各々の二次元バーコードＢＣｉの四隅の点の位置情報
（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）、
（ｘ４，ｙ４）及び、４つの点間の距離情報Ｌｘ＝（ｘ
３−ｘ１）＝（ｘ４−ｘ２）や、距離情報Ｌｙ＝（ｙ２
−ｙ１）＝（ｙ４−ｙ３）が記憶されている。その際
に、予め定められた配置間隔で８個の二次元バーコード
ＢＣ１〜ＢＣ８を壁面１に取付ける場合には、その８個
の二次元バーコードＢＣ１〜ＢＣ８の配置情報を予めア
ドレスマップにしてＲＡＭ４７に記憶しておいてもよ
い。配置距離情報は水平及び垂直方向のピッチＰｈ、Ｐ
ｖから得られる。

【０１６５】また、内部バス４１には制御手段としてＣ
ＰＵ４５が接続され、インタフェース４２、画像キャプ
チャ部４３、画像処理部４４、ＲＯＭ４６、ＲＡＭ４７
及びＥ²ＰＲＯＭ４８の入出力の制御や、ＣＣＤ撮像装
置２５、ＬＣＤ２６、ＬＣＤ２７及び注視点検出用のカ
メラ４の入出力の制御が行われる。この例では観察者３
０が注視した二次元バーコードＢＣｉと特殊グラストロ
ン２０との間の焦点距離ＳｃがＣＰＵ４５によって算出
される。ここで算出された焦点距離Ｓｃと、フィルムＣ
ＣＤ４Ｒ、４Ｌによるカメラ出力信号Ｓ３とに基づい
て、観察者３０が注視した特定の二次元バーコードＢＣ
ｉに対してのピントをより高精度に合わせ込むことがで
きる。

【０１６６】例えば、ＣＰＵ４５はカメラ出力信号Ｓ３
に基づいての焦点距離Ｓｃを調整したり、観察者３０の
眼球運動から認識された瞳孔の動きに基づいてその観察
者３０が注視した二次元バーコードＢＣｉとＣＣＤ撮像
装置２５との間の焦点距離Ｓｃを補正するように動作す
る。この補正動作については図３５で説明する。その他
にＣＰＵ４５はカメラ出力信号Ｓ３に基づいてＬＣＤ２
６、ＬＣＤ２７への映像出力を制御するようになされ
る。例えば、観察者３０が注視した部分の画像を所定の
倍率で拡大してＬＣＤ２６、ＬＣＤ２７に表示するよう
な拡大表示制御が行われる。

【０１６７】これに関連してインタフェース４２には操
作部９が設けられ、少なくとも、観察者３０が注視した
部分の画像を所定の大きさに戻して表示するような指示
信号（リセット信号）Ｓ５がインタフェース４２を介し
てＣＰＵ４５に指示が与えるようになされている。これ
は第１の実施形態と同様にして一時拡大した画像を通常
の大きさの画像に戻すためである。

【０１６８】このインタフェース４２には画像処理部４
４が接続され、例えば、通常のＣＣＤ撮像装置２５で撮
像された基準面設定用の二次元バーコードＢＣｉの画像
（図３２参照）が、ＣＰＵ４５の制御命令と共にインタ
フェース４２を介して、画像処理部４４に取り込まれ、
そこで所定の画像処理がなされ、再び、インタフェース
４２を介して特殊グラストロン２０内のＬＣＤ２６及び
ＬＣＤ２７などに転送される。

【０１６９】また、インタフェース４２には画像キャプ
チャ部４３が接続され、ＣＰＵ４５の制御命令を受け
て、ＣＣＤ撮像装置２５から入力した二次元バーコード
ＢＣｉに係る画像データを獲得する所定のキャプチャ処
理がなされる。画像キャプチャ部４３には内部バス４１
を介して演算手段としての画像処理部４４が接続され、
所定の画像処理が施された画像データに関して、観察者
３０の前に属する壁面１で基準面が求められる。

【０１７０】例えば、画像処理部４４では拡大撮像され
る二次元バーコードＢＣｉの画像データに対して前処理
が施される。この処理では、まず、ＣＣＤ撮像装置２５
による取得画像が適当な閾値で２値化される。バーコー
ド部分は白地に黒で印刷されているので、固定閾値によ
って、かなり安定的に背景画像とコード領域とを分離す
ることができる。次に、黒ピクセルの連結領域毎にラベ
ル付けが施される。

【０１７１】この２次元バーコードＢＣｉの黒枠部５１
はラベル付けされた連結領域のいずれかに含まれること
となる。従って、連結領域の外接四角形の大きさと縦横
比を考慮して、コード領域部５２が含まれている可能性
の低い背景画像（領域）は除去するようになされる。

【０１７２】その後、前処理の結果得られた連結領域の
各要素に対してバーコード枠の当てはめを行う。例え
ば、外接四角形の各辺から内側に向かって、黒領域を探
索し、コー黒枠部５１の点列を得る。この点列に対して
最小二乗法で線分を当てはめる。そして、当該二次元バ
ーコードＢＣｉに与えられたコード領域部５２を認識す
る。

【０１７３】上述の基準面は黒枠部５１の４頂点を正方
形の頂点に射影する変換行列を演算することにより得ら
れる。ここで実空間の平面上の点（ｘｉ，ｙｉ，０）を
ある並進・回転運動によって移動し、それを透視変換で
画像座標系に射影した点を（Ｘｉ，Ｙｉ）で示すと、両
者の間には第１の実施形態で説明した（１）式と同様な
関係がある。

【０１７４】従って、これらのパラメータは実空間の既
知の点の位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、
（ｘ３，ｙ３）、（ｘ４，ｙ４）と、それらに対応する
４組の画像処理系の位置座標（Ｘ１，Ｙ１）、（Ｙ２，
Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）が存在すれ
ば、先に説明した（２）式の方程式を解くことにより得
られる。

【０１７５】ここで得られた位置座標（ｘ１，ｙ１）、
（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）に関
して、一辺の長さを「１」とする正方形の４頂点とする
と、この４頂点を結ぶ面が実空間上の基準面となる。な
お、画面上の黒枠部５１はＣＣＤ撮像装置２５の姿勢
や、透視投影によって歪んでいるが、外部パラメータ及
び内部パラメータによって、画面上の矩形頂点を正方形
の各頂点に射影することができる。従って、図３２に示
す仮想空間上の二次元バーコードＢＣｉの四隅の位置座
標から正立方体を作成することができるので、その正立
方体に肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１
などの仮想画像などを合成することができる。

【０１７６】続いて、仮想画像立体合成装置２００の位
置認識手段５０の焦点補正時の動作例について説明をす
る。図３５に示す通常のＣＣＤ撮像装置２５には図示し
ないインタフェース４２を介して画像処理部４４が接続
され、基準面設定用の二次元バーコードＢＣｉの画像が
取り込まれ、そこで所定の画像処理がなされる。

【０１７７】また、図３５に示す二次元バーコードＢＣ
ｉによる基準面を注視する観察者３０の眼球運動が注視
点検出カメラ４によって撮像され、その観察者３０の注
視点ｐが検出される。この注視点検出カメラ４には図示
しないインタフェース４２を介して制御手段としてのＣ
ＰＵ４５が接続され、この注視点検出カメラ４から得ら
れたカメラ出力信号Ｓ３に基づいての焦点距離が調整さ
れる。例えば、ＣＰＵ４５は、ＣＣＤ撮像装置２５にズ
ーム制御信号Ｓ０を出力して、観察者３０の眼球運動か
ら認識された瞳孔の動きに基づく二次元バーコードＢＣ
ｉとＣＣＤ撮像装置２５との間の焦点距離を補正するよ
うになされる。

【０１７８】ここで、観察者３０の眼球表面から注視点
ｐに至る離隔距離をＳｅとし、ＣＣＤ撮像装置２５のレ
ンズ表面から注視点ｐに至る焦点距離をＳｃとし、観察
者３０の眼球表面とのレンズ表面との間のオフセット距
離をＳoffとすると、その注視点ｐに至る離隔距離Ｓｅ
が焦点距離Ｓｃ＋Ｓoffよりも多い場合には、ＣＰＵ４
５がその焦点距離Ｓｃを長くするようにＣＣＤ撮像装置
２５の光学系を調整する。反対に、注視点ｐに至る離隔
距離Ｓｅが焦点距離Ｓｃ＋Ｓoffよりも少ない場合に
は、ＣＰＵ４５はその焦点距離Ｓｃを短くするようにＣ
ＣＤ撮像装置２５の光学系を調整するようになされる。

【０１７９】次に、本発明の位置認識方法に関して仮想
画像立体合成装置２００の動作を説明する。図３６は仮
想画像立体合成装置２００の動作例を示すメインルーチ
ンのフローチャートである。図３７は仮想画像立体合成
装置２００を応用したバーチャル美術館の構成例を示す
イメージ図である。なお、仮想画像立体合成装置２００
の動作説明に当たって、第１の実施形態で説明した図２
４〜図２７のサブルーチンを使用することにする。

【０１８０】この例では、ほぼ平坦な壁面１の所望位置
に基準面設定用の８個の二次元バーコードＢＣｉ（ｉ＝
１〜８）を予め定められた配置ピッチ（間隔）で配置
し、その８個の二次元バーコードＢＣｉを撮像して画像
処理系に認識させた後に、第１の基準面上で仮想画像の
合成処理をし、その後、８個の二次元バーコードＢＣｉ
の中の１つに目標を設定してその目標に撮像系を近づ
け、上述の第１の基準面を越えたときに、その二次元バ
ーコードＢＣｉを拡大して撮像し、この拡大撮像に基づ
いて第２の基準面上で仮想画像の合成処理をする場合を
想定する。

【０１８１】この位置認識原理を応用して８個の二次元
バーコードＢＣ１〜ＢＣ８の各々の仮想空間上で肖像画
Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１・・・・その
他の絵画Ｐ８などの８枚の画像を表示する。図３７では
その第１の基準面を含む仮想空間上に、二次元バーコー
ドＢＣ１を中心に肖像画Ｐ１１が、二次元バーコードＢ
Ｃ２を中心に船の絵画Ｐ２１が、二次元バーコードＢＣ
３を中心に山の絵画Ｐ３１があたかも存在するようにな
される。

【０１８２】その後、この３枚のうちの１枚の映像に観
察者３０が目標を設定して壁面方向に近づくと、第１の
基準面を越えた時点でその絵画映像が下位階層の映像に
切り換えて特殊グラストロン２０に表示するような場合
を想定する。もちろん、観察者３０は図３３に示した特
殊グラストロン２０を頭部に装着する。

【０１８３】これらを前提にして、図３６に示すフロー
チャートのステップＧ１で壁面１に取付けられた二次元
バーコードＢＣｉを撮像して被注視領域を画定する。例
えば、図２４に示したサブルーチンをコールしてそのフ
ローチャートのステップＣ１で、まず、ＣＣＤ撮像装置
２５が最大望遠状態になされる。ＣＣＤ撮像装置２５で
は各二次元バーコードＢＣ１〜ＢＣ８の白黒のコード領
域部５２まで識別することができず、画像処理系では８
個の二次元バーコードＢＣ１〜ＢＣ８が予め定めらた位
置に配置されていると認識される。従って、二次元バー
コードＢＣ１〜ＢＣ８が壁面１に存在していることを画
像処理系によって認識させることができる。

【０１８４】つまり、ステップＣ２に移行して、その壁
面１に配置された８個の二次元バーコードＢＣ１〜ＢＣ
８が全部、ＣＣＤ撮像装置２５の撮像範囲に収まったか
否かが画像処理系で判別される。この際の判別ではパタ
ーン認識などを利用して行ってもよい。その８個の二次
元バーコードＢＣ１〜ＢＣ８が撮像範囲に収まらない場
合には、ステップＣ３に移行してＣＣＤ撮像装置２５の
焦点調整機構がパーン（螺旋回転）された後に、ステッ
プＣ４に移行して８個の二次元バーコードＢＣ１〜ＢＣ
８が画像処理系で認識処理される。

【０１８５】この際に、画像処理装置３では、ＲＡＭ４
７から読み出された８個の二次元バーコードＢＣ１〜Ｂ
Ｃ８のコード認識情報や、配置情報を参照しながら、Ｃ
ＣＤ撮像装置２５で撮像された実際の８個の二次元バー
コードＢＣ１〜ＢＣ８の配置情報が演算される。その
後、ステップＣ２に戻って、その壁面１に配置された８
個の二次元バーコードＢＣ１〜ＢＣ８が全部撮像範囲に
収まったか否かが再度、画像処理系で判別される。その
後、図３６に示すメインルーチンのステップＧ１に戻
り、ステップＧ２に移行して、画像処理装置３では、Ｒ
ＡＭ４７から読み出された８個の二次元バーコードＢＣ
１〜ＢＣ８の配置距離情報を参照しながら、通常のＣＣ
Ｄ撮像装置２５で撮像された実際の８個の二次元バーコ
ードＢＣ１〜ＢＣ８の位置情報が演算される。

【０１８６】その後、ステップＧ３では第１の基準面が
認識され、特殊グラストロン２０の表示手段２４には仮
想壁面１’が表示される。そして、ステップＧ４に移行
して仮想壁面１’に肖像画Ｐ１１、船の絵画Ｐ２１、山
の絵画Ｐ３１・・・・その他の絵画Ｐ８などの８枚の画
像が合成される。このとき、観察者３０が装着した特殊
グラストロン２０では、ＬＣＤ２６により実空間の外界
像である壁面１と、肖像画Ｐ１１、船の絵画Ｐ２１、山
の絵画Ｐ３１などの画像とを合成したステレオ画像の一
方が観察者３０の右の眼球に導くようになされる。ＬＣ
Ｄ２７により、実空間の壁面１と、肖像画Ｐ１１、船の
絵画Ｐ２１、山の絵画Ｐ３１などの画像とを合成したス
テレオ画像の他方が観察者３０の左の眼球に導くように
なされる。

【０１８７】従って、実空間上の壁面１には、肖像画Ｐ
１１、船の絵画Ｐ２１、山の絵画Ｐ３１などが出現して
いない（図４参照）のに、図３７に示す仮想壁面１’に
は肖像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１など
を出現させることができる。これにより、観察者３０の
属する実空間上の背景画像と、仮想空間上に出現した肖
像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの画
像が頭の中で合成されるので、実空間上の壁面１の属す
る二次元バーコードＢＣｉの位置に、あたかも、肖像画
Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などが存在す
るようにできる。

【０１８８】この一連の撮像処理及び画像処理と並行し
て、ステップＧ１２では観察者３０の眼球運動が撮像さ
れると共に、ステップＧ１３で少なくとも、ＣＣＤ撮像
装置２５の焦点距離の補正がなされる。もちろん、通常
のＣＣＤ撮像装置２５の焦点距離を補正するようにして
もよい。例えば、図２５に示したサブルーチンをコール
してそのフローチャートのステップＤ１で、観察者３０
の注視点ｐが図１１Ａに示した歯抜けのフィルムＣＣＤ
４Ｒ、４Ｌなどの注視点検出用のカメラ４で検出され
る。

【０１８９】その後、ステップＤ２で観察者３０の眼球
表面から注視点ｐに至る離隔距離Ｓｅと、その観察者３
０が注視した二次元バーコードＢＣｉとＣＣＤ撮像装置
２５との間の焦点距離Ｓｃ＋ＳoffとがＣＰＵ４５よっ
て比較される。ここで、注視点ｐに至る離隔距離Ｓｅと
の焦点距離Ｓｃ＋Ｓoffとが一致している場合には、光
学系の調整は不要なので、ステップＤ８に移行して、観
察者３０の眼球運動の監視を継続する。この注視点ｐに
至る離隔距離Ｓｅとの焦点距離Ｓｃ＋Ｓoffとが不一致
の場合には、ステップＤ３に移行する。

【０１９０】このステップＤ３では、注視点ｐに至る離
隔距離Ｓｅがの焦点距離Ｓｃ＋Ｓoffよりも多い（Ａ）
か、少ない（Ｂ）かが判定される。例えば、注視点ｐに
至る離隔距離ＳｅがＣＣＤ撮像装置２５の焦点距離Ｓｃ
＋Ｓoffよりも多い場合には、ステップＤ４に移行して
ＣＰＵ４５によってその焦点距離Ｓｃを増加するように
ＣＣＤ撮像装置２５の絞りやレンズなどの光学系が調整
される。

【０１９１】この調整結果で、ステップＤ５で離隔距離
Ｓｅと焦点距離Ｓｃ＋Ｓoffとが一致した場合には、ス
テップＤ８に移行し、一致しない場合はステップＤ４に
戻って調整を継続する。反対に、観察者３０の眼球表面
から注視点ｐに至る離隔距離Ｓｅが焦点距離Ｓｃ＋Ｓof
fよりも少ない場合には、ステップＤ６に移行してＣＰ
Ｕ４５により、その焦点距離Ｓｃを減少するようにＣＣ
Ｄ撮像装置２５の光学系が調整される。その調整結果
で、ステップＤ７で離隔距離Ｓｅと焦点距離Ｓｃ＋Ｓof
fとが一致した場合には、ステップＤ８に移行し、一致
しない場合はステップＤ６に戻って調整を継続する。こ
れにより、観察者３０が注視した二次元バーコードＢＣ
ｉとＣＣＤ撮像装置２５の光学系との間の焦点距離Ｓｃ
＋Ｓoffを自動補正することができる。

【０１９２】そして、メインルーチンのステップＧ５で
８個の二次元バーコードＢＣ１〜ＢＣ８のうちどの二次
元バーコードＢＣｉに目標が設定されたかが、図２５の
サブルーチンのステップＤ１から観察者３０の注視点ｐ
の情報に基づいて検出される。この際に、いずれかの二
次元バーコードＢＣｉに注視された場合にはステップＧ
６に移行する。反対に、いずれの二次元バーコードＢＣ
ｉも注視されない場合にはステップＧ１４に移行する。

【０１９３】従って、いずれかの二次元バーコードＢＣ
ｉに目標が設定されたときは、その目標に向かって観察
者３０が壁面１の方向へ近づいて行く間中、ステップＧ
６で撮像系と目標との間の距離情報Ｓｘが算出される。
この際の距離情報Ｓｘに関しては、（４）式により算出
される。もちろん、第１の基準面には肖像画Ｐ１１、船
の絵画Ｐ２１、山の絵画Ｐ３１などの画像が表示されて
いる。

【０１９４】そして、ステップＧ７で観察者３０が仮想
壁面１’に到達したか否かが検出される。観察者３０が
仮想壁面１’に到達していない場合にはステップＧ６に
戻って撮像系と目標との間の距離情報Ｓｘの算出が継続
される。ここで、観察者３０が図２２Ａに示した仮想壁
面１’の直前位置ＳＰ３に立ったような場合には距離情
報Ｓｘ＝Ｓ０＝Ｓ３が画像処理装置３によって検出され
る。この位置は肖像画Ｐ１１から人体内部構造の画像Ｐ
１２に表示を切り替える位置である。従って、一歩でも
仮想壁面１’内へ踏み込むと、特殊グラストロン２０の
表示手段２４の映像が切り替わるようになされる。

【０１９５】例えば、ステップＧ８に移行して被注視領
域内で目標となされた二次元バーコードＢＣｉを拡大し
て撮像する。そして、二次元バーコードＢＣ１の白黒の
コード領域部５２が全部、ＣＣＤ撮像装置２５の撮像範
囲に収まった場合には、例えば、図２６のサブルーチン
をコールしてそのフローチャートのステップＥ１で二次
元バーコードＢＣ１に白黒のコード領域部５２が存在す
るか否かが検出される。このとき、観察者３０が注目し
た二次元バーコードＢＣｉにステップＥ２でズームアッ
プされる。

【０１９６】この際に、画像処理装置３では、ＲＡＭ４
７から読み出された二次元バーコードＢＣｉの位置情報
及び距離情報Ｌｘ，Ｌｙを参照しながら、ＣＣＤ撮像装
置２５で撮像された実際の二次元バーコードＢＣｉの位
置情報及び距離情報Ｌｘ，Ｌｙが演算される。そして、
実際に撮像された二次元バーコードＢＣｉの位置及び距
離情報Ｌｘ，ＬｙがＲＡＭ４７による二次元バーコード
ＢＣｉの位置情報及び距離情報Ｌｘ，Ｌｙにより一層近
づくように、ＣＣＤ撮像装置２５の焦点光学系が自動調
整される。

【０１９７】その後、ステップＥ１に戻る。従って、ス
テップＥ１で観察者３０が注目した二次元バーコードＢ
Ｃｉに白黒のコード領域部５２が存在することが認識さ
れると、ステップＥ３に移行して画像処理系では位置認
識処理がなされる。この処理については、図３５で説明
した通りである。

【０１９８】そして、ステップＥ４に移行して壁面１が
認識できたか否かが判別される。この壁面１が認識でき
た場合には、この位置認識処理を終了して図３６のメイ
ンルーチンのステップＧ８にリターンする。この壁面１
が認識できない場合には、ステップＥ５に移行してその
二次元バーコードＢＣｉの四隅の４つの点間の距離情報
Ｌｘ、Ｌｙが、図３４に示したＲＡＭ４７から読み出さ
れた距離情報（基準値）Ｌｘ、Ｌｙよりも小さいかが検
出される。ＲＡＭ４７による距離情報Ｌｘ、Ｌｙよりも
演算された距離情報Ｌｘ、Ｌｙが小さい場合には、ステ
ップＥ６に移行してズームアップされる。その後、ステ
ップＥ３に戻って位置認識処理が行われる。

【０１９９】また、ステップＥ５でＲＡＭ４７による二
次元バーコードＢＣｉの距離情報Ｌｘ、Ｌｙよりも演算
された二次元バーコードＢＣｉの距離情報Ｌｘ、Ｌｙが
大きい場合には、ステップＥ７に移行して再度、二次元
バーコードＢＣｉの四隅の４つの点間の距離情報Ｌｘ、
ＬｙがＲＡＭ４７に格納された距離情報（基準値）Ｌ
ｘ、Ｌｙよりも大きいかが検出される。ＲＡＭ４７によ
る距離情報Ｌｘ、Ｌｙよりも演算された距離情報Ｌｘ、
Ｌｙが大きい場合には、ステップＥ８に移行してズーム
ダウンされる。

【０２００】そして、ステップＥ８でズームダウンした
後、及び、ステップＥ７でＲＡＭ４７による距離情報Ｌ
ｘ、Ｌｙよりも演算された距離情報Ｌｘ、Ｌｙが大きく
ない場合には、ステップＥ３に戻って位置認識処理が行
われる。その後、ステップＥ４に移行して壁面１が認識
できたか否かが判別される。

【０２０１】以上の処理を繰り返すことで、観察者３０
が注視した特定の二次元バーコードＢＣｉを、再現性よ
く画像処理系に認識させることができる。従って、画像
処理系で壁面１が認識されると、この位置認識処理を終
了して図３６のメインルーチンのステップＧ８にリター
ンする。

【０２０２】そして、図３６のフローチャートのステッ
プＧ９に移行して拡大撮像された二次元バーコードＢＣ
ｉによる輝度信号を画像処理してその二次元バーコード
ＢＣｉの位置を求める。例えば、図２７のサブルーチン
をコールしてそのフローチャートのステップＦ１でビデ
オキャプチャ処理を実行する。その後、ステップＦ２で
二次元バーコードＢＣｉの白黒のコード領域部５２を認
識する。

【０２０３】具体的には、ＣＣＤ撮像装置２５で撮像さ
れた二次元バーコードＢＣｉによる輝度信号が適当な閾
値で２値化される。次に、黒ピクセルの連結領域毎にラ
ベル付けが施される。そして、連結領域の外接四角形の
大きさと縦横比を考慮して、コード領域部５２が含まれ
ている可能性の低い背景画像（領域）は除去するように
なされる。その後、前処理の結果得られた連結領域の各
要素に対してバーコード枠の当てはめが行われる。例え
ば、外接四角形の各辺から内側に向かって、黒領域を探
索し、図３２に示した黒枠部５１の点列を得る。その
後、当該二次元バーコードＢＣｉに与えられたコード領
域部５２を認識する。

【０２０４】上述の基準面は黒枠部５１の４頂点を正方
形の頂点に射影する変換行列を演算することにより得ら
れる。ここで実空間の平面上の点（ｘｉ，ｙｉ，０）を
ある並進・回転運動によって移動し、それを透視変換で
画像座標系に射影した点を（Ｘｉ，Ｙｉ）で示すと、両
者の間には第１の実施形態で説明した（１）式と同様な
関係がある。

【０２０５】従って、これらのパラメータは実空間の既
知の点の位置座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、
（ｘ３，ｙ３）、（ｘ４，ｙ４）と、それらに対応する
４組の画像処理系の位置座標（Ｘ１，Ｙ１）、（Ｙ２，
Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）が存在すれ
ば、先に説明した（２）式の方程式を解くことにより得
られる。

【０２０６】ここで得られた位置座標（ｘ１，ｙ１）、
（ｘ２，ｙ２）、（ｘ３，ｙ３）、（ｘ４，ｙ４）に関
して、一辺の長さを「１」とする正方形の４頂点とする
と、この４頂点を結ぶことにより基準面が求められる
（壁面の認識原理）。そして、ステップＦ３で画像処理
部４４では上述の（３）式に基づいて演算処理が行わ
れ、ＣＣＤ撮像装置２５と基準面との位置関係が検出さ
れる。

【０２０７】なお、画面上の黒枠部５１はＣＣＤ撮像装
置２５の姿勢や、透視投影によって歪んでいるが、外部
パラメータ及び内部パラメータによって、画面上の矩形
頂点を正方形の各頂点に射影することができる。その
後、図３６のメインルーチンのステップＧ９にリターン
し、ステップＧ１０に移行して壁面１の特定位置である
二次元バーコードＢＣｉに第２の基準面が設定される。
その後、ステップＧ１１に移行して仮想空間の二次元バ
ーコードＢＣｉの第２の基準面上に肖像画Ｐ１１の下位
階層である人体内部構造の画像Ｐ１２が特殊グラストロ
ン２０に表示される。

【０２０８】例えば、特殊グラストロン２０では、ＬＣ
Ｄ２６により実空間の外界像である壁面１と、肖像画Ｐ
１１の下位階層である人体内部構造の画像Ｐ１２とを合
成したステレオ画像の一方が観察者３０の右の眼球に導
くようになされる。ＬＣＤ２７により、実空間の壁面１
と、その下位階層である人体内部構造の画像Ｐ１２とを
合成したステレオ画像の他方が観察者３０の左の眼球に
導くようになされる。

【０２０９】従って、実空間上の壁面１には、人体内部
構造の画像Ｐ１２が出現していない（図３１参照）の
に、図３７に示す仮想空間の二次元バーコードＢＣｉに
よる第２の基準面上には図２９Ａに示した人体内部構造
の画像Ｐ１２を出現させることができる。これにより、
観察者３０の属する実空間上の背景画像と、仮想空間上
に出現した人体内部構造の画像Ｐ１２が頭の中で合成さ
れるので、実空間上の壁面１の属する二次元バーコード
ＢＣｉの位置に、あたかも、人体内部構造の画像Ｐ１２
が存在するようにできる。

【０２１０】この例では、上述の壁面１の認識原理を応
用することにより、第１の実施形態と同様にして観察者
３０が例えば図３７に示す左側の肖像画Ｐ１１に注視す
ると、注視点検出用のカメラ４からＣＰＵ４５へ「肖像
画に注視している」旨のカメラ出力信号Ｓ３が出力され
るので、画像処理装置３では、その肖像画Ｐ１１に目標
が設定されたことを判断できる。

【０２１１】また、右眼表示用のＬＣＤ２６及び左表示
用のＬＣＤ２７に人体内部構造の画像Ｐ１２及び肖像画
Ｐ１１を拡大して表示した場合には、先に述べた操作部
９を操作すると、指示信号Ｓ５がＣＰＵ４５に出力さ
れ、観察者３０が注視した肖像画Ｐ１１などを所定の大
きさに戻した表示がなされる。そして、図３６に示した
フローチャートのステップＧ１４の「終了する」に対し
て「ＮＯ」でステップＧ１に戻ってその仮想画像合成表
示処理を継続し、「ＹES」でその仮想画像合成表示処理
を終了する。

【０２１２】このように、第２の実施形態としての仮想
画像立体合成装置２００によれば、上述の位置認識装置
１０及び位置認識方法が応用されるので、壁面１の特定
位置の二次元バーコードＢＣｉ及びその二次元バーコー
ドＢＣｉから離れた任意の位置を簡易にかつ少ない計算
量で、しかも、ベストフォーカスで精度良く画像処理系
などに認識させることができる。

【０２１３】従って、壁面１の特定位置の二次元バーコ
ードＢＣｉから離れた任意の位置に第１の基準面を設定
し、又は、その二次元バーコードＢＣｉに第２の基準面
を設定することができるので、その第１の基準面を取り
込んだ仮想壁面１’上で仮想体の画像を合成するような
仮想画像立体合成処理を行うこと、及び、その第２の基
準面を取り込んだ壁面１上で仮想体の画像を合成するよ
うな仮想画像立体合成処理を行うことができる。

【０２１４】これにより、実際の壁面１には実物の絵画
などが存在しない場合であっても、仮想壁面１’には肖
像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などが出
現し、しかも、その絵画の１つに目標を設定してその絵
画の中に踏み込んだときに、その絵画の下位階層の画像
が表示されるようなバーチャル美術館などを再現性よく
構築することができる。

【０２１５】また、本例のバーチャル美術館では、仮想
空間上で、図３７に示した肖像画Ｐ１１、船の絵画Ｐ２
１及び山の絵画Ｐ３１の３枚の画像のうち、観察者３０
が注視した１枚の画像に通常のＣＣＤ撮像装置２５の焦
点を合わせ込むとができるので、その画像をズームアッ
プして表示することができる。従って、このバーチャル
美術館では実空間の壁面１に８個の二次元バーコードＢ
Ｃｉを設け、その映像ソフトをＣＤ−ＲＯＭなどから供
給すればよく、観察者３０が注視した画像を忠実に画像
表示することができる。

【０２１６】この実施形態では、仮想体画像に関して肖
像画Ｐ１１、船の絵画Ｐ２１、山の絵画Ｐ３１などの２
Ｄポリゴンの場合について説明したが、これに限られる
ことはなく、台座ポリゴンや、光、炎、あるいは、氷の
３Ｄポリゴンであっても、更に、鎧のような３Ｄポリゴ
ンであってもよい。

【０２１７】更に、本実施形態では仮想壁面１’上に８
個の絵画を表示する場合ついて説明したが、これに限ら
れることはなく、その仮想壁面１’上で１枚の海の絵画
などを表示し、その海の映像（仮想壁面１’）に足を踏
み入れたときに、魚や海藻が揺れ動く海中の映像に切り
換えるようにしてもよい。

【０２１８】

【発明の効果】以上説明したように、本発明に係る位置
認識装置によれば、静止物体の所望位置に取付けられた
被認識マークによる輝度信号を画像処理してその被認識
マークの位置情報を求める演算手段が設けられ、その被
認識マークの任意の一つに目標を設定して撮像手段を近
づけた場合に、目標とされた被認識マークの位置情報と
他の被認識マークの配置情報とに基づいて目標とされた
被認識マークと撮像手段との間の距離情報が求められる
ものである。

【０２１９】この構成によって、静止物体の特定位置及
びその特定位置から離れた任意の位置を簡易にかつ少な
い計算量で、しかも、ベストフォーカスで精度良く画像
処理系などに認識させることができる。これにより、静
止物体の特定位置及びその特定位置から離れた任意の位
置に基準面を設定し、その基準面を取り込んだ仮想空間
上で仮想体の画像を合成するような仮想画像立体合成装
置などに当該位置認識装置を十分に応用することができ
る。

【０２２０】本発明に係る位置認識方法によれば、静止
物体の所望位置に取付けられた被認識マークの任意の一
つに目標を設定し、その目標に撮像系を近づけたとき
に、その被認識マークによる輝度信号を画像処理して、
目標とされた被認識マークの位置情報と他の被認識マー
クの配置情報とに基づいて目標とされた被認識マークと
撮像系との間の距離情報を求めるようにしたものであ
る。

【０２２１】この構成によって、静止物体の特定位置及
びその特定位置から離れた任意の位置を簡易にかつ少な
い計算量で、しかも、ベストフォーカスで精度良く画像
処理系などに認識させることができる。

【０２２２】本発明の仮想画像立体合成装置によれば、
上述の位置認識装置及び位置認識方法が応用されるの
で、静止物体の特定位置及びその特定位置から離れた任
意の位置を簡易にかつ少ない計算量で、しかも、ベスト
フォーカスで精度良く画像処理系などに認識させること
ができる。

【０２２３】この構成によって、静止物体の特定位置及
びその特定位置から離れた任意の位置に基準面を設定す
ることができるので、その基準面を取り込んだ仮想空間
上で仮想体の画像を合成するような仮想画像立体合成処
理を行うことができる。

【０２２４】この発明は、仮想空間上の基準面などに複
数の仮想体を出現させ、しかも、その仮想体の１つに目
標を設定してその仮想体内に踏み込んだときに、その仮
想体の内部の構造などが表示されるようなバーチャル美
術館などの画像処理システムに適用して極めて好適であ
る。

【図面の簡単な説明】

【図１】実施形態としての位置認識装置１０の構成例を
示す斜視図である。

【図２】位置認識装置１０による処理例を示すフローチ
ャートである。

【図３】位置認識装置１０及び位置認識方法を応用した
第１の実施形態としての仮想画像立体合成装置１００の
構成例を示す斜視図である。

【図４】その位置認識手段５の一部を構成する光源ブロ
ックＢＬ１〜ＢＬ８の配置例を示すイメージ図である。

【図５】その基準面設定用の光源ブロックＢＬｉの構成
例を示す斜視図である。

【図６】そのブロック認識情報のデータフォーマット例
を示す図である。

【図７】その光源ブロックＢＬｉ内の点滅制御回路１３
の内部構成例を示す回路図である。

【図８】４つの発光ダイオードＬＥＤ１〜ＬＥＤ４の電
圧供給例を示す波形図である。

【図９】仮想画像立体合成装置１００の特殊グラストロ
ン２の構成例を示す正面から見た概念図である。

【図１０】特殊グラストロン２の内部構成例を示す一部
破砕の上面から見た概念図である。

【図１１】そのフィルムＣＣＤ４Ｒ、４Ｌの構成例を示
す上面から見た概念図である。

【図１２】その特殊グラストロン２の装着時の注視点ｐ
の位置関係例を示す概念図である。

【図１３】その特殊グラストロン２の流し撮りＣＣＤ装
置２３の内部構成例を示す平面図である。

【図１４】その流し撮りＣＣＤ装置２３の光学系の構成
例を示す断面図である。

【図１５】仮想画像立体合成装置１００の回路ブロック
例を示す図である。

【図１６】その位置認識手段５の構成例を示すブロック
図である。

【図１７】その光源ブロックＢＬ１〜ＢＬ８の通常画像
例を示すイメージ図である。

【図１８】その拡大撮像時の１つの光源ブロックＢＬ１
の通常画像例を示すイメージ図である。

【図１９】その光源ブロックＢＬ１の基準面の位置座標
の算出例を示す模式図である。

【図２０】壁面１、仮想壁面１’及び撮像系との位置関
係例を示す上面図である。

【図２１】Ａは、観察者３０が仮想壁面１’から遠くに
離れた位置関係例、及び、Ｂは観察者３０が仮想壁面に
近づいた位置関係例（その１）を示す側面図である。

【図２２】Ａは、観察者３０が仮想壁面１’の前に立っ
た位置関係例及びＢはその仮想壁面１’に踏み込んだ位
置関係例（その２）を示す側面図である。

【図２３】仮想画像立体合成装置１００の動作例を示す
フローチャート（メインルーチン）である。

【図２４】その通常のＣＣＤ撮像装置２５の最大望遠時
の動作例を示すフローチャート（サブルーチン）であ
る。

【図２５】その流し撮りＣＣＤ装置２３の焦点距離の補
正例を示すフローチャート（サブルーチン）である。

【図２６】その壁面１の光源ブロックＢＬｉの拡大撮像
例を示すフローチャート（サブルーチン）である。

【図２７】その発光ダイオードＬＥＤ１〜ＬＥＤ４の位
置算出例を示すフローチャート（サブルーチン）であ
る。

【図２８】その位置認識原理を応用したバーチャル美術
館の構成例を示すイメージ図である。

【図２９】Ａは人物の絵画の下位階層としての人体内部
構造の画像Ｐ１２の一例、及び、Ｂは船の絵画の下位階
層としての操舵室の画像Ｐ２２の一例を示すイメージ図
である。

【図３０】位置認識装置１０及び位置認識方法を応用し
た第２の実施形態としての仮想画像立体合成装置２００
の構成例を示す斜視図である。

【図３１】その位置認識手段５０の一部を構成する二次
元バーコードＢＣ１〜ＢＣ８の配置例を示すイメージ図
である。

【図３２】その１つの二次元バーコードＢＣｉの構成例
を示す斜視図である。

【図３３】仮想画像立体合成装置２００の特殊グラスト
ロン２０の構成例を示す正面から見た概念図である。

【図３４】仮想画像立体合成装置２００の回路ブロック
例を示す図である。

【図３５】その位置認識手段５０の構成例を示すブロッ
ク図である。

【図３６】仮想画像立体合成装置２００の動作例を示す
のフローチャートである。

【図３７】その位置認識原理を応用したバーチャル美術
館の構成例を示すイメージ図である。

【符号の説明】

１・・・壁面、１’・・・仮想壁面（第１の基準面）、
２，２０・・・特殊グラストロン、３・・・画像処理装
置、４・・・注視点検出用のカメラ（注視点検出用の撮
像手段）、５・・・位置認識手段（位置認識装置）、６
・・・撮像手段、７・・・演算手段、８・・・記憶手
段、１０・・・位置認識装置、１１・・・プレート部
（第２の基準面）、１３・・・点滅制御回路、２３・・
・流し撮りＣＣＤ装置（流し撮り用の撮像手段）、２４
・・・表示手段、２５・・・ＣＣＤ撮像装置（領域抽出
用の撮像手段）、２６・・・右眼表示用のＬＣＤ、２７
・・・左眼表示用のＬＣＤ、３２・・・垂直転送部（電
荷転送部）、３３・・・水平転送部、ＢＬｉ（ｉ＝１〜
８）・・・光源ブロック、ＬＥＤ１〜ＬＥＤ４・・・発
光ダイオード（光源）、ＢＣｉ（ｉ＝１〜８）・・・二
次元バーコード、１００，２００・・・仮想画像立体合
成装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者吉村司東京都品川区北品川６丁目７番35号ソニー株式会社内Ｆターム(参考） 2F065 AA02 AA03 BB13 BB29 DD10 EE05 FF01 FF05 FF26 GG07 JJ00 JJ03 JJ26 QQ21 QQ24 QQ32 5B087 AA07 AE00 BC12 BC13 BC16 BC26 BC32 DJ01

Claims

【特許請求の範囲】

【請求項１】任意の静止物体の特定位置を認識する装
置であって、少なくとも、前記静止物体の所望位置に取付けられた被
認識マークが複数と、前記静止物体の被認識マークを撮
像する撮像手段と、前記撮像手段により撮像された前記被認識マークによる
輝度信号を画像処理して該被認識マークの位置情報を求
める演算手段とを備え、前記被認識マークの任意の一つに目標を設定して前記撮
像手段を近づけたときに、前記演算手段は、前記目標とされた被認識マークの位置情報と他の被認識
マークの配置情報とに基づいて前記目標とされた被認識
マークと前記撮像手段との間の距離情報を求めるように
なされたことを特徴とする位置認識装置。
【請求項２】前記被認識マークの配置情報を記憶する
記憶手段が設けられ、前記配置情報には、前記被認識マークの固体番号を識別するためのブロック
識別情報及び前記被認識マーク間の配置距離情報を含む
ことを特徴とする請求項１に記載の位置認識装置。
【請求項３】前記被認識マークの位置情報を求める演
算手段が設けられる場合であって、前記被認識マークの撮像に関して、予め点滅パターンが異なるように点滅する３点以上の光
源を有した複数の光源ブロックと、前記光源ブロック内の光源の点滅パターンを所定の撮像
方向に流すように撮像する流し撮り用の撮像手段とが設
けられ、前記演算手段は、前記流し撮り用の撮像手段により撮像された前記光源の
点滅パターンに基づく輝度信号を画像処理して該光源の
３点の位置を求めることを特徴とする請求項１に記載の
位置認識装置。
【請求項４】前記光源ブロック及び流し撮り用の撮像
手段が設けられる場合であって、前記光源ブロックの１つを注視する観察者の眼球運動を
撮像して該観察者の注視点を検出する注視点検出用の撮
像手段と、前記注視点検出用の撮像手段の出力に基づいて前記流し
撮り用の撮像手段の光学系を調整する制御手段とが設け
られ、前記制御手段は、前記観察者の眼球運動から認識された瞳孔の動きに基づ
いて該観察者の注視点と前記流し撮り用の撮像手段の焦
点との間の距離差を補正することを特徴とする請求項３
に記載の位置認識装置。
【請求項５】前記被認識マークの位置情報を求める演
算手段が設けられる場合であって、前記被認識マークの撮像に関して、少なくとも、白地に
黒で形成されたｎ行×ｎ列の白黒マトリクスを有した２
次元マトリクスコードと、前記二次元マトリクスコードを撮像する領域抽出用の撮
像手段が設けられ、前記演算手段は、前記領域抽出用の撮像手段により撮像された前記二次元
マトリクスコードによる輝度信号を画像処理して該二次
元マトリクスコードの位置情報を求めることを特徴とす
る請求項１に記載の位置認識装置。
【請求項６】前記二次元マトリクスコードの位置情報
を求める演算手段と、前記領域抽出用の撮像手段とが設けられる場合であっ
て、前記二次元マトリクスコードの１つを注視する観察者の
眼球運動を撮像して該観察者の注視点を検出する注視点
検出用の撮像手段と、前記注視点検出用の撮像手段の出力に基づいて前記領域
抽出用の撮像手段の光学系を調整する制御手段とが設け
られ、前記制御手段は、前記観察者の眼球運動から認識された瞳孔の動きに基づ
いて該観察者の注視点と前記領域抽出用の撮像手段の焦
点との間の距離差を補正することを特徴とする請求項５
に記載の位置認識装置。
【請求項７】任意の静止物体の特定位置を認識する方
法であって、少なくとも、前記静止物体の所望位置に複数の被認識マ
ークを取り付け、前記静止物体の被認識マークを撮像系によって撮像し、前記撮像された前記被認識マークによる輝度信号を画像
処理して該被認識マークの位置情報を求め、前記被認識マークの任意の一つに目標を設定して撮像系
を近づけたときに、前記目標とされた被認識マークの位置情報と他の被認識
マークの配置情報とに基づいて前記目標とされた被認識
マークと前記撮像系との間の距離情報を求めることを特
徴とする位置認識方法。
【請求項８】前記被認識マークの配置情報には、前記被認識マークの固体番号を識別するためのブロック
識別情報及び前記被認識マーク間の配置距離情報を含む
ことを特徴とする請求項７に記載の位置認識方法。
【請求項９】前記被認識マークに関して、予め点滅パ
ターンが異なるように点滅する３点以上の光源を設けた
光源ブロックを作成し、その後、前記光源ブロックを前記静止物体の所望位置に
３点以上を取付け、第１段階で前記静止物体に取付けられた光源ブロックを
撮像して被注視領域を画定し、第２段階で前記光源ブロックの任意の一つに目標を設定
して撮像系を近づけたときに、前記被注視領域内で目標とされた光源ブロック内の光源
の点滅パターンを所定の撮像方向に流すように撮像し、前記光源の点滅パターンの輝度信号を画像処理して前記
光源の３点の位置を求め、その後、前記３点の光源の位
置を結んで基準面を求めることを特徴とする請求項７に
記載の位置認識方法。
【請求項１０】前記第２段階の被注視領域内で光源ブ
ロックの任意の１つに目標を設定して撮像系を近づける
場合であって、前記被注視領域内で目標とされた光源ブロックを第１の
撮像系で撮像すると共に、前記光源ブロック内の光源の
点滅パターンを所定の撮像方向に流すように第２の撮像
系によって撮像し、かつ、前記光源ブロックを注視する観察者の眼球運動を第３の
撮像系によって撮像し、前記観察者の眼球運動から認識された瞳孔の動きに基づ
いてその観察者が注視した光源ブロックの位置と第２の
撮像系の焦点との間の距離差を補正し、前記距離差を補正された前記第２の撮像系によって撮像
された点滅パターンの輝度信号を画像処理して前記光源
の３点の位置を求め、その後、前記３点の光源の位置を
結んで基準面を求めることを特徴とする請求項９に記載
の位置認識方法。
【請求項１１】前記被認識マークに関して、予め、少
なくとも、白地に黒で形成されたｎ行×ｎ列の白黒マト
リクスを有した２次元マトリクスコードを作成し、前記二次元マトリクスコードを静止物体の複数の所望位
置に取付け、前記静止物体に取付けられた二次元マトリクスコードを
撮像して被注視領域を画定し、前記二次元マトリクスコードの任意の１つに目標を設定
して該目標に撮像系を近づけたときに、前記被注視領域内で目標となされた二次元マトリクスコ
ードによる輝度信号を画像処理して該二次元マトリクス
コードの位置情報を求めることを特徴とする請求項７に
記載の位置認識方法。
【請求項１２】前記二次元マトリクスコードを第１の
撮像系によって撮像すると共に、被注視領域内で二次元
バーコードの任意の１つに目標を設定して近づた場合で
あって、前記二次元マトリクスコードを注視する観察者の眼球運
動を第２の撮像系によって撮像し、前記観察者の眼球運動から認識された瞳孔の動きに基づ
いてその観察者が注視した二次元バーコードの位置と第
１の撮像系の焦点との間の距離差を補正し、前記距離差を補正された前記第１の撮像系による二次元
バーコードの輝度信号を画像処理して前記二次元バーコ
ードの位置を求めることを特徴とする請求項１１記載の
位置認識方法。
【請求項１３】観察者の属する外界像に仮想体の画像
を立体的に合成する装置であって、前記観察者の属する実空間上の任意の静止物体の特定位
置及び該特定位置から任意に離れた位置で基準面を認識
する位置認識手段と、前記位置認識手段により認識された仮想空間の基準面上
で仮想体の画像を合成する合成手段とを備え、前記位置認識手段は、少なくとも、前記静止物体の所望位置に取付けられた被
認識マークが複数と、前記静止物体の被認識マークを撮像する撮像手段と、前記撮像手段により撮像された前記被認識マークによる
輝度信号を画像処理して該被認識マークの位置情報を求
める演算手段とを有し、前記被認識マークの任意の一つに目標を設定して前記撮
像手段を近づけたときに、前記演算手段は、前記目標とされた被認識マークの位置情報と他の被認識
マークの配置情報とに基づいて前記目標とされた被認識
マークと前記撮像手段との間の距離情報を求めるように
なされたことを特徴とする仮想画像立体合成装置。
【請求項１４】前記被認識マークの配置情報を記憶す
る記憶手段が設けられ、前記配置情報には、前記被認識マークの固体番号を識別するためのブロック
識別情報及び前記被認識マーク間の配置距離情報を含む
ことを特徴とする請求項１３に記載の仮想画像立体合成
装置。
【請求項１５】前記仮想空間の基準面上で仮想体の画
像を合成する合成手段が設けられる場合であって、予め前記静止物体の特定位置から任意に離れた位置に第
１の基準面が設定されると共に、前記静止物体の特定位
置に第２の基準面が設定され、前記合成手段は、観察者が前記第１の基準面よりも遠くの位置で被認識マ
ークを注視するときは、予め準備された仮想体の画像を
前記第１の基準面上で合成し、観察者が前記第１の基準面内に踏み込んだときは、前記仮想体の画像の下位階層の画像を前記第２の基準面
上で合成するようになされたことを特徴とする請求項１
３に記載の仮想画像立体合成装置。
【請求項１６】前記被認識マークの位置を求める演算
手段が設けられる場合であって、前記被認識マークの撮像に関して、予め点滅パターンが異なるように点滅する３点以上の光
源を有した複数の光源ブロックと、前記光源ブロック内の光源の点滅パターンを所定の撮像
方向に流すように撮像する流し撮り用の撮像手段とが設
けられ、前記演算手段は、前記流し撮り用の撮像手段により撮像された前記光源の
点滅パターンに基づく輝度信号を画像処理して該光源の
３点の位置を求めることを特徴とする請求項１３に記載
の仮想画像立体合成装置。
【請求項１７】前記光源ブロック及び流し撮り用の撮
像手段が設けられる場合であって、前記光源ブロックの１つを注視する観察者の眼球運動を
撮像して該観察者の注視点を検出する注視点検出用の撮
像手段と、前記注視点検出用の撮像手段の出力に基づいて前記流し
撮り用の撮像手段の光学系を調整する制御手段とが設け
られ、前記制御手段は、前記観察者の眼球運動から認識された瞳孔の動きに基づ
いて該観察者の注視点と前記流し撮り用の撮像手段の焦
点との間の距離差を補正することを特徴とする請求項１
６に記載の仮想画像立体合成装置。
【請求項１８】前記流し撮り用の撮像手段には、各画素を構成する複数の光電変換素子を有した二次元撮
像デバイスが使用され、前記光電変換素子から得られた信号電荷を所定の方向に
転送するときに、少なくとも、同一フィールド期間中に複数回、前記光電
変換素子から前記信号電荷を読み出すようになされたこ
とを特徴とする請求項１６に記載の仮想画像立体合成装
置。
【請求項１９】前記撮像手段及び演算手段が設けられ
る場合であって、前記演算手段は、前記撮像手段による輝度信号の点滅パターンに関して、
３つの輝点を含むＸＹ平面を成す空間的な配置パターン
に変換し、前記配置パターン上を走査して、少なくとも、３つの輝
点の位置座標を求め、前記３点の位置座標を結ぶことにより前記基準面を認識
するようになされたことを特徴とする請求項１６に記載
の仮想画像立体合成装置。
【請求項２０】前記演算手段は、３つの輝点を含むＸＹ平面を成す配置パターン上で流し
撮像方向をＹ軸とし、該Ｙ軸に直交する軸をＸ軸とした
ときに、前記流し撮像方向に輝度信号値を加算してＸ軸上にプロ
ットし、前記Ｘ軸上にプロットされた輝度信号値が最大となる位
置を検出して３つのＸ座標値を求め、かつ、前記配置パターン上でＹ軸方向に走査したときに、前記流し撮像方向に並んだ複数の輝点のうち、最初に発
光した輝点位置を各々Ｘ座標値に対応したＹ座標値とし
て求めることを特徴とする請求項１９に記載の仮想画像
立体合成装置。
【請求項２１】前記被認識マークの位置を求める演算
手段が設けられる場合であって、前記被認識マークの撮像に関して、少なくとも、白地に
黒で形成されたｎ行×ｎ列の白黒マトリクスを有した２
次元マトリクスコードと、前記二次元マトリクスコードを撮像する領域抽出用の撮
像手段が設けられ、前記演算手段は、前記領域抽出用の撮像手段により撮像された前記二次元
マトリクスコードによる輝度信号を画像処理して該二次
元マトリクスコードの位置情報を求めることを特徴とす
る請求項１３に記載の仮想画像立体合成装置。
【請求項２２】前記二次元マトリクスコードの位置を
求める演算手段と、前記領域抽出用の撮像手段とが設けられる場合であっ
て、前記二次元マトリクスコードの１つを注視する観察者の
眼球運動を撮像して該観察者の注視点を検出する注視点
検出用の撮像手段と、前記注視点検出用の撮像手段の出力に基づいて前記領域
抽出用の撮像手段の光学系を調整する制御手段とが設け
られ、前記制御手段は、前記観察者の眼球運動から認識された瞳孔の動きに基づ
いて該観察者の注視点と前記領域抽出用の撮像手段の焦
点との間の距離差を補正することを特徴とする請求項２
１に記載の仮想画像立体合成装置。
【請求項２３】前記合成手段及び注視点検出用の撮像
手段が設けられる場合であって、前記合成手段は、観察者の属する外界像を撮像する撮像手段と、前記撮像手段による外界像と予め準備された仮想体の画
像と合成したステレオ画像の一方を表示する第１の画像
表示素子と、前記ステレオ画像の他方を表示する第２の画像表示素子
とを有し、前記注視点検出用の撮像手段が、前記観察者の眼球に相
対する位置であって前記第１及び第２の画像表示素子の
表示面内に分散して配置されることを特徴とする請求項
１３に記載の仮想画像立体合成装置。