JP2000056258A - 反射光学系を用いたディスプレイ装置 - Google Patents

Abstract

(57)【要約】 【課題】 小型軽量の眼鏡状の装置を装着するだけで、
臨場感の高い全周囲画像をユーザに提示し得る反射光学
系を用いたディスプレイ装置を提供する。 【解決手段】 映像生成系３０と映像反射系４０，５０
を室内に固定し、ユーザは眼鏡型映像再生装置６０を装
着し、対象映像は映像生成系３０から発せられ、複数の
反射光学系４０，５０から構成される光路を経由して、
ユーザが装着する再生装置６０上で結像される。このと
き、ユーザの頭部の室内での位置が広域情報検出カメラ
２０で計測され、これに連動して映像反射系制御装置１
１により反射光学系４０，５０も制御され、最適な光路
が常に保持される。ユーザの位置姿勢情報は同時に映像
生成装置１３にも伝達され、投影映像をそれに連動させ
ることで、任意の全方向にわたる空間の映像を提示す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は反射光学系を用い
たディスプレイ装置に関し、特に、ユーザが頭部に装着
して、臨場感あふれる全周囲映像を表示できるような反
射光学系を用いたディスプレイ装置に関する。

【０００２】

【従来の技術】高い臨場感を実現するために、全周囲に
わたる映像をユーザに提示するには、従来よりヘッドマ
ウントディスプレイ（ＨＭＤ）を用いる方法と、複数の
大型画面を用いる方法があった。

【０００３】ＨＭＤはユーザの眼前に小型の液晶ディス
プレイ（ＬＣＤ）を配置し、適当な光学系を介してユー
ザに画像情報を提示するものである。ＨＭＤは適当な手
段で視線方向を計測し、これに連動した画像を表示する
ことで実質的にユーザの全周囲にわたる空間の映像情報
を提示できる。また、複数のユーザに対してもそれぞれ
独立した視点からの映像を提示できる利点がある。この
ようなＨＭＤとしては、たとえばRobert O. Fisher,
“Optics for Head Mounted Displays”Information Di
splay 7&8 1994に記載されている。

【０００４】一方、大画面を用いる方法では、１面、あ
るいは複数の背面投影式プロジェクタシステムを用い、
ユーザの周囲にスクリーンの壁を構成し、ユーザの周囲
に広視野にわたる画像情報を提示する手法がある。ＣＡ
ＶＥと呼ばれる装置では、前，左右，下の合計４面に対
して大きなスクリーンを配置する装置が提案されてい
る。これについてはたとえば中嶋正之が発表した「ＣＡ
ＶＥ新しい立体映像空間」（電子情報通信学会誌Ｖｏ
ｌ．８０．Ｎｏ．８ｐｐ．８８８〜８９０（１９９
７））に記載されている。

【０００５】

【発明が解決しようとする課題】しかしながら、ＨＭＤ
は、それを構成する各部品がすべてＨＭＤに装着されて
いるため、重量や接続されるケーブルによって装着感が
大きく阻害される。また、視野角がＬＣＤのサイズとレ
ンズ径のパラメータで決定されるが、これを広くするに
は重量や全体の大きさとのトレードオフとなる。

【０００６】また、大画面を用いる方法では、ＨＭＤと
同様に利用者の視点位置を計測し、視点位置に対応した
映像を各面に提示して臨場感のある全周囲映像を生成す
るが、ＨＭＤと異なり位置計測のためのセンサ以外には
装置を装着する必要がない。しかし、同時に複数のユー
ザがＣＡＶＥを利用しようとしても、単一の視点からの
映像しか提示できず、視点追従をしていない他のユーザ
にとっては臨場感に欠ける。さらに、背面投影式プロジ
ェクタを各面に用いるために、ユーザが映像を観察する
スペース以外にプロジェクタを設置する大きなスペース
が必要となる。

【０００７】それゆえに、この発明の主たる目的は、複
数の映像生成系と反射系を室内に配置し、ユーザは眼鏡
形状の小型軽量な映像再生系のみを装着することによっ
て、仮想空間を体験できるような反射光学系を用いたデ
ィスプレイ装置を提供することである。

【０００８】

【課題を解決するための手段】請求項１に係る発明は、
生成した映像をユーザに提示するための反射光学系を用
いたディスプレイ装置であって、映像を生成するための
映像生成手段と、生成された映像をユーザに向けて反射
させるための映像反射手段と、ユーザの頭部位置を認識
するための頭部位置認識手段と、認識されたユーザの頭
部位置に映像が反射されるように映像反射手段を制御す
るための反射制御手段と、ユーザが頭部に装着し、映像
反射手段によって反射された映像をそのスクリーン面で
再現するための眼鏡型映像再生手段とを備えて構成され
る。

【０００９】請求項２に係る発明では、請求項１の映像
反射手段は、映像生成手段で生成された映像を複数の光
路で反射させるために複数設けられかつそれぞれ異なる
位置に設置され、反射制御手段は頭部位置認識手段の認
識結果に基づいてユーザの映像再生手段の正面に映像が
反射されるように複数の光路のいずれかを選択する。

【００１０】請求項３に係る発明では、請求項１または
２の映像生成手段は複数のユーザに提示するためにそれ
ぞれ異なる視点からの映像を生成し、映像反射手段は、
映像生成手段によって生成された各映像をそれぞれ異な
るユーザに向けて反射するために複数の経路に設けられ
る。

【００１１】請求項４に係る発明では、請求項１ないし
３のいずれかの映像生成手段は、両眼視差像を用いて立
体映像を生成する。

【００１２】請求項５に係る発明では、さらにユーザの
顔画像を追跡してその表情を計測するための顔画像追跡
手段を含む。

【００１３】

【発明の実施の形態】図１はこの発明の一実施形態の全
体の構成を示すブロック図である。この発明の一実施形
態では、室内に映像生成系３０と複数の映像反射系４
０，５０が配置される。表示対象となる仮想空間の映像
は映像生成系３０で生成され、複数の映像反射系４０，
５０で構成される光路を経由して、ユーザが頭部に装着
している眼鏡型映像再生装置６０に導かれる。ユーザは
設置した室内の任意の位置から計算機によって合成され
る仮想空間を体験できる。室内の天井には広域情報検出
カメラ２０が設置され、映像生成系３０にはユーザ検出
カメラ３２が設けられていて、これらにより光学的手法
を用いてユーザの位置姿勢が常に計測される。

【００１４】より詳細に説明すると、システム制御系１
０はシステムの全体を制御するものであり、たとえば画
像処理装置と計算機から構成される。ここでは、広域情
報検出カメラ２０からの出力により、頭部位置姿勢認識
装置１２によってユーザの頭部の室内での姿勢が計測さ
れ、その結果が他のサブシステムに伝達される。ユーザ
の検出には、たとえば全くユーザが存在しない状態を予
め撮影して保存しておき、ユーザが装置内に入っていっ
たときにその映像と保存映像の差分をとれば、ユーザの
位置を抽出できる。ユーザの視線方向は、仮の光路算出
結果と後述のユーザ検出カメラ３２の結果から計測され
る。

【００１５】映像反射系制御装置１１は映像生成系３０
とユーザの間の最適光路をリアルタイムに算出し、映像
反射系４０，５０を制御する。映像生成装置１３はユー
ザの頭部位置情報と、映像反射系４０，５０での光路計
算結果からのユーザまでの距離情報をもとに、ユーザの
動きに連動する空間の映像を生成する。

【００１６】映像生成系３０は、システム制御系１０の
映像生成装置１３によって生成される映像をユーザに向
けて投射する。ここでは投影装置として一般的なプロジ
ェクタ３１と、結像位置を制御する合焦機構３３と、ユ
ーザの顔面の位置姿勢を確認するためのユーザ検出カメ
ラ３２とから構成される。合焦機構３３は複合レンズ機
構をモータによって制御し、時々刻々と変化するユーザ
までの距離に応じて投影画像結合位置を変化させ、全ユ
ーザがボケのない映像を得られるように焦点距離を制御
する。ユーザ検出カメラ３２は視線方向確定と微調整の
ためのフィードバック情報を得るために使われる。ユー
ザの顔が常にこのユーザ検出カメラ３２に捉えられてお
り、ユーザの表情の一部をシステムに入力する装置とし
ても利用される。

【００１７】映像反射系４０，５０は、映像生成系３０
とユーザの装着する眼鏡型映像再生装置６０を光学的に
一直線に並べる光路を形成する。映像反射系４０，５０
は複数の反射鏡ユニットから構成される。そして、それ
ぞれのユニットは２自由度の角度制御装置付雲台に鏡を
取付けた構造であり、その自由度はシステム制御系１０
の映像反射系制御装置１１によって実時間で制御され
る。光路は固定されておらず、ユーザの視線の向きによ
っては予備の反射系によって光路を適宜切換える。

【００１８】図２は眼鏡型映像再生装置を示す図であ
り、図３は図２のＡ−Ａ′に沿う要部断面図である。

【００１９】図２および図３において、眼鏡型映像再生
装置６０は眼鏡フレーム６１に拡散スクリーン面６２と
覗きレンズ６３を取付けて構成される。このため、従来
のＨＭＤに比べて駆動系や電気回路がないため、ユーザ
の動きを制約するケーブル類は一切必要なく、小型軽量
化が可能である。このため、拡散面を大型化することで
従来のＨＭＤよりも広い視野角の映像を提示できる。

【００２０】図４はこの発明の一実施形態の動作を説明
するためのフローチャートであり、図５は１人のユーザ
への光路切換処理を説明するための図である。

【００２１】次に、図１〜図５を参照して、この発明の
一実施形態の具体的な動作について説明する。この実施
形態では、ユーザへの仮の最適光路を選択するために、
広域情報検出カメラ２０によってユーザの頭部位置が計
測される。ユーザの頭部位置が計測されると、映像生成
系３０でプロジェクタ３３が選定されるとともに、仮の
最適光路が選定されるようにシステム制御系１０によっ
て算出される。その算出結果に基づいて、映像反射系制
御装置１１は映像反射系４０，５０を制御する。

【００２２】その後、ユーザ検出カメラ３２はユーザの
顔に焦点を一致せさ、ユーザ検出カメラ３２の出力によ
り、ユーザの頭部方向が確認される。そして、ユーザが
映像反射系４０，５０で形成される光路の方向を向いて
いれば、プロジェクタ３１の選定とその光路が最適であ
ると決定される。たとえば、図５（ａ）に示すようにユ
ーザが向いていれば、ユーザの正面に映像を投影するた
めに光路１では反射系ＡとＢとが選択される。しかし、
ユーザが図５（ｂ）に示す方向に向いていれば、反射系
ＡとＣとに光路２が切換えられる。また、光路中に障害
物が入る場合にも、同様の切換操作が行なわれる。この
ようにして、最適な光路が選択されると、映像生成装置
１３によって生成された映像信号がプロジェクタ３１に
入力され、プロジェクタ３１で生成された映像が映像反
射系４０，５０を介してユーザの眼鏡型映像再生装置６
０に映し出される。

【００２３】図６は３人のユーザに同じ独立映像を提供
する例を示す図である。この図６に示した例は、３台の
プロジェクタＡ，Ｂ，Ｃでそれぞれ個別に映像を映し出
し、プロジェクタＡからの映像は反射系ＡとＢとで反射
させ、光路１によりユーザ１に映し出される。プロジェ
クタＢからの映像は反射系ＣとＤとにより光路３に導か
れ、ユーザ２に映し出される。プロジェクタＣからの映
像は、反射系ＥとＦとにより光路２に導かれ、ユーザ３
に映し出される。

【００２４】図７は１人のユーザに対してステレオ立体
視環境を与える例を示す図である。この図７に示した例
は、２台のプロジェクタＡとＢとにより両眼視差像のあ
る映像を映し出すものである。すなわち、プロジェクタ
Ａの映像は反射系ＡとＢとを介した光路２でユーザに到
達し、プロジェクタＢからの映像は反射系ＣとＤを介し
た光路１でユーザに到達する。それによって、ユーザの
眼鏡型映像再生装置６０に立体映像が提示される。ま
た、映像生成系と反射系をさらに増設すれば、同一の室
内において複数のユーザが同時に異なる視点からの立体
映像を観察できる。

【００２５】なお、上述の各実施形態を基本として拡張
することにより、以下のような効果を実現できる。すな
わち、ユーザがこの発明を使用する際には、使用時にほ
とんど負担をかけない超軽量の眼鏡型映像再生装置６０
を装着し、この装置６０が設置される室内に入るだけで
全周囲に展開される仮想空間を体験できる。このとき、
ユーザ側の装置には電源や信号線が一切必要なく、シス
テムから物理的には完全に切り離されており、自由に空
間内を移動できる。

【００２６】同様の機能を実現するＣＡＶＥシステムよ
り広い空間に対応できる上に、設置に必要な空間はユー
ザが存在する室内のごとく一部分のみであり、余分なス
ペースをほとんど必要としない。

【００２７】また、複数の映像を独立して提示可能であ
るので、装置を増設すれば、複数のユーザが正確にそれ
ぞれの視点位置に対応した同一空間の映像を観察でき
る。さらに、両眼視差を応用した立体視も実現可能とな
る。

【００２８】また、映像生成系３０で用いるユーザ検出
カメラ３２により、同時に室内のユーザの顔画像を追跡
して表情の計測が可能となり、この顔映像により表情を
検知するシステムを組合せ、それぞれのユーザごとに異
なる映像を提示することも期待できる。

【００２９】さらに、この発明の装置は、複数のユーザ
が比較的広い空間での仮想体験を共有する用途にも最も
有効である。たとえば、災害時の避難訓練において、日
常の空間にこの装置を設置し、コンピュータグラフィッ
クスで炎を合成して臨場感のある状況を再現できれば訓
練の効果を高めることができる。また、グランドに設置
すれば、集団での仮想チームプレーが必要となる球技の
シミュレーションシステムの映像提示系にも有効とな
る。

【００３０】

【発明の効果】以上のように、この発明によれば、生成
された映像をユーザに向けて反射させ、ユーザの頭部位
置を認識し、認識されたユーザの頭部位置に映像が反射
されるように映像反射手段を制御し、反射された映像を
ユーザが頭部に装着した再生手段のスクリーン面で再現
することができる。したがって、ユーザが装着する映像
再生手段は反射された映像を再現するためのスクリーン
面と光学系のみであり、常にユーザの動きを制約するケ
ーブル類を一切必要とすることなく、小型軽量化が可能
となる。このため、映像再生系の拡散面を大型化するこ
とで従来のＨＭＤよりも広い視野角の映像を提示でき
る。さらに、映像反射手段を複数設けることにより、光
路が複数選択可能となり、同様の用途に用いられるＣＡ
ＶＥシステムよりも広い空間に対応でき、設置に必要な
スペースはユーザが存在する室内のみであり、余分なス
ペースを必要としない。さらに、２台の映像生成系を用
いれば、ユーザの両目に両眼視差を考慮した映像を独立
に提示し、立体映像が提示可能となる。さらに、映像生
成系を増設すれば、同一の室内において複数のユーザが
同時に異なる視点からの映像を観察することができる。

【図面の簡単な説明】

【図１】この発明の一実施形態の全体の構成を示すブロ
ック図である。

【図２】眼鏡型映像再生装置の一例を示す図である。

【図３】図２に示した眼鏡型映像再生装置の線Ａ−Ａ′
に沿う断面図である。

【図４】この発明の一実施形態の動作を説明するための
フローチャートである。

【図５】１人のユーザへの光路切換処理を説明するため
の図である。

【図６】３人のユーザに同じ独立映像を提供する例を示
す図である。

【図７】１人のユーザへのステレオ立体視環境を提供す
る例を示す図である。

【符号の説明】 １０ システム制御系 １１ 映像反射系制御装置 １２ 頭部位置姿勢認識装置 １３ 映像生成装置 ２０ 広域情報検出カメラ ３０ 映像生成系 ３１ プロジェクタ ３２ ユーザ検出カメラ ３３ 合焦機構 ４０，５０ 映像反射系 ６０ 眼鏡型映像再生装置 ６１ 眼鏡フレーム ６２ 拡散スクリーン面 ６３ 覗きレンズ

フロントページの続き (72)発明者 杉原 敏昭 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール知能映 像通信研究所内 (72)発明者 宮里 勉 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール知能映 像通信研究所内

Claims (5)

【特許請求の範囲】
1. 【請求項１】 生成した映像をユーザに提示するための
   反射光学系を用いたディスプレイ装置であって、 前記映像を生成するための映像生成手段、 前記映像生成手段によって生成された映像を前記ユーザ
   に向けて反射させるための映像反射手段、 前記ユーザの頭部位置を認識するための頭部位置認識手
   段、 前記頭部位置認識手段によって認識されたユーザの頭部
   位置に前記映像が反射されるように前記映像反射手段を
   制御するための反射制御手段、および前記ユーザが頭部
   に装着し、前記映像反射手段によって反射された映像を
   そのスクリーン面で再現するための眼鏡型映像再生手段
   を備えた、反射光学系を用いたディスプレイ装置。
2. 【請求項２】 前記映像反射手段は、前記映像生成手段
   で生成された映像を複数の光路で反射させるために複数
   設けられかつそれぞれが異なる位置に設置され、 前記反射制御手段は、前記頭部位置認識手段の認識結果
   に基づいて、前記ユーザの映像再生手段の正面に映像が
   反射されるように前記複数の光路のいずれかを選択する
   ことを特徴とする、請求項１に記載の反射光学系を用い
   たディスプレイ装置。
3. 【請求項３】 前記映像生成手段は、複数のユーザに提
   示するためにそれぞれ異なる視点からの映像を生成し、 前記映像反射手段は、前記映像生成手段によって生成さ
   れた各映像をそれぞれ異なるユーザに向けて反射するた
   めに複数の経路に設けられることを特徴とする、請求項
   １または２に記載の反射光学系を用いたディスプレイ装
   置。
4. 【請求項４】 前記映像生成手段は、両眼視差像を用い
   て立体映像を生成することを特徴とする、請求項１ない
   し３のいずれかに記載の反射光学系を用いたディスプレ
   イ装置。
5. 【請求項５】 さらに、前記ユーザの顔画像を追跡して
   その表情を計測するための顔画像追跡手段を含むことを
   特徴とする、請求項１ないし４のいずれかに記載の反射
   光学系を用いたディスプレイ装置。