JP2001236521A

JP2001236521A - 画像分割方式による仮想現実システム

Info

Publication number: JP2001236521A
Application number: JP2000044516A
Authority: JP
Inventors: Yoshiyuki Usami; 義之宇佐美
Original assignee: Japan Science and Technology Corp
Current assignee: Japan Science and Technology Agency
Priority date: 2000-02-22
Filing date: 2000-02-22
Publication date: 2001-08-31

Abstract

(57)【要約】【課題】３次元コンピュータグラフィックスを用いて
立体映像と平面映像への移行を連続的に容易に行うとと
もに、あらゆる信号方式の高精細な映像の解像度を保っ
たまま、マルチビジョンによる原画の忠実な表示を可能
とする画像分割方式による仮想現実システムを提供す
る。【解決手段】コンピュータにより３次元空間を記述す
る情報から画像を生成する３次元コンピュータグラフィ
ックスを用いて前記右目用および左目用の２画像を生成
する立体画像生成部７００と、前記左右２画像の視差量
の変化により視差の無い平面表示状態から立体表示状態
への移行可能な表示状態移行手段と、前記立体画像生成
部７００の出力をマルチビジョン用に拡大分配する拡大
分配装置と、前記拡大分配装置の出力を入力して複数の
コアに表示するマルチビジョンとを有し、前記左右２画
像の視差量を連続的に変化させ、視差量ゼロの表示状態
と有限な視差を持つ表示状態との間を連続的に滑らかに
移行可能とすると共に任意の視差値で移行停止可能とす
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、３次元コンピュー
タグラフィックスによって生成された視差のある２画像
を用いて立体感のある画像を合成し、合成画像を原画に
忠実に分割、拡大してマルチビジョンに分配、表示する
ようにした画像分割方式による仮想現実システムに関す
るものである。

【０００２】

【従来の技術】３次元表示の方法には大別して、両目に
それぞれ独立した画像情報を与えて奥行きを表現する２
眼式立体映像、限られた範囲内で任意の視点からの観察
が可能な奥行き表現ができるホログラフィー、奥行き標
本化式などの３次元映像方式がある。

【０００３】２眼式立体映像方式としては直視形と投射
形があり、さらに直視形は、左目用と右目用のテレビ画
像を同時に異なった面に表示し、それぞれの眼で直視す
るのぞき式と、左目用と右目用の画像を同時に異なった
面に表示し、偏光眼鏡で立体像を得る偏光式と、左目用
と右目用の画像を時分割表示し、画像に同期して開閉す
るシャッタ眼鏡を用いて立体像を得る時分割式と、鋭い
指向性を持つレンチキュラー板を使用し左右の眼に対応
する画像情報を提供し眼鏡なしで立体像を得るレンチキ
ュラー式があり、投射形は、左目用と右目用の画像を偏
光面を互いに直交させて配置した偏光板を介して２台の
プロジェクタで投射し、偏光眼鏡を用いて立体像を得る
２眼式と、視差像の数と同数のプロジェクタを用いてレ
ンチキュラースクリーンに投射し偏光眼鏡で立体像を得
るレンチキュラー式がある。

【０００４】３次元映像方式としては、光の振幅と位相
の両方を記録し再生するホログラフィー形がある。

【０００５】従来より、観測者に立体感を与える立体表
示装置として視差のある右目、左目用の画像が、それぞ
れ対応する右目、左目に分離入力する方式を用いるもの
が普及している。

【０００６】立体像として表示する目的は次の３つに分
けられる。（１）観察者がよりリアルな臨場感を感じるため（２）観察者が３次元形状および３次元構造の前後関係
を認識するため（３）観察者が３次元の位置・形状を計測するためこれらの立体表示装置の画像としては、通常は次の２種
類の画像が主に用いられている。（１）異なる２つの位置に置かれたカメラで撮影した自
然画像（２）３次元コンピュータグラフィックスを用いて、異
なる２視点からレンダリングを行って得られたコンピュ
ータグラフィックス（ＣＧ）画像現在、コンピュータグラフィックスは、ＣＡＤ設計、ゲ
ーム、シミュレーション等の多くのソフトウェアで広く
用いられており、これらの分野に立体画像表示装置が使
われ始めている。今後も臨場感や空間把握の向上という
点から立体画像表示装置の利用は益々普及するものと考
えられる。

【０００７】こうした３次元コンピュータグラフィック
スは、３次元形状データに基づいて任意の視点からの撮
影画像を得ることができるという特徴を持つもので、現
在では計算機の計算性能が向上して、３次元コンピュー
タグラフィックスを用いた画像がリアルタイムに生成で
きる。

【０００８】立体像の形成原理は、眼球の左右の光軸を
物体上９３０で交差するように調節することにある。こ
の動作は左右眼球の網膜上での左右画像の位置を一致さ
せることに相当し、この動作は「融像」と呼ばれてい
る。注目物体の像が網膜上で結像するように眼球のレン
ズ体を調整する、すなわちピントを注目物体に合わせよ
うとする動作を人間に誘起させることによって立体感を
与える。すなわち、観測者は左右の目にそれぞれ入った
視差のある２画像を融像すべく、眼球の光軸を制御す
る。この結果光軸の交差する点に物体が存在するように
感じる。ここで扱う立体表示装置はこのような融像を利
用するタイブのものである。

【０００９】また、立体表示するためには画面の特性が
問題であるが、最近、大画面ディスプレイとして広く利
用されているものが、マルチビジョンシステムである。
これは複数のテレビセット（以下コアと呼ぶ）を積み上
げて一つの画面を構成するため、前面投写型や背面投写
型の大画面ディスプレイに比べ奥行きが短く輝度が高い
ため、イベント会場などで多く使われている。

【００１０】マルチビジョンシステムに使用されるコア
ヘの入力信号は、ＮＴＳＣ方式が一般的であり、ＮＴＳ
Ｃやハイビジョン等の映像ソースを拡大分配してＮＴＳ
Ｃ方式で各コアに送出する装置を用いており、画面は飛
び越し走査になっている。

【００１１】一方、画質の向上を目的に、ＮＴＳＣ方式
の飛び越し走査を順次走査に変換して表示するコアを用
いるケースが増加してきている。

【００１２】また、近年、ハイビジョンのマルチビジョ
ンシステムとして、拡大分配装置の出力即ちコアに入力
する信号を倍速ＮＴＳＣ方式とし、コア内で順次走査に
変換する回路を通すことなく直接表示することによって
品位の高い映像を実現するものがある。

【００１３】従来、マルチビジョンシステムに使用され
る映像ソースは、ＮＴＳＣやハイビション等に限られて
いたが、近年、コンピュータのグラフィツク表示能力が
急速に向上して映像の高精細化が進んでおり、これはマ
ルチビジョンシステムの映像ソースとして好適である。
また、プレゼンテーションや会議等でコンピュータグラ
フィックを表示する目的で、マルチビジョンシステムを
使用したいというニーズも増加してきている。

【００１４】

【発明が解決しようとする課題】しかしながら、従来の
立体画像表示方法では、立体画像表示装置上に最初から
視差のある２両像が表示されていて、観測者が立体表示
装置を注視した時点で観測者は立体視状態に入ることに
なり、現実の自然な物体注視の状態から、立体表示装置
による立体視へのスムーズな移行経過を感得することが
できなかった。また、ＣＡＤ等で作成したデータを基に
３Ｄ画像を表示する際、画面が小さく、実寸での立体感
を感得することができなかった。

【００１５】また、従来の映像信号拡大分配装置の場
合、人力する映像ソースはＮＴＳＣやハイビジコン等あ
る一定の信号形式のものを対象としている。

【００１６】それに対して、パソコン、ワークステーシ
ョン等のコンピュータの市場ではグラフィック表示の高
解像度化が急速に進んでおり、その映像信号の走査周波
数、解像度は規格が統一されておらず多岐に渡ってい
る。そのため、それらの映像を表示させるためにはＮＴ
ＳＣ，ＥＤＴＶ、ハイビジョン等の規格化された信号形
式に変換してから映像信号拡大分配装置に入力する必要
がある。その際、原信号よりも解像度の低い信号形式に
変換すれば画素の欠落が生じる。また、映像信号拡大分
配装置に入力する前に走査周波数を変換するための回路
を通すことになるので、多少なりとも画質が劣化する問
題がある。

【００１７】本発明は、３次元コンピュータグラフィッ
クスを用いて立体映像と平面映像への移行を連続的に容
易に行うとともに、あらゆる信号方式の高精細な映像の
解像度を保ったまま、マルチビジョンによる原画の忠実
な表示を可能とする画像分割方式による仮想現実システ
ムを提供することを目的とする。

【００１８】

【課題を解決するための手段】本発明は、上記目的を達
成するために、〔１〕右目用画像と左目用画像の合成画像を複数の画像
領域に分割し、表示することを特徴とする画像分割方式
による仮想現実システムにおいて、計算機により３次元
空間を記述する情報から画像を生成する３次元コンピュ
ータグラフィックスを用いて前記右目用および左目用の
２画像を生成する立体画像生成手段と、前記左右２画像
の視差量の変化により視差の無い平面表示状態から立体
表示状態への移行可能な表示状態移行手段と、前記立体
画像生成手段の出力をマルチビジョン用に拡大分配する
拡大分配装置と、前記拡大分配装置の出力を入力して複
数のコアに表示するマルチビジョンとを有し、前記左右
２画像の視差量を連続的に変化させ、視差量ゼロの表示
状態と有限な視差を持つ表示状態との間を連続的に滑ら
かに移行可能とすると共に任意の視差値で移行停止可能
とすることを特徴とする。

【００１９】〔２〕上記〔１〕記載の画像分割方式によ
る仮想現実システムにおいて、前記２つの表示状態間の
連続的な移行および移行停止を観測者が要求する任意の
タイミングで実行することを特徴とする。

【００２０】〔３〕上記〔１〕記載の画像分割方式によ
る仮想現実システムにおいて、平面表示から立体表示へ
の連続的な移行を観測者が表示装置前に着席したことを
検知して自動的に行うことを特徴とする。

【００２１】〔４〕上記〔１〕記載の画像分割方式によ
る仮想現実システムにおいて、前記表示状態移行手段
は、前記立体画像生成手段による右目用、左目用レンダ
リングに与える視点位置データを制御して移行制御を行
うことを特徴とする。

【００２２】〔５〕上記〔４〕記載の画像分割方式によ
る仮想現実システムにおいて、前記視点位置データの制
御は、視差量Ｌ＝０の平面表示状態から視差量変化率ｄ
に基づき視差量を変化させる式Ｌ′＝Ｌ＋ｄに従って増
加させて行き、右目用視点位置ＰＲ＝（ＸＲ、ＹＲ、Ｚ
Ｒ）および左目用視点位置ＰＬ＝（ＸＬ、ＹＬ、ＺＬ）
のデータを変更しながら、前記増加した視差量Ｌ′が終
了条件を満たすまで連続増加させることを特徴とする。

【００２３】〔６〕上記〔１〕記載の画像分割方式によ
る仮想現実システムにおいて、パソコン、ワークステー
ション、ハイビション等のあらゆる走査周波数の映像を
複数の画像表示領域に分割し、ＮＴＳＣ方式の倍速走査
時の信号仕様で出力することを特徴とする映像信号拡大
分配装置と、倍速ＮＴＳＣ方式テレビ信号を受信可能な
複数の画像表示装置とから成り、前記複数の画像表示装
置を組み合わせて１つの高精細な映像を表示することを
特徴とする。

【００２４】〔７〕右目用画像と左目用画像の合成画像
を複数の画像領域に分割し、表示することを特徴とする
画像分割方式による仮想現実システムにおいて、画像切
り出し領域を設定可能なフレームメモリと、拡大率を設
定可能な拡大処理回路を複数有し、あらゆる倍率の映像
を出力する映像信号拡大分配装置と、倍速ＮＴＳＣ方式
テレビ信号を受信可能な複数の画像表示装置とから成
り、前記複数の画像表示装置を組み合わせて画面毎にい
ろいろな拡大率の高精細な映像を表示することを特徴と
する。

【００２５】〔８〕右目用画像と左目用画像の合成画像
を複数の画像領域に分割し、表示することを特徴とする
画像分割方式による仮想現実システムにおいて、ＮＴＳ
Ｃ方式の映像を倍速ＮＴＳＣ方式の信号仕様に変換する
装置と、拡大率を設定可能な拡大処理回路を複数有し、
あらゆる倍率の映像を出力する映像信号拡大分配装置
と、倍速ＮＴＳＣ方式テレビ信号を受信可能な複数の画
像表示装置とから成り、前記複数の画像表示装置を組み
合わせて一つの高精細な映像を表示することを特徴とす
る。

【００２６】

〔９〕右目用画像と左目用画像の合成画像
を複数の画像領域に分割し、表示することを特徴とする
画像分割方式による仮想現実システムにおいて、観測者
の上部にビデオカメラを設置しその画像情報をコンピュ
ータに送り、観測者に付着したマーカー色を画像信号の
１フレームごとの色の識別によって識別し、その位置情
報を別のグラフィックコンピュータに送り、そのグラフ
ィックコンピュータ中の３次元の構築物を位置情報の信
号に従い移動回転させ、その表示結果を画像分割するプ
ログラムを備え、観測者の周囲に配置した複数のコアに
表示させることを特徴とする。

【００２７】〔１０〕右目用画像と左目用画像の合成画
像を複数の画像領域に分割し、表示することを特徴とす
る画像分割方式による仮想現実システムにおいて、コン
ピュータの中の３次元の構築物を視点位置変更装置から
の入力によりあらゆる位置、角度から俯瞰でき、その表
示結果を画像分割するプログラムを備え、観測者の周囲
に配置した複数のコアに表示させることを特徴とする。

【００２８】〔１１〕右目用画像と左目用画像の合成画
像を複数の画像領域に分割し、表示することを特徴とす
る画像分割方式による仮想現実システムにおいて、観測
者の上部にビデオカメラを設置しその画像情報をコンピ
ュータに送り、観測者に付着したマーカー色を画像信号
の１フレームごとの色の識別によって識別し、その位置
情報を別のグラフィックコンピュータに送り、そのグラ
フィックコンピュータ中の３次元の構築物を位置情報の
信号に従い移動回転させ、かつ観測者の有する視点位置
変更装置からの入力によりあらゆる位置、角度から俯瞰
でき、その表示結果を画面分割するプログラムを備え、
観測者の周囲に配置した複数のコアに表示させることを
特徴とする。

【００２９】

【発明の実施の形態】以下、本発明の実施の形態につい
て図を参照して説明する。図１〜図９は本発明の実施の
形態に係る図である。

【００３０】本発明の実施の形態は、レンチキュラー方
式の立体画像表示装置よりなるマルチビジョンシステム
と３次元コンビュータグラフィックス用のコンビュータ
とで実行されるものであり、以降、各図に従って具体的
に説明する。

【００３１】図７はレンチキュラーレンズ方式の立体画
像表示装置であって、視差像となる表示される左右画像
とレンチキュラレンズの関係を上面図で示したものであ
る。

【００３２】表示面２０１に交互に並べて配置された左
右両像２０３は、レンチキュラーレンズ２０２の鋭い指
向性効果により左右方向に分離され、観測者の左右の目
にそれぞれ分離入射することになる。

【００３３】図８は図７に示す立体表示装置における画
像合成の説明図である。この左右画像の分離入力方式に
ついては既に実用化されていて周知のものであるが、以
下、図８により説明する。

【００３４】左右画像３０１，３０２を１画素毎に縦方
向へ交互に並べ、１つの合成画像３０３を作成する。他
に立体ビデオディスクの記録再生パターンの記録方式も
ある。

【００３５】また、左右画像を時分割で切り替える方式
の立体画像表示装置を使う場合は、特に画像の合成処理
は必要がない。また、ディスプレイのインターレススキ
ャンを利用した方式では、左右画像を横方向に合成する
手順が必要になる。

【００３６】なお、本実施の形態の立体表示装置として
はレンチキュラーレンズ方式を示したが、装置はこれに
限定するわけでは無く、視差のある左右画像をそれぞれ
対応する左右の目に分離入力し、人間の融像動作を利用
して立体感を得る方式の任意の立体装置に全て適用可能
なものである。

【００３７】図１は図７に示す立体表示装置に接続する
コンピュータのブロック図である。図１に示すコンピュ
ータ４０３の記憶装置４０４には立体画像生成のプログ
ラムが格納されていて、ＣＰＵ４０５によって実行され
る。その立体画像は画像メモリ４０６に生成され立体画
像表示装置４０２に出力される。

【００３８】図６は図１に示すコンピュータによりコン
ピュークグラフィクス画像を生成する処理のフローチャ
ートである。

【００３９】これら３次元コンピュータグラフィクスに
よるＣＧ画像を生成する方法についても、既に実用化さ
れているものであり周知の多種多様な方法が存在する。
ここでは、多角形から構成される形状データから多角形
の表面のみを描画するポリゴンレンダリングと呼ばれる
方法に因って説明を行うが、本発明はこれに限定するも
のではなく、３次元コンピュータグラフィクスの各種の
レンダリング手法が使用可能である。なお、以降は３次
元コンピュータグラフィクスにより生成される画像をＣ
Ｇ画像と略して呼ぶことにする。

【００４０】ポリゴンレンダリングとは多角形の集合と
して定義される３次元形状データに基づき、図６に示す
各処理段階を経てＣＧ画像を生成するものである。

【００４１】まず、モデリング変換とも呼ばれるローカ
ル／ワールド変換により、物体の移動、回転、変形を表
現する（ステップＳ５０２）。

【００４２】次いで、物体の照明効果を与えるための照
明計算を行う。具体的には、多角形の法線ベクトルと照
明ベクトルから、各多角形ごとに表面の輝度の値を計算
する（ステップＳ５０３）。視界変換として、ステップ
Ｓ５０２で定義される空間を更に視点位置、視線方向を
考慮して視点位置を原点とした座標系に変換する（ステ
ップＳ５０４）。続いて、３次元の物体情報を２次元の
射影面に投影する（ステップＳ５０５）。投影後、２次
元図形として与えられた多角形を、走査線に分解し、多
角形内部の画素を塗り潰し（ステップＳ５０６）、画像
メモリ上にＣＧ画像を生成する。

【００４３】なお、このような３次元コンピュータグラ
フィックスによりＣＧ画像を生成する部分のプログラム
は３次元グラフイックライブラリと呼ばれ、通常、ソフ
トウェア作成者はこのような共通の３次元グラフィック
ライブラリを使ってソフトウェアを作成する。また、最
近ではパーソナルコンピュータで使用できる３次元グラ
フィックライブラリも普及し始めている。本実施の形態
の場合もＣＧ画像生成部は、このような３次元グラフィ
ックライブラリを使用して処理を行うものである。

【００４４】図２は本発明の実施の形態に係る立体画像
表示システムのブロック図である。

【００４５】この図において、７００は立体画像生成
部、７０１は３次元グラフィックライブラリを用い、Ｃ
Ｇ画像を生成する３次元ＣＧ画像生成部である。３次元
ＣＧ画像生成部７０１は３次元物体形状データ７０２と
左右視点位置（視差）データ７０３を入力として、右目
用と左目用に２回レンダリングを行い、右目用と左目用
ＣＧ画像７０４と７０５を生成する。

【００４６】図２に示す視点位置データを決定する際、
共通の視点座標系で視点原点から、Ｘ軸に＋Ｌ、−Ｌを
加えた座標をそれぞれ右目用視点位置、左目用視点位置
として使用する。すなわち、次の式１に従ってＰＲ，Ｐ
Ｌを決定している。

【００４７】ＰＬ＝（ＸＬ、ＹＬ、ＺＬ）＝（−Ｌ、０，０) ＰＲ＝（ＸＲ、ＹＲ、ＺＲ）＝（Ｌ、０，０) …（１）また、視線方向と投影面の上方を定義するベクトルは右
目、左目とも同じものを用いる。

【００４８】図２の視点位置データ７０３は、後述の２
Ｄ／３Ｄ移行動作の実行時に移行を制御する２Ｄ／３Ｄ
移行制御部７０６によって制御される。また、左右２回
のレンダリングによって得られた画像は先に説明したよ
うな合成方法により、画像合成部７０７で合成して画像
メモリ７０８に生成し、立体表示装置７０９へ出力す
る。２Ｄ／３Ｄ移行制御部７０６には、移行動作を停止
させてその移行状態を保持させるスイッチ７１０が設け
られている。

【００４９】図９あるいは図１０に示す１２１は観測者
の上部に設置したビデオカメラであり、観測者には図１
０に示すマーカー色を付けたマーカー８０６を付着す
る。ビデオカメラ１２１からの画像信号は図１０に示す
コンピュータ８００に送られる。８０２はコンピュータ
８００の記憶装置である。そのコンピュータ８００に送
られた画像信号は画像メモリ８０３に転送される。画像
メモリ８０３の中のフレーム８０４において観測者に付
着したマーカー８０６を検出する。検出された観測者の
位置データはネットワークカード８０５を通じて、ＴＣ
Ｐ／ＩＰ信号により図１に示す入力装置４０１に転送さ
れる。

【００５０】また、観測者は、図９あるいは図１１に示
す視点位置情報変更装置７１１を携帯する。この視点位
置情報変更装置７１１は、図１１に示す視点位置変更レ
バー９０１と視点角度変更レバー９０２を備える。視点
位置変更レバー９０１を上下および左右に操作すると、
その増分が検出され、その増分はシリアル回線を経由し
て図１に示す入力装置４０１に送られる。また、図１１
に示す視点角度変更レバー９０２を上下に動かすとその
増分が検出され、その増分もまたシリアル回線を経由し
て図１に示す入力装置の４０１に送られる。

【００５１】このように、観測者の位置情報と、観測者
の視点位置の変更により、観測者の周辺に配置した複数
のコアに表示させる映像を変えることができる。

【００５２】図５は本発明の内容を最も良く表す図であ
り、図５、図２を参照して本発明の核心部分である２Ｄ
／３Ｄ移行動作のシーケンスについて説明する。

【００５３】２Ｄ／３Ｄ移行動作とは、本発明の特徴で
ある視差の無い平面表示から視差のある立体表示への連
続的な移行動作であり、観測者が入力装置（キーホード
等）よりコンピューターに移行動作開始の入力を行う
と、２Ｄ／３Ｄ移行制御部７０６は、視差量を表す変数
Ｌをゼロに初期化する（ステップＳ９０１）。左右の視
点位置も対応して同じ点に配置する（ステップＳ９０
２）。

【００５４】次に、ＣＧ画像生成部７０１で左右の視点
位置と形状データに基づき画像を生成する（ステップＳ
９０３）。生成した左右ＣＧ画像を画像合成部７０７で
構成し（ステップＳ９０４）。立体表示装置７０９に表
示する（ステップＳ９０５）。但し、この状態では、立
体表示装置７０９に左右画像として同一のものが生成さ
れるので、観測者は通常の平面的な画像を観測している
状態である。

【００５５】続いて、視差量Ｌを次式、Ｌ′＝Ｌ＋ｄ但し、Ｌ′：増加したＬｄ：視差量を変化させる割合（変化率）に従って増加さ
せて行き（ステップＳ９０７）。移行停止スイッチ７１
０がＯＮか否かを検出し、ＯＮのときは増加を停止し、
そのときの増加量で表示し、ＯＦＦのときはそのまま増
加を続ける（ステップＳ９０６）。左右視点位置も式
（１）に従って変更し、視差量Ｌ＞Ｌmaxの終了条件を
満たすまで、ステップＳ９０２〜ステップＳ９０７を繰
り返す（ステップＳ９０８）。

【００５６】この場合視差量を変化させる割合ｄ、視差
目的値Ｌmax は適宜選べば良い。

【００５７】このようにして、本実施の形態では、視差
の無い平面的な表示状態から立体表示状態への移行を、
連続的に滑らかに行うことができる。

【００５８】また、任意の移行状態で停止することがで
きる。

【００５９】更に、本実施の形態では２Ｄ／３Ｄ移行動
作を観測者の入力装置操作等をきっかけとして行い、観
測者は入力装置の操作によって任意に平面表示と立体表
示の間を移行可能なように構成したが、これを観測者が
立体画像表示装置前に着席したことを検出器（例えば、
椅子に取り付けたスイッチ等）によって検知し、自動的
に図５に示した移行動作を開始するように構成してもよ
い。

【００６０】このように、本実施の形態によれば、観測
者の入力操作で開始するか、又は観測者に意識させない
ように自動的に開始するにしても、どちらの場合も２Ｄ
／３Ｄ移行動作を連続的に滑らかに移行制御するように
構成したので、負担を感じることなく立体画像環境を体
感することができる。

【００６１】また、図９は、立体画像表示装置を投射形
とした例である。略コ字形に配置したスクリーン１０
１，１０２，１０４，１０６と、左目用画像と右目用画
像を投射するプロジェクター１０８，１１０，１１２
と、スピーカシステム１１４，１１６，１１８とからな
る。偏光眼鏡により３次元映像を見る。スクリーンは反
射型レンチキュラースクリーンとしてもよい。

【００６２】図１は、立体画像表示装置４０２を示し、
パソコン、ワークステーション等のあらゆる走査周波数
の信号を複数の画像表示領域に分割し、その複数の画像
表示領域に対応する各コアに、倍速ＮＴＳＣ方式で分配
出力する拡大分配装置４０７と９個のコア２ａ〜２ｊか
らなるマルチビジョン４０８で構成されている。

【００６３】拡大分配装置４０７の内部構成を図３に示
す。図３は同期分離回路１３、Ａ／Ｄコンバータ１４，
ＰＬＬ回路１５、フレームメモリ１６ａ〜１６ｉ、補間
処理回路１７ａ〜１７ｉ、拡大処理回路１８ａ〜１８
ｉ、Ｄ／Ａコンバータ１９ａ〜１９ｉ、ローパスフィル
タ２０ａ〜２０ｉ、制御回路２２、スイッチ２３で構成
されている。

【００６４】動作は以下の通りである。

【００６５】端子１１に入力されたパソコン、ワークス
テーション等のＲ，Ｇ，Ｂ信号に同期信号が入っている
場合は同期分離回路１３で水平、垂直同期信号を分離
し、スイッチ２３を２３ａ側にして制御回路２２に送
る。水平、垂直同期信号を端子１２に印加した場合はス
イッチ２３を２３ｂ側にして制御回路２２とＰＬＬ回路
１５に送る。ＰＬＬ回路１５では水平同期信号を基準に
サンプリングクロックが生成される。Ａ／Ｄコンバータ
１４に入力したＲ，Ｇ，Ｂ信号はＰＬＬ回路１５より供
給されるサンプリングクロックにより、原画に忠実にデ
ィジタル信号に変換され、入力信号の走査タイミングで
各々の画像表示領域に対応する画像データをフレームメ
モリ１６ａ〜１６ｉに書き込まれる。フレームメモリに
書き込まれた映像信号は制御回路２２によって倍速ＮＴ
ＳＣ方式の走査タイミングで読みだされるか、入力信号
がインターレースの場合は補間処理回路１７ａ〜１７ｉ
によって走査線補間される。ここでの補間方法は、フィ
ールド内補間とフィールド間補間を用途によって使いわ
ける。その後拡大処理回路１８ａ〜１８ｉで必要なサイ
ズに拡大される。

【００６６】拡大処理回路の出力信号は、Ｄ／Ａコンバ
ータ１９ａ〜１９ｉでアナログ信号に変換され、ローパ
スフィルタ２０ａ〜２０ｉを通して倍速ＮＴＳＣ信号と
して端子２１ａ〜２１ｉに出力される。この倍速ＮＴＳ
Ｃ信号がコア２ａ〜２ｉに入力され順次走査で表示され
る。

【００６７】このようにして、不特定の走査方式の原信
号を分割して直接、倍速ＮＴＳＣ信号に変換して各コア
に表示することにより、マルチビジョン画面全体のトー
タルの解像度で原画を再現できることから、画質劣化の
少ない高精細な大型映像を提供できる。例えば、倍速Ｎ
ＴＳＣ信号の有効表示能力が横６４０×縦４８０ドット
とすれば、図４の９個のコアの場合、前記表示能力の各
３倍、すなわち横１９２０×縦１４４０ドットの原画を
再現できる。これを実現するために、ＰＬＬ回路１５で
は、このドットを再現できるに足りる周波数のサンプリ
ングクロックを生成している。

【００６８】なお、ここでは９個のコアからなるマルチ
ビジョンシステムの例を挙げたが、フレームメモリ、拡
大処理回路、Ｄ／Ａコンバータの数を増やせば、より多
くのコアからなるマルチビジョンシステムも構築可能で
ある。本実施例の特徴は、あらゆる倍率の拡大画面を各
コアに自由に表示できることにより、マルチビジョンシ
ステムの演出効果、拡張性を高められることにある。

【００６９】図３で説明した通り、拡大分配装置４０７
の内部にフレームメモリ、拡大処理回路を各出力に対し
て１組ずつ独立して持っている、各フレームメモリに書
き込む画像領域範囲と拡大処理回略の拡大率を設定する
ことで、あらゆる拡大画面を各コアに自由に表示させる
ことができる。

【００７０】ここで、各本発明の各要素と実施の形態の
対応を行う。

【００７１】画像分離入力手段は図７に示すレンチキュ
ラーレンズ方式の立体表示装置を指すが、本発明はレン
チキュラーレンズ方式に限定するものではなく、融像方
式の立体画像表示装置の殆どを含むものとする。

【００７２】立体画像生成手段は、主に図２に示す３次
元ＣＧ画像生成部の動作に相当し、詳しくは図１に示す
コンピュータシステムのポリゴンレンダリングを主体と
したコンピュータグラフィックスによる、図６のフロー
チャートに示すＣＧ画像生成動作を含むか、ＣＧ画像生
成についてもポリゴンレンダリングに限定するものでは
無く、各種の生成手法が適用可能である。

【００７３】表示状態移行干段は、図２に示す２Ｄ／３
Ｄ移行制御部の制御により図５に示すフローチャートの
処理を実行するものである。（他の実施の形態）ここまでは、立体画像表示方法の２
Ｄ／３Ｄ移行制御について、観察者が入力装置を操作す
るのをきっかけとする方式を主体に、観察者に意識させ
ないで自動的に開始する方式とを別けて説明したが、実
際に立体表示装置を構成しようとする際には自動開始方
式を主体に、観察者のマニュアル操作による割り込み切
換えを最優先とする形式が、最も常識的なシステムとし
て考えられる。

【００７４】また、実際にＣＧ画像生成を基本とするＣ
ＡＤ設計、ゲーム、シミュレーションの世界では、状況
によっては（例えば、Ｚ軸データの関連度の薄いＸ軸、
Ｙ軸方向のみの上、下方向の寸法、積み重ね数、などの
直線性データ等）２次元表示の方が明確な場合は、３次
元表示を２次元表示画面に切換えて比較確認するといっ
た手法は多用されているが、本発明の２Ｄ／３Ｄ移行制
御を立体画像表示の開始時だけでなく、こうした途中の
３Ｄ→２Ｄ→３Ｄ→２Ｄ→３Ｄのような操作時にも、積
極的に適用すれば観察者の能率を改善できる。

【００７５】

【発明の効果】以上、説明したように、本発明によれ
ば、以下のような効果を奏することができる。

【００７６】（Ａ）請求項１に記戯の発明によれば、左
右目用の両像をそれぞれ分離入力する画像分離入力手段
と、３次元コンピュータグラフィックスによる立体画像
生成手段と、左右２画像の視差量を変化させる表示状態
移行手段を備えて、視差量をゼロの平面的表示から立体
視の状態まで連続的に変化させるように構成したので、
２次元表示である平面表示と不自然な立体表示状態への
移行を連続的で、容易に行うことが可能になる。また、
拡大分配装置とマルチビジョンにより表示するようにし
たので、マルチビジョンによる画質劣化の少ない大画面
映像を提供できる。

【００７７】（Ｂ）請求項２に記載の発明によれば、平
面表示状態と立体表示状態の２つの表示状態間の連続的
な移行を観測者が要求する任意のタイミングで実行でき
るように構成したので、上記（Ａ）の効果に加えて、観
察者が自分の意思でマニアル操作により平面表示と立体
表示状態への移行を自由に行うことが可能になる。

【００７８】（Ｃ）請求項３に記載の発明によれば、非
立体表示から立体視への連続的な移行を自動的に行うよ
うに構成したので、上記（Ａ）の効果に加えて、平面表
示と立体表示への移行を観察者に意識させないように自
動的に行うことが可能になる。

【００７９】（Ｄ）請求項４又は５に記載の発明によれ
ば、視差量Ｌを変化率ｄに従って増加させ、同時に左、
右目用レンダリングの視点位置データＰＲＰＰＬを更新
しながら平面表示と立体表示への移行を行うように構成
したので、観察者に与える移行時の感覚を違和感無くよ
り滑らかなもにして、平面表示と立体表示への移行を行
うことが可能になる。

【００８０】（Ｅ）請求項６又は８に記載の発明によれ
ば、倍速ＮＴＳＣ方式の信号を用いるので、原画に忠実
な高精細表示をすることが可能となる。

【００８１】（Ｆ）請求項７に記載の発明によれば、画
像切り出し領域を設定可能とし、拡大率を設定可能とし
たので、画面毎に種々の拡大率の高精細映像を表示する
ことが可能となる。

【００８２】（Ｇ）請求項９に記載の発明によれば、位
置検出装置を備えた観測者の動きに従いその位置信号を
コンピュータに送り出し、そのコンピュータの中の３次
元の構築物をその信号に従い移動回転させ、その表示結
果を画像分割させるプログラムを備え、観測者の周辺に
配置した複数のコアに表示させることができる。

【００８３】（Ｈ）請求項１０に記載の発明によれば、
コンピュータの中の３次元の構築物を視点位置変更装置
からの入力によりあらゆる位置、角度から俯瞰でき、そ
の表示結果を画面分割するようなプログラムを備え、観
測者の周辺に配置した複数のコアに表示させることがで
きる。

【００８４】（Ｉ）請求項１１に記載の発明によれば、
位置検出装置を備え、視点位置変更装置を持った観測者
からの位置情報、視点情報に従い、コンピュータの中の
３次元の構築物を観測者の動きに追従させ、かつ視点位
置変更の信号により自由に移動でき、その表示結果を画
面分割するようなプログラムを備え、観測者の周辺に配
置した複数のコアに表示させることができる。

【図面の簡単な説明】

【図１】本発明の実施の形態に係る画像分割方式による
仮想現実システムのブロック図である。

【図２】図１の立体画像生成部のブロック図および画像
処理システムのブロック図である。

【図３】図１の拡大分配装置の構成を表すブロック図で
ある。

【図４】図１の立体画像表示装置の概略図である。

【図５】図２の２Ｄ／３Ｄ移行制御部の動作のフローチ
ャートである。

【図６】図１に示すコンピュータによりコンピュータグ
ラフィックス画像を生成する処理のフローチャートであ
る。

【図７】立体表示装置の構成図である。

【図８】図７に示す立体表示装置による画像合成の説明
図である。

【図９】図１の立体画像表示装置の投射形の例である。

【図１０】本発明の実施例を示す位置情報制御装置の構
成図である。

【図１１】本発明の実施例を示す視点位置情報変更装置
の構成図である。

【符号の説明】

１３同期分離装置１４Ａ／Ｄコンバータ１５ＰＬＬ回路１６ａ〜１６ｉフレームメモリ１７ａ〜１７ｉ補間処理回路１８ａ〜１８ｉ拡大処理回路１９ａ〜１９ｉＤ／Ａコンバータ２０ａ〜２０ｉローパスフイルタ２２制御回路２３スイッチ１００ディスプレイシステム１０１，１０２，１０４，１０６スクリーン１０８，１１０，１１２左目及び右目用プロジェク
ター１２０制御装置１１４，１１６，１１８スピーカ１２１ビデオカメラ２０１表示面２０２レンチキュラレンズ２０３合成画像４０１入力装置４０２立体画像表示装置４０３コンピュータ４０４立体画像生成部プログラム４０５ＣＰＵ４０６画像メモリ４０７拡大分配装置４０８マルチビジョン７００立体画像生成部７０１３次元ＣＧ画像生成部７０２３次元形状データ７０３左右視点位置データ７０４右目用ＣＧ画像７０５左目用ＣＧ画像７０６２Ｄ／３Ｄ移行制御部７０７画像合成部７０８画像メモリ７０９立体表示装置７１０位置情報制御装置７１１視点位置変更装置８００コンピュータ８０１ＣＰＵ８０２記憶装置８０３画像メモリ８０４画像メモリのフレーム８０５ネットワークカード８０６マーカー色をつけたマーカー９０１視点位置変更レバー９０２視点角度変更レバー

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１２年２月２３日（２０００．２．２
３）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】発明の名称

【補正方法】変更

【補正内容】

【発明の名称】画像分割方式による仮想現実システム

Claims

【特許請求の範囲】

【請求項１】右目用画像と左目用画像の合成画像を複
数の画像領域に分割し、表示することを特徴とする画像
分割方式による仮想現実システムにおいて、（ａ）計算
機により３次元空間を記述する情報から画像を生成する
３次元コンピュータグラフィックスを用いて前記右目用
および左目用の２画像を生成する立体画像生成手段と、
（ｂ）前記左右２画像の視差量の変化により視差の無い
平面表示状態から立体表示状態への移行可能な表示状態
移行手段と、（ｃ）前記立体画像生成手段の出力をマル
チビジョン用に拡大分配する拡大分配装置と、（ｄ）前
記拡大分配装置の出力を入力して複数のコアに表示する
マルチビジョンとを有し、（ｅ）前記左右２画像の視差
量を連続的に変化させ、視差量ゼロの表示状態と有限な
視差を持つ表示状態との間を連続的に滑らかに移行可能
とすると共に任意の視差値で移行停止可能とすることを
特徴とする画像分割方式による仮想現実システム。
【請求項２】請求項１記載の画像分割方式による仮想
現実システムにおいて、前記２つの表示状態間の連続的
な移行および移行停止を観測者が要求する任意のタイミ
ングで実行することを特徴とする画像分割方式による仮
想現実システム。
【請求項３】請求項１記載の画像分割方式による仮想
現実システムにおいて、平面表示から立体表示への連続
的な移行を観測者が表示装置前に着席したことを検知し
て自動的に行うことを特徴とする画像分割方式による仮
想現実システム。
【請求項４】請求項１記載の画像分割方式による仮想
現実システムにおいて、前記表示状態移行手段は、前記
立体画像生成手段による右目用、左目用レンダリングに
与える視点位置データを制御して移行制御を行うことを
特徴とする画像分割方式による仮想現実システム。
【請求項５】請求項４記載の画像分割方式による仮想
現実システムにおいて、前記視点位置データの制御は、
視差量Ｌ＝０の平面表示状態から視差量変化率ｄに基づ
き視差量を変化させる式Ｌ′＝Ｌ＋ｄに従って増加させ
て行き、右目用視点位置ＰＲ＝（ＸＲ、ＹＲ、ＺＲ）お
よび左目用視点位置ＰＬ＝（ＸＬ、ＹＬ、ＺＬ）のデー
タを変更しながら、前記増加した視差量Ｌ′が終了条件
を満たすまで連続増加させることを特徴とする画像分割
方式による仮想現実システム。
【請求項６】請求項１記載の画像分割方式による仮想
現実システムにおいて、パソコン、ワークステーショ
ン、ハイビション等のあらゆる走査周波数の映像を複数
の画像表示領域に分割し、ＮＴＳＣ方式の倍速走査時の
信号仕様で出力することを特徴とする映像信号拡大分配
装置と、倍速ＮＴＳＣ方式テレビ信号を受信可能な複数
の画像表示装置とから成り、前記複数の画像表示装置を
組み合わせて１つの高精細な映像を表示することを特徴
とする画像分割方式による仮想現実システム。
【請求項７】右目用画像と左目用画像の合成画像を複
数の画像領域に分割し、表示することを特徴とする画像
分割方式による仮想現実システムにおいて、（ａ）画像
切り出し領域を設定可能なフレームメモリと、（ｂ）拡
大率を設定可能な拡大処理回路を複数有し、あらゆる倍
率の映像を出力する映像信号拡大分配装置と、（ｃ）倍
速ＮＴＳＣ方式テレビ信号を受信可能な複数の画像表示
装置とから成り、（ｄ）前記複数の画像表示装置を組み
合わせて画面毎にいろいろな拡大率の高精細な映像を表
示することを特徴とする画像分割方式による仮想現実シ
ステム。
【請求項８】右目用画像と左目用画像の合成画像を複
数の画像領域に分割し、表示することを特徴とする画像
分割方式による仮想現実システムにおいて、（ａ）ＮＴ
ＳＣ方式の映像を倍速ＮＴＳＣ方式の信号仕様に変換す
る装置と、（ｂ）拡大率を設定可能な拡大処理回路を複
数有し、あらゆる倍率の映像を出力する映像信号拡大分
配装置と、（ｃ）倍速ＮＴＳＣ方式テレビ信号を受信可
能な複数の画像表示装置とから成り、（ｄ）前記複数の
画像表示装置を組み合わせて一つの高精細な映像を表示
することを特徴とする画像分割方式による仮想現実シス
テム。
【請求項９】右目用画像と左目用画像の合成画像を複
数の画像領域に分割し、表示することを特徴とする画像
分割方式による仮想現実システムにおいて、観測者の上
部にビデオカメラを設置しその画像情報をコンピュータ
に送り、観測者に付着したマーカー色の画像信号の１フ
レームごとの色の識別によって識別し、その位置情報を
別のグラフィックコンピュータに送り、そのグラフィッ
クコンピュータ中の３次元の構築物を位置情報の信号に
従い移動回転させ、その表示結果を画像分割するプログ
ラムを備え、観測者の周囲に配置した複数のコアに表示
させることを特徴とする画像分割方式による仮想現実シ
ステム。
【請求項１０】右目用画像と左目用画像の合成画像を
複数の画像領域に分割し、表示することを特徴とする画
像分割方式による仮想現実システムにおいて、コンピュ
ータの中の３次元の構築物を視点位置変更装置からの入
力によりあらゆる位置、角度から俯瞰でき、その表示結
果を画面分割するプログラムを備え、観測者の周囲に配
置した複数のコアに表示させることを特徴とする画像分
割方式による仮想現実システム。
【請求項１１】右目用画像と左目用画像の合成画像を
複数の画像領域に分割し、表示することを特徴とする画
像分割方式による仮想現実システムにおいて、観測者の
上部にビデオカメラを設置しその画像情報をコンピュー
タに送り、観測者に付着したマーカー色を画像信号の１
フレームごとの色の識別によって識別し、その位置情報
を別のグラフィックコンピュータに送り、そのグラフィ
ックコンピュータ中の３次元の構築物を位置情報の信号
に従い移動回転させ、かつ観測者の有する視点位置変更
装置からの入力によりあらゆる位置、角度から俯瞰で
き、その表示結果を画像分割するようなプログラムを備
え、観測者の周囲に配置した複数のコアに表示させるこ
とを特徴とする画像分割方式による仮想現実システム。