JP2002165232A

JP2002165232A - 仮想空間生成提示装置

Info

Publication number: JP2002165232A
Application number: JP2001329433A
Authority: JP
Inventors: Kenya Uomori; 謙也魚森; Mitsuo Yamada; 光穗山田
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Japan Broadcasting Corp; Panasonic Holdings Corp
Priority date: 2001-10-26
Filing date: 2001-10-26
Publication date: 2002-06-07

Abstract

(57)【要約】【課題】取扱が簡単であり、複数人で観察することが
可能で、臨場感を向上させることができる仮想空間生成
提示装置を提供すること。【解決手段】所定の複数方向に対して、左目の視野に
相当する画像データと右目の視野に相当する画像データ
を生成する画像生成部と、各方向について左右眼用の画
像を、それぞれ観察者の左右眼に提示するための複数個
のディスプレイを有する画像表示手段とを備え、画像生
成部は、観察者の視点から表示物体の所定点の３次元位
置とを結ぶ直線の延長が前記各々のディスプレイと交わ
る点のうち、最も観察者の視点から近い距離の点を表示
するディスプレイに、所定点を表示させる。

Description

【発明の詳細な説明】

【０００１】

【発明が属する技術分野】本発明は、立体カメラ等によ
り得られた画像や、コンピュータグラフィックスにより
生成された画像等を、仮想空間に表示する仮想空間生成
提示装置に関するものである。

【０００２】

【従来の技術】一般に、仮想空間や人工現実感といわれ
る、人間がその場所にいなくても、その場所にいたよう
な感覚を実現するには、観察者が観察できる視野をでき
る限り広くする必要があり、従来は左右眼の画像に対応
する２つの液晶モニタを内蔵したヘッドマウントディス
プレイを用いて、観察者はこれを装着していた。

【０００３】また、ヘッドマウントディスプレイほどは
広視野が得られないが、立体カメラにより撮像された立
体画像をマルチスクリーンに再生する方法もある。この
場合、１組のカメラでできるかぎり広範囲を撮影して、
スクリーン上で分割表示したり、２組の立体カメラを用
いる方式でも再生スクリーンに明確なつなぎ目を設けて
いた。これは、２組のカメラの接続点で左右像の不連続
が生じて、観察者に不快感や疲労が生じるのを避けるた
めである。

【０００４】

【発明が解決しようとする課題】しかしながら、上記の
ような構成では、前者については、観察者は重いヘッド
マウントディスプレイを装着しなければならないため取
扱が煩雑であり、ヘッドマウントディスプレイでは一人
しか観察できないといった課題を含んでいた。また、後
者については、これをマルチスクリーンに分割表示する
場合でも、小数のカメラで撮像された画像をマルチスク
リーンに分割表示すると、ひとつのスクリーンあたりの
解像度が低下してしまう。また、複数画面のつなぎ目は
明確に存在し、つなぎ目近辺の画像が連続的に構成され
ず、幾何学的にひずんでいたり、同じ画像がつなぎ目の
両方に存在したり、つなぎ目近辺の画像が欠けたりし
て、臨場感を低下させる要因になるという課題がある。

【０００５】本発明は、従来の仮想空間生成提示装置の
このような課題を考慮し、取扱が簡単であり、複数人で
観察することが可能で、臨場感を向上させることができ
る仮想空間生成提示装置を提供することを目的とするも
のである。

【０００６】

【課題を解決するための手段】本発明は、所定の複数方
向に対して、左目の視野に相当する画像データと右目の
視野に相当する画像データを生成する画像生成部と、前
記各方向について左右眼用の画像を、それぞれ観察者の
左右眼に提示するための複数個のディスプレイを有する
画像表示手段とを備えたことを特徴とする仮想空間生成
提示装置において、前記画像生成部は、前記観察者の視
点から表示物体の所定点の３次元位置とを結ぶ直線の延
長が前記各々のディスプレイと交わる点のうち、最も観
察者の視点から近い距離の点を表示するディスプレイ
に、前記所定点を表示させることを特徴とする仮想空間
生成提示装置である。

【０００７】本発明は、画像生成部により生成された複
数方向の左目の視野に相当する画像データと右目の視野
に相当する画像データを用いて、画像を観察者の左右眼
に提示するために、画像表示手段の複数個のディスプレ
イに、それぞれ表示することにより、広視野の立体画像
を提示できる。

【０００８】

【発明の実施の形態】以下に、本発明をその実施の形態
を示す図面に基づいて説明する。

【０００９】図１は、本発明にかかる第１の実施の形態
の仮想空間生成提示装置におけるディスプレイ部の構成
を示す図である。図１において、１〜５はディスプレ
イ、６は時分割立体画像を左右眼に独立提示するための
液晶シャッタ眼鏡である。５台のディスプレイ１〜５が
立方体状に配置され、観察者は、ディスプレイの無い前
面から液晶シャッター眼鏡６を通して観察する。ディス
プレイ１〜５が画像表示手段を構成している。ここで、
本実施の形態を示す各図面に共通して、信号、カメラ等
の記号に付された添え字1 ，2，3，4，5は、それぞれ各
ディスプレイ１〜５に対応していることを示し、Ｌは左
眼用、Ｒは右眼用を示す。又、ディスプレイ１は奥に配
置されたディスプレイを示し、同様に、ディスプレイ２
は左のディスプレイ、ディスプレイ３は右のディスプレ
イ、ディスプレイ４は上のディスプレイ、ディスプレイ
５は下のディスプレイをそれぞれ示す。この様に、観察
者は正面、左右方向、上下方向全ての方向について立体
画像を観察することができる。

【００１０】図２は、５台のディスプレイ１〜５に画像
を提示するための映像系統図を示す。図２において、７
〜１１は左右画像信号を時分割立体画像信号に変換する
画像変換部、１２は同期信号発生部である。ここでは１
２０Ｈｚの垂直走査周波数で時分割立体画像を提示する
場合について説明する。同期信号発生部１２は、垂直走
査周波数が１２０Ｈｚの同期信号を発生し、画像変換部
７〜１１に供給するとともに液晶シャッターの切替信号
を液晶シャッターに供給する。画像変換部７〜１１の動
作は全く同じであり、画像変換部７について図３にその
動作原理の例を示す。通常の６０Ｈｚの垂直走査周波数
の左右ビデオ信号（Ｌ1、Ｒ1）は、画像変換部７により
１２０Ｈｚのビデオ信号（Ｌ1'、Ｒ1'）に変換され、さ
らにＬ1'、Ｒ1'を交互にシリアルに合成されてビデオ信
号Ｄ1が生成され、ディスプレイ１に供給される。立体
として用いない場合はいずれか一方の画像のみが、繰返
し再現される。例えば、Ｌ1'、Ｒ1'がＬ1'、Ｌ1'とな
る。

【００１１】第１の実施の形態の形態には２つの撮影法
が考えられ、図４はそのうちのひとつである。図４にお
いて、１３〜１７はそれぞれ左眼用、右眼用のカメラで
構成される立体カメラ組を示し、（ＣL1，ＣR1）の組が
ディスプレイ１に対応し、（ＣL2，ＣR2）の組がディス
プレイ２に対応し、（ＣL3，ＣR3）の組がディスプレイ
３に対応し、（ＣL4，ＣR4）の組がディスプレイ４に対
応し、（ＣL5，ＣR5）の組がディスプレイ５にそれぞれ
対応している。

【００１２】観察者から見て、奥、左右、上下の５方向
に左目用カメラ、右目用カメラからなるステレオカメラ
がセットされる。このうち左右、上下の４台のカメラに
ついては、臨場感を再現するというのみの目的では、い
ずれか一方のカメラを用いた通常の２Ｄ画像でも良い。
即ちこの場合は５方向の画像のうち左右上下の画像につ
いては、必ずしも立体でなくてもよく、図示した何れか
一方の画像を用いて提示する構成としてもよい。

【００１３】また、必ずしも５台のディスプレイ１〜５
を用いない構成、例えば正面と左右のみ等の構成でもよ
い。図５は、２つの撮影法のうちもうひとつの方法を示
し、前述の方法とは左右カメラの配置が反対となり、１
つの被写体を５組のカメラで撮影する。立体カメラ１３
〜１７、又は１４〜１８が撮像手段を構成している。

【００１４】図５において、（ＣL1，ＣR1）はカメラを
後方に置いた場合、後から見た全体像を観察できる。
（ＣL1'，ＣR1'）はカメラを前に置いた場合、前から見
た全体像を観察できる。以上の様にすることにより、少
なくとも５方向からの立体像を複数の観察者が観察で
き、仮想空間の再現に役立てることができる。

【００１５】図６は、本発明にかかる第２の実施の形態
における映像系統を示す構成図である。図６において、
１９〜２４は格納手段である画像メモリ、２５はアドレ
ス計算用のＣＰＵ、２６はメモリテーブル、２７は左カ
メラの画像を制御する左カメラアドレス制御部、２８は
右カメラの画像を制御する右カメラアドレス制御部であ
る。ＣＰＵ２５、左カメラアドレス制御部２７及び右カ
メラアドレス制御部２８がアドレス制御部を構成してい
る。

【００１６】第２の実施の形態では、第１の実施の形態
の撮影法の部分（立体カメラシステム部分）に特徴があ
る。即ち図２のＬ1〜Ｌ5、Ｒ1〜Ｒ5の信号の実現方法の
詳細部、具体的には複数視点画像の合成時のつなぎ目処
理についてである。

【００１７】図６に示す各画像メモリ１９〜２４の出力
Ｌo1,Ｌo2,...,Ｒo1,Ｒo2,... が図２のＬ1,Ｌ2,...,Ｒ
1,Ｒ2,...に接続される。

【００１８】図６において、立体カメラシステム部分
は、少なくとも２組以上の左目用画像撮影用カメラと右
目用画像撮影用カメラとこれらの対応画像を格納するた
めのメモリから構成される。このメモリについては、水
平方向にカメラ組（ここで左目用画像撮影用カメラと右
目用画像撮影用カメラの１セットを１組とする）を配置
する場合は、水平方向走査方向のみのラインメモリで十
分であるが、後述する本発明の第３の実施の形態の垂直
方向にもカメラ組を配置する場合は、フレームメモリが
必要である。ＣＰＵ２５は各カメラ組のズーム情報をも
とに、少なくとも２組以上の立体カメラ画像を滑らかに
合成するためのメモリアドレスを記憶するためのメモリ
テーブル２６から、カメラのズーム情報に対応するメモ
リアドレスを読み出してメモリアドレスの制御信号を生
成し、その制御信号よって左カメラアドレス制御部２７
と、右カメラアドレス制御部２８を制御し、各画像メモ
リ１９〜２４からの画像データ読み出しを制御する。

【００１９】次に、各部の動作について具体的に示す。
図７は、３組のカメラを用いた時の本実施の形態の実現
概念図を示す図である。図７（ａ）は、３組の立体カメ
ラが配置され、景色を撮影している様子を示す。図７
（ｂ）は、その撮影された画像の３枚のスクリーン上へ
の合成例である。これは、上記第１の実施の形態の図１
において、上下のディスプレイ４，５がなく、左右のデ
ィスプレイ２，３の角度を浅く設定した場合の構成であ
る。

【００２０】図示してはいないが、実際には左右カメラ
の画像が再現されているため、２重像になっている。偏
光フィルタや液晶シャッタ、レンチキュラースクリーン
等を用いて左右像を分離し、観察者の各左右眼に、対応
する画像が入力される。この立体テレビの再現方法につ
いては、よく知られているのでここでは説明を省略す
る。図７（ｃ）は、これら３組のカメラ画像を合成し
て、等価的な１組のカメラ画像の様に提示しようという
本実施の形態の実現概念図である。

【００２１】図８は、前述した図７（ａ）における３組
のカメラ画像のスクリーン上への表示例を示し、図８
（ａ）は従来の問題点を、図８（ｂ）は本実施の形態の
効果を示す。たとえばカメラＬ1、Ｒ1の画像がスクリー
ンＳ1に、カメラＬ2、Ｒ2 の画像がスクリーンＳ2 に再
現されているが、立体であるため、左右カメラの画角サ
イズは同じでなけらばならず、その結果、スクリーンの
継ぎ目Ｊ1 を見て、分るようにＳ1の右端には、Ｌ1の左
画像はなく、Ｓ2の左端には、Ｒ2の右画像がなく、この
位置を観察者が見ると、立体像は不連続となり、立体融
像が不可能となり、極めて不快な状態となる。さらに、
この状況でカメラのズーム操作を行うと、不快感はさら
に増大する。本実施の形態では図８（ｂ）に示すよう
に、隣り合うカメラ画像を滑らかに合成させ、あたかも
１台のカメラで撮影しているように見せることにより、
この問題点を解消する。

【００２２】そのための初期設定の方法について、図９
を用いて説明する。ここで初期設定とは、複数のカメラ
の画像が滑らかにつながる様にカメラの絞り値と画像の
端の位置を設定することである。また、立体カメラに最
近主流となっている固体撮像素子を用いた場合、撮影さ
れる画像サイズの大きさがエイジングの状態によってず
れることはほとんど無く、この初期設定は撮影毎に設定
する必要は無い。

【００２３】まず、図９（ａ）に示すようなグレーティ
ングパターン（徐々に輝度が変化しているパターン）２
９をカメラの前に提示する。グレーティングパターン２
９の輝度分布は図９（ｂ）の第１段に示すように、１本
の直線である。これをレンズ絞りを同一に設定したアド
レス設定前の３組のカメラで撮影すると、第２段に示す
左カメラの出力例から分るように、それぞれのカメラの
撮影範囲が合っていないために、波形に段差が生じてい
る。これを微分すると第３段に示すように段差のある部
分がパルス状に表現され、また、絞りの設定のずれは平
坦部分の大きさによって表現される。次に、このパルス
状の部分がなくなるように、ＣＰＵ２５がメモリのアド
レス位置を調整して、隣り合うカメラの接続位置毎にメ
モリーテーブル２６に記憶する。更に、ＣＰＵ２５はズ
ーム比を変えて、左右カメラそれぞれについて、この演
算を繰返し、その結果をメモリーテーブル２６に記憶す
る。もちろん単焦点のレンズを用いる場合は、ズーム比
を変える必要はない。また、ズームを大きくして、隣り
合うカメラの画像間に対応点がなくなった場合は、その
点が、隣合う画像を滑らかにつなぐ場合のズームのリミ
ットとなる。また、図９（ｂ）の平坦部分の大きさをそ
ろえることにより、正確に全てのカメラの絞りの値を一
致させることもできる。図９（ｃ）は、初期設定に、グ
レーティングパターン２９の代わりに用いる楔型のパタ
ーン３０の例を示した図である。

【００２４】この例では、左から右にいくにつれ、楔が
大きくなり撮影される黒の量が多くなっている。撮影画
像から、黒画像の含まれる走査線数を順にカウントして
いくと、カメラが滑らかに接続されるためには、このカ
ウント数が連続的になっていく必要がある。このような
方法でＣＰＵ２５は滑らかに接続するためのメモリのア
ドレス位置を計算することができる。

【００２５】以上のように、被写体パターンを用いて初
期設定を行なえば、被写体パターンの距離に存在する被
写体を撮像した場合、滑らかに複数の画像を合わせるこ
とが出来る。実際には色々な距離の被写体が存在する場
合が多いが、その中で最も滑らかにつなぐべき距離につ
いて、この初期設定を行なう。

【００２６】図１０は、本発明にかかる第３の実施の形
態におけるカメラ配置を示す図である。図１０に示すよ
うに、カメラ３１〜３４を垂直に配置し、上下の隣り合
うカメラを滑らかに接続するアドレスを、上述の第２の
実施の形態で示した水平方向の手段と同じ方法を垂直方
向に適用することにより、垂直方向にも広視野の画像を
実現することができる。

【００２７】以上の様にして、第２、３の実施の形態に
よれば、複数組のカメラ映像を左右それぞれを滑らかに
接続するようにすることにより、あたかも１組の立体カ
メラで魚眼レンズを用いることなく全視野を撮影するこ
とを可能として、非常に臨場感の高い広視野の立体画像
の再現を行うことができる。また、同様の方法を垂直方
向に設置されたカメラ画像にも適用することにより、全
球面上をあたかも１組の立体カメラで魚眼レンズを用い
ることなく全視野を撮影することを可能として、非常に
臨場感の高い広視野の立体画像の再現が可能である。

【００２８】図１１は、本発明にかかる第４の実施の形
態における立体カメラの配置を示す図である。図１１に
おいて、３５、３６、３７、３８はそれぞれ左眼カメラ
のレンズ、回転位置に配置した左眼カメラのレンズ、右
眼カメラのレンズ、回転位置に配置した右眼カメラのレ
ンズである。

【００２９】本実施の形態においては、本発明の第１〜
第３の実施の形態の立体カメラシステムにおけるカメラ
の配置を規定することにより、複数のカメラ視野のつな
ぎ目での不連続が最小限になるように被写体空間を分割
することができる。

【００３０】簡単のために、図１１では２組の立体カメ
ラで水平方向に視野を分割する方法の例を示している。
図１１において、Ｌ1・Ｒ1とＬ2・Ｒ2で２つの視野を撮
像する立体カメラ組を構成しており、それぞれレンズの
中心位置またはカメラの名前を示している。Ｏはそれぞ
れの立体カメラにおける中心点であり、これを回転中心
として回転した位置に立体カメラを配置し、撮像方向を
変化させている。また、ｍL1、ｍR1、ｍL2、ｍR2は、そ
れぞれレンズＬ1、Ｒ1、Ｌ2、Ｒ2の光軸であり、ステレ
オカメラの回転角をφ、カメラの画角をαとしている。
ここで三角形Ｏ−Ｌ1−Ｌ2は二等辺三角形となるので、
回転角φとカメラの画角αを等しく設定すると、２組の
立体カメラの視野のつなぎ目は連続となる。即ち視野Ｓ
L1とＳL2、ＳR1とＳR2が連続してつながる。

【００３１】また、Ｌ2カメラの筐体が大きく、Ｌ1の視
野を遮る場合には、図１２に示すように、それぞれのス
テレオカメラを垂直方向に重ねるか、回転角φを大きく
とり、カメラ筐体が視野に入らない範囲でなるべく大き
な視野角αになるように設定する。垂直方向にカメラを
重ねる場合には、図６に示した後処理の画像メモリの制
御において、垂直方向に画像がずれた分、垂直方向に画
像を並行移動して複数の画像がずれないようにする必要
がある。または、Ｌ1・Ｒ1の光軸を下方向に向け、Ｌ2
・Ｒ2の光軸を上に向けることである程度垂直方向の画
像ずれを小さくすることも可能である。

【００３２】また、図１３に示す様に左右眼用のレンズ
それぞれの中心を回転中心として回転した位置にカメラ
を配置して視野を変更する場合も、回転角φと視野角α
を等しく設定すれば、視野ＳL1とＳL2、ＳR1とＳR2が連
続的につながる。ただしこの場合にはＬ2、Ｒ2の光軸方
向が直線Ｌ2−Ｒ2に対して垂直でなくなるため、近距離
のステレオ画像においては左右像の大きさが異なってし
まうため、ある程度の距離以上の場所に存在する被写体
の撮像のみに適している。また、撮影方向によって、カ
メラ間隔が変化し、立体画像の視差が変化するので（図
１３のＤ1、Ｄ2）撮影方向を大きく変えることは出来な
い。さらに、この場合にもカメラＬ1とＬ2、Ｒ1とＲ2は
垂直方向に重ねる必要がある。

【００３３】以上の様に、本実施の形態によれば、ステ
レオカメラのレンズ中心間の中心点を回転中心として左
右眼のカメラを回転して視野を変え、カメラの視野角と
回転角を等しくなるように設定し、無限遠からＬ1とＬ2
の距離までの近点まで、２組のステレオカメラによる撮
像視野が重なることなく、また、撮像されない被写体領
域が発生することなく複数の視野を連続的に撮像するこ
とが出来る。

【００３４】また、第４の実施の形態以外のカメラ配置
では、全ての距離の被写体に対して視野のつなぎ目を連
続に出来ないため、第１〜第３の実施の形態を用いて最
適な撮影方法をとる。

【００３５】図１４は、本発明にかかる第５の実施の形
態における動作を説明する図である。本実施の形態で
は、前述の第１の実施の形態（図２）の入力画像Ｌ1、
Ｒ1...Ｌ5、Ｒ5 に相当する複数の視点のステレオ画像
をコンピュータグラフィクス（CG）により生成する方法
について取り扱う。通常の３次元モデルを用いたCGで
は、図１４の CRT１のみが存在する場合を取り扱ってい
るが、本実施の形態では表示したい画像を CRT１〜CRT
５のどれの部分に表示するかを判断し、更にそのCRT上
での表示位置を計算し、そこに画像を表示することによ
り、広範囲のステレオ画像を表示可能とする。

【００３６】図１４において、空間の座標形をx、y、z
の直交座標系で記述する。

【００３７】観察者の左右眼の位置をEL(-We,-ds,Wz),E
R(We,-ds,Wz)とし、正面のCRT1をy=l(エル)、左のCRT2をx
=-W/2、右のCRT3をx=W/2、上のCRT4をz=H、下のCRT5をz
=0と定義する。又、表示したい物体M の点Pの座標を(x
_pc,y_pc,z_pc)とする。以下、この点Pの表示CRTの決定と
表示位置の計算法を説明する。

【００３８】まず、左目の画像について考える。点Pと
点EL を結ぶ直線は、（数１）で表される。

【００３９】

【数１】

【００４０】次に、この直線とCRT１〜CRT５の交点C1〜
C5を、（数２）〜（数６）により求める。

【００４１】

【数２】

【００４２】

【数３】

【００４３】

【数４】

【００４４】

【数５】

【００４５】

【数６】

【００４６】これらの交点と、左目ELの位置との距離を
計算する。CRTn(n=1〜5)の交点とELの距離l(エル)nは、
（数７）で表される。

【００４７】

【数７】

【００４８】ただし、条件によって交点は目の位置より
後ろにも存在し、複数個の交点が得られることがあるた
め、（数８）の条件を満たす交点が求める交点となる。

【００４９】

【数８】

【００５０】次に、これらの距離l(エル)1〜l(エル)5 のう
ち、最小のものを選び、その交点を含むCRTが点Pを表示
するべきCRTとなる。あとは、選ばれた交点Cnの座標を
用いて、CRTn上に点Pを表示する。

【００５１】ここで、距離の計算はユークリッド距離を
用いたが、計算コストの削減のために、（数９）に示す
ように、ハニング距離を用いてもよい。

【００５２】

【数９】

【００５３】あるいは又、ユークリッド距離l(エル)nの平
方根を計算しないで、l(エル)nの自乗を用いてもよい。

【００５４】次に、右目画像用の計算では、（数１）〜
（数９）において、Weを-We におき替えて計算すればよ
い。以上の様にして、物体上の任意の点について、表示
CRTを選択し、表示位置を計算することができる。

【００５５】表示するべき輝度、色については、多くの
手法があるが、例えばその頂点での法線ベクトルn、物
体色obj、光源スペクトルLit[i]、光源方向ベクトルL
により次式（数１０）で計算される（ハイライト部がな
い場合）。

【００５６】

【数１０】

【００５７】（数１０）により計算された輝度、色情報
を用いて前記表示位置の画素を表示する。

【００５８】以上の様にして、物体M上の任意の点Pにつ
いて画像を表示できる。これを物体M上の点すべてにつ
いて処理を行なう。

【００５９】ここで、CGでは点データは物体の頂点のみ
記述し、複数の頂点の集合で定義される面（ポリゴン）
内部はポリゴンを構成する頂点の内挿計算によって画像
を表現するのが一般的である。この場合、各頂点の画像
データについては、前述の方法によって処理すれば良
い。しかし、ポリゴン内部の画像については、複数画面
にまたがって内挿しなければならない。

【００６０】この内挿処理について、三角形ポリゴンの
場合の処理方法について、以下説明する。

【００６１】図１５〜図１７は、この内挿処理について
説明する図である。図１５はポリゴンMPの３頂点の内、
３頂点とも同じCRT に表示される場合、図１６は、２頂
点が同じCRTに表示される場合、図１７は３頂点とも異
なったCRTに表示される場合である。

【００６２】まず、図１５において、P1,P2,P3は、物体
M上のポリゴンMP を構成する３頂点のCRT1への投影であ
る。前述の様に、これらの点については、座標と輝度や
色の情報を直接計算できるので、それを用いてCRT 上に
表示する。その他のポリゴン内の画素については、XZ平
面において、Z 座標値の最大（l(エル)1）、最小（l(エル)
3）を求め、その範囲でX軸に平行な直線l(エル)を定義
し、その時のポリゴンMPの辺との交点をP12,P13 とす
る。そして、線分P12P13上の画素を内挿して求める。内
挿方法は、まずP1とP2の座標における法線ベクトル、物
体色から、P12 の位置の法線ベクトル、物体色を直線内
挿する。また、P1とP3の座標の法線ベクトル、物体色か
ら、P13 の位置の法線ベクトル、物体色を直線内挿す
る。そして、P12からP13に向かって画素を走査し、線分
P12P13の直線内挿で、P12,P13 の法線ベクトル、物体色
を元にしてそれぞれの画素での法線ベクトル、物体色を
求める。この、直線内挿で求められた法線ベクトル、物
体色をもとにして、（数１０）を用いて画像の輝度、色
情報を求める。これが、CGで一般的に行なわれているポ
リゴン内部の画素の内挿方法の一例である。

【００６３】次に、図１６を用いて、２頂点が同じCRT
にある場合の内挿方法について説明する。基本的には、
図１５での方法に帰着する方法をとる。即ち、CRT1上の
ポリゴン（右上がり斜線部）の投影については、P1,P3
の他に直線EP2を延長してCRT1'での交点P2'を用いて同
一平面のCRT1,CRT1'上にポリゴンの投影像P1P3P2' を
得、それで前述と同じ内挿計算を行なう。ここで、CRT
1'とは、CRT1をそのままX軸方向に延長したものであ
る。次に、CRT2上のポリゴンの投影については、直線EP
1,EP3 とCRT2'（CRT2'はCRT2をY軸方向に延長したも
の）の交点P1',P3'を求め、同一平面のCRT2,CRT2'上で
のポリゴンの投影P1'P2P3'を元にして、内挿演算を行な
う（右下がり斜線部）。

【００６４】次に、図１７を用いて、３頂点とも別々の
CRT 上に表示される場合について説明する。

【００６５】基本的には図１５、図１６の例と同様に、
同一CRT 上に表示されると考えた時の方法を用いる。図
１７において、例えば、CRT１上のポリゴン内部の画素
（斜線部）については、EP2を延長した時のCRT1'との交
点P2',EP3を延長した時のCRT1''との交点P3'を求め、ポ
リゴンの同一平面CRT1,CRT1',CRT1''への投影P1P2'P3'
を用いて、図１５と同じ方法で、斜線部の画素の輝度、
色情報を計算する。同様に、CRT2,CRT5上のポリゴン投
影像内部の画素についても、それぞれCRT2,CRT5を含む
平面と各頂点と目の位置E を結ぶ直線の交点を求め、同
じ平面上でのポリゴン投影像を求め、図１５での方法に
帰着する。

【００６６】以上のように、本実施の形態によれば、CG
において、複数の視点のステレオ画像をコンピュータグ
ラフィクス（CG）により生成し、表示したい画像を複数
の表示CRTのうちどれに表示するかを自動的に判断し、
そのCRT上での表示位置を計算して画像を表示すること
により、広範囲のステレオ画像を表示可能とする。更
に、CGデータがポリゴンを用いて記述されていても、ポ
リゴン内部の画素について、表示されるべき画面上での
画素情報を、ポリゴンを構成する頂点の画素情報から内
挿することが出来、臨場感の高い画像を得ることが出来
る。

【００６７】図１８は、本発明にかかる第６の実施の形
態の仮想空間生成提示装置の構成図である。図１８にお
いて、仮想空間を表示する立体テレビシステムは、本発
明における第１の実施の形態と同じであり、また、それ
ぞれの画像を生成する方法は、本発明の第５の実施の形
態であるコンピュータ・グラフィクスを用いた方法とほ
ぼ同じである。これらの実施の形態と異なるのは、観察
者の眼の位置を測定する３次元位置測定部４１と、測定
された眼の３次元位置に基づいて、その視点位置に対応
した画像を生成するＣＧ画像生成部４２が追加されたこ
とである。又、観察者の眼の位置を測定するために磁気
センサ３９及び磁界発生器４０が３次元位置測定部４１
に接続されている。

【００６８】まず、磁気センサ３９、磁界発生器４０、
３次元位置測定部４１により、観察者に装着された磁気
センサの位置を測定する。この、磁界を用いた３次元位
置測定方法は、磁界発生器４０により発生される３種類
の互いに独立な磁界を、磁気センサ３９の内部に装備さ
れた３種類の方向の異なるコイルで検出し、磁気センサ
３９の３次元位置を測定するものであり、公知の技術で
あるので、詳細な説明は省略する。３次元位置測定部４
１は、このようにして得られた磁気センサ３９の３次元
位置から、観察者の両眼の３次元位置を計算し、これを
ＣＧ画像生成部４２に送る。磁気センサ３９の位置から
両眼の位置の計算については、両者の位置関係が一定し
ているので、予めこれを測定しておいて計算する。

【００６９】ＣＧ画像生成部４２の計算手法は、第５の
実施の形態の計算と全く同じでよい。ただ、観察者の左
右眼の位置の座標EL(-We,-ds,Wz),ER(We,-ds,Wz)に、測
定された３次元座標を代入して用いる点のみが異なる。
この場合、左眼の３次元座標を(xe,ye,ze)とすると、
（数１）〜（数９）において、-We→xe,-ds→ye,Wz→ze
と置き換えて計算する。右眼の画像の計算に対しても同
様に右眼の３次元位置を代入することにより計算でき
る。このようにして得られた複数方向の立体画像Ｒ1Ｌ1
〜Ｒ5Ｌ5を、第１の実施の形態の画像変換部７〜１１
（図２参照）に入力し、それによりディスプレイ１〜５
に画像を表示し、これを観察する。

【００７０】以上のように、本実施の形態によれば、観
察者の視点移動に対して複数方向の表示画像を連動さ
せ、広い視空間に対して視点移動に対応した立体画像を
表示できるので、更に臨場感の高い画像を観賞すること
が出来る。

【００７１】以上説明したように、本発明によれば、よ
り臨場感の高い、広範囲で多方向からの立体画像の生成
・提示を実現することができ、仮想空間、人工現実感の
再現のために役立てることができる。

【００７２】なお、上記第６の実施の形態では、観察者
の視点の３次元座標を磁気センサを用いて測定したが、
これに代えて、例えば立体カメラにより観察者を撮像
し、両眼立体視の原理を用いて測定する等の他の３次元
位置計測の可能な方法を用いてもよい。

【００７３】また、上記第６の実施の形態では、視点の
３次元座標を測定して得る構成としたが、これに代え
て、ＣＧ画像生成部４２に入力する視点の３次元位置デ
ータを、観察者がデータ入力機器（マウス、ボリューム
等）を用いて入力する構成としてもよい。この場合、観
察者が意図する視点からの広範囲の画像を表示すること
が出来る。

【００７４】また、上記第１の実施の形態では、左右画
像を時分割信号にして表示して立体画像を得る構成とし
たが、これに限らず、他の多くの立体画像表示方式が使
用可能である。例えば、１台の立体ディスプレイについ
て左右２台のディスプレイを用いる偏光方式や、レンチ
キュラ方式等、他の立体画像表示方式が考えられる。偏
光方式の場合には、画像変換部７〜１１を外し、そのま
ま左画像用、右画像用のディスプレイに左右画像信号を
それぞれ入力すれば良い。また、レンチキュラ方式の場
合には、画像変換部７〜１１の代わりに、左右の画像信
号を縦方向のストライプ状に交互に表示するように変換
すればよい。

【００７５】また、上記第１の実施の形態、第２の実施
の形態、第３の実施の形態、第４の実施の形態では、カ
メラシステムと立体テレビシステムが直接、接続されて
いる構成としたが、これに限らず、前者を送信側とし、
後者を受信側とし、その間を赤外線又は無線もしくは光
ファイバなどの有線で結ぶ構成としても勿論よい。同様
に第５の実施の形態において画像生成用のコンピュータ
グラフィックス生成部を送信側に置く実現例も可能であ
る。

【００７６】

【発明の効果】以上述べたところから明らかなように本
発明は、取扱が簡単であり、複数人で観察することが可
能で、臨場感を向上させることができるという長所を有
する。

【図面の簡単な説明】

【図１】本発明にかかる第１の実施の形態の仮想空間生
成提示装置におけるディスプレイ部の構成図である。

【図２】同第１の実施の形態における各ディスプレイに
画像を提示するための映像系統を示す構成図である。

【図３】同第１の実施の形態における画像変換部の動作
原理の例を示す図である。

【図４】同第１の実施の形態における観察者から見た５
方向の立体空間を再現するためのカメラの配置図であ
る。

【図５】同第１の実施の形態における５方向から被写体
を撮影し立体空間を再現するためのカメラの配置図であ
る。

【図６】本発明にかかる第２の実施の形態における映像
系統を示す構成図である。

【図７】同図（ａ）は、同第２の実施の形態において、
３組のカメラにより景色を撮影している様子を示す図、
同図（ｂ）は、その撮影された３枚の画像の、スクリー
ン上への合成例を示す図、同図（ｃ）は、その時の、等
価的な１組のカメラを説明する図である。

【図８】同図（ａ）は、従来例における画像のつなぎ目
を示す図、同図（ｂ）は、同第２の実施の形態における
画像のつなぎ目を示す図である。

【図９】同図（ａ）は、同第２の実施の形態におけるカ
メラの初期設定を行うために、カメラ前にキャリブレー
ション用のグレーティングパターンを配置した例を示す
図、同図（ｂ）は、そのときの左カメラ出力を例にした
時の波形の合成例を示す図、同図（ｃ）は、キャリブレ
ーション用のパターンとして用いる楔パターンを示す図
である。

【図１０】本発明にかかる第３の実施の形態におけるカ
メラ配置を示す図である。

【図１１】本発明にかかる第４の実施の形態における立
体カメラの配置を示す図である。

【図１２】同第４の実施の形態において立体カメラを垂
直方向に配置した例を示す図である。

【図１３】同第４の実施の形態において、左右眼用のレ
ンズそれぞれの回転中心でカメラを回転して視野を変更
する例を示す図である。

【図１４】本発明にかかる第５の実施の形態における動
作を説明する図である。

【図１５】同第５の実施の形態におけるポリゴン（３頂
点とも同じディスプレイ上に存在する場合）内の画素の
内挿処理を説明する図である。

【図１６】同第５の実施の形態におけるポリゴン（２頂
点が同じディスプレイ上に存在する場合）内の画素の内
挿処理を説明する図である。

【図１７】同第５の実施の形態におけるポリゴン（３頂
点とも異なるディスプレイ上に存在する場合）内の画素
の内挿処理を説明する図である。

【図１８】本発明にかかる第６の実施の形態の仮想空間
生成提示装置の構成図である。

【符号の説明】

１〜５ディスプレイ６液晶シャッタ眼鏡７〜１１画像変換部１２同期信号発生部１３〜１８立体カメラ１９〜２１左画像メモリ２２〜２４右画像メモリ２６メモリテーブル２７左カメラアドレス制御部２８右カメラアドレス制御部４１３次元位置測定部４２ＣＧ画像生成部

───────────────────────────────────────────────────── フロントページの続き (72)発明者山田光穗東京都世田谷区砧一丁目10番11号日本放送協会放送技術研究所内Ｆターム(参考） 5C061 AA01 AA03 AA11 AB02 AB08 AB11 AB16 AB20

Claims

【特許請求の範囲】

【請求項１】所定の複数方向に対して、左目の視野に
相当する画像データと右目の視野に相当する画像データ
を生成する画像生成部と、前記各方向について左右眼用
の画像を、それぞれ観察者の左右眼に提示するための複
数個のディスプレイを有する画像表示手段とを備えたこ
とを特徴とする仮想空間生成提示装置において、前記画像生成部は、前記観察者の視点から表示物体の所
定点の３次元位置とを結ぶ直線の延長が前記各々のディ
スプレイと交わる点のうち、最も観察者の視点から近い
距離の点を表示するディスプレイに、前記所定点を表示
させることを特徴とする仮想空間生成提示装置。
【請求項２】画像生成部は、前記観察者の視点から表
示物体の所定点の３次元位置とを結ぶ直線の延長が前記
各々のディスプレイと交わる点のうち、最も観察者の視
点から近い距離の点を表示するディスプレイに、前記所
定点を表示させることを特徴とする請求項１記載の仮想
空間生成提示装置。
【請求項３】観察者の視点とその観察者の視点から表
示物体の所定点の３次元位置とを結ぶ直線の延長が前記
各々のディスプレイと交わる点との距離は、ユークリッ
ド距離、又はハニング距離を用いることを特徴とする請
求項２記載の仮想空間生成提示装置。
【請求項４】左目の視野に相当する画像と右目の視野
に相当する画像は、複数の頂点よりなるポリゴン内部の
点の内挿計算において、各頂点が同じディスプレイに表
示されないポリゴンに対し、表示される複数のディスプ
レイそれぞれについて、そのポリゴンに属する全ての頂
点を一つのディスプレイ上に投影したとしてそのディス
プレイ上に表示されるポリゴン内部の点を内挿すること
を特徴とする請求項１記載の仮想空間生成提示装置。
【請求項５】観察者の視点の３次元位置を測定する３
次元位置測定部を備え、前記画像生成部は、前記３次元
位置測定部により測定された前記観察者の視点の３次元
位置に応じて、左目の視野に相当する画像データと右目
の視野に相当する画像データを生成し、観察者の動きに
対応して視野内の画像を変化させることを特徴とする請
求項１記載の仮想空間生成提示装置。
【請求項６】観察者の指示により視点の３次元位置を
指定する３次元位置指定手段を備え、前記画像生成部
は、前記指定された視点の３次元位置に応じて、左目の
視野に相当する画像データと右目の視野に相当する画像
データを生成し、観察者の意図に対応して視野内の画像
を変化させることを特徴とする請求項１記載の仮想空間
生成提示装置。
【請求項７】前記画像生成部及び／又は前記画像表示
手段は、前記複数の方向の画像の内の少なくとも１つが
片方の眼用の画像のみを処理するものであることを特徴
とする請求項１〜６のいずれかに記載の仮想空間生成提
示装置。
【請求項８】図面に開示された内容を特徴とする仮想
空間生成提示装置。