JP2005011275A - 立体画像表示システム及び立体画像表示プログラム - Google Patents

立体画像表示システム及び立体画像表示プログラム Download PDF

Info

Publication number
JP2005011275A
JP2005011275A JP2003177433A JP2003177433A JP2005011275A JP 2005011275 A JP2005011275 A JP 2005011275A JP 2003177433 A JP2003177433 A JP 2003177433A JP 2003177433 A JP2003177433 A JP 2003177433A JP 2005011275 A JP2005011275 A JP 2005011275A
Authority
JP
Japan
Prior art keywords
data
viewpoint
display
image
opengl
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003177433A
Other languages
English (en)
Inventor
Takehiro Matsuo
武洋 松尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FIATLUX KK
Original Assignee
FIATLUX KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FIATLUX KK filed Critical FIATLUX KK
Priority to JP2003177433A priority Critical patent/JP2005011275A/ja
Publication of JP2005011275A publication Critical patent/JP2005011275A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】使い勝手の改善に寄与することができる立体画像表示システム及び立体画像表示プログラムを提供する。
【解決手段】OpenGL中間層インターフェースドライバ12は、OpenGLインターフェース11aからの座標データをVRビューワ15に供給する。VRビューワ15は、6自由度センサ40を介して入力される視点位置情報に応じてOpenGL中間層インターフェースドライバ12からの座標データから左眼画像と右眼画像の画像データを生成し、PCb50,PCc60に供給する。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は立体画像の表示に用いる立体画像表示システム及び立体画像表示プログラムに関する。
【0002】
【従来の技術】
3次元構造物を立体表示し、視点移動に伴って立体画像の表示を変更することにより、看者に仮想現実感を生じさせるVR(Virtual Reality:仮想現実)システムとして、例えば本願出願人による“SwingBoard”が知られている(例えば非特許文献1参照。)。
【0003】
3次元CAD(Computer Aided Design)システムでは、例えば設計中の3次元モデルを表示する視点の変換等の機能を有するものが知られている(例えば特許文献1参照。)。このような3次元CADシステムのうちのあるものでは、3次元モデルの座標演算結果をレンダリング等を行うハードウェアに提供する部分のインターフェースとしてOpenGL(商標)を用いたものも知られている。
【0004】
【非特許文献1】
谷前 太基、「普及型VRシステム“SwingBoard”のご紹介」、[online]、平成15年、クボタグラフィックス、[平成15年6月18日検索]、インターネット<URL:http://www.viz−journal.kgt.co.jp/topics/fiatlux.html>
【特許文献1】
特開2001−34792号公報(第6−7頁、第5−13図)
【0005】
【発明が解決しようとする課題】
従来のVRシステムでは、3次元モデルの記述言語としてVRML(Virtual Reality Markup Language)等のデータ形式を用いており、3次元CADシステムではDXF形式等のデータ形式を用いている。
【0006】
このため、上述の3次元CADシステムによって生成した3次元モデルをVRシステムによって表示させようとすると、データ形式を変換してVRシステムに入力する必要がある。
【0007】
このため、例えば3次元CADシステムで3次元モデルの変更を行ったような場合には、再度、データ形式の変換を行ってVRシステムに入力する必要があり、使い勝手の面で改善の余地があった。
【0008】
本発明は、上述のような課題に鑑み、使い勝手の改善に寄与することができる立体画像表示システム及び立体画像表示プログラムを提供することを目的とする。
【0009】
【課題を解決するための手段】
本発明に係る立体画像表示システムは、表示対象を構成するポリゴンの3次元座標を示すデータ(座標データ)を出力するアプリケーションプログラムから座標データを取得するデータ入力手段と、視点を示すデータ(視点データ)を入力する視点入力手段と、視点入力手段が入力した視点データに応じて座標データから複数の立体表示データを生成する表示データ生成手段とを備えることを特徴とする。
【0010】
また、本発明に係る立体画像表示プログラムは、表示対象を構成するポリゴンの3次元座標を示すデータ(座標データ)を出力するアプリケーションプログラムから座標データを取得するステップと、視点を示すデータ(視点データ)を入力するステップと、入力した視点データに応じて座標データから複数の立体表示データを生成するステップとを有することを特徴とする。
【0011】
【発明の実施の形態】
(構成)
本発明の一実施形態に係る立体画像表示システムは、例えば図1に示すように、アプリケーション等を実行させるパーソナルコンピュータ等の情報処理装置(以下、単にPCという。)a10と、アプリケーション等による表示に用いる表示装置20と、ユーザによる操作を入力するジョイスティック30と、ヘッドトラッキングデータを入力する6自由度センサ40と、左眼用の画像データの生成等を実行するPCb50と、右眼用の画像データの生成等を実行するPCc60と、立体画像を表示する立体表示装置70と、ユーザが使用する偏光グラス80とを備えている。
【0012】
PCa10は、CAD/CAE(Computer Aided Design / Computer Aided Engineering)等の汎用のアプリケーション11と、アプリケーション11からの表示対象物を構成するポリゴンの座標等の座標データを取得するOpenGL中間層インターフェースドライバ12と、OpenGL中間層インターフェースドライバ12からの座標データ及び変換行列等に応じてグラフィックスカード14による描画処理を制御するOpenGLインターフェースドライバ13と、ジョイスティック30及び6自由度センサ40からの入力と立体表示装置70と偏光グラス80の位置関係等に応じて左眼画像と右眼画像の視差に相当する変換行列の演算等の処理を行うVRビューワ15とを備えている。
【0013】
アプリケーション11は、3次元モデルを生成するのに例えば上述のCAD/CAEを用いており、3次元モデルの表示データの出力インターフェースとして例えばOpenGL(OpenGLインターフェース11a)を用いている。このアプリケーション11の出力は、従来のシステムでは、OpenGLインターフェースドライバ13に直接供給され、実際に表示画面21に表示する画像の画像データを生成するハードウェア、すなわちグラフィックスカード14に転送される。これに対し、この立体画像表示システムでは、アプリケーション11の出力は、OpenGL中間層インターフェースドライバ12を介してOpenGLインターフェースドライバ13に供給されると共に、VRビューワ15にも供給されるようになっている。
【0014】
OpenGL中間層インターフェースドライバ12は、OpenGLインターフェース11aによるAPI(Application Program Interface)コールをフックして、その内容(座標データ等)をAPIバッファとして蓄積し、VRビューワ15に供給する。
【0015】
OpenGL中間層インターフェースドライバ12が得た座標データ等の中には、VRビューワ15に必要でないものもあるため、VRビューワ15は、OpenGL中間層インターフェースドライバ12からの座標データ等の中から必要なもの(例えば表示対象物の座標データ)を選択する。また、VRビューワ15は、ジョイスティック30を介して入力されるユーザからの指示、6自由度センサ40を介して入力されるヘッドトラッキング情報(視点位置情報)に応じて表示対象物を立体表示するための左右両眼用の変換行列(透視変換行列・座標変換行列)を計算し、左眼用の変換行列と表示対象物の座標データをPCb50に供給し、右眼用の変換行列と表示対象物の座標データをPCc60に供給する。
【0016】
ジョイスティック30は、例えば、Logitech社のMagellan3D等の3次元座標を入力できるポインティングデバイスを用いることができる。また、6自由度センサ40は、例えば表示画面71の前面に設置された磁石による磁界を検出する3つの磁気センサ41と、各磁気センサ41が検出する磁界の強度に応じて6自由度(上述の図2中のx軸,y軸,z軸の座標と各軸に対する回転角)の検出を行う位置検出部42とを備えている。各磁気センサ41は、例えば偏光グラス80に装着されている。
【0017】
上述の立体表示装置70,偏光グラス80,6自由度センサ40等は、例えばフィアラックス社の“SwingBoard”によって実現することができる。
【0018】
PCa10と、PCb50及びPCc60は、例えばIEEE802.3等のネットワークで接続されており、VRビューワ15からPCb50,PCc60宛てのデータはこのネットワーク経由で供給されるようになっている。
【0019】
ところで、VRビューワ15からの変換行列と座標データ等をそのままの状態で転送すると転送量が多くなってリアルタイムレンダリングのボトルネックとなる可能性がある。このため、PCb50,PCc60に供給するデータはリアルタイムで圧縮して供給し、チャネル毎描画モジュール51,チャネル毎描画モジュール61側でリアルタイムで伸張して描画処理に用いるようにしている。
【0020】
VRビューワ15からの変換行列と座標データ等のデータサイズが大きい場合には、このように圧縮してPCb50,PCc60に供給することにより処理の高速性に寄与することができるが、本発明では圧縮処理は必須ではなく、リアルタイム性の要求が厳しくない場合あるいは変換行列と座標データのサイズがそれほど大きくない場合等には圧縮しないでそのままPCb50,PCc60に供給するようにしてもよい。
【0021】
また、PCb50は、VRビューワ15から供給される視点位置情報に応じた透視変換行列・座標変換行列と表示対象物のもともとの座標データ等に応じて左眼画像の描画を行うチャネル毎描画モジュール51と、このチャネル毎描画モジュール51の出力に応じてグラフィックスカード53による描画処理を制御するOpenGLインターフェースドライバ52とを備えている。
【0022】
同様に、PCb60は、VRビューワ15から供給される視点位置情報に応じた透視変換行列・座標変換行列と表示対象物のもともとの座標データ等に応じて右眼画像の描画を行うチャネル毎描画モジュール61と、このチャネル毎描画モジュール61の出力に応じてグラフィックスカード63による描画処理を制御するOpenGLインターフェースドライバ62とを備えている。
【0023】
立体表示装置70は、例えば図2に示すように、垂直方向に対して傾斜した表示画面71を有している。この表示画面71には、例えば2系統の偏光方向が異なるプロジェクターによる映像が投影される。各々の映像の偏光は、偏光グラス80の左グラス81又は右グラス82のいずれか一方のみを透過することができるようになっている。従って、グラフィックスカード53とグラフィックスカード63によって各々のプロジェクターを駆動すれば、左眼画像と右眼画像が表示画面71に表示され、偏光グラス80を介して表示画面71を見ることによって立体画像として認識することができる。
【0024】
(動作)
アプリケーション11は、例えば図3に示すように、表示画面21上のウィンドウ22内に、表示対象物25の頂点26,28、線27,29及び視点23等を示す画像を表示させる。この状態で、アイコン24の指示等のユーザの操作によって、頂点26,28の移動等の処理を行うことができるようになっている。
【0025】
このように指定した表示対象物25の立体表示が指示されると、図4に示す処理が開始され、VRビューワ15は、まず、OpenGL中間層インターフェースドライバ12からの座標情報(ポリゴン情報)を取り込む(S1)。
【0026】
OpenGL中間層インターフェースドライバ12が取得する情報は、具体的には、表示対象物25を構成するポリゴンの頂点の座標,ポリゴンの色,テキスチャ,シェーディング方法等を示す情報である。VRビューワ15は、これらの情報から表示対象物25の形状等を認識することができる。
【0027】
この後、VRビューワ15は、6自由度センサ40からの視点位置情報を取り込み(S2)、取り込んだ視点位置情報と立体表示装置70の配置等に応じて、左眼画像,右眼画像のチャネル毎に変換行列(透視変換行列・透視変換行列)を求め(S3)、求めた変換行列と表示対象物の座標データをPCb50,PCc60に供給する。
【0028】
PCb50,PCc60は、VRビューワ15から供給された変換行列と座標データに応じて各々表示画面71に左眼画像91,右眼画像92を表示させる。
【0029】
ユーザから終了が指示されていなければ、VRビューワ15は、6自由度センサ40からの視点位置情報を監視し(S4〜S2)、視点位置情報に応じて立体画像の表示を継続する。
【0030】
これにより、例えばユーザが移動して視点が変化すると、移動した視点に応じた立体画像が表示画面71に表示され、ユーザは、仮想現実感を感じることができる。具体的には、例えば図5に示すような画像が表示された状態で、右方向に移動すると、表示画面71に表示される画像は図6に示すように変化し、左眼画像91と右眼画像92の相対位置と形状が変化し、ユーザは表示対象物の右側面に回りこんだような感覚を得る。
【0031】
また、例えば図5に示す状態からユーザが後ろに下がると、図7に示すように、左眼画像91と右眼画像92が小さくなると共に、これらの間の視差が小さくなって、ユーザは表示対象物から離れたような感覚を得る。
【0032】
また、例えばユーザが表示画面21を見ながら、表示対象物の頂点を移動すると、OpenGL中間層インターフェースドライバ12からVRビューワ15に供給される座標データが更新されて、移動した頂点の座標が表示画面71に表示される立体画像にリアルタイムに反映される。
【0033】
(透視変換・座標変換詳細)
VRビューワ15が行う透視変換行列・座標変換行列の計算は、具体的には、例えば上述のようにOpenGL中間層インターフェースドライバ12から取得した表示対象物が図8中の符号100に示す位置にあるとして、表示対象物を構成するポリゴンを視点(左グラス81,右グラス82に対応する位置)の位置から表示画面71上に投影することによって行う。
【0034】
これにより、例えば表示対象物が同図中の符号100に対応する断面を有する直方体である場合には、視点が同図中の符号Aの位置にある場合には、表示画面71上に同図中の符号101で示される画像が表示され、視点Aから見た画像は同図中に符号111で示すようになる。この状態で、視点が符号Bの位置に移動すると、直方体の側面に回りこむと同時に視点から表示対象物(この場合は直方体)までの距離が近くなるため、表示画面71上には符号102で示される画像が表示される。この場合では、表示画面71上には、符号102で示す画像の左側の境界線は右側の境界線より大きく表示されるが、視点Bからは視点Bと表示画面71の間の距離に応じた大きさで見えるため、視点Bから見た符号102の画像は、例えば符号112に示すような形状になる。
【0035】
VRビューワ15は、上述のような処理を左グラス81の視点と右グラス82の視点について行い、処理結果を各々チャネル毎描画モジュール51,52に供給する。これにより、左眼の位置と右眼の位置に応じた画像データが生成されて表示画面71に表示され、立体画像として表示される。
【0036】
(効果)
上述のように、この立体画像表示システムでは、出力インターフェースとしてOpenGLを備えるCAD/CAE等の汎用のアプリケーションの出力をそのまま用いてユーザの視点の変化に応じた立体画像の表示を行うことができる。
【0037】
また、従来の立体画像表示システムでは、汎用のアプリケーションの出力はデータ形式を変換した後に使用していたため、アプリケーションのデータを変更した際等には、再度データ形式の変換を行ってから立体画像の表示を行う必要があった。これに対し、この立体画像表示システムでは、アプリケーション側で表示対象物の変形等を行うと、この変形がVRビューワ15による表示画像にも反映されるため、設計から表示までの作業を連続的に行うことができ、使い勝手の向上に寄与することができる。
【0038】
また、データ形式の変換は完全ではない場合もあり、不完全なデータ形式の変換によって問題が生じる可能性があるが、この立体画像表示システムでは、アプリケーション側のデータ変換を行わないため、データ形式の変換に伴う互換性等の問題を避けることができる。
【0039】
さらに、アプリケーションにおいて実装されている例えば視点の変換,変形等の機能はそのまま立体画像の表示に用いることができるため、VRシステム側に機能を実装する場合に比較して実装を容易に行うことができる。
【0040】
以上により、この立体画像表示システムは、使い勝手の改善に寄与することができる。
【0041】
(変形例)
上述の説明では、アプリケーションの出力インターフェースとしてOpenGL(商標)を用いた例について説明したが、Direct3D(商標)等の他の出力インターフェースを用いている場合にも、OpenGL中間層インターフェースドライバ12,OpenGLインターフェースドライバ13等の実装を変更すれば、上述の実施形態と同様に本発明を適用することができる。
【0042】
また、上述の説明では、偏光グラス80によって左眼画像と右眼画像の画像を分離する構成について説明したが、例えば表示画面71自体に所定の指向性を持たせて複数の画像を表示し得るように構成すれば偏光グラス80を用いないで立体画像の表示を行うことができる。この場合は、表示画面71に3系統以上の画像を表示させることも可能であるため、PCb50,PCc60に加えて、表示させる画像の系統の数に対応するPCを設けるようにしてもよい。
【0043】
また、上述の説明では、1系統の画像を生成するのに1台のPCを用いた例について説明したが、1系統の画像を複数のPCによって生成するようにしてもよい。これにより、各PCにおける画像の生成の処理負荷が低減し、リアルタイム性の向上あるいは画像の高精細化を実現させることができるようになる。
【0044】
【発明の効果】
本発明では、表示対象を構成するポリゴンの3次元座標を示すデータ(座標データ)を出力するアプリケーションプログラムから座標データを取得し、視点を示すデータ(視点データ)に応じて座標データから複数の立体表示データを生成することにより、使い勝手の改善に寄与することができる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る立体画像表示システムの構成を示す図である。
【図2】前記立体画像表示システムを構成する立体表示装置の外観を示す図である。
【図3】前記立体画像表示システムを構成する表示装置に表示される画像の例を示す図である。
【図4】前記立体画像表示システムを構成するVRビューワによる制御の例を示すフローチャートである。
【図5】前記立体画像表示システムを構成する立体表示装置に表示される画像の例を示す図である。
【図6】前記立体画像表示システムを構成する立体表示装置に表示される画像の例を示す図である。
【図7】前記立体画像表示システムを構成する立体表示装置に表示される画像の例を示す図である。
【図8】前記立体画像表示システムによる立体画像の表示を概念的に示す図である。
【符号の説明】
11…アプリケーション,11a…OpenGLインターフェース,12…OpenGL中間層インターフェースドライバ,15…VRビューワ,40…6自由度センサ,80…偏光グラス

Claims (2)

  1. 表示対象を構成するポリゴンの3次元座標を示すデータ(座標データ)を出力するアプリケーションプログラムから前記座標データを取得するデータ入力手段と、
    視点を示すデータ(視点データ)を入力する視点入力手段と、
    該視点入力手段が入力した視点データに応じて前記座標データから複数の立体表示データを生成する表示データ生成手段と
    を備えることを特徴とする立体画像表示システム。
  2. 表示対象を構成するポリゴンの3次元座標を示すデータ(座標データ)を出力するアプリケーションプログラムから前記座標データを取得するステップと、
    視点を示すデータ(視点データ)を入力するステップと、
    該入力した視点データに応じて前記座標データから複数の立体表示データを生成するステップと
    を有することを特徴とする立体画像表示プログラム。
JP2003177433A 2003-06-23 2003-06-23 立体画像表示システム及び立体画像表示プログラム Pending JP2005011275A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003177433A JP2005011275A (ja) 2003-06-23 2003-06-23 立体画像表示システム及び立体画像表示プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003177433A JP2005011275A (ja) 2003-06-23 2003-06-23 立体画像表示システム及び立体画像表示プログラム

Publications (1)

Publication Number Publication Date
JP2005011275A true JP2005011275A (ja) 2005-01-13

Family

ID=34099991

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003177433A Pending JP2005011275A (ja) 2003-06-23 2003-06-23 立体画像表示システム及び立体画像表示プログラム

Country Status (1)

Country Link
JP (1) JP2005011275A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007048293A (ja) * 2005-08-05 2007-02-22 Samsung Sdi Co Ltd 3dグラフィックデータ処理装置及び立体映像表示装置並びに立体映像表示装置の駆動方法
JP2007080029A (ja) * 2005-09-15 2007-03-29 Kgt Inc 複数の3次元コンピュータグラフィックスを合成して1つに統合する方法
JP2009223889A (ja) * 2008-03-14 2009-10-01 Seiko Epson Corp データ処理方法、コンピューター読み取り可能な媒体およびリアルタイム3d画像装置
US8154543B2 (en) 2005-07-05 2012-04-10 Samsung Mobile Display Co., Ltd. Stereoscopic image display device
US8207961B2 (en) 2005-07-05 2012-06-26 Samsung Mobile Display Co., Ltd. 3D graphic processing device and stereoscopic image display device using the 3D graphic processing device

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8154543B2 (en) 2005-07-05 2012-04-10 Samsung Mobile Display Co., Ltd. Stereoscopic image display device
US8207961B2 (en) 2005-07-05 2012-06-26 Samsung Mobile Display Co., Ltd. 3D graphic processing device and stereoscopic image display device using the 3D graphic processing device
JP2007048293A (ja) * 2005-08-05 2007-02-22 Samsung Sdi Co Ltd 3dグラフィックデータ処理装置及び立体映像表示装置並びに立体映像表示装置の駆動方法
US8279221B2 (en) 2005-08-05 2012-10-02 Samsung Display Co., Ltd. 3D graphics processor and autostereoscopic display device using the same
JP2007080029A (ja) * 2005-09-15 2007-03-29 Kgt Inc 複数の3次元コンピュータグラフィックスを合成して1つに統合する方法
JP2009223889A (ja) * 2008-03-14 2009-10-01 Seiko Epson Corp データ処理方法、コンピューター読み取り可能な媒体およびリアルタイム3d画像装置

Similar Documents

Publication Publication Date Title
JP4553362B2 (ja) システム、画像処理装置、情報処理方法
EP3057066B1 (en) Generation of three-dimensional imagery from a two-dimensional image using a depth map
JP5160741B2 (ja) 3dグラフィック処理装置及びこれを利用した立体映像表示装置
JP4555722B2 (ja) 立体映像生成装置
JP5996814B1 (ja) 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム
JP3230745B2 (ja) 3次元画像生成装置及び生成方法
US10546429B2 (en) Augmented reality mirror system
KR20110102365A (ko) 3차원 컨텐츠와 상호 작용하기 위한 이머시브 표시 시스템
CN110546951B (zh) 合成立体视觉图像内容捕获
JP2008083786A (ja) 画像生成装置および画像生成方法
JP5059986B2 (ja) 画像生成方法、画像生成プログラム及び画像投影装置
JP2006318095A (ja) 画像処理方法、画像処理装置
JP2019008623A (ja) 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体
WO2015048905A1 (en) System and method for incorporating a physical image stream in a head mounted display
JP2020173529A (ja) 情報処理装置、情報処理方法、及びプログラム
JP6963399B2 (ja) プログラム、記録媒体、画像生成装置、画像生成方法
JPWO2021076757A5 (ja)
JP2007318754A (ja) 仮想環境体験表示装置
JP2005011275A (ja) 立体画像表示システム及び立体画像表示プログラム
JPH10232953A (ja) 立体視画像生成装置
CN114513646A (zh) 一种三维虚拟场景中全景视频的生成方法及设备
JP2001175885A (ja) 立体画像表示装置用2dー3d画像変換方式および装置
Hoang et al. Real-time stereo rendering technique for virtual reality system based on the interactions with human view and hand gestures
US10715783B1 (en) Stereo-aware panorama conversion for immersive media
WO2023120217A1 (ja) 情報処理装置、情報処理方法およびプログラム