JP2001022344A - 立体画像処理装置、その方法、立体視パラメータ設定装置、その方法そしてコンピュータプログラム記憶媒体 - Google Patents

立体画像処理装置、その方法、立体視パラメータ設定装置、その方法そしてコンピュータプログラム記憶媒体

Info

Publication number
JP2001022344A
JP2001022344A JP11194802A JP19480299A JP2001022344A JP 2001022344 A JP2001022344 A JP 2001022344A JP 11194802 A JP11194802 A JP 11194802A JP 19480299 A JP19480299 A JP 19480299A JP 2001022344 A JP2001022344 A JP 2001022344A
Authority
JP
Japan
Prior art keywords
stereoscopic
image
image processing
parameter
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11194802A
Other languages
English (en)
Other versions
JP3619063B2 (ja
Inventor
Shinji Uchiyama
晋二 内山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mixed Reality Systems Laboratory Inc
Original Assignee
Mixed Reality Systems Laboratory Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mixed Reality Systems Laboratory Inc filed Critical Mixed Reality Systems Laboratory Inc
Priority to JP19480299A priority Critical patent/JP3619063B2/ja
Priority to US09/512,828 priority patent/US6677939B2/en
Publication of JP2001022344A publication Critical patent/JP2001022344A/ja
Application granted granted Critical
Publication of JP3619063B2 publication Critical patent/JP3619063B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

(57)【要約】 【課題】 立体視パラメータが定義されていないＶＲＭ
Ｌデータに対して立体視パラメータの最適値を最適のタ
イミングに設定することのできる立体画像処理装置を提
案するものである。。 【解決手段】 左目用画像と右目用画像のいずれか一方
の画像データと、前記左目用画像と右目用画像とが所定
の二次元描画空間においてずれて見える筈の視差距離と
に基づいて、立体視パラメータを決定する。パラメータ
決定の際に、物体の所定の物体点についての画像データ
が二次元描画空間に描画された際に現れる左右間の視差
距離を前もって設定し、前記物体点の前記二次元描画空
間上の座標から、観察者の基線長方向に、前記視差距離
だけ離間したズレ点の位置を演算し、このズレ点の三次
元空間における座標を演算し、更に、前記ズレ点の三次
元座標と前記物体点との距離に基づいて基線長の値を決
定する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、例えばVRML（Virt
ual Reality Modeling Language）等の三次元の仮想空
間を扱う言語により記述された空間データを立体視可能
な画像データに変換する立体画像処理装置、立体視パラ
メータ設定装置、立体画像表示装置、更にはそれらの方
法に関する。
【０００２】
【従来の技術】近年の計算機の能力向上と共に、3次元
コンビュータグラフィクス（CG）が急速に一般化しつつ
ある。それと相まって、インターネット上のWWW(World
Wide Web)の急速な普及と共に、3次元空間をWWW上で取
り扱う言語としてVRML（VirtualReality Modeling Lang
uage）が標準化され、広く使われてきている。
【０００３】現時点で公表されている最新版のVRML2.0
は、エレクトリック・コマース用の仮想モール構築、ま
た、イントラネットでのCAD等の3次元データの管理等で
用いられている。
【０００４】一方、本発明の出願人は、観察者が直接奥
行きを知覚できる立体表示装置として、リアクロスレン
チrear-cross lenticular type方式の3Dディスプレイ
（以下、3Dディスプレイを二次元表示装置と区別するた
めに「立体表示装置」と略す）を開発しているが、出願
人のこの表示装置以外にも多くの立体表示装置が提案さ
れている。
【０００５】このVRML2.0で記述された3次元空間を表示
するためには、VRMLビューワ装置が必要となる。一般に
普及しているVRMLビューワ装置は、記述している空間は
3次元であるものの、最終的な表示は通常のモニタを用
いた2次元表示（以下、「立体表示装置」との対比上
「二次元表示装置」と略す）に留まっている。
【０００６】この理由は、従来のVRMLビューワ装置が、
立体視用画像を効率よく生成することができず、そのた
めに、リアルタイムの立体画像の再現に向かないこと、
立体視を実現するための一部パラメータ（以下、「立体
視パラメータ」と略す）がVRML2.0でサポートされてい
ないために、事実上、立体視を実現することができなか
ったからである。
【０００７】立体視パラメータとは、基線長、輻輳角、
視野角などに関連するパラメータをいう。３次元幾何モ
デル・仮想空間・仮想物体等といった対象を、立体表示
する場合において、その対象の大きさの単位又は値が明
瞭である場合は、その大きさを認識でき、且つ立体視が
可能なように表示することは可能である。しかしなが
ら、例えば基線長の設定を誤ると立体視は不可能とな
る。従って、立体視パラメータの初期値を正しく設定す
ることは大きな要請である。
【０００８】この点で、本出願人は、特願平１０−１８
５１３５号（平成１０年６月３０日）において、基線長
の初期値を、画像空間の大きさから求め、例えば６５mm
とし、又、輻輳角を０度（即ち、平行視）とすることを
提案した。
【０００９】立体視パラメータは初期的に設定する時点
でのみ問題となるのではない。
【００１０】例えば、仮想空間で体験者にウォークスル
ーシステムを提供している最中において、対象を観察す
る視点条件（視点位置・視軸方向）は動的に変化するも
のである。そのために、基線長や輻輳角の初期値を適正
に設定しても、ウォークスルーに伴う視点条件の変化に
より、基線長や輻輳角を動的に変化させる必要がある。
【００１１】この要請に対して、本出願人は、上記特願
平１０−１８５１３５号において、グラフィック・ユー
ザインタフェースを立体ディスプレイの表示画面上に設
け、このユーザインタフェースを介して、体験者が上記
立体視パラメータを動的に変更する途を提案した。
【００１２】
【発明が解決しようとする課題】上記特願平１０−１８
５１３５号は、立体視パラメータの初期値、更にはリア
ルタイム値を提案するものではある。
【００１３】しかしながら、この従来技術において、基
線長を例えば６５mmに設定することは、取り敢えず立体
視を可能とするために、その画像空間の実際の大きさを
無視して、画像空間を人間の大きさに無理に合わせよう
とするものであることから、観察者若しくはユーザに違
和感を与えることは禁じ得ない。
【００１４】又、輻輳角の初期値を０度とすることは、
立体視を可能とはするが、これも本来的に望ましい立体
視とは限らない。
【００１５】なお、立体視パラメータの初期値及びリア
ルタイム値を設定する課題はVRMLデータを扱うシステム
に限定されない。およそ立体視パラメータが設定されて
いない三次元空間データ若しくは立体画像データ、ある
いは立体視パラメータを動的に変更する必要のある仮想
空間での三次元空間データであれば、あらゆる空間デー
タにおいて発生する課題である。
【００１６】
【課題を解決するための手段】本発明は上述の従来技術
及び本出願人の提案技術に鑑みてなされたもので、その
目的は、立体視パラメータの最適な初期値を自動的に設
定する画像処理装置及びパラメータ設定装置を提案す
る。
【００１７】本発明の他の目的は、立体視パラメータの
最適リアルタイム値を自動的に更新する画像処理装置及
びパラメータ設定装置を提案する。
【００１８】本発明のさらに他の目的は、ユーザ若しく
は観察者の要求に応じて立体視パラメータの最適値を設
定する画像処理装置及びパラメータ設定装置を提案す
る。
【００１９】上記課題を達成するための、本発明の請求
項１にかかる、任意の物体の左目用画像と右目用画像と
を表示して前記物体の立体視を得る立体画像処理装置
は、前記左目用画像と右目用画像のいずれか一方の画像
データと、二次元描画空間における前記左目用画像と右
目用画像とのズレ距離を表すズレ情報とに基づいて、立
体視パラメータを決定するパラメータ決定手段と、決定
された立体視パラメータを前記左目用画像と右目用画像
の立体視出力に用いる出力手段とを具備することを特徴
とする。
【００２０】立体視パラメータとして例えば基線長を、
上記ズレ距離の三次元空間での距離に設定すれば、立体
視は確保される。即ち、立体視パラメータがユーザ若し
くは観察者の手を煩わすことなく設定される。
【００２１】本発明の好適な一態様である請求項２に拠
れば、前記パラメータ決定手段は、前記物体の所定の物
体点についての画像データが前記二次元描画空間に描画
された際に現れる左右間のズレ距離を前もって設定する
ズレ距離設定手段と、前記物体点の前記二次元描画空間
上の座標から、観察者の基線長方向に、前記ズレ距離だ
け離間したズレ点の位置を演算するズレ演算手段と、こ
のズレ点の三次元空間における座標を演算する座標変換
手段と、
【００２２】前記ズレ点の三次元座標と前記物体点との
距離に基づいて基線長の値を決定する基線長決定手段を
具備することを特徴とする。
【００２３】立体視パラメータを決定することの必要性
は、立体視パラメータに関するデータを有していない三
次元データの取り扱い時に顕著である。このようなデー
タに対して立体視パラメータの初期値を設定する必要が
あるから、本発明の好適な一態様である請求項３に拠れ
ば、観察者の視点位置の移動に拘わらず、前記パラメー
タ決定手段によって決定された立体視パラメータの値は
初期値として用いられる。
【００２４】視点条件が変化すれば、三次元データの見
え方が大きく変化する場合が生じるため、立体視パラメ
ータの再計算が必要となる。そこで、本発明の好適な一
態様である請求項４に拠れば、前記パラメータ決定手段
を再起動して、任意時点の立体視パラメータの値を再計
算する。
【００２５】前記物体点（例えば仮想物体上の観察者に
最も近い点）は二次元描画空間中において特定されねば
ならない。そこで、本発明の好適な一態様である請求項
５に拠れば、前記物体点は所定の条件を満足すべきもの
とされ、満足する物体点が前記描画空間において高速に
探索されるように、前記描画空間における複数の探索位
置が前もって離散的分布を有するように設定されてい
る。
【００２６】本発明の好適な一態様である請求項６に拠
れば、前記立体視パラメータは、基線長と輻輳角の少な
くとも１つを含む。
【００２７】立体視パラメータの最適値の設定は視点位
置が移動するからである。そこで、本発明の好適な一態
様である請求項７に拠れば、前記移動手段は観察者の現
実の視点位置の移動量を検知するセンサを有する。例え
ば、複合現実空間におけるウォークスルーに好適であ
る。
【００２８】本発明の好適な一態様である請求項８に拠
れば、前記移動手段は観察者の仮想的な視点位置の移動
量を検知するセンサを有する。例えば、仮想空間におけ
る例えばマウスなどを用いたウォークスルーに好適であ
る。
【００２９】観察者の視点位置の移動量が所定値を超え
たときは、立体視パラメータを再計算すべき場合が多
い。そこで、本発明の好適な一態様である請求項９に拠
れば、かかる場合に、前記パラメータ決定手段を再起動
して、その時点の立体視パラメータの値を再計算する。
【００３０】立体視パラメータの再計算のタイミング
は、常に自動的に設定されるべきではなく、ユーザの要
求に従って設定されてもよい。そこで、本発明の好適な
一態様である請求項１０に拠れば、観察者のリクエスト
に応じて、前記パラメータ決定手段を再起動して、その
時点の観察者の視点位置での立体視パラメータの値を再
計算する。
【００３１】本発明の目的は、立体視パラメータの値の
最適値を自動的に設定するものであるが、その値を、別
途、ユーザ自身が設定するようにしてもよい。そこで、
本発明の好適な一態様である請求項１１に拠れば、手動
で立体視パラメータの値を設定するユーザインタフェー
ス手段を更に具備する。
【００３２】請求項１１の装置においては、立体視パラ
メータの値が、自動設定される場合とユーザが設定しよ
うとする場合とで競合する。そこで、本発明の好適な一
態様である請求項１２に拠れば、前記ユーザインタフェ
ース手段と前記立体視パラメータ設定手段との競合の調
停をとる手段を更に具備する。後述の実施形態では、い
ずれのモードをとるかを指定するアイコンが表示画面上
に表示される。
【００３３】立体視パラメータとして輻輳角を設定する
場合には、請求項１３のパラメータ決定手段は、入力画
像の仮想空間の奥行き方向の広がりを求め、観察者の左
右の視点位置から見える、この仮想空間の奥行き方向の
広がりの略中間位置の方向に基づいて輻輳角の値を決定
する。
【００３４】本発明の好適な一態様である請求項１４に
拠れば、前記所定の物体点は、入力画像の奥行き方向に
ついて、観察者の視点位置に略最も近い前記物体上の最
近点に設定される。
【００３５】本発明の好適な一態様である請求項１５に
拠れば、ズレ距離は、立体画像が表示される表示装置の
画素サイズと、この表示装置の表示画面から観察者まで
の距離とに基づいて前もって決定されている。これらの
要素によって決定されたズレ距離の最大値に一致するよ
うなパラメータ、例えば基線長、は立体視を保証する。
【００３６】ズレ距離は、表示装置毎に、また、観察者
の画面までの距離に応じてまちまちとなる。そこで、本
発明の好適な一態様である請求項１６に拠れば、この立
体画像処理装置に接続可能な複数の表示装置の種類と表
示画面から観察者までの距離との組み合わせに応じて前
もって決められた値を有するズレ距離を前もって記憶す
るメモリと、表示画面から観察者までの距離を検知する
手段とを有し、前記パラメータ設定手段は、このメモリ
から、接続されている表示装置と貸間での距離とに適合
した視差距離値を読み出す。
【００３７】左右の視点位置での視軸が平行する場合に
は、仮想空間の物体の最近点が最も視差距離が大きい値
を示す。そこで、本発明の好適な一態様である請求項１
７に拠れば、前記最近点は、前記左目用画像と右目用画
像のいずれか一方の画像データに、観察者の視点からの
前記二次元描画空間への透視変換を施し、透視変換され
た画像データのなかから最も小さな奥行き値を有する画
素に決定される。
【００３８】本発明の好適な一態様である請求項１８に
拠れば、前記ズレ演算手段は、前記左目用画像と右目用
画像のいずれか一方の画像データに、観察者の視点から
の前記二次元描画空間への透視変換を施す手段と、上記
手段により透視変換された画像データのなかから最も小
さな奥行き値を有する画素を前記最近点として決定する
最近点決定手段と、この最も小さな奥行き値を有する画
素の座標から、観察者の基線長方向に、前記視差距離だ
け離間したズレ点の二次元描画空間における位置を演算
する手段と、このズレ点の三次元空間における座標を、
このズレ点の二次元描画空間における位置に、前記左目
用画像と右目用画像のいずれか他方の視点からの逆透視
変換を施すことにより、求める手段とを具備する。
【００３９】汎用のワークステーションやパソコンは三
次元画像処理装置にｚバッファ（若しくはdepthバッフ
ァ）を有する。これらのバッファには、三次元画像の描
画時に、奥行き値が保存される。請求項１９により、こ
の保存された奥行き値を流用することにより、システム
リソースの軽減と計算負荷の軽減とを計ることができ
る。
【００４０】本発明の好適な一態様である請求項２０に
拠れば、前記最近点を前記二次元描画空間において探索
するために、複数の探索ポイントのこの二次元描画空間
における分布パターンが、中心部ほど密に、周辺部ほど
疎になるように設定されている。観察者は、中心部を見
つめることが多く、注視している領域で立体視が確保さ
れていれば十分であるからである。
【００４１】仮想空間の物体の凹凸の分布に応じて、最
近点は様々に変化する。そこで、本発明の好適な一態様
である請求項２１に拠れば、前記最近点を前記二次元描
画空間において探索するために、複数の探索ポイントの
この二次元描画空間における分布パターンが複数通り設
定されており、
【００４２】観察者の視点位置・姿勢を検出し、この位
置・姿勢に適合した分布パターンを選択する。
【００４３】本発明の目的は、請求項２２の、任意の物
体の左目用画像と右目用画像とを立体表示するための立
体視パラメータを決定する立体視パラメータ設定装置で
あって、前記左目用画像と右目用画像のいずれか一方の
画像データと、二次元描画空間における前記左目用画像
と右目用画像とのズレ距離を表すズレ情報とに基づい
て、立体視パラメータを決定するパラメータ決定手段を
有し、決定された立体視パラメータを、後の立体視のた
めに、記憶しまたは外部に出力することを特徴とする立
体視パラメータ設定装置によっても達成される。
【００４４】かかる立体視パラメータ設定装置では、請
求項２３のように、決定された立体視パラメータの値を
記憶するメモリと、立体視パラメータの値を更新し、更
新結果を前記メモリに記憶する手段とを具備する。
【００４５】本発明の目的は、請求項１乃至２１のいず
れかに記載の立体画像処理装置を具備する立体画像表示
装置によっても達成できる。
【００４６】
【発明の実施の形態】以下、本発明を、本出願人が開発
したリアクロスレンチ方式の3Dディスプレイを立体表示
装置として用い、ウォークスルー体験をユーザに提供す
るウォークスルー体験システムに適用した実施形態を説
明する。尚、本発明は、リアクロスレンチ方式の3Dディ
スプレイのみに適用可能なものではないこと、ウォーク
スルー体験システムにのみに適用可能なものではないこ
とは、後述の説明から明らかになるであろう。
【００４７】〈ウォークスルー・システム〉第１図は、
このウォークスルーシステムに適用される立体画像表示
装置の構成を示す。この表示装置１０００は、通常のワ
ークステーションのように、ディスプレイ１０と、ディ
スプレイ１０に表示するデータを一時的に格納するフレ
ームバッファ１１と、描画用画像データ（の他にマスク
情報や距離情報も）を記憶するフレームバッファ１１
と、ＣＰＵ１２と、キーボード１３と、マウス１４と、
プログラムなどを格納する記憶装置１５と、三次元空間
データベースを記憶する大容量記憶装置１６と、さらに
ディスプレイ１０からユーザ（観察者）までの距離LGH
を測定する測距センサ１７と、観察者の視点の視点位置
・姿勢OBを検出する視点位置センサ１８とを有する。
尚、観察者の位置及び視点が予め決められた範囲内での
み許されるのであれば、測距センサや視点位置センサは
不要となろう。
【００４８】ディスプレイ１０は、立体視が可能となる
ように、本出願人により提案されているリアクロスレン
チ方式の眼鏡無し（即ち、裸眼）3Dディスプレイを用い
ている。
【００４９】リアクロスレンチ方式の裸眼立体ディスプ
レイ１０は、第２図に示すようにTFTの波晶（LC）パネ
ル２０とバックライト・パネル２４との間に2枚のレン
チキュラーレンズ（Ｈレンチキュラーレンズ２１、Ｖレ
ンチキュラーレンズ２２）と市松状マスクパネル２３を
配置した構成を特徴としている。Ｖレンチキュラーレン
ズ２２は、バックライト２４からの照明光の指向性を走
査線毎に変えて左眼方向と右眼方向とに分離する役割を
もつ。Ｈレンチキュラーレンズ２１は、市松状マスク２
３の1つの水平ラインの開口からの光を、LCパネル２０
の一走査線上に集光させ、クロストークの発生を防ぐと
同時に、開口部からの光を観察者の方へ発散する光束と
することで垂直方向の立体視域を拡大している。
【００５０】第３図は、第２図のLCパネル２０の一部領
域Ａを拡大表示したものである。このディスプレイ１０
では、第３図に示すように、立体視用の左右ステレオ画
像対を横ストライプ状に交互に並べて合成した画像をLC
パネル２０に表示する。そのため、縦ストライプ画像を
入力とする通常のレンチキュラ方式と比較して、波晶の
縦ストライプに対応した色分離が発生しない、波晶シャ
ッター眼鏡などで標準に使われる時分割フィールド順次
方式の水平ストライプ合成画像と互換性がある、等の特
長を持つ。
【００５１】ウォークスルーすべき仮想空間の立体画像
はディスプレイ１０上に標示される。ウォークスルーを
体験するユーザは、マウス１４又はキーボード１３によ
り、進行方向及び移動距離を指定する。ＣＰＵ１２は、
メモリ１５に記憶された所定のウォークスルーアプリケ
ーション・プログラムに従って、移動先の仮想画像を生
成し、その仮想画像をディスプレイ１０上に表示させる
ことにより、仮想空間を疑似体験させる。
【００５２】今、このウォークスルー空間において、第
４図のように、４つの狭領域１，２，３，４が設定され
ている場合を想定する。異なる狭領域に跨ってウォーク
スルーする場合には、マウスにより移動経路５又は６な
どを指定すればよい。このウォークスルー空間の狭領域
の夫々について、三次元空間データベースがメモリ１６
に記憶されている。従って、本システム、即ちアプリケ
ーション・プログラムは、メモリ１６に記憶されている
各狭領域の三次元空間データにおいて立体視パラメータ
が設定されていない場合には、後述するように、立体視
パラメータの初期値を設定する。又、例えば、別の狭領
域（空間）に移動するような場合には、視点条件（視点
位置、視軸方向）が大きく変わることとなり、このため
に、立体視パラメータをその時点で移動先の狭空間での
視点条件（視点位置、視軸方向）に合致するように変更
する必要がある。
【００５３】このように、本実施形態のシステムは、立
体視パラメータの初期最適値のみならず動的な最適値
を、ダイナミック（ユーザの手を介さずに、或いは必要
に応じてユーザの指示により）に設定することができ
る。
【００５４】〈基線長最適値の決定原理〉第５図は、メ
モリ１６に記憶された空間データが合成されて表示され
る様子を示す。同図において、立体視のための空間デー
タは、右目用画像３１と左目用画像３２とが前もってメ
モリ１６に記憶され、適切な基線長と輻輳角が設定され
たならば第５図の３３に示すように、ディスプレイ１０
上では、２つの画像３１，３２が見かけ上のズレを持っ
て、例えば第６図のように表示される。このズレ量が適
切に設定されれば、体験者には、画像３１，３２は融像
した立体画像として感知される。
【００５５】本システムにおける基線長の最適値の決定
は、ステレオ画像３１，３２が第６図のように表示され
た場合において、画面上に現れる画像３１と画像３２の
視差の最大値（以下、「最大視差量」と呼ぶ）を問題に
する。ここで、視差とは、本来は１つの点（仮想物体或
いは現実物体の上の点）についての、二次元空間で描画
表示された画像３１と画像３２上における夫々の点の距
離であって、そのような距離の中（仮想物体或いは現実
物体の上の点は多数ある）で最大値を指すものとする。
【００５６】表示された物体画像３１，３２が体験者に
よって立体的に知覚できるか否かは、ディスプレイ１０
の大きさ、特性（例えば画素ピッチ）、視点から画面ま
での距離などの条件の他に、上述の視差量が、密接に関
係することはよく知られている。本実施形態のシステム
は、この最大視差量を、 ・ディスプレイ毎に調整する、 ・一定量以下に調整する、 ・自動的に調整する ものである。本実施形態の基線長決定の原理を第７図乃
至第１０図を用いて説明する。
【００５７】尚、説明を簡略化するために、物体として
四角錐３０を想定する。メモリ１６に記憶されたこの物
体３０の三次元空間データは、この四角錐３０を第７図
に示すような配置の左右の仮想カメラで撮影すると、第
６図のようなステレオ画像が得られるデータである。こ
の仮想カメラによる撮像の様子を上方から見たとする
と、物体３０と左右夫々の仮想カメラの視点との関係は
第８図のようになる。尚、第８図において、仮想撮像面
とは、その仮想カメラの撮像面であり、その解像度はデ
ィスプレイ１０の解像度に一致させており、仮想カメラ
の１画素分の画像データは、ディスプレイ１０の表示画
面の１画素に表示される。このために、スケールを考慮
しなければ、仮想撮像面上の位置は、表示ディスプレイ
上の表示位置に等価である。
【００５８】第８図において、四角錐３０の頂点４０
は、右仮想カメラの撮像面上（即ち、表示面上）の点４
１Ｒに、左仮想カメラの撮像面上（即ち、表示面上）の
点４１Ｌに射影される。即ち、左右の仮想カメラの視点
位置間の距離（即ち、基線長）が距離４２に設定されて
いる場合に、物体３０上の点４０の三次元位置と、基線
長４２と、射影点４１Ｌ，４１Ｒ間の距離４３とは、夫
々、一対一に対応することになる。
【００５９】第６図に関連して説明したように、対象
（この場合は物体３０）が変化（変形や移動）していな
い場合には、基線長の変化量が物体の任意の点の仮想画
面上での最大視差量に影響する。特に、第８図のよう
に、２つの仮想カメラの視軸方向が平行である場合に
は、最大視差量は基線長の変化のみによって支配され
る。この場合、最大視差量の変化と基線長の変化は一次
の関係にあるので、立体視を可能にする（即ち、最大視
差量を一定値以下にする）ためには、立体視パラメータ
としての基線長を調整すればよいことになる。
【００６０】一方、第７図のように仮想カメラの視軸は
平行である場合には、視点に最も近い物体上の点の視差
量が最大となるから、このような視点に最も近い物体上
の点の視差量を計算し、この視差量に基づいて基線長を
計算すれば、その物体（第７図の例では四角錐３０）の
全ての点についての立体視が保証されることがわかる。
【００６１】従って、このウォークスルー立体視システ
ムでは、
【００６２】・物体上の点のうち、仮想カメラ視点に最
も近い点（或いは、最も近いと思われる点）（以下、
「最近点」と略称する）を決定する処理（「最近点決定
処理」と呼ぶ）と、 ・この最近点の撮像面上でのズレ量を基にした基線長の
決定処理（「基線長決定処理」と呼ぶ）、という２つの
処理が組み込まれている。
【００６３】〈基線長決定処理の原理〉まず、最近点が
既に決定されている場合において、その最近点に基づい
た基線長決定処理の原理について第９図，第１０図を用
いて説明する。
【００６４】第９図において、視点６０とは、例えば第
７図の右仮想カメラ（左仮想カメラでもよい）における
視点をいい、仮想撮像面６１は、その仮想カメラの撮像
面であり、その解像度はディスプレイ１０の解像度に一
致させている。即ち、仮想カメラの１画素分の画像デー
タは、ディスプレイ１０の表示画面の１画素に表示され
る。
【００６５】第９図において、仮想線５３の長さは、デ
ィスプレイ１０上において標示されるステレオ画像を立
体視として保証するための最大視差量に相当する長さに
設定されているとすると、この仮想線５３を仮想画面上
で第９図の位置に設定するということは、その右端点５
２は、三次元物体の最近点５０の射影の筈である。する
と、右端点５２が最近点５０の射影として設定され、仮
想線５３の長さが立体視として保証するための最大視差
量に相当する長さとして設定されるならば、仮想線５３
の左端点５４は、同じ最近点５０の左仮想カメラの仮想
撮像面上への射影点の筈である。すると、仮想線５３の
左端点５４を、左仮想カメラではなく、右仮想カメラで
もって逆透視して三次元空間に射影することにより、点
５５が得られる。即ち、三次元空間において点５０と点
５５を結ぶ線分５１は、仮想撮像面上の仮想線５３（即
ち、最大視差量を表す）の３次元空間への射影を表す。
尚、点５４の射影点５５は、右仮想カメラによる透視変
換行列をVRとすると、その逆行列V-1 Rによって得られ
る。
【００６６】仮想線５３の長さは立体視を保証する最大
視差量に相当するように設定されているから、第１０図
に示すように、左右の仮想カメラの距離（即ち、基線
長）を線分５３の長さに設定すれば、観察者には、最近
点５０の融像を見ることができる。仮想カメラが互いに
平行視軸を持つように設定されており、仮想線５３の長
さが最大視差量に相当するように設定されているので、
観察者は、最近点５０のみならず、その物体の全ての点
を、即ち、その物体を立体感を持って見ることとなる。
【００６７】かくして、本実施形態システムの基線長決
定処理は、線分５１の長さを決定することに他ならな
い。
【００６８】〈最近点決定処理〉基線長決定処理は、そ
の処理に先立って、最近点が決定されていることが前提
である。最近点は、観察者若しくはユーザがディスプレ
イ１０の画面を見ながらマウスなどによりマニュアルで
選定してもよいが、それでは、ウォークスルーのリアル
タイム性が失われてしまう。本実施形態のシステムは、
最近点を、システムがユーザに替わって自動的に求めて
決定する。
【００６９】本実施形態のシステムでは、三次元空間デ
ータは、メモリ１６に、 ・形状を記述するデータ（点群に関する三次元位置デー
タ（X,Y,Z)と各点間のパッチリンク）と、 ・表面の特性（色・反射率・透過率・テクスチャ）を記
述するデータと、 ・光源位置を記述するデータと、等を記憶して構成され
る。尚、通常、三次元空間データは、この他にも、初期
値や、数個のセットの視点位置や方向、動的に動いてい
る物体の動作方法、音の生成方法の記述（ある物体にさ
わると音がするなど）、手続きの実行できるスクリプト
言語の記述などが可能である。これらのうち、視点位
置、方向以外は、今回の発明とは直接関係しないので、
ここでは詳細な説明は省略する。最近点は、点群に関す
る三次元位置データ（X,Y,Z)と、ユーザ（即ち、仮想カ
メラ）の視点位置によって変化する。従って、最近点
は、ユーザの視点位置を考慮して決定しなければならな
い。
【００７０】ユーザの視点位置から物体までの距離は、
コンピュータグラフイクスの技術分野で利用されている
「ｚバッファ値」を用いることで得ることができる。ま
ず、ｚバッファおよびｚバッファ値に関して簡単に説明
する。
【００７１】三次元空間上の一点(Xi, Yi, Zi)は、表示
のために二次元の平面へと透視変換する必要がある。第
１１図のようなユーザの視点位置と視体積とを想定し、
その視体積を、
【００７２】b = bottom, t = top, l = left, r = rig
ht, n = near, f = far
【００７３】と定義すると、三次元空間状の一点(Xi, Y
i, Zi)は、仮想カメラの撮像面の(xi,yi, zi)ヘと次式
のように変換される。ここで、この変換式では同次座標
系を利用している。
【００７４】［数１］
【００７５】但し、
【００７６】［数２］
【００７７】［数３］
【００７８】上記透視変換により得られた(xi, yi, zi)
のうち、(xi, yi)は仮想撮像面上での２次元位置であ
り、ziがｚバッファ値となる。このｚバッファ値は、透
視変換前の三次元空間中での奥行順を保持したまま、視
体積の奥行方向を正規化したような値である。通常、コ
ンピュータグラフィクスの技術分野では、このｚバッフ
ァ値を利用して表示時に、面や線の隠れの判定（陰面消
去・陰線消去処理）を行っている。これは、表示画面
（仮想撮像面）用に必要なＲＧＢ色バッファメモリの他
に、ｚバッファというフレームバッファメモリを用いる
ことで実現している。これは、 ・透視変換により得られた(xi, yi, zi)があるときに、
(xi, yi)の位置に相当する画素位置のＲＧＢ色バッファ
及びｚバッファに、色の計算結果および名を格納する、 ・このとき、既に格納しておるｚバッファのその画素の
値の方が小さい場合には更新を行わない、という処理で
ある。本来、ｚバッフアおよび、上記数式１〜３による
結果ziは、この処理のために利用されている。ここで、
ｚバッファは、この目的のためにのみ用意された専用ハ
ードウェアメモリとして用意してある場合もあれば、専
用のメモリではなく通常の主記憶メモリに割り当てられ
てソフトウェア的に実現してある場合もある。この処理
にあるように、ｚバッフアは、ユーザ視点から見えてい
る対象物体の最も近い表面上の奥行き情報を保持してお
り、また、透視変換前の３次元空間上での奥行順も保持
しているため、ユーザ視点からの「最近点」を求める際
に利用できる。すなわち、最小のｚバッファ値を有する
点が「最近点」となる。
【００７９】ここで、(x, y)の位置のｚバッファ値を得
るためには、例えば、例えば、次のコマンド、
【００８０】glReadPixels(x,y,1,1,GL_DEPTH_COMPONEN
T, GL_FLOAT, &z)
【００８１】を用いることができる。最近点（xn, yn,
zn)は、下記の式を満足する点をフレームバッファ１１
内を探索して得る。
【００８２】［数４］
【００８３】である。ところで、［数３］や［数４］を
用いてフレームバッファ内で最近点を探索することは、
データの読出に時間がかかる（特にハードウエアが通常
のフレームバッファであれば特にそうである）。そこ
で、最近点の探索を高速化するために、探索点をサンプ
リングする。探索点のサンプリングは、フレームバッフ
ァ内で、即ち、第１２図のように、撮像画面の二次元空
間上において行う。即ち、サンプリング点ｉの分布を、
第１３図〜第１８図のいずれかに前もって設定する。同
図において、各点はサンプリング点を表す。要は、サン
プリング点のいずれかに、実際の最近点が含まれていれ
ば好ましい。
【００８４】第１３図の例では、二次元空間(x, y)の全
てをサンプリング点とするものである。この手法は最近
点の探索の精度が上がるが、前述したように、探索に時
間がかかるという欠点がある。
【００８５】第１４図の例では撮像面の中央領域のみを
サンプリングする。観察者（ユーザ）は、仮想カメラの
撮像空間、即ち、ディスプレイ１０の表示空間の中央領
域を見つめていることが多い。このことは、中央領域で
立体視が得られれば、その周辺で立体視が得られなくて
も問題はないことを意味する。そこで、サンプリング点
を中央領域に集中して高速化を図るのである。
【００８６】第１５図の例は、中央の一点に探索を集中
する。高速化を極限まで達成できるが、立体視が得られ
ない確率が向上する。例えば、遠方の点を最近点と誤認
識すれば、観察者は、実際の最近点近傍の（ディスプレ
イ１０上での）表示画像を立体として認知できないであ
ろう。
【００８７】第１６図の例では、第１３図の例から、サ
ンプリング点の密度を全体的に一様に低下させた。
【００８８】第１７図の例は、ディスプレイ１０上で、
上下方向での立体視の確保を重要視し、左右方向での立
体視性の低下を甘受することとしたサンプリングパター
ンの例である。
【００８９】第１８図の例は、中心から、放射状に、よ
り離間するにつれて、立体視性が低下することを甘受す
る例である。
【００９０】第１９図は、最近点の決定のための制御手
順である。
【００９１】ステップＳ２では、ユーザの視点位置OB
（視点の三次元位置とその三軸周りの頭部の回転角度）
と共に、視点の画面からの距離LGHとを入力する。ステ
ップＳ４では、第１３図乃至第１８図のパターンの中か
ら、ユーザの視点位置OBに適したサンプリングパターン
を決定する。ステップＳ６では、視点位置OBや視点まで
の距離LGHに基づいて右仮想カメラのビューイング変換
行列VRを決定する。
【００９２】ステップＳ８では、得られたビューイング
変換行列VRを用いて、物体の三次元空間データであるベ
クトルＸ（ステップＳ８ではベクトルＸで表す）を撮像
面での二次元画像データであるベクトルｘ（ステップＳ
８ではベクトルｘで表す）に変換する。このベクトルｘ
はdepthバッファ値dを有していることは前述したとおり
である。
【００９３】ステップＳ１０では、ステップＳ４で指定
されているサンプリングパターンに従って、１つの点xi
の奥行き値diをバッファから得る。ステップＳ１２で
は、奥行き値diの最小値dnを探索する。全てのサンプリ
ング点ｉについて探索した結果の最近点x = xnをステッ
プＳ１６で出力する。
【００９４】尚、複数の最近点が得られたならば、その
うちのユーザの視線方向に最も近いものを、視点位置情
報OBに基づいて決定し、これを用いるものとする。
【００９５】また、ステップＳ４のパターン決定は、シ
ステムが、第１３図〜第１８図に示した分布パターンに
似せたアイコンをディスプレイ１０上に標示し、いずれ
か１つのアイコンを、ユーザがキーボード１３により指
定するようにしてもよい。
【００９６】かくして、本実施形態の制御によれば、
【００９７】i： 最近点がユーザの手を煩わすことな
く自動的に決定される。 ii： 最近点の決定は周知のｚバッファ（若しくはdept
hバッファ）を利用するので、汎用性が向上する。 iii： 最近点の探索はサンプリングポイントの分布パ
ターンを前もって複数通り設定しておき、そのうちの最
適な１つをシステム若しくはユーザの選択により指定す
ることにより、最適な最近点の決定が高速処理を害する
ことなく実現する。 iv： サンプリングポイントの分布パターンの指定を自
動で行う場合には、ユーザの視線方向を考慮して行われ
るので、ユーザが関心ある方向にある領域が確実に立体
視される。
【００９８】〈立体視パラメータの決定の制御手順〉第
２０図は、実施形態に係る立体視パラメータの決定の制
御手順のフローチャートである。
【００９９】まず、ステップＳ２０で、ディスプレイ１
０の各種のパラメータを入力する。パラメータとは、立
体視を保証する最大視差量の値に影響するもので、例え
ば、ディスプレイ１０の１画素の大きさ（width×heigh
t）、１画面の大きさ(SIZE)などであり、これらのハー
ド情報はシステムが既に把握しているものである。
【０１００】ステップＳ２２では、ユーザの位置・姿勢
OB並びにディスプレイ画面から遊佐の視点までの距離LG
Hを前記のセンサから入力する。
【０１０１】ステップＳ２４では、上記の情報に基づい
て、立体視を保証する最大視差量の値を設定する。立体
視を保証する最大視差量の値は、ディスプレイ画面の大
きさ仕様（例えば、VGAやXVGA等の仕様）毎に前もって
値を決めておくのがよい。ステップＳ２６では、設定さ
れた最大視差量（例えば１０mmの距離）を画素数で表し
たオフセット量offsetに変換する。これにより、立体視
が保証されるには、ディスプレイ１０の画面上でoffset
分の視差が発生するような基線長を決定するればよいこ
とになる。第９図，第１０図を参照。
【０１０２】ステップＳ２８では、ユーザの初期位置・
姿勢、視軸、画角を設定する。ステップＳ３０では、ス
テップＳ２８で設定したユーザの視点位置・姿勢に関す
る情報に基づいて、左右の夫々のカメラの各々の透視変
換行列VL，VR並びに各々の逆透視変換行列V-1 L，V-1 Rを
演算しておく。ステップＳ３２では、メモリ１６に記憶
されている三次元空間データを読み出す。
【０１０３】以上の処理により、立体視パラメータを決
定するための土台が整ったことになる。
【０１０４】次に、ステップＳ３４では、第１９図に関
連して説明した最近点の決定処理を行う。第１９図の制
御手順は、最近点(xn, yn, dn)を出力する。
【０１０５】次に第２０図のステップＳ３６の基線長の
決定処理が実行される。この基線長の決定処理の詳細は
第２１図に示される。
【０１０６】第２１図に基づいて、この処理を説明す
る。
【０１０７】ステップＳ４０では、最近点の決定処理が
出力した最近点(xn, yn, dn)を所定のレジスタに読み出
す。この最近点(xn, yn, dn)は、第８図の最近点５０が
仮想撮像画面上に射影された点５２に相当する。ステッ
プＳ４２では、最近点(xn, y n, dn)を正規化処理して右
仮想カメラによる射影変換後の空間における画素位置(x
R, yR, zR)を下記の［数５］に従って算出する。
【０１０８】［数５］
【０１０９】ステップＳ４４では、画素位置(xR, yR, z
R)から、カメラ座標系での三次元空間中の点（第８図の
点５０）の座標値P0=(XR, YR, ZR)を求める。即ち、右
仮想カメラの変換行列VRの逆行列を、
【０１１０】［数６］
【０１１１】とすると、座標値P0は、
【０１１２】［数７］
【０１１３】［数８］
【０１１４】かくして、第８図の点５０に相当するP0が
得られた。次に、ステップＳ４６では、最近点(xn, yn,
dn)を左仮想カメラにより透視すると、前述のoffset数
の画素分だけｙ軸方向にずれるのであるから、そのずれ
た画素位置(xL, yL, zL)は、下記の［数９］
【０１１５】［数９］
【０１１６】によって得られる。この画素位置(xL, yL,
zL)は第８図の点５４に相当する。この点５４の左カメ
ラの座標系から逆透視した三次元座標位置P1=(XL, YL,
ZL)を、左仮想カメラの逆透視変換行列V-1 L（実質的にV
-1 Rに等しい）により、
【０１１７】［数１０］ とすると、座標値P1は、
【０１１８】［数１１］
【０１１９】［数１２］
【０１２０】となる。次にステップＳ５０では、距離｜
P0 - P1｜に従って基線長を決定する。以上が基線長の
決定処理の制御手順である。
【０１２１】第２０図の立体視パラメータの制御手順の
フローチャートに戻ると、ステップＳ３６の次には、ス
テップＳ３８で輻輳角の決定処理が行われる。この処理
は後に説明する。
【０１２２】以上のようにして、基線長と輻輳角などの
立体視パラメータの最適値が、ユーザの手を煩わさず
に、初期的に或いはリアルタイムで決定することができ
る。
【０１２３】〈ウォークスルーのための制御〉第２２図
は、本立体視パラメータ決定システムをウォークスルー
提供システムに組み込んだ場合の制御手順を示す。即
ち、ウォークスルーに特有な問題として、第４図に示す
ように、ユーザが視点位置を移動していくにつれて、立
体視パラメータを変更しなければならないほど、視点条
件が変更される場合がある。即ち、立体視パラメータを
ウォークスルーに伴ってリアルタイムにまたはオンデマ
ンドに変更する必要がある。第２２図の制御手順は、初
期的に立体視パラメータを自動で最適設定できるのみな
らず、ユーザからのオンデマンドに従って立体視パラメ
ータを最適に設定する機能が盛り込まれている。
【０１２４】第２２図の制御手順に従って、ステップＳ
６０が実行されると、第２０図に関連して説明した「立
体視パラメータの決定」処理が行われる。これにより、
立体視パラメータの初期値が、その時点のユーザの位置
やディスプレイ伸しように即して最適な値として設定さ
れる。ステップＳ６２では、このようにして設定した立
体視パラメータに従って左目用と右目用の画像を描画
し、ステップＳ６４ではそれらの画像を合成して表示す
る。
【０１２５】このステップＳ６４の時点では、ディスプ
レイ１０の画面上には、ウォークスルーのための仮想空
間が表示されている。
【０１２６】ユーザは、前述したように、マウスなどを
用いてウォークスルー方向を指定すると、その移動指示
に従って仮想空間の表示画面が変化していく。移動指示
の入力は「インタラクション操作」として入力され、そ
のための操作がステップＳ７２で実行される。
【０１２７】ユーザは、ステップＳ６６で「インタラク
ション操作」以外の種々のコマンド指示を入力すること
ができる。
【０１２８】その指示が終了であれば本システムは終了
するであろう。
【０１２９】ユーザが立体視パラメータの変更を希望す
るときは、キーボードの所定のキーを押下することによ
り、ステップＳ７４が実行される。ステップＳ７４で
は、立体視パラメータの決定処理（第２０図の制御手
順）を再実行する。即ち、その時点での、ユーザの視点
位置や条件に即した立体視パラメータが再度設定され
る。換言すれば、第２２図の制御によれば、仮想空間の
変遷に係わらず立体視が確保できるので、異なる大きさ
の小空間を複数持つような仮想空間をウォークスルーす
るなどの用途に特に適している。
【０１３０】〈最適輻輳角の自動設定〉第２０図のステ
ップＳ３８の輻輳角の決定処理（自動設定）はオプショ
ンの処理ルーチンである。立体視において、輻輳角が必
要か否かは、応用分野或いはその応用分野でのユーザに
応じた個人差があるからである。本システムでは、その
ために、第２２図のウォークスルーアプリケーション・
プログラムが実行された直後において、そのアプリケー
ション・プログラムが輻輳角の自動設定を行うか否かを
ユーザに問うダイアログをディスプレイ１０に表示す
る。ユーザはそのダイアログにおいて、輻輳角の自動設
定を行う（即ちステップＳ３８を実行する）か、行わな
い（即ち、ステップＳ３８をスキップする）かを選択す
る。ステップＳ３８は選択されたときのみ実行される。
【０１３１】第２３図，第２４図は、輻輳角の自動決定
の原理を説明する。即ち、ステップＳ３８は、入力され
た仮想空間の三次元データに基づいて輻輳角を決定す
る。第２３図において、例えば仮想空間に円錐６０と四
角錐７０の仮想物体があるとする。勿論、これら２つの
仮想物体以外にも仮想物体が存在することは許される。
これらの仮想物体は三次元座標情報を有するから、この
仮想空間の中の最近点と最遠点とが存在する。第２３図
の例では、最近点は四角錐７０の頂点が存在する垂直平
面７１上に有り、最遠点は円錐６０の周囲が存在する垂
直平面６１上にある。輻輳角の最適な値は、種々の学説
により、まちまちであるが、本実施形態では、第２４図
に示すように、垂直面６１と垂直面７１の中間位置にあ
る垂直面８０上のある点と、左右の仮想視点とが成す二
等辺四角形の頂点の角度（の半分）であるδを輻輳角と
する。
【０１３２】２つの仮想カメラの視軸が平行である場合
において最近点のみを考慮したのは、最近点において視
差量が最大値をとるからである。しかしながら、仮想カ
メラが平行でない、即ち、０度でない輻輳角を有する場
合には、最近点と最遠点において視差量が最大値を示す
ことになる。従って、０度でない輻輳角が損する場合に
は最近点のみならず最遠点を考慮しなければならないの
である。
【０１３３】第２５図は、ステップＳ３８の詳細な処理
手順を表す。
【０１３４】最近点は第２０図のステップＳ３４で既に
決定されているので、輻輳角の決定のために、最近点を
改めて求める必要はない。そこで、ステップＳ３８ａで
は最遠点を探索する。最遠点の探索処理は、第１９図に
示された最近点の探索処理を一部変更した処理手順を援
用することができる。その変更箇所はステップＳ１２に
おいて、最遠点を探索するために、
【０１３５】［数１３］
【０１３６】の処理を行う。更にステップＳ３８ｂで
は、奥行き範囲Ｄを決定する。ステップＳ３８ｃでは、
Ｄ／２の値に従って、輻輳角δを第２４図に示された演
算手法に従って決定する。本発明は、その趣旨を逸脱し
ない範囲で種々変形が可能である。
【０１３７】第１９図乃至第２１図の制御手順に示され
た立体視パラメータの決定手順は、仮想カメラの視軸が
互いに平行（輻輳角＝０度）である場合を想定してい
た。輻輳角＝０度の方がユーザが疲労しない場合がある
からである。しかしながら、三次元空間データの中に
は、予め輻輳角に関するパラメータを有するものがあ
る。また、上記実施形態でも、ユーザが望む場合には、
輻輳角の初期値δが自動決定された。従って、最初から
輻輳角を有するような画像データや、事後、輻輳角を付
加された画像データのような場合には、輻輳角を考慮し
た基線長の決定を行わなければならない。
【０１３８】輻輳角を考慮した基線長の決定は回転処理
を行うことによって実現される。第２６図は、輻輳角を
考慮した基線長の決定する処理が、第９図に示された輻
輳角を有さない場合の基線長の決定処理の原理に対し
て、いかなる変更処理を付加するかを説明している。
【０１３９】即ち、第２６図と第９図とを比較すると、
最近点５２を、画面上での最大視差量に相当する長さだ
け平行移動して点５４を得るのは変わらないが、第２６
図では、更に、点５４を、右視点を中心にしｙ軸の周り
に輻輳角（＝２δ）だけ回転して点５７を得、この点５
７に相当する三次元空間座標５８を求め、点５８を点P2
とすると、最近点５０（＝P0）から点P2までの距離を、
輻輳角を考慮した場合の基線長とするのである。
【０１４０】第２６図に示された処理は、実質的には、
ステップＳ４８（第２１図）での処理に、上記回転によ
る座標変換処理Ｒを逆透視変換処理VL -1に付加するので
ある。この回転処理を付加されたステップＳ４８を新た
にステップＳ４８’とすると、ステップＳ４６で、前述
したように、［数９］に従って点５４に相当する画素位
置(xL, yL, zL)を得る。更に、ステップＳ４８では、画
素位置(xL, yL, zL)を座標変換して、点５８に相当する
座標値P2を、
【０１４１】［数１４］
【０１４２】［数１５］
【０１４３】に基づいて求める。ここで、行列Ｒは、ｙ
軸周りの角度２δの回転変換であり、具体的には、
【０１４４】［数１６］
【０１４５】という構造を有する。また、VLは左右の仮
想カメラを同じカメラパラメータを持つものとすれば、
VR（即ち、［数２］）に等しい行列である。上記実施形
態は、本発明の立体視パラメータの決定を、ウォークス
ルーに適用したものであった。特にこの仮想空間ウォー
クスルーでは、立体視パラメータを、初期値のみなら
ず、リアルタイム値も計算していた。
【０１４６】この変形例は、立体視パラメータの演算輻
輳角を減らすために、初期値のみを演算する仮想空間ウ
ォークスルーの制御であり、その手順を第２７図に示
す。
【０１４７】である。第２７図の処理は、第２２図の処
理からステップＳ７４の工程が除去されたものに等し
い。
【０１４８】尚、第２２図，第２７図，第２８図，第２
９図に示された各フローチャート間で、同じステップ番
号を有する工程は同じ内容の処理を行う。
【０１４９】上記実施形態では、ディスプレイ１０に表
示するための左右目のための画像は、合成の都度、描画
生成（レンダリング）していた。この第３変形例は、立
体視パラメータの設定処理（第２０図のステップＳ３
４）が、第１９図のステップＳ８において右目用の画像
を描画生成していた点を考慮し、この右目用画像を有効
に利用して計算負荷を軽減しようとするものである。
【０１５０】これは、第２２図のステップＳ６２におい
て左右目画像の描画するという処理を、第２８図のステ
ップＳ６２’のように、左目用画像のみの描画を行う処
理に変更する。このために、第２８図の制御手順では、
立体視パラメータの再計算キーが押されるたびに、ステ
ップＳ６０で立体視パラメータの再設定が行われ（併せ
てステップＳ８で右目用画像の描画が行われ）、ステッ
プＳ６２’で左目用画像の描画が行われ、ステップＳ６
４で左右の画像の合成が成される。一方、インタラクシ
ョン処理やその他の処理では、ステップＳ７６で、左右
目用の画像の描画が行われ、それらの画像はステップＳ
６４で合成されて表示される。
【０１５１】このように、第３変形例では、立体視パラ
メータの再建さんが行われるときは、右目用画像の描画
（レンダリング）の工程が１つ省略されて高速処理に寄
与することとなる。
【０１５２】第４変形例は、立体視パラメータの再計算
を毎回行うというものであって、その制御手順を第２９
図に示す。即ち、インタラクション処理やその他の処理
では、ステップＳ６０にモードって、立体視パラメータ
の再設定が行われ（併せてステップＳ８で右目用画像の
描画が行われ）、ステップＳ６２’で左目用画像の描画
が行われ、ステップＳ６４で左右の画像の合成が成され
る。
【０１５３】この第４変形例でも、右目用画像の描画
（レンダリング）の工程が１つ省略されて高速処理に寄
与することとなる。
【０１５４】前述の実施形態では、depthバッファを用
いることにより、複数の仮想物体があっても、描画時に
全ての仮想物体の座標変換が行われるために、内部での
座標変換が不要であった。この第５変形例は、第３０図
に示すように、対象の三次元空間中の物体を観察するカ
メラ座標系（カメラ位置を原点とする三次元座標系）に
変換して、最も視点位置に近い最近点を直接的に計算す
るようにする。この変形例の手法では、３次元対象内の
物体間の座標変換を考慮する必要がある。第３０図の例
では、カメラと部屋は世界座標系の位置で指定されてい
るが、机と椅子は部屋の座標系からの位置で指定されて
いる。壺は机の座標系からの位置で指定されている。こ
れらの座標系間の関係を考慮してカメラ座標系に変換す
る。
【０１５５】本発明の発明者は、特願平１０−１８５１
３５号において立体視パラメータをユーザの欲する時点
で変更することのできるユーザインタフェースを提案し
た。
【０１５６】第３１図は、第６変形例に従った、ディス
プレイ１０の画面に表示されたユーザ・インタフェース
を表す。
【０１５７】同図において、２００と２０１は基線長ｂ
を変更するためのユーザ・インタフェース(VIEW OFFSE
T)であり、どちらもスライドバーのコントロールであ
る。スライドバー２００は基線長を大きく変更すると
き、スライドバー２０１は小さく変更するときに、それ
ぞれ使用される。
【０１５８】第３１図に於いて、スライドバー２０２は
前進方向の移動速度(FWD SPEED)を変更するときに用い
る。スライドバー２０３は後退方向の移動速度(BWD SPE
ED)を変更するときに用いる。
【０１５９】また、スライドバー２０４は輻輳角(View
Congestion)を変更するときに用いる。更にスライドバ
ー２０５は視野角(Field of View)を変更するときに用
いる。
【０１６０】第１６図に示されたユーザ・インタフェー
スはユーザがマウスを用いて操作する。マウスの移動量
が操作量となる。
【０１６１】尚、ユーザ・インタフェースの具体的なツ
ールはスライドバーに限定されない。連続的に変更でき
るツール、例えば、ジョグダイヤルであってもよい。
【０１６２】尚、前述の実施形態は、立体視パラメータ
の値（初期値及びリアルタイム値）を自動設定すること
が特徴であるから、第３１図のユーザインタフェースを
さらに設けると競合する。そこで、第３１図の２００か
ら２０５までの６つのバーのいずれかがユーザにより操
作されたことが検知されると、前述の立体視パラメータ
の設定処理（第２０図）を停止するように制御手順を変
更するとよい。そして、自動設定を再開したいときに
は、同じくディスプレイ１０に表示されているキーアイ
コン２０６をユーザが押したことを検知したならば、再
開される。
【０１６３】以上説明した第１変形例乃至第６変形例に
よれば、立体視パラメータの再計算が、ユーザアプリケ
ーションの態様に応じて、或いはユーザの希望に応じ
て、最適なタイミングで行われるので、使い勝手がよ
い。
【０１６４】また、仮想カメラの視軸において輻輳角が
存在する場合も考慮されているので、本発明の立体視パ
ラメータの自動設定は適用分野は広いものとなる。
【０１６５】また、立体視パラメータの再設定は時間の
かかる処理であるが、レンダリングの処理を、立体視パ
ラメータの設定と立体画像の生成とにへ移用することに
よって処理負担を軽減することができた。
【０１６６】〈その他の変形例〉上記実施形態や変形例
では、一般的な仮想現実感システムに本発明の立体視パ
ラメータ設定の自動処理を適用したものであったが、所
謂複合現実感システムに本発明を適用することも可能で
ある。
【０１６７】複合現実感システムではＨＭＤ（頭部装着
型表示装置）を用いることが多いが、この場合は、表示
画面と遊佐の視点までの距離が固定であるので、測距セ
ンサ１７は不要である。
【０１６８】
【発明の効果】以上説明したように、本発明によれば、
立体視パラメータの最適な初期値を自動的に設定するこ
とができる。
【０１６９】また、立体視パラメータの最適リアルタイ
ム値を自動的に更新することができる。
【０１７０】また、立体視パラメータの再設定タイミン
グを自動的に或いはユーザの好みにあわせて設定するこ
とができる。
【図面の簡単な説明】
【図１】 本発明の実施形態に係る立体画像表示装置１
０００の構成を示す図。
【図２】 表示装置１０００に用いられているリアクロ
スレンチ方式眼鏡なし3Dディスプレイ１０の構成を説明
する図。
【図３】 ディスプレイ１０のＬＣＤ部分を拡大した
図。
【図４】 実施形態の立体視パラメータの設定を仮想空
間ウォークスルーシステムに適用した事例を説明する
図。
【図５】 立体視を得るために左目用画像と右目用画像
の合成原理を説明する図。
【図６】 最大視差量と基線長の関係を説明する図。
【図７】 基線長を決定原理を説明するために、２つの
左右画像が生成される様子を説明する図。
【図８】 仮想空間の最近点が、２つの視点において視
差として生じるかを説明する図。
【図９】 本実施形態の基線長を決定する原理を説明す
る図。
【図１０】 本実施形態の基線長を決定する原理を説明
する図。
【図１１】 透視変換を説明する図。
【図１２】 二次元空間でのサンプリングを説明する
図。
【図１３】 最近点の探索のためのサンプリングパター
ンの一例を示す図。
【図１４】 最近点の探索のためのサンプリングパター
ンの他の例を示す図。
【図１５】 最近点の探索のためのサンプリングパター
ンの他の例を示す図。
【図１６】 最近点の探索のためのサンプリングパター
ンの他の例を示す図。
【図１７】 最近点の探索のためのサンプリングパター
ンの他の例を示す図。
【図１８】 最近点の探索のためのサンプリングパター
ンの他の例を示す図。
【図１９】 最近点決定のための制御手順を説明するフ
ローチャート。
【図２０】 立体視パラメータの設定のための制御手順
を説明するフローチャート。
【図２１】 基線長決定のための制御手順を説明するフ
ローチャート。
【図２２】 ウォークスルーアプリケーションにおける
全体制御手順を説明するフローチャート。
【図２３】 立体視パラメータとしての輻輳角を決定す
る原理を説明する図。
【図２４】 立体視パラメータとしての輻輳角を決定す
る原理を説明する図。
【図２５】 輻輳角決定のための制御手順を説明するフ
ローチャート。
【図２６】 輻輳角が存在する場合における基線長を決
定する原理を説明する図。
【図２７】 ウォークスルーアプリケーションの変形例
に係る全体制御手順を説明するフローチャート。
【図２８】 ウォークスルーアプリケーションの他の変
形例に係る全体制御手順を説明するフローチャート。
【図２９】 ウォークスルーアプリケーションの更に他
の変形例に係る全体制御手順を説明するフローチャー
ト。
【図３０】 最近点を決定する他の手法を説明する図。
【図３１】 立体視パラメータの値をユーザが自由に設
定するためのユーザインタフェースを説明する図。

Claims (49)

    【特許請求の範囲】
  1. 【請求項１】 任意の物体の左目用画像と右目用画像と
    を表示して前記物体の立体視を得る立体画像処理装置に
    おいて、 前記左目用画像と右目用画像のいずれか一方の画像デー
    タと、二次元描画空間における前記左目用画像と右目用
    画像とのずれ量を表すずれ情報とに基づいて、立体視パ
    ラメータを決定するパラメータ決定手段と、 決定された立体視パラメータを前記左目用画像と右目用
    画像の立体視出力に用いる出力手段とを具備することを
    特徴とする立体画像処理装置。
  2. 【請求項２】 前記パラメータ決定手段は、 前記物体の所定の物体点についての画像データが前記二
    次元描画空間に描画された際に現れる左右間のズレ距離
    を前もって設定するズレ距離設定手段と、 前記物体点の前記二次元描画空間上の座標から、観察者
    の基線長方向に、前記ズレ距離だけ離間したズレ点の位
    置を演算するズレ演算手段と、 このズレ点の三次元空間における座標を演算する座標変
    換手段と、 前記ズレ点の三次元座標と前記物体点との距離に基づい
    て基線長の値を決定する基線長決定手段を具備すること
    を特徴とする請求項１に記載の立体画像処理装置。
  3. 【請求項３】 更に観察者の視点位置を移動する移動手
    段を具備し、、 視点位置の移動に拘わらず、前記パラメータ決定手段に
    よって初期的に決定された立体視パラメータの値を立体
    視出力に利用することを特徴とする請求項１または２に
    記載の立体画像処理装置。
  4. 【請求項４】 前記パラメータ決定手段を再起動して、
    任意時点の立体視パラメータの値を再計算することを特
    徴とする請求項１乃至３のいずれかに記載の立体画像処
    理装置。
  5. 【請求項５】 所定の条件を満足すべき前記所定の物体
    点が前記描画空間において高速に探索されるように、前
    記描画空間における複数の探索位置が前もって離散的分
    布を有するように設定されていることを特徴とする請求
    項２に記載の立体画像処理装置。
  6. 【請求項６】 前記立体視パラメータは、基線長と輻輳
    角の少なくとも１つを含むことを特徴とする請求項１乃
    至５のいずれかに記載の立体画像処理装置。
  7. 【請求項７】 前記移動手段は観察者の現実の視点位置
    の移動量を検知するセンサを有することを特徴とする請
    求項３に記載の立体画像処理装置。
  8. 【請求項８】 前記移動手段は観察者の仮想的な視点位
    置の移動量を検知するセンサを有することを特徴とする
    請求項３に記載の立体画像処理装置。
  9. 【請求項９】 観察者の視点位置の移動量が所定値を超
    えたときに、前記パラメータ決定手段を再起動して、そ
    の時点の立体視パラメータの値を再計算することを特徴
    とする請求項３，７，８のいずれかに記載の立体画像処
    理装置。
  10. 【請求項１０】 観察者のリクエストに応じて、前記パ
    ラメータ決定手段を再起動して、その時点の観察者の視
    点位置での立体視パラメータの値を再計算することを特
    徴とする請求項３また４または７乃至９のいずれかに記
    載の立体画像処理装置。
  11. 【請求項１１】 手動で立体視パラメータの値を設定す
    るユーザインタフェース手段を更に具備することを特徴
    とする請求項１乃至１１のいずれかに記載の立体画像処
    理装置。
  12. 【請求項１２】 前記ユーザインタフェース手段と前記
    立体視パラメータ設定手段との競合の調停をとる手段を
    更に具備することを特徴とする請求項１１に記載の立体
    画像処理装置。
  13. 【請求項１３】 前記パラメータ決定手段は、 入力画像の仮想空間の奥行き方向の広がりを求め、 観察者の左右の視点位置から見える、この仮想空間の奥
    行き方向の広がりの略中間位置の方向に基づいて輻輳角
    の値を決定することを特徴とする請求項１乃至１２のい
    ずれかに記載の立体画像処理装置。
  14. 【請求項１４】 前記所定の物体点は、入力画像の奥行
    き方向について、観察者の視点位置に略最も近い前記物
    体上の最近点に設定されることを特徴とする請求項２に
    記載の立体画像処理装置。
  15. 【請求項１５】 ズレ距離は、 立体画像が表示される表示装置の画素サイズと、この表
    示装置の表示画面から観察者までの距離とに基づいて前
    もって決定されていることを特徴とする請求項１または
    ２に記載の立体画像処理装置。
  16. 【請求項１６】 この立体画像処理装置に接続可能な複
    数の表示装置の種類と表示画面から観察者までの距離と
    の組み合わせに応じて前もって決められた値を有するズ
    レ距離を前もって記憶するメモリと、 表示画面から観察者までの距離を検知する手段とを有
    し、 前記パラメータ設定手段は、このメモリから、接続され
    ている表示装置と貸間での距離とに適合したズレ距離値
    を読み出すことを特徴とする請求項１または２または１
    ５に記載の立体画像処理装置。
  17. 【請求項１７】 前記最近点は、 前記左目用画像と右目用画像のいずれか一方の画像デー
    タに、観察者の視点からの前記二次元描画空間への透視
    変換を施し、透視変換された画像データのなかから最も
    小さな奥行き値を有する画素に決定されることを特徴と
    する請求項１４に記載の立体画像処理装置。
  18. 【請求項１８】 前記ズレ演算手段は、 前記左目用画像と右目用画像のいずれか一方の画像デー
    タに、観察者の視点からの前記二次元描画空間への透視
    変換を施す手段と、 上記手段により透視変換された画像データのなかから最
    も小さな奥行き値を有する画素を前記最近点として決定
    する最近点決定手段と、 この最も小さな奥行き値を有する画素の座標から、観察
    者の基線長方向に、前記ズレ距離だけ離間したズレ点の
    二次元描画空間における位置を演算する手段と、 このズレ点の三次元空間における座標を、このズレ点の
    二次元描画空間における位置に、前記左目用画像と右目
    用画像のいずれか他方の視点からの逆透視変換を施すこ
    とにより、求める手段とを具備することを特徴とする請
    求項２に記載の立体画像処理装置。
  19. 【請求項１９】 奥行き値を記憶するｚバッファメモリ
    を有することを特徴とする請求項１７に記載の立体画像
    処理装置。
  20. 【請求項２０】 前記最近点を前記二次元描画空間にお
    いて探索するために、複数の探索ポイントのこの二次元
    描画空間における分布パターンが、中心部ほど密に、周
    辺部ほど疎になるように設定されていることを特徴とす
    る請求項１７に記載の立体画像処理装置。
  21. 【請求項２１】 前記最近点を前記二次元描画空間にお
    いて探索するために、複数の探索ポイントのこの二次元
    描画空間における分布パターンが複数通り設定されてお
    り、 観察者の視点位置・姿勢を検出し、この位置・姿勢に適
    合した分布パターンを選択する手段を具備することを特
    徴とする請求項１７または２０に記載の立体画像処理装
    置。
  22. 【請求項２２】 任意の物体の左目用画像と右目用画像
    とを立体表示するための立体視パラメータを決定する立
    体視パラメータ設定装置において、 前記左目用画像と右目用画像のいずれか一方の画像デー
    タと、二次元描画空間における前記左目用画像と右目用
    画像とのズレ距離を表すズレ情報とに基づいて、立体視
    パラメータを決定するパラメータ決定手段を有し、 決定された立体視パラメータを、後の立体視のために、
    記憶しまたは外部に出力することを特徴とする立体視パ
    ラメータ設定装置。
  23. 【請求項２３】 決定された立体視パラメータの値を記
    憶するメモリと、 立体視パラメータの値を更新し、更新結果を前記メモリ
    に記憶する手段とを具備することを特徴とする請求項２
    ２に記載の立体視パラメータ設定装置。
  24. 【請求項２４】 請求項１乃至２１のいずれかに記載の
    立体画像処理装置を具備する立体画像表示装置。
  25. 【請求項２５】 任意の物体の左目用画像と右目用画像
    とを表示して前記物体の立体視を得る立体画像処理方法
    において、 前記左目用画像と右目用画像のいずれか一方の画像デー
    タと、前記左目用画像と右目用画像とが所定の二次元描
    画空間においてずれて見える筈のズレ距離とに基づい
    て、立体視パラメータを決定するパラメータ決定工程
    と、 決定された立体視パラメータを前記左目用画像と右目用
    画像の立体視出力に用いる出力工程とを具備することを
    特徴とする立体画像処理方法。
  26. 【請求項２６】 前記パラメータ決定工程は、 前記物体の所定の物体点についての画像データが前記二
    次元描画空間に描画された際に現れる左右間のズレ距離
    を前もって設定するズレ距離設定工程と、 前記物体点の前記二次元描画空間上の座標から、観察者
    の基線長方向に、前記ズレ距離だけ離間したズレ点の位
    置を演算するズレ演算工程と、 このズレ点の三次元空間における座標を演算する座標変
    換工程と、 前記ズレ点の三次元座標と前記物体点との距離に基づい
    て基線長の値を決定する基線長決定工程を具備すること
    を特徴とする請求項２５に記載の立体画像処理方法。
  27. 【請求項２７】 更に観察者の視点位置を移動する移動
    工程を具備し、、 視点位置の移動に拘わらず、前記パラメータ決定工程に
    よって初期的に決定された立体視パラメータの値を立体
    視出力に利用することを特徴とする請求項２５または２
    ６に記載の立体画像処理方法。
  28. 【請求項２８】 前記パラメータ決定工程を再起動し
    て、任意時点の立体視パラメータの値を再計算すること
    を特徴とする請求項２５乃至２７のいずれかに記載の立
    体画像処理方法。
  29. 【請求項２９】 所定の条件を満足すべき前記所定の物
    体点が前記描画空間において高速に探索されるように、
    前記描画空間における複数の探索位置が前もって離散的
    分布を有するように設定されていることを特徴とする請
    求項２６に記載の立体画像処理方法。
  30. 【請求項３０】 前記立体視パラメータは、基線長と輻
    輳角の少なくとも１つを含むことを特徴とする請求項２
    ５乃至２９のいずれかに記載の立体画像処理方法。
  31. 【請求項３１】 前記移動工程は観察者の現実の視点位
    置の移動量を検知するセンサを有することを特徴とする
    請求項２７に記載の立体画像処理方法。
  32. 【請求項３２】 前記移動工程は観察者の仮想的な視点
    位置の移動量を検知するセンサを有することを特徴とす
    る請求項２７に記載の立体画像処理方法。
  33. 【請求項３３】 観察者の視点位置の移動量が所定値を
    超えたときに、前記パラメータ決定工程を再起動して、
    その時点の立体視パラメータの値を再計算することを特
    徴とする請求項２７，３１，３２のいずれかに記載の立
    体画像処理方法。
  34. 【請求項３４】 観察者のリクエストに応じて、前記パ
    ラメータ決定工程を再起動して、その時点の観察者の視
    点位置での立体視パラメータの値を再計算することを特
    徴とする請求項２７また２８または３１乃至３３のいず
    れかに記載の立体画像処理方法。
  35. 【請求項３５】 手動で立体視パラメータを設定するユ
    ーザインタフェース工程を更に具備することを特徴とす
    る請求項２５乃至３５のいずれかに記載の立体画像処理
    方法。
  36. 【請求項３６】 前記ユーザインタフェース工程と前記
    立体視パラメータ設定工程との競合の調停をとる工程を
    更に具備することを特徴とする請求項３５に記載の立体
    画像処理方法。
  37. 【請求項３７】 前記パラメータ決定工程は、 入力画像の仮想空間の奥行き方向の広がりを求め、 観察者の左右の視点位置から見える、この仮想空間の奥
    行き方向の広がりの略中間位置の方向に基づいて輻輳角
    の値を決定することを特徴とする請求項２５乃至３６の
    いずれかに記載の立体画像処理方法。
  38. 【請求項３８】 前記所定の物体点は、入力画像の奥行
    き方向について、観察者の視点位置に略最も近い前記物
    体上の最近点に設定されることを特徴とする請求項２６
    に記載の立体画像処理方法。
  39. 【請求項３９】 ズレ距離は、 立体画像が表示される表示装置の画素サイズと、この表
    示装置の表示画面から観察者までの距離とに基づいて前
    もって決定されていることを特徴とする請求項２５また
    は２６に記載の立体画像処理方法。
  40. 【請求項４０】 この立体画像処理方法に接続可能な複
    数の表示装置の種類と表示画面から観察者までの距離と
    の組み合わせに応じて前もって決められた値を有するズ
    レ距離を前もって記憶するメモリと、 表示画面から観察者までの距離を検知する工程とを有
    し、 前記パラメータ設定工程は、このメモリから、接続され
    ている表示装置と貸間での距離とに適合したズレ距離値
    を読み出すことを特徴とする請求項２５または２６また
    は３９に記載の立体画像処理方法。
  41. 【請求項４１】 前記最近点は、 前記左目用画像と右目用画像のいずれか一方の画像デー
    タに、観察者の視点からの前記二次元描画空間への透視
    変換を施し、透視変換された画像データのなかから最も
    小さな奥行き値を有する画素に決定されることを特徴と
    する請求項３８に記載の立体画像処理方法。
  42. 【請求項４２】 前記ズレ演算工程は、 前記左目用画像と右目用画像のいずれか一方の画像デー
    タに、観察者の視点からの前記二次元描画空間への透視
    変換を施す工程と、 上記工程により透視変換された画像データのなかから最
    も小さな奥行き値を有する画素を前記最近点として決定
    する最近点決定工程と、 この最も小さな奥行き値を有する画素の座標から、観察
    者の基線長方向に、前記ズレ距離だけ離間したズレ点の
    二次元描画空間における位置を演算する工程と、 このズレ点の三次元空間における座標を、このズレ点の
    二次元描画空間における位置に、前記左目用画像と右目
    用画像のいずれか他方の視点からの逆透視変換を施すこ
    とにより、求める工程とを具備することを特徴とする請
    求項２６に記載の立体画像処理方法。
  43. 【請求項４３】 奥行き値を記憶するｚバッファメモリ
    を有することを特徴とする請求項４１に記載の立体画像
    処理方法。
  44. 【請求項４４】 前記最近点を前記二次元描画空間にお
    いて探索するために、複数の探索ポイントのこの二次元
    描画空間における分布パターンが、中心部ほど密に、周
    辺部ほど疎になるように設定されていることを特徴とす
    る請求項４１に記載の立体画像処理方法。
  45. 【請求項４５】 前記最近点を前記二次元描画空間にお
    いて探索するために、複数の探索ポイントのこの二次元
    描画空間における分布パターンが複数通り設定されてお
    り、 観察者の視点位置・姿勢を検出し、この位置・姿勢に適
    合した分布パターンを選択する工程を具備することを特
    徴とする請求項４１または４４に記載の立体画像処理方
    法。
  46. 【請求項４６】 任意の物体の左目用画像と右目用画像
    とを立体表示するための立体視パラメータを決定する立
    体視パラメータ設定方法において、 前記左目用画像と右目用画像のいずれか一方の画像デー
    タと、前記左目用画像と右目用画像とが所定の二次元描
    画空間においてずれて見える筈のズレ距離とに基づい
    て、立体視パラメータを決定するパラメータ決定工程を
    有し、 決定された立体視パラメータを、後の立体視のために、
    記憶しまたは外部に出力することを特徴とする立体視パ
    ラメータ設定方法。
  47. 【請求項４７】 決定された立体視パラメータの値を記
    憶するメモリと、 立体視パラメータの値を更新し、更新結果を前記メモリ
    に記憶する工程とを具備することを特徴とする請求項４
    ６に記載の立体視パラメータ設定方法。
  48. 【請求項４８】 任意の物体の左目用画像と右目用画像
    とを表示して前記物体の立体視を得るためにコンピュー
    タ上で実行される立体画像処理プログラムを記憶するコ
    ンピュータプログラム記憶媒体であって、 請求項２５乃至４５のいずれか１つに記載の立体画像処
    理方法を実現するためのプログラムコードを記憶するコ
    ンピュータプログラム記憶媒体。
  49. 【請求項４９】 任意の物体の左目用画像と右目用画像
    とを立体表示するための立体視パラメータを決定するた
    めにコンピュータ上で実行されるパラメータ設定プログ
    ラムを記憶するコンピュータプログラム記憶媒体であっ
    て、 請求項４６乃至４７のいずれか１つに記載の立体画像処
    理方法を実現するためのプログラムコードを記憶するコ
    ンピュータプログラム記憶媒体。
JP19480299A 1999-07-08 1999-07-08 立体画像処理装置、その方法、立体視パラメータ設定装置、その方法そしてコンピュータプログラム記憶媒体 Expired - Fee Related JP3619063B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP19480299A JP3619063B2 (ja) 1999-07-08 1999-07-08 立体画像処理装置、その方法、立体視パラメータ設定装置、その方法そしてコンピュータプログラム記憶媒体
US09/512,828 US6677939B2 (en) 1999-07-08 2000-02-25 Stereoscopic image processing apparatus and method, stereoscopic vision parameter setting apparatus and method and computer program storage medium information processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19480299A JP3619063B2 (ja) 1999-07-08 1999-07-08 立体画像処理装置、その方法、立体視パラメータ設定装置、その方法そしてコンピュータプログラム記憶媒体

Publications (2)

Publication Number Publication Date
JP2001022344A true JP2001022344A (ja) 2001-01-26
JP3619063B2 JP3619063B2 (ja) 2005-02-09

Family

ID=16330514

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19480299A Expired - Fee Related JP3619063B2 (ja) 1999-07-08 1999-07-08 立体画像処理装置、その方法、立体視パラメータ設定装置、その方法そしてコンピュータプログラム記憶媒体

Country Status (2)

Country Link
US (1) US6677939B2 (ja)
JP (1) JP3619063B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4482657B1 (ja) * 2009-09-25 2010-06-16 学校法人 文教大学学園 ３次元コンテンツを立体コンテンツに自動変換するステレオビューア
JP2011108256A (ja) * 2011-01-07 2011-06-02 Nintendo Co Ltd 情報処理プログラム、情報処理方法、情報処理装置及び情報処理システム
JP2012003350A (ja) * 2010-06-14 2012-01-05 Nintendo Co Ltd 画像表示プログラム、装置、システムおよび方法
JP2013069301A (ja) * 2012-10-24 2013-04-18 Nintendo Co Ltd 情報処理プログラム、情報処理方法、情報処理装置及び情報処理システム
US9019261B2 (en) 2009-10-20 2015-04-28 Nintendo Co., Ltd. Storage medium storing display control program, storage medium storing library program, information processing system, and display control method
US9128293B2 (en) 2010-01-14 2015-09-08 Nintendo Co., Ltd. Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
US9259645B2 (en) 2011-06-03 2016-02-16 Nintendo Co., Ltd. Storage medium having stored therein an image generation program, image generation method, image generation apparatus and image generation system
US9693039B2 (en) 2010-05-27 2017-06-27 Nintendo Co., Ltd. Hand-held electronic device
US11089290B2 (en) 2009-11-04 2021-08-10 Nintendo Co., Ltd. Storage medium storing display control program, information processing system, and storage medium storing program utilized for controlling stereoscopic display

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002092657A (ja) * 2000-09-12 2002-03-29 Canon Inc 立体表示制御装置、方法及び記憶媒体
CA2328795A1 (en) 2000-12-19 2002-06-19 Advanced Numerical Methods Ltd. Applications and performance enhancements for detail-in-context viewing technology
CA2345803A1 (en) 2001-05-03 2002-11-03 Idelix Software Inc. User interface elements for pliable display technology implementations
US8416266B2 (en) 2001-05-03 2013-04-09 Noregin Assetts N.V., L.L.C. Interacting with detail-in-context presentations
US7084886B2 (en) 2002-07-16 2006-08-01 Idelix Software Inc. Using detail-in-context lenses for accurate digital image cropping and measurement
WO2002101534A1 (en) 2001-06-12 2002-12-19 Idelix Software Inc. Graphical user interface with zoom for detail-in-context presentations
US9760235B2 (en) 2001-06-12 2017-09-12 Callahan Cellular L.L.C. Lens-defined adjustment of displays
US7079139B2 (en) * 2001-07-02 2006-07-18 Kaon Interactive, Inc. Method and system for measuring an item depicted in an image
CA2361341A1 (en) * 2001-11-07 2003-05-07 Idelix Software Inc. Use of detail-in-context presentation on stereoscopically paired images
CA2370752A1 (en) 2002-02-05 2003-08-05 Idelix Software Inc. Fast rendering of pyramid lens distorted raster images
JP2003337303A (ja) * 2002-05-17 2003-11-28 Canon Inc 立体画像表示装置および立体画像表示システム
US8120624B2 (en) 2002-07-16 2012-02-21 Noregin Assets N.V. L.L.C. Detail-in-context lenses for digital image cropping, measurement and online maps
CA2393887A1 (en) 2002-07-17 2004-01-17 Idelix Software Inc. Enhancements to user interface for detail-in-context data presentation
JP4115188B2 (ja) * 2002-07-19 2008-07-09 キヤノン株式会社 仮想空間描画表示装置
CA2406047A1 (en) 2002-09-30 2004-03-30 Ali Solehdin A graphical user interface for digital media and network portals using detail-in-context lenses
CA2449888A1 (en) 2003-11-17 2005-05-17 Idelix Software Inc. Navigating large images using detail-in-context fisheye rendering techniques
CA2411898A1 (en) 2002-11-15 2004-05-15 Idelix Software Inc. A method and system for controlling access to detail-in-context presentations
JP4262011B2 (ja) * 2003-07-30 2009-05-13 キヤノン株式会社 画像提示方法及び装置
EP1727093A1 (en) * 2003-12-19 2006-11-29 Tdvision Corporation S.A. DE C.V. 3d videogame system
US7486302B2 (en) 2004-04-14 2009-02-03 Noregin Assets N.V., L.L.C. Fisheye lens graphical user interfaces
BRPI0511299A (pt) * 2004-05-21 2007-12-04 Pressco Tech Inc interface de preparação de usuário para re-inspeção gráfica
US8106927B2 (en) 2004-05-28 2012-01-31 Noregin Assets N.V., L.L.C. Graphical user interfaces and occlusion prevention for fisheye lenses with line segment foci
US9317945B2 (en) 2004-06-23 2016-04-19 Callahan Cellular L.L.C. Detail-in-context lenses for navigation
US7714859B2 (en) 2004-09-03 2010-05-11 Shoemaker Garth B D Occlusion reduction and magnification for multidimensional data presentations
US7995078B2 (en) 2004-09-29 2011-08-09 Noregin Assets, N.V., L.L.C. Compound lenses for multi-source data presentation
JP2006285952A (ja) * 2005-03-11 2006-10-19 Sony Corp 画像処理方法、画像処理装置、プログラムおよび記録媒体
US7580036B2 (en) 2005-04-13 2009-08-25 Catherine Montagnese Detail-in-context terrain displacement algorithm with optimizations
JP4555722B2 (ja) * 2005-04-13 2010-10-06 株式会社 日立ディスプレイズ 立体映像生成装置
DE102005017313A1 (de) * 2005-04-14 2006-10-19 Volkswagen Ag Verfahren zur Darstellung von Informationen in einem Verkehrsmittel und Kombiinstrument für ein Kraftfahrzeug
KR100649523B1 (ko) * 2005-06-30 2006-11-27 삼성에스디아이 주식회사 입체 영상 표시 장치
US8031206B2 (en) 2005-10-12 2011-10-04 Noregin Assets N.V., L.L.C. Method and system for generating pyramid fisheye lens detail-in-context presentations
US7983473B2 (en) 2006-04-11 2011-07-19 Noregin Assets, N.V., L.L.C. Transparency adjustment of a presentation
CN101127202B (zh) * 2006-08-18 2011-07-27 鸿富锦精密工业（深圳）有限公司 显示装置参数自动调节系统及方法
US9026938B2 (en) 2007-07-26 2015-05-05 Noregin Assets N.V., L.L.C. Dynamic detail-in-context user interface for application access and content access on electronic displays
US8390674B2 (en) * 2007-10-10 2013-03-05 Samsung Electronics Co., Ltd. Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image
US8228327B2 (en) * 2008-02-29 2012-07-24 Disney Enterprises, Inc. Non-linear depth rendering of stereoscopic animated images
US8139111B2 (en) * 2008-12-04 2012-03-20 The Boeing Company Height measurement in a perspective image
US9275680B2 (en) * 2009-06-16 2016-03-01 Microsoft Technology Licensing, Llc Viewer-centric user interface for stereoscopic cinema
US10021377B2 (en) * 2009-07-27 2018-07-10 Koninklijke Philips N.V. Combining 3D video and auxiliary data that is provided when not reveived
JP4747214B2 (ja) * 2009-09-17 2011-08-17 パナソニック株式会社 映像信号処理装置、及び、映像信号処理方法
CN102640502B (zh) * 2009-10-14 2015-09-23 诺基亚公司 自动立体渲染和显示装置
KR101651568B1 (ko) * 2009-10-27 2016-09-06 삼성전자주식회사 3차원 공간 인터페이스 장치 및 방법
TW201130285A (en) * 2010-02-26 2011-09-01 Hon Hai Prec Ind Co Ltd System and method for controlling 3D images
DE102010009737A1 (de) * 2010-03-01 2011-09-01 Institut für Rundfunktechnik GmbH Verfahren und Anordnung zur Wiedergabe von 3D-Bildinhalten
US9049434B2 (en) 2010-03-05 2015-06-02 Panasonic Intellectual Property Management Co., Ltd. 3D imaging device and 3D imaging method
JP5491617B2 (ja) 2010-03-05 2014-05-14 パナソニック株式会社 立体撮像装置、および立体撮像方法
WO2011108277A1 (ja) * 2010-03-05 2011-09-09 パナソニック株式会社 立体撮像装置および立体撮像方法
US8896668B2 (en) 2010-04-05 2014-11-25 Qualcomm Incorporated Combining data from multiple image sensors
US20110242342A1 (en) 2010-04-05 2011-10-06 Qualcomm Incorporated Combining data from multiple image sensors
JP5872185B2 (ja) * 2010-05-27 2016-03-01 任天堂株式会社 携帯型電子機器
US8970672B2 (en) 2010-05-28 2015-03-03 Qualcomm Incorporated Three-dimensional image processing
JP5073013B2 (ja) * 2010-06-11 2012-11-14 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御方法および表示制御システム
KR101688153B1 (ko) * 2010-08-11 2016-12-20 엘지전자 주식회사 3차원 영상의 편집 방법 및 이를 이용하는 이동 단말기
WO2012023168A1 (ja) * 2010-08-19 2012-02-23 パナソニック株式会社 立体映像撮像装置および立体映像撮像方法
US8704879B1 (en) 2010-08-31 2014-04-22 Nintendo Co., Ltd. Eye tracking enabling 3D viewing on conventional 2D display
JP4956658B2 (ja) * 2010-10-12 2012-06-20 シャープ株式会社 立体映像変換装置及び立体映像表示装置
JP2012174237A (ja) * 2011-02-24 2012-09-10 Nintendo Co Ltd 表示制御プログラム、表示制御装置、表示制御システム、及び表示制御方法
JP5987267B2 (ja) * 2011-03-28 2016-09-07 ソニー株式会社 画像処理装置および画像処理方法
JP5757790B2 (ja) * 2011-06-03 2015-07-29 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、及び、情報処理方法
KR101888672B1 (ko) * 2011-07-27 2018-08-16 엘지디스플레이 주식회사 입체영상 표시장치와 그 구동방법
KR20130015664A (ko) * 2011-08-04 2013-02-14 삼성전자주식회사 이미지 변환 장치 및 방법
KR20130024504A (ko) * 2011-08-31 2013-03-08 삼성전기주식회사 삼차원 카메라 시스템 및 주시각 조정 방법
WO2013085513A1 (en) * 2011-12-07 2013-06-13 Intel Corporation Graphics rendering technique for autostereoscopic three dimensional display
JP2013211672A (ja) * 2012-03-30 2013-10-10 Namco Bandai Games Inc 曲面投影立体視装置
US8957892B2 (en) 2012-08-20 2015-02-17 Disney Enterprises, Inc. Stereo composition based on multiple camera rigs
US9300942B2 (en) 2012-10-18 2016-03-29 Industrial Technology Research Institute Method and control system for three-dimensional video playback using visual fatigue estimation
US9225969B2 (en) 2013-02-11 2015-12-29 EchoPixel, Inc. Graphical system with enhanced stereopsis
US20180140362A1 (en) * 2015-04-07 2018-05-24 King Abdullah University Of Science And Technology Method, apparatus, and system for utilizing augmented reality to improve surgery
WO2019049289A1 (ja) * 2017-09-07 2019-03-14 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
CN107657654B (zh) * 2017-09-21 2021-11-23 北京小鸟看看科技有限公司 一种虚拟现实场景渲染方法、装置和头戴显示设备
JP7349808B2 (ja) * 2019-03-20 2023-09-25 任天堂株式会社 画像表示システム、画像表示プログラム、画像表示装置、および画像表示方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4482657B1 (ja) * 2009-09-25 2010-06-16 学校法人 文教大学学園 ３次元コンテンツを立体コンテンツに自動変換するステレオビューア
JP2011070432A (ja) * 2009-09-25 2011-04-07 Bunkyo Daigaku Gakuen ３次元コンテンツを立体コンテンツに自動変換するステレオビューア
US9019261B2 (en) 2009-10-20 2015-04-28 Nintendo Co., Ltd. Storage medium storing display control program, storage medium storing library program, information processing system, and display control method
US11089290B2 (en) 2009-11-04 2021-08-10 Nintendo Co., Ltd. Storage medium storing display control program, information processing system, and storage medium storing program utilized for controlling stereoscopic display
US9128293B2 (en) 2010-01-14 2015-09-08 Nintendo Co., Ltd. Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
US9693039B2 (en) 2010-05-27 2017-06-27 Nintendo Co., Ltd. Hand-held electronic device
JP2012003350A (ja) * 2010-06-14 2012-01-05 Nintendo Co Ltd 画像表示プログラム、装置、システムおよび方法
JP2011108256A (ja) * 2011-01-07 2011-06-02 Nintendo Co Ltd 情報処理プログラム、情報処理方法、情報処理装置及び情報処理システム
US9325961B2 (en) 2011-01-07 2016-04-26 Nintendo Co., Ltd. Computer-readable storage medium having information processing program stored therein, information processing method, information processing apparatus, and information processing system
US9259645B2 (en) 2011-06-03 2016-02-16 Nintendo Co., Ltd. Storage medium having stored therein an image generation program, image generation method, image generation apparatus and image generation system
US9914056B2 (en) 2011-06-03 2018-03-13 Nintendo Co., Ltd. Storage medium having stored therein an image generation program, image generation method, image generation apparatus and image generation system
JP2013069301A (ja) * 2012-10-24 2013-04-18 Nintendo Co Ltd 情報処理プログラム、情報処理方法、情報処理装置及び情報処理システム

Also Published As

Publication number Publication date
JP3619063B2 (ja) 2005-02-09
US6677939B2 (en) 2004-01-13
US20030179198A1 (en) 2003-09-25

Similar Documents

Publication Publication Date Title
JP3619063B2 (ja) 立体画像処理装置、その方法、立体視パラメータ設定装置、その方法そしてコンピュータプログラム記憶媒体
JP3420504B2 (ja) 情報処理方法
US10096157B2 (en) Generation of three-dimensional imagery from a two-dimensional image using a depth map
US20220188971A1 (en) Mixed reality system with color virtual content warping and method of generating virtual content using same
US10349033B2 (en) Three-dimensional map generating and displaying apparatus and method
US10522116B2 (en) Projection method with multiple rectangular planes at arbitrary positions to a variable projection center
JP3230745B2 (ja) ３次元画像生成装置及び生成方法
JP4228646B2 (ja) 立体視画像生成方法および立体視画像生成装置
US6747610B1 (en) Stereoscopic image display apparatus capable of selectively displaying desired stereoscopic image
JP3728160B2 (ja) 奥行き画像計測装置及び方法、並びに複合現実感提示システム
JP4555722B2 (ja) 立体映像生成装置
JP5160741B2 (ja) ３ｄグラフィック処理装置及びこれを利用した立体映像表示装置
US20060152579A1 (en) Stereoscopic imaging system
JP2005295004A (ja) 立体画像処理方法および立体画像処理装置
JPH0676073A (ja) 立体三次元画像を生成する方法及び装置
WO2020184174A1 (ja) 画像処理装置および画像処理方法
KR100381817B1 (ko) 제트버퍼를 이용한 입체영상 생성방법 및 기록매체
JP2003067784A (ja) 情報処理装置
JP3126575B2 (ja) 立体視用３次元画像生成装置
JP2006163547A (ja) 立体画像生成プログラム、立体画像生成システム及び立体画像生成装置。
US6559844B1 (en) Method and apparatus for generating multiple views using a graphics engine
US7064767B2 (en) Image solution processing method, processing apparatus, and program
JP4642431B2 (ja) 地図表示装置、地図表示システム、地図表示方法およびプログラム
JPH10232953A (ja) 立体視画像生成装置
JPH09233499A (ja) 立体画像生成装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041008

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041111

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071119

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081119

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081119

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091119

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101119

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101119

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111119

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121119

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131119

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees