JP2004198971A - 立体視用表示装置及び立体視用表示方法 - Google Patents

立体視用表示装置及び立体視用表示方法 Download PDF

Info

Publication number
JP2004198971A
JP2004198971A JP2002370463A JP2002370463A JP2004198971A JP 2004198971 A JP2004198971 A JP 2004198971A JP 2002370463 A JP2002370463 A JP 2002370463A JP 2002370463 A JP2002370463 A JP 2002370463A JP 2004198971 A JP2004198971 A JP 2004198971A
Authority
JP
Japan
Prior art keywords
image
display
stereoscopic
eye
eye image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002370463A
Other languages
English (en)
Other versions
JP4218937B2 (ja
Inventor
Shigeki Toyama
茂樹 遠山
Atsushi Miyazawa
篤 宮澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Namco Ltd
Original Assignee
Namco Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Namco Ltd filed Critical Namco Ltd
Priority to JP2002370463A priority Critical patent/JP4218937B2/ja
Publication of JP2004198971A publication Critical patent/JP2004198971A/ja
Application granted granted Critical
Publication of JP4218937B2 publication Critical patent/JP4218937B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

【課題】俯瞰視点で見た場合にも適切な立体視を実現できる立体視用表示装置及び立体視用表示方法を提供すること。
【解決手段】立体視用表示装置は、立体視用画像を表示するディスプレイと、ディスプレイの左目用画像の像光と右目用画像の像光を分離して異なる場所に導光する立体視用光学デバイス(レンチキュラーレンズ)を含む。立体視用光学デバイスは、表示画面を俯瞰する視点VPから見たときの焦点を、表示画面の手前側領域と奥側領域の両方において表示画面に合わせるデバイスである。立体視用光学デバイスとしては、表示画面の奥側領域での厚さが手前側領域での厚さよりも薄いレンズや、奥側領域での曲率半径が手前側領域での曲率半径よりも大きいレンズを用いる。或いは俯瞰視点からの左右視線方向を含む面で切ったときの断面形状が奥側領域と手前側領域とで同じ断面形状になるレンズを用いる。
【選択図】 図8

Description

【0001】
【発明の属する技術分野】
本発明は立体視用表示装置及び立体視用表示方法に関する。
【0002】
【背景技術】
従来より、レンチキュラーレンズ(lenticular lens)などの特殊レンズを用いて立体視を実現する方式が知られている。この立体視方式では、視差のついた画像である左目用画像、右目用画像からの像光を、特殊レンズを用いて観者の左目位置、右目位置に導光させて、立体視を実現する。
【0003】
【特許文献1】
特開2002−27505号公報
【0004】
【発明が解決しようとする課題】
しかしながら従来の立体視方式には次のような課題がある。
【0005】
即ち、人間が物体の立体感を感じるのは、(1)左右の目が空間的に離れていることに起因して網膜の結像がずれる両眼視差(視線角度のずれ)、(2)左右の目が内側に向く機能である輻輳(ふくそう)、(3)水晶体の厚さが物体までの距離に応答するピント調整(焦点距離)という3つの生理的機能に起因する。そして人間は、これらの3つの生理的機能である両眼視差、輻輳、ピント調整を脳内で処理して立体感を感じている。
【0006】
そして、これらの3つの生理的機能の関係は、通常、脳内において関連づけられている。従って、この関係に誤差や矛盾が生じると、脳が無理に立体と関連づけようとして、不自然さを感じたり、或いは立体として認知できなかったりする事態が生じる。
【0007】
ところが、従来の立体視方式では、両眼視差や輻輳だけを利用して、立体視を表現していた。このため、ピント(焦点距離)は、立体視用画像(表示画面、印刷面)の面内においてほぼ一定なのに対し、両眼視差や輻輳のずれは、立体視用画像のほとんどの場所において生じており、人間の脳に無理の無い立体視を実現できなかった。
【0008】
また従来の立体視方式では、観者は、立体視用画像が表示される表示画面や立体視用画像が印刷される印刷面を正対して見ることが予定されていた。従って、これらの表示画面や印刷面を、俯瞰視点(表示画面や印刷面に対して視線方向が斜めになる視点)で見ると、視点から見て奥側にある立体視表示物が不自然に見えてしまうという課題がある。
【0009】
本発明は、以上のような課題に鑑みてなされたものであり、その目的とするところは、俯瞰視点で見た場合にも適切な立体視を実現できる立体視用表示装置及び立体視用表示方法を提供することにある。
【0010】
【課題を解決するための手段】
本発明は、立体視用の表示装置であって、立体視用画像を表示するディスプレイと、ディスプレイの左目用画像の像光とディスプレイの右目用画像の像光とを分離して異なる場所に導光する立体視用光学デバイスとを含み、前記立体視用光学デバイスは、ディスプレイの表示画面を俯瞰する視点から見たときの焦点を、表示画面の手前側領域と奥側領域の両方においてディスプレイの表示画面に合わせる光学デバイスである立体視用表示装置に関係する。
【0011】
本発明では、左目用画像(第1の画像)の像光(光束)と、右目用画像(第1の画像に対して視差のある第2の画像)の像光が分離されて、異なる場所(左目視点位置、右目視点位置)に導光される。そして本発明では、表示画面を俯瞰する視点(斜め視線方向)から見たときの焦点が、手前側領域のみならず奥側領域においても表示画面に合うようになる。従って本発明によれば、俯瞰視点から表示画面を見た場合にも、焦点のずれがない適切な立体視を実現できる。
【0012】
なお左目用画像、右目用画像の各々は、視点位置(想定視点位置)が異なる複数の画像でもよい。また手前側領域、奥側領域は、視点から見て手前側、奥側の表示画面領域である。
【0013】
また本発明では、前記立体視用光学デバイスは、表示画面の奥側領域での厚さが、手前側領域での厚さよりも薄いレンズであってもよい。
【0014】
このように奥側領域でのレンズの厚さを薄くすれば、奥側領域での焦点距離が短くなってしまった場合にも、奥側領域での表示画面に焦点を合わせることが可能になる。
【0015】
また本発明では、前記立体視用光学デバイスは、表示画面の奥側領域での曲率半径が、手前側領域での曲率半径よりも大きいレンズであってもよい。
【0016】
このように奥側領域での曲率半径(レンズの長手方向に直交する面で切ったときの断面形状における曲率半径)を大きくすれば、奥側領域の表示画面に焦点を合わせることが可能になる。
【0017】
また本発明では、前記立体視用光学デバイスは、俯瞰視点からの左右視線方向を含む面で切ったときの断面形状が、表示画面の奥側領域と手前側領域とで同じ断面形状になるレンズであってもよい。
【0018】
このようにすれば、俯瞰視点からの左右視線方向(左目視点の視線方向、右目視点の視線方向)を含む面で切った時の断面形状の曲率半径などを同じにすることができ、手前側領域のみならず奥側領域においても表示画面に焦点を合わせることが可能になる。
【0019】
また本発明では、前記ディスプレイは、その表示画面が水平面に対して平行に設定配置されるディスプレイ、或いはその表示画面が水平面に対して角度α(0度<α≦45度)をなすように設定配置されるディスプレイであってもよい。
【0020】
このようにすれば、表示画面を見る視点が俯瞰視点となる立体視を容易に実現できる。
【0021】
また本発明では、表示画面を見る位置として設定される俯瞰視点側に設けられ、観者が表示装置を操作するための操作部を更に含んでもよい。
【0022】
このようにすることで、観者は、表示画面を俯瞰しながら、操作部を操作して、種々の操作を行うことが可能になる。
【0023】
また本発明では、前記ディスプレイが、前記立体視用画像として、案内図又はメニューの画像を表示するようにしてもよい。
【0024】
なお立体視用画像として表示される画像は、案内図やメニューの画像に限られない。
【0025】
また本発明では、前記ディスプレイが、第2の左目用画像と第2の右目用画像により生成される立体視用画像を表示し、前記第2の左目用画像が、第1の左目用画像の基準面での画像のパースペクティブを無くすための補正処理を、第1の左目用画像に対して施すことで生成され、前記第2の右目用画像が、第1の右目用画像の基準面での画像のパースペクティブを無くすための補正処理を、第1の右目用画像に対して施すことで生成されていてもよい。
【0026】
本発明によれば、基準面での画像(例えば基準面自体の画像や、基準面に接する部分での物体の画像等)のパースペクティブを無くすための補正処理を行うことで、第1の左目用画像から第2の左目用画像が生成され、第1の右目用画像から第2の右目用画像が生成される。そしてこれらの第2の左目用画像、第2の右目用画像に基づいて、立体視用画像が生成される。これにより、ピント調整や奥行き感の矛盾が少なく、より自然な立体視を実現できる。
【0027】
なお第1の左目用画像は、左目視点位置に設定されたカメラ(実カメラ又は仮想カメラ)を用いて生成でき、第1の右目用画像は、右目視点位置に設定されたカメラ(実カメラ又は仮想カメラ)を用いて生成できる。
【0028】
また本発明では、前記ディスプレイが、左目用画像と右目用画像により生成される立体視用画像を表示し、前記左目用画像が、オブジェクト空間内の左目用視点位置とオブジェクトの各点を結ぶ投影方向で、視線方向に非直交の基準面に対してオブジェクトの各点を投影して基準面にレンダリングすることで生成され、前記右目用画像が、オブジェクト空間内の右目用視点位置とオブジェクトの各点を結ぶ投影方向で、視線方向に非直交の基準面に対してオブジェクトの各点を投影して基準面にレンダリングすることで生成されていてもよい。
【0029】
このようにすれば、ピント調整や奥行き感の矛盾が少なく、より自然な立体視を実現できる。なお、基準面は、例えば視線方向(左目用視点位置と右目用視点位置の中点と仮想カメラの注視点を結ぶ方向)とは直交しない面である。別の言い方をすれば、視線方向と直交する透視変換スクリーンとは異なる面である。
【0030】
また本発明は、立体視用の表示方法であって、立体視用画像を表示するディスプレの左目用画像の像光とディスプレイの右目用画像の像光とを分離して異なる場所に導光すると共に、ディスプレイの表示画面を俯瞰する視点から見たときの焦点を、表示画面の手前側領域と奥側領域の両方においてディスプレイの表示画面に合わせ、立体視用画像の表示を行う立体視用表示方法に関係する。
【0031】
【発明の実施の形態】
以下、本実施形態について説明する。
【0032】
なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【0033】
1.表示装置の構成
図1(A)(B)に本実施形態の立体視用表示装置(以下、適宜、単に表示装置と呼ぶ)の例を示す。なお図1(A)(B)等において、X、Y軸は水平面に平行な軸であり、Z軸は鉛直面に平行な軸である。例えば表示装置を見る観者(狭義にはプレーヤ)を基準にすると、X軸、Y軸、Z軸は、各々、左右方向、前後方向、上下方向に沿った軸になる。
【0034】
この表示装置(筺体)は、立体視用画像を表示するディスプレイ10を含む。ディスプレイ10は、例えば液晶表示装置(LCD)、有機EL表示装置、無機EL表示装置、プラズマディスプレイ装置、或いはCRT(ブラウン管)などのハードウェアにより実現できる。そしてディスプレイ10には、例えば後述する立体視方式などにより生成された立体視用画像(立体視表示物を仮想表示するための最終合成画像。立体視を可能にする画像)が表示される。この立体視用画像は視差のある左目用画像、右目用画像(視差のある第1、第2の画像)により生成される。また立体視用画像は、カメラによる実写画像を用いて生成してもよいし、CG(コンピュータグラフィックス)画像を用いて生成してもよい。
【0035】
本実施形態では、このような立体視用画像を表示するディスプレイ10を設けることで、ディスプレイ10の表示画面側の空間(ディスプレイ10の上方の空間)に、立体視表示物SOBが仮想表示される。即ち立体視表示物SOBが、プレーヤの視点から見て、あたかも本物の立体のように浮き上がって見える。この立体視表示物SOBは、ディスプレイ10の表示画面上の表示物(立体視処理された表示物)に対応するものであり、例えばゲームに登場するキャラクタなどのオブジェクト、ビルなどの建物、メニューに表示される商品、或いは実写された人間などを表す表示物である。但し、SOBは現実に表示画面側空間内に実存するわけではない。即ち立体視表示物SOBは、人間の視差による錯覚により、あたかも表示画面側空間に実存するかのように仮想表示(仮想設定、仮想配置)されるものである。
【0036】
なお、ディスプレイ10の代わりに印刷物(立体視用印刷物)を用いることもできる。即ち印刷媒体(紙、レンズシート等)に立体視用画像が印刷された印刷物を、図1(A)のディスプレイ10の位置に配置する。そしてこの立体視用印刷物を用いて、印刷面側の空間に立体視表示物SOBを仮想表示するようにしてもよい。従って本明細書中においては、「ディスプレイ」「表示画面」という用語は「印刷物」「印刷面」という用語に置き換えることができ、逆に「印刷物」「印刷面」という用語は「ディスプレイ」「表示画面」という用語に置き換えることができる。
【0037】
表示装置は操作部40を含む。この操作部40は観者(プレーヤ)の俯瞰視点側(図1(A)の手前側)に設けられる。また操作部40には、ディスプレイ10に表示される立体視用画像の切り替えを指示するボタン、レバーや、ゲームに登場するキャラクタを操作するためのボタン、レバーや、ゲーム開始を指示するボタンや、コイン(広義には対価)の投入口などを設けることができる。なお操作部40を構成する部材(ボタン、レバー)の種類や形状は任意である。また音声認識操作により操作部20の操作機能を実現してもよい。また本実施形態の表示装置では操作部40を設けない構成とすることもできる。
【0038】
図1(B)に示すように表示装置は、レンチキュラーレンズ(レンズアレイ)などの特殊なレンズ20(広義には立体視用光学デバイス、或いは視差のある複数の画像の像光を分離して異なる場所に導光する光学デバイス。明細書中の他の説明でも同様)を備える。即ちLCDなどで構成されるディスプレイ10(表示パネル)の一方側(例えば上側)にレンズ20が設けられる。またディスプレイ10の他方側(例えば下側)にはバックライト30が設けられる。そしてバックライト30から出射した光は、ディスプレイ10(LCD)を通過し、レンズ20により屈折されて、左目視点位置、右目視点位置に導光される。
【0039】
なおレンチキュラーレンズは、半円筒形レンズ(蒲鉾型レンズ)を所定ピッチで所定方向(例えばX軸方向)に配列したアレイ、或いはこれと光学的に等価なレンズアレイである。
【0040】
また本実施形態では図1(B)においてバックライト30を省く構成にしてもよい。またレンズ20をディスプレイ10とバックライト30の間に設けるリアレンチキュラー方式を採用してもよい。また立体視表示と2次元表示を自在に切り替える部材(例えば光を拡散するフィルタ)を更に設けてもよい。またレンズ20として、レンチキュラーレンズ以外の特殊レンズを用いてもよい。例えば蠅の目レンズ(複眼レンズ)を用いてもよいし、またそれがインテグラル方式であってもよい。また複数の特殊レンズ(例えば横レンチキュラーレンズ、縦レンチキュラーレンズ)を組み合わせて、立体視を実現してもよい。
【0041】
レンズ20の焦平面となる表示画面には、ストライプ状(縦又は横ストライプ状)の左目用画像(L)、右目用画像(R)が表示される。即ち左目用画像のピクセル列画像と右目用画像のピクセル列画像が交互に短冊状に配列されて表示される。この場合のピクセル列画像間のピッチ幅は、レンズ20を構成する半円筒形レンズ(蒲鉾型レンズ)間のピッチ幅の1/2倍(広義には1/(2×N)倍)になる。そして図2に示すように、レンズ20は、これらの左目用画像(第1の画像)の像光(光束)と、右目用画像(第2の画像)の像光とを分離し、異なる場所(EL、ER)に導光する。
【0042】
より具体的には、ディスプレイ10に表示される左目用画像(L)からの像光(バックライト30からの光による像光)は、レンズ20により屈折されて、観者の左目視点EL(左目視点として想定される位置)に導光される。またディスプレイ10に表示される右目用画像(R)からの像光は、レンズ20により屈折されて、観者の右目視点ER(右目視点として想定される位置)に導光される。これにより観者の左目、右目に対して、視差のついた左目用画像、右目用画像の像光が入力されるようになり、立体視が実現される。
【0043】
図3に左目用画像LVと右目用画像RVにより生成される立体視用画像の例を示す。例えば左目用画像LVの第1のピクセル(サブピクセル)列画像L1の隣には、右目用画像RVの第1のピクセル列画像R1が配置される。また、R1の隣には、左目用画像LVの第2のピクセル列画像L2が配置され、L2の隣には、右目用画像RVの第2のピクセル列画像R2が配置される。このように左目用画像LV、右目用画像RVのピクセル列画像を交互にストライプ状(短冊状)に所定ピッチで配列することで、立体視用画像が生成される。なおこの場合に、2眼式のみならず、3眼式、4眼式などの多眼式方式で立体視を行う場合も本発明の範囲に含まれる。
【0044】
2.焦点の補正
さて、これまでの立体視方式では図4(A)に示すように、ディスプレイ10は、その表示画面が鉛直面に平行になるように配置され、観者が、ディスプレイ10を正対して見ることが想定されていた。従って図1(A)に示すようにディスプレイ10を水平面に平行に配置すると、以下のような問題が生じることが判明した。
【0045】
例えば図4(B)に、表示画面を俯瞰する視点VPの左右視点(左目視点EL、右目視点ER)を含む面で、レンズ20(レンズアレイの1列に相当するレンズエレメントLE。明細書中の他の説明でも同様)を切った時の断面形状を示す。図4(B)から明からなように、視点VPから見て手前側の断面形状CVNと奥側の断面形状CVFは異なった形状になる。より具体的には、奥側の断面形状CVFでは手前側の断面形状CVNに比べて、レンズの曲率半径が小さくなる。このため、焦点の位置が表示画面の上側(Z軸の負側)方向にずれてしまう。従って、例えば表示画面の手前側においては焦点が表示画面(立体視用画像が表示される面)に合ったとしても、表示画面の奥側では焦点が表示画面に合わなくなる。このため、表示画面の奥側領域において、画像の焦点がぼけて見えたり、左目用画像と右目用画像とが混ざり合って見えてしまうなどの事態が生じ、良好な立体視を実現できない。
【0046】
そこで本実施形態では図5に示すように、立体視を実現するレンズ20として、表示画面を俯瞰(鳥瞰)する視点VPから見たときの焦点を、手前側領域のみならず奥側領域においても表示画面に合わせるレンズ(光学デバイス)を採用している。より具体的には、俯瞰視点VPから見たときの焦点を、表示画面の手前側領域から奥側領域に亘って合わせるレンズ(光学デバイス)を採用している。ここで表示画面を俯瞰する視点VPとは、その視線方向が表示画面に対して斜めに方向になる視点である。より具体的には、視点VPからの直線LN(視線方向)と表示画面とのなす角度θが、0度<θ<90度となるような視点である。
【0047】
このような構成のレンズ20を採用すれば、観者が表示画面を俯瞰視点VPで見た場合に、手前側領域のみならず奥側領域においても焦点が合うようになるため、奥側領域において、焦点がぼけて見えたり、左目用画像と右目用画像とが混ざり合って見えてしまうなどの事態を防止できる。これにより、俯瞰視点VPで見た場合に最適な立体視を実現できる。
【0048】
特に本実施形態では、後述するように、表示画面を俯瞰する視点で見た場合にも、ピント調整と両眼視差の関係に矛盾が生じない立体視方式を採用している。従って、この後述する本実施形態の立体視方式と、図5で説明した構成のレンズ20(光学デバイス)とを組み合わせれば、ピント調整と両眼視差の関係に矛盾が生じない画像が、表示画面の手前側から奥側に亘って表示されるようになり、より自然で実在感のある立体視を実現できる。
【0049】
なお、レンズ20の焦点は、手前側領域と奥側領域において完全に厳密に合っている必要はなく、レンズの解像度などを考慮して、立体視に支障の無い程度に焦点が合っていればよい。また本実施形態の手法を実現する光学デバイスはレンズであることが望ましいが、例えばパララックス・バリア(アパーチャグリル)、プリズム、光変調素子(例えば光の屈折率が場所毎に異なる素子)などの種々の光学デバイスを用いることができる。
【0050】
3.具体例
次に図5の本実施形態の手法を実現するレンズ(光学デバイス)の具体例について説明する。
【0051】
3.1 レンズの厚さによる調整
図6(A)のレンズ20(レンズエレメントLE)は、表示画面の奥側領域での厚さDFが、手前側領域での厚さDNよりも薄いレンズとなっている。このようなレンズ20を用いれば、図5で説明したように、表示画面の手前側領域と奥側領域の両方において表示画面に焦点を合わせることができ、俯瞰視点で見たときに好適な立体視を実現できる。即ち図6(A)のようにレンズ20の厚さ(Z軸方向での厚さ。レンズの底辺から円弧の頂部までの長さ)を設定すれば、図4(B)のように奥側領域での断面形状CVFの曲率半径が大きくなったとしても、厚さDFが短いため、焦点を表示画面上に合わせることができる。そして、レンズ20の厚さをDNからDFに連続的に変化させれば、手前側領域から奥側領域に亘って表示画面に焦点を合わせることが可能になり、俯瞰視点VPで見た場合に最適な立体視を実現できる。
【0052】
なお図6(A)に示すレンズ20は、図6(B)に示すように、蒲鉾型レンズ(半円筒形レンズ、半楕円筒形レンズ)を所定ピッチで所定方向(例えばX軸方向)に並べたレンズアレイの1列に相当するレンズエレメントLEである(他の図面でも同様)。
【0053】
3.2 レンズの曲率半径による調整
図7(A)(B)のレンズ20(レンズエレメントLE)は、表示画面の奥側領域での曲率半径RFが、手前側領域での曲率半径RNよりも大きなレンズになっている。即ち鉛直面で切った時のレンズ20の断面形状における曲率半径が、図7(B)に示すように手前側領域では小さく、奥側領域では大きくなっている。別の言い方をすれば、奥側領域では、レンズ20の円弧が、よりなだらかになっている。
【0054】
図7(A)(B)のようにレンズ20の曲率半径(鉛直面で切ったときの断面形状における曲率半径)を設定すれば、図4(B)のように俯瞰視点VPで見た場合にも、レンズ20の焦点を、手前側領域と奥側領域の両方において表示画面に合わせることができる。そして、レンズ20の曲率半径をRNからRFに連続的に変化させれば、手前側領域から奥側領域に亘って表示画面に焦点を合わせることが可能になり、俯瞰視点VPで見た場合に最適な立体視を実現できる。
【0055】
なお図6(A)のようにレンズ20の厚さを調整する手法と、図7(A)(B)のようにレンズ20の曲率半径を調整する手法の両方を組み合わせて、レンズ20の焦点を表示画面に合わせるようにしてもよい。またレンズの厚さや曲率半径により調整される焦点は、手前側領域と奥側領域において、完全に厳密に合っている必要はなく、立体視に支障が無い程度に焦点が合っていればよい。また手前側領域から奥側領域に亘って焦点を表示画面に合わせるレンズは、例えば半楕円型レンズのアレイを用いて実現することもできる。
【0056】
3.3 レンズの断面形状による調整
図8のレンズ20(レンズエレメントLE)は、俯瞰視点VPからの左右視線方向(左目視点からの視線方向、右目視点からの視線方向)を含む面で切ったときのレンズの断面形状が、表示画面の奥側領域と手前側領域とで同じ断面形状(ほぼ同じ断面形状であればよい)になるレンズとなっている。
【0057】
即ち図8において、CS1、CS2、CS3、CS4、CS5は、俯瞰視点VPからの左右視線方向を含む面(表示画面を斜め方向に切る面。左目視点、右目視点を含む面)に相当する。そして図8では、これらの面CS1、CS2、CS3、CS4、CS5でレンズ20(LE)を切った時の断面形状CV1、CV2、CV3、CV4、CV5が、同じ断面形状(ほぼ同じ断面形状)になっている。即ちレンズ20(LE)は、図8の断面形状CV1、CV2、CV3、CV4、CV5を包絡線で結んだ形状になる。
【0058】
レンズ20を図8のような形状に設定すれば、俯瞰視点VPから見たときの焦点を、手前側領域から奥側領域に亘って表示画面(図8の面SF)に合わせることが可能になる。なぜならば、図8では断面形状CV1〜CV5が同一形状であるため、面CS1、CS2、CS3、CS4、CS5に平行な像光(光束)の焦点は、各々、SF1、SF2、SF3、SF4、SF5の位置に合うようになるからである。従って、レンズ20の焦点が表示画面に理想的に合うようになり、俯瞰視点VPで見た場合に最適な立体視を実現できる。
【0059】
4.ディスプレイの配置
さて本実施形態の表示装置のディスプレイ10は、図9(A)に示すように、その表示画面が水平面に対して平行になるように、表示装置の筺体に対して設定配置できる。例えば、表示装置を地面などに設置した場合に、表示画面が水平面に平行になるように、表示装置の筺体にディスプレイ10を取り付ける。
【0060】
即ち従来の立体視では図4(A)に示すように、観者がディスプレイ10を正対して見ることが予定されていた。これに対して本実施形態では後述するように、ディスプレイ10を俯瞰視点で見た場合にも、ピント調整と両眼視差の関係に矛盾が生じない立体視方式を採用している。従って、この後述する本実施形態の立体視方式を用いれば、図9(A)に示すようにディスプレイ10を配置しても、ピント調整と両眼視差の関係に矛盾が生じない実在感のある立体視を実現できることになる。しかも、この際に、図5〜図8で説明した構成のレンズ20(光学デバイス)を用いれば、図9(A)のように俯瞰視点で表示画面を見た場合にも、手前側領域と奥側領域の両方において焦点を表示画面に合わせることができる。従って、図9(A)のように表示画面が水平になるようにディスプレイ10を配置すると共に図5〜図8のようなレンズ20をディスプレイ10に取り付けることで、ピント調整と両眼視差の関係に矛盾が生じない立体視表示物の画像が、焦点が狂うことなく、表示画面の手前側領域から奥側領域に亘って表示されるようになる。これにより、自然で実在感のある立体視を実現できる。
【0061】
なお図9(B)に示すように、その表示画面が水平面に対して角度α(例えば0度<α≦45度)をなすように、表示装置の筺体に対してディスプレイ10を取り付けてもよい。即ち、表示装置を地面などに設置した場合に、表示画面が水平面に対して角度αをなすように、表示装置の筺体にディスプレイ10を取り付ける。
【0062】
またディスプレイ10に加えて第2のディスプレイを設けてもよい。この場合、第2のディスプレイは、その表示画面が鉛直面に平行になるように設定配置することができる。
【0063】
なお本実施形態の表示装置は種々の装置に適用できる。例えば業務用や家庭用のゲーム装置、携帯型ゲーム装置、電子案内図、電子メニュー、電子広告、写真撮影装置、携帯電話機、パーソナルコンピュータ、カーナビゲータ、電子手帳、電子辞書、電子百科事典、携帯機器、医療機器、ワードプロセッサ、パチンコ装置、メダルゲーム装置、カードゲーム装置、或いはスロットマシーンなどの種々の装置に適用できる。
【0064】
例えば図10(A)に、地図などの案内図の画像を表示する電子案内図に本実施形態の表示装置を適用した場合の例を示す。図10(A)に示すように、本実施形態によれば、案内図において指標や目印となる建物等が立体視表示されるため、ユーザにわかりやすい電子案内図を提供できる。また前述のように本実施形態では、俯瞰視点の時に好適な立体視を実現できる。従って、図10(A)のような電子案内図に好適な表示装置を提供できる。
【0065】
また図10(B)に、食べ物、商品などのメニューの画像を表示する電子メニューに本実施形態の表示装置を適用した場合の例を示す。図10(B)に示すように、本実施形態によれば、メニューに表示される食べ物、商品等が立体視表示されるため、視覚効果や演出効果が高い電子メニューを提供できる。また前述のように本実施形態では、俯瞰視点の時に好適な立体視を実現できる。従って、図10(B)のような街頭に設置したり机の上に置く電子メニューに好適な表示装置を提供できる。
【0066】
なお本実施形態の表示装置の形状も、図1(A)や図10(A)、(B)に示す形状に限定されない。例えばフラット・パネル型の薄型の表示装置でもよい。
【0067】
またディスプレイ10に表示される画像は、ゲーム画像のような動画像(リアルタイム動画像、ムービ)であってもよいし、静止画像であってもよい。
【0068】
またディスプレイ10に表示される画像は、後述するような画像生成部(立体視用画像生成部)により生成できる。また画像データ(例えば立体視用画像データ)を記憶する画像メモリと、この画像メモリから画像データを読み出す画像読み出し部を設けることで、ディスプレイ10に立体視用画像を表示できる。
【0069】
5.立体視方式の詳細
次に本実施形態の立体視方式の詳細について説明する。本実施形態では以下に説明する2つの方式で立体視を実現している。
【0070】
5.1 第1の立体視方式
図11に本実施形態の第1の立体視方式のフローチャートを示す。
【0071】
まず、立体視のための第1の左目用画像IL1と第1の右目用画像IR1を生成する(ステップS1、S2)。具体的には、左目用視点位置VPLから見える左目用画像IL1と、右目用視点位置VPRから見える右目用画像IR1を生成する。
【0072】
ここで左目用、右目用視点位置VPL、VPRは、図12に示すように、観者(viewer)の左目、右目の位置として想定される位置である。例えば、カメラ(デジタルカメラ)による実写により左目用、右目用画像IL1、IR1を生成する場合には、これらのVPL、VPRの位置にカメラを配置して、左目用、右目用画像IL1、IR1を撮影する。この場合、2台のカメラをVPL、VPRに配置して同時に撮影してもよいし、1台のカメラの位置を変えて撮影してもよい。
【0073】
一方、CG(コンピュータグラフィックス)画像やゲーム画像(リアルタイム動画像)を生成するシステムにより左目用、右目用画像IL1、IR1を生成する場合には、これらのVPL、VPRの位置に仮想カメラを配置して左目用、右目用画像IL1、IR1を生成する。即ち、オブジェクト空間においてVPL、VPRから見える画像を生成する。
【0074】
図13、図14に左目用画像IL1、右目用画像IR1の一例を示す。これらは、カメラ(デジタルカメラ)による実写によりIL1、IR1を生成した場合の例である。基準面(景品などの物体が置かれる載置面)の上には、ミカン、箱、ボールペン、ステープラーなどの種々の物体(狭義には被写体又はオブジェクト。以下の説明でも同様)が配置されている。そして左目用画像IL1は、左目用視点位置VPLにカメラを配置して、物体(注視点、物体の代表点)の方にカメラの視線(方向)を向けて撮影したものである。また右目用画像IR1は、右目用視点位置VPRにカメラを配置して、物体の方にカメラの視線を向けて撮影したものである。そして図13、図14に示すように、これらの左目用、右目用画像IL1、IR1では視線角度(見え方)がずれており、この視線角度のずれによる両眼視差を利用して、立体視が実現される。
【0075】
なお本実施形態では、立体視用画像が表示されるディスプレイの表示画面や印刷物の印刷面に対応する位置の面を、基準面として設定できる。
【0076】
また、CGやゲームの場合には、オブジェクト空間内に設定された基準面の上に、オブジェクト(ミカン、箱、ボールペン、ステープラー等をモデル化したオブジェクト)を配置し、VPL、VPRに仮想カメラを配置する。そして、仮想カメラの視線(方向)をオブジェクト(注視点、オブジェクトの代表点)の方に向けて、仮想カメラから見える画像を生成することで、図13、図14と同様な画像を生成できる。
【0077】
次に図11のステップS3に示すように、基準面BSでの画像のパースペクティブ(perspective)を無くすための補正処理を、ステップS1で得られた第1の左目用画像IL1に施し、第2の左目用画像IL2を生成する。またステップS4に示すように、基準面BSでの画像のパースペクティブ(遠近感)を無くすための補正処理を、ステップS2で得られた第1の右目用画像IR1に施し、第2の右目用画像IR2を生成する。
【0078】
図15、図16に、補正処理により得られた左目用画像IL2、右目用画像IR2の一例を示す。例えば図13、図14では、基準面BSに描かれている長方形RTG(正方形も含む広義の意味の長方形。以下の説明でも同様)にパースペクティブがついている。これに対して図15、図16では、長方形RTGのパースペクティブが無くなっている。
【0079】
ここで、本実施形態におけるパースペクティブを無くす補正処理とは、図18(A)に示すように、基準面BS自体の画像や、基準面に描かれている画像IM1や、物体OB(オブジェクト)の画像のうち基準面BSに接する部分の画像のパースペクティブ(奥行き感)を無くす処理である。即ち図18(A)のB1では、視点から奥側に行くほど、頂点間の距離が狭まるが、図18(A)のB2では、視点から奥側に行っても、頂点間の距離が変わらない。このような補正処理を行うことで、基準面BSの画像については、あたかも真上から見たような画像が生成されるようになる。なお、この補正処理により、パースペクティブが完全に厳密に無くなる必要はなく、立体視に違和感が生じない程度にパースペクティブが無くなればよい。
【0080】
次に図11のステップS5に示すように、第2の左目用画像IL2と第2の右目用画像IR2に基づき、立体視用画像(画像データ)を生成する。より具体的には、IL2(LV)とIR2(RV)とに基づき、図3に示すような処理を行って立体視用画像を生成する。
【0081】
そして、この立体視用画像(実写画像又はCG画像)を、インクジェット方式やレーザプリンタ方式などのプリンタを用いて、印刷媒体(紙、レンズシート)に印刷することで、立体視用印刷物を製造できる。なお、プリンタにより印刷された原盤となる立体視用印刷物を複製することで、立体視用印刷物を製造してもよい。このようにすれば、立体視用印刷物を短期間で大量に製造できるという利点がある。
【0082】
また立体視用画像を、表示装置(画像生成装置)のディスプレイに表示すれば、表示画像(動画像)のリアルタイム生成などが可能になる。
【0083】
図17に、図15、図16の左目用、右目用画像IL2、IR2を重ねて合成した画像を示す。
【0084】
この図17の画像は、左目用画像IL2(IL)と右目用画像IR2(IR)を含む。そして左目用画像IL2と右目用画像IR2は、各々、基準面BSに配置された物体OBの画像を含む。また基準面BSの画像も含む。
【0085】
そして図19のA1に示すように、左目用画像IL2の物体画像と右目用画像IR2の物体画像は、基準面BSの位置において一致している(但し必ずしも完全に一致している必要はない)。即ち、左目用画像IL2の物体画像の表示位置(印刷位置)と右目用画像の物体画像IR2の表示位置(印刷位置)が、基準面BSにおいて一致している。
【0086】
一方、図19のA2に示すように、基準面BSから離れるほど左目用画像IL2の物体画像と、右目用画像IR2の物体画像のずれが大きくなっている。より具体的には、物体OBの部分のうち基準面BSから上方に位置する部分の画像ほど、左目用画像IL2での表示位置(印刷位置)と、右目用画像IR2での表示位置(印刷位置)とがずれている。
【0087】
さて、これまでの立体視では図18(B)に示すように、立体視用のディスプレイPM(或いは立体視用の印刷物。以下の説明でも同様)を、その表示画面が鉛直面に対して平行になるように配置し、観者が、ディスプレイPM(表示画面)を正対して見ることが想定されていた。このため、例えば図15、図16のような左目用、右目用画像IL1、IR1に何ら補正処理を行うことなく、立体視用画像を生成して、ディスプレイPMに表示していた。そして、図15、図16の画像ではパースペクティブが残っているため、図18(B)のようにディスプレイPMを正対して見た場合に、遠近感に関する限りは、正しい画像になる。
【0088】
しかしながら図18(B)のように観者がディスプレイPMを正対して見た場合に、ピント(焦点距離)については、表示画面の全面において同一になってしまう。従って、人間の脳内において、ピント調整と、両眼視差、輻輳との関係に矛盾や誤差が生じてしまう。従って、脳が無理に立体と関連づけようとして、不自然さを感じたり、立体として認知できなくなってしまう。また、従来の方式で作成された画像を表示するディスプレイPMを、水平面に平行になるように机に配置して見てしまうと、奥行き感に矛盾が生じ、不自然な立体視になってしまう。即ち図15、図16の長方形RTGは、高さが零の平面であり、この長方形RTGが立体に見えてはいけないからである。
【0089】
そこで本実施形態では、図18(C)に示すように、ディスプレイPMを、観者が机(水平面に平行な基準面BS)の上に配置して見ることを想定するようにしている。即ち、このような配置が本方式のデフォルトの配置となる。そして、このように水平面に平行にディスプレイPMを配置した場合に、図13、図14の画像をそのまま合成して立体視用画像を生成し、ディスプレイPMに表示すると、遠近感に矛盾が生じる。
【0090】
そこで本実施形態では図15、図16、図18(A)で説明したように、基準面の画像のパースペクティブを無くす補正処理を行う。そして基準面でのパースペクティブを無くした補正後の図15、図16の画像に基づいて、立体視用画像を生成し、生成された立体視用画像が表示されたディスプレイPMを図18(C)のように水平面に平行に配置すれば、基準面の画像(長方形RTG)には適正なパースペクティブがつくようになる。また、図18(C)のように配置すれば、ディスプレイPMの表示画面上の各点の焦点距離が同一ではなく異なるようになる。このため、ピント調整についても現実世界のピント調整と近いものになる。従って、ピント調整と、両眼視差や輻輳との間の関係のずれも軽減され、より自然で、実在感のある立体視を実現できる。
【0091】
なお、本実施形態の立体視方式では、物体の高さが高い場合に奥行き感等にずれが生じる可能性がある。このような場合には例えば図20に示すように、2つの基準面BS1、BS2(広義には複数の基準面)を設ければよい。
【0092】
ここで基準面BS1は例えば水平面に平行な面である。一方、基準面BS2は、基準面BS1と所定の角度(例えば直角)をなす面である。そして、基準面BS1、BS2は境界BDにおいて連結されている。
【0093】
物体OB(オブジェクト)は、基準面BS1の上方で且つ基準面BS2の手前側(VPL、VPR側)に配置する。そして図11の代わりに図21に示す処理を行う。
【0094】
図21のステップS11、S12は、図11のステップS1、S2と同様である。そしてステップS13では、基準面BS1でのパースペクティブを無くすための補正処理を、左目用画像IL1の基準面BS1に対応する領域(IL1のうち境界BDを基準にしてBS1側の第1の領域)に対して施す。また、基準面BS2でのパースペクティブを無くすための補正処理を、IL1の基準面BS2に対応する領域(IL1のうち境界BDを基準にしてBS2側の第2の領域)に対して施す。そして、これらの補正処理により生成された画像を繋げた画像である左目用画像IL2を生成する。
【0095】
またステップS14では、基準面BS1でのパースペクティブを無くすための補正処理を、右目用画像IR1の基準面BS1に対応する領域(IR1のうち境界BDを基準にしてBS1側の第1の領域)に対して施す。また、基準面BS2でのパースペクティブを無くすための補正処理を、IR1の基準面BS2に対応する領域(IR1のうち境界BDを基準にしてBS2側の第2の領域)に対して施す。そして、これらの補正処理により生成された画像を繋げた画像である右目用画像IR2を生成する。
【0096】
そして最後にステップS15のように、IL2、IR2に基づき立体視用画像を生成する。そして、得られた立体視用画像を、印刷媒体に印刷して立体視用印刷物を製造したり、ディスプレイに表示する。
【0097】
このようにすることで図22に示すように、OBが、基準面BS1からの高さが高い物体である場合にも、より自然で、実在感のある立体視を実現できる。即ち、物体OBの足下付近の領域(境界BSの下側の第1の領域)では、基準面BS1を利用した立体視の処理により、奥行き感やピント調整に無理の無い立体視を実現できる。一方、それ以外の領域(境界BSの上側の第2の領域)では、基準面BS2を利用した立体視の処理により、奥行き感に無理の無い立体視を実現できる。
【0098】
なお、基準面は2つに限定されず、3つ以上の基準面(連結された複数の基準面)を用いてもよい。
【0099】
5.2 第2の立体視方式
図23に本実施形態の第2の立体視方式のフローチャートを示す。前述の図11の方式は、カメラにより実写した画像を用いて立体視用画像を生成するのに最適な方式であるのに対して、図23の方式は、CG画像を用いて立体視用画像を生成するのに最適な方式である。
【0100】
まず、左目用視点位置VPLとオブジェクトOBの各点を結ぶ投影方向で、基準面BS(BS1又はBS2)にOBの各点を投影して基準面BSにレンダリングし、左目用画像ILを生成する(ステップS21)。
【0101】
次に、右目用視点位置VPRとオブジェクトOBの各点を結ぶ投影方向で、基準面BS(BS1又はBS2)にOBの各点を投影して基準面BSにレンダリングし、右目用画像IRを生成する(ステップS22)。なお、基準面BSは、例えば視線方向(視点位置と注視点を結ぶ方向)に直交しない面である。即ち、基準面BSは、視線方向に常に直交する透視投影スクリーンとは異なる面である。
【0102】
ステップS21、S22の処理では、VPL(或いはVPR)からオブジェクトOBの方に向かって仮想的な光を投射し、その光を用いて、OBの画像を基準面BS(BS1又はBS2)である仮想紙に焼き付けるようにして、仮想紙にレンダリングする。これにより、図24(A)に示すように、オブジェクトOBの点P1、P2、P3、P4の画像(色等のプロパティ)が、基準面BS上の投影点P1’、P2’、P3’、P4’にレンダリングされる。なお、基準面BS上の点P5、P6の画像については、そのまま、その点P5、P6の位置にレンダリングされる。そして例えば図24(B)に示すように、基準面BS(仮想紙)の全面をラスタスキャンするようにレンダリングすることで、図15、図16のIL2、IR2と同様の左目用画像IL、右目用画像IRを生成できる。即ち、基準面の画像のパースペクティブが無くなった左目用、右目用画像IL、IRを生成できる。
【0103】
そして、これらの左目用、右目用画像IL、IR(LV、RV)に基づき、図3に示すような処理を行って立体視用画像を生成する(ステップS23)。そして、得られた立体視用画像を、印刷媒体に印刷して立体視用印刷物を製造したり、ディスプレイに表示する。
【0104】
そして例えば図24(C)に示すようにディスプレイPM(或いは立体視用の印刷物)を水平面(基準面)に平行になるように配置して見ることで、より自然で実在感のある立体視を実現できる。
【0105】
例えば図25(A)では、オブジェクトOBを透視投影スクリーンSCR(視線方向に直交する面)に透視投影して左目用画像、右目用画像を生成している。そして、得られた左目用画像、右目用画像を合成して立体視用画像を生成する。そして図25(B)に示すように、観者は、ディスプレイPMに正対して表示画面を見ることになる。
【0106】
この図25(A)の方式では、オブジェクトOBの点P2、P3は、投影投影スクリーンSCR上の点P2”、P3”に投影される。そして、ディスプレイPMを図25(B)のように正対して見ることになるため、P2”、P3”の焦点距離差L2が0になってしまう。即ち、実際の点P2、P3の焦点距離差L1は0ではないのに、L2が0となるため、ピント調整が実際のものと異なってしまう。従って、ピント調整と両眼視差の関係に矛盾が生じ、人間の脳に混乱が生じ、違和感のある立体視になってしまう。
【0107】
これに対して本実施形態では、ディスプレイPMを図24(C)に示すように机(水平面)に置いて見ることになるため、図24(A)に示すように、点P2’、P3’の焦点距離差L2は、実際の点P1、P2の焦点距離差L1と同様に、0ではない。従って手前の部分(点P2)は手前に見え、奥にある部分(点P3)は奥に見えるようになるため、ピント調整と両眼視差の関係に矛盾が生じず、人間の脳に混乱が生じないため、より自然な立体視を実現できる。
【0108】
即ち本実施形態は、ディスプレイPMを机に置いて斜めから見る方式であるため、机の面と、立体視の対象となるオブジェクトOBが載っている基準面BS(零面)とは、同一面となり、現実的であり、立体視に無理が生じない。そして、オブジェクトOBが、基準面BS(零面)に対して、数センチメートルだけ浮き上がって見える様子を表現できればよいため、奥行き方向についての矛盾はほとんど生じない。しかも、基準面BSが机の面であるため、あたかも机の上に本当に立体の物体が配置されているかのように見え、物体の実在感が向上する。即ち従来の図25(A)、(B)の方式では、基準面があやふやであるため、立体感は確かにあるが、物体の実在感が幻のようにしかならなかったのである。
【0109】
なお、図23の方式においても、図20で説明したように、複数の基準面を設定して立体視用画像を生成してもよい。この場合には、図23のステップS21、S22において、基準面BS1に投影される点については基準面BS1にレンダリングし、基準面BS2に投影される点については基準面BS2にレンダリングすればよい。
【0110】
5.3 視点位置の設定
次に視点位置の設定手法について説明する。
【0111】
図12、図20の左目用、右目用視点位置VPL、VPRは、立体視用表示画面や立体視用印刷物を観者が実際に見る時の観者の左目、右目の想定位置に基づいて配置することが望ましい。例えば図12、図20において、物体OB(オブジェクト、被写体)と観者の目との間の距離DVB(例えば40cm)、視線角度θ(視線方向SL)、両眼間の距離DLR(例えば7cm)に基づいて、左目用、右目用視点位置VPL、VPRを設定する。
【0112】
但し、縮小表示や拡大表示を行う場合には、縮小率や拡大率に応じてVPL、VPRの位置を移動させる。この場合には図26に示すような手法で視点位置を移動させることが望ましい。
【0113】
例えば物体OB(被写体、オブジェクト)と視点位置(VPLとVPRの中点CP)と間の距離DVBを長くした場合には、その長さの変化(比)に応じて、左目用視点位置VPLと右目用視点位置VPRとの間の距離DLRを長くする。即ち例えばDVBの長さの変化に比例してDLRを長くする。
【0114】
また物体OB(被写体、オブジェクト)と視点位置(VPLとVPRの中点CP)との間の距離DVBを変化させる場合に、基準面BSに対して所定の角度θをなす直線LN(視線方向)に沿って移動するように、視点位置(中点CP、VPL、VPR)を移動させる。
【0115】
このようにすることで、VPL、VPRを移動させた場合にも、距離DVBや距離DLRが等倍比で変化するようになるため、立体感に破綻が生じる事態を防止できる。これにより、適正な立体感を維持しながら縮小表示や拡大表示を実現できるようになる。
【0116】
5.4 画像生成装置
図27に、立体視用画像を生成(表示)する画像生成装置(表示装置)のブロック図の例を示す。なお、画像生成装置は、図27の構成要素(各部)を全て含む必要はなく、その一部を省略した構成としてもよい。
【0117】
この画像生成装置は、ディスプレイの表示画像を生成する装置として用いることができる。また、CG画像により立体視用画像を作成し、立体視用印刷物を作成するための画像生成装置(CGツール)としても用いることができる。また、カメラで撮った実写画像を取り込み、この実写画像により立体視用画像を作成し、立体視用印刷物を作成するための画像生成装置(パーソナルコンピュータ)としても用いることができる。
【0118】
操作部160(レバー、ボタン)は、プレーヤ(観者)が操作データを入力するためのものである。記憶部170(RAM)は、処理部100や通信部196などのワーク領域となるものである。情報記憶媒体180(CD、DVD、HDD、ROMなどのコンピュータにより読み取り可能な媒体)は、プログラムやデータなどを格納するものである。この情報記憶媒体180には、本実施形態の各部としてコンピュータを機能させるためのプログラム(各部の処理をコンピュータに実行させるためのプログラム)が記憶される。
【0119】
ディスプレイ190は画像を表示するものでり、音出力部192は音声、ゲーム音などの音を出力するものである。携帯型情報記憶装置194は、プレーヤの個人データやゲームのセーブデータなどが記憶されるものである。
【0120】
印刷部195は、立体視用画像を印刷媒体に印刷する処理を行う。この場合の印刷方式としてはインクジェット方式、レーザプリント方式などの種々の方式がある。通信部196は、インターネットなどのネットワークを介して通信を行うための各種の制御を行うものである。この通信部196を用いることで、生成された立体視用画像データをネットワークを介して送信することができる。
【0121】
処理部100(プロセッサ)は、操作部160からの操作データやプログラムなどに基づいて、ゲーム処理、画像生成処理、或いは音生成処理などの各種の処理を行う。この場合、処理部100は、記憶部170内の主記憶部172をワーク領域として使用して、各種の処理を行う。この処理部100の機能は、各種プロセッサ(CPU、DSP等)又はASIC(ゲートアレイ等)などのハードウェアや、プログラム(ゲームプログラム)により実現できる。
【0122】
処理部100は、ゲーム処理部110、画像生成部120、音生成部130を含む。
【0123】
ここでゲーム処理部110は、操作部160(ゲームコントローラ)からの操作データに基づいて種々のゲーム処理を行う。このゲーム処理としては、ゲーム開始条件に基づいてゲームを開始する処理、ゲームを進行させる処理、ゲームに登場するオブジェクト(表示物)を配置する処理、オブジェクトの移動情報(位置、速度、加速度)や動作情報(モーション情報)を求める処理、オブジェクトを表示するための処理、ゲーム結果を演算する処理、或いはゲーム終了条件が満たされた場合にゲームを終了させる処理などがある。
【0124】
画像生成部120は、処理部100で行われる種々の処理の結果に基づいて画像を生成し、ディスプレイ190に出力する。音生成部130は、処理部100で行われる種々の処理の結果に基づいて音処理を行い、BGM、効果音、又は音声などのゲーム音を生成し、音出力部192に出力する。
【0125】
画像生成部120は立体視用画像生成部122を含む。立体視用画像生成部122は、左目用視点位置(左目用仮想カメラ)から見える画像である第1の左目用画像に対して、基準面での画像のパースペクティブを無くすための補正処理を施して、第2の左目用画像を生成する。また、右目用視点位置(右目用仮想カメラ)から見える画像である第1の右目用画像に対して、基準面での画像のパースペクティブを無くすための補正処理を施して、第2の右目用画像を生成する。
【0126】
この場合の補正処理は、テクスチャマッピング部124が図28に示すようなテクスチャマッピング処理を行うことで実現される。
【0127】
即ち、パースペクティブのついたテクスチャ画像TEX(第1の左目用画像、第1の右目用画像)を、長方形(正方形を含む広義の意味の長方形)のポリゴンPLG(プリミティブ面)にマッピングする。具体的には、テクスチャ画像TEXのテクスチャ座標(TX1、TY1)、(TX2、TY2)、(TX3、TY3)、(TX4、TY4)を、ポリゴンPLGの頂点VX1、VX2、VX3、VX4にコーディネートして、テクスチャ画像TEXをポリゴンPLGにマッピングする。これにより、基準面の画像のパースペクティブが無くなった画像を生成できる。そして、このようなテクスチャマッピング処理を、第1の左目用画像、第1の右目用画像のそれぞれについて行うことで、立体視用画像生成のための第2の左目用画像、第2の右目用画像を生成する。
【0128】
なお、立体視用画像生成部122は、左目用視点位置とオブジェクトの各点を結ぶ投影方向で、基準面に対してオブジェクトの各点を投影してレンダリングすることで、左目用画像を生成し、右目用視点位置とオブジェクトの各点を結ぶ投影方向で、基準面に対してオブジェクトの各点を投影してレンダリングすることで、右目用画像を生成してもよい。
【0129】
次に立体視用画像生成部122は、第2の左目用画像(左目用画像)と第2の右目用画像(右目用画像)とに基づいて立体視用画像を生成する。例えば、第2の左目用画像(左目用画像)と第2の右目用画像(右目用画像)を合成して、立体視用画像を生成し、ディスプレイ190や印刷部195に出力する。より具体的には、第2の左目用画像(左目用画像)のピクセル列画像と第2の右目用画像(右目用画像)のピクセル列画像を交互に短冊状に配置することで、立体視用画像を生成し、ディスプレイ190や印刷部195に出力する。そしてレンチキュラーレンズなどの特殊レンズが取り付けられたディスプレイ190により立体視用画像を表示することで、立体視を実現する。また、印刷部195が印刷媒体に立体視用画像を印刷し、この印刷媒体に特殊レンズ(レンチキュラーレンズ)を取り付ける(接着する)ことで、立体視用印刷物を作成する。或いは、印刷媒体として機能する特殊レンズ(レンチキュラーレンズ)に印刷部195が立体視用画像を直接に印刷することで、立体視用印刷物を作成する。
【0130】
なお本発明は、上記実施形態で説明したものに限らず、種々の変形実施が可能である。
【0131】
例えば、明細書又は図面中の記載において広義な用語(光学デバイス、レンズ、観者等)として引用された用語(レンズ、レンチキュラーレンズ、プレーヤ等)は、明細書又は図面中の他の記載においても広義な用語に置き換えることができる。
【0132】
また、左目用画像、右目用画像、立体視用画像の生成手法も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【0133】
また本実施形態で説明した第1、第2の立体視方式と均等な方式で、立体視用画像を生成する場合も本発明の範囲に含まれる。
【0134】
また本発明の表示装置では、第1、第2の立体視方式以外の方式で立体視用画像を生成して、表示或いは印刷してもよい。
【0135】
まず立体視用光学デバイスの構造についても種々の変形実施が可能である。
【0136】
また、本発明のうち従属請求項に係る発明においては、従属先の請求項の構成要件の一部を省略する構成とすることもできる。また、本発明の1の独立請求項に係る発明の要部を、他の独立請求項に従属させることもできる。
【図面の簡単な説明】
【図1】図1(A)(B)は本実施形態の表示装置の例である。
【図2】レンチキュラーレンズの説明図である。
【図3】立体視用画像の説明図である。
【図4】図4(A)(B)は従来の立体視方式の問題点の説明図である。
【図5】手前側領域から奥側領域に亘って表示画面に焦点を合わせる本実施形態の手法の説明図である。
【図6】図6(A)(B)は本実施形態の手法を実現するレンズの一例である。
【図7】図7(A)(B)も本実施形態の手法を実現するレンズの一例である。
【図8】本実施形態の手法を実現するレンズの一例である。
【図9】図9(A)(B)はディスプレイの配置手法の説明図である。
【図10】図10(A)(B)は種々の形態の表示装置の例である。
【図11】第1の立体視方式のフローチャートである。
【図12】第1の立体視方式の説明図である。
【図13】左目用画像IL1の一例である。
【図14】右目用画像IR1の一例である。
【図15】左目用画像IL2の一例である。
【図16】右目用画像IR2の一例である。
【図17】左目用画像と右目用画像を重ね合わせた画像の例である。
【図18】図18(A)(B)(C)はパースペクティブを無くす補正処理の説明図である。
【図19】立体視用画像の特徴の説明図である。
【図20】複数の基準面を設ける手法の説明図である。
【図21】複数の基準面を設ける手法のフローチャートである。
【図22】複数の基準面を設ける手法の説明図である。
【図23】第2の立体視方式の説明図である。
【図24】図24(A)(B)(C)は第2の立体視方式の説明図である。
【図25】図25(A)(B)は従来の方式の説明図である。
【図26】視点位置の設定手法の説明図である。
【図27】画像生成装置(表示装置)の構成例である。
【図28】テクスチャマッピングを用いた補正処理の説明図である。
【符号の説明】
10 ディスプレイ、20 レンズ(立体視用光学デバイス)、
30 バックライト、40 操作部、
SOB 立体視表示物、
VPL 左目用視点位置、VPR 右目用視点位置、VP 俯瞰視点、
OB 物体(オブジェクト、被写体)、BS(BS1、BS2) 基準面、
IL1 第1の左目用画像、IR1 第1の右目用画像、
IL2 第2の左目用画像、IR2 第2の右目用画像、
IL 左目用画像、IR 右目用画像、

Claims (10)

  1. 立体視用の表示装置であって、
    立体視用画像を表示するディスプレイと、
    ディスプレイの左目用画像の像光とディスプレイの右目用画像の像光とを分離して異なる場所に導光する立体視用光学デバイスとを含み、
    前記立体視用光学デバイスは、
    ディスプレイの表示画面を俯瞰する視点から見たときの焦点を、表示画面の手前側領域と奥側領域の両方においてディスプレイの表示画面に合わせる光学デバイスであることを特徴とする立体視用表示装置。
  2. 請求項1において、
    前記立体視用光学デバイスは、
    表示画面の奥側領域での厚さが、手前側領域での厚さよりも薄いレンズであることを特徴とする立体視用表示装置。
  3. 請求項1又は2において、
    前記立体視用光学デバイスは、
    表示画面の奥側領域での曲率半径が、手前側領域での曲率半径よりも大きいレンズであることを特徴とする立体視用表示装置。
  4. 請求項1において、
    前記立体視用光学デバイスは、
    俯瞰視点の左右視線方向を含む面で切ったときの断面形状が、表示画面の奥側領域と手前側領域とで同じ断面形状になるレンズであることを特徴とする立体視用表示装置。
  5. 請求項1乃至4のいずれかにおいて、
    前記ディスプレイは、
    その表示画面が水平面に対して平行に設定配置されるディスプレイ、或いはその表示画面が水平面に対して角度α(0度<α≦45度)をなすように設定配置されるディスプレイであることを特徴とする立体視用表示装置。
  6. 請求項1乃至5のいずれかにおいて、
    表示画面を見る位置として設定される俯瞰視点側に設けられ、観者が表示装置を操作するための操作部を更に含むことを特徴とする立体視用表示装置。
  7. 請求項1乃至6のいずれかにおいて、
    前記ディスプレイが、
    前記立体視用画像として、案内図又はメニューの画像を表示することを特徴とする立体視用表示装置。
  8. 請求項1乃至7のいずれかにおいて、
    前記ディスプレイが、
    第2の左目用画像と第2の右目用画像により生成される立体視用画像を表示し、
    前記第2の左目用画像が、
    第1の左目用画像の基準面での画像のパースペクティブを無くすための補正処理を、第1の左目用画像に対して施すことで生成され、
    前記第2の右目用画像が、
    第1の右目用画像の基準面での画像のパースペクティブを無くすための補正処理を、第1の右目用画像に対して施すことで生成されていることを特徴とする立体視用表示装置。
  9. 請求項1乃至7のいずれかにおいて、
    前記ディスプレイが、
    左目用画像と右目用画像により生成される立体視用画像を表示し、
    前記左目用画像が、
    オブジェクト空間内の左目用視点位置とオブジェクトの各点を結ぶ投影方向で、視線方向に非直交の基準面に対してオブジェクトの各点を投影して基準面にレンダリングすることで生成され、
    前記右目用画像が、
    オブジェクト空間内の右目用視点位置とオブジェクトの各点を結ぶ投影方向で、視線方向に非直交の基準面に対してオブジェクトの各点を投影して基準面にレンダリングすることで生成されていることを特徴とする立体視用表示装置。
  10. 立体視用の表示方法であって、
    立体視用画像を表示するディスプレの左目用画像の像光とディスプレイの右目用画像の像光とを分離して異なる場所に導光すると共に、
    ディスプレイの表示画面を俯瞰する視点から見たときの焦点を、表示画面の手前側領域と奥側領域の両方においてディスプレイの表示画面に合わせ、立体視用画像の表示を行うことを特徴とする立体視用表示方法。
JP2002370463A 2002-12-20 2002-12-20 立体視用表示装置及び立体視用表示方法 Expired - Fee Related JP4218937B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002370463A JP4218937B2 (ja) 2002-12-20 2002-12-20 立体視用表示装置及び立体視用表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002370463A JP4218937B2 (ja) 2002-12-20 2002-12-20 立体視用表示装置及び立体視用表示方法

Publications (2)

Publication Number Publication Date
JP2004198971A true JP2004198971A (ja) 2004-07-15
JP4218937B2 JP4218937B2 (ja) 2009-02-04

Family

ID=32766382

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002370463A Expired - Fee Related JP4218937B2 (ja) 2002-12-20 2002-12-20 立体視用表示装置及び立体視用表示方法

Country Status (1)

Country Link
JP (1) JP4218937B2 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007072269A (ja) * 2005-09-08 2007-03-22 Sharp Corp 立体表示装置
JP2008083644A (ja) * 2006-09-29 2008-04-10 Toyoda Gosei Co Ltd 表示装置
JP2008210359A (ja) * 2007-01-30 2008-09-11 Toyota Motor Corp 操作装置
US7652665B2 (en) 2005-04-14 2010-01-26 Kabushiki Kaisha Toshiba Method for producing multi-viewpoint image for three-dimensional image display and program therefor
JP2010092431A (ja) * 2008-10-10 2010-04-22 Toshiba Tec Corp 電子メニュー装置及び電子メニュープログラム
US20100100844A1 (en) * 2008-10-10 2010-04-22 Toshiba Tec Kabushiki Kaisha Electronic menu apparatus
JP2010088811A (ja) * 2008-10-10 2010-04-22 Toshiba Tec Corp 飲食店用テーブル及びこのテーブルを用いた電子メニュー装置
JP2010258539A (ja) * 2009-04-21 2010-11-11 Dainippon Printing Co Ltd 立体画像印刷表示装置
WO2011036798A1 (ja) * 2009-09-28 2011-03-31 株式会社東芝 立体画像生成装置
US7986320B2 (en) 2006-09-28 2011-07-26 Kabushiki Kaisha Toshiba 3D image displaying method and apparatus
US8049722B2 (en) 2005-09-05 2011-11-01 Toyota Jidosha Kabushiki Kaisha Vehicular operating apparatus
US8094189B2 (en) 2007-01-30 2012-01-10 Toyota Jidosha Kabushiki Kaisha Operating device
US11126008B2 (en) 2019-02-27 2021-09-21 Samsung Electronics Co., Ltd. 3D image display apparatus, 3D image display method, and 3D image generating and displaying system
CN116974091A (zh) * 2023-09-25 2023-10-31 成都工业学院 一种立体显示管

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0338633A (ja) * 1989-06-23 1991-02-19 Heinrich Hertz Inst Nachrichtentech Berlin Gmbh 画像の3次元知覚用の再生装置
JPH0974573A (ja) * 1995-06-29 1997-03-18 Matsushita Electric Ind Co Ltd 立体cg画像生成装置
JPH09201472A (ja) * 1996-01-24 1997-08-05 Taito Corp 二眼式立体映像を表示するゲーム機の両眼映像入射位置および輻輳点の調整装置
JPH10282594A (ja) * 1997-04-03 1998-10-23 Victor Co Of Japan Ltd 立体画像記録媒体用ホルダの支持スタンド
JP2000029375A (ja) * 1998-07-13 2000-01-28 Dainippon Printing Co Ltd ホログラム表示体
JP2001356299A (ja) * 2000-06-16 2001-12-26 Tdk Corp 画面表示装置及びレンズ
JP2002202477A (ja) * 2000-12-28 2002-07-19 Hirata:Kk 三次元画像の表示方法及びその三次元画像の印刷物
JP2002303821A (ja) * 2002-01-15 2002-10-18 Canon Inc 立体ディスプレイ装置及び立体ディスプレイ装置における画面制御方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0338633A (ja) * 1989-06-23 1991-02-19 Heinrich Hertz Inst Nachrichtentech Berlin Gmbh 画像の3次元知覚用の再生装置
JPH0974573A (ja) * 1995-06-29 1997-03-18 Matsushita Electric Ind Co Ltd 立体cg画像生成装置
JPH09201472A (ja) * 1996-01-24 1997-08-05 Taito Corp 二眼式立体映像を表示するゲーム機の両眼映像入射位置および輻輳点の調整装置
JPH10282594A (ja) * 1997-04-03 1998-10-23 Victor Co Of Japan Ltd 立体画像記録媒体用ホルダの支持スタンド
JP2000029375A (ja) * 1998-07-13 2000-01-28 Dainippon Printing Co Ltd ホログラム表示体
JP2001356299A (ja) * 2000-06-16 2001-12-26 Tdk Corp 画面表示装置及びレンズ
JP2002202477A (ja) * 2000-12-28 2002-07-19 Hirata:Kk 三次元画像の表示方法及びその三次元画像の印刷物
JP2002303821A (ja) * 2002-01-15 2002-10-18 Canon Inc 立体ディスプレイ装置及び立体ディスプレイ装置における画面制御方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7652665B2 (en) 2005-04-14 2010-01-26 Kabushiki Kaisha Toshiba Method for producing multi-viewpoint image for three-dimensional image display and program therefor
US8049722B2 (en) 2005-09-05 2011-11-01 Toyota Jidosha Kabushiki Kaisha Vehicular operating apparatus
JP4657066B2 (ja) * 2005-09-08 2011-03-23 シャープ株式会社 立体表示装置
JP2007072269A (ja) * 2005-09-08 2007-03-22 Sharp Corp 立体表示装置
US7986320B2 (en) 2006-09-28 2011-07-26 Kabushiki Kaisha Toshiba 3D image displaying method and apparatus
JP2008083644A (ja) * 2006-09-29 2008-04-10 Toyoda Gosei Co Ltd 表示装置
US8094189B2 (en) 2007-01-30 2012-01-10 Toyota Jidosha Kabushiki Kaisha Operating device
JP2008210359A (ja) * 2007-01-30 2008-09-11 Toyota Motor Corp 操作装置
JP2010088811A (ja) * 2008-10-10 2010-04-22 Toshiba Tec Corp 飲食店用テーブル及びこのテーブルを用いた電子メニュー装置
US20100100844A1 (en) * 2008-10-10 2010-04-22 Toshiba Tec Kabushiki Kaisha Electronic menu apparatus
JP2010092431A (ja) * 2008-10-10 2010-04-22 Toshiba Tec Corp 電子メニュー装置及び電子メニュープログラム
JP2010258539A (ja) * 2009-04-21 2010-11-11 Dainippon Printing Co Ltd 立体画像印刷表示装置
WO2011036798A1 (ja) * 2009-09-28 2011-03-31 株式会社東芝 立体画像生成装置
US11126008B2 (en) 2019-02-27 2021-09-21 Samsung Electronics Co., Ltd. 3D image display apparatus, 3D image display method, and 3D image generating and displaying system
CN116974091A (zh) * 2023-09-25 2023-10-31 成都工业学院 一种立体显示管
CN116974091B (zh) * 2023-09-25 2023-11-28 成都工业学院 一种立体显示管

Also Published As

Publication number Publication date
JP4218937B2 (ja) 2009-02-04

Similar Documents

Publication Publication Date Title
JP4823334B2 (ja) 画像生成システム、画像生成方法、プログラム及び情報記憶媒体
JP4468341B2 (ja) 三次元画像表示方法および三次元画像表示装置
US7907167B2 (en) Three dimensional horizontal perspective workstation
US7796134B2 (en) Multi-plane horizontal perspective display
US8249335B2 (en) Method of making printed material for stereoscopic viewing, and printed material for stereoscopic viewing
JP4218937B2 (ja) 立体視用表示装置及び立体視用表示方法
US20130044103A1 (en) Apparatus and method for displaying stereoscopic image
US11961194B2 (en) Non-uniform stereo rendering
JP3579683B2 (ja) 立体視用印刷物の製造方法、立体視用印刷物
JP4397217B2 (ja) 画像生成システム、画像生成方法、プログラム及び情報記憶媒体
JP3933570B2 (ja) 遊戯装置
JP4218938B2 (ja) 立体視用印刷物
JP2004207780A (ja) 写真撮影装置
JP4624588B2 (ja) 画像生成装置、プログラム及び情報記憶媒体
JP5319728B2 (ja) 視差画像生成装置、表示装置、視差画像生成方法、視差画像生成プログラムおよびそれを記録した記録媒体
JP3640256B2 (ja) 立体視用印刷物の製造方法、立体視用印刷物
JP5085722B2 (ja) 画像生成システム
JPH10172004A (ja) 立体画像表示方法
JP4397216B2 (ja) 立体視用印刷物の製造方法、立体視用印刷物
KR200250437Y1 (ko) 독립된 다중 영상의 합성에 의한 오목 거울을 이용한 3차원 입체 영상 생성 장치
JP2009169155A (ja) 立体視用印刷物の製造方法、立体視用印刷物、画像生成システム、画像生成方法、プログラム及び情報記憶媒体
JP2018186319A (ja) 立体画像表示制御装置、立体画像表示制御方法及び立体画像表示制御プログラム
KR20010088478A (ko) 독립된 다중 영상의 합성에 의한 오목 거울을 이용한 3차원 입체 영상 생성 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080716

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080916

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081105

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081110

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111121

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4218937

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111121

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111121

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121121

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121121

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131121

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees