前述したように水平に設置された画像呈示面で立体表示を行う場合に、従来より行われているパースペクティブを無くす補正処理(前述した特許文献2〜6参照)は、実写カメラやコンピュータ・グラフィクス画像生成用の仮想カメラを用いて画像を撮影または生成した後における立体映像に対する2次的な補正処理である。このため、複雑な演算処理を行わなければならず、演算処理の負荷が大きく、時間がかかるという問題がある。
また、パースペクティブを無くす補正処理は、水平表示を行う場合のみならず、画像呈示面が傾斜している場合にも、カメラの撮影方向がその画像呈示面に対して斜めになっている限りは必要となる。しかし、画像呈示面を傾斜させる場合についても、従来より行われているパースペクティブを無くす補正処理方法を応用することで、適正な立体像を再生することが可能になるかもしれないが、それは水平表示の場合と同様に、画像の撮影または生成後における2次的な補正処理に過ぎないため、抱える問題は、水平表示の場合と同じである。
従って、水平または傾斜した画像呈示面で立体映像を呈示する場合に、適正(自然)な立体像が再生されるように画像を撮影または生成することができるシステムの構築が望まれる。
さらに、前述したイリノイ大学のCAVEでは、水平な画像呈示面(床面)において歪みのない立体像がリアルタイムで生成されているが、仮想カメラによる撮影方法は、あくまでも平行法であるから、交差法による撮影でも適正な立体像が再生されるようなシステムの構築が望まれる。
そして、前述したように、両眼視差を利用した立体映像の呈示方式は、様々なものが考案されているが、未だ完全なものはない。メガネあり方式は勿論不完全であるといえるが、メガネの不要な裸眼方式においても、解像度を向上させるには視域を、視域を拡大するには解像度を、それぞれ犠牲にする必要がある。従って、こうした相反する要件を相互に補完し、解像度と視域を両立させることができる複合的なシステムの構築が望まれる。なお、前述したイリノイ大学のCAVEは、複数の画像呈示面を備えているが、画像呈示方式は1つ(液晶シャッタメガネを用いた時分割方式のみ)であるため、解像度と視域を両立させることはできない。
また、立体映像の観察者の眼または頭部の位置は、画像呈示面に対して常に相対的に固定された位置であるとは限らず、両者の相対的な関係は動的に変化する場合もある。すなわち、観察者の眼または頭部の位置を固定したままの状態で、画像呈示面を動かしてその傾斜を変化させたり、逆に、固定された画像呈示面に対し、観察者が近接または離隔する行動をとったり、あるいはこれらの動きを複合させれば、観察者に対して立体映像を呈示する際の環境は変化する。このような環境(画像呈示面の傾斜角度、観察者から画像呈示面までの視距離)の変化に対し、そのときの状況に応じて最適な立体映像を呈示するには、前述したパースペクティブを無くす補正処理またはそれに相当する処理、あるいは前述した解像度と視域との調整処理等を、再生時の環境に応じて行っていく必要が生じるが、そのような制御を行う立体映像呈示装置は、これまで存在しなかった。このため、立体映像の精緻かつ柔軟な表現が制約されているという問題があった。従って、観察者に対して一方的に立体映像を呈示するのではなく、観察者の動きや操作を入力し、観察者の動きや操作に応じて最適な立体映像を呈示することができるインタラクティブ性(双方向性)を備えた立体映像呈示装置を実現するためにも、再生時の環境(画像呈示面の傾斜角度や視距離)に応じた画像呈示制御を行うことができるシステムの構築が望まれる。
本発明の目的は、立体映像を自然かつ精緻に表現することができる立体映像呈示装置を提供するところにある。
本発明の立体映像呈示装置は、複数の画像呈示面を備え、これらの画像呈示面の各画像呈示方式の中には、複数種類の画像呈示方式が含まれ、これらの画像呈示方式のうちの少なくとも一種類は、立体映像呈示方式であることを特徴とするものである。
ここで、「複数種類の画像呈示方式が含まれ」とは、画像呈示面の個数が2つの場合には、2つの画像呈示面の画像呈示方式が互いに異なる方式であることを意味し、画像呈示面の個数が3つ以上の場合には、全ての画像呈示面の画像呈示方式が異なる方式であってもよく、あるいは一部に同じ画像呈示方式の画像呈示面が含まれていてもよい趣旨である。一部に同じ画像呈示方式の画像呈示面を含める場合とは、例えば、前面(正面、すなわち観察者に正対する面)、左右の側面(立面)、および床面(水平面)に略袋小路状に4つの画像呈示面を配置する場合(後述する図9参照)には、これらの4つの画像呈示面のうち、前面を第1の画像呈示方式(例えば、2眼式レンティキュラ方式)とし、左右の側面および床面を第2の画像呈示方式(例えば、多眼式レンティキュラ方式)としたり、あるいは、前面および左右の側面を第1の画像呈示方式(例えば、2眼式レンティキュラ方式)とし、床面を第2の画像呈示方式(例えば、多眼式レンティキュラ方式)としたり、さらには、前面を第1の画像呈示方式(例えば、2眼式レンティキュラ方式)とし、左右の側面を第2の画像呈示方式(例えば、多眼式(8眼式等)レンティキュラ方式)とし、床面を第3の画像呈示方式(例えば、より眼数の多い多眼式(16眼式等)レンティキュラ方式)とする場合等が含まれる。
また、「画像呈示方式」には、立体視の映像を呈示する立体映像呈示方式のみならず、平面視の映像を呈示する平面映像呈示方式も含まれる。従って、本発明で「画像呈示方式のうちの少なくとも一種類は、立体映像呈示方式である」とされているのは、複数の画像呈示面の全ての画像呈示方式が立体映像呈示方式でもよく、立体映像呈示方式および平面映像呈示方式が組み合わされていてもよい趣旨である。そして、立体映像呈示方式には、メガネ式として、例えば、偏光メガネ式(2台のプロジェクタにより形成された互いに偏光方向の異なる光をスクリーン上で重ねる方式、マイクロポール方式等)、液晶シャッタ式等が含まれ、メガネなし方式として、例えば、レンティキュラ方式(2眼式レンティキュラ方式、多眼式(3眼式、8眼式等)レンティキュラ方式等)、パララックスバリア方式(イメージスプリッタ方式、ダブルイメージスプリッタ方式等)、バックライト分割式、インテグラル・フォトグラフィ方式(IP方式)等が含まれる。なお、本発明では、例えば、レンティキュラ方式については、2眼式レンティキュラ方式と多眼式(3眼式、8眼式等)レンティキュラ方式の如く、眼数が異なる場合には、異なる画像呈示方式であるものとする。他の方式についても同様であり、本発明における画像呈示方式は、細分化された方式であるものとする。
さらに、「画像呈示面」には、観察者の頭部に装着されるヘッドマウントディスプレイ(HMD)を構成する画面も含まれる。
そして、「画像呈示面」には、ディスプレイ画面(プロジェクタによる映写が行われる大型または小型スクリーンの画面、小型モニタの画面、携帯電話機や携帯情報端末等の携帯機器のディスプレイ画面を含む。)のみならず、印刷物による画像呈示面(印刷された実写画像、印刷されたコンピュータ・グラフィクス画像、印刷されたアニメーション画像等を呈示する面)も含まれ、印刷物による画像呈示面とする場合にも、立体映像呈示方式および平面映像呈示方式のいずれも採用することができる。
このような本発明の立体映像呈示装置においては、複数の画像呈示面で、異なる画像呈示方式により画像を表示(印刷を含む。)することにより、複数種類の画像呈示方式を組み合わせて、互いの方式の欠点を補完するような立体映像の呈示が可能となる。例えば、解像度と視域を両立させる立体映像の呈示が可能となる。このため、立体映像を自然かつ精緻に表現することができるようになり、これにより前記目的が達成される。
また、前述した立体映像呈示装置において、複数の画像呈示面の各画像呈示方式の中には、複数種類の立体映像呈示方式が含まれることが望ましい。
ここで、「複数種類の立体映像呈示方式が含まれる」とは、全ての画像呈示面の画像呈示方式がそれぞれ異なる立体映像呈示方式でもよく、あるいは一部に同じ立体映像呈示方式の画像呈示面が含まれていてもよく、さらには一部に平面映像呈示方式の画像呈示面が含まれていてもよい趣旨である。
このように複数種類の立体映像呈示方式を含める構成とした場合には、複数の画像呈示面で、異なる立体映像呈示方式により左眼用画像および右眼用画像を表示(印刷を含む。)することにより、複数種類の立体映像呈示方式を組み合わせて、互いの方式の欠点を補完するような立体映像の呈示が可能となる。このため、立体映像を、より自然かつ精緻に表現することができるようになり、これにより前記目的が達成される。
さらに、前述した立体映像呈示装置において、複数の画像呈示面のうちの少なくとも1つの画像呈示面で呈示される画像は、実写カメラの撮像面の傾斜角度またはコンピュータ・グラフィクス画像生成用の仮想カメラの撮像面の傾斜角度パラメータを、各画像呈示面の傾斜角度と一致または略一致させて撮影または生成された画像であることが望ましい。
ここで、上記のようにして撮像面の傾斜角度または傾斜角度パラメータを調整して撮影または生成された画像を呈示する画像呈示面の画像呈示方式が両眼視差を利用した立体映像呈示方式である場合には、この画像呈示面で呈示される左眼用画像および右眼用画像は、左右の実写カメラの各撮像面の傾斜角度またはコンピュータ・グラフィクス画像生成用の左右の仮想カメラの各撮像面の傾斜角度パラメータを、この画像呈示面の傾斜角度とそれぞれ一致または略一致させて撮影または生成された画像とする。
なお、ここでいう「実写カメラの撮像面の傾斜角度」または「コンピュータ・グラフィクス画像生成用の仮想カメラの撮像面の傾斜角度パラメータ」とは、実写カメラや仮想カメラの筐体に対する撮像面の相対的な傾斜角度ではなく、被写体(コンピュータ・グラフィクスではモデル)の存在する空間にけおる撮像面の絶対的な傾斜角度をいう。従って、「画像呈示面の傾斜角度とそれぞれ一致または略一致させて」とは、撮像面を画像呈示面と平行または略平行に配置するという意味である。以下の発明においても同様である。
このようにカメラの撮像面の傾斜角度を、画像呈示面の傾斜角度と一致または略一致させた状態で撮影または生成された画像を用いる構成とした場合には、画像呈示面で画像を表示(印刷を含む。)するにあたり、従来より行われていたパースペクティブを無くすための補正処理、すなわち実写カメラまたは仮想カメラによる画像の撮影または生成後に2次的に行う演算処理を省略することができ、カメラによる画像の撮影または生成を終えた時点で、パースペクティブのない画像を得て、これを画像呈示面で表示(印刷を含む。)することが可能となる。このため、より一層自然かつ精緻に表現された立体映像を得ることが可能となるうえ、前述した特許文献2〜6に記載されたパースペクティブを無くすための複雑な演算処理を行う必要がなくなるので、処理負担の軽減が図られる。
そして、カメラの撮像面の傾斜角度を、画像呈示面の傾斜角度と一致または略一致させた状態で撮影または生成された画像を用いる構成として、より具体的には、以下のような構成を挙げることができる。
すなわち、前述した立体映像呈示装置において、複数の画像呈示面のうちの少なくとも1つの画像呈示面は、実写カメラによりリアルタイムで撮影された実写画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、実写カメラに傾斜角度を変更可能に設けられた撮像面と、この撮像面で撮像された実写画像を画像呈示面に表示する処理を行う画像表示処理手段と、撮像面を駆動して撮像面の傾斜角度を変化させる撮像面駆動手段と、画像呈示面の傾斜角度を検出する画像呈示面角度検出手段と、この画像呈示面角度検出手段による検出信号に基づき画像呈示面の傾斜角度と撮像面の傾斜角度とを一致または略一致させるための制御信号を生成して撮像面駆動手段へ送信する撮像面制御手段とを備えた構成とすることができる。
ここで、画像呈示面の画像呈示方式が両眼視差を利用した立体映像呈示方式である場合には、立体映像呈示用の左眼用画像および右眼用画像を撮影する左右の実写カメラのそれぞれに傾斜角度を変更可能な撮像面を設け、撮像面制御手段は、画像呈示面角度検出手段による検出信号に基づき、画像呈示面の傾斜角度と左右の実写カメラの各撮像面の傾斜角度とをそれぞれ一致または略一致させるための制御信号を生成して撮像面駆動手段へ送信する構成とする(例えば、後述する図1の前面に配置された画像呈示面の場合等)。なお、撮像面駆動手段は、左右の実写カメラのそれぞれに設けられて左右の実写カメラの各撮像面を別々に駆動する構成としてもよく、あるいは左右の実写カメラの撮像面をまとめて同時に駆動する構成としてもよい。
このように実写カメラに傾斜角度を変更可能な撮像面を設けるとともに、実写カメラによりリアルタイムで撮影された実写画像を呈示し、かつ、傾斜角度を変更可能な画像呈示面を設けた場合には、画像呈示面角度検出手段により、画像呈示面の傾斜角度を検出し、撮像面制御手段により、画像呈示面角度検出手段による検出信号に基づき画像呈示面の傾斜角度と撮像面の傾斜角度とを一致または略一致させるための制御信号を生成して撮像面駆動手段へ送信し、撮像面駆動手段により、撮像面制御手段からの制御信号を受信して撮像面を駆動して撮像面の傾斜角度を変化させ、画像表示処理手段により、傾斜角度調整後の撮像面で撮像された実写画像を画像呈示面に表示する処理を行う。このため、再生時の環境(画像呈示面の傾斜角度)に応じて撮像面の傾斜角度を変化させて画像を取得することが可能となるので、観察者に対し、適正な映像を呈示することが可能となる。特に、立体映像を呈示する場合には、ゆがみを除去した自然な立体像が再生される。また、撮像面の傾斜角度をリアルタイムで変化させて画像を取得することが可能となるので、柔軟かつ多様な映像を表現することが可能となり、特に、立体映像の表現では、それが顕著になる。
また、前述した立体映像呈示装置において、複数の画像呈示面のうちの少なくとも1つの画像呈示面は、コンピュータ・グラフィクス画像生成用の仮想カメラを用いてリアルタイムでレンダリング処理を行うことにより生成されたコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、コンピュータ・グラフィクス用のモデルに関する情報を記憶するモデル情報記憶手段と、画像呈示面の傾斜角度を検出する画像呈示面角度検出手段と、この画像呈示面角度検出手段による検出信号に基づきモデル情報記憶手段に記憶されたモデルに関する情報を用いて仮想カメラの撮像面の傾斜角度パラメータを画像呈示面の傾斜角度と一致または略一致させてレンダリング処理を行うことによりコンピュータ・グラフィクス画像を生成するコンピュータ・グラフィクス画像生成手段と、このコンピュータ・グラフィクス画像生成手段により生成されたコンピュータ・グラフィクス画像を画像呈示面に表示する処理を行う画像表示処理手段とを備えた構成とすることができる。
ここで、画像呈示面の画像呈示方式が両眼視差を利用した立体映像呈示方式である場合には、コンピュータ・グラフィクス画像生成手段は、左右の仮想カメラの各撮像面の傾斜角度パラメータを画像呈示面の傾斜角度とそれぞれ一致または略一致させてレンダリング処理を行うことにより左右のコンピュータ・グラフィクス画像を生成する構成とする(後述する図5参照)。
このように仮想カメラの撮像面の傾斜角度パラメータを設定できるようにするとともに、仮想カメラを用いてリアルタイムでレンダリング処理を行うことにより生成されたコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な画像呈示面を設けた場合には、画像呈示面角度検出手段により、画像呈示面の傾斜角度を検出し、コンピュータ・グラフィクス画像生成手段により、画像呈示面角度検出手段による検出信号に基づきモデル情報記憶手段に記憶されたモデルに関する情報を用いて仮想カメラの撮像面の傾斜角度パラメータを画像呈示面の傾斜角度と一致または略一致させてレンダリング処理を行うことによりコンピュータ・グラフィクス画像を生成し、画像表示処理手段により、コンピュータ・グラフィクス画像生成手段により生成されたコンピュータ・グラフィクス画像を画像呈示面に表示する処理を行う。このため、再生時の環境(画像呈示面の傾斜角度)に応じて撮像面の傾斜角度パラメータを変化させてCG画像を生成することが可能となるので、観察者に対し、適正な映像を呈示することが可能となる。特に、立体映像を呈示する場合には、ゆがみを除去した自然な立体像が再生される。また、撮像面の傾斜角度パラメータをリアルタイムで変化させてCG画像を生成することが可能となるので、柔軟かつ多様な映像を表現することが可能となり、特に、立体映像の表現では、それが顕著になる。
さらに、前述した立体映像呈示装置において、複数の画像呈示面のうちの少なくとも1つの画像呈示面は、実写カメラにより予め撮影された実写画像またはコンピュータ・グラフィクス画像生成用の仮想カメラを用いてレンダリング処理を行うことにより予め生成されたコンピュータ・グラフィクス画像を呈示する構成とされ、実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを、画像呈示面の傾斜角度と一致または略一致させて撮影または生成された画像を記憶する画像記憶手段と、この画像記憶手段に記憶された画像を画像呈示面に表示する処理を行う画像表示処理手段とを備えた構成とすることができる。
ここで、画像呈示面の画像呈示方式が両眼視差を利用した立体映像呈示方式である場合には、画像記憶手段に、左右の実写カメラの各撮像面の傾斜角度または左右の仮想カメラの各撮像面の傾斜角度パラメータを、この画像呈示面の傾斜角度とそれぞれ一致または略一致させて撮影または生成された左眼用画像および右眼用画像を記憶させ、画像表示処理手段は、これらの左眼用画像および右眼用画像をこの画像呈示面に表示する処理を行う構成とする(例えば、後述する図1の水平面に配置された画像呈示面の場合等)。
このように実写カメラにより予め撮影された実写画像または仮想カメラを用いてレンダリング処理を行うことにより予め生成されたコンピュータ・グラフィクス画像を呈示する画像呈示面を設けた場合には、画像記憶手段に、実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを、画像呈示面の傾斜角度と一致または略一致させて撮影または生成された画像を記憶させておき、画像表示処理手段により、画像記憶手段に記憶された画像を画像呈示面に表示する処理を行う。
そして、上記のように、リアルタイムで撮影または生成された画像を用いるのではなく、予め撮影または生成されて画像記憶手段に記憶されている画像を用いる構成とする場合において、複数の画像呈示面のうちの少なくとも1つの画像呈示面は、実写カメラにより予め撮影された実写画像またはコンピュータ・グラフィクス画像生成用の仮想カメラを用いてレンダリング処理を行うことにより予め生成されたコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、画像呈示面の傾斜角度を検出する画像呈示面角度検出手段を備え、画像記憶手段には、実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを変化させて撮影または生成された複数の画像が記憶され、画像表示処理手段は、画像呈示面角度検出手段による検出信号に基づき、画像記憶手段に記憶された複数の画像の中から、検出された画像呈示面の傾斜角度に対応する画像を選択または補間生成して画像呈示面に表示する処理を行う構成としてもよい。
ここで、「実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを変化させて撮影または生成された複数の画像」とは、一定の角度間隔(例えば、5度間隔、10度間隔等)で撮影または生成された複数の画像でもよく、あるいは不均等な角度間隔で撮影または生成された複数の画像でもよい。
また、「画像呈示面の傾斜角度に対応する画像」とは、実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータが、画像呈示面角度検出手段により検出された画像呈示面の傾斜角度と一致または略一致する状態で撮影または生成された画像である。なお、一致または略一致する状態で撮影または生成された画像が無い場合には、最も近い状態で撮影または生成された画像を選択してもよく、あるいは補間処理を行って対応する画像を生成してもよい。例えば、実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを10度および20度として撮影または生成された画像がある場合において、画像呈示面角度検出手段により検出された画像呈示面の傾斜角度が13度であったときには、近い方の10度で撮影または生成された画像を選択してもよく、あるいは10度で撮影または生成された画像と20度で撮影または生成された画像とを用いて補間画像を生成してもよい。この際、補間画像は、前後の角度(上記の例では、10度および20度)で撮影または生成された画像を用いて1次の線形補間を行って生成してもよく、あるいは前後の角度で撮影または生成された画像以外の画像を用いて2次以上の補間を行って生成してもよい。
さらに、呈示する画像が動画像(例えば、一定周期で同じ舞動作を繰り返す蝶々、一定周期で同じ回遊動作を繰り返す熱帯魚等の繰返画像、あるいは繰返しは無いがストーリー性を持って完結する説明用、PR用等の一連の画像)である場合には、画像記憶手段には、実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを変化させて撮影または生成された複数の画像を時系列で記憶させる。すなわち、各時刻のそれぞれについて、実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを変化させて撮影または生成された複数の画像を用意し、記憶させる(例えば、後述する図11の場合等)。
このように実写カメラにより予め撮影された実写画像または仮想カメラを用いてレンダリング処理を行うことにより予め生成されたコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な画像呈示面を設けた場合には、画像記憶手段に、実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを変化させて撮影または生成された複数の画像を記憶させておき、画像呈示面角度検出手段により、画像呈示面の傾斜角度を検出し、画像表示処理手段により、画像呈示面角度検出手段による検出信号に基づき、画像記憶手段に記憶された複数の画像の中から、検出された画像呈示面の傾斜角度に対応する画像を選択または補間生成して画像呈示面に表示する処理を行う。このため、再生時の環境(画像呈示面の傾斜角度)に応じて、この環境に合った状態で撮影または生成された画像を表示することが可能となるので、観察者に対し、適正な映像を呈示することが可能となる。特に、立体映像を呈示する場合には、ゆがみを除去した自然な立体像が再生される。
また、以上のように傾斜角度を変更可能な画像呈示面およびこの画像呈示面の傾斜角度を検出する画像呈示面角度検出手段を備えた構成とする場合において、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、画像呈示面を駆動して画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、観察者位置検出手段により検出された情報に基づき画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示面の傾斜角度を変化させるための制御信号を生成して画像呈示面駆動手段へ送信する画像呈示面制御手段とを備えた構成としてもよい。
ここで、「代替情報」とは、観察者の目または頭部の相対的な位置情報そのものではなく、別の情報と組み合わせることにより観察者の目または頭部の相対的な位置情報を把握することができる情報であってもよく、あるいは正確な視距離を必要とせずに概略の視距離でよい場合に用いられる情報である。前者の場合は、例えば、画像呈示面と、観察者の足あるいは全身との距離情報等であり、例えば、観察者に身長を入力させる等して、別途の方法で身長を把握することができれば、この身長と、観察者(足や全身)の距離情報とを組み合わせることにより、ほぼ正確な視距離を把握することができる。
このように画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示面の傾斜角度を変化させる構成とした場合(後述する図5、図6、図10参照)には、観察者位置検出手段により、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出し、この検出情報に基づき画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示面の傾斜角度を変化させ、さらに、前述した画像呈示面角度検出手段により、変化した画像呈示面の傾斜角度を検出し、検出した画像呈示面の傾斜角度に対応する画像(実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを、検出した画像呈示面の傾斜角度と一致または略一致させてリアルタイムで撮影または生成された画像、あるいは実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを変化させて予め撮影または生成された複数の画像の中から、検出した画像呈示面の傾斜角度に近い状態で撮影または生成された画像として選択された画像、または近い状態で撮影または生成された複数の画像を補間して生成された画像)を呈示することが可能となる。このため、視距離に応じて画像呈示面の傾斜角度を変化させ、このようにして形成された再生時の環境(視距離および画像呈示面の傾斜角度)に応じて、この環境に合った画像を表示することが可能となるので、観察者に対し、適正な映像を呈示することが可能となる。特に、立体映像を呈示する場合には、ゆがみを除去した自然な立体像が再生される。
また、上記のように、観察者位置検出手段による検出情報に基づき画像呈示面の傾斜角度を変化させ、さらに、前述した画像呈示面角度検出手段により、変化した画像呈示面の傾斜角度を検出してから、検出した画像呈示面の傾斜角度に対応する画像を呈示するのではなく、次のように、画像呈示面角度検出手段による検出信号に基づかずに、観察者位置検出手段による検出情報に基づき直接に、画像呈示面の傾斜角度に対応する画像を呈示する構成としてもよい。
すなわち、前述した立体映像呈示装置において、複数の画像呈示面のうちの少なくとも1つの画像呈示面は、実写カメラによりリアルタイムで撮影された実写画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、実写カメラに傾斜角度を変更可能に設けられた撮像面と、この撮像面で撮像された実写画像を画像呈示面に表示する処理を行う画像表示処理手段と、撮像面を駆動して撮像面の傾斜角度を変化させる撮像面駆動手段と、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、画像呈示面を駆動して画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、観察者位置検出手段により検出された情報に基づき画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示面の傾斜角度を変化させるための制御信号を生成して画像呈示面駆動手段へ送信する画像呈示面制御手段と、観察者位置検出手段により検出された情報に基づき画像呈示面の傾斜角度と撮像面の傾斜角度とを一致または略一致させるための制御信号を生成して撮像面駆動手段へ送信する撮像面制御手段とを備えた構成としてもよい。
また、前述した立体映像呈示装置において、複数の画像呈示面のうちの少なくとも1つの画像呈示面は、コンピュータ・グラフィクス画像生成用の仮想カメラを用いてリアルタイムでレンダリング処理を行うことにより生成されたコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、コンピュータ・グラフィクス用のモデルに関する情報を記憶するモデル情報記憶手段と、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、画像呈示面を駆動して画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、観察者位置検出手段により検出された情報に基づき画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示面の傾斜角度を変化させるための制御信号を生成して画像呈示面駆動手段へ送信する画像呈示面制御手段と、観察者位置検出手段により検出された情報に基づきモデル情報記憶手段に記憶されたモデルに関する情報を用いて仮想カメラの撮像面の傾斜角度パラメータを画像呈示面の傾斜角度と一致または略一致させてレンダリング処理を行うことによりコンピュータ・グラフィクス画像を生成するコンピュータ・グラフィクス画像生成手段と、このコンピュータ・グラフィクス画像生成手段により生成されたコンピュータ・グラフィクス画像を画像呈示面に表示する処理を行う画像表示処理手段とを備えた構成としてもよい。
さらに、前述した立体映像呈示装置において、複数の画像呈示面のうちの少なくとも1つの画像呈示面は、実写カメラにより予め撮影された実写画像またはコンピュータ・グラフィクス画像生成用の仮想カメラを用いてレンダリング処理を行うことにより予め生成されたコンピュータ・グラフィクス画像を呈示し、かつ、傾斜角度を変更可能な構成とされ、実写カメラの撮像面の傾斜角度または仮想カメラの撮像面の傾斜角度パラメータを変化させて撮影または生成された複数の画像を記憶する画像記憶手段と、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、画像呈示面を駆動して画像呈示面の傾斜角度を変化させる画像呈示面駆動手段と、観察者位置検出手段により検出された情報に基づき画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示面の傾斜角度を変化させるための制御信号を生成して画像呈示面駆動手段へ送信する画像呈示面制御手段と、観察者位置検出手段により検出された情報に基づき、画像記憶手段に記憶された複数の画像の中から、設定した画像呈示面の傾斜角度に対応する画像を選択または補間生成して画像呈示面に表示する処理を行う画像表示処理手段とを備えた構成としてもよい。
そして、以上に述べた立体映像呈示装置において、複数の画像呈示面のうちの少なくとも1つの画像呈示面は、実写カメラにより撮影された実写画像またはコンピュータ・グラフィクス画像生成用の仮想カメラを用いてレンダリング処理を行うことにより生成されたコンピュータ・グラフィクス画像を、複数種類の画像呈示方式で呈示可能な構成とされ、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出する観察者位置検出手段と、この観察者位置検出手段により検出された情報に基づき画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示方式を切り替えて実写画像またはコンピュータ・グラフィクス画像を画像呈示面に表示する処理を行う画像表示処理手段とを備えた構成としてもよい。
ここで、画像呈示方式を切替可能な画像呈示面は、傾斜角度を変更可能な画像呈示面であってもよく、あるいは傾斜角度を変更することができない固定された画像呈示面であってもよい。
また、切り替えられる「画像呈示方式」に、立体視の映像を呈示する立体映像呈示方式のみならず、平面視の映像を呈示する平面映像呈示方式も含まれるのは、前述した通りである。従って、多眼式レンティキュラ方式から2眼式レンティキュラ方式への画像呈示方式の切替えの如く、立体映像呈示方式から別の立体映像呈示方式への切替えのみならず、平面映像呈示方式から立体映像呈示方式への切替え、または立体映像呈示方式から平面映像呈示方式への切替えも含まれる。
このように画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示方式を切り替える構成とした場合(後述する図5、図6、図10参照)には、観察者位置検出手段により、画像呈示面に対する観察者の目または頭部の相対的な位置情報またはこれらの代替情報を検出し、画像表示処理手段により、観察者位置検出手段により検出された情報に基づき画像呈示面に対する観察者の目または頭部の相対位置に応じて画像呈示方式を切り替えて実写画像またはコンピュータ・グラフィクス画像を画像呈示面に表示する処理を行う。このため、再生時の環境(視距離)に応じて画像呈示方式を切り替え、この環境に合った画像を表示することが可能となるので、観察者に対し、適正な映像を呈示することが可能となる。
以上に述べたように本発明によれば、複数種類の画像呈示方式を組み合わせたので、立体映像を自然かつ精緻に表現することができるという効果がある。
以下に本発明の各実施形態について図面を参照して説明する。
[第1実施形態]
図1には、本発明の第1実施形態の立体映像呈示装置10の全体構成が示されている。図2および図3は、前面に配置された第1の画像呈示面21で表示する画像を撮影する際の左右の実写カメラ60,70による撮影状況を説明する立面図(側方から見た図)および平面図(上方から見た図)であり、図4は、水平面に配置された第2の画像呈示面31で表示する画像を撮影する際の左右の実写カメラ60,70による撮影状況を説明する立面図(側方から見た図)である。
図1において、立体映像呈示装置10は、観察者1の前方(正面)に配置されるディスプレイ20と、水平に配置されるディスプレイ30と、ディスプレイ20の傾斜角度(すなわち、ディスプレイ20の画面である画像呈示面21の傾斜角度θ)を検出する画像呈示面角度検出手段40と、ディスプレイ20,30で表示する画像の処理を行う画像処理装置50と、水平面3上に置かれた被写体2を撮影するための左眼用および右眼用の実写カメラ60,70とを備えて構成されている。
ディスプレイ20は、その画面である画像呈示面21で第1の画像呈示方式(立体映像呈示方式)により立体映像を呈示する装置である。この画像呈示面21は、観察者1の操作により傾斜角度を自在に変更可能とされ、本実施形態では、左右の実写カメラ60,70によりリアルタイムで撮影された左眼用および右眼用の実写画像が表示される。
ディスプレイ30は、その画面である画像呈示面31で第2の画像呈示方式(立体映像呈示方式)により立体映像を呈示する装置である。この画像呈示面31は、水平面に固定されて使用され、本実施形態では、左右の実写カメラ60,70により予め撮影された左眼用および右眼用の実写画像が表示される。
ここで、前面に配置される画像呈示面21の第1の画像呈示方式および水平面に配置される画像呈示面31の第2の画像呈示方式としては、例えば、双方をメガネなし方式であるレンティキュラ方式とする場合には、視距離のとれる前面に配置される画像呈示面21では、第1の画像呈示方式として、解像度を優先して2眼式レンティキュラ方式を採用し、一方、近方で視差量の大きくなる水平面に配置される画像呈示面31では、第2の画像呈示方式として、視域の広い多眼式レンティキュラ方式を採用することができる。また、第1の画像呈示方式として、例えば8眼式等の多眼式レンティキュラ方式を採用し、第2の画像呈示方式として、第1の画像呈示方式よりも眼数の多い例えば16眼式等の多眼式レンティキュラ方式を採用してもよい。なお、第1および第2の画像呈示方式は、レンティキュラ方式に限定されるものではなく、例えば、パララックスバリア方式、インテグラルフォトグラフィ方式(IP方式)等としてもよく、要するに、画像呈示面21,31の画像呈示方式を互いに異なる方式とすることにより、複数種類の画像呈示方式を組み合わせて観察者の脳内で自然かつ精緻な立体映像空間が構築されるようにすればよい。
画像呈示面角度検出手段40は、画像呈示面21の傾斜角度θを検出することができれば、その構成は任意であり、例えば、ロータリエンコーダ、ギャップセンサ、ジャイロセンサ等により実現することができる。なお、図1に示した画像呈示面角度検出手段40の設置位置や大きさ・形状は、一例に過ぎず、これに限定されるものではない。
画像処理装置50は、例えばコンピュータにより構成され、撮像面制御手段51と、画像表示処理手段52と、画像記憶手段53とを含んで構成されている。
撮像面制御手段51は、画像呈示面角度検出手段40による傾斜角度θの検出信号に基づき、画像呈示面21の傾斜角度θ,φ(図2、図3参照)と、左眼用および右眼用の実写カメラ60,70の各撮像面61,71の傾斜角度α,β(図2、図3参照)とを一致または略一致させるための制御信号を生成し、生成した制御信号を撮像面駆動手段62,72へ送信する処理を行うものである。ここで、画像呈示面21の傾斜角度θ,φ(図2、図3参照)と、左眼用および右眼用の実写カメラ60,70の各撮像面61,71の傾斜角度α,β(図2、図3参照)とを一致または略一致させるという意味は、画像呈示面21と各撮像面61,71とを平行にするという意味であり、3次元空間(XYZ空間)を形成するX軸、Y軸、Z軸のいずれの軸回りの傾斜角度についても一致させるという意味である。また、各撮像面61,71の傾斜角度α,βは、図2および図3に示すように、実写カメラ60,70の筐体に対する相対的な傾斜角度ではなく、絶対空間における傾斜角度として定義している。なお、画像呈示面21の傾斜角度θおよび撮像面61,71の傾斜角度αは、ディスプレイ20(つまり、画像呈示面21)の上下の端縁部に平行な方向、すなわち図2の紙面に直交する方向に延びる軸回りの傾斜角度であり、画像呈示面21の傾斜角度φおよび撮像面61,71の傾斜角度βは、鉛直方向、すなわち図3の紙面に直交する方向に延びる軸回りの傾斜角度である。
画像表示処理手段52は、左眼用および右眼用の実写カメラ60,70によりリアルタイムで撮像された左眼用画像および右眼用画像を、画像呈示面21に表示するとともに、実写カメラ60,70により予め撮影されて画像記憶手段53に記憶されている左眼用画像および右眼用画像を、画像呈示面31に表示する処理を行うものである。
画像記憶手段53は、図4に示すように、左眼用および右眼用の実写カメラ60,70により、各撮像面61,71の傾斜角度を、水平な画像呈示面31の傾斜角度と一致または略一致させた状態で、すなわち各撮像面61,71と水平な画像呈示面31とを平行にした状態で、予め撮影された左眼用画像および右眼用画像を記憶するものである。
そして、撮像面制御手段51および画像表示処理手段52は、画像処理装置50を構成するコンピュータ等の内部に設けられた中央演算処理装置(CPU)、およびこのCPUの動作手順を規定する1つまたは複数のプログラムにより実現される。
また、画像記憶手段53は、例えばハードディスク等により好適に実現されるが、記憶容量やアクセス速度等に問題が生じない範囲であれば、ROM、EEPROM、フラッシュ・メモリ、RAM、MO、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、FD、磁気テープ、あるいはこれらの組合せ等を採用してもよい。
実写カメラ60,70は、観察者1の左右の眼の位置を想定して配置され、水平面3上に置かれた被写体2を含む左眼用画像および右眼用画像を、交差法で撮影するためのカメラであり、傾斜角度α,β(図2、図3参照)を自在に変更可能に設けられた撮像面61,71と、これらの撮像面61,71を駆動して撮像面61,71の傾斜角度α,βを変化させる撮像面駆動手段62,72とを備えている。なお、説明の便宜上、図示も含めて左眼用および右眼用の2つの実写カメラ60,70があるかの如く記載されているが、これは単に、左眼および右眼に相当する実写カメラが少なくとも1組分あることを示しているに過ぎず、実際には、多眼式レンティキュラ方式では、より多くの実写カメラが設けられる。例えば、8眼式レンティキュラ方式では、8台の実写カメラが設けられる。
撮像面61,71は、例えば、相補性金属酸化膜半導体(CMOS:Complementary
Metal-oxide Semiconductor)や電荷結合素子(CCD:Charge Coupled
Device)等の撮像デバイスの受光面である。
撮像面駆動手段62,72は、例えば、モータ、シリンダ装置等により実現される。なお、本実施形態では、左右の実写カメラ60,70に撮像面駆動手段62,72がそれぞれ個別に設けられているが、撮像面61,71をまとめて同時に駆動することができる撮像面駆動手段を設けてもよい。
このような第1実施形態においては、以下のようにして立体映像呈示装置10により立体映像の呈示を行う。
先ず、観察者1は、前面のディスプレイ20を手で押したり、引いたりすることにより、画像呈示面21の傾斜角度θを、自分が立体像を観察し易い所望の角度に調整する。それから、画像呈示面角度検出手段40により、角度調整後における画像呈示面21の傾斜角度θが検出される。なお、画像呈示面角度検出手段40による角度検出は、以下に記載するループ処理の中で毎回行われるが、角度検出後の撮影等の処理は、検出された傾斜角度θが前回検出角度に対して変化したときのみ行うようにしてもよく、あるいは毎回行うようにしてもよい。
続いて、撮像面制御手段51により、画像呈示面角度検出手段40による傾斜角度θの検出信号に基づき、画像呈示面21の傾斜角度θ(図2参照)と、左眼用および右眼用の実写カメラ60,70の各撮像面61,71の傾斜角度α(図2参照)とを一致または略一致させるための制御信号、すなわち画像呈示面21と各撮像面61,71とを平行にするための制御信号が生成され、生成された制御信号が撮像面駆動手段62,72へ送信される。なお、画像呈示面21の傾斜角度φ(図3参照)と、左眼用および右眼用の実写カメラ60,70の各撮像面61,71の傾斜角度β(図3参照)とは、変化しないので、一致または略一致した状態を保っている。
撮像面駆動手段62,72は、撮像面制御手段51からの制御信号を受信すると、撮像面61,71を駆動して撮像面61,71の傾斜角度αを変化させ、画像呈示面21の傾斜角度θと一致させる。例えば、図2に示すように、画像呈示面21の傾斜角度θをθAにすると、各撮像面61,71の傾斜角度αは、αA(=θA)に変化する。
この状態で、実写カメラ60,70により被写体2を撮影し、撮影して得られた左眼用画像および右眼用画像を、画像表示処理手段52により、画像呈示面21にリアルタイムで表示する。なお、前述したように、画像呈示面角度検出手段40による角度検出で、画像呈示面21の傾斜角度θの変化が検出されなかった場合には、実写カメラ60,70による被写体2の撮影および画像表示処理手段52による画像呈示面21の表示内容の更新処理は省略してもよい。また、このような画像呈示面21への表示処理と同時に、画像表示処理手段52は、実写カメラ60,70により予め撮影されて画像記憶手段53に記憶されている左眼用画像および右眼用画像を、画像呈示面31に表示する。なお、本実施形態では、画像呈示面31の表示内容は、固定している。
そして、再び、画像呈示面角度検出手段40による角度検出を行い、画像呈示面21の傾斜角度θが変化していれば、その変化後の状態に応じて各撮像面61,71の傾斜角度αを変化させて撮影を行い、以降、同様なループ処理を繰り返す。
このような第1実施形態によれば、次のような効果がある。すなわち、複数の画像呈示面21,31で、異なる画像呈示方式により左眼用画像および右眼用画像を表示するので、複数種類の立体映像呈示方式を組み合わせて、互いの方式の欠点を補完するような立体映像の呈示を行うことができる。例えば、解像度と視域を両立させる立体映像の呈示を行うことができる。このため、立体映像を自然かつ精緻に表現することができる。
また、画像呈示面21,31では、実写カメラ60,70の各撮像面61,71の傾斜角度を、これらの画像呈示面21,31の傾斜角度と一致または略一致させた状態で撮影された左眼用画像および右眼用画像を用いて立体映像の呈示が行われるので、従来より行われていたパースペクティブを無くすための補正処理、すなわち実写カメラによる画像の撮影後に2次的に行う演算処理を省略することができ、実写カメラ60,70による画像の撮影を終えた時点で、パースペクティブのない画像を得て、これを画像呈示面21,31に表示することができる。このため、より一層自然かつ精緻に表現された立体映像を得ることができるうえ、前述した特許文献2〜6に記載されたパースペクティブを無くすための複雑な演算処理を行う必要がなくなるので、処理負担の軽減を図ることができる。
さらに、再生時の環境(画像呈示面21の傾斜角度θ)に応じ、各撮像面61,71の傾斜角度αを変化させて画像を取得することができるので(図2参照)、ゆがみを除去した自然な立体像を再生することができ、観察者に対し、適正な立体映像を呈示することができる。また、各撮像面61,71の傾斜角度αをリアルタイムで変化させるので、柔軟かつ多様な映像を表現することができる。
そして、画像呈示面21,31では、実写カメラ60,70の各撮像面61,71の傾斜角度を、これらの画像呈示面21,31の傾斜角度と一致または略一致させた状態で撮影された左眼用画像および右眼用画像を用いて立体映像の呈示が行われるので(図3参照)、交差法による撮影を行っても、キーストーンひずみ(図16、図17参照)を生じることなく、立体映像の呈示を行うことができ、この点でも、ゆがみを除去した自然な立体像を再生することができる。
また、観察者1の操作により動かされた画像呈示面21の傾斜角度θを検出し、実写カメラ60,70の各撮像面61,71の傾斜角度αをリアルタイムで自動的に変化させて画像の取得処理を行うので、インタラクティブ性(双方向性)を備えた立体映像呈示装置10を実現することができ、例えば、娯楽映像表現の多様性や遊技性の向上等を図ることができる。
[第2実施形態]
図5には、本発明の第2実施形態の立体映像呈示装置200の全体構成が示されている。また、図6には、画像呈示面211に対する観察者の相対位置(視距離D)に応じて画像呈示面211の画像呈示方式や傾斜角度θが変化する状態が示され、図7には、立体映像呈示装置200による立体映像呈示処理の流れがフローチャートで示されている。
図5において、立体映像呈示装置200は、ディスプレイ210と、ディスプレイ210の傾斜角度(すなわち、ディスプレイ210の画面である画像呈示面211の傾斜角度θ)を検出する画像呈示面角度検出手段220と、ディスプレイ210を駆動してディスプレイ210の画像呈示面211の傾斜角度θを変化させる画像呈示面駆動手段230と、画像呈示面211に対する観察者201の相対位置(概略の視距離D)を検出する観察者位置検出手段240と、画像呈示面211で表示する画像の処理を行う画像処理装置250とを備えて構成されている。
ディスプレイ210は、その画面である画像呈示面211で立体映像を呈示する装置である。この画像呈示面211は、画像呈示面211に対する観察者201の相対位置(概略の視距離D)に応じて傾斜角度θが自動的に変化する構成とされ、本実施形態では、左右の仮想カメラ260を用いてレンダリング処理を行ってリアルタイムで生成された左眼用および右眼用のコンピュータ・グラフィクス画像が表示される。
画像呈示面角度検出手段220は、画像呈示面211の傾斜角度θを検出することができれば、その構成は任意であり、例えば、ロータリエンコーダ、ギャップセンサ、ジャイロセンサ等により実現することができる。ここで、傾斜角度θは、ディスプレイ210(つまり、画像呈示面211)の上下の端縁部に平行な方向、すなわち図5の紙面に直交する方向に延びる軸回りの傾斜角度である。なお、図5に示した画像呈示面角度検出手段220の設置位置や大きさ・形状は、一例に過ぎず、これに限定されるものではない。
画像呈示面駆動手段230は、例えば、モータ、シリンダ装置等により実現される。
観察者位置検出手段240は、例えば、レーザ距離センサ、赤外線センサ、グローバル・ポジショニング・システム(GPS)、画像処理による位置検出装置等により実現される。本実施形態では、観察者位置検出手段240は、画像呈示面211に対する観察者201の目または頭部の相対的な位置情報を正確に検出するものではなく、その代替情報として、観察者201を全身で捉えて観察者201までの距離を検出し、概略的な視距離Dを検出するものである。なお、例えば、観察者201の身長を測定または手入力したり、画像呈示面211の大きさを考慮すること等により、より正確な視距離を検出するようにしてもよい。また、図5に示した観察者位置検出手段240の設置位置や大きさ・形状は、一例に過ぎず、これに限定されるものではない。
画像処理装置250は、例えばコンピュータにより構成され、画像呈示面制御手段251と、コンピュータ・グラフィクス画像生成手段252と、画像表示処理手段253と、モデル情報記憶手段254とを含んで構成されている。
画像呈示面制御手段251は、観察者位置検出手段240により検出された視距離Dに基づき、視距離Dの大小に応じて画像呈示面211の傾斜角度θを変化させるための制御信号を生成し、生成した制御信号を画像呈示面駆動手段230へ送信する処理を行うものである。なお、視距離Dと傾斜角度θとの対応関係は、予め定めてメモリ(不図示)に記憶させておき、これを画像呈示面制御手段251により参照する。
コンピュータ・グラフィクス画像生成手段252は、画像呈示面角度検出手段220による検出信号に基づき、モデル情報記憶手段254に記憶された表示対象用のモデルに関する情報を用いて、左右の仮想カメラ260の各撮像面261の傾斜角度パラメータの値αを画像呈示面211の傾斜角度θと一致または略一致させ、すなわち撮像面261と画像呈示面211とを平行にしてレンダリング処理を行うことによりコンピュータ・グラフィクス画像を生成する処理を行うものである。
左右の仮想カメラ260は、観察者201の左右の眼の位置を想定して配置されるように設定され、仮想的な3次元空間における水平面202上に置かれた表示対象用の幾何モデル203が描かれた左眼用画像および右眼用画像を生成するためのカメラである。左右の仮想カメラ260のパラメータの設定では、通常、3次元空間上の注視点(カメラが注目している点)を座標値で与えるか、またはパン、チルト、ロールの3つの回転角度を与えるが、本実施形態では、これに加え、仮想カメラ260の撮像面261の傾斜角度αをパラメータとして与える。従って、通常のレンダリング処理では、カメラの軸線に対して直交する面が、幾何モデル203により表現される物体を描画するスクリーン(透視投影面)となるが、本実施形態では、物体を描画するスクリーンは、パラメータとして設定された傾斜角度αの状態の撮像面261と平行となり、従って、画像呈示面211と平行になるように設定されるため、カメラの軸線に対して傾斜した面となる。なお、その他の設定、例えば、色や質感の設定、ライトの設定等は、通常のレンダリング処理と同様である。また、説明の便宜上、左右の仮想カメラ260と記載しているが、これは単に、左眼および右眼に相当する仮想カメラが少なくとも1組分設定されることを示しているに過ぎず、実際には、多眼式レンティキュラ方式では、より多くの仮想カメラが設定される。例えば、8眼式レンティキュラ方式では、8台の仮想カメラが設定される。
画像表示処理手段253は、コンピュータ・グラフィクス画像生成手段252により生成された左眼用および右眼用のコンピュータ・グラフィクス画像を、画像呈示面211に表示する処理を行うものである。
モデル情報記憶手段254は、画像呈示面211で立体像として再生される対象となる幾何モデル203に関する情報を記憶するものである。
そして、画像呈示面制御手段251、コンピュータ・グラフィクス画像生成手段252、および画像表示処理手段253は、画像処理装置250を構成するコンピュータ等の内部に設けられた中央演算処理装置(CPU)、およびこのCPUの動作手順を規定する1つまたは複数のプログラムにより実現される。
また、モデル情報記憶手段254は、例えばハードディスク等により好適に実現されるが、記憶容量やアクセス速度等に問題が生じない範囲であれば、ROM、EEPROM、フラッシュ・メモリ、RAM、MO、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、FD、磁気テープ、あるいはこれらの組合せ等を採用してもよい。
このような第2実施形態においては、以下のようにして立体映像呈示装置200により立体映像の呈示を行う。
図6に示すように、観察者201は、ディスプレイ210に対して徐々に近づいていきながら、画像呈示面211で呈示される立体映像を観察する。
図7において、先ず、画像処理装置250でプログラムを立ち上げて立体映像の呈示処理を開始した後(ステップS1)、観察者位置検出手段240により、観察者201までの概略の視距離Dを検出する(ステップS2)。
続いて、画像処理装置250において、視距離Dの大小を判断し(ステップS3)、(1)視距離Dが10m以上の場合には、画像呈示面211の傾斜角度θを90度に設定するために、画像呈示面制御手段251から画像呈示面駆動手段230へ制御信号を送信して画像呈示面211を鉛直になるように配置するとともに(ステップS4)、画像呈示面211の画像呈示方式として、平面視の画像(2Dであるが、3DCGをレンダリングして生成された画像)を呈示する平面映像呈示方式を選択する(ステップS5)。
また、(2)視距離Dが5m以上、10m未満の場合には、画像呈示面211の傾斜角度θを90度に設定するために、画像呈示面制御手段251から画像呈示面駆動手段230へ制御信号を送信して画像呈示面211を鉛直になるように配置するとともに(ステップS6)、画像呈示面211の画像呈示方式として、多眼式レンティキュラ方式を選択する(ステップS7)。
さらに、(3)視距離Dが1m以上、5m未満の場合には、視距離Dの大小に応じて画像呈示面211の傾斜角度θの大小を設定するために(視距離Dが小さくなる程、傾斜角度θが大きくなるように、つまり倒れるようにするために)、画像呈示面制御手段251から画像呈示面駆動手段230へ制御信号を送信して画像呈示面211を駆動するとともに(ステップS8)、画像呈示面211の画像呈示方式として、多眼式レンティキュラ方式を選択する(ステップS9)。
そして、(4)視距離Dが1m未満の場合には、画像呈示面211の傾斜角度θを180度に設定するために、画像呈示面制御手段251から画像呈示面駆動手段230へ制御信号を送信して画像呈示面211を水平に配置するとともに(ステップS10)、画像呈示面211の画像呈示方式として、2眼式レンティキュラ方式を選択する(ステップS11)。
その後、コンピュータ・グラフィクス画像生成手段252により、仮想カメラ260のパラメータを設定し(ステップS12)、モデル情報記憶手段254に記憶された幾何モデル203を用いて、レンダリング処理を行うことにより、画像呈示面211に表示するための画像を生成する(ステップS13)。ここで、生成される画像は、平面映像呈示方式が選択されている場合(ステップS5)には、平面視の画像であり、多眼式レンティキュラ方式が選択されている場合(ステップS7,S9)には、多眼に相当する個数の左眼用画像および右眼用画像であり、2眼式レンティキュラ方式が選択されている場合(ステップS11)には、左眼用画像および右眼用画像である。
この際、仮想カメラ260のパラメータの設定では、図5に示すように、仮想カメラ260の撮像面261の傾斜角度パラメータαと、画像呈示面211の傾斜角度θとを一致させる。また、仮想カメラ260の設定台数は、選択されている画像呈示方式に応じた台数とする。すなわち、平面映像呈示方式が選択されている場合(ステップS5)には、1台設定し、多眼式レンティキュラ方式が選択されている場合(ステップS7,S9)には、多眼に相当する台数(例えば、8眼式であれば、8台)設定し、2眼式レンティキュラ方式が選択されている場合(ステップS11)には、2台設定する。
それから、画像表示処理手段253により、コンピュータ・グラフィクス画像生成手段252により生成されたコンピュータ・グラフィクス画像を、選択されている画像呈示方式で画像呈示面211に表示する。
そして、処理を続行するか否かを判断し(ステップS15)、続行する場合には、再び、ステップS2の処理に戻り、以降、続行しないと判断されるまで、ステップS2〜S15の処理を繰り返し、一方、続行しない場合には、立体映像の呈示処理を終了する(ステップS16)。
以上のようなループ処理を繰り返すと、観察者201が、ディスプレイ210に対して徐々に近づいていった場合には、次のような立体映像の呈示が行われることになる。
図6において、先ず、(1)視距離Dが10m以上の場合には、画像呈示面211が鉛直になり、平面視の映像が呈示され、(2)視距離Dが5m以上、10m未満の範囲に入ると、画像呈示面211は鉛直のままで、多眼式レンティキュラ方式による立体映像の呈示に切り替わり、さらに、(3)視距離Dが1m以上、5m未満の範囲に入ると、多眼式レンティキュラ方式による立体映像の呈示のままで、画像呈示面211の傾斜角度θが大きくなっていき、つまり倒れていき、最後に、(4)視距離Dが1m未満になると、画像呈示面211の傾斜角度θが180度になって完全に倒れて水平になるとともに、2眼式レンティキュラ方式による立体映像の呈示に切り替わる。なお、逆に、観察者201が、ディスプレイ210から徐々に遠ざかっていった場合には、以上の流れと反対の立体映像の呈示が行われることになる。
このような第2実施形態によれば、次のような効果がある。すなわち、画像呈示面211では、仮想カメラ260の撮像面261の傾斜角度パラメータαを、この画像呈示面211の傾斜角度θと一致または略一致させた状態で生成された画像を用いて立体映像および平面映像の呈示が行われるので、従来より行われていたパースペクティブを無くすための補正処理、すなわちレンダリング処理によるCG画像の生成後に2次的に行う演算処理を省略することができ、レンダリング処理によるCG画像の生成を終えた時点で、パースペクティブのない画像を得て、これを画像呈示面211に表示することができる。このため、自然かつ精緻に表現された立体映像、または適正な平面映像を得ることができるうえ、前述した特許文献2〜6に記載されたパースペクティブを無くすための複雑な演算処理を行う必要がなくなるので、処理負担の軽減を図ることができる。
また、再生時の環境(画像呈示面211の傾斜角度θ)に応じ、撮像面261の傾斜角度パラメータαを変化させて画像を取得することができるので、ゆがみを除去した自然な立体像を再生することができ、観察者に対し、適正な立体映像を呈示することができる。また、撮像面261の傾斜角度パラメータαをリアルタイムで変化させるので、柔軟かつ多様な映像を表現することができる。
さらに、画像呈示面211では、仮想カメラ260の撮像面261の傾斜角度パラメータαを、この画像呈示面211の傾斜角度θと一致または略一致させた状態で生成された画像を用いて立体映像の呈示が行われるので、交差法による撮影を行っても、キーストーンひずみ(図16、図17参照)を生じることなく、立体映像の呈示を行うことができ、この点でも、ゆがみを除去した自然な立体像を再生することができる。
そして、再生時の環境(視距離D)に応じ、画像呈示方式を切り替えるので、解像度と視域を両立させる立体映像の呈示を行うことができる。
また、観察者201の位置(視距離D)を検出し、画像呈示面211の画像呈示方式をリアルタイムで自動的に切り替えたり、画像呈示面211の傾斜角度θをリアルタイムで自動的に変化させ、これに伴って仮想カメラ260の撮像面261の傾斜角度パラメータαをリアルタイムで自動的に変化させて画像の取得処理を行うので、インタラクティブ性(双方向性)を備えた立体映像呈示装置200を実現することができ、例えば、娯楽映像表現の多様性や遊技性の向上等を図ることができる。
[変形の形態]
なお、本発明は前記各実施形態に限定されるものではなく、本発明の目的を達成できる範囲内での変形等は本発明に含まれるものである。
すなわち、前記第1実施形態では、画像呈示面31には、実写カメラ60,70により予め撮影されて画像記憶手段53に記憶されている左眼用画像および右眼用画像が表示されるようになっていたが(図1、図4参照)、水平面の画像呈示面31も前面の画像呈示面21と同様に傾斜角度を自在に変更可能な構成とし、実写カメラ60,70により各撮像面61,71の傾斜角度αを調整しながらリアルタイムで撮影された左眼用画像および右眼用画像を表示するようにしてもよい。
また、前記第1実施形態では、画像呈示面21,31のいずれも実写画像が表示されていたが、コンピュータ・グラフィクス画像により、複数の画像呈示面での複数種類の画像呈示方式による立体映像の呈示を実現してもよい。
さらに、前記第2実施形態では、図6に示すように、(2)視距離Dが5m以上、10m未満の場合および(3)視距離Dが1m以上、5m未満の場合に、多眼式レンティキュラ方式による立体映像の呈示が行われ、(4)視距離Dが1m未満の場合に、2眼式レンティキュラ方式による立体映像の呈示が行われるようになっていたが、画像呈示方式の切替えは、これに限定されるものではなく、例えば、(2)および(3)の場合に、眼数の多い多眼式(例えば、16眼式)レンティキュラ方式による立体映像の呈示が行われ、(4)の場合に、それよりも眼数の少ない多眼式(例えば、8眼式)レンティキュラ方式による立体映像の呈示が行われるようにしてもよく、あるいは(2)の場合に、16眼式レンティキュラ方式、(3)の場合に、8眼式レンティキュラ方式、(4)の場合に、2眼式レンティキュラ方式による立体映像の呈示が行われるようにしてもよい。要するに、観察者201がディスプレイ210に近づき、視距離Dが小さくなるに従って、解像度を上げていく一方、視域を狭くしていく等の何らかの意図やコンセプトを持った画像呈示方式の切替えを行えばよい。
そして、前記第2実施形態では、画像呈示方式の切替えにあたって、視距離Dの閾値を、10m、5m、1mにしていたが、閾値の大きさや個数は、これに限定されるものではなく、任意である。
また、前記第1、第2実施形態では、ディスプレイ20,30,210の画面である画像呈示面21,31,211により、立体映像の呈示が行われていたが、図8に示すように、ディスプレイではなく、印刷物を用いて立体映像の呈示を行ってもよい。図8において、立体映像呈示装置300は、前面(正面)に配置される画像呈示面301と、水平面に配置される画像呈示面302とを備えて構成されている。
そして、前面の画像呈示面301は、呈示対象物(例えば、仏像等の文化財)を描いた印刷物(写真でも、CGでも、絵でもよい。)の印刷面により形成され、第1の画像呈示方式で立体映像を呈示するものであり、水平面の画像呈示面302は、同一の呈示対象物を別の角度から見た状態で描いた印刷物(写真でも、CGでも、絵でもよい。)の印刷面により形成され、第2の画像呈示方式で立体映像を呈示するものである。
ここで、前面の画像呈示面301についての第1の画像呈示方式としては、例えば、多眼式レンティキュラ方式等を採用することができ、水平面の画像呈示面302についての第2の画像呈示方式としては、例えば、インテグラルフォトグラフィ方式(IP方式)等を採用することができる。
このように印刷物により画像呈示面301,302を形成した場合には、通常のディスプレイよりも解像度を上げることができるという効果がある。
さらに、前記第1実施形態では、2つの画像呈示面21,31で、互いに異なる2種類の画像呈示方式の組合せによる立体映像の呈示が行われていたが(図1参照)、図9に示すように、3つ以上の画像呈示面で複数種類の画像呈示方式の組合せによる立体映像の呈示を行ってもよい。図9において、立体映像呈示装置400は、前面(正面、すなわち観察者401に正対する面)に配置された画像呈示面402と、左右の側面(立面)に配置された画像呈示面403,404と、床面(水平面)に配置された画像呈示面405とを備えて構成されている。
これらの4つの画像呈示面402〜405のうち、前面の画像呈示面402は、第1の画像呈示方式(例えば、2眼式レンティキュラ方式)とし、左右の側面の画像呈示面403,404および床面の画像呈示面405は、第2の画像呈示方式(例えば、多眼式レンティキュラ方式)としてもよい。また、前面の画像呈示面402および左右の側面の画像呈示面403,404は、第1の画像呈示方式(例えば、2眼式レンティキュラ方式)とし、床面の画像呈示面405は、第2の画像呈示方式(例えば、多眼式レンティキュラ方式)としてもよい。さらに、前面の画像呈示面402は、第1の画像呈示方式(例えば、2眼式レンティキュラ方式)とし、左右の側面の画像呈示面403,404は、第2の画像呈示方式(例えば、多眼式(8眼式等)レンティキュラ方式)とし、床面の画像呈示面405は、第3の画像呈示方式(例えば、より眼数の多い多眼式(16眼式等)レンティキュラ方式)としてもよい。
そして、前記第2実施形態では、1つの画像呈示面211で、観察者位置検出手段240により検出された視距離Dに基づき、画像呈示方式の切替えを行っていたが(図5、図6参照)、図10に示す立体映像呈示装置500のように、2つの画像呈示面501,502を用いて、観察者位置検出手段503により検出された視距離Dに基づき、画像呈示方式の切替えを行ってもよい。
図10において、(1)視距離Dが10m以上の場合には、観察者504から見て手前側の画像呈示面501が鉛直になり、平面視の映像が呈示される。この際、奥側の画像呈示面502は、鉛直に配置され、OFFの状態となっている。そして、(2)視距離Dが5m以上、10m未満の範囲に入ると、手前側の画像呈示面501は鉛直のままで、多眼式レンティキュラ方式による立体映像の呈示に切り替わる。この際、奥側の画像呈示面502は、鉛直に配置され、OFFの状態のままである。
さらに、(3)視距離Dが1m以上、5m未満の範囲に入ると、手前側の画像呈示面501は、多眼式レンティキュラ方式による立体映像の呈示のままであるが、傾斜角度θが大きくなっていく、つまり倒れていく。この際、奥側の画像呈示面502は、鉛直に配置され、OFFの状態のままである。最後に、(4)視距離Dが1m未満になると、手前側の画像呈示面501は、多眼式レンティキュラ方式による立体映像の呈示のままであるが、傾斜角度θが180度になって完全に倒れて水平になる。この際、奥側の画像呈示面502は、OFFの状態から2眼式レンティキュラ方式による立体映像の呈示に切り替わる。
このように2つの画像呈示面501,502を用いて画像呈示方式の切替えを行えば、前記第2実施形態の場合(図5、図6参照)と同様に画像呈示方式の切替えを行うことによる効果が得られることに加え、前記第1実施形態の場合(図1参照)と同様に複数種類の画像呈示方式を組み合わせることによる効果も得ることができる。
また、前記第1実施形態では、画像記憶手段53(図1参照)には、図4に示すように、左眼用および右眼用の実写カメラ60,70により、各撮像面61,71の傾斜角度を、水平な画像呈示面31の傾斜角度と一致または略一致させた状態で、すなわち各撮像面61,71と水平な画像呈示面31とを平行にした状態で、予め撮影された左眼用画像および右眼用画像が記憶されていたが、これらの画像は、画像呈示面31が水平面に固定されて使用されるため、画像呈示面31の傾斜角度が1つの状態のときのみ(画像呈示面31が水平の状態であるときのみ)について撮影されたものであり、しかも被写体2が固定物であるため、動きのない静的な画像であった。これに対し、傾斜角度が変化する画像呈示面で、しかも動く対象物についての立体映像を呈示する場合に、リアルタイムで画像を撮影または生成するのではなく、予め撮影または生成しておいた画像を用いるときには、図11に示す画像記憶手段600のように、各時刻T=t(1)、t(2)、t(3)、…、t(n)、…における対象物のそれぞれについて、画像呈示面の傾斜角度θを変化させて撮影または生成された左眼用画像L(θ,t(n))および右眼用画像R(θ,t(n))を記憶させておけばよい。例えば、時刻T=t(1)における対象物の再生時に、θ=90度であり、時刻T=t(2)における対象物の再生時に、θ=100度であり、時刻T=t(3)以降における対象物の再生時に、θ=110度であった場合には、図11中の太枠で示すように、L(90度,t(1))およびR(90度,t(1))、L(100度,t(2))およびR(100度,t(2))、L(110度,t(3))およびR(110度,t(3))、…、L(110度,t(n))およびR(110度,t(n))、…という順で、各画像を用いて立体映像の呈示を行う。