JP2005252459A - 画像生成装置、画像生成方法、及び画像生成プログラム - Google Patents

Abstract

【課題】Ｉｎｔｅｇｒａｌ−Ｉｍａｇｉｎｇ方式若しくは多眼方式の立体表示装置全般に表示させる場合にも、画枠歪み等がなく、観察者に違和感を与えない画像を生成することのできる画像生成装置を提供する。
【解決手段】立体表示装置に表示させるべき２次元または３次元の画像データと、レンダリング処理において設定する注視対象３０の位置と、立体表示装置の光線の向きとに基づいて、画像データにおける３次元的な位置関係を再現可能な立体表示領域４００を算出する立体表示領域算出手段１２０と、立体表示領域算出手段１２０が算出した立体表示領域の外部を示す領域外画像データに対して、立体表示領域の内部を示す領域内画像データに対する画像処理と異なる画像処理を施す画像処理手段１３０と、前記２次元または３次元の画像データから立体表示画像データを生成する画像生成手段１４０とを備えた。
【選択図】 図２

Description

本発明は、Ｉｎｔｅｇｒａｌ−Ｉｍａｇｉｎｇ方式若しくは多眼方式の立体表示装置における画像生成を行う画像生成装置、画像生成方法、及び画像生成プログラムに関するものである。

立体表示装置、特にＩｎｔｅｇｒａｌ−Ｉｍａｇｉｎｇ方式若しくは多眼方式の立体表示装置で立体映像を表示させた場合、観察者が表示している物体を立体映像として認識しうる限界の領域が存在する。この領域外に立体映像を表示させようとしても、観察者には物体が２重３重に見えてしまうため立体映像として認識させるのは困難であった。

３次元映像を作成する場合は、３次元オブジェクトが配置されている３ＤＣＧシーン中に、ＣＧ向けの仮想カメラを設定し、さらに仮想カメラの注視点を設定する。そして、仮想カメラに表示される範囲内の画像に対してレンダリングをおこない画像を生成するのが一般的である。

しかし、Ｉｎｔｅｇｒａｌ−Ｉｍａｇｉｎｇ方式若しくは多眼方式の立体表示装置では、表示している物体が観察者に立体映像として見える領域に制限がある。そこで、従来は予め仮想カメラの位置と注視点を決めておき、元々立体映像として見える領域内にのみ物体を配置して画像を生成していた。このため、通常の３次元映像と同じ作り方で画像を作成することができなかった。

また、Ｉｎｔｅｇｒａｌ−Ｉｍａｇｉｎｇ方式若しくは多眼方式をはじめとする飛び出し表現能力を持つ立体表示装置全般に共通する問題として、画枠歪みと呼ばれる問題がある。

画枠歪みとは、飛び出して見える物体が画枠によって遮られた場合に、枠の位置より手前に配置されているように見えなくなる状態のことをいう。この場合、物体は枠に張り付いたように歪んで見えたり、枠の付近の物体が不安定に見えたりするなど、観察者に違和感を与えてしまう。

２眼識立体画像表示装置における画枠歪みの問題を解決する方法としては、最前面に仮想の遮蔽物体を置き、少なくとも立体表示装置の外枠によって物体が遮蔽されるのを避ける方法が知られている（特許文献１参照）。また、立体表示装置の視野枠自体を他の物体よりも手前に見えるように拡大投影する方法が知られている（特許文献２参照）。また、片目側の画像で物体の一部が欠如した場合、もう片方の目の画像も表示を規制することで非有効表示領域を調整する方法が知られている（特許文献３参照。）。また、右目および左目の最前面にそれぞれの非有効表示領域に板（ジオラマボード）を配置することで物理的に非有効表示領域を遮蔽する方法が知られている（特許文献４参照）。

特開平０８−２３４１４０公報（第1頁、構成） 特開平０６−３０８４２６公報（第1頁、構成） 特開平０８− ６５７１５公報（第1頁、構成） 特開平０７−１６８１２１公報（第1頁、代表図ａ） Analysis of resolution limitation of integral photography Journal of the Optical Society of America-A,Vol.15,No.8,pp.2059〜2065(1998) H. Hoshino, F. Okano, H. Isono, and I. Yuyama Science and Technical Research Laboratories, NHK

上述のように、２眼式の立体表示装置においては画枠歪み等の問題を解決する方法が提案されているが、Ｉｎｔｅｇｒａｌ−Ｉｍａｇｉｎｇ方式若しくは多眼方式の立体表示装置における画枠歪み等の問題を解決する方法はなく、解決する方法の提供が望まれていた。

このように、Ｉｎｔｅｇｒａｌ−Ｉｍａｇｉｎｇ方式若しくは多眼方式の立体表示装置に表示する映像を、通常のＣＧ向け仮想カメラのように３ＤＣＧのシーン内に仮想カメラと注視点を配置して、仮想カメラに映るシーンの立体映像を生成することにより生成するのは困難であった。

本発明は、上記に鑑みてなされたものであって、Ｉｎｔｅｇｒａｌ−Ｉｍａｇｉｎｇ方式若しくは多眼方式の立体表示装置全般に表示させる場合にも、画枠歪み等がなく、観察者に違和感を与えない画像を生成することのできる画像生成装置、画像生成方法、及び画像生成プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、立体表示装置に表示させる立体表示画像データを生成する画像生成装置において、前記立体表示装置に表示させるべき２次元または３次元の画像データと、前記立体表示装置から出力される光線に対応して前記画像データを２次元に描画するレンダリング処理において設定する仮想カメラの注視対象の位置と、前記立体表示装置から出力される光線の向きとに基づいて、前記画像データを前記立体表示装置に表示させた場合に前記画像データにおける３次元的な位置関係を再現可能な立体表示領域を算出する立体表示領域算出手段と、前記画像データのうち、前記立体表示領域算出手段が算出した前記立体表示領域の外部を示す領域外画像データに対して、前記立体表示領域の内部を示す領域内画像データに対する画像処理と異なる画像処理を施す画像処理手段と、前記画像処理手段により処理された後の前記２次元または３次元の画像データから前記立体表示画像データを生成する画像生成手段とを備えたことを特徴とする。

また、本発明は、立体表示装置に表示させる立体表示画像データを生成する画像生成方法において、前記立体表示装置に表示させるべき２次元または３次元の画像データと、前記立体表示装置から出力される光線に対応して前記画像データを２次元に描画するレンダリング処理において設定する仮想カメラの注視対象の位置と、前記立体表示装置から出力される光線の向きとに基づいて、前記画像データを前記立体表示装置に表示させた場合に前記画像データにおける３次元的な位置関係を再現可能な立体表示領域を算出する立体表示領域算出ステップと、前記画像データのうち、前記立体表示領域算出ステップにおいて算出された前記立体表示領域の外部を示す領域外画像データに対して、前記立体表示領域の内部を示す領域内画像データに対する画像処理と異なる画像処理を施す画像処理ステップと、前記画像処理ステップにおいて処理された後の前記２次元または３次元の画像データから前記立体表示画像データを生成する画像生成ステップとを有することを特徴とする。

また、本発明は、立体表示装置に表示させる立体表示画像データを生成する画像生成処理をコンピュータに実行させる画像生成プログラムにおいて、前記立体表示装置に表示させるべき２次元または３次元の画像データと、前記立体表示装置から出力される光線に対応して前記画像データを２次元に描画するレンダリング処理において設定する仮想カメラの注視対象の位置と、前記立体表示装置から出力される光線の向きとに基づいて、前記画像データを前記立体表示装置に表示させた場合に前記画像データにおける３次元的な位置関係を再現可能な立体表示領域を算出する立体表示領域算出ステップと、前記画像データのうち、前記立体表示領域算出ステップにおいて算出された前記立体表示領域の外部を示す領域外画像データに対して、前記立体表示領域の内部を示す領域内画像データに対する画像処理と異なる画像処理を施す画像処理ステップと、前記画像処理ステップにおいて処理された後の前記２次元または３次元の画像データから前記立体表示画像データを生成する画像生成ステップとをコンピュータに実行させることを特徴とする。

本発明にかかる画像生成装置は、観察者にとって正しく立体視しうる領域、すなわち３次元的な位置関係を正確に再現可能な立体表示領域を算出し、この立体表示領域の内部と外部に対してそれぞれ適切な画像処理を施すことができるので、観察者が正しく立体視しうる立体表示画像データを生成することができるという効果を奏する。

以下に、本発明にかかる立体画像処理装置の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。

（実施の形態）
実施の形態にかかる画像生成装置１０は、画像データを任意のカメラ位置と注視点位置でレンダリングする。そして、Ｉｎｔｅｇｒａｌ−Ｉｍａｇｉｎｇ方式若しくは多眼方式の立体画像表示装置に表示するための立体画像データを生成する。

画像生成装置１０の機能構成を説明する前提として、図１を参照しつつレンダリング処理について説明する。レンダリング処理とは、画像データを２次元スクリーンに描画する処理のことである。レンダリング処理においては、仮想カメラ６００と注視点３０とを設定する。仮想カメラとは、立体表示装置が出力する光線３２に対応して決定された位置に配置された仮想的なカメラである。図１においては、仮想カメラ６００は、ディスプレイパネル２２の中央正面に配置されている。

また、注視点３０は、ディスプレイパネル２２の中央に設定されている。なお、本実施の形態においては注視点を設定したが、注視点にかえて注視対象を設定してもよい。

そして、ｎｅａｒ ｃｌｉｐ６０２およびｆａｒ ｃｌｉｐ６０４を設定する。ｎｅａｒ ｃｌｉｐ６０２は、ディスプレイパネル２２よりも観察者側の領域、すなわちオブジェクトが飛び出しているように見える飛び出し側領域２２１に設定されている。また、ｆａｒ ｃｌｉｐ６０４は、観察者から見てディスプレイパネル２２よりも奥側の奥行き側領域２２２に設定されている。また、図１に示す仮想カメラ６００に対するｎｅａｒ ｃｌｉｐ６０２およびｆａｒ ｃｌｉｐ６０４は、いずれも注視点３０の奥行き方向２１０に対して垂直に設けられている。

ｎｅａｒ ｃｌｉｐ６０２とｆａｒ ｃｌｉｐ６０４によって区切られた空間は、正しく立体視しうる領域であり、この領域に対して立体視に関する画像処理が施される。ここで、立体視に関する画像処理としては、例えば、３次元座標系から２次元座標系に変換し、当該空間内のオブジェクトをディスプレイパネル２２に投影する透視投影変換処理や、本来見えない線を消去したりする隠面消去処理などがある。

以下、画像生成装置１０について説明する。図２は、実施の形態にかかる画像生成装置１０の機能構成を示すブロック図である。画像生成装置１０は、３Ｄシーンデータ取得部１０１と、立体表示装置パラメータ取得部１０２と、カメラパラメータ取得部１０３と、立体表示領域計算部１２０と、画像データ処理部１３０と、多視点画像生成部１４０とを備えている。

３Ｄシーンデータ取得部１０１は、レンダリング処理の対象とすべき２Ｄまたは３Ｄオブジェクトによって表現される３次元モデル空間上の３Ｄシーンデータを取得する。ここで対象とするオブジェクトは、１つであってもよく、または複数であってもよい。

立体表示装置パラメータ取得部１０２は、立体表示装置の各種パラメータを取得する。各種パラメータとしては、立体表示装置において観察者が視認可能な視域、立体表示装置が表示する画像データの画素ピッチ、レンチキュラパネルのレンズピッチ、観視角、想定される観察者と立体表示装置との間の視距離、これらのパラメータから求められるナイキスト周波数の許容値などがある。ここで、ナイキスト周波数とは、観察者が立体視可能な周波数のことである。

カメラパラメータ取得部１０３は、一般的な平行投影カメラモデルにおけるカメラパラメータを取得する。カメラパラメータとしては、３Ｄモデル空間上の仮想カメラの注視対象となる２Ｄまたは３Ｄオブジェクトに関する条件、仮想カメラの位置、平行投影面の大きさ、ｎｅａｒ ｃｌｉｐ、ｆａｒ ｃｌｉｐなどがある。

以上３Ｄシーンデータ取得部１０１、立体表示装置パラメータ取得部１０２、およびカメラパラメータ取得部１０３が取得する設定条件は例えばユーザインターフェースを介して利用者から入力される。

立体表示領域計算部１２０は、３Ｄシーンデータ取得部１０１、立体表示装置パラメータ取得部１０２、カメラパラメータ取得部１０３のそれぞれから各情報を取得し、これらの情報に基づいて、ディスプレイパネル２２において観察者が正しく立体視し得る領域、すなわち立体表示領域を算出する。具体的には、観察者が立体視可能なナイキスト周波数の許容値を満たす範囲、想定される観察者と立体表示装置との間の視距離、注視点（注視対象）、カメラパラメータから、飛び出し限界、奥行き限界、画枠歪みの発生する領域から立体表示領域を算出する。

ここで、飛び出し限界とは、立体映像として認識しうる限界のうち、飛び出し側領域２２１での奥行き方向２１０における境界のことである。また、奥行き限界とは、奥行き側領域２２２での奥行き方向２１０における境界のことである。なお、注視点の存在するカメラ平面と平行な面から飛び出し限界までの距離、およびカメラ面と平行な面から奥行き限界までの距離は、いずれもナイキスト周波数とその許容値によって決定される（参考文献１参照。）。

また、画枠歪みとは、画枠から飛び出して見えるオブジェクトが画枠と重なって見えた場合に、画枠より手前に位置するように認識されなくなる、オブジェクトが画枠に張り付いたように歪んで見える、画枠の付近に不安定な立体像が見えるなどの現象のことである。

以下、図３から図５を参照しつつ立体表示領域計算部１２０の処理について詳述する。図３から図５は、水平方向に視差表現能力を持つＩｎｔｅｇｒａｌ−Ｉｍａｇｉｎｇ方式若しくは多眼方式の立体表示装置が出力する光線情報を立体表示装置の表示面の上方向から見た図である。

図３は、飛び出し限界４０１と奥行き限界４０２とを示している。また、領域２００は、ディスプレイパネル２２が光線を出力する領域である。出力角２０２は、注視点３０から出力される光線の範囲、すなわち視差成分の出力範囲である。

ｑ２００においては、ディスプレイパネル２２の各位置から注視点３０から光線が出力されるのと同様に、出力角２０２の光線が出力される。したがって、光線の出力方向の観点からは、ｑ２００に立体視の対象となるオブジェクトを配置することが可能である。

しかし、領域２００内のオブジェクトであっても、飛び出し限界４０１よりも観察者側に配置されたオブジェクトは、観察者に、２重３重に見えてしまう。すなわち、立体視に破綻を来たす。

これは、ディスプレイパネル２２から奥行き方向２１０に距離が離れるにつれて、ディスプレイパネル２２が出力する光線情報の密度が低下するためである。すなわち、光線情報の密度が低下することにより、観察者には、ディスプレイパネル２２から離れた位置に見えるべきオブジェクトと違う方向から見た場合のオブジェクトとが混ざり、異なるオブジェクトが２重３重に見えてしまう。

飛び出し限界４０１は、このような光線情報の密度の低下のない領域の限界位置である。同様に、奥行き限界４０２は、観察者と反対側の方向おける、光線情報の密度の低下のない領域の限界位置である。

図４−１および図４−２は、いわゆる画枠歪みを説明するための図である。図４−１に示すように観察者が位置３００からオブジェクト３１０を観察した場合には、両眼ともオブジェクト３１０に焦点を合わせることができる。したがって、観察者は、オブジェクト３１０がディスプレイパネル２２よりも手前方向２１０に位置するように認識することができる。しかし、図４−２に示すように観察者が位置３０２からオブジェクト３１０を観察した場合、右眼はオブジェクト３１０に焦点を合わせることができるが、左眼は、オブジェクト３１０に焦点を合わせることができない。これは、左眼とオブジェクト３１０を結ぶ直線３２０上にディスプレイパネル２２が存在せず、左眼にはオブジェクト３１０の光線情報が入らないためである。

左眼はさらに奥行き方向２１０に離れた位置にあるディスプレイパネル２２の画枠２３に焦点を合わせてしまう。これにより、位置３０２からオブジェクト３１０を見た場合には、実際にはオブジェクト３１０よりも奥行き方向２１０に離れた位置にあるｑ２３によって、オブジェクト３１０が遮断されたように見える。

このような画枠歪みを解消するため、ディスプレイパネル２２に表示させるべき画像データのディスプレイパネル２２の面方向２３０においては、観察者の位置によっては、画枠歪みが生じ得る領域を除外した領域を立体表示領域としている。

図５は、立体表示領域計算部１２０が算出した立体表示領域４００を示している。立体表示領域４００は、飛び出し側領域２２１の飛び出し側立体表示領域４１０と、奥行き側領域２２２の奥行き側立体表示領域４２０とを有している。また、立体表示領域４００から画像歪み領域４３０，４３２は除かれている。ここで、画枠歪み領域４３０，４３２は、観察者の位置によっては、図４−１および図４−２を参照しつつ説明した画枠歪みが生じ得る領域である。

このように、立体表示領域計算部１２０は、立体表示領域の奥行き方向２１０を光線情報の密度が十分な範囲に制限し、かつ画枠歪みが生じる画像歪み領域４３０，４３２を除外することにより観察者が正しく立体視可能な領域を、立体表示領域として算出することができる。

画像データ処理部１３０は、立体表示領域外の画像データに対して、立体視に悪影響を与える立体表示領域外の２Ｄ或いは３Ｄオブジェクトに対して、悪影響を除外または軽減させるための処理を行う。

図６は、画像データ処理部１３０の詳細な機能構成を示すブロック図である。画像データ処理部１３０は、飛び出し方向処理部１３２と奥行き方向処理部１３４とを有している。飛び出し方向処理部１３２は、飛び出し側領域２２１に存在する各オブジェクトに対して、当該オブジェクトと注視対象との距離に応じた各種処理を施す。また、奥行き方向処理部１３４は、奥行き側領域２２２に存在するオブジェクトに対して、当該オブジェクトと注視対象との距離に応じた各種処理を施す。

図７−１および図７−２を参照しつつ飛び出し方向処理部１３２の処理について説明する。図７−１は、オブジェクト３１０と奥行き側立体表示領域４１０とを示している。なお、図７−１は、画像歪みの発生する領域を含まない奥行き側立体表示領域４１０の例を示している。

本実施の形態にかかる飛び出し方向処理部１３２は、立体表示領域４００の境界４１２よりも所定の距離だけ内側に処理境界４１４を予め設定する。そして、処理境界４１４を境界として、処理境界４１４よりも注視点３０側、すなわち処理境界４１４の内側のオブジェクトと処理境界４１４よりも観察者側、すなわち処理境界４１４の外側のオブジェクトに対して異なる処理を施す。

具体的には、処理境界４１４の内側の領域にあるオブジェクトに対して完全不透過で表示させる処理を施す。また、処理境界４１４から境界４１２の間の領域にあるオブジェクトに対しては、当該オブジェクトと注視点３０との距離に応じて徐々にオブジェクトをフェードさせる処理を施す。また、境界４１２よりも観察者側の領域のオブジェクトを完全透過およびクリッピングさせる処理を施す。

図７−２は、上記処理により生成された画像データにおけるオブジェクトの不透過度を示すグラフを示している。横軸は、注視対象からオブジェクトまでの距離を示している。縦軸は、オブジェクトの不透過度を示している。

処理境界４１４と境界４１２の間の領域においては、オブジェクトと注視点３０との距離に応じた強度のフェード処理を施す。これにより、図７−２に示すように、立体視が困難になる領域におけるオブジェクトの不透過度は徐々に低下する。

図７−１に示す奥行き側立体表示領域４１０の境界４１２内部にオブジェクトが配置されている場合には、観察者は、オブジェクトを正しく立体視することができる。例えば、注視点３０から距離４１２２の位置４１２１までの間にオブジェクトが配置されている場合には観察者はオブジェクトを正しく立体視することができる。

一方、境界４１２よりも観察者側に離れたオブジェクトをクリッピングした場合、境界位置が明確になり、観察者が立体視した場合に違和感を抱く恐れがある。しかし、上述のように、飛び出し方向処理部１３２は、境界４１２よりも注視点３０側からオブジェクトに対してフェード処理を施しているので、クリッピングによる不自然さを軽減させることができる。

このように、飛び出し方向処理部１３２は、各オブジェクトに対して、当該オブジェクトと注視点３０との距離に応じて異なる処理を施すことにより、正しく立体視できない領域が見えることにより観察者に違和感を抱かせるのを低減することができる。

処理境界４１４から境界４１２の間の領域に対しては、対象となるオブジェクトと注視点３０との距離に応じた強度のフェード処理を施す。例えば、フェード処理の強度は、オブジェクトと注視点３０との距離と比例関係にあってもよい。フェード処理の強度とオブジェクトと注視点３０との距離との関係は、特に限定されるものではなく、距離に応じて強度が定まる関係であればよい。

また、図７−２に示すように、処理境界４１４と境界４１２の間の領域に対しては、フェード処理の強度を徐々に低くすることにより、立体視が困難になる領域におけるオブジェクトの不透過度を徐々に低くしていくことができる。そして、フェード処理により不透明度が減少したところで、境界４１２の位置よりも観察者側の領域にクリッピング等の処理を行うので、立体視が困難な領域に配置されたオブジェクトにより観察者に違和感を与えるのを低減させることができる。

このように、ｑ２５０１を基準として、注視点３０からの距離に応じて異なる画像処理を施すことにより、観察者が違和感を抱くことなく正しく立体視しうる画像データを生成することができる。

次に、図８−１および図８−２を参照しつつ画像歪みが生じる場合の飛び出し方向処理部１３２の処理について説明する。図８−１に示す奥行き側立体表示領域４１０の両端には画像歪み領域４３０，４３２が生じている。

この場合、飛び出し方向処理部１３２は、画枠歪み領域４３０，４３２および境界４１２を境界として、各オブジェクトに異なる処理を施す。そこで、画枠歪み領域４３０，４３２が生じている場合には、画枠歪み領域４３０，４３２および境界４１２を境界として異なる処理を施す。

具体的には、境界４１２の内側の領域に対しては、オブジェクトを完全不透過で表示させる処理を施す。また、画枠歪み領域４３０，４３２の内側の領域に対しては、フェード処理を施す。また、画枠歪み領域４３０，４３２の観察者側の境界領域の外側のオブジェクトを完全透過およびクリッピングさせる処理を施す。

図８−２は、上記処理により生成された画像データにおけるオブジェクトの不透過度のグラフを示している。横軸は、注視対象からオブジェクトまでの距離を示している。縦軸は、オブジェクトの不透過度を示している。

画枠歪み領域４３０，４３２の領域の内側においては、オブジェクトと注視点３０との距離に応じた強度でフェード処理を施す。これにより、図８−２に示すように、立体視が困難になる領域におけるオブジェクトの不透過度は徐々に低下する。

以上の処理を行うことにより、画枠歪みが発生している場合であっても、画枠歪みが発生していない場合と同様に、観察者は、奥行き側立体表示領域４１０の境界４１２内部に配置されたオブジェクトを正しく立体視することができる。例えば、注視点３０から距離４１２２の位置４１２１までの間にオブジェクトが配置されている場合には観察者は正しく立体視することができる。

また、図８−２に示すように、画枠歪み領域４３０，４３２の内側において注視点３０からの距離に応じてフェード処理の強度を徐々に低くすることにより、立体視が困難になる領域におけるオブジェクトの不透過度を徐々に低下させることができる。そして、フェード処理により不透過度を減少させた後に、画枠歪み領域４３０，４３２の他方の境界位置よりも観察者側のオブジェクトに対してはクリッピング等を行うので、立体視が困難な領域に配置されたオブジェクトにより観察者に違和感を与えるのを低減させることができる。

このように、画枠歪みの問題が生じている場合においても、画枠歪みが生じていない場合と同様に、観察者が違和感を抱くことなく正しく立体視しうる画像データを生成することができる。

次に図９−１および図９−２を参照しつつ、図６で説明した奥行き方向処理部１３４の処理について説明する。図９−１は、飛び出し側立体表示領域４２０とオブジェクト３１０とを示している。

本実施の形態にかかる奥行き方向処理部１３４は、飛び出し側立体表示領域４２０の境界４２２より内側に第１処理境界４２４を予め設定する。また、飛び出し側立体表示領域４２０よりも奥行き方向に第２処理境界４２６を予め設定する。

第１処理境界４２４および第２処理境界４２６の位置は、例えば境界４２２との関係で定めることとしてもよい。たとえば、境界４２２から所定の距離だけ内側の位置を第１処理境界４２４としてもよい。また例えば、境界４２２から所定の距離だけ奥行き方向に離れた位置を第２処理境界４２６としてもよい。また例えば境界４２２との相対的な距離の関係で第１処理境界４２４および第２処理境界４２６を定めてもよい。

図９−２は、奥行き方向処理部１３４による処理により生成された画像データにおけるオブジェクトの不透過度のグラフを示している。横軸は、注視対象からオブジェクトまでの距離を示している。縦軸は、オブジェクトの不透過度を示している。

奥行き方向処理部１３４は、第１処理境界４２４から第２処理境界４２６の間のオブジェクトに対して、ディスプレイパネル２２からの距離に応じた強度のフェード処理を施す。より具体的には、ディスプレイパネル２２からの距離に応じてフェード処理の強度を大きくする。これにより、図９−２に示すように、第１処理境界４２４から第２処理境界４２６にかけて徐々に不透過度が低下する。そして、第２処理境界４２６よりも奥行き方向に存在するオブジェクトをクリップする。

このように、第１処理境界４２４から第２処理境界４２６の間でフェード処理の強度を徐々に大きくすることにより、徐々にオブジェクトが透明になるように見せることができる。そして、フェード処理により不透過度が減少したところで、第２処理境界４２６よりも奥行き方向のオブジェクトに対してクリッピング処理を行うので、立体視が困難な領域に配置されたオブジェクトにより観察者に違和感を与えるのを低減させることができる。

このように、飛び出し側立体表示領域４２０においても、ディスプレイパネル２２からの距離に応じて異なる強度のフェード処理を施すことにより、観察者が違和感を抱くことなく正しく立体視しうる画像データを生成することができる。

以上で説明した飛び出し方向処理部１３２および奥行き方向処理部１３４の処理により、画像データ処理部１３０における画像データ処理が完了する。

なお、実施の形態にかかる飛び出し方向処理部１３２および奥行き方向処理部１３４は、各オブジェクト単位に処理を施したが、他の例としては、オブジェクトを構成するポリゴン単位に処理を施してもよい。また他の例としては、ポリゴンを構成する頂点単位に処理を施してもよい。

飛び出し方向処理部１３２および奥行き方向処理部１３４が、３Ｄ及び２Ｄオブジェクトに対して施す処理は、注視点（注視対象）から表示対象物体の距離に応じて、イフェクトの種類、強度を決定するものある。したがって、フェード処理に限らず、ぼかし処理、スケーリング、ブラー処理、フォグ等、立体表示時の破綻を軽減させる処理イフェクトであればよく、実施の形態に限定されるものではない。

図１０−１および図１０−２は、他の例にかかる飛び出し方向処理部１３２および奥行き方向処理部１３４が、３Ｄ及び２Ｄオブジェクトに対して施す処理を説明するための図である。本例においては、飛び出し方向処理部１３２および奥行き方向処理部１３４は、各オブジェクトが配置位置を含み、仮想カメラ６００および注視点３０を通る直線４５０に垂直な平面と、仮想カメラ６００の位置を含み、直線４５０に垂直な平面との距離に応じた倍率への変換処理を行う。

図１１に示すグラフは、仮想カメラ６００を含む平面からの距離と、処理倍率との関係を示している。グラフに示すように、仮想カメラ６００を含む平面からの距離が遠いほど低倍率への変換を行う。

図１０−１および図１０−２においては、仮想カメラ６００を含む平面からオブジェクトＣを含む平面までの距離４５１、仮想カメラ６００を含む平面からオブジェクトＢを含む平面までの距離４５２および仮想カメラ６００を含む平面からオブジェクトＡを含む平面までの距離４５３は、この順に大きくなっている。従って、オブジェクトＣ、オブジェクトＢおよびオブジェクトＡは、この順により低倍率への処理が施されている。

このように、オブジェクトに対して、仮想カメラ６００からの距離に応じた倍率への変換を施すことにより、より自然な画像を生成することができる。

また、飛び出し方向処理部１３２および奥行き方向処理部１３４は、各オブジェクトに対して、当該オブジェクトと注視点（注視対象）との距離に応じた各種処理を施したが、これにかえて、オブジェクトと立体表示領域の境界との距離に応じた各種処理を施してもよい。このように、距離の基準となる一方の位置は、立体表示領域内の任意の位置であればよく、実施の形態に限定されるものではない。

多視点画像生成部１４０は、画像データ処理部１３０により処理された画像データに対して、多視点レンダリングを行う。より具体的には、多視点画像生成部１４０は、立体表示装置パラメータ取得部１０２が取得した仮想カメラの位置から、カメラパラメータ取得部１０３が取得したディスプレイパネル２２の視差成分の各方向から平行投影カメラを用いて行う。図１２を参照しつつ多視点画像生成部１４０の処理について詳述する。

図１２は、Ｉｎｔｅｇｒａｌ−Ｉｍａｇｉｎｇ方式若しくは多眼方式の立体表示装置のディスプレイパネル２２が出力する光線と平行投影カメラの関係について示している。ディスプレイパネル２２が出力する光線に沿って平行投影カメラを設置する。例えば、ディスプレイパネル２２における位置５１０からは５本の光線５１１〜５１５が出力されている。これら５本の光線５１１〜５１５の延長上にそれぞれ平行投影カメラ６００を設置する。そして、各平行投影カメラ６００の位置においてレンダリング処理を行い、処理結果をＩｎｔｅｇｒａｌ−Ｉｍａｇｉｎｇ方式若しくは多眼方式の立体表示装置が出力する光線としてパネルにマッピングする。

なお、画像データ処理部１３０は、すでに立体表示領域４００の外部のオブジェクトに対し、正しく立体視しうるように処理しているので、多視点画像生成部１４０による処理により、破綻のない立体視を実現できる多視点画像を生成することができる。

多視点画像生成部１４０は、Ｉｎｔｅｇｒａｌ−Ｉｍａｇｉｎｇ方式若しくは多眼方式の立体表示装置が出力する光線の向きの種類分の多視点画像を出力する。他の例としては、カメラパラメータ取得部１０３が取得した立体表示装置のレンチキュラまたはスリットの配置に応じて、多視点画像を立体表示装置の出力としてマッピングしたデータを出力してもよい。

図１３は、多視点画像生成部１４０が所定の方向から多視点画像を生成する処理を説明するための図である。

多視点画像生成部１４０は、注視対象３０からディスプレイパネル２２が出力する光線の延長線上に平行投影カメラ６００を設定する。そして、ディスプレイパネル２２よりも観察者側に平行投影カメラ６００のｎｅａｒ ｃｌｉｐ面７１０を設定する。また、ディスプレイパネル２２から奥行き方向２１０に離れた位置に仮想カメラ６００のｆａｒ ｃｌｉｐ面７２０を設定する。そして、平行投影カメラ６００のｎｅａｒ ｃｌｉｐ面７１０とｆａｒ ｃｌｉｐ面７２０との間のレンダリング範囲７００に対してレンダリング処理を行う。ここで、レンダリング範囲７００の幅７３０は、仮想カメラ６００のカメラ面６１０の幅と一致する。

多視点画像生成部１４０は、レンダリングを行う場合に、ディスプレイパネル２２からの距離に応じて定まる強度のレンダリングイフェクトを施してもよい。図１４は、ｎｅａｒ ｃｌｉｐ面７１０からｆａｒ ｃｌｉｐ面７２０の間で強度を変化させてフォグレンダリングした場合のフォグ効果の強度を示すグラフである。横軸は、ディスプレイパネル２２からの距離を示している。縦軸は、フォグ効果の強度を示している。

図１４に示すように本実施の形態にかかる多視点画像生成部１４０は、注視点３０と飛び出し限界４０１の間でフォグレンダリングの強度を変化させる。これにより、観察者に飛び出し限界４０１の手前から徐々に霧がかかっているように見せることができる。これにより、飛び出し限界４０１を境に立体視が困難になり観察者に違和感を与えるのを避けることができる。

なお、実施の形態においては、多視点画像生成部１４０は画像データに対してフォグレンダリングを施したが、画像データに対して施す処理は、観察者が正しく立体視するのを阻害するような立体表示時の破綻を軽減させるレンダリングイフェクトであればよく、フォグレンダリングに限定されるものではない。

また、実施の形態においては、ディスプレイパネル２２からの距離に応じてレンダリングイフェクト処理の強度を異ならせたが、他の例としては、注視対象からの距離に応じてレンダリングイフェクト処理の強度を異ならせてもよい。

図１５は、実施の形態に係る画像生成装置１０のハードウェア構成を示す図である。画像生成装置１０は、ハードウェア構成として、画像生成装置１０における立体画像処理を実行する立体画像処理プログラムなどが格納されているＲＯＭ５２と、ＲＯＭ５２内のプログラムに従って画像生成装置１０の各部を制御し、バッファリング時間変更処理等を実行するＣＰＵ５１と、ワークエリアが形成され、画像生成装置１０の制御に必要な種々のデータを記憶するＲＡＭ５３と、ネットワークに接続して、通信を行う通信I／Ｆ５７と、例えば半導体メモリ、ＣＤ−ＲＯＭ、ＤＶＤ、磁気ディスク等の記録媒体に記録されたプログラムを読み込む記録媒体読取部５８と、画像などが表示される表示装置５９と、キーボードや各種ポインティングデバイスなどを含む入力装置６０と、プログラムやデータなどを記憶するための主記憶装置６１と、各部を接続するバス６２とを備えている。

先に述べた画像生成装置１０における立体画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フロッピー（Ｒ）ディスク（ＦＤ）、ＤＶＤ等のコンピュータで読み取り可能な記録媒体７０に記録されて提供されてもよい。

この場合には、立体画像処理プログラムは、画像生成装置１０において上記記録媒体７０から読み出して実行することにより主記憶装置上にロードされ、上記ソフトウェア構成で説明した各部が主記憶装置上に生成されるようになっている。

また、本実施の形態の立体画像処理プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。

以上、本発明を実施の形態を用いて説明したが、上記実施の形態に多様な変更または改良を加えることができる。

そうした第１の変更例について説明する。図１６は、第１の変形例にかかる奥行き方向処理部１３４の詳細な機能構成を示すブロック図である。変形例にかかる奥行き方向処理部１３４は、奥行き方向オブジェクト処理部１３４２と背景オブジェクト生成部１３４４とを有している。

奥行き方向オブジェクト処理部１３４２は、飛び出し側立体表示領域４２０内のオブジェクトに対して実施の形態にかかる奥行き方向処理部１３４と同様に、強度の異なるフェード処理を施す。

背景オブジェクト生成部１３４４は、飛び出し限界４０１よりも奥側の領域、すなわちレンダリング範囲に対してレンダリング処理を行う。そして、得られた２Ｄイメージを奥行き限界４０１の位置に背景オブジェクトとして配置する。ここで、背景オブジェクト自体に他のオブジェクトからの影は映り込まないものとする。

このように、飛び出し側領域２２１と奥行き側領域２２２とにおいてそれぞれ異なる画像処理を施してもよい。このように、各オブジェクトの位置に応じて異なる画像処理を施すことにより自然な立体視が可能な画像データを生成することができる。

図１７は、背景オブジェクト生成部１３４４がレンダリング処理を行うレンダリング範囲を示している。図１７に示すレンダリング範囲８００は、平行投影カメラモデルを用いた場合の範囲である。レンダリング範囲８００の奥行き方向２１０における境界位置は、図１７に示すように、飛び出し限界４０１に設定されたｎｅａｒ ｃｌｉｐ８１０と、ｆａｒ ｃｌｉｐ８２０に一致する。また、レンダリング範囲７００の幅は、仮想カメラ６００のカメラ面６１０の幅と一致する。

なお、平行投影カメラモデルを用いた場合は、奥行き方向オブジェクト処理部１３４２は、オブジェクトに対して、注視点３０またはディスプレイパネル２２からの距離に応じた拡大縮小処理を行ってもよい。平行投影カメラモデルにおいては、ディスプレイパネル２２からの距離に応じてオブジェクトの見掛けの大きさが変化しないので、ディスプレイパネル２２からの距離に応じた拡大縮小処理を行うことにより、観察者に正しい立体感を抱かせることができる。

図１８は、他の例として透視投影カメラモデルを用いた場合のレンダリング範囲８００を示している。この場合には、レンダリング範囲８００の面内方向２３０の境界位置は、円錐の側面に沿った位置と一致する。

第２の変更例としては、飛び出し方向処理部１３２と奥行き方向処理部１３４とは、レンダリング処理において設定するカメラの向きに応じてオブジェクトの透過度を異ならせてもよい。図１９および図２０は、第２の変更例にかかる画像処理を説明するための図である。図１９は、仮想カメラの向きと透過度の関係を示している。また、図２０は、仮想カメラの向きに応じてオブジェクトＡの透過度を変化させる画像処理を説明するための図である。

図１９に示すように、第２の変更例にかかる飛び出し方向処理部１３２と奥行き方向処理部１３４とは、オブジェクトＡの透過度がカメラの向きに応じて定まる値となるように画像処理する。

具体的には、例えば、図２０に示すように、仮想カメラ６００は、オブジェクトＡの注視点の正面の位置である第１カメラ位置６０１に設置されているとする。この場合には、オブジェクトＢは、オブジェクトＡに隠れる。従って、この場合には、オブジェクトＡの透過度を０とする。すなわち、不透過とする。図２１−１は、このときのオブジェクトＡとオブジェクトＢを示している。このように、オブジェクトＡが不透過なので、オブジェクトＢのうちオブジェクトＡと重なっている部分は、完全に隠れる。

また、仮想カメラ６００がカメラ位置６０１からずれた第２カメラ位置６０２に設置されているとする。この場合には、オブジェクトＡの陰に位置するオブジェクトＢを透けて見えるようにするとより観察者により自然な印象を与える。そこで、この場合には、第１カメラ位置６０１に設置される場合に比べてオブジェクトＡの透過度を高くするように画像処理する。図２１−２は、このときのオブジェクトＡとオブジェクトＢを示している。このように、オブジェクトＡが完全に不透過ではないので、オブジェクトＢが透けて見える。

このように、本変更例によれば、透過度を変更することにより、違和感のない画像を生成することができる。

以上のように、本発明にかかる画像生成装置、画像生成方法、及び画像生成プログラムは、立体画像データの生成に有用であり、特に、Ｉｎｔｅｇｒａｌ−Ｉｍａｇｉｎｇ方式若しくは多眼方式の立体表示装置に表示させる立体画像データの生成に適している。

レンダリング処理について説明するための図である。 画像生成装置１０の機能構成を示すブロック図である。 飛び出し限界４０１と奥行き限界４０２とを示す図である。 画枠歪みを説明するための図である。 画枠歪みを説明するための図である。 立体表示領域計算部１２０が算出した立体表示領域４００を示す図である。 画像データ処理部１３０の詳細な機能構成を示すブロック図である。 画枠歪みが発生していない場合のオブジェクトと奥行き側立体表示領域４１０とを示す図である。 画枠歪みが発生していない場合における奥行き側立体表示領域４１０側のオブジェクトの不透過度を示すグラフを示す図である。 画枠歪みが発生している場合におけるオブジェクトと奥行き側立体表示領域４１０とを示す図である。 画枠歪みが発生している場合における奥行き側立体表示領域４１０側のオブジェクトの不透過度を示すグラフを示す図である。 オブジェクトと飛び出し側立体表示領域４２０とを示す図である。 飛び出し側立体表示領域４２０側のオブジェクトの不透過度のグラフを示す図である。 飛び出し方向処理部１３２および奥行き方向処理部１３４の処理を説明するための図である。 飛び出し方向処理部１３２および奥行き方向処理部１３４の処理を説明するための図である。 仮想カメラ平面からの距離と処理倍率との関係を示す図である。 Ｉｎｔｅｇｒａｌ−Ｉｍａｇｉｎｇ方式若しくは多眼方式の立体表示装置のディスプレイパネル２２が出力する光線と平行投影カメラの関係について示す図である。 多視点画像生成部１４０が所定の方向から多視点画像を生成する処理を説明するための図である。 ｎｅａｒ ｃｌｉｐ面７１０からｆａｒ ｃｌｉｐ面７２０の間で強度を変化させてフォグレンダリングした場合のフォグ効果の強度を示すグラフを示す図である。 実施の形態に係る画像生成装置１０のハードウェア構成を示す図である。 第１の変形例にかかる奥行き方向処理部１３４の詳細な機能構成を示すブロック図である。 第１の背景オブジェクト生成部１３４４がレンダリング処理を行うレンダリング範囲を示す図である。 他の例として透視投影カメラモデルを用いた場合のレンダリング範囲８００を示す図である。 第２の変更例にかかる、仮想カメラの向きと透過度の関係を示すグラフを示す図である。 仮想カメラの向きに応じてオブジェクトＡの透過度を変化させる画像処理を説明するための図である。 オブジェクトＡが不透過な場合のオブジェクトＡとオブジェクトＢの画像処理後の状態を示す図である。 オブジェクトＡが透過な場合のオブジェクトＡとオブジェクトＢの画像処理後の状態を示す図である。

符号の説明

１０ 画像生成装置
２２ ディスプレイパネル
２３ 画枠
３０ 注視点
５８ 記録媒体読取部
５９ 表示装置
６０ 入力装置
６１ 主記憶装置
６２ バス
７０ 記録媒体
１０１ シーンデータ取得部
１０２ 立体表示装置パラメータ取得部
１０３ カメラパラメータ取得部
１２０ 立体表示領域計算部
１３０ 画像データ処理部
１３２ 飛び出し方向処理部
１３４ 奥行き方向処理部
１４０ 多視点画像生成部
６００ 平行投影カメラ
６１０ カメラ面
７００，８００ レンダリング範囲
１３４２ 方向オブジェクト処理部
１３４４ 背景オブジェクト生成部

Claims (13)

1. 立体表示装置に表示させる立体表示画像データを生成する画像生成装置において、
   前記立体表示装置に表示させるべき２次元または３次元の画像データと、前記立体表示装置から出力される光線に対応して前記画像データを２次元に描画するレンダリング処理において設定する仮想カメラの注視対象の位置と、前記立体表示装置から出力される光線の向きとに基づいて、前記画像データを前記立体表示装置に表示させた場合に前記画像データにおける３次元的な位置関係を再現可能な立体表示領域を算出する立体表示領域算出手段と、
   前記画像データのうち、前記立体表示領域算出手段が算出した前記立体表示領域の外部を示す領域外画像データに対して、前記立体表示領域の内部を示す領域内画像データに対する画像処理と異なる画像処理を施す画像処理手段と、
   前記画像処理手段により処理された後の前記２次元または３次元の画像データから前記立体表示画像データを生成する画像生成手段と
   を備えたことを特徴とする画像生成装置。
2. 前記画像処理手段は、前記領域外画像データに対して、ぼかし処理を施すことを特徴とする請求項１に記載の画像生成装置。
3. 前記画像処理手段は、前記領域外画像データに対して、透明度を変化させるフェード処理を施すことを特徴とする請求項１に記載の画像生成装置。
4. 前記領域外画像データ中の各オブジェクトの配置位置に基づいて、前記画像処理手段が前記オブジェクトに対して施す前記画像処理の強度を決定する画像処理制御手段をさらに備え、
   前記画像処理手段は、前記オブジェクトに対して、前記画像処理制御手段が決定した強度の前記画像処理を施すことを特徴とする請求項２または３に記載の画像生成装置。
5. 前記画像処理制御手段は、前記領域外画像データ中の前記オブジェクトの配置位置と前記注視対象の位置との間の距離に基づいて、前記画像処理手段が前記オブジェクトに対して施す前記画像処理の強度を決定することを特徴とする請求項４に記載の画像生成装置。
6. 前記画像処理制御手段は、前記領域外画像データ中の前記オブジェクトの配置位置と前記立体表示領域の境界位置との間の距離に基づいて、前記画像処理手段が前記オブジェクトに対して施す前記画像処理の強度を決定することを特徴とする請求項４に記載の画像生成装置。
7. 前記領域外画像データ中の各オブジェクトの配置位置に基づいて、前記画像処理手段が前記オブジェクトに対して施す前記画像処理の種類を決定する画像処理制御手段をさらに備え、
   前記画像処理手段は、前記オブジェクトに対して、前記画像処理制御手段が決定した種類の前記画像処理を施すことを特徴とする請求項２から６のいずれか一項に記載の画像生成装置。
8. 前記画像処理制御手段は、前記領域外画像データ中の前記オブジェクトと前記注視対象との前記立体表示装置の奥行き方向における位置関係に基づいて、前記画像処理手段が前記オブジェクトに対して施す前記画像処理の種類を決定することを特徴とする請求項７に記載の画像生成装置。
9. 前記画像処理制御手段は、前記レンダリング処理において設定する前記仮想カメラの向きに応じて、前記領域内画像データに対して施す画像処理の内容を決定することを特徴とする請求項１に記載の画像生成装置。
10. 前記画像処理制御手段は、前記レンダリング処理において設定する前記仮想カメラの向きに応じて、前記画像領域外画像データに対して施す画像処理の内容を決定することを特徴とする請求項１に記載の画像生成装置。
11. 前記画像処理制御手段は、前記立体表示領域の外部のうち前記立体表示装置の奥側に配置されたオブジェクトに対して、当該オブジェクトを２次元のオブジェクトとして配置する前記画像処理を施すことを決定することを特徴とする請求項８に記載の画像生成装置。
12. 立体表示装置に表示させる立体表示画像データを生成する画像生成方法において、
    前記立体表示装置に表示させるべき２次元または３次元の画像データと、前記立体表示装置から出力される光線に対応して前記画像データを２次元に描画するレンダリング処理において設定する仮想カメラの注視対象の位置と、前記立体表示装置から出力される光線の向きとに基づいて、前記画像データを前記立体表示装置に表示させた場合に前記画像データにおける３次元的な位置関係を再現可能な立体表示領域を算出する立体表示領域算出ステップと、
    前記画像データのうち、前記立体表示領域算出ステップにおいて算出された前記立体表示領域の外部を示す領域外画像データに対して、前記立体表示領域の内部を示す領域内画像データに対する画像処理と異なる画像処理を施す画像処理ステップと、
    前記画像処理ステップにおいて処理された後の前記２次元または３次元の画像データから前記立体表示画像データを生成する画像生成ステップと
    を有することを特徴とする画像生成方法。
13. 立体表示装置に表示させる立体表示画像データを生成する画像生成処理をコンピュータに実行させる画像生成プログラムにおいて、
    前記立体表示装置に表示させるべき２次元または３次元の画像データと、前記立体表示装置から出力される光線に対応して前記画像データを２次元に描画するレンダリング処理において設定する仮想カメラの注視対象の位置と、前記立体表示装置から出力される光線の向きとに基づいて、前記画像データを前記立体表示装置に表示させた場合に前記画像データにおける３次元的な位置関係を再現可能な立体表示領域を算出する立体表示領域算出ステップと、
    前記画像データのうち、前記立体表示領域算出ステップにおいて算出された前記立体表示領域の外部を示す領域外画像データに対して、前記立体表示領域の内部を示す領域内画像データに対する画像処理と異なる画像処理を施す画像処理ステップと、
    前記画像処理ステップにおいて処理された後の前記２次元または３次元の画像データから前記立体表示画像データを生成する画像生成ステップと
    をコンピュータに実行させることを特徴とする画像生成プログラム。

Images