JP2018085727A - ３ｄ映像レンダリング方法及び装置 - Google Patents

Abstract

【課題】 ３Ｄ映像レンダリング方法及び装置を提供する。
【解決手段】 一実施形態による３Ｄ映像レンダリング方法は、視聴領域の候補視点位置に関する光学像を決定し、前記光学像に基づいてディスプレイパネル上のピクセルを通過する仮想の光線を決定し、仮想の光線と光学レイヤとの間の交点及び前記決定された光学レイヤの光学成分の間のそれぞれの距離に基づいてピクセルにピクセル値を割り当てるステップを含む。
【選択図】 図１

Description

以下の実施形態は３Ｄ映像レンダリング方法及び装置に関する。

３Ｄ映像を認知するための要因のうち最も支配的な要因は、ユーザの両目に見える映像の差である。ユーザの両目に互いに異なる映像を見せるための方法として、偏光を用いた分割、時分割、原色の波長を相異にした波長分割などを所望する映像をフィルタリングするメガネ式の方法と、パララックスバリア（ｐａｒａｌｌａｘ ｂａｒｒｉｅｒ）、レンチキュラーレンズ（ｌｅｎｔｉｃｕｌａｒ ｌｅｎｓ）、又は、方向性バックライトユニット（ｄｉｒｅｃｔｉｏｎａｌ ＢＬＵ）などの３Ｄ変換装置を用いて各映像を特定空間でのみ見ることのできる無メガネ式の方法がある。無メガネ式の方法の場合、メガネ着用の不便を減らし得る長所がある。このような３Ｄ映像は、鏡及びレンズなどの光学系によって提供され得る。この場合、光学系によって光の方向が変更されるため、３Ｄ映像レンダリング時光の方向変化が考慮される必要がある。

実施形態は、３Ｄ映像レンダリング方法及び装置を提供することにある。

一側面によれば、３Ｄ映像レンダリング方法は、視聴領域の候補視点位置に関する光学像を決定するステップと、前記決定された光学像に基づいて、ディスプレイパネル上のピクセルを通過する仮想の光線を決定するステップと、前記仮想の光線と光学レイヤとの間の交点を決定するステップと、前記交点及び前記光学レイヤの光学成分の間のそれぞれの距離に基づいて、前記ピクセルにピクセル値を割り当てるステップとを含む。

前記光学像を決定するステップは、前記候補視点位置に光学変換を適用して前記光学像を決定するステップを含み得る。前記光学変換は、凹面鏡あるいは凸レンズの光学的特性に基づいて実行され得る。前記仮想の光線を決定するステップは、前記光学レイヤと前記ディスプレイパネルの間の媒質の第１屈折率、及び前記光学レイヤ及び前記ディスプレイパネルを含む３Ｄ表示装置外部の媒質の第２屈折率を考慮して前記仮想の光線を決定するステップを含み得る。前記光学像は、前記ディスプレイパネルの後面方向に位置し得る。

前記交点を決定するステップは、前記光学レイヤと前記ディスプレイパネルの間の媒質の第１屈折率、及び前記光学レイヤ及び前記ディスプレイパネルを含む３Ｄ表示装置外部の媒質の第２屈折率による前記仮想の光線の入射角及び屈折角を考慮して前記交点を決定するステップを含み得る。前記交点を決定するステップは、前記光学像の座標及び前記ピクセルの座標に基づいて、光学像とピクセルをつなぐ直線をｘ−ｙ平面で投影したｒ軸上で、前記光学像と前記ピクセルとの間の距離を算出するステップと、前記光学レイヤと前記ディスプレイパネルの間の媒質の第１屈折率、及び前記光学レイヤ及び前記ディスプレイパネルを含む３Ｄ表示装置外部の媒質の第２屈折率に基づいて、前記ｒ軸上で前記ピクセル及び前記交点の間の距離を算出するステップと、前記光学像と前記ピクセルとの間の距離、及び前記ピクセルと前記交点との間の距離に基づいて前記交点の座標を決定するステップとを含み得る。

前記ピクセル値を割り当てるステップは、前記交点のうち隣接する光学成分との距離が最も近い交点を決定するステップと、前記決定された交点に対応する視点位置のピクセル値を前記ピクセルに割り当てるステップとを含み得る。前記候補視点位置は、単一ユーザのための左側視点位置及び右側視点位置を含むか、あるいはマルチビューのための予め決定された数の視点位置を含み得る。

前記候補視点位置が単一ユーザのための左側視点位置及び右側視点位置を含むことによって、前記仮想の光線は、前記左側視点位置に照射される第１仮想の光線及び前記右側視点位置に照射される第２仮想の光線を含み、前記ピクセル値を割り当てるステップは、前記第１仮想の光線による第１交点と前記第１交点に隣接する光学成分の間の距離、及び前記第２仮想の光線による第２交点と前記第２交点に隣接する光学成分の間の距離に基づいて、前記ピクセルに前記左側視点位置のピクセル値又は前記右側視点位置のピクセル値を割り当てるステップを含み得る。前記候補視点位置がマルチビューのための予め決定された数の視点位置を含むことによって、前記仮想の光線は、前記予め決定された数の視点位置に照射される光線を含み、前記ピクセル値を割り当てるステップは、前記光線それぞれによる交点と前記交点に隣接する光学成分の間の距離に基づいて、前記ピクセルに前記予め決定された数の視点位置のいずれか１つに対応するピクセル値を割り当てるステップを含み得る。

他の一実施形態によると、３Ｄ映像レンダリング方法は、視聴領域の候補視点位置に関する光学像を決定するステップと、ディスプレイパネルのピクセル及び光学レイヤの光学成分を通過する光線を決定するステップと、前記光線の方向と前記光学像の位置とを比較するステップと、前記比較結果に基づいて前記ピクセルにピクセル値を割り当てるステップとを含む。

前記光学像を決定するステップは、前記候補視点位置に光学変換を適用して前記光学像を決定するステップを含み得る。前記光線を決定するステップは、前記光学レイヤと前記ディスプレイパネルの間の媒質の第１屈折率、及び前記光学レイヤ及び前記ディスプレイパネルを含む３Ｄ表示装置外部の媒質の第２屈折率を考慮して前記光線を決定するステップを含み得る。前記光線の方向と前記光学像の位置とを比較するステップは、前記光線の屈折方向に基づいて基準線を決定するステップと、前記基準線と前記光学像の位置とを比較するステップとを含み得る。前記ピクセルにピクセル値を割り当てるステップは、前記基準線及び前記視聴領域の交差点をそれぞれ決定するステップと、前記交差点及び前記光学像のそれぞれの距離に基づいて前記ピクセルに前記ピクセル値を割り当てるステップとを含み得る。

一実施形態によると、３Ｄ映像レンダリング装置は、プロセッサと、コンピュータで読込みできる命令語を含むメモリとを含み、前記命令語が前記プロセッサで実行されれば、前記プロセッサは、視聴領域の候補視点位置に関する光学像を決定し、前記決定された光学像に基づいてディスプレイパネル上のピクセルを通過する仮想の光線を決定し、既光線及び光学レイヤの間の交点を決定し、前記交点及び前記光学レイヤの光学成分の間のそれぞれの距離に基づいて前記ピクセルにピクセル値を割り当てる。

本発明によると、３Ｄ映像レンダリング方法及び装置を提供することができる。

一実施形態に係る３Ｄ映像レンダリングシステムを示す図である。 一実施形態に係る凹面鏡を用いた３Ｄ映像レンダリング過程を示す図である。 一実施形態に係る凹面鏡を用いた３Ｄ映像レンダリング過程を示す図である。 一実施形態に係る凸レンズを用いた３Ｄ映像レンダリング過程を示す図である。 一実施形態に係る凸レンズを用いた３Ｄ映像レンダリング過程を示す図である。 一実施形態に係る光線の方向を算出して視点位置を割り当てる過程を示す図である。 他の実施形態に係る光線の方向を算出して視点位置を割り当てる過程を示す図である。 一実施形態に係る仮想の光線と光学レイヤの交点を用いて視点位置を割り当てる過程を示す図である。 一実施形態に係る交点の決定過程を示す図である。 一実施形態に係る３Ｄ映像レンダリング装置を示すブロック図である。 一実施形態に係る３Ｄ映像レンダリング方法を示した動作フローチャートである。 他の実施形態に係る３Ｄ映像レンダリング方法を示した動作フローチャートである。

本明細書で開示されている本発明の概念による実施形態に対して特定の構造的又は機能的な説明は、単に本発明の概念による実施形態を説明するための目的として例示したものであり、本発明の概念による実施形態は様々な形態で実施され、本明細書に説明された実施形態に限定されることはない。

第１又は第２などの用語を複数の構成要素を説明するために用いることができるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に第２構成要素は第１構成要素にも命名することができる。

単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。

異なるように定義さがれない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。

以下、実施形態を添付する図面を参照しながら詳細に説明する。各図面に提示された同じ参照符号は同じ部材を示し、これに対する重複説明は省略することにする。

図１は、一実施形態に係る３Ｄ映像レンダリングシステムを示す図である。図１を参照すると、３Ｄ映像レンダリングシステム１００は、３Ｄ映像レンダリング装置１１０、３Ｄ表示装置１２０、及び反射屈折光学系（ｃａｔａｄｉｏｐｔｒｉｃ ｓｙｓｔｅｍ）１３０を含む。

３Ｄ表示装置１２０は、ディスプレイパネル及び光学レイヤを含む。光学レイヤは、パララックスバリア、レンチキュラーレンズ、及び方向性バックライトユニットのいずれか１つであり得る。ディスプレイパネルは複数のピクセルを含んでもよく、３Ｄ映像レンダリング装置１１０は、入力映像に基づいて予め決定された数の視点位置に対応するピクセル値を複数のピクセルに割り当てる。例えば、３Ｄ映像レンダリング装置１１０は、第１ピクセルには第１視点位置１４１に対応するピクセル値を割り当て、第２ピクセルには第２視点位置１４３に対応するピクセル値を割り当てる。以下で、ピクセル値割当の対象となる第１視点位置１４１及び第２視点位置１４３は候補視点位置として称される。実施形態により、候補視点位置は、単一ユーザのための左側視点位置及び右側視点位置を含んだり、あるいは、マルチビューのための予め決定された数の視点位置を含む。ディスプレイパネルは、３Ｄ映像レンダリング装置１１０によって割り当てられたピクセル値に基づいてパネル映像を表示する。

ディスプレイパネルのピクセルには、光源による光が提供される。例えば、光源は、ディスプレイパネルの後面に位置するバックライトユニット、あるいは光学レイヤの一例である方向性バックライトユニットであり得る。ピクセルに光が提供されることにより、ピクセルのピクセル値に対応する光がユーザに見られる。ここで、光学レイヤは、ユーザによって光が見られる方向を制限する。具体的に、パララックスバリアは、一定の間隔のスリットによって光を制限された方向に出力し、レンチキュラーレンズは、レンズの屈曲によって光を制限された方向に出力する。また、方向性バックライトユニットは、ディスプレイパネルに制限された方向の光を提供する。

例えば、第１視点位置１４１によるピクセル値が割り当てられたピクセルには第１視点位置１４１方向の光が提供され、第２視点位置１４３によるピクセル値が割り当てられたピクセルには第２視点位置１４３方向の光が提供される。視聴領域１４０に位置するユーザは、第１視点位置１４１によって第１視点位置１４１に対応する映像を視聴し、第２視点位置１４３によって第２視点位置１４３に対応する映像を視聴する。第１視点位置１４１は右側の目に対応し、第２視点位置１４３は左側目に対応する場合、ユーザは、両側の目を用いて互いに異なる映像を視聴することで立体感を感じることができる。

３Ｄ表示装置１２０によって出力された映像は反射屈折光学系１３０を介してユーザに提供される。反射屈折光学系１３０は、反射光学系に該当する鏡、あるいは屈折光学系に該当するレンズを含む。実施形態によって、３Ｄ表示装置１２０は小型スクリーンを介して実現され、反射屈折光学系１３０は３Ｄ表示装置１２０に出力された映像を拡大する。例えば、３Ｄ表示装置１２０及び反射屈折光学系１３０は、ヘッドアップディスプレイ（ｈｅａｄ ｕｐ ｄｉｓｐｌａｙ：ＨＵＤ）の一部として実現し得る。この場合、反射屈折光学系１３０は、凹面鏡、あるいは凸レンズを含んでもよく、凹面鏡は半透明な性質を有する。

３Ｄ映像レンダリング装置１１０は、ディスプレイパネルのピクセルにピクセル値を割り当てるために当該ピクセルを通過する光の経路を把握する。以下で、ディスプレイパネルのピクセルを通過する光は光線のように称する。例えば、第１ピクセルを通過する光線が第１視点位置１４１に提供される場合、３Ｄ映像レンダリング装置１１０は、第１ピクセルに第１視点位置１４１に対応するピクセル値を割り当てる。

３Ｄ映像レンダリング装置１１０は、ディスプレイ装置１２０の屈折率を考慮する。ディスプレイパネルと光学レイヤとの間の媒質の第１屈折率及び３Ｄ表示装置１２０外部の媒質の第２屈折率は互いに異なってもよい。例えば、ディスプレイパネルと光学レイヤとの間には、ディスプレイパネル及び光学レイヤを互いに付着させる媒質が満たされ、３Ｄ表示装置１２０の外部には空気が存在する。この場合、第１屈折率は、ディスプレイパネルと光学レイヤとの間に存在する媒質によって決定され、第２屈折率は空気の屈折率である「１」に決定される。３Ｄ映像レンダリング装置１１０は、このような屈折率差による光線の屈折を考慮して光線の経路を決定する。

ディスプレイパネルと光学レイヤとの間の媒質の屈折率は、ディスプレイパネルの屈折率及び／又は光学レイヤの屈折率に類似する。また、ディスプレイパネルの厚さ及び／又は光学レイヤの厚さは、ディスプレイパネルと光学レイヤとの間の距離に比べて極めて小さい。そのため、一実施形態によれば、光の屈折を考慮するときディスプレイパネル１２１の屈折率及び／又は光学レイヤ１２３の屈折率は無視される。他の実施形態によれば、ディスプレイパネルと光学レイヤとの間の媒質の屈折率は、ディスプレイパネルの屈折率及び／又は光学レイヤ１２３の屈折率をともに考慮した屈折率の代表値であり得る。

スネルの法則によれば、光が屈折率が互いに異なる媒質の境界を通過するとき、入射角のサイン値と反射角のサイン値は媒質の屈折率に応じて決定される。一般的に、パララックスバリアやレンチキュラーレンズの厚さ、及び媒質の屈折率による近似値を用いて光線の方向が予測される。しかし、このような近似値は、サイン値の比率ではない、タンジェント値の比率が屈折率の比率に反比例する演算に基づいているため、サイン値がタンジェント値に近似化できない場合に誤差が発生する恐れがある。

例えば、ノーマル方向と屈折された方向との差が小さい場合、近似値による誤差は小さいものの、ノーマル方向と屈折された方向との差が大きい場合には近似値と実際の屈折された方向との差が大きくなり、３Ｄ映像でアーチファクト（ａｒｔｉｆａｃｔ）が観察される。このような近似値によるアーチファクトは、３Ｄ表示装置１２０の大きさが大きくなるほど増加する。３Ｄ映像レンダリング装置１１０は、屈折率による演算をディスプレイパネルの全てのピクセルに個別的に適用することでアーチファクトの発生を最小化する。

３Ｄ表示装置１２０から出力された光線の経路は、反射屈折光学系１３０によって変更される。例えば、反射屈折光学系１３０は、イメージを拡大する方向に光線の経路を変更させ得る。３Ｄ映像レンダリング装置１１０は、光線に対する反射屈折光学系１３０の影響を考慮してピクセル値を割り当てる。３Ｄ表示装置１２０から出力された映像の光学像及び実際の視点位置１４１、１４３を用いてピクセル値を割り当てるためには複雑な演算が求められる。３Ｄ映像レンダリング装置１１０は、実際の視点位置１４１、１４３に関する光学像を決定し、実際の視点位置１４１、１４３の光学像と３Ｄ表示装置１２０との間の位置関係を用いてピクセル値を割り当てる。そのため、比較的に少ない演算量で光線に対する反射屈折光学系１３０の影響を反映することができる。

光線の方向が決定された場合、３Ｄ映像レンダリング装置１１０は、ディスプレイパネルのピクセルにピクセル値を割り当てる。一実施形態によれば、３Ｄ映像レンダリング装置１１０は、光線の方向と視点位置１４１、１４３に対応する光学像の位置を比較し、ピクセルに対応する視点位置を直接的に決定する。下記で詳細に説明するが、視点位置１４１、１４３に対応する光学像は３Ｄ表示装置１２０の後面方向に位置する。３Ｄ映像レンダリング装置１１０は、光線を３Ｄ表示装置１２０の後面方向に延びていることで、視点位置１４１、１４３に対応する光学像のうちいずれかの像に近いか否かを判断する。例えば、３Ｄ表示装置１２０の後面方向に延びている第１光線が第１視点位置１４１に対応する光学像の近所に向かう場合、３Ｄ映像レンダリング装置１１０は、第１光線を出力するピクセルに第１視点位置１４１に対応するピクセル値を割り当てる。

他の実施形態によれば、３Ｄ映像レンダリング装置１１０は、視点位置１４１、１４３を基準とする仮想の光線と光学成分の間の距離に基づいて、ピクセルに対応する視点位置を間接的に決定してもよい。光学成分は、パララックスバリアのスリットやレンチキュラーレンズの屈曲のように制限された方向の光を通過させる成分を称する。例えば、３Ｄ映像レンダリング装置１１０は、特定ピクセルと視点位置１４１を通過する第１仮想の光線及び当該ピクセルと視点位置１４３を通過する第２仮想の光線を決定する。３Ｄ映像レンダリング装置１１０は、第１仮想の光線及び第１仮想の光線に隣接する光学成分の間の距離が、第２仮想の光線及び第２仮想の光線に隣接する光学成分の間の距離よりも近い場合、当該ピクセルに視点位置１４１のピクセル値を割り当てる。

図２及び図３は、一実施形態による凹面鏡を用いた３Ｄ映像レンダリング過程を示す図である。図２を参照すると、３Ｄ表示装置によって仮想のオブジェクト２１０が出力される。したがって、仮想のオブジェクト２１０の位置は、３Ｄ表示装置の位置に対応する。仮想のオブジェクト２１０に光学変換を適用して仮想のオブジェクト２１０の投射された（ｐｒｏｊｅｃｔｅｄ）位置２３０が決定される。仮想のオブジェクト２１０が凹面鏡２２０の焦点ｆの中に位置するため、仮想のオブジェクト２１０の投射された位置２３０は拡大した正立虚像であってもよい。光学変換は、焦点ｆ及び屈曲などを含む凹面鏡２２０の光学的特性に基づいて実行される。図２及び図３には１つの凹面鏡が図示されているが、１つの凹面鏡の代わりに、当該の凹面鏡に類似する光学的な効果を発生させる様々な光学系を用いることができる。

ユーザは、視点位置２４０で仮想のオブジェクト２１０の投射された位置２３０を観察する。３Ｄ表示装置は、矢印２１５方向に仮想のオブジェクト２１０に関する映像を出力するが、ユーザは、矢印２３５方向に仮想のオブジェクト２１０の投射された位置２３０を観察する。したがって、ディスプレイパネルの特定ピクセルに対応する視点位置を決定することにおいて、凹面鏡２２０による影響が考慮されなければならない。ここで、３Ｄ映像レンダリング装置は、ディスプレイパネルの全てのピクセルに関して凹面鏡２２０による影響を考慮する代わりに、視点位置２４０に光学変換を適用して、仮想の視点位置及び仮想のオブジェクト２１０の関係でディスプレイパネルにピクセルを割り当てる。仮想の視点位置は、光学変換が適用された視点位置を意味する。

図３を参照すると、視点位置３１０に関する仮想の視点位置３２０が図示されている。３Ｄ映像レンダリング装置は、別途のカメラなどを通した視点追跡方式を用いて視点位置３１０の位置を決定し、視点位置３１０の位置に光学変換を適用して仮想の視点位置３２０の位置を決定する。仮想の視点位置３２０は、投射された位置３５０と同様に、凹面鏡３４０の光学的特性による光学変換によって決定される。したがって、視点位置３１０及び投射された位置３５０の間の光学的関係と、仮想の視点位置３２０及び仮想のオブジェクト３３０の間の光学的関係は互いに対応する。３Ｄ映像レンダリング装置は、視点位置３１０及び投射された位置３５０の代わりに、仮想の視点位置３２０及び仮想のオブジェクト３３０を用いてディスプレイパネルのピクセルにピクセルを割り当てる。この場合、３Ｄ映像レンダリング装置は、ディスプレイパネルのピクセルに関して光学変換を適用することなく、仮想の視点位置３２０を用いてディスプレイパネルのピクセルに対応する視点位置を決定し得る。したがって、凹面鏡３４０の影響を考慮することにおいて、演算量を減少させることができる。

図４及び図５は、一実施形態に係る凸レンズを用いた３Ｄ映像レンダリング過程を示す図である。図４を参照すると、３Ｄ表示装置によって仮想のオブジェクト４１０が出力される。したがって、仮想のオブジェクト４１０の位置は、３Ｄ表示装置の位置に対応する。仮想のオブジェクト４１０に光学変換を適用して仮想のオブジェクト４１０の投射された位置４３０が決定される。光学変換は、焦点ｆ及び屈曲などを含む凸レンズ４２０の光学的特性に基づいて実行される。図４及び図５には１つの凸レンズが図示されているが、１つの凸レンズの代わりに当該の凸レンズと類似の光学的効果を発生させる様々な光学系を用いてもよい。

図２及び図３を参照して説明された実施形態と同様に、３Ｄ映像レンダリング装置は、ディスプレイパネルの全てのピクセルに関して凸レンズ４２０による影響を考慮する代わりに、視点位置４４０の仮想の視点位置４５０及び仮想のオブジェクト４１０の関係でディスプレイパネルにピクセルを割り当てる。凸レンズ４２０の場合、投射された位置４３０がディスプレイパネルの後方に結像し得る。この場合、ユーザが投射された位置４３０を観察し難しい位置に存在する。したがって、ユーザが投射された位置４３０を観察するよう追加的な光学系を用いてもよい。

図５を参照すると、３Ｄ表示装置に出力された仮想のオブジェクト５１０、凸レンズ５２０、仮想のオブジェクト５１０の投射された位置５３０、平面鏡５４０及びユーザの視点位置５５０が図示されている。平面鏡５４０は、ユーザが仮想のオブジェクト５１０の投射された位置５３０を観察するよう、仮想のオブジェクト５１０の投射された位置５３０による光線を反射させることができる。したがって、ユーザは、適所で仮想のオブジェクト５１０の投射された位置５３０を観察することができる。例えば、図５に示されたシステムはＨＵＤの一部として実現され、矢印５５５は車両の前方を示す。この場合、鏡５４０は半透明な性質を有する。したがって、ユーザは、車両の前方を注目しながら仮想のオブジェクト５１０の投射された位置５３０を観察できる。

図６は、一実施形態による光線の方向を算出して視点位置を割り当てる過程を示す図である。図６を参照すると、ディスプレイパネル６４０のピクセル及び光学レイヤ６３０の光学成分を通過する光線が図示されている。図６は、光学レイヤ６３０がディスプレイパネル６４０の後面に位置する実施形態を示している。光学レイヤ６３０は、ディスプレイパネル６４０の後面に位置するため方向性バックライトであってもよい。

３Ｄ映像レンダリング装置は、ディスプレイパネル６４０のピクセル及び光学レイヤの光学成分を通過する光線を決定し、光線の方向及び光学像６１５、６２５の位置に基づいて、ディスプレイパネル６４０のピクセルに対応する視点位置を決定する。光学像６１５、６２５は、候補視点位置に関する光学変換によって決定される。例えば、光学像６１５は第１視点位置に関する光学変換によって決定され、光学像６２５は第２視点位置に関する光学変換によって決定される。光学像６１５、６２５は、光学レイヤ６３０及びディスプレイパネル６４０の後面方向に位置する。予め決定した大きさの視聴領域６１０、６２０は光学像６１５、６２５を含む。視聴領域６１０、６２０は光学像６１５、６２５の位置に基づいて定義される。

３Ｄ映像レンダリング装置は、基準線に基づいて光線の方向及び光学像６１５、６２５の位置を比較する。基準線は光線の屈折方向に基づいて決定される。例えば、３Ｄ映像レンダリング装置は、ピクセル６６１、６６３、６６５を通過する光線に基づいて基準線６５１、６５３、６５５を決定する。上述したように、光学レイヤ６３０とディスプレイパネル６４０との間の媒質の屈折率、及び３Ｄ表示装置外部の媒質の屈折率が互いに異なるため、光線はディスプレイパネル６４０を通過するとき屈折率の大きい媒質の方向に屈折される。光線の屈折方向とは、光線が屈折された以後に進行する方向を意味する。矢印１０は光線の屈折方向を示し、矢印２０は光線の屈折方向の反対方向を示す。基準線は、光線の屈折方向の反対方向に進行する線として決定される。

３Ｄ映像レンダリング装置は、基準線６５１、６５３、６５５及び光学像６１５、６２５の位置を比較する。一実施形態によれば、３Ｄ映像レンダリング装置は、位置する視聴領域６１０、６２０に基づいて基準線６５１、６５３、６５５及び光学像６１５、６２５の位置を比較する。より具体的に、基準線６５１は視聴領域６１０と交差し、基準線６５３は視聴領域６２０を通過する。したがって、３Ｄ映像レンダリング装置は、基準線６５３に対応するピクセル６６３に光学像６１５に対応する視点位置のピクセル値を割り当て、基準線６５１、６５５に対応するピクセル６６１、６６５に光学像６２５に対応する視点位置のピクセル値を割り当てる。

実施形態によって、１つのピクセルによる光線のうち２以上の光線が視聴領域６１０、６２０を通過してもよい。この場合、３Ｄ映像レンダリング装置は、予め決定した条件に応じて視聴領域６１０、６２０を通過する２以上の候補光線のいずれか１つの候補光線を選択する。一実施形態によれば、３Ｄ映像レンダリング装置は、視聴領域６１０、６２０を通過する２以上の光線のうち視聴領域６１０、６２０の中心に近い１つの光線を選択する。視聴領域６１０、６２０の中心は、視聴領域６１０と視聴領域６２０の境界に存在する。

他の実施形態によれば、３Ｄ映像レンダリング装置は、視聴領域６１０、６２０を通過する２以上の光線のうち、視聴領域６１０、６２０それぞれの中心に近い１つの光線を選択してもよい。例えば、第１ピクセルを通過する第１光線が視聴領域６１０の中心を通過し、第１ピクセルを通過する第２光線が視聴領域６２０を通過するが、視聴領域６２０の中心から離れた場合に３Ｄ映像レンダリング装置は第１光線を選択する。

また、実施形態によって、第２ピクセルによる光線の全てが視聴領域６１０、６２０を通過しなくてもよい。この場合、３Ｄ映像レンダリング装置は、予め決定した条件に応じて第２ピクセルにピクセル値を割り当てる。一実施形態によれば、３Ｄ映像レンダリング装置は、予め一定の範囲で最も小さいピクセル値を第２ピクセルに割り当てる。例えば、ピクセル値の範囲は０〜２５５であってもよい。もし、第２ピクセルによる光線の全てが視聴領域６１０、６２０を通過しない場合、３Ｄ映像レンダリング装置は、第２ピクセルに０のピクセル値を割り当てる。

他の実施形態によれば、３Ｄ映像レンダリング装置は、視聴領域６１０、６２０の視点位置のうち第２ピクセルによる光線に最も近い視聴領域の視点位置に対応するピクセル値を第２ピクセルに割り当ててもよい。例えば、第２ピクセルによる第１光線及び第２光線の全てが視聴領域６１０を通過しないが、第１光線と視聴領域６１０の距離が第２光線と視聴領域６２０の距離よりも近い場合、３Ｄ映像レンダリング装置は、視聴領域６１０の視点位置に対応するピクセル値を第２ピクセルに割り当てる。

光学像６１５、６２５は、左側視点位置及び右側視点位置に対応する。図６では、候補視点位置が単一ユーザのための２つの視点位置を含んでいる実施形態について説明したが、実施形態によって、候補視点位置は、マルチビューのための予め決定された数の視点位置を含んでもよい。候補視点位置がマルチビューのための予め決定された数の視点位置を含むことによって、３Ｄ映像レンダリング装置は、ディスプレイパネルのピクセル及び光学レイヤの光学成分を通過する光線を決定し、光線の方向及び予め決定された数の視点位置に対応する光学像の位置に基づいてピクセルにピクセル値を割り当てる。予め決定された数の視点位置は、ユーザの目とは異なって固定された位置に存在し、予め決定された数の位置それぞれは予め決定された代表位置によって特定される。３Ｄ映像レンダリング装置は、代表位置に基づいて予め決定された数の視点位置に関する光学像を決定できる。

図７は、他の実施形態による光線の方向を算出して視点位置を割り当てる過程を示す図である。図７を参照すると、光学レイヤ７４０の光学成分及びディスプレイパネル７３０のピクセルを通過する光線が図示されている。図７は、光学レイヤ７４０がディスプレイパネル７３０の前面に位置する実施形態を示す。光学レイヤ７４０は、ディスプレイパネル７３０の前面に位置しているため、パララックスバリア又はレンチキュラーレンズであり得る。

光学レイヤがディスプレイパネルの前面に位置する場合にも、３Ｄ映像レンダリング装置は、光学レイヤがディスプレイパネルの後面に位置する場合と類似な方式に基づいて視点位置を割り当てる。具体的に、３Ｄ映像レンダリング装置は、光線の屈折方向に基づいて基準線７５１、７５３、７５５を決定し、基準線７５１、７５３、７５５及び光学像７１５、７２５の位置に基づいてディスプレイパネル７３０のピクセルに視点位置を割り当てる。基準線７５５は視聴領域７１０と交差し、基準線７５１、７５３は視聴領域７２０と交差する。したがって、３Ｄ映像レンダリング装置は、基準線７５５に対応するピクセル７６５に光学像７１５に対応する視点位置のピクセル値を割り当て、基準線７５１、７５３に対応するピクセル７６１、７６３に光学像７２５に対応する視点位置のピクセル値を割り当てる。

図８は、一実施形態による仮想の光線と光学レイヤの交点を用いて視点位置を割り当てる過程を示す図である。図８を参照すると、ディスプレイパネル８３０のピクセル８３５及び光学レイヤ８４０を通過する仮想の光線８５１、８５３が図示されている。

３Ｄ映像レンダリング装置は、光学像８１０、８２０を基準とする仮想の光線８５１、８５３と光学成分との間の距離に基づいて、ピクセルに対応する視点位置を間接的に決定する。ピクセルを通過する実際の光線の経路は、光学成分の中心を通過するが、３Ｄ映像レンダリング装置は、特定のサブピクセルと特定の候補視域を通過する仮想の候補光線を用いることができる。

より具体的に、３Ｄ映像レンダリング装置は、候補視点位置に基づいて光学像８１０、８２０を決定し、光学像８１０、８２０に基づいて仮想の光線８５１、８５３を決定する。３Ｄ映像レンダリング装置は、仮想の光線８５１、８５３の屈折方向の反対方向に光学像８１０、８２０が位置するように、仮想の光線８５１、８５３を決定する。３Ｄ映像レンダリング装置は、仮想の光線８５１、８５３を決定するため仮想の光線８５１、８５３が屈折された方向の反対方向に進行する基準線８５５、８５７を用いる。より具体的に、３Ｄ映像レンダリング装置は、基準線８５５、８５７と光学像８１０、８２０が交差するように仮想の光線８５１、８５３を決定する。３Ｄ映像レンダリング装置は、ディスプレイパネル８３０と光学レイヤ８４０との間の媒質の第１屈折率、及びディスプレイパネル８３０及び光学レイヤ８４０を含む３Ｄ表示装置外部の媒質の第２屈折率を考慮して、仮想の光線８５１、８５３を決定できる。

仮想の光線８５１、８５３が決定されれば、３Ｄ映像レンダリング装置は、仮想の光線８５１、８５３及び光学レイヤ８４０の間の交点８４１、８４３を決定する。３Ｄ映像レンダリング装置は、第１屈折率及び前記第２屈折率による仮想の光線８５１、８５３の入射角及び屈折角を考慮して交点８４１、８４３を決定する。交点８４１、８４３を決定する具体的な過程については図９を参照して後述する。

交点８４１、８４３が決定されれば、３Ｄ映像レンダリング装置は、交点８４１、８４３及び光学レイヤ８４０の光学成分８４５、８４７の間の距離Ｄ１、Ｄ２に基づいて、ピクセル８３５に対応する視点位置を決定する。３Ｄ映像レンダリング装置は、交点８４１、８４３のうち隣接する光学成分との距離が最も近い交点を決定し、決定された交点に対応する視点位置のピクセル値をピクセル８３５に割り当てる。ここで、隣接する光学成分とは、光学レイヤ８４０の光学成分のうち交点に最も近い光学成分を意味する。例えば、光学成分８４５が交点８４１の隣接する光学成分に当該し、光学成分８４７が交点８４３の隣接する光学成分に該当する。交点８４１と光学成分８４５との間の距離Ｄ１が、交点８４３と光学成分８４７との間の距離Ｄ２よりも近い場合、３Ｄ映像レンダリング装置は、ピクセル８３５に光学像８１０に対応する視点位置のピクセル値を割り当てる。ピクセル８３５が仮想の光線８５３周辺の実際の光線より仮想の光線８５３周辺の実際の光線によって観察される可能性が高いためである。

光学像８１０、８２０は、左側視点位置及び右側視点位置に対応する。図８では候補視点位置が単一ユーザのための２つの視点位置を含む実施形態について説明したが、実施形態によって候補視点位置は、マルチビューのための予め決定された数の視点位置を含んでもよい。候補視点位置がマルチビューのための予め決定された数の視点位置を含むことによって、３Ｄ映像レンダリング装置は、予め決定された数の視点位置に照射される仮想の光線を決定し、決定された仮想の光線それぞれによる交点及び交点に隣接する光学成分の間の距離に基づいて、ピクセルに前記予め決定された数の視点位置のいずれか１つに対応するピクセル値を割り当てる。予め決定された数の視点位置は、ユーザの目と異なって固定された位置に存在し、予め決定された数の視点位置の位置それぞれは予め決定された代表位置によって特定される。３Ｄ映像レンダリング装置は、代表位置に基づいて予め決定された数の視点位置に関する光学像を決定できる。

図９は、一実施形態による交点の決定過程を示す図である。図９を参照すると、ｒ−ｚ平面上の光学像Ｅ、ピクセルＰ、及び交点Ｂが図示されている。ｒ軸は光学像ＥとピクセルＰをつなぐ直線をｘ−ｙ平面で投影した直線に該当する軸として定義される。

上述したように、３Ｄ映像レンダリング装置は、光学像Ｅに基づいてピクセルＰ及び光学レイヤを通過する仮想の光線を決定し、仮想の光線と光学レイヤの交点Ｂを決定する。光学像Ｅの位置はｘ_ｅ、ｙ_ｅ、ｚ_ｅに示し、ピクセルＰの位置はｘ_ｐ、ｙ_ｐ、ｚ_ｐに示す。ここで、ｒ軸上において光学像ＥとピクセルＰの間の距離ｒ_ｒは数式（１）のように示すことができる。

また、スネルの法則により数式（２）が成立する。

ここで、ｎ_ｉはディスプレイ装置と光学レイヤとの間の屈折率を示し、ｎ_ｒは３Ｄ表示装置外部の屈折率を示し、θ_ｉは入射角を示し、θ_ｒは屈折角を示す。数式（２）により数式（３）を取得し、数式（３）を展開して数式（４）を取得できる。

ここで、ｒ_ｉはｒ軸上でピクセルＰと交点Ｂとの間の距離を示し、ｄ_ｒはｚ軸上で光学像Ｅと交点Ｂとの間の距離を示し、ｄ_ｉはｚ軸上でピクセルＰと交点Ｂとの間の距離を示す。数式（４）を整理すると、数式（５）を取得できる。

ここで、係数は次のように示すことができる。

数式（５）によると、４個の解を取得できる。３Ｄ映像レンダリング装置は、この中に最も小さい正数の解を最終的な解として決定する。一方、ｘ−ｙの２次元平面上で、光学像Ｅが投影された点、ピクセルＰが投影された点、及び交点Ｂが投影された点は直線をなしているため、交点Ｂのｘ座標及びｙ座標を次のように求めることができる。

３Ｄ映像レンダリング装置は、数式（１）によって求めたｒ_ｒ、数式（５）によって求めたｒ_ｉの最終的な解、光学像Ｅの座標、ピクセルＰの座標を数式（６）及び数式（７）に代入することによって、交点Ｂのｘ座標及びｙ座標を求めることができる。交点Ｂのｚ座標は、ピクセルＰのｚ座標、及びディスプレイパネルと光学レイヤとの間の距離により求めることができる。

図１０は、一実施形態による３Ｄ映像レンダリング装置を示すブロック図である。図１０を参照すると、３Ｄ映像レンダリング装置は、プロセッサ１０１０、センサ１０２０及びメモリ１０３０を含む。プロセッサ１０１０、センサ１０２０及びメモリ１０３０は、バス１０４０を介して通信する。

センサ１０２０はユーザの目を検出したり追跡する。センサ１０２０は、イメージセンサ、近接センサ、及び赤外線センサのうち少なくとも１つを含む。センサ１０２０は、周知の方式（例えば、光学イメージを前記信号に変換する方式など）でユーザの目を検出又は追跡する。センサ１０２０は、撮影されたカラー映像、深度映像及び赤外線映像のうち少なくとも１つをプロセッサ１０１０及びメモリ１０３０のうち少なくとも１つに伝達する。

プロセッサ１０１０は、上述した少なくとも１つの装置を含むか、上述した少なくとも１つの方法を行ってもよい。例えば、プロセッサ１０１０は、上述した３Ｄ映像レンダリングに関する動作を処理する。より具体的に、プロセッサ１０１０は、視聴領域の候補視点位置に関する光学像を決定し、光学像に基づいてディスプレイパネル上のピクセルを通過する仮想の光線を決定し、仮想の光線と光学レイヤとの間の交点を決定し、交点と光学レイヤの光学成分の間の距離に基づいてピクセルにピクセル値を割り当てる。あるいは、プロセッサ１０１０は、視聴領域の候補視点位置に関する光学像を決定し、ディスプレイパネルのピクセル及び光学レイヤの光学成分を通過する光線を決定し、光線の方向及び光学像の位置を比較し、比較結果に基づいてピクセルにピクセル値を割り当てる。

メモリ１０３０は、コンピュータで読み込み命令語を格納する。メモリ１０３０に格納された命令語がプロセッサ１０１０で実行されれば、プロセッサ１０１０は３Ｄ映像レンダリングに関する動作を処理する。また、メモリ１０３０は、上述した３Ｄ映像レンダリングに関するデータを格納する。

プロセッサ１０１０は命令語やプログラムを実行したり、３Ｄ映像レンダリング装置を制御する。３Ｄ映像レンダリング装置は、入出力装置（図示せず）によって外部装置（例えば、パーソナルコンピュータ又はネットワーク）に接続され、データを交換する。３Ｄ映像レンダリング装置は、移動電話、スマートフォン、ＰＤＡ、タブレットコンピュータ、ラップトップコンピュータなどのモバイル装置、パーソナルコンピュータ、タブレットコンピュータ、ネットブックなどのコンピューティング装置、又は、テレビ、スマートテレビ、ゲート制御のためのセキュリティー装置などの電子製品の少なくとも一部として実現される。また、３Ｄ映像レンダリング装置は、ＨＵＤの一部として実現される。その他に、３Ｄ映像レンダリング装置については上述した内容が適用され得るため、より詳細な説明は省略する。

図１１は、一実施形態による３Ｄ映像レンダリング方法を示した動作フローチャートである。図１１を参照すると、ステップＳ１１１０において、３Ｄ映像レンダリング装置は、視聴領域の候補視点位置に関する光学像を決定する。ステップＳ１１２０において、３Ｄ映像レンダリング装置は、光学像に基づいてディスプレイパネル上のピクセルを通過する候補光線を決定する。ステップＳ１１３０において、３Ｄ映像レンダリング装置は、候補光線と光学レイヤとの間の交点を決定する。ステップＳ１１４０において、３Ｄ映像レンダリング装置は、交点と光学レイヤの光学成分の間の距離に基づいてピクセルにピクセル値を割り当てる。その他に、３Ｄ映像レンダリング方法に関しては、上述した内容が適用され得るため、より詳細な説明は省略する。

図１２は、他の実施形態による３Ｄ映像レンダリング方法を示した動作フローチャートである。ステップＳ１２１０において、３Ｄ映像レンダリング装置は、視聴領域の候補視点位置に関する光学像を決定する。ステップＳ１２２０において、３Ｄ映像レンダリング装置は、ディスプレイパネルのピクセル及び光学レイヤの光学成分を通過する候補光線を決定する。ステップＳ１２３０において、３Ｄ映像レンダリング装置は、候補光線の方向と光学像の位置を比較する。ステップＳ１２４０において、３Ｄ映像レンダリング装置は、比較結果に基づいてピクセルにピクセル値を割り当てる。その他に、３Ｄ映像レンダリング方法に関しては、上述した内容が適用され得るため、より詳細な説明は省略する。

以上述した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組合せで具現される。例えば、実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当該技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが分かる。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、又はこれらのうちの１つ以上の組合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータ読み取り可能な記録媒体に格納される。

本実施形態による方法は、多様なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明の動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

上述したように実施形態をたとえ限定された図面によって説明したが、当技の術分野で通常の知識を有する者であれば、前記に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順序で実行されたり、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組合わせられたり、他の構成要素又は均等物によって置き換えたり置換されても適切な結果を達成することができる。

本発明は、３Ｄ映像レンダリング方法及び装置に関する。

３Ｄ映像を認知するための要因のうち最も支配的な要因は、ユーザの両目に見える映像の差である。ユーザの両目に互いに異なる映像を見せるための方法として、偏光を用いた分割、時分割、原色の波長を相違にした波長分割などを所望する映像をフィルタリングするメガネ式の方法と、パララックスバリア（ｐａｒａｌｌａｘ ｂａｒｒｉｅｒ）、レンチキュラーレンズ（ｌｅｎｔｉｃｕｌａｒ ｌｅｎｓ）、又は、方向性バックライトユニット（ｄｉｒｅｃｔｉｏｎａｌ ＢＬＵ）などの３Ｄ変換装置を用いて各映像を特定空間でのみ見ることのできる無メガネ式の方法がある。無メガネ式の方法の場合、メガネ着用の不便を減らし得る長所がある。このような３Ｄ映像は、鏡及びレンズなどの光学系によって提供され得る。この場合、光学系によって光の方向が変更されるため、３Ｄ映像レンダリング時の光の方向変化が考慮される必要がある。

実施形態は、３Ｄ映像レンダリング方法及び装置を提供することにある。

一側面によれば、３Ｄ映像レンダリング方法は、視聴領域の候補視点位置に関する光学像を決定するステップと、前記決定された光学像に基づいて、ディスプレイパネル上のピクセルを通過する仮想の光線を決定するステップと、前記仮想の光線と光学レイヤとの間の交点を決定するステップと、前記交点及び前記光学レイヤの光学成分の間のそれぞれの距離に基づいて、前記ピクセルにピクセル値を割り当てるステップとを含む。

前記光学像を決定するステップは、前記候補視点位置に光学変換を適用して前記光学像を決定するステップを含み得る。前記光学変換は、凹面鏡あるいは凸レンズの光学的特性に基づいて実行され得る。前記仮想の光線を決定するステップは、前記光学レイヤと前記ディスプレイパネルの間の媒質の第１屈折率、及び前記光学レイヤ及び前記ディスプレイパネルを含む３Ｄ表示装置外部の媒質の第２屈折率を考慮して前記仮想の光線を決定するステップを含み得る。前記光学像は、前記ディスプレイパネルの後面方向に位置し得る。

前記交点を決定するステップは、前記光学レイヤと前記ディスプレイパネルの間の媒質の第１屈折率、及び前記光学レイヤ及び前記ディスプレイパネルを含む３Ｄ表示装置外部の媒質の第２屈折率による前記仮想の光線の入射角及び屈折角を考慮して前記交点を決定するステップを含み得る。前記交点を決定するステップは、前記光学像の座標及び前記ピクセルの座標に基づいて、光学像とピクセルをつなぐ直線をｘ−ｙ平面で投影したｒ軸上で、前記光学像と前記ピクセルとの間の距離を算出するステップと、前記光学レイヤと前記ディスプレイパネルの間の媒質の第１屈折率、及び前記光学レイヤ及び前記ディスプレイパネルを含む３Ｄ表示装置外部の媒質の第２屈折率に基づいて、前記ｒ軸上で前記ピクセル及び前記交点の間の距離を算出するステップと、前記光学像と前記ピクセルとの間の距離、及び前記ピクセルと前記交点との間の距離に基づいて前記交点の座標を決定するステップとを含み得る。

前記ピクセル値を割り当てるステップは、前記交点のうち隣接する光学成分との距離が最も近い交点を決定するステップと、前記決定された交点に対応する視点位置のピクセル値を前記ピクセルに割り当てるステップとを含み得る。前記候補視点位置は、単一ユーザのための左側視点位置及び右側視点位置を含むか、あるいはマルチビューのための予め決定された数の視点位置を含み得る。

前記候補視点位置が単一ユーザのための左側視点位置及び右側視点位置を含むことによって、前記仮想の光線は、前記左側視点位置に照射される第１仮想の光線及び前記右側視点位置に照射される第２仮想の光線を含み、前記ピクセル値を割り当てるステップは、前記第１仮想の光線による第１交点と前記第１交点に隣接する光学成分の間の距離、及び前記第２仮想の光線による第２交点と前記第２交点に隣接する光学成分の間の距離に基づいて、前記ピクセルに前記左側視点位置のピクセル値又は前記右側視点位置のピクセル値を割り当てるステップを含み得る。前記候補視点位置がマルチビューのための予め決定された数の視点位置を含むことによって、前記仮想の光線は、前記予め決定された数の視点位置に照射される光線を含み、前記ピクセル値を割り当てるステップは、前記光線それぞれによる交点と前記交点に隣接する光学成分の間の距離に基づいて、前記ピクセルに前記予め決定された数の視点位置のいずれか１つに対応するピクセル値を割り当てるステップを含み得る。

他の一実施形態によると、３Ｄ映像レンダリング方法は、視聴領域の候補視点位置に関する光学像を決定するステップと、ディスプレイパネルのピクセル及び光学レイヤの光学成分を通過する光線を決定するステップと、前記光線の方向と前記光学像の位置とを比較するステップと、前記比較結果に基づいて前記ピクセルにピクセル値を割り当てるステップとを含む。

前記光学像を決定するステップは、前記候補視点位置に光学変換を適用して前記光学像を決定するステップを含み得る。前記光線を決定するステップは、前記光学レイヤと前記ディスプレイパネルの間の媒質の第１屈折率、及び前記光学レイヤ及び前記ディスプレイパネルを含む３Ｄ表示装置外部の媒質の第２屈折率を考慮して前記光線を決定するステップを含み得る。前記光線の方向と前記光学像の位置とを比較するステップは、前記光線の屈折方向に基づいて基準線を決定するステップと、前記基準線と前記光学像の位置とを比較するステップとを含み得る。前記ピクセルにピクセル値を割り当てるステップは、前記基準線及び前記視聴領域の交差点をそれぞれ決定するステップと、前記交差点及び前記光学像のそれぞれの距離に基づいて前記ピクセルに前記ピクセル値を割り当てるステップとを含み得る。

一実施形態によると、３Ｄ映像レンダリング装置は、プロセッサと、コンピュータで読込みできる命令語を含むメモリとを含み、前記命令語が前記プロセッサで実行されれば、前記プロセッサは、視聴領域の候補視点位置に関する光学像を決定し、前記決定された光学像に基づいてディスプレイパネル上のピクセルを通過する仮想の光線を決定し、既光線及び光学レイヤの間の交点を決定し、前記交点及び前記光学レイヤの光学成分の間のそれぞれの距離に基づいて前記ピクセルにピクセル値を割り当てる。

本発明によると、３Ｄ映像レンダリング方法及び装置を提供することができる。

一実施形態に係る３Ｄ映像レンダリングシステムを示す図である。 一実施形態に係る凹面鏡を用いた３Ｄ映像レンダリング過程を示す図である。 一実施形態に係る凹面鏡を用いた３Ｄ映像レンダリング過程を示す図である。 一実施形態に係る凸レンズを用いた３Ｄ映像レンダリング過程を示す図である。 一実施形態に係る凸レンズを用いた３Ｄ映像レンダリング過程を示す図である。 一実施形態に係る光線の方向を算出して視点位置を割り当てる過程を示す図である。 他の実施形態に係る光線の方向を算出して視点位置を割り当てる過程を示す図である。 一実施形態に係る仮想の光線と光学レイヤの交点を用いて視点位置を割り当てる過程を示す図である。 一実施形態に係る交点の決定過程を示す図である。 一実施形態に係る３Ｄ映像レンダリング装置を示すブロック図である。 一実施形態に係る３Ｄ映像レンダリング方法を示す動作フローチャートである。 他の実施形態に係る３Ｄ映像レンダリング方法を示す動作フローチャートである。

本明細書で開示されている本発明の概念による実施形態に対して特定の構造的又は機能的な説明は、単に本発明の概念による実施形態を説明するための目的として例示したものであり、本発明の概念による実施形態は様々な形態で実施され、本明細書に説明された実施形態に限定されることはない。

第１又は第２などの用語を複数の構成要素を説明するために用いることができるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に第２構成要素は第１構成要素とも命名することができる。

単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。

異なるように定義がされない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。

以下、実施形態を添付する図面を参照しながら詳細に説明する。各図面に提示された同じ参照符号は同じ部材を示し、これに対する重複説明は省略することにする。

図１は、一実施形態に係る３Ｄ映像レンダリングシステムを示す図である。図１を参照すると、３Ｄ映像レンダリングシステム１００は、３Ｄ映像レンダリング装置１１０、３Ｄ表示装置１２０、及び反射屈折光学系（ｃａｔａｄｉｏｐｔｒｉｃ ｓｙｓｔｅｍ）１３０を含む。

３Ｄ表示装置１２０は、ディスプレイパネル及び光学レイヤを含む。光学レイヤは、パララックスバリア、レンチキュラーレンズ、及び方向性バックライトユニットのいずれか１つであり得る。ディスプレイパネルは複数のピクセルを含んでもよく、３Ｄ映像レンダリング装置１１０は、入力映像に基づいて予め決定された数の視点位置に対応するピクセル値を複数のピクセルに割り当てる。例えば、３Ｄ映像レンダリング装置１１０は、第１ピクセルには第１視点位置１４１に対応するピクセル値を割り当て、第２ピクセルには第２視点位置１４３に対応するピクセル値を割り当てる。以下で、ピクセル値割当の対象となる第１視点位置１４１及び第２視点位置１４３は候補視点位置として称される。実施形態により、候補視点位置は、単一ユーザのための左側視点位置及び右側視点位置を含んだり、あるいは、マルチビューのための予め決定された数の視点位置を含む。ディスプレイパネルは、３Ｄ映像レンダリング装置１１０によって割り当てられたピクセル値に基づいてパネル映像を表示する。

ディスプレイパネルのピクセルには、光源による光が提供される。例えば、光源は、ディスプレイパネルの後面に位置するバックライトユニット、あるいは光学レイヤの一例である方向性バックライトユニットであり得る。ピクセルに光が提供されることにより、ピクセルのピクセル値に対応する光がユーザによって見られる。ここで、光学レイヤは、ユーザによって光が見られる方向を制限する。具体的に、パララックスバリアは、一定の間隔のスリットによって光を制限された方向に出力し、レンチキュラーレンズは、レンズの屈曲によって光を制限された方向に出力する。また、方向性バックライトユニットは、ディスプレイパネルに制限された方向の光を提供する。

例えば、第１視点位置１４１によるピクセル値が割り当てられたピクセルには第１視点位置１４１方向の光が提供され、第２視点位置１４３によるピクセル値が割り当てられたピクセルには第２視点位置１４３方向の光が提供される。視聴領域１４０に位置するユーザは、第１視点位置１４１によって第１視点位置１４１に対応する映像を視聴し、第２視点位置１４３によって第２視点位置１４３に対応する映像を視聴する。第１視点位置１４１は右側の目に対応し、第２視点位置１４３は左側の目に対応する場合、ユーザは、両側の目を用いて互いに異なる映像を視聴することで立体感を感じることができる。

３Ｄ表示装置１２０によって出力された映像は反射屈折光学系１３０を介してユーザに提供される。反射屈折光学系１３０は、反射光学系に該当する鏡、あるいは屈折光学系に該当するレンズを含む。実施形態によって、３Ｄ表示装置１２０は小型スクリーンを介して実現され、反射屈折光学系１３０は３Ｄ表示装置１２０に出力された映像を拡大する。例えば、３Ｄ表示装置１２０及び反射屈折光学系１３０は、ヘッドアップディスプレイ（ｈｅａｄ ｕｐ ｄｉｓｐｌａｙ：ＨＵＤ）の一部として実現し得る。この場合、反射屈折光学系１３０は、凹面鏡、あるいは凸レンズを含んでもよく、凹面鏡は半透明な性質を有する。

３Ｄ映像レンダリング装置１１０は、ディスプレイパネルのピクセルにピクセル値を割り当てるために当該ピクセルを通過する光の経路を把握する。以下で、ディスプレイパネルのピクセルを通過する光を光線のように称する。例えば、第１ピクセルを通過する光線が第１視点位置１４１に提供される場合、３Ｄ映像レンダリング装置１１０は、第１ピクセルに第１視点位置１４１に対応するピクセル値を割り当てる。

３Ｄ映像レンダリング装置１１０は、ディスプレイ装置１２０の屈折率を考慮する。ディスプレイパネルと光学レイヤとの間の媒質の第１屈折率及び３Ｄ表示装置１２０外部の媒質の第２屈折率は互いに異なってもよい。例えば、ディスプレイパネルと光学レイヤとの間には、ディスプレイパネル及び光学レイヤを互いに付着させる媒質が満たされ、３Ｄ表示装置１２０の外部には空気が存在する。この場合、第１屈折率は、ディスプレイパネルと光学レイヤとの間に存在する媒質によって決定され、第２屈折率は空気の屈折率である「１」に決定される。３Ｄ映像レンダリング装置１１０は、このような屈折率の差による光線の屈折を考慮して光線の経路を決定する。

ディスプレイパネルと光学レイヤとの間の媒質の屈折率は、ディスプレイパネルの屈折率及び／又は光学レイヤの屈折率に類似する。また、ディスプレイパネルの厚さ及び／又は光学レイヤの厚さは、ディスプレイパネルと光学レイヤとの間の距離に比べて極めて小さい。そのため、一実施形態によれば、光の屈折を考慮するときディスプレイパネル１２１の屈折率及び／又は光学レイヤ１２３の屈折率は無視される。他の実施形態によれば、ディスプレイパネルと光学レイヤとの間の媒質の屈折率は、ディスプレイパネルの屈折率及び／又は光学レイヤ１２３の屈折率をともに考慮した屈折率の代表値であり得る。

スネルの法則によれば、光が、屈折率が互いに異なる媒質の境界を通過するとき、入射角のサイン値と反射角のサイン値は媒質の屈折率に応じて決定される。一般的に、パララックスバリアやレンチキュラーレンズの厚さ、及び媒質の屈折率による近似値を用いて光線の方向が予測される。しかし、このような近似値は、サイン値の比率ではない、タンジェント値の比率が屈折率の比率に反比例する演算に基づいているため、サイン値がタンジェント値に近似化できない場合に誤差が発生する恐れがある。

例えば、ノーマル方向と屈折された方向との差が小さい場合、近似値による誤差は小さいものの、ノーマル方向と屈折された方向との差が大きい場合には、近似値と実際の屈折された方向との差が大きくなり、３Ｄ映像でアーチファクト（ａｒｔｉｆａｃｔ）が観察される。このような近似値によるアーチファクトは、３Ｄ表示装置１２０のサイズが大きくなるほど増加する。３Ｄ映像レンダリング装置１１０は、屈折率による演算をディスプレイパネルの全てのピクセルに個別的に適用することでアーチファクトの発生を最小化する。

３Ｄ表示装置１２０から出力された光線の経路は、反射屈折光学系１３０によって変更される。例えば、反射屈折光学系１３０は、イメージを拡大する方向に光線の経路を変更させ得る。３Ｄ映像レンダリング装置１１０は、光線に対する反射屈折光学系１３０の影響を考慮してピクセル値を割り当てる。３Ｄ表示装置１２０から出力された映像の光学像及び実際の視点位置１４１、１４３を用いてピクセル値を割り当てるためには複雑な演算が求められる。３Ｄ映像レンダリング装置１１０は、実際の視点位置１４１、１４３に関する光学像を決定し、実際の視点位置１４１、１４３の光学像と３Ｄ表示装置１２０との間の位置関係を用いてピクセル値を割り当てる。そのため、比較的に少ない演算量で光線に対する反射屈折光学系１３０の影響を反映することができる。

光線の方向が決定された場合、３Ｄ映像レンダリング装置１１０は、ディスプレイパネルのピクセルにピクセル値を割り当てる。一実施形態によれば、３Ｄ映像レンダリング装置１１０は、光線の方向と視点位置１４１、１４３に対応する光学像の位置を比較し、ピクセルに対応する視点位置を直接的に決定する。下記で詳細に説明するが、視点位置１４１、１４３に対応する光学像は３Ｄ表示装置１２０の後面方向に位置する。３Ｄ映像レンダリング装置１１０は、光線を３Ｄ表示装置１２０の後面方向に延びていることで、視点位置１４１、１４３に対応する光学像のうちいずれかの像に近いか否かを判断する。例えば、３Ｄ表示装置１２０の後面方向に延びている第１光線が第１視点位置１４１に対応する光学像の近所に向かう場合、３Ｄ映像レンダリング装置１１０は、第１光線を出力するピクセルに第１視点位置１４１に対応するピクセル値を割り当てる。

他の実施形態によれば、３Ｄ映像レンダリング装置１１０は、視点位置１４１、１４３を基準とする仮想の光線と光学成分の間の距離に基づいて、ピクセルに対応する視点位置を間接的に決定してもよい。光学成分は、パララックスバリアのスリットやレンチキュラーレンズの屈曲のように制限された方向の光を通過させる成分を称する。例えば、３Ｄ映像レンダリング装置１１０は、特定ピクセルと視点位置１４１を通過する第１仮想の光線及び当該ピクセルと視点位置１４３を通過する第２仮想の光線を決定する。３Ｄ映像レンダリング装置１１０は、第１仮想の光線及び第１仮想の光線に隣接する光学成分の間の距離が、第２仮想の光線及び第２仮想の光線に隣接する光学成分の間の距離よりも近い場合、当該ピクセルに視点位置１４１のピクセル値を割り当てる。

図２及び図３は、一実施形態による凹面鏡を用いた３Ｄ映像レンダリング過程を示す図である。図２を参照すると、３Ｄ表示装置によって仮想のオブジェクト２１０が出力される。したがって、仮想のオブジェクト２１０の位置は、３Ｄ表示装置の位置に対応する。仮想のオブジェクト２１０に光学変換を適用して仮想のオブジェクト２１０の投射された（ｐｒｏｊｅｃｔｅｄ）位置２３０が決定される。仮想のオブジェクト２１０が凹面鏡２２０の焦点ｆの内側に位置するため、仮想のオブジェクト２１０の投射された位置２３０は拡大した正立虚像であってもよい。光学変換は、焦点ｆ及び屈曲などを含む凹面鏡２２０の光学的特性に基づいて実行される。図２及び図３には１つの凹面鏡が図示されているが、１つの凹面鏡の代わりに、当該凹面鏡に類似する光学的な効果を発生させる様々な光学系を用いることができる。

ユーザは、視点位置２４０で仮想のオブジェクト２１０の投射された位置２３０を観察する。３Ｄ表示装置は、矢印２１５方向に仮想のオブジェクト２１０に関する映像を出力するが、ユーザは、矢印２３５方向に仮想のオブジェクト２１０の投射された位置２３０を観察する。したがって、ディスプレイパネルの特定ピクセルに対応する視点位置を決定することにおいて、凹面鏡２２０による影響が考慮されなければならない。ここで、３Ｄ映像レンダリング装置は、ディスプレイパネルの全てのピクセルに関して凹面鏡２２０による影響を考慮する代わりに、視点位置２４０に光学変換を適用して、仮想の視点位置及び仮想のオブジェクト２１０の関係でディスプレイパネルにピクセルを割り当てる。仮想の視点位置は、光学変換が適用された視点位置を意味する。

図３を参照すると、視点位置３１０に関する仮想の視点位置３２０が図示されている。３Ｄ映像レンダリング装置は、別途のカメラなどを通した視点追跡方式を用いて視点位置３１０の位置を決定し、視点位置３１０の位置に光学変換を適用して仮想の視点位置３２０の位置を決定する。仮想の視点位置３２０は、投射された位置３５０と同様に、凹面鏡３４０の光学的特性による光学変換によって決定される。したがって、視点位置３１０及び投射された位置３５０の間の光学的関係と、仮想の視点位置３２０及び仮想のオブジェクト３３０の間の光学的関係は互いに対応する。３Ｄ映像レンダリング装置は、視点位置３１０及び投射された位置３５０の代わりに、仮想の視点位置３２０及び仮想のオブジェクト３３０を用いてディスプレイパネルのピクセルにピクセルを割り当てる。この場合、３Ｄ映像レンダリング装置は、ディスプレイパネルのピクセルに関して光学変換を適用することなく、仮想の視点位置３２０を用いてディスプレイパネルのピクセルに対応する視点位置を決定し得る。したがって、凹面鏡３４０の影響を考慮することにおいて、演算量を減少させることができる。

図４及び図５は、一実施形態に係る凸レンズを用いた３Ｄ映像レンダリング過程を示す図である。図４を参照すると、３Ｄ表示装置によって仮想のオブジェクト４１０が出力される。したがって、仮想のオブジェクト４１０の位置は、３Ｄ表示装置の位置に対応する。仮想のオブジェクト４１０に光学変換を適用して仮想のオブジェクト４１０の投射された位置４３０が決定される。光学変換は、焦点ｆ及び屈曲などを含む凸レンズ４２０の光学的特性に基づいて実行される。図４及び図５には１つの凸レンズが図示されているが、１つの凸レンズの代わりに当該凸レンズと類似の光学的効果を発生させる様々な光学系を用いてもよい。

図２及び図３を参照して説明された実施形態と同様に、３Ｄ映像レンダリング装置は、ディスプレイパネルの全てのピクセルに関して凸レンズ４２０による影響を考慮する代わりに、視点位置４４０の仮想の視点位置４５０及び仮想のオブジェクト４１０の関係でディスプレイパネルにピクセルを割り当てる。凸レンズ４２０の場合、投射された位置４３０がディスプレイパネルの後方に結像し得る。この場合、ユーザは投射された位置４３０を観察し難しい位置に存在する。したがって、ユーザが投射された位置４３０を観察するよう追加的な光学系を用いてもよい。

図５を参照すると、３Ｄ表示装置に出力された仮想のオブジェクト５１０、凸レンズ５２０、仮想のオブジェクト５１０の投射された位置５３０、平面鏡５４０及びユーザの視点位置５５０が図示されている。平面鏡５４０は、ユーザが仮想のオブジェクト５１０の投射された位置５３０を観察するよう、仮想のオブジェクト５１０の投射された位置５３０による光線を反射させることができる。したがって、ユーザは、適所で仮想のオブジェクト５１０の投射された位置５３０を観察することができる。例えば、図５に示されたシステムはＨＵＤの一部として実現され、矢印５５５は車両の前方を示す。この場合、鏡５４０は半透明な性質を有する。したがって、ユーザは、車両の前方を注目しながら仮想のオブジェクト５１０の投射された位置５３０を観察できる。

図６は、一実施形態による光線の方向を算出して視点位置を割り当てる過程を示す図である。図６を参照すると、ディスプレイパネル６４０のピクセル及び光学レイヤ６３０の光学成分を通過する光線が図示されている。図６は、光学レイヤ６３０がディスプレイパネル６４０の後面に位置する実施形態を示している。光学レイヤ６３０は、ディスプレイパネル６４０の後面に位置するため方向性バックライトであってもよい。

３Ｄ映像レンダリング装置は、ディスプレイパネル６４０のピクセル及び光学レイヤの光学成分を通過する光線を決定し、光線の方向及び光学像６１５、６２５の位置に基づいて、ディスプレイパネル６４０のピクセルに対応する視点位置を決定する。光学像６１５、６２５は、候補視点位置に関する光学変換によって決定される。例えば、光学像６１５は第１視点位置に関する光学変換によって決定され、光学像６２５は第２視点位置に関する光学変換によって決定される。光学像６１５、６２５は、光学レイヤ６３０及びディスプレイパネル６４０の後面方向に位置する。予め決定した大きさの視聴領域６１０、６２０は、光学像６１５、６２５を含む。視聴領域６１０、６２０は光学像６１５、６２５の位置に基づいて定義される。

３Ｄ映像レンダリング装置は、基準線に基づいて光線の方向及び光学像６１５、６２５の位置を比較する。基準線は光線の屈折方向に基づいて決定される。例えば、３Ｄ映像レンダリング装置は、ピクセル６６１、６６３、６６５を通過する光線に基づいて基準線６５１、６５３、６５５を決定する。上述のように、光学レイヤ６３０とディスプレイパネル６４０との間の媒質の屈折率、及び３Ｄ表示装置外部の媒質の屈折率が互いに異なるため、光線はディスプレイパネル６４０を通過するとき屈折率の大きい媒質の方向に屈折される。光線の屈折方向とは、光線が屈折された以後に進行する方向を意味する。矢印１０は光線の屈折方向を示し、矢印２０は光線の屈折方向の反対方向を示す。基準線は、光線の屈折方向の反対方向に進行する線として決定される。

３Ｄ映像レンダリング装置は、基準線６５１、６５３、６５５及び光学像６１５、６２５の位置を比較する。一実施形態によれば、３Ｄ映像レンダリング装置は、位置する視聴領域６１０、６２０に基づいて基準線６５１、６５３、６５５及び光学像６１５、６２５の位置を比較する。より具体的に、基準線６５１は視聴領域６１０と交差し、基準線６５３は視聴領域６２０を通過する。したがって、３Ｄ映像レンダリング装置は、基準線６５３に対応するピクセル６６３に光学像６１５に対応する視点位置のピクセル値を割り当て、基準線６５１、６５５に対応するピクセル６６１、６６５に光学像６２５に対応する視点位置のピクセル値を割り当てる。

実施形態によって、１つのピクセルによる光線のうち２以上の光線が視聴領域６１０、６２０を通過してもよい。この場合、３Ｄ映像レンダリング装置は、予め決定した条件に応じて視聴領域６１０、６２０を通過する２以上の候補光線のいずれか１つの候補光線を選択する。一実施形態によれば、３Ｄ映像レンダリング装置は、視聴領域６１０、６２０を通過する２以上の光線のうち視聴領域６１０、６２０の中心に近い１つの光線を選択する。視聴領域６１０、６２０の中心は、視聴領域６１０と視聴領域６２０の境界に存在する。

他の実施形態によれば、３Ｄ映像レンダリング装置は、視聴領域６１０、６２０を通過する２以上の光線のうち、視聴領域６１０、６２０それぞれの中心に近い１つの光線を選択してもよい。例えば、第１ピクセルを通過する第１光線が視聴領域６１０の中心を通過し、第１ピクセルを通過する第２光線が視聴領域６２０を通過するが、視聴領域６２０の中心から離れた場合に、３Ｄ映像レンダリング装置は、第１光線を選択する。

また、実施形態によって、第２ピクセルによる光線の全てが視聴領域６１０、６２０を通過しなくてもよい。この場合、３Ｄ映像レンダリング装置は、予め決定した条件に応じて第２ピクセルにピクセル値を割り当てる。一実施形態によれば、３Ｄ映像レンダリング装置は、予め一定の範囲で最も小さいピクセル値を第２ピクセルに割り当てる。例えば、ピクセル値の範囲は０〜２５５であってもよい。もし、第２ピクセルによる光線の全てが視聴領域６１０、６２０を通過しない場合、３Ｄ映像レンダリング装置は、第２ピクセルに０のピクセル値を割り当てる。

他の実施形態によれば、３Ｄ映像レンダリング装置は、視聴領域６１０、６２０の視点位置のうち第２ピクセルによる光線に最も近い視聴領域の視点位置に対応するピクセル値を第２ピクセルに割り当ててもよい。例えば、第２ピクセルによる第１光線及び第２光線の全てが視聴領域６１０を通過しないが、第１光線と視聴領域６１０の距離が第２光線と視聴領域６２０の距離よりも近い場合、３Ｄ映像レンダリング装置は、視聴領域６１０の視点位置に対応するピクセル値を第２ピクセルに割り当てる。

光学像６１５、６２５は、左側視点位置及び右側視点位置に対応する。図６では、候補視点位置が単一ユーザのための２つの視点位置を含んでいる実施形態について説明したが、実施形態によって、候補視点位置は、マルチビューのための予め決定された数の視点位置を含んでもよい。候補視点位置がマルチビューのための予め決定された数の視点位置を含むことによって、３Ｄ映像レンダリング装置は、ディスプレイパネルのピクセル及び光学レイヤの光学成分を通過する光線を決定し、光線の方向及び予め決定された数の視点位置に対応する光学像の位置に基づいてピクセルにピクセル値を割り当てる。予め決定された数の視点位置は、ユーザの目とは異なって固定された位置に存在し、予め決定された数の位置それぞれは予め決定された代表位置によって特定される。３Ｄ映像レンダリング装置は、代表位置に基づいて予め決定された数の視点位置に関する光学像を決定できる。

図７は、他の実施形態による光線の方向を算出して視点位置を割り当てる過程を示す図である。図７を参照すると、光学レイヤ７４０の光学成分及びディスプレイパネル７３０のピクセルを通過する光線が図示されている。図７は、光学レイヤ７４０がディスプレイパネル７３０の前面に位置する実施形態を示す。光学レイヤ７４０は、ディスプレイパネル７３０の前面に位置しているため、パララックスバリア又はレンチキュラーレンズであり得る。

光学レイヤがディスプレイパネルの前面に位置する場合にも、３Ｄ映像レンダリング装置は、光学レイヤがディスプレイパネルの後面に位置する場合と類似する方式に基づいて視点位置を割り当てる。具体的に、３Ｄ映像レンダリング装置は、光線の屈折方向に基づいて基準線７５１、７５３、７５５を決定し、基準線７５１、７５３、７５５及び光学像７１５、７２５の位置に基づいてディスプレイパネル７３０のピクセルに視点位置を割り当てる。基準線７５５は視聴領域７１０と交差し、基準線７５１、７５３は視聴領域７２０と交差する。したがって、３Ｄ映像レンダリング装置は、基準線７５５に対応するピクセル７６５に光学像７１５に対応する視点位置のピクセル値を割り当て、基準線７５１、７５３に対応するピクセル７６１、７６３に光学像７２５に対応する視点位置のピクセル値を割り当てる。

図８は、一実施形態による仮想の光線と光学レイヤの交点を用いて視点位置を割り当てる過程を示す図である。図８を参照すると、ディスプレイパネル８３０のピクセル８３５及び光学レイヤ８４０を通過する仮想の光線８５１、８５３が図示されている。

３Ｄ映像レンダリング装置は、光学像８１０、８２０を基準とする仮想の光線８５１、８５３と光学成分との間の距離に基づいて、ピクセルに対応する視点位置を間接的に決定する。ピクセルを通過する実際の光線の経路は、光学成分の中心を通過するが、３Ｄ映像レンダリング装置は、特定のサブピクセルと特定の候補視域を通過する仮想の候補光線を用いることができる。

より具体的に、３Ｄ映像レンダリング装置は、候補視点位置に基づいて光学像８１０、８２０を決定し、光学像８１０、８２０に基づいて仮想の光線８５１、８５３を決定する。３Ｄ映像レンダリング装置は、仮想の光線８５１、８５３の屈折方向の反対方向に光学像８１０、８２０が位置するように、仮想の光線８５１、８５３を決定する。３Ｄ映像レンダリング装置は、仮想の光線８５１、８５３を決定するため仮想の光線８５１、８５３が屈折された方向の反対方向に進行する基準線８５５、８５７を用いる。より具体的に、３Ｄ映像レンダリング装置は、基準線８５５、８５７と光学像８１０、８２０が交差するように仮想の光線８５１、８５３を決定する。３Ｄ映像レンダリング装置は、ディスプレイパネル８３０と光学レイヤ８４０との間の媒質の第１屈折率、及びディスプレイパネル８３０及び光学レイヤ８４０を含む３Ｄ表示装置外部の媒質の第２屈折率を考慮して、仮想の光線８５１、８５３を決定できる。

仮想の光線８５１、８５３が決定されれば、３Ｄ映像レンダリング装置は、仮想の光線８５１、８５３及び光学レイヤ８４０の間の交点８４１、８４３を決定する。３Ｄ映像レンダリング装置は、第１屈折率及び前記第２屈折率による仮想の光線８５１、８５３の入射角及び屈折角を考慮して交点８４１、８４３を決定する。交点８４１、８４３を決定する具体的な過程については図９を参照して後述する。

交点８４１、８４３が決定されれば、３Ｄ映像レンダリング装置は、交点８４１、８４３及び光学レイヤ８４０の光学成分８４５、８４７の間の距離Ｄ１、Ｄ２に基づいて、ピクセル８３５に対応する視点位置を決定する。３Ｄ映像レンダリング装置は、交点８４１、８４３のうち隣接する光学成分との距離が最も近い交点を決定し、決定された交点に対応する視点位置のピクセル値をピクセル８３５に割り当てる。ここで、隣接する光学成分とは、光学レイヤ８４０の光学成分のうち交点に最も近い光学成分を意味する。例えば、光学成分８４５が交点８４１の隣接する光学成分に当該し、光学成分８４７が交点８４３の隣接する光学成分に該当する。交点８４１と光学成分８４５との間の距離Ｄ１が、交点８４３と光学成分８４７との間の距離Ｄ２よりも近い場合、３Ｄ映像レンダリング装置は、ピクセル８３５に光学像８１０に対応する視点位置のピクセル値を割り当てる。ピクセル８３５が仮想の光線８５３周辺の実際の光線より仮想の光線８５３周辺の実際の光線によって観察される可能性が高いためである。

光学像８１０、８２０は、左側視点位置及び右側視点位置に対応する。図８では候補視点位置が単一ユーザのための２つの視点位置を含む実施形態について説明したが、実施形態によって候補視点位置は、マルチビューのための予め決定された数の視点位置を含んでもよい。候補視点位置がマルチビューのための予め決定された数の視点位置を含むことによって、３Ｄ映像レンダリング装置は、予め決定された数の視点位置に照射される仮想の光線を決定し、決定された仮想の光線それぞれによる交点及び交点に隣接する光学成分の間の距離に基づいて、ピクセルに前記予め決定された数の視点位置のいずれか１つに対応するピクセル値を割り当てる。予め決定された数の視点位置は、ユーザの目と異なって固定された位置に存在し、予め決定された数の視点位置の位置それぞれは予め決定された代表位置によって特定される。３Ｄ映像レンダリング装置は、代表位置に基づいて予め決定された数の視点位置に関する光学像を決定できる。

図９は、一実施形態による交点の決定過程を示す図である。図９を参照すると、ｒ−ｚ平面上の光学像Ｅ、ピクセルＰ、及び交点Ｂが図示されている。ｒ軸は光学像ＥとピクセルＰをつなぐ直線をｘ−ｙ平面で投影した直線に該当する軸として定義される。

上述のように、３Ｄ映像レンダリング装置は、光学像Ｅに基づいてピクセルＰ及び光学レイヤを通過する仮想の光線を決定し、仮想の光線と光学レイヤの交点Ｂを決定する。光学像Ｅの位置はｘ_ｅ、ｙ_ｅ、ｚ_ｅに示し、ピクセルＰの位置はｘ_ｐ、ｙ_ｐ、ｚ_ｐに示す。ここで、ｒ軸上において光学像ＥとピクセルＰの間の距離ｒ_ｒは数式（１）のように示すことができる。

また、スネルの法則により数式（２）が成立する。

ここで、ｎ_ｉはディスプレイ装置と光学レイヤとの間の屈折率を示し、ｎ_ｒは３Ｄ表示装置外部の屈折率を示し、θ_ｉは入射角を示し、θ_ｒは屈折角を示す。数式（２）により数式（３）を取得し、数式（３）を展開して数式（４）を取得できる。

ここで、ｒ_ｉはｒ軸上でピクセルＰと交点Ｂとの間の距離を示し、ｄ_ｒはｚ軸上で光学像Ｅと交点Ｂとの間の距離を示し、ｄ_ｉはｚ軸上でピクセルＰと交点Ｂとの間の距離を示す。数式（４）を整理すると、数式（５）を取得できる。

ここで、係数は次のように示すことができる。

数式（５）によると、４個の解を取得できる。３Ｄ映像レンダリング装置は、この中に最も小さい正数の解を最終的な解として決定する。一方、ｘ−ｙの２次元平面上で、光学像Ｅが投影された点、ピクセルＰが投影された点、及び交点Ｂが投影された点は直線をなしているため、交点Ｂのｘ座標及びｙ座標を次のように求めることができる。

３Ｄ映像レンダリング装置は、数式（１）によって求めたｒ_ｒ、数式（５）によって求めたｒ_ｉの最終的な解、光学像Ｅの座標、ピクセルＰの座標を数式（６）及び数式（７）に代入することによって、交点Ｂのｘ座標及びｙ座標を求めることができる。交点Ｂのｚ座標は、ピクセルＰのｚ座標、及びディスプレイパネルと光学レイヤとの間の距離により求めることができる。

図１０は、一実施形態による３Ｄ映像レンダリング装置を示すブロック図である。図１０を参照すると、３Ｄ映像レンダリング装置は、プロセッサ１０１０、センサ１０２０及びメモリ１０３０を含む。プロセッサ１０１０、センサ１０２０及びメモリ１０３０は、バス１０４０を介して通信する。

センサ１０２０は、ユーザの目を検出したり追跡する。センサ１０２０は、イメージセンサ、近接センサ、及び赤外線センサのうち少なくとも１つを含む。センサ１０２０は、周知の方式（例えば、光学イメージを前記信号に変換する方式など）でユーザの目を検出又は追跡する。センサ１０２０は、撮影されたカラー映像、深度映像、及び赤外線映像のうち少なくとも１つをプロセッサ１０１０及びメモリ１０３０のうち少なくとも１つに伝達する。

プロセッサ１０１０は、上述の少なくとも１つの装置を含むか、上述の少なくとも１つの方法を行ってもよい。例えば、プロセッサ１０１０は、上述の３Ｄ映像レンダリングに関する動作を処理する。より具体的に、プロセッサ１０１０は、視聴領域の候補視点位置に関する光学像を決定し、光学像に基づいてディスプレイパネル上のピクセルを通過する仮想の光線を決定し、仮想の光線と光学レイヤとの間の交点を決定し、交点と光学レイヤの光学成分の間の距離に基づいてピクセルにピクセル値を割り当てる。あるいは、プロセッサ１０１０は、視聴領域の候補視点位置に関する光学像を決定し、ディスプレイパネルのピクセル及び光学レイヤの光学成分を通過する光線を決定し、光線の方向及び光学像の位置を比較し、比較結果に基づいてピクセルにピクセル値を割り当てる。

メモリ１０３０は、コンピュータで読み取り可能な命令語を格納する。メモリ１０３０に格納された命令語がプロセッサ１０１０で実行されれば、プロセッサ１０１０は、３Ｄ映像レンダリングに関する動作を処理する。また、メモリ１０３０は、上述の３Ｄ映像レンダリングに関するデータを格納する。

プロセッサ１０１０は、命令語やプログラムを実行したり、３Ｄ映像レンダリング装置を制御する。３Ｄ映像レンダリング装置は、入出力装置（図示せず）によって外部装置（例えば、パーソナルコンピュータ又はネットワーク）に接続され、データを交換する。３Ｄ映像レンダリング装置は、移動電話、スマートフォン、ＰＤＡ、タブレットコンピュータ、ラップトップコンピュータなどのモバイル装置、パーソナルコンピュータ、タブレットコンピュータ、ネットブックなどのコンピューティング装置、又は、テレビ、スマートテレビ、ゲート制御のためのセキュリティー装置などの電子製品の少なくとも一部として実現される。また、３Ｄ映像レンダリング装置は、ＨＵＤの一部として実現される。その他に、３Ｄ映像レンダリング装置については、上述の内容が適用され得るため、より詳細な説明は省略する。

図１１は、一実施形態による３Ｄ映像レンダリング方法を示した動作フローチャートである。図１１を参照すると、ステップＳ１１１０において、３Ｄ映像レンダリング装置は、視聴領域の候補視点位置に関する光学像を決定する。ステップＳ１１２０において、３Ｄ映像レンダリング装置は、光学像に基づいてディスプレイパネル上のピクセルを通過する候補光線を決定する。ステップＳ１１３０において、３Ｄ映像レンダリング装置は、候補光線と光学レイヤとの間の交点を決定する。ステップＳ１１４０において、３Ｄ映像レンダリング装置は、交点と光学レイヤの光学成分の間の距離に基づいてピクセルにピクセル値を割り当てる。その他に、３Ｄ映像レンダリング方法に関しては、上述の内容が適用され得るため、より詳細な説明は省略する。

図１２は、他の実施形態による３Ｄ映像レンダリング方法を示した動作フローチャートである。ステップＳ１２１０において、３Ｄ映像レンダリング装置は、視聴領域の候補視点位置に関する光学像を決定する。ステップＳ１２２０において、３Ｄ映像レンダリング装置は、ディスプレイパネルのピクセル及び光学レイヤの光学成分を通過する候補光線を決定する。ステップＳ１２３０において、３Ｄ映像レンダリング装置は、候補光線の方向と光学像の位置を比較する。ステップＳ１２４０において、３Ｄ映像レンダリング装置は、比較結果に基づいてピクセルにピクセル値を割り当てる。その他に、３Ｄ映像レンダリング方法に関しては、上述の内容が適用され得るため、より詳細な説明は省略する。

上述の実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組み合わせで具現化される。例えば、実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現化される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当該技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが分かる。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、又はこれらのうちの１つ以上の組合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータ読み取り可能な記録媒体に格納される。

本実施形態による方法は、多様なコンピュータ手段を介して実施されるプログラム命令の形態で具現化され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明の動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

上述のように実施形態をたとえ限定された図面によって説明したとしても、当該技術分野で通常の知識を有する者であれば、前記に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順序で実行されたり、及び／又は、説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられたり、他の構成要素又は均等物によって置き換えたり、置換されても適切な結果を達成することができる。

Claims (20)

1. 視聴領域の候補視点位置に関する光学像を決定するステップと、
   前記決定された光学像に基づいて、ディスプレイパネル上のピクセルを通過する仮想の光線を決定するステップと、
   前記仮想の光線と光学レイヤとの間の交点を決定するステップと、
   前記交点及び前記光学レイヤの光学成分の間のそれぞれの距離に基づいて、前記ピクセルにピクセル値を割り当てるステップと、
   を含む３Ｄ映像レンダリング方法。
2. 前記光学像を決定するステップは、前記候補視点位置に光学変換を適用して前記光学像を決定するステップを含む、請求項１に記載の３Ｄ映像レンダリング方法。
3. 前記光学変換は、凹面鏡あるいは凸レンズの光学的特性に基づいて実行される、請求項２に記載の３Ｄ映像レンダリング方法。
4. 前記仮想の光線を決定するステップは、前記光学レイヤと前記ディスプレイパネルの間の媒質の第１屈折率、及び前記光学レイヤ及び前記ディスプレイパネルを含む３Ｄ表示装置外部の媒質の第２屈折率を考慮して前記仮想の光線を決定するステップを含む、請求項１に記載の３Ｄ映像レンダリング方法。
5. 前記光学像は、前記ディスプレイパネルの後面方向に位置する、請求項１に記載の３Ｄ映像レンダリング方法。
6. 前記交点を決定するステップは、前記光学レイヤと前記ディスプレイパネルの間の媒質の第１屈折率、及び前記光学レイヤ及び前記ディスプレイパネルを含む３Ｄ表示装置外部の媒質の第２屈折率による前記仮想の光線の入射角及び屈折角を考慮して前記交点を決定するステップを含む、請求項１に記載の３Ｄ映像レンダリング方法。
7. 前記交点を決定するステップは、
   前記光学像の座標及び前記ピクセルの座標に基づいて、光学像とピクセルをつなぐ直線をｘ−ｙ平面で投影したｒ軸上で、前記光学像と前記ピクセルとの間の距離を算出するステップと、
   前記光学レイヤと前記ディスプレイパネルの間の媒質の第１屈折率、及び前記光学レイヤ及び前記ディスプレイパネルを含む３Ｄ表示装置外部の媒質の第２屈折率に基づいて、前記ｒ軸上で前記ピクセル及び前記交点の間の距離を算出するステップと、
   前記光学像と前記ピクセルとの間の距離、及び前記ピクセルと前記交点との間の距離に基づいて前記交点の座標を決定するステップと、
   を含む、請求項１に記載の３Ｄ映像レンダリング方法。
8. 前記ピクセル値を割り当てるステップは、
   前記交点のうち隣接する光学成分との距離が最も近い交点を決定するステップと、
   前記決定された交点に対応する視点位置のピクセル値を前記ピクセルに割り当てるステップと、
   を含む、請求項１に記載の３Ｄ映像レンダリング方法。
9. 前記候補視点位置は、単一ユーザのための左側視点位置及び右側視点位置を含むか、あるいはマルチビューのための予め決定された数の視点位置を含む、請求項１に記載の３Ｄ映像レンダリング方法。
10. 前記候補視点位置が単一ユーザのための左側視点位置及び右側視点位置を含むことによって、前記仮想の光線は、前記左側視点位置に照射される第１仮想の光線及び前記右側視点位置に照射される第２仮想の光線を含み、
    前記ピクセル値を割り当てるステップは、前記第１仮想の光線による第１交点と前記第１交点に隣接する光学成分の間の距離、及び前記第２仮想の光線による第２交点と前記第２交点に隣接する光学成分の間の距離に基づいて、前記ピクセルに前記左側視点位置のピクセル値又は前記右側視点位置のピクセル値を割り当てるステップを含む、請求項１に記載の３Ｄ映像レンダリング方法。
11. 前記候補視点位置がマルチビューのための予め決定された数の視点位置を含むことによって、前記仮想の光線は、前記予め決定された数の視点位置に照射される光線を含み、
    前記ピクセル値を割り当てるステップは、前記光線それぞれによる交点と前記交点に隣接する光学成分の間の距離に基づいて、前記ピクセルに前記予め決定された数の視点位置のいずれか１つに対応するピクセル値を割り当てるステップを含む、請求項１に記載の３Ｄ映像レンダリング方法。
12. 視聴領域の候補視点位置に関する光学像を決定するステップと、
    ディスプレイパネルのピクセル及び光学レイヤの光学成分を通過する光線を決定するステップと、
    前記光線の方向と前記光学像の位置とを比較するステップと、
    前記比較結果に基づいて前記ピクセルにピクセル値を割り当てるステップと、
    を含む３Ｄ映像レンダリング方法。
13. 前記光学像を決定するステップは、前記候補視点位置に光学変換を適用して前記光学像を決定するステップを含む、請求項１２に記載の３Ｄ映像レンダリング方法。
14. 前記光線を決定するステップは、前記光学レイヤと前記ディスプレイパネルの間の媒質の第１屈折率、及び前記光学レイヤ及び前記ディスプレイパネルを含む３Ｄ表示装置外部の媒質の第２屈折率を考慮して前記光線を決定するステップを含む、請求項１２に記載の３Ｄ映像レンダリング方法。
15. 前記光線の方向と前記光学像の位置とを比較するステップは、
    前記光線の屈折方向に基づいて基準線を決定するステップと、
    前記基準線と前記光学像の位置とを比較するステップと、
    を含む、請求項１２に記載の３Ｄ映像レンダリング方法。
16. 前記ピクセルにピクセル値を割り当てるステップは、
    前記基準線及び前記視聴領域の交差点をそれぞれ決定するステップと、
    前記交差点及び前記光学像のそれぞれの距離に基づいて前記ピクセルに前記ピクセル値を割り当てるステップと、
    を含む、請求項１５に記載の３Ｄ映像レンダリング方法。
17. ハードウェアと結合して請求項１〜請求項１６のいずれか一項に記載の方法を実行させるために媒体に格納されたコンピュータプログラム。
18. プロセッサと、
    コンピュータで読込みできる命令語を含むメモリと、
    を含み、
    前記命令語が前記プロセッサで実行されれば、前記プロセッサは、視聴領域の候補視点位置に関する光学像を決定し、前記決定された光学像に基づいてディスプレイパネル上のピクセルを通過する仮想の光線を決定し、前記光線及び光学レイヤの間の交点を決定し、前記交点及び前記光学レイヤの光学成分の間のそれぞれの距離に基づいて前記ピクセルにピクセル値を割り当てる３Ｄ映像レンダリング装置。
19. 前記プロセッサは、前記候補視点位置に光学変換を適用して前記光学像を決定する、請求項１８に記載の３Ｄ映像レンダリング装置。
20. 前記光学像は、前記光線が屈折された方向の反対方向に位置する、請求項１８に記載の３Ｄ映像レンダリング方法。