JP2016032298A - 映像レンダリング装置及び方法 - Google Patents

Abstract

【課題】 立体映像をレンダリングする映像レンダリング装置及び方法を提供する。
【解決手段】 映像レンダリング装置は入力映像に含まれた映像ピクセルのディスパリティを推定する。映像ピクセルのディスパリティに基づいて映像ピクセルが有する視点方向が決定されてもよい。映像レンダリング装置は多視点映像を生成することなく、映像ピクセルの視点方向に対応する視点方向を有する１つ又は複数のディスプレイピクセルに当該映像ピクセルのピクセル値を割り当てて立体映像をレンダリングしてもよい。
【選択図】 図１

Description

以下の説明は、立体映像をレンダリングする映像処理技術に関する。

３Ｄ（ｄｉｍｅｎｓｉｏｎａｌ）ディスプレイ装置が３Ｄ映像を表示する方式は、立体映像を視聴するために３Ｄメガネを必要とするメガネ方式と、３Ｄメガネが求められることなく、立体映像を実現する無メガネ方式がある。メガネ方式では、偏光を用いた分割、時分割、原色（ｐｒｉｍａｒｙ ｃｏｌｏｒ）の波長を相異にした波長分割などを用いて所望する映像をフィルタリングする。無メガネ方式では、パララックスバリア（ｐａｒａｌｌａｘ ｂａｒｒｉｅｒ）又はレンチキュラーレンズ（ｌｅｎｔｉｃｕｌａｒ ｌｅｎｓ）などを用いて各映像が特定視点だけで見えるように表示される。無メガネ方式のうち、ライトフィールド（ｌｉｇｈｔ ｆｉｅｌｄ）を再現する方式として、一定空間に存在する点などから様々な方向に出力される光線をディスプレイを用いてそのまま再現する。ライトフィールドを再現する方式として、他の位置と他の角度の利用可能な映像を取得し、取得された映像を用いて現在の視点に適切な映像をレンダリングする。一般に、ライトフィールドを再現する方式としては、表示される複数の映像を生成するために一般的に２つ以上の入力映像に基づいてＮ個の中間映像を生成し、生成されたＮ個の中間映像に基づいて３Ｄディスプレイ装置の各ピクセルで出力する３Ｄ映像情報を決定する。

本発明の目的は、別途の多視点映像を生成しなくても直接３Ｄ映像を生成することで、処理速度とリソースの利用率を改善させることにある。

一実施形態に係る複数のディスプレイピクセルを含むディスプレイ装置を介して表示される立体映像をレンダリングする映像レンダリング方法は、入力映像に含まれた映像ピクセルのディスパリティを推定するステップと、多視点映像を生成することなく、前記映像ピクセルの視点方向に対応する視点方向を有する少なくとも１つのディスプレイピクセルに前記映像ピクセルのピクセル値を割り当てるステップとを含む。

一実施形態に係る映像レンダリング方法において、前記映像ピクセルのピクセル値を割り当てるステップは、前記ディスプレイピクセルの視点方向に対する第１モデル、及び前記映像ピクセルのディスパリティに基づいた前記映像ピクセルの視点方向に対する第２モデルを用いて、前記映像ピクセルのピクセル値を割り当てる少なくとも１つのディスプレイピクセルを決定するステップを含んでもよい。

ここで、前記第１モデルは、前記ディスプレイピクセルの位置と視点方向との間の対応関係に基づいたモデルであってもよい。

ここで、前記第２モデルは、前記入力映像内前記映像ピクセルの位置を基準として、前記映像ピクセルから出力される光線の方向をモデリングしたモデルであってもよい。

前記映像ピクセルのピクセル値を割り当てるステップは、前記第１モデルと前記第２モデルと間の対応関係に基づいて、前記映像ピクセルの視点方向と同一の視点方向を有するディスプレイピクセルを識別し、前記識別されたディスプレイピクセルに前記映像ピクセルのピクセル値を割り当てるステップを含んでもよい。

少なくとも１つのディスプレイピクセルを決定するステップは、前記第１モデルと複数の映像ピクセルに対する第２モデルを用いて、前記映像ピクセルのピクセル値を割り当てる少なくとも１つのディスプレイピクセルを決定するステップを含み、前記複数の映像ピクセルは、互いに隣接する映像ピクセルであってもよい。

前記映像ピクセルのピクセル値を割り当てるステップは、前記決定された少なくとも１つのディスプレイピクセルに前記複数の映像ピクセルのピクセル値を補間して割り当てるステップを含んでもよい。

前記複数のディスプレイピクセルは、予め決定された個数の互いに異なる視点方向のいずれか１つの視点方向を有してもよい。

前記ディスプレイピクセルの視点方向は、前記ディスプレイ装置に含まれたレンチキュラーレンズの構造的な特徴に基づいて決定されてもよい。

前記ディスパリティを推定するステップは、深度映像に含まれた深度情報を用いて前記映像ピクセルのディスパリティを推定するステップを含んでもよい。

前記ディスパリティを推定するステップは、前記入力映像が撮影された視点と他の視点で撮影された映像の参照映像と前記入力映像との間の視点差に基づいて、前記映像ピクセルのディスパリティを推定するステップを含んでもよい。

一実施形態に係るディスプレイ装置は、予め決定された視点方向を有する複数のディスプレイピクセルを介して立体映像を表示するディスプレイ部と、多視点映像を生成することなく、入力映像の映像ピクセルが有する視点方向に基づいて、決定された少なくとも１つのディスプレイピクセルに前記映像ピクセルのピクセル値を割り当てて前記立体映像をレンダリングする映像レンダリング部とを含む。

前記映像レンダリング部は、前記ディスプレイピクセルの視点方向に対する第１モデル及び前記映像ピクセルの視点方向に対する第２モデルを用いて、前記少なくとも１つのディスプレイピクセルを決定してもよい。

前記映像レンダリング部は、前記第１モデルと複数の映像ピクセルに対する第２モデルを用いて前記映像ピクセルのピクセル値を割り当てる少なくとも１つのディスプレイピクセルを決定し、前記複数の映像ピクセルは、互いに隣接する映像ピクセルであってもよい。

前記映像レンダリング部は、他の視点で撮影された参照映像と前記入力映像との間の視点差に基づいて前記映像ピクセルのディスパリティを推定し、前記映像ピクセルが有する視点方向は、前記推定されたディスパリティに基づいて決定されてもよい。

前記映像レンダリング部は、深度映像に示された深度情報を用いて前記映像ピクセルのディスパリティを推定し、前記映像ピクセルが有する視点方向は、前記推定されたディスパリティに基づいて決定されてもよい。

前記ディスプレイ部は、前記ディスプレイピクセルの上部に備えられるレンチキュラーレンズを含み、前記ディスプレイピクセルの視点方向は、前記レンチキュラーレンズにより決定されてもよい。

一実施形態に係る映像レンダリング装置は、入力映像に含まれた映像ピクセルのディスパリティを推定するディスパリティ推定部と、多視点映像を生成することなく、前記映像ピクセルの視点方向に対応する視点方向を有する少なくとも１つのディスプレイピクセルに前記映像ピクセルのピクセル値を割り当てて立体映像をレンダリングする映像レンダリング部とを含み、前記映像ピクセルの視点方向は、前記映像ピクセルのディスパリティに基づいて決定されることを特徴とする。

ここで、前記ディスプレイピクセルは、所定の視点方向を有し、前記映像レンダリング部は、前記映像ピクセルの視点方向及びディスプレイピクセルの視点方向に基づいて、複数のディスプレイピクセルのうち前記映像ピクセルのピクセル値を割り当てるディスプレイピクセルを探索してもよい。

一実施形態に係るディスプレイ装置は、複数のディスプレイピクセルを含むディスプレイと、前記ディスプレイピクセルの視点方向と位置に対する第１モデルを取得し、映像ピクセルに対応する映像データを受信し、少なくとも１つの映像ピクセルのディスパリティに関する第２モデルを取得し、前記第１モデル及び前記第２モデルに基づいて前記ディスプレイピクセルのうち少なくとも１つにディスプレイ値を適用するプロセッサとを含む。

ここで、前記プロセッサは、多視点映像を生成することなく、前記ディスプレイ値をディスプレイピクセルに割り当ててもよい。

また、前記プロセッサは、前記ディスプレイ値に基づいて３Ｄディスプレイを生成してもよい。

一実施形態によると、別途の多視点映像を生成しなくても直接３Ｄ映像を生成することができ、処理速度とリソースの利用率を改善させることができる。

一実施形態に係るディスプレイ装置の動作を説明するための図である。 一実施形態に係る映像レンダリング装置の動作を説明するための図である。 一実施形態に係るディスプレイピクセルが有する視点方向を説明するための図である。 一実施形態に係る第１モデルを説明するための図である。 一実施形態に係る第１モデルを説明するための図である。 一実施形態に係る第２モデルを説明するための図である。 一実施形態に係る第１モデル及び第２モデルに基づいて立体映像をレンダリングする過程を説明するための図である。 他の実施形態に係る第１モデル及び第２モデルに基づいて立体映像をレンダリングする過程を説明するための図である。 一実施形態に係る映像レンダリング方法の動作を説明するためのフローチャートである。

以下、実施形態を添付する図面を参照しながら詳細に説明する。以下の特定の構造的ないし機能的な説明は、単に実施形態を説明するための目的で例示されたものであり、権利範囲が本文に説明された実施形態に限定されると解釈されることはない。関連技術分野で通常の知識を有する者であれば、このような記載から様々な修正及び変形が可能である。また、各図面に提示された同一の参照符号は同一の部材を示し、公知された機能及び構造は省略するようにする。

図１は、一実施形態に係るディスプレイ装置の動作を説明するための図である。

ディスプレイ装置１１０は、入力映像を受信し、立体映像（又は、３Ｄ映像）を表示する。ディスプレイ装置１１０は、表示しようとする立体映像に対応する光線分布（又は、ライトフィールド）を再生する方式で立体映像を表示している。例えば、ディスプレイ装置１１０は、位置別及び方向ごとの光線分布をディスプレイ面で再生することで立体映像を実現することができる。

ディスプレイ装置１１０は、レンチキュラーレンズのような光学部材を用いて立体映像を実現してもよい。例えば、ディスプレイ装置１１０は、レンチキュラーレンズで発生する光の屈折によりユーザの左眼と右眼にそれぞれ互いに異なる映像を出力してもよく、ユーザは、左眼を用いて認知した映像と右眼を用いて認知した映像間の視点差に基づいて立体感を認知することができる。

一実施形態によると、ディスプレイ装置１１０は、入力映像でカラー映像を受信し、当該カラー映像に対する深度映像をともに受信してもよい。深度映像（ｄｅｐｔｈ ｉｍａｇｅ）は、映像が撮影された位置から被写体までの距離を示す深度情報を含んでもよい。他の実施形態によると、ディスプレイ装置１１０は、入力映像でカラー映像を受信し、入力映像の視点と異なる視点で撮影された参照映像をともに受信してもよい。参照映像は、入力映像が撮影された視点と異なる視点で撮影された映像を示し、１つ又は複数の映像を含んでもよい。

ディスプレイ装置１１０は、立体映像を表示するために多視点映像を生成することなく、立体映像を直接レンダリングしてもよい。ディスプレイ装置１１０は、ディスプレイピクセルが有する視点情報及び入力映像内の映像ピクセルが有するディスパリティ情報に基づいて、各ディスプレイピクセルに入力映像のピクセル値を直接割り当ててもよい。ディスプレイピクセルが有する視点情報は、ディスプレイピクセルの位置情報及びディスプレイピクセルが有する視点方向情報を含んでもよい。ディスプレイ装置１１０は、中間映像で多視点映像を生成することなく、ディスプレイピクセルに直接立体映像のピクセル値をマッチングするため、立体映像のレンダリング過程で求められるリソース量を減らし、複雑度を低減させ得る。

図１を参照すると、ディスプレイ装置１１０は、ディスプレイ部１２０及び映像レンダリング部１３０を含む。

ディスプレイ部１２０は、複数のディスプレイピクセルを含む。例えば、ディスプレイピクセルはＲ（ｒｅｄ）サブピクセル、Ｇ（ｇｒｅｅｎ）サブピクセル、及びＢ（ｂｌｕｅ）サブピクセルに当該する。また、ディスプレイ部１２０は、立体映像を実現するためのレンチキュラーレンズを含んでもよい。レンチキュラーレンズは、ディスプレイピクセルの上部に備えられる。ディスプレイピクセルから放射される光線は、レンチキュラーレンズによって屈折又は通過してもよい。

ディスプレイ装置１１０は、例えば、３Ｄテレビ、３Ｄスマートフォン、３Ｄタブレット又は３Ｄデジタル情報ディスプレイ（ＤＩＤ、ｄｉｇｉｔａｌ ｉｎｆｏｒｍａｔｉｏｎ ｄｉｓｐｌａｙ）であってもよい。

ディスプレイ部１２０に含まれた各ディスプレイピクセルは、所定の視点方向を有する。ディスプレイ部１２０は、所定の視点方向を有する複数のディスプレイピクセルを介して立体映像を表示してもよい。ディスプレイピクセルの視点方向は、レンチキュラーレンズによって決定されてもよい。ディスプレイピクセルが有する視点方向は、レンチキュラーレンズの構造的な特徴によりディスプレイピクセルのグループ単位で周期性又は反復性を有する。レンチキュラーレンズの構造的な特徴により各ディスプレイピクセルで放射される光線の移動経路が決定される。

例えば、ディスプレイピクセルから出力される光線の移動経路は、レンチキュラーレンズとディスプレイピクセルとの間の距離、レンチキュラーレンズのピッチ及び傾き、光線が屈折されるレンチキュールの特性などにより決定されてもよい。ディスプレイピクセルで放射される光線は、レンチキュラーレンズを用いて屈折又は通過して３Ｄ空間上の特定位置に向かって移動し、当該光線が移動する方向が当該ディスプレイピクセルが有する視点方向に当該する。

ディスプレイピクセルが有する視点方向は、ディスプレイ装置１１０の設計過程で予め決定されてもよい。ディスプレイピクセルは、予め決定された個数の互いに異なる視点方向のいずれか１つの視点方向を有してもよく、当該の視点方向は、ディスプレイ装置１１０の設計過程で予め決定されてもよい。例えば、ディスプレイ装置１１０は、第１視点方向から第Ｎ（１よりも大きい自然数）視点方向まで表現され、ディスプレイ装置１１０に含まれた各ディスプレイピクセルは、第１視点方向ないし第Ｎ視点方向のいずれか１つの視点方向を有してもよい。

映像レンダリング部１３０は、入力映像からディスプレイ部１２０を用いて表示する立体映像をレンダリングする。入力映像は、複数の映像ピクセルを含んでもよい。映像ピクセルのディスパリティに基づいて当該映像ピクセルが有する視点方向が決定されてもよい。映像ピクセルのディスパリティは、左映像と右映像のステレオ映像で互いに対応する映像ピクセル間の視点差又は距離を示す。例えば、入力映像は左映像に対応し、左映像と左映像に対応する右映像間の対応関係に基づいて、左映像に含まれた映像ピクセルのディスパリティを決定してもよい。

映像レンダリング部１３０は、入力映像に含まれた映像ピクセルのディスパリティを推定する。推定されたディスパリティに基づいて、映像ピクセルが有する視点方向が決定されてもよい。入力映像に含まれた各映像ピクセルごとに映像ピクセルで出力する光線に関するディスパリティ関数が決定されてもよい。ディスパリティ関数は、映像ピクセルと当該映像ピクセルのディスパリティが表現するライトフィールドの表現式を示す。

一実施形態によると、ディスプレイ装置１１０は、入力映像として左映像を受信し、参照映像として右映像を受信してもよい。ディスプレイ装置１１０は左映像及び右映像を含むステレオ映像を受信し、映像レンダリング部１３０はステレオ映像に基づいて立体映像をレンダリングしてもよい。参照映像は、同一の被写体を入力映像が撮影された視点と異なる視点で撮影した映像を示す。映像レンダリング部１３０は、入力映像と参照映像との間の視点差に基づいて映像ピクセルのディスパリティを推定してもよい。映像レンダリング部１３０は、左映像と右映像に対するステレオ整合により深度情報を推定し、深度情報から入力映像に含まれた映像ピクセルのディスパリティを推定してもよい。ステレオ整合は、ステレオ映像で対応する映像ピクセルの視点差又は距離を用いて深度情報を取得する方法である。

他の実施形態によると、ディスプレイ装置１１０は、入力映像としてカラー映像を受信し、ディスパリティ映像として深度映像を受信してもよい。映像レンダリング部１３０は、深度映像からカラー映像の特定映像ピクセルが有する深度情報を識別し、識別された深度情報に基づいて当該映像ピクセルのディスパリティを推定してもよい。

映像レンダリング部１３０は、入力映像の映像ピクセルが有する視点方向に基づいて決定された１つ又は複数のディスプレイピクセル（又は、立体映像内の位置）に当該映像ピクセルのピクセル値（又は、カラー値）を割り当てて立体映像をレンダリングしてもよい。映像レンダリング部１３０は、入力映像に含まれた映像ピクセルのディスパリティを推定した後、ディスプレイピクセルの視点方向に対する第１モデル及び映像ピクセルの視点方向に対する第２モデルを決定してもよい。

ディスプレイピクセルの視点方向に対する第１モデルは、ディスプレイ装置１１０が示すライトフィールド関数として、ディスプレイピクセルから出力される光線が有する視点方向又は視点位置に関する関数を示す。各ディスプレイピクセルが有する視点方向に対する視点情報は予め格納されてもよく、映像レンダリング部１３０は当該視点情報に基づいて第１モデルを決定してもよい。一実施形態によると、第１モデルは、ディスプレイ部１２０に含まれた全体ディスプレイピクセルのうち、垂直方向又は水平方向のいずれか１つのラインに含まれたディスプレイピクセルの視点方向に基づいて決定されてもよい。

映像ピクセルの視点方向に対する第２モデルは、映像ピクセルが示すライトフィールド関数として、映像ピクセルから出力される光線が有する視点方向又は視点位置に関する関数として、当該光線が有する視点方向又は視点位置は映像ピクセルのディスパリティに基づいて決定されてもよい。映像レンダリング部１３０は、映像ピクセルに対して推定されたディスパリティに基づいて、映像ピクセルから出力される光線の視点方向を決定してもよい。第２モデルは、それぞれの映像ピクセルごとに決定されてもよい。

映像レンダリング部１３０は、ディスプレイピクセルの視点方向に対する第１モデル及び映像ピクセルの視点方向に対する第２モデルを用いて、当該映像ピクセルのピクセル値を割り当てるディスプレイピクセルを決定してもよい。映像レンダリング部１３０は、第１モデル及び第２モデル間の対応関係を用いて映像ピクセルのピクセル値を割り当てるディスプレイピクセルを決定し、決定されたディスプレイピクセルに第２モデルの対象である特定映像ピクセルのピクセル値を割り当て立体映像をレンダリングしてもよい。このように、映像レンダリング部１３０は、立体映像を表示するために多視点映像を利用することなく、立体映像を直接生成してもよい。

映像レンダリング部１３０は、特定ラインに位置するディスプレイピクセルの視点方向情報と位置情報に基づいて第１モデルを決定してもよい。映像レンダリング部１３０は、ディスプレイピクセルの位置と当該ディスプレイピクセルが有する視点方向（又は、視点位置）間の対応関係を示す複数の基準点を設定し、設定された基準点を通過する中間関数を決定することで第１モデルをモデリングしてもよい。例えば、映像レンダリング部１３０は基準点を通過し、互いに同じ傾きを有する線形関数の集合を中間関数として決定してもよい。

基準点は、ディスプレイ装置１１０に含まれた全体ディスプレイピクセルのうち、垂直方向のいずれか１つのラインに位置するディスプレイピクセル、又は水平方向のいずれか１つのラインに位置するディスプレイピクセルの単位で設定されてもよい。例えば、基準点は、ディスプレイ装置１１０の全体ディスプレイピクセルのいずれか１つの行（ｒｏｗ）又はいずれか１つの列（ｃｏｌｕｍｎ）に位置するディスプレイピクセル単位で設定されてもよい。

映像レンダリング部１３０は、映像ピクセルが有するディスパリティに基づいて第２モデルを決定してもよい。映像レンダリング部１３０は、映像ピクセルから出力される光線の視点方向に関する関数のディスパリティ関数を決定することで、第２モデルをモデリングしてもよい。ディスパリティ関数は、各映像ピクセルごとに決定されてもよい。

一実施形態によると、映像レンダリング部１３０は、中間関数とディスパリティ関数との間の交差点を決定し、中間関数とディスパリティ関数との間の交差点に基づいて、映像ピクセルのピクセル値が割り当てられる１つ又は複数のディスプレイピクセルを決定してもよい。例えば、映像レンダリング部１３０は、中間関数に含まれた基準点のうち、中間関数とディスパリティ関数との間の交差点と最も近い距離にある基準点を決定し、決定された基準点に対応するディスプレイピクセルに当該映像ピクセルのピクセル値を割り当ててもよい。

例えば、映像ピクセルＰのディスパリティ関数がＱであり、中間関数とディスパリティ関数Ｑとの間の交差点に最も近い距離にある基準点を基準点Ｒであると仮定すると、映像レンダリング部１３０は、基準点Ｒに対応するディスプレイピクセルＫに映像ピクセルＰのピクセル値を割り当ててもよい。立体映像が表示されるとき、ディスプレイピクセルＫを介して映像ピクセルのＰのピクセル値を出力してもよい。

他の実施形態によると、映像レンダリング部１３０は、複数の第２モデルを用いて立体映像をレンダリングしてもよい。映像レンダリング部１３０は、複数の映像ピクセルのディスパリティ関数を用いてピクセル値が割り当てられるディスプレイピクセルを決定してもよい。映像レンダリング部１３０は、ディスプレイピクセルの位置と当該ディスプレイピクセルが有する視点方向との間の対応関係を示す基準点を設定し、複数の基準点を通過する中間関数を決定してもよい。映像レンダリング部１３０は、互いに隣接する映像ピクセルそれぞれに対するディスパリティ関数を決定してもよい。映像レンダリング部１３０は、複数のディスパリティ関数の間の領域とオーバラップされる中間関数の基準点を識別し、識別された基準点に対応するディスプレイピクセルに当該映像ピクセルのピクセル値を補間して割り当ててもよい。

例えば、映像レンダリング部１３０は、映像ピクセルＡに関するディスパリティ関数Ｂと映像ピクセルＣに関するディスパリティ関数Ｄを決定し、ディスパリティ関数Ｂとディスパリティ関数Ｄとの間の領域に含まれる中間関数の基準点を識別してもよい。その後、映像レンダリング部１３０は、識別された基準点に対応するディスプレイピクセルに映像ピクセルＡのピクセル値及び映像ピクセルＣのピクセル値を補間して割り当ててもよい。

ディスプレイピクセルに対する第１モデルは、ディスプレイ部１２０に含まれた全体ディスプレイピクセルのうち、水平方向又は垂直方向のいずれか１つのラインに位置するディスプレイピクセルに基づいて定義されてもよい。映像ピクセルに対する第２モデルは、上記ディスプレイピクセルのラインに対応する位置に含まれた映像ピクセルのいずれか１つの映像ピクセルに対して定義されてもよい。例えば、第１モデルがディスプレイ部１２０に含まれた全体ディスプレイピクセルのうち、ｉ行に位置するディスプレイピクセルを対象として決定されたとすると、第２モデルは上記のｉ行に対応する位置にある各映像ピクセルに対して決定されてもよい。

映像レンダリング部１３０は、他のラインに位置するディスプレイピクセル及び映像ピクセルに対して上記過程を繰り返し行うことで、ディスプレイ部１２０を介して表示する立体映像を生成することができる。

図２は、一実施形態に係る映像レンダリング装置の動作を説明するための図である。映像レンダリング装置２１０は、映像レンダリング部１３０であってもよい。

映像レンダリング装置２１０は、立体映像をレンダリングする。映像レンダリング装置２１０は、立体映像をレンダリングするためにマルチビュー映像を生成することなく、ディスプレイピクセルに直接映像ピクセルのピクセル値を割り当てて立体映像を生成してもよい。一実施形態によると、映像レンダリング装置２１０は、３Ｄテレビ、３Ｄスマートフォン、３Ｄタブレット、３Ｄ ＤＩＤ（ｄｉｇｉｔａｌ ｉｎｆｏｒｍａｔｉｏｎ ｄｉｓｐｌａｙ）などの３Ｄレンダリング機器で動作する。

図２を参照すると、映像レンダリング装置２１０は、ディスパリティ推定部２２０及び映像レンダリング部２３０を含む。

ディスパリティ推定部２２０は、入力映像に含まれた映像ピクセルのディスパリティを推定する。映像ピクセルのディスパリティに基づいて、当該映像ピクセルが有する視点方向が決定されてもよい。例えば、ディスパリティ推定部２２０は、他の視点で撮影された映像の参照映像と入力映像との間の視点差に基づいて、映像ピクセルのディスパリティを推定してもよい。ディスパリティ推定部２２０は、入力映像に含まれた全ての映像ピクセルに対して参照映像で対応する映像ピクセルを探索し、入力映像と参照映像との間で対応する映像ピクセル間の距離を算出して、入力映像内の全ての映像ピクセルに対して距離／ディスパリティ値を含む映像を取得してもよい。他の例として、ディスパリティ推定部２２０は、深度映像に示された深度情報を用いて当該映像ピクセルのディスパリティを推定してもよい。推定されたディスパリティは、深度マップ（ｄｅｐｔｈ ｍａｐ）又はディスパリティマップ（ｄｉｓｐａｒｉｔｙ ｍａｐ）の形態として表現されてもよい。

映像レンダリング部２３０は、映像ピクセルの視点方向に対応する視点方向を有する１つ又は複数のディスプレイピクセルに映像ピクセルのピクセル値を割り当てて立体映像をレンダリングしてもよい。ディスプレイピクセルは、予め決定された視点方向を有してもよく、予め決定された個数の互いに異なる視点方向のいずれか１つの視点方向を有してもよい。ディスプレイピクセルの視点方向は、立体映像を表示するディスプレイ装置に含まれたレンチキュラーレンズの構造的な特徴に基づいて決定されてもよい。レンチキュラーレンズの構造的な特徴により、各ディスプレイピクセルから放射される光線の移動経路を決定してもよい。

映像レンダリング部２３０は、映像ピクセルの視点方向及びディスプレイピクセルの視点方向に基づいて、複数のディスプレイピクセルのうち映像ピクセルのピクセル値を割り当てるディスプレイピクセルを探索してもよい。映像レンダリング部２３０は、ディスプレイピクセルの視点方向に対する第１モデルと映像ピクセルの視点方向に対する第２モデルに基づいて、マルチビュー映像を利用することなく、立体映像を直接レンダリングしてもよい。

映像レンダリング部２３０は、ディスプレイピクセルの視点方向に対する第１モデルを決定してもよい。映像レンダリング部２３０は、ディスプレイピクセルの位置と視点方向との間の対応関係に基づいて第１モデルを決定してもよい。映像レンダリング部２３０は、ディスプレイパネルに配置されたディスプレイピクセルの位置と各ディスプレイピクセルに割り当てられた視点方向との間の対応関係に基づいて第１モデルを決定してもよい。映像レンダリング部２３０は、ディスプレイピクセルの位置と当該ディスプレイピクセルが有する視点方向との間の対応関係を示す複数の基準点を設定し、設定された基準点を通過する中間関数を決定することで第１モデルをモデリングする。

映像レンダリング部２３０は、ディスパリティ推定部２２０により推定された映像ピクセルのディスパリティに基づいて、映像ピクセルの視点方向に対する第２モデルを決定してもよい。映像レンダリング部２３０は、入力映像内の映像ピクセルの位置を基準として映像ピクセルから出力される光線の方向をモデリングして第２モデルを決定してもよい。映像レンダリング部２３０は、第２モデルとして映像ピクセルから出力される光線の視点方向に関する関数のディスパリティ関数を決定してもよい。ディスパリティ関数は、各映像ピクセルごとに決定されてもよい。

映像レンダリング部２３０は、第１モデル及び第２モデルを用いて当該映像ピクセルのピクセル値を割り当てる１つ又は複数のディスプレイピクセルを決定してもよい。映像レンダリング部２３０は、第１モデル及び第２モデル間の対応関係を用いて映像ピクセルのピクセル値を割り当てるディスプレイピクセルを決定し、決定されたディスプレイピクセルに第２モデルの対象である特定映像ピクセルのピクセル値を割り当て、立体映像をレンダリングする。

一実施形態によると、映像レンダリング部２３０は、中間関数とディスパリティ関数との間の交差点を決定し、中間関数とディスパリティ関数との間の交差点に基づいて、映像ピクセルのピクセル値が割り当てられる１つ又は複数のディスプレイピクセルを決定してもよい。例えば、映像レンダリング部２３０は、中間関数に含まれた基準点のうち、中間関数とディスパリティ関数との間の交差点と最も近い距離にある基準点を決定し、決定された基準点に対応するディスプレイピクセルに当該映像ピクセルのピクセル値を割り当ててもよい。または、映像レンダリング部２３０は、映像ピクセルのディスパリティに基づいて決定されたピクセル領域に含まれる基準点を識別し、識別された基準点に対応するディスプレイピクセルに当該映像ピクセルのピクセル値を割り当ててもよい。

他の実施形態によると、映像レンダリング部２３０は、第１モデルと複数の映像ピクセルに対する第２モデルを用いて、映像ピクセルのピクセル値を割り当てる１つ又は複数のディスプレイピクセルを決定してもよい。映像ピクセルは、互いに隣接する映像ピクセルであってもよい。映像レンダリング部２３０は、複数の映像ピクセルのディスパリティ関数を用いてピクセル値が割り当てられるディスプレイピクセルを決定してもよい。映像レンダリング部２３０は、ディスプレイピクセルの位置と当該ディスプレイピクセルが有する視点方向間の対応関係を示す基準点を設定し、複数の基準点を通過する中間関数を決定してもよい。映像レンダリング部２３０は、互いに隣接する映像ピクセルそれぞれに対するディスパリティ関数を決定してもよい。映像レンダリング部２３０は、複数のディスパリティ関数の間の領域とオーバラップされる中間関数の基準点を識別し、識別された基準点に対応するディスプレイピクセルに当該映像ピクセルのピクセル値を補間して割り当ててもよい。基準点が複数が識別された場合、映像レンダリング部２３０は、それぞれの基準点に対応するディスプレイピクセルに当該映像ピクセルのピクセル値を補間して割り当ててもよい。

図３は、一実施形態に係るディスプレイピクセルが有する視点方向を説明するための図である。

立体映像を表示するディスプレイ装置のディスプレイパネル３１０は、複数のディスプレイピクセル３３２、３３４、３３６、３３８、３４０を含む。例えば、各ディスプレイピクセル３３２、３３４、３３６、３３８、３４０はＲサブピクセル、Ｇサブピクセル、及びＢサブピクセルのいずれか１つであってもよい。ディスプレイ装置は、ディスプレイパネル３１０以外に立体映像を実現するためのレンチキュラーレンズ３２０を含んでもよい。レンチキュラーレンズ３２０は、ディスプレイパネル３１０の上部に備えられている。

一実施形態によると、レンチキュラーレンズ３２０は、複数のレンチキュールドゥルを含んでもよく、対角線方向に傾いた形態を有してもよい。各ディスプレイピクセル３３２、３３４、３３６、３３８、３４０から出力された光線は、レンチキュラーレンズ３２０により屈折又は通過して３Ｄ空間上の特定位置に移動する。レンチキュラーレンズ３２０の構造的な特徴により、各ディスプレイピクセル３３２、３３４、３３６、３３８、３４０から出力された光線の移動経路が決定されてもよく、そのため、ディスプレイピクセル３３２、３３４、３３６、３３８、３４０は予め設定された視点方向を有してもよい。

各ディスプレイピクセル３３２、３３４、３３６、３３８、３４０ごとに、どのような視点方向のピクセル情報が出力されなければならないかを予め決定してもよい。例えば、ディスプレイ装置が立体映像を正常に表示するためには、ディスプレイピクセル３３２、３３４、３３６、３３８、３４０がそれぞれ第１視点方向のピクセル情報、第２視点方向のピクセル情報、第３視点方向のピクセル情報、第４視点方向のピクセル情報、及び第５視点方向のピクセル情報を出力することが、レンチキュラーレンズ３２０の構造的な特徴により予め決定されてもよい。

ディスプレイピクセル３３２から出力される光線は、レンチキュラーレンズ３２０を経由して第１視点方向に移動し、ディスプレイピクセル３３４から出力される光線は、レンチキュラーレンズ３２０を経由して第２視点方向に移動する。同様に、ディスプレイピクセル３３６から出力される光線は、レンチキュラーレンズ３２０を経由して第３視点方向に移動し、ディスプレイピクセル３３８から出力される光線は、レンチキュラーレンズ３２０を経由して第４視点方向に移動し、ディスプレイピクセル３４０から出力される光線はレンチキュラーレンズ３２０を経由して第５視点方向に移動する。

レンチキュラーレンズ３２０の構造的な特徴により、ディスプレイピクセルが有する視点方向は反復性又は周期性を有する。例えば、図３に示すように、ディスプレイパネル３１０の１列に位置するディスプレイピクセルは、第１視点方向、第２視点方向、第３視点方向、第４視点方向、及び第５視点方向が継続的に反復されるパターンを有してもよい。

ディスプレイパネル３１０に含まれたディスプレイピクセルが有する視点方向は、ディスプレイ装置の設計過程で予め決定され、ディスプレイパネル３１０の全体ディスプレイピクセルの視点方向に関する情報を予め格納してもよい。映像レンダリング装置は、ディスプレイピクセルに関する情報を用いて第１モデルを決定してもよい。例えば、ディスプレイピクセルに関する情報は、各ディスプレイピクセルのディスプレイパネル３１０上の位置情報及び各ディスプレイピクセルが有する視点方向情報を含んでもよい。

また、図３に示すように、映像処理回路３４５は入力映像を受信し、入力映像に含まれた映像ピクセルのピクセル値をディスプレイピクセル３３２、３３４、３３６、３３８、３４０に割り当ててもよい。その後、映像処理回路３４５は、プロセッサ３５０、ゲートドライバ３５５、信号ドライバ３６０、及びメモリ３６５を用いて割り当てられたピクセル値をディスプレイピクセル３３２、３３４、３３６、３３８、３４０に供給する。映像処理回路３４５は、映像レンダリング部１３０及び映像レンダリング装置２１０の機能を行う。

例えば、プロセッサ３５０は、メモリ３６５に格納された命令を実行することで、映像レンダリング部１３０及び映像レンダリング装置２１０の機能を行うことができる。プロセッサ３５０は、ゲートドライバ３３５及び信号ドライバ３６０にディスプレイピクセル３３２、３３４、３３６、３３８、３４０を選択するタイミング情報と割り当てられたピクセル値情報を提供する。

図４及び図５は、一実施形態に係る第１モデルを説明するための図である。

ディスプレイ装置のライトフィールド関数に対応する第１モデルは、ディスプレイピクセルの位置と各ディスプレイピクセルが有する視点方向との間の対応関係に基づいて決定されてもよい。図４は、ディスプレイピクセルの位置とディスプレイピクセルが有する視点方向との間の対応関係を示す座標平面を示している。図４に示す座標平面で、ｘ軸はディスプレイピクセルの位置を示し、ｙ軸はディスプレイピクセルが有する視点方向を示す。ここでは、説明の便宜のためにディスプレイピクセルが有する視点方向が総５個であると仮定する。座標平面でディスプレイピクセルの位置と当該ディスプレイピクセルの視点方向に対応する点を基準点と定義する。

第１モデルは、特定ライン上に配置されたディスプレイピクセルに基づいてモデリングする。図４には、水平方向のいずれか１つの行（ｒｏｗ）に配置された１０個のディスプレイピクセルの位置と、各ディスプレイピクセルが有する視点方向との間の対応関係を示す１０個の基準点が図示されている。基準点は、ディスプレイ装置が表現できる光線を示す。ディスプレイ装置は、全てのライトフィールド、言い換えれば、実際の世界の全ての光線を表現できないため、特定構造を有するライトフィールドに光線を出力するようになる。

図５は、レンチキュラーレンズを用いて立体映像を実現するディスプレイ装置のライトフィールドを示す。図５において、ディスプレイ装置のライトフィールドは「Ｘ」符号と表示し、「Ｘ」符号は基準点５１０に対応する。ディスプレイ装置のライトフィールドは、ディスプレイ装置に含まれたディスプレイピクセルの位置と当該ディスプレイピクセルから出力される光線の視点位置に基づいて決定されてもよい。図５において、ｘ軸はディスプレイ装置で垂直方向又は水平方向のいずれか１つのラインに位置するディスプレイピクセルの位置を示し、ｙ軸は各ディスプレイピクセルが有する視点方向を示す。

実際のディスプレイ装置は、無限のディスプレイピクセルではない、サブピクセルという限定した光源を用いるため、ディスプレイ装置のライトフィールドは、図５に示す「Ｘ」符号のようにサンプリングされた基準点５１０に表現してもよい。基準点５１０は、ディスプレイ装置のディスプレイピクセルが有する視点方向に基づいて決定されてもよい。映像レンダリング装置は、基準点５１０に対応するディスプレイピクセルのライトフィールドを生成することで立体映像を生成できる。

ディスプレイ装置が表現する連続的なライトフィールド関数ｆ_LF（ｘ）は、次の数式（１）のように示すことができる。

ここで、ｘは３Ｄディスプレイ装置に含まれたディスプレイピクセルで垂直方向又は水平方向の一ラインに含まれたディスプレイピクセルの位置を識別するための変数である。ｆはレンチキュラーレンズの焦点距離を示し、Ｄはディスプレイ装置からの視聴距離を示す。ｖ_n（ｘ）はｘ位置のディスプレイピクセルから出力された光線がレンチキュラーレンズのｎ番目のレンチキュールを通過した後に達する視点位置を示す。

例えば、図５に示す基準点５１０は、次の数式（２）のように示すことができる。

数式（２）のｆ_LF（ｉ，ｓ）は、サンプリングされた値を有するディスプレイ装置のライトフィールド関数を示す。上記にサンプリングされた値は基準点５１０に対応する。数式（２）は、視聴領域Ｖとレンチキュラーレンズの特性を考慮して数式（１）を再定義した数式である。レンチキュラーレンズを用いるディスプレイ装置のライトフィールド関数は、数式（２）のように離散的な形態を有してもよい。視聴領域Ｖは、左眼の視点位置Ｖ_Lと右眼の視点位置Ｖ_Ｒの間の領域を示し、ｆはレンチキュラーレンズの焦点距離を示す。Ｄはディスプレイ装置からの視聴距離を示し、ｍｏｄ（ａ，ｂ）はａをｂに割ったときの残りを出力する関数を示す。

ｉは３Ｄディスプレイ装置に含まれたディスプレイピクセルで垂直方向又は水平方向の一ラインに含まれたディスプレイピクセルの位置を識別するための変数を示し、１、２、…、ｎ（自然数）の値を有する。ｓはｉ＊３の次元を有する変数を示し、１、２、…、ｍ（自然数）の値を有する。ｘ（ｓ）はｓによるディスプレイピクセルの位置値を示す。ｖ_s（ｉ）はディスプレイピクセルｉから出力された光線がレンチキュラーレンズのｓ番目のレンチキュールを通過した後に達する視点位置を示す。レンチキュラーレンズが対角方向に傾いた形態を有する場合、レンチキュールの開始点ｖ_１（ｓ＝１）はｉによって変わるため、ｖ_s（ｉ）はｉの関数に表現される。

ディスプレイピクセルが有する視点方向は、ディスプレイ装置内で特定ディスプレイピクセルを識別するための位置インデックスと、特定ディスプレイピクセルが有する視点方向を識別するための視点インデックスに基づいて一定のパターンで示すことができる。ディスプレイピクセルに対する位置インデックス及び視点インデックスに基づいて各ディスプレイピクセルの視点方向を示すパターンを織物パターン（ｗｅａｖｉｎｇ ｐａｔｔｅｒｎ）と定義する。織物パターンは、ディスプレイ装置で水平方向又は垂直方向のいずれか１つのラインに位置するディスプレイピクセルが有する視点方向又は視点位置を示す。織物パターンは、ディスプレイピクセルの位置と当該ディスプレイピクセルの視点方向との間の対応関係を示す複数の基準点５１０を含んでもよい。レンチキュラーレンズの構造的な特性による周期性を利用すると、各ディスプレイピクセルに対応する視点方向を図５に示すようなパターンに示すことができる。

映像レンダリング装置は、ディスプレイピクセルによる視点方向を示す基準点５１０に基づいて中間関数５２０を決定してもよい。中間関数５２０は、１つ又は複数の基準点５１０を通過する関数として表現されてもよい。ディスプレイピクセルに対する第１モデルは、基準点５１０を通過する複数の中間関数５２０にモデリングされる。一実施形態によると、映像レンダリング装置は、次の数式（３）に基づいて中間関数を決定してもよい。数式（３）によると、中間関数は、基準点を通過する複数の線形関数に定義されてもよい。

数式（３）において、ｐは織物パターンを複数の線形関数にグループ化するために用いられる変数を示し、１、２、…、ｑ（自然数）の値を有する。ｉはディスプレイ装置に含まれたディスプレイピクセルで垂直方向又は水平方向のいずれか１つのラインに含まれたディスプレイピクセルの位置を識別するための変数を示し、１、２、…、ｎ（自然数）の値を有する。ｓはｉ＊３の次元を有する変数を示し、１、２、…、ｍ（自然数）の値を有する。ｆ_wp（ｓ，ｐ，ｉ）は変数ｓ、ｐ、ｉの値に基づいて決定される中間関数を示す。ａ_wpはｆ_wp（ｓ，ｐ，ｉ）の傾きを示し、次の数式（４）のように定義される。

数式（４）において、ｆ_LF（ｉ，ｃ+ｎ_wp）は数式（２）のサンプリングされた値を有する３Ｄディスプレイ装置のライトフィールド関数に対応する。ｉは３Ｄディスプレイ装置に含まれたディスプレイピクセルで垂直方向又は水平方向のいずれか１つのラインに含まれたディスプレイピクセルの位置を識別するための変数を示し、１、２、…、ｎ（自然数）の値を有する。ｃは一般定数であり、１、２、…、ｗ（自然数）の値を有する。ｎ_wpは同一の中間関数に含まれた基準点のうち互いに隣接する基準点が有するｓ方向にの離隔距離を示す。

ｂ_wp（ｉ）はｉによるｆ_wp（ｓ，ｐ，ｉ）関数のｙ切片を示し、次の数式（５）のように定義される。

数式（５）において、ｆ_LF（ｉ，１）は数式（２）のサンプリングされた値を有するディスプレイ装置のライトフィールド関数に対応する。ａ_wpは数式（４）の変数ｓ、ｐ、ｉの値に基づいて決定される中間関数ｆ_wp（ｓ，ｐ，ｉ）の傾きに対応する。

数式（３）で、ａ_ｐはｆ_wp（ｓ，ｐ，ｉ）が示す複数の中間関数５２０で隣接する中間関数が互いにどれ程離れているかを示す。ａ_pは次の数式（６）のように定義される。

数式（６）において、ｆ_LF（ｉ，ｃ+ｎ_mr）は数式（２）のサンプリングされた値を有する３Ｄディスプレイ装置のライトフィールド関数に対応し、ａ_wpは数式（４）の変数ｓ、ｐ、ｉの値に基づいて決定される中間関数ｆ_wp（ｓ，ｐ，ｉ）の傾きに対応する。ｃは一般定数を示し、１、２、…、ｗ（自然数）の値を有する。ｎ_mrは数式（３）のｆ_wp（ｓ，ｐ，ｉ）でｐによる中間関数の開始点の間の離隔距離を示す。例えば、ｐ＝１である中間関数の開始点をａと仮定すると、ｐ＝２である中間関数の開始点はａ＋ｎ_mrとなる。

図６は、一実施形態に係る第２モデルを説明するための図である。

３Ｄ空間で特定視点の光線をキャプチャーしたカメラ映像が入力映像として映像レンダリング装置に入力されてもよい。入力映像のライトフィールドは、様々な方法により表現してもよい。入力映像のライトフィールドは、入力映像内の映像ピクセルの位置と映像ピクセルから出力される光線の視点方向に基づいて決定されてもよい。映像ピクセルから出力される光線の視点方向は、当該映像ピクセルが有するディスパリティに基づいて決定されてもよい。

入力映像でカラー値とディスパリティを有する映像ピクセルのライトフィールドは、左視点と右視点との間の距離を視聴領域Ｖであると仮定した場合、「Ｖ／ディスパリティ」の傾きを有し、本来の映像位置を通過する直線方程式のディスパリティ関数にモデリングしてもよい。図６に示す座標平面で、ディスパリティ関数６３０は「Ｖ／ディスパリティ」の傾きを有し、本来の映像位置（ａ，Ｖ_L）を通過する直線方程式で図示されている。「Ｖ_L」６２０は視聴領域で左眼の視点位置を示し、「Ｖ_R」６１０は視聴領域で右眼の視点位置を示す。

映像レンダリング装置は、入力映像の映像ピクセルが有するディスパリティに基づいて映像ピクセルと映像ピクセルのディスパリティが表現するディスパリティ関数６３０を決定してもよい。映像ピクセルが有するディスパリティ関数６３０によって当該映像ピクセルに対する第２モデルが決定されてもよい。

例えば、映像レンダリング装置は、次の数式（７）に基づいて（ｉ，ｊ）に位置する映像ピクセルのディスパリティ関数を決定してもよい。

左視点Ｖ_Lと右視点Ｖ_Rとの間の距離を視聴領域Ｖといい、入力映像が左映像であると仮定した場合、映像レンダリング装置は、ｘ方向のディスパリティ間のＶの傾きを有して映像ピクセルの本来位置（３ｊ，Ｖ_L）を通過する直線方程式をディスパリティ関数として決定してもよい。数式（７）は、入力映像で位置（ｉ，ｊ）の映像ピクセルが有するディスパリティ関数を示す。ｉは入力映像で映像ピクセルの行（ｒｏｗ）位置を識別するための変数であり、ｊは入力映像で映像ピクセルの列（ｃｏｌｕｍｎ）位置を識別するための変数である。ｓはディスプレイピクセルの位置が３つのサブピクセル（Ｒサブピクセル、Ｇサブピクセル、及びＢサブピクセル）に基づいて設定されることで、ディスプレイ装置のライトフィールド関数と次元を合わせるための変数として、ｊ＊３の次元を有する。ｄは、入力映像で位置（ｉ，ｊ）の映像ピクセルが有するディスパリティを示す。

図７は、一実施形態に係る第１モデル及び第２モデルに基づいて立体映像をレンダリングする過程を説明するための図である。

映像レンダリング装置は、ディスプレイピクセルに対する第１モデルと映像ピクセルに対する第２モデルに基づいて立体映像をレンダリングする。第１モデルは、ディスプレイピクセルの位置とディスプレイピクセルが有する視点方向との間の対応関係を示す基準点に基づいてモデリングしてもよく、第２モデルは、映像ピクセルが有するディスパリティによるディスパリティ関数に基づいてモデリングしてもよい。映像レンダリング装置は、映像ピクセルの視点方向に対応する視点方向を有する１つ又は複数のディスプレイピクセルに当該映像ピクセルのピクセル値を割り当ててもよい。

一実施形態によると、ディスプレイパネルに含まれたディスプレイピクセルを用いて出力される立体映像７１０は、ライン単位でレンダリングされてもよい。図７に示された図では、出力される立体映像７１０でライン７２０の位置に対応するディスプレイピクセルに対して第１モデルが決定されてもよい。映像レンダリング装置は、ライン７２０の位置に配置されたディスプレイピクセルの位置と、当該ディスプレイピクセルが有する視点方向に基づいて第１モデルを決定してもよい。第１モデルは、数式（３）ないし数式（６）に基づいて決定された中間関数５２０により決定されてもよく、中間関数５２０は複数の基準点５１０を連結する関数を示す。

映像レンダリング装置は、入力映像でライン７２０に対応する位置に存在する映像ピクセルのいずれか１つの映像ピクセルに対するディスパリティ関数６３０に基づいて第２モデルを決定してもよい。第２モデルは、数式（７）に基づいてモデリングされてもよい。

映像レンダリング装置は、複数の中間関数５２０とディスパリティ関数６３０との間の交差点を決定してもよい。映像レンダリング装置は、交差点に対応するディスプレイピクセルを決定し、決定されたディスプレイピクセルにディスパリティ関数６３０の対象となる映像ピクセルのピクセル値を割り当ててもよい。

一実施形態によると、映像レンダリング装置は、交差点と最も近い基準点を決定し、決定された基準点に対応するディスプレイピクセルにディスパリティ関数６３０の対象となる映像ピクセルのピクセル値を割り当ててもよい。映像レンダリング装置は、中間関数５２０とディスパリティ関数６３０との間の全ての交差点に対して上記過程を繰り返し行ってもよい。基準点５１０は、レンチキュラーレンズの構造的な特徴による周期性を有するため、２つの交差点の間の差に基づいて他の交差点を決定してもよい。

他の実施形態によると、ディスパリティ関数６３０は領域に表現されてもよく、映像レンダリング装置は、ディスパリティ関数６３０が示す領域に含まれる基準点を識別し、識別された基準点に対応するディスプレイピクセルにディスパリティ関数６３０の対象となる映像ピクセルのピクセル値を割り当ててもよい。

図７では、中間関数５２０とディスパリティ関数６３０との間の交差点に対応する基準点が６個決定され、各基準点に対応するディスプレイピクセルの位置７３２、７３４、７３６、７３８、７４０、７４２にディスパリティ関数６３０の対象となる映像ピクセルのピクセル値が割り当てられてもよい。

例えば、ディスパリティ関数６３０が映像ピクセル「Ａ」に対するディスパリティ関数であれば、ディスプレイピクセルの位置７３２、７３４、７３６、７３８、７４０、７４２には映像ピクセル「Ａ」が有するピクセル値が割り当てられてもよい。その後、入力映像でライン７２０に対応する位置に存在する映像ピクセルのうち、映像ピクセル「Ａ」ではない他の映像ピクセル「Ｂ」に対する第２モデルが決定され、再びライン７２０の位置に対応するディスプレイピクセルに対する第１モデルと映像ピクセル「Ｂ」に対する第２モデルに基づいて、映像ピクセル「Ｂ」のピクセル値を割り当てるディスプレイピクセルが決定されてもよい。映像ピクセル「Ｂ」に対する第２モデルは、映像ピクセル「Ｂ」に対して推定されたディスパリティに基づいて決定されてもよい。

ライン７２０に対応する位置に存在する映像ピクセルに対して上記過程が実行されれば、映像レンダリング装置は、ライン７２０の次のラインに位置するディスプレイピクセルに対して第１モデルを決定し、次のラインに対応する位置に存在する映像ピクセルに対して再び上記過程を継続的に行ってもよい。前述したように映像レンダリング装置は、入力映像に含まれたそれぞれの映像ピクセルのピクセル値をディスプレイピクセルに直接マッピングすることで、多視点映像を生成しなくても立体映像を直接レンダリングしてもよく、立体映像のレンダリング過程で求められる算出量とリソース量を著しく減らし得る。

図８は、他の実施形態に係る第１モデル及び第２モデルに基づいて立体映像をレンダリングする過程を説明するための図である。

映像レンダリング装置は、複数の映像ピクセルが有する複数の第２モデルを用いて立体映像をレンダリングしてもよい。映像レンダリング装置は、複数の第２モデルを用いて映像ピクセルのピクセル値を割り当てるディスプレイピクセルを決定してもよい。図８は、隣接する映像ピクセルに対する複数のディスパリティ関数８３０、８４０を用いる実施形態に関し、ディスパリティ関数８３０は、いずれか１つの映像ピクセルに対するディスパリティ関数を示し、ディスパリティ関数８４０は、上記映像ピクセルに隣接する映像ピクセルに対するディスパリティ関数を示す。映像レンダリング装置は、ディスパリティ関数８３０とディスパリティ関数８４０との間の領域に基づいて、映像ピクセルのピクセル値を割り当てるディスプレイピクセルを決定してもよい。

映像レンダリング装置は、ディスプレイピクセルの位置とディスプレイピクセルが有する視点方向との間の対応関係を示す基準点８１０に基づいて中間関数８２０を決定し、中間関数８２０とディスパリティ関数８３０、８４０に基づいて映像ピクセルのピクセル値を割り当てるディスプレイピクセルを決定してもよい。映像レンダリング装置は、決定されたディスプレイピクセルに映像ピクセルのピクセル値が補間されたピクセル値を割り当ててもよい。

一実施形態によると、基準点８１０を含む中間関数８２０は数式（３）によって決定され、映像ピクセルのディスパリティ関数８３０、８４０は数式（７）に基づいて決定される。映像レンダリング装置は、ディスパリティ関数８３０とディスパリティ関数８４０との間の領域にオーバラップされる中間関数８２０の基準点８６０を決定してもよい。映像レンダリング装置は、ディスパリティ関数８３０とディスパリティ関数８４０との間の領域にオーバラップされる各基準点８６０に対応するディスプレイピクセルにディスパリティ関数８３０、８４０に対応する映像ピクセルのピクセル値を補間して割り当ててもよい。例えば、ディスパリティ関数８３０が映像ピクセル「Ａ」に対するディスパリティ関数であり、ディスパリティ関数８４０が映像ピクセル「Ｂ」に対するディスパリティ関数とすると、基準点８６０に対応するディスプレイピクセルには、映像ピクセル「Ａ」のピクセル値と映像ピクセル「Ｂ」に対するピクセル値が補間されて割り当てられてもよい。映像レンダリング装置は、他のディスプレイピクセル及び他の映像ピクセルに対しても上記過程を行ってもよい。

図９は、一実施形態に係る映像レンダリング方法の動作を説明するためのフローチャートである。

ステップＳ９１０で、映像レンダリング装置は、入力映像に含まれた映像ピクセルのディスパリティを推定する。映像ピクセルのディスパリティに基づいて当該映像ピクセルが有する視点方向が決定される。例えば、映像レンダリング装置は、他の視点で撮影された映像の参照映像と入力映像との間の視点差に基づいて、映像ピクセルのディスパリティを推定してもよい。映像レンダリング装置は、入力映像に含まれた全ての映像ピクセルに対して参照映像で対応する映像ピクセルを探索し、入力映像と参照映像との間で対応する映像ピクセルの間の距離を算出して映像ピクセルのディスパリティを推定してもよい。他の例として、映像レンダリング装置は、深度映像に示された深度情報を用いて当該映像ピクセルのディスパリティを推定してもよい。

ステップＳ９２０で、映像レンダリング装置は、映像ピクセルの視点方向に対応する視点方向を有する１つ又は複数のディスプレイピクセルに映像ピクセルのピクセル値を割り当てて立体映像をレンダリングする。ディスプレイピクセルは、所定の視点方向を有してもよく、予め決定された個数の互いに異なる視点方向のいずれか１つの視点方向を有してもよい。ディスプレイピクセルの視点方向は、立体映像を表示するディスプレイ装置に含まれたレンチキュラーレンズの構造的な特徴に基づいて決定されてもよい。

映像レンダリング装置は、映像ピクセルの視点方向及びディスプレイピクセルの視点方向に基づいて、複数のディスプレイピクセルのうち映像ピクセルのピクセル値を割り当てるディスプレイピクセルを探索してもよい。映像レンダリング装置は、ディスプレイピクセルの視点方向に対する第１モデルと映像ピクセルの視点方向に対する第２モデルに基づいてマルチビュー映像を利用することなく、立体映像を直接レンダリングしてもよい。

映像レンダリング装置は、ディスプレイパネルに配置されたディスプレイピクセルの位置と各ディスプレイピクセルに割り当てられた視点方向との間の対応関係に基づいて第１モデルを決定してもよい。映像レンダリング装置は、ディスプレイピクセルの位置と当該ディスプレイピクセルが有する視点方向との間の対応関係を示す複数の基準点を設定し、設定された基準点を通過する中間関数を決定してもよく、第１モデルをモデリングしてもよい。

映像レンダリング装置は、映像ピクセルのディスパリティに基づいて映像ピクセルの視点方向に対する第２モデルを決定してもよい。映像レンダリング装置は、入力映像内の映像ピクセルの位置を基準として映像ピクセルから出力される光線の方向をモデリングして第２モデルを決定してもよい。映像レンダリング装置は、映像ピクセルから出力される光線の視点方向に関する関数のディスパリティ関数を決定することで第２モデルをモデリングしてもよい。

映像レンダリング装置は、第１モデル及び第２モデルを用いて当該映像ピクセルのピクセル値を割り当てる１つ又は複数のディスプレイピクセルを決定してもよい。映像レンダリング装置は、第１モデル及び第２モデル間の対応関係を用いて映像ピクセルのピクセル値を割り当てるディスプレイピクセルを決定し、決定されたディスプレイピクセルに第２モデルの対象である特定映像ピクセルのピクセル値を割り当てて立体映像をレンダリングしてもよい。

一実施形態によると、映像レンダリング装置は、第１モデルと１つの映像ピクセルに対する第２モデルを用いて、映像ピクセルのピクセル値を割り当てる１つ又は複数のディスプレイピクセルを決定してもよい。映像レンダリング装置は、中間関数とディスパリティ関数との間の交差点を決定し、中間関数とディスパリティ関数との間の交差点に基づいて、映像ピクセルのピクセル値が割り当てられる１つ又は複数のディスプレイピクセルを決定してもよい。例えば、映像レンダリング装置は、中間関数に含まれた基準点のうち中間関数とディスパリティ関数との間の交差点と最も近い距離にある基準点を決定し、決定された基準点に対応するディスプレイピクセルに当該映像ピクセルのピクセル値を割り当ててもよい。または、映像レンダリング装置は、映像ピクセルのディスパリティに基づいて決定されたピクセル領域に含まれる基準点を識別し、識別された基準点に対応するディスプレイピクセルに当該映像ピクセルのピクセル値を割り当ててもよい。

他の実施形態によると、映像レンダリング装置は、第１モデルと複数の映像ピクセルに対する第２モデルを用いて映像ピクセルのピクセル値を割り当てる１つ又は複数のディスプレイピクセルを決定してもよい。映像ピクセルは、互いに隣接する映像ピクセルであってもよい。映像レンダリング装置は、複数の映像ピクセルのディスパリティ関数を用いて、ピクセル値が割り当てられるディスプレイピクセルを決定してもよい。映像レンダリング装置は、ディスプレイピクセルの位置と当該ディスプレイピクセルが有する視点方向との間の対応関係を示す基準点を設定し、複数の基準点を通過する中間関数を決定してもよい。映像レンダリング装置は、複数のディスパリティ関数の間の領域とオーバラップされる中間関数の基準点を識別し、識別された基準点に対応するディスプレイピクセルに当該映像ピクセルのピクセル値を補間して割り当ててもよい。

以上で説明された実施形態は、ハードウェア構成要素、ソフトウェア構成要素、及び／またはハードウェア構成要素及びソフトウェア構成要素の組合で実現してもよい。例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、または、命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答できる異なる装置のように、１つ以上の汎用コンピュータまたは特殊目的のコンピュータを用いて実現されてもよい。処理装置は、運用体制（ＯＳ）及び前記運用体制上で行われる１つ以上のソフトウェアアプリケーションを行ってもよい。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理及び生成してもよい。理解の便宜のために、処理装置は１つ使用されるものと説明された場合もあるが、当該の技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／または複数類型の処理要素を含んでいることが分かる。例えば、処理装置は、複数のプロセッサまたは１つのプロセッサ及び１つのコントローラを含んでもよい。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

ソフトウェアはコンピュータプログラム、コード、命令、またはこのうちの１つ以上の組合を含んでもよく、希望の通りに動作するよう処理装置を構成したり独立的または結合的に処理装置を命令してもよい。ソフトウェア及び／またはデータは、処理装置によって解釈されたり処理装置に命令またはデータを提供するためどのような類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体または装置、送信される信号波に永久的または一時的に具体化できる。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散し、分散された方法で格納されたり実行されてもよい。ソフトウェア及びデータは１つ以上のコンピュータで読み出し可能な記録媒体に格納されてもよい。

実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうち１つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを用いてコンピュータによって実行できる高級言語コードが含まれる。前記したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同様である。

上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。

したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。

１１０：ディスプレイ装置
１２０：ディスプレイ部
１３０：映像レンダリング部
２１０：映像レンダリング装置
２２０：ディスパリティ推定部
２３０：映像レンダリング部

Claims (30)

1. 複数のディスプレイピクセルを含むディスプレイ装置を介して表示される立体映像をレンダリングする映像レンダリング方法において、
   入力映像に含まれた映像ピクセルのディスパリティを推定するステップと、
   前記映像ピクセルの視点方向に対応する視点方向を有する少なくとも１つのディスプレイピクセルに前記映像ピクセルのピクセル値を割り当てるステップであって、前記映像ピクセルの視点方向は、前記映像ピクセルのディスパリティに基づいて決定される、ステップと、
   を含むことを特徴とする映像レンダリング方法。
2. 前記映像ピクセルのピクセル値を割り当てるステップは、
   前記ディスプレイピクセルの視点方向に対する第１モデルを取得するステップと、
   前記映像ピクセルのディスパリティに基づいた前記映像ピクセルの視点方向に対する第２モデルを取得するステップと、
   を含み、
   前記割り当てるステップは、前記取得した第１モデル及び前記取得した第２モデルに基づくことを特徴とする請求項１に記載の映像レンダリング方法。
3. 前記第１モデルは、各ディスプレイピクセルの位置と各ディスプレイピクセルの視点方向との間の関係に基づいたモデルであることを特徴とする請求項２に記載の映像レンダリング方法。
4. 前記第２モデルを取得するステップは、前記入力映像内の前記映像ピクセルの位置を基準として、前記映像ピクセルから出力される光線の方向をモデリングして前記第２モデルを取得することを特徴とする請求項２または請求項３に記載の映像レンダリング方法。
5. 前記映像ピクセルのピクセル値を割り当てるステップは、前記第１モデルと前記第２モデルと間の対応関係に基づいて、前記映像ピクセルの視点方向と同一の視点方向を有するディスプレイピクセルを識別し、前記識別されたディスプレイピクセルに前記映像ピクセルのピクセル値を割り当てるステップを含むことを特徴とする請求項２ないし請求項４のいずれか一項に記載の映像レンダリング方法。
6. 前記映像ピクセルは複数の映像ピクセルのいずれか１つであり、
   前記映像ピクセルのピクセル値を割り当てるステップは、
   複数のディスプレイピクセルの視点方向に対する第１モデルを取得するステップと、
   前記複数の映像ピクセルそれぞれの視点方向に関する第２モデルを取得するステップと、を含み、
   前記割り当てるステップは、前記取得した第１モデル及び前記取得した第２モデルに基づく
   ことを特徴とする請求項２ないし請求項５のいずれか一項に記載の映像レンダリング方法。
7. 前記映像ピクセルのピクセル値を割り当てるステップは、複数の映像ピクセルのピクセル値を補間し、補間されたピクセル値のいずれか１つを前記ディスプレイピクセルに割り当てるステップを含むことを特徴とする請求項６に記載の映像レンダリング方法。
8. 前記複数のディスプレイピクセルそれぞれは、予め決定された個数の互いに異なる視点方向のいずれか１つの視点方向を有することを特徴とする請求項１ないし請求項７のいずれか一項に記載の映像レンダリング方法。
9. 前記ディスプレイピクセルの視点方向は、前記ディスプレイ装置に含まれたレンチキュラーレンズの構造的な特徴に基づくことを特徴とする請求項１ないし請求項８のいずれか一項に記載の映像レンダリング方法。
10. 前記ディスパリティを推定するステップは、前記入力映像に関する深度映像に含まれた深度情報を用いて前記映像ピクセルのディスパリティを推定するステップを含むことを特徴とする請求項１ないし請求項９のいずれか一項に記載の映像レンダリング方法。
11. 前記ディスパリティを推定するステップは、参照映像と前記入力映像との間の視点差に基づいて、前記映像ピクセルのディスパリティを推定するステップを含むことを特徴とする請求項１ないし請求項１０のいずれか一項に記載の映像レンダリング方法。
12. 前記映像ピクセルのピクセル値を割り当てるステップは、多視点映像を生成しないことを特徴とする請求項１ないし請求項１１のいずれか一項に記載の映像レンダリング方法。
13. 前記映像ピクセルのピクセル値を割り当てるステップは、前記ディスプレイピクセルに前記映像ピクセルのピクセル値を直接割り当てることを特徴とする請求項１ないし請求項１２のいずれか一項に記載の映像レンダリング方法。
14. コンピュータに、請求項１ないし請求項１３のいずれか一項に記載の方法を実行させるコンピュータプログラム。
15. 複数のディスプレイピクセルを介して立体映像を表示するディスプレイ部であって、前記ディスプレイピクセルそれぞれは対応する視点方向を有するディスプレイ部と、
    入力映像の映像ピクセルが有する視点方向に基づいて、決定された少なくとも１つのディスプレイピクセルに前記映像ピクセルのピクセル値を割り当てて前記立体映像をレンダリングする映像レンダリング部と、
    を含むことを特徴とするディスプレイ装置。
16. 前記映像レンダリング部は、前記ディスプレイピクセルの視点方向に対する第１モデル及び前記映像ピクセルの視点方向に対する第２モデルを用いて、前記少なくとも１つのディスプレイピクセルを決定することを特徴とする請求項１５に記載のディスプレイ装置。
17. 前記映像ピクセルは複数の映像ピクセルのいずれか１つであり、
    前記映像ピクセルの視点方向に関する第２モデルは、複数の映像ピクセルに関する複数の第２モデルのいずれか１つであり、
    前記映像レンダリング部は、前記第１モデルと前記複数の第２モデルを用いて前記映像ピクセルのピクセル値を割り当てる少なくとも１つのディスプレイピクセルを決定することを特徴とする請求項１６に記載のディスプレイ装置。
18. 前記映像レンダリング部は、参照映像と前記入力映像との間の視点差に基づいて前記映像ピクセルのディスパリティを推定し、
    前記映像ピクセルが有する視点方向は、前記推定されたディスパリティに基づくことを特徴とする請求項１５ないし請求項１７のいずれか一項に記載のディスプレイ装置。
19. 前記映像レンダリング部は、入力映像に関する深度映像に示された深度情報を用いて前記映像ピクセルのディスパリティを推定し、
    前記映像ピクセルが有する視点方向は、前記推定されたディスパリティに基づくことを特徴とする請求項１５ないし請求項１８のいずれか一項に記載のディスプレイ装置。
20. 前記ディスプレイ部は、前記ディスプレイピクセルの上部に備えられるレンチキュラーレンズを含み、
    前記ディスプレイピクセルの視点方向は、前記レンチキュラーレンズに基づくことを特徴とする請求項１５ないし請求項１８のいずれか一項に記載のディスプレイ装置。
21. 前記映像レンダリング部は、多視点映像を生成しないことを特徴とする請求項１５ないし請求項２０のいずれか一項に記載のディスプレイ装置。
22. 前記映像レンダリング部は、前記ディスプレイピクセルに前記映像ピクセルのピクセル値を直接割り当てることを特徴とする請求項１５ないし請求項２１のいずれか一項に記載のディスプレイ装置。
23. 入力映像に含まれた映像ピクセルのディスパリティを推定するディスパリティ推定部と、
    前記映像ピクセルの視点方向に対応する視点方向を有する少なくとも１つのディスプレイピクセルに前記映像ピクセルのピクセル値を割り当てて立体映像をレンダリングする映像レンダリング部と、
    を含み、
    前記映像ピクセルの視点方向は、前記映像ピクセルのディスパリティに基づくことを特徴とする映像レンダリング装置。
24. 前記映像レンダリング部は、前記映像ピクセルの視点方向及びディスプレイピクセルの視点方向に基づいて、複数のディスプレイピクセルのうち前記映像ピクセルのピクセル値を割り当てるディスプレイピクセルを探索し、
    前記ディスプレイピクセルは、複数のディスプレイピクセルのいずれか１つであることを特徴とする請求項２３に記載の映像レンダリング装置。
25. 複数のディスプレイピクセルを含むディスプレイと、
    前記ディスプレイピクセルの視点方向と位置に対する第１モデルを取得し、映像ピクセルに対応する映像データを受信し、少なくとも１つの映像ピクセルのディスパリティに関する第２モデルを取得し、前記第１モデル及び前記第２モデルに基づいて前記ディスプレイピクセルのうち少なくとも１つにディスプレイ値を適用するプロセッサと、
    を含むことを特徴とするディスプレイ装置。
26. 前記プロセッサは、前記ディスプレイ値に基づいて３Ｄディスプレイを生成することを特徴とする請求項２５に記載のディスプレイ装置。
27. 前記第２モデルは線形関数であり、
    前記プロセッサは、前記線形関数を前記第１モデルに適用し、前記第１モデルと前記第２モデルとの間の少なくとも１つの交差点を決定し、前記決定された少なくとも１つの交差点に基づいて前記ディスプレイ値を決定することを特徴とする請求項２５に記載のディスプレイ装置。
28. 前記少なくとも１つの交差点は、前記複数のディスプレイピクセルのいずれか１つに関するものであることを特徴とする請求項２７に記載のディスプレイ装置。
29. 前記ディスプレイピクセルは視点方向に関し、
    前記第１モデルは複数の中間関数を含み、
    それぞれの中間関数は、前記複数の視点方向のいずれか１つに関するものであることを特徴とする請求項２５に記載のディスプレイ装置。
30. 前記プロセッサは、多視点映像を生成することなく、前記ディスプレイ値をディスプレイピクセルに割り当てることを特徴とする請求項２５に記載のディスプレイ装置。