JP2012141975A - ３ｄディスプレイのためのマルチビュー画像の生成方法および装置 - Google Patents

Abstract

【課題】マルチビュー３Ｄディスプレイへの入力画像を用いて複数の画像をレンダリングする、また、マルチビューレンダリング時にオブジェクトの境界で発生する画質の劣化を減少させる装置および方法を提供する。
【解決手段】第１参照ビューの参照ビュー画像および深度／両眼視差情報に基づいて特定の視点における出力ビュー画像を生成する画像処理装置において、前記参照ビュー画像内のエラー疑い領域を検出するエラー疑い領域設定部と、前記参照ビュー画像のうち前記エラー疑い領域に対応する部分を前景と見なす前景優先ワーピングを行うことによって、前景優先画像を生成する前景優先ワーピング部と、前記参照ビュー画像のうち前記エラー疑い領域に対応する部分をワーピングから除外する背景優先ワーピングを行うことによって背景優先画像を生成する背景優先ワーピング部と、画像を混合することによって前記出力ビュー画像を生成する混合部とを備える。
【選択図】図８

Description

本発明の実施形態は、マルチビュー３Ｄディスプレイのために入力参照マルチビュー画像に基づいて複数の画像を生成およびレンダリングする方法および装置に関する。

３Ｄ（ｄｉｍｅｎｓｉｏｎａｌ）ディスプレイ装置は立体画像を出力することのできる装置である。３Ｄディスプレイ装置は、３Ｄ環境において視聴者が検知したリアリティーおよび没入感を増大させることができる。

３Ｄディスプレイ装置は、ステレオ方式がある。ステレオ方式において、分離された左側および右側画像が、例えば、フィルタリングメガネを介して左側または右側の目にそれぞれ個別に見られるため、単一な視点における視聴者に表示される。３Ｄディスプレイ装置は、マルチビュー（ｍｕｌｔｉ−ｖｉｅｗ）方式がある。マルチビュー方式において、相異なる視点のための多重画像が表示される。視点は視野（ｖｉｅｗ）の地点（ｐｏｉｎｔ）として、イメージがまるで視聴者がその地点で画像を見るように感じられる。マルチビュー方式で、それぞれ表示された画像はオブジェクトの画像データをキャッチャする分離されたカメラによって生成されてもよく、オブジェクトに対する相異なる指向性（ｏｒｉｅｎｔａｔｉｏｎ）を有するように繰り返して移動した単一カメラによって生成されてもよい。各表示画像は、上記の観点（ｐｅｒｓｐｅｃｔｉｖｅ）から（すなわち、相異なる視点から）のオブジェクトの相異なるビューを提供する。

しかし、マルチイメージが入力および表示されなければならないため、マルチビュー方式は多量の入力データを要求する。

米国登録特許第７、０１５、９２６号 韓国登録特許第９６０、６９４号 韓国登録特許第９２６、５２０号 韓国登録特許第９５３、０７６号

本発明の一実施形態の目的は、マルチビュー３Ｄディスプレイのために入力画像に基づいて複数の画像をレンダリングおよび生成する装置および方法を提供することにある。

本発明の一実施形態の他の目的は、マルチビューレンダリングが行われる時オブジェクトの境界で発生する画質の劣化を減少させる装置および方法を提供することにある。

本発明の一実施形態によれば、参照視点のための第１参照ビューの参照ビュー画像および前記参照ビュー画像に対する深度／両眼視差情報に基づいて特定の視点のための出力ビュー画像を生成する画像処理装置において、前記参照ビュー画像のうち検出されたエラー疑い領域に対応する部分が前記参照ビュー画像の前景に含まれたものと見なす前記参照ビュー画像の前景優先ワーピングを行うことによって前景優先画像を生成する前景優先ワーピング部（前記検出されたエラー疑い領域は、前記参照ビュー画像の前記深度/両眼視差情報に基づいて深度両眼視差エラーの決められて増加された確率を有する前記参照ビュー画像の１つ以上である領域）と、前記参照ビュー画像のうち前記エラー疑い領域に対応する部分を除外する前記参照ビュー画像の背景の背景優先ワーピングを行うことによって背景優先画像を生成する背景優先ワーピング部と、前記出力ビュー画像を生成するために前記前景優先画像と前記背景優先画像とを混合する混合部とを備える画像処理装置が提供される。

本発明の他の一実施形態によれば、参照視点のための第１参照ビューの参照ビュー画像および前記参照ビュー画像に対する深度／両眼視差情報に基づいて特定の視点のための出力ビュー画像を生成する画像処理方法において、前記参照ビュー画像のうち検出されたエラー疑い領域に対応する部分が前記参照ビュー画像の前景に含まれるものと見なす前記参照ビュー画像の前景優先ワーピングを行うことによって前景優先画像を生成する前景優先ワーピングステップ（前記検出されたエラー疑い領域は、前記参照ビュー画像の前記深度/両眼視差情報に基づいて深度両眼視差エラーの決められて増加された確率を有する前記参照ビュー画像の１つ以上である領域）と、前記参照ビュー画像のうち前記エラー疑い領域に対応する部分を除外する前記参照ビュー画像の背景の背景優先ワーピングを行うことによって背景優先画像を生成する背景優先ワーピングステップと、前記出力ビュー画像を生成するために前記前景優先画像と前記背景優先画像とを混合する混合ステップとを含む画像処理方法が提供される。

本発明の更なる一実施形態によれば、少なくとも１つのオブジェクトを表す第１参照視点における第１参照ビュー画像に基づいて、前記第１参照ビュー画像の深度／両眼視差情報に基づいて中央視点のための第１中間中央ビュー画像を生成する画像処理装置において、前記第１参照視点と相異なる中間視点に対する前記第１中間中央ビュー画像を生成するために、前記第１参照ビュー画像の少なくとも１つの決められた前景および前記第１参照ビュー画像の少なくとも１つの決められた背景をそれぞれワーピングすることによって、前記第１参照ビュー画像をワーピングする第１ワーピングユニット（前記第１参照ビュー画像の前記少なくとも１つの前景および前記少なくとも１つの背景の前記ワーピングは、前記第１参照ビュー画像の検出されたエラー疑い領域に基づいて異なって行われ、前記検出されたエラー疑い領域は、前記参照ビュー画像の前記深度／両眼視差情報に基づいて深度両眼視差エラーの決められて増加された確率を有する前記参照ビュー画像の１つ以上の領域である）と、前記第１中間中央ビュー画像を前記中央視点における前記少なくとも１つのオブジェクトを含む追加的なビュー画像として出力する出力部とを備える画像処理装置が提供される。

本発明の更なる一実施形態によれば、少なくとも１つのオブジェクトを表す第１参照視点における第１参照ビュー画像に基づいて、前記第１参照ビュー画像の深度／両眼視差情報に基づいて中央視点のための第１中間中央ビュー画像を生成する画像処理方法において、前記第１参照視点と相異なる中間視点に対する前記第１中間中央ビュー画像を生成するために、前記第１参照ビュー画像の少なくとも１つの決められた前景および前記第１参照ビュー画像の少なくとも１つの決められた背景をそれぞれワーピングするステップ（前記第１参照ビュー画像の前記少なくとも１つの前景および前記少なくとも１つの背景の前記ワーピングは、前記第１参照ビュー画像の検出されたエラー疑い領域に基づいて異なって行われ、前記検出されたエラー疑い領域は、前記参照ビュー画像の前記深度／両眼視差情報に基づいて深度両眼視差エラーの決められて増加された確率を有する前記参照ビュー画像の１つ以上の領域である）と、前記第１中間中央ビュー画像を前記中央視点における前記少なくとも１つのオブジェクトを含む追加的なビュー画像として出力するステップとを含む画像処理方法が提供される。

本発明は、マルチビュー３Ｄディスプレイのために入力画像を用いて複数の画像をレンダリングする装置および方法を提供することができる。

本発明は、マルチビューレンダリングが行われる時オブジェクトの境界で発生する画質の劣化を減少させる装置および方法を提供することができる。

本発明の一実施形態に係る画像処理装置の構造図である。 本発明の一実施形態に係るビュー画像および深度／両眼視差画像の例を示す。 本発明の一実施形態に係るビュー画像および深度／両眼視差画像間の一致しない例を示す。 本発明の一実施形態に係る中間視点のビューを生成する方法を示す。 本発明の一実施形態に係る中間ビューの画像内に生成された人為構造を示す。 本発明の一実施形態に係る前景優先ワーピングおよび背景優先ワーピングを説明する。 本発明の一実施形態に係る前景優先画像および背景優先画像の混合を説明する。 本発明の一実施形態に係る画像処理装置の構造図である。 本発明の一実施形態に係るエラー疑い領域設定部の構造図である。 本発明の一実施形態に係る画像処理方法のフローチャートである。

以下は、本発明の一実施形態を添付された図面を参照して詳細に説明する。しかし、本発明が実施形態によって制限されたり限定されることはない。各図面に提示された同一の参照符号は同一の部材を示す。

図１は、本発明の一実施形態に係る画像処理装置の構造図である。画像処理装置１００は、例えば、ビュー画像を介して互いに異なる視点からのビューを表示する。ビュー画像は３Ｄ情報が投影された２次元（２Ｄ）平面（例えば、スクリーンまたはモニタ表面）をそれぞれ表すビュー平面画像のように命名される。相異なるビューは同時に表示されてもよく、相異なる視点は各ビューの平面に関連して相異なる水平、垂直、および深さの差を有し得る。

すなわち、画像処理装置１００は、互いに異なる視点における複数の画像（ｉｍａｇｅ）を出力することのできるマルチビュー方式の画像処理装置である。

例えば、画像処理装置１００は、１３個の互いに異なる視点（すなわち、１３個の相異なるビュー平面の画像）に対するビュー１０１〜１１３を視聴者に提供してもよい。画像処理装置１００は、第１視聴者１９０の位置に応じて第１視聴者１９０の右眼には第２ビュー１０２を提供し、左眼には第３ビュー１０３を提供する。また、画像処理装置１００は、第２視聴者１９２の位置に応じて、第２視聴者１９２の右眼には第５ビュー１０５を提供し、左眼には第６ビュー１０６を提供する。

相異なる視点に対する分離された画像を観測することによって、第１視聴者１９０および第２視聴者１９２はそれぞれ自身の両眼に提供された２つのビューの表示された画像によって立体画像を認識することができる。マルチビュースキーム（ｓｃｈｅｍｅ）では、相異なる視点イメージを視点イメージそれぞれの視点で投影されるように構成された画像処理装置は３Ｄ表示要素を含んでもよい。一方、立体的な画像は相異なる画像を単一な視点に投影することができる。ここで、単一な視点は分離され左眼画像および右眼画像のためのものである。

参照ビュー１０３、１０７、１１１に対する各画像データ、およびこの参照ビュー１０３、１０７、１１１の画像に対する深度（ｄｅｐｔｈ）／両眼視差（ｄｉｓｐａｒｉｔｙ）情報１２３、１２７および１３１が画像処理装置１００から入力される。参照ビュー１０３、１０７および１１１は画像処理装置１００から入力される入力ビューである。

参照ビューに対する深度情報または対応する深度画像は、例えば、深さの識別可能であるか、定義されたグラデーションまたはレベルを通じて参照ビューに対する画像データのピクセルの深さを表すことができる。深度画像は、相異なる深さを浅いカラーから濃厚なカラーを介して表してもよく、グレースケール（ｇｒａｙ−ｓｃａｌｅ）の値を通じて表してもよい。両眼視差情報は、オブジェクトがカメラから遠方から近いところに移動すると、左側画像と右側画像との間の差異は増加するという前提（ｐｒｅｍｉｓｅ）に基づく。例えば、左側画像および右側画像内でキャプチャされたオブジェクト上の点の位置間の座標差は極めて遠く離隔されたオブジェクトに対しては微細な値であるか０であり得る。同じ座標差は、上記のオブジェクトがカメラに近く移動したり、前記カメラがオブジェクトに近く移動することによって増加する。深度／両眼視差情報は、画像処理装置に入力されてもよい。また、例えば、画像処理装置がビデオカメラであれば、画像処理装置が深度／両眼視差情報を決定することができる。

画像処理装置１００に入力される参照ビュー１０３、１０７および１１１は、画像処理装置１００がビュー画像またはビュー平面から出力するビュー１０１〜１１３の一部または全てを生成するために用いられてもよい。

したがって、画像処理装置１００は、３つの参照ビュー１０３、１０７、１１１のうち１つ以上およびこの参照ビュー１０３、１０７、１１１それぞれに対応する深度／両眼視差情報１２３、１２７、１３１を用いて、異なるビュー１０１、１０２、１０４〜１０６、１０８〜１１０、１１２および１１３を生成する。

画像処理装置１００は、参照ビュー１０３、１０７、１１１、および深度／両眼視差情報１２３、１２７、１３１を用いるビュー内挿（ｖｉｅｗ ｉｎｔｅｒｐｏｌａｔｉｏｎ）によって参照ビュー１０３、１０７、１１１の間のビュー１０４、１０５、１０６、１０８、１０９および１１０の画像を生成する。画像処理装置１００は、参照ビュー１０３、１０７、１１１および深度／両眼視差情報１２３、１２７、１３１を用いるビュー外挿（ｖｉｅｗ ｅｘｔｒａｐｏｌａｔｉｏｎ）によって参照ビュー１０３、１０７および１１１の外側にあるビュー１０１、１０２、１１２、１１３の画像を生成する。

ビュー内挿およびビュー外挿は、参照ビュー画像（すなわち、入力ビュー１０３、１０７、１１１の画像）および対応する深度／両眼視差情報を用いて特定の視点で見られる画像を生成する。このような画像の生成は３Ｄワーピング（ｗａｒｐｉｎｇ）によって行われる。

一般に、３Ｄシステムにおいて、矯正（ｒｅｃｔｉｆｉｃａｔｉｏｎ）された画像が用いられる。参照ビュー画像のピクセルのｘ座標をピクセルの深度／両眼視差を用いて移動させることによって３Ｄワーピングが行われる。ピクセルのｘ座標値は対応するｘ−ｙ座標系の原点に相対的な水平変位に対応し、ピクセルのｙ座標値は原点に相対的な垂直変位に対応する。また、代案的な座標系をも用いてもよい。

参照ビュー画像の第１ピクセルに対する３Ｄワーピングは下記の式（１）に基づいて行われてもよい。

ここで、ｕ_ｒは参照ビュー画像内における第１ピクセルのｘ座標である。ｕ_υは出力ビュー画像内における第２ピクセルのｘ座標である。出力ビュー画像内の第２ピクセルは、参照ビュー画像内の第１ピクセルに対応するピクセルである。すなわち、出力ビュー画像は、参照ビューの視点とは相異なる視点を表すために生成されるため、出力ビュー画像の第２ピクセルは、参照ビュー画像内の同じオブジェクトの同じ点または領域でありながらも、相異なる座標を有してもよい。すなわち、参照ビュー画像内の特定ピクセルのｘ座標は、ｕ_υに位置する予め定義されたピクセルをもって新たなビューを生成するために下記の式（１）によってｕ_ｒからｕ_υに変更される。

αは第１ピクセルの位置比率情報である。αは参照ビューの視点および出力ビューの視点間の座標距離に比例する値を有する。ｄは第１ピクセルの両眼視差である。ｄは参照ビュー画像の深度／両眼視差情報から獲得される。両眼視差はピクセルの深度情報であり、カメラパラメータ（ｃａｍｅｒａ ｐａｒａｍｅｔｅｒ）を用いることによって獲得されてもよい。視点間の座標距離は、視点間の垂直距離または水平距離を意味する。

一般に、ピクセル（または画像）の深度および両眼視差は互いに反比例する。したがって、本発明の実施形態において「深度」を用いる内容は「両眼視差」に代替されてもよく、その逆も成立する。例えば、３Ｄワーピングは、１つ以上の参照ビュー画像の深度情報および／または両眼視差情報を用いて行われてもよい。

図２は、本発明の一実施形態に係るビュー画像および深度／両眼視差画像の例を示す。ビュー画像２１０は、図１に示す参照ビュー１０３、１０７および１１１の画像であってもよい。ビュー画像２１０は１つ以上のピクセルに構成される。１つ以上の各ピクセルはカラー値を有する。ビュー画像２１０は、カラーコンポーネント座標によって表すカラー値を有するカラー画像であってもよい。ここで、カラーコンポーネント座標は、Ｒ、Ｇ、Ｂのように表示されるレッド（Ｒｅｄ；Ｒ）、グリーン（Ｇｒｅｅｎ；Ｇ）、およびブルー（Ｂｌｕｅ；Ｂ）の値である。

ビュー画像２１０の相異なるピクセルはそれぞれのビュー画像２１０の異なる特定オブジェクト（ｏｂｊｅｃｔ）の点または領域を表してもよい。例えば、石膏像２１２を示すピクセルおよびカップ２１４を示すピクセルがビュー画像２１０内にある。ビュー画像２１０に対する深度／両眼視差画像２２０は、ビュー画像２１０の存在する深度／両眼視差情報を画像として表したものである。

深度／両眼視差画像２２０は１つ以上のピクセルに構成される。深度／両眼視差画像２２０の１つ以上の各ピクセルは、ビュー画像２１０の１つ以上のピクセルのうち１つのピクセルに対応する。ビュー画像２１０の解像度および深度／両眼視差画像２２０の画像度は同一であってもよく、異なってもよい。深度／両眼視差画像２２０のピクセルのカラー値は、ピクセルに対応するビュー画像２１０のピクセルの深度値（または両眼視差値）を表す。

ビュー画像２１０のピクセルがビューの視点から近いオブジェクトを表すほど、深度／両眼視差画像２２０の対応するピクセルのカラーは薄い（または白黒として白に近い）。一方、ビュー画像２１０のピクセルが遠いオブジェクトを表すほど、深度／両眼視差画像２２０の対応するピクセルのカラーは濃い（または白黒として黒に近い）。

すなわち、深度／両眼視差画像２２０のピクセルのカラー値は、ピクセルの深度／両眼視差値を表す。ピクセルのカラーが濃いことはピクセルの深度値が大きい（すなわち、両眼視差値が小さい）ことを表す。

例えば、石膏像２１２に対応する深度／両眼視差画像２２０のピクセル２２２は、カップ２１４に対応する深度／両眼視差画像２２０のピクセル２２４よりも濃いカラー値を有する。

また、机２１６は下方に行くほどビューの視点に近づく。したがって、深度／両眼視差画像２２０で机を表す部分２２６は下方に行くほど薄くなる。

図３は、本発明の一実施形態に係るビュー画像およびビュー画像の深度／両眼視差画像間の一致しない例を示す。ビュー画像３１０は、中間に位置するオブジェクト（または前景）および背景に構成される。

ビュー画像の深度／両眼視差画像３２０は、オブジェクトに対応する薄い部分３２２および背景に対応する濃い部分３２４に構成される。

オブジェクトのエッジは、ビュー画像３１０においてオブジェクトおよび背景間の境界部分である。

深度／両眼視差画像３２０内の不連続ポイント（ｄｉｓｃｏｎｔｉｎｕｉｔｙ ｐｏｉｎｔ）は、深度／両眼視差画像３２０において深度値が不連続的な地点である。例えば、不連続ポイントは深度／両眼視差画像３２０において薄い部分３２２および濃い部分３２４が接する地点である。

理想的には、ビュー画像３１０のオブジェクトエッジおよび深度／両眼視差画像３２０の不連続ポイントは正確に一致しなければならない。

しかし、深度カメラ（ｄｅｐｔｈ ｃａｍｅｒａ）を用いて獲得された深度画像や、ステレオマッチング（ｓｔｅｒｅｏ ｍａｔｃｈｉｎｇ）を用いて算出された両眼視差画像は、末端においてビュー画像３１０と正確に一致しない場合がある。

すなわち、深度／両眼視差画像３２０内のピクセルのうち、ビュー画像３１０のオブジェクトに対応する全てのピクセルが薄いカラー値を有するものではない。また、深度／両眼視差画像３２０内のピクセルのうち、ビュー画像３１０の背景に対応する全てのピクセルが濃いカラー値を有するものではない。例えば、ビュー画像３１０内のオブジェクトの下方の部分（深度／両眼視差画像３２０内でも真っ直ぐの端として表す）真っ直ぐの端を有することに比べて、深度／両眼視差画像３２０のうち下方の段部分に対応する部分は真っ直ぐの端でない。また、深度／両眼視差画像３２０の不連続ポイントは概ねオブジェクトの形だけきれいではない。

深度／両眼視差のエラーは、このようなオブジェクトエッジおよび不連続ポイントの間の不一致を意味するために用いられてもよい。または、特定ピクセルの深度／両眼視差のエラーはビュー画像３１０内の特定ピクセルが誤った深度値または両眼視差値を有することを意味する。深度／両眼視差のエラーは、ビュー画像３１０のオブジェクトの境界で主に発生する。

ビュー内挿またはビュー外挿が行われるとき、下記で説明するもののように、このような深度／両眼視差のエラーは人為構造を生成することがある。

このような人為構造は画質の劣化を発生させて、３Ｄ画像の視聴者は人為構造によって異質感を感じることがある。また、３Ｄ効果が減少されることがある。

図４は、本発明の一実施形態に係る中間視点のビューを生成する方法を示す。中間視点は２個の異なる視点間の位置に想定された（ｅｎｖｉｓｉｏｎｅｄ）視点であってもよい。中間視点に対応する生成されたビューは２個の異なる視点からのオブジェクトのビューとは異なるオブジェクトのビューであってもよい。２個の異なる視点はそれぞれ２個の参照ビューである。

中央ビュー（ｃｅｎｔｅｒ ｖｉｅｗ）４９０は、２つの入力ビュー４１０および４２０、この入力ビュー４１０および４２０の深度／両眼視差情報を用いることによって生成される。２つの入力ビュー４１０および４２０はそれぞれ参照ビューであってもよい。中央ビュー４９０の視点は、２つの入力ビュー４１０および４２０の視点の間にある。中央ビュー４９０の視点を中央視点であると称する。

すなわち、２つの入力ビューは、左側ビュー４１０（例えば、第７ビュー１０７）および右側ビュー４２０（例えば、第３ビュー１０３）である。左側ビュー４１０からの第１中間ビュー（ｉｎｔｅｒｍｅｄｉａｔｅ ｖｉｅｗ）４３０は、左側ビュー４１０および左側ビューの深度／両眼視差情報を用いる前方向ワーピングによって生成されたビューである。第１中間ビュー４３０の視点は前述した中央視点である。左側ビュー４１０の画像のオブジェクト４１２は、前述された式（１）のようなワーピングによって左側に移動する。

左側ビュー４１０の画像の背景４１４の両眼視差値は０（または極めて小さい値）である。したがって、ワーピングによっても背景４１４は左側に全く（または、ほとんど）移動しない。

第１中間ビュー４３０において、背景４１４に比べてオブジェクト４１２がより左側に移動するため、左側ビュー４１０の画像ではオブジェクト４１２によって遮られた部分４３４が現れる。このような遮られた部分４３４を非閉塞（ｄｉｓｏｃｃｌｕｓｉｏｎ）領域という。非閉塞領域はホール（ｈｏｌｅ）に処理される。

第２中間ビュー（ｉｎｔｅｒｍｅｄｉａｔｅ ｖｉｅｗ）４４０は、右側ビュー４２０および右側ビューの深度／両眼視差情報を用いる前方向ワーピングによって生成されたビューである。第２中間ビュー４４０の視点は前述した中央視点である。第２中間ビュー４４０において、背景４２４に比べてオブジェクト４２２がさらに右側に移動するため、右側ビュー４２０の画像ではオブジェクト４２２によって遮られた部分４４４が現れる。

第１中間ビュー４３０の画像および第２中間ビュー４４０の画像を混合（ｂｌｅｎｄｉｎｇ）することによって第３中間ビュー４５０の画像が生成される。

非閉塞領域４３４および４４４は混合できない。したがって、第３中間ビュー４５０の画像は第１中間ビュー４３０の画像の非閉塞領域４３４および第２中間ビュー４４０の画像の非閉塞領域４４４を含む。非閉塞領域４３４および４４４は、左側ビュー４１０の画像および右側ビュー４２０の画像を用いて満たされてもよい。

第１中間ビュー４３０の画像の非閉塞領域４３４は、右側ビュー４２０の画像の背景４２４の情報（すなわち、ピクセル）を参照することによって満たされてもよい。

第２中間ビュー４４０の画像の非閉塞領域４４４は、左側ビュー４１０の画像の背景４１４の情報（すなわち、ピクセル）を参照することによって満たされてもよい。

すなわち、第１参照ビューの画像に対するワーピングを行うことによって発生した非閉塞領域（または、ホール）は他の第２参照ビューの画像を参照することによって満たされてもよい。

左側ビュー４１０および右側ビュー４２０を参照して第３中間ビュー４５０の非閉塞領域４３４および４４４を満たすことで中央ビュー４９０が生成される。

ビューレンダリングは、前述したような特定ビューの画像およびこの特定ビューの画像の深度／両眼視差情報を用いて他の視点におけるビューを生成することを意味する。また、画像レンダリングは、特定ビューの画像および該特定ビューの画像の深度／両眼視差情報を用いて他の視点におけるビューの画像を生成することを意味する。

図５は、本発明の一実施形態に係る中間ビューの画像内に生成された人為構造を示す。ビューレンダリングによって生成された第１画像５１０および第２画像５２０は、それぞれ人為構造５１２または５２２を含む。ビューレンダリングは、参照ビューのような特定ビューの画像および対応する画像の深度／両眼視差情報を用いる。

画像および画像の深度／両眼視差情報間に深度／両眼視差のエラーがある場合、エラーのある画像および深度／両眼視差情報を用いたビューレンダリングによって生成された画像は人為構造を含むことがある。

深度／両眼視差情報のエラーによって前景（ｆｏｒｅｇｒｏｕｎｄ）（すなわち、オブジェクト）に該当する誤ったピクセルが背景に該当する深度値を有することがある。このような場合、前景に該当するピクセルはワーピングによって全く（または、ほとんど）移動しない。したがって、対応する前景の情報（すなわち、オブジェクトを表すピクセル）が背景に誤って残る境界ノイズ（ｂｏｕｎｄａｒｙ ｎｏｉｓｅ）が発生する。第１画像５１０の人為構造５１２は前景の情報が背景に誤って残ることによって生成した。

深度／両眼視差情報がオブジェクトの境界と正確に一致しない場合、エイリアシング（ａｌｉａｓｉｎｇ）の問題が発生する。エイリアシング問題が発生する場合、オブジェクトの一部が損失されることがあり、損失された部分が背景に満たされることがある。第２画像５２０の人為構造５２２は、エイリアシング問題によって生成した。

このような人為構造５１２および５２２は、マルチビューディスプレイによって生成された画像の画質を画像処理装置に提供された参照画像データの本来の品質に比べて低下する恐れがある。

図６は、本発明の一実施形態に係る前景優先ワーピングおよび背景優先ワーピングを説明する。第１深度／両眼視差画像６１０は、前景領域６１２および背景領域６１４に分かれる。ビュー画像のうち深度／両眼視差画像６１０の前景領域６１２に対応する部分は前景であり、背景領域６１４に対応する部分は背景である。

前景領域６１２は、深度値が予め定義された閾値よりも小さい部分であってもよい（または、前景領域６１２は、両眼視差値が予め定義された閾値以上である部分であってもよい）。背景領域６１４は、深度値が予め定義された閾値以上である部分であってもよい（または、背景領域６１４は、両眼視差値が予め定義された閾値よりも小さい部分であってもよい）。すなわち、前景領域６１２および背景領域６１４は、深度値（または、両眼視差値）を予め定義された閾値に比較することによって区分することができる。

背景領域６１４は深度値が最大値の部分であってもよい。または、背景領域６１４は、両眼視差値が最小値（例えば０）である部分であってもよい。前景領域６１２は背景領域６１４が除外された残り部分であってもよい。背景領域６１４は、深度／両眼視差値が予め定義された第１範囲内の値である部分であってもよい。前景領域６１２は、背景領域６１４が除外された残り部分であってもよく、深度／両眼視差値が予め定義された第２範囲内の値の部分であってもよい。

前景領域６１２および背景領域６１４は相対的に分類され得る。すなわち、相対的に大きい深度値（または、小さい両眼視差値）を有する部分が背景領域６１４になり、相対的に小さい深度値（または、大きい両眼視差値）を有する部分または背景領域６１４が除外された部分が前景領域６１２になる。その他、前景領域６１２および背景領域６１４を区分するための様々な方法が用いられる。

点線は不連続な部分６１６を示す。不連続な部分６１６は深度／両眼視差値が不連続の地点を意味する。

不連続な部分は前景領域６１２および背景領域６１４が接する地点（すなわち、前景領域６１２および背景領域６１４の境界）であってもよい。不連続な部分は前述したオブジェクトの境界に対応する部分であってもよい。

第２深度／両眼視差画像６２０はエラー疑い領域６２２および６２４を表す。エラー疑い領域６２２および６２４は、深度／両眼視差値にエラーがあると疑われる領域である。エラー疑い領域は、参照ビュー画像のうち深度／両眼視差のエラーによって実際に前景である部分が背景として誤って現れる可能性のある部分、または実際に背景である部分が前景として誤って現れる可能性のある部分である。

一般に、オブジェクトの境界に隣接した部分にて深度／両眼視差のエラーが発生する可能性が高い。

したがって、不連続な部分６１６に隣接した部分がエラー疑い領域であると設定されてもよい。不連続な部分６１６から一定の距離（例えば、座標距離）内にある部分（またはピクセル）がエラー疑い領域として設定または検出されてもよい。例えば、不連続な部分６１６から２ピクセル内にあるピクセルがエラー疑い領域であると設定されてもよい。例えば、ピクセル間の座標距離は、ピクセル間の水平距離または垂直距離を意味する。

エラー疑い領域６２２および６２４は、第１深度／両眼視差画像６１０の前景領域６１２に含まれる領域６２２、および第１深度／両眼視差画像６１０の背景領域６１４に含まれる領域６２４がある。エラー疑い領域６２２および６２４内の深度情報は、第１深度／両眼視差画像６１０の前景領域６１２または背景領域６１４のいずれか１つに含まれ、例えば、画像処理装置によって予め定義されたり観測されて決定された増加の確率を有する。

第２深度／両眼視差画像６２０内において、エラー疑い領域６２２、６２４ではない部分は確実な前景領域６２６または確実な背景領域６２８としてさらに高い信頼度をもって判断することができる。すなわち、エラー疑い領域６２２および６２４は、全体のビュー画像で深度／両眼視差エラーがあるものと疑われる領域が分離されたものである。

前景優先ワーピング深度／両眼視差画像６３０は前景優先ワーピング深度／両眼視差情報を画像として表したものである。前景優先ワーピング深度／両眼視差情報は、エラー疑い領域６２２および６２４を前景として見なすことによって生成される。

第１深度／両眼視差画像６１０の前景領域６１２の深度／両眼視差情報をエラー疑い領域６２２、６２４を含むように拡張することによって、前景優先ワーピング深度／両眼視差画像６３０の前景領域６３２が生成される。

前述した前景領域６１２の拡張の一例として、エラー疑い領域６２２および６２４の深度／両眼視差値は、前景領域６１２の深度／両眼視差値と同じ値を有するものと見なし得る。また、エラー疑い領域６２２および６２４の深度／両眼視差値は前景領域６１２の深度／両眼視差値のうち最大値または最小値を有するものと見なし得る。また、エラー疑い領域６２２および６２４内のピクセルの深度／両眼視差値は、前景領域６１２内で最も隣接したピクセルの深度／両眼視差値と同じ値を有するものと見なし得る。また、エラー疑い領域６２２および６２４の見なされた深度／両眼視差値は、前景領域６１２の深度／両眼視差値の分布または変化度に基づいて決定され得る。

前景優先ワーピング深度／両眼視差画像６３０の背景領域６２８は、第２深度／両眼視差画像６２０（エラー疑い領域６２２および６２４のない）の背景領域６２８である。したがって、前景優先ワーピング深度／両眼視差画像６３０の背景領域６２８の深度／両眼視差値は、第１深度／両眼視差画像６１０の対応する領域の深度／両眼視差値と同一である。

背景優先ワーピング深度／両眼視差画像６４０は、背景優先ワーピング深度／両眼視差情報を画像として表したものである。

エラー疑い領域６２２および６２４をホール６４２として見なすことによって、背景優先ワーピング深度／両眼視差画像６４０が生成される。ホール６４２はワーピングから除外される。背景優先ワーピング深度／両眼視差情報を用いたワーピングによってビュー画像が生成されるとき、生成されたビュー画像内のホール６４２に対応する部分は、他の参照ビューの画像および深度／両眼視差情報を用いることによって復元されてもよい。

第１深度／両眼視差画像６１０の背景領域６１４の深度／両眼視差情報をエラー疑い領域６２２および６２４を含むように拡張することによって、背景優先ワーピング深度／両眼視差画像６４０の背景領域６２８が生成される。

背景優先ワーピング深度／両眼視差画像６４０の前景領域６２６は、第２深度／両眼視差画像６２０（エラー疑い領域６２２および６２４のない）の前景領域６２６である。したがって、背景優先ワーピング深度／両眼視差画像６４０の前景領域６２６の深度／両眼視差値は、第１深度／両眼視差画像６１０の対応する領域の深度／両眼視差値と同一である。

ビュー画像および対応する前景優先ワーピング深度／両眼視差情報を用いた前景優先ワーピングを行うことによって、前景情報が深度／両眼視差のエラーによって損失されない前景優先画像が生成される。すなわち、深度／両眼視差のエラーを考慮しない普通のワーピングが行われる場合、深度／両眼視差のエラーによって前景情報が損失されることがあるが、前景優先画像はこのような前景情報の損失を防止することができる。

ビュー画像および対応する背景優先ワーピング深度／両眼視差情報を用いた背景優先ワーピングを行うことによって、境界ノイズが除去された背景優先画像が生成され得る。すなわち、深度／両眼視差のエラーを考慮しない普通のワーピングが行われる場合、深度／両眼視差のエラーによって境界ノイズが生成することがあるが、背景優先画像はこのような境界ノイズを減少させることができる。

背景優先画像は信頼できる背景のみを生成してもよい。背景優先画像で欠如した部分（すなわち、信頼できない背景）は異なるビュー画像を参照することによって補充できる。

図７は、本発明の一実施形態に係る前景優先画像および背景優先画像の混合を説明する。特定の視点のビューに対する２つの画像が生成されたため、生成された２つの画像が混合された１つの画像を生成しなければならない。

前景優先画像および背景優先画像が混合されることによって出力ビュー画像が生成される。

前述されたように、前景優先ワーピング深度／両眼視差情報および背景ワーピング深度／両眼視差情報は、エラー疑い領域６２２および６２４に対応する部分において互いに異なる値を有する。したがって、エラー疑い領域６２２および６２４に対応する、前景優先画像の領域および背景優先画像の領域は互いに異なる。

もし、このような異なる領域の全てまたは一部に対して、前景優先画像または背景優先画像のうち１つを選択的に用いることによって、出力ビュー画像が生成されれば（すなわち、出力ビュー画像内でエラー疑い領域６２２および６２４に対応する領域内のピクセルのカラー値が前景優先画像内の同一座標のピクセルのカラー値、または背景優先画像内の同一座標のピクセルのカラー値であれば）、このような異なる領域で不自然なエイリアシングが発生する恐れがある。

前景優先画像および背景優先画像を一定の比率に混合することによって、オブジェクトの境界領域などで発生するエイリアシングが解決できる。

アルファマット（ａｌｐｈａ ｍａｔｔｉｎｇ）はこのような混合することを意味する。

ここで、Ｉは出力ビュー画像内の第１ピクセルのカラー値である。

Ｆは、第１ピクセルに対応する前景優先画像内の第２ピクセルのカラー値である。第１ピクセルおよび第２ピクセルは同一の座標値を有してもよい。

Ｂは、第１ピクセルに対応する背景優先画像内の第３ピクセルのカラー値である。第１ピクセルおよび第３ピクセルは同一の座標値を有してもよい。

すなわち、第１ピクセルのカラー値は、第２ピクセルのカラー値および第３ピクセルのカラー値をアルファマットすることによって生成されてもよい。第１ピクセルのカラー値は、第１ピクセルのカラー値および第２ピクセルのカラー値の加重値が加えられた和（ｗｅｉｇｈｔｅｄ ｓｕｍ）であってもよい。このとき、第２ピクセルのカラー値に対する加重値は混合係数αであり、第３ピクセルのカラー値に対する加重値は１−αである。

αは０以上、１以下の値である。

第１グラフ７１０はαの値が０または１である時の出力ビュー画像を表す。第１グラフ７１０では、前景優先画像のピクセルのカラー値および背景優先画像のピクセルのカラー値のうち１つが出力ビュー画像のピクセルのカラー値として選択される。

すなわち、αが１である部分７１２では前景優先画像のみを用いて出力ビュー画像を生成し、αが０である部分７１４では背景優先画像のみを用いて出力ビュー画像を生成する。

このような場合、出力ビュー画像内において、前景優先画像および背景優先画像が互いに独立的に存在する。したがって、出力ビュー画像のうち、αの値が変わる（０から１に、または１から０に）境界地点７１６に対応する部分でエイリアシングが発生する。このようなエイリアシングの発生部分は不自然に見える。

第２グラフ７２０は、αの値が０以上、１以下であるときの出力ビュー画像を表す。第２グラフ７２０において、出力ビュー画像のピクセルのカラー値は、前景優先画像のピクセルのカラー値および背景優先画像のピクセルのカラー値が一定の比率に混合した値である。

αの値は出力ビュー画像のうちエラー疑い領域に対応する部分に対してのみ算出されてもよい。エラー疑い領域に対応しない部分は前景優先画像および背景優先画像が同一の本体のカラーを有するためである。

αの値はカラーの一貫性（ｃｏｌｏｒ ｃｏｎｓｉｓｔｅｎｃｙ）に基づいて算出されてもよい。

第４ピクセルは、参照ビュー画像内のピクセルのうちエラー疑い領域内のピクセルである。

第５ピクセルは、参照ビュー画像の前景領域内のピクセルのうち第４ピクセルと最も隣接したピクセルである。

第６ピクセルは、参照ビュー画像の背景領域内のピクセルのうち第４ピクセルと最も隣接したピクセルである。

第４ピクセルのカラー値および第５ピクセルのカラー値の間のカラーの一貫性が高い場合、αの値は１に近い値を有してもよい。すなわち、両ピクセルのカラー値が類似する場合、第４ピクセルが前景（すなわち、オブジェクト）を表す可能性が高い。したがって、αが１に近い値を有することによって混合されるとき、前景優先画像のピクセルのカラー値をさらに多く反映することができる。

第４ピクセルのカラー値および第５ピクセルのカラー値の間のカラーの一貫性は、第４ピクセルのカラー値のカラーコンポーネント座標および第５ピクセルのカラー値のカラーコンポーネント座標間の第１ユークリッド距離（Ｅｕｃｌｉｄｅａｎ ｄｉｓｔａｎｃｅ）であってもよい。

例えば、ＲＧＢ座標またはＹＣｂＣｒ座標のような、カラーを表すための多様なカラーコンポーネント座標がユークリッド距離を算出するため用いられる。

第４ピクセルのカラー値および第６ピクセルのカラー値間のカラーの一貫性が高い場合、αの値は０に近い値を有してもよい。すなわち、両ピクセルのカラー値が類似する場合、第４ピクセルが背景を表す可能性が高い。したがって、αが０に近い値を有することによって混合されるとき、背景優先画像のピクセルのカラー値をさらに多く反映することができる。

第４ピクセルのカラー値および第６ピクセルのカラー値間のカラーの一貫性は、第４ピクセルのカラー値のカラーコンポーネント座標および第６ピクセルのカラー値のカラーコンポーネント座標間の第２ユークリッド距離であってもよい。

したがって、αの値は、第１ユークリッド距離および第２ユークリッド距離間の比率によって決定される。

また、αの値は前景距離および背景距離に基づいて決定されてもよい。

前景距離は、第４ピクセルおよび参照ビュー画像の前景領域間の最短座標距離である。すなわち、前景距離は第４ピクセルおよび第５ピクセル間の座標距離である。

背景距離は第４ピクセルおよび参照ビュー画像の背景領域間の最短座標距離である。すなわち、背景距離は第４ピクセルおよび第６ピクセル間の座標距離である。

したがって、αの値は前景距離および背景距離間の比率によって決定される。

図８は、本発明の一実施形態に係る画像処理装置の構造図ある。

画像処理装置８００は、深度／両眼視差のエラーのためにビューレンダリングで発生したり観測される人為構造を防止するか回避し、高画質マルチビュー画像を生成する。

画像処理装置８００は、第１参照ビューの参照ビュー画像および該参照ビュー画像に対する深度／両眼視差情報に基づいて出力ビュー画像を生成する。出力ビューは特定の視点におけるビューである。

画像処理装置８００は、エラー疑い領域設定部８１０、前景優先ワーピング部８２０、背景優先ワーピング部８３０、および混合部８４０を備える。エラー疑い領域設定部８１０は、参照ビュー画像の深度／両眼視差情報に基づいて参照ビュー画像内のエラー疑い領域を検出する。

前景優先ワーピング部８２０は、参照ビュー画像に対する前景優先ワーピングを行うことによって前景優先画像を生成する。背景優先ワーピング部８３０は、参照ビュー画像に対する背景優先ワーピングを行うことによって背景優先画像を生成する。背景優先ワーピング部８３０は、第２参照ビューにそれぞれ対応する少なくとも１つの参照ビュー画像を参照することによって背景優先画像のうちエラー疑い領域に対応する部分を生成する。

混合部８４０は、前景優先画像および背景優先画像を混合することによって出力ビュー画像を生成する。混合部８４０は、出力ビュー画像のエラー疑い領域内のピクセルのカラー値を生成する場合、前景優先画像内の第１ピクセルのカラー値および第１ピクセルに対応する背景優先画像内の第２ピクセルのカラー値をアルファマットすることによって、第１ピクセルに対応する出力ビュー画像内の第３ピクセルのカラー値を生成する。第２ピクセルの位置および第３ピクセルの位置は第１ピクセルに対応する。

第３ピクセルのカラー値は、第１ピクセルのカラー値および第２ピクセルのカラー値の加重値が加えられた和であってもよい。第１ピクセルのカラー値に対する加重値は混合係数αであってもよく、第２ピクセルのカラー値に対する加重値は１−αであってもよい。

画像処理装置はαを決定する混合係数決定部８５０をさらに備えることができる。

混合係数決定部８５０は、第１カラーの一貫性および第２カラーの一貫性に基づいてαを決定する。第１カラーの一貫性は、第３ピクセルに対応する参照ビュー画像内の第４ピクセルのカラー値のカラーコンポーネント座標、および前記第４ピクセルと隣接した前景のカラー値のカラーコンポーネント座標間のユークリッド距離に基づいて算出される。第２カラーの一貫性は、前記第４ピクセルのカラー値のカラーコンポーネント座標および前記第４ピクセルと隣接した背景のカラー値のカラーコンポーネント座標間のユークリッド距離に基づいて算出される。第４ピクセルの位置は第３ピクセルの位置に対応する。

混合係数決定部８５０は、第１距離および第２距離に基づいてαを決定してもよい。第１距離は第３ピクセルおよび前景間の最短座標距離であり、第２距離は第３ピクセルおよび背景間の最短座標距離である。

画像処理装置８００によって、ステレオ画像またはマルチビュー画像が生成される。画像処理装置８００は、ビュー内挿および／またはビュー外挿を行うことによってステレオ画像またはマルチビュー画像を生成する。

すなわち、ビュー内挿またはビュー外挿を行うための一連のステップまたは方法が本発明の一実施形態に係る画像処理装置８００の動作と結合され得る。

上記の図１〜図７に基づいて説明した本発明の一実施形態に係る技術的な内容が本実施形態にもそのまま適用されてもよい。したがって、より詳細な説明は以下には省略する。

図９は、本発明の一実施形態に係るエラー疑い領域設定部８１０の構造図ある。エラー疑い領域設定部８１０は、深度／両眼視差不連続分析部９１０、疑い領域設定部９２０、前景優先ワーピング深度／両眼視差情報生成部９３０、および背景優先ワーピング深度／両眼視差情報生成部９４０を備える。

深度／両眼視差不連続分析部９１０は、参照ビュー画像に対応する深度／両眼視差情報のうち不連続な部分を検出する。

疑い領域設定部９２０は、検出された不連続な部分に基づいて参照ビュー画像内のエラー疑い領域を設定する。疑い領域設定部９２０は、参照ビュー画像内において、不連続な部分から一定の距離内にある部分をエラー疑い領域として設定してもよい。

前景優先ワーピング深度／両眼視差情報生成部９３０は、前景優先ワーピング深度／両眼視差情報を生成する。前景優先ワーピング深度／両眼視差情報生成部９３０は、不連続な部分に隣接した前景部分の深度／両眼視差情報をエラー疑い領域に拡張することによって、前景優先ワーピング深度／両眼視差情報を生成する。

背景優先ワーピング深度／両眼視差情報生成部９４０は、背景優先ワーピング深度／両眼視差情報を生成する。背景優先ワーピング深度／両眼視差情報生成部９４０は、エラー疑い領域をワーピングから除外する背景優先ワーピング深度／両眼視差情報を生成する。背景優先ワーピング深度／両眼視差情報生成部９４０は、不連続な部分をホールと見なすことによって不連続な部分をワーピングから除外してもよく、上記のホールを満たしてもよい。

前景優先ワーピング部８２０は、生成された前景優先ワーピング深度／両眼視差情報に基づいて前景優先画像を生成してもよく、背景優先ワーピング部８３０は、生成された背景優先ワーピング深度／両眼視差情報に基づいて背景優先画像を生成してもよい。

上記の図１〜図８に基づいて説明された本発明の一実施形態に係る技術的な内容が本実施形態にもそのまま適用されてもよい。したがって、より詳細な説明は以下には省略する。

図１０は、本発明の一実施形態に係る画像処理方法のフローチャートである。画像処理方法は、参照地点における第１参照ビューの参照ビュー画像および参照ビュー画像に対する深度／両眼視差情報に基づいて特定の視点における出力ビュー画像を生成する。

まず、エラー疑い領域を設定するステップＳ１０１０〜Ｓ１０４０が行われる。エラー疑い領域設定ステップＳ１０１０〜Ｓ１０４０において、深度／両眼視差情報に基づいて参照ビュー画像内のエラー疑い領域が検出される。検出されたエラー疑い領域内で複数のエラー疑い領域をさらに決定してもよい。

深度／両眼視差不連続を分析するステップＳ１０１０において、深度／両眼視差情報のうち不連続な部分が検出される。

疑い領域を設定するステップＳ１０２０において、検出された不連続な部分に基づいて参照ビュー画像内のエラー疑い領域が設定される。

参照ビュー画像内で不連続な部分から一定の座標距離内にある部分がエラー疑い領域として設定される。

前景優先ワーピング深度／両眼視差情報を生成するステップＳ１０３０において、不連続な部分に隣接した前景部分の深度／両眼視差情報をエラー疑い領域に拡張することによって、前景優先ワーピング深度／両眼視差情報が生成される。

背景優先ワーピング深度／両眼視差情報を生成するステップＳ１０４０において、エラー疑い領域をワーピングから除外する背景優先ワーピング深度／両眼視差情報が生成される。

不連続な部分をホールと見なすことによって不連続な部分がワーピングから除外されてもよく、満たされてもよい。

前景優先ワーピングステップＳ１０５０において、参照ビュー画像のうちエラー疑い領域に対応する部分を前景と見なす前景優先ワーピングを行うことによって前景優先画像が生成される。

前景優先ワーピング深度／両眼視差情報に基づいて前記前景優先画像が生成される。

背景優先ワーピングステップＳ１０６０において、参照ビュー画像のうちエラー疑い領域に対応する部分をワーピングから除外される背景優先ワーピングを行うことによって背景優先画像が生成される。

第２参照ビューの参照ビュー画像を参照することによって、背景優先画像のうちエラー疑い領域に対応する部分が生成される。

背景優先ワーピング深度／両眼視差情報に基づいて背景優先画像が生成される。

混合係数を決定するステップＳ１０７０において、混合係数αが決定される。

αは、第１カラーの一貫性および第２カラーの一貫性に基づいて決定される。

第１ピクセルは前景優先画像内のピクセルである。第２ピクセルは第１ピクセルに位置的に対応する背景優先画像内のピクセルである。第３ピクセルは第１ピクセルに位置的に対応する出力ビュー画像内のピクセルである。

第１カラーの一貫性は、第３ピクセルに位置的に対応する参照ビュー画像内の第４ピクセルのカラー値のカラーコンポーネント座標、および前記第４ピクセルと隣接した前景のカラー値のカラーコンポーネント座標間のユークリッド距離に基づいて算出されてもよい。

第２カラーの一貫性は、第４ピクセルのカラー値のカラーコンポーネント座標および第４ピクセルと隣接した背景のカラー値のカラーコンポーネント座標間のユークリッド距離に基づいて算出されてもよい。

αは、第１距離および第２距離に基づいて決定されてもよい。前記第１距離は前記第３ピクセルおよび前景間の最短座標距離であり、前記第２距離は前記第３ピクセルおよび背景間の最短座標距離である。

混合ステップＳ１０８０において、前景優先画像と前記背景優先画像とを混合することによって出力ビュー画像が生成される。混合ステップＳ１０８０において、出力ビュー画像のエラー疑い領域内のピクセルのカラー値が生成される場合、第１ピクセルのカラー値および第２ピクセルのカラー値をアルファマットすることによって第３ピクセルのカラー値を生成する。

第３ピクセルのカラー値は、第１ピクセルのカラー値および第２ピクセルのカラー値の加重値が加えられた和であってもよい。第１ピクセルのカラー値に対する加重値はαであってもよい。第２ピクセルのカラー値に対する加重値は１−αであってもよい。

上記の図１〜図９に基づいて説明された本発明の一実施形態に係る技術的な内容が本実施形態にもそのまま適用されてもよい。したがって、より詳細な説明は以下には省略する。

本発明の一実施形態に係る方法は、コンピュータにより実現される多様な動作を実行するためのプログラム命令形態で実現され、コンピュータで読取可能な記録媒体に記録されてもよい。前記コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むものでもよい。前記媒体に記録されるプログラム命令は、本発明の目的のために特別に設計され構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータで読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスクおよび磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。上述のハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェア階層で作動するように構成されてもよい。

上述したように、本発明は、一例として限定された実施形態と図面とによって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような記載から多様な修正および変形が可能である。

したがって、本発明の範囲は説明された実施形態に限定されてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等なものなどによって定められなければならない。

１００、８００ 画像処理装置
８１０ エラー疑い領域設定部
８２０ 前景優先ワーピング部
８３０ 背景優先ワーピング部
８４０ 混合部
９１０ 深度／両眼視差不連続分析部
９２０ 疑い領域設定部
９３０ 前景優先ワーピング深度／両眼視差情報生成部
９４０ 背景優先ワーピング深度／両眼視差情報生成部

Claims (23)

1. 参照視点のための第１参照ビューの参照ビュー画像および前記参照ビュー画像に対する深度／両眼視差情報に基づいて特定の視点のための出力ビュー画像を生成する画像処理装置において、
   前記参照ビュー画像のうち検出されたエラー疑い領域に対応する部分が前記参照ビュー画像の前景に含まれたものと見なす前記参照ビュー画像の前景優先ワーピングを行うことによって前景優先画像を生成する前景優先ワーピング部（前記検出されたエラー疑い領域は、前記参照ビュー画像の前記深度/両眼視差情報に基づいて深度両眼視差エラーの決められて増加された確率を有する前記参照ビュー画像の１つ以上である領域）と、
   前記参照ビュー画像のうち前記エラー疑い領域に対応する部分を除外する前記参照ビュー画像の背景の背景優先ワーピングを行うことによって背景優先画像を生成する背景優先ワーピング部と、
   前記出力ビュー画像を生成するために前記前景優先画像と前記背景優先画像とを混合する混合部と、
   を備えることを特徴とする画像処理装置。
2. 前記混合部は、前記出力ビュー画像のエラー疑い領域内のピクセルのカラー値を生成する場合、前記前景優先画像内の第１ピクセルのカラー値および前記背景優先画像内の第２ピクセルのカラー値をアルファマットすることによって、前記出力ビュー画像内の第３ピクセルのカラー値を生成し、前記第２ピクセルの位置および前記第３ピクセルの位置は前記第１ピクセルの位置に対応することを特徴とする請求項１に記載の画像処理装置。
3. 前記第３ピクセルのカラー値は、前記第１ピクセルのカラー値および前記第２ピクセルのカラー値の加重値が加えられた和であり、前記第１ピクセルのカラー値に対する加重値は混合係数αであり、前記第２ピクセルのカラー値に対する加重値は１−αであることを特徴とする請求項２に記載の画像処理装置。
4. 前記αを決定する混合係数決定部をさらに備え、
   前記混合係数決定部は、第１カラーの一貫性および第２カラーの一貫性に基づいて前記αを決定し、前記第１カラーの一貫性は前記第３ピクセルに対応する前記参照ビュー画像内の第４ピクセルのカラー値のカラーコンポーネント座標、および前記第４ピクセルと隣接した前景のカラー値のカラーコンポーネント座標間のユークリッド距離に基づいて算出され、前記第２カラーの一貫性は、前記第４ピクセルのカラー値のカラーコンポーネント座標および前記第４ピクセルと隣接した背景のカラー値のカラーコンポーネント座標間のユークリッド距離に基づいて算出されることを特徴とする請求項３に記載の画像処理装置。
5. 前記αを決定する混合係数決定部をさらに備え、
   前記混合係数決定部は、第１距離および第２距離に基づいて前記αを決定し、前記第１距離は前記第３ピクセルおよび前記前景間の最短距離であり、前記第２距離は前記第３ピクセルおよび前記背景間の最短距離であることを特徴とする請求項３に記載の画像処理装置。
6. 前記背景優先ワーピング部は、第２参照視点のための第２参照ビューの参照ビュー画像を参照することによって前記背景優先画像のうち前記エラー疑い領域に対応する部分を生成することを特徴とする請求項１に記載の画像処理装置。
7. 前記エラー疑い領域設定部は、
   前記参照ビュー画像の前記深度／両眼視差情報のうち不連続な部分を検出する深度／両眼視差不連続分析部と、
   前記不連続な部分に基づいて前記参照ビュー画像内のエラー疑い領域を設定する疑い領域設定部と、
   前記不連続な部分に隣接した前景部分の前記深度／両眼視差情報に基づいて前記エラー疑い領域の深度／両眼視差情報を選択的に調整するために、前記前景部分の深度／両眼視差情報を前記エラー疑い領域を含むように拡張することによって、前景優先ワーピング深度／両眼視差情報を生成する前景優先ワーピング深度／両眼視差情報生成部と、
   前記エラー疑い領域をワーピングから除外する前記背景の背景優先ワーピング深度／両眼視差情報を生成する背景優先ワーピング深度／両眼視差情報生成部と、
   を備え、
   前記前景優先ワーピング部は、前記前景優先ワーピング深度／両眼視差情報に基づいて前記前景優先画像を生成し、前記背景優先ワーピング部は、前記背景優先ワーピング深度／両眼視差情報に基づいて前記背景優先画像を生成することを特徴とする請求項１に記載の画像処理装置。
8. 前記疑い領域設定部は、前記参照ビュー画像内において前記不連続な部分から一定の距離内にある部分を前記エラー疑い領域として設定することを特徴とする請求項７に記載の画像処理装置。
9. 前記背景優先ワーピング深度／両眼視差情報生成部は、前記不連続な部分をホールと見なし、前記不連続な部分を前記背景優先ワーピングから除外し、他の参照ビュー画像から背景情報に基づいて前記ホールを代替することを特徴とする請求項７に記載の画像処理装置。
10. 参照視点のための第１参照ビューの参照ビュー画像および前記参照ビュー画像に対する深度／両眼視差情報に基づいて特定の視点のための出力ビュー画像を生成する画像処理方法において、
    前記参照ビュー画像のうち検出されたエラー疑い領域に対応する部分が前記参照ビュー画像の前景に含まれるものと見なす前記参照ビュー画像の前景優先ワーピングを行うことによって前景優先画像を生成する前景優先ワーピングステップ（前記検出されたエラー疑い領域は、前記参照ビュー画像の前記深度/両眼視差情報に基づいて深度両眼視差エラーの決められて増加された確率を有する前記参照ビュー画像の１つ以上である領域）と、
    前記参照ビュー画像のうち前記エラー疑い領域に対応する部分を除外する前記参照ビュー画像の背景の背景優先ワーピングを行うことによって背景優先画像を生成する背景優先ワーピングステップと、
    前記出力ビュー画像を生成するために前記前景優先画像と前記背景優先画像とを混合する混合ステップと、
    を含むことを特徴とする画像処理方法。
11. 前記混合ステップは、前記出力ビュー画像のエラー疑い領域内のピクセルのカラー値を生成する場合、前記前景優先画像内の第１ピクセルのカラー値および前記背景優先画像内の第２ピクセルのカラー値をアルファマットすることによって、前記出力ビュー画像内の第３ピクセルのカラー値を生成し、前記第２ピクセルの位置および前記第３ピクセルの位置は前記第１ピクセルの位置に対応することを特徴とする請求項１０に記載の画像処理方法。
12. 前記第３ピクセルのカラー値は、前記第１ピクセルのカラー値および前記第２ピクセルのカラー値の加重値が加えられた和であり、前記第１ピクセルのカラー値に対する加重値は混合係数αであり、前記第２ピクセルのカラー値に対する加重値は１−αであることを特徴とする請求項１１に記載の画像処理方法。
13. 前記αを決定する混合係数決定ステップをさらに含み、
    前記αは、第１カラーの一貫性および第２カラーの一貫性に基づいて決定され、前記第１カラーの一貫性は、前記第３ピクセルに対応する前記参照ビュー画像内の第４ピクセルのカラー値のカラーコンポーネント座標および前記第４ピクセルと隣接した前景のカラー値のカラーコンポーネント座標間のユークリッド距離に基づいて算出され、前記第２カラーの一貫性は、前記第４ピクセルのカラー値のカラーコンポーネント座標および前記第４ピクセルと隣接した背景のカラー値のカラーコンポーネント座標間のユークリッド距離に基づいて算出されることを特徴とする請求項１２に記載の画像処理方法。
14. 前記αを決定する混合係数決定ステップをさらに含み、
    前記αは第１距離および第２距離に基づいて決定され、前記第１距離は前記第３ピクセルおよび前記前景間の最短距離であり、前記第２距離は前記第３ピクセルおよび前記背景間の最短距離であることを特徴とする請求項１２に記載の画像処理方法。
15. 前記背景優先ワーピングステップは、第２参照視点のための第２参照ビューの参照ビュー画像を参照することによって、前記背景優先画像のうち前記エラー疑い領域に対応する部分を生成することを特徴とする請求項１０に記載の画像処理方法。
16. 前記エラー疑い領域設定ステップは、
    前記参照ビュー画像の前記深度／両眼視差情報のうち不連続な部分を検出する深度／両眼視差不連続分析ステップと、
    前記不連続な部分に基づいて前記参照ビュー画像内のエラー疑い領域を設定する疑い領域設定ステップと、
    前記不連続な部分に隣接した前景部分の前記深度／両眼視差情報に基づいて前記エラー疑い領域の深度／両眼視差情報を選択的に調整するために、前記前景部分の深度／両眼視差情報を前記エラー疑い領域を含むように拡張することによって、前景優先ワーピング深度／両眼視差情報を生成する前景優先ワーピング深度／両眼視差情報生成ステップと、
    前記エラー疑い領域をワーピングから除外する前記背景の背景優先ワーピング深度／両眼視差情報を生成する背景優先ワーピング深度／両眼視差情報生成ステップと、
    を含み、
    前記前景優先ワーピングステップは、前記前景優先ワーピング深度／両眼視差情報に基づいて前記前景優先画像を生成し、前記背景優先ワーピングステップは、前記背景優先ワーピング深度／両眼視差情報に基づいて前記背景優先画像を生成することを特徴とする請求項１０に記載の画像処理方法。
17. 前記疑い領域設定ステップは、前記参照ビュー画像内で前記不連続な部分から一定の距離内にある部分を前記エラー疑い領域として設定することを特徴とする請求項１６に記載の画像処理方法。
18. 前記背景優先ワーピング深度／両眼視差情報生成ステップは、前記不連続な部分をホールと見なし、前記不連続な部分を前記背景優先ワーピングから除外し、他の参照ビュー画像からの背景情報に基づいて前記ホールを代替することを特徴とする請求項１６に記載の画像処理方法。
19. 請求項１０〜請求項１８のうちいずれか一項の画像処理方法を行うプログラムを収録したコンビュータ読み出し可能な記録媒体。
20. 少なくとも１つのオブジェクトを表す第１参照視点における第１参照ビュー画像に基づいて、前記第１参照ビュー画像の深度／両眼視差情報に基づいて中央視点のための第１中間中央ビュー画像を生成する画像処理装置において、
    前記第１参照視点と相異なる中間視点に対する前記第１中間中央ビュー画像を生成するために、前記第１参照ビュー画像の少なくとも１つの決められた前景および前記第１参照ビュー画像の少なくとも１つの決められた背景をそれぞれワーピングすることによって、前記第１参照ビュー画像をワーピングする第１ワーピングユニット（前記第１参照ビュー画像の前記少なくとも１つの前景および前記少なくとも１つの背景の前記ワーピングは、前記第１参照ビュー画像の検出されたエラー疑い領域に基づいて異なって行われ、前記検出されたエラー疑い領域は、前記参照ビュー画像の前記深度／両眼視差情報に基づいて深度両眼視差エラーの決められて増加された確率を有する前記参照ビュー画像の１つ以上の領域である）と、
    前記第１中間中央ビュー画像を前記中央視点における前記少なくとも１つのオブジェクトを含む追加的なビュー画像として出力する出力部と、
    を備えることを特徴とする画像処理装置。
21. 少なくとも１つのオブジェクトを表す第２参照視点における第２参照ビュー画像に基づいて、前記第２参照ビュー画像の深度／両眼視差情報に基づいて前記中央視点に対する第２中間中央ビュー画像を生成するために、
    前記第２参照視点と相異なる中間視点に対する前記第２中間中央ビュー画像を生成するために前記第１参照ビュー画像の少なくとも１つの決められた前景および前記第２参照ビュー画像の少なくとも１つの決められた背景をそれぞれワーピングすることによって、前記第１参照ビュー画像をワーピングする第２ワーピングユニット（前記第２参照ビュー画像の前記少なくとも１つの前景および前記少なくとも１つの背景の前記ワーピングは前記第２参照ビュー画像の検出されたエラー疑い領域に基づいて異なって行われ、前記検出されたエラー疑い領域は、前記参照ビュー画像の前記深度／両眼視差情報に基づいて深度両眼視差エラーの決められて増加された確率を有する前記参照ビュー画像の１つ以上の領域である）と、
    前記中央視点における中央ビュー画像を生成するために前記第１中間中央ビュー画像を前記第２中間中央ビュー画像と混合する混合部とをさらに備え、
    前記出力部は、前記中央ビュー画像を前記中央視点における前記少なくとも１つのオブジェクトを含む追加的なビュー画像として出力することを特徴とする請求項２０に記載の画像処理装置。
22. 少なくとも１つのオブジェクトを表す第１参照視点における第１参照ビュー画像に基づいて、前記第１参照ビュー画像の深度／両眼視差情報に基づいて中央視点のための第１中間中央ビュー画像を生成する画像処理方法において、
    前記第１参照視点と相異なる中間視点に対する前記第１中間中央ビュー画像を生成するために、前記第１参照ビュー画像の少なくとも１つの決められた前景および前記第１参照ビュー画像の少なくとも１つの決められた背景をそれぞれワーピングするステップ（前記第１参照ビュー画像の前記少なくとも１つの前景および前記少なくとも１つの背景の前記ワーピングは、前記第１参照ビュー画像の検出されたエラー疑い領域に基づいて異なって行われ、前記検出されたエラー疑い領域は、前記参照ビュー画像の前記深度／両眼視差情報に基づいて深度両眼視差エラーの決められて増加された確率を有する前記参照ビュー画像の１つ以上の領域である）と、
    前記第１中間中央ビュー画像を前記中央視点における前記少なくとも１つのオブジェクトを含む追加的なビュー画像として出力するステップと、
    を含むことを特徴とする画像処理方法。
23. 少なくとも１つのオブジェクトを表す第２参照視点における第２参照ビュー画像に基づいて、前記第２参照ビュー画像の深度／両眼視差情報に基づいて前記中央視点に対する第２中間中央ビュー画像を生成するために、
    前記第２参照視点と相異なる中間視点に対する前記第２中間中央ビュー画像を生成するために前記第１参照ビュー画像の少なくとも１つの決められた前景および前記第２参照ビュー画像の少なくとも１つの決められた背景をそれぞれワーピングするステップ（前記第２参照ビュー画像の前記少なくとも１つの前景および前記少なくとも１つの背景の前記ワーピングは、前記第２参照ビュー画像の検出されたエラー疑い領域に基づいて異なって行われ、前記検出されたエラー疑い領域は、前記参照ビュー画像の前記深度／両眼視差情報に基づいて深度両眼視差エラーの決められて増加された確率を有する前記参照ビュー画像の１つ以上の領域である）と、
    前記中央視点における中央ビュー画像を生成するために前記第１中間中央ビュー画像を前記第２中間中央ビュー画像と混合するステップと、
    前記中央ビュー画像を前記中央視点における前記少なくとも１つのオブジェクトを含む追加的なビュー画像として出力するステップと、
    をさらに含むことを特徴とする請求項２２に記載の画像処理方法。