JP2012019513A - ２ｄ画像を３ｄ画像に変換するための方法および装置 - Google Patents

Abstract

【課題】２Ｄ画像を３Ｄ画像に変換するための方法および装置を提供する。
【解決手段】方法は、ピクセル値を有する入力画像を、輝度値を有する輝度画像に変換するステップＳ１００と、輝度画像から、奥行き情報を有する奥行きマップを生成するステップとＳ１０４、生成された奥行きマップを使用した入力画像の第１の視差処理により、左目画像、右目画像、および再生画像のうちの少なくとも１つを生成するステップＳ１０６とを含む。ここで、視差処理において現在処理されるべきピクセルを含むＮ（２より大きい整数）個のピクセルの奥行き情報を考慮することによって、遅延ピクセルのピクセル値が、現在処理されるべきピクセルのピクセル値の代わりに置き換えられる。加えて、遅延ピクセルが、Ｎ個のピクセルの奥行き情報の配列に従って決定され、遅延ピクセルは、現在処理されるべきピクセルよりもＭ（０より大きい整数）個のピクセル分だけ前に位置するピクセルを意味する。
【選択図】図１

Description

本発明は、一般に画像変換に関し、より詳細には、２Ｄ画像を３Ｄ画像に変換するための方法および装置に関する。

近年、たとえば、アバター、その他などの３Ｄ（三次元）映画が人気上昇中であり、それゆえ３Ｄ映画用の３Ｄ画像の研究が盛んに始まっている。加えて、主要企業が、３Ｄ画像に対応したテレビ受像機を製造、販売しており、３Ｄ画像コンテンツの開発に着手している。

しかしながら、３Ｄ画像コンテンツを開発するためには、長い時間およびコストがかかるために、現在のところ、わずかな３Ｄ画像コンテンツしか開発されていない。したがって、３Ｄ画像コンテンツを開発するための期間およびコストを解決するために、２Ｄ画像を３Ｄ画像に変換する方法が必要とされている。

解決策を設計するエンジニアにとっては、２Ｄ画像を３Ｄ画像に効率的に変換し、より顕著な三次元効果を生成することが課題である。

本発明の主要な目的は、視差処理ルールを使用して、２Ｄ画像を３Ｄ画像に変換することである。

本発明のさらなる目的は、複数の視差処理を２Ｄ入力画像に適用することである。

本発明の目的に従って、２Ｄ画像を３Ｄ画像に変換する方法が達成された。発明された方法は、ピクセル値を有する入力画像を、輝度値を有する輝度画像に変換するステップと、輝度画像から、奥行き情報を有する奥行きマップを生成するステップと、生成された奥行きマップを使用した入力画像の第１の視差処理により、左目画像、右目画像、および再生画像のうちの少なくとも１つを生成するステップとを含む。

本発明の目的に従って、２Ｄ画像を３Ｄ画像に変換するための装置が達成された。発明された装置は、ピクセル値を有する２Ｄ入力画像を、輝度値を有する輝度画像に変換するように構成された輝度変換部と、輝度画像から、奥行き情報を有する奥行きマップを生成するように構成された奥行きマップ部と、生成された奥行きマップを使用した入力画像の第１の視差処理により、左目画像、右目画像、および再生画像のうちの少なくとも１つを生成するように構成された再生画像部とを含む。

本説明の本質的な部分を形成する添付の図面において、以下が示される。

本発明の第１の例示的な実施形態に従った、２Ｄ画像を３Ｄ画像に変換する方法を示す流れ図である。 本発明の例示的な一実施形態に従った、サンプル画像を取得するプロセスを示す透視図である。 本発明の例示的な一実施形態に従った、オブジェクトを分離するプロセスを示す図である。 本発明の第２の例示的な実施形態に従った、２Ｄ画像を３Ｄ画像に変換する方法を示す流れ図である。 本発明の例示的な一実施形態に従った、境界を分離するプロセスの図である。 本発明の例示的な一実施形態に従った、オブジェクトの合成およびノイズ除去に使用されるマスクを示す図である。 本発明の例示的な一実施形態に従った、オブジェクトの合成およびノイズ除去による結果を示す図である。 本発明の例示的な一実施形態に従った、２Ｄ画像を３Ｄ画像に変換するための装置を示すブロック図である。

視差処理ルールを使用して、２Ｄ画像を３Ｄ画像に変換するための方法および装置が開示される。特に、本発明は、複数の視差処理ステップを２Ｄ入力画像に適用することによって、三次元効果をより顕著に示す。

一態様において、本発明は、２Ｄ画像を３Ｄ画像に変換する方法を提供し、方法は、ピクセル値を有する入力画像を、輝度値を有する輝度画像に変換するステップと、輝度画像から、奥行き情報を有する奥行きマップを生成するステップと、生成された奥行きマップを使用した入力画像の第１の視差処理により、左目画像、右目画像、および再生画像のうちの少なくとも１つを生成するステップとを含む。ここで、視差処理において現在処理されるべきピクセルを含むＮ（２より大きい整数）個のピクセルの奥行き情報を考慮することによって、遅延ピクセルのピクセル値が、現在処理されるべきピクセルのピクセル値の代わりに置き換えられる。加えて、遅延ピクセルが、Ｎ個のピクセルの奥行き情報の配列に従って決定され、遅延ピクセルは、現在処理されるべきピクセルよりもＭ（０より大きい整数）個のピクセル分だけ前に位置するピクセルを意味する。

第１のピクセルに正視差を適用するように、右目画像は、背景領域のみについて右方向に遅延され、第２のピクセルに負視差を適用するように、左目画像は、オブジェクト領域のみについて左方向に遅延される。

方法は、奥行きマップを使用した入力画像の第１の視差処理の後に、第２の視差処理によって、左目画像または右目画像を生成するステップをさらに含む。ここで、第２の視差処理において現在処理されるべきピクセルを含むＮ個のピクセルの奥行き情報を考慮することによって、遅延ピクセルのピクセル値が、現在処理されるべきピクセルのピクセル値の代わりに置き換えられる。さらに、第２の視差処理における遅延ピクセルが、Ｎ個のピクセルの奥行き情報の配列に従って決定され、第２の視差処理における遅延ピクセルの値は、第１の遅延処理における遅延ピクセルの値よりも高い。

奥行き情報の同じ配列を考慮して、左目画像に対して視差処理するときに遅延ピクセルを選択するための第１の視差処理ルールは、右目画像に対して視差処理するときに遅延ピクセルを選択するための第２の視差処理ルールとは異なる。

奥行き情報は、０または１を有し、入力画像は、４つの奥行き情報の配列に従って視差処理される。

入力画像を変換するステップは、入力画像のピクセルのピクセル値を、輝度値に変換するステップを含む。奥行きマップを生成するステップは、輝度画像のピクセルを一定間隔でサンプリングし、それによりサンプル画像を生成するステップと、サンプル画像の総平均輝度μ_{ＴＯＴＡＬ}を計算するステップと、サンプル画像を上部および下部に分割して、上部の平均輝度μ_ＰＡＲＴを計算するステップと、総平均輝度μ_{ＴＯＴＡＬ}および上部の平均輝度μ_ＰＡＲＴを使用することによって、入力画像のピクセルの奥行き情報を生成するステップとを含む。ここで、総平均輝度μ_{ＴＯＴＡＬ}が平均輝度μ_ＰＡＲＴよりも大きいという条件下において、ピクセルの輝度Ｓ_Ｙ（ｉ，ｊ）が総平均輝度μ_{ＴＯＴＡＬ}よりも大きい場合に、ピクセルの奥行き情報は０であり、ピクセルの輝度Ｓ_Ｙ（ｉ，ｊ）が総平均輝度μ_{ＴＯＴＡＬ}よりも小さい場合には、１である。さらに、総平均輝度μ_{ＴＯＴＡＬ}が平均輝度μ_ＰＡＲＴよりも小さいという条件下において、ピクセルの輝度Ｓ_Ｙ（ｉ，ｊ）が総平均輝度μ_{ＴＯＴＡＬ}よりも小さい場合に、ピクセルの奥行き情報は０であり、ピクセルの輝度Ｓ_Ｙ（ｉ，ｊ）が総平均輝度μ_{ＴＯＴＡＬ}よりも大きい場合には、１である。

奥行きマップを生成するステップは、特定のピクセルと次のピクセルとの間の輝度差があらかじめ設定されたレベルよりも高い場合に、特定のピクセルよりＤ（正の整数）個のピクセル分だけ後ろに位置するすべてのピクセルの奥行き情報を、０または１に設定するステップをさらに含む。

奥行き情報を生成するステップは、０または１を有する奥行き情報を、０、１、２、および３に分割するステップと、マスクを使用して、０、１、２、および３を有する奥行き情報を平滑化するステップと、０から１．５の間の奥行き情報を有するピクセルの奥行き情報を、０に再設定し、１．５から３の間の奥行き情報を有するピクセルの奥行き情報を、１に再設定するステップとを含む。

入力画像におけるキャプションに対応する奥行き情報は、１を有する奥行き情報があらかじめ設定された数を超えて連続して並べられる場合にのみ、１に再設定される。

別の態様において、本発明は、２Ｄ画像を３Ｄ画像に変換する方法を提供し、方法は、入力画像のピクセルの輝度を使用して、２Ｄ入力画像から、０または１を有する奥行き情報から構成される奥行きマップを生成するステップと、生成された奥行きマップを介して入力画像を視差処理することによって、左目画像または右目画像を生成するステップとを含む。ここで、右目画像に対して視差処理するときの第１のピクセルが、第１のピクセルに正視差を適用することによって、右方向に遅延され、左目画像に対して視差処理するときの第２のピクセルが、第２のピクセルに負視差を適用することによって、左方向に遅延される。

視差処理において現在処理されるべきピクセルを含むＮ（２より大きい整数）個のピクセルの奥行き情報を考慮することによって、遅延ピクセルのピクセル値が、現在処理されるべきピクセルのピクセル値の代わりに置き換えられる。加えて、遅延ピクセルが、Ｎ個のピクセルの奥行き情報の配列に従って決定され、遅延ピクセルは、現在処理されるべきピクセルよりもＭ（０より大きい整数）個のピクセル分だけ前に位置するピクセルを意味する。

奥行き情報の同じ配列を考慮して、左目画像に対する視差処理時に遅延ピクセルを選択するための第１の視差処理ルールは、右目画像に対する視差処理時に遅延ピクセルを選択するための第２の視差処理ルールとは異なる。さらに、入力画像は、Ｎ個のピクセルの奥行き情報の配列に従って視差処理される。

奥行きマップを生成するステップは、入力画像のピクセルのピクセル値を、輝度値に変換するステップと、輝度画像のピクセルを一定間隔でサンプリングし、それによりサンプル画像を生成するステップと、サンプル画像の総平均輝度μ_{ＴＯＴＡＬ}を計算するステップと、サンプル画像を上部および下部に分割して、上部の平均輝度μ_ＰＡＲＴを計算するステップと、総平均輝度μ_{ＴＯＴＡＬ}および上部の平均輝度μ_ＰＡＲＴを使用することによって、入力画像のピクセルの奥行き情報を生成するステップとを含む。ここで、総平均輝度μ_{ＴＯＴＡＬ}が平均輝度μ_ＰＡＲＴよりも大きいという条件下において、ピクセルの輝度Ｓ_Ｙ（ｉ，ｊ）が総平均輝度μ_{ＴＯＴＡＬ}よりも大きい場合に、ピクセルの奥行き情報は０であり、ピクセルの輝度Ｓ_Ｙ（ｉ，ｊ）が総平均輝度μ_{ＴＯＴＡＬ}よりも小さい場合には、１である。さらに、総平均輝度μ_{ＴＯＴＡＬ}が平均輝度μ_ＰＡＲＴよりも小さいという条件下において、ピクセルの輝度Ｓ_Ｙ（ｉ，ｊ）が総平均輝度μ_{ＴＯＴＡＬ}よりも小さい場合に、ピクセルの奥行き情報は０であり、ピクセルの輝度Ｓ_Ｙ（ｉ，ｊ）が総平均輝度μ_{ＴＯＴＡＬ}よりも大きい場合には、１である。

奥行きマップを生成するステップは、特定のピクセルと次のピクセルとの間の輝度差があらかじめ設定されたレベルよりも高い場合に、特定のピクセルよりＤ（正の整数）個のピクセル分だけ後ろに位置するすべてのピクセルの奥行き情報を、０または１に設定するステップと、０または１を有する奥行き情報を、０、１、２、および３に分割するステップと、マスクを使用して、０、１、２、および３を有する奥行き情報を平滑化するステップと、０から１．５の間の奥行き情報を有するピクセルの奥行き情報を、０に再設定し、１．５から３の間の奥行き情報を有するピクセルの奥行き情報を、１に再設定するステップと、をさらに含む。

入力画像におけるキャプションに対応する奥行き情報は、１を有する奥行き情報があらかじめ設定された数を超えて連続して並べられる場合にのみ、１に再設定される。

さらに別の態様において、本発明は、２Ｄ画像を３Ｄ画像に変換するための装置を提供し、装置は、ピクセル値を有する２Ｄ入力画像を、輝度値を有する輝度画像に変換するように構成された輝度変換部と、輝度画像から、奥行き情報を有する奥行きマップを生成するように構成された奥行きマップ部と、生成された奥行きマップを使用した入力画像の第１の視差処理により、左目画像、右目画像、および再生画像のうちの少なくとも１つを生成するように構成された再生画像部とを含む。ここで、再生画像部は、右目画像を視差処理するときに、第１のピクセルに正視差を適用することによって、第１のピクセルを右方向に遅延させ、左目画像を視差処理するときに、第２のピクセルに負視差を適用することによって、第２のピクセルを左方向に遅延させる。

再生画像部は、視差処理において現在処理されるべきピクセルを含むＮ（２より大きい整数）個のピクセルの奥行き情報を考慮することによって、遅延ピクセルのピクセル値を、現在処理されるべきピクセルのピクセル値の代わりに置き換える。さらに、遅延ピクセルが、Ｎ個のピクセルの奥行き情報の配列に従って決定され、遅延ピクセルは、現在処理されるべきピクセルよりＭ（０より大きい整数）個のピクセル分だけ前に位置するピクセルを意味する。

奥行き情報の同じ配列を考慮して、左目画像に対する視差処理時に遅延ピクセルを選択するための第１の視差処理ルールは、右目画像に対する視差処理時に遅延ピクセルを選択するための第２の視差処理ルールとは異なる。加えて、入力画像は、Ｎ個のピクセルの奥行き情報の配列に従って視差処理される。

輝度変換部は、入力画像のピクセルのピクセル値を輝度値に変換する。奥行きマップ部は、輝度画像のピクセルを一定間隔でサンプリングし、それによりサンプル画像を生成するように構成されたサンプリング部と、サンプル画像の総平均輝度μ_{ＴＯＴＡＬ}を計算し、サンプル画像を上部および下部に分割し、上部の平均輝度μ_ＰＡＲＴを計算するように構成された輝度計算部と、総平均輝度μ_{ＴＯＴＡＬ}および上部の平均輝度μ_ＰＡＲＴを使用することによって、入力画像のピクセルの奥行き情報を生成するように構成された奥行きマップ生成部とを含む。ここで、総平均輝度μ_{ＴＯＴＡＬ}が平均輝度μ_ＰＡＲＴよりも大きいという条件下において、ピクセルの輝度Ｓ_Ｙ（ｉ，ｊ）が総平均輝度μ_{ＴＯＴＡＬ}よりも大きい場合に、ピクセルの奥行き情報は０であり、ピクセルの輝度Ｓ_Ｙ（ｉ，ｊ）が総平均輝度μ_{ＴＯＴＡＬ}よりも小さい場合には、１である。さらに、総平均輝度μ_{ＴＯＴＡＬ}が平均輝度μ_ＰＡＲＴよりも小さいという条件下において、ピクセルの輝度Ｓ_Ｙ（ｉ，ｊ）が総平均輝度μ_{ＴＯＴＡＬ}よりも小さい場合に、ピクセルの奥行き情報は０であり、ピクセルの輝度Ｓ_Ｙ（ｉ，ｊ）が総平均輝度μ_{ＴＯＴＡＬ}よりも大きい場合には、１である。

奥行きマップ生成部は、特定のピクセルと次のピクセルとの間の輝度差があらかじめ設定されたレベルよりも高い場合に、特定のピクセルよりＤ（正の整数）個のピクセル分だけ後ろに位置するピクセルの奥行き情報を、０または１に設定する。

奥行きマップ生成部は、０または１を有する奥行き情報を、０、１、２、および３に分割し、マスクを使用して、０、１、２、および３を有する奥行き情報を平滑化し、０から１．５の間の奥行き情報を有するピクセルの奥行き情報を、０に再設定し、１．５から３の間の奥行き情報を有するピクセルの奥行き情報を、１に再設定する。

奥行きマップ生成部は、入力画像におけるキャプションに対応する奥行き情報を、１を有する奥行き情報があらかじめ設定された数を超えて連続して並べられる場合にのみ、１に再設定する。

本発明の方法は、２Ｄ（二次元）入力画像、たとえばＲＧＢ画像を、３Ｄ（三次元）画像に変換し、２Ｄ入力画像から再生画像を生成する。

図１は、本発明の第１の例示的な実施形態に従った、２Ｄ画像を３Ｄ画像に変換する方法を示す流れ図であり、図２は、本発明の例示的な一実施形態に従った、サンプル画像を取得するプロセスを示す透視図である。

図１において、本発明の方法は、Ｓ１００のステップで、２Ｄ入力画像のピクセルのピクセル値を、輝度値に変換する。

一般的に、ＣＭＹ表色系、ＲＧＢ表色系、ＨＩＳ表色系、ＹＵＶ表色系、その他などのさまざまな座標系が、表色系として使用される。本発明は、任意で表色系を使用することができるが、説明の都合の目的のために、表色系をＲＧＢ表色系またはＹＵＶ表色系と仮定する。本発明は、任意の他の色空間にも同様に適用され得る。

上記の表色系に従って、以下の式１によって、入力画像のピクセルのピクセル値が輝度値に変換される。

ここで、Ｓ_Ｙ（ｉ，ｊ）は、変換された輝度値を意味し、Ｓ_Ｒ（ｉ，ｊ）、Ｓ_Ｇ（ｉ，ｊ）、およびＳ_Ｂ（ｉ，ｊ）は、入力画像に含まれるＲ、Ｇ、およびＢの輝度値をそれぞれ示す。加えて、δ（ｉ，ｊ）は、単位サンプルのインパルス信号である。

式１に示されるように、入力画像のピクセルのピクセル値は輝度値に変換され、すなわち、入力画像は、図２に示されるような、輝度値により定義される輝度画像２００に変換される。

ステップＳ１０２で、２Ｄ画像を変換する方法は、効果的な計算および動き視差の実際の処理についてのハードウェアの複雑性を考慮しながら、図２に示すように、輝度画像２００のピクセルをサンプリングすることによって、サンプル画像２０２を取得する。結果として、サンプル画像２０２はまた、輝度値を有するピクセルを含む。

本発明の例示的な一実施形態では、２Ｄ画像を変換する方法は、図２に示すように、一定間隔で輝度画像２００のピクセルをサンプリングすることができ、その結果、サンプル画像２０２は、輝度画像２００を表すことができる。ここで、サンプル画像２０２の輝度分散特徴は、輝度画像２００の輝度分散特徴と同一である。すなわち、サンプル画像２０２のヒストグラムの平均および標準偏差は、輝度画像２００のヒストグラムのそれらと同じである。一方で、サンプルされることになるピクセルの数は、制限されない。

Ｓ１０４のステップで、方法は、サンプル画像２０２を使用して、入力画像のための奥行きマップを生成する。

Ｓ１０６のステップで、ステップＳ１０４の生成された奥行きマップを使用することによって、入力画像の視差プロセスが実行され、それにより再生画像を生成する。

以下で、Ｓ１０４およびＳ１０６のステップが、添付の図面を参照して説明される。

最初に、Ｓ１０４のステップが詳細に説明される。

図３は、本発明の例示的な一実施形態に従った、オブジェクトを分離するプロセスを示す図である。ここで、オブジェクトは、オブジェクトの垂直寸法が高い場合に、比較的離れた距離に位置すると仮定され、オブジェクトの垂直寸法が低い場合に、比較的近い距離に位置すると仮定される。

本発明の２Ｄ画像を変換する方法は、オブジェクトを分離するために、図２に示されるようなサンプル画像２０２を、図３に示されるように、上部３００と下部とに分割する。次いで、方法は、サンプル画像２０２の総平均輝度μ_{ＴＯＴＡＬ}、および上部３００の平均輝度μ_ＰＡＲＴを計算する。

一方で、入力画像２００のピクセルの輝度値Ｓ_Ｙが、総平均輝度μ_{ＴＯＴＡＬ}と上部３００の平均輝度μ_ＰＡＲＴとの間の境界にわたって変化する場合、奥行きマップの奥行き情報が素早く変化して、それゆえ画面のちらつきが生じることがある。したがって、方法は、上記のちらつきを防ぐために、以下の式２および式３に示されるように輝度値を再設定する、すなわち、奥行きマップの生成時にちらつきを回避するための輝度レベルの量子化が実行される。以下で、輝度は、２５６レベルを有すると仮定される。
式２：
Ｓ_Ｙ ２２４のとき、Ｓ_Ｙ＝２２４
１９２≦Ｓ_Ｙ＜２２４のとき、Ｓ_Ｙ＝１９２
１６０≦Ｓ_Ｙ＜１９２のとき、Ｓ_Ｙ＝１６０
１２８≦Ｓ_Ｙ＜１６０のとき、Ｓ_Ｙ＝１２８
９６≦Ｓ_Ｙ＜１２８のとき、Ｓ_Ｙ＝９６
６４≦Ｓ_Ｙ＜９６のとき、Ｓ_Ｙ＝６４
３２≦Ｓ_Ｙ＜６４のとき、Ｓ_Ｙ＝３２
Ｓ_Ｙ＜３２のとき、Ｓ_Ｙ＝１６
式３：
μ_{ＴＯＴＡＬ} ２２４のとき、μ_{ＴＯＴＡＬ}＝２２４
１９２≦μ_{ＴＯＴＡＬ}＜２２４のとき、μ_{ＴＯＴＡＬ}＝１９２
１６０≦μ_{ＴＯＴＡＬ}＜１９２のとき、μ_{ＴＯＴＡＬ}＝１６０
１２８≦μ_{ＴＯＴＡＬ}＜１６０のとき、μ_{ＴＯＴＡＬ}＝１２８
９６≦μ_{ＴＯＴＡＬ}＜１２８のとき、μ_{ＴＯＴＡＬ}＝９６
６４≦μ_{ＴＯＴＡＬ}＜９６のとき、μ_{ＴＯＴＡＬ}＝６４
３２≦μ_{ＴＯＴＡＬ}＜６４のとき、μ_{ＴＯＴＡＬ}＝３２
μ_{ＴＯＴＡＬ}＜３２のとき、μ_{ＴＯＴＡＬ}＝１６
引き続き、方法は、総平均輝度μ_{ＴＯＴＡＬ}、および上部３００の平均輝度μ_ＰＡＲＴを使用することによって、奥行き情報を有する奥行きマップを生成する。

本発明の例示的な一実施形態で、方法は、オブジェクトに対応するピクセルの奥行き情報を０に設定し、背景に対応するピクセルの奥行き情報を１に設定する。

特に、総平均輝度μ_{ＴＯＴＡＬ}が、上部３００の平均輝度μ_ＰＡＲＴよりも大きいという条件下、すなわち、μ_{ＴＯＴＡＬ}≧μ_ＰＡＲＴにおいて、２Ｄ画像を変換する方法は、ピクセルの輝度Ｓ_Ｙ（ｉ，ｊ）が総平均輝度μ_{ＴＯＴＡＬ}よりも大きい場合、すなわち、Ｓ_Ｙ（ｉ，ｊ）≧μ_{ＴＯＴＡＬ}の場合に、対応するピクセルの奥行き情報を０に設定し、ピクセルの輝度Ｓ_Ｙ（ｉ，ｊ）が総平均輝度μ_{ＴＯＴＡＬ}よりも小さい場合、すなわち、Ｓ_Ｙ（ｉ，ｊ）＜μ_{ＴＯＴＡＬ}の場合に、対応するピクセルの奥行き情報を１に設定する。さらに、総平均輝度μ_{ＴＯＴＡＬ}が、上部３００の平均輝度μ_ＰＡＲＴよりも小さいという条件下、すなわち、μ_{ＴＯＴＡＬ}＜μ_ＰＡＲＴにおいて、方法は、ピクセルの輝度Ｓ_Ｙ（ｉ，ｊ）が総平均輝度μ_{ＴＯＴＡＬ}よりも小さい場合、すなわち、Ｓ_Ｙ（ｉ，ｊ）＜μ_{ＴＯＴＡＬ}の場合に、対応するピクセルの奥行き情報を０に設定し、ピクセルの輝度Ｓ_Ｙ（ｉ，ｊ）が総平均輝度μ_{ＴＯＴＡＬ}よりも大きい場合、すなわち、Ｓ_Ｙ（ｉ，ｊ）≧μ_{ＴＯＴＡＬ}の場合に、対応するピクセルの奥行き情報を１に設定する。

２Ｄ画像を変換する方法は、上記の奥行き情報設定方法を入力画像のすべてのピクセルに適用して、それにより奥行きマップを生成する。結果として、奥行きマップは、０または１を有する奥行き情報から構成される。本発明の別の例示的な実施形態では、奥行きマップの奥行き情報は、以下で説明されるように、さらに２、３、などを有することができる。

次に、Ｓ１０６のステップが詳細に説明される。

本発明の例示的な一実施形態では、生成された奥行きマップを使用して、入力画像が視差処理され、それにより左目画像および右目画像を生成する。

本発明の例示的な一実施形態で、方法は、右目画像に対して視差処理するときに、対応するピクセルに正視差を適用することによって、そのピクセルを右方向に遅延させ、左目画像に対して視差処理するときに、対応するピクセルに負視差を適用することによって、そのピクセルを左方向に遅延させることができる。

本発明の別の例示的な実施形態で、方法は、視差処理の際に現在処理されるべきピクセルを含むＮ個のピクセルの奥行き情報を考慮しながら、遅延ピクセルのピクセル値を、現在処理されるべきピクセルのピクセル値の代わりに置き換え、ただし、Ｎは２より大きい整数である。ここで、遅延ピクセルが、Ｎ個のピクセルの奥行き情報の配列に従って決定され、遅延ピクセルは、現在処理されるべきピクセルよりＭ（０より大きい整数）個のピクセル分だけ前に位置するピクセルを意味する。

本発明のさらに別の例示的な実施形態で、方法は、Ｎ個のピクセルの奥行き情報の最後の奥行き情報が１である場合に、対応するピクセルに正視差を適用して、それによりそのピクセルを右方向に遅延させる。さらに、方法は、最後の奥行き情報が０である場合に、対応するピクセルに負視差を適用して、それによりそのピクセルを左方向に遅延させる。

以下で、視差を処理する方法が、下記の例を用いて詳細に説明される。ここで、Ｎは、４と仮定される。

表１および表３を参照すると、奥行き情報「１１１１」が入力された場合に、デフォルトとしての遅延１の奥行き情報が、左目画像のための視差処理ルールに従って、Ｄ４の奥行き情報の代わりに置き換えられる。ここで、遅延１は、現在処理されるピクセル、すなわち、Ｄ４に対応するピクセルを示す。言い換えれば、奥行き情報「１１１１」が入力された場合、Ｄ４のピクセル値は維持される。

ピクセルＤ５を参照すると、Ｄ５を含む連続する４つのピクセルの奥行き情報は、「１１１０」である。左目画像のための視差処理ルールに従って、遅延２の奥行き情報が、Ｄ５の奥行き情報の代わりに置き換えられる。ここで、遅延２は、Ｄ５の左方向に隣のピクセルを意味し、それゆえ、Ｄ４のピクセル値が、Ｄ５のピクセル値の代わりに置き換えられる。

ピクセルＤ６を参照すると、Ｄ６を含む連続する４つのピクセルの奥行き情報は、「１１００」である。左目画像のための視差処理ルールに従って、遅延３の奥行き情報が、Ｄ６の奥行き情報の代わりに置き換えられる。ここで、遅延３は、Ｄ５より左方向に２ピクセル分だけ前のピクセルを示し、したがって、Ｄ４のピクセル値が、Ｄ６のピクセル値の代わりに置き換えられる。

手短に言うと、左目画像は、上に挙げた方法によって生成される。一方、右目画像は、左目画像を生成するプロセスと同じように、表２に示された右目画像の視差処理ルールに従って生成される。

本発明の例示的な一実施形態では、再生画像において、表３に示されるように、ピクセルのピクセル値が、今度は、左目画像のピクセル値および右目画像のピクセル値を有することができる。したがって、再生画像の出力は、左目画像および右目画像が二者択一的に出力されるときと同じ効果を有する。すなわち、再生画像を出力することにより、３Ｄ画像が実現される。

本発明の別の例示的な実施形態で、２Ｄを変換する方法は、今度は、特別な再生画像を生成することなく左目画像および右目画像を出力し、それにより３Ｄ画像を出力することができる。

簡単に言うと、本発明の方法は、奥行き情報（たとえば０または１）を有する奥行きマップを生成し、奥行きマップの奥行き情報の配列、ならびに左目画像および右目画像の視差処理ルールに従って、入力画像を視差処理することにより、左目画像および右目画像を生成する。視差処理ルールにおいて、ピクセルの遅延値は、奥行き情報の配列に従って決定される。

上記の説明では、Ｎは、４と仮定されたが、別の値を有するように設定されてもよい。

本発明の別の例示的な実施形態で、２Ｄを変換する方法は、複数の視差処理プロセスを実行することができる。

たとえば、方法は、上に挙げたような１番目における視差処理（以下では、「第１の視差処理」と呼ばれる）を実行し、次いで、さらに２番目における視差処理（以下では、「第２の視差処理」と呼ばれる）を実行することができる。

第２の視差処理は、第１の視差処理と類似する。しかしながら、第２の視差処理において用いられる視差処理ルールは、第１の視差処理における視差処理ルールとは異なっていてよい。本発明の例示的な一実施形態では、第２の視差処理のための視差処理ルールにおける遅延値が、第１の視差処理のための視差処理ルールにおける遅延値よりも高くてもよい。たとえば、第１の視差処理における奥行き情報「１１１０」の遅延値は、第２の視差処理では、２、および３であってよい。

２つの視差処理が上記で説明されたように実行される場合、３Ｄ画像の三次元効果は、１つの視差処理における三次元効果よりも、顕著に示され得る。

一方で、３つの視差処理、４つの視差処理などが実行されてもよい。このケースにおいて、３Ｄ画像の三次元効果をより顕著に見せるために、視差処理の回数が増やされるほど、高い遅延値となる。

本発明の例示的な一実施形態で、２Ｄを変換する方法は、キャプションを処理するために、追加のステップをさらに含むことができる。一般に、画面におけるキャプションは、いくつかのピクセルから構成されており、それゆえ上記の視差処理が実行されるだけの場合には、キャプションが損傷されることがある。したがって、キャプションの損傷問題を解決するために、本発明の方法は、１を有する奥行き情報があらかじめ設定された数を超えて連続して並べられる場合にのみ、対応する奥行き情報を１に設定し、そうでない場合は、対応する奥行き情報を０に設定することができる。

図４は、本発明の第２の例示的な実施形態に従った、２Ｄ画像を３Ｄ画像に変換する方法を示す流れ図であり、図５は、本発明の例示的な一実施形態に従った、境界を分離するプロセスの図である。図６は、本発明の例示的な一実施形態に従った、オブジェクトの合成およびノイズ除去に使用されるマスクを示す図であり、図７は、本発明の例示的な一実施形態に従った、オブジェクトの合成およびノイズ除去による結果を示す図である。

図４で、２Ｄを変換する方法は、Ｓ４００のステップで、入力画像のピクセルのピクセル値を輝度値に変換し、それにより輝度画像を生成する。

Ｓ４０２のステップで、方法は、輝度画像をサンプリングすることによって、サンプル画像を取得する。

Ｓ４０４のステップで、方法は、サンプル画像の動きを検出し、入力画像を複数の領域に分割する。

Ｓ４０６のステップで、方法は、境界を考慮して、第１の奥行きマップを生成する。

Ｓ４０８のステップで、方法は、第１の奥行きマップに、オブジェクト合成ステップおよびノイズ除去ステップを適用することによって、第２の奥行きマップを生成する。ここで、第２の奥行きマップは、第１の実施形態における奥行きマップに対応してもよい。

Ｓ４１０のステップで、方法は、生成された第２の奥行きマップを使用して、入力画像を視差処理し、それにより３Ｄ画像を生成する。

上記の説明では、Ｓ４０６およびＳ４０８を除く他のステップは、第１の実施形態においてと同じであり、したがって、同じステップに関する一切のさらなる説明は、省略される。

以下では、Ｓ４０６のステップが詳細に説明される。

本発明の方法は、上記で説明されたような輝度に基づいて、入力画像を領域に分割する。しかしながら、入力画像の境界部分が明確ではないために、オブジェクトは正確に分離されないことがある。したがって、本発明の方法は、境界部分を明確にするための以下の特別なステップをさらに含むことができる。

図５を参照すると、隣接するピクセル５００と５０２との間の輝度差があらかじめ設定されたレベルよりも高い場合、ピクセル５００よりＫ（正の整数）個のピクセル分だけ後ろに位置するすべてのピクセル５０４または５０６が、０または１を有するように設定されてよい。

たとえば、ピクセル５０４は、Ｙ２が（Ｙ０＋１６）よりも高い場合に、１を有するように設定されてよく、（Ｙ２＋１６）がＹ０よりも小さい場合に、０を有するように設定されてよい。

すなわち、輝度が突然変化する部分が境界部分と仮定され、したがって、２Ｄを変換する方法は、境界部分を明確にするために、輝度が突然変化する部分あたりに、上記のステップを実行する。

以下では、Ｓ４０８のステップが詳細に説明される。

本発明の例示的な一実施形態で、方法は、第１の奥行きマップにおいて０および１を有する奥行き情報を、０、１、２、および３を有する奥行き情報に分離する。しかしながら、奥行き情報の値は、０、１、２、３として限定されず、さまざまに変更されてもよい。

たとえば、Ｓ_Ｙがμ_{ＴＯＴＡＬ}よりも小さいという条件下（Ｓ_Ｙ＜μ_{ＴＯＴＡＬ}）において、方法は、Ｓ_Ｙが（μ_{ＴＯＴＡＬ}／２）よりも小さい場合に、奥行き情報を０に設定し、Ｓ_Ｙが（μ_{ＴＯＴＡＬ}／２）よりも高い場合に、奥行き情報を１に設定する。

加えて、Ｓ_Ｙがμ_{ＴＯＴＡＬ}よりも大きいという条件下（Ｓ_Ｙ≧μ_{ＴＯＴＡＬ}）において、方法は、Ｓ_Ｙが（（２５５＋μ_{ＴＯＴＡＬ}）／２）よりも小さい場合に、奥行き情報を２に設定し、Ｓ_Ｙが（（２５５＋μ_{ＴＯＴＡＬ}）／２）よりも高い場合に、奥行き情報を３に設定する。

引き続き、方法は、図６に示されるマスク６００を使用して、第２の奥行きマップを平滑化する。たとえば、方法は、０から１．５の間の奥行き情報を有するピクセルの奥行き情報を、０に再設定し、１．５から３の間の奥行き情報を有するピクセルの奥行き情報を、１に再設定する。結果として、第２の奥行きマップはまた、第１の奥行きマップと同じように、０および１を有する奥行き情報から構成される。

図７の実験結果を参照すると、第１の奥行きマップにオブジェクト合成およびノイズ除去を適用することによって生成された画像が、オブジェクト合成およびノイズ除去が適用されていない画像よりも、入力画像を一層よく反映する。さらに、第１の奥行きマップにオブジェクト合成およびノイズ除去を適用することによって生成された画像では、境界部分などがはっきりと示される。

図８は、本発明の例示的な一実施形態に従った、２Ｄ画像を３Ｄ画像に変換するための装置を示すブロック図である。

図８で、本発明の２Ｄ画像を３Ｄ画像に変換するための装置８００は、制御部８１０と、記憶部８１２と、輝度変換部８１４と、奥行きマップ部８１６と、再生画像部８１８とを含む。

記憶部８１２は、オリジナル画像である入力画像を記憶し、入力画像を視差処理することによって生成された左目画像、右目画像、または再生画像を記憶することができる。

輝度変換部８１４は、入力画像のピクセルのピクセル値を輝度値に変換し、それにより輝度画像を生成する。

奥行きマップ部８１６は、入力画像を視差処理し、サンプリング部８２０と、輝度計算部８２２と、奥行きマップ生成部８２４とを含む。

サンプリング部８２０は、輝度画像をサンプリングし、それによりサンプル画像を生成する。

輝度計算部８２２は、サンプル画像の総平均輝度μ_{ＴＯＴＡＬ}、および上部３００の平均輝度μ_ＰＡＲＴを計算する。

奥行きマップ生成部８２４は、総平均輝度μ_{ＴＯＴＡＬ}、および平均輝度μ_ＰＡＲＴを使用して、入力画像のための奥行きマップを生成する。

本発明の別の例示的な実施形態で、奥行きマップ生成部８２４はさらに、入力画像の境界部分をはっきりと処理し、次いで奥行きマップを生成することができる。

本発明のさらに別の例示的な実施形態で、奥行きマップ生成部８２４は、０または１を有する奥行き情報を、０、１、２、または３などに分割し、次いでマスクを使用して、０、１、２、または３などを有する奥行き情報を含む奥行きマップを平滑化することによって、新たな奥行きマップを生成する。

本発明のさらに別の例示的な実施形態で、奥行きマップ生成部８２４は、キャプションに対する特別なステップを実行することができる。

再生画像部８１８は、奥行きマップを使用することによって入力画像を視差処理し、それにより左目画像、右目画像、または再生画像を生成する。

制御部８１０は、装置８００における全体の要素を制御する。

本明細書における、「一実施形態」、「実施形態」、「例示的な実施形態」、などへのあらゆる言及は、実施形態に関連して説明される特定の特徴、構造、または特性が、本発明の少なくとも１つの実施形態に含まれることを意味する。本明細書のさまざまな箇所にそのような表現が見られることは、必ずしも、すべて同じ実施形態に言及することではない。さらに、特定の特徴、構造、または特性が、いずれかの実施形態に関連して説明されるとき、実施形態のうちの他の実施形態と関連してそのような特徴、構造、または特性に作用することは、当業者の理解の範囲内であることが提示される。
視差プロセス
実施形態が、そのいくつかの例証的な実施形態を参照して説明されてきたが、本開示の原則の趣旨および範囲内に含まれることになる多数の他の変更形態および実施形態が、当業者によって考案され得ることが理解されるべきである。より詳細には、本開示、本図面、および添付の特許請求の範囲の範囲内で、主題の組合せ構成（ｓｕｂｊｅｃｔ ｃｏｍｂｉｎａｔｉｏｎ ａｒｒａｎｇｅｍｅｎｔ）の構成要素部品および／または配置におけるさまざまな変形形態および変更形態が可能である。構成要素部品および／または配置における変形形態および変更形態に加え、当業者には、代替用途もまた明らかとなるであろう。

本発明が、その好ましい実施形態を参照して詳細に示され、説明されてきたが、形態および詳細におけるさまざまな変更が、本発明の趣旨および範囲から逸脱せずに行われてもよいことが、当業者によって理解されるであろう。

２００ 輝度画像、入力画像
２０２ サンプル画像
３００ 上部
５００ ピクセル
５０２ ピクセル
５０４ ピクセル
５０６ ピクセル
６００ マスク
８００ 装置
８１０ 制御部
８１２ 記憶部
８１４ 輝度変換部
８１６ 奥行きマップ部
８１８ 再生画像部
８２０ サンプリング部
８２２ 輝度計算部
８２４ 奥行きマップ生成部

Claims (25)

1. ピクセル値を有する入力画像を、輝度値を有する輝度画像に変換するステップと、
   前記輝度画像から、奥行き情報を有する奥行きマップを生成するステップと、
   前記生成された奥行きマップを使用した前記入力画像の第１の視差処理により、左目画像、右目画像、および再生画像のうちの少なくとも１つを生成するステップと、
   を含む２Ｄ画像を３Ｄ画像に変換する方法。
2. 前記第１の視差処理は、視差処理において現在処理されるべきピクセルを含むＮ（２より大きい整数）個のピクセルの奥行き情報を考慮することによって、現在処理されるべき前記ピクセルのピクセル値から遅延ピクセルのピクセル値への置換えを含み、前記遅延ピクセルが、前記Ｎ個のピクセルの前記奥行き情報の配列に従って決定され、前記遅延ピクセルは、現在処理されるべき前記ピクセルよりもＭ（０より大きい整数）個のピクセル分だけ前に位置するピクセルを意味する、請求項１に記載の方法。
3. 第１のピクセルに正視差を適用するように、前記右目画像は、背景領域のみについて右方向に遅延され、第２のピクセルに負視差を適用するように、前記左目画像は、オブジェクト領域のみについて左方向に遅延される、請求項２に記載の方法。
4. 前記奥行きマップを使用した前記入力画像の前記第１の視差処理の後に、第２の視差処理によって前記左目画像または前記右目画像を生成するステップであって、前記第２の視差処理において現在処理されるべきピクセルを含むＮ個のピクセルの奥行き情報を考慮することによって、遅延ピクセルのピクセル値は、現在処理されるべき前記ピクセルのピクセル値の代わりに置き換えられ、前記第２の視差処理における前記遅延ピクセルは、前記Ｎ個のピクセルの前記奥行き情報の配列に従って決定され、前記第２の視差処理における前記遅延ピクセルの値は、前記第１の遅延処理における遅延ピクセルの値よりも高い、生成するステップをさらに含む、請求項２に記載の方法。
5. 前記奥行き情報の同じ配列を考慮して、前記左目画像に対して視差処理するときに前記遅延ピクセルを選択するための第１の視差処理ルールが、前記右目画像に対して視差処理するときに前記遅延ピクセルを選択するための第２の視差処理ルールとは異なる、請求項２に記載の方法。
6. 前記奥行き情報は、０または１を有し、前記入力画像が、４つの奥行き情報の配列に従って視差処理される、請求項５に記載の方法。
7. 前記入力画像を変換する前記ステップは、前記入力画像のピクセルのピクセル値を輝度値に変換するステップを含み、
   前記奥行きマップを生成する前記ステップは、
   前記輝度画像のピクセルを一定間隔でサンプリングし、それによりサンプル画像を生成するステップと、
   前記サンプル画像の総平均輝度μ_{ＴＯＴＡＬ}を計算するステップと、
   前記サンプル画像を上部および下部に分割して、前記上部の平均輝度μ_ＰＡＲＴを計算するステップと、
   前記総平均輝度μ_{ＴＯＴＡＬ}および前記上部の前記平均輝度μ_ＰＡＲＴを使用することによって、前記入力画像の前記ピクセルの前記奥行き情報を生成するステップであって、前記総平均輝度μ_{ＴＯＴＡＬ}が前記平均輝度μ_ＰＡＲＴよりも大きいという条件下において、前記ピクセルの輝度Ｓ_Ｙ（ｉ，ｊ）が前記総平均輝度μ_{ＴＯＴＡＬ}よりも大きい場合に、前記ピクセルの前記奥行き情報は０であり、前記ピクセルの前記輝度Ｓ_Ｙ（ｉ，ｊ）が前記総平均輝度μ_{ＴＯＴＡＬ}よりも小さい場合には１であり、前記総平均輝度μ_{ＴＯＴＡＬ}が前記平均輝度μ_ＰＡＲＴよりも小さいという条件下において、前記ピクセルの輝度Ｓ_Ｙ（ｉ，ｊ）が前記総平均輝度μ_{ＴＯＴＡＬ}よりも小さい場合に、前記ピクセルの前記奥行き情報は０であり、前記ピクセルの前記輝度Ｓ_Ｙ（ｉ，ｊ）が前記総平均輝度μ_{ＴＯＴＡＬ}よりも大きい場合には、１である、生成するステップとを含む、請求項１に記載の方法。
8. 前記奥行きマップを生成する前記ステップは、特定のピクセルと次のピクセルとの間の輝度差があらかじめ設定されたレベルよりも高い場合に、前記特定のピクセルよりＤ（正の整数）個のピクセル分だけ後ろに位置するすべてのピクセルの奥行き情報を、０または１に設定するステップをさらに含む、請求項７に記載の方法。
9. 前記奥行き情報を生成する前記ステップは、
   ０または１を有する前記奥行き情報を、０、１、２、および３に分割するステップと、
   マスクを使用して、０、１、２、および３を有する奥行き情報を平滑化するステップと、
   ０から１．５の間の奥行き情報を有するピクセルの前記奥行き情報を、０に再設定し、１．５から３の間の奥行き情報を有するピクセルの前記奥行き情報を、１に再設定するステップと、
   を含む、請求項７に記載の方法。
10. 前記入力画像におけるキャプションに対応する奥行き情報は、１を有する前記奥行き情報があらかじめ設定された数を超えて連続して並べられる場合にのみ、１に再設定される、請求項１に記載の方法。
11. 入力画像のピクセルの輝度を使用して、２Ｄ入力画像から、０または１を有する奥行き情報から構成される奥行きマップを生成するステップと、
    生成された奥行きマップを介して前記入力画像を視差処理することによって、左目画像または右目画像を生成するステップと、を含み、前記右目画像に対して視差処理するときの第１のピクセルが、前記第１のピクセルに正視差を適用することによって、右方向に遅延され、前記左目画像に対して視差処理するときの第２のピクセルが、前記第２のピクセルに負視差を適用することによって、左方向に遅延される、
    ２Ｄ画像を３Ｄ画像に変換する方法。
12. 視差処理において現在処理されるべきピクセルを含むＮ（２より大きい整数）個のピクセルの奥行き情報を考慮することによって、遅延ピクセルのピクセル値が、現在処理されるべき前記ピクセルのピクセル値の代わりに置き換えられ、前記遅延ピクセルは、前記Ｎ個のピクセルの前記奥行き情報の配列に従って決定され、前記遅延ピクセルは、現在処理されるべき前記ピクセルよりもＭ（０より大きい整数）個のピクセル分だけ前に位置するピクセルを意味する、請求項１１に記載の方法。
13. 前記奥行き情報の同じ配列を考慮して、前記左目画像に対する視差処理時に前記遅延ピクセルを選択するための第１の視差処理ルールは、前記右目画像に対する視差処理時に前記遅延ピクセルを選択するための第２の視差処理ルールとは異なり、前記入力画像は、前記Ｎ個のピクセルの前記奥行き情報の配列に従って視差処理される、請求項１２に記載の方法。
14. 前記奥行きマップを生成する前記ステップは、
    前記入力画像のピクセルのピクセル値を輝度値に変換するステップと、
    輝度画像のピクセルを一定間隔でサンプリングし、それによりサンプル画像を生成するステップと、
    前記サンプル画像の総平均輝度μ_{ＴＯＴＡＬ}を計算するステップと、
    前記サンプル画像を上部および下部に分割して、前記上部の平均輝度μ_ＰＡＲＴを計算するステップと、
    前記総平均輝度μ_{ＴＯＴＡＬ}および前記上部の前記平均輝度μ_ＰＡＲＴを使用することによって、前記入力画像の前記ピクセルの前記奥行き情報を生成するステップと、を含み、前記総平均輝度μ_{ＴＯＴＡＬ}が前記平均輝度μ_ＰＡＲＴよりも大きいという条件下において、前記ピクセルの輝度Ｓ_Ｙ（ｉ，ｊ）が前記総平均輝度μ_{ＴＯＴＡＬ}よりも大きい場合に、前記ピクセルの前記奥行き情報は０であり、前記ピクセルの前記輝度Ｓ_Ｙ（ｉ，ｊ）が前記総平均輝度μ_{ＴＯＴＡＬ}よりも小さい場合には１であり、前記総平均輝度μ_{ＴＯＴＡＬ}が前記平均輝度μ_ＰＡＲＴよりも小さいという条件下において、前記ピクセルの輝度Ｓ_Ｙ（ｉ，ｊ）が前記総平均輝度μ_{ＴＯＴＡＬ}よりも小さい場合に、前記ピクセルの前記奥行き情報は０であり、前記ピクセルの前記輝度Ｓ_Ｙ（ｉ，ｊ）が前記総平均輝度μ_{ＴＯＴＡＬ}よりも大きい場合には、１である、
    請求項１２に記載の方法。
15. 前記奥行きマップを生成する前記ステップは、
    特定のピクセルと次のピクセルとの間の輝度差があらかじめ設定されたレベルよりも高い場合に、前記特定のピクセルよりＤ（正の整数）個のピクセル分だけ後ろに位置するすべてのピクセルの奥行き情報を、０または１に設定するステップと、
    ０または１を有する前記奥行き情報を、０、１、２、および３に分割するステップと、
    マスクを使用して、０、１、２、および３を有する奥行き情報を平滑化するステップと、
    ０から１．５の間の奥行き情報を有するピクセルの前記奥行き情報を、０に再設定し、１．５から３の間の奥行き情報を有するピクセルの前記奥行き情報を、１に再設定するステップと、
    をさらに含む、請求項１４に記載の方法。
16. 前記入力画像におけるキャプションに対応する奥行き情報が、１を有する前記奥行き情報があらかじめ設定された数を超えて連続して並べられる場合にのみ、１に再設定される、請求項１２に記載の方法。
17. ピクセル値を有する２Ｄ入力画像を、輝度値を有する輝度画像に変換するように構成された輝度変換部と、
    前記輝度画像から、奥行き情報を有する奥行きマップを生成するように構成された奥行きマップ部と、
    生成された奥行きマップを使用した入力画像の第１の視差処理により、左目画像、右目画像、および再生画像のうちの少なくとも１つを生成するように構成された再生画像部と
    を含む、２Ｄ画像を３Ｄ画像に変換するための装置。
18. 前記再生画像部は、前記右目画像を視差処理するときに、第１のピクセルに正視差を適用することによって、前記第１のピクセルを右方向に遅延させ、前記左目画像を視差処理するときに、第２のピクセルに負視差を適用することによって、前記第２のピクセルを左方向に遅延させる、請求項１７に記載の装置。
19. 前記再生画像部は、視差処理において現在処理されるべきピクセルを含むＮ（２より大きい整数）個のピクセルの奥行き情報を考慮することによって、遅延ピクセルのピクセル値を、現在処理されるべき前記ピクセルのピクセル値の代わりに置き換え、前記遅延ピクセルが、前記Ｎ個のピクセルの前記奥行き情報の配列に従って決定され、前記遅延ピクセルは、現在処理されるべき前記ピクセルよりＭ（０より大きい整数）個のピクセル分だけ前に位置するピクセルを意味する、請求項１８に記載の装置。
20. 前記奥行き情報の同じ配列を考慮して、前記左目画像に対する視差処理時に前記遅延ピクセルを選択するための第１の視差処理ルールは、前記右目画像に対する視差処理時に前記遅延ピクセルを選択するための第２の視差処理ルールとは異なり、前記入力画像は、前記Ｎ個のピクセルの前記奥行き情報の配列に従って視差処理される、請求項１９に記載の装置。
21. 前記輝度変換部が、前記入力画像のピクセルのピクセル値を輝度値に変換し、
    前記奥行きマップ部は、
    前記輝度画像のピクセルを一定間隔でサンプリングし、それによりサンプル画像を生成するように構成されたサンプリング部と、
    前記サンプル画像の総平均輝度μ_{ＴＯＴＡＬ}を計算し、前記サンプル画像を上部および下部に分割し、前記上部の平均輝度μ_ＰＡＲＴを計算するように構成された輝度計算部と、
    前記総平均輝度μ_{ＴＯＴＡＬ}および前記上部の前記平均輝度μ_ＰＡＲＴを使用することによって、前記入力画像の前記ピクセルの前記奥行き情報を生成するように構成された奥行きマップ生成部とを含み、前記総平均輝度μ_{ＴＯＴＡＬ}が前記平均輝度μ_ＰＡＲＴよりも大きいという条件下において、前記ピクセルの輝度Ｓ_Ｙ（ｉ，ｊ）が前記総平均輝度μ_{ＴＯＴＡＬ}よりも大きい場合に、前記ピクセルの前記奥行き情報は０であり、前記ピクセルの前記輝度Ｓ_Ｙ（ｉ，ｊ）が前記総平均輝度μ_{ＴＯＴＡＬ}よりも小さい場合には１であり、前記総平均輝度μ_{ＴＯＴＡＬ}が前記平均輝度μ_ＰＡＲＴよりも小さいという条件下において、前記ピクセルの輝度Ｓ_Ｙ（ｉ，ｊ）が前記総平均輝度μ_{ＴＯＴＡＬ}よりも小さい場合に、前記ピクセルの前記奥行き情報は０であり、前記ピクセルの前記輝度Ｓ_Ｙ（ｉ，ｊ）が前記総平均輝度μ_{ＴＯＴＡＬ}よりも大きい場合には、１である、
    請求項１７に記載の装置。
22. 前記奥行きマップ生成部が、特定のピクセルと次のピクセルとの間の輝度差があらかじめ設定されたレベルよりも高い場合に、前記特定のピクセルよりＤ（正の整数）個のピクセル分だけ後ろに位置するピクセルの奥行き情報を、０または１に設定する、請求項２１に記載の装置。
23. 前記奥行きマップ生成部は、０または１を有する前記奥行き情報を、０、１、２、および３に分割し、マスクを使用して、０、１、２、および３を有する奥行き情報を平滑化し、０から１．５の間の奥行き情報を有するピクセルの前記奥行き情報を、０に再設定し、１．５から３の間の奥行き情報を有するピクセルの前記奥行き情報を、１に再設定する、請求項２１に記載の装置。
24. 前記奥行きマップ生成部は、前記入力画像におけるキャプションに対応する奥行き情報を、１を有する前記奥行き情報があらかじめ設定された数を超えて連続して並べられる場合にのみ、１に再設定する、請求項２１に記載の装置。
25. 第１のピクセルに正視差を適用するように、前記右目画像が、背景領域のみについて右方向に遅延され、第２のピクセルに負視差を適用するように、前記左目画像は、オブジェクト領域のみについて左方向に遅延される、請求項１７に記載の装置。