JP2013125422A - 画像処理装置、画像処理方法、コンピュータプログラム、記録媒体、立体画像表示装置 - Google Patents

Abstract

【課題】視点が変更された視点変更画像に含まれる物体のエッジ付近に発生する不自然な画素値を効果的に補正すること。
【解決手段】記憶部１２が、視点変更画像データの各画素の奥行きデータを記憶し、エッジ抽出部１５ａが、記憶部１２に記憶された奥行きデータのエッジを抽出し、補正範囲設定部１５ｂが、エッジ抽出部１５ａにより抽出されたエッジの位置の情報に基づいて、視点変更画像データの補正範囲を設定し、処理選択部１５ｃが、エッジ抽出部１５ａにより抽出されたエッジの位置にある画素に対応する視点変更画像データの画素の画素値と、エッジの位置にある画素から所定の画素数だけ離れた画素に対応する視点変更画像データの画素の画素値の情報とに基づいて、視点変更画像データに対して適用する補正処理を選択し、処理実行部１６が、処理選択部１５ｃにより選択された補正処理を実行する。
【選択図】図１

Description

本発明は、奥行きデータを有する画像データを変換することにより視点が変更された視点変更画像データに対して補正処理を行う画像処理装置、画像処理方法、コンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、立体画像表示装置に関する。

従来、異なる視点位置においてカメラで撮影して得られた複数の視点画像から奥行きデータ（奥行きマップとも呼ばれる。）を推定し、この奥行きデータを別の視点の奥行きデータに変更した後に、与えられた視点画像を利用して新たな視点画像を生成する任意視点画像生成技術が知られている。例えば、非特許文献１には、５台のカメラを用いて任意視点映像を生成する方法が開示されている。この方法では、奥行きデータが抽出された後、その奥行きデータと５台のカメラからの映像を利用して、任意視点映像が生成される。

しかしながら、非特許文献１の方法では、視点位置を大きく変更した場合、オクルージョン領域が生じてしまう。オクルージョン領域とは、変更前の視点位置において前景であった領域に遮蔽されていた背景領域で、視点位置の変更後に奥行きデータが不明となる領域である。この領域の奥行きデータの推定方法としてはさまざまなものが考えられるが、非特許文献１では、隣接する奥行きデータに基づく線形補間によって奥行きデータの推定がなされている。

また、特許文献１には、ある視点からは見えない領域の奥行き値を他の視点からの情報で補間する仮想視点画像生成方法が開示されている。具体的には、特許文献１の方法では、複数の画像データから、それぞれに対応する複数の奥行きマップを生成する。次に、任意視点の位置に最も近い視点位置に対応する奥行きマップを基にして任意視点の奥行きマップを生成する。そして、この任意視点の奥行きマップに生じるオクルージョン部分の奥行き値を、他の視点位置から見た奥行きマップを基にして補間し、さらに任意視点の奥行きマップにおいて不連続的な部分を平滑化する。このようにして生成された奥行きマップと複数視点の画像を基にして任意視点の画像が生成される。

特許第３５９３４６６号公報

朴鐘一、井上誠喜、「多視点映像から任意視点映像の生成」、信学技法（ＩＥ９６−１２１）、社団法人電子情報通信学会、１９９７年２月、ｐ．９１−９８

しかしながら、上述した従来技術では、任意視点画像における物体のエッジ部分にジャギーやアーティファクト（不自然な画素値をもつ画素）が生じてしまう可能性がある。この点に関して、以下で詳しく説明する。

図１３は、視点位置が変更された場合の画像の変化の一例について説明する図である。図１３（Ａ）、図１３（Ｂ）に示すように、任意視点画像生成技術では、視点Ａにおいて撮影された基準画像３と奥行きデータに基づいて、任意視点（視点Ｂ）における任意視点画像４を生成することができる。しかし、基準画像３にグラデーション領域があると、任意視点画像４にジャギーやアーティファクトが生じる可能性がある。

図１４は、任意視点画像４におけるジャギーの発生の一例について説明する図であり、図１５は、任意視点画像４におけるアーティファクトの発生の一例について説明する図である。例えば、基準画像３の拡大図３ａに示されるように、物体２のエッジ付近にグラデーション領域３ｂが存在する場合がある。グラデーション領域３ｂは、例えば、画像にアンチエイリアシング処理が実行されたり、カメラの撮像素子の画素に撮影時に前景と背景からの光線が両方入射したりすることにより生じる。

図１４には、グラデーション領域３ｂが基準画像３の背景部分に存在する場合の奥行きデータ５ａが示されている。例えば、この奥行きデータ５ａは、色が白い部分ほど被写体が手前にあり、色が黒い部分ほど被写体が遠くにあることを示す。

そして、視点が変化して、任意視点画像４のように物体１と物体２とが重なり合うと、任意視点画像４の拡大図４ａに示されるように、グラデーション領域３ｂは消滅し、ジャギー領域４ｂが生じることになる。

また、図１５には、グラデーション領域３ｂが基準画像３の物体２の部分に存在する場合の奥行きデータ５ｂが示されている。そして、視点が変化して、任意視点画像４のように物体１と物体２とが重なり合うと、任意視点画像４の拡大図４ａに示されるように、グラデーション領域３ｂは消滅し、アーティファクト領域４ｃが生じてしまう。

ジャギー領域４ｂやアーティファクト領域４ｃなどの見た目に不自然な領域が生じた場合、その不自然さを解消するためには、生じた領域の種類に応じて適切な補正を行う必要があるが、上述した従来技術では補正を適切に行う方法について何ら開示されていない。

本発明は、上記実情に鑑み、視点が変更された画像に含まれる物体のエッジ付近に発生する不自然な画素値を効果的に補正することができる画像処理装置、画像処理方法、その画像処理方法をコンピュータに実行させることを特徴とするコンピュータプログラム、および、そのコンピュータプログラムを記録したことを特徴とするコンピュータが読み取り可能な記録媒体を提供することを目的とする。

上記課題を解決する為に、本発明の第１の技術手段は、奥行きデータを有する画像データを変換することにより視点が変更された視点変更画像データに対して補正処理を行う画像処理装置であって、前記視点変更画像データの各画素の奥行きデータを記憶する記憶部と、該記憶部に記憶された奥行きデータのエッジを抽出するエッジ抽出部と、該エッジ抽出部により抽出されたエッジの位置の情報に基づいて、前記視点変更画像データの補正範囲を設定する補正範囲設定部と、前記エッジ抽出部により抽出されたエッジの位置にある画素に対応する前記視点変更画像データの画素の画素値と、該エッジの位置にある画素から所定の画素数だけ離れた画素に対応する前記視点変更画像データの画素の画素値の情報とに基づいて、該視点変更画像データに対して適用する補正処理を選択する処理選択部と、該処理選択部により選択された補正処理を実行する処理実行部と、を備えることを特徴とする。

本発明の第２の技術手段は、第１の技術手段において、前記エッジの抽出は、２次元フィルタを用いて行われることを特徴とする。

本発明の第３の技術手段は、第１または第２の技術手段において、前記補正範囲設定部は、前記エッジの位置にある画素を含む所定の範囲内の画素に対応する前記視点変更画像データの画素の範囲を、前記補正範囲として設定することを特徴とする。

本発明の第４の技術手段は、第１または第２の技術手段において、前記補正範囲設定部は、前記視点変更画像データにより形成される画像のサイズを検出し、該サイズの情報と前記エッジの位置の情報に基づいて、前記補正範囲を設定することを特徴とする。

本発明の第５の技術手段は、第１または第２の技術手段において、前記補正範囲設定部は、ユーザにより入力された補正範囲設定用の入力情報を受け付け、該入力情報に基づいて前記補正範囲を設定することを特徴とする。

本発明の第６の技術手段は、第１〜第５のいずれか１つの技術手段において、前記処理選択部は、前記補正範囲に基づいて、前記所定の画素数を特定することを特徴とする。

本発明の第７の技術手段は、第１〜第６のいずれか１つの技術手段において、前記補正範囲設定部は、前記処理選択部により選択された補正処理に応じて、前記補正範囲を異なる範囲に設定することを特徴とする。

本発明の第８の技術手段は、第１〜第７のいずれか１つの技術手段において、前記補正処理は、ジャギーを補正する補正処理、または、アーティファクトを補正する補正処理であることを特徴とする。

本発明の第９の技術手段は、第１〜第８のいずれか１つの技術手段において、前記エッジ抽出部は、前記視点を変更する前の画像データに対応する奥行きデータのエッジをさらに抽出し、前記補正範囲設定部は、前記記憶部に記憶された奥行きデータのエッジの位置の情報、および、前記視点を変更する前の奥行きデータのエッジの位置の情報に基づいて、前記補正範囲を設定することを特徴とする。

本発明の第１０の技術手段は、奥行きデータを有する画像データを変換することにより視点が変更された視点変更画像データに対して補正処理を行う画像処理方法であって、記憶部に記憶された前記視点変更画像データの各画素の奥行きデータのエッジを抽出するエッジ抽出ステップと、該エッジ抽出ステップにおいて抽出されたエッジの位置の情報に基づいて、前記視点変更画像データの補正範囲を設定する補正範囲設定ステップと、前記エッジ抽出ステップにおいて抽出されたエッジの位置にある画素に対応する前記視点変更画像データの画素の画素値と、該エッジの位置にある画素から所定の画素数だけ離れた画素に対応する前記視点変更画像データの画素の画素値の情報とに基づいて、該視点変更画像データに対して適用する補正処理を選択する処理選択ステップと、該処理選択ステップにおいて選択された補正処理を実行する処理実行ステップと、を含むことを特徴とする。

本発明の第１１の技術手段は、第１０の技術手段において、前記処理選択ステップでは、前記補正範囲に基づいて、前記所定の画素数を特定することを特徴とする。

本発明の第１２の技術手段は、第１０または第１１の技術手段において、前記補正範囲設定ステップでは、前記処理選択ステップにおいて選択された補正処理に応じて、前記補正範囲を異なる範囲に設定することを特徴とする。

本発明の第１３の技術手段は、第１０〜第１２のいずれか１つの技術手段において、前記エッジ抽出ステップでは、前記視点を変更する前の画像データに対応する奥行きデータのエッジをさらに抽出し、前記補正範囲設定ステップでは、前記記憶部に記憶された奥行きデータのエッジの位置の情報、および、前記視点を変更する前の奥行きデータのエッジの位置の情報に基づいて、前記補正範囲を設定することを特徴とする。

本発明の第１４の技術手段は、第１０〜第１３のいずれか１項の技術手段における画像処理方法をコンピュータに実行させることを特徴とするコンピュータプログラムである。

本発明の第１５の技術手段は、第１４の技術手段におけるコンピュータプログラムを記録したことを特徴とするコンピュータが読み取り可能な記録媒体である。

本発明の第１６の技術手段は、第１〜第９のいずれか１つの技術手段における画像処理装置と、該画像処理装置により補正処理がなされた前記視点変更画像データを表示する表示装置とを備えたことを特徴とする立体画像表示装置である。

本発明によれば、視点変更画像データの各画素の奥行きデータのエッジを抽出し、抽出されたエッジの位置の情報に基づいて、視点変更画像データの補正範囲を設定し、抽出されたエッジの位置にある画素に対応する視点変更画像データの画素の画素値と、エッジの位置にある画素から所定の画素数だけ離れた画素に対応する視点変更画像データの画素の画素値の情報とに基づいて、視点変更画像データに対して適用する補正処理を選択し、選択された補正処理を実行することとしたので、視点が変更された画像に含まれる物体のエッジ付近に発生する不自然な画素値を効果的に補正することができる。

本発明の実施形態１に係る画像処理装置の構成の一例を示す図である。 補正範囲の設定処理の一例について説明する図である。 補正処理の選択方法の一例について説明する図である。 ジャギー補正処理の一例について説明する図である。 アーティファクト補正処理の一例について説明する図である。 本発明の実施形態に係る画像処理の処理手順の一例を示すフローチャートである。 視点変更後の奥行きデータの生成処理の一例を示すフローチャートである。 任意視点画像データの補正処理の一例を示すフローチャートである。 ジャギー補正処理の処理手順の一例を示すフローチャートである。 アーティファクト補正処理の処理手順の一例を示すフローチャートである。 本発明の実施形態２に係る画像処理装置１０の構成の一例を示す図である。 本発明の実施形態２に係るエッジ情報の統合処理について説明する図である。 視点位置が変更された場合の画像の変化の一例について説明する図である。 任意視点画像におけるジャギーの発生の一例について説明する図である。 任意視点画像におけるアーティファクトの発生の一例について説明する図である

（実施形態１）
以下、本発明の実施形態１について図面を参照して詳細に説明する。図１は、本発明の実施形態１に係る画像処理装置１０の構成の一例を示す図である。図１に示すように、画像処理装置１０は、データ受付部１１、記憶部１２、奥行きデータ生成部１３、任意視点画像データ生成部１４、補正管理部１５、処理実行部１６を備える。

データ受付部１１は、外部装置から画像データおよび奥行きデータを受け付け、受け付けた画像データおよび奥行きデータを記憶部１２に記憶させる処理部である。

ここで、画像データとは、例えば、カメラが撮影した画像データ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記録媒体に記録された画像データ、チューナ等により受信された画像データなどである。また、画像データは、立体視用の画像データや、任意視点画像の生成に必要な複数の視点から撮影された画像データであってもよい。

また、奥行きデータとは、視差値や対象物までの距離などの奥行き情報を含むデータである。例えば、画像データが立体視用の画像データである場合、奥行きデータは立体視用の画像データから算出される視差値を含むデータであってもよいし、画像データがカメラが撮影した画像データである場合、奥行きデータはカメラの測距デバイスが測定した距離を含むデータであってもよい。

なお、視差値と距離とは、以下の式１に基づき変更することが可能である。
Ｚ（ｘ，ｙ）＝ｂｆ／ｄ（ｘ，ｙ） ．．．（式１）
ここで、Ｚ（ｘ，ｙ）は画像上の画素の座標（ｘ，ｙ）における距離、ｂは基線長、ｆは焦点距離、ｄ（ｘ，ｙ）は画像上の画素の座標（ｘ，ｙ）における視差値である。

記憶部１２は、メモリやハードディスクなどの記憶デバイスである。記憶部１２は、画像データ１２ａおよび奥行きデータ１２ｂを記憶する。画像データ１２ａは、データ受付部１１から取得した画像データ、および、任意視点画像データ生成部１４により生成された視点変更後の任意視点画像データ（視点変更画像データ）を含む。また、奥行きデータ１２ｂは、データ受付部１１から取得した奥行きデータ、および、奥行きデータ生成部１３により生成された視点変更後の奥行きデータを含む。なお、以下では、奥行きデータ１２ｂに視差値の情報が含まれているものとして説明を行う。

奥行きデータ生成部１３は、記憶部１２から視点変更前の奥行きデータを読み出し、読み出した奥行きデータを用いて、視点変更後の奥行きデータを生成する処理部である。視点が変わると画像上において物体のみえる位置や物体の重なり具合が変化するため、奥行きデータ生成部１３は、そのような変化に応じて視点変更前の奥行きデータの視差値を修正する。この奥行きデータ生成部１３が行う具体的な処理については後に詳しく説明する。

任意視点画像データ生成部１４は、画像データ１２ａ、視点変更前の奥行きデータ、および、奥行きデータ生成部１３により生成された視点変更後の奥行きデータを用いて、前景と背景の関係が調整された任意視点画像データを生成する処理部である。

例えば、任意視点画像データ生成部１４は、非特許文献１や特許文献１に示された手法や、光線空間法などの幾何学変換に基づいて行われる任意視点画像生成方法を用いて、任意視点画像データを生成する。

補正管理部１５は、任意視点画像データに対して実行される補正処理を管理する処理部である。補正管理部１５は、エッジ抽出部１５ａ、補正範囲設定部１５ｂ、処理選択部１５ｃを備える。

エッジ抽出部１５ａは、奥行きデータ生成部１３により生成された視点変更後の奥行きデータのエッジを抽出する処理部である。例えば、エッジ抽出部１５ａは、ソーベルフィルタやラプラシアンフィルタ、隣接画素の画素値の差分演算等の一般的なエッジ抽出法を用いてエッジの抽出を行う。ここで、エッジの抽出に用いられるフィルタは、１次元フィルタであってもよいし、２次元フィルタであってもよい。２次元フィルタを用いれば、２次元座標からなる奥行データのエッジを効果的に抽出することができる。

補正範囲設定部１５ｂは、エッジ抽出部１５ａにより抽出されたエッジの情報を用いて、任意視点画像の補正範囲を設定する処理部である。具体的には、補正範囲設定部１５ｂは、エッジ抽出部１５ａにより抽出されたエッジの位置の情報に基づいて、任意視点画像の補正範囲を設定する。

図２は、補正範囲の設定処理の一例について説明する図である。図２（Ａ）には、視点変更後の奥行きデータにおいて、視差値が大きく異なる２つの領域２０ａ、２０ｂが示されている。領域２０ａは視差値が大きい領域であり、領域２０ｂは視差値が小さい領域である。また、画素２１ａ、２１ｂは、エッジ抽出部１５ａにより抽出されたエッジの位置にある画素である。以下では、画素２１ａ、２１ｂのうち、より視差値の大きい画素２１ａを「前景側画素」と呼び、より視差値の小さい画素２１ｂを「後景側画素」と呼ぶ。

また、図２（Ｂ）には、視点変更後の奥行きデータの画素２１ａ〜２１ｅにそれぞれ対応する任意視点画像の画素２２ａ〜２２ｅ、および、視点変更後の奥行きデータの領域２０ａ、２０ｂにそれぞれ対応する領域２３ａ、２３ｂが示されている。

例えば、補正範囲設定部１５ｂは、前景側画素２１ａからＮ画素離れた２つの画素を両端とする範囲を検出する。そして、補正範囲設定部１５ｃは、検出した範囲に対応する任意視点画像の画素の範囲を補正範囲として設定する。

なお、補正範囲設定部１５ｂは、例えば、以下のようにしてＮを決定する。
（１）Ｎを所定値に固定的に設定する。例えば、Ｎを３などに設定する。この方法によれば、補正範囲を容易に設定することができる。
（２）任意視点画像のサイズを検出し、そのサイズに基づいてＮを設定する。例えば、Ｎ＝ｒｏｕｎｄ（０．００５×ｗｉｄｔｈ）という式を用いて、Ｎを算出する。ここで、ｗｉｄｔｈは任意視点画像の横画素数であり、ｒｏｕｎｄ（ｘ）はｘを四捨五入する関数である。例えば、ｗｉｄｔｈ＝１９２０の場合、Ｎ＝１０となる。この方法によれば、補正範囲を任意視点画像のサイズに合わせて適切に設定することができる。
（３）Ｎをユーザからの指示に基づいて設定する。例えば、Ｎを１から１０の間で選択できるようにしておき、リモコン（図示せず）などを用いてＮの選択をユーザから受け付ける。この方法によれば、ユーザは、自分の思い通りに補正範囲を設定することができる。

さらに、補正範囲設定部１５ｂは、つぎに説明する処理選択部１５ｃにより選択された処理に応じて上述のようにして設定した補正範囲を修正することとしてもよい。例えば、補正範囲設定部１５ｂは、ジャギー補正が選択されたか、アーティファクト補正が選択されたかに応じて補正範囲を修正する。具体的な修正方法は後に詳しく説明する。

処理選択部１５ｃは、任意視点画像に対して実行する補正処理を選択する処理部である。例えば、処理選択部１５ｃは、エッジ抽出部１５ａにより抽出されたエッジの位置にある画素に対応する任意視点画像上の画素の画素値と、エッジの位置にある画素から所定の画素数だけ離れた画素に対応する任意視点画像上の画素の画素値とを比較し、その比較結果に基づいて補正処理を選択する。

図３は、補正処理の選択方法の一例について説明する図である。図３において、画素２２ａは、図２に示した視点変更後の奥行きデータにおける前景側画素２１ａに対応する任意視点画像の画素である。また、画素２２ｄ、２２ｅは、画素２３ａからＭ画素離れた位置にある画素である。なお、図３の例では、Ｍ＝２である。

補正処理を選択する際、処理選択部１５ｂは、前景側画素２１ａに対応する任意視点画像上の画素２２ａの画素値と、前景側画素２１ａから所定の画素数Ｍだけ離れた位置にある画素２１ｄ、２１ｅに対応する任意視点画像上の画素２２ｄ、２２ｅの画素値とを比較する。なお、Ｍの値としては、例えば、Ｎ＋１が用いられる。この場合、補正範囲の１つ外側の画素が比較対象として用いられることになる。このように、補正範囲に基づいてＭの値を決定することにより、補正範囲に応じた適切な補正処理を選択することができる。

図３（Ａ）〜（Ｄ）には、任意視点画像における画素値の分布が示されている。領域２３ａ、２３ｂは、図２（Ａ）に示した視点変更後の奥行きデータにおける２つの領域２０ａ、２０ｂに対応する領域である。

例えば、前景側画素２１ａ、および、前景側画素２１ａから所定の画素数Ｍだけ離れた位置にある後景側画素２１ｄにそれぞれ対応する任意視点画像の画素２２ａ、２２ｄの画素値をＡ、Ｄとする。この場合、処理選択部１５ｃは、｜Ａ−Ｄ｜が所定の閾値ＴＨ１よりも小さいか否かを判定する。｜Ａ−Ｄ｜が所定の閾値ＴＨ１よりも小さい場合とは、例えば、図３（Ａ）、図３（Ｂ）に示される場合である。なお、画素値としては、輝度値が用いられることとしてもよいし、ＲＧＢの階調値を用いることとしてもよい。

図３（Ａ）では、領域２３ａと領域２３ｂとで画素値がほぼ同じとなっている。そのため、ジャギーが顕著に生じることはなく、ジャギー補正処理は実行されない。図３（Ｂ）では、領域２３ａの一部にグラデーション領域２４が生じているが、画素２２ａの画素値と画素２２ｄの画素値がほぼ同じとなっている。そのため、アーティファクトが顕著に生じることはなく、補正処理は実行されない。

｜Ａ−Ｄ｜が所定の閾値ＴＨ１以上である場合とは、例えば、図３（Ｃ）、図３（Ｄ）に示されるような場合である。この場合、処理選択部１５ｃは、｜Ａ−Ｅ｜が所定の閾値ＴＨ２よりも小さいか否かをさらに判定する。ここで、Ｅは、前景側画素２１ａから所定の画素数Ｍだけ離れた位置にある前景側の画素２１ｅに対応する任意視点画像の画素２２ｅの画素である。

｜Ａ−Ｅ｜が所定の閾値ＴＨ２よりも小さい場合とは、例えば、図３（Ｃ）に示されるような場合である。この場合、ジャギーが顕著に生じるおそれがある。そのため、処理選択部１５ｃは、ジャギーを補正する処理を選択する。｜Ａ−Ｅ｜が所定の閾値ＴＨ２以上である場合とは、例えば、図３（Ｄ）に示されるような場合である。この場合、アーティファクトが顕著に生じるおそれがある。そのため、処理選択部１５ｃは、アーティファクトを補正する処理を選択する。

なお、処理選択部１５ｃにより補正処理が選択された場合、前述したように、補正範囲設定部１５ｂは、選択された処理に応じて任意視点画像の補正範囲を修正することとしてもよい。

例えば、ジャギー補正を行う場合、補正範囲設定部１５ｃは、視点変更後の奥行きデータにおいて、前景側画素２１ａからＭ画素離れた２つの画素を両端とする範囲を検出する。ここで、画素数Ｍは、処理選択部１５ｂが補正処理を選択する際に用いた画素数Ｍと同じ画素数である。そして、補正範囲設定部１５ｃは、検出した範囲に対応する任意視点画像の画素の範囲に補正範囲を修正する。

例えば、Ｍ＝２の場合、図２において、補正範囲設定部１５ｃは、前景側画素２１ａから２画素離れた２つの画素２１ｄ、２１ｅを両端とする範囲を検出する。そして、補正範囲設定部１５ｃは、検出した範囲に対応する任意視点画像の画素２２ｄ、２２ｂ、２２ａ、２２ｃ、２２ｅがある範囲に補正範囲を修正する。

アーティファクト補正を行う場合、補正範囲設定部１５ｃは、視点変更後の奥行きデータにおいて、前景側画素２１ａを一端とし、前景側画素２１ａからＭ画素離れた領域２０ａの画素を他端とする範囲を検出する。そして、補正範囲設定部１５ｃは、検出した範囲に対応する任意視点画像の画素の範囲に補正範囲を修正する。

例えば、Ｍ＝２の場合、図２において、補正範囲設定部１５ｃは、前景側画素２１ａを一端とし、画素２１ｅを他端とする範囲を検出する。そして、補正範囲設定部１５ｃは、検出した範囲に対応する任意視点画像の画素２２ａ、２２ｃ、２２ｅがある範囲に補正範囲を修正する。

このように、補正処理に応じて、補正範囲を異なる範囲に設定することにより、補正処理に応じた適切な補正を行うことができる。なお、ここでは、一旦設定された補正範囲を補正処理が選択された後に修正する場合について説明したが、補正処理が選択された後で初めて、選択された補正処理に応じて補正範囲を設定することとしてもよい。

処理実行部１６は、補正範囲設定部１５ｂにより設定された補正範囲に対して、処理選択部１５ｂにより選択された補正処理を実行し、補正処理がなされた画像を出力する処理部である。

図４は、ジャギー補正処理の一例について説明する図である。図４には、任意視点画像３０と補正範囲情報３１とが示されている。補正範囲情報３１は、補正範囲設定部１５ｂにより任意視点画像３０に対して設定されたジャギー補正用の補正範囲３１ａの情報である。

処理実行部１６は、補正範囲情報３１を参照し、補正範囲３１ａに含まれる任意視点画像３０の画素の画素値を平滑化する。例えば、処理実行部１６は、ガウシアンフィルタを用いて平滑化を行う。図４には、３×３のガウシアンフィルタ３２が示されている。これにより、ジャギーが低減された任意視点画像３３が得られる。

図５は、アーティファクト補正処理の一例について説明する図である。図５には、任意視点画像３０と補正範囲情報３１とが示されている。補正範囲情報３１は、補正範囲設定部１５ｂにより任意視点画像３０に対して設定されたアーティファクト補正用の補正範囲３１ａの情報である。

処理実行部１６は、補正範囲情報３１を参照し、補正範囲３１ａに対応する任意視点画像３０の画素の画素値を不定値３４ａにした任意視点画像３４を生成する。そして、処理実行部１６は、不定値３４ａとされた各画素の画素値を周辺画素の画素値を用いて補間する。例えば、処理実行部１６は、バイリニア補間やバイキュービック補間などの種々の手法を用いて、上記補間処理を行う。これにより、アーティファクトが低減された任意視点画像３５が得られる。

なお、ジャギー補正についても、アーティファクト補正と同様の手法を用いることとしてもよい。また、図２〜図５では、横に隣接する２つの画素がエッジとして検出された場合について示したが、縦に隣接する２つの画素がエッジとして検出された場合についても、図２〜図５のｘ方向をｙ方向とみなすことにより、ジャギー補正またはアーティファクト補正を容易に行うことができる。このように、補正処理としてジャギー補正やアーティファクト補正を行うことにより、ジャギーやアーティファクトを効果的に低減することができる。

つぎに、本発明の実施形態に係る画像処理の処理手順について説明する。図６は、本発明の実施形態に係る画像処理の処理手順の一例を示すフローチャートである。まず、画像処理装置の奥行きデータ生成部１３は、視点変更前の奥行きデータを用いて、視点変更後の奥行きデータを生成する（ステップＳ１０１）。

そして、任意視点画像データ生成部１４は、画像データ１２ａ、視点変更前の奥行きデータ、視点変更後の奥行きデータを用いて、前景と背景の関係が調整された任意視点画像データを生成する（ステップＳ１０２）。

続いて、エッジ抽出部１５ａは、視点変更後の奥行データのエッジを抽出する（ステップＳ１０３）。そして、補正範囲設定部１５ｂは、エッジ抽出部１５ａにより抽出されたエッジの位置の情報を用いて、任意視点画像の補正範囲を設定する（ステップＳ１０４）。

その後、処理選択部１５ｃは、エッジ抽出部１５ａにより抽出されたエッジの位置にある画素に対応する任意視点画像データの画素の画素値と、エッジの位置にある画素から所定の画素数だけ離れた画素に対応する任意視点画像データの画素の画素値の情報を用いて、任意視点画像データに対して行う補正処理を選択する（ステップＳ１０５）。

そして、処理実行部１６は、補正範囲設定部１５ｂにより設定された任意視点画像データの補正範囲に対して、処理選択部１５ｃにより選択された補正処理を実行する（ステップＳ１０６）。その後、処理実行部１６は、補正処理がなされた任意視点画像データを出力し（ステップＳ１０７）、この画像処理は終了する。

つぎに、図６のステップＳ１０１で説明した視点変更後の奥行きデータの生成処理について説明する。図７は、視点変更後の奥行きデータの生成処理の一例を示すフローチャートである。

ここでは、例として、視点がｘ軸に平行にずれた場合について考える。この場合、視点変更前の奥行データの座標（ｘ，ｙ）の画素と、視点変更後の奥行データの座標（Ｘ，Ｙ）の画素とが対応点であり、ｄ（ｘ，ｙ）が視点変更前の奥行きデータの座標（ｘ，ｙ）における視差値であるものとすると、ｄ（ｘ，ｙ）＝ｘ−Ｘ、Ｙ＝ｙとなる。

まず、奥行きデータ生成部１３は、座標（ｘ，ｙ）を１つ選択する（ステップＳ２０１）。そして、奥行きデータ生成部１３は、視点変更後の奥行きデータの座標（ｘ−ｄ（ｘ，ｙ），ｙ）に視差値が登録されているか否かを判定する（ステップＳ２０２）。なお、初期状態においては、視点変更後の奥行きデータのすべての座標（Ｘ，Ｙ）に視差値は登録されていないものとする。

座標（ｘ−ｄ（ｘ，ｙ），ｙ）に視差値が登録されていない場合（ステップＳ２０２においてＮＯの場合）、奥行きデータ生成部１３は、視点変更後の奥行きデータの視差値ｄ’（ｘ−ｄ（ｘ，ｙ），ｙ）を視差値ｄ（ｘ，ｙ）に設定する（ステップＳ２０３）。

ステップＳ２０２において、座標（ｘ−ｄ（ｘ，ｙ），ｙ）に視差値が登録されている場合（ステップＳ２０２においてＹＥＳの場合）、奥行きデータ生成部１３は、登録されている視差値ｄ’（ｘ−ｄ（ｘ，ｙ），ｙ）が、視差値ｄ（ｘ，ｙ）よりも小さいか否かを判定する（ステップＳ２０６）。

視差値ｄ’（ｘ−ｄ（ｘ，ｙ），ｙ）が視差値ｄ（ｘ，ｙ）よりも小さい場合（ステップＳ２０６においてＹＥＳの場合）、ステップＳ２０３に移行して、奥行きデータ生成部１３は、視差値ｄ’（ｘ−ｄ（ｘ，ｙ），ｙ）を視差値ｄ（ｘ，ｙ）に更新し、その後ステップＳ２０４以降の処理が継続される。

視差値ｄ’（ｘ−ｄ（ｘ，ｙ），ｙ）が視差値ｄ（ｘ，ｙ）よりも小さくない場合（ステップＳ２０６においてＮＯの場合）、ステップＳ２０４に移行して、その後の処理が継続される。

ステップＳ２０４では、奥行きデータ生成部１３は、すべての座標（ｘ，ｙ）について、ステップＳ２０２の判定処理が終了したか否かを判定する（ステップＳ２０４）。すべての座標（ｘ，ｙ）について、ステップＳ２０２の判定処理が終了した場合（ステップＳ２０４においてＹＥＳの場合）、この視点変更後の奥行きデータの生成処理は終了する。

ステップＳ２０２の判定処理が終了していない場合（ステップＳ２０４においてＮＯの場合）、奥行きデータ生成部１３は、新たな座標（ｘ，ｙ）を１つ選択し（ステップＳ２０５）、選択した座標（ｘ，ｙ）に対して、ステップＳ２０２以降の処理を実行する。以上のような処理により、視点変更後の奥行きデータが生成される。

すなわち、ここでは、より大きな視差値、すなわち、より手前にある物体の視差値を視点変更後の奥行きデータに登録する処理が行われる。これにより、視点の変更により物体の位置や物体どうしの重なりが変化したとしても、視点変更後の視差値が適切に設定される。

つぎに、図６のステップＳ１０５で説明した任意視点画像データの補正処理について説明する。図８は、任意視点画像データの補正処理の一例を示すフローチャートである。

まず、処理選択部１５ｃは、図２、図３を用いて説明したように、エッジの前景側画素２１ａを１つ選択する（ステップＳ３０１）。そして、処理選択部１５ｃは、前景側画素２１ａと、前景側画素２１ａからＭ画素離れた画素２１ｄ、２１ｅにそれぞれ対応する任意視点画像データにおける画素２２ａ、２２ｄ、２２ｅの画素値Ａ、Ｄ、Ｅを取得する（ステップＳ３０２）。

ここで、図２、図３を用いて説明したように、Ａは、前景側画素２１ａに対応する任意視点画像の画素２２ａの画素値であり、Ｄは、画素２２ａが属する領域２３ａと異なる領域２３ｂにある画素２２ｄの画素値であり、Ｅは、画素２２ａが属する領域２３ａにある画素２２ｅの画素値である。

そして、処理選択部１５ｃは、｜Ａ−Ｄ｜が所定の閾値ＴＨ１よりも小さいか否かを判定する（ステップＳ３０３）。｜Ａ−Ｄ｜が所定の閾値ＴＨ１よりも小さい場合（ステップＳ３０３においてＹＥＳの場合）、選択された前景側画素２１ａに関する補正範囲の情報を削除する（ステップＳ３０４）。

ステップＳ３０３において、｜Ａ−Ｄ｜が所定の閾値ＴＨ１よりも小さくない場合（ステップＳ３０３においてＮＯの場合）、処理選択部１５ｃは、｜Ａ−Ｅ｜が所定の閾値ＴＨ２よりも小さいか否かをさらに判定する（ステップＳ３０５）。

｜Ａ−Ｅ｜が所定の閾値ＴＨ２よりも小さい場合（ステップＳ３０５においてＹＥＳの場合）、処理実行部１６は、ジャギー補正処理を実行する（ステップＳ３０６）。このジャギー補正処理については後に詳しく説明する。

｜Ａ−Ｅ｜が所定の閾値ＴＨ２よりも小さくない場合（ステップＳ３０５においてＮＯの場合）、処理実行部１６は、アーティファクト補正処理を実行する（ステップＳ３０７）。このアーティファクト補正処理については後に詳しく説明する。

ステップＳ３０４、ステップＳ３０６、または、ステップＳ３０７の処理の後、処理選択部１５ｃは、すべての前景側画素２１ａについてステップＳ３０２の処理が終了したか否かを判定する（ステップＳ３０８）。

すべての前景側画素２１ａについてステップＳ３０２の処理が終了した場合（ステップＳ３０８においてＹＥＳの場合）、この任意視点画像データの補正処理は終了する。すべての前景側画素２１ａについてステップＳ３０２の処理が終了していない場合（ステップＳ３０８においてＮＯの場合）、処理選択部１５ｃは、新たな前景側画素２１ａを１つ選択し（ステップＳ３０９）、選択した前景側画素２１ａに対して、ステップＳ３０２以降の処理を継続する。

つぎに、図８のステップＳ３０６で説明したジャギー補正処理について説明する。図９は、ジャギー補正処理の処理手順の一例を示すフローチャートである。

まず、補正範囲設定部１５ｂは、任意視点画像の補正範囲の修正指示があるか否かを判定する（ステップＳ４０１）。例えば、この修正指示は、予めユーザから受け付けられるものとする。任意視点画像の補正範囲の修正指示がある場合（ステップＳ４０１においてＹＥＳの場合）、補正範囲設定部１５ｂは、補正範囲をジャギー補正用に修正する（ステップＳ４０２）。

例えば、補正範囲設定部１５ｂは、図２、図３を用いて説明したように、視点変更後の奥行きデータにおいて、前景側画素２１ａからＭ画素離れた２つの画素２１ｄ、２１ｅに対応する任意視点画像データの画素２２ｄ、２２ｅを両端とする画素範囲を補正対象として設定する。

ステップＳ４０２の処理の後、または、ステップＳ４０１においてＮＯの場合、処理実行部１６は、補正範囲内の画素の画素値を、図４に一例を示したような方法で平滑化する（ステップＳ４０３）。そして、このジャギー補正処理が終了する。

つぎに、図８のステップＳ３０７で説明したアーティファクト補正処理について説明する。図１０は、アーティファクト補正処理の処理手順の一例を示すフローチャートである。

まず、補正範囲設定部１５ｂは、任意視点画像の補正範囲の修正指示があるか否かを判定する（ステップＳ５０１）。任意視点画像の補正範囲の修正指示がある場合（ステップＳ５０１においてＹＥＳの場合）、補正範囲設定部１５ｂは、補正範囲をアーティファクト補正用に修正する（ステップＳ５０２）。

例えば、補正範囲設定部１５ｂは、図２、図３を用いて説明したように、視点変更後の奥行きデータにおいて、前景側画素２１ａと、前景側画素２１ａからＭ画素離れた領域２０ａの画素２２ｅに対応する任意視点画像の画素２２ａ、２２ｅを両端とする画素範囲を補正対象として設定する。

ステップＳ５０２の処理の後、または、ステップＳ５０１においてＮＯの場合、処理実行部１６は、図５を用いて説明したように、補正範囲内の画素の画素値を不定値として設定する（ステップＳ５０３）。その後、処理実行部１６は、補正範囲内の画素の画素値を周辺画素の画素値を用いて補間する（ステップＳ５０４）。そして、このアーティファクト補正処理が終了する。

（実施形態２）
上記実施形態１では、視点変更後の奥行きデータからエッジを抽出し、抽出したエッジの位置に基づいて補正範囲の設定や補正処理の選択を行ったが、視点変更後の奥行きデータではエッジの抽出が困難になることがあるため、視点変更前の奥行きデータも用いてエッジの抽出を行うこととしてもよい。

図１１は、本発明の実施形態２に係る画像処理装置１０の構成の一例を示す図である。この画像処理装置１０の構成は、図１に示した構成と同様のものである。ただし、エッジ抽出部１５ａの機能が、図１のものとは異なる。

図１１に示すエッジ抽出部１５ａは、奥行きデータ生成部１３により生成された視点変更後の奥行きデータからエッジを抽出するとともに、記憶部１２から視点変更前の奥行きデータを読み出し、視点変更前の奥行きデータからもエッジを抽出する。このエッジの抽出方法は、実施形態１で説明した方法を用いることができる。

そして、エッジ抽出部１５ａは、視点変更前の奥行きデータから抽出したエッジの情報と、視点変更後の奥行きデータから抽出したエッジの情報とを統合し、統合の結果得られたエッジの情報を補正範囲設定部１５ｂや処理選択部１５ｃに出力する。この統合処理については、以下に詳しく説明する。

補正範囲設定部１５ｂおよび処理選択部１５ｃは、エッジ抽出部１５ａにより出力されたエッジの情報を用いて、実施形態１で説明したようにして、補正範囲の設定および補正処理の選択を行う。

図１２は、本発明の実施形態２に係るエッジ情報の統合処理について説明する図である。図１２には、視点変更前の奥行きデータ４０と、視点変更後の奥行きデータ４１が示されている。

エッジ抽出部１５ａは、視点変更後の奥行きデータ４１のエッジ４１ａを抽出するとともに、視点変更前の奥行きデータ４０のエッジ４０ａを抽出する。ここでは、視点がｘ方向に平行にずれた場合について考える。なお、エッジ４１ｃは、視点変更後の奥行きデータ４１において、前景側画素と後景側画素の画素値の差が小さかったために、抽出できなかったエッジである。

ここで、視点変更前の奥行きデータ４０において抽出されたエッジ４０ａに含まれる画素４０ｂの座標を（ｘ，ｙ）、画素４０ｂの対応点である視点変更後の奥行きデータ４１における画素４１ｂの座標を（Ｘ，Ｙ）とすれば、Ｘ＝ｘ−ｄ（ｘ，ｙ）、Ｙ＝ｙとなる。ｄ（ｘ，ｙ）は、視点変更前の奥行きデータ４０における座標（ｘ，ｙ）の画素の視差値である。

この関係式は、エッジ４０ａに含まれる他の画素にも成り立つため、エッジ抽出部１５ａは、エッジ４０ａに含まれる各画素の座標を−ｄ（ｘ，ｙ）だけずらした上で、エッジ４１ａと重ね合わせることにより、エッジ４０ａとエッジ４１ａとを統合したエッジ４２ｃの情報を生成する。

そして、補正範囲設定部１５ｂおよび処理選択部１５ｃは、エッジ４２ａの情報を用いて、実施形態１で説明したようにして、補正範囲の設定および補正処理の選択を行う。

このように、実施形態２では、視点変更前の奥行きデータ４０と視点変更後の奥行きデータ４１とからエッジ４０ａ、４０ｂを抽出し、それらのエッジ４０ａ、４０ｂの情報を用いて補正範囲の設定および補正処理の選択を行うこととしたので、エッジ４２ａの抽出が容易に行えるようになり、任意視点画像を生成する際のジャギーやアーティファクトの発生を抑制することでより自然な任意視点画像を生成することが可能となる。

さて、これまで画像処理装置および画像処理方法の実施形態を中心に説明を行ったが、本発明はこれらの実施形態に限定されるものではない。上記の各実施形態において、添付図面に図示されている構成等はあくまで一例であり、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。すなわち、本発明は、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。

また、上記の各実施形態の説明では、画像処理装置の機能を実現するための各構成要素がそれぞれ異なる部位であるとして説明を行っているが、実際にこのように明確に分離して認識できる部位を画像処理装置が有していなければならないわけではない。上記の各実施形態で説明した機能を実現する画像処理装置において、その機能を実現するための各構成要素が実際にそれぞれ異なる部位を用いて構成されていてもかまわないし、全ての構成要素が一つの部位を用いて構成されていてもかまわない。すなわち、どのような実装形態であれ、機能として各構成要素を有していれば良い。

また、上記の各実施形態における画像処理装置の各構成要素の一部、または全部を典型的には集積回路であるＬＳＩ（Large Scale Integration）として実施してもよい。動画処理装置の各構成要素は個別にチップ化してもよいし、各構成要素の一部、または全部を集積してチップ化してもよい。また、集積回路化の手法はＬＳＩに限らず、専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いることも可能である。

また、上記の各実施形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムを、プロセッサ（CPU：Central Processing Unit、MPU：Micro Processing Unit）などを備えるコンピュータシステムに読み込ませ、そのプログラムを実行させることにより各構成要素の処理を実現してもよい。

なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアも含む場合もあり得る。また、「コンピュータシステム」は、ＷＷＷ（World Wide Web）システムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶媒体のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。

また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

また、上述した画像処理装置は、立体画像を表示する立体画像表示装置に備えられることとしてもよい。この立体画像表示装置は表示装置を備え、視点変更後の奥行きデータと、その奥行きデータに対応する任意視点画像データを用いて、視点変更後の立体画像を表示する。

１，２…物体、３…基準画像、３ａ…基準画像の拡大図、３ｂ，２４…グラデーション領域、４，３０，３４…任意視点画像、４ａ…任意視点画像の拡大図、４ｂ…ジャギー領域、５ａ，５ｂ，１２ｂ…奥行きデータ、４ｃ…アーティファクト領域、１０…画像処理装置、１１…データ受付部、１２…記憶部、１２ａ…画像データ、１３…奥行きデータ生成部、１４…任意視点画像データ生成部、１５…補正管理部、１５ａ…エッジ抽出部、１５ｂ…補正範囲設定部、１５ｃ…処理選択部、１６…処理実行部、２０ａ，２０ｂ…視点変更後の奥行きデータの領域，２３ａ，２３ｂ…視点変更後の任意視点画像の領域、２１ａ〜２１ｅ…視点変更後の奥行きデータの画素、２２ａ〜２２ｅ…視点変更後の任意視点画像の画素、３１…補正範囲情報、３１ａ…補正範囲、３２…３×３ガウシアンフィルタ、３３…ジャギー補正後の任意視点画像、３５…アーティファクト補正後の任意視点画像、４０…視点変更前の奥行きデータ、４０ａ…視点変更前の奥行きデータにおけるエッジ、４０ｂ…視点変更前の奥行きデータの画素、４１…視点変更後の奥行きデータ、４１ａ…視点変更後の奥行きデータにおけるエッジ、４１ｂ…視点変更後の奥行きデータにおける画素、４１ｃ…抽出できなかったエッジ、４２ａ…統合されたエッジ。

Claims (16)

1. 奥行きデータを有する画像データを変換することにより視点が変更された視点変更画像データに対して補正処理を行う画像処理装置であって、
   前記視点変更画像データの各画素の奥行きデータを記憶する記憶部と、
   該記憶部に記憶された奥行きデータのエッジを抽出するエッジ抽出部と、
   該エッジ抽出部により抽出されたエッジの位置の情報に基づいて、前記視点変更画像データの補正範囲を設定する補正範囲設定部と、
   前記エッジ抽出部により抽出されたエッジの位置にある画素に対応する前記視点変更画像データの画素の画素値と、該エッジの位置にある画素から所定の画素数だけ離れた画素に対応する前記視点変更画像データの画素の画素値の情報とに基づいて、該視点変更画像データに対して適用する補正処理を選択する処理選択部と、
   該処理選択部により選択された補正処理を実行する処理実行部と、
   を備えることを特徴とする画像処理装置。
2. 前記エッジの抽出は、２次元フィルタを用いて行われることを特徴とする請求項１に記載の画像処理装置。
3. 前記補正範囲設定部は、前記エッジの位置にある画素を含む所定の範囲内の画素に対応する前記視点変更画像データの画素の範囲を、前記補正範囲として設定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記補正範囲設定部は、前記視点変更画像データにより形成される画像のサイズを検出し、該サイズの情報と前記エッジの位置の情報に基づいて、前記補正範囲を設定することを特徴とする請求項１または２に記載の画像処理装置。
5. 前記補正範囲設定部は、ユーザにより入力された補正範囲設定用の入力情報を受け付け、該入力情報に基づいて前記補正範囲を設定することを特徴とする請求項１または２に記載の画像処理装置。
6. 前記処理選択部は、前記補正範囲に基づいて、前記所定の画素数を特定することを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
7. 前記補正範囲設定部は、前記処理選択部により選択された補正処理に応じて、前記補正範囲を異なる範囲に設定することを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記補正処理は、ジャギーを補正する補正処理、または、アーティファクトを補正する補正処理であることを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
9. 前記エッジ抽出部は、前記視点を変更する前の画像データに対応する奥行きデータのエッジをさらに抽出し、前記補正範囲設定部は、前記記憶部に記憶された奥行きデータのエッジの位置の情報、および、前記視点を変更する前の奥行きデータのエッジの位置の情報に基づいて、前記補正範囲を設定することを特徴とする請求項１〜８のいずれか１項に記載の画像処理装置。
10. 奥行きデータを有する画像データを変換することにより視点が変更された視点変更画像データに対して補正処理を行う画像処理方法であって、
    記憶部に記憶された前記視点変更画像データの各画素の奥行きデータのエッジを抽出するエッジ抽出ステップと、
    該エッジ抽出ステップにおいて抽出されたエッジの位置の情報に基づいて、前記視点変更画像データの補正範囲を設定する補正範囲設定ステップと、
    前記エッジ抽出ステップにおいて抽出されたエッジの位置にある画素に対応する前記視点変更画像データの画素の画素値と、該エッジの位置にある画素から所定の画素数だけ離れた画素に対応する前記視点変更画像データの画素の画素値の情報とに基づいて、該視点変更画像データに対して適用する補正処理を選択する処理選択ステップと、
    該処理選択ステップにおいて選択された補正処理を実行する処理実行ステップと、
    を含むことを特徴とする画像処理方法。
11. 前記処理選択ステップでは、前記補正範囲に基づいて、前記所定の画素数を特定することを特徴とする請求項１０に記載の画像処理方法。
12. 前記補正範囲設定ステップでは、前記処理選択ステップにおいて選択された補正処理に応じて、前記補正範囲を異なる範囲に設定することを特徴とする請求項１０または１１に記載の画像処理方法。
13. 前記エッジ抽出ステップでは、前記視点を変更する前の画像データに対応する奥行きデータのエッジをさらに抽出し、前記補正範囲設定ステップでは、前記記憶部に記憶された奥行きデータのエッジの位置の情報、および、前記視点を変更する前の奥行きデータのエッジの位置の情報に基づいて、前記補正範囲を設定することを特徴とする請求項１０〜１２のいずれか１項に記載の画像処理方法。
14. 請求項１０〜１３のいずれか１項に記載の画像処理方法をコンピュータに実行させることを特徴とするコンピュータプログラム。
15. 請求項１４に記載のコンピュータプログラムを記録したことを特徴とするコンピュータが読み取り可能な記録媒体。
16. 請求項１〜９のいずれか１項に記載の画像処理装置と、該画像処理装置により補正処理がなされた前記視点変更画像データを表示する表示装置とを備えたことを特徴とする立体画像表示装置。