JP2014220704A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】高精度の視差画像を生成することができるようにする。
【解決手段】係数設定部は、カラー画像の相関値に基づいてフィルタ係数を設定する。処理部は、フィルタ係数を用いてカラー画像に対応する視差画像をフィルタ処理し、視差画像を補正する。本開示は、例えば、カラー画像の相関値に基づいてフィルタ係数を設定し、フィルタ係数を用いて視差画像をフィルタ処理することにより視差画像を補正する画像処理装置等に適用することができる。
【選択図】図２

Description

本開示は、画像処理装置および画像処理方法に関し、特に、高精度の視差画像を生成することができるようにした画像処理装置および画像処理方法に関する。

近年、３Ｄ画像が注目を集めてきており、３Ｄ画像を表示可能な表示装置が開発されている（例えば、特許文献１参照）。このような３Ｄ画像は、２以上の視点のカラー画像からなり、各視点のカラー画像は、撮影により取得されたり、撮影によって取得された他の視点のカラー画像の各画素の視差値を画素値として表す視差画像(視差マップ)から生成されたりする。

視差画像は、複数の視点のカラー画像から生成されたり、１視点のカラー画像から推定して生成されたりすることができるが、視差画像を精度良く生成するためには、多くの処理量や大きい回路が必要となる。従って、処理量や回路規模の許容範囲等により、視差画像を精度良く生成することが困難である場合がある。視差画像の精度が十分ではない場合、視差画像を用いて生成されるカラー画像に歪み等が発生する。

また、撮影時の視差値が圧縮されている複数の視点のカラー画像から視差画像が求められる場合や、視差画像の生成時に局所的な視差値の変化が精度良く検出されない場合、視差画像における視差値の変化が小さくなる。その結果、視差画像を用いて生成される３Ｄ画像において、書き割り感が発生することがある。

特開２０１０−２１１０３６号公報

そこで、生成された視差画像を補正し、高精度の視差画像を生成することが求められている。

本開示は、このような状況に鑑みてなされたものであり、高精度の視差画像を生成することができるようにするものである。

本開示の一側面の画像処理装置は、カラー画像の相関値に基づいてフィルタ係数を設定する係数設定部と、前記係数設定部により設定された前記フィルタ係数を用いて前記カラー画像に対応する視差画像をフィルタ処理し、前記視差画像を補正する処理部とを備える画像処理装置である。

本開示の一側面の画像処理方法は、本開示の一側面の画像処理装置に対応する。

本開示の一側面においては、カラー画像の相関値に基づいてフィルタ係数が設定され、前記フィルタ係数を用いて前記カラー画像に対応する視差画像がフィルタ処理され、前記視差画像が補正される。

なお、本開示の一側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。

また、本開示の一側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

本開示の一側面によれば、高精度の視差画像を生成することができる。

本開示を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。 図１の非対称非線形フィルタの構成例を示すブロック図である。 周辺画素の例を示す図である。 式（２）における関数Ｆの例を示す図である。 図２の処理部により生成される補正後の視差画像の例を示す図である。 他視点のカラー画像の生成を説明する図である。 視差画像の精度が悪い場合に生成されたカラー画像の例を示す図である。 画像処理装置の他視点画像生成処理を説明するフローチャートである。 本開示を適用した画像処理装置の第２実施の形態における非対称非線形フィルタの構成例を示すブロック図である。 図９の処理部により生成される補正後の視差画像の例を示す図である。 画像処理装置の第２実施の形態の他視点画像生成処理を説明するフローチャートである。 本開示を適用した画像処理装置の第３実施の形態における非対称非線形フィルタの構成例を示すブロック図である。 図１２の処理部により生成される補正後の視差画像の例を示す図である。 画像処理装置の第３実施の形態の他視点画像生成処理を説明するフローチャートである。 本開示を適用した画像処理装置の第４実施の形態における非対称非線形フィルタの構成例を示すブロック図である。 画像処理装置の第４実施の形態の他視点画像生成処理を説明するフローチャートである。 本開示を適用した画像処理装置の第５実施の形態における非対称非線形フィルタの構成例を示すブロック図である。 図１７の処理部により生成される補正後の視差画像の例を示す図である。 画像処理装置の第５実施の形態の他視点画像生成処理を説明するフローチャートである。 本開示を適用した画像処理装置の第６実施の形態における非対称非線形フィルタの構成例を示すブロック図である。 補正前のフィルタ係数を用いて補正された視差画像の例を示す図であり、 図２０の処理部により生成される補正後の視差画像の例を示す図である。 画像処理装置の第６実施の形態の他視点画像生成処理を説明するフローチャートである。 画像処理装置の第６実施の形態の他視点画像生成処理を説明するフローチャートである。 図２４の処理部により生成される補正後の視差画像の例を示す図である。 画像処理装置の第７実施の形態の他視点画像生成処理を説明するフローチャートである。 本開示を適用した画像処理装置の第８実施の形態における非対称非線形フィルタの構成例を示すブロック図である。 図２７の加重平均部により生成される補正後の視差画像の例を示す図である。 画像処理装置の他視点画像生成処理を説明するフローチャートである。 第７および第８実施の形態による効果を説明する図である。 は、本開示を適用した画像処理装置の第９実施の形態の構成例を示すブロック図である。 は、本開示を適用した画像処理装置の第１０実施の形態の構成例を示すブロック図である。 図３２の画像処理装置による局所的な視差の強調を説明する図である。 コンピュータのハードウエアの構成例を示すブロック図である。

＜第１実施の形態＞
（画像処理装置の第１実施の形態の構成例）
図１は、本開示を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。

図１の画像処理装置１０は、視差検出部１１、非対称非線形フィルタ１２−１および１２−２、並びに他視点画像生成部１３−１および１３−２により構成される。画像処理装置１０は、視差画像を生成して補正し、補正後の視差画像を用いて所定の視点のカラー画像を生成する。

具体的には、画像処理装置１０の視差検出部１１は、外部から３Ｄ画像のうちの所定の視点の左目用のカラー画像と、所定の視点の右目用のカラー画像とを取得する。視差検出部１１は、取得された左目用のカラー画像と右目用のカラー画像を用いて、マッチング等の方法により、左目用のカラー画像に対応する視差画像と、右目用のカラー画像に対応する視差画像を生成する。

なお、本明細書では、視差値が大きいほど奥行き方向の位置が手前側であることを表し、視差値が小さいほど奥行き方向の位置が奥側であることを表し、視差値が中間値である場合奥行き方向の位置が表示面の位置であることを表す。視差検出部１１は、生成された左目用の視差画像を非対称非線形フィルタ１２−１に供給し、右目用の視差画像を非対称非線形フィルタ１２−２に供給する。

非対称非線形フィルタ１２−１は、例えば１次元の水平方向のFIR（finite impulse response）フィルタなどにより構成される。非対称非線形フィルタ１２−１は、外部から入力されるカラー画像から各画素の相関値を求める。非対称非線形フィルタ１２−１は、画素ごとに、相関値に基づいてフィルタ係数を設定し、そのフィルタ係数を用いて視差検出部１１から供給される左目用の視差画像をフィルタ処理することにより、左目用の視差画像を補正する。非対称非線形フィルタ１２−１は、補正後の左目用の視差画像を他視点画像生成部１３−１に供給する。

非対称非線形フィルタ１２−２は、非対称非線形フィルタ１２−１と同様に構成される。非対称非線形フィルタ１２−２は、カラー画像から各画素の相関値を求め、画素ごとに、相関値に基づいてフィルタ係数を設定し、そのフィルタ係数を用いて右目用の視差画像をフィルタ処理することにより、右目用の視差画像を補正する。非対称非線形フィルタ１２−２は、補正後の右目用の視差画像を他視点画像生成部１３−２に供給する。

なお、ここでは、非対称非線形フィルタ１２−１と非対称非線形フィルタ１２−２は、１次元の水平方向のFIRフィルタなどにより構成されるものとするが、２次元のFIRフィルタなどにより構成されるようにしてもよい。

他視点画像生成部１３−１は、非対称非線形フィルタ１２−１から供給される補正後の左目用の視差画像と、画像処理装置１０に入力されるカラー画像とを用いて、そのカラー画像に対応する視点とは異なる視点の左目用のカラー画像を生成する。他視点画像生成部１３−１は、生成された左目用のカラー画像を出力する。

他視点画像生成部１３−２は、他視点画像生成部１３−１と同様に構成される。他視点画像生成部１３−２は、非対称非線形フィルタ１２−２から供給される補正後の右目用の視差画像と、画像処理装置１０に入力されるカラー画像とを用いて、そのカラー画像に対応する視点とは異なる視点の右目用のカラー画像を生成する。他視点画像生成部１３−２は、生成された右目用のカラー画像を出力する。

なお、以下では、非対称非線形フィルタ１２−１と非対称非線形フィルタ１２−２と特に区別する必要がない場合、それらをまとめて非対称非線形フィルタ１２という。同様に、他視点画像生成部１３−１と他視点画像生成部１３−２をまとめて他視点画像生成部１３といい、左目用のカラー画像と右目用のカラー画像をまとめて単にカラー画像という。

（非対称非線形フィルタの構成例）
図２は、図１の非対称非線形フィルタ１２の構成例を示すブロック図である。

図２の非対称非線形フィルタ１２は、差分演算部３１、閾値設定部３２、係数設定部３３、および処理部３４により構成される。

非対称非線形フィルタ１２の差分演算部３１は、外部から入力されるカラー画像の各画素を順次処理対象の画素とし、処理対象の画素とその画素の周辺画素の間の画素値の相関値を、処理対象の画素の画面内の相関値として演算する。具体的には、差分演算部３１は、処理対象の画素の画素値と、その画素の周辺画素の画素値との差分の絶対値を演算する。

ここで、周辺画素とは、処理対象の画素のフィルタ処理に用いられる処理対象の画素およびその画素のフィルタの方向としての水平方向に並ぶ画素（以下、参照画素という）と、処理対象の画素のフィルタの方向と直交する垂直方向に並ぶ画素である。

差分演算部３１は、演算された差分の絶対値のうち、処理対象の画素の上下の周辺画素の画素値との差分の絶対値を閾値設定部３２に供給する。また、差分演算部３１は、参照画素の画素値との差分の絶対値を、係数設定部３３に供給する。

閾値設定部３２は、差分演算部３１から供給される差分の絶対値の最小値に基づいて、後述するフィルタ係数の設定に用いられる閾値を設定する。この閾値の設定方法は、例えば、特開2007-128206号公報に記載されている。閾値設定部３２は、設定された閾値を係数設定部３３に供給する。

係数設定部３３は、閾値設定部３２から供給される閾値と、差分演算部３１から供給される差分の絶対値とに基づいて、参照画素に対するフィルタ係数を設定し、処理部３４に供給する。

処理部３４は、係数設定部３３から供給されるフィルタ係数を用いて、図１の視差検出部１１から供給される視差画像のうちの参照画素の視差値をフィルタ処理することにより、処理対象の画素の視差値を補正する。処理部３４は、全ての画素の補正後の視差値からなる視差画像を補正後の視差画像として、図１の他視点画像生成部１３に供給する。

（周辺画素の例）
図３は、周辺画素の例を示す図である。

なお、図３において丸は画素を表す。

図３の例では、周辺画素は、処理対象の画素Ｐ３の上の画素ＰＡおよび下の画素ＰＢと、画素Ｐ３、画素Ｐ３の左の２つの画素Ｐ１および画素Ｐ２、および右の２つの画素Ｐ４および画素Ｐ５からなる参照画素とにより構成される。

この場合、以下の式（１）により閾値ＴＨが設定される。

なお、式（１）において、ａとｂは、所定値である。

式（１）によれば、処理対象の画素Ｐ３の画素値と画素ＰＡの画素値の差分の絶対値と、画素Ｐ３の画素値と画素ＰＢの画素値の差分の絶対値のうちの小さい方に基づいて閾値ＴＨが設定される。

そして、閾値ＴＨに基づいて、以下の式（２）により参照画素である画素Ｐｉ（ｉ=1,2,3,4,5）に対するフィルタ係数Ｋｉ（ｉ=1,2,3,4,5）が設定される。

なお、式（２）においてＦは所定の関数である。式（２）によれば、フィルタ係数Ｋｉは、画素Ｐｉと画素Ｐ３の画素値の差分の絶対値に対する関数Ｆの値である。

処理部３４は、フィルタ係数Ｋｉを用いて以下の式（３）によりフィルタ処理を行う。

なお、式（３）において、ＲＤは、補正後の画素Ｐ３の画素値を表し、Ｄｉ（ｉ=1,2,3,4,5）は補正前の画素Ｐｉの画素値を表している。

（関数Ｆの例）
図４は、式（２）における関数Ｆの例を示す図である。

なお、図４において、横軸は、画素Ｐｉと画素Ｐ３の画素値の差分の絶対値abs(Pi-P3)を表し、縦軸はフィルタ係数Ｋｉを表している。

図４の関数Ｆは、差分の絶対値abs(Pi-P3)が閾値ＴＨより小さい場合最大値となり、差分の絶対値abs(Pi-P3)が閾値ＴＨより大きい場合、差分の絶対値abs(Pi-P3)が大きいほど小さくなる関数である。

（補正後の視差画像の例）
図５は、図２の処理部３４により生成される補正後の視差画像の例を示す図である。

なお、図５において、Ｌ１は、入力されるカラー画像の画素値を表し、ＤＬ１は、そのカラー画像に対応する補正前の視差画像の視差値を表し、ＤＬ２は、補正後の視差画像の視差値を表している。また、図５において、横軸は、画素の水平方向の位置を表している。

図５の例では、位置ｐ３の画素の左側と右側でカラー画像Ｌ１の画素値が大きく変化している。しかしながら、補正前の視差画像ＤＬ１の視差値は、位置ｐ２の画素の左側と右側で大きく変化している。即ち、カラー画像Ｌ１と視差画像ＤＬ１の間で位相がずれている。

このような場合、画像処理装置１０では、位置ｐ３の画素の視差値は、カラー画像Ｌ１の相関値に基づいて小さくなるように補正される。即ち、位置ｐ３の画素の画素値は、位置ｐ３の左側の位置ｐ１やｐ２の画素の画素値との相関が高いため、処理対象の画素を位置Ｐ３の画素としたときのフィルタ係数Ｋｉでは、Ｋ１乃至Ｋ３が大きく、Ｋ４およびＫ５が小さい。従って、位置ｐ３の画素の視差値は、位置ｐ１および位置ｐ２の画素の視差値に近づくように補正される。これにより、カラー画像Ｌ１と視差画像ＤＬ１の間の位相のずれが補正される。

また、カラー画像Ｌ１の相関値に基づいて、位置ｐ３の左側の画素の視差値と、位置ｐ３の右側の画素の視差値は、それぞれ、平滑化される。これにより、視差画像のノイズ成分等が削減される。

なお、差分の絶対値の最大値が比較的大きい場合、係数設定部３３は、差分の絶対値が大きく変化する境界の、差分の絶対値が小さい画素に対するフィルタ係数を大きくするようにしてもよい。これにより、補正後の視差画像における視差値のエッジを強調することができる。この場合、フィルタ係数の設定処理が単純な閾値処理ではなくなるため、空間的なロバスト性が高められる。

（他視点のカラー画像の生成の説明）
図６は、図１の他視点画像生成部１３による他視点のカラー画像の生成を説明する図である。

図６の例では、カラー画像Ｌ１が正方形を含むカラー画像である。また、カラー画像Ｌ１の補正後の視差画像ＤＬ２の正方形のカラー画像に対する視差値は所定値であり、それ以外の視差値が０である。

この場合、他視点画像生成部１３は、カラー画像Ｌ１の視点と、生成するカラー画像Ｌ２の視点との距離等に基づいて、視差画像ＤＬ２からカラー画像Ｌ２の視差画像を生成する。そして、他視点画像生成部１３は、生成された視差画像に基づいて、画素ごとに、カラー画像Ｌ１の画素を移動させ、図６に示すカラー画像Ｌ２を生成する。これにより、図６の例では、カラー画像Ｌ２内の正方形は、カラー画像Ｌ１内の正方形より右側に移動する。

これに対して、視差画像が補正されず、視差画像の精度が悪い場合、例えば、図７に示すように、矩形を含むカラー画像Ｌ３の視差画像ＤＬ３は、矩形の境界が凸凹した視差画像となる。従って、生成するカラー画像Ｌ４に対応する視差画像も、矩形の境界が凸凹した視差画像となる。その結果、カラー画像Ｌ４に対応する視差画像に基づいて、カラー画像Ｌ３の矩形内の画素の一部が他部と同様に移動されず、カラー画像Ｌ４内の矩形に歪みが生じる。

（画像処理装置の処理の説明）
図８は、画像処理装置１０の他視点画像生成処理を説明するフローチャートである。この他視点画像生成処理は、例えば、外部から１フレームのカラー画像が入力されたとき、開始される。

図８のステップＳ１１において、画像処理装置１０は、外部から入力される１フレームのカラー画像を取得する。ステップＳ１２において、画像処理装置１０の視差検出部１１は、取得されたカラー画像を用いて、そのカラー画像に対応する視差画像を生成する。

ステップＳ１３において、非対称非線形フィルタ１２の差分演算部３１(図２)は、カラー画像を構成する画素のうちのまだ処理対象の画素としていない画素を処理対象の画素に決定する。

ステップＳ１４において、差分演算部３１は、処理対象の画素の画素値と、その画素の周辺画素の画素値の差分の絶対値を演算する。差分演算部３１は、演算された差分の絶対値のうち、処理対象の画素の上下の画素の画素値との差分の絶対値を閾値設定部３２に供給する。また、差分演算部３１は、参照画素の画素値との差分の絶対値を係数設定部３３に供給する。

ステップＳ１５において、閾値設定部３２は、差分演算部３１から供給される差分の絶対値の最小値に基づいて上述した式（１）により閾値を設定し、係数設定部３３に供給する。

ステップＳ１６において、係数設定部３３は、差分演算部３１から供給される差分の絶対値と閾値設定部３２から供給される閾値とに基づいて、上述した式（２）により参照画素に対するフィルタ係数を設定し、処理部３４に供給する。

ステップＳ１７において、処理部３４は、係数設定部３３から供給されるフィルタ係数を用いて、図１の視差検出部１１から供給される視差画像のうちの参照画素の視差値をフィルタ処理する。ステップＳ１８において、処理部３４は、フィルタ処理後の視差値を保持する。

ステップＳ１９において、差分演算部３１は、カラー画像を構成する全ての画素を処理対象の画素としたかどうかを判定する。ステップＳ１９でまだ全ての画素を処理対象の画素としていないと判定された場合、処理はステップＳ１３に戻り、全ての画素を処理対象の画素とするまで、ステップＳ１３乃至Ｓ１９の処理が繰り返される。

一方、ステップＳ１９で全ての画素を処理対象の画素としたと判定された場合、ステップＳ２０において、処理部３４は、保持している全ての画素のフィルタ処理後の視差値からなる視差画像を補正後の視差画像として、図１の他視点画像生成部１３に出力する。

ステップＳ２１において、他視点画像生成部１３は、非対称非線形フィルタ１２から供給される補正後の視差画像とカラー画像とを用いて、そのカラー画像に対応する視点とは異なる視点のカラー画像を生成し、出力する。そして、処理は終了する。

以上のように、非対称非線形フィルタ１２は、カラー画像の相関値としての画素値の差分の絶対値に基づいてフィルタ係数を設定し、そのフィルタ係数を用いてカラー画像に対応する視差画像をフィルタ処理することにより視差画像を補正する。従って、カラー画像を用いて生成される視差画像の精度が悪い場合であっても、カラー画像と位相が同期した高精度の視差画像を生成することができる。

＜第２実施の形態＞
（画像処理装置の第２実施の形態における非対称非線形フィルタの構成例）
本開示を適用した画像処理装置の第２実施の形態は、非対称非線形フィルタ１２を除いて図１の画像処理装置１０と同様である。従って、以下では、非対称非線形フィルタについてのみ説明する。

図９は、本開示を適用した画像処理装置の第２実施の形態における非対称非線形フィルタの構成例を示すブロック図である。

図９に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図９の非対称非線形フィルタ５０は、テクスチャ抽出部５１、相関演算部５２、係数設定部５３、および処理部３４により構成される。非対称非線形フィルタ５０は、画素値の差分の絶対値ではなく、テクスチャ成分の類似度に基づいてフィルタ係数を設定する。

具体的には、非対称非線形フィルタ５０のテクスチャ抽出部５１は、外部から入力されるカラー画像のテクスチャ成分を抽出し、相関演算部５２に供給する。

相関演算部５２は、カラー画像の各画素を順次処理対象の画素とする。相関演算部５２は、テクスチャ抽出部５１から供給されるテクスチャ成分に基づいて、処理対象の画素と参照画素の間のテクスチャ成分の相関値を、処理対象の画素の画面内の相関値として演算する。

具体的には、テクスチャ抽出部５１は、処理対象の画素のテクスチャ成分と参照画素のテクスチャ成分の類似度を演算する。テクスチャ抽出部５１は、演算された類似度を係数設定部５３に供給する。

係数設定部５３は、相関演算部５２から供給される類似度に基づいて、類似度が大きいほど、即ち類似しているほど、大きくなるようにフィルタ係数を設定し、処理部３４に供給する。

（補正後の視差画像の例）
図１０は、図９の処理部３４により生成される補正後の視差画像の例を示す図である。

なお、図１０において、横軸は、水平方向の位置（Ｘ）を表す。また、図１０Ａにおいて縦軸は画素値を表し、図１０Ｂにおいて縦軸はフィルタ係数を表し、図１０Ｃおよび図１０Ｄにおいて縦軸は視差値を表す。

図１０の例では、カラー画像が図１０Ａに示すようになっており、補正前の視差画像が図１０Ｃに示すようになっている。ここで、図１０Ａ中丸で示す画素を処理対象の画素とすると、処理対象の画素のフィルタ係数は図１０Ｂに示すようになる。

即ち、図１０Ａのカラー画像では、処理対象の画素の少し左側の画素（以下、境界画素という）と、その画素の左に隣接する画素との間にテクスチャ成分が大きく変化する境界が存在する。従って、境界画素と境界画素の右側の画素のテクスチャ成分が、処理対象の画素のテクスチャ成分と類似している。よって、境界画素である参照画素と境界画素の右側の参照画素に対する処理対象の画素のフィルタ係数は最大値となり、境界画素より左側の参照画素に対する処理対象の画素のフィルタ係数は小さい。

従って、このようなフィルタ係数を用いてフィルタ処理された補正後の視差画像は、図１０Ｄに示すようになる。即ち、境界画素より左側の画素の視差値は、その画素より左側の画素の視差値に近づき、境界画素より右側の画素の視差値は、その画素より右側の画素値に近づく。その結果、補正後の視差画像における視差値のエッジは、補正前の視差画像における視差値のエッジに比べて急峻になり、カラー画像と視差画像の位相差がより削減される。

（画像処理装置の処理の説明）
図１１は、画像処理装置の第２実施の形態の他視点画像生成処理を説明するフローチャートである。この他視点画像生成処理は、例えば、外部から１フレームのカラー画像が入力されたとき、開始される。

図１１のステップＳ４１およびＳ４２の処理は、図８のステップＳ１１およびＳ１２の処理と同様であるので、説明は省略する。

ステップＳ４３において、非対称非線形フィルタ５０のテクスチャ抽出部５１（図９）は、外部から入力されるカラー画像のテクスチャ成分を抽出し、相関演算部５２に供給する。

ステップＳ４４において、相関演算部５２は、カラー画像を構成する画素のうちのまだ処理対象の画素としていない画素を処理対象の画素に決定する。

ステップＳ４５において、相関演算部５２は、処理対象の画素のテクスチャ成分と、その画素の参照画素のテクスチャ成分の類似度を演算し、係数設定部５３に供給する。

ステップＳ４６において、係数設定部５３は、相関演算部５２から供給されるテクスチャ成分の類似度に基づいて、参照画素に対するフィルタ係数を設定し、処理部３４に供給する。

ステップＳ４７乃至Ｓ５１の処理は、図８のステップＳ１７乃至Ｓ２１の処理と同様であるので、説明は省略する。

以上のように、非対称非線形フィルタ５０は、カラー画像のテクスチャ成分の類似度に基づいてフィルタ係数を設定し、そのフィルタ係数を用いてカラー画像に対応する視差画像をフィルタ処理することにより視差画像を補正する。従って、カラー画像を用いて生成される視差画像の精度が悪い場合であっても、カラー画像と位相が同期した高精度の視差画像を生成することができる。

＜第３実施の形態＞
（画像処理装置の第３実施の形態における非対称非線形フィルタの構成例）
本開示を適用した画像処理装置の第３実施の形態は、非対称非線形フィルタ１２を除いて図１の画像処理装置１０と同様である。従って、以下では、非対称非線形フィルタについてのみ説明する。

図１２は、本開示を適用した画像処理装置の第３実施の形態における非対称非線形フィルタの構成例を示すブロック図である。

図１２に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１２の非対称非線形フィルタ７０の構成は、信頼度決定部７１が新たに設けられる点、および、係数設定部３３の代わりに係数設定部７２が設けられる点が、図２の非対称非線形フィルタ１２の構成と異なる。非対称非線形フィルタ７０は、各画素の視差値の信頼度を決定し、信頼度が低い参照画素に対するフィルタ係数を０に置換する。

具体的には、非対称非線形フィルタ７０の信頼度決定部７１は、外部から入力されるカラー画像と、図１の視差検出部１１から供給される視差画像とに基づいて、カラー画像を構成する各画素の視差値の信頼度を決定する。

例えば、信頼度検出部７１は、カラー画像から顔画像を抽出する。そして、信頼度検出部７１は、その顔画像の領域の画素のうち、周囲の画素の視差値より視差値が所定値以上小さい画素の信頼度を低くする。即ち、顔画像は、奥側に大きく引っ込んでいることはないため、視差値が周囲の画素の視差値より所定値以上小さい顔画像の画素の信頼度は低くされる。信頼度決定部７１は、決定された信頼度を係数設定部７２に供給する。

係数設定部７２は、図１の係数設定部３３と同様に、閾値設定部３２から供給される閾値と、差分演算部３１から供給される差分の絶対値とに基づいて、参照画素に対するフィルタ係数を設定する。係数設定部７２は、信頼度決定部７１から供給される信頼度に基づいて、設定されたフィルタ係数のうち信頼度の低い参照画素に対するフィルタ係数を０に置換する。係数設定部７２は、置換後のフィルタ係数を処理部３４に供給する。

（補正後の視差画像の例）
図１３は、図１２の処理部３４により生成される補正後の視差画像の例を示す図である。

なお、図１３において、横軸は、水平方向の位置（Ｘ）を表す。また、図１３Ａにおいて縦軸は画素値を表し、図１３Ｂにおいて縦軸はフィルタ係数を表し、図１３Ｃおよび図１３Ｄにおいて縦軸は視差値を表す。

図１３の例では、カラー画像が図１３Ａに示すようになっており、補正前の視差画像が図１３Ｃに示すようになっている。ここで、顔画像の領域内の図１３Ａ中丸で示す画素を処理対象の画素とすると、処理対象の画素のフィルタ係数は図１３Ｂに示すようになる。

即ち、図１３Ａのカラー画像では、処理対象の画素を含む画素値が一定値である領域が顔画像の領域となっているが、図１３Ｃの視差画像では、顔画像の領域内のある参照画素の視差値が周囲に比べて極めて小さい０となっている。従って、顔画像の領域内の参照画素のフィルタ係数は大きくなるが、図１３Ｂに示すように、視差値が０である参照画素のフィルタ係数は０に置換される。

よって、このようなフィルタ係数を用いてフィルタ処理された補正後の視差画像は、図１３Ｄに示すようになる。即ち、顔画像の領域内の視差値が０となる画素の視差値は、その画素を参照画素とする画素の視差値の補正に用いられず、顔画像の領域内の全画素の視差値は一定となる。

（画像処理装置の処理の説明）
図１４は、画像処理装置の第３実施の形態の他視点画像生成処理を説明するフローチャートである。この他視点画像生成処理は、例えば、外部から１フレームのカラー画像が入力されたとき、開始される。

図１４のステップＳ７１およびＳ７２の処理は、図８のステップＳ１１およびＳ１２の処理と同様であるので、説明は省略する。

ステップＳ７３において、非対称非線形フィルタ７０の信頼度決定部７１（図１２）は、外部から入力されるカラー画像と、図１の視差検出部１１から供給される視差画像とに基づいて、カラー画像を構成する各画素の視差値の信頼度を決定する。そして、信頼度決定部７１は、決定された信頼度を係数設定部７２に供給する。

ステップＳ７４乃至Ｓ７７の処理は、図８のステップＳ１３乃至Ｓ１６の処理と同様であるので、説明は省略する。

ステップＳ７８において、係数設定部７２は、信頼度決定部７１から供給される信頼度に基づいて、設定されたフィルタ係数のうち信頼度の低い参照画素に対するフィルタ係数を０に置換する。係数設定部７２は、置換後のフィルタ係数を処理部３４に供給する。ステップＳ７９乃至Ｓ８３の処理は、図８のステップＳ１７乃至Ｓ２１の処理と同様であるので、説明は省略する。

以上のように、非対称非線形フィルタ７０は、信頼度に基づいてフィルタ係数を補正するので、信頼度の低い画素の視差値の影響を受けないように視差画像を補正することができる。その結果、より高精度の視差画像を生成することができる。

＜第４実施の形態＞
（画像処理装置の第４実施の形態における非対称非線形フィルタの構成例）
本開示を適用した画像処理装置の第４実施の形態は、非対称非線形フィルタ１２を除いて図１の画像処理装置１０と同様である。従って、以下では、非対称非線形フィルタについてのみ説明する。

図１５は、本開示を適用した画像処理装置の第４実施の形態における非対称非線形フィルタの構成例を示すブロック図である。

図１５に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図１５の非対称非線形フィルタ９０の構成は、除外画素決定部９１と置換部９２が新たに設けられる点が、図１の非対称非線形フィルタ１２の構成と異なる。非対称非線形フィルタ９０は、フィルタ処理を行わない画素を除外画素に決定し、除外画素の視差値を所定値に置換する。

具体的には、非対称非線形フィルタ９０の除外画素決定部９１は、外部から入力されるカラー画像に基づいて、カラー画像を構成する画素のうちの除外画素を決定する。例えば、除外画素決定部９１は、カラー画像から空の画像の領域を検出し、その領域の画素を除外画素とする。除外画素決定部９１は、決定された除外画素を指定する除外画素情報を置換部９２に供給する。

置換部９２は、除外画素情報に基づいて、処理部３４から出力される補正後の視差画像のうちの除外画素の視差値を所定値に置換する。ここでは、除外画素が空の画像の画素であるとし、所定値は、図１の視差検出部１１から供給される補正前の視差画像の最小値とするが、所定値は、これに限定されず、例えば予め設定された視差値であってもよい。

（画像処理装置の処理の説明）
図１６は、画像処理装置の第４実施の形態の他視点画像生成処理を説明するフローチャートである。この他視点画像生成処理は、例えば、外部から１フレームのカラー画像が入力されたとき、開始される。

図１６のステップＳ１０１およびＳ１０２の処理は、図８のステップＳ１１およびＳ１２の処理と同様であるので、説明は省略する。

ステップＳ１０３において、非対称非線形フィルタ９０の除外画素決定部９１（図１５）は、外部から入力されるカラー画像に基づいて、カラー画像を構成する画素のうちの除外画素を決定し、除外画素情報を置換部９２に供給する。

ステップＳ１０４乃至Ｓ１１０の処理は、図８のステップＳ１３乃至Ｓ１９の処理と同様であるので、説明は省略する。

ステップＳ１１１において、置換部９２は、除外画素情報に基づいて、処理部３４から出力される補正後の視差画像のうちの除外画素の視差値を、補正前の視差画像の最小値に置換する。

ステップＳ１１２およびＳ１１３の処理は、図８のステップＳ２０およびＳ２１の処理と同様であるので、説明は省略する。

以上のように、非対称非線形フィルタ９０は、除外画素情報に基づいて補正後の視差画像を補正するので、正確な視差値を予め推定可能な画素の視差値がフィルタ処理により誤った視差値に補正されることを防止することができる。その結果、より高精度の視差画像を生成することができる。

＜第５実施の形態＞
（画像処理装置の第５実施の形態における非対称非線形フィルタの構成例）
本開示を適用した画像処理装置の第５実施の形態は、非対称非線形フィルタ１２を除いて図１の画像処理装置１０と同様である。従って、以下では、非対称非線形フィルタについてのみ説明する。

図１７は、本開示を適用した画像処理装置の第５実施の形態における非対称非線形フィルタの構成例を示すブロック図である。

図１７の非対称非線形フィルタ１１０は、メモリ１１１、差分演算部１１２、閾値設定部１１３、係数設定部１１４、メモリ１１５、および処理部１１６により構成される。非対称非線形フィルタ１１０は、カラー画像の画面内の相関値だけでなく画面間の相関値にも基づいて視差画像を補正する。

具体的には、非対称非線形フィルタ１１０のメモリ１１１は、外部から入力されるカラー画像を保持する。

差分演算部１１２は、メモリ１１１に保持されている、いま外部から入力されるカラー画像のフレーム(以下、現フレームという)より１フレーム前のフレーム（以下、前フレームという）のカラー画像を読み出す。差分演算部１１２は、現フレームのカラー画像の各画素を順次処理対象の画素とする。

差分演算部１１２は、処理対象の画素の画素値と、その画素と同一のフレームである現フレームのカラー画像における周辺画素の画素値との差分の絶対値を、処理対象の画素の画面内の相関値として演算する。また、差分演算部１１２は、処理対象の画素の画素値と、その画素の前フレームのカラー画像における周辺画素の画素値との差分の絶対値を、処理対象の画素の画面間の相関値として演算する。

なお、前フレームのカラー画像における周辺画素とは、処理対象の画素のフィルタ処理に用いられる前フレームの参照画素と、処理対象の画素と同一の位置に存在する前フレームの画素(以下、前対象画素という)の垂直方向に並ぶ画素である。また、前フレームの参照画素とは、前対象画素と、前対象画素の水平方向に並ぶ画素である。

差分演算部１１２は、演算された差分の絶対値のうち、処理対象の画素の現フレームおよび前フレームの上下の画素の画素値との差分の絶対値を閾値設定部１１３に供給する。また、差分演算部１１２は、現フレームおよび前フレームの参照画素の画素値との差分の絶対値を係数設定部１１４に供給する。

閾値設定部１１３は、フレームごとに、差分演算部３１から供給される差分の絶対値の最小値に基づいて、図２の閾値設定部３２と同様に閾値を設定し、係数設定部１１４に供給する。

係数設定部１１４は、閾値設定部１１３からの現フレームの閾値と、差分演算部１１２からの現フレームの差分の絶対値とに基づいて、図２の係数設定部３３と同様に、現フレームの参照画素に対するフィルタ係数を設定する。

また、係数設定部１１４は、閾値設定部１１３からの前フレームの閾値と、差分演算部３１からの前フレームの差分の絶対値とに基づいて、係数設定部３３と同様に、前フレームの参照画素に対するフィルタ係数を設定する。そして、係数設定部１１４は、設定されたフィルタ係数を処理部１１６に供給する。

メモリ１１５は、図１の視差検出部１１から供給される視差画像を保持する。

処理部１１６は、係数設定部１１４からの現フレームのフィルタ係数を用いて、図２の処理部３４と同様に、視差検出部１１から供給される現フレームの視差画像の参照画素の視差値をフィルタ処理する。

また、処理部１１６は、メモリ１１５に保持されている前フレームの視差画像を読み出す。そして、処理部１１６は、係数設定部１１４からの前フレームのフィルタ係数を用いて、処理部３４と同様に、前フレームの視差画像の参照画素の視差値をフィルタ処理する。

処理部１１６は、現フレームのフィルタ処理後の視差値と前フレームのフィルタ処理後の視差値とを平均化し、平均化後の視差値を処理対象の画素の補正後の視差値とする。処理部１１６は、全ての画素の補正後の視差値からなる視差画像を補正後の視差画像として、図１の他視点画像生成部１３に供給する。

（補正後の視差画像の例）
図１８は、図１７の処理部１１６により生成される補正後の視差画像の例を示す図である。

なお、図１８において、横軸は、水平方向の位置（Ｘ）を表す。また、図１８Ａおよび図１８Ｅにおいて縦軸は画素値を表し、図１８Ｂおよび図１８Ｆにおいて縦軸はフィルタ係数を表し、図１８Ｃ，図１８Ｄ，および図１８Ｇ乃至図１８Ｉにおいて縦軸は視差値を表す。

図１８の例では、前フレームのカラー画像が図１８Ａに示すようになっており、図１８Ｅに示すように、現フレームのカラー画像は、前フレームのカラー画像と同一である。しかしながら、図１８Ｃに示すように前フレームの補正前の視差画像では視差値が大きく変化しているのに対して、図１８Ｇに示すように、現フレームの補正前の視差画像の視差値は一定値となっている。

ここで、図１８Ｅ中丸で示す画素を処理対象の画素とすると、処理対象の画素の現フレームのフィルタ係数は図１８Ｆに示すようになる。

即ち、図１８Ｅのカラー画像では、処理対象の画素の少し左側の境界画素と、その境界画素の左に隣接する画素との間に画素値が大きく変化する境界が存在する。従って、境界画素と境界画素の右側の画素の画素値が、処理対象の画素の画素値と類似している。よって、境界画素である参照画素と境界画素の右側の参照画素に対する処理対象の画素のフィルタ係数は最大値となり、境界画素より左側の参照画素に対する処理対象の画素のフィルタ係数は小さい。

また、図１８Ａと図１８Ｅに示すように現フレームと前フレームのカラー画像は同一であるため、図１８Ｂに示すように、処理対象の画素の前フレームのフィルタ係数は、図１８Ｆに示した現フレームのフィルタ係数と同一になる。

従って、このようなフィルタ係数を用いてフィルタ処理された現フレームの補正後の視差画像は、図１８Ｈに示すようになる。即ち、視差値が一定値である現フレームの視差画像だけでなく、前フレームの視差画像も用いてフィルタ処理が行われるため、現フレームの補正後の視差画像では、境界画素と境界画素の右側の視差値が、左側の視差値に比べて大きくなる。即ち、カラー画像と視差画像の位相が同期する。

一方、前フレームの視差画像は、例えば、図１８Ｄに示すように、図１８Ｃに示した補正前の視差画像に比べてエッジが急峻となり、カラー画像との位相差が削減されるように補正される。従って、補正後の視差画像は、前フレームと現フレームの間で急激に変化せず、補正後の視差画像は時間的に安定する。

これに対して、現フレームの補正前の視差画像の視差値は一定であるため、フィルタ処理に前フレームの視差画像が用いられない場合、フィルタ処理後の現フレームの視差画像の視差値は、図１８Ｉに示すように一定である。従って、この場合、補正後の視差画像は、前フレームと現フレームの間で急激に変化する。

（画像処理装置の処理の説明）
図１９は、画像処理装置の第５実施の形態の他視点画像生成処理を説明するフローチャートである。この他視点画像生成処理は、例えば、外部から１フレームのカラー画像が入力されたとき、開始される。

図１９のステップＳ１３０において、図８のＳ１１の処理と同様に、外部から入力される１フレームのカラー画像が取得される。ステップＳ１３１において、非対称非線形フィルタ１１０のメモリ１１１（図１７）は、取得されたカラー画像を保持する。

ステップＳ１３２において、視差検出部１１は、取得されたカラー画像を用いて、そのカラー画像に対応する視差画像を生成し、非対称非線形フィルタ１１０に供給する。ステップＳ１３３において、メモリ１１５は、視差検出部１１から供給される視差画像を保持する。

ステップＳ１３４において、差分演算部１１２は、現フレームのカラー画像を構成する画素のうちのまだ処理対象の画素としていない画素を処理対象の画素に決定する。

ステップＳ１３５において、差分演算部１１２は、メモリ１１１から前フレームのカラー画像を読み出し、処理対象の画素の画素値と、その画素の現フレームおよび前フレームの周辺画素の画素値の差分の絶対値を演算する。

そして、差分演算部１１２は、演算された差分の絶対値のうち、処理対象の画素の現フレームと前フレームの上下の画素の画素値との差分の絶対値を閾値設定部１１３に供給する。また、差分演算部１１２は、現フレームと前フレームの参照画素の画素値との差分の絶対値を係数設定部１１４に供給する。

ステップＳ１３６において、閾値設定部１１３は、差分演算部１１２から供給される差分の絶対値の最小値に基づいて、現フレームと前フレームの閾値を設定し、係数設定部１１４に供給する。

ステップＳ１３７において、係数設定部１１４は、差分演算部１１２から供給される差分の絶対値と閾値設定部１１３から供給される閾値とに基づいて、現フレームと前フレームのフィルタ係数を設定し、処理部１１６に供給する。

ステップＳ１３８において、処理部１１６は、メモリ１１５から前フレームの視差画像を読み出し、現フレームと前フレームについて、係数設定部１１４からのフィルタ係数を用いて視差画像の参照画素の視差値をフィルタ処理する。

ステップＳ１３９において、処理部１１６は、現フレームと前フレームのフィルタ処理後の視差値を平均化する。ステップＳ１４０において、処理部１１６は、平均化後の視差値を補正後の視差値として保持する。

ステップＳ１４１乃至Ｓ１４３の処理は、図８のステップＳ１９乃至Ｓ２１の処理と同様であるので、説明は省略する。

以上のように、非対称非線形フィルタ１１０は、カラー画像の画面内の相関値と画面間の相関値に基づいてフィルタ係数を設定し、そのフィルタ係数を用いて現フレームおよび前フレームの視差画像をフィルタ処理し、平均化することにより視差画像を補正する。従って、時間的に安定した高精度の視差画像を生成することができる。

＜第６実施の形態＞
（画像処理装置の第６実施の形態における非対称非線形フィルタの構成例）
本開示を適用した画像処理装置の第６実施の形態は、非対称非線形フィルタ１２を除いて図１の画像処理装置１０と同様である。従って、以下では、非対称非線形フィルタについてのみ説明する。

図２０は、本開示を適用した画像処理装置の第６実施の形態における非対称非線形フィルタの構成例を示すブロック図である。

図２０に示す構成のうち、図１７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２０の非対称非線形フィルタ１３０の構成は、動き検出部１３１が新たに設けられる点、および係数設定部１１４の代わりに係数設定部１３２が設けられる点が、図１７の非対称非線形フィルタ１１０の構成と異なる。非対称非線形フィルタ１３０は、カラー画像の動きベクトルに基づいてフィルタ係数を補正し、補正後のフィルタ係数を用いて視差画像を補正する。

具体的には、非対称非線形フィルタ１３０の動き検出部１３１は、メモリ１１１に保持されている前フレームのカラー画像を読み出す。動き検出部１３１は、外部から入力される現フレームのカラー画像と前フレームのカラー画像を用いて、現フレームのカラー画像の各画素の動きベクトルを検出する。動き検出部１３１は、検出された動きベクトルを係数設定部１３２に供給する。

係数設定部１３２は、図１７の係数設定部１１４と同様に、現フレームおよび前フレームのフィルタ係数を設定する。係数設定部１３２は、動き検出部１３１から供給される処理対象の画素の動きベクトルに基づいてフィルタ係数を補正し、処理部１１６に供給する。

（補正後の視差画像の例）
図２１は、補正前のフィルタ係数を用いて補正された視差画像の例を示す図であり、図２２は、図２０の処理部１１６により生成される補正後の視差画像の例を示す図である。

なお、図２１および図２２において、横軸は、水平方向の位置（Ｘ）を表す。また、図２１Ａおよび図２１Ｅにおいて縦軸は画素値を表し、図２１Ｂ，図２１Ｄ，図２１Ｆ、図２１Ｈ，図２２Ｂ、および図２２Ｄにおいて縦軸は視差値を表す。さらに、図２１Ｃ，図２１Ｇ，図２２Ａ、および図２２Ｃにおいて縦軸はフィルタ係数を表す。

図２１の例では、前フレームのカラー画像が図２１Ａに示すようになっており、図２１Ｅに示すように、現フレームのカラー画像は、図２１Ｅ中点線の矩形で表される領域１４１が右方向に移動したカラー画像である。このように領域１４１が移動している場合、領域１４１の境界には動きぼけが発生し、図２１Ａや図２１Ｅに示すように、エッジが鈍くなる場合がある。

この場合、図２１Ｂに示す前フレームの補正前の視差画像と図２１Ｆに示す現フレームの補正前の視差画像においても、エッジが鈍くなる。

ここで、図２１Ｅ中丸で示す画素を処理対象の画素とすると、処理対象の画素の現フレームの補正前のフィルタ係数は図２１Ｇに示すようになる。即ち、図２１Ｇに示すように、処理対象の画素に対するフィルタ係数が最大値となり、その画素より離れるほど参照画素に対するフィルタ係数が小さくなって、一定値となる。

また、図２１Ａと図２１Ｅに示すように、前フレームのカラー画像は、現フレームのカラー画像の領域１４１を左方向に移動したカラー画像である。従って、図２１Ｃに示すように、処理対象の画素の前フレームのフィルタ係数の波形は、図２１Ｇの領域１４１に対するフィルタ係数を左方向に移動した波形となる。

よって、このようなフィルタ係数を用いてフィルタ処理された現フレームの補正後の視差画像は、図２１Ｈに示すようになる。即ち、視差値のエッジが急峻になるように現フレームの視差画像は補正される。また、前フレームの視差画像は、現フレームの視差画像と同様に補正されるため、例えば、図２１Ｄに示すように、図２１Ｈに示した現フレームの補正後の視差画像の領域１４１の視差値が左方向に移動したものとなる。

これに対して、動きベクトルに基づいてフィルタ係数が補正される場合、処理対象の画素の現フレームの補正後のフィルタ係数は図２２Ｃに示すようになる。即ち、現フレームのカラー画像は、前フレームのカラー画像の領域１４１が右方向に移動したものであるため、動きベクトルは右方向のベクトルである。従って、図２１Ｇに示した補正前のフィルタ係数は、処理対象の画素の動きベクトルの反対の方向である左方向の参照画素のフィルタ係数が大きくなるように補正される。

また、処理対象の画素の前フレームのフィルタ係数も、現フレームの場合と同様に動きベクトルに基づいて補正され、補正後のフィルタ係数は図２２Ａに示すようになる。即ち、図２１Ｃに示した補正前の相関値に基づくフィルタ係数は、処理対象の画素に対応する参照画素、即ちフィルタ係数が最大値である参照画素の左側の参照画素のフィルタ係数が大きくなるように補正される。

以上のように補正されたフィルタ係数を用いてフィルタ処理された現フレームの補正後の視差画像は、図２１Ｄに示すようになる。即ち、現フレームの補正後の視差画像において処理対象の画素の視差値は小さくなり、図２１Ｈに示した視差画像に比べてエッジが急峻になる。また、前フレームの視差画像は、現フレームの視差画像と同様に補正されるため、図２２Ｂに示すように、図２１Ｄに示した視差画像に比べてエッジが急峻な視差画像となる。

（画像処理装置の処理の説明）
図２３は、画像処理装置の第６実施の形態の他視点画像生成処理を説明するフローチャートである。この他視点画像生成処理は、例えば、外部から１フレームのカラー画像が入力されたとき、開始される。

図２３のステップＳ１６０およびＳ１６１の処理は、図１９のステップＳ１３０およびＳ１３１の処理と同様であるので、説明は省略する。

ステップＳ１６２において、動き検出部１３１は、メモリ１１１から前フレームのカラー画像を読み出し、前フレームのカラー画像と現フレームのカラー画像に基づいてカラー画像の各画素の動きベクトルを検出して、係数設定部１３２に供給する。

ステップＳ１６３乃至Ｓ１６８の処理は、図１９のステップＳ１３２乃至Ｓ１３７の処理と同様であるので、説明は省略する。

ステップＳ１６９において、係数設定部１３２は、動き検出部１３１から供給される処理対象の画素の動きベクトルに基づいて、設定された現フレームおよび前フレームのフィルタ係数を補正し、処理部１１６に供給する。

ステップＳ１７０乃至Ｓ１７５の処理は、図１９のステップＳ１３８乃至Ｓ１４３の処理と同様であるので、説明は省略する。

以上のように、非対称非線形フィルタ１３０は、動きベクトルに基づいてフィルタ係数を補正するので、エッジがより急峻な高精度の視差画像を生成することができる。

なお、第６実施の形態では、動きベクトルに基づいてフィルタ係数を補正したが、動きベクトルに基づいて相関値を補正するようにしてもよい。また、非対称非線形フィルタ１３０は、画面全体の動きベクトルに基づいてフィルタ係数を補正するようにしてもよい。

＜第７実施の形態＞
（画像処理装置の第７実施の形態における非対称非線形フィルタの構成例）
本開示を適用した画像処理装置の第７実施の形態は、非対称非線形フィルタ１２を除いて図１の画像処理装置１０と同様である。従って、以下では、非対称非線形フィルタについてのみ説明する。

図２４は、本開示を適用した画像処理装置の第７実施の形態における非対称非線形フィルタの構成例を示すブロック図である。

図２４に示す構成のうち、図１７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２４の非対称非線形フィルタ１５０の構成は、処理部１１６の代わりに処理部１５１が設けられている点、およびメモリ１１５の代わりにメモリ１５２が設けられている点を除いて図１７の非対称非線形フィルタ１１０の構成と同様である。非対称非線形フィルタ１５０は、前フレームの補正後の視差画像を用いて現フレームの視差画像を補正する。

具体的には、非対称非線形フィルタ１５０の処理部１５１は、図１７の処理部１１６と同様に、係数設定部１３２からの現フレームのフィルタ係数を用いて、視差検出部１１から供給される現フレームの視差画像の参照画素の視差値をフィルタ処理する。

また、処理部１５１は、メモリ１５２に保持されている前フレームの補正後の視差画像を読み出す。そして、処理部１５１は、係数設定部１１４からの前フレームのフィルタ係数を用いて、前フレームの補正後の視差画像の参照画素の視差値をフィルタ処理する。

処理部１５１は、IIR（Infinite Impulse Response）フィルタなどを用いて、現フレームのフィルタ処理後の視差値と前フレームのフィルタ処理後の視差値とを平均化し、補正後の視差値とする。処理部１５１は、全ての画素の補正後の視差値からなる視差画像を補正後の視差画像として、図１の他視点画像生成部１３とメモリ１５２に供給する。

メモリ１５２は、処理部１５１から供給される補正後の視差画像を保持する。

（補正後の視差画像の例）
図２５は、図２４の処理部１５１により生成される補正後の視差画像の例を示す図である。

なお、図２５において、横軸は、水平方向の位置（Ｘ）を表す。また、図２５Ａにおいて縦軸は画素値を表し、図２５Ｂ，図２５Ｄ、および図２５Ｅにおいて縦軸は視差値を表し、図２５Ｃにおいて縦軸はフィルタ係数を表す。

図２５の例では、現フレームのカラー画像が図２５Ａに示すようになっており、現フレームの補正前の視差画像は図２５Ｂに示すようになっている

ここで、図２５Ａ中丸で示す画素を処理対象の画素とすると、処理対象の画素の現フレームのフィルタ係数は図２５Ｃに示すようになる。即ち、図２５Ｃに示すように、処理対象の画素に対するフィルタ係数が最大値となり、その画素より離れるほど参照画素に対するフィルタ係数が小さくなって、一定値となる。

なお、図２５Ａに示すように、処理対象の画素の画素値は、右側の小さい画素値より左側の大きい画素値に近いため、処理対象の画素の左側の参照画素に対するフィルタ係数の一定値の方が、処理対象の画素の右側の参照画素に対するフィルタ係数の一定値より大きい。また、図示は省略するが、前フレームのフィルタ係数も、前フレームのカラー画像に基づいて設定される。

このような現フレームと前フレームのフィルタ係数を用いて補正前の現フレームと前フレームの視差画像をフィルタ処理した結果得られる現フレームの補正後の視差画像は、例えば、図２５Ｄに示すようになる。即ち、視差値のエッジが急峻になるように現フレームの視差画像は補正される。

そして、このようにして補正された現フレームの視差画像を前フレームの視差画像として用いて現フレームの次のフレームの視差画像が補正される場合、そのフレームのカラー画像が変化しないとき、補正後の視差画像は、例えば、図２５Ｅに示すようになる。即ち、エッジが急峻になるように補正された視差画像を用いて補正が行われるため、補正後の視差画像のエッジは、図２５Ｄの場合に比べて急峻になる。

（画像処理装置の処理の説明）
図２６は、画像処理装置の第７実施の形態の他視点画像生成処理を説明するフローチャートである。この他視点画像生成処理は、例えば、外部から１フレームのカラー画像が入力されたとき、開始される。

図２６のステップＳ１９０乃至Ｓ１９２の処理は、図１９のステップＳ１３０乃至Ｓ１３２の処理と同様であり、ステップＳ１９３乃至Ｓ１９６の処理は、図１９のステップＳ１３４乃至Ｓ１３７の処理と同様であるので、説明は省略する。

ステップＳ１９７において、処理部１１６は、メモリ１５２から前フレームの補正後の視差画像を読み出し、現フレームと前フレームについて、係数設定部１１４からのフィルタ係数を用いて視差画像をフィルタ処理する。

ステップＳ１９８乃至Ｓ２００の処理は、図１９のステップＳ１３９乃至Ｓ１４１の処理と同様であるので、説明は省略する。ステップＳ２００の処理後、処理部３４は、保持している全ての画素のフィルタ処理後の視差値からなる視差画像を補正後の視差画像として、メモリ１５２に供給する。

そして、ステップＳ２０１において、メモリ１５２は、処理部１５１から供給される補正後の視差画像を保持する。この視差画像は、現フレームの次のフレームの視差画像の補正時に用いられる。

ステップＳ２０２およびＳ２０３の処理は、図１９のステップＳ１４２およびＳ１４３の処理と同様であるので、説明は省略する。

以上のように、非対称非線形フィルタ１５０は、前フレームの補正後の視差画像を用いて現フレームの視差画像を補正するので、カラー画像に時間的変化がない場合、エッジがより急峻な高精度の視差画像を生成することができる。

＜第８実施の形態＞
（画像処理装置の第８実施の形態における非対称非線形フィルタの構成例）
本開示を適用した画像処理装置の第８実施の形態は、非対称非線形フィルタ１２を除いて図１の画像処理装置１０と同様である。従って、以下では、非対称非線形フィルタについてのみ説明する。

図２７は、本開示を適用した画像処理装置の第８実施の形態における非対称非線形フィルタの構成例を示すブロック図である。

図２７に示す構成のうち、図２４の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図２７の非対称非線形フィルタ１７０の構成は、処理部１５１の代わりに現処理部１７１、前処理部１７２、および加重平均部１７４が設けられる点、および重み設定部１７３が新たに設けられる点を除いて図２４の非対称非線形フィルタ１５０の構成と同様である。

非対称非線形フィルタ１７０は、カラー画像の画面間の相関値に基づいて、前フレームのフィルタ処理後の視差画像と現フレームのフィルタ処理後の視差画像を加重平均化し、現フレームの補正後の視差画像を生成する。

具体的には、非対称非線形フィルタ１７０の現処理部１７１は、図２４の処理部１５１と同様に、係数設定部１３２により設定された現フレームのフィルタ係数を用いて、視差検出部１１から供給される現フレームの視差画像の参照画素の視差値をフィルタ処理する。現処理部１７１は、現フレームのフィルタ処理後の視差画像を加重平均部１７４に供給する。

また、前処理部１７２は、処理部１５１と同様に、メモリ１５２に保持されている前フレームの補正後の視差画像を読み出す。そして、前処理部１７２は、処理部１５１と同様に、係数設定部１１４により設定された前フレームのフィルタ係数を用いて、前フレームの補正後の視差画像の参照画素の視差値をフィルタ処理する。前処理部１７２は、前フレームのフィルタ処理後の視差画像を加重平均部１７４に供給する。

重み設定部１７３は、差分演算部１１２により演算された処理対象の画素の画素値と、前フレームの参照画素の画素値の差分の絶対値に基づいて、処理対象の画素に対する現フレームと前フレームの重み係数を設定する。

具体的には、重み設定部１７３は、例えば、差分の絶対値の平均値が大きいほど、前フレームの重み係数が大きくなり、現フレームの重み係数が小さくなるように重み係数を設定する。重み設定部１７３は、設定された重み係数を加重平均部１７４に供給する。

加重平均部１７４は、重み設定部１７３からの重み係数に基づいて、現処理部１７１からの現フレームのフィルタ処理後の視差値と、前処理部１７２からの前フレームのフィルタ処理後の視差値とを加重平均化する。そして、加重平均部１７４は、加重平均化後の視差値を処理対象の画素の補正後の視差値とする。

具体的には、加重平均部１７４は、例えばIIRフィルタなどにより構成され、以下の式（４）により補正後の視差値を演算する。

なお、式（４）において、ｄ_ｔ´は、処理対象の画素の補正後の視差値である。また、ｗ_１は、処理対象の画素に対する現フレームの重み係数であり、ｗ_２は、処理対象の画素に対する前フレームの重み係数である。さらに、ｆ（ｄ_ｔ）は、現フレームのフィルタ処理後の視差値であり、ｆ（ｄ´_ｔ−１）は、前フレームのフィルタ処理後の視差値である。

加重平均部１７４は、全ての画素の補正後の視差値からなる視差画像を、補正後の視差画像として図１の他視点画像生成部１３とメモリ１５２に供給する。

（補正後の視差画像の例）
図２８は、図２７の加重平均部１７４により生成される補正後の視差画像の例を示す図である。

なお、図２８において、横軸は、水平方向の位置（Ｘ）を表す。また、図２８Ａおよび図２８Ｄにおいて縦軸は画素値を表し、図２８Ｂ，図２８Ｃ、および図２８Ｅ乃至図２８Ｇにおいて縦軸は視差値を表す。

図２８の例では、前フレームのカラー画像が図２８Ａに示すようになっており、図２８Ｄに示すように、現フレームのカラー画像は図２８Ａの前フレームのカラー画像と同一である。また、前フレームのフィルタ処理後の視差画像は図２８Ｂに示すようになっており、前フレームより１つ前のフレームと前フレームのフィルタ処理後の視差画像を用いて補正された前フレームの視差画像は図２８Ｃに示すようになっている。

さらに、現フレームの補正前の視差画像は図２８Ｅに示すようになっている。即ち、フィルタ処理が行われていないため、図２８Ｅの現フレームの補正前の視差画像のエッジは、図２８Ｃの前フレームのフィルタ処理後の視差画像に比べて緩やかになっている。

図２８の例の場合、前フレームと現フレームのカラー画像が同一であるため、図２８Ｆに示すように、現フレームのフィルタ処理後の視差画像は、例えば、図２８Ｂに示した前フレームのフィルタ処理後の視差画像と同一になる。

また、前フレームと現フレームのカラー画像が同一であり、カラー画像の画素値の画面間の相関値が高いため、前フレームの重み係数が大きく、現フレームの重み係数が小さい。従って、現フレームの補正後の視差画像は、図２８Ｆの現フレームのフィルタ処理後の視差画像より図２８Ｃの前フレームの補正後の視差画像に近づくように補正される。その結果、現フレームの補正後の視差画像のエッジは、図２８Ｇに示すように、図２８Ｆの現フレームのフィルタ処理後の視差画像に比べて急峻になる。

なお、前フレームと現フレームのカラー画像が全く異なるものであり、カラー画像の画素値の画面間の相関値が低い場合、前フレームの重み係数が小さく、現フレームの重み係数が小さい。従って、現フレームの補正後の視差画像は、より現フレームのフィルタ処理後の視差画像に近くなる。

（画像処理装置の処理の説明）
図２９は、画像処理装置１０の他視点画像生成処理を説明するフローチャートである。この他視点画像生成処理は、例えば、外部から１フレームのカラー画像が入力されたとき、開始される。

図２９のステップＳ２２０乃至Ｓ２２６の処理は、図２６のステップＳ１９０乃至Ｓ１９６の処理と同様であるので、説明は省略する。

ステップＳ２２７において、現処理部１７１と前処理部１７２は、現フレームと前フレームについて、係数設定部１１４からのフィルタ係数を用いて視差画像の参照画素の視差値をフィルタ処理する。このとき、前処理部１７２は、メモリ１５２から前フレームの補正後の視差画像を読み出し、その視差画像をフィルタ処理する。

ステップＳ２２８において、重み設定部１７３は、差分演算部１１２により演算された処理対象の画素の画素値と前フレームの参照画素の画素値の差分の絶対値に基づいて、処理対象の画素に対する現フレームと前フレームの重み係数を設定する。重み設定部１７３は、設定された重み係数を加重平均部１７４に供給する。

ステップＳ２２９において、加重平均部１７４は、重み設定部１７３からの重み係数に基づいて、上述した式（４）により、現処理部１７１からの現フレームのフィルタ処理後の視差値と、前処理部１７２からの前フレームのフィルタ処理後の視差値とを加重平均化する。

ステップＳ２３０において、加重平均部１７４は、加重平均化後の視差値を処理対象の画素の補正後の視差値とし、保持する。

ステップＳ２３１乃至Ｓ２３４の処理は、図２６のステップＳ２００乃至Ｓ２０３の処理と同様であるので、説明は省略する。

以上のように、非対称非線形フィルタ１７０は、カラー画像の画面間の相関値に基づいて、前フレームと現フレームのフィルタ処理後の視差画像を加重平均化する。従って、カラー画像に時間的変化がある場合であっても、高精度の視差画像を生成することができる。

なお、第８実施の形態では、処理対象の画素の画素値の画面間の相関値に基づいて重み係数が設定されたが、処理対象の画素の視差値の画面間の相関値やカラー画像の動きベクトルなどに基づいて重み係数が設定されるようにしてもよい。

＜第７および第８実施の形態による効果＞
図３０は、第７および第８実施の形態による効果を説明する図である。

なお、図３０では、非対称非線形フィルタ１５０（１７０）が２次元のFIRフィルタなどにより構成されるものとし、参照画素は、処理対象の水平方向の画素だけでなく垂直方向の画素も含むものとする。

第７および第８実施の形態のように、前フレームの補正後の視差画像を用いて現フレームの視差画像を補正することにより、フィルタ処理に用いられる参照画素の空間的な範囲を広げることができる。

具体的には、例えば、図３０に示すように、ｔフレームの補正後の視差画像ｄ_ｔ´内の画素１９１の視差値は、ｔ−１フレームの補正後の視差画像ｄ_ｔ−１´内の画素１９１の前対象画素である画素１９２を中心とする領域１９３内の画素の視差値を用いて補正される。

また、視差画像ｄ_ｔ−１´の領域１９３内の画素１９４の視差値は、ｔ−２フレームの補正後の視差画像ｄ_ｔ−２内の画素１９４の前対象画素である画素１９５を中心とする領域１９６内の画素の視差値を用いて補正される。以降も同様に、あるフレームの視差値は、そのフレームより１つ前の補正後の視差値を用いて補正される。

従って、画素１９１の補正に用いられる参照画素の空間的な範囲は、同一時刻の参照画素の視差値のみを用いて補正する場合に比べて大きくなる。よって、視差画像の補正精度が向上する。

なお、第８実施の形態は、第７実施の形態においてフィルタ処理後の視差値の加重平均化が行われたものであるが、第５および第６実施の形態においてもフィルタ処理後の視差値の加重平均化が行われるようにしてもよい。

＜第９実施の形態＞
（画像処理装置の第９実施の形態の構成例）
図３１は、本開示を適用した画像処理装置の第９実施の形態の構成例を示すブロック図である。

図３１に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図３１の画像処理装置２１０の構成は、視差検出部１１の代わりに視差推定部２１１が設けられ、非対称非線形フィルタ１２−１と１２−２の代わりに非対称非線形フィルタ１２が設けられ、他視点画像生成部１３−１と１３−２の代わりに他視点画像生成部１３が設けられる点が、図１の画像処理装置１０と異なっている。

画像処理装置２１０は、１視点のカラー画像から視差画像を推定して補正し、補正後の視差画像を用いて他の視点のカラー画像を生成する。

具体的には、画像処理装置２１０の視差推定部２１１は、外部から入力される１視点のカラー画像を取得し、そのカラー画像から視差画像を推定する。視差推定部２１１は、推定された視差画像を非対称非線形フィルタ１２に供給する。

なお、第９実施の形態は、第１実施の形態において入力されるカラー画像の視点数を１にしたものであるが、第２乃至第８実施の形態においても同様に、入力されるカラー画像の視点数を１にするようにしてもよい。

また、第１乃至第９実施の形態では、視差画像の補正に用いられる相関値は、画素値の相関値であったが、視差値の相関値であってもよい。

＜第１０実施の形態＞
（画像処理装置の第１０実施の形態の構成例）
図３２は、本開示を適用した画像処理装置の第１０実施の形態の構成例を示すブロック図である。

図３２に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

図３２の画像処理装置２３０の構成は、非対称非線形フィルタ１２−１および１２−２の代わりに非線形フィルタ２３１−１および２３１−２が設けられ、新たに減算部２３２−１および２３２−２並びに局所的視差調整部２３３−１および２３３−２が設けられる点が、図１の画像処理装置１０の構成と異なる。

画像処理装置２３０は、補正後の視差画像を用いて補正前の視差画像の局所的な視差値を強調し、強調後の視差画像を用いて所定の視点のカラー画像を生成する。

具体的には、画像処理装置２３０の非線形フィルタ２３１−１は、例えば１次元の水平方向のFIRフィルタなどにより構成される。非線形フィルタ２３１−１は、図１の非対称非線形フィルタ１２と同様に、外部から入力される左目用のカラー画像から各画素の画素値の相関値を求め、相関値に基づいて閾値を設定する。

非線形フィルタ２３１−１は、非対称非線形フィルタ１２と同様に、閾値と相関値に基づいてフィルタ係数を設定する。そして、非線形フィルタ２３１−１は、以下の式（５）により、フィルタ係数が対称になるように補正する。

なお、式（５）において、Ｋｉ´（ｉ=1,2,3,4,5）は、画素Ｐｉ（ｉ=1,2,3,4,5）に対する補正後のフィルタ係数である。

非線形フィルタ２３１−１は、補正後のフィルタ係数を用いて視差検出部１１から供給される左目用の視差画像をフィルタ処理することにより、左目用の視差画像を補正する。非線形フィルタ２３１−１は、補正後の左目用の視差画像を減算部２３２−１と局所的視差調整部２３３−１に供給する。

非線形フィルタ２３１−２は、非線形フィルタ２３１−１と同様に構成される。非線形フィルタ２３１−２は、右目用のカラー画像から各画素の画素値の相関値を求め、その相関値に基づいてフィルタ係数を設定して補正する。非線形フィルタ２３１−２は、補正後のフィルタ係数を用いて右目用の視差画像をフィルタ処理することにより、右目用の視差画像を補正する。非線形フィルタ２３１−２は、補正後の右目用の視差画像を減算部２３２−２と局所的視差調整部２３３−２に供給する。

減算部２３２−１は、視差検出部１１により検出された補正前の左目用の視差画像から、非線形フィルタ２３１−１から供給される補正後の左目用の視差画像を減算し、その結果得られる左目用の視差画像の差分を局所的視差調整部２３３−１に供給する。

減算部２３２−２は、減算部２３２−１と同様に、視差検出部１１により検出された補正前の右目用の視差画像から、非線形フィルタ２３１−２から供給される補正後の右目用の視差画像を減算し、右目用の視差画像の差分を局所的視差調整部２３３−２に供給する。

局所的視差調整部２３３−１は、減算部２３２−１から供給される左目用の視差画像の差分を増幅する。局所的視差調整部２３３−１は、増幅後の差分を非線形フィルタ２３１−１から供給される補正後の左目用の視差画像に加算し、その結果得られる局所的な視差が強調された左目用の視差画像を他視点画像生成部１３−１に供給する。

局所的視差調整部２３３−２は、局所的視差調整部２３３−１と同様に、減算部２３２−１からの差分を増幅し、増幅後の差分を非線形フィルタ２３１−２から供給される視差画像に加算する。そして、局所的視差調整部２３３−２は、その結果得られる局所的な視差が強調された右目用の視差画像を他視点画像生成部１３−２に供給する。

なお、以下では、非線形フィルタ２３１−１と非線形フィルタ２３１−２を特に区別する必要がない場合それらをまとめて非線形フィルタ２３１という。同様に、減算部２３２−１と減算部２３２−２をまとめて減算部２３２といい、局所的視差調整部２３３−１と局所的視差調整部２３３−２をまとめて局所的視差調整部２３３という。

（局所的な視差の強調の説明）
図３３は、図３２の画像処理装置２３０による局所的な視差の強調を説明する図である。

図３３に示すように、視差検出部１１により生成された視差画像ＤＬ１は、非線形フィルタ２３１により補正され、局所的に平滑化された補正後の視差画像ＤＬ２となる。減算部２３２は、視差画像ＤＬ１から視差画像ＤＬ２を減算し、差分ＤＬＴを得る。この差分ＤＬＴは、局所的な視差値の変化を表している。

また、局所的視差調整部２３３は、差分ＤＬＴを所定のゲイン（Gain）で増幅し、増幅後の差分DLT×GAINを視差画像ＤＬ２に加算して、視差画像ＤＬ３を得る。これにより、図３３に示すように、視差画像ＤＬ３は、視差画像ＤＬ１に比べて局所的な視差値が強調された高精度の視差画像となる。

画像処理装置２３０では、このようにして局所的な視差値が強調された左目用の視差画像と右目用の視差画像を用いて所定の視点の左目用のカラー画像と右目用のカラー画像が生成されるので、書き割り感が低減した３Ｄ画像を得ることができる。

また、局所的視差調整部２３３により補正される対象は、局所的な視差値の変化量であるため、補正の前後で画面全体の視差値の最大値および最小値は変化せず、補正により立体視としての視認性は損なわれない。

なお、第１０実施の形態では、２視点のカラー画像から視差画像が生成されたが、第９実施の形態のように１視点のカラー画像から視差画像が生成されるようにしてもよい。また、第１０実施の形態では、カラー画像の相関値に基づいてフィルタ係数が設定されたが、視差画像の相関値に基づいてフィルタ係数が設定されるようにしてもよい。

さらに、第１０実施の形態において、非線形フィルタ２３１の代わりに第１乃至第８実施の形態の非対称非線形フィルタを用いることにより、視差画像とカラー画像の位相差を補正するようにしてもよい。また、非線形フィルタ２３１により補正された視差画像の位相差を、レベル制限や周波数帯域制限等により補正し、減算部２３２に供給するようにしてもよい。

また、上述した説明では、補正後の視差画像が、他視点のカラー画像を生成する処理に用いられたが、その他の画像処理に用いられるようにしてもよい。

さらに、上述した説明では、補正前と補正後の視差画像の解像度は同一であったが、補正後の視差画像の解像度を補正前の視差画像の解像度に比べて高くするようにしてもよい。この場合、例えば、視差画像の各画素の視差値は、その画素に最も近い補正前の視差画像の画素を処理対象の画素として補正されるが、フィルタ係数は、補正後の視差画像の画素と処理対象の画素の距離にも基づいて設定される。

また、相関値の決定方法は、上述した方法に限定されない。例えば、カラー画像から所定の領域(例えば、顔領域、空領域)などを検出し、同一の領域内の画素の相関値が高くなるように相関値が決定されてもよい。また、カラー画像の構成に基づいて相関値が決定されるようにしてもよい。

さらに、上述した説明では、周辺画素のうちの処理対象の画素の上下の画素の数は１画素ずつであるが、左右の画素の数と同一の２画素ずつにしてもよい。また、閾値の設定には、処理対象の画素の上下の画素の画素値だけでなく、処理対象の画素の斜め方向の画素の画素値も用いられるようにしてもよい。また、フィルタのタップ数が５に限定されない。

＜第１１実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図３４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）６０１，ROM（Read Only Memory）６０２，RAM（Random Access Memory）６０３は、バス６０４により相互に接続されている。

バス６０４には、さらに、入出力インタフェース６０５が接続されている。入出力インタフェース６０５には、入力部６０６、出力部６０７、記憶部６０８、通信部６０９、及びドライブ６１０が接続されている。

入力部６０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部６０７は、ディスプレイ、スピーカなどよりなる。記憶部６０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部６０９は、ネットワークインタフェースなどよりなる。ドライブ６１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア６１１を駆動する。

以上のように構成されるコンピュータでは、CPU６０１が、例えば、記憶部６０８に記憶されているプログラムを、入出力インタフェース６０５及びバス６０４を介して、RAM６０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU６０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア６１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア６１１をドライブ６１０に装着することにより、入出力インタフェース６０５を介して、記憶部６０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部６０９で受信し、記憶部６０８にインストールすることができる。その他、プログラムは、ROM６０２や記憶部６０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、第３乃至第１０実施の形態では、カラー画像の画面内の相関値として画素値の差分の絶対値が用いられたが、第２実施の形態のように、テクスチャ成分の類似度が用いられるようにしてもよい。また、第３実施の形態および第４実施の形態を組み合わせ、第３実施の形態において信頼度が決定され、フィルタ係数が補正されるようにしてもよい。

また、第５乃至第１０実施の形態において、第３実施の形態と同様に信頼度に基づいてフィルタ係数が補正されたり、第４実施の形態と同様に除外画素に基づいて置換されたりするようにしてもよい。また、第６実施の形態において、前フレームの視差画像として前フレームの補正後の視差画像が用いられるようにしてもよい。

さらに、参照画素は、上述した処理対象の画素およびその画素の水平方向または垂直方向に並ぶ画素以外の画素であってもよい。例えば、参照画素は、処理対象の画素を中心とした円状の範囲に含まれる画素や、処理対象の画素およびその画素を中心とした対角線上の画素であってもよい。また、参照画素は、連続して並ばず、例えば、所定数の画素おきの画素であってもよい。

また、第３実施の形態において、信頼度が低い参照画素に対するフィルタ係数の置換後の値は０以外の比較的小さい値であってもよい。

また、本開示は、以下のような構成もとることができる。

（１）
カラー画像の相関値に基づいてフィルタ係数を設定する係数設定部と、
前記係数設定部により設定された前記フィルタ係数を用いて前記カラー画像に対応する視差画像をフィルタ処理し、前記視差画像を補正する処理部と
を備える画像処理装置。
（２）
前記係数設定部は、前記カラー画像の画面内の相関値に基づいてフィルタ係数を設定する
前記（１）に記載の画像処理装置。
（３）
前記係数設定部は、前記カラー画像の画素間の画素値の相関値に基づいてフィルタ係数を設定する
前記（２）に記載の画像処理装置。
（４）
前記係数設定部は、前記カラー画像の画素間のテクスチャの相関値に基づいてフィルタ係数を設定する
前記（２）に記載の画像処理装置。
（５）
前記カラー画像と前記視差画像に基づいて前記カラー画像の各画素の信頼度を決定する信頼度決定部
をさらに備え、
前記係数設定部は、前記相関値と前記信頼度に基づいて前記フィルタ係数を設定する
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記カラー画像に基づいて前記フィルタ処理を行わない画素である除外画素を決定する除外画素決定部
をさらに備え、
前記処理部は、補正後の前記視差画像のうちの除外画素の視差値を所定値に置換する
前記（１）乃至（５）のいずれかに記載の画像処理装置。
（７）
前記係数設定部は、前記カラー画像の画面間の相関値に基づいてフィルタ係数を設定する
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記係数設定部は、前記カラー画像の画面内の相関値に基づいて、前記カラー画像に対応する視差画像についてのフィルタ係数を設定するとともに、前記カラー画像と、そのカラー画像より時間的に前のカラー画像である前カラー画像の相関値である前記カラー画像の画面間の相関値に基づいて、前記前カラー画像に対応する視差画像である前視差画像についてのフィルタ係数を設定し、
前記処理部は、前記視差画像についてのフィルタ係数を用いて前記視差画像をフィルタ処理するとともに、前記前視差画像についてのフィルタ係数を用いて前記前視差画像をフィルタ処理し、フィルタ処理後の前記視差画像と前記前視差画像を用いて補正後の前記視差画像を生成する
前記（７）に記載の画像処理装置。
（９）
前記カラー画像と前記前カラー画像に基づいて前記カラー画像の動きベクトルを検出する動き検出部
をさらに備え、
前記係数設定部は、前記動きベクトルに基づいて前記視差画像のフィルタ係数と前記前視差画像のフィルタ係数を補正し、
前記処理部は、前記係数設定部による補正後の前記フィルタ係数を用いてフィルタ処理する
前記（８）に記載の画像処理装置。
（１０）
前記処理部は、前記フィルタ処理により補正された前記前視差画像をフィルタ処理する
前記（８）または（９）に記載の画像処理装置。
（１１）
前記画面間の相関値に基づいて前記視差画像と前記前視差画像に対する重み係数を設定する重み設定部
をさらに備え、
前記処理部は、前記重み設定部により設定された前記重み係数を用いてフィルタ処理後の前記視差画像と前記前視差画像を加重平均化することにより、補正後の前記視差画像を生成する
前記（８）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
前記処理部により補正された前記視差画像と前記カラー画像を用いて、前記カラー画像に対応する視点以外の視点のカラー画像を生成する他視点画像生成部
をさらに備える
前記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）
前記処理部により補正された前記視差画像と補正前の前記視差画像の差分を増幅し、増幅後の差分を前記処理部により補正された前記視差画像に加算する視差調整部
をさらに備える
前記（１）乃至（１２）のいずれかに記載の画像処理装置。
（１４）
画像処理装置が、
カラー画像の相関値に基づいてフィルタ係数を設定する係数設定ステップと、
前記係数設定ステップの処理により設定された前記フィルタ係数を用いて前記カラー画像に対応する視差画像をフィルタ処理し、前記視差画像を補正する処理ステップと
を含む画像処理方法。

１０ 画像処理装置， １３−１，１３−２ 他視点画像生成部， ３３ 係数設定部， ３４ 処理部， ５３ 係数設定部， ７１ 信頼度決定部， ７２ 係数設定部， ９１ 除外画素決定部， ９２ 置換部，１１４ 係数設定部， １１６ 処理部， １３１ 動き検出部， １３２ 係数設定部， １５１ 処理部， １７１ 現処理部， １７２ 前処理部， １７３ 重み設定部， １７４ 加重平均部， ２３３−１，２３３−２ 局所的視差調整部

Claims (14)

1. カラー画像の相関値に基づいてフィルタ係数を設定する係数設定部と、
   前記係数設定部により設定された前記フィルタ係数を用いて前記カラー画像に対応する視差画像をフィルタ処理し、前記視差画像を補正する処理部と
   を備える画像処理装置。
2. 前記係数設定部は、前記カラー画像の画面内の相関値に基づいてフィルタ係数を設定する
   請求項１に記載の画像処理装置。
3. 前記係数設定部は、前記カラー画像の画素間の画素値の相関値に基づいてフィルタ係数を設定する
   請求項２に記載の画像処理装置。
4. 前記係数設定部は、前記カラー画像の画素間のテクスチャの相関値に基づいてフィルタ係数を設定する
   請求項２に記載の画像処理装置。
5. 前記カラー画像と前記視差画像に基づいて前記カラー画像の各画素の信頼度を決定する信頼度決定部
   をさらに備え、
   前記係数設定部は、前記相関値と前記信頼度に基づいて前記フィルタ係数を設定する
   請求項１に記載の画像処理装置。
6. 前記カラー画像に基づいて前記フィルタ処理を行わない画素である除外画素を決定する除外画素決定部
   をさらに備え、
   前記処理部は、補正後の前記視差画像のうちの除外画素の視差値を所定値に置換する
   請求項１に記載の画像処理装置。
7. 前記係数設定部は、前記カラー画像の画面間の相関値に基づいてフィルタ係数を設定する
   請求項１に記載の画像処理装置。
8. 前記係数設定部は、前記カラー画像の画面内の相関値に基づいて、前記カラー画像に対応する視差画像についてのフィルタ係数を設定するとともに、前記カラー画像と、そのカラー画像より時間的に前のカラー画像である前カラー画像の相関値である前記カラー画像の画面間の相関値に基づいて、前記前カラー画像に対応する視差画像である前視差画像についてのフィルタ係数を設定し、
   前記処理部は、前記視差画像についてのフィルタ係数を用いて前記視差画像をフィルタ処理するとともに、前記前視差画像についてのフィルタ係数を用いて前記前視差画像をフィルタ処理し、フィルタ処理後の前記視差画像と前記前視差画像を用いて補正後の前記視差画像を生成する
   請求項７に記載の画像処理装置。
9. 前記カラー画像と前記前カラー画像に基づいて前記カラー画像の動きベクトルを検出する動き検出部
   をさらに備え、
   前記係数設定部は、前記動きベクトルに基づいて前記視差画像のフィルタ係数と前記前視差画像のフィルタ係数を補正し、
   前記処理部は、前記係数設定部による補正後の前記フィルタ係数を用いてフィルタ処理する
   請求項８に記載の画像処理装置。
10. 前記処理部は、前記フィルタ処理により補正された前記前視差画像をフィルタ処理する
    請求項８に記載の画像処理装置。
11. 前記画面間の相関値に基づいて前記視差画像と前記前視差画像に対する重み係数を設定する重み設定部
    をさらに備え、
    前記処理部は、前記重み設定部により設定された前記重み係数を用いてフィルタ処理後の前記視差画像と前記前視差画像を加重平均化することにより、補正後の前記視差画像を生成する
    請求項８に記載の画像処理装置。
12. 前記処理部により補正された前記視差画像と前記カラー画像を用いて、前記カラー画像に対応する視点以外の視点のカラー画像を生成する他視点画像生成部
    をさらに備える
    請求項１に記載の画像処理装置。
13. 前記処理部により補正された前記視差画像と補正前の前記視差画像の差分を増幅し、増幅後の差分を前記処理部により補正された前記視差画像に加算する視差調整部
    をさらに備える
    請求項１に記載の画像処理装置。
14. 画像処理装置が、
    カラー画像の相関値に基づいてフィルタ係数を設定する係数設定ステップと、
    前記係数設定ステップの処理により設定された前記フィルタ係数を用いて前記カラー画像に対応する視差画像をフィルタ処理し、前記視差画像を補正する処理ステップと
    を含む画像処理方法。

Images