JP2018018425A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】一対の信号に対してフィルタ処理を施す際に、互いの関連性を崩すことなくフィルタ処理を施すことができる画像処理装置及び画像処理方法を提供する。
【解決手段】画像信号と、画像信号と対応する評価値信号とを一対の信号として取得する取得手段Ｓ４００−Ｓ４０２と、一対の信号に対してフィルタ処理を施すフィルタ処理手段Ｓ４０３とを有する。フィルタ処理手段は、画像信号に対して第１のフィルタ処理を施し、評価値信号に対して第２のフィルタ処理を施す。第１のフィルタ処理では、第１の参照画素を参照して第１の着目画素の画素値を決定し、第２のフィルタ処理では、第１の参照画素の座標位置と対応する座標位置の第２の参照画素の画素値に基づき、第１の着目画素と対応する第２の着目画素の画素値を決定する。
【選択図】図４

Description

本発明は、一対の信号に対してフィルタ処理を施す画像処理装置及び画像処理方法に関するものである。

従来より、コンピュータビジョン等の分野では、撮影した画像からロバスト性の高い距離情報を得ることが求められている。
特許文献１には、ロバスト性の高い視差分布を得る技術が開示されている。特許文献１に開示された技術では、右画像及び左画像に基づいて視差マップ及びそれに対応した信頼度マップを取得する。さらに、視差マップ及び信頼度マップに対して空間的フィルタリングを適用することで視差推定の外れ値を除去してから視差分布を推定する。

特表２０１５−５３６０５７号公報 特開２００８−１５７５４号公報 米国特許第７８８９９４９号明細書 特開平０１−１６７６１０号公報 特開２０１６−１７７９９号公報 特開２００６−３９６６６号公報

しかしながら、上述の特許文献１に開示された技術には、メディアンフィルタのような非線形な空間的フィルタを施すと、視差マップと信頼度マップとの間の関連性が崩れてしまうという課題がある。

本発明は、上記問題を鑑みてなされたものであり、一対の信号に対してフィルタ処理を施す際に、互いの関連性を崩すことなくフィルタ処理を施すことができる画像処理装置及び画像処理方法を提供することを目的とする。

本発明の一観点によれば、画像信号と、前記画像信号と対応する評価値信号とを一対の信号として取得する取得手段と、前記一対の信号に対してフィルタ処理を施すフィルタ処理手段とを有し、前記フィルタ処理手段は、前記画像信号に対して第１のフィルタ処理を施し、前記評価値信号に対して第２のフィルタ処理を施し、前記第１のフィルタ処理では、第１の参照画素を参照して第１の着目画素の画素値を決定し、前記第２のフィルタ処理では、前記第１の参照画素の座標位置と対応する座標位置の第２の参照画素の画素値に基づき、前記第１の着目画素と対応する第２の着目画素の画素値を決定することを特徴とする画像処理装置が提供される。

本発明の他の観点によれば、画像信号と、前記画像信号と対応する評価値信号とを一対の信号として取得するステップと、前記一対の信号に対してフィルタ処理を施すステップとを有し、前記フィルタ処理を施すステップは、前記画像信号に対して第１のフィルタ処理を施し、前記評価値信号に対して第２のフィルタ処理を施し、前記第１のフィルタ処理では、第１の参照画素を参照して第１の着目画素の画素値を決定し、前記第２のフィルタ処理では、前記第１の参照画素の座標位置と対応する座標位置の第２の参照画素の画素値に基づき、前記第１の着目画素と対応する第２の着目画素の画素値を決定することを特徴とする画像処理方法が提供される。

本発明によれば、一対の信号に対してフィルタ処理を施す際に、互いの関連性を崩すことなくフィルタ処理を施すことができる。

本発明の第１実施形態による画像処理装置の機能構成を示すブロック図である。 本発明の第１実施形態による画像処理装置の撮像部を示す図である。 本発明の第１実施形態による画像処理装置の画像処理部の構成示すブロック図である。 本発明の第１実施形態による画像処理装置の動作を示すフローチャートである。 デフォーカス量を求めるためのずらし量の計算を説明する図である。 デフォーカスマップを説明する図である。 信頼度マップを説明する図である。 本発明の第１実施形態による画像処理装置において画素の信頼度を考慮したフィルタ処理を説明する図である。 本発明の第２実施形態による画像処理装置の機能構成を示すブロック図である。 本発明の第２実施形態による画像処理装置の画像処理部の構成を示すブロック図である。 本発明の第２実施形態による画像処理装置の動作を示すフローチャートである。 本発明の第３実施形態による画像処理装置の機能構成を示すブロック図である。 本発明の第３実施形態による画像処理装置の画像処理部の構成を示すブロック図である。 本発明の第３実施形態による画像処理装置の動作を示すフローチャートである。 領域抽出マップを説明する図である。 非線形な空間的フィルタを施すことにより視差マップと信頼度マップとの間の関連性が崩れる場合を説明する図である。

上述のように、特許文献１に開示された技術には、非線形な空間的フィルタを施すと、視差マップと信頼度マップとの間の関連性が崩れてしまうという課題がある。非線形な空間フィルタを施すことにより両マップ間の関連性が崩れる場合について、以下、図１６を用いて具体的に説明する。

図１６は、３×３画素の領域においてメディアンフィルタを視差マップ及び信頼度マップに施す場合を説明するための図である。図１６（ａ）は、３×３画素の座標位置を説明するための図である。画素の座標位置は、（ｍ、ｎ）で表される。（ｍ、ｎ）＝（０、０）の画素がフィルタの着目画素であり、着目画素を含む９つの画素がフィルタの参照画素である。図１６（ｂ）は、視差マップの情報である視差の値を８ビットの画素値で表現した図である。図１６（ｃ）は、視差マップに対応した信頼度マップの情報である信頼度の値を同じく８ビットの画素値で表現した図である。
図１６（ｂ）の領域に対して、メディアンフィルタを施すと、着目画素の視差の値は９０から１０１に変化する。図１６（ａ）の表現で記述すると、（ｍ、ｎ）＝（１、１）の画素の視差の値が、（ｍ、ｎ）＝（０、０）の着目画素の値として出力される。

一方、特許文献１に記述されているように、信頼度マップに対しても、メディアンフィルタを施す。図１６（ｃ）の領域に対して、メディアンフィルタを施すと、着目画素の信頼度の値は２３０から２３６に変化する。図１６（ａ）の表現で記述すると、（ｍ、ｎ）＝（−１、−１）の画素の信頼度の値が、（ｍ、ｎ）＝（０、０）の着目画素の値として出力される。

ここで、例えば信頼度の閾値を２５０とし、閾値以上の信頼度をもつ視差の値が高信頼であるとする。上記の場合、視差マップでは、メディアンフィルタを施すと、対応する信頼度の値が２５５で高信頼の（ｍ、ｎ）＝（１、１）の画素の視差の値が着目画素の値として出力される。しかしながら、信頼度マップにもメディアンフィルタを施した結果、（ｍ、ｎ）＝（１、１）の画素の信頼度の値ではなく、（ｍ、ｎ）＝（−１、−１）の画素の信頼度の値が着目画素の信頼度として出力される。この結果、着目画素の視差の値は、低信頼のものとなってしまう。
このように、特許文献１に開示された技術では、視差マップと信頼度マップとの間の関連性が崩れてしまう。

これに対して、本発明の実施形態による画像処理装置及び画像処理方法は、画像信号とこれに対応する評価値信号とからなる一対の信号に対してフィルタを施す際に、互いの関連性を崩すことなくフィルタを施すことが可能である。以下、本発明の実施形態について、図面を参照して詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、その要旨を逸脱しない範囲において適宜変更可能である。また、以下で説明する図面において、同じ機能を有するものは同一の符号を付し、その説明を省略又は簡潔にすることもある。

［第１実施形態］
本発明の第１実施形態による画像処理装置及び画像処理方法について図１乃至図８を用いて説明する。なお、以下に説明する本実施形態では、画像処理装置が撮像部を有する場合、すなわち、画像処理装置がデジタルカメラ等の撮像装置である場合を例に説明する。

本実施形態では、被写体の距離分布に関連する情報としてデフォーカスマップとその信頼性を表す信頼度マップとを取得する。そして、デフォーカスマップ及び信頼度マップに対して非線形な空間フィルタであるメディアンフィルタを含むフィルタ処理を施す際に、デフォーカスマップ及び信頼度マップにおいて対応する座標位置に存在する画素を参照してフィルタ処理を行う。それにより、互いの関連性を崩すことなく、ロバスト性の高いデフォーカスマップ及び信頼度マップを得る。

図１は、本実施形態による画像処理装置の機能構成を示すブロック図である。図１に示すように、本実施形態による画像処理装置１００は、システム制御部１０１と、ＲＯＭ（Read Only Memory）１０２と、ＲＡＭ（Random Access Memory）１０３とを有している。また、本実施形態による画像処理装置１００は、光学系１０４と、撮像部１０５と、Ａ／Ｄ変換部１０６と、画像処理部１０７と、記録媒体１０８と、バス１０９とを有している。システム制御部１０１、ＲＯＭ１０２、ＲＡＭ１０３、撮像部１０５、Ａ／Ｄ変換部１０６、画像処理部１０７及び記録媒体１０８は、それぞれバス１０９に接続されている。

システム制御部１０１は、画像処理装置１００全体を制御するものであり、例えばＣＰＵ（Central Processing Unit）である。システム制御部１０１は、画像処理装置１００が備える各ブロックの動作プログラムをＲＯＭ１０２より読み出し、ＲＡＭ１０３に展開して実行することにより画像処理装置１００が備える各ブロックの動作を制御する。

ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、例えばフラッシュＲＯＭ等が用いられている。ＲＯＭ１０２は、画像処理装置１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。また、ＲＯＭ１０２は、焦点検出等で必要なレンズ情報として、射出瞳距離も記憶する。

ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、画像処理装置１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。システム制御部１０１及び画像処理部１０７は、ＲＡＭ１０３をワークメモリとして使用する。

光学系１０４は、被写体像を撮像部１０５に結像する。光学系１０４には、例えば、固定レンズ、焦点距離を変更する変倍レンズ、焦点調節を行うフォーカスレンズ等が含まれている。光学系１０４には絞りも含まれており、絞りにより光学系の開口径を調節することで撮影時の光量調節を行う。

撮像部１０５は、例えばＣＣＤ（Charge-Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子である。撮像部１０５は、光学系１０４により撮像素子に結像された光学像を光電変換してアナログ画像信号を得る。撮像部１０５は、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。

Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号にＡ／Ｄ変換処理を適用してデジタル画像データを得る。Ａ／Ｄ変換部１０６は、得られたデジタル画像データをＲＡＭ１０３に出力して記憶させる。

画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して画像処理を行う。具体的には、画像処理部１０７は、例えば、ホワイトバランス調整、色補間、縮小／拡大等の処理や、さらに、デフォーカスマップ、信頼度マップの生成や、フィルタ処理等の様々な画像処理を行う。画像処理部１０７は、画像処理後の画像を記録媒体１０８に記録する。

記録媒体１０８は、例えば、画像処理装置１００に対して着脱可能なメモリカード等である。記録媒体１０８には、ＲＡＭ１０３に記憶されている画像処理部１０７で処理された画像やＡ／Ｄ変換部１０６でＡ／Ｄ変換された画像等が、記録画像として記録される。
バス１０９は、画像処理装置１００の各ブロックを接続する。各ブロックは、バス１０９を介して信号のやり取りを行う。

図２（ａ）は、図１の撮像部１０５の画素の配列構成を示している。図２（ａ）に示すように、撮像部１０５では、複数の画素２００が二次元的に規則的に配列されている。具体的には、例えば、複数の画素２００は、例えば二次元格子状に配列されている。なお、画素２００の配列構成は、格子状の配列構成に限定されるものではなく、他の配列構成を採用することもできる。

図２（ｂ）は、図２（ａ）に示す画素２００を拡大して示すものである。図２（ｂ）に示すように、各画素２００は、マイクロレンズ２０１と、一対の光電変換部２０２Ａ、２０３Ｂ（以下、それぞれ瞳分割画素２０２Ａ、２０３Ｂと呼ぶ。）とを有している。瞳分割画素２０２Ａ、２０３Ｂは、互いに同一の平面形状を有しており、それぞれｙ軸方向を長手方向とする長方形状の平面形状を有している。各画素２００において、瞳分割画素２０２Ａ、２０３Ｂは、マイクロレンズ２０１のｙ軸方向に沿った垂直二等分線を対称軸として、線対称に配置されている。なお、瞳分割画素２０２Ａ、２０３Ｂの平面形状は、これに限定されるものではなく、他の平面形状を採ることができる。また、瞳分割画素２０２Ａ、２０３Ｂの配置の態様も、これに限定されるものではなく、他の配置の態様を採ることができる。

本実施形態においては、二次元的に規則的に配列された瞳分割画素２０２Ａ、２０３Ｂから、視差画像としてそれぞれＡ像、Ｂ像が出力されるものとする。撮像部１０５を図２（ａ）及び図２（ｂ）に示すように構成することで、光学系１０４の瞳の異なる領域を通過する一対の光束を一対の光学像として結像させて、それらをＡ像、Ｂ像として出力することができる。画像処理部１０７は、このＡ像、Ｂ像を参照して、後述するようにしてデフォーカスマップを生成する。

なお、Ａ像、Ｂ像の取得方法は、上記に限られず、種々の方法を採ることができる。例えば、空間的に間隔をあけて設置した複数台のカメラ等の撮像装置により取得された互いに視差のついた画像をＡ像、Ｂ像としてもよい。また、複数の光学系と撮像部とを有する１台のカメラ等の撮像装置により取得された視差画像をそれぞれＡ像、Ｂ像としてもよい。

図３は、本実施形態による画像処理装置１００における画像処理部１０７の具体的な構成の一例を示すブロック図である。図３に示すように、画像処理部１０７は、デフォーカスマップ生成部３００と、信頼度マップ生成部３０１と、フィルタ処理部３０２とを有している。

デフォーカスマップ生成部３００は、上記の一対の視差画像であるＡ像、Ｂ像を参照してデフォーカス量を計算し、計算したデフォーカス量の空間的分布を表すデフォーカスマップを生成する。

信頼度マップ生成部３０１は、デフォーカスマップ生成部３００により計算されたデフォーカス量に対する評価値の１つである信頼度を求め、求めた信頼度の空間的分布を表す信頼度マップを生成する。デフォーカスマップが画像情報を示す画像信号であるのに対して、信頼度マップは、デフォーカスマップに関する評価情報を示す評価値信号である。信頼度マップは、デフォーカスマップと同一の分解能、すなわちデフォーカスマップと同一の階調数である。なお、信頼度マップは、後述するように、デフォーカスマップとは異なる分解能、すなわちデフォーカスマップとは異なる階調数であってもよい。デフォーカスマップと信頼度マップとは、それらが示す内容の次元は互いに異なるが、互いに関連性を有している。したがって、画像信号であるデフォーカスマップと評価値信号である信頼度マップとは、互いに関連性を有する一対の信号となっている。本明細書では、両マップをまとめて「一対の信号」と呼ぶこととする。

デフォーカスマップ生成部３００及び信頼度マップ生成部３０１は、一対の信号としてデフォーカスマップ及び信頼度マップを生成して取得する取得手段として機能する。

フィルタ処理部３０２は、一対の信号であるデフォーカスマップ及び信頼度マップに対してフィルタ処理を施すフィルタ処理手段として機能する。すなわち、フィルタ処理部３０２は、デフォーカスマップに対しては、メディアンフィルタを用いたフィルタ処理を施す。一方、信頼度マップに対しては、フィルタ処理部３０２は、デフォーカスマップに対するフィルタ処理で着目画素の画素値の決定に際して参照した参照画素と同一座標位置の画素を参照して、着目画素の画素値を決定するフィルタ処理を施す。

以下、画像処理部１０７の処理内容を含む画像処理装置１００の動作について図４を用いて説明する。図４は、画像処理部１０７の処理内容を含む画像処理装置１００の動作を示すフローチャートである。
まず、ステップＳ４００で、撮像装置としての画像処理装置１００で被写体を撮像する。これにより、画像処理部１０７は、一対の視差画像であるＡ像及びＢ像を取得する。なお、予めＡ像及びＢ像を記録媒体１０８に記録しておき、それら予め記録されたＡ像及びＢ像を画像処理部１０７が読み出して取得する構成としてもよい。

次いで、ステップＳ４０１で、デフォーカスマップ生成部３００は、ステップＳ４００で取得したＡ像及びＢ像を用いて、被写体の距離分布に関連する情報として、着目画素位置におけるデフォーカス量を計算する。Ａ像及びＢ像からデフォーカス量を計算する手法については、特に限定されるものではないが、例えば以下に記述する特許文献２に開示されている方法を用いることができる。

着目画素位置を中心とする微小ブロックにおけるＡ像のデータ系列をＥ（１）〜Ｅ（ｍ）、Ｂ像のデータ系列をＦ（１）〜Ｆ（ｍ）と一般化して表現する。なお、ｍは、データ数である。この場合において、データ系列Ｅ（１）〜Ｅ（ｍ）に対してデータ系列Ｆ（１）〜Ｆ（ｍ）を相対的にずらしながら、式（１）により２つのデータ列間のずらし量ｋにおける相関量Ｃ（ｋ）を演算する。
Ｃ（ｋ）＝Σ｜Ｅ（ｎ）―Ｆ（ｎ＋ｋ）｜ ・・・（１）

式（１）において、Σ演算は、ｎについて計算される。このΣ演算において、ｎ、ｎ＋ｋの取る範囲は、１〜ｍの範囲に限定される。また、ずらし量ｋは整数であり、一対の画像データの検出ピッチを単位とした相対的シフト量である。
式（１）の演算結果の例として、図５に横軸にずらし量ｋをとり、縦軸に相関量Ｃ（ｋ）をとったグラフを示す。

図５より、一対のデータ系列の相関が高いずらし量ｋにおいて相関量Ｃ（ｋ）が最小になることがわかる。そして、下記式（２）〜（５）による３点内挿の手法を用い、連続的な相関量に対する最小値Ｃ（ｘ）を与えるずらし量ｘを計算して求める。
ｘ＝ｋｊ＋Ｄ／ＳＬＯＰ ・・・（２）
Ｃ（ｘ）＝ Ｃ（ｋｊ）−｜Ｄ｜ ・・・（３）
Ｄ＝{Ｃ（ｋｊ−１）−Ｃ（ｋｊ＋１）}／２ ・・・（４）
ＳＬＯＰ＝ＭＡＸ{Ｃ（ｋｊ＋１）−Ｃ（ｋｊ），Ｃ（ｋｊ−１）−Ｃ（ｋｊ）}・・・（５）
ここで、ｋｊは離散的な相関量Ｃ（ｋ）が最小となるｋである。図５に示す例では、ｋｊは２である。

式（２）で求めたずらし量ｘより、被写体像面の予定結像面に対するデフォーカス量ＤＥＦを下記式（６）で求めることができる。
ＤＥＦ＝ＫＸ・ＰＹ・ｘ ・・・（６）
式（６）において、ＰＹは検出ピッチであり、ＫＸは一対の瞳を通過する光束の重心の開き角の大きさによって決まる変換係数である。

デフォーカスマップ生成部３００は、このようにして算出したデフォーカス量の空間的分布を表すデフォーカスマップを生成して出力する。

図６（ａ）に生成したデフォーカスマップの例を示す。図６（ａ）に示す例では、デフォーカス量を８ビットのグレースケールで表現しており、手前の被写体ほど白く（画素値が高く）なるようにしている。
図６（ａ）より、手前にいる被写体像６００内においてデフォーカス量にムラが生じていることがわかる。ムラの生じている領域の着目画素６０１及びその周辺８近傍の画素をそれらのデフォーカス量を表す画素値とともに示したのが図６（ｂ）である。図６（ａ）及び図６（ｂ）に示すようにデフォーカスマップにムラが生じる理由について以下に説明する。

上記３点内挿の手法を用いることで、連続的な相関量に対する最小値Ｃ（ｘ）を与えるずらし量ｘ、及びデフォーカス量を得ることができる。このとき、仮にＣ（ｋｊ）の値が同一であったとしても、Ｃ（ｋｊ＋１）、Ｃ（ｋｊ−１）の大小関係が変化すると、得られるずらし量ｘ、及びデフォーカス量が変化することが分かる。これにより、同一の被写体内に着目画素が存在し、Ｃ（ｋｊ）の値が同一であっても、被写体の模様の変化の影響によりＣ（ｋｊ＋１）、Ｃ（ｋｊ−１）の大小関係が変化することで、デフォーカス量が変動してデフォーカスマップにムラが生じることがわかる。

また、撮像部１０５として用いられるイメージセンサの画素間でＳ／Ｎ比（信号対雑音比）がばらつくため、入力信号に生じるばらつきの影響でもデフォーカスマップにムラが生じる。また、被写体が低コントラストであるために所望のＣ（ｋｊ）を算出することができない場合や、図５に示すＳＬＯＰが小さくなることでデフォーカス量の変動が大きくなる場合であってもデフォーカスマップにムラが生じる。
これに対して、本実施形態では、後述するようにフィルタ処理を施すことにより、ムラを抑制した、よりロバスト性の高いデフォーカスマップを得ることができる。

次いで、ステップＳ４０２で、信頼度マップ生成部３０１は、デフォーカスマップ生成部３００により生成されたデフォーカスマップに対する信頼度マップを生成する。

信頼度とは、ステップＳ４０１で算出したＡ像とＢ像との相関が高いずらし量を当該領域でどの程度検出しやすいかを表す値である。ずらし量を検出しにくい領域で算出されたデフォーカス量は正確でない可能性が高いため、信頼度が低くなるようにする。ずらし量を検出しにくい領域とは、具体的には、例えば、空や自動車のボディといった被写体の模様の変化が乏しい領域である。このような領域を検出し、低い信頼度を割り当てればよい。模様の変化が乏しいかを判定する指標としては、エッジ積分値を用いることができる。具体的には、ステップＳ４０１で相関量を算出する際に、参照したデータ系列のエッジ振幅の絶対値を積分することでエッジ積分値が算出される。そして、エッジ積分値が大きいほど信頼度が大きくなるように信頼度を割り当てる。この処理を着目画素ごとに繰り返し行うことで、デフォーカスマップに対する信頼度マップを生成することができる。このように、信頼度マップは、領域ごとのエッジ情報に基づいて信頼度が決められたものである。信頼度マップの各画素には、デフォーカスマップにおける対応する座標位置の画素に示されたデフォーカス量の信頼度が示されている。対応する座標位置は、具体的には同一の座標位置であるが、所定の対応関係で対応付けられた異なる座標位置であってもよい。

図７（ａ）に生成した信頼度マップの例を示す。図７（ａ）に示す例では、信頼度を８ビットのグレースケールで表現しており、信頼性が高いほど白く（画素値が高く）なるようにしている。
図７（ａ）に示す着目画素７０１は、図６（ａ）に示す着目画素６０１と同じ座標位置である。そして、着目画素７０１及びその周辺８近傍の画素をそれらの信頼度を表す画素値とともに示したのが図７（ｂ）である。図７（ａ）及び図７（ｂ）より、被写体の模様が領域ごとに変化するため、同一の被写体内であっても信頼度にムラが生じていることがわかる。

また、信頼度を２値で表現することも可能である。具体的には、上述のように算出したエッジ積分値と予め設定した閾値を比較する。その結果、算出したエッジ積分値が予め設定した閾値以上である場合、模様の変化に富んだ領域であると判定し、その領域には高い信頼度（例えば１）を割り当てる。一方、予め設定した閾値よりも算出したエッジ積分値が小さい場合、模様の変化が乏しい領域であると判定し、その領域には模様の変化に富んだ領域よりも低い信頼度（例えば０）を割り当てる。このように構成することで、デフォーカスマップと信頼度マップとが互いに分解能が異なる構成となる。すなわち、デフォーカスマップと信頼度マップとが互いに階調数が異なる構成となる。このように階調数が異なる構成であっても、階調数が同一である構成と同様の効果は得られる。

こうして、ステップＳ４０１、Ｓ４０２により、それぞれ画像情報を示すデフォーカスマップ、及び信頼性を示す信頼度マップを取得する。両マップは、表現する内容の次元は互いに異なるが、互いに関連性のあるマップである。

次いで、ステップＳ４０３で、フィルタ処理部３０２は、ステップＳ４０１、Ｓ４０２でそれぞれ取得した一対の信号であるデフォーカスマップ及び信頼度マップに対してフィルタ処理を施す。本実施形態では、デフォーカスマップに対してメディアンフィルタを施すこととする。この場合において、本実施形態では、以下のようにして一対の信号であるデフォーカスマップと信頼度マップとの間の関連性を崩さずに両マップに対してフィルタ処理を施す。

フィルタ処理では、デフォーカスマップに対してメディアンフィルタを施したときに最終的に選択した参照画素の座標位置を記憶しておき、信頼度マップに対しては、記憶している座標位置に対応する座標位置に存在する信頼度を出力する。

まず、フィルタ処理部３０２は、フィルタ処理として、デフォーカスマップに対してメディアンフィルタを施す。フィルタ処理部３０２は、メディアンフィルタを施すことにより、着目画素及びその周辺８近傍の画素の画素値を降順又は昇順に並び替え、画素値が中央値になった参照画素を参照して、その画素値を着目画素の画素値として選択して出力する。なお、メディアンフィルタを施す画素領域は、着目画素及びその周辺８近傍の画素の３×３の画素領域に限定されるものではなく、例えば、着目画素を中心とする５×５の画素領域であってもよい。この際、フィルタ処理部３０２は、デフォーカスマップの着目画素のそれぞれについて、最終的に着目画素の画素値としてその画素値を選択した参照画素の座標位置をＲＡＭ１０３等に記憶させる。メディアンフィルタを用いたフィルタ処理により、ムラの抑制されたロバスト性の高いデフォーカスマップを得ることができる。

次いで、フィルタ処理部３０２は、メディアンフィルタを施したデフォーカスマップに対応する信頼度マップに対してフィルタ処理を施す。この信頼度マップに対するフィルタ処理では、フィルタ処理部３０２は、デフォーカスマップに対するフィルタ処理でＲＡＭ１０３等に記憶させた座標位置を参照する。これにより、フィルタ処理部３０２は、デフォーカスマップの対応する着目画素の画素値の決定に際して参照した参照画素の座標位置と対応する座標位置の参照画素の画素値に基づき、信頼度マップの着目画素の画素値を決定する。具体的には、フィルタ処理部３０２は、デフォーカスマップの対応する着目画素の画素値としてその画素値を選択した参照画素の座標位置と対応する座標位置の参照画素の信頼度を、信頼度マップの着目画素の信頼度として決定して出力する。対応する座標位置は、同一の座標位置であるが、所定の対応関係で対応付けられた異なる座標位置であってもよい。

具体的に上述の図６（ｂ）及び図７（ｂ）に示す例を用いて説明する。まず、メディアンフィルタを施すことによって、（ｍ、ｎ）＝（１、１）の参照画素のデフォーカス量の値１０１が、（ｍ、ｎ）＝（０、０）の着目画素のデフォーカス量の値として選択されて出力される。そして、信頼度マップについても、対応する同一の座標位置である（ｍ、ｎ）＝（１、１）の参照画素の信頼度の値２５５を出力する。このように信頼度マップに対してフィルタ処理を施すことで、デフォーカス量とその信頼度との間の関連性を崩すことなく、デフォーカスマップ及び信頼度マップに対してフィルタ処理を施すことが可能となる。

このように、本実施形態によれば、一対の信号であるデフォーカスマップ及び信頼度マップに対して、互いの関連性を崩すことなくフィルタ処理を施し、ロバスト性の高い一対の信号を得ることができる。

なお、本実施形態では、デフォーカスマップに対してメディアンフィルタを施す際に画素の信頼度について特に考慮しない場合を例に説明したが、これに限定されるものではない。フィルタ処理部３０２は、以下に説明するように、画素の信頼度を考慮してメディアンフィルタを施すこともできる。

例えば、デフォーカスマップに対してメディアンフィルタを施す際に、着目画素及びその周辺画素のうちで参照する画素を信頼度が高い画素に限定することができる。すなわち、デフォーカスマップに対してメディアンフィルタを施す際に、着目画素及びその周辺画素のうち、対応する信頼度マップにおける信頼度の値が所定の閾値以上の画素を参照画素として参照するように構成することができる。フィルタ処理部３０２は、信頼度マップを参照して、デフォーカスマップに対してメディアンフィルタを施す際に参照する参照画素をこのように信頼度が高い画素に限定することができる。

具体的には、信頼度マップに関する上述の図７（ｂ）の例において、着目画素及びその周辺８近傍の画素のうち、信頼度の値が閾値の２３０以上の画素を参照するようにすることができる。この場合、（ｍ、ｎ）＝（−１、−１）、（０、−１）、（−１、０）、（０、０）、（−１、１）、（０、１）、（１、１）の画素が参照すべき参照画素となる。こうして信頼度の高い画素に参照画素を限定した様子を図８（ａ）に示す。図８（ａ）において、斜線模様がない画素が信頼度の高い参照画素である。なお、図８（ａ）は、信頼度マップの画素を、信頼度を表す画素値とともに示している。図８（ｂ）は、図８（ａ）に示す信頼度マップの画素に対応するデフォーカスマップの画素を、デフォーカス量を表す画素値とともに示している。

デフォーカスマップに対してメディアンフィルタを施す際には、上述のように信頼度の高い（ｍ、ｎ）＝（−１、−１）、（０、−１）、（−１、０）、（０、０）、（−１、１）、（０、１）、（１、１）の画素を参照画素とする。こうして参照画素を限定してデフォーカスマップに関する図８（ｂ）の例においてメディアンフィルタを施す。すると、（ｍ、ｎ）＝（１、１）の画素のデフォーカス量の値１０１が、（ｍ、ｎ）＝（０、０）の着目画素のデフォーカス量の値として選択されて出力される。そして、信頼度マップに対するフィルタ処理では、同一の座標位置である（ｍ、ｎ）＝（１、１）の画素の信頼度の値２５５を、（ｍ、ｎ）＝（０、０）の着目画素の信頼度の値として選択して出力する。

また、信頼度マップに関する図８（ｃ）の例のように、（ｍ、ｎ）＝（０、０）の着目画素が、信頼度の値が閾値を下回る低信頼であっても、同様にメディアンフィルタで参照する画素を限定すればよい。なお、図８（ｃ）は、信頼度マップの画素を、信頼度を表す画素値とともに示している。図８（ｄ）は、図８（ｃ）に示す信頼度マップの画素に対応するデフォーカスマップの画素を、デフォーカス量を表す画素値とともに示している。また、斜線模様がない画素が信頼度の高い参照画素である。この場合、着目画素及びその周辺８近傍の画素のうち、信頼度の値が閾値の２３０以上の（ｍ、ｎ）＝（−１、−１）、（１、−１）、（−１、０）、（１、０）、（−１、１）、（０、１）、（１、１）の画素が参照画素となる。こうして参照画素を限定してデフォーカスマップに関する図８（ｄ）の例においてメディアンフィルタを施す。すると、（ｍ、ｎ）＝（１、１）の画素のデフォーカス量の値１０１が、（ｍ、ｎ）＝（０、０）の着目画素のデフォーカス量の値として選択されて出力される。そして、信頼度マップに対するフィルタ処理では、同一の座標位置である（ｍ、ｎ）＝（１、１）の画素の信頼度の値２５５を、（ｍ、ｎ）＝（０、０）の着目画素の信頼度の値として出力する。

さらに、図８（ｅ）の例に示すように、着目画素及びその周辺画素を含む領域内のすべての画素が、信頼度が閾値を下回る低信頼である場合がある。なお、図８（ｅ）は、信頼度マップの画素を、信頼度を表す画素値とともに示している。図８（ｆ）は、図８（ｅ）に示す信頼度マップの画素に対応するデフォーカスマップの画素を、デフォーカス量を表す画素値とともに示している。領域内のすべての画素が、斜線模様が付された低信頼の画素になっている。このような場合は、デフォーカスマップ及び信頼度マップに対するフィルタ処理のいずれにおいても、着目画素の画素値をそのまま出力すればよい。このように領域内の画素がすべて低信頼である場合、デフォーカスマップ及び信頼度マップに対するフィルタ処理のいずれにおいても、（ｍ、ｎ）＝（０、０）の着目画素の値をそのまま出力する。

また、本実施形態では、メディアンフィルタを施す場合を例に説明したが、フィルタはこれに限定されるものではない。例えば、特許文献３に開示されているジョイントバイラテラルフィルタを施すことも可能である。具体的には、着目画素位置ｐにおけるジョイントバイラテラルフィルタの処理結果Ｊｐは、以下の式（７）で表される。
Ｊｐ＝（１／Ｋｐ）ΣＩ１ｑ・ｆ（｜ｐ−ｑ｜）・ｇ（｜Ｉ２ｐ−Ｉ２ｑ｜） ・・・（７）

式（７）において、Σはｑ∈Ω範囲の積算、Ｉ１ｑは周辺画素位置ｑの入力マップ画素値、ｆは着目画素位置ｐを中心とするガウシアン関数、ｇは着目画素位置ｐの整形用画像画素値Ｉ２ｐを中心とするガウシアン関数である。また、Ωは着目画素位置ｐを中心とする積算対象領域、Ｋｐは正規化係数でｆ・ｇ重みの積算値である。着目画素位置ｐのＩ２ｐと周辺画素位置ｑのＩ２ｑの差が小さい、つまり整形用画像において着目画素と周辺画素の画素値が近いと、その周辺画素のｆ・ｇ重み（平滑化の重み）は大きくなる。

整形用画像をＲＧＢ画像として、デフォーカスマップ及び信頼度マップに対して式（７）で表されるジョイントバイラテラルフィルタを施す際に、参照する画素の座標位置を同一にすることができる。これにより、ｆ・ｇ重み（平滑化の重み）が同じになるので、互いの関連性を崩すことなくフィルタ処理を施すことができる。

また、本実施形態では、視差のついたＡ像、Ｂ像からデフォーカスマップを生成した場合を例に説明したが、デフォーカスマップの生成は上記に限定されるものではない。例えば、デフォーカスマップの生成に特許文献４に開示されているＤＦＤ（Depth From Defocus）法を適用することも可能である。その場合であっても、被写体の模様、ボケ感の変化、センサ画素のＳ／Ｎのバラつき等によって、デフォーカスマップにムラが発生する。このため、ＤＦＤ法を適用した場合においても、上記本実施形態と同様のフィルタ処理を適用することで、互いの関連性を崩すことなく、ロバスト性の高いデフォーカスマップ及び信頼度マップを得ることができる。

［第２実施形態］
本発明の第２実施形態による画像処理装置及び画像処理方法について図９乃至図１１を用いて説明する。なお、以下に説明する本実施形態でも、画像処理装置が撮像部を有する場合、すなわち、画像処理装置がデジタルカメラ等の撮像装置である場合を例に説明する。また、上記第１実施形態による画像処理装置と同様の構成要素については同一の符号を付し説明を省略し又は簡略にする。
本実施形態では、ＴＯＦ（Time Of Flight）方式で取得した距離マップ及び信頼度マップに対してフィルタ処理を施す画像処理装置について説明する。

図９は、本実施形態による画像処理装置の機能構成を示すブロック図である。図９に示すように、本実施形態による画像処理装置９００は、システム制御部１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、光学系１０４と、Ａ／Ｄ変換部１０６と、記録媒体１０８と、バス１０９とを有している。これら各部は、図１に示す第１実施形態のものと同じである。本実施形態による画像処理装置９００は、撮像部９０１と、距離マップ生成部９０２と、画像処理部９０３とを有している。

撮像部９０１は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子である。撮像部９０１は、第１実施形態の撮像部１０５とは異なり、複数の全開口画素が例えば二次元格子状に配列されて構成された撮像素子である。全開口画素のそれぞれは、１つのマイクロレンズに対し１つの光電変換部が対応して設けられて構成されている。撮像部９０１は、光学系１０４により撮像素子に結像された光学像を光電変換してアナログ画像信号を得る。撮像部９０１は、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。

距離マップ生成部９０２は、ＴＯＦ方式で被写体の距離分布に関連する情報を距離マップとして生成する距離センサモジュールである。距離マップ生成部９０２は、ＴＯＦ方式により被写体までの距離を測定して被写体に関する距離情報を取得し、取得した距離情報の空間的分布を表す距離マップを生成する。距離マップ生成部９０２は、取得した距離マップをデジタルデータとしてＲＡＭ１０３に出力して記憶させる。なお、距離マップ生成部９０２が距離情報を取得する方式は、ＴＯＦ方式に限定されるものではなく、ＴＯＦ方式のほか、例えば、ＤＦＤ（Depth From Defocus）方式、ＤＦＦ（Depth From Focus）方式を用いることもできる。

画像処理部９０３は、第１実施形態の画像処理部１０７と同様にホワイトバランス調整、色補間、縮小／拡大等の処理を行うほか、信頼度マップの生成、フィルタ処理等の様々な画像処理を行う。画像処理部９０３は、画像処理後の画像を記録媒体１０８に記録する。

図１０は、本実施形態による画像処理装置９００における画像処理部９０３の具体的な構成の一例を示すブロック図である。図１０に示すように、画像処理部９０３は、信頼度マップ生成部１０００と、フィルタ処理部１００１とを有している。

信頼度マップ生成部１０００は、距離マップ生成部９０２により取得された距離情報に対する評価値の１つである信頼度を求め、求めた信頼度の空間的分布を表す信頼度マップを生成する。距離マップが画像情報を示す画像信号であるのに対して、信頼度マップは、距離マップに関する評価情報を示す評価値信号である。信頼度マップは、距離マップと同一の分解能、すなわち距離マップと同一の階調数である。なお、信頼度マップは、距離マップとは異なる分解能、すなわち距離マップとは異なる階調数であってもよい。距離マップと信頼度マップとは、それらが示す内容の次元は互いに異なるが、互いに関連性を有している。したがって、画像信号である距離マップと評価値信号である信頼度マップとは、互いに関連性を有する一対の信号になっている。本明細書では、両マップをまとめて「一対の信号」と呼ぶこととする。
上述の距離マップ生成部９０２及び信頼度マップ生成部１０００は、一対の信号として距離マップ及び信頼度マップを生成して取得する取得手段として機能する。

フィルタ処理部１００１は、一対の信号である距離マップ及び信頼度マップに対してフィルタ処理を施すフィルタ処理手段として機能する。すなわち、フィルタ処理部１００１は、距離マップに対しては、メディアンフィルタを用いたフィルタ処理を施す。一方、信頼度マップに対しては、フィルタ処理部１００１は、距離マップに対するフィルタ処理で着目画素の画素値の決定に際して参照した参照画素と同一座標位置の画素を参照して、着目画素の画素値を決定するフィルタ処理を施す。

以下、画像処理部９０３の処理内容を含む画像処理装置９００の動作について図１１を用いて説明する。図１１は、画像処理部９０３の処理内容を含む画像処理装置９００の動作を示すフローチャートである。
まず、ステップＳ１１００で、距離マップ生成部９０２は、被写体についてＴＯＦ方式の距離マップを生成する。

次いで、ステップＳ１１０１で、信頼度マップ生成部１０００は、距離マップ生成部９０２により生成されたＴＯＦ方式の距離マップに対する信頼度マップを生成する。距離マップに対する信頼度マップを生成する方法は、特に限定されるものではないが、例えば特許文献５に開示されている方法を用いることができる。この方法では、画素単位で距離マップの複数フレーム間での距離のばらつき度を閾値と比較することにより、信頼度の高低を判定する。すなわち、ばらつき度を予め規定されている一定レベルと比較し、ばらつき度が一定レベル未満である場合に信頼度が相対的に高いと判定し、一定レベル以上である場合に信頼度が相対的に低いと判定する。信頼度は、２値で表現することができる。なお、信頼度の値は、ばらつき度が低いほど高く、ばらつき度が高いほど低くなるようにしてもよい。信頼度マップの各画素には、距離マップにおける対応する座標位置の画素に示された距離情報の信頼度が示されている。対応する座標位置は、具体的には同一の座標位置であるが、所定の対応関係で対応付けられた異なる座標位置であってもよい。

次いで、ステップＳ１１０２で、フィルタ処理部１００１は、ステップＳ１１００、Ｓ１１０１でそれぞれ取得した一対の信号である距離マップ及び信頼度マップに対して、第１実施形態のステップＳ４０３と同様にフィルタ処理を施す。
まず、フィルタ処理部１００１は、フィルタ処理として、第１実施形態におけるデフォーカスマップに対するフィルタ処理と同様に、距離マップに対してメディアンフィルタを施す。この際、フィルタ処理部１００１は、距離マップの着目画素のそれぞれについて、最終的に着目画素の画素値としてその画素値を選択した参照画素の座標位置をＲＡＭ１０３等に記憶させる。メディアンフィルタを用いたフィルタ処理により、距離のばらつきが低減されたロバスト性の高い距離マップを得ることができる。

次いで、フィルタ処理部１００１は、メディアンフィルタを施した距離マップに対応する信頼度マップに対してフィルタ処理を施す。この信頼度マップに対するフィルタ処理では、フィルタ処理部１００１は、距離マップに対するフィルタ処理でＲＡＭ１０３等に記憶させた座標位置を参照する。これにより、フィルタ処理部１００１は、距離マップの対応する着目画素の画素値の決定に際して参照した参照画素の座標位置と対応する座標位置の参照画素の画素値に基づき、信頼度マップの着目画素の画素値を決定する。具体的には、フィルタ処理部１００１は、距離マップの対応する着目画素の画素値としてその画素値を選択した参照画素の座標位置と対応する座標位置の参照画素の信頼度を、信頼度マップの着目画素の信頼度として決定して出力する。対応する座標位置は、同一の座標位置であるが、所定の対応関係で対応付けられた異なる座標位置であってもよい。こうして、距離マップと関連性が崩れていない信頼度マップを得ることができる。

このように、本実施形態によれば、一対の信号であるＴＯＦ方式で取得した距離マップ及び信頼度マップに対して、互いの関連性を崩すことなくフィルタ処理を施し、ロバスト性の高い一対の信号を得ることができる。

なお、本実施形態では、距離マップに対してメディアンフィルタを施す際に画素の信頼度について特に考慮しない場合を例に説明したが、これに限定されるものではない。本実施形態でも、第１実施形態と同様、距離マップに対してメディアンフィルタを施す際に、着目画素及びその周辺画素のうち、対応する信頼度マップにおける信頼度の値が所定の閾値以上の画素を参照画素として参照するように構成することができる。

また、着目画素及びその周辺画素を含む領域内のすべての画素が、信頼度が閾値を下回る低信頼である場合には、第１実施形態と同様、距離マップ及び信頼度マップに対するフィルタ処理のいずれにおいても、着目画素の画素値をそのまま出力することができる。

また、本実施形態では、メディアンフィルタを施す場合を例に説明したが、フィルタはこれに限定されるものではなく、第１実施形態と同様にジョイントバイラテラルフィルタを施すことも可能である。

［第３実施形態］
本発明の第３実施形態による画像処理装置及び画像処理方法について図１２乃至図１５を用いて説明する。なお、以下に説明する本実施形態でも、画像処理装置が撮像部を有する場合、すなわち、画像処理装置がデジタルカメラ等の撮像装置である場合を例に説明する。また、上記第１実施形態による画像処理装置と同様の構成要素については同一の符号を付し説明を省略し又は簡略にする。

本実施形態では、デフォーカスマップ及び領域抽出マップに対してフィルタ処理を施す画像処理装置について説明する。領域抽出マップは、複数の特徴量を利用して被写体領域を抽出したものである。

図１２は、本実施形態による画像処理装置の機能構成を示すブロック図である。図１２に示すように、画像処理装置１２００は、システム制御部１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、光学系１０４と、撮像部１０５と、Ａ／Ｄ変換部１０６と、記録媒体１０８と、バス１０９とを有している。これら各部は、図１に示す第１実施形態のものと同じである。本実施形態による画像処理装置１２００は、画像処理部１２０１を有している。

画像処理部１２０１は、第１実施形態の画像処理部１０７と同様にホワイトバランス調整、色補間、縮小／拡大等の処理を行うほか、デフォーカスマップの生成、領域抽出マップの生成、フィルタ処理等の様々な画像処理を行う。画像処理部１２０１は、画像処理後の画像を記録媒体１０８に記録する。

図１３は、本実施形態による画像処理装置１２００における画像処理部１２０１の具体的な構成の一例を示すブロック図である。図１３に示すように、画像処理部１２０１は、デフォーカスマップ生成部３００と、領域抽出部１３００と、フィルタ処理部１３０１とを有している。デフォーカスマップ生成部３００は、図３に示す第１実施形態のものと同じである。

領域抽出部１３００は、複数の特徴量を利用して、被写体領域、背景領域等の領域を画像から抽出して領域抽出マップを生成する。領域抽出部１３００が領域を抽出する画像は、デフォーカスマップを生成する際に参照したＡ像とＢ像とを加算して得られた画像である全開口画像である。画像処理部１２０１は、領域抽出部１３００による処理の前処理として、Ａ像及びＢ像を取得して全開口画像を生成する。なお、画像から被写体領域等の領域を抽出する技術は公知であり、例えば特許文献６に開示されている。領域抽出部１３００は、公知の技術を用いて全開口画像から領域を抽出することができる。

デフォーカスマップは、対応する領域抽出マップに関するデフォーカス量を示しており、画像信号である領域抽出マップに関する評価値信号になっている。領域抽出マップは、デフォーカスマップと同一の分解能、すなわちデフォーカスマップと同一の階調数である。なお、領域抽出マップは、領域抽出マップとは異なる分解能、すなわち領域抽出マップとは異なる階調数であってもよい。デフォーカスマップと領域抽出マップとは、それらが示す内容の次元は互いに異なるが、互いに関連性を有している。したがって、画像信号である領域抽出マップと評価値信号であるデフォーカスマップとは、互いに関連性を有する一対の信号となっている。本明細書では、両マップをまとめて「一対の信号」と呼ぶこととする。
領域抽出部１３００及びデフォーカスマップ生成部３００は、一対の信号として領域抽出マップ及びデフォーカスマップを生成して取得する取得手段として機能する。

フィルタ処理部１３０１は、一対の信号である領域抽出マップ及びデフォーカスマップに対してフィルタ処理を施すフィルタ手段として機能する。すなわち、フィルタ処理部１３０１は、領域抽出マップに対しては、メディアンフィルタを用いたフィルタ処理を施す。一方、デフォーカスマップに対しては、フィルタ処理部１３０１は、領域抽出マップに対するフィルタ処理で着目画素の画素値の決定に際して参照した参照画素と同一座標位置の画素を参照して、着目画素の画素値を決定するフィルタ処理を施す。

以下、画像処理部１２０１の処理内容を含む画像処理装置１２００の動作について図１４を用いて説明する。図１４は、画像処理部１２０１の処理内容を含む画像処理装置１２００の動作を示すフローチャートである。

まず、ステップＳ１４００で、第１実施形態のステップＳ４００と同様に、撮像装置としての画像処理装置１２００で被写体を撮像する。これにより、画像処理部１２０１は、一対の視差画像であるＡ像及びＢ像を取得する。なお、予めＡ像及びＢ像を記録媒体１０８に記録しておき、それら予め記録されたＡ像及びＢ像を画像処理部１２０１が読み出して取得する構成としてもよい。

次いで、ステップＳ１４０１で、デフォーカスマップ生成部３００は、第１実施形態のステップＳ４０１と同様にして、被写体の距離分布に関連する情報としてのデフォーカス量の空間的分布を表すデフォーカスマップを生成する。
次いで、ステップＳ１４０２で、領域抽出部１３００は、デフォーカスマップ生成部３００がデフォーカスマップを生成する際に参照したＡ像とＢ像とが加算された全開口画像から、複数の特徴量を利用して被写体領域、背景領域等の領域を抽出する。これより、領域抽出部１３００は、領域抽出マップを生成する。

図１５に領域抽出部１３００による領域抽出の結果の例を示す。図１５（ａ）は、領域抽出マップの例を示している。図１５（ａ）に示す領域抽出マップは、特徴量をグレースケールの値で表現することにより、領域抽出の結果を示している。この領域抽出マップにおいて、人物が写った領域である人物領域１５００は２５５の値で、背景の空が写った空領域１５０１は０の値で、背景の建物が写った建物領域１５０２は１２８の値で表現されている。本実施形態では、このように特徴量をグレースケールの値で表現することをラベリングと呼び、図１５（ａ）に示す領域抽出マップをラベリング画像とも呼ぶこととする。また、人物領域１５００に写った人物は空と似た色の服を着ていたため、人物領域１５００内に空領域と判定された画素が存在している。このため、ムラのある領域抽出の結果となっている。図１５（ｂ）は、人物領域１５００内の着目画素１５０３及びその周辺８近傍の画素の領域抽出の結果をグレースケールの値とともに抜き出して示したものである。このような領域抽出結果を領域抽出マップとして出力する。

次いで、ステップＳ１４０３で、フィルタ処理部１３０１は、ステップＳ１４０１、Ｓ１４０２でそれぞれ取得した一対の信号であるデフォーカスマップ及び領域抽出マップに対して、第１実施形態のステップＳ４０３と同様にフィルタ処理を施す。ただし、本実施形態では、領域抽出マップに対してメディアンフィルタを施す。

まず、フィルタ処理部１３０１は、フィルタ処理として、第１実施形態におけるデフォーカスマップに対するフィルタ処理と同様に、領域抽出マップに対してメディアンフィルタを施す。この際、フィルタ処理部１３０１は、領域抽出マップの着目画素のそれぞれについて、最終的に着目画素の画素値としてその画素値を選択した参照画素の座標位置をＲＡＭ１０３等に記憶させる。メディアンフィルタを用いたフィルタ処理により、ムラの抑制されたロバスト性の高い領域抽出マップを得ることができる。図１５（ｂ）に示す例では、空と判定されていた着目画素について、フィルタ処理により、人物の判定結果が参照されて出力される。ここで、メディアンフィルタで参照する画素値が同値の場合、（ｍ、ｎ）＝（−１、−１）、（０、−１）、（１、−１）、（−１、０）、（０、０）、（１、０）、（−１、１）、（０、１）、（１、１）の画素順に並べる。そして、中央にくる画素の画素値を着目画素の画素値として出力することとする。なお、参照画素が同値の場合の出力方法は上記に限定されない。

次いで、フィルタ処理部１３０１は、メディアンフィルタを施した領域抽出マップに対応するデフォーカスマップに対してフィルタ処理を施す。このデフォーカスマップに対するフィルタ処理では、フィルタ処理部１３０１は、領域抽出マップに対するフィルタ処理でＲＡＭ１０３等に記憶させた座標位置を参照する。これにより、フィルタ処理部１００１は、領域抽出マップの対応する着目画素の画素値の決定に際して参照した参照画素の座標位置と対応する座標位置の参照画素の画素値に基づき、デフォーカスマップの着目画素の画素値を決定する。具体的には、フィルタ処理部１３０１は、領域抽出マップの対応する着目画素の画素値としてその画素値を選択した参照画素の座標位置と対応する座標位置の参照画素のデフォーカス量を、デフォーカスマップの着目画素のデフォーカス量として決定して出力する。対応する座標位置は、同一の座標位置であるが、所定の対応関係で対応付けられた異なる座標位置であってもよい。こうして、領域抽出マップと関連性が崩れていないデフォーカスマップを得ることができる。

このように、本実施形態によれば、一対の信号である領域抽出マップ及びデフォーカスマップに対して、互いの関連性を崩すことなくフィルタ処理を施し、ロバスト性の高い一対の信号を得ることができる。

なお、上記では、領域抽出マップに対してメディアンフィルタを施す場合を例に説明したが、第１実施形態と同様にデフォーカスマップに対してメディアンフィルタを施すこともできる。領域抽出マップは、対応するデフォーカスマップに関する属性情報を示しており、画像信号であるデフォーカスマップに関する評価値信号になっている。以下、デフォーカスマップに対してメディアンフィルタを施す場合について説明する。

まず、フィルタ処理部１３０１は、フィルタ処理として、第１実施形態と同様に、デフォーカスマップに対してメディアンフィルタを施す。この際、フィルタ処理部１３０１は、デフォーカスマップの着目画素のそれぞれについて、最終的に着目画素の画素値としてその画素値を選択した参照画素の座標位置をＲＡＭ１０３等に記憶させる。メディアンフィルタを用いたフィルタ処理により、ムラの抑制されたロバスト性の高いデフォーカスマップを得ることができる。

次いで、フィルタ処理部１３０１は、メディアンフィルタを施したデフォーカスマップに対応する領域抽出マップに対してフィルタ処理を施す。この領域抽出マップに対するフィルタ処理では、フィルタ処理部１３０１は、デフォーカスマップに対するフィルタ処理でＲＡＭ１０３等に記憶させた座標位置を参照する。これにより、フィルタ処理部１３０１は、デフォーカスマップの対応する着目画素の画素値の決定に際して参照した参照画素の座標位置と対応する座標位置の参照画素の画素値に基づき、領域抽出マップの着目画素の画素値を決定する。具体的には、フィルタ処理部１３０１は、デフォーカスマップの対応する着目画素の画素値としてその画素値を選択した参照画素の座標位置と対応する座標位置の参照画素の特徴量を、領域抽出マップの着目画素の特徴量として決定して出力する。対応する座標位置は、通常は同一の座標位置であるが、所定の対応関係で対応付けられた異なる座標位置であってもよい。こうして、デフォーカスマップと関連性が崩れていない領域抽出マップを得ることができる。

また、本実施形態では、メディアンフィルタを施す場合を例に説明したが、フィルタはこれに限定されるものではなく、第１実施形態と同様にジョイントバイラテラルフィルタを施すことも可能である。

また、本実施形態では、視差のついたＡ像、Ｂ像からデフォーカスマップを生成した場合を例に説明したが、デフォーカスマップの生成は上記に限定されるものではなく、第１実施形態と同様にデフォーカスマップの生成に他の方法を適用することも可能である。
また、本実施形態では、第１実施形態の構成でデフォーカスマップを取得する場合を例に説明したが、第２実施形態の構成で距離マップを取得してもよい。

［変形実施形態］
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、上記実施形態では、画像処理装置１００、９００、１２００が撮像装置である場合を例に説明したが、これに限定されるものではない。画像処理装置１００、９００、１２００は、一対の信号に対してフィルタ処理を施すことができるものであればよく、光学系１０４、撮像部１０５、Ａ／Ｄ変換部１０６を有していなくてもよい。この場合、例えば外部から入力される一対の信号に対して上記実施形態のようにフィルタ処理を施すことができる。

また、上記実施形態では、非線形な空間フィルタとしてメディアンフィルタ又はジョイントバイラテラルフィルタを施す場合を例に説明したが、フィルタはこれらに限定されるものではない。本発明は、種々の非線形な空間フィルタを施す場合に適用することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：画像処理装置
１０７：画像処理部
３００：デフォーカスマップ生成部
３０１：信頼度マップ生成部
３０２：フィルタ処理部
９００：画像処理装置
９０２：距離マップ生成部
９０３：画像処理部
１０００：信頼度マップ生成部
１００１：フィルタ処理部
１２００：画像処理装置
１２０１：画像処理部
１３００：領域抽出部
１３０１：フィルタ処理部

Claims (14)

1. 画像信号と、前記画像信号と対応する評価値信号とを一対の信号として取得する取得手段と、
   前記一対の信号に対してフィルタ処理を施すフィルタ処理手段とを有し、
   前記フィルタ処理手段は、
   前記画像信号に対して第１のフィルタ処理を施し、前記評価値信号に対して第２のフィルタ処理を施し、
   前記第１のフィルタ処理では、第１の参照画素を参照して第１の着目画素の画素値を決定し、
   前記第２のフィルタ処理では、前記第１の参照画素の座標位置と対応する座標位置の第２の参照画素の画素値に基づき、前記第１の着目画素と対応する第２の着目画素の画素値を決定することを特徴とする画像処理装置。
2. 前記フィルタ処理手段は、前記第２のフィルタ処理では、前記第１の参照画素の前記座標位置と同一の座標位置の前記第２の参照画素の前記画素値に基づき、前記第２の着目画素の前記画素値を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像信号は、デフォーカス量の空間的分布を表すデフォーカスマップであることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記画像信号は、ＴＯＦ方式で得られた距離マップであることを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記評価値信号は、前記画像信号の信頼度を表す信頼度マップであることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記信頼度マップは、領域ごとのエッジ情報に基づいて前記信頼度が決められたものであることを特徴とする請求項５に記載の画像処理装置。
7. 前記評価値信号は、前記画像信号の画像から領域を抽出した領域抽出マップであることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
8. 前記フィルタ処理手段は、前記第１のフィルタ処理で、前記画像信号に対してメディアンフィルタを施すことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記フィルタ処理手段は、前記第１のフィルタ処理で、前記画像信号に対してバイラテラルフィルタを施すことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
10. 前記フィルタ処理手段は、前記評価値信号を参照し、評価値が閾値以上である前記第１の参照画素を参照して前記第１のフィルタ処理を施すことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
11. 前記フィルタ処理手段は、前記評価値信号を参照し、前記第１のフィルタ処理では、前記第１の着目画素及びその周辺画素の評価値が閾値を下回る場合には、前記第１の着目画素の値を出力することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
12. 前記画像信号と前記評価値信号とは、互いに階調数が異なることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 画像信号と、前記画像信号と対応する評価値信号とを一対の信号として取得するステップと、
    前記一対の信号に対してフィルタ処理を施すステップとを有し、
    前記フィルタ処理を施すステップは、
    前記画像信号に対して第１のフィルタ処理を施し、前記評価値信号に対して第２のフィルタ処理を施し、
    前記第１のフィルタ処理では、第１の参照画素を参照して第１の着目画素の画素値を決定し、
    前記第２のフィルタ処理では、前記第１の参照画素の座標位置と対応する座標位置の第２の参照画素の画素値に基づき、前記第１の着目画素と対応する第２の着目画素の画素値を決定することを特徴とする画像処理方法。
14. コンピュータに、
    画像信号と、前記画像信号と対応する評価値信号とを一対の信号として取得するステップと、
    前記一対の信号に対してフィルタ処理を施すステップとを実行させ、
    前記フィルタ処理を施すステップは、
    前記画像信号に対して第１のフィルタ処理を施し、前記評価値信号に対して第２のフィルタ処理を施し、
    前記第１のフィルタ処理では、第１の参照画素を参照して第１の着目画素の画素値を決定し、
    前記第２のフィルタ処理では、前記第１の参照画素の座標位置と対応する座標位置の第２の参照画素の画素値に基づき、前記第１の着目画素と対応する第２の着目画素の画素値を決定することを特徴とするプログラム。