JP2018014137A - 画像処理装置 - Google Patents

Abstract

【課題】 画像から被写体を容易に特定する。
【解決手段】 本発明の画像処理装置は、入力された画像を区分した複数の領域を、画像を構成する複数の部分領域として設定する領域設定部と、画像に関連付けられた深度情報に基づいて、複数の部分領域を結合する領域結合部と、結合された部分領域毎に画像を分割する分割部と、を備えたことを特徴とする。
【選択図】 図７

Description

本発明は、画像処理装置に関する。

従来、エッジ抽出処理など画像における特徴量を求めることで、画像に含まれる被写体の領域を特定し、特定された被写体の領域と、他の領域とを分割する方法が考案されている。また、この他に、画像に含まれる被写体の深度情報を利用して画像を分割することも考案されている（特許文献１参照）。

特開２００６−６７５２１号公報

しかしながら、特許文献１に記載された方法では、深度情報に応じて画像を分割することはできるものの、分割された領域から被写体の領域を特定することは困難である。また、仮に、深度情報とエッジ抽出処理などにより得られる特徴量の情報との双方を用いて画像を複数の領域に分割することで、最終的に被写体形状を特定することも考えられるが、この方法では、演算負荷が大きく合理的ではない。

本発明は、画像から被写体を容易に特定することができるようにした画像処理装置を提供することを目的とする。

上述した課題を解決するために、本発明の画像処理装置は、入力された画像を区分した複数の領域を、前記画像を構成する複数の部分領域として設定する領域設定部と、前記画像に関連付けられた深度情報に基づいて、前記複数の部分領域を結合する領域結合部と、結合された前記部分領域毎に前記画像を分割する分割部と、を備えたことを特徴とする。

本発明は、画像から被写体を容易に特定することができる。

画像処理装置の構成を示すブロック図である。 領域設定部の構成を示すブロック図である。 重み付きグラフの一例を示す図である。 領域分割処理の流れを示すフローチャートである。 部分領域を設定する処理の流れを示すフローチャートである。 部分領域を結合する処理の流れを示すフローチャートである。 領域分割処理の流れを示す説明図である。 撮像装置の構成を示すブロック図である。

以下、本実施形態における画像処理装置の構成について説明する。図１に示すように、画像処理装置１０は、色空間変換部１５、解像度変換部１６、領域設定部１７、深度情報取得部１８、領域結合部１９及び領域分割部２０を備えている。色空間変換部１５は、入力される画像データの色空間をＲＧＢ色空間からＹＣｂＣｒ色空間に変換する。解像度変換部１６は、ＹＣｂＣｒ色空間に変換された画像データの解像度を変換する処理（以下、解像度変換処理）を実行する。この解像度変換処理により、例えば６４０×４８０画素の画像サイズの画像データが生成される。なお、解像度変換処理により生成される画像データを、６４０×４８０画素の画像サイズの画像データとしているが、これに限定される必要はなく、適宜設定してよい。

領域設定部１７は、解像度変換処理が施された画像データに基づく画像を複数の領域に区分し、区分した各領域を部分領域として設定する。ここで、部分領域を設定する方法としては、解像度変換処理が施された画像データを用いた重み付きグラフを作成し、作成した重み付きグラフを使用して最小全域木を求める方法が挙げられる。以下、作成した重み付きグラフを用いて最小全域木を求める方法について説明するが、これに限定される必要はなく、例えば対象となる画素の色情報と隣接する画素の色情報とが同一の色情報又は近似する色情報となる場合に、これら画素を類似画素としてまとめた画素群をそれぞれ、部分領域としてそれぞれ設定してもよい。

深度情報取得部１８は、画像データの付帯情報から、画像取得時におけるＡＦエリア毎の深度情報を取得する。ここで、入力される画像データは、撮像装置において設定されるＡＦエリアのデフォーカス量の情報を付帯情報として有している。そこで、深度情報取得部１８は、画像データの付帯情報からＡＦエリア毎のデフォーカス量の情報を深度情報として読み出す。なお、このＡＦエリアは撮影範囲に対して予め複数設定されている。

なお、深度情報としてＡＦエリア毎のデフォーカス量の情報を挙げているが、例えば被写体距離を測定することが可能な撮像装置の場合には、焦点が合う被写体までの距離を測定したときの距離情報が付帯情報として画像データに記憶されている。このような場合には、深度情報取得部１８は、焦点が合う被写体までの距離情報と、ＡＦエリア毎のデフォーカス量の情報とを画像データから読み出し、読み出した情報から、撮影時におけるＡＦエリア毎の深度情報を求めてもよい。

また、深度情報取得部１８はＡＦエリア毎のデフォーカス量の情報を取得しているが、これに限定する必要はなく、画像内の各位置における深度情報をまとめた深度マップ（Ｄｅｐｔｈ ＭＡＰ）を生成することも可能である。

領域結合部１９は、深度情報取得部１８により取得されたＡＦエリア毎のデフォーカス量の情報に基づいて、領域設定部１７にて設定された複数の部分領域を結合する。領域結合部１９は、複数の部分領域のうち、各ＡＦエリアが重畳される部分領域に対して、デフォーカス量の情報を割り当てる。この処理の後、領域結合部１９は、割り当てたデフォーカス量の情報を用いて複数の部分領域を結合する。ここで、ＡＦエリア毎のデフォーカス量の情報は、複数の部分領域の一部にしか割り当てることができない。そこで、領域結合部１９は、対象となる部分領域と隣接する部分領域とにデフォーカス量の情報がそれぞれ割り当てられているか否かを判定する。そして、領域結合部１９は、これら部分領域の双方に対してデフォーカス量の情報が割り当てられていると判定した場合に、これら部分領域に割り当てられたデフォーカス量の情報を用いて領域を結合するか否かを判定する。一方、対象となる部分領域と隣接する部分領域との少なくとも一方にデフォーカス量の情報が割り当てられていない場合には、領域結合部１９は、対象となる部分領域と、該部分領域に隣接する部分領域とのそれぞれの特徴量（輝度値、色成分値、周波数成分値など）を比較することで、部分領域を結合する。以下、結合された部分領域を結合領域と称する。

領域分割部２０は、結合処理により生成された結合領域に基づいて、入力された画像データに対する領域分割処理を実行する。

次に、領域設定部１７の構成について説明する。図２に示すように、領域設定部１７は、グラフ生成部２５、最小全域木生成部２６、パラメータ設定部２７を備えている。グラフ生成部２５は、解像度変換処理が施された画像データを用いて、画像データに基づく画像の各画素をノード（頂点）、隣接する画素間をエッジ（辺）とした重み付きグラフを生成する。グラフ生成部２５は、画素間のエッジの重みとして隣接する画素の画素値の差分を算出する。なお、画素の画素値としては、例えば輝度値、色成分値などが挙げられる。以下、画素の画素値として輝度値を例に挙げて説明する。なお、図３は、画像データに基づいて生成された重み付きグラフの一例である。ここで、図３中、Ｎ（１，１）〜Ｎ（６，５）はノード、記号ｅはエッジを示している。

最小全域木生成部２６は、グラフ生成部２５によって生成された重み付きグラフを用いて最小全域木を生成する。この最小全域木を生成する手法として、例えば“Efficient Graph-Based Image Segmentation”P.Felzenszwalb, D.Huttenlocher(2004)，International Journal of Computer Vision,59 167-181の手法が挙げられる。この手法は、例えばクラスカル法を用いて実行される。上述した手法は、重み付きグラフＧ（Ｖ，Ｅ）の各エッジの重みｗ（ｅ）のうち、最小となる重みｗ（ｅ）を１つ選択し、エッジが結ぶ２つのノードのそれぞれが含まれるコンポーネントを結合するか否かを判定する。この判定は、後述するセグメンテーションの基準Ｄ（Ｃ_１，Ｃ_２）の評価を行うことで実行される。この判定をエッジの重みｗ（ｅ）の低い順に、全てのエッジの重みｗ（ｅ）に対して繰り返し実行する。この処理の後に、コンポーネントにおける最小全域木が閉路となるエッジがあるか否かが判定される。上述したエッジが結ぶ２つのノードのそれぞれが含まれるコンポーネントを結合するか否かの判定を行うことで、一定サイズ以下の微小なコンポーネントが他のコンポーネントに結合される。なお、重み付きグラフの最小全域木を求める手法としてクラスカル法を用いているが、これに限定される必要はなく、プリム法など、他の手法を用いることも可能である。

以下、セグメンテーションの基準Ｄ（Ｃ_１，Ｃ_２）の評価について説明する。ｖ∈Ｖは各画素に対応する重み付きグラフのノードであり、ｅ∈Ｅは隣接する画素間に対して定義したノード間のエッジである。コンポーネントとして領域Ｃを考慮した場合、領域Ｃ内の相違性をＩｎｔ（Ｃ）とすると、Ｉｎｔ（Ｃ）は（１）式で定義される。

ＭＳＴ（Ｃ，Ｅ）は領域Ｃ内の最小全域木におけるエッジを示す。

次に、２つの領域Ｃ_１、Ｃ_２間の相違性をＤｉｆ（Ｃ_１，Ｃ_２）とすると、Ｄｉｆ（Ｃ_１，Ｃ_２）は、（２）式で定義される。

２つの領域Ｃ_１、Ｃ_２間におけるセグメンテーションの基準Ｄ（Ｃ_１，Ｃ_２）は、以下の（３）式、（４）式で定義される。

ここで、τ（Ｃ）は係数であり、係数τ（Ｃ）は、パラメータ設定部により設定される値である。この係数τ（Ｃ）は、コンポーネントの面積が小さいほど大きい値となる。つまり、領域Ｃが小さいほど、Ｍ Ｉｎｔ（Ｃ_１，Ｃ_２）の値が大きくなる。その結果、セ
グメンテーションの基準Ｄが「ｆａｌｓｅ」となり、２つの領域が結合されやすくなる。また、係数τ（Ｃ）は、コンポーネントの面積が大きいほど小さい値となる。つまり、領域Ｃが大きいほど、Ｍ Ｉｎｔ（Ｃ_１，Ｃ_２）の値が小さくなる。その結果、セグメンテーションの基準Ｄが「ｔｒｕｅ」となり、２つの領域が結合しにくくなる。

上述したように、領域設定部１７においては、画像データに基づく画像に対して複数の部分領域を設定する必要があることから、Ｍ Ｉｎｔ（Ｃ_１，Ｃ_２）の値が小さくなるように、係数τ（Ｃ）が設定されている。

パラメータ設定部２７は、上述したセグメンテーションの基準Ｄの評価にて使用される係数τ（Ｃ）を設定する。このパラメータ設定部２７は、例えばコンポーネントの面積に応じた係数τ（Ｃ）の値が記載されたテーブルデータを保持している。なお、パラメータ設定部はコンポーメントの面積に応じた係数τ（Ｃ）の値がまとめられたテーブルデータを有する形態としているが、これに限定される必要はなく、算出することも可能である。

次に、画像処理装置１０における領域分割処理の流れを、図４のフローチャートを用いて説明する。

ステップＳ１０１は、色空間変換処理である。色空間変換部１５は、入力された画像データをＲＧＢ色空間で示される画像データからＹＣｂＣｒ色空間で示される画像データに変換する。

ステップＳ１０２は、解像度変換処理である。解像度変換部１６は、ＹＣｂＣｒ色空間の画像データに対して解像度変換処理を施す。これにより、例えば６４０×４８０画素の画像サイズの画像データが生成される。

ステップＳ１０３は、部分領域の設定処理である。領域設定部１７は、解像度変換処理が施された画像データに基づく画像を複数の領域に分類し、分類した各領域を部分領域として設定する。なお、部分領域の設定処理の流れについては、後述する。

ステップＳ１０４は、深度情報の取得処理である。深度情報取得部１８は、画像データの付帯情報からＡＦエリア毎のデフォーカス量の情報を読み出す。

ステップＳ１０５は、部分領域の結合処理である。領域結合部１９は、ステップＳ１０４にて取得されたＡＦエリア毎のデフォーカス量の情報を用いて、ステップＳ１０３にて設定された部分領域を結合する。なお、部分領域の結合処理の流れについては、後述する。

ステップＳ１０６は、領域分割処理である。領域分割部２０は、ステップＳ１０５の結合処理の結果を用いて、画像データに対する領域分割処理を実行する。そして、領域分割処理の結果を、画像データの付帯情報に書き込む。なお、領域分割処理が施された画像データに対して画像補正処理を行う場合には、付帯情報から領域分割処理の結果を示す情報を読み出せばよい。

次に、ステップＳ１０３における部分領域の設定処理の詳細について、図５のフローチャートを用いて説明する。

ステップＳ２０１は、重み付きグラフを作成する処理である。グラフ生成部２５は、解像度変換された画像データを用いて、各画素をノード、各画素間をエッジとした重み付きグラフを生成する。この際に、グラフ生成部２５は、各画素の画素値の差分をエッジの重みｗ（ｅ）として算出する。

ステップＳ２０２は、エッジの重みｗ（ｅ）の最小値を選択する処理である。最小全域木生成部２６は、生成された重み付きグラフを参照して、選択対象として設定される各エッジの重みｗ（ｅ）の最小値を選択する。ここで、１回目の処理においては、全てのエッジの重みｗ（ｅ）が選択対象となる。また、２回目以降の処理では、先に実行されたステップＳ２０２の処理において選択されたエッジの重みｗ（ｅ）と、後述するステップＳ２０８により選択対象外として設定されたエッジの重みｗ（ｅ）とを除いた、残りのエッジの重みｗ（ｅ）が選択対象となる。

ステップＳ２０３は、係数τ（Ｃ）を設定する処理である。パラメータ設定部２７は、テーブルデータを読み出す。そして、パラメータ設定部２７は、対象となるコンポーネントの面積に基づいた係数τ（Ｃ）をテーブルデータから選択し、選択した係数τ（Ｃ）をセグメンテーション基準Ｄ（Ｃ_ｉ，Ｃ_ｊ）の評価時に用いる係数τ（Ｃ）として設定する。

ステップＳ２０４は、セグメンテーション基準Ｄ（Ｃ_ｉ，Ｃ_ｊ）を評価する処理である。最小全域木生成部１４は、上述した（３）式及び（４）式を用いてセグメンテーション基準Ｄ（Ｃ_ｉ，Ｃ_ｊ）を評価する。この際に、パラメータ設定部２７により設定された係数τ（Ｃ）が使用される。

ステップＳ２０５は、評価が「ｆａｌｓｅ」となるか否かを判定する処理である。ステップＳ２０４において、セグメンテーション基準Ｄ（Ｃ_ｉ，Ｃ_ｊ）の評価が「ｆａｌｓｅ」であるとき、最小全域木生成部２６はステップＳ２０５の判定処理の結果をＹｅｓとする。この場合、ステップＳ２０６に進む。一方、セグメンテーション基準Ｄ（Ｃ_ｉ，Ｃ_ｊ）の評価が「ｔｒｕｅ」であるとき、最小全域木生成部２６はステップＳ２０５の判定処理の結果をＮｏとする。この場合、ステップＳ２０７に進む。

ステップＳ２０６は、コンポーネントを結合する処理である。ステップＳ２０５のセグメンテーション基準の評価により「ｆａｌｓｅ」と判定されている。最小全域木生成部２６は、選択されたエッジの重みｗ（ｅ）が算出されたノード間のエッジを連結する。これにより、コンポーネントＣ_ｉ及びコンポーネントＣ_ｊが一つのコンポーネントとして結合される。

ステップＳ２０７は、コンポーネントに含まれるノード間において連結されていないエッジのうち、その連結時にコンポーネントにおける最小全域木が閉路となるエッジがあるか否かを判定する処理である。最小全域木が閉路となるエッジがある場合には、最小全域木生成部２６は、ステップＳ２０７の判定処理の結果をＹｅｓとする。この場合、ステップＳ２０８に進む。一方、最小全域木が閉路となるエッジがない場合には、最小全域木生成部２６は、ステップＳ２０７の判定処理の結果をＮｏとする。この場合、ステップＳ２０９に進む。

ステップＳ２０８は、選択対象外のエッジを設定する処理である。最小全域木生成部２６は、コンポーネントに含まれるノード間において連結されていないエッジのうち、コンポーネントにおける最小全域木が閉路となるエッジを、ステップＳ２０２の最小の重みｗ（ｅ）を選択する際の対象となるエッジから外す処理を行う。これにより、選択対象外のエッジが設定される。

ステップＳ２０９は、全てのエッジの重みｗ（ｅ）を選択したか否かを判定する処理である。最小全域木生成部２６は、選択対象となるエッジの重みｗ（ｅ）がないか否かを判定する。選択対象となるエッジの重みｗ（ｅ）がない場合には、最小全域木生成部２６は、ステップＳ２０９の判定処理の結果をＹｅｓとする。この場合、図５のフローチャートの処理が終了する。

一方、選択対象となるエッジの重みｗ（ｅ）がある場合には、最小全域木生成部２６は、ステップＳ２０９の判定処理の結果をＮｏとして、ステップＳ２０２に戻る。つまり、ステップＳ２０９の判定処理により選択対象となるエッジの重みｗ（ｅ）が全て選択されていないと判定された場合には、選択対象となるエッジの重みｗ（ｅ）が全て選択されたと判定されるまで、ステップＳ２０２〜ステップＳ２０８の処理が繰り返し実行される。この図５のフローチャートの処理が実行されることで、入力された画像データに対して複数の部分領域が設定される。

次に、部分領域を結合する処理について、図６のフローチャートを用いて説明する。

ステップＳ３０１は、部分領域に対してデフォーカス量の情報を割り当てる処理である。領域結合部１９は、画像データの付帯情報から、ＡＦエリア毎のデフォーカス量の情報を読み出す。そして、領域結合部１９は、設定された複数の部分領域のうち、ＡＦエリアが重畳される部分領域に対して、読み出したデフォーカス量の情報を割り当てる。

ステップＳ３０２は、対象となる部分領域を選択する処理である。領域結合部１９は、複数の部分領域から１つの部分領域を選択する。

ステップＳ３０３は、対象となる部分領域と、該部分領域に隣接する領域のそれぞれに対してデフォーカス量の情報が割り当てられているかを判定する処理である。上述したように、ステップＳ３０１の処理を行うことで、領域結合部１９は、ＡＦエリアに重畳される部分領域に対してデフォーカス量の情報を割り当てている。まず、領域結合部１９は、対象とする部分領域と隣接する領域とのそれぞれにデフォーカス量の情報が割り当てられているかを判定する。ここで、隣接する領域としては、部分領域の他に、結合領域が挙げられる。

例えば、対象となる部分領域に隣接する領域が部分領域となる場合、領域結合部１９は、これら部分領域のそれぞれに対してデフォーカス量の情報が割り当てられているか否かを判定する。部分領域のそれぞれに対してデフォーカス量の情報が割り当てられたと判定された場合、領域結合部１９はステップＳ３０３の判定結果をＹｅｓとする。この場合、ステップＳ３０４に進む。一方、対象となる部分領域と、隣接する部分領域との少なくともいずれか一方の領域に対してデフォーカス量の情報が割り当てられていない場合、領域結合部１９は、ステップＳ３０３の判定結果をＮｏとする。この場合、ステップＳ３０６に進む。なお、対象となる部分領域に隣接する領域が結合領域となる場合も、同様の処理が実行される。

ステップＳ３０４は、デフォーカス量の情報が近似しているか否かを判定する処理である。上述したように、対象とする部分領域と隣接する領域とのいずれかにデフォーカス量の情報が割り当てられている場合に、このステップＳ３０４の処理が実行される。領域結合部１９は、対象となる部分領域のデフォーカス量の情報と隣接する領域のデフォーカス量の情報とを読み出す。そして、領域結合部１９は、読み出した部分領域のデフォーカス量の情報を比較する。例えば対象となる部分領域のデフォーカス量と隣接する領域のデフォーカス量との差分が所定範囲以内となる場合、領域結合部１９は、これら領域のデフォーカス量の情報が近似すると判定する。この場合、ステップＳ３０４の判定処理の結果はＹｅｓとなり、ステップＳ３０５に進む。一方、対象となる部分領域のデフォーカス量と隣接する領域のデフォーカス量との差分が所定範囲を越える場合、領域結合部１９は、これら領域のデフォーカス量の情報が近似していないと判定する。この場合、ステップＳ３０４の判定処理の結果はＮｏとなり、ステップＳ３０８に進む。ここで、所定範囲は、予め設定される値である。なお、対象とする部分領域と隣接する領域とのいずれかにデフォーカス量の情報が割り当てられている場合について説明しているが、これに限定される必要はなく、対象とする部分領域と隣接する領域とのそれぞれにデフォーカス量の情報が割り当てられている場合であってもよい。

ステップＳ３０５は、領域を結合する処理である。このステップＳ３０５は、ステップＳ３０４の判定処理の結果がＹｅｓとなる場合に実行される。領域結合部１９は、対象となる部分領域と隣接する領域とを結合する。そして、領域結合部１９は生成された結合領域に対して、デフォーカス量の情報を新たに割り当てる。例えば結合前のそれぞれの領域に対してデフォーカス量の情報が割り当てられている場合、領域結合部１９は、これら領域に割り当てられたデフォーカス量の情報の平均を新たなデフォーカス量の情報として結合領域に割り当てる。また、例えば結合前のそれぞれの領域のうち、いずれか一方に対してデフォーカス量の情報が割り当てられている場合には、割り当てられていたデフォーカス量の情報を結合領域に割り当てる。このステップＳ３０５の処理が行われると、ステップＳ３０７に進む。

上述したステップＳ３０３の判定処理の結果がＮｏとなる場合には、ステップＳ３０６に進む。

ステップＳ３０６は、領域毎の特徴量を取得する処理である。領域結合部１９は、対象となる部分領域と、対象領域に隣接する、デフォーカス情報の割り当てがされていない領域とのそれぞれの領域における特徴量を取得する。

ステップＳ３０７は、取得された特徴量が近似しているか否かを判定する処理である。例えば、ステップＳ３０６の処理で取得された特徴量が近似している場合には、領域結合部１９は、ステップＳ３０７の判定処理の結果をＹｅｓとする。この場合、ステップＳ３０５に進む。この場合、ステップＳ３０５の処理が実行され、対象となる部分領域と隣接する部分領域とが結合される。一方、取得された特徴量が近似していない場合には、領域結合部１９は、ステップＳ３０７の判定処理の結果をＮｏとする。この場合、ステップＳ３０８に進む。

ステップＳ３０８は、全ての部分領域に対して処理を行ったか否かを判定する処理である。全ての部分領域に対して、ステップＳ３０２〜ステップＳ３０７の処理を行った場合、領域結合部１９はステップＳ３０８の判定処理の結果をＹｅｓとする。この場合、図６のフローチャートの処理が終了する。一方、全ての部分領域に対してステップＳ３０２〜ステップＳ３０７の処理を行っていない場合には、領域結合部１９は、ステップＳ３０８の判定処理の結果をＮｏとする。この場合、ステップＳ３０２に戻り、ステップＳ３０２〜ステップＳ３０７の処理が、全ての部分領域に対して実行されるまで繰り返し実行される。

例えば風景を背景として人物を撮影した場合について図７を用いて説明する。図７（ａ）は、撮影により得られた画像の一例である。この画像が画像処理装置１０に入力されると、上述したステップＳ１０１における色空間変換処理、ステップＳ１０２における解像度変換処理が実行される。これら処理の後、ステップＳ１０３における部分領域の設定処理が実行される。図７（ｂ）は、画像に対して設定された部分領域の一例である。ここで、撮影を行った場合には、得られる画像に対して、ＡＦエリア３１毎のデフォーカス量が付帯情報として記憶される。図７（ｃ）は、同図中に矩形で示されるＡＦエリア３１の位置と画像との関係を示している。なお、ＡＦエリアを、画像中紙面横方向に５カ所、縦方向に４カ所の計２０カ所設けた場合を示しているが、図７（ｃ）はＡＦエリアの一例を示しているに過ぎないので、ＡＦエリアの配置や個数については、本実施形態に限定されるものではない。

そこで、ステップＳ３０１の処理において、部分領域に対してデフォーカス量の情報を割り当てる処理が実行される。つまり、図７（ｄ）においては、ＡＦエリアが重畳される部分領域に対して、デフォーカス量の情報が割り当てられる。

このデフォーカス量の割り当ての後、上述したステップＳ３０２〜ステップＳ３０７の処理が実行され、対象となる部分領域と、該部分領域に隣接する領域とが結合される。この領域の結合する処理を行う際に、対象となる部分領域と該部分領域に隣接する領域との両方にデフォーカス量の情報が割り当てられている場合には、割り当てられたデフォーカス量が近似しているか否かを判定する。そして、デフォーカス量が近似している場合に、対象となる部分領域と隣接する領域とが結合される。一方、デフォーカス量が近似していない場合には、部分領域と、隣接する領域との結合は行われない。

また、必ずしも、画像に対して設定された部分領域の全てに対してＡＦエリアが重畳されていない。このような場合には、デフォーカス量の情報ではなく、対象となる部分領域と、隣接する領域とのそれぞれで特徴量を取得する。そして、取得された特徴量が近似した場合に、対象となる部分領域と隣接する領域とを結合する。このようにして、各部分領域と隣接する領域とが結合されていく。図７（ｅ）は、各部分領域を結合した結果を示し
ている。この場合には、地面の領域、山及び空の領域、人物の領域の４つの結合領域が生成されている。この結合領域に基づいて、画像処理装置１０は、画像に対する領域分割処理を行う。

このように、本実施形態では、予め設定した領域（部分領域及び結合領域）を結合する際にデフォーカス量の情報を用いて領域を結合し、デフォーカス量の情報が割り当てられていない領域の場合に、その領域に対する特徴量を求める。これによれば、各領域に対して特徴量を求める処理を最低限に抑えることができるので、画像を各領域に分割する際の処理負荷を抑えることができる。

また、各領域から得られる特徴量を用いて各領域を結合する場合、特徴量が近似しているだけで領域が結合されてしまうことから、実際に画像が取得されたときの、被写体毎の位置関係が考慮されていないことになる。本発明においては、撮影時のＡＦエリアにおけるデフォーカス量を用いて領域を結合することで、まず、深度情報に準じて領域を結合し、必要に応じて、特徴量に基づいて領域を結合させるか否かを判定している。これによれば、実際に画像が取得されたときの被写体毎の位置関係を加味しながら、画像を複数の領域に分割することができる。

上述した実施形態において説明した部分領域を結合する処理は、その一例を示すものであり、これに限定される必要はない。例えば隣接する部分領域を対象にするのではなく、隣り合うＡＦエリアを対象にし、この隣り合うＡＦエリアにおけるデフォーカス量の情報が近似するか否かを判定し、デフォーカス量の情報が近似する場合に、ＡＦエリアが重畳される部分領域を結合することも可能である。この判定で隣り合うＡＦエリアにおけるデフォーカス量の情報が近似する場合、これらＡＦエリアが重畳される部分領域が隣接していれば、領域結合部１９は、これら部分領域をそのまま結合する。一方、２つの部分領域の間に他の部分領域が位置している場合には、領域結合部１９は２つの部分領域の間に位置する他の部分領域のデフォーカス量の情報が、これら２つの部分領域と同じデフォーカス量の情報を有していると推定し、２つの部分領域と、これら部分領域間に位置する部分領域を結合する。

ここで、２つの部分領域の間に他の部分領域が含まれる場合、他の部分領域のデフォーカス量の情報が、２つの部分領域のデフォーカス量の情報と異なる場合もあることから、このような不具合を防止する方法として、２つの部分領域と、これら部分領域間に位置する他の部分領域とのそれぞれで特徴量を取得し、これら２つの部分領域のいずれかと、他の部分領域との特徴量が近似する場合に、近似する部分領域を結合すればよい。このように部分領域を結合することで、デフォーカス量の情報が割り振られた部分領域が離散している場合であっても、部分領域の結合を適切に実行することが可能となる。

一方、２つの部分領域に割り当てられたデフォーカス量の情報が近似していないと判定した場合に、領域結合部１９は、２つの部分領域と、これら部分領域間に位置する他の部分領域との特徴量を取得し、特徴量が近似する部分領域を結合していけばよい。

本実施形態では、画像処理装置１０の例を取り上げているが、これに限定される必要はなく、本発明の画像処理装置を備えた撮像装置であってもよい。図８は、本発明の画像処理装置を備えた撮像装置の機能ブロック図である。撮像装置５０は、撮像光学系５１、撮像素子５２、Ａ／Ｄ変換部５３、タイミングジェネレータ（ＴＧ）５４、バッファメモリ５５、画像処理装置５６、表示制御回路５７、表示装置５８、接続用Ｉ／Ｆ５９、ＣＰＵ６０、内蔵メモリ６１、レリーズボタン６２、設定操作部６３及び焦点検出部６４などを備えている。Ａ／Ｄ変換部５３、バッファメモリ５５、画像処理装置５６、表示制御回路５７、接続用Ｉ／Ｆ５９、ＣＰＵ６０及び内蔵メモリ６１は、バス６５により電気的に接続される。

ここで、上述した焦点検出部６４は、撮像光学系５１により取り込まれた被写体光を受光することで、被写体光の輝度、又はコントラストを検出する。なお、この焦点検出部６４においては、予め画像範囲に対して焦点検出位置（フォーカスポイント）を中心にした所定の領域がＡＦエリアとして複数設定されている。よって、この焦点検出部６４においては、設定されるＡＦエリアにおける被写体の輝度、コントラストを検出している。そして、焦点検出部６４は検出した信号をＣＰＵ６０に出力する。ＣＰＵ６０は、入力される検出信号に基づいてＡＦエリア毎のデフォーカス量を焦点評価値として算出する。

なお、図８に示す撮像装置においては、撮像素子５２とは別に焦点検出部６４を設けた実施形態としているが、例えば焦点検出用の画素を、処理対象となる画像を撮像する撮像面に備えた撮像素子を用いる撮像装置の場合には、焦点検出用の画素からの出力値によってＡＦエリア毎のデフォーカス量を求めることができるので、図８に示す焦点検出部６４を設ける必要はない。

この撮像装置５０に設けられる画像処理装置５６は、画素補間処理、ホワイトバランス処理、階調変換処理、輪郭強調処理などの画像処理を行う。そして、画像処理装置５６は、図１に示す色空間変換部１５、解像度変換部１６、領域設定部１７、深度情報取得部１８、領域結合部１９及び領域分割部２０の機能を備えている。この場合、領域分割処理を実施する画像は、撮像素子５２から出力される画像であってもよいし、記録用Ｉ／Ｆ５９に接続された記憶媒体６６に記憶された画像であってもよい。さらに、画像としては、レリーズボタン６２の操作に基づいて実行される撮像処理により得られる静止画像、動画像の他、記録用の画像の撮影が行われていない予備撮影の際に取り込まれる画像（スルー画像）が挙げられる。

この撮像装置５０において画像処理装置５６における領域分割処理は、撮影により得られた画像に対する領域毎の画像補正の際に実行される。また、撮影時に被写体を追尾する処理を実行する場合には、スルー画像に対して上述した領域分割処理が実行される。この被写体を追尾する処理を実行する場合には、領域分割処理により用いた深度情報によって、焦点が合うＡＦエリアが特定されているので、分割された領域のうち、焦点の合うＡＦエリアが含まれる領域を被写体の領域として、被写体を追尾する処理を実行すればよい。

本実施形態では画像処理装置１０を例に取り上げて説明しているが、上述した撮像装置の他に、図１に示す画像処理装置１０の色空間変換部１５、解像度変換部１６、領域設定部１７、深度情報取得部１８、領域結合部１９及び領域分割部２０の機能や、図４〜図６に示すフローチャートの処理をコンピュータにて実行させることが可能な画像処理プログラムであってもよい。なお、この画像プログラムは、例えばメモリカード、光学ディスク、磁気ディスクなどコンピュータにて読み取ることが可能な記憶媒体に記憶されていることが好ましい。

１０，５６…画像処理装置、１５…色空間変換部、１６…解像度変換部、１７…領域設定部、１８…深度情報取得部、１９…領域結合部、２０…領域分割部、５０…撮像装置、５１…撮像光学系、５２…撮像素子

Claims (1)

1. 入力された画像を区分した複数の領域を、前記画像を構成する複数の部分領域として設定する領域設定部と、
   前記画像に関連付けられた深度情報に基づいて、前記複数の部分領域を結合する領域結合部と、
   結合された前記部分領域毎に前記画像を分割する分割部と、
   を備えたことを特徴とする画像処理装置。