JP2014167695A - 画像処理装置、撮像装置及び画像処理プログラム - Google Patents

画像処理装置、撮像装置及び画像処理プログラム Download PDF

Info

Publication number
JP2014167695A
JP2014167695A JP2013039031A JP2013039031A JP2014167695A JP 2014167695 A JP2014167695 A JP 2014167695A JP 2013039031 A JP2013039031 A JP 2013039031A JP 2013039031 A JP2013039031 A JP 2013039031A JP 2014167695 A JP2014167695 A JP 2014167695A
Authority
JP
Japan
Prior art keywords
image
region
partial
area
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013039031A
Other languages
English (en)
Other versions
JP6225432B2 (ja
Inventor
Keiichi Nitta
啓一 新田
Ikuya Saito
郁哉 斎藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2013039031A priority Critical patent/JP6225432B2/ja
Publication of JP2014167695A publication Critical patent/JP2014167695A/ja
Application granted granted Critical
Publication of JP6225432B2 publication Critical patent/JP6225432B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 画像から被写体を容易に特定する。
【解決手段】 本発明の画像処理装置は、入力された画像を区分した複数の領域を、画像を構成する複数の部分領域として設定する領域設定部と、画像に関連付けられた深度情報に基づいて、複数の部分領域を結合する領域結合部と、結合された部分領域毎に画像を分割する分割部と、を備えたことを特徴とする。
【選択図】 図7

Description

本発明は、画像処理装置、撮像装置及び画像処理プログラムに関する。
従来、エッジ抽出処理など画像における特徴量を求めることで、画像に含まれる被写体の領域を特定し、特定された被写体の領域と、他の領域とを分割する方法が考案されている。また、この他に、画像に含まれる被写体の深度情報を利用して画像を分割することも考案されている(特許文献1参照)。
特開2006−67521号公報
しかしながら、特許文献1に記載された方法では、深度情報に応じて画像を分割することはできるものの、分割された領域から被写体の領域を特定することは困難である。また、仮に、深度情報とエッジ抽出処理などにより得られる特徴量の情報との双方を用いて画像を複数の領域に分割することで、最終的に被写体形状を特定することも考えられるが、この方法では、演算負荷が大きく合理的ではない。
本発明は、画像から被写体を容易に特定することができるようにした画像処理装置、撮像装置及び画像処理プログラムを提供することを目的とする。
上述した課題を解決するために、本発明の画像処理装置は、入力された画像を区分した複数の領域を、前記画像を構成する複数の部分領域として設定する領域設定部と、前記画像に関連付けられた深度情報に基づいて、前記複数の部分領域を結合する領域結合部と、結合された前記部分領域毎に前記画像を分割する分割部と、を備えたことを特徴とする。
また、本発明の撮像装置は、被写体光を取り込む撮像光学系と、前記撮像光学系により取り込まれた被写体光を受光することで画像を取得する撮像素子と、前記画像に対して設定された複数の焦点検出位置における焦点状態を検出する焦点検出部と、上記記載の画像処理装置と、を備えたことを特徴とする。
また、本発明の画像処理プログラムは、入力された画像を区分した複数の領域を、前記画像を構成する複数の部分領域として設定する領域設定工程と、前記画像に関連付けられた深度情報に基づいて、前記複数の部分領域を結合する領域結合工程と、結合された前記部分領域毎に前記画像を分割する分割工程と、をコンピュータに実行させることが可能なものである。
本発明は、画像から被写体を容易に特定することができる。
画像処理装置の構成を示すブロック図である。 領域設定部の構成を示すブロック図である。 重み付きグラフの一例を示す図である。 領域分割処理の流れを示すフローチャートである。 部分領域を設定する処理の流れを示すフローチャートである。 部分領域を結合する処理の流れを示すフローチャートである。 領域分割処理の流れを示す説明図である。 撮像装置の構成を示すブロック図である。
以下、本実施形態における画像処理装置の構成について説明する。図1に示すように、画像処理装置10は、色空間変換部15、解像度変換部16、領域設定部17、深度情報取得部18、領域結合部19及び領域分割部20を備えている。色空間変換部15は、入力される画像データの色空間をRGB色空間からYCbCr色空間に変換する。解像度変換部16は、YCbCr色空間に変換された画像データの解像度を変換する処理(以下、解像度変換処理)を実行する。この解像度変換処理により、例えば640×480画素の画像サイズの画像データが生成される。なお、解像度変換処理により生成される画像データを、640×480画素の画像サイズの画像データとしているが、これに限定される必要はなく、適宜設定してよい。
領域設定部17は、解像度変換処理が施された画像データに基づく画像を複数の領域に区分し、区分した各領域を部分領域として設定する。ここで、部分領域を設定する方法としては、解像度変換処理が施された画像データを用いた重み付きグラフを作成し、作成した重み付きグラフを使用して最小全域木を求める方法が挙げられる。以下、作成した重み付きグラフを用いて最小全域木を求める方法について説明するが、これに限定される必要はなく、例えば対象となる画素の色情報と隣接する画素の色情報とが同一の色情報又は近似する色情報となる場合に、これら画素を類似画素としてまとめた画素群をそれぞれ、部分領域としてそれぞれ設定してもよい。
深度情報取得部18は、画像データの付帯情報から、画像取得時におけるAFエリア毎の深度情報を取得する。ここで、入力される画像データは、撮像装置において設定されるAFエリアのデフォーカス量の情報を付帯情報として有している。そこで、深度情報取得部18は、画像データの付帯情報からAFエリア毎のデフォーカス量の情報を深度情報として読み出す。なお、このAFエリアは撮影範囲に対して予め複数設定されている。
なお、深度情報としてAFエリア毎のデフォーカス量の情報を挙げているが、例えば被写体距離を測定することが可能な撮像装置の場合には、焦点が合う被写体までの距離を測定したときの距離情報が付帯情報として画像データに記憶されている。このような場合には、深度情報取得部18は、焦点が合う被写体までの距離情報と、AFエリア毎のデフォーカス量の情報とを画像データから読み出し、読み出した情報から、撮影時におけるAFエリア毎の深度情報を求めてもよい。
また、深度情報取得部18はAFエリア毎のデフォーカス量の情報を取得しているが、これに限定する必要はなく、画像内の各位置における深度情報をまとめた深度マップ(Depth MAP)を生成することも可能である。
領域結合部19は、深度情報取得部18により取得されたAFエリア毎のデフォーカス量の情報に基づいて、領域設定部17にて設定された複数の部分領域を結合する。領域結合部19は、複数の部分領域のうち、各AFエリアが重畳される部分領域に対して、デフォーカス量の情報を割り当てる。この処理の後、領域結合部19は、割り当てたデフォーカス量の情報を用いて複数の部分領域を結合する。ここで、AFエリア毎のデフォーカス量の情報は、複数の部分領域の一部にしか割り当てることができない。そこで、領域結合部19は、対象となる部分領域と隣接する部分領域とにデフォーカス量の情報がそれぞれ割り当てられているか否かを判定する。そして、領域結合部19は、これら部分領域の双方に対してデフォーカス量の情報が割り当てられていると判定した場合に、これら部分領域に割り当てられたデフォーカス量の情報を用いて領域を結合するか否かを判定する。一方、対象となる部分領域と隣接する部分領域との少なくとも一方にデフォーカス量の情報が割り当てられていない場合には、領域結合部19は、対象となる部分領域と、該部分領域に隣接する部分領域とのそれぞれの特徴量(輝度値、色成分値、周波数成分値など)を比較することで、部分領域を結合する。以下、結合された部分領域を結合領域と称する。
領域分割部20は、結合処理により生成された結合領域に基づいて、入力された画像データに対する領域分割処理を実行する。
次に、領域設定部17の構成について説明する。図2に示すように、領域設定部17は、グラフ生成部25、最小全域木生成部26、パラメータ設定部27を備えている。グラフ生成部25は、解像度変換処理が施された画像データを用いて、画像データに基づく画像の各画素をノード(頂点)、隣接する画素間をエッジ(辺)とした重み付きグラフを生成する。グラフ生成部25は、画素間のエッジの重みとして隣接する画素の画素値の差分を算出する。なお、画素の画素値としては、例えば輝度値、色成分値などが挙げられる。以下、画素の画素値として輝度値を例に挙げて説明する。なお、図3は、画像データに基づいて生成された重み付きグラフの一例である。ここで、図3中、N(1,1)〜N(6,5)はノード、記号eはエッジを示している。
最小全域木生成部26は、グラフ生成部25によって生成された重み付きグラフを用いて最小全域木を生成する。この最小全域木を生成する手法として、例えば“Efficient Graph-Based Image Segmentation” P.Felzenszwalb, D.Huttenlocher(2004),International Journal of Computer Vision,59 167-181の手法が挙げられる。この手法は、例えばクラスカル法を用いて実行される。上述した手法は、重み付きグラフG(V,E)の各エッジの重みw(e)のうち、最小となる重みw(e)を1つ選択し、エッジが結ぶ2つのノードのそれぞれが含まれるコンポーネントを結合するか否かを判定する。この判定は、後述するセグメンテーションの基準D(C,C)の評価を行うことで実行される。この判定をエッジの重みw(e)の低い順に、全てのエッジの重みw(e)に対して繰り返し実行する。この処理の後に、コンポーネントにおける最小全域木が閉路となるエッジがあるか否かが判定される。上述したエッジが結ぶ2つのノードのそれぞれが含まれるコンポーネントを結合するか否かの判定を行うことで、一定サイズ以下の微小なコンポーネントが他のコンポーネントに結合される。なお、重み付きグラフの最小全域木を求める手法としてクラスカル法を用いているが、これに限定される必要はなく、プリム法など、他の手法を用いることも可能である。
以下、セグメンテーションの基準D(C,C)の評価について説明する。v∈Vは各画素に対応する重み付きグラフのノードであり、e∈Eは隣接する画素間に対して定義したノード間のエッジである。コンポーネントとして領域Cを考慮した場合、領域C内の相違性をInt(C)とすると、Int(C)は(1)式で定義される。
MST(C,E)は領域C内の最小全域木におけるエッジを示す。
次に、2つの領域C、C間の相違性をDif(C,C)とすると、Dif(C,C)は、(2)式で定義される。
2つの領域C、C間におけるセグメンテーションの基準D(C,C)は、以下の(3)式、(4)式で定義される。
ここで、τ(C)は係数であり、係数τ(C)は、パラメータ設定部により設定される値である。この係数τ(C)は、コンポーネントの面積が小さいほど大きい値となる。つまり、領域Cが小さいほど、M Int(C,C)の値が大きくなる。その結果、セグメンテーションの基準Dが「false」となり、2つの領域が結合されやすくなる。また、係数τ(C)は、コンポーネントの面積が大きいほど小さい値となる。つまり、領域Cが大きいほど、M Int(C,C)の値が小さくなる。その結果、セグメンテーションの基準Dが「true」となり、2つの領域が結合しにくくなる。
上述したように、領域設定部17においては、画像データに基づく画像に対して複数の部分領域を設定する必要があることから、M Int(C,C)の値が小さくなるように、係数τ(C)が設定されている。
パラメータ設定部27は、上述したセグメンテーションの基準Dの評価にて使用される係数τ(C)を設定する。このパラメータ設定部27は、例えばコンポーネントの面積に応じた係数τ(C)の値が記載されたテーブルデータを保持している。なお、パラメータ設定部はコンポーメントの面積に応じた係数τ(C)の値がまとめられたテーブルデータを有する形態としているが、これに限定される必要はなく、算出することも可能である。
次に、画像処理装置10における領域分割処理の流れを、図4のフローチャートを用いて説明する。
ステップS101は、色空間変換処理である。色空間変換部15は、入力された画像データをRGB色空間で示される画像データからYCbCr色空間で示される画像データに変換する。
ステップS102は、解像度変換処理である。解像度変換部16は、YCbCr色空間の画像データに対して解像度変換処理を施す。これにより、例えば640×480画素の画像サイズの画像データが生成される。
ステップS103は、部分領域の設定処理である。領域設定部17は、解像度変換処理が施された画像データに基づく画像を複数の領域に分類し、分類した各領域を部分領域として設定する。なお、部分領域の設定処理の流れについては、後述する。
ステップS104は、深度情報の取得処理である。深度情報取得部18は、画像データの付帯情報からAFエリア毎のデフォーカス量の情報を読み出す。
ステップS105は、部分領域の結合処理である。領域結合部19は、ステップS104にて取得されたAFエリア毎のデフォーカス量の情報を用いて、ステップS103にて設定された部分領域を結合する。なお、部分領域の結合処理の流れについては、後述する。
ステップS106は、領域分割処理である。領域分割部20は、ステップS105の結合処理の結果を用いて、画像データに対する領域分割処理を実行する。そして、領域分割処理の結果を、画像データの付帯情報に書き込む。なお、領域分割処理が施された画像データに対して画像補正処理を行う場合には、付帯情報から領域分割処理の結果を示す情報を読み出せばよい。
次に、ステップS103における部分領域の設定処理の詳細について、図5のフローチャートを用いて説明する。
ステップS201は、重み付きグラフを作成する処理である。グラフ生成部25は、解像度変換された画像データを用いて、各画素をノード、各画素間をエッジとした重み付きグラフを生成する。この際に、グラフ生成部25は、各画素の画素値の差分をエッジの重みw(e)として算出する。
ステップS202は、エッジの重みw(e)の最小値を選択する処理である。最小全域木生成部26は、生成された重み付きグラフを参照して、選択対象として設定される各エッジの重みw(e)の最小値を選択する。ここで、1回目の処理においては、全てのエッジの重みw(e)が選択対象となる。また、2回目以降の処理では、先に実行されたステップS202の処理において選択されたエッジの重みw(e)と、後述するステップS208により選択対象外として設定されたエッジの重みw(e)とを除いた、残りのエッジの重みw(e)が選択対象となる。
ステップS203は、係数τ(C)を設定する処理である。パラメータ設定部27は、テーブルデータを読み出す。そして、パラメータ設定部27は、対象となるコンポーネントの面積に基づいた係数τ(C)をテーブルデータから選択し、選択した係数τ(C)をセグメンテーション基準D(C,C)の評価時に用いる係数τ(C)として設定する。
ステップS204は、セグメンテーション基準D(C,C)を評価する処理である。最小全域木生成部14は、上述した(3)式及び(4)式を用いてセグメンテーション基準D(C,C)を評価する。この際に、パラメータ設定部27により設定された係数τ(C)が使用される。
ステップS205は、評価が「false」となるか否かを判定する処理である。ステップS204において、セグメンテーション基準D(C,C)の評価が「false」であるとき、最小全域木生成部26はステップS205の判定処理の結果をYesとする。この場合、ステップS206に進む。一方、セグメンテーション基準D(C,C)の評価が「true」であるとき、最小全域木生成部26はステップS205の判定処理の結果をNoとする。この場合、ステップS207に進む。
ステップS206は、コンポーネントを結合する処理である。ステップS205のセグメンテーション基準の評価により「false」と判定されている。最小全域木生成部26は、選択されたエッジの重みw(e)が算出されたノード間のエッジを連結する。これにより、コンポーネントC及びコンポーネントCが一つのコンポーネントとして結合される。
ステップS207は、コンポーネントに含まれるノード間において連結されていないエッジのうち、その連結時にコンポーネントにおける最小全域木が閉路となるエッジがあるか否かを判定する処理である。最小全域木が閉路となるエッジがある場合には、最小全域木生成部26は、ステップS207の判定処理の結果をYesとする。この場合、ステップS208に進む。一方、最小全域木が閉路となるエッジがない場合には、最小全域木生成部26は、ステップS207の判定処理の結果をNoとする。この場合、ステップS209に進む。
ステップS208は、選択対象外のエッジを設定する処理である。最小全域木生成部26は、コンポーネントに含まれるノード間において連結されていないエッジのうち、コンポーネントにおける最小全域木が閉路となるエッジを、ステップS202の最小の重みw(e)を選択する際の対象となるエッジから外す処理を行う。これにより、選択対象外のエッジが設定される。
ステップS209は、全てのエッジの重みw(e)を選択したか否かを判定する処理である。最小全域木生成部26は、選択対象となるエッジの重みw(e)がないか否かを判定する。選択対象となるエッジの重みw(e)がない場合には、最小全域木生成部26は、ステップS209の判定処理の結果をYesとする。この場合、図5のフローチャートの処理が終了する。
一方、選択対象となるエッジの重みw(e)がある場合には、最小全域木生成部26は、ステップS209の判定処理の結果をNoとして、ステップS202に戻る。つまり、ステップS209の判定処理により選択対象となるエッジの重みw(e)が全て選択されていないと判定された場合には、選択対象となるエッジの重みw(e)が全て選択されたと判定されるまで、ステップS202〜ステップS208の処理が繰り返し実行される。この図5のフローチャートの処理が実行されることで、入力された画像データに対して複数の部分領域が設定される。
次に、部分領域を結合する処理について、図6のフローチャートを用いて説明する。
ステップS301は、部分領域に対してデフォーカス量の情報を割り当てる処理である。領域結合部19は、画像データの付帯情報から、AFエリア毎のデフォーカス量の情報を読み出す。そして、領域結合部19は、設定された複数の部分領域のうち、AFエリアが重畳される部分領域に対して、読み出したデフォーカス量の情報を割り当てる。
ステップS302は、対象となる部分領域を選択する処理である。領域結合部19は、複数の部分領域から1つの部分領域を選択する。
ステップS303は、対象となる部分領域と、該部分領域に隣接する領域のそれぞれに対してデフォーカス量の情報が割り当てられているかを判定する処理である。上述したように、ステップS301の処理を行うことで、領域結合部19は、AFエリアに重畳される部分領域に対してデフォーカス量の情報を割り当てている。まず、領域結合部19は、対象とする部分領域と隣接する領域とのそれぞれにデフォーカス量の情報が割り当てられているかを判定する。ここで、隣接する領域としては、部分領域の他に、結合領域が挙げられる。
例えば、対象となる部分領域に隣接する領域が部分領域となる場合、領域結合部19は、これら部分領域のそれぞれに対してデフォーカス量の情報が割り当てられているか否かを判定する。部分領域のそれぞれに対してデフォーカス量の情報が割り当てられたと判定された場合、領域結合部19はステップS303の判定結果をYesとする。この場合、ステップS304に進む。一方、対象となる部分領域と、隣接する部分領域との少なくともいずれか一方の領域に対してデフォーカス量の情報が割り当てられていない場合、領域結合部19は、ステップS303の判定結果をNoとする。この場合、ステップS306に進む。なお、対象となる部分領域に隣接する領域が結合領域となる場合も、同様の処理が実行される。
ステップS304は、デフォーカス量の情報が近似しているか否かを判定する処理である。上述したように、対象とする部分領域と隣接する領域とのいずれかにデフォーカス量の情報が割り当てられている場合に、このステップS304の処理が実行される。領域結合部19は、対象となる部分領域のデフォーカス量の情報と隣接する領域のデフォーカス量の情報とを読み出す。そして、領域結合部19は、読み出した部分領域のデフォーカス量の情報を比較する。例えば対象となる部分領域のデフォーカス量と隣接する領域のデフォーカス量との差分が所定範囲以内となる場合、領域結合部19は、これら領域のデフォーカス量の情報が近似すると判定する。この場合、ステップS304の判定処理の結果はYesとなり、ステップS305に進む。一方、対象となる部分領域のデフォーカス量と隣接する領域のデフォーカス量との差分が所定範囲を越える場合、領域結合部19は、これら領域のデフォーカス量の情報が近似していないと判定する。この場合、ステップS304の判定処理の結果はNoとなり、ステップS308に進む。ここで、所定範囲は、予め設定される値である。なお、対象とする部分領域と隣接する領域とのいずれかにデフォーカス量の情報が割り当てられている場合について説明しているが、これに限定される必要はなく、対象とする部分領域と隣接する領域とのそれぞれにデフォーカス量の情報が割り当てられている場合であってもよい。
ステップS305は、領域を結合する処理である。このステップS305は、ステップS304の判定処理の結果がYesとなる場合に実行される。領域結合部19は、対象となる部分領域と隣接する領域とを結合する。そして、領域結合部19は生成された結合領域に対して、デフォーカス量の情報を新たに割り当てる。例えば結合前のそれぞれの領域に対してデフォーカス量の情報が割り当てられている場合、領域結合部19は、これら領域に割り当てられたデフォーカス量の情報の平均を新たなデフォーカス量の情報として結合領域に割り当てる。また、例えば結合前のそれぞれの領域のうち、いずれか一方に対してデフォーカス量の情報が割り当てられている場合には、割り当てられていたデフォーカス量の情報を結合領域に割り当てる。このステップS305の処理が行われると、ステップS307に進む。
上述したステップS303の判定処理の結果がNoとなる場合には、ステップS306に進む。
ステップS306は、領域毎の特徴量を取得する処理である。領域結合部19は、対象となる部分領域と、対象領域に隣接する、デフォーカス情報の割り当てがされていない領域とのそれぞれの領域における特徴量を取得する。
ステップS307は、取得された特徴量が近似しているか否かを判定する処理である。例えば、ステップS306の処理で取得された特徴量が近似している場合には、領域結合部19は、ステップS307の判定処理の結果をYesとする。この場合、ステップS305に進む。この場合、ステップS305の処理が実行され、対象となる部分領域と隣接する部分領域とが結合される。一方、取得された特徴量が近似していない場合には、領域結合部19は、ステップS307の判定処理の結果をNoとする。この場合、ステップS308に進む。
ステップS308は、全ての部分領域に対して処理を行ったか否かを判定する処理である。全ての部分領域に対して、ステップS302〜ステップS307の処理を行った場合、領域結合部19はステップS308の判定処理の結果をYesとする。この場合、図6のフローチャートの処理が終了する。一方、全ての部分領域に対してステップS302〜ステップS307の処理を行っていない場合には、領域結合部19は、ステップS308の判定処理の結果をNoとする。この場合、ステップS302に戻り、ステップS302〜ステップS307の処理が、全ての部分領域に対して実行されるまで繰り返し実行される。
例えば風景を背景として人物を撮影した場合について図7を用いて説明する。図7(a)は、撮影により得られた画像の一例である。この画像が画像処理装置10に入力されると、上述したステップS101における色空間変換処理、ステップS102における解像度変換処理が実行される。これら処理の後、ステップS103における部分領域の設定処理が実行される。図7(b)は、画像に対して設定された部分領域の一例である。ここで、撮影を行った場合には、得られる画像に対して、AFエリア31毎のデフォーカス量が付帯情報として記憶される。図7(c)は、同図中に矩形で示されるAFエリア31の位置と画像との関係を示している。なお、AFエリアを、画像中紙面横方向に5カ所、縦方向に4カ所の計20カ所設けた場合を示しているが、図7(c)はAFエリアの一例を示しているに過ぎないので、AFエリアの配置や個数については、本実施形態に限定されるものではない。
そこで、ステップS301の処理において、部分領域に対してデフォーカス量の情報を割り当てる処理が実行される。つまり、図7(d)においては、AFエリアが重畳される部分領域に対して、デフォーカス量の情報が割り当てられる。
このデフォーカス量の割り当ての後、上述したステップS302〜ステップS307の処理が実行され、対象となる部分領域と、該部分領域に隣接する領域とが結合される。この領域の結合する処理を行う際に、対象となる部分領域と該部分領域に隣接する領域との両方にデフォーカス量の情報が割り当てられている場合には、割り当てられたデフォーカス量が近似しているか否かを判定する。そして、デフォーカス量が近似している場合に、対象となる部分領域と隣接する領域とが結合される。一方、デフォーカス量が近似していない場合には、部分領域と、隣接する領域との結合は行われない。
また、必ずしも、画像に対して設定された部分領域の全てに対してAFエリアが重畳されていない。このような場合には、デフォーカス量の情報ではなく、対象となる部分領域と、隣接する領域とのそれぞれで特徴量を取得する。そして、取得された特徴量が近似した場合に、対象となる部分領域と隣接する領域とを結合する。このようにして、各部分領域と隣接する領域とが結合されていく。図7(e)は、各部分領域を結合した結果を示している。この場合には、地面の領域、山及び空の領域、人物の領域の4つの結合領域が生成されている。この結合領域に基づいて、画像処理装置10は、画像に対する領域分割処理を行う。
このように、本実施形態では、予め設定した領域(部分領域及び結合領域)を結合する際にデフォーカス量の情報を用いて領域を結合し、デフォーカス量の情報が割り当てられていない領域の場合に、その領域に対する特徴量を求める。これによれば、各領域に対して特徴量を求める処理を最低限に抑えることができるので、画像を各領域に分割する際の処理負荷を抑えることができる。
また、各領域から得られる特徴量を用いて各領域を結合する場合、特徴量が近似しているだけで領域が結合されてしまうことから、実際に画像が取得されたときの、被写体毎の位置関係が考慮されていないことになる。本発明においては、撮影時のAFエリアにおけるデフォーカス量を用いて領域を結合することで、まず、深度情報に準じて領域を結合し、必要に応じて、特徴量に基づいて領域を結合させるか否かを判定している。これによれば、実際に画像が取得されたときの被写体毎の位置関係を加味しながら、画像を複数の領域に分割することができる。
上述した実施形態において説明した部分領域を結合する処理は、その一例を示すものであり、これに限定される必要はない。例えば隣接する部分領域を対象にするのではなく、隣り合うAFエリアを対象にし、この隣り合うAFエリアにおけるデフォーカス量の情報が近似するか否かを判定し、デフォーカス量の情報が近似する場合に、AFエリアが重畳される部分領域を結合することも可能である。この判定で隣り合うAFエリアにおけるデフォーカス量の情報が近似する場合、これらAFエリアが重畳される部分領域が隣接していれば、領域結合部19は、これら部分領域をそのまま結合する。一方、2つの部分領域の間に他の部分領域が位置している場合には、領域結合部19は2つの部分領域の間に位置する他の部分領域のデフォーカス量の情報が、これら2つの部分領域と同じデフォーカス量の情報を有していると推定し、2つの部分領域と、これら部分領域間に位置する部分領域を結合する。
ここで、2つの部分領域の間に他の部分領域が含まれる場合、他の部分領域のデフォーカス量の情報が、2つの部分領域のデフォーカス量の情報と異なる場合もあることから、このような不具合を防止する方法として、2つの部分領域と、これら部分領域間に位置する他の部分領域とのそれぞれで特徴量を取得し、これら2つの部分領域のいずれかと、他の部分領域との特徴量が近似する場合に、近似する部分領域を結合すればよい。このように部分領域を結合することで、デフォーカス量の情報が割り振られた部分領域が離散している場合であっても、部分領域の結合を適切に実行することが可能となる。
一方、2つの部分領域に割り当てられたデフォーカス量の情報が近似していないと判定した場合に、領域結合部19は、2つの部分領域と、これら部分領域間に位置する他の部分領域との特徴量を取得し、特徴量が近似する部分領域を結合していけばよい。
本実施形態では、画像処理装置10の例を取り上げているが、これに限定される必要はなく、本発明の画像処理装置を備えた撮像装置であってもよい。図8は、本発明の画像処理装置を備えた撮像装置の機能ブロック図である。撮像装置50は、撮像光学系51、撮像素子52、A/D変換部53、タイミングジェネレータ(TG)54、バッファメモリ55、画像処理装置56、表示制御回路57、表示装置58、接続用I/F59、CPU60、内蔵メモリ61、レリーズボタン62、設定操作部63及び焦点検出部64などを備えている。A/D変換部53、バッファメモリ55、画像処理装置56、表示制御回路57、接続用I/F59、CPU60及び内蔵メモリ61は、バス65により電気的に接続される。
ここで、上述した焦点検出部64は、撮像光学系51により取り込まれた被写体光を受光することで、被写体光の輝度、又はコントラストを検出する。なお、この焦点検出部64においては、予め画像範囲に対して焦点検出位置(フォーカスポイント)を中心にした所定の領域がAFエリアとして複数設定されている。よって、この焦点検出部64においては、設定されるAFエリアにおける被写体の輝度、コントラストを検出している。そして、焦点検出部64は検出した信号をCPU60に出力する。CPU60は、入力される検出信号に基づいてAFエリア毎のデフォーカス量を焦点評価値として算出する。
なお、図8に示す撮像装置においては、撮像素子52とは別に焦点検出部64を設けた実施形態としているが、例えば焦点検出用の画素を、処理対象となる画像を撮像する撮像面に備えた撮像素子を用いる撮像装置の場合には、焦点検出用の画素からの出力値によってAFエリア毎のデフォーカス量を求めることができるので、図8に示す焦点検出部64を設ける必要はない。
この撮像装置50に設けられる画像処理装置56は、画素補間処理、ホワイトバランス処理、階調変換処理、輪郭強調処理などの画像処理を行う。そして、画像処理装置56は、図1に示す色空間変換部15、解像度変換部16、領域設定部17、深度情報取得部18、領域結合部19及び領域分割部20の機能を備えている。この場合、領域分割処理を実施する画像は、撮像素子52から出力される画像であってもよいし、記録用I/F59に接続された記憶媒体66に記憶された画像であってもよい。さらに、画像としては、レリーズボタン62の操作に基づいて実行される撮像処理により得られる静止画像、動画像の他、記録用の画像の撮影が行われていない予備撮影の際に取り込まれる画像(スルー画像)が挙げられる。
この撮像装置50において画像処理装置56における領域分割処理は、撮影により得られた画像に対する領域毎の画像補正の際に実行される。また、撮影時に被写体を追尾する処理を実行する場合には、スルー画像に対して上述した領域分割処理が実行される。この被写体を追尾する処理を実行する場合には、領域分割処理により用いた深度情報によって、焦点が合うAFエリアが特定されているので、分割された領域のうち、焦点の合うAFエリアが含まれる領域を被写体の領域として、被写体を追尾する処理を実行すればよい。
本実施形態では画像処理装置10を例に取り上げて説明しているが、上述した撮像装置の他に、図1に示す画像処理装置10の色空間変換部15、解像度変換部16、領域設定部17、深度情報取得部18、領域結合部19及び領域分割部20の機能や、図4〜図6に示すフローチャートの処理をコンピュータにて実行させることが可能な画像処理プログラムであってもよい。なお、この画像プログラムは、例えばメモリカード、光学ディスク、磁気ディスクなどコンピュータにて読み取ることが可能な記憶媒体に記憶されていることが好ましい。
10,56…画像処理装置、15…色空間変換部、16…解像度変換部、17…領域設定部、18…深度情報取得部、19…領域結合部、20…領域分割部、50…撮像装置、51…撮像光学系、52…撮像素子

Claims (8)

  1. 入力された画像を区分した複数の領域を、前記画像を構成する複数の部分領域として設定する領域設定部と、
    前記画像に関連付けられた深度情報に基づいて、前記複数の部分領域を結合する領域結合部と、
    結合された前記部分領域毎に前記画像を分割する分割部と、
    を備えたことを特徴とする画像処理装置。
  2. 請求項1に記載の画像処理装置において、
    前記深度情報は、撮影範囲に対して設定される複数の焦点検出位置におけるデフォーカス量の情報からなることを特徴とする画像処理装置。
  3. 請求項2に記載の画像処理装置において、
    前記領域結合部は、前記複数の部分領域のうち、前記複数の焦点検出位置に対応する部分領域に前記デフォーカス量を割り当てた後、割り当てた前記デフォーカス量が近似する部分領域を結合することを特徴とする画像処理装置。
  4. 請求項3に記載の画像処理装置において、
    前記領域結合部は、前記デフォーカス量が割り当てられていない部分領域及び当該部分領域に隣接する部分領域を結合する場合に、前記デフォーカス量が割り当てられていない部分領域及び当該部分領域に隣接する部分領域の特徴量をそれぞれ求め、求めた特徴量が近似する場合に前記デフォーカス量が割り当てられていない部分領域及び当該部分領域に隣接する部分領域を結合することを特徴とする画像処理装置。
  5. 請求項1から請求項4のいずれか1項に記載の画像処理装置において、
    前記領域設定部は、
    前記画像に含まれる画素をノードとして配置し、隣接する2つの画素間の画素値の差分値を隣接するノード間の重みとして設定したグラフを生成するグラフ生成部と、
    隣接する前記ノード間の重みのうち、最小となる前記ノード間の重みと評価用パラメータとを用いて、前記重みが最小となる前記ノード間を連結するか否かを評価する処理を繰り返し実行することで、前記グラフにおける最小全域木を求める最小全域木生成部と、
    を備え、
    前記領域設定部は、前記最小全域木生成部により生成された最小全域木に基づいて、前記画像を前記複数の領域に区分することを特徴とする画像処理装置。
  6. 請求項1から請求項4のいずれか1項に記載の画像処理装置において、
    前記領域設定部は、前記画像に含まれる複数の画素のうち、画素値が近似する画素をまとめることで、前記画像を前記複数の領域に区分けすることを特徴とする画像処理装置。
  7. 被写体光を取り込む撮像光学系と、
    前記撮像光学系により取り込まれた被写体光を受光することで画像を取得する撮像素子と、
    前記画像に対して設定された複数の焦点検出位置における焦点状態を検出する焦点検出部と、
    請求項1から請求項6のいずれか1項に記載の画像処理装置と、
    を備えたことを特徴とする撮像装置。
  8. 入力された画像を区分した複数の領域を、前記画像を構成する複数の部分領域として設定する領域設定工程と、
    前記画像に関連付けられた深度情報に基づいて、前記複数の部分領域を結合する領域結合工程と、
    結合された前記部分領域毎に前記画像を分割する分割工程と、
    をコンピュータに実行させることが可能な画像処理プログラム。
JP2013039031A 2013-02-28 2013-02-28 画像処理装置、撮像装置及び画像処理プログラム Active JP6225432B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013039031A JP6225432B2 (ja) 2013-02-28 2013-02-28 画像処理装置、撮像装置及び画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013039031A JP6225432B2 (ja) 2013-02-28 2013-02-28 画像処理装置、撮像装置及び画像処理プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017198732A Division JP2018014137A (ja) 2017-10-12 2017-10-12 画像処理装置

Publications (2)

Publication Number Publication Date
JP2014167695A true JP2014167695A (ja) 2014-09-11
JP6225432B2 JP6225432B2 (ja) 2017-11-08

Family

ID=51617358

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013039031A Active JP6225432B2 (ja) 2013-02-28 2013-02-28 画像処理装置、撮像装置及び画像処理プログラム

Country Status (1)

Country Link
JP (1) JP6225432B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110834468A (zh) * 2019-11-28 2020-02-25 湖南华庆科技有限公司 一种手机后盖膜片丝网印刷刮刀装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1138313A (ja) * 1997-07-18 1999-02-12 Canon Inc 光学装置及びカメラ
JP2009110137A (ja) * 2007-10-29 2009-05-21 Ricoh Co Ltd 画像処理装置、画像処理方法及び画像処理プログラム
JP2010140201A (ja) * 2008-12-10 2010-06-24 Toyota Motor Corp 画像処理装置、画像処理方法、画像処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1138313A (ja) * 1997-07-18 1999-02-12 Canon Inc 光学装置及びカメラ
JP2009110137A (ja) * 2007-10-29 2009-05-21 Ricoh Co Ltd 画像処理装置、画像処理方法及び画像処理プログラム
JP2010140201A (ja) * 2008-12-10 2010-06-24 Toyota Motor Corp 画像処理装置、画像処理方法、画像処理プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110834468A (zh) * 2019-11-28 2020-02-25 湖南华庆科技有限公司 一种手机后盖膜片丝网印刷刮刀装置

Also Published As

Publication number Publication date
JP6225432B2 (ja) 2017-11-08

Similar Documents

Publication Publication Date Title
US20130307966A1 (en) Depth measurement apparatus, image pickup apparatus, and depth measurement program
JP6415179B2 (ja) 画像処理装置、画像処理方法、および撮像装置並びにその制御方法
US8774551B2 (en) Image processing apparatus and image processing method for reducing noise
JP2015197745A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
US20150234865A1 (en) Image processing apparatus and method for controlling the same
JP2015138448A (ja) 画像処理装置、画像処理方法及びプログラム
JP6225432B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP5772446B2 (ja) 画像処理装置及び画像処理プログラム
JP2019008830A (ja) 被写体検出装置、撮像装置及びプログラム
JP2018014137A (ja) 画像処理装置
JP6556033B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6248662B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP6326841B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP6762779B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP5146223B2 (ja) プログラム、カメラ、画像処理装置および画像の輪郭抽出方法
JP2016099322A (ja) 撮像装置、撮像装置の制御方法およびプログラム
WO2013125239A1 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP2018152095A (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP2018152096A (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP6314281B1 (ja) 画像処理方法及び前景領域取得方法
JP6326840B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP5853369B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2010197968A (ja) 合焦評価装置、カメラおよびプログラム
JP6405638B2 (ja) 被写体検出装置、撮像装置及びプログラム
JP6318661B2 (ja) 被写体検出装置、撮像装置及び画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170214

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20170323

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170323

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170912

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170925

R150 Certificate of patent or registration of utility model

Ref document number: 6225432

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250