JP2013192115A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】より正確なデプスマップを生成すること。
【解決手段】動体領域抽出部５４ａは、画像変形処理部５３から、画像変形処理後の被写体合焦画像及び背景合焦画像のデータが供給されると、被写体合焦画像及び背景合焦画像の輝度、色差等の情報に基づいて、動体領域を抽出する。エッジ強度算出部５４ｂは、被写体合焦画像及び背景合焦画像のエッジ強度を算出する。領域種別決定部５４ｃは、エッジ強度算出部５４ｂから取得した被写体合焦画像及び背景合焦画像のエッジ強度のデータに基づいて、被写体領域、背景領域、平坦領域のいずれの領域であるかを判定する。関連領域判定部５５ｃは、動体領域及び平坦領域内の画素のデプス値を、拡張デプス値に置き換えるための、拡張元画素を特定する。デプス値拡張処理部５６は、動体領域及び平坦領域内の注目画素の仮デプス値を拡張デプス値に置き換える。
【選択図】図２

Description

本発明は、撮像画像のデプスマップを生成する画像処理装置、画像処理方法及びプログラムに関する。

従来、同一の画角でフォーカス位置を変えて撮像した複数の撮像画像から、被写体の奥行きの情報を表すデプスマップを生成する画像処理装置が知られている（例えば、特許文献１参照）。デプスマップが生成される場合、被写体に合焦させた画像と背景側に焦点をずらした画像とを撮像し、エッジの強さ等に基づいて各領域の合焦の状態を比較することにより、被写体の画像領域であるか背景の画像領域であるかを判定する。そして、その判定結果に基づいて、それぞれの領域内の各画素に奥行きの情報が割り当てられる。

特開２００９−２３２３８２号公報

しかしながら、移動する被写体を撮像した場合、移動により被写体が消えて背景となった領域は、被写体の画像領域であるか背景の画像領域であるかについての判定を適切に行うことが困難である。
また、模様のない壁のような平坦な被写体が写った領域についても、合焦状態を明確に区別できず、被写体の画像領域であるか背景の画像領域であるかについての判定を適切に行うことができない場合がある。

従来、このように被写体の画像領域であるか背景の画像領域であるかが明確に判定できない領域については、被写体の画像領域と背景の画像領域との中間値の奥行きを有する領域としており、この場合、正確なデプスマップとはならない。
このように、デプスマップを生成する従来の技術においては、正確なデプスマップを生成することが困難であった。

本発明は、このような状況に鑑みてなされたものであり、より正確なデプスマップを生成することを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、特定の被写体に合焦して撮像された被写体合焦画像のデータと、前記特定の被写体の背景側に焦点をずらして撮像された背景合焦画像のデータとを取得する画像取得手段と、前記被写体合焦画像のデータと前記背景合焦画像のデータとに基づいて、前記被写体合焦画像に含まれる領域それぞれが、前記特定の被写体に対応する奥行きを有する被写体領域と、前記背景に対応する奥行きを有する背景領域と、前記被写体領域及び前記背景領域以外の非特定領域とのいずれの領域であるかを判定する領域判定手段と、前記領域判定手段の判定結果に基づいて、前記被写体領域に前記特定の被写体に対応する奥行きを表すデプス値を設定し、前記背景領域に前記背景に対応する奥行きを表すデプス値を設定するデプス値設定手段と、前記被写体合焦画像と前記背景合焦画像とにおける前記非特定領域の画像に基づいて、前記非特定領域が前記被写体領域と前記背景領域とのいずれに関連するかを判定する関連領域判定手段と、前記関連領域判定手段の判定結果に基づいて、前記デプス値設定手段によって設定された前記被写体領域あるいは前記背景領域の前記デプス値のいずれかを基に決定された値を、前記非特定領域の奥行きを表すデプス値として設定するデプス値拡張処理手段と、を備えることを特徴とする。

本発明によれば、より正確なデプスマップを生成することが可能となる。

本発明の一実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。 図１の画像処理装置の機能的構成のうち、デプスマップ生成処理を実行するための機能的構成を示す機能ブロック図である。 デプスマップ生成処理において参照される画像の具体例を示す模式図である。 図２の機能的構成を有する図１の画像処理装置１が実行するデプスマップ生成処理の流れの一例を説明するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。

（構成）
図１は、本発明の一実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。
画像処理装置１は、例えばデジタルカメラにより構成することができる。

画像処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、操作部１７と、表示部１８と、記憶部１９と、通信部２０と、メディアドライブ２１と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、または、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、操作部１７、表示部１８、記憶部１９、通信部２０及びメディアドライブ２１が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１等に適宜供給される。

操作部１７は、各種ボタン等で構成され、ユーザの指示操作に応じて各種情報を入力する。
表示部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスクあるいはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）や赤外線通信等の通信インターフェースを有し、インターネット等のネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

メディアドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。メディアドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。

図２は、このような画像処理装置１の機能的構成のうち、デプスマップ生成処理を実行するための機能的構成を示す機能ブロック図である。
デプスマップ生成処理とは、被写体に合焦した撮像画像と背景側に焦点をずらした撮像画像とを撮像し、被写体の領域と背景の領域とを判定して、いずれにも判定されない領域に、被写体の領域あるいは背景の領域の奥行きの情報（デプス値）を基に決定した奥行きの情報を設定することにより、画像における各領域内の奥行きの分布を表すデプスマップを生成するまでの一連の処理をいう。

デプスマップ生成処理が実行される場合、ＣＰＵ１１においては、撮像制御部５１と、画像取得部５２と、画像変形処理部５３と、領域判定部５４と、拡張元領域特定部５５と、デプス値拡張処理部５６と、が機能する。
なお、撮像制御部５１乃至デプス値拡張処理部５６の機能の少なくとも一部を、ＣＰＵ１１以外の他の構成要素（例えば、図示しないグラフィックアクセラレータ等）に移譲させてもよい。

撮像制御部５１は、操作部１７のシャッタボタン等の操作を契機として、撮像部１６を制御する。例えば、撮像制御部５１は、シャッタボタンの途中（下限に至らない所定の位置）まで押下する操作（以下、「半押し操作」または単に「半押し」と呼ぶ）があった場合や、シャッタボタンを下限まで押下する操作（以下、「全押し操作」または単に「全押し」と呼ぶ）があった場合に、撮像部１６における合焦及び露光等を制御する。
即ち、撮像制御部５１は、半押し操作があった場合には、フォーカスレンズを被写体に合焦させるよう撮像部１６を制御する。
また、撮像制御部５１は、全押し操作があった場合には、撮像指示の情報を撮像部１６に通知し、フォーカスレンズを被写体に合焦させた画像及び背景側に焦点をずらした画像を連続して撮像するよう撮像部１６を制御する。

撮像部１６は、撮像制御部５１から撮像指示の情報を受け取るとフォーカスレンズを被写体に合焦させた撮像画像（以下、「被写体合焦画像」という）と背景側に焦点をずらした撮像画像（以下、「背景合焦画像」という）とを連続して撮像し、被写体合焦画像及び背景合焦画像のデータを画像取得部５２に供給する。

画像取得部５２は、撮像部１６から被写体合焦画像及び背景合焦画像のデータが供給されると、記憶部１９に記憶させるとともに、被写体合焦画像及び背景合焦画像のデータを画像変形処理部５３に供給する。

画像変形処理部５３は、画像取得部５２から、被写体合焦画像及び背景合焦画像のデータが供給されると、２つの画像のずれを整合させるための画像変形処理を実行する。即ち、画像変形処理部５３は、被写体合焦画像と背景合焦画像との特徴点が重なるように位置合わせを行う。さらに、画像変形処理部５３は、被写体合焦画像と背景合焦画像とがより正確に重なり合うようアフィン変換等により画像の変形を行う。
画像変形処理部５３により、画像変形処理が施された被写体合焦画像及び背景合焦画像のデータは、領域判定部５４に供給される。

領域判定部５４は、動体領域抽出部５４ａと、エッジ強度算出部５４ｂと、領域種別決定部５４ｃと、を備えている。
動体領域抽出部５４ａは、画像変形処理部５３から、画像変形処理後の被写体合焦画像及び背景合焦画像のデータが供給されると、被写体合焦画像及び背景合焦画像の輝度及び色差等の情報に基づいて、動体領域を抽出する。
ここで、動体領域とは、被写体合焦画像の撮像タイミングから背景合焦画像の撮像タイミングまでに被写体が移動することにより、撮像された物体が異なっている領域をいう。例えば、動体領域は、被写体合焦画像においては被写体が撮像され、背景合焦画像においては背景が撮像されている領域等である。動体領域の画素は、被写体合焦画像及び背景合焦画像のうち一方では被写体の画素値（輝度及び色差の値）、他方では背景の画素値をもつため、被写体合焦画像と背景合焦画像とで画素値の差が大きい。そこで、本実施形態では、動体領域抽出部５４ａは、被写体合焦画像及び背景合焦画像の対応する位置の画素値の差異に基づいて、動体領域を判別することとする。即ち、被写体合焦画像と背景合焦画像の対応する位置における画素の画素値を比較し、画素値の差が設定された閾値よりも大きい場合、当該画素は動体領域の画素であると判断する。
上記の処理を全ての画素に対して繰返すことにより、動体領域が抽出される。
そして、上記の処理の結果、動体領域を特定するための情報（以下、「動体領域データ」と呼ぶ）が生成される。
動体領域抽出部５４ａは、動体領域データを領域種別決定部５４ｃに供給する。

エッジ強度算出部５４ｂは、画像変形処理部５３から供給される画像変形処理後の被写体合焦画像及び背景合焦画像のエッジ強度を算出する。
エッジ強度は、画像における輝度や色差の変化の度合いを表す指標であり、エッジ強度算出部５４ｂは、被写体合焦画像及び背景合焦画像におけるエッジ強度の分布を抽出する。本実施形態においては、処理対象となる注目画素及びその周辺画素の輝度のデータに対して、ハイパスフィルタ等のエッジを検出可能なフィルタを施すことによりエッジ強度を算出する。
エッジ強度算出部５４ｂにより算出された被写体合焦画像及び背景合焦画像のエッジ強度を示すデータは、領域種別決定部５４ｃに供給される。

領域種別決定部５４ｃは、動体領域抽出部５４ａから供給された動体領域データと、エッジ強度算出部５４ｂから取得した被写体合焦画像及び背景合焦画像のエッジ強度のデータとに基づいて、被写体合焦画像及び背景合焦画像に含まれる各領域の種別を決定する。
具体的には、領域種別決定部５４ｃは、被写体合焦画像及び背景合焦画像に含まれる各領域が、動体領域、被写体の画像領域（以下、「被写体領域」と呼ぶ）、背景の画像領域（以下、「背景領域」と呼ぶ）、平坦部の画像領域（以下、「平坦領域」と呼ぶ）のいずれであるかを判定する。
ここで、合焦している物体像のエッジ強度は、合焦していない場合の物体像のエッジ強度に比べて大きくなる。したがって、被写体合焦画像の方が背景合焦画像よりもエッジ強度が大きい領域は被写体領域と判定でき、背景合焦画像の方が被写体合焦画像よりもエッジ強度が大きい領域は背景領域と判定できる。また、被写体合焦領域と背景合焦領域とでエッジ強度の差が小さく、エッジ強度の絶対値が小さい領域は平坦領域と判定できる。

そのため、本実施形態では、領域種別決定部５４ｃは、各画素について被写体合焦画像のエッジ強度と背景合焦画像のエッジ強度とを比較して、被写体合焦画像のエッジ強度の方が大きい（例えば設定された閾値より大きい）場合は、当該画素は被写体領域であると判定する。同様に、領域種別決定部５４ｃは、被写体合焦画像のエッジ強度と背景合焦画素のエッジ強度とを比較して、背景合焦画像のエッジ強度の方が大きい（例えば設定された閾値より大きい）場合は、当該画素は背景領域と判定する。さらに、被写体合焦画像のエッジ強度と背景合焦画素のエッジ強度との差が小さい（例えば設定された閾値以下である）場合であって、エッジ強度の絶対値が設定された閾値以下である場合には、当該画素は平坦領域であると判定する。なお、領域種別決定部５４ｃは、動体領域データによって動体領域であることが示されている領域については、動体領域であるものと判定する。
上記の判定を全ての画素に対して繰返すことにより、全ての画素に対して被写体領域、背景領域、動体領域及び平坦領域のいずれか１つが対応付けられた情報（以下、「判定領域データ」と呼ぶ）が生成される。
領域種別決定部５４ｃは、判定領域データを拡張元領域特定部５５に供給する。

拡張元領域特定部５５は、領域種別決定部５４ｃから判定領域データを取得する。
拡張元領域特定部５５は、仮デプス値設定部５５ａと、色距離算定部５５ｂと、関連領域判定部５５ｃと、を備えている。

仮デプス値設定部５５ａは、動体領域データ及び判定領域データに基づいて、各画素の仮のデプス値（以下、適宜「仮デプス値」と呼ぶ）によって構成した仮デプスマップを生成する。仮デプスマップでは、例えば、動体領域の画素は１２８、被写体領域の画素は２５５、背景領域の画素は０、平坦領域の画素は１２８の値を仮デプス値として各画素に対応付ける。ここで、動体領域と平坦領域とは、共に、被写体領域であるか背景領域であるかの判定が困難な領域であるため、仮デプス値をこれらの中間の値としている。この動体領域と平坦領域とは、被写体領域であるか背景領域であるか、即ち、デプス値の特定が共に困難な領域であることから、以下、動体領域と平坦領域とを総称して、適宜「非特定領域」と呼ぶ。
なお、仮デプスマップのデータは、ＲＡＭ１３に格納され、必要に応じて参照することができる。

関連領域判定部５５ｃは、被写体合焦画像における動体領域及び平坦領域（非特定領域）内の画素を対象として、動体領域及び平坦領域以外の周辺画素から、色距離が設定された閾値以内である関連する領域の画素を検索する。ここで、色距離とは、２つの画素の画素値の色空間における距離をいう。例えば、画素値が輝度及び色差で表されている場合、２つの画素の輝度の差の２乗と色差の差の２乗とを加算することにより色距離とすることができる。

そして、関連領域判定部５５ｃは、被写体合焦画像における動体領域及び平坦領域内の画素にデプス値を拡張する元となる画素として、検索された色距離が閾値以内の画素を特定する。
具体的には、関連領域判定部５５ｃは、被写体合焦画像において、動体領域及び平坦領域内の注目画素の周辺に位置する動体領域及び平坦領域以外の画素であって、色距離が閾値以下の少なくとも１以上の画素（以下、「拡張元画素」と呼ぶ）を特定する。
なお、拡張元画素の特定条件として、色距離が閾値以下の画素としているのは、動体領域及び平坦領域に近い色の画素は動体領域及び平坦領域と同一物である可能性が高いため、動体領域及び平坦領域のデプス値に拡張する元となる画素として適切と考えられるためである。

デプス値拡張処理部５６は、関連領域判定部５５ｃから、拡張元画素の情報を取得し、動体領域及び平坦領域内の注目画素のデプス値を、特定された拡張元画素の仮デプス値によって算出される値（以下、適宜「拡張デプス値」と呼ぶ）に置き換える。
本実施形態では、デプス値拡張処理部５６は、関連領域判定部５５ｃから、拡張元画素の情報を取得すると、動体領域及び平坦領域内の注目画素のデプス値を、当該注目画素ついて特定された拡張元画素の仮デプス値の平均値に置き換える。
デプス値拡張処理部５６によって、動体領域及び平坦領域内の全ての画素について、上記のデプス値の置き換え処理が終了すると、被写体領域または背景領域内の拡張元画素の仮デプス値に基づく拡張デプス値が動体領域に拡張されて、動体領域の仮デプス値が置き換えられることになる。
即ち、被写体領域及び背景領域では仮デプス値がデプス値となり、動体領域及び平坦領域では、拡張デプス値がデプス値となる。
デプス値拡張処理部５６は、被写体領域、背景領域、動体領域及び平坦領域についてのデプス値が設定されたデプスマップのデータを記憶部１９に記憶させる。

以下、デプスマップ生成処理において参照される各種画像について、図３を参照して説明する。
図３は、デプスマップ生成処理において参照される画像の具体例を示す模式図である。
なお、図３においては、説明を簡単にするため、撮像画像に被写体領域、背景領域及び動体領域が含まれ、平坦領域が含まれていない場合を例に挙げて説明する。

図３（Ａ）は、被写体合焦画像８１を示す模式図である。
図３（Ａ）において、被写体合焦画像８１は、画像処理装置１のフォーカスレンズが、被写体である人の顔９２に合焦し、背景の森林９１には合焦していない状態で撮像されている。
図３（Ｂ）は、背景合焦画像８２を示す模式図である。
背景合焦画像８２は、画像処理装置１のフォーカスレンズが、背景の森林９１に合焦し、人の顔９２には合焦していない状態で撮像されている。ここで、図３（Ｂ）においては、図３（Ａ）の被写体合焦画像８１の撮像時から人の顔９２が右に移動している。

図３（Ｃ）は、仮デプスマップ８３を示す模式図である。
動体領域抽出部５４ａは、図３（Ａ）の被写体合焦画像８１及び図３（Ｂ）の背景合焦画像８２を参照し、画素値（例えば、輝度、色差）の差が閾値以上の画素の集合を図３（Ｃ）の動体領域Ａ２，Ａ４（非特定領域）として抽出する。また、領域種別決定部５４ｃが図３（Ｃ）の背景領域Ａ１と被写体領域Ａ３とを決定する。そして、仮デプス値設定部５５ａが、動体領域、背景領域、被写体領域の各画素に仮デプス値を設定する。
例えば、図３（Ｃ）の背景領域Ａ１にはデプス値０が、被写体領域Ａ３にはデプス値２５５が、動体領域Ａ２，Ａ４にはデプス値１２８が設定される。
これにより、図３（Ｃ）に示すような仮のデプスマップとなる。

図３（Ｄ）は、デプスマップ８４を示す模式図である。
関連領域判定部５５ｃは、図３（Ａ）の被写体合焦画像８１において、動体領域Ａ２，Ａ４の各画素の画素値と色距離が近い当該画素の周辺の動体領域以外の画素を拡張元画素と判定する。
即ち、図３（Ａ）に示す例では、関連領域判定部５５ｃは、動体領域Ａ２の画素の画素値と色距離が近い拡張元画素を、被写体領域（人の顔９２の領域）であると判定する。そのため、デプス値拡張処理部５６は、動体領域Ａ２内の各画素のデプス値を、被写体領域Ａ３内の拡張元画素のデプス値の平均値に設定する。また、関連領域判定部５５ｃは、動体領域Ａ４の画素の画素値と色距離が近い拡張元画素が、背景領域（背景の森林９１の領域）であると判定する。そのため、デプス値拡張処理部５６は、動体領域Ａ４内の各画素のデプス値を、背景領域Ａ１内の拡張元画素のデプス値の平均値に設定する。
その結果、仮デプスマップ８３から、デプスマップ８４が生成される。即ち、動体領域Ａ２のデプス値は被写体領域Ａ３のデプス値の平均値となり、動体領域Ａ４のデプス値は背景領域Ａ１のデプス値の平均値となる結果、被写体領域あるいは背景領域のデプス値が拡張され、動体領域Ａ５となる。
従来、動体領域は、背景と被写体の中間値等のデプス値が設定されていたところ、上記の処理により、動体領域のデプス値として、より正確なデプス値が設定されることになる。

（動作）
次に、動作を説明する。
図４は、図２の機能的構成を有する図１の画像処理装置１が実行するデプスマップ生成処理の流れの一例を説明するフローチャートである。

デプスマップ生成処理は、ユーザにより操作部１７に対するデプスマップ生成のための操作がなされたことを契機として開始され、次のような処理が実行される。

ステップＳ１において、撮像制御部５１は、ユーザによるシャッタボタンの操作があったか否か判定する。
ユーザによるシャッタボタンの操作がない場合、ステップＳ１においてＮＯであると判定されて、処理はステップＳ１に戻る。
これに対して、ユーザによるシャッタボタンの操作がある場合、ステップＳ１においてＹＥＳであると判定されて、処理はステップＳ２に進む。

ステップＳ２において、撮像制御部５１は、ユーザによるシャッタボタンの操作が半押しであるか否か判定する。
ユーザによるシャッタボタンの操作が半押しである場合には、ステップＳ２においてＹＥＳと判定されて、処理はステップＳ３に進む。
ユーザによるシャッタボタンの操作が半押しでない、即ち、全押しである場合には、ステップＳ２においてＮＯと判定されて、処理はステップＳ４に進む。

ステップＳ３において、撮像制御部５１は、撮像部１６に対し、被写体に追従して合焦させるように制御を行う。その後、処理は、ステップＳ１に戻る。

ステップＳ４において、撮像部１６は、被写体に合焦させた被写体合焦画像を撮像するとともに、画像取得部５２に被写体合焦画像のデータを供給する。

ステップＳ５において、撮像部１６は、背景側に焦点をずらした背景合焦画像を撮像するとともに、画像取得部５２に背景合焦画像のデータを供給する。

ステップＳ６において、画像変形処理部５３は、画像取得部５２から供給された被写体合焦画像と背景合焦画像の背景のずれを整合させるための画像変形処理を行う。

ステップＳ７において、動体領域抽出部５４ａは、被写体合焦画像と背景合焦画像の輝度及び色差等の情報に基づいて動体領域（非特定領域）を抽出する。

ステップＳ８において、エッジ強度算出部５４ｂは、被写体合焦画像と背景合焦画像とのエッジ強度を画素ごとに算出する。

ステップＳ９において、領域種別決定部５４ｃは、被写体合焦画像と背景合焦画像とにおける各画素のエッジ強度を比較する。
被写体合焦画像のエッジ強度が背景合焦画像のエッジ強度よりも大きい（例えば設定された閾値より大きい）場合、ステップＳ９においてＹＥＳと判定されて、処理はステップＳ１０に進む。
被写体合焦画像のエッジ強度が背景合焦画像のエッジ強度よりも大きくない場合、ステップＳ９においてＮＯと判定されて、処理はステップＳ１１に進む。

ステップＳ１０において、領域種別決定部５４ｃは、注目画素を被写体領域に設定する。

ステップＳ１１において、領域種別決定部５４ｃは、被写体合焦画像と背景合焦画像とにおける各画素のエッジ強度を比較する。
被写体合焦画像のエッジ強度が背景合焦画像のエッジ強度よりも小さい（例えば設定された閾値より小さい）場合、ステップＳ１１においてＹＥＳと判定されて、処理はステップＳ１２に進む。
被写体合焦画像のエッジ強度が背景合焦画像のエッジ強度よりも小さくない場合、ステップＳ１１においてＮＯと判定されて、処理はステップＳ１３に進む。

ステップＳ１２において、領域種別決定部５４ｃは、注目画素を背景領域に設定する。

ステップＳ１３において、領域種別決定部５４ｃは、被写体合焦画像と背景合焦画像のエッジ強度を画素ごとに判定する。
被写体合焦画像のエッジ強度及び背景合焦画像のエッジ強度が閾値以下である場合、ステップＳ１３においてＹＥＳと判定されて、処理はステップＳ１４に進む。
被写体合焦画像のエッジ強度及び背景合焦画像のエッジ強度が閾値以下でない場合、ステップＳ１３においてＮＯと判定されて、処理はステップＳ１５に進む。

ステップＳ１４において、領域種別決定部５４ｃは、注目画素を平坦領域（非特定領域）に設定する。

ステップＳ１５において、関連領域判定部５５ｃは、動体領域及び平坦領域（非特定領域）内の画素の仮デプス値に、拡張デプス値を拡張するための元となる拡張元画素を特定する。

ステップＳ１６において、デプス値拡張処理部５６は、動体領域及び平坦領域内の注目画素の仮デプス値を、当該注目画素に対応する拡張元画素のデプス値から得られる拡張デプス値に設定して、デプスマップを生成する。
ステップＳ１７において、デプス値拡張処理部５６は、生成されたデプスマップのデータを記憶部１９に記憶させる。その後、デプスマップ生成処理が終了となる。

以上説明したように、本実施形態では、ユーザによる操作部１７の所定の操作（シャッタボタンの全押し操作）が行われると、撮像制御部５１が、撮像部１６に対して、被写体合焦画像及び背景合焦画像を撮像するよう制御する。
画像取得部５２は、被写体合焦画像及び背景合焦画像のデータを撮像部１６から取得すると、画像変形処理部５３に供給する。
画像変形処理部５３は、被写体合焦画像及び背景合焦画像のデータのずれを整合させるように画像変形処理を行う。
動体領域抽出部５４ａは、画像変形処理部５３から、画像変形処理後の被写体合焦画像及び背景合焦画像のデータが供給されると、被写体合焦画像及び背景合焦画像の輝度、色差等の情報に基づいて、動体領域を抽出する。

エッジ強度算出部５４ｂは、被写体合焦画像及び背景合焦画像のエッジ強度を算出する。
領域種別決定部５４ｃは、エッジ強度算出部５４ｂから取得した被写体合焦画像及び背景合焦画像のエッジ強度のデータに基づいて、全ての画素について、被写体領域、背景領域、平坦領域のいずれの領域であるかを判定する。
関連領域判定部５５ｃは、動体領域及び平坦領域（非特定領域）内の画素のデプス値を、動体領域及び平坦領域以外の周辺画素のデプス値から算出される拡張デプス値に置き換えるための、拡張元画素を特定する。
デプス値拡張処理部５６は、動体領域及び平坦領域内の注目画素の仮デプス値を、当該注目画素について特定された拡張元画素のデプス値の平均値（拡張デプス値）に置き換える。

要するに、本実施形態では、被写体合焦画像と背景合焦画像とから動体領域、被写体領域、背景領域、平坦領域を抽出し、動体領域及び平坦領域（非特定領域）のデプス値を、周辺の被写体領域または背景領域のデプス値から算出される情報（拡張デプス値）に設定する。
これにより、従来、動体領域や平坦領域等、被写体領域であるか背景領域であるかが明確に判定できない領域のデプス値として、実際の奥行きに関わらず、信頼性のない値が格納されていたのに対し、被写体領域または背景領域のデプス値を用いて信頼性の高いデプス値を設定することができる。
したがって、本発明によれば、より正確なデプスマップを生成することが可能になる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。例えば、上記実施形態においては、背景合焦画像は、被写体の背景に合焦させて撮影した撮影画像であってよく、また、被写体の背景側に焦点をずらして撮影した撮像画像であってもよい。
また、動体領域及び平坦領域の仮デプス値を拡張元画素のデプス値から算出される拡張デプス値に置き換える場合、注目画素について特定された拡張元画素のデプス値の平均値を用いることとしたが、平均値以外であっても、最大値、最小値あるいは最頻値等の代表値で置き換えることも可能である。
また、動体領域及び平坦領域の仮デプス値を、注目画素の周辺の動体領域及び平坦領域以外の画素のデプス値から算出した値で置き換えることとしたが、注目画素の周辺ではなく、被写体領域全体あるいは動体領域全体の平均値としてもよい。
また、上述の実施形態において、関連領域判定部５５ｃは、色距離を算出する際に、輝度及び色差によって表される色空間で表されたデータを用いることとしたが、ＲＧＢ色空間等の他の色空間で表されたデータを用いることとしてもよい。

また、上述の実施形態では、本発明が適用される画像処理装置１として、デジタルカメラを例に挙げて説明したが、特にこれに限定されない。
例えば、本発明は、画像処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
特定の被写体に合焦して撮像された被写体合焦画像のデータと、前記特定の被写体の背景側に焦点をずらして撮像された背景合焦画像のデータとを取得する画像取得手段と、
前記被写体合焦画像のデータと前記背景合焦画像のデータとに基づいて、前記被写体合焦画像に含まれる領域それぞれが、前記特定の被写体に対応する奥行きを有する被写体領域と、前記背景に対応する奥行きを有する背景領域と、前記被写体領域及び前記背景領域以外の非特定領域とのいずれの領域であるかを判定する領域判定手段と、
前記領域判定手段の判定結果に基づいて、前記被写体領域に前記特定の被写体に対応する奥行きを表すデプス値を設定し、前記背景領域に前記背景に対応する奥行きを表すデプス値を設定するデプス値設定手段と、
前記被写体合焦画像と前記背景合焦画像とにおける前記非特定領域の画像に基づいて、前記非特定領域が前記被写体領域と前記背景領域とのいずれに関連するかを判定する関連領域判定手段と、
前記関連領域判定手段の判定結果に基づいて、前記デプス値設定手段によって設定された前記被写体領域あるいは前記背景領域の前記デプス値のいずれかを基に決定された値を、前記非特定領域の奥行きを表すデプス値として設定するデプス値拡張処理手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記領域判定手段は、前記被写体合焦画像と前記背景合焦画像とで移動した移動物体の領域及び平坦な被写体が撮像されている平坦領域との少なくともいずれかを前記非特定領域として特定することを特徴とする付記１に記載の画像処理装置。
［付記３］
前記関連領域判定手段は、前記非特定領域における画素のデータと、前記非特定領域に隣接する前記被写体領域及び前記背景領域における画素のデータとの近似度合いを比較し、前記非特定領域における画素のデータにより近い画素のデータが属する領域の前記デプス値を基に、前記非特定領域の前記デプス値を決定することを特徴とする付記１または２に記載の画像処理装置。
［付記４］
前記関連領域判定手段は、前記非特定領域における画素と、前記非特定領域に隣接する前記被写体領域及び前記背景領域における画素との色距離に基づいて、前記近似度合いを比較することを特徴とする付記３に記載の画像処理装置。
［付記５］
特定の被写体に合焦して撮像された被写体合焦画像のデータと、前記特定の被写体の背景側に焦点をずらして撮像された背景合焦画像のデータとを取得する画像取得ステップと、
前記被写体合焦画像のデータと前記背景合焦画像のデータとに基づいて、前記被写体合焦画像に含まれる領域それぞれが、前記特定の被写体に対応する奥行きを有する被写体領域と、前記背景に対応する奥行きを有する背景領域と、前記被写体領域及び前記背景領域以外の非特定領域とのいずれの領域であるかを判定する領域判定ステップと、
前記領域判定ステップにおける判定結果に基づいて、前記被写体領域に前記特定の被写体に対応する奥行きを表すデプス値を設定し、前記背景領域に前記背景に対応する奥行きを表すデプス値を設定するデプス値設定ステップと、
前記被写体合焦画像と前記背景合焦画像とにおける前記非特定領域の画像に基づいて、前記非特定領域が前記被写体領域と前記背景領域とのいずれに関連するかを判定する関連領域判定ステップと、
前記関連領域判定ステップにおける判定結果に基づいて、前記デプス値設定ステップにおいて設定された前記被写体領域あるいは前記背景領域の前記デプス値のいずれかを基に決定された値を、前記非特定領域の奥行きを表すデプス値として設定するデプス値拡張処理ステップと、
を含むことを特徴とする画像処理方法。
［付記６］
コンピュータに、
特定の被写体に合焦して撮像された被写体合焦画像のデータと、前記特定の被写体の背景側に焦点をずらして撮像された背景合焦画像のデータとを取得する画像取得機能と、
前記被写体合焦画像のデータと前記背景合焦画像のデータとに基づいて、前記被写体合焦画像に含まれる領域それぞれが、前記特定の被写体に対応する奥行きを有する被写体領域と、前記背景に対応する奥行きを有する背景領域と、前記被写体領域及び前記背景領域以外の非特定領域とのいずれの領域であるかを判定する領域判定機能と、
前記領域判定機能の判定結果に基づいて、前記被写体領域に前記特定の被写体に対応する奥行きを表すデプス値を設定し、前記背景領域に前記背景に対応する奥行きを表すデプス値を設定するデプス値設定機能と、
前記被写体合焦画像と前記背景合焦画像とにおける前記非特定領域の画像に基づいて、前記非特定領域が前記被写体領域と前記背景領域とのいずれに関連するかを判定する関連領域判定機能と、
前記関連領域判定機能の判定結果に基づいて、前記デプス値設定機能によって設定された前記被写体領域あるいは前記背景領域の前記デプス値のいずれかを基に決定された値を、前記非特定領域の奥行きを表すデプス値として設定するデプス値拡張処理機能と、
を実現させることを特徴とするプログラム。

１・・・画像処理装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・バス、１５・・・入出力インターフェース、１６・・・撮像部、１７・・・操作部、１８・・・表示部、１９・・・記憶部、２０・・・通信部、２１・・・メディアドライブ、３１・・・リムーバブルメディア、５１・・・撮像制御部、５２・・・画像取得部、５３・・・画像変形処理部、５４・・・領域判定部、５４ａ・・・動体領域抽出部、５４ｂ・・・エッジ強度算出部、５４ｃ・・・領域種別決定部、５５・・・拡張元領域特定部、５５ａ・・・仮デプス値設定部、５５ｂ・・・色距離算定部、５５ｃ・・・関連領域判定部、５６・・・デプス値拡張処理部

Claims (6)

1. 特定の被写体に合焦して撮像された被写体合焦画像のデータと、前記特定の被写体の背景側に焦点をずらして撮像された背景合焦画像のデータとを取得する画像取得手段と、
   前記被写体合焦画像のデータと前記背景合焦画像のデータとに基づいて、前記被写体合焦画像に含まれる領域それぞれが、前記特定の被写体に対応する奥行きを有する被写体領域と、前記背景に対応する奥行きを有する背景領域と、前記被写体領域及び前記背景領域以外の非特定領域とのいずれの領域であるかを判定する領域判定手段と、
   前記領域判定手段の判定結果に基づいて、前記被写体領域に前記特定の被写体に対応する奥行きを表すデプス値を設定し、前記背景領域に前記背景に対応する奥行きを表すデプス値を設定するデプス値設定手段と、
   前記被写体合焦画像と前記背景合焦画像とにおける前記非特定領域の画像に基づいて、前記非特定領域が前記被写体領域と前記背景領域とのいずれに関連するかを判定する関連領域判定手段と、
   前記関連領域判定手段の判定結果に基づいて、前記デプス値設定手段によって設定された前記被写体領域あるいは前記背景領域の前記デプス値のいずれかを基に決定された値を、前記非特定領域の奥行きを表すデプス値として設定するデプス値拡張処理手段と、
   を備えることを特徴とする画像処理装置。
2. 前記領域判定手段は、前記被写体合焦画像と前記背景合焦画像とで移動した移動物体の領域及び平坦な被写体が撮像されている平坦領域との少なくともいずれかを前記非特定領域として特定することを特徴とする請求項１に記載の画像処理装置。
3. 前記関連領域判定手段は、前記非特定領域における画素のデータと、前記非特定領域に隣接する前記被写体領域及び前記背景領域における画素のデータとの近似度合いを比較し、前記非特定領域における画素のデータにより近い画素のデータが属する領域の前記デプス値を基に、前記非特定領域の前記デプス値を決定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記関連領域判定手段は、前記非特定領域における画素と、前記非特定領域に隣接する前記被写体領域及び前記背景領域における画素との色距離に基づいて、前記近似度合いを比較することを特徴とする請求項３に記載の画像処理装置。
5. 特定の被写体に合焦して撮像された被写体合焦画像のデータと、前記特定の被写体の背景側に焦点をずらして撮像された背景合焦画像のデータとを取得する画像取得ステップと、
   前記被写体合焦画像のデータと前記背景合焦画像のデータとに基づいて、前記被写体合焦画像に含まれる領域それぞれが、前記特定の被写体に対応する奥行きを有する被写体領域と、前記背景に対応する奥行きを有する背景領域と、前記被写体領域及び前記背景領域以外の非特定領域とのいずれの領域であるかを判定する領域判定ステップと、
   前記領域判定ステップにおける判定結果に基づいて、前記被写体領域に前記特定の被写体に対応する奥行きを表すデプス値を設定し、前記背景領域に前記背景に対応する奥行きを表すデプス値を設定するデプス値設定ステップと、
   前記被写体合焦画像と前記背景合焦画像とにおける前記非特定領域の画像に基づいて、前記非特定領域が前記被写体領域と前記背景領域とのいずれに関連するかを判定する関連領域判定ステップと、
   前記関連領域判定ステップにおける判定結果に基づいて、前記デプス値設定ステップにおいて設定された前記被写体領域あるいは前記背景領域の前記デプス値のいずれかを基に決定された値を、前記非特定領域の奥行きを表すデプス値として設定するデプス値拡張処理ステップと、
   を含むことを特徴とする画像処理方法。
6. コンピュータに、
   特定の被写体に合焦して撮像された被写体合焦画像のデータと、前記特定の被写体の背景側に焦点をずらして撮像された背景合焦画像のデータとを取得する画像取得機能と、
   前記被写体合焦画像のデータと前記背景合焦画像のデータとに基づいて、前記被写体合焦画像に含まれる領域それぞれが、前記特定の被写体に対応する奥行きを有する被写体領域と、前記背景に対応する奥行きを有する背景領域と、前記被写体領域及び前記背景領域以外の非特定領域とのいずれの領域であるかを判定する領域判定機能と、
   前記領域判定機能の判定結果に基づいて、前記被写体領域に前記特定の被写体に対応する奥行きを表すデプス値を設定し、前記背景領域に前記背景に対応する奥行きを表すデプス値を設定するデプス値設定機能と、
   前記被写体合焦画像と前記背景合焦画像とにおける前記非特定領域の画像に基づいて、前記非特定領域が前記被写体領域と前記背景領域とのいずれに関連するかを判定する関連領域判定機能と、
   前記関連領域判定機能の判定結果に基づいて、前記デプス値設定機能によって設定された前記被写体領域あるいは前記背景領域の前記デプス値のいずれかを基に決定された値を、前記非特定領域の奥行きを表すデプス値として設定するデプス値拡張処理機能と、
   を実現させることを特徴とするプログラム。

Images