JP2018042092A - 画像処理装置、撮像装置、制御方法およびプログラム - Google Patents

Abstract

【課題】設定した合焦面位置を確認しながら置きピン撮影ができる。【解決手段】画像処理装置は、被写体を撮像した撮像画像を生成する画像処理部１０６と、撮像画像内の各被写体の奥行き方向の深さを示す深度情報を生成する距離画像生成部１０８と、深度情報に基づいて、撮像画像から、深さ方向の異なる被写体それぞれに対応する複数の分割画像を生成し、生成された分割画像と焦点を合わせる合焦面を示す合焦面画像とを、深さ方向の距離に基づいて配置し表示画像を生成する表示画像生成部１０９と、を備える。【選択図】図１

Description

本発明は、画像処理装置、撮像装置、制御方法およびプログラムに関する。

動いている被写体（動体）に合焦面を合わせるときに、予め所望の位置に合焦面を合わせておき、動体が合焦面位置付近に到達した時に撮影を行う置きピン撮影が知られている。しかし、撮影レンズの光軸方向に移動する動体を置きピン撮影する場合、ファインダ等で視認される動体は、被写界深度範囲外ではぼけて見難くなる。このため、置きピン撮影は、熟練者でなければ、シャッターチャンスを逃したり動体のピントがぼけたりして、失敗画像を得る恐れがある。特許文献１は、まず合焦面を合わせたい位置と等距離にある基準対象物に合焦させてその位置を記憶し、次に主被写体に対して合焦させ追尾合焦し、動体が基準被写体距離付近に到達したタイミングで自動撮影を行う技術を開示している。

特開２００５−２１５３７３号公報

しかしながら、特許文献１に記載の発明では、合焦面を合わせたい位置に基準対象物が無い場合、置きピン撮影を行うことができない。また、基準対象物が無い位置に置きピンを設定しても所望の位置に設定できているかを確認する方法は言及されていない。

本発明は、設定した合焦面位置を確認しながら置きピン撮影ができる画像処理装置を提供することを目的とする。

上記課題を解決するために、本発明の画像処理装置は、被写体を撮像した撮像画像を生成する画像生成手段と、撮像画像内の各被写体の奥行き方向の深さを示す深度情報を生成する深度情報生成手段と、前記深度情報に基づいて、前記撮像画像から、深さ方向の異なる被写体それぞれに対応する複数の分割画像を生成する分割画像生成手段と、前記分割画像生成手段により生成された前記分割画像と焦点を合わせる合焦面を示す合焦面画像とを、深さ方向の距離に基づいて配置し表示画像を生成する表示画像生成手段と、を備える。

本発明によれば、設定した合焦面位置を確認しながら置きピン撮影ができる画像処理装置を提供することができる。

デジタルカメラのブロック図である。 ニュートンの結像公式を説明する図である。 奥行き分割画像と距離画像を例示した概略図である。 奥行き分割画像と距離画像を例示した概略図である。 奥行き分割画像を生成し撮影を行うフローチャートである。 実施例２のデジタルカメラのブロック図である。 実施例２の奥行き分割画像を例示した概略図である。 実施例２の奥行き分割画像を生成し撮影を行うフローチャートである。 実施例３のデジタルカメラのブロック図である。 実施例３の奥行き分割画像を例示した概略図である。 実施例３の奥行き分割画像を生成し撮影を行うフローチャートである。 実施例４の奥行き分割画像を例示した概略図である。 実施例４の奥行き分割画像を生成し撮影を行うフローチャートである。

（実施例１）
本実施例の画像データを距離毎に分離して並べて表示する画像処理装置を適用したデジタルカメラの構成について図１を用いて説明する。図１は、本実施例のデジタルカメラの構成を示すブロック図である。
撮像装置１００は、デジタルカメラであり、撮像素子１０２、Ａ／Ｄ変換部１０３、メモリカードコントローラ１０４、メモリ部１０５、画像処理部１０６、制御部１０７、距離画像生成部１０８、表示画像生成部１０９、内部バス１１３を含む。また、撮像装置１００は、表示部１１０、操作部１１１を備える。さらに、撮像装置１００は、光学系１０１を備える。なお、光学系１０１は、カメラ本体部と一体に構成されていてもよいし、着脱可能であってもよい。メモリカード１１２は、撮像装置１００に着脱可能である。

制御部１０７は、例えばプログラマブルプロセッサ（以下、ＣＰＵ）と、ＲＯＭと、ＲＡＭを有する。ＲＯＭに記憶されたプログラムをＣＰＵで実行し、各部を制御して撮像装置１００の機能を実現する。また、制御部１０７は、光学系１０１のレンズ位置と焦点距離に基づき合焦面までの距離を算出し、メモリ部１０５に格納する。合焦面までの距離の算出は、既知の公式であるニュートンの結像公式を用いる。

図２を参照して、ニュートンの結像公式について説明する。ニュートンの結像公式は、レンズの焦点距離をｆ、合焦面からレンズ１０１ａまでの距離をＡ、レンズ１０１ａから撮像素子１０２までの距離をＢとすると、以下の式（１）で表される。
１／Ａ＋１／Ｂ＝１／ｆ ・・・（１）
例えば、焦点距離５０ｍｍのレンズを５ｍｍ繰り出したとき、合焦面からレンズまでの距離Ａは、式（１）より、１／Ａ＋１／（５０＋５）＝１／５０となり、Ａ＝５５０ｍｍで算出される。

メモリカードコントローラ１０４は、各ブロックからの要求に基づき、画像データをメモリカード１１２に記録する。メモリカード１１２は、例えば、ＳＤカードなどの撮像装置１００本体に接続された着脱可能な記録媒体である。
メモリ部１０５は、揮発性メモリであり、各ブロックからの要求に基づき、一時的に画像データや距離画像などを保存するためのバッファメモリである。

光学系１０１は、レンズ、シャッター、絞りを有し、制御部１０７の指示に基づき、合焦距離、絞りの開口量、およびシャッターの開閉を制御することができる。
撮像素子１０２は、制御部１０７の制御に基づき、光学系１０１を通過した光束を光電変換して被写体像のアナログ信号を生成する。また、撮像素子１０２は、測距機能を有する素子を備える。測距機能を有する素子は、例えば、光学系１０１のレンズの瞳上の異なる領域を通過した光束が、測距機能を有する画素を配置した撮像素子１０２に露光し、露光された光像の像ズレ量（位相差）からデフォーカス量を算出できるよう構成する。

Ａ／Ｄ変換部１０３は、制御部１０７の制御に基づき、撮像素子１０２から出力されたアナログ信号に対してＡ／Ｄ変換を行うことによりデジタル信号を生成する。
画像処理部１０６は、制御部１０７の制御に基づき、Ａ／Ｄ変換部１０３の出力信号に対して、ノイズ除去、ガンマ補正処理、ホワイトバランス調整処理などを施すことにより画像データを生成する。さらに、必要に応じて符号化処理や復号処理を行い、得られた撮像画像の画像データをメモリ部１０５に格納する。

距離画像生成部１０８は、制御部１０７の制御に基づき、撮像素子１０２で得られた像ズレ量から被写体領域毎のデフォーカス量を算出し、距離画像を生成して、メモリ部１０５に格納する。距離画像は、領域毎（被写体毎）の奥行き方向の深さを示す深度情報を表すものであり、距離画像生成部１０８は、深度情報生成手段である。
表示画像生成部１０９は、分割画像生成手段として、制御部１０７の制御に基づき、メモリ部１０５に格納された画像データと距離画像から、画像データを特定の距離範囲の被写体のみを含むような複数の画像に分離した分割画像を生成する。また、合焦面の位置を示す半透明の合焦面画像を生成する。そして、表示画像生成部１０９は、距離画像と合焦面までの距離に基づいて、分割画像と合焦面画像を、奥行方向を距離とした軸上に配置し、奥行き分割画像を生成し、メモリ部１０５に設けた表示用フレームメモリに格納する。

表示部１１０は、ＬＣＤ（液晶表示装置）とＬＣＤコントローラーを有し、制御部１０７の制御に基づき、メモリ部１０５に格納された表示用フレームメモリの内容を読み出して、ＬＣＤに表示する。また、制御部１０７の制御に基づき、撮像装置１００の状態や各種設定値などの各種情報、メニュー画面のようなユーザインタフェースなどを表示する。
操作部１１１は、デジタルカメラの外装に設けられたボタン等で構成され、ユーザはそれを操作することで、制御部１０７へ指示を伝えることができる。

次に、図３を用いて、奥行き分割画像と距離画像の例について説明する。
図３（Ａ）、（Ｂ）、（Ｃ）は、撮影対象の被写体が合焦面に到達する前の奥行き分割画像と距離画像の例である。
図３（Ａ）は、フレーミングを行うために光学系１０１、撮像素子１０２、Ａ／Ｄ変換部１０３、画像処理部１０６によって撮像された画像データ３１０である。被写体として、人物３１１と人物３１２が異なる距離に位置している。ここでの撮影対象は、人物３１１とする。

図３（Ｂ）は、距離画像生成部１０８によって生成される距離画像３２０ある。画素値（輝度値）が、その画素における被写体距離（奥行き方向の深さ）を表す単色画像である。距離画像３２０では、白色で表される画素値が高い（輝度値が高い）方が、奥行き方向の距離が短い位置（深度が浅い位置）にあることを示している。一方、黒色で示される画素値が低い（輝度値が低い）領域は、奥行き方向の距離が長い位置（深度が深い位置）にあることを示している。

図３（Ｃ）は、画像データ３１０と距離画像３２０から、表示画像生成部１０９によって生成される奥行き分割画像３３０である。奥行き分割画像３３０は、画像データ３１０を奥行き方向（深さ方向）に分割して、分割した画像を奥行き方向に並べて配置し、３次元的に表示される画像であり、画像データ３１０と距離画像３２０の画素値の分布に基づいて生成される。奥行き方向を示す軸上の数値は、メートル単位で表示している。分割画像３３１は、人物３１１が位置する被写体距離範囲を抽出した分割画像である。分割画像３３２は、人物３１２が位置する被写体距離範囲を抽出した分割画像である。分割画像３３３は、特定の距離より遠い範囲にある背景を抽出した分割画像である。背景に指定する特定の距離は、ユーザによって任意に設定できる。撮像素子１０２から見て、手前に（近距離）に位置する人物３１１に対応する分割画像３３１は、最も手前側のレイヤーに配置され、背景に対応する分割画像３３３は、もっとも奥側のレイヤーに配置される。分割画像３３２は、距離画像３２０に応じて設定されるレイヤーに配置される。
合焦面画像３３４は、ユーザが設定した合焦位置を示す合焦面画像である。本体位置３３５は、撮像装置１００の位置を示す。図３（Ｃ）の奥行き分割画像３３０は、合焦面画像３３４で示される合焦面位置に主被写体である人物３１１がまだ到達していない状態を示している。

次に、時間が経過して、撮影対象の被写体が合焦面位置に到達したときの奥行き分割画像の例について、図４（Ａ）、（Ｂ）を用いて説明する。
図４（Ａ）は、図３（Ａ）に対して、時間が経過したときの画像データ４１０である。主被写体である人物３１１と人物３１２が、図３（Ａ）の時点より撮像装置１００の方向に移動している。

図４（Ｂ）は、画像データ４１０から表示画像生成部１０９によって生成される奥行き分割画像４２０である。人物３１１の被写体距離範囲を抽出した分割画像４２１と人物３１２の被写体距離範囲を抽出した分割画像４２２が、図３（Ｃ）の時点より合焦位置を示す合焦面画像４２４の方向に向かって移動し、分割画像４２１と合焦面画像４２４が等距離になっている。ユーザは、分割画像４２１と合焦面画像４２４が等距離になったタイミングで静止画撮影の指示を行えばよい。
撮像装置１００は、所定のフレームレートで逐次撮像し、生成した奥行き分割画像を逐次ＬＣＤに表示する。ユーザは、表示される奥行き分割画像を確認しながら、所望のタイミングで静止画撮影の指示を行う。撮像装置１００は、静止画撮影の指示に従い、静止画記録のための画像データを生成し、メモリ部１０５に格納する。

次に、図５を用いて、画像データを距離毎に分離して並べて表示する奥行き分割画像の表示フローについて説明する。
ステップＳ５０１において、制御部１０７が、光学系１０１、撮像素子１０２、Ａ／Ｄ変換部１０３、画像処理部１０６を制御し、所定のフレームレートで撮像して画像データを生成する。例えば、先に示した図３（Ａ）の画像データ３１０が生成される。

ステップＳ５０２において、距離画像生成部１０８が、各被写体の奥行き方向の深さを示す深度情報を生成する。具体的には、被写体領域毎のデフォーカス量を算出し、各被写体の領域毎の距離画像を生成する。例えば、画像データ３１０の撮影に対して、先に示した図３（Ｂ）の距離画像３２０が生成される。なお、本実施形態において、デフォーカス量の算出方法は、位相差方式を用いるが、光学系を２つ搭載し２眼の撮像系により得た視差画像を用いるなど他の方法で算出しても良い。
ステップＳ５０３において、制御部１０７が、光学系１０１のレンズ位置と焦点距離に基づき、撮像素子１０２から合焦面までの距離を算出する。

ステップＳ５０４において、表示画像生成部１０９が、画像データと各被写体の領域毎の距離画像から、画像データを特定の距離範囲の被写体のみを含むような複数の画像に分離した分割画像を生成する。例えば、画像データ３１０と距離画像３２０に対して、先に示した図３（Ｃ）の分割画像３３１、分割画像３３２、分割画像３３３が生成される。

ステップＳ５０５において、表示画像生成部１０９が、奥行き分割画像を生成する。奥行き分割画像を生成するために、表示画像生成部１０９は、まず、合焦面の位置を示す半透明の合焦面画像を生成する。そして、合焦面までの距離と距離画像（深さ方向の距離）に基づいて、合焦面画像と分割画像を並べて配置し、奥行き分割画像を生成する。例えば、先に示した図３（Ｃ）の奥行き分割画像３３０が生成される。
ステップＳ５０６において、表示部１１０が、奥行き分割画像３３０を所定のフレームレートでＬＣＤに表示する。

ステップＳ５０７において、操作部１１１から合焦面位置の調整指示があるかを判定する。例えば、ユーザは、表示部１１０に表示された奥行き分割画像３３０の合焦面画像３３４を確認し、合焦面の調整が必要であれば、操作部より調整指示を行う。合焦面位置の調整は、合焦面を合わせる対象物が無い場合でも所望の位置に調整が可能であり、奥行き分割画像３３０に表示されている軸上の距離の数値を目安に調整する。合焦面位置を合わせたい対象物を目印にして調整することも可能である。合焦面位置の調整指示がある場合、ステップＳ５０８へ移行し、調整指示がない場合、ステップＳ５０９へ移行する。
ステップＳ５０８において、制御部１０７が、操作部１１１からの合焦面位置の調整指示に従い、光学系１０１のレンズを駆動し合焦面までの距離を変更する。

ステップＳ５０９において、制御部１０７は、操作部１１１から静止画の撮影指示があるかを判定する。撮影指示がある場合、ステップＳ５１０へ移行し、撮影指示がない場合、ステップＳ５０１へ戻る。ユーザは表示部１１０に表示された奥行き分割画像３３０を確認し、所望の被写体が合焦面位置に到達したときに操作部１１１より撮影指示を行うことができる。このときの奥行き分割画像は、例えば、先に示した図４（Ｂ）の４２０である。
ステップＳ５１０において、操作部からの撮影指示に従い、制御部１０７が、光学系１０１、撮像素子１０２、Ａ／Ｄ変換部１０３、画像処理部１０６を制御し、静止画記録のための画像データを生成し、メモリ部１０５に格納する。

本実施例においては、深度情報として距離画像生成部１０８は距離画像を生成した。しかし、これに限られるものではなく、深度情報は撮像画像内の各被写体の奥行き方向の深さ（深度）を示すものであればよい。深度情報は、各被写体の撮像画像を撮像した撮像素子からの被写体距離を示す情報、あるいは各被写体のデフォーカス量を示す情報であってもよい。また、深度情報は、撮像画像内の被写体を撮像した複数視点の撮像画像間の像ずれ量を示す情報であってもよい。

以上説明したように、本実施例によれば、合焦面位置および被写体を距離毎に分離して並べて表示することで、確認しながら所望の位置に合焦面を合わせることができる。また、動体を撮影する際に、被写体の動きを３次元的に捉えながらの置きピン撮影が可能となる。

（実施例２）
次に、実施例２について説明する。本実施例では、実施例１の画像処理装置を適用したデジタルカメラの構成に対し、さらに被写体を認識する機能が追加され、画像データを距離毎に分離して並べて表示する際に、表示する画像を取捨選択することが可能となっている。

図６を用いて、本実施例におけるデジタルカメラの構成について説明する。デジタルカメラである撮像装置６００において、光学系１０１から距離画像生成部１０８、表示部１１０から内部バス１１３のブロックは、実施例１の撮像装置１００のブロックと同じである。

被写体認識部６１４は、制御部１０７の制御に基づき、メモリ部１０５に格納された各分割画像に対し被写体検出および被写体領域の切り出しを行い、切り出した被写体領域から被写体を認識するための特徴情報を抽出し、メモリ部１０５に格納する。そして、被写体認識部６１４は、抽出した特徴情報とあらかじめ辞書データとしてメモリ部１０５に登録されている被写体（以下、登録済被写体と称す）の特徴情報とを比較して、類似度を算出する。被写体認識部６１４は、特徴情報を比較することで得られた類似度に基づいて、被認識対象の被写体がどの登録済被写体であるか、または該当する登録済被写体存在しないかの認識処理を行う。

表示画像生成部１０９は、実施例１と同様に、奥行き分割画像を生成し、メモリ部１０５に設けた表示用フレームメモリに格納する。その際に、被写体認識部６１４の認識処理の結果に基づき、登録済被写体として認識された被写体の分割画像のみを用いて奥行き分割画像を生成する。

次に、図７を用いて、本実施例における奥行き分割画像について説明する。
図７は、図３（Ａ）の画像データ３１０から表示画像生成部１０９によって生成される奥行き分割画像７００である。実施例１で生成した奥行き分割画像３３０との相違点は、人物３１１の位置する距離範囲の分割画像３３１のみが表示されている点である。撮影対象である人物３１１の特徴情報は、あらかじめ辞書データとしてメモリ部１０５に登録されているものとする。そして、被写体認識部６１４が、分割画像３３１、３３２、３３３と辞書データの人物３１１の特徴情報とを比較することで認識処理を行い、人物３１１の分割画像のみが一致する結果を得る。表示画像生成部１０９は、被写体認識部６１４の認識処理結果を受けて、人物３１１の分割画像３３１と合焦位置を示す合焦面画像３３４のみを配置した奥行き分割画像を生成する。

次に、図８を用いて、実施例２における画像データを距離毎に分離して並べて表示する奥行き分割画像表示フローについて説明する。ステップＳ８０１からステップＳ８０４は、実施例１の図５で説明したステップＳ５０１からステップＳ５０４と同じ処理フローである。また、ステップＳ８０６からステップＳ８１０も、実施例１の図５で説明したステップＳ５０６からステップＳ５１０と同じ処理フローである。

ステップＳ８１１において、被写体認識部６１４が、ステップＳ８０４で生成した各分割画像と辞書データの特徴情報とを比較することで認識処理を行う。辞書データは、本フローを実施する前に、あらかじめ登録されているものとする。
ステップＳ８０５において、ステップＳ８１１の認識処理結果に基づいて、被写体認識された分割画像のみを抽出し、奥行き分割画像を生成する。例えば、図７では、被写体として人物３１１が認識されるため、分割画像３３１が抽出され、奥行き分割画像７００が生成される。

以上説明したように、本実施例によれば、被写体の認識処理を行い、表示する画像を主被写体のみに限定することで、被写体の動きを３次元的に捉えながらの置きピン撮影において、主被写体の動きに注力して撮影することができる。

（実施例３）
次に、実施例３について説明する。本実施例では、実施例１の画像処理装置を適用したデジタルカメラの構成に対し、さらに被写体の光軸方向の動き量を算出する機能が追加され、画像データを距離毎に分離して並べて表示する際に、表示する画像を取捨選択することが可能となっている。

図９を用いて、本実施例におけるデジタルカメラの構成について説明する。
撮像装置９００において、光学系１０１から距離画像生成部１０８、表示部１１０から内部バス１１３のブロックは、実施例１の撮像装置１００のブロックと同じである。

動き量算出部９１４は、制御部１０７の制御に基づき、メモリ部１０５に格納された現在のフレームの分割画像と前フレームの分割画像との相関値を算出する。相関値の算出は、例えば、一方の画像を複数のマクロブロックに分割し、個々のマクロブロックをテンプレートとして、他方の画像における対応するマクロブロックの位置を中心とする所定の探索範囲内を移動しながら両者の類似度を求める方法で行われる。そして、動き量算出部９１４は、算出結果より、現在のフレームの分割画像と前フレームの分割画像との対応付けを行い、対応付けられた分割画像が位置する距離の差分から分割画像の光軸方向の動き量（動きベクトル）を算出し、動きを検出する。

表示画像生成部１０９は、実施例１と同様の処理を行い、奥行き分割画像を生成し、メモリ部１０５に設けた表示用フレームメモリに格納する。その際に、動き量算出部９１４の動きベクトル算出結果（動きの検出結果）に基づき、合焦面に向かって動く被写体の分割画像のみを抽出し、メモリ部１０５に設けた表示用フレームメモリに格納する。つまり、所望の方向に動いていない被写体の分割画像は削除した奥行き分割画像を生成する。

次に、図１０を用いて、本実施例における奥行き分割画像の例について説明する。
図１０（Ａ）は、フレーミングを行うために光学系１０１、撮像素子１０２、Ａ／Ｄ変換部１０３、画像処理部１０６によって撮像された画像データ１０１０である。被写体として、人物１０１１と人物１０１２が異なる距離に位置している。人物１０１１は、合焦面に向かって移動しており、人物１０１２は、静止している。ここでの撮影対象は、人物１０１１とする。

図１０（Ｂ）は、実施例１と同様に動き量算出結果に基づかずに、図１０（Ａ）の画像データから表示画像生成部１０９によって生成される奥行き分割画像１０２０である。奥行き分割画像１０２０は、人物１０１１の分割画像１０２１、人物１０１２の分割画像１０２２、背景の分割画像１０２３および合焦面画像１０２４を、距離画像に従って並べた画像である。

図１０（Ｃ）は、動き量算出結果に基づいて、分割画像を抽出した奥行き分割画像１０３０である。奥行き分割画像１０２０との相違点は、分割画像として人物１０１１の分割画像のみが表示されている点である。動き量算出部９１４が、各分割画像に対し前フレームの分割画像とブロックマッチングを行い、人物１０１１の位置する距離範囲の分割画像１０２１についてのみ動き量を算出したため、分割画像１０２１のみが表示されている。

次に、図１１を用いて、第３の実施例における画像データを距離毎に分離して並べて表示するフローについて説明する。ステップＳ１１０１からステップＳ１１０４は、実施例１の図５で説明したステップＳ５０１からステップＳ５０４と同じ処理フローである。また、ステップＳ１１０６からステップＳ１１１０も、実施例１の図５で説明したステップＳ５０６からステップＳ５１０と同じ処理フローである。

ステップＳ１１１１において、動き量算出部９１４が、ステップＳ１１０４で生成した各分割画像と前フレームの分割画像とをブロックマッチングすることで被写体の動きベクトルを算出し、動きの検出を行う。
ステップＳ１１０５において、ステップＳ１１１１の被写体の動きの検出（動きベクトル算出結果）に基づいて、合焦面に向かって動く被写体の分割画像のみを抽出し、奥行き分割画像を生成する。

以上説明したように、本実施例によれば、被写体の動きベクトルの算出を行い、表示する画像を主被写体のみに限定することで、被写体の動きを３次元的に捉えながらの置きピン撮影において、主被写体の動きに注力して撮影することができる。

（実施例４）
次に、実施例４について説明する。本実施例では、画像データを距離毎に分離して並べて表示する際に、被写体が所定の距離範囲に入ったことを明示する機能が追加されている。
本実施例におけるデジタルカメラの構成は、実施例１の画像処理装置を適用したデジタルカメラの構成と同様であるため、図１を用いて、本実施例におけるデジタルカメラの構成について説明する。
本実施例の撮像装置１００において、光学系１０１から画像処理部１０６、距離画像生成部１０８から内部バス１１３のブロックは、実施例１の撮像装置１００のブロックと同じである。

制御部１０７は、実施例１と同様の処理を行い、さらに所定の深さ方向の距離範囲（被写界深度）を算出し、範囲設定する。被写界深度の計算式において、許容錯乱円径をδ、レンズの焦点距離をｆ、絞り値をＦ、合焦面からレンズまでの距離をＡとする。前方被写界深度Ｔｆは式（２）、後方被写界深度Ｔｒは式（３）で表される。
Ｔｆ＝（δ×Ｆ×Ａ＾２）／（ｆ＾２＋δ×Ｆ×Ａ） ・・・（２）
Ｔｒ＝（δ×Ｆ×Ａ＾２）／（ｆ＾２―δ×Ｆ×Ａ） ・・・（３）
許容錯乱円径δは、撮像素子によって決まる係数で、本実施例では制御部１０７のＲＯＭに格納されているものとする。
なお、本実施形態において、深さ方向の距離範囲である被写界深度の範囲は、ユーザ操作によって手動で設定されてもよい。

表示画像生成部１０９は、実施例１と同様の処理を行い、奥行き分割画像を生成し、メモリ部１０５に設けた表示用フレームメモリに格納する。その際に、分割画像が所定の深さ方向の距離範囲に配置されたとき、分割画像の枠を強調表示する。強調表示の目的は、被写体が所定の距離範囲に入ったことをユーザに通知することであり、分割画像の枠を強調する方法に限られず、分割画像の背面を黒塗りするなど他の方法でも構わない。

次に、図１２を用いて、実施例における奥行き分割画像の例について説明する。
図１２（Ａ）は、フレーミングを行うために光学系１０１、撮像素子１０２、Ａ／Ｄ変換部１０３、画像処理部１０６によって撮像された画像データ１２１０である。被写体として、人物１２１１と人物１２１２が異なる距離に位置している。ここでの撮影対象は、人物１２１１とする。
図１２（Ｂ）は、図１２（Ａ）に対して、時間が経過したときの画像データ１２２０である。被写体が撮像装置１００に向かって移動し、人物１２１１が所定の距離範囲に入っている。

図１２（Ｃ）は、図１２（Ａ）の画像データから表示画像生成部１０９によって生成される奥行き分割画像１２３０である。距離の軸上に、制御部１０７によって算出された前方被写界深度Ｔｆと後方被写界深度Ｔｒが示されている。ここでは、前方被写界深度が５ｍ、後方被写界深度が５ｍであるとする。分割画像１２３１は、人物１２１１が位置する被写体距離範囲を抽出した分割画像である。分割画像１２３２は、人物１２１２が位置する被写体距離範囲を抽出した分割画像である。分割画像１２３３は、特定の距離より遠い範囲にある背景を抽出した分割画像である。背景に指定する特定距離は、ユーザによって任意に設定できる。合焦面画像１２３４は、ユーザが設定した合焦位置を示す合焦面画像である。
図１２（Ｄ）は、図１２（Ｂ）の画像データから表示画像生成部１０９によって生成される奥行き分割画像１２３０である。人物１２１１が、合焦面に対して後方被写界深度Ｔｒの位置に到達しているので、分割画像１２３１の枠が強調表示されている。

次に、図１３を用いて、実施例４における画像データを距離毎に分離して配置し、奥行き分割画像を表示するフローについて説明する。ステップＳ１３０１からステップＳ１３０３は、実施例１の図５で説明したステップＳ５０１からステップＳ５０３と同じ処理フローである。また、ステップＳ１３０４、ステップＳ１３０５からステップＳ１３１０も、実施例１の図５で説明したステップＳ５０４と同じ処理フローである。

ステップＳ１３１１において、制御部１０７が、被写界深度の計算式に基づき、深さ方向の所定の距離範囲（被写界深度）である前方被写界深度Ｔｆと後方被写界深度Ｔｒを算出する。
ステップＳ１３１２は、ステップＳ１３１１の被写界深度の算出結果に基づいて、被写体が被写界深度の範囲にいるかを判断する。被写体が被写界深度の範囲にいる場合、ステップＳ１３１３に移行し、被写体が被写界深度の範囲にいない場合、ステップＳ１３０５に移行する。
ステップＳ１３１３は、表示画像生成部１０９が、被写界深度の範囲に入った被写体の分割画像の枠を強調する加工を行う。

以上説明したように、本実施例によれば、被写体の動きを３次元的に捉えながらの置きピン撮影において、被写界深度の算出を行い、被写体が被写界深度の範囲に入ったことを明示することで、撮影タイミングを逃すことを防ぐことができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１００ 撮像装置
１０６ 画像処理部
１０８ 距離画像生成部
１０９ 表示画像生成部

Claims (13)

1. 被写体を撮像した撮像画像を生成する画像生成手段と、
   撮像画像内の各被写体の奥行き方向の深さを示す深度情報を生成する深度情報生成手段と、
   前記深度情報に基づいて、前記撮像画像から、深さ方向の異なる被写体それぞれに対応する複数の分割画像を生成する分割画像生成手段と、
   前記分割画像生成手段により生成された前記分割画像と焦点を合わせる合焦面を示す合焦面画像とを、深さ方向の距離に基づいて配置し表示画像を生成する表示画像生成手段と、を備えることを特徴とする画像処理装置。
2. 前記撮像画像から特定の被写体を認識する認識手段を備え、
   前記表示画像生成手段は、前記分割画像として、前記認識手段において認識した被写体に対応する分割画像のみを配置することを特徴とする請求項１に記載の画像処理装置。
3. 前記認識手段は、予め登録されている特定の被写体の特徴情報と、撮像画像から抽出した被写体の特徴情報とを比較して、前記特定の被写体を認識することを特徴とする請求項２に記載の画像処理装置。
4. 前記被写体の深さ方向の動きを検出する検出手段を備え、
   前記表示画像生成手段は、前記分割画像として、前記検出手段において動きの検出された被写体に対応する分割画像のみを配置することを特徴とする請求項１に記載の画像処理装置。
5. 前記表示画像生成手段は、前記分割画像として、前記検出手段において動きの検出された被写体のうち、前記合焦面の方向に動く被写体に対応する分割画像のみを配置することを特徴とする請求項４に記載の画像処理装置。
6. 深さ方向の所定の範囲を設定する範囲設定手段を備え、
   前記表示画像生成手段は、前記分割画像が、前記深さ方向の所定の範囲に含まれる場合、該分割画像を強調表示する表示画像を生成することを特徴とする請求項１乃至５のうちいずれか１項に記載の画像処理装置。
7. 前記深度情報生成手段は、前記深度情報を、画素値あるいは輝度値によって表す距離画像として生成することを特徴とする請求項１乃至６のうちいずれか１項に記載の画像処理装置。
8. 前記表示画像には、さらに、深さ方向を示す軸及び深さ方向の距離を示す数値を表示し、前記分割画像および前記合焦面画像は、前記軸に沿って配置されることを特徴とする請求項１乃至７のうちいずれか１項に記載の画像処理装置。
9. 前記合焦面を、ユーザの操作により設定する操作手段と、
   前記ユーザの操作に基づいて、レンズを駆動する制御を行う制御部と、を備え、
   前記合焦面までの深さ方向の距離は、レンズの位置とレンズの焦点距離に基づいて算出されることを特徴とする請求項１乃至８のうちいずれか１項に記載の画像処理装置。
10. 前記表示画像を表示する表示手段を備えることを特徴とする請求項１乃至９のうちいずれか１項に記載の画像処理装置。
11. 請求項１乃至１０のうちいずれか１項に記載の画像処理装置と、
    被写体を撮像する撮像手段を備えることを特徴とする撮像装置。
12. 画像処理装置の制御方法であって、
    被写体を撮像した撮像画像を生成する工程と、
    撮像画像内の各被写体の奥行き方向の深さを示す深度情報を生成する工程と、
    前記深度情報に基づいて、前記撮像画像から、深さ方向の異なる被写体それぞれに対応する複数の分割画像を生成する工程と、
    生成された前記分割画像と焦点を合わせる合焦面を示す合焦面画像とを、深さ方向の距離に基づいて配置し表示画像を生成する工程と、を有することを特徴とする制御方法。
13. コンピュータを請求項１乃至１０のうちいずれか１項に記載の画像処理装置の各手段として機能させることを特徴とするプログラム。