JP2019208170A - 画像処理装置、画像処理方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】撮影時にユーザがピント位置や被写界深度を調整する負荷を軽減することができる画像処理装置を提供する。【解決手段】入力画像について、ピント位置から被写界深度内の範囲である第１の範囲を算出する第１の算出部と、入力画像について、入力画像が撮影された時の絞り値に対して、仮想的に所定量変更した絞り値に設定した場合のピント位置から被写界深度内の範囲である第２の範囲を算出する第２の算出部と、入力画像が撮影された時の撮影モードに応じて、第１の範囲または第２の範囲を、第１の範囲以外の領域または第２の範囲以外の領域と区別できるように表示部に表示する表示制御部と、を備える。【選択図】図４

Description

本発明は、撮像される画像を加工してモニタに表示する処理を行う画像処理装置に関するものである。

従来より、デジタルカメラにおいては、被写体の確認を目的として、液晶表示装置（ＬＣＤ）などを用いた電子ビューファインダー（ＥＶＦ）が用いられている。さらには、被写体の合焦状態、被写界の深度などを確認しながら撮影ができるように、ＥＶＦ上に現在のピント位置を重畳した画像を表示する技術が知られている。

例えば特許文献１には、合焦位置を指定するための情報をＥＶＦ上に重畳表示し、合焦位置と被写体位置との関係に応じて合焦位置を指定するための情報の表示状態を変化させる技術が開示されている。特許文献１によれば、焦点を合わせる位置を指定する際に、奥行き方向を含めて指定することを直感的且つ容易に行うことができるとされている。

特開２０１６−４１６３号公報

しかしながら、特許文献１に開示されている構成では、撮影モードや撮影シーンが変化した場合に、必ずしもユーザの撮影意図に適した情報が表示されるとは限らない場合がある。また、ユーザがピント位置や被写界深度の範囲を画面上で指定する必要があり、ファインダーを覗き込みながら調整して撮影することは困難である。

本発明は上述した課題に鑑みてなされたものであり、その目的は、撮影時にユーザがピント位置や被写界深度を調整する負荷を軽減することができる画像処理装置を提供することである。

本発明に係わる画像処理装置は、入力画像について、ピント位置から被写界深度内の範囲である第１の範囲を算出する第１の算出手段と、前記入力画像について、前記入力画像が撮影された時の絞り値に対して、仮想的に所定量変更した絞り値に設定した場合の前記ピント位置から被写界深度内の範囲である第２の範囲を算出する第２の算出手段と、前記入力画像が撮影された時の撮影モードに応じて、前記第１の範囲または前記第２の範囲を、前記第１の範囲以外の領域または前記第２の範囲以外の領域と区別できるように表示手段に表示する表示制御手段と、を備えることを特徴とする。

また、本発明に係わる画像処理装置は、入力画像について、ピント位置から被写界深度内の範囲である第１の範囲を算出する第１の算出手段と、前記入力画像について、前記入力画像が撮影された時の絞り値に対して、仮想的に所定量変更した絞り値に設定した場合の前記ピント位置から被写界深度内の範囲である第２の範囲を算出する第２の算出手段と、前記入力画像が撮影された時のフォーカス調整情報に応じて、前記第１の範囲または前記第２の範囲を、前記第１の範囲以外の領域または前記第２の範囲以外の領域と区別できるように表示手段に表示する表示制御手段と、を備えることを特徴とする。

本発明によれば、撮影時にユーザがピント位置や被写界深度を調整する負荷を軽減することができる画像処理装置を提供することが可能となる。

本発明の画像処理装置の第１の実施形態である撮像装置の構成を示すブロック図。 第１の実施形態における撮像素子の構成を示す図。 第１の実施形態における画像処理部の構成を示すブロック図。 第１の実施形態における画像処理装置の動作を示すフローチャート。 第１の実施形態における入力画像の例を示す図。 第１の実施形態におけるエッジ画像およびデフォーカスマップを示す図。 第１の実施形態におけるデフォーカス量のヒストグラムおよび被写界深度範囲を示す図。 第１の実施形態における表示用画像を示す図。 第１の実施形態における絞りを変化させる段数の算出方法を示す図。 第１の実施形態における第２の被写界深度範囲を示す図。 第１の実施形態における表示用画像を示す図。 第１の実施形態における入力画像の他の例を示す図。 第１の実施形態におけるエッジ画像およびデフォーカスマップを示す図。 第１の実施形態におけるデフォーカス量のヒストグラムおよび被写界深度範囲を示す図。 第１の実施形態における表示用画像の他の例を示す図。 第２の実施形態における画像処理装置の動作を示すフローチャート。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

（第１の実施形態）
本実施形態では、デジタルカメラなどの撮像装置を用いてユーザがＥＶＦを見ながら合焦範囲を調整しながら、ユーザの近くにいる複数の人物を撮影する場合を例に挙げて説明する。なお本実施形態では、レンズ部のフォーカス調整用リングを動かすことで調整を行うＭＦ（マニュアルフォーカス）での撮影を想定して説明する。ただし、本実施形態で説明する技術は、電子ビューファインダー（ＥＶＦ）の画面上の任意の部分をタッチしてピント位置を指定したり、ＡＦ（オートフォーカス）機能を用いて撮影したりするなど、他の使用形態においても適用可能である。また、以下では、画像処理装置の一例として撮像装置について説明するが、本発明の画像処理装置は撮像装置に限定されず、例えばパーソナルコンピュータ（ＰＣ）などであってもよい。

図１は、本発明の画像処理装置の第１の実施形態である撮像装置１００の構成を示すブロック図である。図１において、撮像光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り調整装置、および、シャッター装置を備えている。この撮像光学系１０１は、撮像部１０２に到達する被写体像の倍率やピント位置、あるいは、光量を調整する。撮像部１０２は、撮像光学系１０１を通過した被写体の光束を光電変換し電気信号に変換するＣＣＤやＣＭＯＳセンサー等の撮像素子を有する。

Ａ／Ｄ変換部１０３は、入力されたアナログの画像信号をデジタルの画像信号に変換する。画像処理部１０４は、通常の信号処理の他に、本実施形態における表示用画像の加工処理を行う。画像処理部１０４はＡ／Ｄ変換部１０３から出力された画像のみでなく、記録部１１０から読み出した画像に対しても同様の画像処理を行うことができる。

制御部１０５は、適正な明るさを持つ入力画像を得るための撮影時の露光量を算出し、それを実現するために撮像光学系１０１と撮像部１０２を制御して、絞り、シャッタースピード、撮像素子のアナログゲインを制御する。

表示部１０６は、画像処理部１０４から出力される画像を液晶表示装置（ＬＣＤ）などの表示用部材に逐次表示することにより、電子ビューファインダ（ＥＶＦ）として機能する。記録部１０７は、画像を記録する機能を有し、たとえば、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた情報記録媒体を含んでもよい。

図２は、撮像部１０２内の撮像素子１０２Ａを示す図である。図２（ａ）は、撮像素子１０２Ａの画素配列を示している。図２（ｂ）は、撮像素子１０２Ａの単位画素３０２を拡大して示しており、各単位画素３０２がマイクロレンズ３０１と一対の光電変換素子３０３Ａ，３０４Ｂを備えることが示されている。図２（ａ）に示されるように、撮像素子１０２Ａには単位画素３０２が二次元的に規則的に配列されている。

図３は、画像処理部１０４の内部構造を示すブロック図である。図３において、信号処理部２０１は、ノイズ低減処理や現像処理など通常の信号処理を行う他、ガンマ変換などによる階調圧縮処理によって所定の出力レンジに階調圧縮する処理などを行う。撮影情報取得部２０２は、撮影時にユーザが設定した撮影モードや、焦点距離、絞り値、露光時間など撮像における各種情報を取得する。

エッジ生成部２０３は、信号処理部２０１が出力した画像からエッジ信号を生成する処理を行う。デフォーカス演算部２０４は、撮像光学系１０１の射出瞳の異なる領域を通過した光束により形成される複数の被写体像の位相差に基づいて、撮像された画像におけるデフォーカスの分布を示すデフォーカスマップを生成する。ヒストグラム算出部２０５は、デフォーカス演算部２０４が生成したデフォーカスマップに対するヒストグラムを生成する。表示用加工処理部２０６は、エッジ生成部２０３およびデフォーカス演算部２０４の出力を用いて、信号処理部２０１が処理した画像を表示部１０６に表示するための加工処理を行う。

以下、ユーザがＥＶＦを見ながら合焦範囲を調整し静止画を撮影する際の、表示用加工処理の内容について図４のフローチャートを用いて説明する。図５の画像５０１は、本処理における入力画像の一例を示しており、３人の人物５０２，５０３，５０４が撮像装置１００から見て手前側から奥側に並んでいるシーンを示している。

ステップＳ４０１では、エッジ生成部２０３は入力画像５０１に対してＢｐｆ（バンドパスフィルタ）を適用することにより、エッジ画像を生成する。具体的には、水平方向および垂直方向それぞれに[-1 0 2 0 -1]のフィルタを適用した信号を加算する。なお、エッジ画像の生成方法としてはこれに限らず、Ｌｐｆ（ローパスフィルタ）を適用した画像と元の画像との差分をとることでエッジ成分を抽出するなど、他の方法であってもよい。図６（ａ）の画像６０１は得られるエッジ画像を示している。

ステップＳ４０２では、デフォーカス演算部２０４は入力画像５０１に対するデフォーカスマップを生成する。具体的な生成方法については、例えば特開２０１６−９０６２号公報で説明されているような公知の手法を用い、画素毎にデフォーカス量を算出しデフォーカスマップを作成する。図６（ｂ）の画像６０２は得られるデフォーカスマップを示している。画像６０２において、奥行き方向の真ん中にいる人物５０３の領域が合焦を示す値をとっており、手前側の人物５０２は前ボケの非合焦を、奥側の人物５０４は後ボケの非合焦を示している。

ステップＳ４０３では、Ｓ４０２で生成したデフォーカスマップ画像６０２に基づいて、ヒストグラム算出部２０５はデフォーカス量のヒストグラムを生成する。図７は得られるヒストグラムを示しており、図中点線７０１で示したデフォーカスの値が０で、ピントが最も合っていることを意味している。

ステップＳ４０４では、Ｓ４０３で生成したデフォーカス量のヒストグラムを用いて第１のデフォーカス範囲を算出する。ここで、第１のデフォーカス範囲とは現在撮像している画像において被写界深度に含まれると判断されるデフォーカス量の値域を意味するものである。算出方法としては、Ｆを入力画像５０１に対して撮影情報取得部２０２が取得した絞り値、δを許容錯乱円径の値すなわち撮像部１０２の画素数および大きさに依存する値とし、範囲の上限値および下限値をそれぞれ＋Ｆδ、−Ｆδとする。したがって、図７のヒストグラムにおいて示したようにデフォーカスの値が−Ｆδ〜＋Ｆδの範囲（グレー部分）に含まれる領域は深度内に含まれると判定することができる。

ステップＳ４０５では、シーン情報としてＳ４０４で算出した第１のデフォーカス範囲に含まれる画素の割合を用いて後段の加工処理の仕方を制御する。具体的には、デフォーカスマップ画像６０２の全画素数に対して第１のデフォーカス範囲に含まれる画素の割合が８０％以上（所定の割合以上）であればＳ４０６以降の加工処理へ、そうでなければＳ４０７以降の加工処理へ処理を進める。例えば、デフォーカスマップ画像６０２において深度内に含まれているのが人物５０３一人のみで、上記の割合が８０％に満たない場合などにＳ４０７へ進む。

ステップＳ４０７では、表示用加工処理部２０６は入力画像５０１に対して表示用の加工処理を適用する。具体的には、Ｓ４０１で生成したエッジ信号が所定の値以上であり、かつＳ４０２で生成したデフォーカス量が第１のデフォーカス範囲に含まれる領域に対して、入力画像５０１に緑色の信号を重畳する（区別して表示する）処理を行う。図８の画像８０１はその結果得られる画像を示しており、奥行き方向に真ん中にいる人物５０３のエッジ領域のみ緑色が重畳され目立たせている（太線）ことがわかる（表示制御）。逆にそれ以外の２人の人物５０２，５０４には緑色が重畳されておらず、深度外（第１のデフォーカス範囲以外）に存在するということが確認できる。

ステップＳ４０８では、撮影情報取得部２０２は撮影中に設定されている撮影モードに関する情報を取得する。ここで撮影モードが例えば絞り優先モードやマニュアルモードなど、ユーザが手動で任意に絞り値を変更可能なモードである場合にはステップＳ４０９へ、そうでないシャッター速度優先モードやオートモードなどである場合（絞り値を変更可能な撮影モード以外のモード）にはステップＳ４１２へ処理を進める。

ステップＳ４０９では、デフォーカス演算部２０４は２つの仮想絞り値を算出する。ここで仮想絞り値とは、現在設定されているものとは異なる絞り値（所定量変更した絞り値）のことであり、以下の式で算出される。

ＦＶ＋＝ＦＲ×（√２）^N+ …（式１）
ＦＶ−＝ＦＲ×（√２）^N- …（式２）
ここで、ＦＶ＋およびＦＶ−は、仮想絞り値、ＦＲは現在の絞り値、Ｎ＋およびＮ−は被写界深度を広げるあるいは狭めるために絞り値を変える段数を表しており、共にＦＲに応じて決定される定数である。より具体的には、本実施形態においては、現在の絞り値に対して絞りを仮想的に広げるあるいは狭める段数を制御部１０５が決定し、その段数だけ絞りを広げるあるいは狭めることにより、被写界深度がどのように変わるかを計算し、表示部１０６に表示する。ユーザは、この絞り値の変化の段数と被写界深度の変化の様子を見て、自分が希望する被写界深度を得るために絞りを操作する量を決める参考とすることができる。

絞りを仮想的に広げるあるいは狭める段数Ｎ＋およびＮ−は次のように決定される。図９は現在の絞り値ＦＲと絞り値を仮想的に変化させる段数Ｎ＋およびＮ−の関係を示しており、ＦＲの値が大きい程Ｎ＋の値が小さくなり、Ｎ−の値が大きくなっていることがわかる。これは、現在の絞り値ＦＲが小さい（絞りが開いている）ほど絞り値を変えたときの深度の変化量が小さいため、仮想的に絞り値を変更する度合いを大きくすることで深度の変化量を大きくすることが目的である。このように、仮想的に絞り値を変化させる量Ｎ＋，Ｎ−を、現在の絞り値に応じて変化させることにより、ユーザは絞り値を変化させたときの被写界深度の変化の様子を容易に把握することが出来る。

なお、仮想絞り値ＦＶ＋およびＦＶ−の算出方法は上記の方法に限らず、Ｎ＋をＦＲに対して右上がりにするなど異なる算出方法にしてもよい。また、ユーザが自由に設定することで、ＦＶ−を最小の絞り値に固定して開放時の深度を表示しながら、ＦＶ＋を＋１段変えた絞り値として深度を表示するといったような方法も可能である。

ステップＳ４１０では、デフォーカス演算部２０４はＳ４０９で算出した仮想絞り値ＦＶ＋およびＦＶ−に対する第２のデフォーカス範囲を算出する。算出方法としてはＳ４０４と同様に、絞り値を大きい値に変更したときの被写界深度の上限値および下限値をそれぞれ＋ＦＶ＋δ、−ＦＶ＋δとし、絞り値を小さい値に変更したときの被写界深度の上限値および下限値をそれぞれ＋ＦＶ−δ、−ＦＶ−δとする。結果的に得られる第２のデフォーカス範囲の一例を図１０に示す。図中、２つの第２のデフォーカス範囲はＳ４０４で算出した第１のデフォーカス範囲に対して、狭い範囲と広い範囲になっており、これはそれぞれ絞り値を仮想的に変更したことで深度が狭くあるいは広くなっていることを示している。

ステップＳ４１１では、表示用加工処理部２０６はＳ４０７において加工処理を適用した画像に対して、さらに加工処理を行う。具体的には、Ｓ４０２で生成したデフォーカス量が第２のデフォーカス範囲に含まれる領域に対して所定の色信号を重畳する処理を行う。ここで、Ｓ４１０において第２のデフォーカス範囲として絞り値を大きくした場合と小さくした場合との２つの範囲を算出した。しかし、どちらか片方の範囲に含まれる深度内領域に対して色信号を重畳してもよいし、あるいはそれぞれの範囲に異なる色信号を重畳してもよい。例えば、絞り値を大きくしたときの深度内領域には青色、絞り値を小さくしたときの深度内領域には赤色を重畳することで、絞り値を変えたときにどこまで深度が変化するかを示すことができる。

図１１の画像１１０１はその結果得られる画像を示している。図８の画像８０１において奥行き方向の真ん中にいる人物５０３のエッジ領域のみ色信号が重畳されているのに対して、手前側および奥側にいる人物５０２，５０４のエッジ領域にも色信号が重畳（中太線）されていることがわかる。したがって、ユーザは３人の人物を全て深度内に収めるためにはどの程度絞り値を調整すればよいかを判断することが可能となる。

ステップＳ４１２では、表示用加工処理部２０６が生成した加工済み画像１１０１を表示部１０６に表示する。

一方、ステップＳ４０５において、デフォーカスマップ画像の全画素数に対して第１のデフォーカス範囲に含まれる画素の割合が８０％以上であった場合は、Ｓ４０６に進む。この条件を満足する撮影状況としては、例えば屋外の遠景シーンを撮影する場合などが考えられる。

図１２の画像１２０１は入力画像の一例を示しており、植物や河川、建造物などが遠方に存在するシーンである。図１３（ａ）の画像１３０１は、画像１２０１を入力画像としたときのステップＳ４０１で得られるエッジ画像を示している。また、図１３（ｂ）の画像１３０２は、画像１２０１を入力画像としたときのステップＳ４０２で得られるデフォーカスマップを示している。さらに、図１４は、画像１２０１を入力画像としたときのステップＳ４０３で得られるヒストグラムを示している。

入力画像が画像１２０１である場合には、Ｓ４０４でデフォーカス演算部２０４により算出される第１のデフォーカス範囲は、図１４のヒストグラムにおけるグレー部分１４０１となる。これを見ると、入力画像が画像５０１である場合の図７のヒストグラムよりも第１のデフォーカス範囲が広くなっていることがわかる。これは、入力画像１２０１に示す遠景シーンにおいて、フォーカス位置が遠方に定められてパンフォーカス状態となり、深度が深くなっているためである。その結果として、ステップＳ４０５の判定において、デフォーカスマップ画像１３０２の全画素数に対して第１のデフォーカス範囲に含まれる画素の割合が８０％以上となり、Ｓ４０６に進むこととなる。

ステップＳ４０６では、表示用加工処理部２０６は入力画像１２０１に対して表示用の加工処理を適用し、ステップＳ４１２では、表示用加工処理部２０６が生成した加工済み画像を表示部１０６に表示する。具体的には、まずＳ４０１で生成したエッジ信号が所定の値以上であり、かつＳ４０２で生成したデフォーカス量が第１のデフォーカス範囲に含まれない領域に対して、入力画像５０１に黄色の信号を重畳する処理を行う。さらに、表示部１０６に表示する際、加工した部分を点滅させるようにする。これは、ステップＳ４０７のように第１のデフォーカス範囲に含まれる領域に対して色信号を重畳する処理を行うと、画像１２０１の大部分に対して色信号が重畳されることになり、被写界深度外の領域の視認性が低下してしまうのを避けることが目的である。図１５の画像１５０１は実際に表示される画像を示しており、最も手前側（撮像装置に近い側）に位置する植物のみが目立っている（太線）ことがわかる。これにより、ユーザは色信号が点滅していない領域は被写界深度内に入っており、点滅している一部の領域が被写界深度外になっていることを確認することができる。

以上のようにして、入力画像を取得してから、画像処理部１０４でデフォーカス演算および加工処理を行い、表示部１０６に表示するまでの本実施形態における処理が実行される。本実施形態のこのような構成により、ユーザの撮影の仕方やユーザが撮影しているシーンに適した方法で被写界深度情報を表示することで、撮影時にユーザがピント位置や深度を調整する負荷を軽減することができる。

なお本実施形態では、１つの絞り値に対する深度内の範囲を１色で表現するように加工する場合について説明したが、これに限らず合焦を示す値（デフォーカス量が０）を閾値として異なる色で加工してもよい。例えば、Ｓ４１０の第２のデフォーカス範囲においてデフォーカス量が０より大きい領域（手前側）は水色、０より小さい領域（奥側）は紺色などにすることで、被写体の前後関係を把握し、ピント位置をどちら側に調整すればよいかの判断をしやすくできる。特に、２つの被写体がデフォーカス量としては近い値を持っていながら、画像内では面内方向に離れていて前後関係が目視のみでは判断しにくい場合においては、より利便性が向上する。また、加工方法としては単純に色信号を重畳するのではなく、輝度や彩度をデフォーカス量に応じて変化させるなど、他の方法を用いてもよい。

また、本実施形態では、被写体距離情報を取得する方法として、図２に示したような、撮像光学系の射出瞳の異なる領域を通過した光束が形成する複数の被写体像の位相差に基づいて取得する例について説明したが、他の構成や手段を代用あるいは併用してもよい。例えば複数のレンズおよび撮像素子を有する複眼カメラを用いることで、より精度のよい像ずれ量を検出できるようにしてもよい。また、ＴＯＦ（Time Of Flight）カメラや超音波により距離が計測可能な構成とすることで、模様の変化が乏しい被写体に対する測距性能を向上させることが可能となる。

（第２の実施形態）
以下、本発明の第２の実施形態について説明する。この第２の実施形態における画像処理装置の構成は、第１の実施形態の構成と同様であるので、その説明は省略する。本実施形態の画像処理装置は、その動作が第１の実施形態と異なる。以下では、第１の実施形態と異なる動作について、図１６のフローチャートを参照しながら、図５乃至図１１も用いて説明する。

図１６は、第２の実施形態の画像処理装置の動作を示すフローチャートである。まず、ステップＳ１６０１では、エッジ生成部２０３は図５の入力画像５０１に対してＢｐｆ（バンドパスフィルタ）を適用することにより、エッジ画像を生成する。具体的には、水平方向および垂直方向それぞれに[-1 0 2 0 -1]のフィルタを適用した信号を加算する。なお、エッジ画像の生成方法としてはこれに限らず、Ｌｐｆ（ローパスフィルタ）を適用した画像と元の画像との差分をとることでエッジ成分を抽出するなど、他の方法であってもよい。図６（ａ）の画像６０１は得られるエッジ画像を示している。

ステップＳ１６０２では、デフォーカス演算部２０４は入力画像５０１に対するデフォーカスマップを生成する。具体的な生成方法は、第１の実施形態と同様である。図６（ｂ）の画像６０２は得られるデフォーカスマップを示している。画像６０２において、奥行き方向の真ん中にいる人物５０３の領域が合焦を示す値をとっており、手前側の人物５０２は前ボケの非合焦を、奥側の人物５０４は後ボケの非合焦を示している。

ステップＳ１６０３では、Ｓ１６０２で生成したデフォーカスマップ画像６０２に基づいて、ヒストグラム算出部２０５がデフォーカス量のヒストグラムを生成する。図７は得られるヒストグラムを示しており、図中点線７０１で示したデフォーカスの値が０で、ピントが最も合っていることを意味している。また、デフォーカス量が＋の値は前ボケの非合焦を、−の値は後ボケの非合焦をそれぞれ意味している。

ステップＳ１６０４では、Ｓ１６０３で生成したデフォーカス量のヒストグラムを用いて第１のデフォーカス範囲を算出する。ここで、第１のデフォーカス範囲とは現在撮像している画像において被写界深度に含まれると判断されるデフォーカス量の値域を意味するものである。算出方法としては、Ｆを入力画像５０１に対して撮影情報取得部２０２が取得した絞り値、δを許容錯乱円径の値すなわち撮像部１０２の画素数および大きさに依存する値とし、範囲の上限値および下限値をそれぞれ＋Ｆδ、−Ｆδとする。したがって、図７のヒストグラムにおいて示したようにデフォーカス量が−Ｆδ〜＋Ｆδの範囲（グレー部分）に含まれる領域は深度内に含まれると判定することができる。

ステップＳ１６０５では、表示用加工処理部２０６は入力画像５０１に対して表示用の加工処理を適用する。具体的には、Ｓ１６０１で生成したエッジ信号が所定の値以上であり、かつＳ１６０２で生成したデフォーカス量が第１のデフォーカス範囲に含まれる領域に対して、入力画像５０１に緑色の信号を重畳する処理を行う。図８の画像８０１はその結果得られる画像を示しており、奥行き方向に真ん中にいる人物５０３のエッジ領域のみ緑色が重畳され目立たせている（太線）ことがわかる。逆にそれ以外の２人の人物５０２，５０４には緑色が重畳されておらず、深度外にいるということが確認できる。

ステップＳ１６０６では、制御部１０５は、ユーザにより撮像光学系１０１のフォーカス位置が変更されて所定時間が経過したか否か（フォーカス調整情報）を判定する。具体的な処理は、まず所定の時間間隔においてフォーカス調整がなされたか否かを検出するものであり、ユーザがフォーカス調整用リングを動かした場合に、変更されたという判定がなされる。続いて、フォーカス位置が変更されてから所定の時間、例えば３秒が経過したか否かを判定する。ここでフォーカス位置の変更に対して所定時間の経過時間を持たせるのは、ユーザがフォーカス位置を調整する際、マニュアルフォーカス（以下、ＭＦ）においては調整用リングをわずかに動かしたり止めたりすることから、判定の結果が敏感に切り替わるのを避けるためである。なお、フォーカス調整の方法としてはこれに限らず、ユーザがシャッターボタンや表示部１０６の画面などフォーカス調整用リング以外の操作部材を操作することで、ＡＦを動作させている場合においても同様に適用可能である。また、フォーカス調整を検出する方法については、例えば入力画像５０１における現在の深度内領域のエッジ信号の変化によって判定するなど、他の方法であってもよい。フォーカス位置の変更から所定時間が経過したと判定された場合にはＳ１６０７へ、そうでない場合にはＳ１６１０へ処理を進める。

ステップＳ１６０７では、デフォーカス演算部２０４は２つの仮想絞り値を算出する。ここで仮想絞り値とは、現在設定されているものとは異なる絞り値のことであり、以下の式で算出される。

ＦＶ＋＝ＦＲ×（√２）^N+ …（式１）
ＦＶ−＝ＦＲ×（√２）^N- …（式２）
ここで、ＦＶ＋およびＦＶ−は、仮想絞り値、ＦＲは現在の絞り値、Ｎ＋およびＮ−は被写界深度を広げるあるいは狭めるために絞り値を変える段数を表しており、共にＦＲに応じて決定される定数である。より具体的には、本実施形態においては、現在の絞り値に対して絞りを仮想的に広げるあるいは狭める段数を制御部１０５が決定し、その段数だけ絞りを広げるあるいは狭めることにより、被写界深度がどのように変わるかを計算し、表示部１０６に表示する。ユーザは、この被写界深度の変化の様子を見て、自分が希望する被写界深度を得るために絞りを操作する量を決める参考とすることができる。

絞りを仮想的に広げるあるいは狭める段数Ｎ＋およびＮ−は次のように決定される。図９は現在の絞り値ＦＲと絞り値を仮想的に変化させる段数Ｎ＋およびＮ−の関係を示しており、ＦＲの値が大きい程Ｎ＋の値が小さくなり、Ｎ−の値が大きくなっていることがわかる。これは、現在の絞り値ＦＲが小さい（絞りが開いている）ほど絞り値を変えたときの深度の変化量が小さいため、仮想的に絞り値を変更する度合いを大きくすることで深度の変化量を大きくすることが目的である。このように、仮想的に絞り値を変化させる量を、現在の絞り値に応じて変化させることにより、ユーザは絞り値を変化させたときの被写界深度の変化の様子を容易に把握することが出来る。

なお、仮想絞り値ＦＶ＋およびＦＶ−の算出方法は上記の方法に限らず、Ｎ＋をＦＲに対して右上がりにするなど異なる算出方法にしてもよい。また、ユーザが自由に設定することで、ＦＶ−を最小の絞り値に固定して開放時の深度を表示しながら、ＦＶ＋を＋１段変えた絞り値として深度を表示するといったような方法も可能である。

ステップＳ１６０８では、デフォーカス演算部２０４はＳ１６０７で算出した仮想絞り値ＦＶ＋およびＦＶ−に対する第２のデフォーカス範囲を算出する。算出方法としてはＳ１６０４と同様に、絞り値を大きい値に変更したときの被写界深度の上限値および下限値をそれぞれ＋ＦＶ＋δ、−ＦＶ＋δとし、絞り値を小さい値に変更したときの被写界深度の上限値および下限値をそれぞれ＋ＦＶ−δ、−ＦＶ−δとする。結果的に得られる第２のデフォーカス範囲の一例を図１０に示す。図中、２つの第２のデフォーカス範囲はＳ１６０４で算出した第１のデフォーカス範囲に対して、狭い範囲と広い範囲になっており、これはそれぞれ絞り値を仮想的に変更したことで深度が狭くあるいは広くなっていることを示している。

ステップＳ１６０９では、表示用加工処理部２０６はＳ１６０５において加工処理を適用した画像に対して、さらに加工処理を行う。具体的には、Ｓ１６０２で生成したデフォーカス量が第２のデフォーカス範囲に含まれる領域に対して所定の色信号を重畳する処理を行う。ここで、Ｓ１６０８において第２のデフォーカス範囲として絞り値を大きくした場合と小さくした場合との２つの範囲を算出した。しかし、どちらか片方の範囲に含まれる深度内領域に対して色信号を重畳してもよいし、あるいはそれぞれの範囲に異なる色信号を重畳してもよい。例えば、絞り値を大きくしたときの深度内領域には青色、絞り値を小さくしたときの深度内領域には赤色を重畳することで、絞り値を変えたときにどこまで深度が変化するかを示すことができる。

図１１の画像１１０１はその結果得られる画像を示している。図８の画像８０１において奥行き方向の真ん中にいる人物５０３のエッジ領域のみ重畳されているのに対して、手前側および奥側にいる人物５０２，５０４のエッジ領域にも色信号が重畳（中太線）されていることがわかる。したがって、ユーザは３人の人物を全て深度内に収めるためにはどの程度絞り値を調整すればよいかを判断することが可能となる。

ステップＳ１６１０では、表示用加工処理部２０６が生成した加工済み画像１１０１を表示部１０６に表示する。ユーザがフォーカス位置を調整しているときは現在の深度範囲のみに色信号を重畳し、深度の範囲やボケ具合を調整しているときは複数の絞り値に対応する深度範囲に色信号を重畳することにより、ユーザが操作する目的に適した情報を表示することができる。

以上のようにして、入力画像を取得してから、画像処理部１０４でデフォーカス演算および加工処理を行い、表示部１０６に表示するまでの本実施形態における処理が実行される。本実施形態のこのような構成により、撮影時にユーザの操作状況に適した被写界深度情報を表示することで、撮影時にユーザがピント位置や深度を調整する負荷を軽減することができる。

なお本実施形態では、１つの絞り値に対する深度内の範囲を１色で表現するように加工する場合について説明したが、これに限らず合焦を示す値（デフォーカス量が０）を閾値として異なる色で加工してもよい。例えば、Ｓ１６０８の第２のデフォーカス範囲においてデフォーカス量が０より大きい領域（手前側）は水色、０より小さい領域（奥側）は紺色などにすることで、被写体の前後関係を把握し、ピント位置をどちら側に調整すればよいかの判断をしやすくできる。特に、２つの被写体がデフォーカス量としては近い値を持っていながら、画像内では面内方向に離れていて前後関係が目視のみでは判断しにくい場合においては、より利便性が向上する。また、加工方法としては単純に色信号を重畳するのではなく、輝度や彩度をデフォーカス量に応じて変化させるなど、他の方法を用いてもよい。

また、本実施形態では、距離情報を取得する方法として、図２に示したような、撮像光学系の射出瞳の異なる領域を通過した光束が形成する複数の被写体像の位相差に基づいて取得する例について説明したが、他の構成や手段を代用あるいは併用してもよい。例えば複数のレンズおよび撮像素子を有する複眼カメラを用いることで、より精度のよい像ずれ量を検出できるようにしてもよい。また、ＴＯＦ（Time Of Flight）カメラや超音波により距離が計測可能な構成とすることで、模様の変化が乏しい被写体に対する測距性能を向上させたりすることが可能となる。

ここまで、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、実施形態で説明した各画像処理の一部あるいは全てを、画像の撮影に用いた装置（カメラなど）の外部の装置（コンピュータなど）に実行させるようにしてもよい。

（その他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

１０１：撮像光学系、１０２：撮像部、１０３：Ａ／Ｄ変換部、１０４：画像処理部、１０５：制御部、１０６：表示部、１０７：記録部

Claims (19)

1. 入力画像について、ピント位置から被写界深度内の範囲である第１の範囲を算出する第１の算出手段と、
   前記入力画像について、前記入力画像が撮影された時の絞り値に対して、仮想的に所定量変更した絞り値に設定した場合の前記ピント位置から被写界深度内の範囲である第２の範囲を算出する第２の算出手段と、
   前記入力画像が撮影された時の撮影モードに応じて、前記第１の範囲または前記第２の範囲を、前記第１の範囲以外の領域または前記第２の範囲以外の領域と区別できるように表示手段に表示する表示制御手段と、
   を備えることを特徴とする画像処理装置。
2. 前記表示制御手段は、前記撮影モードが、絞り値を手動で変更可能な撮影モードである場合に、前記第２の範囲を前記第２の範囲以外の領域と区別できるように前記表示手段に表示することを特徴とする請求項１に記載の画像処理装置。
3. 前記表示制御手段は、前記撮影モードが、絞り値を手動で変更可能な撮影モード以外の撮影モードである場合に、前記第１の範囲を前記第１の範囲以外の領域と区別できるように前記表示手段に表示することを特徴とする請求項１に記載の画像処理装置。
4. 入力画像について、ピント位置から被写界深度内の範囲である第１の範囲を算出する第１の算出手段と、
   前記入力画像について、前記入力画像が撮影された時の絞り値に対して、仮想的に所定量変更した絞り値に設定した場合の前記ピント位置から被写界深度内の範囲である第２の範囲を算出する第２の算出手段と、
   前記入力画像が撮影された時のフォーカス調整情報に応じて、前記第１の範囲または前記第２の範囲を、前記第１の範囲以外の領域または前記第２の範囲以外の領域と区別できるように表示手段に表示する表示制御手段と、
   を備えることを特徴とする画像処理装置。
5. 前記表示制御手段は、フォーカスの位置を変更してから所定時間が経過していない場合に、前記第１の範囲を前記第１の範囲以外の領域と区別できるように前記表示手段に表示することを特徴とする請求項４に記載の画像処理装置。
6. 前記表示制御手段は、フォーカスの位置を変更してから所定時間が経過した後に、前記第２の範囲を前記第２の範囲以外の領域と区別できるように前記表示手段に表示することを特徴とする請求項４に記載の画像処理装置。
7. 前記第２の算出手段は、前記入力画像が撮影された時の絞り値に応じて、前記絞り値を仮想的に変更する前記所定量を設定することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記第２の算出手段は、前記入力画像が撮影された時の絞り値が小さいほど、前記絞り値を仮想的に変更する前記所定量を大きく設定することを特徴とする請求項７に記載の画像処理装置。
9. 前記表示制御手段は、前記第１の範囲または前記第２の範囲に色を重畳して表示することにより、前記第１の範囲または前記第２の範囲を、前記第１の範囲以外の領域または前記第２の範囲以外の領域と区別できるように前記表示手段に表示することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記表示制御手段は、前記第１の範囲または前記第２の範囲が前記入力画像の全画素数に対して所定の割合に満たない場合に、前記第１の範囲または前記第２の範囲に色を重畳して前記表示手段に表示することを特徴とする請求項９に記載の画像処理装置。
11. 前記表示制御手段は、前記第１の範囲以外の領域または前記第２の範囲以外の領域に色を重畳して表示することにより、前記第１の範囲または前記第２の範囲を、前記第１の範囲以外の領域または前記第２の範囲以外の領域と区別できるように前記表示手段に表示することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
12. 前記表示制御手段は、前記第１の範囲または前記第２の範囲が全画素数に対して所定の割合以上の場合に、前記第１の範囲以外の領域または前記第２の範囲以外の領域に色を重畳して前記表示手段に表示することを特徴とする請求項１１に記載の画像処理装置。
13. 前記第１及び第２の算出手段は、ピント位置から被写界深度内の範囲であるか否かを、１つの単位画素に複数の光電変換素子を有する撮像素子から得られた信号に基づいて算出することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記第１及び第２の算出手段は、被写界深度内の範囲であるか否かを、光または超音波を用いて被写体距離を検出することにより算出することを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
15. 前記表示制御手段は、前記入力画像のエッジ信号に基づいて、前記第１の範囲または前記第２の範囲を、前記第１の範囲以外の領域または前記第２の範囲以外の領域と区別できるように前記表示手段に表示することを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
16. 入力画像について、ピント位置から被写界深度内の範囲である第１の範囲を算出する第１の算出工程と、
    前記入力画像について、前記入力画像が撮影された時の絞り値に対して、仮想的に所定量変更した絞り値に設定した場合の前記ピント位置から被写界深度内の範囲である第２の範囲を算出する第２の算出工程と、
    前記入力画像が撮影された時の撮影モードに応じて、前記第１の範囲または前記第２の範囲を、前記第１の範囲以外の領域または前記第２の範囲以外の領域と区別できるように表示手段に表示する表示制御工程と、
    を有することを特徴とする画像処理方法。
17. 入力画像について、ピント位置から被写界深度内の範囲である第１の範囲を算出する第１の算出工程と、
    前記入力画像について、前記入力画像が撮影された時の絞り値に対して、仮想的に所定量変更した絞り値に設定した場合の前記ピント位置から被写界深度内の範囲である第２の範囲を算出する第２の算出工程と、
    前記入力画像が撮影された時のフォーカス調整情報に応じて、前記第１の範囲または前記第２の範囲を、前記第１の範囲以外の領域または前記第２の範囲以外の領域と区別できるように表示手段に表示する表示制御工程と、
    を有することを特徴とする画像処理方法。
18. コンピュータを、請求項１乃至１５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
19. コンピュータを、請求項１乃至１５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。