JP2020085967A - 画像処理装置およびその制御方法ならびにプログラム - Google Patents

Abstract

【課題】撮影した画像を再生して深度範囲を確認する際に、複数の表示形態を用いる際にも容易に所望の確認を行うことが可能な画像処理装置を提供する。【解決手段】本発明に係る画像処理装置は、１つ以上の画像を取得する取得手段と、１つ以上の画像の表示を異なる表示態様で表示手段に表示するともに、表示態様と表示手段に表示する画像内の焦点のずれ量およびずれの方向を示すデフォーカス情報とに基づいて、表示手段に表示する画像に該画像に関するデフォーカス範囲を示す情報を重畳する、表示制御手段と、を有し、表示制御手段は、表示手段に表示する画像の数に応じて、合焦または非合焦のデフォーカス範囲を示す情報と、ピント位置を変更することが可能なデフォーカス範囲或いは絞り値を撮影時から変更した場合のデフォーカス範囲を示す情報とを用いる表示を異ならせる。【選択図】図４

Description

本発明は、画像処理装置およびその制御方法ならびにプログラムに関する。

従来、デジタルカメラ等の撮像装置では、ユーザが被写体の合焦状態や被写界深度を確認しながら撮影可能なように、ＬＣＤなどの表示素子を用いた電子ビューファインダー（ＥＶＦ）に、被写体の合焦状態等を表示する技術が知られている。

特許文献１は、撮影時などに、被写界深度を表す指標やどの範囲の被写体がリフォーカス可能であるのかをユーザに提示する技術を開示している。また、特許文献２は、画像再生時に表示する焦点検出領域の表示形態を、再生画像に対応した焦点検出領域選択モード及び焦点調節モードに応じて変更する技術を開示している。

特開２０１４−１９７８２４号公報 特開２００３−９０９５２号公報

ところで、ユーザが撮影した画像を閲覧する際に、その目的に応じて画像の表示形態を変更する場合がある。例えば、１枚の画像に対して深度範囲を確認する場合には画像を等倍あるいは拡大して表示する一方、撮影に成功或いは失敗した写真を選択したり、削除したりする場合には複数の画像をマルチ表示して同時に閲覧することが考えられる。

特許文献１に開示される技術では、例えば複数の画像をマルチ表示して同時に閲覧する際には、個々の画像の表示が小さくなって視認性が低下するため、複雑な情報はユーザの目的に対して却って有益でない可能性がある。また、特許文献２に開示される技術は、撮影時の焦点検出のモードを反映した情報を表示するだけでは、深度範囲の確認や撮影成功か否かの判断のためには十分な情報が得られない場合がある。

本発明は、上記課題を鑑みたものであり、その目的は、撮影した画像を再生して深度範囲を確認する際に、複数の表示形態を用いる際にも容易に所望の確認を行うことが可能な技術を提供することである。

この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、１つ以上の画像を取得する取得手段と、１つ以上の画像の表示を異なる表示態様で表示手段に表示するともに、前記表示態様と前記表示手段に表示する画像内の焦点のずれ量およびずれの方向を示すデフォーカス情報とに基づいて、前記表示手段に表示する画像に該画像に関するデフォーカス範囲を示す情報を重畳する、表示制御手段と、を有し、前記表示制御手段は、前記表示手段に表示する画像の数に応じて、合焦または非合焦のデフォーカス範囲を示す情報と、ピント位置を変更することが可能なデフォーカス範囲或いは絞り値を撮影時から変更した場合のデフォーカス範囲を示す情報とを用いる表示を異ならせる、ことを特徴とする。

本発明によれば、撮影した画像を再生して深度範囲を確認する際に、複数の表示形態を用いる際にも容易に所望の確認を行うことが可能になる。

実施形態１における画像処理装置の一例としてのデジタルカメラの機能構成例を示すブロック図 実施形態１における撮像部の構成の一例を模式的に示す図 実施形態１における画像処理部の機能構成例を示すブロック図 実施形態１におけるデフォーカス情報重畳処理に係る一連の動作を示すフローチャート 実施形態１における入力画像、エッジ画像およびデフォーカスマップの一例を示す図 実施形態１におけるデフォーカスマップのヒストグラムおよび深度範囲を説明する図 実施形態１における絞り値に応じて定まる定数ｋの算出方法の一例を示す図 実施形態１における絞り値を変化させる段数N_＋、N_-の算出方法の一例を示す図 実施形態１におけるデフォーカスマップのヒストグラムおよび第３の表示デフォーカス範囲を説明する図 実施形態１における第１〜第３のデフォーカス範囲に含まれる領域に対する加工画像の一例を説明する図 実施形態１におけるマルチ表示において第１のデフォーカス範囲外の領域に対する加工画像の一例を説明する図 実施形態２におけるマルチ表示の表示順序の変更例を説明する図

（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では、デジタルカメラなどの撮影装置を用いて、ユーザがＥＶＦを見て深度範囲を確認しながら、画像を補正したり撮影の適否を判断して削除したりするユースケースを例に説明する。しかし、本実施形態は、撮影された画像を取得し、取得した画像を見て上述の操作を行うことができる画像処理装置にも適用可能である。また、画像処理装置は、例えば、デジタルカメラを遠隔制御可能であり、デジタルカメラで撮影される画像を取得して画像処理装置に表示させ、ユーザが当該装置を操作して画像を補正したり撮影の適否を判断して削除したりする場合にも適用可能である。このような画像処理装置には、デジタルカメラ、スマートフォンを含む携帯電話機、ゲーム機、タブレット端末、時計型や眼鏡型の情報端末、医療機器などが含まれてよい。

（デジタルカメラの構成）
図１は、本実施形態の画像処理装置の一例としてのデジタルカメラ１００の機能構成例を示すブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

光学系１０１は、ズームレンズやフォーカスレンズを含むレンズ群、光量を調整する絞り調整装置、および、シャッター装置を備えている。この光学系１０１は、レンズ群を光軸方向に進退させることにより、撮像部１０２に到達する被写体像の倍率やピント位置を調整する。

撮像部１０２は、光学系１０１を通過した被写体の光束を光電変換し電気信号に変換するＣＣＤ或いはＣＭＯＳセンサ等の光電変換素子を含み、所定の時間間隔で電気信号に変換されたアナログ画像信号を出力する。本実施形態に係る撮像部１０２は、図２（Ａ）に示すような画素配列を有し、この画素配列では、個々の画素２０２が二次元状に規則的に配列されている。画素配列を構成する画素２０２は、図２（Ｂ）に示すように、マイクロレンズ２０１と一対の光電変換部２０３、２０４から構成される。一対の光電変換部２０３、２０４とは、それぞれ、光学系１０１の射出瞳の異なる領域を通過した光束を受光して光電変換を行う。このため、光電変換部２０３側に基づく画像信号（例えばＡ像という）と光電変換部２０４側に基づく画像信号（例えばＢ像という）とは被写体像に位相差を有する。撮像部１０２は、例えばＡ像とＢ像のアナログ画像信号を出力する。

Ａ／Ｄ変換部１０３は、撮像部１０２から出力されたアナログ画像信号をデジタル画像信号に変換する。画像処理部１０４は、撮像部１０２からのデジタル画像信号に通常の信号処理、および後述するデフォーカス情報重畳処理を行う。ここで通常の処理信号は、例えば、ノイズ低減処理や現像処理、ガンマ変換による階調圧縮処理によって所定の出力レンジに階調圧縮する処理などを含む。また、画像処理部１０４は、Ａ／Ｄ変換部１０３から出力された画像のみならず、記録部１０７から読み出した画像に対しても同様の画像処理を行うことができる。なお、制御部１０５が画像処理部１０４を包含し、画像処理部１０４の機能を兼ね備えてもよい。

制御部１０５は、例えばＣＰＵやＭＰＵなどのプロセッサを含み、不揮発性メモリ１０８に記録されたプログラムを揮発性メモリ１０９に展開し、実行することにより、デジタルカメラ１００が備える各ブロックの動作を制御する。例えば、制御部１０５は、適正な明るさを持つ入力画像を得る為の撮影時の露光量を算出し、算出した露光量を実現するために光学系１０１と撮像部１０２を制御して、絞り、シャッタースピード、センサのアナログゲインを制御する。また、制御部１０５は、画像処理部１０４を兼ねる場合には後述するデフォーカス情報重畳処理を実行する。

表示部１０６は、画像処理部１０４から出力される画像信号をＬＣＤなどの表示用部材に逐次表示する。記録部１０７は、例えば、半導体メモリ等の記録媒体を含み、撮像部１０２で撮像され、画像処理部１０４等で所定の処理が施された画像を記録する。半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた着脱可能な情報記録媒体を含んでもよい。

（画像処理部の構成）
次に、図３を参照して、本実施形態に係る画像処理部１０４の構成について説明する。なお、画像処理部１０４の各ブロックは、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。また、複数の機能ブロックが統合され又は１つの機能ブロックが分離されてもよい。

信号処理部３０１は、ノイズ低減処理や現像処理など、上述の通常の信号処理を行う他、ガンマ変換などによる階調圧縮処理によって所定の出力レンジに階調圧縮する処理などを行う。なお、信号処理部３０１は、Ａ像とＢ像の信号を合成して１つの画像信号を扱ってよい。撮影情報取得部３０２は、撮影時にユーザが設定した撮影モードや、焦点距離、絞り値、露光時間などの各種情報を、例えば制御部１０５を介して不揮発性メモリ１０８又は揮発性メモリ１０９から取得して、デフォーカス演算部３０４に提供する。

エッジ生成部３０３は、信号処理部３０１から出力された画像信号から、エッジ信号を生成する。デフォーカス演算部３０４は、Ａ像とＢ像の画像信号を取得する。デフォーカス演算部３０４は、光学系１０１の射出瞳の異なる領域から到来する光束が生ずる被写体像の位相差に基づいて、撮像された画像におけるデフォーカスの分布（すなわち焦点のずれ量とそのずれの方向）を示すデフォーカスマップを生成する。

表示制御部３０５は、エッジ生成部３０３およびデフォーカス演算部３０４の出力を用いて、画像に関するデフォーカス情報を当該画像に重畳した加工画像を生成（加工処理）して表示部１０６に表示するように表示制御を行う。

（デフォーカス情報重畳処理に係る一連の動作）
次に、図４を参照して、本実施形態に係るデフォーカス情報重畳処理の一連の動作について説明する。このデフォーカス情報重畳処理は、ユーザが撮像した画像の深度範囲を確認するためにＥＶＦ（すなわち表示部１０６）に画像を表示する際に実行される。なお、図４に示す処理は、特に説明する場合を除き画像処理部１０４の各部によって実行される例を説明するが、制御部１０５が画像処理部１０４を包含して不揮発性メモリ１０８のプログラムを揮発性メモリ１０９に展開、実行することにより実現されてもよい。本実施形態に係る入力画像５０１は、再生時にＥＶＦに表示される画像であり、図５（Ａ）に示すように、３人の人物（５０２、５０３、５０４）がデジタルカメラ１００から見て手前側から奥側にそれぞれ並んでいるシーンである。また、以下のＳ４０１〜Ｓ４１６の処理は画像ごとに行う処理として説明するが、後述するマルチ表示を行う場合には、マルチ表示で必要な画像の数だけ処理を繰り返してよい。

Ｓ４０１では、エッジ生成部３０３は、入力画像５０１に対してＢｐｆ（バンドパスフィルタ）を適用することにより、エッジ画像を生成する。具体的には、水平方向および垂直方向それぞれに［−１ ０ ２ ０ −１］のフィルタを適用した信号を加算する。なお、エッジ画像の生成方法としてはこれに限らず、Ｌｐｆ（ローパスフィルタ）を適用した画像と元の画像との差分をとることでエッジ成分を抽出するなど、他の方法であっても良い。図５（Ｂ）の画像５１１は、エッジ生成部３０３の処理によって得られるエッジ画像を示したものである。

Ｓ４０２では、デフォーカス演算部３０４は入力画像５０１に対するデフォーカスマップを生成する。デフォーカス演算部３０４は、例えば特開２０１６−９０６２号公報に開示される公知の手法を用いることができ、画素毎にデフォーカス値（すなわち焦点のずれ量とそのずれの方向を示す）を算出しデフォーカスマップとして扱う。図５（Ｃ）の画像５２１は、デフォーカス演算部３０４によって得られるデフォーカスマップの一例を示している。画像５２１において、奥行き方向の真ん中にいる人物５２３の領域が合焦を示す値をとっており、手前側の人物５２２は前ボケの非合焦を、奥側の人物５２４は後ボケの非合焦を示している。

Ｓ４０３では、デフォーカス演算部３０４は第１のデフォーカス範囲を算出する。ここで、第１のデフォーカス範囲は、例えば静止画撮影時に被写界深度に含まれると判断されるデフォーカスの値域である。この範囲は、光学系１０１の絞り値をF、許容錯乱円径の値（すなわち撮像部１０２の画素数および大きさに依存する値）をδとし、範囲の上限値および下限値をそれぞれ＋Fδ、−Fδとすると、図６に示すようになる。図６は、デフォーカスマップ５２１に対するデフォーカスのヒストグラムを示している。図６において破線で示すデフォーカス値はデフォーカスの値が０であることを示す。デフォーカス値が０である場合、ピントが最も合っており、＋の値は前ボケの方向に合焦度合が変化し、所定以上の値になると非合焦となる。一方、−の値は後ボケの方向に合焦度合が変化し、所定以上の値になると非合焦となる。すなわち、デフォーカスの値が−Ｆδ〜＋Ｆδの範囲に含まれる領域を被写界深度内（すなわち第１の表示デフォーカス範囲）に含まれると判定することができる。

Ｓ４０４では、撮影後の画像５０１に対してピント位置を変更することが可能なデフォーカス範囲（第２のデフォーカス範囲）を算出する。具体的には、撮影時の絞り値に応じて定まる定数をｋとして、撮影時のピント位置に対して変更可能な範囲ｋFδを算出する。図７は定数ｋの値の設定方法について定義したものであり、横軸は入力画像５０１の撮影時の絞り値であるF_Rであり、F_Rの値に対するｋの値域を表している。図７に示す例では、ｋの値はF_Rが小さいほど大きくなる。これは、撮影時に絞りが絞り込まれるほど撮像部１０２において生成される複数の被写体像の位相差が小さくなり、位相差を再調整することでピント位置を変更することが困難となるためである。例えばF_Rが２である時、１Fδ分のピント再調整が可能となる。

なお、本実施形態では、絞り値とｋの関係としての一例を示したが、これに限定するものではない。例えば、デジタルカメラ１００が複数の光学系１０１や撮像部１０２を有する複眼カメラの構成であれば、より位相差の大きい複数の被写体像を取得し、大きくピント位置を変更することが可能となるため、ｋの値をより大きな値として定義することができる。

Ｓ４０５では、デフォーカス演算部３０４は絞り値を撮影時の値から変更した場合の仮想的な絞り値に対する第３のデフォーカス範囲を算出する。デフォーカス演算部３０４は、まず二つの仮想絞り値をF_V＋およびF_V-として、それぞれを以下の式（１）、（２）に従って算出する。

ここで、F_Rは撮影時の絞り値、N_＋およびN_-は深度を広げる或いは狭めるために絞り値を変える段数を表しており、共にF_Rに応じて決定する定数である。図８（Ａ）及び（Ｂ）は、F_R とN_＋およびN_-の関係を示したものであり、横軸は入力画像５０１の撮影時の絞り値であるF_Rであり、F_Rの値に対するN_＋の値域又N_-の値域を表している。図８（Ａ）及び（Ｂ）に示す例では、F_Rの値が大きい程N_＋の値は小さくなる一方、N_-の値はF_Rの値が大きい程大きくなる。これは、撮影時の絞り値F_Rが小さいほど絞り値を変更したときの深度（すなわちピント範囲）の変化量は小さいため、仮想的に絞り値を変更する度合いを大きくすることでピント範囲の変化量を大きくすることが目的である。なお、仮想絞り値F_V＋およびF_V-の算出方法はここで示す例に限らず、N_＋はF_Rに対して右上がりにするなど異なる算出方法にしても良い。また、（例えば不図示の操作部材を通じて）ユーザが自由に設定することで、F_V-を最小の絞り値に固定して常に開放時の深度を表示しながら、F_V＋を＋１段変えた絞り値として深度を表示するといったような算出方法にしてもよい。

そして、デフォーカス演算部３０４は、算出した仮想絞り値F_V＋およびF_V-を用いて第３のデフォーカス範囲を算出する。算出方法としてはＳ４０３と同様に、絞り値を大きい値に変更したときの上限値および下限値をそれぞれ＋F_V＋δ、−F_V＋δとし、絞り値を小さい値に変更したときの上限値および下限値をそれぞれ＋F_V-δ、−F_V-δとする。結果的に得られる第３のデフォーカス範囲の一例を図９に示す。図９では、Ｓ４０４で算出した第１のデフォーカス範囲に対し、２つの第３のデフォーカス範囲がそれぞれ狭い範囲と広い範囲を構成している。これはそれぞれ絞り値を仮想的に変更したことで深度が狭くあるいは広くなっていることを示している。

Ｓ４０６では、表示制御部３０５は入力画像５０１をＥＶＦに拡大表示しているか否かを判定する。表示制御部３０５は入力画像５０１を拡大表示していると判定した場合にはＳ４０７へ進み、そうでない場合にはＳ４０８へ進む。

Ｓ４０７では、表示制御部３０５は入力画像５０１に対して表示用の加工処理を適用する。具体的には、拡大画像におけるＳ４０１で生成されたエッジ信号が所定の値以上であり、かつＳ４０２で生成されたデフォーカス値がＳ４０４で算出された第２のデフォーカス範囲に含まれる領域に対して、入力画像５０１に青色（第２の色）の信号を重畳する。これにより、撮影後にピント位置を変更することで再撮影することなく所望とする画像が得られるか否かをユーザが判断することができる。なお、本実施形態では、画像を拡大表示して再生する場合にＳ４０７の加工処理を行う例に説明しているが、拡大表示でなくとも撮影後のＲＥＣレビュー時に適用することも可能である。このようにしても、ユーザに対して、再撮影の必要があるか否かを判断するための有用な情報を提供することができる。

Ｓ４０８では、表示制御部３０５は、入力画像５０１をＥＶＦに等倍で表示しているか否かを判定する。表示制御部３０５は、入力画像５０１を等倍表示していると判定した場合にはＳ４０９へ進み、そうでない場合にはＳ４１２へ進む。Ｓ４０９では、表示制御部３０５は、Ｓ４０４で算出された第２のデフォーカス範囲が所定の閾値以上（例えば１Fδ以上）か否かを判定する。表示制御部３０５は、第２のデフォーカス範囲が１Fδ以上であると判定した場合はＳ４１１へ進み、そうでない場合にはＳ４１０へ進む。

Ｓ４１０では、表示制御部３０５は、入力画像５０１に対して表示用の加工処理を適用する。例えば、表示制御部３０５は、Ｓ４０１で生成されたエッジ信号が所定の値以上であり、かつＳ４０２で生成されたデフォーカス値がＳ４０５で算出された第３のデフォーカス範囲に含まれる領域に対して、入力画像５０１に赤色（第３の色）の信号を重畳する。

Ｓ４１１では、表示制御部３０５は入力画像５０１に対して表示用の加工処理を適用する。具体的には、表示制御部３０５は、Ｓ４０１で生成されたエッジ信号が所定の値以上であり、かつＳ４０２で生成されたデフォーカス値がＳ４０４で算出された第２のデフォーカス範囲に含まれる領域に対し、入力画像５０１に青色（第２の色）の信号を重畳する。

ここで、上述のＳ４０９〜Ｓ４１１の処理において、加工処理を適用する領域を第２および第３のデフォーカス範囲に含まれる領域のどちらかとして選択する理由について説明する。第２のデフォーカス範囲はピント位置を変更可能な範囲であり、Ｓ４０４において説明したように、複数の被写体像における位相差の大きさおよび絞り値に依存する。ピント位置の変更可能な範囲が例えば0.1Fδ（図７においてｋ=0.1）である場合、この範囲に含まれる領域は画像内ではごく僅かな一部の領域となる。すなわちユーザがこの領域を確認する場合には当該画像を拡大表示しなければ視認できない程度のものであると考えられる。そのような場合、ピント位置の変更可能な範囲に含まれる領域に加工処理を適用してもユーザにとって有益な情報とはなり難い。これに対し、絞り値を変更した場合の深度範囲を示せば、ユーザは撮影条件を変更して再撮影すること等を判断することができるため、ユーザにとって有益な情報となる。

Ｓ４１２では、表示制御部３０５は、ＥＶＦに所定の数以上の複数の画像を表示するかを判定する。具体的には、複数の画像を同時に表示するマルチ再生において、３ｘ３枚（計９枚）以上の画像をＥＶＦに表示しているか否かを判定する。表示制御部３０５は、３ｘ３枚以上表示していると判定した場合にはＳ４１４へ進み、そうでない場合にはＳ４１３へ進む。Ｓ４１３では、表示制御部３０５は、入力画像５０１に対して表示用の加工処理を適用する。具体的にはＳ４１０と同様、第３のデフォーカス範囲に含まれる領域に対して、入力画像５０１に赤色（第３の色）の信号を重畳する。

Ｓ４１４では、表示制御部３０５は、表示用の加工処理の対象が深度内であるか深度外であるかを判定する。例えば、ユーザは不図示の操作部材を介してどちらを加工対象とするかを設定可能であり、表示制御部３０５は、その設定値を例えば不揮発性メモリ１０８から読み出して判定を行う。なお、３ｘ３枚以上の画像を同時に表示している場合、各画像の表示倍率は小さくなって（各画像は小さく変倍されて）いるため、深度内の領域を全て加工して色信号を重畳する場合には視認性が低下する可能性がある。このため、各画像の深度外の領域のみに所定の色信号を重畳することが好ましい。

Ｓ４１５では、表示制御部３０５は、入力画像５０１に対して表示用の加工処理を適用する。具体的には、表示制御部３０５は、Ｓ４０１で生成されたエッジ信号が所定の値以上であり、かつＳ４０２で生成されたデフォーカス値が第１のデフォーカス範囲に含まれる領域に対して、入力画像５０１に緑色の信号を重畳する。なお、Ｓ４０７、Ｓ４１０、Ｓ４１１、Ｓ４１３において第２又は第３のデフォーカス範囲に所定の色の信号が重畳されている場合、本ステップによって更に第１のデフォーカス範囲に含まれる領域に対して緑色（第１の色）の信号が重畳される。一方、３ｘ３枚（計９枚）以上のマルチ再生であって加工対象が深度内である場合には、第１のデフォーカス範囲にのみ色の信号が重畳される。

Ｓ４１６では、表示制御部３０５は入力画像５０１に対して表示用の加工処理を適用する。具体的には、Ｓ４０１で生成されたエッジ信号が所定の値以上であり、かつＳ４０２で生成されたデフォーカス値がＳ４０３で算出された第１のデフォーカス範囲に含まれない領域に対して、入力画像５０１に黄色（第４の色）の信号を重畳する。画像処理部１０４は、表示制御部３０５によって重畳された画像を出力すると、その後、デフォーカス情報の重畳処理を終了する。マルチ表示を行う場合、画像処理部１０４は、表示に必要な画像の数だけ処理を終了した場合、本一連の動作を終了する。

ここまで説明したデフォーカス情報の重畳処理によって生成される画像の具体例について説明する。入力画像５０１に対してＳ４１５の処理（すなわち第１のデフォーカス範囲に含まれる領域に対する加工処理）により生成される画像を図１０（Ａ）に示す。図１０（Ａ）に示す例では、画像１００１において奥行き方向の真ん中にいる人物１００３のエッジ領域に緑色の信号が重畳されて目立っている（太線）。逆に人物１００３以外の２人の人物１００２、１００４には緑色が重畳されておらず、深度外にいるということが確認できる。

さらに、Ｓ４１５の処理に加えてＳ４０７（Ｓ４１１も同様）の処理（すなわち第２のデフォーカス範囲に含まれる領域に対する加工処理）を行なった画像を図１０（Ｂ）に示す。図１０（Ｂ）では、画像１０１１において奥行き方向の真ん中にいる人物１０１３のエッジ領域に加え、人物１０１２のエッジ領域にも色信号が重畳（中太線）されている。これにより、ユーザは、撮影時には深度外であった人物１０１２が撮影後のピント調整によりピントを合わせることが可能な範囲にいると判断することができる。

また、Ｓ４１５の処理に加えてＳ４１０（Ｓ４１４も同様）の処理（すなわち第３のデフォーカス範囲に含まれる領域に対する加工処理）を行なった画像を図１０（Ｃ）に示す。図１０（Ｃ）の画像１０２１は、絞り値を大きい値に変更（より絞り込む）した場合の第３のデフォーカス範囲である−F_V＋δ〜＋F_V＋δに含まれる領域に加工処理を行なった画像である。画像１０２１において奥行き方向の真ん中にいる人物１０２３のエッジ領域に加え、人物１０２２および１０２４のエッジ領域にも色信号が重畳（中太線）されている。これにより、ユーザは、撮影時には深度外であった人物１０２２および１０２４が絞りを変更して（この場合、より絞り込んで）撮影することで、これらの人物の領域を深度範囲内に収めることが可能であると判断することができる。

なお、上述の説明では、第３のデフォーカス範囲として絞り値を大きくした場合の深度範囲に加工処理を行う場合について説明したが、これに加えて絞り値を小さくした場合の深度範囲に対しても異なる色信号を重畳するようにしても良い。例えば、絞り値を大きくしたときの深度内領域には赤色、絞り値を小さくしたときの深度内領域には橙色とするなど、異なる色信号を重畳することで、それぞれ絞り値を変えたときにどこまで深度が変化するかを示すことができる。

Ｓ４１６の処理（すなわち撮影時の深度範囲である第１のデフォーカス範囲に含まれない領域に対する加工処理）を行なった画像を図１１に示す。図１１に示す画像１１０１はＥＶＦに表示される撮影済みの９枚の画像を示したものであり、各画像は１枚のみを表示する場合よりも縮小されている。図１１に示す例では、各画像における、深度内に含まれる領域には加工処理がなされず、深度外である領域のエッジ部に対してのみ、色信号が重畳（中太線）されている。例えば、画像１１０２では真ん中にいる人物以外は深度範囲に含まれていないために加工処理がなされている。また、画像１１０３では画像全体が深度範囲に含まれているため、どの領域にも加工処理がなされていない。このようにすることで、ユーザは、主要な被写体にピントが合っている画像を選択したり、画像全体がピンボケしているような失敗写真を選択・削除したりする操作において、視認性の良い状態で容易に目的とする操作を行うことができる。

以上説明したように本実施形態によれば、１つ以上の画像を再生する際に、表示態様とデフォーカス情報（すなわち画像内の焦点のずれ量およびずれの方向を示す）とに基づいてデフォーカス範囲を示す情報を表示するようにした。このとき、表示する画像の数に応じて、第１（又は第４）のデフォーカス範囲を示す情報と、第２のデフォーカス範囲或いは第３のデフォーカス範囲を示す情報とを用いる表示を異ならせるようにした。特に、表示部に所定の数以上の複数の画像を表示する場合、第１（又は第４）のデフォーカス範囲を示す情報を重畳する。また、所定の数より少ない画像を表示する場合、少なくとも、第２のデフォーカス範囲或いは第３のデフォーカス範囲を示す情報を重畳するようにする。このようにすることで、ユーザは、目的に応じたデフォーカス範囲の情報を容易に確認することができ、ピントの確認や撮影後の深度変更（すなわち補正）、画像の選択と削除などを行う負荷が軽減される。換言すれば、撮影した画像を再生して深度範囲を確認する際に、複数の表示形態を用いる際にも容易に所望の確認を行うことが可能になる。

なお、本実施形態では、１つの絞り値に対する深度内の範囲を１色で表現するように加工する例を説明した。しかし、深度内の範囲の表現はこれに限らず、合焦を示す値（デフォーカス値が０）を閾値として異なる色で加工しても良い。例えばピント位置よりも前の領域（手前側）は水色、後ろの領域（奥側）は紺色などにして、デフォーカス値を段階的に表現するようにしてもよい。このようにすることで、ユーザは被写体の前後関係を把握し、ピント位置をどちら側に調整すれば良いかを容易に判断することができる。特に、２つの被写体がデフォーカス値としては近い値を持っていながら、画像内では二次元的に離れていて前後関係が目視のみでは判断しにくい場合において被写体の前後関係を容易に把握することができる。また、表示制御部３０５は、画像に色信号を重畳するのではなく、輝度や彩度をデフォーカス値に応じて変化させた信号を画像に重畳するなど、他の方法を用いても良い。

また、本実施形態では、図２（Ａ）に示したような、撮影光学系の瞳の異なる領域を通過した光束が生ずる被写体像を取得し、その位相差に基づいてデフォーカスマップを生成する構成について説明した。しかし、他の構成や手段を代用あるいは併用しても良い。例えば複数のレンズおよび撮像素子を有する複眼カメラの構成とすることで、異なる複数の視点または異なる複数の合焦位置を有する複数の画像に基づき、より精度の良い像ずれ量を検出できるようにしても良い。また、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）カメラや超音波により距離が計測可能な構成とすることでデフォーカス情報を取得し、模様の変化が乏しい被写体に対する測距性能を向上することが可能となる。

（実施形態２）
次に、実施形態２について説明する。本実施形態では、上述のＳ４１６においてマルチ再生時に加工処理を適用することに加えて、画像の表示順序を変更する例を説明する。なお、本実施形態に係るデジタルカメラ１００の構成は、実施形態１と実質的に同一である。また、デフォーカス情報重畳処理は、実施形態１では画像ごとに一連の動作を行う場合を例に説明したが、本実施形態では、複数の画像について一度に処理を行う点と上記画像の表示順序を変更する点が異なる。このため、共通する構成や動作の説明を省略し、相違点について重点的に説明する。

（デフォーカス情報重畳処理に係る一連の動作）
上述の図４を参照して、本実施形態に係るデフォーカス情報重畳処理について説明する。Ｓ４０３では、デフォーカス演算部３０４は、記録部１０７に記録されている全ての画像について第１のデフォーカス範囲（すなわち深度範囲）を算出する。

Ｓ４１６では、表示制御部３０５は、まず、第１のデフォーカス範囲に含まれない領域に対して、入力画像５０１に黄色（第４の色）の信号を重畳する。その後、デフォーカス演算部３０４は各画像において深度（第１のデフォーカス範囲）内に含まれる画素をカウントし、該画素のカウント数に応じて画像を表示する順番を変更する。

具体的には、表示制御部３０５は、深度（第１のデフォーカス範囲）内の画素数が多い画像ほど、複数の画像のうちの先頭に近くなるように表示する。図１２に示す画像１２０１は、その結果を示したものであり、深度（第１のデフォーカス範囲）内に含まれている画素が少ない画像ほど、複数の画像のうちの最後（右下）に近くなるように順序付けされている。このようにすることで、仮に画像内のどこにもピントが合っていないような失敗画像がある場合、ユーザは当該失敗画像を容易に見つけることが可能になる。画像処理部１０４は、複数の画像を表示した後に、或いはユーザによる画像に対する操作が終了した後に、本一連の処理を終了する。

以上説明したように、本実施形態では、深度（第１のデフォーカス範囲）内に含まれる画素が多い画像ほど、複数の画像のうちの先頭に近くなるように表示するようにした。このようにすることで、ピントが所望の状態である（或いはピントが合っていない）画像を容易に発見できるようになる。すなわち、ユーザは画像の選択や削除等をより容易に行うことができるようになる。

しかし、この実施形態に限らず、深度内に含まれる画素が少ないほど、複数の画像のうちの先頭に表示したり、深度内の画素が１０％に満たない画像を、常に最後に表示したりするなど、種々の変更が可能である。

また本実施形態では、デフォーカス範囲に含まれる画素数に応じて、複数の画像の表示順序を変更する処理について説明したが、デフォーカス範囲内の画素数に応じてジャンプ再生するようにしても良い。例えば、１枚の画像を等倍で表示する場合、ユーザから画像送りの指示を受け付けたことに応じて、深度内の画素が占める割合が９０％以上の画像の先頭、次に割合が７０％以上の画像の先頭、同４０％以上、同１０％以上と画像を切り替える。これにより、ユーザは、画像を縮小することなく表示しながら（すなわち細部の視認性を確保しつつ）、ピントが所望の状態である画像やほとんど合っていない画像をそれぞれまとめて確認することが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０４…画像処理部、１０５…制御部、１０６…表示部、３０３…エッジ生成部、３０４…デフォーカス演算部、３０６…表示制御部

Claims (18)

1. １つ以上の画像を取得する取得手段と、
   １つ以上の画像の表示を異なる表示態様で表示手段に表示するともに、前記表示態様と前記表示手段に表示する画像内の焦点のずれ量およびずれの方向を示すデフォーカス情報とに基づいて、前記表示手段に表示する画像に該画像に関するデフォーカス範囲を示す情報を重畳する、表示制御手段と、を有し、
   前記表示制御手段は、前記表示手段に表示する画像の数に応じて、合焦または非合焦のデフォーカス範囲を示す情報と、ピント位置を変更することが可能なデフォーカス範囲或いは絞り値を撮影時から変更した場合のデフォーカス範囲を示す情報とを用いる表示を異ならせる、ことを特徴とする画像処理装置。
2. 前記表示制御手段は、前記表示手段に所定の数以上の複数の画像を表示する場合、前記合焦または非合焦のデフォーカス範囲を示す情報を重畳し、前記所定の数より少ない画像を表示する場合、少なくとも、前記ピント位置を変更することが可能なデフォーカス範囲或いは絞り値を撮影時から変更した場合のデフォーカス範囲を示す情報を重畳する、ことを特徴とする請求項１に記載の画像処理装置。
3. 前記表示制御手段は、前記表示手段に１つの画像を表示する場合、前記合焦または非合焦のデフォーカス範囲を示す情報と、前記ピント位置を変更することが可能なデフォーカス範囲或いは絞り値を撮影時から変更した場合のデフォーカス範囲を示す情報とを重畳する、ことを特徴とする請求項２に記載の画像処理装置。
4. 前記表示制御手段は、前記表示手段に１つの画像を表示する場合であって、かつ前記１つの画像においてピント位置を変更することが可能なデフォーカス範囲が閾値以上である場合、前記合焦または非合焦のデフォーカス範囲を示す情報と、ピント位置を変更することが可能なデフォーカス範囲を示す情報とを重畳する、ことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記表示制御手段は、前記表示手段に少なくとも一部が拡大された１つの画像を表示する場合、前記合焦または非合焦のデフォーカス範囲を示す情報と、ピント位置を変更することが可能なデフォーカス範囲を示す情報を重畳する、ことを特徴とする請求項２又は３に記載の画像処理装置。
6. 前記表示制御手段は、前記表示手段に前記所定の数より少ない、複数の画像を表示する場合、前記合焦または非合焦のデフォーカス範囲を示す情報と、絞り値を撮影時から変更した場合のデフォーカス範囲を示す情報を重畳する、ことを特徴とする請求項２に記載の画像処理装置。
7. 前記合焦または非合焦のデフォーカス範囲は、画像を撮像した際の絞り値に基づいて定まる範囲である、ことを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記ピント位置を変更することが可能なデフォーカス範囲は、画像に対して撮影後にピント位置を変更することが可能なリフォーカスの可能な範囲である、ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記絞り値を撮影時から変更した場合のデフォーカス範囲は、画像を撮像した際の第１の絞り値とは異なる仮想的な第２の絞り値に基づいて定まる範囲である、ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記合焦または非合焦のデフォーカス範囲を示す情報と、前記ピント位置を変更することが可能なデフォーカス範囲或いは絞り値を撮影時から変更した場合のデフォーカス範囲を示す情報とは、それぞれ、画像内の焦点のずれ量およびずれの方向に応じて表示される、ことを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記表示制御手段は、前記表示手段に所定の数以上の複数の画像を表示する場合、それぞれの画像における合焦のデフォーカス範囲に含まれる画素の数に基づいて、前記複数の画像の表示順を変更する、ことを特徴とする請求項１又は２に記載の画像処理装置。
12. 前記デフォーカス情報は、撮影光学系の瞳の異なる領域を通過した光束が生ずる被写体像の位相差に基づいて得られる、ことを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
13. 前記デフォーカス情報は、異なる複数の視点または異なる複数の合焦位置を有する複数の画像に基づいて得られる、ことを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
14. 前記デフォーカス情報は、光または音波の信号に基づいて得られる、ことを特徴とする請求項１から１１のいずれか１項に記載の画像処理装置。
15. 前記表示制御手段は、前記合焦または非合焦のデフォーカス範囲を示す情報と、前記ピント位置を変更することが可能なデフォーカス範囲或いは絞り値を撮影時から変更した場合のデフォーカス範囲を示す情報とを、前記画像におけるエッジ信号を用いて表示する、ことを特徴とする請求項１から１４のいずれか１項に記載の画像処理装置。
16. 前記第２の絞り値を設定するための、ユーザによる入力を受け付ける設定手段を更に有する、ことを特徴とする請求項９に記載の画像処理装置。
17. 取得手段が、１つ以上の画像を取得する取得工程と、
    表示制御手段が、１つ以上の画像の表示を異なる表示態様で表示手段に表示するともに、前記表示態様と前記表示手段に表示する画像内の焦点のずれ量およびずれの方向を示すデフォーカス情報とに基づいて、前記表示手段に表示する画像に該画像に関するデフォーカス範囲を示す情報を重畳する、表示制御工程と、を有し、
    前記表示制御工程では、前記表示手段に表示する画像の数に応じて、合焦または非合焦のデフォーカス範囲を示す情報と、ピント位置を変更することが可能なデフォーカス範囲或いは絞り値を撮影時から変更した場合のデフォーカス範囲を示す情報とを用いる表示を異ならせる、ことを特徴とする画像処理装置の制御方法。
18. コンピュータを、請求項１から１６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。