JP2018163365A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2018163365A JP2018163365A JP2018109728A JP2018109728A JP2018163365A JP 2018163365 A JP2018163365 A JP 2018163365A JP 2018109728 A JP2018109728 A JP 2018109728A JP 2018109728 A JP2018109728 A JP 2018109728A JP 2018163365 A JP2018163365 A JP 2018163365A
- Authority
- JP
- Japan
- Prior art keywords
- image
- edge
- subject
- mpu
- focus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Focusing (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
【課題】画像における被写体の合焦状態を詳細に表示させることができる画像処理装置を提供する。【解決手段】画像処理エンジン18のMPU20は、スルー画の解析結果に基づいて、スルー画に含まれる被写体における画像部分ごとのデフォーカス特徴量を検出する特徴量算出部53、及び、特徴量算出部53によって算出された被写体の画像部分のデフォーカス特徴量を被写体の合焦状態として示す合焦標識を、モニタ32に表示されたスルー画の被写体の画像部分に対して重畳して表示させる表示制御部44として機能する。【選択図】図1
Description
本発明は、画像処理装置に関する。
従来、測距エリア内に位置する被写体のエッジの立ち上がり時間のヒストグラムに基づいて、被写体のデフォーカス量を算出するオートフォーカス装置が知られている(例えば、特許文献1参照)。
しかしながら、従来のオートフォーカス装置では、撮像者は、測距エリア内に位置する被写体の複数のエッジのうち何れのエッジのデフォーカス量を算出しているかについて判別することができず、被写体の合焦状態を詳細に把握することができないという問題があった。
本発明は、このような事情に鑑みてなされたものであり、その目的は、画像における被写体の合焦状態を詳細に表示させることができる画像処理装置を提供することにある。
上記課題を解決する画像処理装置は、外部から取得した画像の解析結果に基づいて、前記画像に含まれる被写体における画像部分ごとの合焦状態を検出する合焦検出部と、前記合焦検出部によって検出された前記被写体の画像部分の合焦状態を示す合焦標識を、表示部に表示された前記画像の前記被写体の画像部分に対して重畳して表示させる表示制御部とを備えたことを特徴とする。
本発明によれば、画像における被写体の合焦状態を詳細に表示させることができる。
以下、本発明を具体化した一実施形態を図面に従って説明する。
図1に示すように、電子カメラの一種であるデジタルカメラ(以下、「カメラ10」という)は、鏡筒11を備えている。鏡筒11内には、前玉レンズ12、ズームレンズ13、絞り14、フォーカスレンズ15が被写体側から順に配置されている。また、カメラ10は、鏡筒11内を通過した光を鏡筒11の像空間側において結像させて撮像する撮像素子16を備えている。なお、撮像素子16は、CMOS(Complementary Metal Oxide Semiconductor)型、又は、CCD(Charge Coupled Device)型のイメージセンサからなる。また、撮像素子16の撮像面上には、鏡筒11内を通過した光を色成分ごとに選択的に透過させて分光するためのカラーフィルタ17が配置されている。
図1に示すように、電子カメラの一種であるデジタルカメラ(以下、「カメラ10」という)は、鏡筒11を備えている。鏡筒11内には、前玉レンズ12、ズームレンズ13、絞り14、フォーカスレンズ15が被写体側から順に配置されている。また、カメラ10は、鏡筒11内を通過した光を鏡筒11の像空間側において結像させて撮像する撮像素子16を備えている。なお、撮像素子16は、CMOS(Complementary Metal Oxide Semiconductor)型、又は、CCD(Charge Coupled Device)型のイメージセンサからなる。また、撮像素子16の撮像面上には、鏡筒11内を通過した光を色成分ごとに選択的に透過させて分光するためのカラーフィルタ17が配置されている。
撮像素子16の出力側には、画像処理エンジン18がA/D変換回路19を介して接続されている。そして、撮像素子16からアナログ信号として出力される各色の画素信号は、A/D変換回路19においてデジタル信号に変換された後に画像処理エンジン18に入力される。
画像処理エンジン18は、カメラ10の各種の動作を統括的に制御するMPU20(Micro Processing Unit)を備えている。そして、MPU20は、撮像素子16から入力された各色の画素信号に対し、色補間処理、階調補正、ホワイトバランス処理及び輪郭補償等の画像処理を行うことにより所定の画像を生成する。
画像処理エンジン18には、フォーカス駆動回路21が接続されている。そして、画像処理エンジン18は、フォーカス駆動回路21を通じてモータ22を駆動制御することにより、フォーカスレンズ15を光軸方向に移動させる。その結果、被写体から射出された光がフォーカスレンズ15を通過して撮像素子16に結像される。
また、画像処理エンジン18には、絞り駆動回路23が接続されている。そして、画像処理エンジン18は、絞り駆動回路23を通じてモータ24を駆動制御することにより、絞り14の開口面積を変化させる。その結果、被写体から射出された光のうち、絞り14の開口を通過して撮像素子16の撮像面に到達する光の光量が調整される。
また、画像処理エンジン18には、ズーム駆動回路25が接続されている。そして、画像処理エンジン18は、ズーム駆動回路25を通じてモータ26を駆動制御することにより、ズームレンズ13を光軸方向に移動させる。その結果、撮像素子16に撮像される被写体に応じた画像の画角が調整される。
また、画像処理エンジン18には、データバス28を介して不揮発性メモリ29、バッファメモリ30、インターフェース部(以下、「I/F部31」という)及びモニタ32が接続されている。
不揮発性メモリ29は、画像処理エンジン18を動作させるためにMPU20が実行するプログラムを格納している。なお、本実施形態では、不揮発性メモリ29には、図12にフローチャートで示す合焦状態表示用の画像処理プログラムが格納されている。そして、MPU20は、不揮発性メモリ29に格納された合焦状態表示用の画像処理プログラムを実行することにより、主制御部40、画像処理部41、絞り制御部42、ズーム制御部43、表示制御部44及び合焦制御部45として機能する。なお、合焦制御部45は、領域設定部50、エッジ検出部51、優先度設定部52、特徴量算出部53及びレンズ制御部54を含んでいる。
バッファメモリ30は、例えば、撮影画像、画像処理過程の画像、画像処理後の画像及び画像圧縮後の画像などを一時的に格納している。
I/F部31は、メモリカード60が着脱自在に装着されるカードスロット(図示略)を有している。そして、I/F部31は、画像処理エンジン18によって生成された画像をI/F部31に装着されたメモリカード60に出力したり、メモリカード60に記憶されている画像を画像処理エンジン18に出力したりする機能を有している。
I/F部31は、メモリカード60が着脱自在に装着されるカードスロット(図示略)を有している。そして、I/F部31は、画像処理エンジン18によって生成された画像をI/F部31に装着されたメモリカード60に出力したり、メモリカード60に記憶されている画像を画像処理エンジン18に出力したりする機能を有している。
モニタ32には、バッファメモリ30に一時的に格納されている画像や、I/F部31に装着されたメモリカード60に格納されている画像が画像処理エンジン18によって出力されて表示される。
また、画像処理エンジン18には、レリーズボタン61及び操作部62が接続されている。レリーズボタン61は、半押し操作又は全押し操作がなされた際に操作信号を画像処理エンジン18に入力する。操作部62は、メニューボタン、セレクトボタン、表示切替ボタン、決定ボタン及び電源ボタン等により構成されており、押圧操作がなされた際に操作信号を画像処理エンジン18に入力する。
次に、画像処理エンジン18が画像から検出された被写体のエッジにおける軸上色収差の色ずれを解析することにより、被写体のエッジの合焦状態を検出する原理の概要を説明する。
図2(a)には、画像が被写体Sの位置で合焦している状態が実線で示されるとともに、画像が被写体Sの位置よりも近点側で合焦している状態(以下、「前ピン状態」という)が一点鎖線で示されている。図2(a)に示すように、前ピン状態においては、被写体から射出される光がフォーカスレンズ15を通過して合焦する位置が撮像素子16よりも撮影者側(図2(a)では右側)に位置する。
一方、図2(b)には、画像が被写体Sの位置で合焦している状態が実線で示されるとともに、画像が被写体Sの位置よりも遠点側で合焦している状態(以下、「後ピン状態」という)が一点鎖線で示されている。図2(b)に示すように、後ピン状態においては、被写体から射出される光がフォーカスレンズ15を通過して合焦する位置が撮像素子16よりもフォーカスレンズ15側(図2(b)では左側)に位置する。
図3には、被写体から射出された光がフォーカスレンズ15を通過する際に生じる軸上色収差の様子が示されている。図3に示すように、フォーカスレンズ15を通過した光には波長の違いによって軸上色収差が生じるため、光の波長成分ごとに焦点位置がずれる。具体的には、フォーカスレンズ15は、光の波長が短いほど光の屈折率が大きいため、青(B)の光、緑(B)の光、赤(R)の光の順に、フォーカスレンズ15を通過する際の屈折率が次第に小さくなり、フォーカスレンズ15を通過して合焦する焦点位置がフォーカスレンズ15から次第に遠くなる。そして、このような軸上色収差による色ずれを解析することにより、被写体のデフォーカス特徴量が被写体の合焦状態として算出(検出)される。
ここで、デフォーカス特徴量は、方向指標と、デフォーカス量を含んで構成されている。方向指標とは、画像が被写体に対して前ピン状態又は後ピン状態であることを示す指標である。そして、方向指標及びデフォーカス量を算出するための評価値としては、Edge Difference(以下、「Ed」という)、デフォーカス量参照値(Width of Subtraction)(以下、「Wd」という)、線広がり関数(Line Spread Function)(以下、「LSF」という)が挙げられる。
まず、被写体における方向指標及びデフォーカス量をEdを用いて算出する原理の概要を説明する。
図4(a)に示すように、画像が被写体に対して前ピン状態である場合には、被写体から射出された光は、フォーカスレンズ15を通過する際に生じる軸上色収差に起因して外側から赤(R)の光、緑(G)の光、青(B)の光の順に位置するように分光された状態で撮像素子16に導かれる。この場合、フォーカスレンズ15を通過した光が色成分ごとに撮像素子16に撮像する被写体のデフォーカス量は、青(B)の光、緑(G)の光、赤(R)の光の順に次第に大きくなる。
図4(a)に示すように、画像が被写体に対して前ピン状態である場合には、被写体から射出された光は、フォーカスレンズ15を通過する際に生じる軸上色収差に起因して外側から赤(R)の光、緑(G)の光、青(B)の光の順に位置するように分光された状態で撮像素子16に導かれる。この場合、フォーカスレンズ15を通過した光が色成分ごとに撮像素子16に撮像する被写体のデフォーカス量は、青(B)の光、緑(G)の光、赤(R)の光の順に次第に大きくなる。
一方、図4(b)に示すように、画像が被写体に対して後ピン状態である場合には、被写体から射出された光は、フォーカスレンズ15を通過する際に生じる軸上色収差に起因して外側から赤(R)の光、緑(G)の光、青(B)の光の順に位置するように分光された状態で撮像素子16に導かれる。この場合、フォーカスレンズ15を通過した光が色成分ごとに撮像素子16に撮像する被写体のデフォーカス量は、赤(R)の光、緑(G)の光、青(B)の光の順に次第に大きくなる。
すなわち、画像が被写体に対して前ピン状態及び後ピン状態のうち何れの状態であるかに応じて、フォーカスレンズ15を通過した光が色成分ごとに撮像素子16に撮像する被写体のデフォーカス量の大小関係は異なるものとなる。
図5には、画像における被写体の一例として白黒チャートS1が示されている。また、図5では、横方向にX座標、縦方向にY座標が設定されており、X=qの位置に位置する白黒チャートS1のエッジE1がデフォーカス特徴量の算出対象として設定されている。
この場合、まず、エッジE1を横切る方向(図5ではX方向)においてRGBごとの画素値が取得される。このとき、1ピクセル行だけの画素値が取得されると、その1ピクセル行がノイズを含んでいる場合に誤った画素値が取得される虞がある。そのため、本実施形態では、以下の式(1)〜(3)に示すように、1ピクセル行の画素値がY方向にnピクセル幅に亘ってn本積算され、その積算値がnで除算された平均値が、x=qに位置するエッジE1が横切るRGBごとの画素値として取得される。
続いて、以下の式(4)〜(6)に示すように、r_ave(x)、g_ave(x)、b_ave(x)について、各々の最大値及び最小値を用いて正規化することにより、各々の正規化出力が算出される。
図6(a)には、画像が白黒チャートS1のエッジE1に対して前ピン状態である場合の、白黒チャートS1のエッジE1の近傍における各色成分の正規化出力が示されている。図6(a)に示すように、画像が白黒チャートS1のエッジE1に対して前ピン状態である場合には、青(B)、緑(G)、赤(R)の順に、白黒チャートS1のエッジE1における色成分量の勾配が次第に緩やかとなる。これは、画像が白黒チャートS1のエッジE1に対して前ピン状態である場合には、フォーカスレンズ15を通過した光が色成分ごとに撮像素子16に撮像する白黒チャートS1のエッジE1のデフォーカス量は、青(B)の光、緑(G)の光、赤(R)の光の順に次第に大きくなるためである。
一方、図6(b)には、画像が白黒チャートS1のエッジE1に対して後ピン状態である場合の、白黒チャートS1のエッジE1の近傍における各色成分の正規化出力が示されている。図6(b)に示すように、画像が白黒チャートS1のエッジE1に対して後ピン状態である場合には、赤(R)、緑(G)、青(B)の順に、白黒チャートS1のエッジE1における色成分量の勾配が次第に緩やかとなる。これは、画像が白黒チャートS1のエッジE1に対して後ピン状態である場合には、フォーカスレンズ15を通過した光が色成分ごとに撮像素子16に撮像する白黒チャートS1のエッジE1のデフォーカス量は、赤(R)の光、緑(G)の光、青(B)の光の順に次第に大きくなるためである。
すなわち、図7(a)に示すように、白黒チャートS1のエッジE1の近傍における各色成分量の勾配は、以下のようになる。画像が白黒チャートS1のエッジE1に対して前ピン状態である場合には、赤(R)の色成分量の勾配が緑(G)の色成分量の勾配よりも小さくなる。これに対し、画像が白黒チャートS1のエッジE1に対して後ピン状態である場合には、赤(R)の色成分量の勾配が緑(G)の色成分量の勾配よりも大きくなる。そのため、画像が白黒チャートS1のエッジE1に対して前ピン状態及び後ピン状態のうち何れの状態にあるかに応じて、白黒チャートS1のエッジE1における赤(R)の色成分量の勾配と緑(G)の色成分量の勾配との大小関係が逆転する。
したがって、赤(R)の色成分量と緑(G)の色成分量とに基づくEd(以下、「EdRG」という)を閾値と比較することにより、画像が白黒チャートS1のエッジE1に対して前ピン状態及び後ピン状態のうち何れの状態であるかについては、以下に示す式(7)、(8)に基づいて判定される。
そして、式(7)が成立する場合には、EdRGは、画像が白黒チャートS1のエッジE1に対して後ピン状態であることを示している。一方、式(8)が成立する場合には、EdRGは、画像が白黒チャートS1のエッジE1に対して前ピン状態であることを示している。また、EdRGと閾値である「1」との差分が、画像における白黒チャートS1のエッジE1のデフォーカス量を示している。
なお、画像が白黒チャートS1のエッジE1に対して前ピン状態及び後ピン状態のうち何れの状態であるかについては、以下に示す式(9)、(10)に基づいて判定されてもよい。
そして、式(9)が成立する場合には、EdRGは、画像が白黒チャートS1のエッジE1に対して前ピン状態であることを示している。一方、式(10)が成立する場合には、EdRGは、画像が白黒チャートS1のエッジE1に対して後ピン状態であることを示している。また、EdRGと閾値である「1」との差分が、画像における白黒チャートS1のエッジE1のデフォーカス量を示している。
以上のように、上記の式(7)〜(10)では、赤(R)の色成分量と緑(G)の色成分量との比を用いて、画像が白黒チャートS1のエッジE1に対して前ピン状態及び後ピン状態のうち何れの状態であるかについて判定される。ただし、赤(R)の色成分量と緑(G)の色成分量との差を用いて、画像が白黒チャートS1のエッジE1に対して前ピン状態及び後ピン状態のうち何れの状態であるかについて判定してもよい。
また同様に、図7(b)に示すように、画像が白黒チャートS1のエッジE1に対して前ピン状態である場合には、青(B)の色成分量の勾配が緑(G)の色成分量の勾配よりも大きくなる。これに対し、画像が白黒チャートS1のエッジE1に対して後ピン状態である場合には、青(B)の色成分量の勾配が緑(G)の色成分量の勾配よりも小さくなる。そのため、画像が前ピン状態及び後ピン状態のうち何れの状態であるかに応じて、白黒チャートS1のエッジE1における青(B)の色成分量の勾配と緑(G)の色成分量の勾配との大小関係が逆転する。
したがって、青(B)の色成分量と緑(G)の色成分量とに基づくEd(以下、「EdBG」という)を閾値と比較することにより、画像が白黒チャートS1のエッジE1に対して前ピン状態及び後ピン状態のうち何れの状態であるかについては、以下に示す式(11)、(12)に基づいて判定される。
そして、式(11)が成立する場合には、EdBGは、画像が白黒チャートS1のエッジE1に対して前ピン状態であることを示している。一方、式(12)が成立する場合には、EdBGは、画像が白黒チャートS1のエッジE1に対して後ピン状態であることを示している。また、EdBGと閾値である「1」との差分が、画像における白黒チャートS1のエッジE1のデフォーカス量を示している。
なお、画像が白黒チャートS1のエッジE1に対して前ピン状態及び後ピン状態のうち何れの状態であるかについては、以下に示す式(13)、(14)に基づいて判定されてもよい。
そして、式(13)が成立する場合には、EdBGは、画像が白黒チャートS1のエッジE1に対して後ピン状態であることを示している。一方、式(14)が成立する場合には、EdBGは、画像が白黒チャートS1のエッジE1に対して前ピン状態であることを示している。また、EdBGと閾値である「1」との差分が、画像における白黒チャートS1のエッジE1のデフォーカス量を示している。
以上のように、上記の式(11)〜(14)では、青(B)の色成分量と緑(G)の色成分量との比を用いて、画像が白黒チャートS1のエッジE1に対して前ピン状態及び後ピン状態のうち何れの状態であるかについて判定される。ただし、青(B)の色成分量と緑(G)の色成分量との差を用いて、画像が白黒チャートS1のエッジE1に対して前ピン状態及び後ピン状態のうち何れの状態であるかについて判定してもよい。
次に、被写体における方向指標及びデフォーカス量をWdを用いて算出する原理の概要を説明する。
図8(a)及び図8(b)は、白黒チャートS1のエッジE1の近傍における赤(R)及び緑(G)の色成分量の差と、エッジE1の検出対象領域EA内におけるX軸方向での位置との関係を示すグラフである。
図8(a)及び図8(b)は、白黒チャートS1のエッジE1の近傍における赤(R)及び緑(G)の色成分量の差と、エッジE1の検出対象領域EA内におけるX軸方向での位置との関係を示すグラフである。
図8(a)には、画像が白黒チャートS1のエッジE1に対して後ピン状態である場合のグラフが実線で示されるとともに、画像が白黒チャートS1のエッジE1に対して前ピン状態である場合のグラフが破線で示されている。図8(a)に示すように、Wdは、赤(R)及び緑(G)の色成分量の差の波形のピーク間距離として規定されており,以下に示す式(15)で表される。
また同様に、図8(b)には、画像が白黒チャートS1のエッジE1に対して後ピン状態である場合のグラフが実線で示されるとともに、画像が白黒チャートS1のエッジE1に対して前ピン状態である場合のグラフが破線で示されている。なお、図8(b)には、図8(a)に示す状態と比較して、画像における白黒チャートS1のエッジE1のデフォーカス量が小さい状態のグラフが示されている。
ここで、X3は、図8(b)に実線で示すグラフにおいて、赤(R)及び緑(G)の色成分量の差が最小となる位置である。一方、X4は、図8(b)に実線で示すグラフにおいて、赤(R)及び緑(G)の色成分量の差が最大となる位置である。
そして、図8(b)に示すように、画像における白黒チャートS1のエッジE1のデフォーカス量が小さいと、Wd(=|X4−X3|)の値が図8(a)に示すWd(=|W2−W1|)の値よりも小さくなる。そのため、Wdの値は、画像における白黒チャートS1のエッジE1のデフォーカス量を示している。
以上のように、赤(R)及び緑(G)の色成分量の差についての波形の極性に基づいて、画像が白黒チャートS1のエッジE1に対して前ピン状態及び後ピン状態のうち何れの状態であるかについて判定される。ただし、赤(R)及び緑(G)の色成分量の比を用いて、画像が白黒チャートS1のエッジE1に対して前ピン状態及び後ピン状態のうち何れの状態であるかについて判定してもよい。また、比較対象となる色成分の組み合わせは、赤(R)及び緑(G)の組み合わせに限定されず、赤(R)及び青(B)の組み合わせや、緑(G)及び青(B)の組み合わせであってもよい。
次に、被写体における方向指標及びデフォーカス量をLSFを用いて算出する原理の概要を説明する。
LSFは、画像における色成分量の広がりを表す関数の一種である。そして、図9(a)には、画像が白黒チャートS1のエッジE1において合焦状態にあるLSFが示されている。また、図9(b)には、画像が白黒チャートS1のエッジE1において非合焦状態にあるLSFが示されている。また、図9(c)には、画像における白黒チャートS1のエッジE1のデフォーカス量が図9(b)に示す状態よりも大きい状態のLSFが示されている。
LSFは、画像における色成分量の広がりを表す関数の一種である。そして、図9(a)には、画像が白黒チャートS1のエッジE1において合焦状態にあるLSFが示されている。また、図9(b)には、画像が白黒チャートS1のエッジE1において非合焦状態にあるLSFが示されている。また、図9(c)には、画像における白黒チャートS1のエッジE1のデフォーカス量が図9(b)に示す状態よりも大きい状態のLSFが示されている。
図9(a)〜(c)に示すように、白黒チャートS1のエッジE1でのLSFの標準偏差σは、画像における白黒チャートS1のエッジE1のデフォーカス量が大きくなるに連れて次第に大きくなる。
図10(a)には、画像が白黒チャートS1のエッジE1において合焦状態にある場合のLSFが色成分ごとに示されている。図10(a)に示すように、画像が白黒チャートS1のエッジE1において合焦した状態では、全ての色成分におけるLSFはシャープな波形となる。そして、これらの色成分におけるLSFの標準偏差σR,σG,σBは互いにほぼ等しい。
図10(b)には、画像が白黒チャートS1のエッジE1に対して前ピン状態である場合のLSFが色成分ごとに示されている。図10(b)に示すように、画像が白黒チャートS1のエッジE1に対して前ピン状態である場合には、全ての色成分におけるLSFは図10(a)の場合よりも緩やかな波形となる。ただし、これらの色成分におけるLSFの標準偏差σB,σG,σRは、青(B)、緑(G)、赤(R)の順に次第に大きくなる。これは、画像が白黒チャートS1のエッジE1に対して前ピン状態である場合には、フォーカスレンズ15を通過した光が色成分ごとに撮像素子16に撮像する白黒チャートS1のエッジE1のデフォーカス量は、青(B)の光、緑(G)の光、赤(R)の光の順に次第に大きくなるためである。
図10(c)には、画像が白黒チャートS1のエッジE1に対して後ピン状態である場合のLSFが色成分ごとに示されている。図10(c)に示すように、画像が白黒チャートS1のエッジE1に対して後ピン状態である場合には、全ての色成分におけるLSFは図10(a)の場合よりも緩やかな波形となる。ただし、これらの色成分におけるLSFの標準偏差σB,σG,σRは、赤(R)、緑(G)、青(B)の順に次第に大きくなる。これは、画像が白黒チャートS1のエッジE1に対して後ピン状態である場合には、フォーカスレンズ15を通過した光が色成分ごとに撮像素子16に撮像する白黒チャートS1のエッジE1のデフォーカス量は、赤(R)の光、緑(G)の光、青(B)の光の順に次第に大きくなるためである。
すなわち、画像が白黒チャートS1のエッジE1に対して前ピン状態及び後ピン状態のうち何れの状態であるかに応じて、白黒チャートS1のエッジE1における各色成分のLSFの標準偏差の大小関係は互いに異なるものとなる。
図11は、画像における白黒チャートS1のエッジE1の距離と、該エッジE1における各色のLSFの標準偏差の差との関係を示すグラフである。
ここで、F1は、青(B)のLSFの標準偏差σBと、緑(G)のLSFの標準偏差σGとの差を表す関数である。そして、F1は、画像が白黒チャートS1のエッジE1に対して後ピン状態である場合には正の値となる。一方、F1は、画像が白黒チャートS1のエッジE1に対して前ピン状態である場合には負の値となる。また、F1の絶対値は、画像における白黒チャートS1のエッジE1の距離が合焦位置に対応する距離から離れるに連れて次第に大きくなる。そのため、F1の絶対値は、画像における白黒チャートS1のエッジE1のデフォーカス量を示している。
ここで、F1は、青(B)のLSFの標準偏差σBと、緑(G)のLSFの標準偏差σGとの差を表す関数である。そして、F1は、画像が白黒チャートS1のエッジE1に対して後ピン状態である場合には正の値となる。一方、F1は、画像が白黒チャートS1のエッジE1に対して前ピン状態である場合には負の値となる。また、F1の絶対値は、画像における白黒チャートS1のエッジE1の距離が合焦位置に対応する距離から離れるに連れて次第に大きくなる。そのため、F1の絶対値は、画像における白黒チャートS1のエッジE1のデフォーカス量を示している。
また同様に、F2は、赤(R)のLSFの標準偏差σRと、緑(G)のLSFの標準偏差σGとの差を表す関数である。そして、F2は、画像が白黒チャートS1のエッジE1に対して後ピン状態である場合には負の値となる。一方、F2は、画像が白黒チャートS1のエッジE1に対して前ピン状態である場合には正の値となる。また、F2の絶対値は、画像における白黒チャートS1のエッジE1の距離が合焦位置に対応する距離から離れるに連れて次第に大きくなる。そのため、F1の絶対値は、画像における白黒チャートS1のエッジE1のデフォーカス量を示している。
以上のように、エッジE1における赤(R)及び緑(G)、又は、青(B)及び緑(G)の色成分量のLSFの標準偏差の差の極性に基づいて、画像が白黒チャートS1のエッジE1に対して前ピン状態及び後ピン状態のうち何れの状態であるかについて判定される。ただし、エッジE1における赤(R)及び青(B)のLSFの標準偏差の差の極性に基づいて、画像が白黒チャートS1のエッジE1に対して前ピン状態及び後ピン状態のうち何れの状態であるかについて判定してもよい。また、エッジE1における各色のLSFの標準偏差の比を閾値(=「1」)と比較することにより、画像が白黒チャートS1のエッジE1に対して前ピン状態及び後ピン状態のうち何れの状態であるかについて判定してもよい。
また、LSFは、赤(R)、緑(G)、青(B)のうち、一つの色成分のみについて算出されてもよい。この場合、一例として、まず、エッジE1におけるLSFの値とエッジE1のデフォーカス量とを対応付けたエッジのプロファイルをデータベースに予め記憶させる。そして、白黒チャートS1のエッジE1におけるLSFの値をデータベースに記憶されたエッジのプロファイルと照合することにより、画像における白黒チャートS1のエッジE1のデフォーカス量が算出される。
また、被写体における方向指標及びデフォーカス量を算出する際に、LSFの標準偏差に代えて、LSFの半値幅、又は、LSFのピーク値を用いてもよい。
次に、本実施形態の画像処理エンジン18のMPU20が実行する合焦状態表示処理ルーチンの概要を図12のフローチャートを参照しながら説明する。
次に、本実施形態の画像処理エンジン18のMPU20が実行する合焦状態表示処理ルーチンの概要を図12のフローチャートを参照しながら説明する。
さて、MPU20は、カメラ10が電源ON状態となると、図12に示す合焦状態表示処理ルーチンを開始する。そして、ステップS11において、MPU20の画像処理部41は、撮像素子16から出力された画素信号を取り込んでスルー画を生成し、生成したスルー画をモニタ32に表示させる。この場合、MPU20の表示制御部44は、スルー画に対してAF評価枠R(図16(a)参照)を重畳して表示させる。そして、MPU20の領域設定部50は、スルー画のうちAF評価枠R内に含まれる画像部分を合焦の対象となる領域として設定する。なお、図16(a)に示す例では、スルー画には被写体として植物A及び蝶Bが含まれており、植物Aの花A1に対して矩形状のAF評価枠Rが重畳して表示されている。
そして次に、ステップS12において、MPU20は、レリーズボタン61の半押し操作がなされたか否かを判定する。そして、MPU20は、レリーズボタン61の半押し操作がなされた(ステップS12=YES)と判定した場合、その処理をステップS13に移行する。
そして、ステップS13において、MPU20のレンズ制御部54は、スルー画におけるAF評価枠R内の画像部分を対象としたコントラストAFを実行する。具体的には、MPU20のレンズ制御部54は、まず、スルー画の合焦位置をスルー画の奥行方向における至近側から無限遠側にかけての全域に亘って移動させるように、フォーカス駆動回路21を駆動制御してフォーカスレンズ15を光軸方向に駆動させる。次に、MPU20のレンズ制御部54は、各位置におけるスルー画のAF評価枠R(図16(a)参照)内の画像部分のコントラスト値を求め、AF評価枠R内の画像部分のコントラスト値が最も高くなるフォーカスレンズ15のレンズ位置を合焦位置として検出する。そして、MPU20のレンズ制御部54は、検出された合焦位置に至るまで現在のレンズ位置からフォーカスレンズ15を駆動させる。その結果、スルー画がAF評価枠R内の画像部分において合焦された状態となる。なお、図16(a)に示す例では、スルー画は、植物Aの花の部分において合焦された状態となる。
そして、MPU20は、合焦位置に至るまでのフォーカスレンズ15の駆動が完了した後に、その処理をステップS14に移行する。
一方、MPU20は、レリーズボタン61の半押し操作がなされていない(ステップS12=NO)と判定した場合、ステップS13を経ることなく、その処理をステップS14に移行する。
一方、MPU20は、レリーズボタン61の半押し操作がなされていない(ステップS12=NO)と判定した場合、ステップS13を経ることなく、その処理をステップS14に移行する。
そして、ステップS14において、MPU20は、画像表示処理のモード状態が合焦状態表示モードに設定されたか否かを判定する。この場合、合焦状態表示モードの設定は、例えば、操作部62を構成するメニューボタンの押圧操作によって行われる。なお、モニタ32がタッチパネルである場合には、モニタ32のタッチ操作によって合焦状態表示モードの設定が行われてもよい。そして、MPU20は、合焦状態表示モードの設定がなされていない(ステップS14=NO)と判定した場合、その処理をステップS11に戻し、合焦状態表示モードの設定がなされるまでステップS11〜ステップS14の処理を繰り返す。一方、MPU20は、合焦状態表示モードの設定がなされた(ステップS14=YES)と判定した場合、その処理をステップS15に移行する。
そして、ステップS15において、MPU20の表示制御部44は、スルー画におけるAF評価枠Rを拡大表示させる。その結果、スルー画のうちAF評価枠R内に含まれる画像領域の範囲が拡大する。そして、スルー画のうち拡大表示されたAF評価枠R内の画像部分が合焦状態の表示対象となる領域として設定される。この点で、本実施形態では、MPU20の表示制御部44は、スルー画のうち、合焦の対象となる領域よりも広い範囲を、合焦状態の表示対象として設定する。なお、図16(b)に示す例では、合焦状態表示モードの設定がなされた時点で、スルー画のうち植物Aの全体を含むようにAF評価枠Rの表示サイズが拡大される。
そして次に、ステップS16において、MPU20のエッジ検出部51は、スルー画のうちAF評価枠R内の画像部分からエッジを検出する。具体的には、MPU20のエッジ検出部51は、スルー画のうちAF評価枠R内の画像部分を微分フィルタによってスキャン(例えば、ラスタースキャン)する。その結果、スルー画のうちAF評価枠R内の画像部分における明度、彩度及び色相等の特徴量が算出される。そして、MPU20のエッジ検出部51は、算出された特徴量が大きい部分を軸上色収差の評価に適したエッジとして検出する。
続いて、ステップS17において、MPU20の特徴量算出部53は、合焦検出ステップとして、先のステップS16において検出されたエッジにおける軸上色収差の評価値に基づいて、被写体のデフォーカス特徴量の算出処理ルーチンを行う。
ここで、被写体のデフォーカス特徴量の算出処理ルーチンの詳細を図13に示すフローチャートを用いて説明する。
図13に示すように、ステップS100において、MPU20の特徴量算出部53は、スルー画のうちAF評価枠R内の画像部分を複数の分割領域DR(図16(c)参照)に格子状に分割する。なお、図16(c)に示す例では、スルー画のうちAF評価枠R内の画像部分が16個の分割領域DRに分割されている。
図13に示すように、ステップS100において、MPU20の特徴量算出部53は、スルー画のうちAF評価枠R内の画像部分を複数の分割領域DR(図16(c)参照)に格子状に分割する。なお、図16(c)に示す例では、スルー画のうちAF評価枠R内の画像部分が16個の分割領域DRに分割されている。
そして次に、ステップS101において、MPU20の特徴量算出部53は、先のステップS16において検出されたエッジを複数含む分割領域DRがあるか否かを判定する。そして、MPU20の特徴量算出部53は、複数のエッジを含む分割領域DRがある(ステップS101=YES)と判定した場合、その処理をステップS102に移行する。
そして、ステップS102において、MPU20の優先度設定部52は、先のステップS100において判定された分割領域DRに含まれる複数のエッジに優先度を設定する。この場合、まず、エッジの強度、エッジの色成分、エッジのコントラスト、エッジのSN比、エッジの波形において平坦になっている範囲の幅、エッジの長さ等を評価項目としてエッジの評点がそれぞれ算出される。そして、算出された評点の合計値の大小に応じてエッジの優先度が設定される。
続いて、ステップS103において、MPU20の特徴量算出部53は、先のステップS102において優先度が最も高く設定されたエッジを、軸上色収差の評価の対象となるエッジとして分割領域DRごとに設定し、その処理をステップS105に移行する。
一方、MPU20の特徴量算出部53は、複数のエッジを含む分割領域DRがない(ステップS101=NO)と判定した場合、その処理をステップS104に移行する。そして、MPU20の特徴量算出部53は、先のステップS104において判定された分割領域DRに含まれるエッジを、軸上色収差の評価の対象となるエッジとして分割領域DRごとに設定し、その処理をステップS105に移行する。
そして、ステップS105において、MPU20の特徴量算出部53は、先のステップS103又はステップS104において評価の対象として設定されたエッジにおける色構造を解析する。具体的には、MPU20の特徴量算出部53は、まず、評価の対象として設定されたエッジにおける赤(R)、緑(G)、青(B)の色成分量のコントラストを算出する。次に、MPU20の特徴量算出部53は、評価の対象として設定されたエッジのうち色成分量のコントラストが閾値以上であるエッジを色成分ごとにスルー画から抽出することにより、各色のエッジのビットマップを生成する。そして、MPU20の特徴量算出部53は、生成した各色のエッジのビットマップをバッファメモリ30に格納する。
そして次に、ステップS106において、MPU20の特徴量算出部53は、先のステップS103又はステップS104において評価の対象として設定されたエッジについて、コントラストが閾値以上である色成分が三色であるか否かを分割領域DRごとに判定する。具体的には、MPU20の特徴量算出部53は、先のステップS105において生成した各色のエッジのビットマップを重ね合わせた場合に、全ての色成分のエッジが重なり合うエッジであるか否かを分割領域DRごとに判定する。そして、MPU20の特徴量算出部53は、エッジのコントラストが閾値以上である色成分が三色である(ステップS106=YES)と判定した場合、その処理をステップS107に移行する。
そして、ステップS107において、MPU20の特徴量算出部53は、鏡筒11内に配置されたレンズ12,13,15の軸上色収差の特性に応じて、エッジにおける軸上色収差の評価に用いる色成分の組み合わせを赤(R)、緑(G)、青(B)の中から選択して設定する。例えば、各色の光がレンズ12,13,15を通過して合焦する際に、赤(R)及び緑(G)の焦点位置のずれ量の方が青(B)及び緑(G)の焦点位置のずれ量よりも大きいとする。この場合、エッジにおける軸上色収差の評価に用いる色成分の組み合わせとして、赤(R)及び緑(G)の組み合わせが選択されて設定される。
一方、MPU20の特徴量算出部53は、エッジのコントラストが閾値以上である色成分が三色でない(ステップS106=NO)と判定した場合、その処理をステップS108に移行する。
そして、ステップS108において、MPU20の特徴量算出部53は、先のステップS103又はステップS104において評価の対象として設定されたエッジについて、コントラストが閾値以上である色成分が二色であるか否かを分割領域DRごとに判定する。具体的には、MPU20の特徴量算出部53は、先のステップS105において生成した各色のエッジのビットマップを重ね合わせた場合に、二色のエッジが重なり合うエッジであるか否かを分割領域DRごとに判定する。そして、MPU20の特徴量算出部53は、エッジのコントラストが閾値以上である色成分が二色である(ステップS108=YES)と判定した場合、その処理をステップS109に移行する。
そして、ステップS109において、MPU20の特徴量算出部53は、先のステップS108においてコントラストが閾値以上であると判定された二色の色成分を、エッジにおける軸上色収差の評価に用いる色成分の組み合わせとして設定する。すなわち、MPU20の特徴量算出部53は、先のステップS105において生成した各色のエッジのビットマップを重ね合わせた場合に、エッジが重なり合った二色の色成分をエッジにおける軸上色収差の評価に用いる色成分の組み合わせとして設定する。
そして次に、ステップS110において、MPU20の特徴量算出部53は、先のステップS107又はステップS109において設定された二色の色成分について、エッジにおける軸上色収差の評価値を算出する。なお、この場合、エッジにおける軸上色収差の評価値としては、Ed、Wd、LSFのうち何れの評価値であってもよい。そして、MPU20の特徴量算出部53は、算出された評価値に基づいて被写体のデフォーカス特徴量として方向指標及びデフォーカス量を分割領域DRごとに算出する。具体的には、MPU20の特徴量算出部53は、スルー画を構成する複数のフレーム画像からエッジにおける軸上色収差の評価値を算出し、算出された評価値の平均値に基づいて被写体のデフォーカス特徴量として方向指標及びデフォーカス量を分割領域DRごとに算出する。
そして、MPU20の特徴量算出部53は、ステップS110における被写体のデフォーカス特徴量の算出が完了した場合、図13に示す被写体のデフォーカス特徴量の算出処理ルーチンを終了し、その処理を図12に示す合焦状態表示処理ルーチンに戻す。
一方、MPU20の特徴量算出部53は、先のステップS108においてエッジのコントラストが閾値以上である色成分が二色ではない(ステップS108=NO)と判定した場合、その処理をステップS111に移行する。
そして、ステップS111において、MPU20の特徴量算出部53は、先のステップS105において色成分量のコントラストが閾値以上であると判定されたエッジの色成分を、エッジにおける軸上色収差の評価に用いる色成分として設定する。具体的には、MPU20の特徴量算出部53は、先のステップS105において生成された各色のエッジのビットマップを重ね合わせた場合に、他の色成分のエッジと重なり合わないエッジを抽出する。そして、MPU20の特徴量算出部53は、抽出されたエッジの色成分を該エッジにおける軸上色収差の評価に用いる色成分として設定する。
そして次に、ステップS112において、MPU20の特徴量算出部53は、先のステップS111において設定された色成分について、エッジにおける軸上色収差の評価値を算出する。なお、この場合、エッジにおける軸上色収差の評価値としては、LSFが用いられる。そして、評価値として算出されたエッジにおけるLSFを、データベースに記憶されたエッジのプロファイルと照合することにより、被写体のデフォーカス特徴量としてデフォーカス量を分割領域DRごとに算出する。具体的には、MPU20の特徴量算出部53は、スルー画を構成する複数のフレーム画像からエッジにおける軸上色収差の評価値を算出し、算出された評価値の平均値に基づいて被写体のデフォーカス特徴量としてデフォーカス量を分割領域DRごとに算出する。
そして、MPU20の特徴量算出部53は、ステップS112における被写体のデフォーカス特徴量の算出が完了した場合、図13に示す被写体のデフォーカス特徴量の算出処理ルーチンを終了し、その処理を図12に示す合焦状態表示処理ルーチンに戻す。
そして次に、図12に示すように、ステップS18において、MPU20は、先のステップS17において算出された被写体のデフォーカス量が、その時点におけるスルー画の被写界深度の範囲内にあるか否かを判定する。そして、MPU20は、被写体のデフォーカス量がスルー画の被写界深度の範囲内にある(ステップS18=YES)と判定した場合には、その処理をステップS19に移行する。
続いて、ステップS19において、MPU20の画像処理部41は、被写体がスルー画の被写界深度の範囲内に位置することを示す合焦標識である深度内標識M1(図16(c)参照)を分割領域DRごとに生成し、生成した深度内標識M1をバッファメモリ30に格納する。この深度内標識M1は、先のステップS17において被写体のデフォーカス量を算出する際に、軸上色収差の評価の対象とされた被写体のエッジに沿う形状となっている。なお、図16(c)に示す例では、スルー画に含まれる植物Aの花A1のうち上下方向の中央側部分のエッジが、スルー画の被写界深度内に位置している。そのため、この部分のエッジに沿う形状の深度内標識M1が生成される。
一方、MPU20は、被写体のデフォーカス量がスルー画の被写界深度の範囲内にない(ステップS18=NO)と判定した場合には、その処理をステップS20に移行する。
そして、ステップS20において、MPU20は、先のステップS17において被写体のデフォーカス特徴量として方向指標が算出されたか否かを判定する。すなわち、MPU20は、被写体のデフォーカス特徴量を算出する際に軸上色収差の評価の対象とされたエッジについて、該エッジにおける色成分量のコントラストが閾値以上である色成分が二色以上であったか否かを判定する。そして、MPU20は、被写体のデフォーカス特徴量として方向指標が算出された(ステップS20=YES)と判定した場合には、その処理をステップS21に移行する。
そして、ステップS20において、MPU20は、先のステップS17において被写体のデフォーカス特徴量として方向指標が算出されたか否かを判定する。すなわち、MPU20は、被写体のデフォーカス特徴量を算出する際に軸上色収差の評価の対象とされたエッジについて、該エッジにおける色成分量のコントラストが閾値以上である色成分が二色以上であったか否かを判定する。そして、MPU20は、被写体のデフォーカス特徴量として方向指標が算出された(ステップS20=YES)と判定した場合には、その処理をステップS21に移行する。
続いて、ステップS21において、MPU20は、先のステップS17において被写体のデフォーカス特徴量として算出された方向指標が前ピン状態であるか否かを判定する。そして、MPU20は、被写体のデフォーカス特徴量として算出された方向指標が前ピン状態である(ステップS21=YES)と判定した場合には、その処理をステップS22に移行する。
そして次に、ステップS22において、MPU20の画像処理部41は、スルー画の被写界深度の範囲が被写体よりも近点側に位置することを示す合焦標識である前ピン標識M2(図16(c)参照)を分割領域DRごとに生成し、生成した前ピン標識M2をバッファメモリ30に格納する。この前ピン標識M2は、先のステップS17において被写体のデフォーカス特徴量を算出する際に、軸上色収差の評価の対象とされた被写体のエッジに沿う形状となっている。なお、図16(c)に示す例では、スルー画の被写界深度の範囲が、スルー画に含まれる植物Aの茎A2の部分よりも近点側に位置している。そのため、この部分のエッジに沿う形状の前ピン標識M2が生成される。
一方、MPU20は、被写体のデフォーカス特徴量として算出された方向指標が前ピン状態ではない(ステップS21=NO)と判定した場合には、被写体のデフォーカス特徴量として算出された方向指標が後ピン状態であると判断し、その処理をステップS23に移行する。
そして次に、ステップS23において、MPU20の画像処理部41は、スルー画の被写界深度の範囲が被写体よりも遠点側に位置することを示す合焦標識である後ピン標識M3(図16(c)参照)を分割領域DRごとに生成し、生成した後ピン標識M3をバッファメモリ30に格納する。この後ピン標識M3は、先のステップS17において被写体のデフォーカス特徴量を算出する際に、軸上色収差の評価の対象とされた被写体のエッジに沿う形状となっている。なお、図16(c)に示す例では、スルー画の被写界深度の範囲が、スルー画に含まれる植物Aの花A1の上端側部分、及び、スルー画に含まれる植物Aの葉A3の先端側部分よりも遠点側に位置している。そのため、これらの部分のエッジに沿う形状の後ピン標識M3が生成される。
また、MPU20は、被写体のデフォーカス特徴量として方向指標が算出されていない(ステップS20=NO)と判定した場合には、その処理をステップS24に移行する。
そして、ステップS24において、MPU20の画像処理部41は、スルー画の被写界深度の範囲が被写体に対して近点側及び遠点側の何れに位置するか不明であることを示す合焦標識であるエラー標識M4(図16(c)参照)を分割領域DRごとに生成し、生成したエラー標識M4をバッファメモリ30に格納する。このエラー標識M4は、先のステップS17において被写体のデフォーカス特徴量を算出する際に、軸上色収差の評価の対象とされた被写体のエッジに沿う形状となっている。なお、図16(c)に示す例では、スルー画の被写界深度の範囲が、スルー画に含まれる蝶Bよりも近点側及び遠点側の何れに位置しているか不明となっている。そのため、この部分のエッジに沿う形状のエラー標識M4が生成される。
そして、ステップS24において、MPU20の画像処理部41は、スルー画の被写界深度の範囲が被写体に対して近点側及び遠点側の何れに位置するか不明であることを示す合焦標識であるエラー標識M4(図16(c)参照)を分割領域DRごとに生成し、生成したエラー標識M4をバッファメモリ30に格納する。このエラー標識M4は、先のステップS17において被写体のデフォーカス特徴量を算出する際に、軸上色収差の評価の対象とされた被写体のエッジに沿う形状となっている。なお、図16(c)に示す例では、スルー画の被写界深度の範囲が、スルー画に含まれる蝶Bよりも近点側及び遠点側の何れに位置しているか不明となっている。そのため、この部分のエッジに沿う形状のエラー標識M4が生成される。
そして次に、MPU20の表示制御部44は、表示制御ステップとして、先のステップS19、ステップS22、ステップS23及びステップS24において生成された合焦標識を、スルー画に含まれる被写体に対して重畳して表示させる。
具体的には、MPU20の表示制御部44は、先のステップS19において生成された深度内標識M1を、スルー画のうち、スルー画の被写界深度の範囲内に位置する画像部分に対して重畳して表示させる。図16(c)に示す例では、MPU20の表示制御部44は、スルー画に含まれる植物Aの花A1のうち上下方向の中央側部分のエッジに対して深度内標識M1を重畳して表示させる。
また、MPU20の表示制御部44は、先のステップS22において生成された前ピン標識M2を、スルー画のうち、スルー画の被写界深度の範囲が近点側に位置する画像部分に対して重畳して表示させる。図16(c)に示す例では、MPU20の表示制御部44は、スルー画に含まれる植物Aの茎A2の部分のエッジに対して前ピン標識M2を重畳して表示させる。
また、MPU20の表示制御部44は、先のステップS23において生成された後ピン標識M3を、スルー画のうち、スルー画の被写界深度の範囲が遠点側に位置する画像部分に対して重畳して表示させる。図16(c)に示す例では、MPU20の表示制御部44は、スルー画に含まれる植物Aの花A1の上端側部分、及び、スルー画に含まれる植物Aの葉A3の先端側部分のエッジに対して後ピン標識M3を重畳して表示させる。
また、MPU20の表示制御部44は、先のステップS24において生成されたエラー標識M4を、スルー画のうち、スルー画の被写界深度の範囲が被写体に対して近点側及び遠点側の何れに位置するか不明である画像部分に対して重畳して表示させる。図16(c)に示す例では、MPU20の表示制御部44は、スルー画に含まれる蝶Bのエッジに対してエラー標識M4を重畳して表示させる。
なお、MPU20の表示制御部44は、深度内標識M1、前ピン標識M2、後ピン標識M3、エラー標識M4の色表示を互いに異ならせている。すなわち、MPU20の表示制御部44は、エッジにおける被写体の合焦状態に応じて合焦標識の色表示を制御しつつ、被写体のエッジに対して合焦標識を重畳して表示させる。
続いて、ステップS26において、MPU20は、操作部62を構成する表示切替ボタンの押圧操作がなされたか否かを判定する。そして、MPU20は、表示切替ボタンの押圧操作がなされた(ステップS26=YES)と判定した場合には、その処理をステップS27に移行する。
そして次に、ステップS27において、MPU20の表示制御部44は、スルー画に重畳して表示される合焦標識の表示モードを切り替えた後に、その処理をステップS28に移行する。
具体的には、まず、MPU20の画像処理部41は、先のステップS17において算出された被写体のデフォーカス量を示す合焦標識であるデフォーカス量標識M5(図16(d)参照)を分割領域DRごとに生成し、生成したデフォーカス量標識M5をバッファメモリ30に格納する。なお、図16(d)に示す例では、デフォーカス量標識M5は、被写体のデフォーカス量を数値化して表したものとなっている。ただし、デフォーカス量標識M5は、被写体のデフォーカス量の大きさを段階的(例えば、大・中・小の三段階)に表したものであってもよい。
そして、MPU20の表示制御部44は、合焦標識の表示モードを、生成されたデフォーカス量標識M5を各々が対応する分割領域DRに対応させつつ被写体に重畳して表示させる表示モードに切り替える。なお、MPU20の表示制御部44は、デフォーカス量標識M5が被写体に重畳して表示されている表示モードにおいて表示切替ボタンの押圧操作がなされた場合には、合焦標識の表示モードを、全ての合焦標識(深度内標識M1、前ピン標識M2、後ピン標識M3、エラー標識M4及びデフォーカス量標識M5)が非表示となる表示モードに切り替える。さらに、全ての合焦標識が非表示となる表示モードにおいて表示切替ボタンの押圧操作がなされた場合には、合焦標識の表示モードを、デフォーカス量標識M5以外の全ての合焦標識(深度内標識M1、前ピン標識M2、後ピン標識M3及びエラー標識M4)が表示される元の表示モードに切り替える。
一方、MPU20は、表示切替ボタンの押圧操作がなされていない(ステップS26=NO)と判定した場合には、ステップS27の処理を経ることなく、その処理をステップS28に移行する。
そして、ステップS28において、MPU20は、レリーズボタン61の半押し操作がなされたか否かを判定する。そして、MPU20は、レリーズボタン61の半押し操作がなされたと判定した場合には、その処理をステップS29に移行し、ステップS29における被写界深度の制御処理ルーチンを実行する。なお、MPU20は、モニタ32がタッチパネルである場合には、モニタ32がタッチ操作されたと判定した場合に、ステップS29における被写界深度の制御処理ルーチンを実行してもよい。
ここで、被写界深度の制御処理ルーチンの詳細を図14に示すフローチャートを用いて説明する。
図14に示すように、ステップS200において、MPU20は、その時点でカメラ10に設定されているモニタ32への画像の出力サイズに基づいて閾値T1を設定する。この閾値T1は、MPU20の絞り制御部42が絞り14の開口面積を変化させてスルー画の被写界深度の大きさを変化させることにより、スルー画に含まれる被写体のうち、スルー画の被写界深度の範囲内に収める画像部分の比率を設定する際の基準値となっている。なお、モニタ32への画像の出力サイズが相対的に大きい場合には、モニタ32への画像の出力サイズが相対的に小さい場合と比較して、スルー画に含まれる被写体のうち、スルー画の被写界深度の範囲内に収まらずにぼけを生じた画像部分がモニタ32において目立ちやすい。そのため、MPU20は、モニタ32への画像の出力サイズが相対的に大きい場合には、モニタ32への画像の出力サイズが相対的に小さい場合と比較して、閾値T1を高く設定する。なお、本実施形態では、一例として、T1=0.6と設定されている。
図14に示すように、ステップS200において、MPU20は、その時点でカメラ10に設定されているモニタ32への画像の出力サイズに基づいて閾値T1を設定する。この閾値T1は、MPU20の絞り制御部42が絞り14の開口面積を変化させてスルー画の被写界深度の大きさを変化させることにより、スルー画に含まれる被写体のうち、スルー画の被写界深度の範囲内に収める画像部分の比率を設定する際の基準値となっている。なお、モニタ32への画像の出力サイズが相対的に大きい場合には、モニタ32への画像の出力サイズが相対的に小さい場合と比較して、スルー画に含まれる被写体のうち、スルー画の被写界深度の範囲内に収まらずにぼけを生じた画像部分がモニタ32において目立ちやすい。そのため、MPU20は、モニタ32への画像の出力サイズが相対的に大きい場合には、モニタ32への画像の出力サイズが相対的に小さい場合と比較して、閾値T1を高く設定する。なお、本実施形態では、一例として、T1=0.6と設定されている。
そして次に、ステップS201において、MPU20は、スルー画におけるAF評価枠R内の画像部分の中から人が注目することが想定される領域として被写体マスクを抽出する。この場合、MPU20は、例えば、スルー画に対してラベリング処理を行うことにより、スルー画から被写体マスクを抽出する。ここで、ラベリング技術とは、スルー画から特徴量ごとに画素データを検出し、検出された画素データが互いに近接した画素領域のうち画像内での位置が隣接する画素領域を順次検出してグループ化することにより、スルー画から被写体マスクを抽出する技術である。そして、本実施形態では、ラベリング処理に用いる特徴量としては、動きベクトル、色相、彩度、明度、テクスチャ(模様)、コントラスト等が含まれる。また、MPU20は、スルー画に対してパターン認識処理を行うことにより、スルー画から被写体マスクを抽出してもよい。なお、図17(a)に示す例では、スルー画のうちAF評価枠R内の画像部分から被写体マスクとして植物Aの花A1が抽出されている。
なお、スルー画のうちAF評価枠R内の画像部分から被写体マスクの候補が複数抽出された場合には、これらの被写体マスクの候補の中から被写体マスクがマニュアルで選択されてもよい。この場合、被写体マスクの選択は、例えば、操作部62を構成するセレクトボタンの押圧操作によって行われる。また、被写体マスクの選択は、モニタ32がタッチパネルである場合には、モニタ32のタッチ操作によって行われてもよい。
続いて、ステップS202において、MPU20は、スルー画のうち被写体マスクの画像部分を複数の区画領域TRに格子状に区画する。なお、図17(a)に示す例では、スルー画のうち植物Aの花A1の画像部分が16個の区画領域TRに格子状に区画されている。
そして次に、ステップS203において、MPU20は、先のステップS110又はステップS112と同様にして、スルー画のうちAF評価枠R内の画像部分から検出されたエッジにおける軸上色収差の評価値に基づいて、被写体マスクのデフォーカス量を区画領域TRごとに算出する。なお、図17(a)に示す例では、16個の区画領域TRのうち、合焦標識が重畳して表示されたエッジを含む10個の区画領域TRについて、植物Aの花A1のデフォーカス量が算出されている。
続いて、ステップS204において、MPU20は、まず、被写体マスクを含む複数の区画領域TRのうち、被写体マスクのデフォーカス量がその時点におけるスルー画の被写界深度の範囲内にあるエッジを含む区画領域TRの数の比率Nを算出する。すなわち、MPU20は、被写体マスクが、その時点でのスルー画の被写界深度の範囲内にどの程度の比率で収まっているかを算出している。なお、図17(a)に示す例では、その時点でのスルー画の被写界深度の範囲内にあるエッジを含む区画領域TRの数が8つであるため、比率Nとして1/2が算出される。
そして次に、ステップS205において、MPU20は、先のステップS204において算出した比率Nが先のステップS200において設定した閾値T1以上であるか否かを判定する。そして、MPU20は、比率Nが閾値T1未満である(ステップS205=NO)と判定した場合には、その処理をステップS206に移行する。
そして、ステップS206において、MPU20の絞り制御部42は、絞り駆動回路23を駆動制御することにより、絞り値を一段階上げて絞りの開口面積を縮小させる。その結果、絞り14の開口面積の縮小に伴って、スルー画の被写界深度の大きさが拡大する。そして、MPU20は、その処理をステップS203に戻し、比率Nが閾値T以上となるまでステップS203〜ステップS206を繰り返す。すなわち、MPU20の絞り制御部42は、被写体マスクのうち被写界深度の範囲内に収まる画像部分の比率が一定の比率に達するまで、スルー画の被写界深度の大きさを段階的に上げていく。この点で、本実施形態では、MPU20の絞り制御部42は、被写体のうちスルー画の被写界深度の範囲内に収まる画像部分の比率が一定の比率となるように、スルー画の被写界深度の大きさを制御する被写界深度制御部として機能する。
図17(b)に示す例では、図17(a)に示す状態からスルー画の被写界深度の大きさが拡大されたことにより、その時点でのスルー画の被写界深度の範囲内にあるエッジを含む区画領域TRの数が10つとなっている。そのため、図17(b)に示す例では比率N(=5/8)が閾値T1(=0.6)以上となる。したがって、MPU20の絞り制御部42は、図17(a)に示す例では、図17(b)に示す状態となるまでスルー画の被写界深度の大きさを段階的に上げていく。
なお、MPU20の絞り制御部42は、合焦標識が重畳して表示されたエッジを含む区画領域TRのうち、被写体マスクのデフォーカス量がその時点におけるスルー画の被写界深度の範囲内にあるエッジを含む区画領域TRの数の比率を、上記の比率Nに代えて算出してもよい。この場合、MPU20の絞り制御部42は、上記の比率Nに代えて算出した比率が所定の閾値以上となるまでスルー画の被写界深度の大きさを段階的に上げてもよい。また、MPU20の絞り制御部42は、合焦標識が重畳して表示された全てのエッジについて、該エッジにおける被写体マスクのデフォーカス量がその時点におけるスルー画の被写界深度の範囲内に収まるまでスルー画の被写界深度の大きさを段階的に上げてもよい。
そして、MPU20は、比率Nが閾値T以上である(ステップS205=YES)と判定した場合には、図14に示す被写界深度の制御処理ルーチンを終了し、その処理を図12に示す合焦状態表示処理ルーチンに戻す。
そして次に、図12に示すように、ステップS30において、MPU20の特徴量算出部53は、エッジにおける被写体のデフォーカス特徴量の更新処理ルーチンを実行する。
ここで、被写体のデフォーカス特徴量の更新処理ルーチンの詳細を図15に示すフローチャートを用いて説明する。
ここで、被写体のデフォーカス特徴量の更新処理ルーチンの詳細を図15に示すフローチャートを用いて説明する。
図15に示すように、ステップS300において、MPU20の特徴量算出部53は、先のステップS16において軸上色収差の評価対象として検出されたエッジを追尾対象として設定する。
そして次に、ステップS301において、MPU20の特徴量算出部53は、先のステップS300において追尾対象として設定したエッジがスルー画内において移動したか否かを判定する。具体的には、MPU20の特徴量算出部53は、まず、撮影周期ごとに撮像素子16に繰り返し撮影されるスルー画のフレーム画像の中から先のステップS300において追尾対象として設定したエッジの位置を随時検出する。そして、MPU20の特徴量算出部53は、前後のフレーム画像におけるエッジの位置の変化量が所定量以上であるか否かに基づいて、追尾対象として設定したエッジがスルー画内において移動したか否かを判定する。そして、MPU20の特徴量算出部53は、追尾対象として設定したエッジがスルー画内において移動した(ステップS301=YES)と判定した場合、その処理をステップS302に移行する。
そして、ステップS302において、MPU20の特徴量算出部53は、追尾対象として設定されたエッジの移動に追随させてスルー画内でのAF評価枠Rを移動させる。
なお、図17(c)には、図17(b)に示す状態からカメラ10の撮影位置が下方にずらされた状態が一例として示されている。この図17(c)に示す例では、先のステップS16において検出されたエッジ、即ち、合焦標識(深度内標識M1、前ピン標識M2、後ピン標識M3及びエラー標識M4)が重畳して表示されているエッジが図17(b)に示す状態からスルー画内において上方に移動している。そのため、図17(c)に示す例では、スルー画内におけるエッジの上方への移動に追随してスルー画内でのAF評価枠Rが上方に移動している。
なお、図17(c)には、図17(b)に示す状態からカメラ10の撮影位置が下方にずらされた状態が一例として示されている。この図17(c)に示す例では、先のステップS16において検出されたエッジ、即ち、合焦標識(深度内標識M1、前ピン標識M2、後ピン標識M3及びエラー標識M4)が重畳して表示されているエッジが図17(b)に示す状態からスルー画内において上方に移動している。そのため、図17(c)に示す例では、スルー画内におけるエッジの上方への移動に追随してスルー画内でのAF評価枠Rが上方に移動している。
続いて、ステップS303において、MPU20の特徴量算出部53は、先のステップS300において追尾対象として設定されたエッジ、即ち、先のステップS110又はステップS112において軸上色収差の評価対象として設定されたエッジについて、該エッジにおける軸上色収差の評価値を算出する。
そして次に、ステップS304において、MPU20の特徴量算出部53は、先のステップS302においてAF評価枠Rが移動する前後でのスルー画の画角の変化量が閾値未満であるか否かを判定する。この閾値は、AF評価枠Rが移動する前後のフレーム画像を用いて被写体のデフォーカス特徴量を算出することが適切であるか否かを判定する際の基準値となっている。そして、MPU20の特徴量算出部53は、AF評価枠Rが移動する前後でのスルー画の画角の変化量が閾値未満である(ステップS304=YES)と判定した場合には、その処理をステップS305に移行する。
そして次に、ステップS305において、MPU20の特徴量算出部53は、AF評価枠Rが移動する前後のフレーム画像を含む複数のフレーム画像について、先のステップS300において追尾対象として設定されたエッジにおける軸上色収差の評価値をフレーム画像ごとに算出する。そして、MPU20の特徴量算出部53は、フレーム画像ごとに算出された評価値の平均値に基づいて、エッジにおける被写体のデフォーカス特徴量を算出する。さらに、MPU20の特徴量算出部53は、算出したデフォーカス特徴量を現時点のスルー画における被写体のデフォーカス特徴量として更新した上で、その処理をステップS307に移行する。
一方、MPU20の特徴量算出部53は、AF評価枠Rが移動する前後でのスルー画の画角の変化量が閾値未満ではない(ステップS304=NO)と判定した場合には、その処理をステップS306に移行する。
そして、ステップS306において、MPU20の特徴量算出部53は、AF評価枠Rが移動した後の複数のフレーム画像について、先のステップS16において検出されたエッジにおける軸上色収差の評価値をフレーム画像ごとに算出する。すなわち、MPU20の特徴量算出部53は、AF評価枠Rが移動する前のフレーム画像について、先のステップS16において検出されたエッジにおける軸上色収差の評価値を算出することはない。そして、MPU20の特徴量算出部53は、フレーム画像ごとに算出された評価値の平均値に基づいて、エッジにおける被写体のデフォーカス特徴量を算出する。さらに、MPU20の特徴量算出部53は、算出したデフォーカス特徴量を現時点のスルー画における被写体のデフォーカス特徴量として更新した上で、その処理をステップS307に移行する。
なお、MPU20の特徴量算出部53は、先のステップS301において、追尾対象として設定したエッジがスルー画内において移動していない(ステップS301=NO)と判定した場合には、ステップS302〜ステップS306の処理を経ることなく、その処理をステップS307に移行する。
続いて、ステップS307において、MPU20の特徴量算出部53は、スルー画のピント位置が変更されたか否かを判定する。具体的には、MPU20のズーム制御部43がズーム駆動回路25を駆動制御してズームレンズ13を光軸方向に駆動させたり、MPU20のレンズ制御部54がフォーカス駆動回路21を駆動制御してフォーカスレンズ15を光軸方向に駆動させたりしたか否かが判定される。
そして、MPU20の特徴量算出部53は、スルー画のピント位置が変更された(ステップS307=YES)と判定した場合には、その処理をステップS308に移行する。
そして次に、ステップS308において、MPU20の特徴量算出部53は、先のステップS300において追尾対象として設定されたエッジ、即ち、先のステップS110又はステップS112において軸上色収差の評価対象として設定されたエッジについて、該エッジにおける軸上色収差の評価値を算出する。
そして次に、ステップS308において、MPU20の特徴量算出部53は、先のステップS300において追尾対象として設定されたエッジ、即ち、先のステップS110又はステップS112において軸上色収差の評価対象として設定されたエッジについて、該エッジにおける軸上色収差の評価値を算出する。
続いて、ステップS309において、MPU20の特徴量算出部53は、先のステップS307においてスルー画のピント位置が変更される前後でのスルー画の画角の変化量が閾値未満であるか否かを判定する。この閾値は、スルー画のピント位置が変更される前後のフレーム画像を用いて被写体のデフォーカス特徴量を算出することが適切であるか否かを判定する際の基準値となっている。そして、MPU20の特徴量算出部53は、スルー画のピント位置が変更される前後でのスルー画の画角の変化量が閾値未満である(ステップS309=YES)と判定した場合には、その処理をステップS310に移行する。
そして次に、ステップS310において、MPU20の特徴量算出部53は、スルー画のピント位置が変更される前後のフレーム画像を含む複数のフレーム画像について、先のステップS300において追尾対象として設定されたエッジにおける軸上色収差の評価値をフレーム画像ごとに算出する。そして、MPU20の特徴量算出部53は、フレーム画像ごとに算出された評価値の平均値に基づいて、エッジにおける被写体のデフォーカス特徴量を算出する。さらに、MPU20の特徴量算出部53は、算出したデフォーカス特徴量を現時点のスルー画における被写体のデフォーカス特徴量として更新する。その後、MPU20の特徴量算出部53は、図15に示すエッジにおける被写体のデフォーカス特徴量の更新処理を終了し、その処理を図12に示す合焦状態表示処理ルーチンに戻す。
なお、図17(d)には、図17(c)に示す状態からズームレンズ13が望遠側に駆動されることによりスルー画の画角が狭くなった状態が一例として示されている。この図17(d)に示す例では、ズームレンズ13が光軸方向に駆動されることに伴って、スルー画のピント位置が図17(c)に示す状態から変更されている。そして、図17(d)には、図17(c)に示す状態からのスルー画のピント位置の変更を反映するように、合焦標識の表示態様が変更されている。具体的には、図17(a)においては、スルー画に含まれる植物Aの花A1の全体がスルー画の被写界深度の範囲内に含まれているのに対し、図17(d)においては、スルー画に含まれる植物Aの花A1の上端側部分がスルー画の被写界深度の範囲から外れている。この点、図17(d)には、スルー画に含まれる植物Aの花A1の上端側部分のエッジに対し、スルー画の被写界深度の範囲から外れている旨を示す後ピン標識M3が重畳して表示されている。
一方、MPU20の特徴量算出部53は、スルー画のピント位置が変更される前後でのスルー画の画角の変化量が閾値未満ではない(ステップS309=NO)と判定した場合には、その処理をステップS311に移行する。
そして、ステップS311において、MPU20の特徴量算出部53は、スルー画のピント位置が変更された後の複数のフレーム画像について、先のステップS16において検出されたエッジにおける軸上色収差の評価値をフレーム画像ごとに算出する。すなわち、MPU20の特徴量算出部53は、スルー画のピント位置が変更される前のフレーム画像について、先のステップS16において検出されたエッジにおける軸上色収差の評価値を算出することはない。そして、MPU20の特徴量算出部53は、フレーム画像ごとに算出された評価値の平均値に基づいて、エッジにおける被写体のデフォーカス特徴量を算出する。さらに、MPU20の特徴量算出部53は、算出したデフォーカス特徴量を現時点のスルー画における被写体のデフォーカス特徴量として更新する。その後、MPU20の特徴量算出部53は、図15に示すエッジにおける被写体のデフォーカス特徴量の更新処理を終了し、その処理を図12に示す合焦状態表示処理ルーチンに戻す。
なお、MPU20の特徴量算出部53は、先のステップS307において、スルー画のピント位置が変更されていない(ステップS307=NO)と判定した場合には、ステップS308〜ステップS311の処理を経ることなく、図15に示すエッジにおける被写体のデフォーカス特徴量の更新処理を終了し、その処理を図12に示す合焦状態表示処理ルーチンに戻す。
そして次に、図12に示すように、ステップS31において、MPU20は、レリーズボタン61の全押し操作がなされたか否かを判定する。なお、モニタ32がタッチパネルである場合には、モニタ32が画像の撮影のためにタッチ操作がなされたか否かを判定してもよい。そして、MPU20は、レリーズボタン61の全押し操作がなされていない(ステップS31=NO)と判定した場合、その処理をステップS18に戻し、レリーズボタン61の全押し操作がなされるまでステップS18〜ステップS31の処理を繰り返す。一方、MPU20は、レリーズボタン61の全押し操作がなされた(ステップS31=YES)と判定した場合、その処理をステップS32に移行する。
そして、ステップS32において、MPU20の画像処理部41は、その時点で撮像素子16から出力された画素信号に基づいて生成している静止画を撮影画像として不揮発性メモリ29に格納する。
次に、上記のように構成されたカメラ10の作用について、特に、MPU20が画像の一例としてスルー画に含まれる被写体の合焦状態を表示する際の作用に着目して以下説明する。
さて、スルー画におけるAF評価枠R内の画像部分を対象としてコントラストAFが実行された場合、AF評価枠R内における何れの画像部分に合焦されているのかを判断することは困難となる。これは、コントラストAFでは、AF評価枠R内の画像の内容とは無関係に、AF評価枠R内の画像のコントラストが最大となるように合焦動作が行われるためである。また、デジタルカメラ10のモニタ32の大きさは比較的小さいため、モニタ32に表示されている画像の内容を視認することにより、AF評価枠R内における何れの画像部分に合焦されているのかを判断することは特に困難となる。
この点、本実施形態では、スルー画におけるAF評価枠R内の画像部分からエッジが検出され、検出されたエッジにおける軸上色収差の評価値を用いて被写体のデフォーカス特徴量が算出されている。そして、算出された被写体のデフォーカス特徴量に基づいてスルー画の被写界深度の範囲内に位置する画像部分が判定され、その判定された画像部分に深度内標識M1が重畳して表示される。そのため、スルー画におけるAF評価枠R内の画像部分のうち、深度内標識M1が重畳して表示されている画像部分が合焦の対象とされている旨が、撮影画像を撮影する前段階で撮像者によって容易に識別される。
また、本実施形態では、算出された被写体のデフォーカス特徴量に基づいて、スルー画の被写界深度の範囲が前ピン側及び後ピン側となる画像部分が判定され、その判定された画像部分に前ピン標識M2及び後ピン標識M3がそれぞれ重畳して表示される。そのため、スルー画におけるAF評価枠R内の画像部分のうち、スルー画の被写界深度が近点側又は遠点側に位置する画像部分について、撮影画像を撮影する前段階で撮像者によって容易に識別される。
また、スルー画におけるAF評価枠R内の画像部分のうち、合焦の対象として想定している画像部分に対してスルー画の被写界深度が前ピン状態及び後ピン状態のうち何れの状態であるかが撮像者によって容易に識別される。そのため、この識別結果に基づいて撮像者がフォーカスレンズ15を所望の方向に駆動させることにより、スルー画をAF評価枠R内の画像部分のうち想定していた画像部分において適切に合焦させることが可能となる。
また、本実施形態では、被写体のデフォーカス特徴量を算出するために、フォーカスレンズ15を光軸方向に駆動させる必要がない。そのため、被写体のデフォーカス特徴量が迅速に算出されるため、被写体のデフォーカス特徴量の変化が正確に算出される。そして、被写体のデフォーカス特徴量の変化に合わせて合焦標識の表示態様が変化する。そのため、合焦標識の表示態様の変化に基づいて、スルー画におけるAF評価枠R内の画像部分の合焦状態の変化が撮像者によってリアルタイムに把握される。
特に、撮影距離が一定とはならない移動体が被写体としてスルー画におけるAF評価枠R内に含まれる場合であっても、被写体の動きに追随させて被写体のデフォーカス特徴量の変化が迅速に算出される。そして、被写体の移動に伴った被写体のデフォーカス特徴量の変化に合わせて合焦標識の表示態様が変化する。そのため、合焦標識の表示態様の変化が視認されることにより、スルー画におけるAF評価枠R内の画像部分の合焦状態の変化が撮像者によってリアルタイムに把握される。
また、本実施形態では、ズームレンズ13が光軸方向に駆動されることによりスルー画のピント位置が変更される度に、被写体のデフォーカス特徴量が更新される。そして、被写体のデフォーカス特徴量の更新に応じて合焦標識の表示態様が変化する。そのため、合焦標識の表示態様の変化が視認されることにより、スルー画におけるAF評価枠R内の画像部分の合焦状態の変化が撮像者によってリアルタイムに把握される。そのため、ズームレンズ13によってスルー画の画角を変更した後に、合焦標識の表示態様を視認した上でフォーカスレンズ15を所望の方向に駆動させることにより、スルー画をAF評価枠R内の画像部分のうち想定していた画像部分において正確に合焦させることが可能となる。
また、本実施形態では、絞り14の開口面積が変更されることによりスルー画の被写界深度の大きさが変更される度に、被写体のデフォーカス特徴量が更新される。そして、被写体のデフォーカス特徴量の更新に応じて合焦標識の表示態様が変化する。そのため、合焦標識の表示態様の変化が視認されることにより、スルー画におけるAF評価枠R内の画像部分の合焦状態の変化が撮像者によってリアルタイムに把握される。
また、本実施形態では、画像の一例であるスルー画に対して画像解析を行うことにより、軸上色収差の評価の対象となるエッジが検出される。そのため、スルー画におけるAF評価枠R内の何れの画像部分にエッジが位置していたとしても、そのエッジを軸上色収差の評価の対象として検出することが可能である。また、スルー画におけるAF評価枠R内の画像部分のうち、特定部分とその周辺部分における被写体のデフォーカス特徴量を同時に算出することが可能となる。そのため、スルー画におけるAF評価枠R内の画像部分のうち、互いに隣接する画像部分の合焦状態が撮像者によって同時に把握される。
上記実施形態によれば、以下に示す効果を得ることができる。
(1)被写体の画像部分に対して合焦標識を重畳して表示させることにより、スルー画における被写体の合焦状態を被写体の画像部分ごとに詳細に表示させることができる。
(1)被写体の画像部分に対して合焦標識を重畳して表示させることにより、スルー画における被写体の合焦状態を被写体の画像部分ごとに詳細に表示させることができる。
(2)スルー画に対して画像解析をすることにより、スルー画における被写体の合焦状態が検出される。そのため、被写体の合焦状態を検出するための専用のセンサを設ける必要がない。したがって、被写体の合焦状態を簡易な構成で検出することができる。また、スルー画における被写体の任意の画像部分の合焦状態を検出することができる。
(3)スルー画において隣接した画像部分の合焦状態を同時に検出することができるため、スルー画において隣接した画像部分同士の合焦状態を同時点で表示させることができる。
(4)被写体の画像部分に対して深度内標識M1を重畳して表示させることにより、被写体のうちスルー画の被写界深度の範囲内に位置する画像部分を詳細に表示させることができる。
(5)被写体の画像部分に対して前ピン標識M2又は後ピン標識M3を重畳して表示させることにより、被写体のうちスルー画の被写界深度の範囲が近点側又は遠点側に位置する画像部分を詳細に表示させることができる。
(6)被写体の画像部分に対してデフォーカス量標識M5を重畳して表示させることにより、スルー画における被写体のデフォーカス量を被写体の画像部分ごとに詳細に表示させることができる。
(7)スルー画における被写体のエッジが検出され、検出されたエッジの色成分量に基づいて被写体のエッジにおける合焦状態が検出される。そして、検出された合焦状態に基づいて、スルー画の被写体に合焦標識が重畳して表示される。したがって、スルー画における被写体の合焦状態を被写体のエッジごとに詳細に表示させることができる。また、被写体の合焦状態を検出する際に焦点調節を行うためのフォーカスレンズ15を駆動させることがないため、スルー画がウォブリングによってぶれてしまうことを抑制できる。
(8)被写体のエッジに沿うように合焦標識を重畳して表示させることにより、スルー画における被写体の合焦状態を被写体のエッジごとに詳細に表示させることができる。
(9)被写体のエッジを含む分割領域DRにおける合焦標識の表示態様を制御することにより、スルー画における被写体の合焦状態を被写体のエッジごとに詳細に表示させることができる。
(9)被写体のエッジを含む分割領域DRにおける合焦標識の表示態様を制御することにより、スルー画における被写体の合焦状態を被写体のエッジごとに詳細に表示させることができる。
(10)分割領域DRに被写体のエッジが複数含まれる場合であっても、これらのエッジのうち優先度の高いエッジにおける被写体のデフォーカス特徴量に応じて分割領域DRにおける合焦標識の表示態様を制御することにより、エッジにおける被写体の合焦状態を詳細に表示させることができる。
(11)被写体のエッジの色構造に応じて被写体の合焦状態の検出に用いられるエッジの色成分の種類が変更されるため、エッジにおける被写体の合焦状態を好適に検出することができる。
(12)スルー画の合焦状態の表示が不要である場合には、合焦標識をモニタ32に表示させないことにより、スルー画における被写体の表示が合焦標識によって遮られることを抑制できる。
(13)合焦対象となる領域よりも広い範囲に亘って合焦標識が重畳して表示されるため、スルー画における被写体の合焦状態をより広い範囲に亘って表示させることができる。
(14)スルー画の被写界深度の大きさの変化に応じて被写体に重畳して表示される合焦標識の表示態様が更新される。そのため、スルー画の被写界深度の大きさが変化したとしても、その変化の前後における被写体の合焦状態の変化を表示させることができる。
(15)スルー画の被写界深度の大きさがフォーカスレンズ15の光軸方向への移動に伴って変化したとしても、その変化の前後における被写体の合焦状態の変化を表示させることができる。
(16)スルー画の被写界深度の大きさが絞り14の開口面積の変化に伴って変化したとしても、その変化の前後における被写体の合焦状態の変化を表示させることができる。
(17)スルー画の被写界深度の大きさがズームレンズ13の光軸方向への移動に伴って変化したとしても、その変化の前後における被写体の合焦状態の変化を表示させることができる。
(17)スルー画の被写界深度の大きさがズームレンズ13の光軸方向への移動に伴って変化したとしても、その変化の前後における被写体の合焦状態の変化を表示させることができる。
(18)スルー画の被写界深度の大きさを変更することにより、スルー画の被写体のうち被写界深度の範囲内に収める画像部分の比率を制御することができる。
(19)スルー画のモニタ32への出力サイズに応じてスルー画の被写体のうち被写界深度の範囲内に収める画像部分の比率を変更することにより、スルー画における被写体のボケ度合いをスルー画のモニタ32への出力サイズに適した値となるように制御することができる。
(19)スルー画のモニタ32への出力サイズに応じてスルー画の被写体のうち被写界深度の範囲内に収める画像部分の比率を変更することにより、スルー画における被写体のボケ度合いをスルー画のモニタ32への出力サイズに適した値となるように制御することができる。
(20)絞り14の開口面積を変化させることにより、スルー画の構図を変化させることなくスルー画の被写界深度の大きさを変更することができる。
(21)複数のフレーム画像における被写体のデフォーカス特徴量の平均値を、スルー画における被写体のデフォーカス特徴量として算出する。そのため、スルー画における被写体のデフォーカス特徴量を算出する際の誤差が低減されるため、スルー画における被写体の合焦状態を撮像者に正確に把握させることができる。
(21)複数のフレーム画像における被写体のデフォーカス特徴量の平均値を、スルー画における被写体のデフォーカス特徴量として算出する。そのため、スルー画における被写体のデフォーカス特徴量を算出する際の誤差が低減されるため、スルー画における被写体の合焦状態を撮像者に正確に把握させることができる。
(22)画角が変更される前後においてフレーム画像の画角が大きく変化しない場合には、画角が変更される前後のフレーム画像を含む複数のフレーム画像における被写体のデフォーカス特徴量の平均値が被写体のデフォーカス特徴量として算出される。そのため、画角が変更された場合であっても、被写体のデフォーカス特徴量の平均値を被写体の合焦状態として継続して検出することができる。
上記実施形態は、以下のような別の実施形態に変更してもよい。
・上記実施形態において、MPU20の特徴量算出部53は、画角が変更される前後でのフレーム画像における被写体の類似度が所定の閾値以上であることを条件として、画角が変更される前後のフレーム画像における被写体のデフォーカス特徴量の平均値を被写体のデフォーカス特徴量として算出してもよい。この場合、被写体の類似度は、例えば、画角が変更される前後でのフレーム画像における被写体の画像部分の色相、彩度、明度、テクスチャ(模様)、コントラスト等の各項目の評価値に基づき算出される。
・上記実施形態において、MPU20の特徴量算出部53は、画角が変更される前後でのフレーム画像における被写体の類似度が所定の閾値以上であることを条件として、画角が変更される前後のフレーム画像における被写体のデフォーカス特徴量の平均値を被写体のデフォーカス特徴量として算出してもよい。この場合、被写体の類似度は、例えば、画角が変更される前後でのフレーム画像における被写体の画像部分の色相、彩度、明度、テクスチャ(模様)、コントラスト等の各項目の評価値に基づき算出される。
・上記実施形態において、MPU20の表示制御部44は、合焦標識が重畳して表示されないスルー画の元画像と、スルー画に対して合焦標識が重畳して表示された合焦状態表示画像とをモニタ32に並列して表示させてもよい。この場合、MPU20の表示制御部44は、透明度を上げたスルー画の元画像に対して合焦標識が重畳して表示された画像を合焦状態表示画像としてスルー画の元画像に並列してモニタ32に表示させてもよい。
・上記実施形態において、MPU20の表示制御部44は、操作部62の操作を通じて合焦標識の表示態様が変更された場合に、合焦対象となる領域よりも広い範囲に亘って合焦標識をスルー画に重畳してモニタ32に表示させてもよい。
・上記実施形態において、MPU20の表示制御部44は、合焦標識として、被写体のエッジを含む分割領域DRの全体に対して色表示を行ってもよい。また、MPU20の表示制御部44は、被写体のエッジを含む分割領域DRの枠に沿う形状の合焦標識を表示させてもよい。この場合、MPU20の表示制御部44は、深度内標識M1、前ピン標識M2、後ピン標識M3及びエラー標識M4に個別に対応させるようにして分割領域DRに表示する色の種類を変更する。
この構成によれば、被写体のエッジを含む分割領域DRの色表示を制御することにより、エッジにおける被写体の合焦状態を詳細に表示させることができる。
・上記実施形態において、MPU20の特徴量算出部53は、一つの分割領域DRに複数のエッジが含まれる場合、これらのエッジにおける軸上色収差の評価値の平均値を算出し、算出された平均値をその分割領域DRにおける被写体のデフォーカス特徴量として算出してもよい。また、MPU20の特徴量算出部53は、一つの分割領域DRに複数のエッジが含まれる場合には、その分割領域DRにおける被写体のデフォーカス特徴量が算出不能であると判定してもよい。
・上記実施形態において、MPU20の特徴量算出部53は、一つの分割領域DRに複数のエッジが含まれる場合、これらのエッジにおける軸上色収差の評価値の平均値を算出し、算出された平均値をその分割領域DRにおける被写体のデフォーカス特徴量として算出してもよい。また、MPU20の特徴量算出部53は、一つの分割領域DRに複数のエッジが含まれる場合には、その分割領域DRにおける被写体のデフォーカス特徴量が算出不能であると判定してもよい。
・上記実施形態において、MPU20の表示制御部44は、絞り14の大きさを視覚的に示すバーを、合焦標識が表示されているスルー画に対して表示させてもよい。この場合、バーの表示が視認されることにより、その時点でのスルー画の被写界深度の大きさが撮像者によって直観的に把握される。
・上記実施形態において、MPU20のエッジ検出部51がスルー画におけるAF評価枠R内の画像部分を微分フィルタによってスキャンしない構成であってもよい。この場合、MPU20の特徴量算出部53は、ラベリング処理又はパターン認識処理によって抽出された被写体の輪郭部分における軸上色収差の評価値に基づいて、被写体のデフォーカス特徴量を算出する。
・上記実施形態において、MPU20は、動画の撮影時において、図12に示す合焦状態表示処理ルーチンと同様の処理を実行することにより、動画における被写体の合焦状態を表示させてもよい。この場合、特に、動画における被写体の合焦状態を検出する際にフォーカスレンズ15を駆動させることがないため、動画の画像内容がウォブリングによってぶれてしまうことを抑制できる。
・上記実施形態において、例えば、パーソナルコンピュータや携帯電話機などのカメラ10以外の電子機器に画像処理エンジン18が搭載される構成としてもよい。この場合、画像処理エンジン18が搭載される電子機器は、必ずしも、画像の撮影機能を搭載した電子機器である必要はなく、例えば、画像の撮影機能を搭載した電子機器から入力される画像を壁面やスクリーンに投影させて表示するプロジェクターなどに画像処理エンジン18が搭載される構成としてもよい。
10…電子カメラの一例としてのデジタルカメラ、13…ズームレンズ、14…絞り、15…フォーカスレンズ、16…撮像素子、18…画像処理装置の一例としての画像処理エンジン、32…表示部の一例としてのモニタ、42…被写界深度制御部の一例としての絞り制御部、44…表示制御部、50…領域設定部、51…エッジ検出部、52…優先度設定部、53…合焦検出部の一例としての特徴量算出部、DR…分割領域、M1…合焦標識の一例としての深度内標識、M2…合焦標識及び方向標識の一例としての前ピン標識、M3…合焦標識及び方向標識の一例としての後ピン標識、M4…合焦標識の一例としてのエラー標識、M5…合焦標識の一例としてのデフォーカス量標識。
Claims (1)
- 外部から取得した画像の解析結果に基づいて、前記画像に含まれる被写体における画像部分ごとの合焦状態を検出する合焦検出部と、
前記合焦検出部によって検出された前記被写体の画像部分の合焦状態を示す合焦標識を、表示部に表示された前記画像の前記被写体の画像部分に対して重畳して表示させる表示制御部と
を備えたことを特徴とする画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018109728A JP2018163365A (ja) | 2018-06-07 | 2018-06-07 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018109728A JP2018163365A (ja) | 2018-06-07 | 2018-06-07 | 画像処理装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013250366A Division JP6349703B2 (ja) | 2013-12-03 | 2013-12-03 | 電子カメラ及び画像処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018163365A true JP2018163365A (ja) | 2018-10-18 |
Family
ID=63860446
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018109728A Pending JP2018163365A (ja) | 2018-06-07 | 2018-06-07 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018163365A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2022004302A1 (ja) * | 2020-06-30 | 2022-01-06 | ||
JP2023010751A (ja) * | 2018-11-14 | 2023-01-20 | キヤノン株式会社 | 画像処理装置およびその制御方法ならびにプログラム |
CN116055866A (zh) * | 2022-05-30 | 2023-05-02 | 荣耀终端有限公司 | 一种拍摄方法及相关电子设备 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004096641A (ja) * | 2002-09-03 | 2004-03-25 | Canon Inc | 撮像装置及びその制御方法 |
JP2007311962A (ja) * | 2006-05-17 | 2007-11-29 | Nikon Corp | 電子カメラおよび画像表示プログラム |
JP2008278538A (ja) * | 2008-08-01 | 2008-11-13 | Nikon Corp | 電子カメラ |
JP2010114556A (ja) * | 2008-11-05 | 2010-05-20 | Sony Corp | 撮像装置、画像処理装置および画像処理方法 |
JP2010130540A (ja) * | 2008-11-28 | 2010-06-10 | Canon Inc | 映像表示装置 |
JP2011186452A (ja) * | 2010-02-15 | 2011-09-22 | Nikon Corp | 焦点調節装置、及び焦点調節プログラム |
WO2013047482A1 (ja) * | 2011-09-30 | 2013-04-04 | 富士フイルム株式会社 | 撮影装置、撮影方法、記録媒体およびプログラム |
JP2013109107A (ja) * | 2011-11-18 | 2013-06-06 | Samsung Electronics Co Ltd | 撮像装置、及び撮像装置における制御方法 |
JP2013213875A (ja) * | 2012-03-30 | 2013-10-17 | Nikon Corp | 焦点調節装置、撮像装置、及び焦点調節プログラム |
-
2018
- 2018-06-07 JP JP2018109728A patent/JP2018163365A/ja active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004096641A (ja) * | 2002-09-03 | 2004-03-25 | Canon Inc | 撮像装置及びその制御方法 |
JP2007311962A (ja) * | 2006-05-17 | 2007-11-29 | Nikon Corp | 電子カメラおよび画像表示プログラム |
JP2008278538A (ja) * | 2008-08-01 | 2008-11-13 | Nikon Corp | 電子カメラ |
JP2010114556A (ja) * | 2008-11-05 | 2010-05-20 | Sony Corp | 撮像装置、画像処理装置および画像処理方法 |
JP2010130540A (ja) * | 2008-11-28 | 2010-06-10 | Canon Inc | 映像表示装置 |
JP2011186452A (ja) * | 2010-02-15 | 2011-09-22 | Nikon Corp | 焦点調節装置、及び焦点調節プログラム |
WO2013047482A1 (ja) * | 2011-09-30 | 2013-04-04 | 富士フイルム株式会社 | 撮影装置、撮影方法、記録媒体およびプログラム |
JP2013109107A (ja) * | 2011-11-18 | 2013-06-06 | Samsung Electronics Co Ltd | 撮像装置、及び撮像装置における制御方法 |
JP2013213875A (ja) * | 2012-03-30 | 2013-10-17 | Nikon Corp | 焦点調節装置、撮像装置、及び焦点調節プログラム |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023010751A (ja) * | 2018-11-14 | 2023-01-20 | キヤノン株式会社 | 画像処理装置およびその制御方法ならびにプログラム |
JP7422843B2 (ja) | 2018-11-14 | 2024-01-26 | キヤノン株式会社 | 画像処理装置およびその制御方法ならびにプログラム |
JPWO2022004302A1 (ja) * | 2020-06-30 | 2022-01-06 | ||
JP7550223B2 (ja) | 2020-06-30 | 2024-09-12 | 富士フイルム株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
CN116055866A (zh) * | 2022-05-30 | 2023-05-02 | 荣耀终端有限公司 | 一种拍摄方法及相关电子设备 |
CN116055866B (zh) * | 2022-05-30 | 2023-09-12 | 荣耀终端有限公司 | 一种拍摄方法及相关电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4290100B2 (ja) | 撮像装置及びその制御方法 | |
JP6173156B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
US7725019B2 (en) | Apparatus and method for deciding in-focus position of imaging lens | |
JP5374119B2 (ja) | 距離情報取得装置、撮像装置、及びプログラム | |
US7614559B2 (en) | Apparatus and method for deciding in-focus position of imaging lens | |
JP2009109714A (ja) | 画像認識装置、焦点調節装置および撮像装置 | |
JP5950664B2 (ja) | 撮像装置およびその制御方法 | |
CN104641275B (zh) | 成像控制装置、成像设备和成像控制装置执行的控制方法 | |
JP2018163365A (ja) | 画像処理装置 | |
US8358847B2 (en) | Display apparatus and display method | |
JP6349703B2 (ja) | 電子カメラ及び画像処理プログラム | |
US20230386166A1 (en) | Image processing apparatus and electronic apparatus | |
JP6312410B2 (ja) | アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム | |
JP4985155B2 (ja) | 焦点調節装置および撮像装置 | |
JP6464553B2 (ja) | レンズ駆動制御装置、電子カメラ及びレンズ駆動制御プログラム | |
JP2021125873A (ja) | 表示制御装置及びその制御方法 | |
JP2016218206A (ja) | 撮像装置およびその制御方法 | |
JP2016201600A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
US11800245B2 (en) | Image pickup apparatus capable of keeping focus on subject even when moving direction of subject changes in time series, control method for image pickup apparatus, and storage medium | |
JP5447579B2 (ja) | 追尾装置、焦点調節装置および撮影装置 | |
JP7458723B2 (ja) | 画像処理装置、撮像装置、制御方法、およびプログラム | |
JP5176845B2 (ja) | 画像追尾装置および撮像装置 | |
JP2017182668A (ja) | データ処理装置、撮像装置、及びデータ処理方法 | |
JP6685550B2 (ja) | オートフォーカス装置及びオートフォーカス用プログラム | |
JP2016218205A (ja) | 撮像装置およびその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180611 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190723 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190924 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200204 |