以下、図面を参照して本発明の好適な実施形態を説明する。
図1に、本発明の表示制御装置の一例としてのデジタルカメラ10のハードウェア構成の一例を示す。筺体100は、デジタルカメラ10の構成要素の多くを内包する外装である。各種の操作部や表示部107、外部出力部121は筺体100の表面に露出している。
交換レンズ101は、複数のレンズ群からなる撮影レンズであり、フォーカスレンズ、ズームレンズ、シフトレンズを内部に備えるほか、絞りを含む。撮像素子102は、光電変換素子を有する画素が複数、二次元状に配列された構成を有する。
撮像素子102は、交換レンズ101により結像された被写体光学像を各画素で光電変換し、さらにA/D変換回路によってアナログ・デジタル変換して、画素単位の画像信号(RAW画像データ)を出力する。本実施形態に用いる撮像素子102と、関連する測距部108の詳細は、図2とともに後述する。
NDフィルタ103はレンズに備えられた絞りとは別に入射光量を調整するためにデジタルカメラ10に設けられたものである。画像処理部118は、撮像素子102に起因するレベル差を補正する。例えば、OB領域(optical black領域)の画素を用いて、有効領域の画素のレベルを補正するほか、欠陥画素に対して周囲画素を用いた補正を行う。また、周辺光量落ちに対する補正、色補正、輪郭強調、ノイズ除去、ガンマ補正、ディベイヤー、圧縮などの各処理を行う。画像処理部118は、撮像素子102から入力されたRAW画像データに対して上記処理を行うと、その他の制御部へ補正した画像データを出力する。
記録媒体I/F部104は、記録媒体105とデジタルカメラ10とのインターフェースであり、記録媒体105に対して、画像処理部118から入力された画像データの記録や記録した画像データの読み出しを制御する。記録媒体105は、撮影された映像あるいは画像データを記録するための半導体メモリ等で構成される記録媒体であり、記録媒体I/F部104による制御に応じて画像データの記録や記録された画像データの読み出しを実行する。記録媒体105は、着脱可能なメモリーカード等である。なお、内蔵の記録媒体でもよい。
GPU115は、デジタルカメラの各種情報表示やメニュー画面をVRAMに描画するレンダリングエンジンである。文字列や図形の描画機能のほか、拡大縮小描画機能や、回転描画機能、レイヤ合成機能を備えている。VRAMは透過度を表すアルファチャネルを備えており、VRAMに描画された表示物を表示用I/F部106によって撮像画像や再生画像上にオンスクリーン表示することができる。
表示用I/F部106は、画像処理部118からの映像データ(撮影画像、再生画像)およびGPU115でVRAMに描画した表示物に対して、重畳合成およびリサイズ処理を行い、表示部107へ出力する(表示する)。拡大表示モードになっているときは、表示用I/F部106は映像データの部分領域に対して重畳合成およびリサイズ処理を行う。その結果、拡大表示モードでは、通常時よりも拡大された映像が表示部107に表示されるため、撮影者がマニュアルフォーカス(以下、MF)での焦点調整操作をより正確に行いやすくなる。
表示部107は、表示用I/F部106から出力された画像データを画角確認用に表示する筺体100の側から視認可能なファインダー外表示部などの外部モニターや、ファインダー内表示部である。表示部107は、液晶ディスプレイや有機ELディスプレイ(Organic Light−Emitting Diode Display)などで構成可能である。
本体マイコン119は、デジタルカメラ10の全体の動作を制御する制御部であり、マイクロコンピュータなどで構成される。本体マイコン119は、少なくとも1つのプロセッサーまたは/および少なくとも1つの回路を有するCPU119a、ROM119b、RAM119cを備える。CPU119aは、ROM119bに記憶されたプログラムを、RAM119cに展開して実行することにより、後述の各種フローチャートの動作を実行する。
以下に説明するゲイン制御部109、シャッター制御部110、ND制御部111および絞り制御部112は、いずれも露出制御のためのブロックである。これらは、それぞれ画像処理部118の出力した画像データの輝度レベルを本体マイコン119で算出した結果に基づいて、あるいは撮影者がマニュアル設定した動作パラメータに基づいて、本体マイコン119によって制御される。ゲイン制御部109は、撮像素子102のゲインを制御する。
シャッター制御部110は、撮像素子102のシャッタースピードを制御する。
ND制御部111は、NDフィルタ103を介して撮像素子102に入射する光量を制御する。
絞り制御部112は、交換レンズ101の絞りを制御する。
フォーカス制御部113は、本体マイコン119で保持されるフォーカス駆動状態がAF(オートフォーカス)かMF(マニュアルフォーカス)かによって異なる動作を行う。AFのときは、画像処理部118から出力された画像データを参照して本体マイコン119でフォーカスの合焦情報を算出し、それをもとにフォーカス制御部113が交換レンズ101内部のフォーカスレンズを制御する。あるいは、撮像面位相差検出によって測距部108から出力されたデフォーカス量を元にフォーカス制御部113が交換レンズ101内部のフォーカスレンズを制御する。すなわち、AFのときは自動焦点調節を行うことができる。画像データの部分領域にAF枠を設定し、AF枠内の被写体のみに基づいてフォーカス情報を算出することもできる。AFは、本体マイコン119の振る舞いによって、さらに2つの動作モードを備えている。一つはワンショットAFモードであり、ワンショットAFキー129が押下されたときだけAF制御を行い、合焦成功または合焦失敗が確定した後はフォーカス制御部113の制御を停止するモードである。もう一つはコンティニュアスAFモード(サーボAF)であり、常にAF制御を行うモードである。ただし、コンティニュアスAFモードであっても、AFロックキー130の押下によってAFロック状態になっているときは、フォーカス制御部113の制御を停止する。2つのモードの切り替えはメニュー画面内の設定変更によって行う。MFのときは、フォーカス制御部113はAF制御を停止する。この場合、撮影者が交換レンズ101に組み込まれたフォーカスリング134を回転させることによって、任意のフォーカス調整を行うことができる。
防振制御部114は、画像処理部118から出力された画像データを参照して本体マイコン119で被写体の動きベクトルを算出し、算出した動きベクトルをもとに手ブレを相殺するように交換レンズ101内部のシフトレンズを制御する光学式防振処理を行う。あるいは、防振制御部114は手ブレによる像ブレを相殺する方向に動画の各フレームで画像を切り出す電子式防振処理を行う。
メモリI/F部116は、撮像素子102から出力された全画素分のRAW画像データをメモリ117に書き込み、また、メモリ117に保持されたRAW画像データを読み出して画像処理部118に出力する。メモリ117は、数フレームの全画素分のRAW画像データを格納する揮発性の記憶媒体である。
画像処理部118は、メモリI/F部116から送られた全画素分のRAW画像データに対し、制御に必要な画像処理を行う。外部出力用I/F部120は、画像処理部118からの映像データにリサイズ処理を行う。また、外部出力部121の規格に適した信号変換および制御信号の付与を行い、外部出力部121へ出力する。外部出力部121は、映像データを外部出力する端子であり、例えばSDI(Serial Digital Interface)端子やHDMI(登録商標)(High−Definition Multimedia Interface)端子である。外部機器であるモニターディスプレイや、外部記録装置が接続可能である。
外部操作用I/F部122は、外部操作部123による制御指示を受信し、本体マイコン119へ通知するインターフェースである。例えば、赤外線リモコン受光部や、無線LAN(Local Area Network)インターフェースや、LANC(登録商標)(Local Application Control bus system)が相当する。外部操作部123は、外部操作用I/F部122に対して制御指示(制御コマンド)を送信する。筺体100や交換レンズ101に組み込まれたメニューキー124〜AF/MFスイッチ135の各部の操作に相当する指示(コマンド)を送信することができるほか、表示部107で表示するメニュー画面における設定変更情報を送信することができる。
メニューキー124〜AF/MFスイッチ135は操作部であり、キー(ボタン)やダイヤル、タクトスイッチ、リング、タッチパネル等の部材からなる。いずれも撮影者の操作を受けつけ、本体マイコン119に対して制御指示を通知する役割を担っている。メニューキー124〜START/STOPキー133は筺体100に組みつけられている本体側の操作部である。フォーカスリング134とAF/MFスイッチ135は、交換レンズ101に組みつけられているレンズ側の操作部である。これらの操作部の一部は、メニュー画面内の設定によって、キーの役割を交換したり、別の機能にアサインしたりすることも可能である。メニューキー124は、表示部107にメニュー画面を表示する指示、あるいはすでに開いているメニュー画面を閉じる指示を行う。十字キー125およびダイヤル126は、どちらもメニュー画面内で項目を選択するためのカーソルを移動したり、フォーカスに関する枠表示を撮影者の望む方向へ移動したりする移動指示を行う。十字キー125は、上キー、下キー、左キー、右キーよりなる方向キーであり、それぞれ別体の操作部材であってもいいし、同一の操作部材として構成して押下する位置に応じて上下左右の何れか指示が行えるように構成しても良い。ダイヤル126は、時計回りの操作と反時計回りの操作が行える回転操作部材である。SETキー127は、メニュー画面内でカーソルの当たっている項目を選択したり、各種の設定操作を確定したりする指示を行う。
キャンセルキー128は、メニュー画面で深い階層の選択を行っているときにひとつ前の階層へ戻ったり、各種の設定操作を破棄したりする指示を行う。ワンショットAFキー129は、AFモードがワンショットAFであるときに、フォーカス制御部113によってAFを駆動する指示を行う。AFロックキー130は、AFモードがコンティニュアスAFであるときに、フォーカス制御部113による制御を停止させる停止指示、制御停止状態を解除する解除指示を行う。拡大キー131は、表示部107に表示される映像を拡大したり元に戻したりする指示を行う。DISPLAYキー132は、本体マイコン119で保持されるDispレベルを変更する指示を行う。選択されたDispレベルに基づいて、表示部107に表示される各種情報表示が制限され、より詳細な情報を表示したり、映像をよりクリアに表示したりすることができる。START/STOPキー133は、記録媒体I/F部104による記録の開始と停止の指示を行う。フォーカスリング134は、フォーカス駆動状態がMFであるときに、交換レンズ101内のフォーカスレンズを移動し、フォーカス調整を行うことができる。AF/MFスイッチ135は、フォーカス駆動状態、すなわちAFとMFを相互に切り替える指示を行う。
図2は、画像センサーとしての撮像素子102の受光面の一部を示している。
撮像素子102は、撮像面位相差AFを可能にするために、一つのマイクロレンズに対して光電変換手段として受光部であるフォトダイオードを2つ保持している画素部をアレイ状に並べている。これにより、各画素部で、交換レンズ101の射出瞳を分割した光束を受光することが可能になっている。
図2(A)は、参考として、赤(R)、青(B)、緑(Gb、Gr)のベイヤー配列例の画像センサー表面の一部の模式図である。図2(B)は、図2(A)のカラーフィルターの配列に対応させて、一つのマイクロレンズに対して光電変換手段としてのフォトダイオードを2つ保持している画素部例である。
こうした構成を有する画像センサーは、各画素部から位相差検出用の2つの信号(以下、A像信号、B像信号ともいう。)を出力できるようになっている。また、2つのフォトダイオードの信号を加算した撮像の記録用の信号(A像信号+B像信号)も出力できるようになっている。この加算した信号の場合には、図2(A)で概略説明したベイヤー配列例の画像センサーの出力と同等の信号が出力される。
このような画像センサーとしての撮像素子102からの出力信号を使って、測距部108が2つの像信号の相関演算を行い、デフォーカス量や各種信頼性などの情報を算出する。デフォーカス量は、A像信号、B像信号のズレに基づき、像面でのデフォーカス量を算出する。デフォーカス量は正負の値を持っており、デフォーカス量が正の値であるか負の値であるかによって、前ピンか後ピンかがわかる。また、デフォーカス量の絶対値によって、合焦までの度合いが分かり、デフォーカス量が0であれば合焦である。すなわち、測距部108は、測距位置(測距領域、焦点検出位置、焦点検出領域)について算出したデフォーカス量の正負を元に前ピンか後ピンかの情報をCPU119aなどに出力する。また、デフォーカス量の絶対値に基づいて、合焦の度合い(ピントのズレの度合い)である合焦度合い情報をCPU119aなどに出力する。前ピンか後ピンかの情報は、デフォーカス量が所定値を超える場合に出力し、デフォーカス量の絶対値が所定値以内である場合には、合焦であるという情報を出力する。なお、合焦度合い情報は、デフォーカス量を、合焦させるまでにフォーカスリング134を回転させる操作量に換算した値として出力する。
なお、本実施形態は撮像用の信号及び位相差検出用の2つの信号の2つの計3つの信号を撮像素子102から出力している。この点、このような方法に限定されない。例えば、撮像用の信号と位相差AF用の像信号の2つの信号のうちの1つの計2つ信号を出力するようにしてもよい。この場合、出力後に位相差検出用の像信号の2つの信号のうちの他の1つの信号は、撮像素子102からの2つの出力信号を利用して算出される。
また、図2では、一つのマイクロレンズに対して光電変換手段としてのフォトダイオードを2つ保持している画素部をアレイ状に並べている例を示した。この点、一つのマイクロレンズに対して光電変換手段としてのフォトダイオードを3つ以上保持している画素部をアレイ状に並べているようにしてもよい。また、マイクロレンズに対して受光部の開口位置が異なる画素部を複数有するようにしてもよい。つまり、結果としてA像信号とB像信号といった位相差検出可能な位相差検出用の2つの信号が得られるようになっていれば足りる。
本実施形態では、ユーザーがデジタルカメラ10を用いて被写体にフォーカスを合わせる際に、フォーカスの合焦位置や合焦度合いをフォーカスガイド(表示アイテム)として表示することで、ユーザーが所望の被写体にフォーカスを合わせやすくする。具体的には、測距位置(焦点検出位置)の被写体に合焦させるまでに、フォーカスリング134をどちら側にどの程度操作すれば良いかを視認しやすく示している。すなわち、フォーカスガイドは、測距位置の被写体の合焦度合いを示す表示インジケーターである。フォーカスガイドを表示することで、ユーザーは測距位置の被写体に合焦させた場合の焦点距離と現在の焦点距離のずれを視認することができる。
フォーカスガイドは、ライブビュー画像(以下LV画像)上にフォーカスガイドの表示要素のうち、枠300が重畳表示された位置(枠内)に対応する撮像範囲から取得されたデフォーカス量に基づいた表示を行う。具体的には、フォーカスガイドはデフォーカス量を取得可能な画素(撮像面位相差検出の可能な画素)のうち、枠300の位置に対応する範囲内の画素群からの出力値に基づいて算出されたデフォーカス量に基づいて、合焦度合いを示す。すなわちフォーカスガイドは、ライブビュー上で枠300が重畳表示された位置の被写体について、フォーカスの合焦度合いを指標や色などの情報で表示する。本実施形態では、フォーカスの合焦度合いについて、図3の指標301〜311により合焦度合いを表現する。なお、指標301〜311は図3(a)〜(d)に示す点線の円に沿って動くようにする。
図3(a)では、枠300の上部に配置される指標301と指標302の位置が一致している。これは合焦状態(焦点検出領域の被写体に合焦している状態)を示しており、後述する指標304と指標305とが重なりあって一体化し、さらに指標303と隣接した位置(指標303が示す位置)に表示されている。指標301と指標302とが一致することで、枠300が表示されている位置で合焦していることを示す。このとき、枠300、指標301、指標302の表示色を、合焦していない場合とは異なる色で表示する。例えば、合焦していない場合は白色で表示し、図3(a)に示すような合焦状態になった場合は緑色で表示を行う。また、枠300について、合焦していない場合は図3(b)〜(d)に示すように四隅のみの表示で合焦位置の被写体を視認できるようにし、合焦した場合は図3(a)に示すように実線で全周を囲う枠のように、閉区間で表示するように変化させる。ユーザーは所望の被写体が合焦したタイミングで撮影をしようとしている可能性が高い。そのため特に、合焦状態に遷移した場合にはユーザーが認識しやすいように表示色を変更したり、合焦位置を示す枠の表示形態を変更したりする。これによって、ユーザーは合焦状態になったことを視認しやすく、撮影タイミングを逃しにくい。枠300は、LV画像上における測距位置に対応する領域を示している。
図3(b)では、被写体が前ピン状態である場合のフォーカスガイドの表示形態を示す。指標303は合焦状態になるための指標304と指標305の目標地点を示す。指標304と指標305は、それぞれの表示距離によって、測距位置の合焦度合いを示す。ユーザーが交換レンズ101を操作したことによる焦点距離の変化や、被写体とデジタルカメラ10の距離の変動により、合焦度合いが変化するため、指標304と指標305の距離(角度)が狭まったり広がったりする。指標304と指標305の距離(角度)は、合焦度合い情報に基づき、焦点距離領域において合焦からのズレが大きい場合に比べて小さい場合のほうが表示距離は小さく(狭く)なる。
図3(c)では、被写体が後ピン状態である場合のフォーカスガイドの表示形態を示す。図3(b)のフォーカスガイドの表示形態とは異なり、図3(b)の指標304と指標305が一体化し図3(c)の指標306となり、図3(b)の指標303が図3(c)の指標307と指標308となっている。
図3(b)(c)より、ユーザーはフォーカスガイドが重畳している被写体への合焦度合いが、前ピン状態なのか後ピン状態なのかを一目で視認することができる。指標304や指標305、指標307や指標308を合焦度合い情報に基づき表示距離を動的に変動させることで、ユーザーは、あとどれくらい合焦度合いを変化させれば合焦させることができるのかを、視覚的に認識することができる。そのため、例えばフォーカスリング134の操作量を大きくしたり小さくしたり、調整することができ、フォーカスガイドが表示されていないときよりも、より容易に調整を行うことができる。
図3(d)では、被写体が大ボケ状態である場合のフォーカスガイドの表示形態を示す。指標309〜311は、指標301〜308とは異なり、四角形で表現されている。このとき、指標301〜308の表示色である白色ではなく、濃いグレーで表示する。このような表示により大ボケ状態であることを表し、合焦状態、前ピン状態、後ピン状態のいずれとも異なる、特に測距に失敗した状態であることを、ユーザーが視覚的に認識しやすいようにする。これによって、ユーザーは例えばフォーカスリング134の操作量を大きくする必要があることを認識できる可能性が高い。
図3(b)〜(d)に示すように、フォーカスガイドは合焦していない場合に、複数の段階で合焦度合いを示す。また、図3では指標301〜311は枠300の上部に配置しているが、枠300の下部に配置してもよい。
なお、本実施形態では、フォーカスガイドの表示形態について、図3(a)〜図3(d)を用いて説明したが、これに限るものではない。また、フォーカスガイドは、撮像素子102から得られる信号(撮像面位相差信号)に基づくデフォーカス量に基づく合焦度合いを表示するものとして説明したが、これに限るものではない。撮像面とは異なる場所に設定された焦点検出センサ(位相差センサー等)からの出力値に基づいて合焦度合いを示すものでもよいし、コントラスト値に基づいて合焦度合いを示すものでも良い。
本実施形態では、デジタルカメラ10におけるフォーカスガイドの表示形態の制御処理について説明する。図4は、デジタルカメラ10において、CPU119aがROM119bに記憶されたプログラムを実行することにより実現される。図4のフローチャートは、デジタルカメラ10を撮影モードで起動し、撮影待機状態であるときに開始される。
S401では、CPU119aは、ROM119bを参照し、フォーカスの設定がMFであるか否かを判定する。フォーカスの設定がMFである場合は、S402へ進み、そうでない場合はS401へ戻る。S402において後述するフォーカスガイドは、フォーカスの設定がMFの場合にのみ、表示することができるフォーカスアシスト機能の1つである。フォーカスの設定がMFであるとは、本実施形態では、交換レンズ101にあるレンズのフォーカスモードのスイッチをMFにすることで設定ができる。交換レンズ101のスイッチでなくても、設定メニュー画面でユーザーがAF/MFを選択できるような設定方法でもよい。
S402では、CPU119aは、ROM119bを参照し、フォーカスガイドの設定が入であるか否かを判定する。フォーカスガイドの設定が入である場合は、S403へ進み、そうでない場合は、S401へ戻る。フォーカスガイドの設定が入でない場合、すなわち切である場合は、前述したフォーカスガイドは表示しない。フォーカスガイドの設定は、図6に示す、AF設定メニュー画面で設定することができる。項目601、項目602はフォーカスの設定をMFにした際に設定できる項目である。項目601は、合焦した被写体の輪郭を色付きの強調表示にすることで合焦させやすくすることができる、MFピーキング設定である。図6では、MFピーキング設定は切になっている。項目602は、現在のフォーカス位置から合焦位置への調整方向と調整量が、ガイド枠で視覚的に表示される、フォーカスガイド設定である。設定候補602aを選択すると、フォーカスガイド設定が入になり、合焦しようとしている被写体位置にガイド枠と指標が表示される。設定候補602bを選択すると、フォーカスガイド設定が切になり、ユーザーがフォーカスリング134を操作したとしても、ガイド枠と指標は表示されない。図6では、フォーカスガイド設定は入になっている。フォーカスの設定がMFであるときにフォーカスガイドの設定が切である場合は、ユーザーは合焦している位置や合焦度合い(合焦状態)を自身の目で確認することで所望の被写体にフォーカスを合わせる。この場合、デジタルカメラ10の操作やMF設定に慣れているユーザーであれば、比較的簡単に所望の被写体に合焦させることができるだろう。しかし慣れていないユーザーにとっては、合焦させるまでに時間がかかってしまい、シャッターチャンスを逃す可能性が生じる。MFのみで所望の被写体に合焦させたいユーザーや、AFである程度大まかに合焦させた後に細かくMFで合焦させたい、と考えているユーザーにとっては、フォーカスガイドによって、より容易にMFで合焦させることができるようになる。
S403では、CPU119aは、RAM119cが保持している情報を基に、GPU115で描画するフォーカスガイドの枠表示位置、指標角度、表示色を決定する。具体的には、RAM119cに保持された測距位置(焦点検出位置、枠300によって示される位置)を読み出し、測距位置に対応する被写体について、合焦情報および測距成否の情報について、測距部108から取得する。合焦情報は、前述したように、デフォーカス量に基づいて算出された合焦状態、前ピン状態、後ピン状態のいずれであるかという情報と、合焦度合いの情報を含む。枠表示位置、指標角度、表示色は合焦情報に基づいて決定する。
S404では、CPU119aは、S403で決定した枠表示位置、指標角度、表示色に基づいてフォーカスガイドを表示部107に通常表示する。通常表示とは、図3に示すように枠300、指標301〜311を合焦度合いに応じた表示で行うものを指す。枠300の表示位置の被写体に対して合焦状態であれば、前述した図3(a)に示すようなフォーカスガイドを緑色で表示する。前ピン状態であれば図3(b)のように、後ピン状態であれば図3(c)のように表示し、合焦からのズレ量から指標の角度(距離)を動的に変動させる。大ボケ状態(測距が失敗した状態)であれば図3(d)のように表示を行う。また、フォーカスガイドの表示を開始した時点からの時間の計測を開始する。後述する図5(a)にも、フォーカスガイドの通常の表示形態を示す。
S405では、CPU119aは、枠表示位置の被写体に対して合焦状態であるか非合焦状態であるかを判定する。合焦状態であれば、S406へ進み、非合焦状態であれば、S408へ進む。
S406では、CPU119aは、合焦度合いの変化がなかったか否かを判定する。変化がなかった場合(すなわち、合焦状態が継続している場合)は、S407へ進み、変化があった場合はS405へ戻る。S406において合焦度合いを判定し、S405において判定した合焦度合いと比較をして、合焦度合いの変化が所定量以上あったか否かの判定をする。合焦度合いの変化が所定量以上ないということは、ユーザーがフォーカスリング134を操作していない、もしくは、被写体とデジタルカメラ10の距離が変化していないということである。このような場合、ユーザーはS405で判定した合焦/非合焦状態のいずれかに関わらず、合焦状態を変化させようとしていない、もしくは、被写体が止まっていることが想定できる。なお、合焦度合いの変化が所定量以上あった場合は、S404で開始した時間の計測をリセットする。
S407では、CPU119aは、S406において判定した、合焦度合いの変化のない状態が所定時間T1経過したか否かを判定する。所定時間T1経過した場合は、S411へ進み、そうでない場合はS406へ戻る。所定時間T1はS404においてフォーカスガイドの表示を開始した時点で計測を開始した時間である。合焦度合いの変化がない状態で、所定時間T1が経過したという条件を満たした場合に、S411において後述する、フォーカスガイドの表示形態の変化を行う。なお、所定時間T1は、S410において後述する所定時間T2よりも短い時間(T1<T2)とする。
S408では、CPU119aは、合焦度合いがZ1以上であるか否かを判定する。合焦度合いがZ1以上である場合は、S406へ進み、そうでない場合はS409へ進む。合焦度合いは、RAM119cに保持されている測距位置を読み出し、測距部108から取得できる、被写体に対する合焦状態の度合いを指す。合焦度合いが大きければ大きいほど合焦状態に近くなることを示す。すなわち、図3(b)における指標304と指標305が、指標303に近くなることを示す。反対に合焦度合いが小さくなれば小さくなるほど合焦状態からかけ離れていることを示し、図3(b)の指標304と指標305が大きく離れる。S405において非合焦状態であると判定されたとしても、合焦度合いが高い非合焦状態である場合も想定できる。本実施形態では、後述する図5(a)のような場合に、フォーカスガイドが被写体に重畳することで、ユーザーが被写体を観察する際にフォーカスガイドを邪魔に感じる可能性が高い。そのため合焦状態であれば、比較的短い時間でフォーカスガイドの表示を目立たなくすることで、ユーザーが被写体を視認しやすくする。詳細については、S411において後述する。合焦度合いが高い非合焦状態(ほぼ合焦状態)において、非合焦状態であるためにフォーカスガイドを表示し続けていると、非合焦状態ではあるがユーザーが被写体をよく観察したいと考えている場合には、ユーザーが使いづらく感じることが生じる。そのため、非合焦状態であっても、合焦度合いが高い(ほぼ合焦状態である)場合は、フォーカスガイドを目立たなくするための所定時間を合焦状態と同じ所定時間T1(S407において前述)とする。
S409では、S406と同様に、CPU119aは、合焦度合いの変化がなかったか否かを判定する。変化がなかった場合は、S410へ進み、変化があった場合はS405へ戻る。
S410では、CPU119aは、S409において判定した、合焦度合いの変化のない状態が所定時間T2経過したか否かを判定する。所定時間T2経過した場合は、S411へ進み、そうでない場合はS409へ戻る。合焦度合いの変化がない状態で、所定時間T2が経過したという条件を満たした場合に、S411において後述する、フォーカスガイドの表示形態の変化を行う。所定時間T2は、S408で述べた所定時間T1よりも長い時間(T1<T2)とする。S405でYesと判定した場合、すなわち、枠300の表示位置の被写体が合焦状態である場合、フォーカスガイドが被写体上に常に表示され続けていると、ユーザーが被写体を視認しにくい場合が生じる。また、S408でYesと判定した場合、すなわち、合焦度合いが高い(Z1以上の)場合にも同様に、フォーカスガイドが邪魔に感じる可能性が生じる。そのため、合焦状態、もしくは合焦度合いが高い(Z1以上の)場合は所定時間T1が経過したことに応じて、フォーカスガイドの表示形態を変化させる。これに対して、非合焦状態、かつ、合焦度合いが高くない(Z1より小さい)場合には、ユーザーはフォーカスリング134を操作したり被写体とデジタルカメラ10との距離を変化させたりするなどして、合焦させようと試みる可能性が高い。ほぼ合焦状態の場合は、前述したように短い時間T1でフォーカスガイドの表示形態を変化させてもユーザーが使いづらく感じる可能性は低い。一方で、非合焦状態の場合は、合焦状態と同じ時間T1でフォーカスガイドの表示が変化してしまうと、合焦していないにも関わらず合焦位置をはっきりと視認しにくくなるため使いづらく感じる可能性がある。そのため、非合焦状態でのフォーカスガイドの表示形態が変化する所定時間T2を、ほぼ合焦状態での所定時間T1よりも長く設定する。
S411では、CPU119aは、表示部107に表示したフォーカスガイドの表示形態を変化させる。すなわち、表示部107に表示したフォーカスガイドを通常表示から後述する簡易表示へと変化させる。S407、S410において述べたように、合焦度合いの変化がなくなってから所定時間が経過するという条件を満たした場合に、フォーカスガイドの表示形態を変化させる。具体的には、S404で表示した、ユーザーに合焦度合いを識別可能にするフォーカスガイドの表示(通常表示)を、ユーザーが被写体を確認する際に邪魔にならないような、目立ちにくい表示(簡易表示)に変化させる。フォーカスガイドの表示形態の変化例については、図5(a)〜(h)において後述する。
S412では、CPU119aは、ユーザーによるMF操作があったか否かを判定する。MF操作があった場合は、S413へ進み、なかった場合はS415へ進む。MF操作とは、ユーザーによるフォーカスリング134への操作によって、交換レンズ101内のレンズが操作されたことを指す。S412は、交換レンズ101からデジタルカメラ10に、ユーザーによるフォーカスリング134への操作の有無に関する情報が伝達される場合に判定できるステップである。交換レンズ101からデジタルカメラ10に、フォーカスリング134への操作の有無情報が伝達されない場合はS412の判定を行うことができないため、S412を無くしてS411からS413へと進んでもよい。また、デジタルカメラ10の本体側の操作部(ボタンやタッチパネルなど)へのMF操作に基づいてレンズ駆動してMFすることが可能な場合、本体側へのMF操作があった場合にもS412はYesと判定する。
S413では、CPU119aは、合焦度合いの変化があったか否かを判定する。合焦度合いの変化があった場合は、S415へ進み、変化がなかった場合は、S414へ進む。S412でNoと判定された場合、すなわち、MF操作がなかったと判定されたことから、S413での合焦度合いの変化は、被写体が動いた、もしくは、ユーザーが動いたことによる、被写体とデジタルカメラ10との距離が変化したことに起因すると想定される。ユーザーがMF操作を行っていないことから、ユーザーの意図で合焦度合いが変化したわけではないため、S405で判定した合焦/非合焦状態にかかわらず、後述するS415で表示部107にフォーカスガイドを通常表示する。これにより、ユーザーが気づいていない間に合焦度合いが変化していたとしてもフォーカスガイドが表示されるため、ユーザーに通知することができる。ユーザーは意図しない合焦度合いの変化であれば、再度フォーカス調整を行うことができる。
S414では、CPU119aは、フォーカスガイドの通常表示指示があったか否かを判定する。通常表示指示があった場合にはS415に進み、なかった場合にはS416へ進む。フォーカスガイドの通常表示指示とは、具体的にはデジタルカメラ10に搭載されているメニューキー124〜AF/MFスイッチ135などの操作部への操作を指す。例えば、ワンショットAFキー129やAFロックキー130への押下や十字キー125やダイヤル126への操作が行われた場合は、S411において表示を簡易表示へと変化させたフォーカスガイドを、S404で表示したような通常表示に変化させる。ワンショットAFキー129やAFロックキー130は、MF操作中には押下があっても実行されない機能を持ったキーである。デジタルカメラ10にライブビュー画像を表示する表示部とタッチ操作可能なタッチ操作部材が一体になっているものが搭載されている場合がある。この、タッチ操作可能なタッチ操作部材へのタッチ操作が行われた場合は、ユーザーがフォーカスガイドの表示形態が変化する前に表示されていた位置を忘れてしまったために、再度合焦位置と合焦状態を確認したいと考えていることが想定できる。LV画像に被写体が複数いた場合には、フォーカスガイドが表示されていた被写体とは別の被写体に合焦位置を変更したいと考えている可能性がある。また、十字キー125やダイヤル126を用いても、合焦位置を示すフォーカスガイドの表示位置を変更することができる。十字キー125やダイヤル126への操作が行われたことにより、ユーザーがフォーカスガイドを重畳表示する被写体を変更しようとしている可能性も考えられる。そのため、タッチ操作を含む操作部への操作が行われた場合にも、後述するS415でフォーカスガイドを通常表示へと変更する。
S415では、CPU119aは、S404と同様に、表示部107にフォーカスガイドを通常表示する。S412でYesと判定した場合、すなわち、MF操作があったことから、ユーザーがフォーカスリング134や本体側の操作部を操作して合焦度合いを変更しようとしていると想定できる。また、S413でYesと判定された場合は、MF操作がなくても合焦度合いが変化したことから、被写体とデジタルカメラ10の距離が変化したことが想定できる。これらの理由から、合焦度合いが変化したことをユーザーに通知するために、S411で目立ちにくく表示形態を変化させたフォーカスガイドを、再度通常表示する。
S416では、CPU119aは、ユーザーによる撮影指示があったか否かを判定する。撮影指示があった場合は、S416へ進み、なかった場合はS401へ戻る。
S417では、CPU119aは、撮影を行う。表示部107にフォーカスガイドが表示されている場合は、フォーカスガイドが表示されている位置、特に枠300の表示位置で、撮影指示があった時点での合焦状態で撮影を行う。S417での撮影とは、CPU119aは撮影指示により、撮影指示信号の読み出しから記録媒体105に画像データを書き込み、画像ファイルを作成する、一連の撮影処理の動作のことを指す。静止画の撮影と動画の撮影のいずれであってもよい。
S418では、CPU119aは、撮影待機状態が終了したか否かを判定する。撮影待機状態が終了した場合は、本制御フローを終了し、撮影待機状態が終了していない場合は、S401へ戻る。
図4のS411で述べた、フォーカスガイドの表示形態の変化例について、図5(a)〜(h)を用いて説明する。図5(a)〜(h)は、合焦状態のフォーカスガイドの表示例を示しているが、前ピン状態や後ピン状態についても、前ピン状態や後ピン状態を表しながら同様の表示を行うようにする。合焦状態のとき、S411では、通常表示されていたフォーカスガイドを図5(b)〜(f)、(h)のいずれかの簡易的な表示形態に変化させる。
図5(a)はユーザーが合焦状態であることを識別可能な合焦状態のフォーカスガイドのS404、S415での通常表示の表示例である。一方、図5(b)〜(f)、(h)は、図5(a)、(g)に示す通常表示に対して、ユーザーが被写体の画像を確認しやすくするように簡易的に表示したフォーカスガイドの簡易表示の表示例である。
図5(b)はS411で表示する簡易表示の表示例の1つであり、フォーカスガイドを図5(a)に示す枠300、指標301、指標302から、図5(b)の枠500、指標501、指標502のように点線で表示するものに変化させる。フォーカスガイドを点線で表示することで、ユーザーが被写体を確認する際に邪魔にならず、かつ、枠表示位置の確認ができるため合焦している(もしくは合焦しようとしている)被写体を視認することができる。特に合焦状態においては、ユーザー所望の被写体に合焦している場合は、ユーザーは被写体の状態を確認してシャッターチャンスを待っている可能性が高い。例えば、被写体が図5のような人間であると、笑顔になったタイミングで撮影をしようとするような状況が考えられる。非合焦状態においても、画像全体の確認をしながら、合焦させる被写体を選んでいる可能性がある。このような場合にも、合焦度合いの変化がなく所定時間が経過したことに応じて、フォーカスガイドを点線のものに変化させることで、ユーザーが煩わしく感じることなく、撮影準備を行うことができる。また、フォーカスガイドを完全に非表示にするのではなく点線で表示することで、合焦位置と合焦位置の被写体をユーザーが引き続き視認することができる。なお、図5(b)ではフォーカスガイドを点線で表示するとしたが、フォーカスガイドを通常表示しているときよりも合焦位置の被写体をユーザーが視認しやすくなるような表示形態の変化であれば点線に限らない。例えば、枠300の表示の透過率をあげて半透過での表示やグレーのような目立ちにくい色での表示にしてもよい。図5(a)で示した枠300よりも表示面積が小さくなるような表示形態でもよい。表示面積を小さくする例として、例えば、実線で表示していた枠300を、図3(b)〜(d)に示したような四隅のみを表示にしてもよい。枠300の表示形態を上述したような表示に変化させることで、撮像している被写体の、特に合焦位置の被写体がより視認しやすくなる。
図5(c)はS411で表示する簡易表示の表示例の1つであり、指標301と指標302のみを残して枠300を非表示にする。枠300のみを非表示にし、指標301、指標302を残したとしても、指標301と指標302は枠300と比較して小さな表示であるため、表示を継続したとしてもユーザーが邪魔だと感じる可能性は低い。また、枠300を非表示にしたとしても、指標301と指標302は合焦している被写体位置に留まるため、たとえユーザーが合焦位置(被写体)を見失ってしまったとしても、指標301と指標302により完全に合焦位置(被写体)を見失うことはない。
図5(d)はS411で表示する簡易表示の表示例の1つであり、指標301と指標302を引き続き表示し、枠300に代わって指標503〜506を表示するように変化させる。指標503〜506は四角形で表される指標であり、枠300が表示されていた位置を中心として十字を表すような配置とする。CPU119aが被写体を認識している場合は、指標503〜506は被写体に重畳しないように表示するようにする。なお、CPU119aが被写体を認識しているかいないかに関わらず、枠300からの決まった距離に配置するようにしてもよい。これにより、図5(c)のように枠300を完全に非表示にしてしまう場合よりも、指標503〜506によって合焦位置(被写体)が視認しやすいため、より簡単に合焦位置(被写体)を認識することができる。
図5(e)はS411で表示する簡易表示の表示例の1つであり、S404で表示したフォーカスガイドを非表示とする。所定時間が経過した後、合焦度合いが変化していない間はフォーカスガイドは表示されない。これにより、ユーザーは画像全体を認識しやすい。
図5(f)はS411で表示する簡易表示の表示例の1つであり、枠300を非表示にした代わりに指標520とし、指標301と指標302を合焦位置の下方向の画面端部(画面中央から所定範囲の外)に移動し、指標520、指標521とする。指標520は、上下に指標521と指標522の間に挟まれるような配置とし、横長の長方形の指標である。これにより、ユーザーはフォーカスガイドを煩わしく感じることなく被写体や画像全体の確認をすることができ、大まかな合焦位置(被写体)と合焦度合いを把握することができる。なお、図5(f)では指標520、指標521、指標522は合焦位置の下方向の画面端部に表示したが、下方向ではなく横方向の画面端部に表示してもよい。横方向に指標520、指標521、指標522を表示したほうが、視線移動距離が少なく、被写体と合焦度合いを確認しやすい場合もある。例えば、CPU119aが、LV画像内に複数の被写体を認識し、かつ、縦方向に被写体が複数いる場合を考える。このような場合、図5(f)に示した簡易表示のフォーカスガイドを、下方向ではなく横方向の画面端部に表示したほうが、合焦しようとしている被写体を視認しやすい。一方で、CPU119aが認識した被写体が、横方向に複数いる場合は、フォーカスガイドを縦方向の画面端部に表示したほうが視認しやすい。フォーカスガイドを下方向の画面端部に表示するか、横方向の画面端部に表示するかを、認識したLV画像内の被写体の数や位置関係によってCPU119aが判別して自動的に切り替える。これによって、ユーザーが視認しやすい方向の画像端部に表示するようにする。なお、フォーカスガイドを複数表示しているときは、フォーカスリング134を操作した際に合焦度合いが変更できる被写体のフォーカスガイドの色と、変更できない被写体のフォーカスガイドの色を異ならせると、ユーザーが認識しやすい。
図5(g)、(h)に、CPU119aが被写体の顔を認識し、顔検出枠が表示されている場合の、フォーカスガイドの表示形態の一例を示す。顔検出枠は、CPU119aが認識した被写体の大きさに応じて、枠の大きさを決定する。
図5(g)は、CPU119aが被写体の顔を認識している場合のS404で表示する、フォーカスガイドの通常表示の表示例である。CPU119aが被写体の顔を認識している場合は、顔検出枠507と、合焦位置(被写体)に枠300、指標301、指標302を表示する。顔検出枠507は被写体510が動いた場合には、被写体510の顔に追従して移動するようにする。また、枠300、指標301、指標302についても、被写体510の顔に追従した顔検出枠507の移動に伴って移動する。すなわち、顔検出枠507と枠300、指標301、指標302の相対的な位置関係は変化しないようにする。
図5(h)は、図5(g)に示すようなフォーカスガイドが表示されている状態から、S411において表示形態が変化したフォーカスガイドの表示例(簡易表示の表示例)を示す。顔検出枠507は引き続き表示する。枠300を非表示にし、指標301と指標302は被写体には顔検出枠507内の例えば右上角(具体的には、顔検出枠507の内側で、かつ、顔検出枠507の中央から所定範囲よりも外)に指標511と指標512として表示する。枠300を非表示にして顔検出枠507の表示を継続、指標301と指標302を指標511と指標512の位置に移動させることで、フォーカスガイドが被写体である顔の中心付近(重要部分)に重畳して表示されることがなくなる。これにより、ユーザーがフォーカスガイドを邪魔に感じることが低減できる。また顔検出枠である顔検出枠507を表示していることから、合焦位置を示す枠300を表示せずとも、合焦している位置(被写体)が視認できる。図5(c)(d)と比べて、合焦している被写体が視認しやすいため、撮影を行う際に、より簡単にMF操作でフォーカス調整を行うことができる。なお、図5(g)で述べたように、被写体510の顔が動いた場合は顔検出枠507は追従して移動し、指標511と指標512についても図5(h)に示すように顔検出枠507との位置関係を保ったまま移動する。なお、指標511、指標512は、顔検出枠507の外側であって、顔検出枠507の位置に追従する近傍位置、あるいは、顔検出枠507に追従しない所定位置に表示してもよい。
このように、図5(b)〜(f)、(h)はいずれも、フォーカスガイドの表示形態を図5(a)、(g)に示す通常表示から簡易表示へと変化させる。図5(c)〜(f)、(h)は、図5(a)、(g)での枠300を、枠300の表示位置である焦点検出領域のライブビュー画像(被写体画像)を視認しやすいように、焦点検出領域において非表示にする表示形態へと変化させる。同様に、図5(b)は、図5(a)での枠300よりも小さい面積である点線表示(枠500)や四隅のみの枠表示、枠300の透過表示へと表示形態を変化させる。これによって図5(b)〜(f)、(h)のいずれの場合でも、表示形態を通常表示から簡易表示へと変化させることで、ユーザーは枠300の表示位置である焦点検出領域のライブビュー画像(被写体)を視認しやすくなる。したがって、ユーザーは所望の被写体に合焦させやすく、フォーカス調整を行っていない場合はフォーカスガイドを邪魔に感じることなく所望の被写体を観察することができる。
図4の制御フロー処理を行う際に、外部モニターが接続されている場合には、S408、S410で述べたように所定時間経過ではなく、出力先に応じてフォーカスガイドの表示形態を変えるようにしてもよい。外部モニターが接続されている場合は、ユーザーは外部モニターでLV画像や被写体のチェックを行っている可能性が高い。そのため、外部モニターが接続されている場合は、本体パネル表示やEVF出力では被写体に重畳してフォーカスガイドを表示し所定時間が経過しても表示形態は変化させないようにする。一方で、接続されている外部モニターでは、フォーカスガイドを図3(a)〜(d)のように表示することなく、初めからフォーカスガイドを簡易表示の表示形態で表示するようにする。このように表示先に応じて表示形態を変化させることで、ユーザーが被写体をチェックしているであろう出力先上では、画質の確認や被写体のチェックがしやすくなり、ユーザーがフォーカスガイドを邪魔に感じることを低減できる。
また、図5(g)、(h)で述べた被写体認識を行ったものについては、顔検出枠507を表示して顔検出を行っている状態から顔検出ができなくなった場合には、フォーカスガイドの表示形態を変化させないようにしてもよい。このような場合、再度顔検出が開始されたら、図4の制御フローの処理を再開する。このようにすることで、例えば顔検出を行っている被写体とデジタルカメラ10の間に、別の被写体が横切った場合に、フォーカスガイドの表示形態が変化してしまうと、ユーザーが煩わしく感じてしまうことを避けることができる。
上述した制御フローでは、ユーザーがファインダーに接眼しているか否かについては言及をしていないが、ユーザーがファインダーに接眼している場合でもしていない場合でも、上述した制御フローは実行することができる。すなわち、デジタルカメラ10がファインダーを備えていた場合に、ユーザーがファインダーを覗いて撮影を行おうとしている際には、ファインダー内表示部にLV画像を表示し、上述したフォーカスガイドを表示する。合焦度合いの変化がなく、所定時間が経過したことに応じて、ファインダー内表示部に表示したフォーカスガイドを目立ちにくくする。ユーザーがファインダーを覗かず、デジタルカメラ10の筺体100の側から視認可能な外部モニターにLV画像を表示している場合は、LV画像が表示されている外部モニターにフォーカスガイドを表示する。ファインダー内表示部の場合と同様に、合焦度合いの変化がなく、所定時間が経過したことに応じて、外部モニターに表示したフォーカスガイドを目立ちにくくする。
なお、CPU119aが行うものとして説明した上述の各種制御は1つのハードウェアが行ってもよいし、複数のハードウェア(例えば、複数のプロセッサーや回路)が処理を分担することで、装置全体の制御を行ってもよい。
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
また、上述した実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、これはこの例に限定されず撮像手段で撮像された画像を表示可能な機器であれば適用可能である。すなわち、本発明はタブレットPCや携帯電話端末、ディスプレイを備える音楽プレーヤーやゲーム機などに適用可能である。
また、撮像装置本体に限らず、有線または無線通信を介して撮像装置(ネットワークカメラを含む)と通信し、撮像装置を遠隔で制御する制御装置にも本発明を適用可能である。撮像装置を遠隔で制御する装置としては、例えば、スマートフォンやタブレットPC、デスクトップPCなどの装置がある。制御装置側で行われた操作や制御装置側で行われた処理に基づいて、制御装置側から撮像装置に各種動作や設定を行わせるコマンドを通知することにより、撮像装置を遠隔から制御可能である。また、撮像装置で撮影したライブビュー画像を有線または無線通信を介して受信して制御装置側で表示できるようにしてもよい。
(他の実施形態)
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。