以下、本発明の実施の形態について説明する。本発明の焦点調節装置及び方法において重要なことは、次の点である。撮影準備前に、前記出力信号切り出し手段で抽出された出力信号が有効撮像領域に投影された被写体像の一部に該当するものである場合には、そうでない場合の態様とは異なる態様で、合焦すべき被写体領域を特定することである。
上記考え方に基づき、本発明の焦点調節装置及び方法の基本的な実施形態は、次の様な構成を有する。焦点調節装置は、光電変換手段と、出力信号切り出し手段と、抽出手段と、制御手段とを有する。光電変換手段は、フォーカスレンズを用いて結像された被写体像を電気信号に変換するCCD、CMOSなどの撮像素子である。出力信号切り出し手段は、光電変換手段の出力信号より、光電変換手段の有効撮像領域に投影された被写体像の一部若しくは全てに該当する出力信号を抽出する。抽出手段は、出力信号切り出し手段の出力信号より被写体の輝度に関する特定周波数帯域の信号成分(典型的には高周波成分)を抽出する。制御手段は、装置全体の動作を制御する。即ち、撮影準備前に、設定された焦点検出領域における抽出手段の出力信号をフォーカスレンズの位置と関連づけて取得するAFスキャン動作を行って、合焦すべき被写体領域を特定する第1の動作を実施する。撮影準備時には、前記AFスキャン動作を行って合焦動作をする第2の動作を実施する。また、撮影準備前において、出力信号切り出し手段により抽出された出力信号が有効撮像領域に投影された被写体像の一部に該当するものである場合には、前記第1の焦点動作とは異なる第3の動作を実施して、合焦すべき被写体領域を特定する。
また、焦点調節方法は、光電変換手段と出力信号切り出し手段と抽出手段とを有する装置における焦点調節方法であって、次の工程を含む。第1の工程では、前記AFスキャン動作を行って、合焦すべき被写体領域を特定する第1の動作を実施する。第2の工程では、撮影準備時に、前記AFスキャン動作を行って合焦動作をする第2の動作を実施する。第3の工程では、撮影準備前において、出力信号切り出し手段により抽出された出力信号が有効撮像領域に投影された被写体像の一部に該当するものである場合には、前記第1の動作とは異なる第3の動作を実施して、合焦すべき被写体領域を特定する。
前記基本的な実施形態に基づいて、次に述べる様なより具体的な実施形態が可能である。前記第3の動作で、焦点評価値のS/N低下による主被写体領域の検出性能の低下を抑制する様に前記AFスキャン動作における焦点検出領域の大きさと数の少なくとも一方を前記第1の動作とは異なる様に設定することができる(実施例1参照)。また、これに代わって、或いは加えて、前記第3の動作で、前記AFスキャン動作における光電変換素子の動作モード及び抽出手段における特定周波数帯域を前記第1の動作とは異なる様に設定することができる(実施例2参照)。
(実施例1)
以下、図面を参照しながら本発明の実施例を説明する。本発明の焦点調節装置の一実施例を備える撮像装置である電子カメラの構成を示す図1において、101は、ズーム機構を含む撮影レンズである。102は、入射光量を制御する絞り及びシャッターである。103はAE(Automatic Exposure)処理部である。104は、後述する撮像素子上に焦点を合わせるためのフォーカスレンズである。105は、フォーカスレンズ104の駆動手段を含むAF処理部である。106はストロボである。107はEF(フラッシュ調光)処理部である。108は、被写体からの反射光を電気信号に変換する光電変換手段としての撮像素子である。109は、撮像素子108の出力ノイズを除去するCDS(相関二重サンプリング処理)回路やA/D変換前に処理を行う非線形増幅回路を含むA/D変換部である。110は画像処理部である。これは、光電変換手段の出力信号より撮像素子の有効撮像領域に投影された画像の一部又は全てに該当する出力信号を抽出する出力信号切り出し手段と該手段の出力信号より被写体の輝度に関する特定周波数帯域の信号成分を抽出する抽出手段を含む。111はWB(ホワイトバランス)処理部である。112はフォーマット変換部である。
113は、高速な内蔵メモリ(例えばランダムアクセスメモリなど、DRAMとも記す) である。114は、メモリーカードなどの記録媒体とそのインターフェースからなる画像記録部である。115は、装置全体の動作を制御する制御手段として撮影シーケンスなどシステムを制御するシステム制御部(CPUとも記す)である。116は画像表示用メモリ(VRAMとも記す) である。117は、画像表示、操作補助のための表示やカメラ状態の表示の他、撮影時には撮影画面と焦点検出領域を表示する操作表示部である。118は、カメラを外部から操作するための操作部である。119は、顔検出モードをONまたはOFFに切り替える等の設定を行う撮影モードスイッチである。120は、システムに電源を投入するためのメインスイッチである。121は、AFやAE等の撮影スタンバイ動作を行うためのスイッチ(SW1とも記す) である。122は、SW1の操作後、撮影を行う撮影スイッチ(SW2とも記す)である。123は、画像処理部110で処理された画像信号を用いて顔検出を行い、検出した1つ又は複数の顔情報(位置・大きさ・信頼度)をCPU115に送る顔検出モジュールである。124は、画面内の被写体及び背景が動いているかどうかを検出して動体情報をシステム制御部115に送る動体検出部である。125は、カメラ自体の角速度を検出してカメラ動き情報をCPU115に送る角速度センサ部である。
前記DRAM113は、一時的な画像記憶手段としての高速バッファとして、或いは画像の圧縮・伸張における作業用メモリなどに使用される。前記操作部118には、例えば次の様なものが含まれる。撮像装置の撮影機能や画像再生時の設定などの各種設定を行うメニュースイッチ、撮影レンズのズーム動作を指示するズームレバー、撮影モードと再生モードの動作モード切換えスイッチ、などである。
次に、図2のフローチャートを参照しながら本実施例に係る電子カメラの動作を説明する。まず、S201では、CPU115が、撮影準備を指示するSW1の状態(ON/OFF)を判定し、該状態がON(オン)状態(撮影準備時)ならばS212へ進み、OFF(オフ)状態(撮影準備前)の場合にはS202へ進む。S202では、所定の手順に従ってシーン安定判断を行う。S203では、S202において撮影シーンが安定したと判断したかどうかを調べ、安定したと判断していればS204へ進み、安定したと判断されていなければS201へ戻る。ここで、撮影シーンが安定した状態とは、撮影する被写体、カメラの状態が安定して維持され、撮影に適した状態になっていることである。
S204では、顔検出モジュール123において顔検出されたかどうかを調べ、顔検出されていればS207へ進み、顔検出されていなければS205へ進む。S207では、所定の手順に従って顔検出時AFスキャンを行い、S209へ進む。S205では、被写体領域特定用のAF枠設定を行う。AF枠とは、画面内の焦点評価値を取得する領域のことである。また、焦点評価値とは、撮像素子108から読み出されたアナログ映像信号をA/D変換部109がデジタル信号に変換し、その出力から画像処理部110が輝度信号の高周波成分を抽出した値のことである。この被写体領域特定用のAF枠設定の詳細については図12を用いて後述する。
S206では、被写体特定実施フラグがTRUEか否かを判断する。TRUEである場合はS208の被写体領域特定AFスキャンを実施し、FALSEである場合はS209のコンティニュアスAFに進む。S208では、後述する手順に従って被写体領域を特定するためのAFスキャンを行う(図4参照)。S209では、後述する手順に従ってコンティニュアスAFを行う(図8参照)。ここで、コンティニュアスAFを行わずに、単純に1回だけ、特定された被写体領域について合焦動作を行ったり、単に被写体領域を特定するのみに止めたりして、前記第2の動作に引き継がせるということも可能である。
S210では、所定の手順に従ってシーン不安定判断を行う。S211では、S210において撮影シーンが不安定と判断されたかどうかを調べ、不安定となっていればS201へ進み、不安定となっていなければS209へ進む。ここで、撮影シーンが不安定とは、撮影する被写体の状態、カメラの状態が不安定となり、撮影に適した状態ではなくなることである。S212では、合焦度判定フラグをFALSEにする。S213では、後述する手順に従って撮影処理を行う(図9参照)。
上述した動作と並行して、常にCPU115からの制御信号に基づきAE処理部103により、絞り及びシャッター102を制御して操作表示部117に表示される画像の明るさが適正になる様にAE動作を行っている。
次に、前記顔検出時AFスキャンや後述する図5の主被写体領域判定の過程における合焦判定のサブルーチンについて図3を用いて説明する。焦点評価値は、遠近競合などの場合を除けば、横軸にフォーカスレンズ位置、縦軸に焦点評価値をとると、その形は図3(b)に示す様な山状になる。そこで、焦点評価値の、最大値と最小値の差、一定値(Slope Thr)以上の傾きで傾斜している部分の長さ、傾斜している部分の勾配から、山の形状を判断することにより、合焦判定を行うことができる。
合焦判定における判定結果は、以下に示す様に○判定、×判定で出力される。
○判定:被写体のコントラストが十分、且つスキャンした距離範囲内の距離に被写体が存在する。
×判定:被写体のコントラストが不十分、若しくはスキャンした距離範囲外の距離に被写体が位置する。
また、×判定のうち、至近側方向のスキャンした距離範囲外に被写体が位置する場合を△判定とする。
山の形状を判断する為の、一定値以上の傾きで傾斜している部分の長さL、傾斜している部分の勾配SL/Lを、図3(b)を用いて説明する。SLは傾斜している部分の山の高さを示す。山の頂上(A点)から傾斜が続いていると認められる点をD点、E点とし、D点とE点の幅を山の幅Lとする。傾斜が続いていると認める範囲は、A点から、所定量(Slope Thr)以上、焦点評価値が下がったスキャンポイントが続く範囲とする。スキャンポイントとは、連続的にフォーカスレンズを動かして、スキャン開始点からスキャン終了点まで移動する間に、焦点評価値を取得するポイントのことである。A点とD点の焦点評価値の差SL1とA点とE点の焦点評価値の差SL2の和SL1+SL2をSLとする。
図3(a)のフローチャートにおいて、S601では、焦点評価値の最大値と最小値を求め、次にS602では焦点評価値が最大となるスキャンポイントを求め、S603へ進む。S603では、スキャンポイント、焦点評価値から、山の形状を判断する為のL、SLを求め、S604へ進む。S604では、山の形状が至近側登り止まりかを判断する。至近側登り止まりであると判断するのは、次の2つの条件を満たす場合である。1つの条件は、焦点評価値が最大値となるスキャンポイントがスキャンを行った所定範囲における至近端であることである。もう1つの条件は、至近端のスキャンポイントでの焦点評価値と、至近端のスキャンポイントより1ポイント分無限遠よりのスキャンポイントでの焦点評価値との差が、所定値以上であることである。至近側登り止まりだと判断した場合は、S609へ進み、そうでなければS605へ進む。S605では、山の形状が無限遠側登り止まりかを判断する。無限遠側登り止まりだと判断するのは、次の2つの条件を満たす場合である。1つの条件は、焦点評価値の最大値となるスキャンポイントがスキャンを行った所定範囲における無限遠端であることである。もう1つの条件は、無限遠端スキャンポイントにおける焦点評価値と、無限遠端スキャンポイントより1ポイント分至近端よりのスキャンポイントにおける焦点評価値との差が、所定値以上であることである。無限遠側登り止まりだと判断した場合は、S608へ進み、そうでなければS606へ進む。
S606では、一定値以上の傾きで傾斜している部分の長さLが所定値以上、且つ傾斜している部分の傾斜の平均値SL/Lが所定値以上、且つ焦点評価値の最大値(Max)と最小値(Min)の差が所定値以上であれば、S607へ進む。そうでなければ、S608へ進む。S607では、得られた焦点評価値が山状となっていて、被写体にコントラストがあり、焦点調節が可能である為、判定結果を○判定としている。S608では、得られた焦点評価値が山状となっておらず、被写体にコントラストがなく、焦点調節が不可能である為、判定結果を×判定としている。S609では、得られた焦点評価値が山状となってはいないが、至近側方向に登り続けている状態となっており、更に至近側に被写体ピークが存在している可能性がある為、判定結果を△判定としている。以上の様にして、合焦判定を行う。
次に、図12(a)のフローチャートを参照しながら本実施例における被写体領域特定用AF枠設定処理(前記第1の動作と第3の動作)について説明する。まず、S2701では、電子ズームをしているかどうかを調べ、電子ズームをしていなければS2703へ進み、電子ズームしている場合はS2702へ進む。S2703では、電子ズームでない場合のAF枠設定を行う。本実施例中では、図12(b)に示す様に電子ズーム状態でない場合はAF枠の大きさを縦横の長さ共に画面の15%とし、N1=5で5×5のAF枠設定を実施するものとする。次にS2706にて、被写体領域特定実施フラグをTRUEに設定し処理を終了する。先に図2を用いて説明した通り、このフラグ値の状態に応じて、図2のS208の被写体領域特定スキャンを実施するか、S209のコンティニュアスAFを実施するかが切り替わる。
一方、電子ズーム状態である場合にはS2702に進む。S2702では現在の電子ズーム倍率が2倍か否かを判断し、2倍である場合にはS2704に進み、2倍でない場合はS2705に進む。なお、本実施例における電子ズーム倍率は等倍、2倍、4倍とするが、これに限定されるものではない。S2704では、電子ズーム2倍時のAF枠設定を行う。本実施例中では、図12(c)に示す様に電子ズーム2倍である場合はAF枠の大きさを縦横の長さ共に画面の30%とし、N2=3で3×3のAF枠設定を実施するものとする。次にS2706にて、被写体領域特定実施フラグをTRUEに設定し処理を終了する。
一方、S2705では、電子ズーム4倍時のAF枠設定を行う。本実施例中では、図12(d)に示す様に電子ズーム4倍である場合はAF枠の大きさを縦横の長さ共に画面の60%とし、1×1のAF枠設定を実施するものとする。次にS2707にて、被写体領域特定実施フラグをFALSEに設定し処理を終了する。つまり、AF枠が1×1の場合は、図2のS208被写体領域特定AFスキャンには行かず、S209のコンティニュアスAFを実行する様にする。これまで述べてきた本実施例における電子ズームの倍率、画面サイズ、AF枠サイズ、及びAF枠の構成画素数の関係をまとめると次の表1の様になる。
以上説明してきた通り、本実施例中における被写体領域特定用AF枠設定処理では、電子ズームの倍率に応じて被写体領域特定用AFスキャンで使用するAF枠の大きさを切り替える。ここで電子ズームとは、画面中央領域を拡大して操作表示部117に表示することである。拡大するため操作表示部に表示される画像の画素数は電子ズームしない時に比べて少なくなる。従って、電子ズーム時に操作表示部117に表示される画像に対して、電子ズームをしない時と同じ態様でAF枠を設定した場合、電子ズームしない時に比べてAF枠を構成する画素数が少なくなる。各画素の出力はノイズを含むため、焦点評価値を算出する際に使用する画像データ数が少なくなることでノイズ成分の影響を受けやすくなり、その結果、焦点評価値のS/Nが低下する。そこで、本実施例では、電子倍率に応じてAF枠の数と大きさを変更し、電子ズーム時のAF枠を構成する画素数が一定になる様に制御する。このことで焦点評価値のS/Nの低下を防ぐことが可能となる。
なお、AF枠の大きさと数に関して、本発明は本実施例のものに限定されない。例えば、AF枠の大きさは画面内の主被写体の存在確率を考慮し、電子ズーム倍率が大きいほど大きく設定してもよい。また、水平方向と垂直方向でAF枠数が異なる設定であってもよい。また、電子倍率に応じて、必ずしもAF枠の数と大きさの両方を変更しなくてもよく、一方のみを変更してもよい。
次に図4(a)は、図2におけるS208の被写体領域特定AFスキャンを説明するフローチャートである。ここでは、画面内の主被写体の領域を特定するためのAFスキャンを行う。まず、S801では、所定の手順に従って前回参照判定を行う。前回参照判定では、前回AFスキャンを行った撮影シーンに対して、今回、撮影シーンがあまり変化していないかどうかを判定する。S802では、S801において前回参照判定した結果、前回と撮影シーンがあまり変わらないと判定された場合はS803へ進み、そうでなければS806へ進む。S803では、所定の手順に従って前回参照AFスキャンを行う。前回参照AFスキャンでは、前回の撮影シーンとあまり変わらないか否かの判断に基づきスキャン範囲の広狭を決定する。S804では、S803の前回参照AFスキャンにおいて主被写体領域が特定できたかどうかを調べ、主被写体領域が特定できていればS805へ進み、そうでなければS806へ進む。
S805では、ピーク検出フラグをTRUEにする。S806では、所定の手順に従ってゾーンAFスキャンを行う。ゾーンとは、合焦可能レンズ移動範囲を複数の範囲に分割した際の1つ1つの範囲のことを指す。S807では、S806のゾーンAFスキャンにおいて主被写体領域が特定できたかどうかを調べ、主被写体領域が特定できていればS805へ進み、そうでなければS808へ進む。S808では、所定の手順に従って一様面判断を行う。S809では、S806のゾーンAFスキャンにおいて主被写体領域が特定できなかったので、画面内に予め設定してある所定領域にAF枠を設定する。ここで、所定領域は、例えば画面の中央領域に1枠設定するなど、主被写体が存在しそうな領域に設定する。S810では、後述する手順に従ってフォーカス駆動を行う(図7参照)。なお、図4(b)は、図4(a)の被写体領域特定AFスキャン時におけるAF枠の例(上記図12(a)の被写体領域特定用AF枠設定処理で設定された例)を示す図である。
図5は、上記前回参照AFスキャンやゾーンAFスキャンの過程で実行される主被写体領域判定を説明するフローチャートである。ここでは、画面内の主被写体領域が特定できたかどうかを判定する。図6は、図5における主被写体領域判定の例を説明する図である。この例では、AF枠サイズの大きさを画面の10%、N=5、スキャン範囲を0〜500、所定深度範囲を±10とする。なお、スキャン範囲及び所定深度範囲の数値はフォーカスレンズ104の位置を表す数値である。これは、フォーカスレンズ104の駆動用モータにステッピングモータを使用する場合のパルス数に相当し、値が大きい方が至近側とする。
まず、S1201では、設定した各AF枠全てにおいて、前述した図3(a)の合焦判定を行う。例えば、各AF枠において図6(a)に示す様な合焦判定結果となるとする。S1202では、各AF枠における焦点評価値のピーク位置(以下PeakPosと記す)を算出して記憶しておく。例えば、各AF枠において図6(b)に示す様なピーク位置算出結果になるとする。S1203では、設定しているAF枠が1枠かどうかを調べ、設定しているAF枠が1枠であればS1214へ進み、そうでなければS1204へ進む。
S1204では、中央M×M枠の各AF枠のPeakPosを至近順にソートし、ソートされた数をSとする。以下の説明ではM=3とする。図6の太線で囲んだ縦3枠、横3枠の合計9枠がこれを示す。ここで、S1201の合焦判定で×判定のAF枠ではピーク位置が算出できないのでソートの対象としない。例えば、図6(b)の場合は、至近順に410、400、400、400、100、100、100、90とソートされ、ソート数S=8となる。
S1205では、S1202で算出したM×M枠内のピーク位置の至近順を示すカウンタPを1に設定する。S1206では、ソート順でP番目のPeakPosをPeakPosPとする。例えば、図6(b)の例はP=1の場合、PeakPosP=410となる。S1207では、中央のM×M個のAF枠中において○判定であって且つPeakPosPの枠に対して所定深度範囲内のAF枠の「かたまり」を検出し、「かたまり」を構成するAF枠の数と各AF枠の位置を記憶しておく。ここで、「かたまり」とは、例えば、条件を満たすAF枠が上下左右に隣接している状態のものである。また、「かたまり」が複数存在する場合には、「かたまり」を構成するAF枠の数や「かたまり」の位置に基づいて、複数の「かたまり」のうちの1つを選択してもよい。
S1208では、中央のN×N個のAF枠中において、中央のM×M個のAF枠中の枠を1枠以上含む様に、○判定であって且つPeakPosPに対して所定深度内の「かたまり」を検出する。そして、「かたまり」を構成するAF枠の数と各AF枠の位置を記憶しておく。例えば、図6(a)、(b)の様な判定結果に対して、図6(c)に灰色の枠で示す様な「かたまり」が検出される。
S1209では、S1207又はS1208で検出した「かたまり」が中央枠を含む「かたまり」であるかどうかを調べ、中央枠を含む「かたまり」であればS1215へ進み、そうでなければS1210へ進む。S1210では、S1207又はS1208で検出した「かたまり」が、M×M枠内に所定枠数以上含む「かたまり」であるかどうかを調べ、そうであればS1215へ進み、そうでなければS1211へ進む。S1211では、S1207又はS1208で検出した「かたまり」が、中央M×M枠のうちの枠を1枠は含み、N×N枠内のAF枠を所定数以上含む「かたまり」であるかどうかを調べ、そうであればS1215へ進む。そうでなければS1212へ進む。S1212では、カウンタPに1を加える。S1213では、カウンタPがソート数Sよりも大きいどうかを調べ、カウンタPがソート数Sよりも大きければS1217へ進み、そうでなければS1206に戻る。
S1214では、S1201での合焦判定結果が○判定かどうかを調べ、○判定であればS1215へ進み、そうでなければS1217へ進む。S1215では、主被写体領域が特定できたと判定する。S1216では、かたまりを構成する各AF枠を主被写体領域と判断して選択して本判定処理を終了する。ここで設定しているAF枠が1枠の場合はその1枠を選択する。S1217では、主被写体領域の特定ができなかったと判定して本判定処理を終了する。
図7は、図4(a)におけるS810のフォーカス駆動を説明するフローチャートである。まず、S2001では、主被写体領域が特定できたかどうかを調べ、特定できていればS2002へ進み、そうでなければS2003へ進む。S2002では、選択したAF枠中の最至近位置にフォーカスを駆動して本処理を終了する。S2003では、中央M×M枠中に○判定があるかどうかを調べ、○判定があればS2004へ進み、そうでなければS2005へ進む。S2004では、中央M×M枠中の○判定のうち最至近位置にフォーカスを駆動して本処理を終了する。S2005では、予め記憶している位置(定点)へと移動させて本処理を終了する。ここで、定点は、例えば、被写体の存在確率の高い距離に設定する。
次に、図8は、図2におけるS209のコンティニュアスAFを説明するフローチャートである。まず、S2101では、合焦度判定フラグをTRUEにする。S2102では、設定した各AF枠で焦点評価値を取得する。こうしたAF枠は、AFスキャン動作で特定した合焦すべき被写体領域を含み設定した1つ又は複数の焦点検出領域とすることができる。
S2103では、設定しているAF枠が1枠かどうかを調べ、設定しているAF枠が1枠の場合はS2105へ進み、そうでない場合はS2104へ進む。S2104では、主被写体領域として選択したAF枠の焦点評価値を用いて演算した評価値をS2105以降に用いる焦点評価値として設定し直す。これにより、撮影シーンが変化して画面内の主被写体領域が変化しても、常に画面内の主被写体領域の焦点評価値を算出することができる。S2105では、焦点評価値に基づいて合焦度を算出する。本実施例では、焦点評価値に基づいて、合焦度を高、中、低の3段階で決定することにする。S2106では、CPU115が、撮影準備を指示するSW1の状態(ON/OFF)を判定し、該状態がON(オン)状態ならば本処理を終了して図2のS213へ進み、OFF(オフ)状態の場合にはS2107へ進む。S2107では前述したシーン変化判定を行う。
S2108では、ピーク検出フラグがTRUEであるかどうかを調べ、TRUEであればS2125へ進み、FALSEであればS2109へ進む。S2109では、フォーカスレンズ104の現在位置を取得する。S2110では、焦点評価値の取得及びフォーカスレンズ104の現在位置の取得をカウントするための取得カウンタに1を加える。この取得カウンタは、初期化動作(図示略)において予め0に設定されているものとする。S2111では、取得カウンタの値が1かどうかを調べ、取得カウンタの値が1ならばS2114へ進み、取得カウンタの値が1でなければS2112へ進む。S2112では、「今回の焦点評価値」が「前回の焦点評価値」よりも大きいかどうかを調べ、そうであればS2113へ進み、そうでなければS2120へ進む。S2113では、増加カウンタに1を加える。S2114では、今回の焦点評価値を焦点評価値の最大値としてCPU115に内蔵される図示しない演算メモリに記憶する。S2115では、フォーカスレンズ104の現在の位置を焦点評価値のピーク位置としてCPU115に内蔵される図示しない演算メモリに記憶する。S2116では、今回の焦点評価値を前回の焦点評価値としてCPU115に内蔵される図示しない演算メモリに記憶する。S2117では、フォーカスレンズ104の現在位置が焦点検出範囲の端にあるかどうかを調べ、そうであればS2118へ進み、そうでなければS2119へ進む。S2118では、フォーカスレンズ104の移動方向を反転する。S2119では、フォーカスレンズ104を所定量移動する。
S2120では、「焦点評価値の最大値−今回の焦点評価値」が所定量より大きいかどうかを調べ、「焦点評価値の最大値−今回の焦点評価値」が所定量より大きければステップS2121へ進み、そうでなければステップS2116へ進む。ここで「焦点評価値の最大値−今回の焦点評価値」が所定量より大きいこと、即ち最大値から所定量減少していれば、その最大値をピントのピーク位置での値とみなす。S2121では、増加カウンタが0より大きいかどうかを調べ、0より大きければS2122へ進み、0より小さければS2116へ進む。S2122では、フォーカスレンズ104を前記S2115で記憶した焦点評価値が最大値となったピーク位置へ移動させる。S2123では、ピーク検出フラグをTRUEとする。S2124では、取得カウンタを0とする。S2125では、今回の焦点評価値が焦点評価値の最大値に対して所定割合以上変動したかどうかを調べ、所定割合以上の大きな変動をしていればS2127へ進み、小さな変動であればS2126へ進む。S2126では、フォーカスレンズ104の位置をそのまま保持する。S2127では、焦点評価値が最大となるフォーカスレンズ位置を再び求め直すため、ピーク検出フラグをFALSEとし、焦点評価値の最大値及びピーク位置をリセットする。S2128では、増加カウンタをリセットする。
以上の様にして、コンティニュアスAF動作では常に主被写体が合焦状態となる様にフォーカスレンズを駆動する。
次に、図9は、図2におけるS213の撮影処理(前記第2の動作)を説明するフローチャートである。まず、S2301では、AE処理部103で本露光用のAE処理を行う。S2302では、後述する手順に従って本露光用のAFを行う(図10(a)参照)。S2303では、CPU115は撮影スイッチSW2(122)の状態(ON/OFF)を判定し、該状態がONならばS2305へ進むが、OFF状態の場合にはS2304へ進む。S2304では、撮影準備を指示するSW1の状態(ON/OFF)を判定し、該状態がON(オン)状態ならS2303へ進み、OFF(オフ)状態の場合には本処理を終了する。S2305では、後述する手順に従って本露光処理を行い(図11参照)、本処理を終了する。
図10(a)は、図9におけるS2302の本露光用AFを説明するフローチャートである。まず、S2401では本露光用のAF枠設定を行う。本露光用のAF枠設定は、中央領域に所定の大きさで1枠設定しても、N×N枠の複数枠で設定してもよい。S2402では、主被写体検出フラグがTRUEであるかどうかを調べ、TRUEであればS2403へ進み、そうでなければS2409へ進む。S2403では、S2105で算出した合焦度が「高」であるかどうかを調べ、合焦度が「高」であればS2404へ進み、そうでなければS2405へ進む。S2404では、現在のフォーカスレンズ104の位置を中心にスキャン範囲を第1の範囲に設定する。ここでは、コンティニュアスAF動作により主被写体にほぼピントが合っている状態、つまり焦点評価値がピークを示す合焦位置付近にフォーカスレンズが位置すると判断して、狭いスキャン範囲を設定する。S2405では、S2105で算出した合焦度が「中」であるかどうかを調べ、合焦度が「中」であればS2406へ進み、そうでなければS2407へ進む。S2406では、現在のフォーカスレンズ104の位置を中心にスキャン範囲を第2の範囲に設定する。ここでは、コンティニュアスAF動作により合焦位置付近にフォーカスレンズが位置しているが、合焦度が「高」状態ほどではないと判断して第1のスキャン範囲より範囲を広げた狭い範囲とする。S2407では、フォーカスレンズ104の現在位置がマクロ領域かどうかを調べ、マクロ領域であればS2408へ進み、そうでなければS2409へ進む。S2408では、予め記憶してあるマクロ領域であるスキャン範囲を第3の範囲に設定する。S2409では、スキャン範囲を予め記憶してある測距可能範囲全域である第4のスキャン範囲に設定する。S2410では、後述する手順に従って本露光用AFスキャンを行う。S2411では、後述する図10(b)のS2506で算出したピーク位置にフォーカスレンズ104を移動させる。
図10(b)は、図10(a)におけるS2405の本露光用AFスキャンを説明するフローチャートである。まず、S2501では、フォーカスレンズ104をスキャン開始位置へと移動させる。ここでスキャン開始位置とは、図10(a)のS2404又はS2406又はS2408又はS2409で設定したスキャン範囲の端位置とする。S2502では、撮像素子108から読み出されたアナログ映像信号をA/D変換部109がデジタル信号に変換し、その出力から画像処理部110が輝度信号の高周波成分を抽出し、CPU115はこれを焦点評価値として記憶させる。S2503では、フォーカスレンズ104の現在位置を取得してCPU115が該位置のデータを記憶させる。S2504では、CPU115がフォーカスレンズ104の現在位置がスキャン終了位置と等しいかを調べ、両者が等しい場合にはS2506へ進み、そうでなければS2505へ進む。S2505では、フォーカスレンズ104をスキャン終了方向へ向かって所定量だけ移動させた後、S2502に戻る。S2506では、S2502で記憶した焦点評価値とそのレンズ位置から、焦点評価値のピーク位置を計算する。焦点評価値のピーク位置を計算するにあたって、AF枠を複数枠設定した場合は、図5で説明した主被写体領域判定により決定した主被写体領域の最至近ピーク位置に基づいて計算してもよいし、別の判断の仕方をしてピーク位置計算を行ってもよい。
図11は、図9におけるS2305の本露光処理を説明するフローチャートである。まず、S2601における撮像素子108の露光後に、S2602では撮像素子108に蓄積されたデータを読み出す。S2603では、A/D変換部109で撮像素子108から読み出したアナログ信号をデジタル信号に変換する。S2604では、画像処理部110で、A/D変換部109から出力されるデジタル信号に対して各種画像処理を施す。S2605では、S2604で処理した画像をCPU115の制御下でJPEGなどのフォーマットにしたがって圧縮する。S2606では、S2605で圧縮したデータを画像記録部114に送り、記録させる様にCPU115が制御を行う。
以上説明した様に本実施例によれば、撮影シーンが電子ズーム状態であっても主被写体の検出性能の低下を抑えることが可能となる。そして、撮影準備指示前に主被写体領域を特定してピントを合わせ続けることで、撮影準備指示後に、主被写体に素早くピントをあわせることが可能となる。
(実施例2)
以下、図面を参照しながら本発明の実施例2について説明する。実施例2では、図2のS205の被写体特定用AF枠設定に関して、電子ズーム倍率に応じて撮像素子の駆動、焦点評価値を算出する際の抽出する周波数帯域を切り替えることにより、電子ズーム時の焦点評価値の算出の精度低下を抑える。図4(a)の被写体領域特定AFスキャンや図5の主被写体領域判定などのその他の動作は、実施例1と同様に行われる。
図13(a)のフローチャートを参照しながら、本実施例における被写体領域特定用AF枠設定処理について説明する。まず、S2901では、電子ズームをしているかどうかを調べ、電子ズームをしていなければS2903へ進み、電子ズームしている場合はS2902へ進む。S2903では、センサの駆動Aに切り替える。このセンサ駆動Aとは等倍表示用の駆動である。次にS2906では、バンドパスフィルタの設定を、抽出する周波数帯域Aとなる様に設定する。これは、本実施例中では水平方向の輝度の高周波成分を抽出して焦点評価値を算出するものとし、センサ駆動Aの水平方向の画素数に応じて、適切な周波数帯域の成分を抽出するためである。S2909では、操作表示部117に表示される画面のサイズに応じてAF枠の設定を行う。電子ズーム状態でない場合は、図13(b)に示す様にAF枠の大きさを縦横共に画面の15%とし、N=5で5×5のAF枠設定を実施するものとする。次にS2910では、被写体領域特定実施フラグをTRUEに設定し処理を終了する。
先に図2を用いて説明した通り、このフラグ値の状態に応じて、図2のS208の被写体領域特定スキャンを実施するか、S209のコンティニュアスAFを実施するかが切り替わる。ただし、本実施例では、どの場合でもS2910を経由させることで図2のS208の被写体領域特定スキャンを実施させる様にする。
一方、電子ズーム状態である場合にはS2902に進む。S2902では、現在の電子ズーム倍率が2倍か否かを判断し、2倍である場合にはS2904に進み、2倍でない場合はS2905に進む。なお、本実施例中における電子ズーム倍率も等倍、2倍、4倍とするが、これに限定されるものではない。S2904では、センサの駆動Bに切り替える。センサ駆動Bとは、図13(b)のAreaAを拡大する際に、拡大表示される画面の垂直ライン数Line2が図13(b)のLine1と等しく、水平画素数Pixel2が図13(b)のPixel1と等しく設定されたセンサ駆動である。次にS2907では、バンドパスフィルタの設定を、抽出する周波数帯域Bとなる様に設定する。S2909では、先に述べた説明と同様に操作表示部117に表示される画面のサイズに応じてAF枠の設定を行う。電子ズーム2倍である状態では、図13(c)に示す様にAF枠の大きさを縦横共に拡大表示した画面の15%とし、N=5で5×5のAF枠設定を実施するものとする。次にS2910では、被写体領域特定実施フラグをTRUEに設定し処理を終了する。
また、S2902にて電子ズーム倍率が2倍でない場合にはS2905に進む。S2905では、センサの駆動Cに切り替える。センサ駆動Cとは、図13(c)のAreaBを拡大する際に、拡大表示する際の垂直ライン数Line3が図13(c)のLine2と等しく、水平画素数Pixel3が図13(c)のPixel2と等しくなる様に設定されたセンサ駆動である。次にS2908では、バンドパスフィルタの設定を、抽出する周波数帯域Cとなる様に設定する。S2909では、先に述べた説明と同様に操作表示部117に表示される画面のサイズに応じてAF枠の設定を行う。電子ズーム4倍である状態では、図13(d)に示す様にAF枠の大きさを縦横共に拡大表示した画面の15%とし、N=5で5×5のAF枠設定を実施するものとする。次にS2910では、被写体領域特定実施フラグをTRUEに設定し処理を終了する。
これまで述べてきた本実施例における各センサ駆動、画像データサイズ、画面サイズ、AF枠サイズ(画面サイズに対する比率)、AF枠サイズの関係をまとめると次の表2の様になる。
なお、本実施例のセンサ駆動の実現方法について、撮像素子内での画素加算や不要なライン、画素の間引きが適用できる。例えば、図13(d)は間引き適用せず拡大領域を切り出した状態である。図13(c)は拡大領域を切り出した状態の垂直ライン数Line2がLine1、Line3と同じになる様に間引きを適用する。また図13(b)は拡大しない状態での垂直ライン数Line1がLine2、Line3と同じになる様に間引きを適用する。
以上述べてきた様に、本実施例では、電子ズーム倍率を実現する様にセンサ駆動を切り替え、各倍率におけるAF枠の数と大きさを固定し、AF枠を構成する画素数をどの倍率でも同じになる様に設定する。この様に電子ズーム倍率とセンサ駆動を切り替えることにより、従来の表示の拡大に応じてAF枠内の画素数が少なくなる場合と比べて、焦点評価値のS/Nの低下を抑えることが可能となる。本実施例によっても、実施例1と同様な効果が得られる。