以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
(第1の実施形態)
図1は、本発明の撮像装置の第1の実施形態であるビデオカメラの構成を示す図である。
図1において101はフォーカスレンズ(光学系)であり、光軸方向に移動させることでピント面を変えることができる。このレンズを通った光がCMOSセンサ102の撮像面上に結像され、電気信号に光電変換される。この光電変換された信号を読み出し、CDS/AGC103でサンプルホールドすると同時に最適なゲインに増幅し、A/D変換器104でデジタル信号に変換する。
カメラ信号処理回路105で、A/D変換器104で変換されたデジタル信号をTV信号のフォーマットに信号処理し、撮像信号中からAF評価値生成のために輝度信号Yを出力する。この輝度信号Yをガンマ補正回路106に入力し、低輝度成分を強調し、高輝度成分を抑圧するようにガンマ補正する。
次に、各評価値について説明する。なお、領域設定回路117で設定した焦点信号を抽出する領域を、以降はAF枠と定義する。
<Yピーク評価値>
ガンマ補正回路106でガンマ補正した輝度信号Yを、水平ライン毎のラインピーク値を検出するためのラインピーク検出回路107へ入力する。この回路によって、領域設定回路117によって設定されたAF枠内で水平ライン毎のYラインピーク値を求める。さらに、ラインピーク検出回路107の出力を垂直ピーク検出回路108に入力する。この回路によって、領域設定回路119によって設定されたAF枠内(AF領域内)で垂直方向にピークホールドを行い、Yピーク評価値を生成する。Yピーク評価値は高輝度被写体や、低照度被写体の判定に有効である。
<Max−Min評価値>
ガンマ補正回路106でガンマ補正した輝度信号Yを、ラインピーク検出回路107に入力する。この回路によって、領域設定回路117によって設定されたAF枠内で水平ライン毎のYラインピーク値を求める。また、ガンマ補正回路106でガンマ補正した輝度信号Yを、ライン最小値検出回路109に入力する。この回路によって輝度信号YのAF枠内で水平ライン毎のYの最小値を検出する。検出された水平ライン毎のYのラインピーク値及び最小値を減算器に入力し、ラインピーク値−最小値を計算した上で垂直ピーク検出回路110に入力する。この回路によってAF枠内で垂直方向にピークホールドを行い、Max−Min評価値を生成する。Max−Min評価値は低コントラスト・高コントラストの判定に有効である。
<全ライン積分評価値、所定ライン積分評価値、領域ピーク評価値>
ガンマ補正回路106でガンマ補正した輝度信号Yを、BPF111に通すことによって所定の周波数成分を抽出し焦点信号を生成する。そしてこの焦点信号を、水平ライン毎のラインピーク値を検出するためのラインピーク検出回路112へ入力する。ラインピーク検出回路112は、AF枠内で水平ライン毎のラインピーク値を求める。求めたラインピーク値を、垂直積分回路113によってAF枠内で垂直方向に積分(所定水平走査ライン数積分)することで、全ライン積分評価値を生成する。全ライン積分評価値は積分の効果でダイナミックレンジが広く、感度が高いので合焦動作を行うAFのメインの評価値として有効である。
また、ラインピーク検出回路112によって求めた水平ライン毎のラインピーク値を、所定ラインピーク抽出回路114へ入力する。所定ラインピーク抽出回路114では、図14のように、ラインピーク値が大きなものから順に、後述する制御マイコン119によって所定ライン数設定回路118に設定した所定ライン数だけラインピーク値を抽出する。具体的には、所定ラインピーク抽出回路114内に、入力されたラインピーク値を大きな順に保持するバッファを用意し、所定ライン数設定回路118に設定されている数だけバッファにデータを保持するようにする。そして、入力されたラインピーク値と、バッファに保持しているデータを比較することで、大きい値のみをバッファに残すようにする。こうしてバッファに抽出したデータを出力し、垂直積分回路115に入力して積分することで、所定ライン積分評価値を生成する。所定ライン積分評価値は、点光源被写体を代表する、被写体がボケた時も鮮鋭度が落ちにくい被写体に対して有効な評価値である。
またラインピーク検出回路112によって求めた水平ライン毎のラインピーク値を、垂直ピーク検出回路116によってAF枠内でピークホールドし、領域ピーク評価値を生成する。領域ピーク評価値は、AF枠内で被写体が移動しても変化が少ないので、合焦状態から再度合焦点を探す処理に移行するための、再起動判定に有効である。
本発明に至る課題として、図3のように点光源被写体を撮影した場合、非合焦のときはそれぞれのラインピーク値は小さくなるが被写体が掛かる走査ライン数が増える。また、合焦しているときはそれぞれのラインピーク値は大きくなるが被写体が掛かる走査ライン数が少なくなる。このとき、合焦付近ではラインピーク値よりも走査ライン数の変化の方が大きいために、非合焦のときと比べて合焦しているときの全ライン積分評価値は減少してしまう。そして、図4のように全ライン積分評価値が最大になる点が合焦点とならず、少し焦点がずれた点で全ライン積分評価値が最大になる。このため、全ライン積分評価値が大きくなるように焦点調節を行うと、合焦できないという問題が発生してしまっていた。
上記問題を解決するため、本実施形態では、図5のように合焦時の点光源被写体が存在する走査ライン数以下で固定し、ラインピーク値が大きなライン順に一定の走査ライン数を積分して所定走査ライン積分評価値を生成する(第1のAF評価値生成)。
これは、全ライン積分評価値は非合焦時より合焦時の方が小さいものの、ラインピーク値は非合焦時より合焦時の方が大きいので、ラインピーク値が大きなものだけを一定数積分すれば、合焦時のほうが積分評価値が大きくなるという考えである。また、ラインピーク値が大きなものから順に選ぶのは、点光源が存在し、かつエッジ成分が顕著に表れているラインピーク値を正確に選び出すことによって、合焦時に最大になる積分評価値を精度よく生成するためである。
以上のようにして、点光源撮影時にも所定ラインを積分して積分評価値を生成すれば、図6のように合焦時に積分評価値が最大となる。つまり、積分評価値が大きくなるように焦点調節を行うTV−AF方式によって、点光源被写体でも合焦させることができる。
ところで、所定ライン積分評価値は全ライン積分評価値と比べて使用する走査ライン数が少ないためにノイズの影響を受けやすく、特に図6における所定ライン積分評価値の山のすそ野ではうまく方向判別できない可能性がある。そのため、合焦近傍の追い込み時等の必要最小限でのみ所定ライン積分評価値を使用できるように、全ライン積分評価値から所定ライン積分評価値にタイミングよく切り替える(2種類以上の積分評価値の間で選択的に切り替える)ことが重要である。
上述した所定ライン数の選択方法及び所定ライン積分評価値を使用するタイミングについては、後述する制御マイコン119の制御の説明の際に詳しく記述する。
領域設定回路117は、後述する制御マイコン119によって設定した撮像画面内の所定の位置に少なくとも1つのAF枠用のゲート信号を生成し、AF枠の領域に対応する焦点信号のみを抽出する。ゲート信号は、上述したラインピーク検出、ライン最小値検出、垂直ピーク検出、垂直積分、所定ライン抽出の各回路に入力され、各AF評価値がAF枠内のY信号で生成されるようにタイミング信号を入力する。AF枠を複数設定する場合は、それぞれの枠毎の各AF評価値を得る必要があるため、本システム構成の流れにおいて領域設定回路117から最初にゲート信号が入力される回路である、ラインピーク検出回路107、ライン最小値検出回路109、ラインピーク検出回路112の出力以降では、データバスの数を必要なAF枠の数だけ用意する。
所定ライン数設定回路118は、所定ライン積分評価値を生成する上で、積分する所定ライン数(水平走査ライン数)を所定ラインピーク抽出回路114へ送る。この回路に設定された所定ライン数で積分が行われ、所定ライン積分評価値が生成される。なお、所定ライン数は制御マイコン119で決定される。ところで、所定ライン数設定回路118に設定する所定ライン数は、値が大きすぎると合焦点で積分評価値が最大にならず合焦点を間違えてしまうという問題が改善できず、値が小さすぎると積分評価値のノイズが大きくなってしまうためにフォーカスレンズを駆動する方向を間違えたり、不安定なAF制御になってしまう可能性がある。よって、所定ライン積分評価値を使用するには適切な所定ライン数を選択することが重要になる。設定する所定ライン数としては、合焦点で積分評価値が最大になる限界のライン数か、それより少し小さい値が望ましい。点光源の数や大きさにも依存するが、10ライン前後が妥当と考えられる。
制御マイコン119は、領域設定回路117に撮像画面内の所定の位置に少なくとも1つのAF枠用のゲートを設定すると共に、所定ライン数設定回路118にラインピーク値を抽出する所定ライン数を設定する。
さらに、各AF評価値を取り込み、各AF評価値の履歴をメモリ120に一定期間保持し、必要に応じて過去のAF評価値を参照することができる。そして、AF制御に使用するAF評価値を選択し、モータドライバ121を通じてモータ122を制御し、フォーカスレンズ101を光軸方向に移動させてAF制御を行う。
次に、制御マイコン119で行われるAF制御について図7〜図13を用いて詳しく説明する。
図7を用いてメインのAF処理について説明する。ステップS701はAF制御の開始を示している。ステップS702で微小駆動動作を行い、合焦か、合焦でないならどちらの方向に合焦点があるかを判別する。微小駆動動作の詳細な説明は後述する。ステップS703においては、ステップS702で合焦と判別された場合はステップS709へ行き合焦時の処理を行い、ステップS702で合焦と判別されなかった場合はステップS704へ行く。ステップS704においては、ステップS702で合焦方向の判別ができている場合はステップS705へ行き山登り駆動動作を行い、ステップS702で合焦方向の判別ができていない場合はステップS702へ戻り微小駆動動作を継続する。ステップS705では、AF評価値が大きくなる方向へ高速でレンズを山登り駆動する。山登り駆動動作の詳細な説明は後述する。ステップS706においては、ステップS705でAF評価値のピークを越えたと判別された場合はステップS707へ行き、ステップS705でAF評価値のピークを越えたと判別されない場合はステップS705へ戻り山登り駆動を継続する。ステップS707では、山登り駆動中のAF評価値がピークのレンズ位置にレンズを戻す。ステップS708においては、ステップS707でピークのレンズ位置に戻った場合はステップS702へ戻り再び微小駆動動作を行い、ステップS707でピークのレンズ位置に戻っていない場合はステップS707へ戻りピークに戻す動作を継続する。
次に、ステップS709からの合焦時の再起動判定処理について説明する。ステップS709ではAF評価値を保持する。ステップS710では、最新の各種AF評価値を取得する。ステップS711では、ステップS709で保持したAF評価値とステップS710で新たに取得したAF評価値とを比較し所定レベル以上差があれば再起動と判定し、ステップS702へ行き微小駆動動作を再開する。ステップS711で再起動と判定されていなければステップS712へ行く。ステップS712では、レンズを停止しステップS710へ戻り再起動判定を継続する。
次に、微小駆動動作について図8を用いて説明する。ステップS801は処理の開始を示している。ステップS802では、フォーカスレンズを至近方向に駆動する。そしてステップS803で、ステップS802で至近方向にフォーカスレンズを動かした地点の最新の各種AF評価値を取得する。さらに、ステップS804では、ステップS802とは逆方向の無限遠方向にフォーカスレンズを駆動する。そしてステップS805で、ステップS804で無限遠方向にフォーカスレンズを動かした地点の最新の各種AF評価値を取得する。ステップS806においては、至近方向で取得したステップS803のAF評価値と無限遠方向で取得したステップS805のF評価値を比較し、至近方向で取得したAF評価値の方が大きければステップS807へ、無限遠方向で取得したAF評価値の方が大きければステップS808へ進む。ステップS807では、至近方向のAF評価値が高く、合焦方向が至近方向にあることがわかったので、フォーカスレンズの駆動を行う中心位置を至近方向に移行し、ステップS809の処理に移る。ステップS808では無限遠方向のAF評価値が高く、合焦方向が無限遠方向にあることがわかったので、フォーカスレンズの駆動を行う中心位置を無限遠方向に移行し、ステップS809の処理に移る。ステップS809においては、所定回数連続して合焦方向と判断される方向が同一であればステップS813へ進み、所定回数連続して同一方向に進んでいなければステップS810へ進む。ステップS810においては、所定回数フォーカスレンズが所定範囲で往復を繰り返していればステップS812へ進み、所定時間フォーカスレンズが所定範囲にいなければステップS811で処理を終了し、再びステップS802の処理に戻り微小駆動動作を行う。ステップS813では方向判別できたとして、ステップS811で微小駆動動作を終了し、山登り駆動へ移行する。ステップS812では合焦判別できたとしてステップS811で微小駆動動作を終了し、再起動判定ルーチンへ移行する。
上記のレンズ動作の時間経過を示したのが図9である。最初に、フォーカスレンズがAの位置にある。まず、フォーカスレンズを至近方向であるBの位置へ駆動し、CMOSセンサに蓄積された電荷に対する評価値BがTBで取り込まれる。次に、フォーカスレンズを無限遠方向であるCの位置へ駆動し、CMOSセンサに蓄積された電荷に対する評価値CがTCで取り込まれる。なお、評価値B、Cは、中心位置「中心Start」から至近、無限遠方向にそれぞれ同じだけフォーカスレンズを動かしたときのAF評価値である。さらに、TCで評価値B、Cを比較し、B>Cであれば、フォーカスレンズを駆動する中心位置を「中心Start」から「中心near」に移行する。それによって、フォーカスレンズを、「中心near」から至近方向であるD_near、無限遠方向であるE_nearにそれぞれ駆動し、D_nearとE_nearのAF評価値を比較することで、再びレンズを駆動する中心位置を変更していく。一方、B<Cであれば、フォーカスレンズを駆動する中心位置を「中心Start」から「中心far」に移行する。それによって、フォーカスレンズを、「中心far」から無限遠方向であるE_far、至近方向である不図示のF_farにそれぞれ駆動し、E_farとF_farのAF評価値を比較することで、再びレンズを駆動する中心位置を変更していく。ここで、レンズの駆動量は一回の移動でフォーカスの動きが撮像信号をTV画面等で見て分からないような量を、焦点深度を元に決定する。
次に、山登り駆動動作について図10を用いて説明する。ステップS1001は処理の開始を示している。ステップS1002では、最新の各種AF評価値を取得する。ステップS1003においては、ステップS1002で取得したAF評価値が、前回取得したAF評価値より大きければステップS1004へ進み、前回取得したAF評価値より小さければステップS1006へ進む。ステップS1004では前回と同じ方向に所定の速度でフォーカスレンズを駆動し、ステップS1005で処理を終了し、再びステップS1002へ戻る。一方、ステップS1006においては、AF評価値がピークを越えて減っていなければステップS1007へ進み、AF評価値がピークを越えて減っていればステップS1008へ進みピークを越えたと判定し、処理を終了する。ステップS1007では、前回と逆方向に所定の速度でフォーカスレンズを駆動して処理を終了し、再びステップS1002へ戻る。
上記のレンズ動作を説明したのが図11である。最初に、山登り駆動動作の開始位置を図中のstartとする。まず、startから実線で結んだAの地点まで山登り駆動したとすると、A地点はピークを越えて減少しているので、今まで駆動したところにピークがあるとして山登り駆動動作を終了し、レンズ位置をピーク付近まで戻し、微小駆動動作に移行する。一方、startから一点鎖線で結んだBの地点まで山登り駆動したとすると、B地点はピークが無く減少しているので方向を間違えたものとして反転し、再び山登り動作を続ける。なお、一定時間あたりの移動量は上記の微小駆動よりも大きな移動量となる。
次に、図7のステップS716、図8のステップS803、ステップS805、図10のステップS1002のAF評価値取得処理について、図12を用いて説明する。ステップS1201は処理の開始を示している。ステップS1202では、AF制御に使用する使用AF評価値を決定する。ステップS1202の詳細な処理は図13で説明する。ステップS1203では、図1の垂直ピーク検出回路108、110、116及び、垂直積分回路113、115で取得した各AF評価値をメモリ120へ記録する。記録したAF評価値は、ステップS1202の使用AF評価値選択処理でAF評価値を選択する上で参照する。ステップS1204で処理を終了する。
次に、本実施形態の特徴とする部分である図12のステップS1202の使用AF評価値選択処理について、図13を用いて説明する。ステップS1301は処理の開始を示している。ステップS1302では現在使用している評価値が、全ライン積分評価値か所定ライン積分評価値のどちらなのかを判断する。全ライン積分評価値を使用している場合はステップS1303へ進み、所定ライン積分評価値を使用している場合はステップS1307へ進む。ステップS1303では、まず全ライン積分評価値を使用AF評価値として選択しステップS1304へ進む。ステップS1304では、全ライン積分評価値が減少傾向かどうかを判断し、減少傾向な場合はステップS1305へ進み、減少傾向でない場合はステップS1311へ進み処理を終了し、全ライン積分評価値を使用AF評価値として確定する。ステップS1305では所定ライン積分評価値が増加傾向かどうかを判断し、増加傾向な場合はステップS1306へ進み、増加傾向でない場合はステップS1311へ進み処理を終了し、全ライン積分評価値を使用AF評価値として確定する。ステップS1306では、使用AF評価値を所定ライン積分評価値と選択し直した上でステップS1311へ進み処理を終了する。
上記ステップS1303、ステップS1304、ステップS1305、ステップS1306の処理は本実施形態の特徴とする部分であり、図15を用いて詳細に説明する。図15は、(a)通常被写体及び(b)点光源被写体を撮影したときの、(1)全ライン積分評価値及び(2)所定ライン積分評価値を表した図である。通常、合焦点が最も積分評価値が高くなり、TV−AF制御では積分評価値が最も高い位置にフォーカスレンズを駆動することが前提である。また、所定ライン積分評価値は、積分するライン数が少ないために、山のすそ野の評価値が滑らかに出ず、山のすそ野ではうまく方向判別ができないため、合焦近傍でのみ使用したいという点も踏まえて説明する。まず、(a)通常被写体撮影時は、全ライン積分評価値及び所定ライン積分評価値は図の左列のようになる。例えば、合焦点を探してフォーカスレンズを無限遠方向から至近方向に駆動させた場合、合焦点を過ぎて全ライン積分評価値が減少した時、所定ライン積分評価値も減少する。この場合、TV−AF制御によって最も積分評価値が高い位置にフォーカスレンズを駆動することで被写体に合焦させることができる。このように通常被写体を撮影している場合、積分するライン数が多くダイナミックレンジが大きくノイズが少ない全ライン積分評価値を使用することで、安定したAF動作ができる。次に、(b)点光源被写体撮影時は、全ライン積分評価値及び所定ライン積分評価値は図の右列のようになる。(a)と同様に、合焦点を探してフォーカスレンズを無限遠方向から至近方向に駆動させた場合、先述した通り最も全ライン積分評価値が高い位置が合焦点とならない。しかし、全ライン積分評価値が減少したとき、所定ライン積分評価値は合焦点がピークなので、まだ増加している。すなわち、全ライン積分評価値が減少した時、所定ライン積分評価値が増加していれば、被写体が点光源被写体であると考えることができる。そこで、使用する積分評価値を、全ライン積分評価値から所定ライン積分評価値に切り替えることで、TV−AF制御でも点光源被写体に合焦させることができる。このように、全ライン積分評価値が減少した時の所定ライン積分評価値の増減によって、被写体が通常被写体か点光源被写体かを判断できる。そして、合焦近傍の追い込みに使用する積分評価値を点光源被写体の場合には所定ライン積分評価値に切り替えることで、通常被写体にも点光源被写体にもTV−AF制御で合焦させることができる。また、この手法では、複雑な点光源被写体判断手段を必要としないため、簡単な制御で点光源被写体に合焦させることができるというメリットもある。
図13の説明に戻り、ステップS1302で,現在所定ライン積分評価値若しくは所定ライン積分評価値平均を使用していると判断した場合に進むステップS1307から続けて説明する。ステップS1307では、使用している評価値が所定ライン積分評価値であったので、まず所定ライン積分評価値を使用AF評価値として選択しステップS1308へ進む。ステップS1308では、全ライン積分評価値が減少傾向かどうかを判断し、減少傾向な場合はステップS1309へ進み、減少傾向でない場合はステップS1311へ進み処理を終了し、所定ライン積分評価値を使用AF評価値として確定する。ステップS1309では所定ライン積分評価値が減少傾向かどうかを判断し、減少傾向な場合はステップS1310へ進み、減少傾向でない場合はステップS1311へ進み処理を終了し、所定ライン積分評価値を使用AF評価値として確定する。ステップS1310では、使用AF評価値を全ライン積分評価値と選択し直した上でステップS1311へ進み処理を終了する。全ライン積分評価値が減少傾向でかつ、所定ライン積分評価値も減少傾向になっていたら、被写体が点光源以外に変わっていることや、映像が大きくボケていることが考えられるので、焦点調節に使用する評価値をダイナミックレンジが大きくノイズ影響が少ない全ライン積分評価値に戻す。また、パンニングが発生したときは被写体が変わったと判断して所定ライン積分評価値から全ライン積分評価値に戻してもよい。さらに、高輝度成分の有無が判定しやすいYピーク評価値及びMax−Min評価値のレベルが継続して減少しているときは、被写体が点光源以外だと判断して使用する評価値を全ライン積分評価値に戻してもよい。
以上説明したように、制御マイコン119は、再起動判定→微小駆動→山登り駆動→微小駆動→再起動判定を繰り返しながらフォーカスレンズを移動させAF評価値を大きくするように制御している。本実施形態では、全ライン積分評価値を使用してAF制御を行っている際、全ライン積分評価値が減少したときに所定ライン積分評価値が増加していたら、点光源被写体を撮影していると見なし、使用するAF評価値を所定ライン積分評価値に切り替える。それによって、点光源被写体を撮影したときに従来は図4のように合焦点のAF評価値が最大にならなかったものが、図6のように合焦時に最大となるAF評価値に乗り換えて焦点調節を行える。このような手法をとることで、従来のように合焦点の極小点を見つけだすという手法を用いる必要はなく、TV−AF制御で、しかも複雑な点光源判断手段を必要とせずに合焦させることが可能になる。点光源の有無に関わらずAF評価値が大きくなるようにフォーカスレンズを制御すれば良いので、安定したTV−AF動作を行うことができる。
このように、積分するライン数の異なる2つの積分評価値を切り替えるという本実施形態によって、複雑な点光源被写体の有無を判断する手段を用いずに、点光源被写体にTV−AF制御で合焦させるという課題を達成できた。なお、本実施形態において所定ライン数として設定するのは、1ラインから全ラインまでどのライン数でもかまわない。例えば、本実施形態のように所定ライン数と全ライン数の2つの積分評価値を生成するのではなく、積分するライン数の異なる所定ライン積分評価値を2つ生成してもかまわない。
(第2の実施形態)
以下、本発明の第2の実施形態について説明する。まず本実施形態と第1の実施形態の違いについて説明する。
第1の実施形態では、全ライン積分評価値を使用してフォーカスレンズを駆動させ、全ライン積分評価値が減少した時に所定ライン積分評価値が増加していたら、使用するAF評価値を所定ライン積分評価値に切り替える制御を行っていた。
このように第1の実施形態では積分する所定ライン数の異なる積分評価値を2つ生成したが、第2の実施形態ではこれを3つ生成して、より精度よく焦点調節を行う。さらに、AF枠中に点光源が占める領域数を判断する手段をあえて設けることによって、判断手段が無い場合よりも精度の高いAF評価値を生成し、より精度よく焦点調節を行う方法について説明する。また、点光源が点滅しているような被写体に対してもTV−AF制御で合焦させる方法について説明する。
図16は、本発明の第2の実施形態に係わるビデオカメラの構成を示す図である。本実施形態のビデオカメラ構成は、第1の実施形態である図1のビデオカメラ構成と重複する点がある。具体的には、図16におけるフォーカスレンズ201から垂直ピーク検出回路110のプロセスと図1におけるフォーカスレンズ101から垂直ピーク検出回路110のプロセスは同様の処理を行っている。よって、図16における比較器211、連続高輝度ライン数検出回路212、切り替えスイッチ213、カウンタ214で生成している評価値の詳細から説明を行う。
<点光源領域数>
ラインピーク検出回路207で検出した水平ライン毎のYラインピーク値を、後述する制御マイコン226によって所定の閾値を設定した比較器211に入力する。比較器211ではYラインピーク値が所定閾値より大きいかどうかを判断し、所定閾値より大きい場合は連続高輝度ライン数検出回路212へ入力する。連続高輝度ライン数検出回路212では、比較器211がYラインピーク値が所定閾値より大きいと判断しているのが、何回連続かどうかを調べる。後述する制御マイコン226によって所定回数を設定しておき、所定回数連続していた場合はその水平走査ラインに点光源があると見なし、切り替えスイッチ213を制御して、カウンタ214へ信号を送る。カウンタ214によって、領域設定回路223によって設定されたAF枠内における点光源の占める領域数をカウントすることで、点光源領域数を決定する(点光源領域数検出)。AF枠内にある点光源の数を判断できる。
本実施形態における点光源領域数の生成方法を図17に示す。図17は、点光源があると見なす高輝度ラインの連続回数を4と設定した場合である。映像中には点光源が5つあり、点光源の占める高輝度の走査ライン数は、上から順に5ライン、1ライン、10ライン、水平方向に7ラインが2つとする。水平走査ライン毎に高輝度がどうかを判定し、4回以上連続していれば点光源と見なすので、このとき点光源と見なすのは、5ライン、10ライン、7ラインである。ただし、水平走査ライン毎に高輝度判定をするので、水平方向に2つ並んでいる7ラインの点光源は、1つだと判断する。よって、このときの点光源領域数は3である。補足として、設定した所定回数以上連続していれば、高輝度ライン数の多少に依らず点光源は1つと見なす。また、点光源が水平方向に複数並んでいても、高輝度ラインの連続が一度途切れなければ点光源1つと見なす。
図16に戻り、BPF215から説明を再開する。BPF215から所定ライン数設定回路225までは、第1の実施形態におけるカメラ構成にて説明した、図1のBPF111から所定ライン数設定回路118と同様の処理を行っているので省略する。
ただし、第2の実施形態では所定ライン積分評価値を2つ生成しており、それぞれ所定ライン数積分評価値A、所定ライン数積分評価値Bとする。また、それぞれ積分する所定ライン数が異なるため、所定ライン数設定回路を2つ用意している(224、225)。以降、積分する所定ライン数がより多い方を所定ライン積分評価値A、より少ない方を所定ライン積分評価値Bとする。
これは本実施形態の特徴とするところで、第1の実施の形態では積分するライン数の異なる積分評価値を2つ生成したが、第2の実施形態では3つ生成している。
このように、積分するライン数の異なる積分評価値をより多く持つことで、より精度よくAF制御を行うことができる。その理由及び制御の詳細について、図18を用いて説明する。
図18は点光源被写体を撮影した時の、積分評価値を表している。図18の3つの図は左図ほど積分する所定走査ライン数が多く、右図ほど積分する所定走査ライン数が少ない。また、横軸はフォーカスレンズ位置を表しており、縦軸は所定ライン積分評価値を表している。図18の特徴として、第1の実施形態で述べたように、積分する所定走査ラインを少なくすれば、右図のように合焦点で積分評価値がピークになる。しかし、積分する所定走査ライン数が多くなるにつれて、合焦点で積分評価値がピークにならないという従来の問題が発生する。そのため、TV−AF制御で点光源被写体に合焦させるには、右図のような合焦点でピークになっている積分評価値を使用する必要がある。しかし、このように積分する所定走査ライン数の少ない積分評価値は、合焦近傍でないとレベルが低くノイズが大きい。そのため、映像がボケているときはうまく合焦方向の判別ができない可能性がある。それに対して、積分する所定走査ライン数の多い積分評価値は、合焦点がピークにならない。しかし、積分するライン数が多くなるほど、山のすそ野のレベルが大きくなりノイズも低減する。そのため、映像がボケていればボケているほど、積分するライン数が多い所定走査ライン積分評価値を使用するのが望ましい。
ここで、点光源被写体を映像がボケている状態から撮影した時、第1の実施形態のような積分するライン数の異なる積分評価値が2つの場合を考える。例えば、この2つの積分評価値が、図18における左図の積分評価値(積分する所定ライン数が多い)と右図の積分評価値(積分する所定ライン数が少ない)だとする。ボケている状態から合焦させる場合、まず左図の積分評価値を使って焦点調節を行い、積分評価値が減少した時に右図の積分評価値が増加していたら右図の積分評価値に切り替えて焦点調節を行うことで点光源被写体に合焦させる。しかし、左図の積分評価値が減少したとき、右図の積分評価値はまだレベルが低くノイズの大きい山のすそ野である可能性がある。そのため、左図の積分評価値が減少した時に、ノイズの影響で右図の積分評価値が増加していないと判断してしまう可能性や、右図の積分評価値に切り替えたとしても、ノイズの影響で合焦点に辿りつくのに時間がかかってしまう可能性がある。
次に、本実施形態のように、積分するライン数の異なる積分評価値が3つある場合を考える。例えば、この3つの積分評価値が、図18の左・中央・右の図の積分評価値とする。なお、先述したように右側の図ほど積分する走査ライン数が少ない。ボケている状態から合焦させる場合、まず左図の積分評価値を使って焦点調節を行い、積分評価値が減少した時に、本実施形態では中央図の積分評価値の増減を調べる。中央図の積分評価値が増加していたら、使用する評価値を中央図の積分評価値に切り替えて焦点調節を行い、さらに中央図の積分評価値が減少した時に、今度は右図の積分評価値の増減を調べる。右図の積分評価値が増加していたら、右図の積分評価値を使用して焦点調節を行い点光源被写体に合焦させる。このように、積分するライン数の多い積分評価値から、順次積分するライン数の少ない積分評価値に切り替えて制御することで、先述した山のすそ野のノイズの影響を軽減することができる。例えば、左図の積分評価値から直接に右図の積分評価値に切り替えるよりも、より山の頂上付近にいる中央図の積分評価値を介すことで、ノイズの影響によって切り替えがうまくいきやすく、合焦方向が判別しやすい。また、中央図の積分評価値から右図の積分評価値に切り替えるときについても同様である。
このように、積分するライン数の異なる積分評価値を多く持つほど、メモリの使用量は多くなるが、より精度よく点光源被写体に合焦させることができる。また上述した制御は、点光源領域数といった点光源判断手段を必要とせずに、点光源被写体への合焦精度を上げることができるという大きなメリットがある。
図16に戻り、制御マイコン226から説明を再開する。制御マイコン226の役割は、第1の実施形態におけるカメラ構成にて説明した図1の制御マイコン119と同様である。ただし、制御マイコン226では、先述したように比較器221に高輝度だと判定するYラインピーク値の閾値を設定する役割及び、連続高輝度ライン数検出回路212に点光源だと見なす高輝度ラインの連続回数を設定する役割も兼ね備える。
メモリ227からモータ229までの役割は、第1の実施形態におけるカメラ構成にて説明した図1のメモリ120からモータ122と同様である。ただし本実施の形態では、メモリ227は点光源領域数も保持する。
次に、制御マイコン226で行われるAF制御について説明する。本実施形態のAF制御は、第1の実施形態と重複している点があり、図7、8、9、10、11を用いて第1の実施形態で説明したAF制御と本実施形態のAF制御は同様のものとする。
本実施形態では、まず図7のステップS716、図8のステップS803、ステップS805、図10のステップS1002のAF評価値取得処理について、図19を用いて説明する。
まず、図19のAF評価値取得処理について説明する。ステップS1901は処理の開始を示している。ステップS1902では、図16の垂直積分回路219、221で取得した所定ライン積分評価値を加工し、所定ライン積分評価値を実際に使用する形にすると共に、設定する所定ライン数を図16の所定ライン数設定回路224、225に設定する。ステップS1902の詳細な処理は図20で説明する。ステップS1903ではAF制御に使用するAF評価値を決定する。ステップS1903の詳細な処理は図21で説明する。ステップS1904では、点光源が点滅している点滅光源被写体に対して、点滅光源が全滅してしまったかどうかを判断し、必要があれば使用するAF評価値を変更する。ステップS1904の詳細な処理は図22で説明する。ステップS1905では、図16の垂直ピーク検出回路208、210、222及び、カウンタ214及び、垂直積分回路217、219、221で取得した各AF評価値をメモリ227へ記録する。記録したAF評価値は、ステップS1903の使用AF評価値選択処理でAF評価値を選択する上で参照する。ステップS1906で処理を終了する。
次に、本実施形態の特徴とする部分である、図19のステップS1902の所定ライン積分評価値準備処理について、図20を用いて説明する。ステップS2001は処理の開始を示している。ステップS2002では、図16における所定ライン数設定回路224及び225に設定していた所定ライン数を基に、垂直積分回路219、221からそれぞれ出力された所定ライン積分評価値を正規化する。例えば、所定ライン積分評価値がnラインと設定されていたら、所定ライン積分評価値は以下のように正規化する。
正規化した所定ライン積分評価値=所定ライン積分評価値×(AF枠の全走査ライン数 /n)
この処理によって、所定ライン積分評価値を正規化することで、実際にAF制御に用いる形に変換する。正規化を行う理由は、設定した所定ライン数が変わると所定ライン数積分評価値のレベルが変動してしまうので、変動したレベルを同等のレベルに正規化することで所定ライン数の変動をできる限り軽減した評価値とするためである。なお、設定した所定ライン数が変わる状況については、図20の説明の中で後述する。
次に、ステップS2003では点光源領域数が増加しているかどうかを調べて、増加していると判断した場合はステップS2004へ進み、増加していないと判断した場合はステップS2005へ進む。ステップS2004では、所定ライン積分評価値を生成するための、積分する所定ライン数を増やすように図16の所定ライン数設定回路224及び225に設定して、ステップS2007で処理を終える。ステップS2003で点光源領域数が増加していない場合に進むステップS2005では、点光源領域数が減少しているかどうかを調べ、減少している場合はステップS2006へ進み、減少していない、すなわち変化が無い場合はステップS2007で処理を終える。ステップS2006では、所定ライン積分評価値を生成するための、積分する所定ライン数を減らすように図16の所定ライン数設定回路224及び225に設定し、ステップS2007で処理を終える。
このように点光源領域数が増加したら積分する所定ライン数を増やし、点光源領域数が減少したら積分する所定ライン数を減らすのは、本実施形態の特徴とするところである。 このように積分する所定ライン数を増減させるのには2つの意味がある。1つ目は、映像中の点光源の数に最適な所定ライン数を設定して、所定ライン積分評価値を生成することである。例えばAF枠中の点光源の占める領域数が増加したら、点光源に係る水平走査ラインも増加したということがいえる。先述したように、所定ライン積分評価値を生成する上で、できるだけ多くのラインピーク値を積分した方が、ノイズが少ない滑らかな評価値になる。ただし、積分するライン数が点光源の占めるライン数に対して多いと、合焦点で積分評価値がピークにならないという問題はある。しかし、合焦点で積分評価値がピークになる範囲で積分するライン数の増減の良し悪しを考えた場合、できるだけ多くのライン数を積分した方がノイズの少ない滑らかな評価値になり、より安定したAF制御が可能となる。そこで、点光源に係る水平走査ラインが増加したのであれば、より多くのラインピーク値を積分できるということになる。よって、点光源領域数が増加したときに、積分する所定ライン数を増やすことでノイズの少ない積分評価値を生成すれば、より安定したAF制御が可能になるのである。また、点光源領域数が減少した場合は、逆に積分する所定ライン数を多く設定したままでは合焦点で積分評価値がピークにならずにボケどまってしまう可能性がある。そのため、積分する所定ライン数を減少させるように設定することで、所定ライン積分評価値が合焦点でピークになるように保つことができる。
積分する所定ライン数を増減させる2つ目の理由は、点滅する点光源に対してもTV−AF制御で合焦させるためである。点滅する点光源のことを、以下では点滅光源とする。点滅光源を撮影すると、高輝度である点光源の数が順次変化していくので、点光源の占める走査ライン数も大きく変動する。例えば、点光源が点滅することによって、点光源の占めるライン数が積分する走査ライン数を下回ったとき、評価値が減少し、合焦しているのにフォーカスがボケる問題や、合焦点に辿りつけない問題が起こりえる。もし積分する所定ライン数が少ないままなら、ノイズが大きく評価値の山のすそ野が単純に増減しない積分評価値でAF制御を行うことになるので、ノイズによって合焦方向を間違えてフワつく問題や、ボケている状態から全く合焦できない問題が起こりえる。そこで、点滅光源の撮影時にも点光源領域数の変化に応じて積分する所定ライン数を増減させることで、順次最適な所定ライン積分評価値を生成することができる。これによって、点滅光源被写体に対しても上述した問題の発生を抑制し、合焦させることができる。
なお、ステップS2002の説明で述べたように、所定ライン数が変化した時は正規化する必要があるので、点光源領域数が変化した時は正規化を行うことで積分評価値のレベル変動を抑制する。
次に、本実施形態の特徴とする部分である、図19のステップS1903の使用AF評価値選択処理について、図21を用いて説明する。ステップS2101は処理の開始を示している。ステップS2102では、現在、全ライン積分評価値か所定ライン積分評価値Aか所定ライン積分評価値Bのどれを使用しているかを調べる。全ライン積分評価値を使用している場合は、ステップS2103へ進み、所定ライン積分評価値A、所定ライン積分評価値Bを使用している場合はステップS2107へ進む。なお、所定ライン積分評価値Aと所定ライン積分評価値Bの違いは、上述したように、所定ライン積分評価値Aの方が積分する所定ライン数が多いという点である。ステップS2103では、まず全ライン積分評価値を使用AF評価値として選択しステップS2104へ進む。ステップS2104では、全ライン積分評価値が減少傾向かどうかを判断し、減少傾向な場合はステップS2105へ進み、減少傾向でない場合はステップS2117へ進み処理を終了し、全ライン積分評価値を使用AF評価値として確定する。ステップS2105では所定ライン積分評価値Aが増加傾向かどうかを判断し、増加傾向な場合はステップS2106へ進み、増加傾向でない場合はステップS2117へ進み処理を終了し、全ライン積分評価値を使用AF評価値として確定する。ステップS2106では、使用AF評価値を所定ライン積分評価値Aと選択し直した上でステップS2117へ進み処理を終了する。
続いて、ステップS2102で、現在所定ライン積分評価値A若しくは所定ライン積分評価値Bを使用していると判断した場合に進むステップS2107から説明する。ステップS2107では、使用している評価値が所定ライン積分評価値Aか、所定ライン積分評価値Bかどうかを調べる。所定ライン積分評価値Aを使用している場合は、ステップS2108へ進み、所定ライン積分評価値Bを使用している場合はステップS2112へ進む。ステップS2108では、まず所定ライン積分評価値Aを使用AF評価値として選択しステップS2109へ進む。ステップS2109では、所定ライン積分評価値Aが減少傾向かどうかを判断し、減少傾向な場合はステップS2110へ進み、減少傾向でない場合はステップS2117へ進み処理を終了し、所定ライン積分評価値Aを使用AF評価値として確定する。ステップS2110では所定ライン積分評価値Bが増加傾向かどうかを判断し、増加傾向な場合はステップS2111へ進み、増加傾向でない場合はステップS2117へ進み処理を終了し、所定ライン積分評価値Aを使用AF評価値として確定する。ステップS2111では、使用AF評価値を所定ライン積分評価値Bと選択し直した上でステップS2117へ進み処理を終了する。
ステップS2107で所定ライン積分評価値Bを現在使用していると判断した場合に進むステップS2112から説明する。使用している評価値は所定ライン積分評価値Bであったので、まず所定ライン積分評価値Bを使用AF評価値として選択しステップS2113へ進む。ステップS2113では、所定ライン積分評価値Bが減少傾向かどうかを判断し、減少傾向な場合はステップS2114へ進み、減少傾向でない場合はステップS2117へ進み処理を終了し、所定ライン積分評価値Bを使用AF評価値として確定する。ステップS2114では所定ライン積分評価値Aが減少傾向かどうかを判断し、減少傾向な場合はステップS2115へ進み、減少傾向でない場合はステップS2117へ進み処理を終了し、所定ライン積分評価値Bを使用AF評価値として確定する。ステップS2115では全ライン積分評価値が減少傾向かどうかを判断し、減少傾向な場合はステップS2116へ進み、減少傾向でない場合はステップS2117へ進み処理を終了し、所定ライン積分評価値Bを使用AF評価値として確定する。ステップS2116では、使用AF評価値を全ライン積分評価値と選択し直した上でステップS2117へ進み処理を終了する。
全ライン積分評価値が減少傾向でかつ、所定ライン積分評価値も減少傾向になっていたら、被写体が点光源以外に変わったことや映像が大きくボケていることが考えられるので、焦点調節に使用する評価値をダイナミックレンジが大きくノイズ影響が少ない全ライン積分評価値に戻す。また、パンニングが発生したときは被写体が変わったと判断して全ライン積分評価値に戻してもよい。さらに、高輝度成分の有無が判定しやすいYピーク評価値及びMax−Min評価値のレベルが継続して減少しているときは、被写体が点光源以外になったと判断して全ライン積分評価値に戻してもよい。
このように、全ライン積分評価値、所定ライン積分評価値A、所定ライン積分評価値Bという、積分するライン数の異なる積分評価値を順次切り替えて制御する目的は、図18で説明した通りである。
次に、本実施形態の特徴とする部分である、図19のステップS1904の点滅点光源の全滅判断処理について、図22を用いて説明する。
まず、点滅光源に合焦させるには、所定走査ライン数を順次増減させると共に積分した所定走査ライン数で正規化するという方法を図20にて説明した。しかし、点滅光源に合焦させるには1つ問題がある。それは、点滅光源が全滅、すなわち全ての点光源が消えてしまったときに適切な積分評価値が取得できないということである。点滅光源が全滅することで、AF枠内のコントラストが急激に減少し、積分評価値のレベルもそれに伴って急激に減少してしまう。また、全滅中に他にコントラストのある被写体が存在しなければ、合焦方向の判定も困難である。そのため、点滅光源が全滅している間に、フォーカスがボケてしまうといった問題が起こりえる。このような点滅光源の全滅時にも問題なく合焦できるように制御する方法について、以下に説明する。
まず、ステップS2201は処理の開始を示している。ステップS2202では現在、点滅光源が全滅中であるかどうかを判断し、全滅中でないと判断した場合はステップS2203へ進み、全滅中であると判断した場合はステップS2206へ進む。点滅光源が全滅中であると判定する方法は、ステップS2203及びステップS2204の説明にて後述する。次に、点光源が全滅でないと判断した場合に進むステップS2203では、点光源領域数が0以外の値から0に変化したかどうかを調べ、変化した場合はステップS2204へ進み、変化していない場合はステップS2210へ進み処理を終了する。ステップS2204では、点滅光源が全滅したと判定し、ステップS2205へ進む。ステップS2205では全滅判定直前の過去に使用した積分評価値を使用するように、使用AF評価値を変更した上で、ステップS2210で処理を終了する。
ステップS2203からステップS2205は本実施形態の特徴とする部分で、点光源領域数が0以外の値から点光源領域数が0に変化したときは、すなわち点光源が存在する状態から点光源がない状態に変化したと判断できるので、これを以って点滅光源が全滅したと判断する。ただし、この条件は、点光源から点光源以外の被写体に変わった場合も考えることができる。そのような条件を想定した対策については、ステップS2207の説明で後述する。そして、上述したように全滅中に取得した積分評価値は有効でない可能性が高いので、この評価値は使用せず、全滅判定をする直前の過去に使用した積分評価値を暫定的に使用するように変更する。このようにすることで、現在のフォーカス位置を保つことでフォーカスがボケていってしまうことを防ぐことができる。
次に、ステップS2202で点滅光源が全滅中だと判断した場合に進むステップS2206について説明する。ステップS2206では、点光源領域数が0かどうかを判断し、0である場合はステップS2207へ進み、0でない場合はステップS2209へ進む。ステップS2207では全滅判定後に所定時間経過したかどうかを判断し、まだ所定時間経過していないと判断した場合はステップS2208へ進み、所定時間経過したと判断した場合はステップS2209へ進む。ステップS2208では、ステップS2205と同様、全滅判定直前の積分評価値を使用するように変更し、ステップS2210で処理を終了する。ステップS2210では、全滅中判定を解除し、ステップS2210で処理を終了する。
このように、全滅判定を解除する条件として、点光源領域数が0でなくなったか、所定時間経過したかの2つが考えられる。前者は、点光源領域数が0でない、すなわち再び点光源が現れたと判断できるので、有効な評価値が生成できると判断して、全滅中判定を解除する。このようにする理由は、点滅光源の全滅が終わったらすぐに自動焦点調節を再開するためである。また後者は、全滅判定後に所定時間経過したことで、撮影している被写体が点滅光源以外になったと判断できるので、全滅中判定を解除して適切な積分評価値で再度焦点調節を行えるようにする。また、パンニングが発生した場合でも被写体が変わったと判断できるので、パンニングの有無によって全滅中判定を解除してもよい。
以上説明したように、制御マイコン226は、再起動判定→微小駆動→山登り駆動→微小駆動→再起動判定を繰り返しながらフォーカスレンズを移動させAF評価値を大きくするように制御している。
本実施形態では、積分するライン数の異なる積分評価値を3つ生成し、積分評価値が増加傾向で、かつ積分するライン数が最も多い積分評価値で焦点調節を行うように順次選択した。積分するライン数の異なる積分評価値を多く持つことで、積分評価値の切り替えをより正確に行うと同時に、合焦度に応じたより適切な積分評価値を選択できる。このような制御によって、複雑な点光源判断手段を必要とせずに、より精度の高いAF制御を行えることを示した。また、あえて点光源が占める領域数を判断する手段を設けることによって、点滅光源被写体などのAF枠内の点光源の増減がある場合でも、その時点の点光源領域数に適応した積分評価値を生成することで、より精度よくAF制御を行えることを示した。さらに、点滅光源被写体が全滅した時でも、全滅中には全滅直前の積分評価値を使用することで、フォーカスがボケていくことが無いようにする方法を示した。
なお、本実施形態では積分するライン数の異なる積分評価値を3つ生成したが、さらに多くの積分評価値を生成して焦点調節を行ってもよい。また点光源領域数に関して、本実施形態では高輝度ラインが所定回数以上連続した場合を1つの点光源領域数としたが、点光源が占める領域数を示す値ならなんでもよい。例えば、純粋な点光源の数でもよい。また本実施形態では、ラインピーク値の大きなものから順に積分する所定ライン数を選択したが、ラインピーク値が大きなものから選べれば、決まった所定ライン数を設定しなくてもよい。例えば、ある一定以上のレベルをもったラインピーク値を積分する走査ラインとして選択してもよい。その際、積分するライン数は毎回変動する可能性が大きいので、正規化を行う必要がある。
(第3の実施形態)
以下、本発明の第3の実施形態について説明する。まず本実施形態と第1及び第2の実施形態の違いについて説明する。
第1及び第2の実施形態では、積分するライン数の異なる複数の積分評価値を生成した上で、積分評価値が増加傾向であり、かつ最も積分するライン数の多い積分評価値を選択して焦点調節を行った。本実施形態では、このような積分評価値の切り替えを行わずに、積分するライン数の異なる複数の積分評価値を重みづけ加算して生成(第2のAF評価値生成)した重みづけ加算積分評価値を使用し、順次重みを変更することで焦点調節を行う方法について説明する。また第1及び第2の実施形態ではラインピーク値の大きいものから順に所定ラインを積分して積分評価値を生成したが、本実施形態では最も大きいラインピーク値及びその前後の所定ラインを選択するという方法で、点光源に対して有効な評価値を生成する。さらに、第2の実施形態では点光源領域の占める領域数を判断する手段を設けた場合の処理について述べたが、本実施形態では点光源の大きさを検出する手段を設けた時でも、同様に精度よいAF制御ができることについても説明する。
図23は、本発明の第3の実施形態に係わるビデオカメラの構成を示す図である。本実施形態のビデオカメラ構成は、第2の実施形態である図16のビデオカメラ構成と重複する点がある。具体的には、図23におけるフォーカスレンズ301から垂直ピーク検出回路310のプロセスと図16におけるフォーカスレンズ201から垂直ピーク検出回路210のプロセスは同様の処理を行っている。よって、図23における比較器311、連続高輝度ライン数検出回路312、垂直ピーク検出回路313で生成している評価値の詳細から説明を行う。
(点光源サイズ)
ラインピーク検出回路307で検出した水平ライン毎のYラインピーク値を、後述する制御マイコン325によって所定の閾値を設定した比較器311に入力する。比較器311ではYラインピーク値が所定閾値より大きいかどうかを判断し、所定閾値より大きい場合は連続高輝度ライン数検出回路312へ入力する。連続高輝度ライン数検出回路312では、比較器311がYラインピーク値が所定閾値より大きいと判断しているのが、何回連続かどうかを調べる。後述する制御マイコンに325によって所定回数を設定しておき、所定回数連続していた場合はその水平走査ラインに点光源があると見なし、連続高輝度ライン数を垂直ピーク検出回路313へと送る。垂直ピーク検出回路313によって、領域設定回路322によって設定されたAF枠内において、最も多くの走査ライン数を占めている点光源の走査ライン数を検出し、点光源サイズとして決定する。これによって、AF枠内における点光源で最もサイズの大きい点光源の占める走査ライン数がわかる(点光源サイズ検出)。
本実施形態における点光源サイズの生成方法を図24に示す。図24は、点光源があると見なす高輝度ラインの連続回数を4と設定した場合である。映像中には点光源が5つあり、点光源の占める高輝度の走査ライン数は、上から順に5ライン、1ライン、10ライン、水平方向に7ラインが2つとする。ただし、7ラインの点光源は多少垂直方向にズレがあり、2つの点光源を合わせて占める高輝度の走査ライン数は9ラインである。水平走査ライン毎に高輝度かどうかを判定し、4回以上連続していれば点光源と見なすので、このとき点光源と見なすのは、「5ライン」、「10ライン」、そして7ラインの2つ点光源を1つの点光源と見なした「9ライン」の3種類である。このとき、連続する高輝度走査ライン数が最も多いのは10ラインなので、点光源サイズは10と決定する。
図23に戻り、BPF314から説明を再開する。BPF314及び垂直積分回路316は、第1の実施形態におけるカメラ構成にて説明した、図16のBPF215から垂直積分回路217と同様の処理を行っているので省略する。
次に、ラインピーク検出回路315によって求めた水平ライン毎のラインピーク値を所定ライン保持回路317、318及び、垂直ピーク検出回路319へ入力する。垂直ピーク回路319では、ラインピーク検出回路315によって求めた水平ライン毎のラインピーク値をAF枠内でピークホールドし、領域ピーク評価値を生成する。次に、所定ライン保持回路317、318は、図28に示すように、ラインピーク検出回路315及び、所定ライン数設定回路323、324及び、垂直ピーク検出回路319から出力された値を、それぞれ3つ入力する。所定ライン保持回路317、318は、最もラインピーク値が大きいラインとその前後のラインのラインピーク値を、設定した所定ライン分保持しておき、垂直積分回路320、321にそれぞれ入力する。
具体的には、所定ライン保持回路317及び318内に、入力されたラインピーク値を保持するバッファを用意し、暫定で最も大きいラインピーク値とその前後のラインのラインピーク値をバッファに保持する。このとき保持しているラインピーク値の数は、所定ライン数設定回路323、324に設定されている数である。さらに、バッファに保持しているラインピーク値に加えて、それ以降の走査ラインのラインピーク値も余分に保持しておくと同時に、暫定で最も大きいラインピーク値より大きいラインピーク値がないかどうかを比較する。もしより大きいラインピーク値が存在したら、より大きいラインピーク値とその前後のラインのラインピーク値をバッファに保持し直す。このとき、余分に保持していたラインピーク値を参照すれば、過去の走査ラインのラインピーク値を取り出すことができる。このようにして、最終的に抽出した最も大きなラインピーク値とその前後のラインピーク値を出力し、垂直積分回路320、321にそれぞれ入力して積分することで、所定ライン積分評価値A及び所定ライン積分評価値Bを生成する。
これは、本実施形態の特徴であり、所定ライン保持回路317、318によって、最もラインピーク値が大きいラインとその前後のラインのみを積分した所定ライン積分評価値を生成できる。この所定ライン積分評価値は、第1の実施形態で図3から図6を用いて説明したものと同様、点光源被写体の撮影時に積分評価値が最大になるので、積分評価値が大きくなるように焦点調節を行うTV−AF方式によって、点光源被写体でも合焦させることができる。
なお、第1及び第2の実施形態の手法では、ラインピーク値の大きなものから順に積分する評価値として選択していたので、実際には複数の点光源に掛かった走査ラインを抽出している場合があった。本実施形態の手法では、1つの点光源のラインピーク値から積分評価値を生成することができるので、1つの点光源のコントラストの変化に注目することができる。
図23に戻り、領域設定回路322から説明を再開する。領域設定回路322からモータ328までは、第1の実施形態におけるカメラ構成にて説明した、図16の領域設定回路223からモータ229と同様の処理を行っているので省略する。ただし本実施形態では、点光源領域数でなく点光源サイズをメモリ326が保持する。また、全ライン積分評価値と所定ライン積分評価値A、Bをそれぞれ重みづけ加算した、重みづけ加算積分評価値も同様に保持する。
次に、制御マイコン325で行われるAF制御について説明する。本実施形態のAF制御は、第1の実施形態と重複している点があり、図7、8、9、10、11を用いて第1の実施形態で説明したAF制御と本実施形態のAF制御は同様のものとする。
また、図7のステップS716、図8のステップS803、ステップS805、図10のステップS1002のAF評価値取得処理は、第2の実施形態で図19を用いて説明したものと同様なので省略する。
次に、本実施形態の特徴とする部分である、図19のステップS1902の所定ライン積分評価値準備処理について、図25を用いて説明する。ステップS2501からステップS2502は、図20においてステップS2001からステップS2002で説明した内容と同様なので省略する。次に、ステップS2503では点光源サイズが増加しているかどうかを調べて、増加していると判断した場合はステップS2504へ進み、増加していないと判断した場合はステップS2505へ進む。ステップS2504では、所定ライン積分評価値を生成するための、積分する所定ライン数を増やすように図23の所定ライン数設定回路323及び324に設定して、ステップS2507で処理を終える。ステップS2503で点光源サイズが増加していない場合に進むステップS2505では、点光源サイズが減少しているかどうかを調べ、減少している場合はステップS2506へ進み、減少していない、すなわち変化が無い場合はステップS2507で処理を終える。ステップS2506では、積分する所定ライン数を減らすように図23の所定ライン数設定回路323及び324に設定し、ステップS2507で処理を終える。
このように点光源サイズが増加したら積分する所定ライン数を増やし、点光源サイズが減少したら積分する所定ライン数を減らすのは、本実施形態の特徴とするところである。
このように点光源サイズの増減によって積分する所定ライン数を増減させる意味は、第2の実施形態で図20を用いて説明したものと同様である。ただし、第2の実施形態は点光源の数の変化に対応してより精度の良い積分評価値を生成していたが、本実施形態は点光源の大きさの変化に対応してより精度の良い積分評価値を生成している。このように本実施形態では、点光源が大きい場合は積分するライン数を多くすることでノイズを低減し、点光源が小さい場合は積分するライン数を少なくすることで合焦時に積分評価値が確実にピークになるようにする。すなわち、第2の実施形態の手法では点光源の数の変化に対応しやすく、本実施形態の手法では点光源の大きさに対応しやすいというそれぞれの強みがある。
次に、本実施形態の特徴とする部分である、図19のステップS1903の使用AF評価値選択処理について、図26を用いて説明する。ステップS2601は処理の開始を表している。ステップS2602で全ライン積分評価値が減少傾向かどうかを判断し、減少傾向である場合はステップS2603へ進み、減少傾向でない場合はステップS2608へ進む。なお、ステップS2608では全ライン積分評価値、所定ライン積分評価値A、所定ライン積分評価値Bを重みづけ加算した積分評価値を生成する。以降、この評価値を重みづけ加算積分評価値と呼ぶ。ステップS2603では所定ライン積分評価値が増加傾向かどうかを判断し、増加傾向である場合はステップS2604へ進み、増加傾向でない場合はステップS2605へ進む。ステップS2604では、重みづけ加算積分評価値を生成する上で、所定ライン積分評価値Aを加算する重みを他の積分評価値と比べて相対的に大きくなるように設定して、ステップS2608で重みづけ加算積分評価値を生成する。所定ライン積分評価値Aが増加傾向でない場合に進むステップS2605では、所定ライン積分評価値Bが増加傾向であるかどうかを調べ、増加傾向である場合はステップS2606へ進み、増加傾向でない場合はステップS2607へ進む。ステップS2606では、重みづけ加算積分評価値を生成する上で、所定ライン積分評価値Bを加算する重みを他の積分評価値と比べて相対的に大きくなるように設定して、ステップS2608で重みづけ加算積分評価値を生成する。ステップS2607では、重みづけ加算積分評価値を生成する上で、全ライン積分評価値を加算する重みを他の積分評価値と比べて相対的に大きくなるように設定して、ステップS2608で重みづけ加算積分評価値を生成する。ステップS2608で重みづけ加算積分評価値を生成したら、ステップS2609で処理を終了する。
このように、本実施形態では、第1及び第2の実施形態のように積分するライン数の異なる積分評価値を切り替えるのではなく、常に全てを重みづけ加算した積分評価値を使用して焦点調節を行う。しかし、第1及び第2の実施形態と同様、全ライン積分評価値、所定ライン積分評価値A、Bの増減をそれぞれ監視しておく。まず、全ライン積分評価値が増加傾向である場合は、特に重みを変更することなく重みづけ加算積分評価値を生成する。次に、全ライン積分評価値が減少し、所定ライン積分評価値Aが増加していたら、点光源被写体に対して合焦方向に向かっていると判断し、所定ライン積分評価値Aを加算する重みを相対的に大きくする。具体的には、全ライン積分評価値の減少レベルよりも所定ライン積分評価値Aの増加レベルが大きくなるようにし、重みづけ加算積分評価値が単調増加するような重みを設定する。また全ライン積分評価値、所定ライン積分評価値Aが共に減少し、所定ライン積分評価値Bが増加傾向であったら、所定ライン積分評価値Bの重みを相対的に大きくして重みづけ加算積分評価値を生成する。この際、全ライン積分評価値と所定ライン積分評価値Aの減少レベルより所定ライン積分評価値Bの増加レベルの方が大きくなるようにし、重みづけ加算積分評価値が単調増加するような重みを設定する。なお、全ての積分評価値が減少していたら、映像が大きくボケている可能性があるので、ボケている状態でも方向判定がしやすい全ライン積分評価値の重みを相対的に大きくすることで、ボケ状態から逸早く復帰できるようにする。
このように、点光源被写体の撮影時、合焦するにつれてより積分するライン数の少ない積分評価値の重みを大きくするように変更することで、点光源被写体にも合焦させることができる。ただし重みの変更時に、増加傾向の積分評価値の重みが小さすぎると、減少傾向の積分評価値の減少の影響が大きくなり、重みづけ加算積分評価値が単調増加しない場合がある。そのため、重みを変更する際には、評価値の山が単調増加するように重みを設定することが必要となる。なお、このような重みの切り替えが必要な理由は、第2の実施形態で図18を用いて説明した理由と同様である。また本実施形態のように、常に重みづけ加算積分評価値を焦点調節に使用する手法は、使用する積分評価値を切り替える必要が無いため、簡単な制御で実施できるというメリットがある。
次に、本実施形態の特徴とする部分である、図19のステップS1904の点滅点光源の全滅判断処理について、図27を用いて説明する。
まず、点滅光源に合焦させるには、所定走査ライン数を順次増減させると共に積分した所定走査ライン数で正規化するという方法を図20にて説明した。さらに全滅時には評価値レベルが急激に減少してしまい、フォーカスがボケてしまう問題があることを図22で説明した。本実施形態において、点光源被写体が全滅したときにも問題なく合焦できるように制御する方法について以下に説明する。
まず、ステップS2701及びステップS2702は、第2の実施形態において図22を用いて説明したものと同様なので省略する。次に、点光源が全滅でないと判断した場合に進むステップS2703では、点光源サイズが0以外の値から0に変化したかどうかを調べ、変化した場合はステップS2204へ進み、変化していない場合はステップS2210へ進み処理を終了する。ステップS2704では、点滅光源が全滅したと判定し、ステップS2705へ進む。ステップS2705では全滅判定直前の過去に使用した積分評価値を使用するように、使用AF評価値を変更した上で、ステップS2710で処理を終了する。
ステップS2703からステップS2705は本実施形態の特徴とする部分である。なお、ステップS2704及びステップS2705は、第2の実施形態において図22を用いてステップS2204、ステップS2205を説明したものと同様なので省略する。本実施形態では、ステップS2703において点光源領域数ではなく点光源サイズが0以外から0に変化した時に、点光源がない状態に変化し、点滅光源が全滅したと判断する。上述したように全滅中に取得した積分評価値は有効でない可能性が高いので、この評価値は使用せず、全滅判定をする直前の過去に使用した積分評価値を暫定的に使用するように変更する。このようにすることで、点光源サイズによって点滅光源の全滅を判定しても、現在のフォーカス位置を保つことでフォーカスがボケていってしまうことを防ぐことができる。
次に、ステップS2702で点滅光源が全滅中だと判断した場合に進むステップS2706について説明する。ステップS2706では、点光源サイズが0かどうかを判断し、0である場合はステップS2707へ進み、0でない場合はステップS2709へ進む。ステップS2707からステップS2710は、第2の実施形態において図22を用いて説明したものと同様なので省略する。
このように、全滅後の使用積分評価値の設定や全滅判定を解除する条件としても、第2の実施形態における点光源領域数でなく点光源サイズの変化でも判断することができる。
以上説明したように、制御マイコン325は、再起動判定→微小駆動→山登り駆動→微小駆動→再起動判定を繰り返しながらフォーカスレンズを移動させAF評価値を大きくするように制御している。
本実施形態では、積分するライン数の異なる積分評価値を3つ生成し、それらを重みづけ加算した積分評価値を生成し、この積分評価値で焦点調節を行った。その際、積分するライン数の異なる各積分評価値を監視し、積分するライン数の多い積分評価値が減少した時に、積分するライン数のより少ない積分評価値が増加していたら、積分するライン数のより少ない積分評価値の重みを他の積分評価値よりも相対的に大きくなるように設定した。このように各積分評価値の重みを順次変更し、フォーカスが合焦方向に進むにつれて重みづけ加算積分評価値が単調増加するようにすることで、点光源被写体にも合焦させることを可能にした。このような制御によって、複雑な点光源判断手段を必要としないで、より精度の高いAF制御を行えることを示した。また、あえて点光源の大きさを判断する手段を設けることで、点滅光源被写体といったAF枠内の点光源の大きさ・数の増減がある場合でも、その時の点光源サイズに適切な積分評価値を生成することでより精度よくAF制御を行えることを示した。さらに、点滅光源被写体が全滅した時でも、全滅中には全滅直前の積分評価値を使用することで、フォーカスがボケていくことが無いようにする方法を示した。
なお、点光源サイズに関して、本実施形態では高輝度ラインが所定回数以上連続した数としたが、点光源が占める領域数を示す値ならなんでもよい。例えば、点光源が占める画素数でもよい。
また第2の実施形態では、ラインピーク値が大きな順に所定ラインを積分して所定ライン積分評価値を生成したが、本実施形態のような重みづけ加算積分評価値を使用して焦点調節を行う場合においてもその手法を用いてもよい。逆に本実施形態では、ラインピーク値が最も大きいラインとその前後のラインを所定数積分して所定ライン積分評価値を生成したが、第2の実施形態のような、焦点調節に使用する積分評価値を順次切り替えて焦点調節する場合でも、その手法を用いてもよい。さらには、ラインピーク値が大きな順に所定ラインを選択する手法と、ラインピーク値が最も大きいラインとその前後のラインを選択する手法を組み合わせて所定ライン積分評価値を生成してもよい。