JP2006189892A - ビデオカメラのオートフォーカス装置及びビデオカメラのオートフォーカス方法 - Google Patents

ビデオカメラのオートフォーカス装置及びビデオカメラのオートフォーカス方法 Download PDF

Info

Publication number
JP2006189892A
JP2006189892A JP2006035354A JP2006035354A JP2006189892A JP 2006189892 A JP2006189892 A JP 2006189892A JP 2006035354 A JP2006035354 A JP 2006035354A JP 2006035354 A JP2006035354 A JP 2006035354A JP 2006189892 A JP2006189892 A JP 2006189892A
Authority
JP
Japan
Prior art keywords
evaluation value
value
determination
evaluation
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006035354A
Other languages
English (en)
Inventor
Yujiro Ito
雄二郎 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006035354A priority Critical patent/JP2006189892A/ja
Publication of JP2006189892A publication Critical patent/JP2006189892A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】業務用又はプロ用ビデオカメラに適するAF機構において、コントラストの高低に関係なく、確実に評価値ピークを検出出来るようにすることを目的にする。
【解決手段】本発明に係るオートフォーカス装置は、ビデオカメラの画像信号を入力する入力手段と、該画像信号の特定領域の高周波成分を抽出して評価値を生成する評価値算出手段と、現フィールドの評価値と所定フィールド前の評価値との差及び比の両方を計算して、該差と比の両方に基づいてジャストピン判定を行うジャストピン判定手段と、この判定結果に応じて上記ビデオカメラのレンズのフォーカス駆動部に与える指令値を送出する出力手段とを備え、主として両評価値の比によってコントラストの低い被写体の評価値ピークを検出し、両評価値の差によって、コントラストの高い被写体に対して評価値ピークの行き過ぎの増加なしにピーク検出をすることが出来る。
【選択図】図1

Description

本発明は、報道用又は業務用ビデオカメラの自動焦点調節(オートフォーカス。以下、「AF」と略す。)に関する。焦点調節とは、いわゆるジャストピント状態(以下、「JP」と略す。)を決定することである。更に具体的には、本発明は、放送局や業務用に使用されるビデオカメラ等(テレビカメラ,スタジオカメラ,ENGカメラ等を含む。)によって撮影される被写体の位置を自動的に認識する被写体認識装置、及び、その被写体認識装置を利用して被写体に対してフォーカスを合わせる撮像装置に関する。
従来、ビデオカメラにおける被写体に対してフォーカスを自動的に合わせるAF機構に関しては、既に民生用ビデオカメラの分野で実現されている。
このとき、フォーカスがあっているか否かを検出するためには、撮像信号のコントラストが高いか低いかを判断すればよいことは良く知られている。即ち、コントラストが高いとフォーカスが合っており、コントラストが低いとフォーカスがずれていることになる。撮像信号の高周波成分を取り出して、画面内の所定の設定エリア内に存在するこの高周波成分を積分したデータを生成し、この積分したデータを利用することによって、コントラストの高低が判断できる。この積分されたデータは、その設定エリア内にどれだけ高周波成分が存在するかを示すデータであって、一般に、このデータを評価値と呼んでいる。従って、評価値が最大となるように、即ち、コントラストが最大になるようにフォーカスレンズを駆動することにより、AFが実現できる。
民生用ビデオカメラは、その性質上、それほど精密なAF機構は要求されていない。現状の民生用ビデオカメラに備えられたAF機構は、被写体が急激に変化・変動した時、それに追従する時間は比較的短いものの、その後、被写体を探るような状態が継続し、映像を精細に観察すればピントが合った状態(JP)とずれた状態(ボケ状態)が継続的に繰り返されている。
この原因は、現在のAF機構が、目標被写体のフォーカス状態の変化だけでなく、映像の背景,明るさ等の種々の要因の変化に対しても評価値が変化していることにある。これらの要因を評価値の値から区別することは出来ず、このような方法で抽出された評価値は、決して被写体のフォーカス状態を表す正確な評価値ではない。簡易なAF機構でこの問題を解決することは非常に難しい。
また、民生用機器は価格が安いことが大きなセールスポイントであり、民生用ビデオカメラに関して一層精密ではあるが高価なものとなるようなAF機構を要望する声は聞かれない。
しかし、放送局等で使用される業務用又はプロ用機器は、その性質上、非常に高い精度・精細さが要求される。例えば、放送局や業務用に使用されるビデオカメラにおいては、撮影された映像をライブ中継(生放送)で家庭に伝送することがある。もし、このようなライブ中継をおこなっている時に、迅速に且つ精度の良い評価値を得ることが出来ないならば、AF操作に時間がかかってしまい、また、ピントのぼやけた撮像信号を家庭に伝送してしまうことになる。
従って、放送局や業務用に使用されるビデオカメラは、民生用ビデオカメラに採用されているような簡易型や廉価な小型のAF装置とは全く異なるものであり、現状の民生用ビデオカメラのAF機構をそのまま導入することは出来ない。
更に、民生用ビデオカメラでは、それほど鮮明な画像は必要ないのでレンズが小さく被写界深度が非常に深い状態で使用されており、その分フォーカス調節が容易である。即ち、被写体の距離が10数mを越す場合レンズから被写体までの距離がJPの前後1m強変化しても、画面上では「ボケ」とは判定されない。
これに対して、放送局のカメラは、非常に鮮明な画像を必要としているためレンズが大きく被写界深度が非常に浅い状態で使用されている。即ち、レンズから被写体までの距離が前後にほんの僅かに変化しても、「ボケ」と判定されてしまう。従って、被写体深度が浅い分だけ一層精度良くフォーカスを調節しなければならない。
ここで、「被写界深度」及び後で出てくる「焦点深度」について簡単に説明する。被写界深度(「被写体深度」ともいう。)とは、カメラレンズを或るレンズセット位置に固定したとき、ボケがなく、鮮明であると受け入れられるようなカメラから最も近い点と最も遠い点との距離をいう。即ち、レンズを或る特定の距離に対して焦点を合わせた時、満足すべき鮮明度が得られる全体の距離をいう。民生用ビデオカメラに対して、業務用ビデオカメラは一層深い被写界深度の撮影条件がとり得る。一般に、カメラの焦点調節特性は、被写界深度で表される。AF機能付きカメラでは、測距誤差が撮影に用いたビデオカメラの被写界深度内に収まっていれば(|被写界深度|>|測距誤差|)、ピントがあったと思える良い映像が撮れる。
これに対して、焦点深度とは、被写界深度によって包括される物体距離の前後範囲に対応した像距離の範囲をいう。言い換えれば、焦点を合わせた被写体の像が、受け入れ可能な鮮鋭さの範囲で許されるレンズと撮像面(CCD電荷結合装置)との距離をいう。
図39Aに示すように、物点(被写体)PがP0の位置でCCD面に焦点が合っている時、このレンズ及びCCDを固定した状態で、鮮明であると受け入れられるようなレンズ(カメラ)から最も遠い点P1と最も近い点P2との距離をいう。一方、図39Bに示すように、被写界深度によって包括される物体距離の前後範囲P1〜P2に対応した像距離の範囲P1′〜P2′を、焦点深度という。
なお、「ボケがなく、鮮明であると受け入れられるような状態」とは、実際に肉眼で見る判断と、許容錯乱円を使って定義する場合がある。前者は、いわゆる人間の眼による官能検査である。後者は、図40Aに示すように、本来一点に収束直径dの円形のボケを生じたとする。このとき、ピント外れ量δは、小円錐abcの高さとなる。最大許容量のボケが生じたときの円錐底面を許容錯乱円と呼ぶ。放送業務用の2/3インチのCCDを用いた場合には、この小円錐ABCの底面の直径dが22〔μm〕以下である時、ボケがなく、鮮明であると受け入れられるような状態とする。従って、d=22〔μm〕の時の小円錐ABCの底面を許容錯乱円といい、このときのピント外れ量δは焦点深度となる。
許容錯乱円の直径d≦22〔μm〕とする根拠は、図40Bに示すように、放送局用ビデオカメラで使用されている2/3インチCCDの正格子状に並ぶ画素(ピクセル)間の距離(画素ピッチ)に相当する。即ち、これ以下であれば、像が結像位置にある画素に隣接する画像まで拡がって、隣接画素に悪影響を及ぼさないからである。
一般に、民生用ビデオカメラでは官能検査で判断する場合が多く、業務用ビデオカメラでは許容錯乱円で判断する場合が多い。
従来より業務用又はプロ用ビデオカメラに適する非常に高精度のAF機構の開発が望まれている。現在まで、業務用又はプロ用ビデオカメラに適する高精度AF機構の開発が試みられたが、放送局のカメラマンの高い要求を満足することが出来ず、いずれも失敗に終わっている。従って、いまなおカメラマンの職人的技能に頼ったマニュアル焦点調節が行われているのが実状である。
本出願では、発明の詳細な説明の欄に記載するように、業務用又はプロ用ビデオカメラに適するAF機構を開発している。この画像処理方式のAFでは、評価値がピークを通過して初めてJPを検出できる。このため、AFのフローの最終段階においてピークを検出する山下り判定を採用している。
しかし、山下り判定には、次のような問題点がある。即ち、現在フィールドの評価値と所定フィールド前の評価値を用いて、両者の差を監視し、それが或る閾値を越えたら、評価値ピークを検出したとする方法が考えられる。この両評価値の差を用いる方法は、コントラストの低い、従ってJPにおいても評価値が低い被写体では評価値自体の値が低いためその差の変化も小さく、JP検出が出来ないという問題を有する。これに対して、両者の比を用いて判定する方法も検討した。この比を用いる方法では、コントラストの高い被写体、即ち、JPにおいて評価値が高い被写体ではピーク検出が遅れ、その結果評価値ピークを越えてオーバランスするという問題点を有することが判明した。
従って、本発明は、上述した問題点に鑑み、業務用又はプロ用ビデオカメラに適する非常に精度の高いAF機構を提供することを目的とする。更に本発明は、業務用又はプロ用ビデオカメラに適する非常に精度の高いAF機構を備えたビデオカメラを提供することを目的とする。更に本発明は、業務用又はプロ用ビデオカメラに適する非常に精度の高いAF方法を提供することを目的とする。
更に本発明は、業務用又はプロ用ビデオカメラに適するAF機構において、コントラストの高低に関係なく、確実に評価値ピークを検出出来るようにすることを目的にする。更に本発明は、業務用又はプロ用ビデオカメラに適するAF機構において、現在フィールドの評価値と所定フィールド前の評価値を用いて評価値ピークを検出する段階において、コントラストの高い被写体に対して行き過ぎの増加なしに、コントラストの低い被写体に対してピーク検出の感度を上げることを目的にする。
本発明に係るビデオカメラのオートフォーカス装置は、ビデオカメラの画像信号を入力する入力手段と、上記画像信号の特定領域の水平方向の高周波成分を抽出して評価値を生成する評価値生成手段と、上記評価値に応じて上記ビデオカメラのフォーカスレンズを駆動する指令値を算出する信号処理手段と、上記指令値を上記ビデオカメラのフォーカス駆動部に送出する出力手段と、画像信号の各水平ライン内の連続する複数の画像データの加算値を各ラインの代表値とし、この代表値に対して垂直方向にハイパスフィルタをかけてその出力より垂直方向評価値を算出する垂直方向評価値算出手段を設け、上記信号処理手段は、フォーカスを動かして評価値ピークの探索を行い、所定の条件を満足した上記垂直方向評価値の極大値が検出された際に、上記評価値が所定の値以下なら上記垂直方向評価値による検出結果を有効としてフォーカスを上記極大値の位置に戻し、上記評価値が所定の値以上なら上記垂直方法評価値による検出結果を無効として評価値ピークの探索を続行するものである。
更に本発明のビデオカメラのオートフォーカス方法は、ビデオカメラの画像信号より該画像信号の特定領域の水平方向の高周波成分を抽出して評価値を算出するステップと、画像信号の各水平ライン内の連続する複数の画像データの加算値を各ラインの代表値とし、この代表値に対して垂直方向にハイパスフィルタをかけてその出力より垂直方向評価値を算出するステップと、フォーカスを動かして評価値ピークの探索を行い、所定の条件を満足した上記垂直方法評価値の極大値が検出された際に、上記評価値が所定の値以下なら該垂直方向評価値による検出結果を有効としてフォーカスを上記極大値の位置に戻し、上記評価値が所定の値以上なら上記垂直方向評価値による検出結果を無効として評価値ピークの探索を続行するステップと、を備えたものである。
本発明によれば、業務用又はプロ用ビデオカメラに適する非常に精度の高いAF機構を提供することが出来る。更に本発明によれば、業務用又はプロ用ビデオカメラに適する非常に精度の高いAF機構を備えたビデオカメラを提供することが出来る。更に本発明によれば、業務用又はプロ用ビデオカメラに適する非常に精度の高いAF方法を提供することが出来る。
更に本発明は、業務用又はプロ用ビデオカメラに適するAF機構において、コントラストの高低に関係なく、確実に評価値ピークを検出出来るようにすることが出来る。更に本発明によれば、業務用又はプロ用ビデオカメラに適するAF機構において、現在フィールドの評価値と所定フィールド前の評価値を用いて評価値ピークを検出する段階において、コントラストの高い被写体に対して行き過ぎの増加なしに、コントラストの低い被写体に対してピーク検出の感度を上げることが出来る。
以下、本発明に係る実施例について添付の図面を参照しながら詳細に説明する。本実施例では、今回開発を行なった放送局又は業務用ビデオカメラのAFのハード構成及び動作アルゴリズムの説明を行なう。更に、AFの各評価値を作成するハード構成、評価値の種類、性質等の説明も併せて行なう。
なお、実施例の記載が長くわたるので、最初に目次を記し、その後、この目次の順番にしたがって説明する。また、図面に使用される符号は原則として4桁での数字で表記し、上位2桁は図面番号に対応し、下2桁は各要素に対して順に付与されている。但し、図番番号1〜9に関しては千の位のゼロは省略する。また、フローチャートの各ステップに関しては、更に最上位に「S」を付して識別出来るようにしている。
目次
1. ハード構成
2. 評価値
3. AFアルゴリズム
3.1 全体フローチャート
3.2 揺れ判定(レンズ静止時)
3.3 ウォブリング
3.4 山登りパラメータの初期化
3.5 最大、最小値更新
3.6 レンズ速度設定
3.7 飽和輝度判定
3.8 偽山判定
3.9 揺れ判定(レンズ動作時)
3.10 方向判定(山登り)
3.11 逆送判定
3.12 逆送反転処理
3.13 端到達判定
3.14 端反転処理
3.15 途中判断方法
3.16 ピーク選定
3.17 山下り判定
3.18 ピーク位置算出(重心処理)
3.19 ピーク位置へ移動
3.20 ロングフィルタ
1.ハード構成
図1は、本発明のビデオカメラの全体の構成を示す。ビデオカメラは、入射光を光学的に撮像素子の全面に集光するためのレンズブロックと、レンズブロックからの入射光をR,G,B(赤,緑,青)の電気的な撮像信号に変換する撮像ブロックと、撮像信号に対して所定の信号処理を行う信号処理ブロックとに別れ、制御手段として、レンズブロックを制御するレンズブロック制御用CPU114と、撮像ブロック及び信号処理ブロックからなるビデオカメラ本体を制御するメインCPU141と、撮像信号RGBからAFのために使用するパラメータである評価値を生成する、AF専用CPU138をもつAFブロック137とを備えている。
このレンズブロックは、光学的要素として、光軸方向に移動させることにより、目標被写体(ターゲット)に対してフォーカスをJPに追い込むためのフォーカスレンズ111と、AFスタート時にフォーカスレンズの進むべき方向を探るため後で説明するウォブリング動作に使用されるウォブリングレンズ112と、開口量を調節するアイリス機構113とを有している。
レンズブロックは、更に、フォーカスレンズ111に関して、フォーカスレンズの光軸方向のレンズ位置を検出するフォーカスレンズ位置検出センサ111aと、フォーカスレンズを光軸方向に移動させるためのフォーカスレンズ駆動モータ111bと、フォーカスレンズ駆動モータに駆動制御信号を与えるためのフォーカスレンズ(F. L. )駆動回路111cとをもっている。同様に、ウォブリングレンズ112に関しても、ウォブリングレンズの光軸方向のレンズ位置を検出するウォブリングレンズ位置検出センサ112aと、ウォブリングレンズを光軸方向に移動させるためのウォブリングレンズ駆動モータ112bと、ウォブリングレンズ駆動モータに駆動制御信号を与えるためのウォブリングレンズ(WOB)駆動回路112cとをもっている。同様に、アイリス機構113に関しても、開口位置を検出するアイリス位置検出センサ113aと、アイリス機構を開閉させるためのアイリス機構駆動モータ113bと、アイリス駆動モータに駆動信号を与えるためのアイリス駆動回路113cとをもっている。
なお、レンズブロック用CPU114は、フォーカスレンズ駆動回路111c,ウォブリングレンズ駆動回路112c及びアイリス駆動回路113cに対して夫々電気的に接続され、制御信号が供給される。また、フォーカスレンズ位置検出センサ111a,ウォブリングレンズ位置検出センサ112a及びアイリスレンズ位置検出センサ113aからの各検出信号は、常時、レンズブロック用CPU114に送られている。また、レンズブロック用CPU114は、フォーカスレンズ111及びウォブリングレンズ112の焦点距離データ,口径比データ、レンズブロックの製造メーカ名及び製造番号等を記録したROM(又はEEPROM)をもっており、これらのデータはレンズブロック用CPU114からの読み出しコマンドに基づいて読み出される。更にこのレンズブロック用CPU114には、AFの起動を指示するためのAFスイッチ115が取付けられていて、レンズブロック側CPU114はスイッチ情報をカメラ本体側のメインCPU141及びAFブロック137に対して送信する。
撮像ブロックは、更に、レンズブロックからの入射光をR,G,Bの3原色に色分解するための色分解プリズム121と、この色分解プリズムで分離されたR成分,G成分,B成分の光が撮像面上に結像され、結像された各色成分の撮像光を電気的な撮像信号R,G及びBに夫々変換して出力する撮像素子122R,122G,122Bとを有している。例えば、この撮像素子122R,122G,122Bは、CCD(電荷結合素子)からなる。
撮像ブロックは、撮像素子から夫々出力された撮像信号R,G,Bのレベルを増幅すると共に、リセット雑音を除去するための相関二重サンプリングを行うためのプリアンプ123R,123G,123Bを有している。
更に、撮像ブロックは、内部に設けられた基準クロック発生回路からの基準クロックに基づいて、ビデオカメラ内の各階路が動作する際の基本クロックとなるVD信号,HD信号及びCLK信号を発生するためのタイミング信号発生回路125と、タイミング発生回路から供給されたVD信号,HD信号及びCLK信号に基づいて、撮像素子122R,撮像素子122G及び撮像素子122Bに対して駆動クロックを与えるためのCCD駆動回路124とを有している。なお、VD信号は、1垂直期間を表すクロック信号であり、HD信号は、1水平期間を表すクロック信号であり、CLK信号は、1画素クロックを表すクロック信号であり、これらVD信号,HD信号及びCLK信号かなるタイミングクロックは、図示してないが、メインCPU141を介してビデオカメラの各回路に供給される。
信号処理ブロックは、撮像ブロックから供給される撮像信号R,G,Bに対して所定の信号処理を施すためのブロックである。信号処理ブロックは、撮像信号R,G,Bをアナログ形式からディジタル形式に夫々変換するA/D変換回路131R,131G,131Bと、メインCPU141からのゲイン制御信号に基づいて、ディジタルビデオ信号R,G,Bのゲインを夫々制御するためのゲイン制御回路132R,132G,132Bと、ディジタルビデオ信号R,G,Bに対して所定の信号処理を行う信号処理回路133R,133G,133Bとを有している。これらの信号処理回路は、例えば、ビデオ信号の或るレベル以上を圧縮するニー回路と、ビデオ信号のレベルを設定されたγカーブにしたがって補正するγ補正回路と、所定の黒レベル及び予定レベル以上の白レベルをクリップするB/Wクリップ回路とを夫々もっている。なお、この信号処理回路133R,133G,133Bは、ニー回路,γ補正回路,B/Wクリップ回路の他に、公知のブラックγ補正回路,輪郭強調回路,リニアマトリクス回路等をもっていてもよい。
信号処理ブロックは、更に、信号処理回路133R,133G,133Bから夫々出力されたビデオ信号を受け取り、ビデオ信号R,G,Bから輝度信号Yと色差信号(R−Y),(B−Y)を生成するためのエンコーダ134を有している。
信号処理ブロックは、更に、ゲイン制御回路132R,132G,132Bから出力されたビデオ信号R,G,Bを夫々受け取り、これらビデオ信号132R,132G,132Bに基づいて、AFを行うAFブロック137と、信号処理回路133R,133G,133Bから出力されたビデオ信号R,G,Bを夫々受け取り、その信号レベルに基づいて撮像素子に入射する光量が適切な光量となるようにアイリスを制御するアイリス制御回路135と、信号処理回路133R,133G,133Bから夫々出力されたビデオ信号を受け取り、その信号レベルに基づいてホワイトバランス制御を行うためのホワイトバランス制御回路136とを有している。
AFブロック137は、新規開発のオートフォーカス集積回路(AF−IC)139とAF用CPU(出願人における型番SH7034)138とを有し、このAF−IC(139)は、輝度信号生成回路(図示せず。)と各評価値毎に用意された評価値生成回路(図示せず。)とをもつている。各評価値生成回路は、輝度信号生成回路からの輝度信号Y及びタイミング発生回路125で生成されるHD,VD,CKの各タイミング信号が入力され、各評価値を夫々生成する。AF用CPU138は、予め記憶装置(図示せず。)に蓄積されたAFアルゴリズム(後で説明する。)に沿って、各評価値に対してAFアルゴリズムに応じた計算及び各種の処理を行い、また、計算で算出されたデータを1フィールドに1回更新して蓄積する。評価値の種類、役割等の詳細に関しては、項目「2.評価値」以降に説明する。
AF用CPU138は、AF−IC(139)に対して、速距エリアサイズ(評価枠サイズ),画像の種類(NTSC/PAL、画素のクロック等)等のデータを設定し、AF−IC(139)より評価値を受け取る。また、レンズブロック側CPU114との間で、シリアル通信を通してカメラの諸データ(フォーカス位置,アイリス値等)を受け取りフォーカス指令データを算出し、シリアル通信を通してレンズブロック側CPU114にフォーカス指令データを送出する。AF用CPU138の動作ソフトであるAFアルゴリズムに関しては項目「3.AFソフト」で説明する。
アイリス制御回路135は、図に示してないが、供給されたビデオ信号RGBの信号の中で信号レベルが最大である信号を選択するNAM回路と、選択された信号の画面におけるエリアを分割して、各エリア毎にビデオ信号を全積分する全積分回路を持っている。アイリス制御回路135は、この各エリア毎の積分データに基づいて、被写体の逆光証明,順光証明,フラット照明,スポット照明等のあらゆる照明状況を判断して、アイリスを制御するためのアイリス制御信号を生成し、このアイリス制御信号をメインCPU141に送出する。メインCPU141は、このアイリス制御信号に基づいて、レンズブロック側CPU112を介してアイリス駆動回路113Cに対して制御信号を送出する。
ホワイトバランス制御回路136は、供給されたビデオ信号R,G,Bから、(R−Y)=0,(B−Y)=0となるようにホワイトバランス信号を生成し、このホワイトバランス信号をメインCPU141に送出する。メインCPU141は、このホワイトバランス信号に基づいて、ゲイン制御回路132R,132G,132Bに対して、ゲイン制御信号を供給する。
一般に、ビデオカメラの内、レンズブロックは光学機器メーカで製造され、他の撮像ブロック及び信号処理ブロックからなるビデオカメラ本体は本出願人のような電子機器メーカで製造される。レンズブロックとビデオカメラ本体は、予め定めたフォーマット,プロトコル,コマンドデータ内容に対応していれば、どのメーカのレンズでもカメラ本体に取付けられる交換レンズ式となっている。即ち、レンズブロック側CPU114は、ビデオカメラ本体側から送られる各種情報要求(フォーカス位置、アイリス値等)に応じた情報をシリアル通信を通してカメラ本体のメインCPU141及びAF用CPU138に対して返却する。逆に、レンズブロック用CPU114は、シリアル通信ラインを通してカメラ本体側のメインCPU141及びAF用CPU137から送られるフォーカス制御指令及びウォブリング制御指令を受けて、フォーカスレンズ駆動回路111c,ウォブリングレンズ駆動回路1122c及びアイリス駆動回路113cを夫々制御する。
次に、図2を参照しながら、AFブロック137に関して詳しく説明する。AF−IC(139)は、14種類の評価値(後で説明するように、ID0〜ID13で特定される。)を生成するため、輝度信号生成回路201と、各評価値に対して評価値生成回路202とをもっている。輝度信号生成回路201は、供給されたビデオ信号R,G,Bから輝度信号Yを生成する回路である。フォーカスが合っているかずれているかを判断するためには、コントラストが高いか低いかを判断すればよい。コントラストの変化は色信号のレベルの変化とは無関係であるので、輝度信号Yのレベルのみの変化を検出することによって、コントラストが高いか低いかを判断することが出来る。輝度信号生成回路201は、供給されたビデオ信号R,G,Bに対して、公知の演算(即ち、Y=0.3R+0.59G+0.11B)を行うことにより、輝度信号Yを生成することが出来る。
評価値生成回路202には、14種類の評価値を生成するため、14個の評価値生成回路がある。評価値生成回路には、水平方向評価値算出フィルタ回路,全積分方式水平方向評価値算出フィルタ回路及び飽和輝度数算出フィルタがあり、これらの詳細は「2.2 評価値の種類」に関連して説明する。
2.評価値
本実施例のAFで使用している評価値の性質に関して説明を行う。評価値とは基本的には画像の測距エリア内の高周波成分を合計したものであり、概してJPの度合いに相関を有し、画像のボケの度合い反相関するような量である。このAFシステムでは、評価値は専用に開発されたAF−IC(オートフォーカス用集積回路)139により算出される。AFは、フォーカスを動かしそれに伴う評価値の増減を判断しながらフォーカスをJPに追い込んで行く動作からなる。
本AFで使用している評価値は14種類あり、ID0〜ID13で特定される。これらの評価値を一覧にして示す。なお、評価値ID7,ID8,ID10及びID11に関しては、画像データの高周波成分とは関係がないため上述の評価値の定義からは本来の評価値とはいえないが、評価値の増減を判断しながらフォーカスをJPに追い込んで行く上で補助的な役割を果たすので、本実施例では評価値として取り扱うことにする。ID#は、プログラム上で付与された評価値の識別記号であり、本明細書でも評価値を特定する際に使用する。
ID# 評価値名 備考
0 : IIR1―W1―HPeak 基本評価値
1 : IIR1―W2―HPeak
2 : IIR4―W1―HPeak
3 : IIR4―W3―HPeak
4 : IIR0―W1―VIntg
5 : IIR3―W1―VIntg

6 : IIR1―W1―HIntg
7 : Y―W1―HIntg 輝度加算値
8 : Y―W1―Satul 飽和輝度数
9 : IIR1―W3―HPeak
10 : IIR1―W4―HPeak

11 : IIR1―W5―HPeak
12 : Y―W3―HIntg 輝度加算値
13 : Y―W5―HIntg 輝度加算値
1D0〜ID13の各評価値に付与された評価値名は、その由来が分かるように、「使用データ−枠サイズ−評価値算出法」により命名されている。例えば、評価値ID0は、「IIR1」で特定されるデータを使用し、「W1」の評価枠サイズを使用し、「HPeak」の評価値算出法を使用して、求めた評価値である。このように、評価値名がそのままその評価値の属性を示している。
評価値名の使用データには大別して「IIR」及び「Y」がある。輝度信号からHPF(ハイパスフィルタ)を使用して取り出した高周波成分のデータを使用するIIR4と、HPFを使用しないで撮像信号の輝度データをそのまま使用するYとがある。
HPFを使用する場合は、HPFとしては図3に示すように、IIR型(無限長インパルス応答型)のHPFを使用している。HPFの種類によって、評価値IIR0,IIR1,IIR3及びIIR4に分けられ、これらは夫々異なったカットオフ周波数を持つHPFを表している。
異なるカットオフ周波数をもつHPFを設定する理由は、次の通りである。例えば、カットオフ周波数の高いHPFは、JPの近傍において非常に適している。JP近傍におけるレンズの動きに対して、評価値の変化の割合が比較的大きいからである。反対に、フォーカスが大きくずれているところでは、レンズを移動させたとしても、評価値の変化の割合が小さいので、カットオフ周波数の高いHPFはフォーカスが大きくずれているところでは適していない。
一方、カットオフ周波数の低いHPFは、フォーカスが大きくずれているところにおいて適している。なぜなら、フォーカスが大きくずれているところでもレンズを移動させると、評価値の変化の割合が比較的大きいからである。反対に、JPの近傍においてレンズを移動させたとしても、評価値の変化の割合が小さいので、適しているとは言えない。JP近傍におけるレンズの動きに対して、評価値の変化の割合が比較的小さいので、カットオフ周波数の低いHPFはJP近傍においては適しているとは言えない。
このように相反する性質を有する複数のフィルタを使用して性質の異なる評価値を生成し、AFの過程でその段階で最適な評価値を選択できるようにするため、異なるカットオフ周波数をもつHPFを設定している。
HPFをしない場合には、Yは、撮像信号のフィルタ無しの輝度信号Yを使用する。
次に、枠サイズ、即ち評価枠のサイズは、評価値生成に用いる画像領域の大きさであり、AF枠,評価枠,測距枠,特定領域とも称される。図7に示すように、本実施例で使用される枠サイズには、W1(評価枠1)〜W5(評価枠5)の5種類の枠サイズがあり、各々異なったサイズを有する。評価枠W1〜評価枠W5の各中心は、画面中心に一致する。
評価枠 枠サイズ(横×縦 単位:画素) 備考
W1 116× 60 基本枠サイズ
W2 96× 60
W3 232×120
W4 192×120
W5 576×180
但し、1フィールドの画面サイズは、768画素×240画素である。
これらの枠サイズの内、今回開発したAFソフトでは、狙った目標被写体に忠実にフォーカスさせるために、可能なかぎり最小サイズであるW1を用いてAF処理を行なっている。W1は、画面サイズの約1/6.6程度であり、この枠サイズW1を基本枠サイズと称する。
なお、後述するように、W1又はW2を使用する特定の評価値において、基本的にはW1又はW2の設定を行なうが、一定の条件下において、枠サイズW1,W2を枠サイズW3,W4又は枠サイズW5の大きさに拡大変更して用いる場合がある。即ち、「偽山」(ぼける方向にフォーカスがすすむと評価値が上昇する現象。)が発生すると最小枠W1又はW2のままではJPに追い込めない場合があり、このような場合には、その評価値が本来使用している枠サイズを拡大変更して、再度AF処理を行なっている。詳細に関しては後で説明する。
このように、複数種の枠サイズを設定することにより、各枠サイズに対応した夫々異なる評価値を生成することが出来る。従って、目標被写体がどのような大きさであろうとも、評価値ID0〜ID13の内のいずれかにより、適切な評価値を得ることが出来る。
評価値算出法には、HPeak,HIntg,VIntg及びSatulの各方式がある。HPeak方式はピーク方式の水平評価値算出法、HIntg方式は全積分方式の水平評価値算出法、VIntg方式は積分方式の垂直方向評価値算出法、そして、Satul方式は飽和輝度の個数を夫々示す。各々について説明する。
HPeak方式は、水平方向の画像信号からHPFを用いて高周波成分を求める評価値算出法である。評価値ID0,ID1,ID2,ID3,ID9,ID10及びID11に使用されている。従って、図2のこれらの評価値生成回路には、次に説明する水平方向評価値算出フィルタを有している。これらの評価値は、夫々評価値生成に用いるHPFのカットオフ周波数、枠サイズが異なっている。
図3Aは、HPeak方式に使用される水平方向評価値算出フィルタの回路構成を示したものである。水平方向評価値算出フィルタは、輝度信号生成回路(図2の符号201)の輝度データYから高周波成分だけを抜き出すHPF202と、この高周波成分の絶対値をとる絶対値処理回路203と、絶対値化高周波成分に水平方向の枠制御信号を乗算する乗算回路204と、1ライン当たり1つのピーク値を保持するラインピークホールド回路205と、評価枠内の全てのラインについて各ピーク値を垂直方向に積分する垂直方向積分回路206とを有する。
輝度データYはHPF202により高周波成分が抜き出され、絶対値処理回路203で絶対値化され全て正のデータとされる。次に、水平方向の枠制御信号が乗算回路204で乗算され、評価枠内の絶対値化高周波成分にされる。枠制御信号の乗算は、画面上でAF動作に関し目標被写体に関連して評価の対象となる範囲を評価枠として特定して、枠内の高周波成分のみを使用することにより、枠の外又は枠周辺部で出入りする映像情報による評価値のノイズ,急激な変化等を排除するためである。ラインピークホールド回路205で枠内の1〜Nの各ライン毎に1つのピーク値hp1,hp2,…,hpnが夫々ホールドされる。
各ライン当たり1つのピーク値がホールドされ、これを垂直方法積分回路206で垂直方向の枠制御信号に基づき評価枠内のラインに関して垂直方向にhp1〜hpnまで加算する。1つの画面の特定の評価枠に対して、各ピーク値をライン分合計した値Σ(hp1+…+hpn)を得る。この方式は、水平方向(H)のピークが一旦ホールドされるのでHPeak方式と称する。
また、枠制御信号に関しては、次のような工夫がされている。図3に、評価枠303に対応した水平方向の枠制御信号301と垂直方向の枠制御信号302を示す。ここで、垂直方向の枠制御信号302は方形波であるが、水平方向の枠制御信号301は単なる方形でなく家の屋根のような特性を与えて、両端部30画素の寄与率を徐々に減衰している。この理由は、フォーカスが進むにつれて枠周辺部に位置する枠外エッジ(評価枠周囲にある高輝度なエッジ)の枠内への侵入の影響及び被写体の揺れに伴う評価値の変動を軽減するためである。このような枠サイズの設定及び枠信号特性の生成は、今回開発したAF−ICにより、CPUから自由に行えるように構成されている。
ここで、HPF202のカットオフ周波数の相違は、図3Bに示すようにHPFのz変換式X(z)=(1−z-1)/(1−αz-1)における係数αの値で決定される。各評価値のカットオフ周波数の係数αの相違は次の通りである。
HPF αの値 備考
IIR0 1/2 V方向に使用
IIR1 1/2 H方向に使用
IIR3 7/8(=1−1/8) V方向に使用
IIR4 7/8(=1−1/8) H方向に使用
係数α=1/2で特定されるHPFのカットオフ周波数は、fsc(サブキャリアの周波数であって、サンプリング周波数の1/4。)近辺と比較的高く、感度は相対的に低いためノイズをあまり拾わない。一方、係数α=7/8で特定されるHPFのカットオフ周波数は、比較的低いため感度は相対的に高いが、反面ノイズを拾い易い。また、位相遅れが係数α=1/2の場合に比較して格段に大きいので枠外の影響を受け易い。
なお、α=1/2のIIR0とIIR1、またα=7/8のIIR3とIIR4を夫々分けた理由は、後で説明する評価値算出法におけるV方向(垂直方向)とH方向(水平方向)の相違によるものである。その理由は、H方向は撮像信号のラインに関して連続的であるのに対して、V方向はフィールド単位の飛び越しラインなので離散的であるために空間周波数が比較的低くなってしまうことにある。従って、同じαを使用していても識別可能なように、使用データ名を別なものにしている。
HIntg方式は、全積分方式で求める水平方向の評価値算出法である。HIntg方式は、評価値ID6,ID7,ID12及びID13に使用されている。HPeak方式と比較すると、HPeak方式が1ライン当たり1つのピーク値hp1 〜hpnを求めて、それらを垂直方向に加算Σ(hp1+…+hpn)をしているのに対して、HIntg方式では各ラインの全ての輝度信号y1 〜yn 又はその高周波成分h1〜hn を用いて、それらを垂直方向に加算Σ(y1 +…+yn ),Σ(h1 +…+hn )している点で相違する。HIntg方式には、使用データが高周波成分を使用するIIR1と、輝度信号Y自体をそのまま使用するYとに分類される。
HIntg方式において使用データとしてIIR1を使用する場合は、輝度信号からIIR1で特定されるHPFによって抜き出された高周波成分を全積分している。評価値ID6に使用される。従って、図2の評価値ID6生成回路は、次の全積分方式水平方向評価値算出フィルタを有している。図5は、この全積分方式水平方向評価値算出フィルタの回路構成を示す。このフィルタは、輝度信号生成回路(図2の符号201)からの輝度データYを出力する加算回路501と、輝度データYから高周波成分だけ抜き出すHPF502と、絶対値処理回路503と、絶対値化高周波成分に水平方向枠制御信号を乗算する乗算回路504と、絶対値化高周波成分を枠内の全てのラインについて加算する水平方向加算回路505と、垂直方向の枠制御信号に基づき枠内の全てのラインの絶対値化高周波成分加算値を垂直方向に積分する垂直方向積分回路506とを有する。
図2のHPeak方式の水平方向評価値算出フィルタと比較すると、全積分方式水平方向評価値算出フィルタは、水平方向枠信号乗算回路504までは同じであるが、水平方向加算回路505で乗算後の水平方向データを全て加算し、その後、垂直方向積分回路506で枠内の全てのラインを垂直方向に積分する点で異なっている。従って、HIntg方式は、HPeak方式よりも評価値の値は相対的に高く、低コントラスト被写体に対しては有効であるが、反面、偽山も発生しやすい欠点も有する。そこで、本実施例のAFでは、HPeak方式とHIntg方式を適時の使い分けるのであるが、HPeak方式とHIntg方式の使い分けに関しては、後で説明する。
HIntg方式において使用データとして輝度データYを使用する場合は、輝度データYを水平方向に全て加算し、設定された評価枠内で全積分している。この場合の評価値は輝度加算値とも称される。評価値ID7,ID12及びID13に使用される。輝度加算値は、図5の全積分方式水平方向評価値算出フィルタからHPF502を取り外した輝度加算値算出フィルタ回路で得られる。
輝度加算値は、高周波成分を抜き出していないので、ボケ現象と直接的に関係する高周波成分を利用する本来の評価値、即ちHPeak方式,IIRを使用するHIntg方式及び次に説明するVIntg方式の評価値とは異なっている。実際、被写体に揺れ,外乱(ノイズ)等がなく被写体が評価枠内に出たり入ったりしない場合は、輝度加算値は、映像がJP状態の時でもボケ状態の時でも、ほとんど同じ値となる。しかし、被写体に揺れ,外乱等が生じて枠内に乱入すると、輝度加算値は大きく変化する。そこで、輝度加算値は、このような性質を利用して、主に外乱,揺れ等の監視に用いる評価値として有効である。このように、輝度加算値は、AFでJPを追い込む際に補助的であるが有効な役割を果たすので、本実施例では評価値として取り扱っている。
VIntg方式は、全積分方式の垂直方向評価値算出法である。評価値ID4及びID5に使用される。従って、図2のこれらの評価値生成回路は、次に説明する垂直方向評価値算出フィルタを有している。HPeak方式及びHIntg方式はいずれも、水平方向に加算して評価値を生成しているのに対して、VIntg方式は高周波成分を垂直方向に加算して生成された評価値である。例えば画面の上半分が白色で下半分が黒色の映像,水平線の映像等シーンによっては垂直方向の高周波成分のみ有り垂直方向の高周波成分が無い場合は、HPeak方式水平方向評価値は有効に機能しない。そこで、VIntg方式の評価値は、このようなシーンにもAFが有効に機能するように定めている。
一般に、高周波成分を垂直方向に加算しようとすると、高周波成分のデータを一旦ラインメモリ又はフレームメモリに記憶して、その読み出し順序を工夫することが必要であり、その回路構成が大規模且つ複雑となる。しかし、ここで定義したVIntg方式は、そのような回路構成を必要としない簡易的なオリジナルな構成により、垂直方向評価値を得ている。
図6Aは、垂直方向評価値算出フィルタの回路構成を示す図である。垂直方向評価値算出フィルタは、垂直方向評価値算出フィルタ601と、タイミングジェネレータ602と、IIR型HPF603と、絶対値回路604と、積分回路605とを有する。
垂直方向評価値算出フィルタ601は、輝度信号生成回路(図2の符号201)からの輝度データYの各ラインの評価枠内中心部にある64画素の平均値(合計値でも同じ。)を算出し、1Hに1回出力する。ここで、中心部の64画素としたのは、評価枠周辺部のノイズを除去するためである。ここでは、単に64画素分だけ逐次蓄積して最終的に1つの合計値を出力しているため、ラインメモリ又はフレームメモリ等のメモリ装置を必要としない簡易な構成となっている。次に、これを、ライン周波数で同期を取ってHPF603により高周波成分を抜き出している。この中心部の高周波成分は、絶対値回路604で絶対値化高周波データとされ、積分回路605で枠内の全てのラインに関して全積分している。
垂直方向評価値は水平線のシーンのような水平方向の変化がない映像で特に有効である。反対に、水平方向の変化がある映像の場合には、これがノイズとなり評価値の有効性は低下する。
Satul方式は、枠内の飽和した(具体的には、輝度レベルが所定量以上の)輝度データYの個数を求める算出法である。評価値ID8に使用され、評価値ID8は飽和輝度数とも称する。従って、図2のこれらのID8評価値生成回路は、次に説明する飽和輝度数算出回路を有している。飽和輝度数は、飽和輝度数が多い場合には偽山が発生することが多く、偽山発生に対してはAFとして特別の処理を必要とするため、高い確率で偽山が出現する状況を検出するための評価値として定義している。
図6Bに、飽和輝度数算出回路の一例を示す。この飽和輝度数算出回路は、輝度データYと閾値αとを比較して、輝度データYが閾値α以上(飽和輝度)のとき「1」を出力する比較器606と、この比較器の出力,水平・垂直枠制御信号及び1画素クロックを表すクロック信号CLKを入力するAND回路607と、このAND回路の出力をクロック入力端子に入力し、1垂直期間を表すVD信号をセット端子に入力して、1フィールド分の飽和輝度データの個数を係数するカウンタ608とを有している。次に、各評価値について個別的に説明する。
次に、個別評価値に関して説明する。
(1) ID0(IIR1―W1―HPeak)
評価値ID0は、本実施例のAFにおいて最も基本となる評価値であり、基本評価値とも称する。本実施例のAFは、評価値ID0の増減を優先的に判断して、実行している。評価値ID0は、IIR1で特定されるHPFのカットオフ周波数がfsc(サブキャリアの周波数であって、サンプリング周波数の1/4。)近辺と比較的高く、評価値ピークがJPと一致する確率が高い。
これに対して、評価値ID3(IIR4―W1―HPeak)は、IIR4で特定されるHPFのカットオフ周波数が比較的低いため感度が相対的に高く、評価枠外の要因等に影響され易く、評価値ピークがJPと重ならない場合が生じ、その結果、JPの追い込みに間違いが生じる危険性がある。
反対に、評価値ID0は、感度が相対的に低いため他の評価値に比べて偽山が発生することが少ないが、少しのボケ状態でもノイズレベルに対してJPの所在が不明となり、有意な値が得られなくなる欠点も有する。
この評価値を生成する回路構成は図3の水平方向評価値算出フィルタによる。図3Bに示すHPFの係数αは1/2である。枠の大きさは、基本サイズの評価枠W1(116×60)で、画面サイズの約1/6.6となっている。評価枠W1は、民生用ビデオカメラのAFに使用される評価枠に比べて相対的に小さな枠サイズである。民生用ビデオカメラに比較して小さい枠サイズを選定したのは、狙った目標被写体にきっちりフォーカスさせるためである。反面、枠サイズを小さくすると手ぶれ、被写体の揺れ等により評価値が変動し易くなり、AFは一層困難になる。このため、評価値ID0では、評価枠W1を固定的に使用するのではなく、後で述べる偽山判定,飽和輝度判定における一定の条件下で、線分比で2倍,3倍に拡大した別の評価枠に拡大変更して使用できる工夫も凝らしている。詳細については後述する。
(2) ID1(IIR1―W2―HPeak)
評価値ID0(IIR1―W1―HPeak)に比較して、評価値ID1は、水平方向だけが僅かに小さいサイズの評価枠W2(96×60)で生成されている。ID1は、ID0に対して枠サイズが若干小さいだけで他の条件は全て等しいので、評価値曲線の挙動は略同じだが、IDOとの水平方向枠サイズの差を利用して、後で述べる「偽山判定」を行なうために設けている。
(3) ID2(IIR4―W1―HPeak)
ID0(IIR1―W1―HPeak)と比較して、ID2は、評価値生成におけるHPFのカットオフ周波数が1/8となっており、低い周波数成分まで評価値生成に寄与しているので相対的に感度が高い性質を有する。枠サイズに関してはID0と同じ基本枠サイズW1であるので、ID0に比較してボケ状態でも有意な値をとるが、HPFの位相遅れがID0に比較して格段に大きいので枠外の影響を受け易く偽山が発生しやすいという欠点もある。
図2に評価値ID0及び評価値ID2の傾向を示す。評価値ID0曲線はカットオフ周波数が比較的高い高周波成分しか寄与しないので、シャープな形状となっている。
(4) ID3(IIR4―W3―HPeak)
ID2(IIR4―W1―HPeak)と比較して、評価値ID3は、枠サイズが異なり縦横共に線分比2倍の評価枠W3(232×120)を使用しているので、その分だけライン数が多くなり、評価値は相対的に高くなる。後で説明する「ウォブリング方向判定」,「逆送判定」及び「チェックダウン判定」に用いる。
(5) ID4(IIR0―W1―VIntg)
評価値ID4は、垂直方向の高周波成分を求める評価値である。IIR型HPFのフィードバック係数はIIR1と同じα=1/2だが、フィールド単位の飛び越しラインなので、空間周波数で考えるとIIR1よりも低い。枠サイズはID0と同じ基本枠サイズW1である。評価値ID4は、映像に水平方向高周波成分がなく垂直方向高周波成分がある場合には、被写体のボケ現象と相関をもつ評価値となるが、反面、水平方向成分が増えてくると偽山を発生し易くなる性質を有する。
(6) ID5(IIR3―W3―VIntg)
評価値ID5は、ID4(IIR0―W1―VIntg)と同様の垂直方向の評価値である。但し、本願出願時点ではこの評価値は用いていない。使用データIIR3は、IIR型HPFのフィードバック係数αはIIR4と同じα=7/8だが、フィールド単位の飛び越しラインなので空間周波数で考えるとIIR4よりも低い。枠サイズはID2と同じ評価枠W3である。
(7) ID6(IIR1―W1―HIntg)
評価値ID6は、HPFに関してはID0(IIR1―W1―HPeak)と同じだが、この評価値は絶対値処理後の全てのデータをH方向及びV方向共に全積分しているため、評価値の感度が高い。従って、ID6は、暗いシーンに対して有効である。しかし、評価値の感度が高いためノイズを拾いやすく、極端に暗いシーンになると発生するノイズも全部加算するために偽山が発生しやすい欠点もある。評価値ID6は、主に低コントラストの被写体用に用意している。
(8) ID7(Y―W1―HIntg)
評価値ID7は、枠内の輝度データYを単純に合計した値であり、輝度加算値とも呼ぶ。枠サイズは基本枠サイズW1である。被写体が静止していれば、フォーカスが変化しても輝度加算値はあまり変化しないので、被写体のボケ状態判断に用いることはない。しかし、輝度加算値は、被写体の揺れ状態、外乱の枠内への侵入があると大きく変化する性質を有するので、これらの監視用に用いる。
(9) ID8(Y―W1―Satul)
評価値ID8は、CPUが設定する所定の輝度レベルよりも大きい輝度をもつ画素の数である。ID8を飽和輝度数とも呼ぶ。この所定の輝度レベルは、CPUによって設定され、略最大輝度レベルに近い値が設定される。枠サイズは基本枠サイズW1である。飽和輝度数が大きい場合には、偽山が発生することが多い。AFソフトでは、この飽和輝度数ID8を監視し、所定数を越えたら特別の処理に切り替えてフォーカスをJPに追い込んでいる。
(10)ID9(IIR1―W3―HPeak)
評価値ID9は、ID0(IIR1―W1―HPeak)と比較して、枠サイズのみ異なり、線分比2倍に拡大したものを使用する。枠サイズは評価枠W3(232×120)である。「揺れ判定」,「偽山判定」及び「保険モード」時のピーク判定に用いる。
(11)ID10(IIR1―W4―HPeak)
評価値ID10は、ID9(IIR1―W3―HPeak)に比較して、水平方向が僅かに小さいサイズの評価枠W4(192×120)で生成されている。枠サイズに関して、ID10のID9に対する関係は、ID1のID0に対する関係と同様である。「偽山判定」及び「保険モード」時のピーク判定に用いる。
(12)ID11(IIR1―W5―HPeak)
評価値ID11は、ID0(IIR1―W1―HPeak)に比較して、枠サイズのみを線分比で横ほぼ5倍,縦3倍に拡大した評価値である。枠サイズは最大の評価枠W5サイズである。評価値ID10と同様に、「揺れ判定」,「偽山判定」及び「保険モード」時のピーク判定に用いる。
(13)ID12(Y―W3―HIntg)
評価値ID12は、ID7(Y―W1―HIntg)に比較して、枠サイズのみを線分比で横縦共に2倍に拡大した評価値である。枠サイズは評価枠W3(232×120)である。被写体の揺れ状態及び外乱の枠内への侵入の判断に用いる。
(14)ID13(Y―W5―HIntg)
評価値ID13は、ID7(Y―W1―HIntg)に比較して、枠サイズのみを線分比で横ほぼ5倍,縦3倍に拡大した評価値である。枠サイズは最大の評価枠W5である。評価値ID12と同様に、被写体の揺れ状態、外乱の枠内への侵入の判断に用いる。
(15)各評価値の関係各評価値は、使用データにより輝度データYから抜き取った水平方向高周波成分を使用するHPeak(HIntg)と、輝度データYを全部使用するYと、水平方向データの中央部の高周波成分を全部使用して垂直方向に積分するVIntgとに大別される。
HPeakに関しては、図9Aに示すように、基本評価値ID0に対して、評価枠を面積比4倍に拡大したID9と、面積比ほぼ15倍に拡大したID11があり、また、IDOに対して水平方向が若干狭いID1と、ID9に対して水平方向が若干狭いID10とが用意されている。更に、基本評価値ID0に対してHPFのカットオフ周波数が低い(感度が高い)ID2と、ID9に対してHPFのカットオフ周波数が低いID3が用意されている。更に、特別に、基本評価値ID0と異なり、全積分HIntgするID6がある。
Yに関しては、図9Bに示すように、輝度加算値ID7と、評価枠を面積比4倍に拡大したID12と、面積比ほぼ15倍に拡大したID13とがある。VIntgに関しては、図9Cに示すように、ID4と、評価枠を拡大しカットオフ周波数も低いID5が用意されている。その他にID8が有る。
次に、ビデオカメラの動作を、図10〜図38を用いて説明する。
3.AFアルゴリズム
3.1 全体フローチャート
今回開発したAF機構は、ワンショットタイプを採用するとの思想で開発されている。AFスイッチ(図1の符号115)がプッシュされたら起動し(AFスタート)、フォーカスをJPに追い込んだら動作を終了する「ワンショットタイプAF」の仕様となっている。即ち、一旦AF作動スイッチが押されてフォーカスがJP状態になったレンズは、次にAF作動スイッチが押されるまで不動状態となる。これは、放映中にフォーカスが変動する場合の危険性を回避するためである。
実際の放送局スタジオ又は各種イベントにおける多くの撮影では、複数台のビデオカメラが用意され、適時切り替えて放映する。従って、特定のカメラと被写体間の距離はほとんどの場合に一定であり、ワンショットタイプAFは、このような映像に適したモードである。反面、屋外で遠方からこちらに向かって疾走する列車を撮影するような連続的にカメラとの距離が変化している被写体の撮影に関しては適していない。
図10に本AFソフトのフローチャートを示す。本AFソフトは、概して、揺れ判定ステージ、WOBステージ、山登りステージ、の3ステージから構成されている。揺れ判定ステージでは、被写体の揺れを判定し、それに応じたモードの設定を行なう。WOBステージでは、ウォブリングレンズのみ動かしてウォブリング処理を行ない、フォーカスレンズが進むべきの初期方向を決める。ウォブリング処理終了時点までは、フォーカスレンズは不動である。山登りステージでは、実際にフォーカスレンズを移動して、それに伴う評価値の増減を判断してフォーカスをJPに追い込む処理を行なう。このAFフローチャートでは、通常、山登りループを1フィールドで1回の割合で何回か周回しながら評価値ピークを検出し、JPに追い込んでいる。
なお、上記AFフローとは別に毎フィールドのデータ処理として、次のデータを所定のループバッファメモリ(32フィールド分)へ順次更新して記録している。ループバッファに格納されたデータは、AFソフトの各種処理、判定に使用される。
(a) 評価値14種の生データ
(b)(a)の各評価値データ各々の3フィールドの移動平均をとったもの(14種)
(c) レンズ位置
(d) アイリス値及びフォーカス値(1フィールドづつ交互に記憶)
以下、図10のAFフローのステップに順番に説明する。
3.2 揺れ判定(レンズ静止時)
レンズに取付けられたスタートスイッチが押されると、AF機構が動作開始する。ステップS1001で、レンズ静止の時の揺れ判定、即ち、揺れの有無を判定する。「揺れ」とは、カメラと被写体の相対的な動きである。この揺れ判定には、AFスイッチが押されてから所定期間経過経過するまでの評価値データは、揺れ判定のための計算には寄与させない特徴を有する。
図11は、カメラをパンさせて停止し、AFのスイッチをONしたときの評価値の変動を示したものである。この揺れ判定では、評価値に対するパン及びスイッチONによる影響を排除するように揺れ判定期間を定めている。図11に示すように、パンによる評価値が変動する期間1105の後、AF機構のスイッチオン(SW ON)1101してから20フィールド経過後まで期間を、直後の8フィールドの期間を除き、揺れ判定期間(9〜20フィールドの12フィールド間)1103として定め、この期間の評価値データを用いて揺れの状態を判定する。
直後の8フィールド(1104)を除外しているのは、スイッチプッシュ時のカメラぶれの影響をとり除くためである。このように、揺れ判定期間1003を設定することにより、スイッチONによる影響の無い評価値が得られる。なお、「パン」(pan,panning)」とは、カメラワークの一種で、カメラを左右に移動しながら撮影することである。代表的なパンとして、フォローパンとサーベイングパン等がある。カーレースでスピードを出している自動車が止まっているように見えるが、背景が横に流れている映像は、自動車のスピードに合わせてカメラをフォローパンした結果である。
揺れ判定の結果、揺れが有ればステップS1002に進み「揺れモード設定」をする。揺れモードが設定されると、後で説明するようにフォーカスレンズの動かす速度及びウォブリングレンズの動作を変えている。この段階までは、ウォブリングレンズ及びフォーカスレンズは不動である。
ここで、各評価値の値はeで表示し、特に評価値IDiの値をe[i]と表記する。また、現フィールドの評価値をe0 、jフィールド前の評価値をej 、と表記する。従って、例えば、e2 [0]は評価値ID0の2フィールド前の値を意味するものとする。また、これから説明するようにAFの各段階で、各評価値の値e[i]は所定の閾値によって様々に判断されるが、その閾値をthとし、特に評価値IDiの閾値をth[i]と表記する。また、閾値が複数個ある場合、第1の閾値をth1 [i]とし、第2の閾値をth2 [i]とする。
なお、本実施例においては、各閾値及びその他の判定基準に関して可能な限り具体的数値を挙げて説明するが、これらの数値は例示でありこれに限定されるものではない。発明の本質は、特定の性質を有する評価値に対して、閾値又はその他の判定基準を設けて各段階のフォーカス状態又はこれに関連する事象を判断しているところにあることを承知されたい。
揺れの判定は、評価値ID0の正規化差分値及び評価値ID7(輝度加算値)の正規化差分値を用いる。評価値ID0の正規化差分値〔%〕は、現在フィールドの値e0 [0]、その2フィールド前の値e2 [0]を用いて、
50×|e0 [0]−e2 [0]|/e0 [0]
で定義する。同様に、評価値ID7の正規化差分値〔%〕は、現在フィールドでの値e0 [7]、その2フィールド前の値e2 [7]を用いて、
50×|e0 [7]−e2 [7]|/e0 [7]
で定義する。
正規化差分値は1フィールド当たりの評価値の変化の割合を意味している。ここで、現在フィールドの評価値と2フィールド前の評価値とを比較しているのは、oddフィールドとevenフィールドの相違による評価値変動の影響を除去するために、2フィールド間隔としてodd又はevenフィールドの一方だけを使用するからである。また、百分率であるに拘わらず、50倍しているのも同様の理由による。
また、実際に試作したAF機構では、更に、e0 [0],e2 [0],e0 [7],e2 [7]の各々は、3フィールドの移動平均値を採用している。これは、室内の蛍光灯が50Hzで点滅し、一方、カメラが60Hzで動作するため、蛍光灯のフリッカが20Hzとなり、この影響を排除するためである。同様に、これから説明する各評価値の値eは、特に断らない限り、いずれも3フィールドの平均値をとっているため、蛍光灯のフリッカの影響は無いものと承知されたい。
ループバッファに格納した、揺れ判定期間の12フィールドにわたる評価値ID0を用いて正規化差分値を計算し、各正規化差分値の中で最大値を最大正規化差分値(以下、「ndiff e[0]」とする。)とし、揺れの判定を実行する。
しかし、評価値ID0の値が低い場合には、定常的に存在するノイズ変動により被写体に揺れがなくとも「ndiff e[0]」が大きな値となり、揺れ判定の閾値を越えてしまうことがある。
そこで、評価値ID0の値が低い場合には、代わりに輝度加算値ID7を用いて12フィールドの各正規化差分値を計算し、それらの最大値から最大正規化差分値「ndiff e[7]」を作成し、それを用いて揺れ判定を行なっている。全ての場合に評価値ID0の最大正規化差分値「ndiff e[0]」を用いないのは、評価値ID0が或る閾値以下であれば、「ndiff e[7]」の方が被写体の揺れに対応していると考えるからである。揺れ判定の具体的基準を以下に示す。
評価値ID0の平均値(揺れ判定期間12フィールドの平均値)が200以上なら、
ndiff e[0]〈 3% → 静止モード
ndiff e[0]≧ 3% → 揺れモード1
ndiff e[0]≧30% → 揺れモード2とする。
評価値ID0の平均値が200未満なら、
ndiff e[7]〈 7% → 静止モード
ndiff e[7]≧ 7% → 揺れモード1
ndiff e[7]≧12.5%→ 揺れモード2とする。
揺れ判定の手順及び判定基準値は、多数の被写体を撮影して決定した。当初、出来れば全て評価値ID0で揺れ判定を行いたかったが、輝度加算値ID7をも使用したにのは、輝度が低くてノイズに近いようなシーンの場合(200未満)には、ID7に基づく「ndiff e[7]」を使用した方が好ましい結果が得られたからである。ここで、基準値として、評価値ID0の平均値が200以上又は未満で分けたこと、3%,30%,7%,12.5%の各閾値を採用したことは、多数の被写体を撮影して実験的に決定した。
尚、画面が大ボケ状態の場合には画面は均一に近くなるので、たとえ被写体が揺れていたとしてもその検出は出来にくくなる。従って、AF動作を大ボケ状態からスタートすると、この揺れ判定では揺れの有無に係わらずに「静止モード」と判定してしまう。そこで、後で述べるフォーカスレンズが移動する山登りステージにおいても評価値が有意な大きさになったら、揺れ判定(S1014)を再度行なっている。
次のステップS1003の「ロングフィルタ判定」及びS1004の「ロングフィルタ処理」に関しては、説明の都合上最後に説明する。
3. 3 ウォブリング
ステップS1005でウォブリング(以下、「WOB」と略す。)が可能か否かを判断し、可能ならばWOB動作(S1006)に進み、そうでないならば直接山登りステージに進む。
先ず、WOBの有用性について説明する。AFが要求されたら、直ちにフォーカスレンズを動かす方法も考えられる。一般に、WOBレンズは、フォーカスレンズと比較して質量が小さいため、比較的短い時間でフォーカスを焦点深度程度移動することができる。もちろんフォーカスレンズでフォーカスを焦点深度相当移動することもできるが、WOBレンズよりも長い時間を要する。更に、焦点深度が深いレンズ撮影条件(アイリスが閉じ気味、テレ端)では、CCDから相対的に遠いフォーカスレンズは一層大きく動かす必要がある。
ここで「テレ端」とは拡大状態をいい、極端に狭い範囲でピントが合っている状態をいい、FARからNEARまで評価値が極端に変化する。反対に、「ワイド端」とは、ズームアップ状態をいい、テレ端では広範囲でピントが合っている。そのため、FarからNearまで評価値が変化しない。テレ端の傾向が高まるにつれ、WOBは有効となる。
フォーカスレンズを進むべき方向が分からないままに移動させ、それが評価値低下の方向であることが判明した場合には、フォーカスレンズは移動方向を反転する応答特性が悪く、集束時間が長くかかってしまう。このような、ぼける方向に進み、その後反転してJP方向に進む動作は、画面の見栄えが良くなく、進むべき方向が分からないままに移動させた場合に発生する確率は厳密には言えないが半分の確率といってよい。また、WOBでは、フォーカスレンズを移動する方法に比較して、画面の変化がほとんど分からずに行えるので、フォーカスの状態(ジャストピン,小ボケ又は大ボケ)及び評価値の変化する方向、即ちフォーカスレンズの進むべき方向が正確にわかるならば、WOBは有用である。
そこで、フォーカスレズが前玉繰り出し方式のレンズであり、WOBレンズを別個有する場合には、WOB可能であるか否かを判断した上で、予めWOB動作を行いフォーカスレンズの進む方向を探ってからフォーカスレンズを動かすこととしている。
ステップS1005でWOB可能判断の処理を行う。WOB可能判断の処理では、WOBが有効(可能)であるか否か、即ちWOBさせるか否かの判定を行なう。WOBは常に有効であるわけではない。WOBが無効な場合とは、(i)評価値ID0が所定閾値(例えば、250)以下の場合、(ii)揺れモードの場合、又は(iii)飽和輝度数ID8が所定量以上ある場合であり、これらの場合はWOBを実行しない。
(i)評価値ID0が所定の閾値(例えば、250)以下の場合
評価値IDOが低い場合、JP又は大ボケ状態ではWOBによって評価値の変化が得られないので、フォーカスレンズの移動方向を決定する方向判定ができない。そこで所定の閾値を設けて、それ以下であればWOBを行わない。この閾値の大きさ250は種々の被写体を用いて実験的に決定した。ここで、例えば、カットオフ周波数が低く枠サイズの大きいID3等の他の評価値を用いることも検討したが、偽山発生によりフォーカスレンズの方向判定が誤る場合が多かったので、結局、評価値ID0のみ使用して基準としている。
(ii)揺れモードの場合
ステップ901の揺れ判定(レンズ静止時)で揺れモード1又は2と判定された場合には、揺れによる評価値変動が大きくWOBしても方向判定を誤ることが多くなるので、WOBは行なわない。
(iii)飽和輝度数ID8が所定量以上ある場合
評価枠内に飽和輝度データが所定量以上ある場合には、WOBしても評価値が変動しない傾向にある。飽和している場合には多少ぼかしても、エッジのシャープさが変化しないためである。
評価値ID0が所定の閾値以上あり、静止モードであり、且つ、飽和輝度数ID8が所定量以下の場合((i)〜(iii)のいずれにも該当しない場合)には、WOBを行うためWOB動作(S1006)に進む。(i)〜(iii)のいずれかに該当した場合、WOBは有効でないため、WOBを行わずに、直接山登りステージに進む。
ステップS1006でWOB動作を行う。これは、AFブロック137からレンズブロック側CPU114に対してWOBレンズ制御指定を与えることにより行われる(図1参照)。図12は、WOB動作のフローチャートを示したものである.WOBルーチンが起動されたら、ステップS1201で、14種類の評価値の値(e0 [i],i=1〜13)を全て記憶する。ステップS1202で、WOBレンズを現在位置からNear方向に向け移動して半焦点深度分だけNear方向に寄った位置にして、評価値が安定した後、ステップS1203で14種類の評価値(enear[i],i=1〜13)を記憶する。ステップS1204で、WOBレンズをFar方向に向け移動し最初の位置から半焦点深度分だけFar方向に寄った位置にして、評価値が安定した後、ステップS1205で14種類の評価値(efar [i],i=0〜13)を記憶する。
ステップS1206で、WOBレンズをニュートラル位置(最初の位置)に戻し、評価値が安定した後、ステップS1207で14種類の評価値(eneutral[i],i=0〜13)を記憶する。なお、再度最初の位置に戻してニュートラル位置とし、14種類の評価値をサンプリングしているのは、efar [i]との間で行う演算精度を上げるためである。従って、ステップS1206を外して、ステップS1202のe0 [i]を変わりに用いてもよい。
ここで、Far方向とNear方向について説明する。レンズをCCDから遠ざける方向(即ち、被写体に近づける方向。)をNear方向という。換言すれば、近く(Near)にある被写体に対しJPになるように移動する方向をNear方向という。Far方向は、Near方向の反対方向である。また、Near端とFar端については、JP可能な最接近距離にある被写体がJP状態にあるレンズ位置をNear端にあるといい、無限遠にある被写体がJP状態にあるレンズ位置をFar端にあるという。
なお、WOB動作のタイムチャートを図13に示す。図13においてwtimeは、WOBレンズの移動時間と移動平均フィルタの位相遅れ時間(1フィールド)を足したものである。
wtime=6フィールド(F5.6未満)
7フィールド(F5.6〜F8)
9フィールド(F8以上)
wtimeは、アイリス値Fによって異なった値にしている。WOBレンズを半焦点深度分動かすには、アイリスが絞られればそれだけ時間がかかるためである。
なお、ステップS1202のNear側への移動とステップS1204のFar側への移動は、どちらを先に実行してもよい。
このようにして記憶した評価値e0 [i],efar [i],enear[i],eneutral [i],(i=0〜13)を用いてフォーカスの状態を判断するステップS1208の方向判定処理に進む。この方向判定処理の詳細なフローを図12Bに示す。
図12Bに示す方向判定処理のフローは、第1段階判定と第2段階判定からなる。最初に、カットオフ周波数の比較的高い使用データIIR1の評価値を用いて第1段階判定を実行して方向判定し、ここで方向が分からなかった場合に、方向判定に寄与する評価値を変更して、カットオフ周波数の比較低い使用データIIR4方式の評価値を用いて第2段階判定を続行する。方向判定としては、第1段階判定がメインである。第1段階判定では、ジャストピン(JP)判定(S1209)、Near判定(S1211)、Far判定(S1213)の順に、各判定処理を実行する。
ステップS1209で、フォーカスがJPであるか否かのJP判定を行う。JPとは、フォーカスがJP位置から半焦点深度(焦点深度の半分)以内のずれであることを意味する。JP判定でJPと判定されたら既にフォーカスは合っておりAFの必要はないので、ステップS1210で、移動方向は無し(ジャスト),モードはノーマルと設定して、WOBルーチンを終了する。JPでないと判定されたら、S1211のNear判定に進む。
ステップS1212で、評価値の上昇する方向がNear方向であるか否かのNear判定を行う。Near判定でNearと判定されたら、ステップS1212で移動方向はNear,モードはノーマルと設定して、WOBルーチンを終了する。Nearでないと判定されたら、ステップS1213のFar判定に進む。
ステップS1213で、評価値の上昇する方向がFar方向であるか否かのFar判定を行う。Far判定でFarと判定されたら、ステップS1214で移動方向はFar,モードはノーマルと設定して、WOBルーチンを終了する。Farでないと判定されたら、第1段階判定を終了し、ステップS1215の評価値の重み変更処理に進む。
なお、ステップS1211のNear判定とステップS1213のFar判定は、どちらを先に実行してもよい。
第1段階判定でJP,Near,Farのいずれとも判定されなく、フォーカスレンズの移動方向が分からなかった場合には、ステップS1215で評価値の重み付けを変更して、第2段階判定に進む。「評価値の重み」とは、Near判定、Far判定で行なっているファジーフィルタ型シナプス処理(図19参照)の各入力に対する重みである。
第2段階判定では、ステップS1216で、再度Near判定を行なっている。Near判定でNearと判定されたら、ステップS1217で移動方向はNearと暫定的に決定し、モードはフラットと設定して、WOBルーチンを終了する。Nearでないと判定されたら、Far判定を行わずにステップS1283に進み、移動方向はFarと暫定的に決定し、モードはフラットと設定して、WOBルーチンを終了する。即ち、Near判定でNearと判定された場合を除いて、全てFarとしている。これは、実際にカメラを使用する場合、被写体としては数m以上離れていることが多いので、方向が分からないときにはFarに向かえばそれがJPに近づく方向である可能性が高いと考えたからである。以上により、WOB動作を終了して、JP判定(S1007)に進む。
第1段階判定後、第2段階判定で評価値の重みを変更して再度同様の判定を行なう理由は、以下のとおりである。第1段階判定では、実際には評価値の重みを、
W[ ]={10,0,0,0,0,0,0,0,0,0,0,0,0,0}
但し、{}内の各数字は、評価値ID0〜ID13の夫々の評価の重みとし、カットオフ周波数の比較的高い使用データIIR1の評価値ID0のみを判定に寄与させている。第1段階判定で評価値ID0のみに絞って判定しているのは、方向判定を誤るとAF動作に支障が生じるため、JP,Near,Farの各判定における誤判定を極力減らすためである。
第1段階判定でJP,Near又はFarのいずれとも判定されない場合には、フォーカスレンズの進むべき方向判定ができない、即ち、大ボケであると判定する。この場合には、フォーカスをNearに動かすか、又はFarに動かすかは明確な理由をもって決定できない。そこで、ステップS1215で、感度を多少あげるため評価値の重みを変更して、第2段階判定に進むこととしている。重みは
W[ ]={5,10,20,20,0,0,10,0,0,5,10,5,0,0}
のように変更する。この重み付けは、カットオフ周波数の比較的低い使用データIIR4のID2(IIR4- W1- HPeak)及び更に枠サイズが異なるID3(IIR4- W3- HPeak)に重みを置いている。
このように、第1段階判定は、誤判定の確率は低いが評価値の感度が相対的に低く少しのボケ状態でも有為な値が得られない。第2段階判定は、感度がよい反面、偽山が発生しやすく誤判定を生じやすい。ここで、第1段階判定のカットオフ周波数の比較的高い使用データIIR1の評価値ID0と、カットオフ周波数の比較的低い使用データIIR4の評価値ID2又はID3とを、両者を加算して方向判定することも考えられる。しかし、この場合でも、後者の偽山が発生しやすく誤判定を生じやすいことが分かった。そこで、本実施例では先ず第1段階判定を優先させ、ここで方向判定できない場合のみ第2段階判定でバックアップすることにより、WOBの誤判定の確率を低く押さえたまま、WOBの感度を上げることができた。
さて、第1段階判定及び第2段階判定の具体的内容である、ジャストピン判定,Near判定及びFar判定について説明する。
ジャストピン判定において、WOBしたとき評価値がどのように変化した場合に「JP」と判定するかを視覚的に説明する。WOBを行なうとフォーカスの状態に応じて評価値は図15〜図16に示すような変化を示す。図15Aは、始点(0) がJPに一致している場合の評価値の変化を示す。WOB((0) → i→ii→iii)により、評価値の変化は2回低下するW字型になる。
図15Bは、始点(0) がJPから僅かにずれている場合である。WOB((0)→i→ii→iii)により、評価値は2回低下するが、1回目と2回目ではアンバランスになる。図15Bの状態もJPとする。
図15Cは、始点(0) が半焦点深度近くずれている場合である。WOB((0)→i→ii→iii)により、評価値は、低下後上昇するか又は上昇後低下する2通りとなる。いずれの場合でも低下の差が、上昇の差よりも大きい。低下の差と上昇の差の比率を定め、低下の差が一定比率以上であればJPとする。図17に示すように、本実施例では、低下分(b):上昇分(a)=5:1以上を採用する。これも実験値である。
図16Dは、始点がJPから半焦点深度を越えてずれている場合の評価値の変化を示す。WOB((0) →i→ii→iii)により、評価値は、低下後上昇するか、又は上昇後低下する2通りとなり、低下の差と上昇の差の大きさは同程度の大きさとなる。図16Dの状態はJPと判定せずに、ステップS1211のNear判定に進む。
図16Eは、始点がJPから大きくずれた大ボケ位置にある場合の評価値の変化を示す。この場合にはWOB((0) →i→ii→iii)を行なっても評価値の変化はほとんどない。たとえ変化があったとしても、評価値のもつ定常ノイズ以下となる。
図16Fは、JPの状態であるが、ディテールの少ない被写体の場合の評価値の変化を示す。ディテールが少ないとWOB((0) →i→ii→iii)で評価値の変化はほとんど得られず、図16Eの大ボケと同じような振る舞いを示す。しかし、JPにある。
ここで、図16Eと図16Fでは評価値の変化は似ており、評価値の変化だけでは両者を区別することが困難である。これは、ディテールがある被写体の大ボケ状態と例えば均一に近い壁のようなディテールの少ない被写体のJP状態をWOBで判断するのは困難であることを意味する。この識別不能が画像処理形AFを困難なものにしている1つの要因である。
この実施例では、図16A〜図16Cの場合には、WOBの結果はJPとしてWOBを終了しAFを行わない。図16D〜図16FはJPでないと判定し、Near判定に進む。本当は図16Fの場合もJPと判定すべきであるが、図16Eと見分けがつかないことから、JPでないと判定せざるを得ない。以上のJP判定を計数的に実現するため、WOBフローで記憶したe0 ,enear,efar ,eneutral の各値を使用して、図18及び図19に示す計算方法を実行している。
図18の方向判定におけるジャストピン判定を説明する。WOBレンズのニュートラル位置とFar方向に焦点深度分離れた位置との評価値差(e0 [0]−enear[0])1801及びニュートラル位置とNear方向に半焦点深度分離れた位置との評価値差(eneutral [0]−efar [0])1806より夫々の拡張合致度m1、m2を算出する。
図中下部の各拡張合致度算出の詳細に示すように、拡張合致度m1の算出は、横軸の評価値差(e0 [0]−enear[0])に対応して縦軸のm1となる。
(1) 評価値差が0〜第1の第1閾値th1 [0]までの場合、m1=0をとる。
(2) 評価値差が第1の閾値th1 [0]の時、m1=0をとり、また、評価値差が第2閾値t h2 [0]の時、m1=100〔%〕をとる。
(3) 評価値差が第1閾値th1 [0]以上の場合、(2) の条件下で比例配分される。
(4) 評価値差が0以下の場合、縦軸に関して線対称となる。
結局、評価値差とm1は1次関数にあるが、0付近に幅を持たせ、微妙な差はm1をゼロとしている。この理由は、評価値の微少な定常的なノイズ(リップル成分)を判定に寄与させないために、ゼロ付近に幅を持たせているのである。
拡張合致度m2の算出も、横軸の評価値差(eneutral [0]−efar [0])に対応して、同様に行う。
m1,m2がいずれも100%以下の場合、スイッチ1603,1610はいずれも上のルートを取り(1804,1811)、m1 とm2 は加算器1807で加算され、その和が比較器1814で定数βと比較される。本実施例では、図17で説明したように、低下分:上昇分=5:1以上より、β≧80%としている。この和がβより大きい場合には比較結果は「JP」となり、β未満であれば結果は「JPでない」となる。
図15Cの例に対応させると、例えば、(0) から への移動により評価値差(e0 [0]−enear[0])から合致度m1=+90%、(i)から(iii)への移動により評価値差(eneutral [0]−efar [0])から合致度m2=−10%が得られたとする。両者を加算すると80%となり、β≧80%を満たし、比較結果は「JP」となる。
m1 とm2 のうちのいずれか一方が100%を越えた場合には、比率で見る必要があるため、スイッチ1803,1810はいずれも下のルートを取り、m1又はm2 の大きい方の絶対値でm1 とm2 共に正規化する(1805,1812)。即ち、m1 又はm2 の絶対値が大きい方を100とする。その後、加算器1807で和をとり、比較器1614で比較演算を行なっている。同様に、この和がβより大きい場合には比較結果は「JP」となり、β未満であれば結果は「JPでない」となる。
図15A,B及びCの場合にはm1 とm2 共に正となり、WOBで評価値差が所定以上であれば判定がJP状態となるよう定数β(例えば、0. 8)を実験的に定めている。図16Dの場合にはm1 とm2 のうち一方が正となり他方が負となる。m1 とm2 共にその絶対値が100%以下の場合には、通常(m1 +m2)は相殺されてゼロに近い値となり、よってβ以下となるので判定は「JPでない」となる。
ところが、m1 とm2 共にその絶対値が100%を大きく越し、(m1 +m2)が正となる場合には|m1 /m2 |が1に近いにもかかわらず(これは典型的な小ボケ状態)判定結果はJPとでてしまうことがある。そこでm1 又はm2 の大きい方で正規化した後、和をとり比較することにより誤判定を防いでいる。
図13E及びFの場合には、m1 とm2 が共にゼロもしくは小さな値となり判定は「JP状態でない」となる。尚、係数β=80%としているが、この値では、図17に示すように評価値低下分(b)と評価値上昇分(a)の比が5:1までJP状態と認めることになる。この値は多くの被写体を用いて実験的に調整して求めたものである。
次に、方向判定に於けるNear判定に関して説明を行なう。Near判定は、図19Aに示すファジーフィルタ型シナプス構成をとっている。一般に、ファジーとは曖昧なというような意味であり、シナプス構成とは本来神経細胞間を伝達する接合構成をいうが、この神経細胞接合構成と似ているためこのように名付けている。
この構成は、各評価値ID[i](i=0〜13)に関して、WOBに伴う評価値ID0[i]の変化(efar [i]−enear[i])(1501)に対して「Near方向に評価値が上昇するらしさの」合致度を求め(1502)、これらの結果に対し各評価値ID[i]各々に関して予め定めた重み係数W[i]を夫々乗算する(1503)。これらの総和を求め(1504)、その後、「係数α×重み合計」(α×ΣW[i])との比較を行なって(1505)、Near又は否の判定を行っている。拡張合致度算出に関しては図18の詳細図を参照されたい。この処理は、個々の評価値より各々の「Near方向に評価値が上昇するらしさ」を求め、重み付け多数決を行なっていることに等しい。
なお、Near判定は、第1段階判定のステップS1211と第2段階判定のステップS1216で実行される。両者は、第1段階判定の評価の重みが、
W[ ]={10,0,0,0,0,0,0,0,0,0,0,0,0,0}
であるのに対して、第2段階判定の評価の重みが、
W[ ]={5,10,20,20,0,0,10,0,0,5,10,5,0,0}
となっている点で相違する。
次に、方向判定に於けるFar判定に関して説明を行なう。図19Bに示すように、Far判定は、評価値ID[i]の変化に(eneutral [i]−efar [i])を用いている以外は、Near判定と同様の判定を行っている。
ステップS1007で、WOB動作で得られたデータに基づき「JP判定」を行う。WOB動作の第1段階判定でJPと判定されたら、以降フォーカスレンズは動かさずにAF動作を終了する。
これ以外の場合には、山登りステージに進む。最初のレンズ移動方向はWOB(S1006)で決定されている。但し、Near若しくはFarと判定されたら、JPに近いフォーカス位置にいる「ノーマルモード」(JPが比較的近い状態のモード)として、山登りステージに進むため、山登りパラメータの初期化(S1008)に進む。JP,Near又はFarのいずれとも判定されないで第2段階判定を行ったときは、Near又はFarを暫定的に決定し、大ボケ状態の「フラットモード」(方向を決定できないほどJPが遠い状態のモード。)として、山登りステージに進むため、山登りパラメータの初期化(S1008)に進む。「ノーマルモード」と「フラットモード」の違いに関しては後で説明を行なう。
3. 4 山登りパラメータの初期化
ステップS1008で、AF山登りを開始する前に、山登りに関連するプログラム上の各パラメータの初期化を行なう。以下に初期化を行なうパラメータを示す。
(i)境界値カウント
端に到達した際、反転指令を出すまでの待ち時間用カウントを0にリセットする。
(ii)端到達フラグ
端に到達したことを示すフラグをリセットする。このフラグは、両端到達の判断に用いる。
(iii)評価値の最大値
各評価値の最大値を0にする。後で説明する保険モードのピーク選定で用いる。
(iv)評価値の最小値
各評価値の最小値を現フィールドの評価値にセットする。後で説明する保険モードのピーク選定で用いる。
(v)評価値の最大値位置
各評価値の最大値位置を現フィールドのレンズ位置にセットする。後で説明する保険モードのピーク選定で用いる。
(vi)鋭角率最大値
各評価値の鋭角率最大値を0にリセットする。後で説明する保険モードのピーク選定で用いる。
(vii)鋭角率最大値位置各評価値の鋭角率最大値位置を現フィールドのレンズ位置にセットする。後で説明する保険モードのピーク選定で用いる。
3. 5 最大最小値更新処理
ステップS1009で、山登りが開始したら毎フィールド毎に評価値の最大値及び最小値の更新処理を行なう(図14参照)。ここで、評価値の最大値最小値の更新処理とは、そのフィールドにおける評価値の最大値がそれまでの最大値未満であれば最大値の更新は行なわなく、同様に、評価値の最小値がそれまでの最小値を越えていれば最小値の更新は行なわない。
(i)各評価値(ID0〜ID13の14種)の最大値max.e[i]
(ii)各評価値(同14種)の最小値min.e[i]
(iii)各評価値(同14種)が最大となったレンズ位置
これらの値は、後で説明する保険モードでのピーク選定に使用する。
3.6 レンズ速度設定
ステップS1010で、レンズ速度の設定を行う。フォーカスレンズが移動開始してからピーク位置を検出するまでのレンズ速度を制御する。図20にレンズ速度決定のフローを示す。
本実施例のAFでは、最初、ステップS1001,1002で揺れ判定及びモード設定され、その後1フィールド毎にステップS1014,1015で揺れ判定及びモード設定された揺れモードの結果の揺れの有無に対応して、AF時のレンズ速度を制御している。更に、WOB動作(S1007)により、第1段階判定で判明したノーマルモードか第2段階判定まで行ったフラットモードであるかが判定されている。この結果をも利用して、レンズ速度が制御される。
被写体の揺れの有無を判定し、揺れの有る場合、レンズを高速で動作させ、低速切り替えは行なわない。揺れがない場合、ピーク位置に近づくまでは高速とし、ピーク位置の近辺に来たら速度を切り替えて低速としている。レンズ速度は低速と高速の2段階としている。これは高速と低速の間に中間的な速度を設けないことがAF収束時間にとって効率が良く、得策と考えているからである。
低速は、2Fs/field 、即ち1フィールド当たり焦点深度Fsの2倍だけ進む速度である。高速は、12Fs/field 又はそのレンズの持つ最高速度の内の遅い方である。ここで、最高速度を12Fs/field で制限しているのは、これ以上速くすると評価値曲線のつぶれが顕著になり、高速から低速への速度切り替え判定が上手くいかなくなるからである。また、速度切り替えがうまく働かなかった場合、又は働かせなかった場合(後で説明するが揺れている場合には速度切り替えを行なわない。)に、これより速い速度にするとピーク通過後の行き過ぎ量が大きくなることの理由もあり、この制限を使用している。2Fs/field 、12Fs/field の値は、実験的に定めた値である。
図20のレンズ速度決定フローを説明する。
ステップS2001で、揺れ判定する。最初はレンズ静止時の揺れ判定及び揺れモード設定(S1001,S1002)の結果、次回からはレンズ動作時の揺れ判定及び揺れモード設定(S1014,S1015)の結果、揺れモード1,2となり揺れの有る場合には、ステップS2002に進み、静止モードの場合には、ステップS2003に進む。ここで予め、レンズ静止時に揺れ判定及び揺れモード設定を行っていることから、AF動作開始前に、レンズ速度を設定することが出来る。
ステップS2002(揺れの有る場合)では、レンズを高速で動作させ、低速切り替えは行なわない。その理由は、揺れがあるとレンズが静止していても評価値が変動するので、AFを開始すると、評価値には、(i)揺れによる寄与と、(ii)レンズを動かしてフォーカスが変化することによる評価値変化の寄与、とが合成されることになる。
AFではフォーカスを動かし評価値のピークを探索するので、上記(i)の揺れによる寄与が大きいと「ぼけたフォーカス位置でAFが収束する」ような誤動作を起こしてしまう。カメラ画像処理より評価値を算出しこれを用いる現在のAFシステム構成においては、上記誤動作を避けるために、レンズの速度を速くして、(ii)のレンズを動かしてフォーカスが変化することによる評価値変化の寄与分を大きくすることにより、(i)の揺れによる寄与分を相対的に減らして、揺れに影響しない評価値特性を得ている。
そこで、揺れの場合にはピーク位置を検出するまでは低速切り替えを行なわないようにしている。低速切り替えを行なうと、低速になった直後から上記(i)の寄与が大きくなり、揺れによる誤動作の確率が高くなってしまうからである。このように揺れている場合には、ジャストピン近くにきてもレンズ速度を低下させないので、揺れによる誤判定を低減させることが出来る。その結果、ボケ状態のままAFが終了するという誤操作を低減させることが出来る。
揺れの無い場合にステップS2003では、フォーカスレンズの動作開始からの経過時間t1 によって分けている。経過時間が、初期低速期間t1 を経過していればステップS2004に進み、t1 以内であればステップS2005に進み、低速に切り替えてレンズを動かす。初期低速期間t1 を設けたのは、WOB動作で方向を誤って判定していた場合に、動作開始当初から高速で進み、行き過ぎてしまうのを回避するためである。ここで、初期低速期間t1 は次の通りである。
t1 =12field (フラットモードの場合)
=36field (ノーマルモードの場合)
フラットモードの場合、WOBの方向判定(Near,Far)によって方向判定できなかったのでレンズ動作開始時点では、JPは遠いと判断する。しかし、t1 =ゼロとしないのは、たまたまJPにあったのをフラットと誤判定した場合に対する配慮である。このような誤判定があってもt1 =12field と設定してあれば、JPからレンズ動作開始しても低速で動くのでJPから大きくずれてからJPに戻るということがない。
ノーマルモードの場合、WOBで方向判定結果がでたのでレンズ動作開始時点ではJP位置が近いと判断する。この場合には、ピークを行き過ぎてしまうのを避け、低速のままでJPまで収束させる方が画像の見栄えがよいので、低速期間を長くとっている。従って、フォーカスがJPの近傍にあるか又は小ボケ状態の場合には、低速のままJPまでフォーカスが進むので、滑らかなフォーカス追い込みが得られる。また、フォーカスの移動速度が速すぎて、ピークを行き過ぎるというケースが低減する。上記の値12、36フィールドは実験的に定めた数値である。
ステップS2005で、低速切り替え判定を行う。本AFでは上述したようにスタートしてから、初期低速期間を除き、ピーク位置の近くまではレンズを高速に進め、ピーク位置近くに到達したら低速に切り替えることが得策と考えている。即ち、大ボケ状態からピーク位置近くまでは高速にレンズを動かし、ピーク位置近くになったら急に減速して低速にし、滑らかに且つ行き過ぎることがないようにしてピーク位置に収束するようにしている。
そこでレンズの速度を高速から低速に切り替えるタイミングが問題となる。本AFでは、以下の判別式(1)(2)で低速に切り替えるか否かの判断を行ない、式(3) を満たせば、低速に切り替え、満たさなければ高速のまま移動する。
Figure 2006189892
Figure 2006189892
式(1) の第1項は、現フィールドにおける2つの評価値ID0(IIR1−W1−HPeak)とID2(IIR4−W1−HPeak)の差と和の比(e0 [0]−e0 [2])/(e0 [0]+e0 [2])を4倍したものを表している。第2項は、この2つの評価値の差と和の比を過去4フィールド分加算した量を表している。この式は、評価値ID[0]の立ち上がり時点を検出するための式である。差と和の比(即ち、ID[0]をID[2]で正規化したもの。)は、カットオフ周波数が低い(即ち、感度の良い)ID[2]に対して、ID[0]がどれだけ近づいたかの指標となっている。比をとっているので、例え照度が上がっても、各評価値の値e[i]が夫々所定倍されるので、評価値の差と和の比は照度と無関係に定まる。式(1) は、全体を4フィールドで割れば分かるように、現フィールドにおける指標から過去4フィールドの移動平均の指標を引いた差、即ち、現在の方が一層近づいているか否かを表している。
式(2) は、ノイズ除去のために規定され、1フィールド前のrf(1)の値である。rf(0)、rf(1)の2つの指標より、式(3) の所定の閾値により切り替えのタイミングを判定している。
〔数3〕
rf(0)<−25、且つ、rf(1)<−10、
ならば、低速に切り替え
但し、ej [0]は、jフィールド前のID0の値
ej [2]は、jフィールド前のID2の値
図21に示すようにぼけた位置からレンズを動かしていくと、始めのうちはrf(0)、rf(1)共に0よりも大きな値を示す。ピーク位置に近づくとrf(0)、rf(1)は急に0以下の値を示す。本判別式は、このような性質を利用してピーク位置に近づいたことを判別している。この判別式は、実験を重ねデータ解析を行なうことで求めたが、この判別式を決定するまでには種々の試行錯誤を繰り返している。
この判別式は、その試行錯誤の中で最も特性のよいのを選んだに過ぎず、完全なものではない。しかし、ピーク位置で評価値が大きい被写体、即ちディテールの大きい被写体では、この判別式は有効に働いている。一方、ピーク位置でも評価値ID0(IIR1−W1−HPeak)の値が小さい(例えば、数100以下の)被写体では、ピーク位置近くになっても上記判別式を満足しないことがある。但し、ディテールの少ないピーク位置では、ピーク位置を大きく過ぎたとしても目立ちにくいという救いはある。そこで、閾値の決定に関しては、ディテールの大きい被写体でうまく高速から低速へ制動がかかることを第1の目標として決定している。
AFでは、偽山の検出が1つのポイントになる。従って、本AFでは、偽山発生が評価枠周辺の高輝度エッジに起因すること、高輝度エッジのため飽和輝度数ID8が高くなること、等の評価値の特性に着目して、以下の偽山判定(S1011)及び飽和輝度判定(S1012)により偽山の検出をおこない、枠サイズ変更処理(S1013)を行っている。
3.7 偽山判定
ステップS1011で、偽山判定を行う。本AFでは独自に考案した偽山判定方法を行なっており、偽山の発生により生じるAFの誤動作を低減している。
最初に、偽山に関して説明する。偽山とは、フォーカスがAF枠内にある被写体に対してピーク位置に近づく時に評価値が低下する現象と定義する。
図22Cは、縦軸に評価値を、横軸にレンズの位置(フォーカス)をとった評価値曲線を表している。AFは、評価値が大きくなる方向(ii)→(i)と動作して(山登り)JPを探し当てる。しかし、現実には、評価値曲線が図に示すような特性を示す場合もある。このような、JPとは無関係な評価値の上昇部分を偽山と称する。この場合、AFは、評価値が上昇する方向にフォーカスを進めので、時としてレンズはJPとは反対向きに(ii)→(iii)とぼける方向に動作し、大きくぼけた位置で停止してしまう。このように、偽山が発生すると、ぼけた位置でAFが収束したり、ぼける方向にフォーカスが進むといった誤動作(以後、「偽山トラップ」という。)の要因となる。偽山の存在が、AF機能の開発を困難なものにしている。
偽山の発生メカニズムは、輝度が飽和している場合には、JP状態では限られたラインが飽和輝度となってエネルギ的には無駄な状態となっている。これがぼけた状態になると、この無駄となっていたエネルギが拡がり周辺のラインにまで有効的に影響して或る一定レベル以上の輝度状態となる。これはエレルギ的に非常に高い部分は飽和してしまうCCDの特性に起因している。こうして、ボケ現象が進むと輝度が上昇する現象が生じるからである。
偽山の画面における発生状況を図22を用いて説明する。図22Aに示すようにAF枠(評価枠1)内に目標被写体(ターゲット)2201があり、評価枠の外側に被写体よりもディテールの大きい高輝度エッジ2202があるシーンを想定する。ターゲット2201、高輝度エッジ2202共に同じ距離にあると仮定すると、フォーカスがターゲット2201に対してJPの時には高輝度エッジに対してもJPとなる。
図22AはJP状態を示している。このJP状態からフォーカスをずらしていく様子を図22Bに示す。被写体はボケが進むにつれて徐々に膨らみ、同様に高輝度差のエッヂが波紋が広がるように(i)から(ii)まで、更に(ii)から(iii)まで波紋のように膨らみ、評価枠に侵入する(実際には、(i)を中心に反対側に(ii),(iii)の対応点が有り、(i)を中止に膨らむのであるが、反対側は評価枠と関係ないので省略している。)。図22Cは、その際の評価値の変化を示している。
図22B及びCにおいて はJPの状態であり、このJP状態からフォーカスを移動させるとターゲット2201、エッジ2202共にボケて周りとの境がなくなっていき、波紋が広がるように大きくなっていき、JP状態から或るボケ状態までは評価値は低下していく(図22Cの(i)から(ii)の範囲)。そして高輝度エッジ2202の波紋が広がり評価枠内にかかるようになる(図22Bの(ii)の状態)。更にフォーカスを移動すると高輝度エッジの波紋は評価枠内へ侵入し始める(図22Bの(iii)の状態)。
高輝度エッジ2202の方がターゲット2201よりもディテールが大きいので、高輝度エッジが枠内に入っている部分のラインに関しては、被写体2201よりも高輝度エッジ2202の波紋が評価値へ大きく寄与する。エッジの侵入が進行するとV方向の侵入範囲も大きくなり、評価値は増加する(図22Cの(ii)→(iii)の範囲)。即ち、フォーカスがぼける方向に進むと評価値が上昇する範囲が生じることになる。(iii)は高輝度エッジ自体でなく高輝度エッジの波紋(陰影)であり、評価値の高い方向にレンズを移動して追ったとしても、フォーカスが合うことはあり得ない。
次に、本実施例のAFで計数的に行なっている偽山判定方法、偽山トラップ回避方法について説明する。偽山判定は、評価値ID0(IIR1‐W1‐HPeak)と評価値ID1(IIR1‐W2‐HPeak)の比ID0/ID1を監視し、この比を用いて判定を行なう。
偽山発生の判断は、山登りが開始し、上記比ID0/ID1が1. 6以上であり、それが10フィールド連続した時に、偽山が発生したと判断している。
ej [0]/ej [1]≧1.6 (j=1〜10)
評価値ID0(IIR1‐W1‐HPeak)と評価値ID1(IIR1‐W2‐HPeak)は、図23Aに示すように、ID0の評価枠W1がID1の評価枠W2より枠サイズがH方向に若干広いだけで他の特性は同じである。もし評価枠W1のH方向中央部(即ち、評価枠W1とW2の重複部分)のディテールのみが評価値ID0に寄与しているとすれば、評価値ID0と評価値ID1は同一の値となる。実際に、偽山発生のない通常のシーン、被写体では図23Bに示すように大ボケからJPに至るまで略同じ値を示している。反対に、評価値ID0と評価値ID1が異なり、評価値ID0≧評価値ID1となる場合は、評価値ID0に寄与する部分がH方向周辺部(評価枠W2とW1の差の部分)にあることを意味している。この偽山判定方式は、枠サイズW1(評価値ID0)と枠サイズW2(評価値ID1)の大きさの若干異なる2つの評価枠を用いていることより、「2重枠法」と呼ぶ。
例えば、カメラを移動した場合に、評価値ID0≧評価値ID1の割合が一定以上になると、偽山が発生している可能性が非常に高い。上記比ID0/ID1が1を大きく越える場合には、図22Bに示すように評価枠W1の右端又は左端に評価枠W1内の最大ディテールが集中していることになる。この一例が上に述べた高輝度エッジ2202が評価枠W1に端に位置する状態である。この偽山判定方式では評価枠W1の端部に枠内最大のディテールが集中すると偽山発生を引き起こすと判断する。
ここで、「山登りが開始し、10フィールド連続」としているのは、以下の理由による。揺れている場合には、たとえ偽山が発生しないシーンにおいても被写体のエッジが評価枠W2の端を通過する際に上記比が大きく変化し、1.6を越えてしまうことがある。揺れによるも以外にも、ネオン光のような間欠的なものを除くためでもある。偽山が発生するシーンに関しては、長いフィールドにわたり上記比1. 6を大きく越える。以上より所定の複数フィールドにわたり所定の比を越えていれば偽山が発生したと判断する。
次に、偽山が発生したと判断した場合の偽山トラップ回避方法に関して説明する。偽山発生と判断した場合には、ステップS1013の枠サイズ変更に進む。
ステップS1013で、枠サイズ変更処理を行う。即ち、一旦フォーカスの移動を停止し、評価値ID0,ID1の評価枠W1,評価枠W2を夫々これら基本サイズから評価枠W3,評価枠W4の大きさに拡大変更する。これはAF用CPU(図2の符号203)内で評価値ID0,ID1を評価値ID9,ID10と夫々同じものにする操作による。評価値ID0,ID1自体を評価値ID9,ID10に夫々置換しなかったのは、評価値ID0は基本的な評価値であり、その後も使用されるので、評価値ID0のまま枠サイズを変更することとしている。その後、WOB(S1005〜1007)及び山登り(S1008〜1021)を開始して拡大サイズの評価枠で再度偽山判定を行う。上述した評価枠の説明で、評価枠W1に対して水平方向に若干狭い評価枠W2を、同様に評価枠W3に対して水平方向に若干狭い評価枠W4を用意したのはこの偽山判定のためである。
なお、既にIDO,ID1の評価枠W1、W2のサイズが評価枠W3、W4のサイズに夫々変更された状態で、偽山判定を行い偽山発生と判定されたら、評価値ID0の評価枠W3のみを評価枠W5(最大枠サイズ)のサイズに拡大変更する(同様に、CPU内で評価値ID0を評価値ID11と同じにする。)。評価枠サイズを拡大することにより枠周辺にある高輝度エッジを枠中央近くの位置に移動する。たとえ輝度が高いエッジでも、枠中央近くに位置決めすれば、そのエッジはエッジの波紋(虚像)でなく実像であり、これにフォーカスが合うようなJPに近づく方向に評価値が上昇することになる。
尚、図23Aに示すように、この「2重評価枠法」では、枠サイズを水平方向に変えた2つの評価値ID0(評価枠W1)とID1(評価枠W2)を比較しているが、縦方向に関しては枠サイズは一定のままで、サイズを変更して比較することは行なっていない。これは、図23Cに示すように、垂直方向に伸びている垂直エッジ2301が右方又は左方から侵入すると、多くのラインが同時に影響を受けてHピーク方式の評価値に対する影響が大きい。これに対して図23Dに示すように水平方向エッジ2302が上又は下から侵入しても、侵入された限られたライン数しか影響を受けない。以上より垂直方向に侵入する外乱の影響は、水平方向のそれと比較して比較的小さいとみなし無視している。
3. 8 飽和輝度判定
ステップS1012で、飽和輝度判定を行う。通常の被写体では、フォーカスがぼけると評価値が低下する。しかし、上述したように、飽和輝度を持つ被写体ではボケ現象が進むにつれ評価値が上昇する場合がある。これを解決するために、飽和輝度数が所定数以上有る場合には、飽和輝度数を小さくする方向にフォーカスを動かす方法もある。しかし、飽和している被写体は飽和しているが故に、多少ボケても輝度は鈍らず、その波紋は広がる。一方、ぼけると被写体はボケが進みそのシルエットは拡がってしまう。このように、飽和輝度数は図30Bに示すように一般に双峰形の特性を示すことが多いため、このような方法は有効でない。
そこで、飽和輝度判定では評価枠W1内の飽和輝度数ID8(Y‐W1‐Satul)を用いて、飽和輝度をもつ被写体の有無を判定する。評価枠内に飽和輝度の画素があると偽山が発生し易くなり、偽山トラップを起こすので、それを防止するためである。もし、所定期間(例えば、連続5フィールド)にわたって飽和輝度数が閾値(例えば、600)を越えれば偽山発生と判定し、ステップS1013に進み、各評価値の中で評価枠W1を使用するものを枠サイズW5に拡大変更する処理を行なう。連続5フィールドとしたのは、揺れや瞬間的なノイズによる枠サイズ変更を避けるためである。
図24を用いて飽和輝度画素が評価枠内にある場合に偽山が発生するメカニズムを説明する。目標被写体(ターゲット)2401の領域AはフォーカスがJPの時の飽和輝度を持つターゲットの形状を示す。フォーカスがぼけるとターゲットはボケ始め、ターゲットのエッジ位置はターゲット中心から波紋が広がるように中心から遠ざかって膨らむ。飽和輝度を持つ被写体はボケても元々の輝度が高いため飽和輝度を持たない被写体に比べて波紋は大きく広がる(大きくなってもエッジのシャープさは衰えない)。領域Bは、ターゲットの波紋が評価枠2302と重なるまで広がった状態であり、更に、領域Cは、ターゲットの波紋が広がり評価枠2302の中まで達した状態を示している。
領域Dの状態ではターゲットの波紋が広がっているため評価枠W1と評価枠W2による評価値の比(ID0/ID1)はそれほど大きくならず、1.6を越えない。この場合、前に説明した偽山が生じているにもかかわらず、偽山判定で偽山と判定できないため偽山トラップを起こしてしまう。
図24Bは、この飽和輝度判定の結果から飽和輝度ありと判定して、評価枠W1を評価枠W5にサイズを拡大した状態を表している。この場合上記の飽和輝度被写体2401自体が全部枠内に納まるため、偽山の発生を押さえることができる。偽山に関しては、ターゲットの波紋だけが評価枠内にある場合が問題になる。
以上の偽山判定(S1011)と飽和輝度判定(S1012)によって、偽山の発生を押さえている。
3.9 揺れ判定(レンズ動作時)
ステップS1014でレンズ動作時の揺れ判定を行う。先に行ったレンズ静止時の揺れ判定(S1001)では、大ボケの状態で揺れていても評価値の変動が少なく正規化差分値は、「揺れ無し」の判定結果がでてしまう。この揺れ判定ではレンズが動きJPに近づき、評価値が上昇して揺れの判断ができるようになった時点で、再度揺れているか否かの判定を行なう。ここでは、輝度加算値のみを使用し、評価値ID7(輝度加算値)の6フィールド分の最大正規化差分値が2%を越えたら揺れあり(揺れモード1)と判定する。
ndiff e[7]≦2% → 静止モード
ndiff e[7]>2% → 揺れモード1
6フィールド分の正規化差分を用いるのは、ネオン光のような間欠的なものを除くためである。正規化差分の定義に関しては揺れ判定(レンズ静止時)で既に説明しているのでここでは省略する。揺れモードの場合、次回の山登りループにおけるレンズ速度決定(S1010)で低速切り替えは行わず、高速のままとする。この判定で「揺れ有り」と判定されたら、ステップS1015の揺れモード設定へ進み、その後、方向判定(S1016)に進む。「揺れ無し」と判定したら、直接、方向判定(S1016)に進む。ステップS1015の揺れモード設定は、ステップS1002の揺れモード設定と同様であり、説明を省略する。
3.10 方向判定(山登り)
ステップS1016で、山登りにおける方向判定を行う。山登りステージでは、1フィールドに1回方向判定を行なっている。この方向判定では、各評価値の増減より評価値が上昇,下降又はフラット状態(Up,Down,Flat)のいずれかを判断し、その判断結果をメモリに格納している。方向判定では、(i)個別判定と、(ii)総合判定、の2つの判定計算を行なっている。両者の関係は、個別判定の重み付け多数決判定が総合判定となる。
(i)個別判定は、各評価値ID個々の判定結果である。図25にその計算方法を示す。ここで、e0 [i]は現フィールドでの評価値、efs[i]は1移動単位(焦点深度Fs)前の評価値を表す。iは評価値のID# である。所定基準値αfeは本実施例では0.5としている。
1移動単位に関しては、焦点深度が深いときには焦点深度を越えない場合があるので、焦点深度を越えた場合に一移動単位と見なして、方向判定を行っている。また、フォーカスレンズは、レンズ速度設定で述べたように最低2Fs/field の速度で動くので通常は毎フィールド移動単位を越えているが、レンズの動き始めでは往々にして一移動単位分動かない場合がある。このような時は1移動単位を越えるまでは方向判定を行なわない。レンズが所定量移動していないのに方向判定を行うのは無意味だからである。
図25に示すように、個別判定のUP判定では、合致度算出2502で、e0〔i〕−efs〔i〕が第1閾値th1〔i〕まではゼロとし、第2閾値th2〔i〕以上なら100%とし、その間は比例関係とする。比較回路2503で、この値と、基準値αfe(例えば、50%)を比較して、前者が大なら出力1(Up)、後者が大なら出力0(Not Up)と判定する。同様に、DOWN判定では、efs〔i〕−e0 〔i〕により判定する。UpでなくDownでもないときはFlatである。UP判定個別判定結果(Up,Down,Flat)は、メモリに記憶され(図14参照)、後で述べる逆送判定(S1017)、山下り判定(S1022)のCHECK DOWN判定で使用される。
(ii)総合判定は、図26の構成で示すように複数の評価値よりファジー判定を行なう構成となっている。図26の構成及び処理方法は、WOBで説明したNear判定、Far判定と同じシナプス構成であるが、各閾値th1 [i],th 2[i]は異なっている。複数の評価値の個々の判定結果を重み付け多数決する処理となっている。但し、現時点では評価値の重みを
W[ ]={10,0,0,0,0,0,0,0,0,0,0,0,0,0}
とし、評価値ID0だけが判定に寄与するようにしてあり、評価値ID0の個別判定の結果と同じ結果となっている。現時点では、入力が1つだけなのでファジー処理としては意味がないが、将来の技術開発のためにこの構成はそのままにしている。
図27Aに示すように、総合判定において2回連続Upが続いたら、大ボケを意味する「フラットモード」から山を登り始めJPに近づいたことを意味する「ノーマルモード」に変更する。
フラットモードとノーマルモードの取り扱いの相違は、後で述べる山下り判定(S1022)においてフラットモードではJPが見つかったとはしていない。これは未だ山を登り始めていない大ボケ状態で評価値にノイズがのってDownが検出され、評価値ピークと誤判定するのを避けるためである。一方、ノーマルモードでは、Upがあった後にDownが検出された場合のみ、JPが見つかったこととしている。
また、個別判定において、各評価値自体がEVAL TH [i]×γ[i](閾値×輝度加算補正係数)以下の場合は、強制的にフラットモードとしている。これは、レンズの光学的なノイズ,微少振動に起因する画面の揺れ等に起因する評価値の定常的なノイズでは簡単に反応しないように設定する必要があるためである。更に、次に述べるように輝度加算補正係数γ[i]を変数としているが、これは評価値が低い場合には定常的なノイズで方向判定を誤る場合が多いことと、輝度が高い、即ちID7(輝度加算値)が高いシーンでは評価値曲線全体が上昇し、その定常ノイズレベルの絶対値も一緒に上昇してUp又はDownの判定結果につながるので、この閾値を輝度加算値に対応して高くすることが必要であるという、実験で得た経験則に基づいている。そこで、EVAL TH [i]×γ[i](閾値×輝度加算補正係数)を次のように定めている。
ここで、
EVAL TH [i]={250,250,400,800,0,0,250,0,0,250,250,250,0,0 }
γ[i]=1 :ID7が300以下
=1〜2の間を比例配分:ID7が300〜1500
=2 :ID7が1500以上
但し、ID7はY−W1−HIntgである。
このようにノイズレベルを決定する際に、閾値を輝度加算値に対応して補正してレベルを上げることにより、被写体を照らす照明が一層明るくなってもフォーカスが大ボケ状態で評価値が大きく変動することにより生じるAF動作の誤動作を低減することができる。
3.11 逆送判定
ステップS1017で逆送判定を行う。WOBにおける第1段階の方向判定でNear又はFarが決定できた場合には、フォーカスレンズはJPに向かって動き始めることができる。しかし、WOBにおいて第2段階の方向判定に進んだFlatモードの場合は、第2段階判定で述べた基準にしたがって動き出す方向を暫定的に決定している。この場合には、移動方向が誤っておりJPから遠ざかる方向に動きだす確率も低くない。
更に、山登りステージにおいても常にジャストピンに向かっているわけではなく、遠ざかる方向に移動することもある。その理由としては、
(i)ボケているため又は被写体のディテールが低いため評価値が低く、評価値の上昇する方向が分からない場合にはフォーカスをFar方向又はNear方向のどちらかに定めて評価値の変化するのを待つしかない。
(ii)評価値に偽山が生じた場合、その評価値が上昇するようにフォーカスを進めると、結果としてジャストピンから遠ざかることになる。一般に、カットオフ周波数が高いHPFで高周波成分を抽出した評価値では、(i)を原因とする逆走が起こりやすい。反対に、カットオフ周波数が低いHPFで高周波成分を抽出した評価値では、(i)の原因は低減されるが(ii)を原因とする逆走が起こりやすい。
そこで、この逆送判定では、レンズが動きだしてから所定の評価値の低下が予め定めた基準を越えたら、JPから遠ざかる逆方向に進んでいると判定する。逆送判定の基準は、レンズが移動開始してから以下に示す(i)〜(vi)が全て成立したらJPから遠ざかる逆走と判断する。
(i)過去に逆送と判定されていないこと
(ii)e0 [3]/e0 [2] ≦ 8
(iii)e0 [7] ≦ 1100
(iv)e0 [12]とe5 [12]の変化が6%以内であること
(v)フラットモードであること
(vi)ID0の個別方向判定結果が連続5回Down、又は
ID3の個別方向判定結果が連続5回Downしていること
ここで、逆送と判定したらステップS1018に進み、レンズの進行方向を反転するため逆送処理を行なう。逆送でないと判定したらステップS1019に進み、端到達判定を行う。
各判断基準について説明する。
(i)は、図27Bに示すような反転逆送の無限ループを防ぐためである。評価値ID3(IIR4‐W3‐HPeak)には図27Bに示すように偽山があるシーンを想定する。AF山登り開始フォーカス位置をAとしFarに向かってフォーカスが移動開始したとする。評価値ID0(IIR1‐W1‐HPeak)はほとんど変化がないが、位置Bで評価値ID3は低下し、逆送判定の基準を越えたとする。するとフォーカスは移動方向を反転し、位置Aの方向に戻るようになる。位置Aを越えると評価値ID3は低下を始め、位置Cで逆送判定の基準を越えたとする。もしここでレンズの移動方向を反転させるとレンズは位置BとCの間を無限に行き来することになる。この無限ループを回避するために(i)を条件を加え逆送反転を1回に制限している。
(ii)は、ID3/ID2が所定の値より小さいことを条件としている。ID3(IIR4−W3−HPeak)とID2(IIR4−W1−HPeak)の比によって、同じIIR4のHPFをもち、枠W1の評価値ID2とW3の評価値ID3とを比較することにより偽山判定を行なうためである。実験のデータ解析より、この比が所定値(例えば、8)を越えると、枠1の周辺に高輝度エッジがあり、評価値に偽山が生じて逆送判定を誤ることが多いと判明したので、この条件を設けている。
(iii)は、画面が明るいと逆送判定が誤る確立が高いので、輝度加算値ID7が所定値(例えば、1100)以下の条件を設けている。
(iv)は、枠W3の輝度加算値の変化の条件である。ID12(IIR4‐W5‐HPeak)の変化が大きい場合には、(vi)のID3(IIR4‐W3‐HPeak)の変化の原因が揺れによるか、又は外乱乱入の可能性が高い。この場合には、ID3で逆走と判定すると誤判定につながるからである。
(v)ノーマルモードでは逆送を起こしていることはまずないので、この条件を加えている。フラットモードの判定は、WOB(S1006)及び方向判定(S1016)で行われる。
(vi)この逆送判定は、実質的にID3を用いて判定を行なっている。ID3(IIR4‐W3‐HPeak)は、感度が高いので多少のボケなら有意な評価値の増減を得ることができる。しかし、偽山を発生しやすいのでそのまま信じて判定を行なうと誤った逆送判定となってしまう。そこで(i)〜(v)の付加条件を加えることにより誤判定を防止している。
3.12 逆送処理
ステップS1018で逆送処理、即ち、反転処理を行う。逆送判定(S1017)で逆送と判定されたらレンズの移動方向を反転させるためである。この際、開始点位置、開始評価値、評価値の最大値、最大値位置等の山登りを開始する時点で初期化するべき各変数を再度初期化する(図14参照)。逆送反転した場合は、その位置から新たに山登り開始と同じ状態にする。
異なるのは、1度逆送反転を行なったことを示すフラグがセットされている点である。即ち、フォーカスがFar端に向かって進行している時に逆送反転を行なった時は、「Far端到達フラグ」をセットし、Near端に向かって進行時に逆送反転を行なった場合には「Near端到達フラグ」をセットする。この2つの端到達フラグは次の端到達判定(S1019)で説明する。
3.13 端到達判定
ステップS1019で端到達判定を行う。AF山登りでは有意な評価値ピークを発見するか、又は逆走判定により方向を反転させられるか、探索を中止するまではフォーカスの進む向きを変更せずに評価値ピークの探索を続ける。しかし、レンズには物理的なNear端及びFar端があり、これらの端を飛び越して探索することはできないので端に到達した際の処理が必要となる。
端に到達した際、それが最初の端であればまだ全域を探索していないのでフォーカスの進む方向を反転して探索を続ける。この場合には次に説明する「端反転処理」(S1021)で山登りパラメータの初期化、方向を表すパラメータの変更処理を行なう。
既にフォーカスがNear端からFar端までの全域を探索していれば、探索すべき領域は全て探索したことになる。この場合、たとえJPを検出できなかったとしてもこれ以上の探索は意味がないので、探索した範囲内の何処かにAF収束しなければならない。この収束動作を「保険モード」と呼ぶことにする。なお、全域探索では次のような問題がある。例えば、撮影するシーンが暗いと、有意な評価値ピークがでにくい場合がある。この場合、決められた範囲を探索した後に保険モードでAF収束することになるが、その範囲がNear端からFar端までの全域とすると、毎回全域を探索することになり収束するまでに時間がかかり過ぎる。
そこで、物理的なNear端からFar端(これらを、「真のNear端」,「真のFar端」と呼ぶ。)までの間に仮のNear端を設け、探索時間の短縮を図っている。即ち、フォーカスが仮のNear端からFar端までを探索した時点で、その範囲内にJPが存在するかを一旦判断する。全域を探索せずに途中で判断するので途中判断と呼び、仮のNear端位置を「途中判断位置」と呼び、ここでの判断方法を「途中判断方法」と呼ぶ。途中判断位置は、真のNear端と真のFar端の略中央に設定してある。もし、JPが存在する場合には、全域探索した場合と比べて相対的に短い時間でAF収束できる。
途中判断方法では、局部的なピーク(極大値)を検出できる鋭角率(後で説明する。)を用いてJPが存在するか否かを判断する。図28Aに示すように、レンズ移動開始位置から移動し、仮のNear端でフラグをセットし、次に真のFar端でフラグをセットし、フラグが2回セットされた時点で一旦途中判断を行い、鋭角率を用いてJPが存在するかを判断する。JPが存在すると判断したら、その位置にフォーカスを移動させる。このように、Far端とNear端の間に途中判断位置を設け、フォーカスがその位置に到達した時点で、それまでのフォーカスの経過の中でJPが存在するか否かを判断し、その結果によりそれ以降の探索を続行するか否かを判断している。このような途中判断を採用することにより、これまで全域探索を行った後でJPに集束していたディテールの少ない被写体,暗い被写体等のかなりの被写体が、全域探索を行わずに収束できるようになる。この結果、AFの平均集束時間を短縮できるようになった。なお、途中判断位置は、1つには限られない。所望に応じて複数個設けることが出来る。
途中判断でJPが存在しないと判断したら、図28Bに示すように(端反転処理S1021で)反転し、引き続き真のNear端まで探索を続行する。真のNear端までフォーカスを進めたら、全域を探索したことになり、フォーカスを収束させる位置を決めなければならない。
上記端到達判定の処理フローを図29に示す。以下にフローの説明を行なう。ステップS2901でレンズの現在位置が端到達であるか判定する。端到達してなければ、山下り判定に進み(図10のS1022)、端到達してれば、次に進む。
ステップS2902で、端到達フラッグをセットする。即ち、フォーカス位置がFar端ならFar端到達フラグをセットし、予め定めた途中判定位置よりもNear端に近ければNear端到達フラグをセットする。
ステップS2903で、Far及びNearの両端を既に通過しているかを判定する。上記2つの端到達フラグのどちらか一方のみがセットされていれば片端到達と見なし、レンズを停止し、端反転処理(図10のS1021)へ進む。上記のFar及びNearの端到達フラグがセットされていれば、次に進む。
ステップS2904では、現フォーカス位置が既に真のNear端に到達しているかを判定する。真のNear端に到達している場合(図28BのQ点)、ピーク位置選定処理(図10のS1020)に進み、その処理のルールによりピーク位置の選定を行なう。まだ真のNear端に到達していない場合(図28AのP点)には、次に進む。
ステップS2905では、探索した範囲内に有意なピークが存在するかを判定する。ピークが有れば、ピーク位置選定処理(図10のS1020)に進む。無ければ、次に進む。ステップS2906では、処理の都合上、次の途中判断位置に真のNear端を代入し、そこでの途中判断をなくし、Near端到達フラッグをリセットして探索動作を継続させる。ステップS2907では、現在位置がFar端であるか否かを判定し、Far端であれば端反転処理(図10のS1021)に進む。Far端でなければ、山下り判定(S1022)へ進む。途中判断位置であれば進行方向はそのままとする。
3.14 途中判断方法
仮のNear端〜Far端を探索した際にその範囲内にJPが存在するか否かを判断する途中判断方法は、「鋭角率」を用いて行なっている。以下に鋭角率の説明を行なう。
特に暗いシーンで評価枠の周囲からの輝度の高いエッジが侵入して偽山が発生したような場合には、フォーカスに対する評価値曲線はJPで最大となる単峰形にはならない場合が少なくない。その一例を図30に示す。図30は横軸に時間を、縦軸に評価値の値をとった評価値曲線である。フォーカスは等速度でレンズを移動させているため、横軸の時間はフォーカス位置と見ることができる。鋭角率は、短いフィールド内でどれだけ上に尖っているか(極大値)の指標であり、図30Aに示すような偽山を含む評価値曲線においてもJPを見つけることができる。
鋭角率は、全ての評価値ID[i],(i=1〜13)に対し、現在の評価値e0 [i]、3フィールド前の評価値e3 [i]及び6フィールド前の評価値e6 [i]を用いて計算し、式(4) で表わす。
Figure 2006189892
鋭角率の概念は、図30Aに示すように、e3 [i]とe6 [i]の差分とe3 [i]の比(e3 [i]−e6 [i])/e3 [i]である。但し、e3 [i]を越して単調増加する場合もあるので、両側を取り、{(e3 [i]−e6 [i])/e3 [i]}×{(e3 [i]−e0 [i])/e3 [i]}としている。なお、(e3 [i]−e0 [i])と(e3 [i]−e6 [i])の両方が負の値を取ると、鋭角率として正の値が出てしまうので、(e3 [i]−e0 [i])<0、又は、(e3 [i]−e6 [i])<0の場合は、鋭角率はゼロとする。
ここで、実際に用いる式(4) との相違は、分母の+1はe3 [i]がゼロの時に無限大となることを回避するため(ゼロディバイド防止)である。
鋭角率の計算は毎フィールド行なわれ、鋭角率の最大値更新及び最大値のレンズ位置更新も毎フィールド行なわれる(図14B参照)。そして上記途中判断において、それまでに記録された各評価値の鋭角率最大値を調べ、鋭角率最大値が閾値(例えば、20)を越えているものがあれば探索した範囲内にJPが存在するとして、ステップS1020のピーク位置選定処理に進む。どの鋭角率最大値も20を越えていない場合、JPが存在しないと判断する。
この鋭角率の考えを毎フィールドに採用し、所定の値を越えたらピーク発見とみなす方法は、後で述べる山下り判定のチェックダウン方式でも用いられる。しかし、途中判断で用いる鋭角率とチェックダウン方式とでは閾値が異なっており、チェックダウン方式の方が閾値を高くしている。これは途中判断では探索領域にわたっての鋭角率を用いているのに対してチェックダウン方式では基本的には数フィールド(最大10フィールド)の情報しか扱かっていないのでノイズに対してJP存在という結果を出させないためである。
3.15 端反転処理
ステップS1021で端反転処理を行う。端反転処理は、以下の処理を行なう。
(i)フォーカスの進行方向を反転する。
(ii)山登りパラメータの初期化を行なう。但し、端到達フラグのリセットは行なわない。
山登りパラメータの初期化に関しては山登りループに入る直前に行なう「山登りパラメータの初期化」と同じ処理であるが、片端に到達したフラグまでリセットしてしまうと端反転を無限に繰り返してしまうので端到達フラグだけはセットしたままにする。
3.16 ピーク選定
ステップS1020でピーク選定処理を行う。即ち、山下り判定でピークが検出できずにFarとNearの両端に到達した場合、又は、上記途中判断でピークありと判断した場合には、探索した範囲内でフォーカスを収束させる位置を選定する。
ピーク選定では、各評価値の鋭角率最大値から最大の鋭角率を選定し、それが所定の値を越えていれば、その際最大鋭角率に対応するフォーカス位置をピーク位置と決定する。越えていなければ、次善の策として、特定の評価値に関して、最大値と最小値の差及び最大値と最小値の比を求め、いずれも所定量以上ならば、その評価値に対応するレンズ位置をピーク位置と決定する。
図31にピーク選定のフローを示す。
ステップS3101で、評価値IDO〜ID13各々に対する鋭角率最大値の中から最大の鋭角率及びそれに対応するレンズ位置を選定する。ステップS3102で、選定された最大の鋭角率が所定値(例えば、20)を越えていたら、ステップS3103に進む。所定値以下の時は、ステップS3104に進む。ステップS3103で、最大鋭角率に対応するレンズ位置をピーク位置と決定する。
ステップS3104では、最大の鋭角率が所定値以下の場合であり、この場合には鋭角率ではJPを決定することが出来ない。そこで、最後の手段として、評価値の最大最小の差が最大であった箇所をJPと決定することとする。即ち、評価値ID0,ID6,ID4,ID9及びID11の各評価値に対してこの優先順位で、
(i)最大値と最小値の差が所定量以上、且つ、
(ii)最大値と最小値の比が所定量以上、の条件を満足するかを順に調べる。これら(i)及び(ii)の条件を満足する評価値が有れば、以降の探索を止め、満足した評価値の最大値に対応するレンズ位置をピーク位置と決定する。なお、このピーク位置は、メモリに蓄積されている。なお、(i)及び(ii)を満足する評価値が依然として無い場合には、最後の手段として枠サイズが最大枠W5である評価値ID11の最大値に対応するレンズ位置をピークとしている。
3.17 山下り判定(ピーク検出)
ステップS1022で、山下り判定を行う。画像処理方式のAFでは評価値のピークを通過して初めてJPを検出ができるので、山下り判定は評価値のピーク検出判定を意味する。従って、山下り、即ち評価値低下の検出方法が非常に重要である。山下り判定では、(i)差分判定、(ii)チェックダウン判定、の2つ方法でピーク検出判定を行なっている。
差分判定とチェックダウン判定の相違は、前者が現在フィールドの評価値と所定フィールド前の評価値の差を監視し、この差が一定の閾値を越えたらピークを検出したとする。一方、後者は、前者が現在フィールドの評価値と所定フィールド前の評価値の比を監視し、この比が一定の閾値を越えたらピークを検出したとする。差分判定では、コントラストの低い、従ってJPにおいても評価値の低い被写体では評価値の変化が少なく、JP検出が出来ない場合がある。チェックダウン判定は、コントラストの高い、従ってJPにおいても評価値の高い被写体でピーク検出が遅れ、その結果ピークを行き過ぎるオーバーランが頻発するという欠点を有する。このAFのピーク検出では、差分判定(差)とチェックダウン判定(比)の両方を用い、前者によりコントラストの高い被写体に対しては行き過ぎの増加なしにピークを検出し、後者によりコントラストの低い被写体に対してもピーク検出の感度を挙げることができるという特徴を有している。
差分判定は、以下に説明するように1フィールド又は2フィールドの評価値の低下で山下りを判定するので、ピークを行き過ぎる量が次に述べるチェックダウン方式と比較して少ない。しかし、実際問題として、JPにおいても評価値が低い(例えば、ID0で500以下の)被写体では方向判定結果が2回連続してDownとならないケースがある。そのような評価値の低い被写体に対してJP検出する目的で、チェックダウン方式を用意している。最初、差分判定を行い、ピーク検出が出来なかった場合、チェックダウン判定を行う。
(i)差分判定
差分判定は、本AFのピーク検出では基本となる判定方法である。方向判定(S1016)における評価値ID0及びID1の個別判定結果が連続して閾値回「upng th」(フィールド)Downが続いたらピーク検出と判定し、ステップS1023に進みピーク位置算出を行う。この閾値「upng th」は、焦点深度に応じて変えている。即ち、焦点深度が長い場合には、1回のDownとし、焦点深度が小さい場合には、評価値曲線に小さな偽山が生じ易いという経験則にしたがって、2回連続Downというルールで偽山トラップを防止している。
upng th=2(焦点深度が短い場合)
=1(焦点深度が長い場合)
ここで、「焦点深度が短い」:レンズ最高速度で1フィールドですすめるフォーカス量が焦点深度よりも大きいときをいう。
「焦点深度が長い」:レンズ最高速度で1フィールドですすめるフォーカス量が焦点深度よりも小さいときときをいう。
但し、先に説明したID7(輝度加算値)の正規化差分値(50×|e0 [7]−e2 [7]|/e0 [7])がピーク検出時に所定値(例えば、10%)を越えている場合には、揺れによる誤動作で簡単に停止するのを防止するため、揺れ又は外乱乱入としてピーク検出判定の差分判定結果を無効に(メモリ内のダウンカウント値をリセット)している。
50×|e0 [7]−e2 [7]|/e0 [7])≧10% →差分判定結果を無効
これにより、被写体の揺れや外乱により生じるピーク検出の誤判定を低減することが出来る。その結果、ボケ状態のフォーカスのままAF動作が終了する誤動作を低減できる。
差分判定が前に述べた方向判定の個別判定を用いているので、各評価値の大きさにかかわらずDownと判定するための差分閾値は同じである。評価値の低い場合には閾値は小さくし、評価値の高い場合に閾値は高くしても良いように思える。しかしながら評価値の高いシーンは、一般にディテールの高い場合が多くわずかなボケも目立ってしまう。評価値が高いからといって閾値も高くするとJP頂上での山下りを見逃し、その結果行き過ぎが目立ってしまう。これに対して評価値の低いシーンでは、一般にディテールが低いのでフォーカスがJPを多少行き過ぎてもあまり目立たない。従って、評価値が高いシーンは厳しく、反対に評価位置が低いシーンは緩く判定する必要がある。以上より各評価値の大きさにかかわらず定数の閾値を採用している。
(ii)チェックダウン判定
図32Bを用いてチェックダウン判定方法を示す。チェックダウン判定方法では、各評価値に関してe0 [i]、ej [i]、e2j[i]の3つの評価値を用いてピーク判定を行なう。[i]のiは評価値のIDを示す。e0 [i]は現フィールドの評価値、ej [i]はjフィールド前の評価値、e2j[i]は2jフィールド前の評価値を示している。jは2から5までの整数であり2から始めて順次増加させる。判定の計算式を式(5)(6)に示す。
〔数5〕
ej〔0〕>a*e0〔i〕、且つ、ej〔i〕>a*e2j〔i〕
但し、j=2,3,4,5
a=1.2(静止モード)
=2.5(揺れモード1)
〔数6〕
1/b<ej〔7〕/e0〔7〕<b、且つ、
1/b<ej〔7〕/e2j〔7〕<b
b=1.1
式(5) は、途中判断方法で説明した鋭角率と同じ考えであり、サンプル時刻の異なる3つの評価値のうち中央の評価値ej [i]が他の2つe0 [i],e2j[i]より所定倍a以上大きければ(ej [i]/e0 [i]>a、且つ、ej[i]/e2j[i]>a)、ピーク検出と判定する。ここで、j=2,3,4,5なので、ej [i]は2,3,4,5フィールド前と順次拡げ、それに対応してe2j[i]も4,6,8,10フィールド前と順次拡げて判定する。なお、定数aは、揺れのない場合には小さくして検出感度を良くしている。揺れのある場合には、揺れによる評価値の変動で誤検出しないように定数aを大きくしている。
式(6) は、評価値ID7(Y−W1−HIntg,輝度加算値)の変化率を用いて、チェックダウン判定に制限を与えた式である。即ち、評価値ID7の変化率が式(6) を満足しない場合には、揺れ又は外乱ありとして上記ピーク検出のチェックダウン判定を無効にしている。これにより、被写体の揺れや外乱により生じるピーク検出の誤判定を低減することが出来る。その結果、ボケ状態のフォーカスのままAF動作が終了する誤動作を低減できる。
このチェックダウン判定でもピーク検出できない場合には、先に説明を行なった保険モードでJPに収束することになる。
これら差分判定,チェックダウン判定及び保険モードの動作の比較を図32Bの図表にまとめて示す。図表において、検出遅延時間とは、評価値がピークに達してからピーク検出されるまでの時間を示す。検出遅延時間は小さければそれだけ行き過ぎ量が小さくて済む。図表より検出遅延時間は、差分判定<チェックダウン判定<保険モード、となっていることがわかる。従って、ピークの検出さえできれば差分判定が望ましい。しかしながら、評価値が低い場合には差分判定のピーク検出感度は小さいので、他の判定に頼ることになる。
上記チェックダウン判定に使用している評価値は以下のとおりである。判定の順番は番号順となっており、ピークが検出できたら残りの判定は行なわない。
(1) 揺れのない場合
(i)ID0(IIR1−W1−HPeak)
(ii)ID6(IIR1−W1−HIntg)
(iii)ID3(IIR4−W1−HPeak)
(iv)ID4(IIR0−W1−VIntg)
なお、ここでID4を使用する場合には、次の制限がある。
(a) ID0 < 600
(b) ID6 < 600
(c) ID3 < 1600
これは、VIntg方式を使用する垂直方向評価値ID4を使用することにより、水平方向成分が無く、垂直方向成分だけがある水平線のシーンのようなシーンに対しても可能になった。しかし、ID4は、水平方向成分があると、フォーカスを動かした際に伴う画角の変更,ボケの変化によるエッジの侵入等による画素の移動が起こり、水平方向変化がID4を算出する際の水平方向64画素平均計算に影響し、シーンによっては評価値ID4に偽山を発生させることになる。これを回避するために、HPeak方式及びHIntg方式を使用する評価値ID0,ID6及びID3によって、水平方向成分が或る一定以上ある場合には、垂直方向評価値ID4を使用してピーク検出を行わないように制限を付したのである。
(2) 揺れている場合
(i)ID6(IIR1−W1−HIntg)
3.18 ピーク位置算出(重心計算)
ステップS1023で、ピーク位置算出を行う。即ち、山下り判定でピークが検出されたらピーク位置を算出する。
図33は、フォーカスを一定速度で進め、1フィールド毎に評価値及びフォーカス位置をサンプルする様子を示している。レンズ速度が、1フィールドで進む1焦点深度以内であれば、評価値が最大となるフォーカス位置を選び、その位置にフォーカスを戻せばJP追い込み精度を1/2焦点深度に納めることもできる。
ところが、「レンズ速度設定」(S1010)で述べたように高速のままJPを通り過ぎることもあり、概して、1フィールドで進むフォーカス量は焦点深度よりも大きい。この場合、評価値ピークにサンプル箇所が一致しなく、飛び越してしまうことが多い。そこで、ピーク値をサンプルしたデータの中から単に選ぶのでなく、補間計算をして正確なJP位置を算出する必要が生じる。
本AFでは、正確なJP位置を算出のための補間計算として重心計算式(7) を用いている。多少のノイズがあってもJP算出結果には影響が少ないこと、最小二乗法と異なりf(x) の形を決める必要がないこと、から重心計算法を採用した。被写体の形状は無数にあるので評価値曲線は、最小二乘法のような数式でモデリングすることはできないからである。
Figure 2006189892
式(7) でxはレンズ位置、x1,x2は積分範囲、f(x)はレンズ位置xにおける評価値の値を示している。積分範囲の設定方法に関しては後で説明する。この重心計算を行なうことにより、図33に示すようにサンプル点が評価値ピーク、即ちJP位置と重ならなくともJP位置を算出できるようになる。
重心計算の精度を上げるためには、積分範囲の設定を適正に選ぶ必要がある。例えば、図34Aに示すように評価値ピークの前後でアンバランスに積分範囲を設定すると算出結果とJPとのずれは大きくなってしまう。
図34Bに示すように、積分範囲は山下りを検出した時点のレンズ位置をx2とし、それまで経過したレンズ位置と評価値とで作られる評価値曲線における山の反対側でf(x2)と等しい評価値に対応したレンズ位置x1を探し、それを用いるのが最適である。
ここで、実際にはサンプルデータは離散的(1フィールドに1回サンプル)なので式(7) のように連続積分はできない。そこで式(8) に示すように離散的積分計算を行なっている。
Figure 2006189892
この場合、積分範囲に関しては、探し出したx1がバッファに格納したデータと一致している場合には、離散的積分計算の開始データとしてそのまま用いる。しかし、通常は一致しない。一致しない場合には、f(xp)≦f(x1)で且つx1に最も近いレンズ位置xpを、バッファに格納されているデータの中から検索して積分開始位置として用いる。
この場合、積分範囲としては若干アンバランスとなるが、以下の理由により実際にはそれほど影響がない。その理由は、(i)評価値ピーク前後でレンズの移動速度が速い場合にはf(xp)は通常評価値ピークと比べて十分小さく、積分計算の寄与が小さいので、JP計算精度にはあまり影響しないこと、(ii)評価値ピーク前後でレンズの移動速度が遅い場合には上記寄与が大きくなるが、逆に評価値データ間の間隔が狭くなることによりJP計算精度が上がるので、結果として相殺されて、精度低下は相殺されるからである。
以上のピーク位置算出法においても、どのようなシーンにおいても算出結果とJPとのずれが焦点深度内に納まっている保証はない。評価値曲線の形がモデリングできないので、上記重心計算の精度を算出することができないからである。しかし、今回開発したAFの実力では、15倍のレンズで焦点距離120mm、アイリス1.7、エクステンダ2倍を挿入した条件下で、通常のシーンをAFさせた場合には、要求仕様を満足し十分な精度でジャストフォーカスに収束できることを確認している。
3.19 ピーク位置移動
ステップS1024でフォーカスレンズを移動して、ピーク位置移動処理を行う。AFブロック137からレンズブロック側CPU114に対し、フォーカスレンズ制御指令が与えられることにより行われる(図1参照)。即ち、ピーク位置算でピーク位置が算出できたら、ピーク位置移動処理でピーク位置にフォーカスを移動させる。この処理では算出時点でのフォーカス位置と戻るべきフォーカス位置との差を計算し、もしその差が所定距離以上の場合にはその距離を25フィールドで戻るよう、レンズ速度の算出を行なっている。ピーク位置から離れている時は比較的速く、近くに在る時は比較的遅い速度で移動するためである。速度を算出したら、その速度を速度指令としてレンズ側に送信する。レンズが目標に近づいたら位置指令に切り替え、目標位置に正確に到達させている。
このように、所定距離以上離れている場合に25フィールドかけてレンズをピーク位置に戻しているのは、あまり高速に戻すと画面の動きが不自然にぎくしゃくした感じを受けるからである。
次に、未だ説明していないロングフィルタ判定(S1003)及びロングフィルタ処理(S1004)について説明する。鏡面をもつ被写体が揺れながらライト,太陽光を反射させている場合やミラーボール等の発光体が激しく移動している場合には、各評価値,輝度加算値が激しく変動する。このようなシーンでは、JPから離れていても先に説明した山下り判定(ピーク検出)の条件を簡単に満足してしまい、ぼけた位置でレンズが止ってしまう。山下り判定ではID7(輝度加算値)の正規化差分(即ち、変化)を調べ、変化が大きい場合にはピーク検出を無効にしているが、すべての場合に完全に見抜けるわけではない。
そこで、輝度加算値等の各評価値が激しく変動する被写体に対してもAFさせることを目的として、このロングフィルタモードを設けている。
3.19 ロングフィルタ判定
先ず、ステップS1003で、ロングフィルタ判定を行う。図9に示したAFフローチャートでは、通常、山登りループを何回か回りながら評価値ピークを検出している。しかし、異常に揺れが激しい場合には山登りループで誤動作してしまう危険性がある。このような誤動作を回避するため、予め、ロングフィルタ判定を行って揺れが異常に激しいか否かを判定し、揺れが激しいと判定された場合には、ロングフィルタ処理(S1004)を行い、山登りステージに進まないでAF動作を終了する。ロングフィルタ処理を起動するか又は起動しないで通常のAF処理を行なうかは、次の条件で判定する。
ロングフィルタ判定において、揺れが激しいか否かの判定には、レンズ静止時の揺れ判定(S1001)と同様の手順により行う。但し、レンズ静止時の揺れ判定では、評価値ID0とID7(輝度加算値)の正規化差分値の最大値である代表正規化差分値を用いて判断しているが、このロングフィルタ判定では更にこれら評価値に対して評価枠をW3に拡げた評価値ID9とID12(輝度加算値)を加えて判定している。
評価値ID0及びID9の平均値(揺れ判定期間12フィールドの平均値)が200以上なら、
ndiff e[0]≧30%、且つ
ndiff e[9]≧30% → 揺れモード2とする。
評価値ID0の平均値が200未満なら、
ndiff e[7]≧12.5%、且つ
ndiff e[12]≧12.5% → 揺れモード2
とする。
ロングフィルタ判定において、揺れが大(揺れモード2)であれば、ロングフィルタ処理(S1004)に移行する。揺れが大でなければ、通常のAF処理に進む。この条件は、実験的に求めた。
3.20 ロングフィルタ処理
ロングフィルタモードは、先に説明した山登りステージとは異なり、長い移動平均を取りながら等速度でレンズを動かして、移動平均が最大となるレンズ位置にレンズを戻す方式を採っている。この利点は、評価値の変動の激しい被写体でも誤動作の確率が少ないことである。欠点は、移動平均を多数取っているのでピークの検出が比較的遅く、また、ピーク行き過ぎ量が大きいことである。
図36にロングフィルタ処理のフローチャートを示す。以下に各処理の説明を行なう。 ロングフィルタ処理を開始する。ステップS3601では、次の条件で、焦点深度に対応した等速度で動かすレンズ速度を設定する。
FS≦全ストローク/1000 → v=全ストローク/180 /フィールド
FS≧全ストローク/ 200 → v=全ストローク/ 90 /フィールド
全ストローク/1000 ≦ Fs ≦ 全ストローク/200 → 上記範囲の比例配分した速度
但し、Fs:焦点深度
全ストローク:フォーカスレンズを物理的なFar端〜Near端間移動させたときのパルスモータのパルス数で表したもの。なお、カメラのレンズによって異なるが、実際の光軸方向移動距離は十数mm程度であり、これを本実施例では0〜20000パルスに対応させている。
ステップ3603で、レンズの移動方向を設定する。初期設定であれば図35に従う。図35で横軸はFar端からNear端までのレンズ位置FPOS(Focus Position)をパルス数0〜20000で特定しており、FPOSはフォーカスリングの回転角と1次関数の関係となっている。
レンズ位置 移動方向
0(Far端)〜 5000 → Far端方向
5000〜10000 → Near端方向
10000〜15000 → Far端方向
15000〜20000 → Near端方向
ステップS3604,3605,3607で、ロングフィルタ山下り判定を行う。先ず、S3604では、毎フィールド輝度正規化評価値の移動平均(段数11段)計算及びその最大値更新処理を行ない、反転回数が1の時に輝度正規化評価値が最大値の半分(50%)又は端に到達したならば、ステップS3608に進み反転回数を1にセットしてステップ3603に戻る。そうでなければ、ステップS3608のレンズ位置算出に進む。
この輝度正規化評価値とは、評価値ID0に、ID7(輝度加算値)の32個移動平均を掛け、ID7の3個の移動平均で割ったものである。
e[0]*{Σ(e0 [7]+…+e31[7])/32}÷{Σ(e0 [7]+…+e2 [7])/3}
ここで、(輝度加算値32個の移動平均/輝度加算値3個の移動平均)を掛けているのは、ミラーによる強い反射光の影響を減小させるためである。
図37は、変動の大きい評価値ID0に(輝度加算値の32移動平均/輝度加算の3移動平均)を掛け、更に段数11の移動平均を取ることにより変動が小さく、即ちノイズを減少して、JP位置が見つけ易くなる様子を示している。移動平均11段を取ることにより評価値ピーク位置が5フィールド遅れる(厳密には、上述したように評価値自体が3フィールドの移動平均をとっているため1フィールド遅れ、更に、CCDは1フィールド蓄積しているので、結局7フィールド遅れるが、本発明に関しては直接関係ないので省略する。)。
ステップS3605で、反転回数が0の時に輝度正規化評価値が最大値の半分(50%)又は端に到達したならば、ステップS3606に進み反転回数を1にセットし、ステップS3603に進んで移動方向設定が行われる。そうでなければ、ステップS3607に進む。
ステップS3607では、次の移動位置をレンズに指定して、ステップS3604に戻る。
ステップS3608では、JP位置算出を行う。ロングフィルタ山下り判定で輝度正規化評価値が最大値に対して半分に低下し、且つそれまでに既に反転していればJPが見つかったとしてロングフィルタ処理(S1004)に入る。輝度正規化評価値は先に述べたように11段の移動平均を取っているのでピークが出現するレンズ位置はそれだけで5フィールド遅れる(実際には7フィールド遅れる。)。従って、レンズ速度×7フィールド分だけレンズ位置を戻す必要がある。JP位置算出処理ではこれらの遅れも考慮してJP位置の算出を行なう。
ステップS3609では、JP位置へ移動を行う。JP位置算出処理で算出した位置へレンズを移動させる。
ステップS3610では、ロングフィルタ処理を終了する手続きを行ない、今回のAF処理は終了する。本実施例のAFはワンショットタイプであり、次回AFスイッチがプッシュされるまではアイドリング状態となる。
図38にロングフィルタ処理によるレンズの動きの一例を示す(図36の(i)(ii)(iii)も参照)。図中、ロングフィルタ処理が起動され、先に述べた移動方向設定処理で動く方向が決まり、(i)に示すように等速度で動きだす。この場合、輝度正規化評価値は減少する方向なので最大値及び最大値位置は出発点のままとなる。レンズは進行して、輝度正規化評価値が最大値の半分になり、かつそれまで反転していないので、その位置から反転して再度スタートする。
反転後レンズは等速度で進み、(ii)に示すように正規化評価値ピークを通過して更に進行する。輝度正規化評価値が最大値の半分となったら、今度はそれまでに反転しているので先に述べたJP位置算出処理でJP位置を算出する。その後、(iii)に示すようにJP位置に戻り、ロングフィルタ処理を終了する。
以上により、本実施例の説明を終了する。
[実施例の効果]
以下、本実施例の効果に関して、項目別に説明する。
(1) レンズ静止時の揺れ判定(S1001)においては、AFスイッチが押されてから所定期間経過するまでの評価値データは、揺れ判定の計算には寄与させていない。即ち、パン及びスイッチONによる影響が生じる所定期間、揺れ判定の計算に寄与させないことにより、これらの影響を排除した揺れ判定をすることができ、誤判定を回避できる。もし、この誤判定が生じると、被写体が揺れていなくとも揺れていると判定され、高速でレンズが駆動され、ジャストピンを通り越した後のレンズ行き過ぎ量が大きいものとなってしまう危険がある。本実施例では、被写体が揺れていなくとも揺れていると誤判定する、不都合を解消することが出来る。
(2) 本実施例ではレンズ移動開始前のレンズ静止時に予め揺れ判定(S1001)を行うことにより、前もってレンズ移動速度を決定することが出来る。更に、レンズ移動開始後も周期的に揺れ判定(S1014)を行うことにより、レンズ静止時の予め揺れ判定では検出できない大ボケ状態での揺れ判定を正確に行うことが出来る。
(3) 本実施例のレンズ速度設定(S1010)では、揺れの有る場合には、レンズを高速で動作させ、高速で移動させて低速切り替えは行なわない。揺れがあるとレンズが静止していても評価値が変動するので、AFを開始すると、評価値には、揺れによる寄与と、レンズを動かしてフォーカスが変化することによる評価値変化の寄与、とが合成される。揺れによる寄与が大きいと「ぼけたフォーカス位置でAFが収束する」ような誤動作を起こしてしまう。この誤動作を避けるために、本実施例では、レンズの速度を高速にすることにより、揺れによる寄与分を相対的に減らし、フォーカスが変化することによる評価値変化の寄与分を相対的に大きくし、揺れに影響しない評価値特性を得ている。
(4) 画像処理方式のAFでは評価値のピークを通過して初めてJPを検出ができる。そこで、本実施例では、山下り判定(ピーク検出)(S1022)を行っている。山下り、即ち評価値低下の検出方法が非常に重要である。山下り判定では、差分判定、チェックダウン判定、の2つ方法でピーク検出判定を行なっている。前者は、現在フィールドの評価値と所定フィールド前の評価値の差を監視し、この差が一定の閾値を越えたらピークを検出したとする。この方法は、コントラストの低い、従ってJPにおいても評価値の低い被写体では評価値の変化が少なく、JP検出が出来ない場合がある。一方、後者は、前者が現在フィールドの評価値と所定フィールド前の評価値の比を監視し、この比が一定の閾値を越えたらピークを検出したとする。この方法は、コントラストの高い、従ってJPにおいても評価値の高い被写体でピーク検出が遅れ、その結果行き過ぎ(JPを越えてオーラン)が頻発するという欠点を有する。このAFのピーク検出では、差分判定とチェックダウン判定の両方を用い、前者によりコントラストの高い被写体に対しては行き過ぎの増加なしに、後者によりコントラストの低い被写体に対してもピーク検出の感度を挙げることができる。
(5) 山下り判定(S1022)では、差分判定、チェックダウン判定、の2つ方法でピーク検出判定を行なっている。前者は、現在フィールドの評価値と所定フィールド前の評価値の差を監視し、この差が一定の閾値を越えたらピークを検出したとする。後者は、前者が現在フィールドの評価値と所定フィールド前の評価値の比を監視し、この比が一定の閾値を越えたらピークを検出したとする。
但し、先に説明した評価値ID7(輝度加算値)の正規化差分値がピーク検出時に所定値を越えている場合には、揺れによる誤動作で簡単に停止するのを防止するため、揺れ又は外乱乱入としてピーク検出判定の差分判定結果を無効に(メモリ内のダウンカウント値をリセット)している。
同様に、評価値ID7(輝度加算値)の変化率が式(6) を満足しない場合には、揺れ又は外乱ありとして、ピーク検出のチェックダウン判定結果を無効にしている。これらにより、被写体の揺れや外乱により生じるピーク検出の誤判定を提言することが出来る。その結果、ボケ状態のフォーカスのままAF動作が終了する誤動作を低減できる。
(6) 方向判定(S1016)において、各評価値自体が所定の閾値以下の場合は、強制的にFlatとしている。これにより、評価値の定常的なノイズでは簡単に反応しないようにすることが出来る。更に、評価値が低い場合には定常的なノイズで方向判定を誤る場合が多く、また、ID7(輝度加算値)が高いシーンでは評価値曲線全体が上昇し、その定常ノイズレベルの絶対値も一緒に上昇してUp又はDownの判定結果につながる。従って、所定の閾値をEVAL TH [i]×γ[i](閾値×輝度加算補正係数)とし、この閾値を輝度加算値に対応して順次高くしている。従って、被写体を照らす照明を一層明るくした際に、フォーカスが大ボケ状態で評価値の変動が大きくなることにより発生するAFの誤動作を低減することが出来る。
(7) 本実施例の端到達判定(S1019)では、真のNear端から真のFar端までの間に仮のNear端を設け、探索時間の短縮を図っている。即ち、フォーカスが仮のNear端からFar端までを探索した時点で、その範囲内にJPが存在するかを判断する。もし、JPが存在する場合には、全域探索した場合と比べて短い時間でAF収束できたことになる。途中判断方法では、局部的なピークを検出できる鋭角率を用いてJPが存在するか否かを判断する。このように、Far端とNear端の間に途中判断位置を設け、フォーカスがその位置に到達した時点で、それまでのフォーカスの経過の中でJPが存在するか否かを判断し、その結果によりそれ以降の探索を続行するか否かを判断している。途中判断を採用することにより、これまで全域探索を行った後でJPに集束していたディテールの少ない被写体,暗い被写体等のかなりの被写体が、全域探索を行わずに集束できるようになり、AFの平均集束時間を短縮できるようになった。
(8) 本実施例の飽和輝度判定(S1012)を採用することにより、飽和輝度数が所定の閾値を越えている場合には、評価枠の枠サイズを基本枠サイズW1から最大枠サイズW5に強制的に拡大変更してしまう。こうすることにより、図24に示すように、飽和輝度を持つ被写体を枠内に納めてしまうことにより、偽山の発生を押さえ、誤動作の発生を防止できる。
(9) 本実施例のWOB(S1006)では、第1段階判定と第2段階判定を組み合わせて使用する。第1段階判定は、カットオフ周波数の比較的高い使用データIIR1の評価値ID0を使用するため誤判定の確率は低いが評価値の感度が相対的に低く少しのボケ状態でも有為な値が得られない。第2段階判定は、カットオフ周波数の比較的低い使用データのIIR4の評価値ID2及び更に枠サイズが異なるID3を使用するため、感度がよい反面、偽山が発生しやすく誤判定を生じやすい。そこで、本実施例では第1段階判定を先ず優先させ、ここで方向判定できない場合のみ第2段階判定でバックアップすることにより、WOBの誤判定の確率を低く押さえたまま、WOBの感度を上げている。
(10)本実施例のレンズ速度設定(S1010)では、初期低速期間を除き、ピーク位置の近くまではレンズを高速に進め、ピーク位置近くに到達したら低速に切り替えている。即ち、大ボケ状態からピーク位置近くまでは高速にレンズを動かし、ピーク位置近くになったら急に減速して低速にすることで、迅速且つ滑らかに行き過ぎることがなくピーク位置に収束できる。
(11)本実施例のHPeak方式では輝度データYから高周波成分を抜き出している。この場合、例えばカラーバーを撮影したとき、このHPeak方式では後で述べる評価値の変化は均一な壁と同じようになり、評価値ピークの検出が出来ないことがある。これに対して、R,G,Bの画像信号を加算して輝度データを求めるのではなく、色信号R,G,Bに関して夫々独立に水平方向評価値算出フィルタを設け、各出力を加算して評価値とすることで、カラーバーのような色は異なるが輝度が均一な被写体に対しても有為な評価値を得ることが出来る。
ビデオカメラから構成される撮像装置の全体の構成を示す図である。 図1のビデオカメラのAFブロックの構成を示す図である。 水平方向評価値算出フィルタの回路構成を説明する図である。ここで、図3Aは水平方向評価値算出フィルタの回路であり、図3BはHPFのカットオフ周波数の相違について説明している。 評価値生成回路で使用される枠制御信号を説明する図である。 全積分方式水平方向評価値算出フィルタの回路構成を説明する図である。 図6Aは、垂直方向評価値算出フィルタの回路構成、図6Bは飽和輝度数算出回路の構成を説明する図である。 各評価値の評価枠の枠サイズを説明する図である。 評価値ID0とID2の傾向を示す図である。 各評価値の関係を説明する図である。 本実施例で実行されるAFの全体フローチャートを示す図である。 図10のAFの全体フローチャートにおける揺れ判定処理(レンズ静止時の)の揺れ判定期間を説明する図である。 図10のAFの全体フローチャートにおけるウォブリング処理のフローチャートを示す図である。 図12のウォブリング処理におけるウォブリング動作のタイムチャートを示す図である。 図10のAFの全体フローチャートを実行する際に使用されるデータを説明する図である。 図16と共に、ウォブリングと評価値の変化を示す図であり、図15A,B及びCはジャストピント判定される場合を示している。 図15と共に、ウォブリングと評価値の変化を示す図であり、図16C,D及びEはジャストピントでないと判定される場合を示している。 図15Cに関連して、ジャストピンであると判定される場合の条件を説明する図である。 図15A,B及びCに関連して、ジャストピンと判定する判定方法を説明する図である。 図12のウォブリング処理における方向判定する判定方法を説明する図である。ここで、図19AはNear方向判定を示し、図19BはFar方向判定を示す。 図10のAFの全体フローチャートにおけるレンズ速度決定処理のフローチャートを示す図である。 図20の低速切り替え判定において使用される判別式を説明する図である。 図10のAFの全体フローチャートにおける偽山判定に関連し、偽山の発生過程を説明する図である。ここで、図22Aはジャストピン状態を示し、図22Bはボケの程度が徐々に進む状態を示す図であり、図22Cはこのときの評価値の推移を示す図である。 評価値ID0とID1を用いて行う揺れ判定に関する説明図である。ここで、図23Aは2重枠法を説明し、図23Bは偽山の発生しないシーンの評価値の振る舞いを説明し、図23Cは垂直エッジの偽山発生に与える影響を説明し、図23Dは水平エッジの偽山発生に与える影響を説明している。 図10のAFの全体フローチャートにおける飽和輝度判定に関連し、偽山の発生過程を説明する図である。ここで、図24Aは偽山発生に関して説明し、図24Bは偽山発生と判定された場合の評価枠の拡大に関して説明している。 図10のAFの全体フローチャートにおける方向判定の個別判定に関する説明図である。 図10のAFの全体フローチャートにおける方向判定の総合判定に関する説明図である。 図27Aは図26の方向判定の判定方法、図27Bは図10のAFの全体フローチャートにおける逆送判定の判定方法に関する説明図である。 図10のAFの全体フローチャートにおける端到達判定に関する説明図である。ここで、図28Aは途中判断方法が有効に働く場合を示し、図28Bは全域を探索する場合を示している。 図28の端到達判定のフローチャートを示す図である。 図30Aは鋭角率を説明する図であり、また、図30Bは飽和輝度判定を説明する図である。 図10のAFの全体フローチャートにおけるピーク位置選定のフローチャートである。 図32Aは、差分判定、チェックダウン判定及び保険モードの動作の比較をした図表である。図32Bは、図10のAFの全体フローチャートにおける山下り判定のチェックダウン判定を説明する図である。 図33は、フォーカスを一定速度で進め、1フィールド毎に評価値及びフォーカス位置をサンプリングする様子を示した図である。 図34は、図10のAFの全体フローチャートにおけるピーク位置算出の重心計算の積分範囲を説明する図である。ここで、図34Aは積分範囲が適正でない場合を示し、図34Bは積分範囲の設定方法を示す図である。 図35は、図10のAFの全体フローチャートにおけるロングフィルタ判定の初期レンズ移動方向の設定方法を説明する図である。 図36は、図10のAFの全体フローチャートにおけるロングフィルタ処理のフローチャートを示す図である。 図37は、図36に関連して輝度正規化評価値を説明する図である。 図37は、図36に関連してロングフィルタモードを説明する図である。 図39は、被写界深度及び焦点深度を説明する図である。ここで、図39Aは被写界深度を、図39Bは焦点深度を夫々示す。 図40は、許容錯乱円及びCCD画素間距離と許容錯乱円の関係を説明する図である。
符号の説明
111… フォーカスレンズ、111a… フォーカスレンズ位置検出センサ、111b…フォーカスレンズ駆動モータ、111c… フォーカスレンズ駆動回路、112 …ウォブリングレンズ、112a… ウォブリングレンズ位置検出センサ、112b… ウォブリングレンズ駆動モータ、112c… ウォブリングレンズ駆動回路、113… アイリス機構、113a…アイリス位置検出センサ、113b… アイリス機構駆動モータ、113c… アイリス駆動回路、114… レンズブロック側CPU、115… オートフォーカス・スイッチ、121… 色分解プリズム、122R,122G,122B… 撮像素子、123R,123G,123B… プリアンプ、124… CCD駆動回路、125… タイミング信号発生回路、131R,131G,131B… A/D変換回路、132R,132G,132B… ゲイン制御回路、133R,133G,133B… 信号処理回路、134… エンコーダ、135… アイリス制御回路、136… ホワイトバランス制御回路、137…オートフォーカスブロック、138… オートフォーカス用CPU、139… アートフォーカス専用集積回路(AF−IC)、141… メインCPU、142… ROM、143… RAM、145… 操作部、201… 輝度信号生成回路、202…評価値生成回路、203… オートフォーカス用CPU、204… ROM、205…RAM

Claims (2)

  1. ビデオカメラの画像信号を入力する入力手段と、
    上記画像信号の特定領域の水平方向の高周波成分を抽出して評価値を生成する評価値生成手段と、
    上記評価値に応じて上記ビデオカメラのフォーカスレンズを駆動する指令値を算出する信号処理手段と、
    上記指令値を上記ビデオカメラのフォーカス駆動部に送出する出力手段と、
    画像信号の各水平ライン内の連続する複数の画像データの加算値を各ラインの代表値とし、この代表値に対して垂直方向にハイパスフィルタをかけてその出力より垂直方向評価値を算出する垂直方向評価値算出手段を設け、
    上記信号処理手段は、フォーカスを動かして評価値ピークの探索を行い、所定の条件を満足した上記垂直方向評価値の極大値が検出された際に、上記評価値が所定の値以下なら
    上記垂直方向評価値による検出結果を有効としてフォーカスを上記極大値の位置に戻し、
    上記評価値が所定の値以上なら上記垂直方法評価値による検出結果を無効として評価値ピークの探索を続行する
    ことを特徴とする、ビデオカメラのオートフォーカス装置。
  2. ビデオカメラの画像信号より該画像信号の特定領域の水平方向の高周波成分を抽出して評価値を算出するステップと、
    画像信号の各水平ライン内の連続する複数の画像データの加算値を各ラインの代表値とし、この代表値に対して垂直方向にハイパスフィルタをかけてその出力より垂直方向評価値を算出するステップと、
    フォーカスを動かして評価値ピークの探索を行い、所定の条件を満足した上記垂直方法評価値の極大値が検出された際に、上記評価値が所定の値以下なら該垂直方向評価値による検出結果を有効としてフォーカスを上記極大値の位置に戻し、上記評価値が所定の値以上なら上記垂直方向評価値による検出結果を無効として評価値ピークの探索を続行するステップと、
    を備えたことを特徴とする、ビデオカメラのオートフォーカス方法。
JP2006035354A 2006-02-13 2006-02-13 ビデオカメラのオートフォーカス装置及びビデオカメラのオートフォーカス方法 Pending JP2006189892A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006035354A JP2006189892A (ja) 2006-02-13 2006-02-13 ビデオカメラのオートフォーカス装置及びビデオカメラのオートフォーカス方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006035354A JP2006189892A (ja) 2006-02-13 2006-02-13 ビデオカメラのオートフォーカス装置及びビデオカメラのオートフォーカス方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP01706197A Division JP3840725B2 (ja) 1997-01-30 1997-01-30 ビデオカメラのオートフォーカス装置

Publications (1)

Publication Number Publication Date
JP2006189892A true JP2006189892A (ja) 2006-07-20

Family

ID=36797063

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006035354A Pending JP2006189892A (ja) 2006-02-13 2006-02-13 ビデオカメラのオートフォーカス装置及びビデオカメラのオートフォーカス方法

Country Status (1)

Country Link
JP (1) JP2006189892A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130104072A (ko) * 2012-03-12 2013-09-25 삼성테크윈 주식회사 영상 포화 방지 장치
WO2013161944A1 (ja) * 2012-04-25 2013-10-31 株式会社ニコン 焦点検出装置、焦点調節装置およびカメラ
JP2016061798A (ja) * 2014-09-12 2016-04-25 キヤノン株式会社 自動合焦装置、および自動合焦方法
JP2017054127A (ja) * 2016-10-06 2017-03-16 株式会社ニコン 焦点調節装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130104072A (ko) * 2012-03-12 2013-09-25 삼성테크윈 주식회사 영상 포화 방지 장치
KR101675800B1 (ko) 2012-03-12 2016-11-14 한화테크윈 주식회사 영상 포화 방지 장치
WO2013161944A1 (ja) * 2012-04-25 2013-10-31 株式会社ニコン 焦点検出装置、焦点調節装置およびカメラ
CN104380167A (zh) * 2012-04-25 2015-02-25 株式会社尼康 焦点检测装置、焦点调节装置及相机
US10484593B2 (en) 2012-04-25 2019-11-19 Nikon Corporation Focus detection device, focus adjustment device and camera
JP2016061798A (ja) * 2014-09-12 2016-04-25 キヤノン株式会社 自動合焦装置、および自動合焦方法
JP2017054127A (ja) * 2016-10-06 2017-03-16 株式会社ニコン 焦点調節装置

Similar Documents

Publication Publication Date Title
JP3840725B2 (ja) ビデオカメラのオートフォーカス装置
JP4407564B2 (ja) オートフォーカス装置とオートフォーカス方法およびプログラム
US6970646B2 (en) Focus control apparatus, image sensor, program and storage medium
JP2008009341A (ja) オートフォーカス装置、撮像装置及びオートフォーカス方法
CN100579179C (zh) 自动对焦装置、图像捕获装置和自动对焦方法
KR20080002693A (ko) 자동 포커스 장치, 촬상 장치, 및 자동 포커스 방법
KR20060109336A (ko) 오토포커스 장치 및 오토포커스 방법과 프로그램
EP0987884B1 (en) Automatic focusing device
KR20060109328A (ko) 오토 포커스 장치 및 오토 포커스 방법과 프로그램
JP2011150281A (ja) 撮像装置、撮像装置の制御方法、およびコンピュータプログラム
JP2008187412A (ja) 電子カメラ
US7391461B2 (en) Apparatus, method and control computer program for imaging a plurality of objects at different distances
JP2002182106A (ja) デジタルスチルビデオカメラの合焦制御方式
JPH10213737A (ja) ビデオカメラのオートフォーカス装置
JP2006189892A (ja) ビデオカメラのオートフォーカス装置及びビデオカメラのオートフォーカス方法
JP2007133301A (ja) オートフォーカスカメラ
JPH10239582A (ja) オートフォーカス装置
JP3794086B2 (ja) ビデオカメラのオートフォーカス装置
JP3804145B2 (ja) オートフォーカス装置及びオートフォーカス方法
JP2006301031A (ja) オートフォーカス装置とオートフォーカス方法およびプログラム
JP7191552B2 (ja) 制御装置、撮像装置、プログラム、および、記憶媒体
JP3796874B2 (ja) ビデオカメラのオートフォーカス装置、ビデオカメラのオートフォーカス方法及びビデオカメラ
JP3760546B2 (ja) ビデオカメラのオートフォーカス装置
JPH10213840A (ja) ビデオカメラのオートフォーカス装置
JP2020181147A (ja) 焦点調整装置、撮像装置、焦点調整方法、およびプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080311

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080624

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090623