JP2021162829A - 焦点検出装置、撮像装置および焦点検出方法 - Google Patents
焦点検出装置、撮像装置および焦点検出方法 Download PDFInfo
- Publication number
- JP2021162829A JP2021162829A JP2020067921A JP2020067921A JP2021162829A JP 2021162829 A JP2021162829 A JP 2021162829A JP 2020067921 A JP2020067921 A JP 2020067921A JP 2020067921 A JP2020067921 A JP 2020067921A JP 2021162829 A JP2021162829 A JP 2021162829A
- Authority
- JP
- Japan
- Prior art keywords
- focus detection
- focus
- pair
- frame
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 115
- 238000003384 imaging method Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 claims description 80
- 230000008569 process Effects 0.000 claims description 62
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 description 25
- 230000008859 change Effects 0.000 description 16
- 238000005259 measurement Methods 0.000 description 16
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 210000001747 pupil Anatomy 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000015654 memory Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 229920000742 Cotton Polymers 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
Abstract
【課題】適切な焦点検出動作を実現可能な焦点検出装置、撮像装置および焦点検出方法を提供すること。【解決手段】焦点検出装置は、複数のAF枠のAF枠ごとに設定された、第1の焦点検出領域、および第1の焦点検出領域より大きい第2の焦点検出領域のそれぞれに対応する一対の像信号を用いてデフォーカス量を取得する取得手段と、第1および第2の焦点検出領域のそれぞれから取得される一対の像信号を用いて複数のAF枠の優先順位を決定する決定手段と、優先順位を用いて合焦すべきAF枠を選択する選択手段と、を有する。【選択図】図6
Description
本発明は、位相差方式の焦点検出機能を有する焦点検出装置、撮像装置および焦点検出方法に関する。
撮像面位相差検出方式による自動焦点調節(撮像面位相差AF)では、撮影光学系における互いに異なる射出瞳領域を通過した光束を受光して得られた一対の像信号の位相差から算出されたデフォーカス量に相当する移動量だけフォーカスレンズを移動させる。撮像面位相差AFで広範囲、かつ被写体抜けのない安定的な動作を実現するためには、より多くの焦点検出領域(AF枠)を広範囲、かつ高密度で設定する必要がある。また、その中から合焦状態を得るまでのフォーカスレンズの移動量の計算に使用するデフォーカス量を選択、又は算出する必要がある。特許文献1には、低コントラスト等の焦点検出に適さない被写体においても適切に焦点調節を行うために、複数のAF枠のそれぞれで演算される信頼性の判定結果に基づいて、複数のAF枠の中からAF枠を選択する撮像装置が開示されている。
表示装置等に表示される測距表示枠は画面上の測距可能な領域や合焦位置を視認可能とするために配置されるが、焦点検出領域は被写体抜けの低減や、低コントラスト被写体に対する測距性能の低下を防止するために設定される。そのため、隣接する測距表示枠において、それぞれの焦点検出領域はある程度の重なりを持つとともに、ある程度の大きさを持つ。測距性能を維持したまま、AF枠数を増加させると、焦点検出領域の重なりは増加する。このとき、小さな被写体を測距すると、枠内に被写体が含まれていないが、焦点検出領域に被写体が含まれる測距表示枠が合焦表示枠として点灯していしまう。
特許文献1の撮像装置では、焦点検出領域に同一の被写体を含む複数の測距枠において、被写体を中央で捉える測距枠と端で捉えている測距枠との信頼度は同様となる。そのため、被写体のコントラストをより焦点検出領域の中心で捉えている測距枠を選択することは困難である。
本発明は、適切な焦点検出動作を実現可能な焦点検出装置、撮像装置および焦点検出方法を提供することを目的とする。
本発明の一側面としての焦点検出装置は、複数のAF枠のAF枠ごとに設定された、第1の焦点検出領域、および第1の焦点検出領域より大きい第2の焦点検出領域のそれぞれに対応する一対の像信号を用いてデフォーカス量を取得する取得手段と、第1および第2の焦点検出領域のそれぞれから取得される一対の像信号を用いて複数のAF枠の優先順位を決定する決定手段と、優先順位を用いて合焦すべきAF枠を選択する選択手段と、を有することを特徴とする。
また、本発明の他の側面としての焦点検出方法は、複数のAF枠のAF枠ごとに設定された、第1の焦点検出領域、および第1の焦点検出領域より大きい第2の焦点検出領域のそれぞれに対応する一対の像信号を用いてデフォーカス量を取得する取得工程と、第1および第2の焦点検出領域のそれぞれから取得される一対の像信号を用いて複数のAF枠の優先順位を決定する決定工程と、優先順位を用いて合焦すべきAF枠を選択する選択工程と、を有することを特徴とする。
本発明によれば、適切な焦点検出動作を実現可能な焦点検出装置、撮像装置および焦点検出方法を提供することができる。
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
図1は、本発明の実施形態に係るカメラシステムのブロック図である。デジタルカメラ本体(撮像装置)200には、レンズ装置(交換レンズ、撮影光学系)100が、電気接点ユニット106を有する不図示のマウント部を介して、着脱可能に(交換可能に)取り付けられている。
レンズ装置100は、ズーム機構を含む撮影レンズ101、光量を制御する絞りおよびシャッター102、フォーカスレンズ103、フォーカスレンズ103を駆動するモータ104、およびレンズコントローラ105を有する。フォーカスレンズ103は、撮像素子上に焦点を合わせるための焦点調節手段である。
デジタルカメラ本体200は、撮像素子201、A/D変換部202、画像処理部203、AF信号処理部204、フォーマット変換部205、DRAM206、画像記録部207、タイミングジェネレータ208、およびシステム制御部209を有する。DRAM206は、例えばランダムアクセスメモリ等の高速な内蔵メモリであり、一時的な画像記憶手段としての高速バッファ、又は画像の圧縮伸張における作業用メモリ等に使用される。画像記録部207は、メモリーカード等の記録媒体とそのインターフェースからなる。
また、デジタルカメラ本体200は、レンズ通信部210、AE処理部211、画像表示用メモリ(VRAM)212、画像表示部213、および操作部214を有する。画像表示部213は、画像表示の他、操作補助のための表示やカメラ状態の表示を行い、撮影時には撮影画面と測距領域を表示する。操作部214は、カメラを外部から操作するための部材であり、例えば撮影機能や画像再生時の設定等の各種設定を行うメニュースイッチ、および撮影モードと再生モードの動作モード切換えスイッチ等を含む。
また、デジタルカメラ本体200は、撮影モードスイッチ215、メインスイッチ216、スイッチ217(SW1)、およびスイッチ218(SW2)を有する。撮影モードスイッチ215は、マクロモードやスポーツモード等の撮影モードを選択するためスイッチである。メインスイッチ216は、カメラ本体200に電源を投入するためのスイッチである。
本実施例では、AF信号処理部204およびシステム制御部209により焦点検出装置が構成される。
撮像素子201は、CCDやCMOSセンサにより構成され、レンズ装置100を介した被写体像を撮像する。具体的には、レンズ装置100を通過した光束は、撮像素子201の撮像面(受光面)で結像され、フォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、システム制御部209の指令に従ってタイミングジェネレータ208から与えられる駆動パルスに基づいて電荷量に応じた電圧信号として撮像素子201から順次読み出される。
撮像素子201の各画素は、2つ(一対)のフォトダイオードA,Bと一対のフォトダイオードA,Bに対して設けられた1つのマイクロレンズから構成されている。一対のフォトダイオードA,Bは1つのマイクロレンズを介して撮影レンズ101の射出瞳の異なる領域を受光するように構成され、一対のフォトダイオードA,B上には一対の光学像が形成される。一対のフォトダイオードA,Bは、後述するAF用信号に用いられる一対の像信号(A信号およびB信号)を出力する。また、一対のフォトダイオードA,Bの出力を加算することで、撮像用信号(A+B信号)を得ることができる。
複数の画素から出力された複数のA信号と複数のB信号をそれぞれ瞳分割方向と直交する方向で加算処理を施すことで、撮像面位相差検出方式によるAF(以下、撮像面位相差AF)に用いられるAF用信号(焦点検出用信号)としての一対の像信号が生成される。AF信号処理部204は、一対の像信号に対する相関演算を行うことで一対の像信号のずれ量である位相差(以下、像ずれ量)を取得し、さらに像ずれ量からレンズ装置100のデフォーカス量(およびデフォーカス方向)を取得する。
図2(a)は、撮像面位相差AFに対応していない画素構成を示している。図2(b)は、撮像面位相差AFに対応する画素構成を示している。いずれの図においても、ベイヤー配列が用いられており、Rは赤のカラーフィルタを、Bは青のカラーフィルタを、Gr,Gbは緑のカラーフィルタを示している。
図2(b)の画素構成では、図2(a)の画素構成における実線で囲んで示される1画素に相当する画素内に、図の水平方向において2分割された2つのフォトダイオードA,Bが設けられている。なお、図2(b)の画素の分割方法は一例であり、図の垂直方向へ分割したり、水平および垂直方向へ2分割ずつ(計4分割)したりしてもよい。また、同じ撮像素子内に互いに異なる分割方法で分割された複数種類の画素が含まれていてもよい。
撮像素子201から読み出された撮像用信号、およびAF用信号は、A/D変換部202に入力される。A/D変換部202は、撮像用信号、およびAF用信号に対して、リセットノイズを除去するための相関二重サンプリング、ゲインの調節、および信号のデジタル化を行う。A/D変換部202は、撮像用信号を画像処理部203に出力し、AF用信号をAF信号処理部204に出力する。AF信号処理部204は、AF用信号である一対の像信号を基に、相関演算を行い、デフォーカス量や、信頼性情報(二像一致度、二像急峻度、コントラスト情報、飽和情報、およびキズ情報等)を算出する。算出したデフォーカス量、および信頼性情報は、システム制御部209に出力される。なお、本実施例では、信頼性情報として、コントラスト情報を使用するが、相関演算により取得される相関波形の特徴量を使用してもよい。
図3は、撮像装置の動作を示すフローチャートである。
ステップS301では、AE処理部211は、画像処理部203の出力からAE処理を行う。具体的には、AE処理部211は、画像処理部203の出力から算出される測光値を元に、予め記憶されているプログラム線図を元に露出条件を演算する。
ステップS302では、システム制御部209は、AFやAE等の撮影スタンバイ動作を行うためのスイッチ217(SW1)がONされているかどうかを判断する。スイッチ217がONされている場合、ステップS303に進み、そうでない場合、ステップS301に戻る。
ステップS303では、AF動作が実行される。
ステップS304では、システム制御部209は、スイッチ217がONされているかどうかを判断する。スイッチ217がONされている場合、ステップS305に進み、そうでない場合、ステップS301に戻る。
ステップS305では、システム制御部209は、撮影を行うためのスイッチ218(SW2)がONされているかどうかを判断する。スイッチ218がONされている場合、ステップS306に進み、そうでない場合、ステップS304に戻る。
ステップS306では、撮影動作が実行され、その後、ステップS301に戻る。
図4は、図3のステップS303のAF動作を示すフローチャートである。
ステップS401では、AE処理部211は、画像処理部203の出力からAE処理を行う。
ステップS402では、焦点検出処理が実行され、デフォーカス量と信頼性情報(焦点検出処理の信頼度)が取得される。
ステップS403では、システム制御部209は、ステップS402で取得された焦点検出処理の信頼度が予め設定されている信頼度閾値2より高いかどうかを判断する。信頼度が信頼度閾値2より高い場合、ステップS404に進み、そうでない場合、ステップS413に進む。信頼度閾値2は、信頼度が信頼度閾値2未満であればデフォーカス量の精度は保証できないが、被写体のピント位置方向は保証できる値である。
ステップS404では、システム制御部209は、ステップS402で取得されたデフォーカス量が予め設定されているDef量閾値2以下であるかどうかを判断する。デフォーカス量がDef量閾値2以下である場合、ステップS405に進み、そうでない場合、ステップS412に進む。Def量閾値2は、所定回数(例えば3回)以内で焦点深度内にフォーカスレンズ103を制御することができる値(例えば焦点深度の5倍の量)である。
ステップS405では、システム制御部209は、フォーカスレンズ103が停止状態であるかどうかを判断する。フォーカスレンズ103が停止状態である場合、ステップS406に進み、そうでない場合、ステップS410に進む。
ステップS406では、システム制御部209は、ステップS402で取得された信頼度が予め設定されている信頼度閾値1より高いかどうかを判断する。信頼度が信頼度閾値1より高い場合、ステップS407に進み、そうでない場合、ステップS410に進む。信頼度閾値1は、信頼度が信頼度閾値1以上であれば、デフォーカス量の精度ばらつきが所定範囲内(例えば焦点深度内)となる値である。
ステップS407では、システム制御部209は、ステップS402で取得されたデフォーカス量が予め設定されているDef量閾値1以下であるかどうかを判断する。デフォーカス量がDef量閾値1以下である場合、ステップS408に進み、そうでない場合、ステップS409に進む。Def量閾値1は、フォーカスレンズ103が合焦とみなせる範囲内で制御されているかどうかを判断するための合焦判定幅である。
ステップS408では、システム制御部209は、合焦状態であると判断して本フローを終了する。
ステップS409では、システム制御部209は、レンズ通信部210を介してレンズコントローラ105にフォーカスレンズ103をステップS402で取得されたデフォーカス量だけ駆動するよう指示する。すなわち、本実施例では、システム制御部209がフォーカスレンズ103の駆動を指示する制御手段として機能する。その後、ステップS402に戻る。
ステップS405〜S409の一連の処理を行うことにより、ステップS402で取得された信頼度が信頼度閾値1より高い場合にフォーカスレンズ103を停止した状態で再度デフォーカス量を取得することができる。
ステップS410では、システム制御部209は、レンズ通信部210を介してレンズコントローラ105にフォーカスレンズ103をステップS402で取得されたデフォーカス量に対して所定割合を掛けた量だけ駆動するよう指示する。
ステップS411では、システム制御部209は、レンズ通信部210を介してレンズコントローラ105にフォーカスレンズ103の停止を指示する。その後、ステップS402に進む。
ステップS412では、システム制御部209は、レンズ通信部210を介してレンズコントローラ105にフォーカスレンズ103をステップS402で取得されたデフォーカス量に対して所定割合を掛けた量だけ駆動するよう指示する。その後、ステップS402に進む。
なお、ステップS410やステップS412における所定割合は、デフォーカス量に対してフォーカスレンズ103の駆動量が少なくなるように、例えば8割に設定される。また、フォーカスレンズ103の駆動速度は例えば、次フレームにて測距演算が完了するまでに目標位置に到達できる駆動速度より遅くなるように設定される。これにより、取得されたデフォーカス量が正しくない場合に被写体ピント位置を越えてしまうことを防ぐことができ、さらにフォーカスレンズ103を停止させることなく次のフォーカスレンズ103の駆動を行うことができる(オーバーラップ制御)。
ステップS413では、システム制御部209は、非合焦条件を満たしたかどうかを判断する。非合焦条件を満たした場合、ステップS414に進み、そうでない場合、ステップS415に進む。非合焦条件とは、合焦すべき被写体が存在しないと判断する条件である。
ステップS414では、システム制御部209は、非合焦状態であると判断して本フローを終了する。
ステップS415では、システム制御部209は、フォーカスレンズ103がいずれかのレンズ端に到達したかどうかを判断する。フォーカスレンズ103がいずれかのレンズ端に到達した場合、ステップS416に進み、そうでない場合、ステップS417に進む。
ステップS416では、システム制御部209は、レンズ通信部210を介してレンズコントローラ105にフォーカスレンズ103の駆動方向を反転させる。その後、ステップS402に進む。
ステップS417では、システム制御部209は、レンズ通信部210を介してレンズコントローラ105にフォーカスレンズ103を所定方向へ駆動させる。その後、ステップS402に進む。
なお、ステップS416やステップS417におけるフォーカスレンズ103の駆動速度は例えば、デフォーカス量が検出できるようになった時点でピント位置を通り過ぎることのない速度の範囲で最も速い速度に設定される。
図5は、図4のステップS402の焦点検出処理を示すフローチャートである。
ステップS501では、撮像素子201内の任意の範囲の焦点検出領域が設定される。
ステップS502では、ステップS501で設定された焦点検出領域に対して撮像素子201から焦点検出用の一対の像信号(A像,B像)が取得される。
ステップS503では、ステップS502で取得された一対の像信号の垂直方向への行加算平均処理が行われる。この処理によって像信号のノイズの影響を軽減することができる。
ステップS504では、一対の像信号それぞれ、又は加算した信号からコントラスト情報が算出される。コントラスト情報は、像信号の最大値(Peak)、最小値(Bottom)、波高(Peak−Bottom)、又は波高/最大値等の像信号のコントラストの指標となる値である。
ステップS505では、ステップS503で垂直行加算平均した信号から所定の周波数帯域の信号成分を取り出すフィルタ処理が行われる。
ステップS506では、ステップS505でフィルタ処理した信号から相関量が算出される。
ステップS507では、ステップS506で算出された相関量から相関変化量が算出される。
ステップS508では、ステップS506より算出された相関変化量から像ずれ量が算出される。
ステップS509では、ステップS508で算出された像ずれ量がどれだけ信頼できるかを表す信頼度が算出される。
ステップS510では、像ずれ量がデフォーカス量に変換される。
ステップS511では、ステップS505で行われるフィルタ処理においてフィルタの種類分演算したかどうかが判断される。フィルタの種類分演算した場合、ステップS512に進み、そうでない場合、ステップS505に戻る。ステップS504のフィルタ処理では例えば、垂直行加算平均した信号に対して帯域の異なる複数の周波数帯域のバンドパスフィルタによる処理が水平方向に行われる。ステップS510では、ステップS504〜S509の一連の処理を周波数帯域の種類分全てにおいて行われたかどうかが判断される。
ステップS512では、各AF枠に対応した領域で、複数種類の枠領域に対する同様の演算が完了したかどうかが判断される。演算が完了した場合、ステップS513に進み、そうでない場合、ステップS501に戻る。
ステップS513では、全面に対してより合焦すべき測距枠の位置を特定する主枠選択のための前段階として主枠を選択するための優先順位が設定される。本実施例では、システム制御部209が複数のAF枠の優先順位を決定する決定手段として機能する。
図6は、主枠を選択するための優先順位の設定処理を示すフローチャートである。
ステップS1101では、被写体表示枠内判定S1101が実施される。被写体表示枠内判定とは各AF枠の焦点検出領域に対して、高コントラスト成分がいかに測距領域の中心付近に存在しているかを判定するための方法であり、各AF枠で大小の焦点検出領域に対する演算結果の相対関係から判定が行われる。
本実施例では一例として、コントラスト情報の相対関係による実施方法について説明する。測距表示枠に比較的大きさの近い小枠のコントラストが極端に低く、同様のAF枠に対応した大枠ではコントラストが高い場合、そのコントラスト成分は、着目枠に対して焦点検出領域の端に位置している可能性が高い。このような測距枠の配置状態では、デフォーカス状態による被写体の出入り等により、デフォーカス検出結果の変動が大きく、仮に着目枠が主枠選択された際に、誤測距や非合焦となる可能性も高まる。また、着目枠の焦点検出領域の端でコントラストの高い被写体を補足している場合、隣接する測距枠ではより焦点検出領域の中央に近い領域でコントラストを補足可能となる可能性も高く、誤測距等の頻度低減を実施するためにも、適切な主枠選択が必要となる。上述した方法を実施する際のコトントラスト情報として、低コントラスト状態を評価するための以下の式(1)で表される評価値EvaValueを使用することができる。
EvaValue=(Peak−Bottom)/(Peak) (1)
ここで、Peakは焦点検出用信号の最大値、Bottomは焦点検出用信号の最小値を表すものである。すなわち「Peak−Bottom」は、波高値を表す。なお、本実施例では、焦点検出用信号を使用しているが、同じ位置での撮像用信号を使用してもよい。
ここで、Peakは焦点検出用信号の最大値、Bottomは焦点検出用信号の最小値を表すものである。すなわち「Peak−Bottom」は、波高値を表す。なお、本実施例では、焦点検出用信号を使用しているが、同じ位置での撮像用信号を使用してもよい。
評価値EvaValueは、各AF枠で大小の焦点検出領域に対して取得される。被写体表示枠内判定は、大枠の評価値EvaValue1と小枠の評価値EvaValue2が以下の式(2),(3)で表される条件を満たす場合には測距表示枠内に高コントラスト被写体は入っていない「偽」と判定し、それ以外を「真」と判定する。
EvaValue1≧CntTh1 (2)
EvaValue2<CntTh2 (3)
ここで、CntTh1は高コントラスト被写体と判定可能な閾値であり、本実施例では0.5程度とする。また、CntTh2は極低コントラスト被写体と判定可能な閾値であり、本実施例では0.1程度とする。
EvaValue2<CntTh2 (3)
ここで、CntTh1は高コントラスト被写体と判定可能な閾値であり、本実施例では0.5程度とする。また、CntTh2は極低コントラスト被写体と判定可能な閾値であり、本実施例では0.1程度とする。
なお、本実施例では、被写体表示枠内判定を式(1)を用いて行うが、本発明はこれに限定されない。例えば、以下の式(4)で表されるコントラスト情報ABSCNT等の被写体のコントラスト配置が評価できる値を用いて判定を行ってもよい。
ABSCNT=Σ(Si+1−Si) (4)
ここで、Sは、焦点検出用信号である。
ここで、Sは、焦点検出用信号である。
また、本実施例では被写体表示枠内判定をコントラスト情報を用いて行っているが、相関演算等の測距演算における大小枠の信頼性の相対関係から判定を行ってもよい。
ステップS1102〜S1115では、被写体表示枠内判定、取得されたデフォーカスの信頼度、測距枠の位置から主枠選択の優先順位を優先順位1〜7で決定する。全ての測距枠に対して優先順位の設定が完了した場合、図5のステップS514に進む。測距枠の配置等については図6より後述する。
ステップS514では、全てのAF枠に対する同様の演算が完了したかどうかが判断される。演算が完了した場合、ステップS515に進み、そうでない場合、ステップS502に戻る。
ステップS515では、ステップS501〜S513の一連の処理によって算出された複数のAF枠の中から、より合焦すべき被写体位置である主枠となるAF枠がステップS513での優先順位設定の結果を基に少なくとも一つ以上選択される。主枠選択ではステップS513で優先順位1〜7で設定された結果に従って、各優先順位の測距枠内から最至近となる枠を主枠として設定する。この選択作業を優先順位1〜7内で順に実施していくことで主枠を選択する。本ステップで主枠が選択されると、焦点検出処理を終了する。なお、本実施例では、システム制御部209が合焦すべき測距枠を選択する選択手段として機能する。
図7は、焦点検出処理で用いられる焦点検出領域を示す図である。図7(a)は、焦点検出処理において撮像素子201の画素アレイ601上で複数位置での測距を行う際の、測距表示枠602の例を示しており、背面液晶等のライブビュー画像に重畳させるための、測距表示枠のイメージである。本実施例では、システム制御部209が撮像素子201の撮像面上に複数のAF枠を二次元状に設定するAF枠設定手段として機能する。図7(b)は、測距表示枠と焦点検出領域の関係を示している。
測距表示枠602は、図7(a)で複数配置しているAF枠のうちの一点を表している。本実施例では、測距表示枠602に対応した、複数種類の焦点検出領域が設定される。ここで、設定される焦点検出領域には少なくとも、第1の焦点検出領域(小枠の焦点検出領域)と第1の焦点検出領域より大きい第2の焦点検出領域(大枠の焦点検出領域)が含まれていればよい。大枠の焦点検出領域604とシフト領域605を合わせた領域が大枠の相関演算に必要な画素領域である。図7(b)のp,q,s,tはそれぞれ、水平方向(x軸方向)での座標を表している。座標p,qはそれぞれ画素領域の始点と終点のx座標、座標s,tはそれぞれ焦点検出領域604の始点と終点のx座標を示している。また、小枠の焦点検出領域606とシフト領域607を合わせた領域が小枠の相関演算に必要な画素領域である。各AF枠に対して複数枠の演算を行う場合、小枠の焦点検出領域は測距表示枠の大きさにある程度合わせた領域であることが望ましい。本実施例では、各AF枠で大小複数の焦点検出領域の測距演算を行い、大小複数の焦点検出に対する信頼度の相対関係を基に、AF枠選択時に必要な各測距枠の選択優先度を設定する。また、本実施例では、システム制御部209が複数のAF枠の各AF枠ごとに大きさの異なる複数の焦点検出領域を設定する焦点検出領域設定手段として機能する。
図8は、図7の焦点検出領域604に含まれる複数の画素から得られる一対の像信号を示す図である。実線701が一方の像信号Aであり、破線702が他方の像信号Bである。図8(a)は、シフト前の像信号A,Bを示している。図8(b),(c)はそれぞれ、像信号A,Bを図8(a)の状態からプラス方向およびマイナス方向へシフトした状態を示している。像信号A,Bの相関量を算出する際には、像信号A,Bの両方を矢印の方向へ1ビットずつシフトする。
次に、相関量の算出方法について説明する。まず、図8(b),(c)に示されるように、像信号A,Bをそれぞれ1ビットずつシフトして、像信号A,Bの差の絶対値の和を算出する。シフト量をi、マイナス方向の最大シフト量をp−s、プラス方向の最大シフト量をq−t、xを焦点検出領域604の開始座標、yを焦点検出領域604の終了座標とするとき、相関量CORは以下の式(5)によって算出される。
図9は、図8の像信号のシフト量と相関量との関係を示す図である。図9(a)は、シフト量と相関量CORとの関係の一例を示している。横軸はシフト量、縦軸は相関量CORを示している。シフト量とともに変化する相関量801における極値付近802,803のうち、より小さい相関量に対応するシフト量において一対の像信号A,Bの一致度が最も高くなる。
次に、相関変化量の算出方法について説明する。図9(a)の相関量801の波形における1シフトおきの相関量の差を相関変化量として算出する。シフト量をi、マイナス方向の最大シフト量をp−s、プラス方向の最大シフト量をq−tとするとき、相関変化量ΔCORは以下の式(6)によって算出される。
図10は、図8の像信号のシフト量と相関変化量との関係を示す図である。図10(a)は、シフト量と相関変化量ΔCORとの関係の一例を示している。横軸はシフト量、縦軸は相関変化量ΔCORを示している。シフト量とともに変化する相関変化量901は、902,903の部分でプラスからマイナスになる。相関変化量が0となる状態をゼロクロスと呼び、一対の像信号A,Bの一致度が最も高くなる。したがって、ゼロクロスを与えるシフト量が像ずれ量となる。
図10(b)は、図10(a)の902で示した部分を拡大した図である。904は相関変化量901の一部分である。図10(b)を用いて像ずれ量PRDの算出方法について説明する。
ゼロクロスを与えるシフト量(k−1+α)は、整数部分β(=k−1)と小数部分αとに分けられる。小数部分αは、図中の三角形ABCと三角形ADEとの相似の関係から、以下の式(7)によって算出される。
整数部分βは、以下の式(8)によって算出される。
β=k−1 (8)
小数部分αと整数部分βの和から像ずれ量PRDを算出することができる。図10(a)に示されるように、相関変化量ΔCORのゼロクロスが複数存在する場合、その付近での相関変化量ΔCORの変化の急峻性がより大きい方を第1のゼロクロスとする。この急峻性はAFの行い易さを示す指標であり、値が大きいほど精度良いAFを行い易い点であることを示す。急峻性maxderは、以下の式(9)によって算出される。
小数部分αと整数部分βの和から像ずれ量PRDを算出することができる。図10(a)に示されるように、相関変化量ΔCORのゼロクロスが複数存在する場合、その付近での相関変化量ΔCORの変化の急峻性がより大きい方を第1のゼロクロスとする。この急峻性はAFの行い易さを示す指標であり、値が大きいほど精度良いAFを行い易い点であることを示す。急峻性maxderは、以下の式(9)によって算出される。
このように、相関変化量ΔCORののゼロクロスが複数存在する場合、その急峻性によって第1のゼロクロスを決定し、第1のゼロクロスを与えるシフト量を像ずれ量とする。
以下、図5のステップS509で算出された信頼度の評価方法について説明する。図11は、信頼度の評価方法を示すフローチャートである。本実施例では、信頼度を4段階で評価する。
ステップS1001では、信頼性の精度を高めるため、急峻性maxderを撮影条件(センサーゲインや、読み出し行加算数等)や被写体条件(コントラスト等)で正規化する。
ステップS1002では、ステップS510で取得されたデフォーカス量がデフォーカス量閾値よりも大きいかどうかが判断される。デフォーカス量がデフォーカス量閾値よりも大きい場合、ステップS1003に進み、そうでない場合、ステップS1004に進む。
ステップS1003では、信頼度は0に設定される。信頼度が0に設定されると、デフォーカス量の信頼性は低いと評価されて、本フローは終了する。
ステップS1004では、ステップS1001で正規化された急峻性maxder(正規化maxder)がmaxder閾値以下であるかどうかが判断される。正規化された急峻性maxderがmaxder閾値以下である場合、ステップS1003に進み、そうでない場合、ステップS1005に進む。
なお、本実施例では、デフォーカス量閾値とmaxder閾値をフィルタごとに設定している。デフォーカス量閾値は、各フィルタのデフォーカス量検出能力(総シフト量的に測距可能な限界距離)に応じて設定される。また、低輝度時の測距やコントラストが低い被写体に対する測距等で誤った信頼度が出力されやすい場面では正規化maxderが小さくなるため、maxder閾値を設定することで誤った信頼度が出力されることを防止している。
ステップS1005では、正規化maxderに基づいて像ずれ量の標準偏差が推定される。図12に示されるように正規化maxderと像ずれ量の標準偏差との間には負の相関があるため、正規化maxderから像ずれ量の標準偏差を推定することが可能である。
ステップS1006では、像ずれ量の標準偏差に所定の換算係数を乗算することでデフォーカス量の標準偏差が算出される。換算係数は、二像のずれ量からデフォーカス量を算出する際に使用した換算係数と同様で、絞りの絞り値、撮影レンズの射出瞳距離、撮像素子の個体情報、および焦点検出領域を設定する座標によって決定される。また、デフォーカス量の標準偏差に対しても絞り値Fと許容錯乱円δを除算して正規化しておく。仮に、急峻性maxderを基に信頼度(デフォーカス量の標準偏差)を評価する場合、換算係数の個数分の閾値を設定する必要がある。本実施例では大量の閾値データを記憶しておかなくても、より所望の閾値を設定することができる。また、絞り値Fによって正規化しているため、絞りの状態に関係なく閾値を設定することが可能である。以上のように算出したデフォーカス量の標準偏差に応じてデフォーカス量の信頼度を評価する。本実施例では、デフォーカス量の標準偏差の3つの閾値(THRESHOLD1,THRESHOLD2,THRESHOLD3)を設定しておく。THRESHOLD1,THRESHOLD2,THRESHOLD3の順に大きい。
ステップS1007では、デフォーカス量の標準偏差が閾値THRESHOLD1より大きいかどうかが判断される。デフォーカス量の標準偏差が閾値THRESHOLD1より大きい場合、ステップS1003に進み、そうでない場合、ステップS1008に進む。
ステップS1008では、デフォーカス量の標準偏差が閾値THRESHOLD2より大きいかどうかが判断される。デフォーカス量の標準偏差が閾値THRESHOLD2より大きい場合、ステップS1009に進み、そうでない場合、ステップS1010に進む。
ステップS1009では、信頼度は1に設定される。
ステップS1010では、デフォーカス量の標準偏差が閾値THRESHOLD3より大きいかどうかが判断される。デフォーカス量の標準偏差が閾値THRESHOLD3より大きい場合、ステップS1011に進み、そうでない場合、ステップS1012に進む。
ステップS1011では、信頼度は2に設定される。
ステップS1012では、信頼度は3に設定される。
以上説明したように、AF動作、焦点検出処理、および焦点検出処理の内部処理としてデフォーカス量の信頼度の評価について説明した上で、複数AF枠に多対する主枠の選択方法について説明した。
本実施例では、複数測距枠に対して、被写体表示枠内判定の結果から主枠を選択する方法について説明したが、本方法はカメラの動作や被写体の状態に応じて実施してもよい。
一例として、被写体の動作状態によって、被写体が静止被写体であるか、動被写体であるかに応じて被写体表示枠内判定の結果を有効/無効を切り替えることでより適切な状況で実施が可能となる。深度内表示枠の正確な表示に関しては、静止被写体に対するピント確認でより有効な方法であるのに対して、動被写体に対しては正確な深度内の表示より、被写体抜けによる測距結果の連続性、および表示枠に対しても連続性を重視した表示であることが望ましい。
また、ユーザーによる測距枠配置数の設定結果や、被写体の自動検出結果に応じて被写体表示枠内判定の結果を有効/無効を切り替えることでより適切な状況で実施が可能となる。測距枠の配置はAF方式として、任意の位置に単数、又は少数枠を配置する方式と、比較的広範囲な領域で複数AF枠で測距を可能とする方式をユーザーがカメラメニューから設定可能となっている。任意の位置に単数、又は少数枠を配置する方式では、画面上でピントを合わせる位置をユーザーが積極的に指定している方式であるため、必ずしも被写体表示枠内判定の結果から主枠選択した位置が一致しない可能性がある。そのため、同AF方式においては被写体表示枠内判定の結果を無効とし、その他のAF方式で有効とすることで、より適切な制御を可能とする。
[その他の実施例]
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
[その他の実施例]
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
100 レンズ装置(撮影光学系)
103 フォーカスレンズ(焦点調節手段)
200 デジタルカメラ本体(撮像装置)
204 AF信号処理部(取得手段)
209 システム制御部(決定手段、選択手段)
103 フォーカスレンズ(焦点調節手段)
200 デジタルカメラ本体(撮像装置)
204 AF信号処理部(取得手段)
209 システム制御部(決定手段、選択手段)
Claims (12)
- 複数のAF枠のAF枠ごとに設定された、第1の焦点検出領域、および前記第1の焦点検出領域より大きい第2の焦点検出領域のそれぞれに対応する一対の像信号を用いてデフォーカス量を取得する取得手段と、
前記第1および第2の焦点検出領域のそれぞれから取得される前記一対の像信号を用いて前記複数のAF枠の優先順位を決定する決定手段と、
前記優先順位を用いて合焦すべきAF枠を選択する選択手段と、を有することを特徴とする焦点検出装置。 - 前記一対の像信号は、撮像素子により生成された信号に基づいて取得されることを特徴とする請求項1に記載の焦点検出装置。
- 前記撮像素子は、フォーカスレンズを含む撮影光学系を介した被写体像を撮像することを特徴とする請求項2に記載の焦点検出装置。
- 前記選択手段により選択されたAF枠に対応するデフォーカス量に基づいて、前記フォーカスレンズの移動を制御する制御手段を更に有することを特徴とする請求項3に記載の焦点検出装置。
- 前記デフォーカス量の信頼度は、各焦点検出領域から取得される一対の像信号に基づくコントラスト情報であることを特徴とする請求項1乃至4の何れか一項に記載の焦点検出装置。
- 前記コントラスト情報は、各焦点検出領域から取得される前記一対の像信号に基づく前記一対の焦点検出用信号の最大値を含むことを特徴とする請求項5に記載の焦点検出装置。
- 前記コントラスト情報は、各焦点検出領域から取得される前記一対の像信号に基づく前記一対の焦点検出用信号の波高値と最大値との比を含むことを特徴とする請求項5又は6に記載の焦点検出装置。
- 前記取得手段は、前記一対の像信号に基づく一対の焦点検出用信号の位相差を演算するための相関演算を行い、
前記デフォーカス量の信頼度は、前記相関演算により取得される相関波形の特徴量であることを特徴とする請求項1乃至4の何れか一項に記載の焦点検出装置。 - 前記複数のAF枠を二次元状に設定するAF枠設定手段を更に有することを特徴とする請求項1乃至8の何れか一項に記載の焦点検出装置。
- 前記第1および第2の焦点検出領域を設定する焦点検出領域設定手段を更に有することを特徴とする請求項1乃至9の何れか一項に記載の焦点検出装置。
- フォーカスレンズを含む撮影光学系を介した被写体像を撮像する撮像素子と、
請求項1乃至10の何れか一項に記載の焦点検出装置とを有することを特徴とする撮像装置。 - 複数のAF枠のAF枠ごとに設定された、第1の焦点検出領域、および前記第1の焦点検出領域より大きい第2の焦点検出領域のそれぞれに対応する一対の像信号を用いてデフォーカス量を取得する取得工程と、
前記第1および第2の焦点検出領域のそれぞれから取得される前記一対の像信号を用いて前記複数のAF枠の優先順位を決定する決定工程と、
前記優先順位を用いて合焦すべきAF枠を選択する選択工程と、を有することを特徴とする焦点検出方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020067921A JP2021162829A (ja) | 2020-04-03 | 2020-04-03 | 焦点検出装置、撮像装置および焦点検出方法 |
US17/217,328 US11653091B2 (en) | 2020-04-03 | 2021-03-30 | Focus detecting apparatus and method using multi-AF frame, and image pickup apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020067921A JP2021162829A (ja) | 2020-04-03 | 2020-04-03 | 焦点検出装置、撮像装置および焦点検出方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021162829A true JP2021162829A (ja) | 2021-10-11 |
Family
ID=77922328
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020067921A Pending JP2021162829A (ja) | 2020-04-03 | 2020-04-03 | 焦点検出装置、撮像装置および焦点検出方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11653091B2 (ja) |
JP (1) | JP2021162829A (ja) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6071574B2 (ja) | 2013-01-18 | 2017-02-01 | オリンパス株式会社 | 撮像装置 |
JP6506560B2 (ja) * | 2015-01-20 | 2019-04-24 | キヤノン株式会社 | フォーカス制御装置及びその方法、プログラム、記憶媒体 |
JP2016197215A (ja) * | 2015-04-06 | 2016-11-24 | オリンパス株式会社 | 焦点調節装置及び焦点調節装置の制御方法 |
US10326925B2 (en) * | 2016-08-10 | 2019-06-18 | Canon Kabushiki Kaisha | Control apparatus for performing focus detection, image capturing apparatus, control method, and non-transitory computer-readable storage medium |
JP6780389B2 (ja) * | 2016-09-07 | 2020-11-04 | ソニー株式会社 | 撮像制御装置および撮像制御方法 |
JP6873729B2 (ja) * | 2017-02-14 | 2021-05-19 | キヤノン株式会社 | 焦点検出装置、および撮像装置 |
JP6997295B2 (ja) * | 2018-03-30 | 2022-01-17 | 富士フイルム株式会社 | 撮像装置、撮像方法、及びプログラム |
-
2020
- 2020-04-03 JP JP2020067921A patent/JP2021162829A/ja active Pending
-
2021
- 2021-03-30 US US17/217,328 patent/US11653091B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11653091B2 (en) | 2023-05-16 |
US20210314481A1 (en) | 2021-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5211714B2 (ja) | 撮像装置 | |
JP6506560B2 (ja) | フォーカス制御装置及びその方法、プログラム、記憶媒体 | |
JP2015194706A (ja) | 焦点検出装置及びその制御方法 | |
JP6900161B2 (ja) | 焦点調節装置及び撮像装置 | |
JP5950664B2 (ja) | 撮像装置およびその制御方法 | |
JP5936358B2 (ja) | 画像表示装置、画像表示方法、撮像装置およびその制御方法、プログラムおよびそれを記憶する記憶媒体 | |
JP2016213582A (ja) | 観察装置 | |
JP2003087545A (ja) | 撮像装置、画像処理装置及び方法 | |
JP6300670B2 (ja) | 焦点調節装置、焦点調節方法およびプログラム、並びに撮像装置 | |
JP2015152749A (ja) | 撮像装置およびその制御方法 | |
JP6833405B2 (ja) | 焦点検出装置、焦点調節装置、撮像装置及び焦点検出方法 | |
JP4693709B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6501536B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2014056153A (ja) | 焦点調節装置、撮像装置及びその制御方法 | |
JP2016156950A (ja) | 自動焦点調節装置およびその制御方法 | |
JP7179509B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP2021162829A (ja) | 焦点検出装置、撮像装置および焦点検出方法 | |
JP7050569B2 (ja) | 撮像装置及びその制御方法 | |
JP6305016B2 (ja) | フォーカス制御装置、フォーカス制御装置の制御方法及び撮像装置 | |
JP5998820B2 (ja) | 撮影装置、合焦状態表示方法、合焦状態表示プログラム | |
JP2017163412A (ja) | 画像処理装置およびその制御方法、撮像装置、プログラム | |
JP6884582B2 (ja) | 撮像装置、撮像方法および撮像プログラム | |
JP2017129679A (ja) | 撮像装置およびその制御方法 | |
JP6223502B2 (ja) | 画像処理装置、画像処理方法、プログラム、それを記憶した記憶媒体 | |
JP7282227B2 (ja) | 撮像装置及びその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230331 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240220 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240318 |