JP2015194736A - 撮像装置およびその制御方法 - Google Patents

撮像装置およびその制御方法 Download PDF

Info

Publication number
JP2015194736A
JP2015194736A JP2015048201A JP2015048201A JP2015194736A JP 2015194736 A JP2015194736 A JP 2015194736A JP 2015048201 A JP2015048201 A JP 2015048201A JP 2015048201 A JP2015048201 A JP 2015048201A JP 2015194736 A JP2015194736 A JP 2015194736A
Authority
JP
Japan
Prior art keywords
signal
pixel
detection
focus
focus detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015048201A
Other languages
English (en)
Inventor
嘉人 玉木
Yoshito Tamaki
嘉人 玉木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015048201A priority Critical patent/JP2015194736A/ja
Priority to US14/670,130 priority patent/US9392162B2/en
Publication of JP2015194736A publication Critical patent/JP2015194736A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14625Optical elements or arrangements associated with the device
    • H01L27/14627Microlenses
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14643Photodiode arrays; MOS imagers
    • H01L27/14645Colour imagers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Abstract

【課題】結像光学系の異なる瞳領域を通過する光束を受光する複数の画素を有する撮像素子を用いる撮像装置において、コントラスト評価値に基づく焦点検出シーケンスにより、高精度な焦点検出を可能とすること。
【解決手段】撮像装置は、結像光学系の第1瞳部分領域を通過する光束を受光する第1画素、および、結像光学系の全瞳領域を通過する光束を受光する第2画素を有する撮像素子を備える。焦点検出信号の信号生成部は、第1画素の受光信号から第1信号を生成し、第2画素の受光信号から第2信号を生成する。制御部は、位相差方式の第1焦点検出(S100)に続く第2焦点検出(S200)において、第1信号および第2信号に対してシフト処理を行ってから加算してシフト加算信号を複数のシフト量に対して生成する。制御部は、生成したシフト加算信号の大きさからコントラスト評価値を算出してデフォーカス量を取得し、結像光学系の焦点調節動作を制御する。
【選択図】 図15

Description

本発明は、撮像装置とその制御方法に関し、特に撮像素子から出力される光電変換信号に基づくオートフォーカス(以下、AFと略記する)制御に関する。
撮像装置の焦点検出方法の1つとして、撮像素子に形成した焦点検出画素により焦点状態の検出を行う撮像面位相差方式がある。また、撮像装置の焦点検出の別の方法には、撮像素子から出力される撮影画像信号に基づくコントラスト評価値を用いて焦点状態の検出を行うコントラスト方式がある。
特許文献1に開示された、撮像面位相差方式の撮像装置は、コントラスト評価手段と相関計算手段とを持ち、それらから得られる2つのピント評価範囲の絶対値を比較し、比較結果により被写体のピント評価値を決定する。コントラスト評価手段は、異なる瞳領域からの像信号をシフト加算して得られた信号のコントラスト評価値を元にコントラストピント位置を決定する。AF制御のためにフォーカスレンズの駆動を実際に行うことなくピント位置を特定することが可能である。
特許文献2には、光学系により結像された光学像を電気信号に変換する光電変換セルが2次元的に配列された固体撮像装置が開示されており、光電変換セル群のうちの少なくとも一部が、測距のための信号を出力するように構成される。
特許文献3には、画質の劣化の度合いを小さくするとともに、焦点検出画素から得られる第1の像と撮像画素から得られる第2の像を用いて、撮影レンズの焦点状態(デフォーカス量)を算出する技術が開示されている。
特開2013−025246号公報 特許第3592147号公報 特許第5274299号公報
しかしながら、特許文献1では特許文献2で開示されているようなマイクロレンズと光電変換部の相対位置を偏倚させた画素を2次元的に配置した撮像素子に関しては記載されていない。特許文献2に開示された撮像素子で特許文献1のコントラスト評価手段の焦点検出を行う場合、焦点検出画素対が空間的に離れている為、焦点検出精度が低下してしまうという課題がある。
また、特許文献3に開示の装置では、焦点検出画素から得られる第1の像と撮像画素から得られる第2の像についての重心の差からデフォーカス量を検出する。このため、特許文献1で開示されているようなコントラスト評価手段の焦点検出と比べて焦点検出精度が低下するという課題がある。
本発明は、結像光学系の異なる瞳領域を通過する光束を受光する複数の画素を有する撮像素子を用いる撮像装置において、コントラスト評価値に基づく焦点検出シーケンスにより、高精度な焦点検出を可能とすることを目的とする。
上記課題を解決するために、本発明に係る撮像装置は、結像光学系の瞳部分領域を通過する光束を受光する第1画素、および前記瞳部分領域を含む瞳領域を通過する光束を受光する第2画素を有する撮像素子と、前記第1画素が受光した信号から第1信号を生成し、前記第2画素が受光した信号から第2信号を生成する信号生成手段と、前記第1信号および第2信号を用いて前記結像光学系の焦点調節動作を制御する制御手段と、を備える。前記制御手段は、前記第1信号および第2信号に対してシフト処理を行って加算することにより得られるシフト加算信号から決定されるコントラスト評価値を複数のシフト量に対して算出し、該コントラスト評価値に基づいて決定される検出量を用いて焦点調節動作を制御する。
本発明によれば、結像光学系の異なる瞳領域を通過する光束を受光する複数の画素を有する撮像素子を用いる撮像装置において、コントラスト評価値に基づく焦点検出シーケンスにより、高精度な焦点検出を実現できる。
図2から図15と併せて本発明の第1実施形態を説明するために、撮像装置の構成例を概略的に示すブロック図である。 撮像素子における画素配列を示す概略図である。 画素の概略平面図(A)と概略断面図(B)である。 画素と瞳分割との関係を説明する概略図である。 焦点検出画素(第1画素)と瞳分割との対応関係を示した概略図(A)、および第1信号と第3信号のデフォーカス量と像ずれ量の概略関係図(B)である。 第1焦点検出処理を説明するフローチャートである。 第1信号および第3信号の瞳ずれによるシェーディングの概略説明図である。 フィルタ周波数帯域を例示するグラフである。 第1信号および第3信号を例示するグラフ(A)、および光学補正処理とフィルタ処理後の第1信号および第3信号を例示するグラフ(B)である。 リフォーカス処理の概略説明図である。 第2焦点検出処理を説明するフローチャートである。 フィルタ処理後の第1信号および第2信号を例示するグラフ(A)と、さらにシフト加算を行った後の第1信号および第2信号を例示するグラフ(B)である。 第2評価値を例示するグラフである。 リフォーカス可能範囲の概略説明図である。 焦点検出処理を説明するフローチャートである。 本発明の第2実施形態における焦点検出処理を説明するフローチャートである。
以下に、本発明の各実施形態を、添付図面に基づいて詳細に説明する。
[第1実施形態]
図1は本発明の第1実施形態に係る撮像装置の構成例を示すブロック図である。撮像光学系(結像光学系)の先端に配置された第1レンズ群101は、レンズ鏡筒にて光軸方向に進退可能に保持される。絞り兼用シャッタ102は、その開口径を調節することで撮影時の光量調節を行う他、静止画撮影時には露光秒時調節用シャッタとして機能する。第2レンズ群103は、絞り兼用シャッタ102と一体となって光軸方向に進退し、第1レンズ群101の進退動作との連動により、変倍動作によるズーム機能を有する。第3レンズ群105は、光軸方向の進退により焦点調節を行うフォーカスレンズである。光学的ローパスフィルタ106は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子107は、例えば2次元CMOS(相補型金属酸化膜半導体)フォトセンサと周辺回路からなり、撮像光学系の結像面に配置される。
ズームアクチュエータ111は、不図示のカム筒を回動することで、第1レンズ群101および第2レンズ群103を光軸方向に移動させて変倍動作を行う。絞りシャッタアクチュエータ112は、絞り兼用シャッタ102の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ114は、第3レンズ群105を光軸方向に移動させて焦点調節動作を行う。
被写体照明用の電子フラッシュ115は撮影時に使用し、キセノン管を用いた閃光照明装置または連続発光するLED(発光ダイオード)を備えた照明装置が用いられる。AF補助光源116は、低輝度の被写体または低コントラストの被写体に対する焦点検出能力を向上させる。AF補助光源116により、所定の開口パターンを有したマスクの像が、投光レンズを介して被写界に投影される。
カメラシステムの制御部を構成するCPU(中央演算処理装置)121は、種々の制御を司る制御中枢機能をもつ。CPU121は、演算部、ROM(リード・オンリ・メモリ)、RAM(ランダム・アクセス・メモリ)、A(アナログ)/D(デジタル)コンバータ、D/Aコンバータ、通信インターフェイス回路等を有する。CPU121はROMに記憶された所定のプログラムに従って、カメラが有する各種回路を駆動し、AF制御、撮影、画像処理、記録処理等の一連の動作を実行する。本実施形態にてCPU121は、信号生成処理、焦点検出処理、画像生成処理等の制御を行う。
電子フラッシュ制御回路122はCPU121の制御指令に従い、撮影動作に同期して電子フラッシュ115を点灯制御する。補助光駆動回路123はCPU121の制御指令に従い、焦点検出動作に同期してAF補助光源116を点灯制御する。撮像素子駆動回路124は撮像素子107の撮像動作を制御するとともに、取得した撮像信号をA/D変換してCPU121に送信する。画像処理回路125はCPU121の制御指令に従い、撮像素子107により取得した画像のガンマ変換、カラー補間、JPEG(Joint Photographic Experts Group)圧縮等の処理を行う。
フォーカス駆動回路126はCPU121の制御指令に従い、焦点検出結果に基づいてフォーカスアクチュエータ114を駆動制御し、第3レンズ群105を光軸方向に移動させて焦点調節を行う。絞りシャッタ駆動回路128はCPU121の制御指令に従い、絞りシャッタアクチュエータ112を駆動制御して絞り兼用シャッタ102の開口径を制御する。ズーム駆動回路129はCPU121の制御指令に従い、撮影者のズーム操作指示に応じてズームアクチュエータ111を駆動する。
表示部131はLCD(液晶表示装置)等の表示デバイスを有し、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。操作部132は操作スイッチとして、電源スイッチ、レリーズ(撮影トリガ)スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を備え、操作指示信号をCPU121に出力する。フラッシュメモリ133はカメラ本体部に着脱可能な記録媒体であり、撮影済み画像データ等を記録する。
次に図2を参照して本実施形態における撮像素子の撮像画素と焦点検出画素の配列を説明する。図2は、2次元CMOSセンサ(撮像素子)のうち、撮像画素および焦点検出画素を含む、6列×6行の範囲での画素配列を例示する。本実施形態では、撮像信号を生成するための撮像画素を第2画素とし、複数の焦点検出画素を第1画素および第3画素とする。ここで、撮像画素とは主として画像記録用の信号として用いられる画素で、焦点検出用画素は撮像画素より制限された瞳領域からの光束を受光する、主として焦点検出処理に用いられる画素であり、各画素はその用途を必ずしも限定されていない。本実施形態では、撮像(撮影)により撮像素子107の撮像画素から得られる撮像信号は、画像処理回路125等の処理を経てフラッシュメモリ133等の記録媒体に記録される記録画像に用いられる。その際、焦点検出用画素の配されている画素位置に対応する記録用の信号は、該当位置近傍の撮像画素(必要に応じて焦点検出用画素)からの信号を用いて補間するなどして生成される。なお、図2の紙面に垂直な方向をz方向とし、これに直交する左右方向をx方向とし、上下方向をy方向と定義する。
2列×2行の画素群201にて、左上の位置にはG(緑)の分光感度を有する焦点検出画素201Gsが配置され、検出部が画素中心よりも図2の左側に偏倚している。G(緑)の分光感度を有する2つの画素201Gは右上と左下にそれぞれ配置され、B(青)の分光感度を有する画素200Bが右下に配置されている。また、2列×2行の画素群203では、左上の位置にG(緑)の分光感度を有する焦点検出画素203Gsが配置され、検出部が画素中心よりも図2の右側に偏倚している。G(緑)の分光感度を有する2つの画素203Gは右上と左下にそれぞれ配置され、B(青)の分光感度を有する画素203Bが右下に配置されている。なお、本実施形態では、2列×2行の画素群にて左上の焦点検出画素がG(緑)の分光感度を有する例を説明するが、G(緑)フィルタの代わりに透明膜であっても構わない。2列×2行の画素群202では、左上の位置にR(赤)の分光感度を有する画素202Rが配置されている。G(緑)の分光感度を有する2つの画素202は右上と左下に配置され、B(青)の分光感度を有する画素202Bが右下に配置されている。
図2に示した2列×2行の画素群201から画素群203を、x−y平面上にて多数配置することにより、撮像された画像信号(第2信号)や焦点検出信号(第1信号および第3信号)を取得可能である。
図2は、撮像画素である第2画素R,G,Bと、焦点検出画素である第1画素Gs1および第3画素Gs2の配列を例示する。各画素の構造について、図3を参照して説明する。撮像素子の受光面側(+z側)から見た平面図を図3(A)に示す。図3(A)では紙面に垂直な方向をz方向とし、これに直交する左右方向をx方向とし、上下方向をy方向と定義する。また、図3(A)のa−a断面、b−b断面、c−c断面を、−y方向から見た断面図を図3(B)に示す。図3(B)では紙面に垂直な方向をy方向とし、これに直交する左右方向をx方向とし、上下方向をz方向と定義する。図3にて左側から順に、焦点検出画素である第1画素Gs1、撮像素子である第2画素R,G,B、焦点検出画素である第3画素Gs2を示している。本実施形態では、第1画素Gs1および第3画素Gs2の各受光部が第2画素R,G,Bの受光部の半分の面積を有するとして説明する。但し、これらの画素は、さらに面積が小さい受光部をもつ複数の画素であってもよい。
図3の左側に示すように、第1画素Gs1では、受光側に入射光を集光するためのマイクロレンズ305が形成され、−x方向に偏倚した光電変換部301が形成される。また図3の中央に示すように、第2画素R,G,Bでは、各画素の受光側に入射光を集光するためのマイクロレンズ305が形成され、光電変換部302が形成される。さらに図3の右側に示すように、第3画素Gs2では、受光側に入射光を集光するためのマイクロレンズ305が形成され、+x方向に偏倚した光電変換部303が形成される。各画素には、マイクロレンズ(305)と、光電変換部(301,302,303)との間に、カラーフィルタ306が形成される。または、必要に応じて、各焦点検出画素のカラーフィルタの分光透過率を変えてもよいし、カラーフィルタを省略してもよい。
図3の左側に示す第1画素Gs1に入射した光は、マイクロレンズ305により集光され、カラーフィルタ306で分光されたのち、光電変換部301が受光する。また、図3の中央に示した第2画素R,G,Bにそれぞれ入射した光は、マイクロレンズ305により集光され、カラーフィルタ306で分光されたのち、光電変換部302が受光する。図3の右側に示した第3画素Gs2に入射した光は、マイクロレンズ305により集光され、カラーフィルタ306で分光されたのち、光電変換部303が受光する。
各光電変換部では、受光量に応じて電子とホール(正孔)が対生成し、空乏層で分離される。その後、負電荷の電子はn型層(不図示)に蓄積され、ホールは定電圧源(不図示)に接続されたp型層を通じて撮像素子外部へ排出される。各光電変換部のn型層(不図示)に蓄積された電子は、転送ゲートを介して静電容量部(FD)に転送され、電圧信号に変換される。
図3に示した画素構造と瞳分割との対応関係について、図4の概略図を参照して説明する。図3(A)に示した、焦点検出画素(第1画素)のa−a断面、撮像画素(第2画素)のb−b断面、焦点検出画素(第3画素)のc−c断面を、+y方向から見た断面図と、結像光学系の射出瞳面を図4に示す。図4では、射出瞳面の座標軸と対応を取るために、断面でのx軸およびy軸を図3に対して反転させている。また、図4の上側に示す射出瞳面の座標軸については紙面に垂直な方向をZ方向とし、これに直交する左右方向をX方向とし、上下方向をY方向と定義する。
図4の右図(C)に示すように、第1画素Gs1の第1瞳部分領域501は、重心が−x方向に偏心している光電変換部301の受光面と、マイクロレンズによって、概ね、共役関係になっており、第1画素Gs1で受光可能な瞳領域を表している。第1画素Gs1の第1瞳部分領域501は、瞳面上で+X側に重心が偏心している。
図4の中央図(B)に示すように、第2画素R,G,Bの瞳領域502は、光電変換部302の受光面とマイクロレンズによって、概ね、共役関係になっており、第2画素R,G,Bで受光可能な瞳領域を表している。
図4の左図(A)に示すように、第3画素Gs2の第2瞳部分領域503は、重心が+x方向に偏心している光電変換部303の受光面と、マイクロレンズによって、概ね、共役関係になっており、第3画素Gs2で受光可能な瞳領域を表している。第3画素Gs2の第2瞳部分領域503は、瞳面上で−X側に重心が偏心している。
図5(A)は、焦点検出画素である第1画素Gs1と瞳分割との対応関係を示した概略図である。図5(A)では紙面に垂直な方向をy方向とし、これに直交する左右方向をz方向とし、上下方向をx方向と定義する。
第1瞳部分領域501を通過した光束は、撮像素子の各画素に、それぞれ、異なる角度で入射して第1画素Gs1で受光される。本実施形態では、焦点検出画素について、それぞれ水平方向に異なる瞳領域に分割されている例を示す。撮像素子は、以下の第1ないし第3画素を複数配列させた構造を有する。
・第1画素:結像光学系の第1瞳部分領域501を通過する光束を受光する焦点検出画素。
・第2画素:結像光学系の瞳領域を通過する全光束を受光する撮像画素。
・第3画素:第1瞳部分領域501と異なる、結像光学系の第2瞳部分領域503を通過する光束を受光する焦点検出画素。
本実施形態では、焦点検出画素である第1画素Gs1の受光信号を集めて第1信号を生成し、撮像画素である第2画素R,G,Bの受光信号を集めて第2信号を生成して焦点検出を行う。あるいは、第1画素Gs1の代わりに第3画素Gs2の受光信号を集めた第3信号を用いてもよい。また、撮像画素である第2画素R,G,Bの第2信号と、焦点検出画素である第1画素Gs1および第3画素Gs2をそれぞれ補間して算出した補間信号を用いて、有効画素数Nの解像度をもつ撮像信号(撮像画像)が生成される。
次に、撮像素子により取得される第1信号と第3信号のデフォーカス量と像ずれ量の関係について説明する。図5(B)は、第1信号と第3信号のデフォーカス量と、第1信号と第3信号との間の像ずれ量を示す概略関係図である。図5(B)では紙面に垂直な方向をy方向とし、これに直交する左右方向をz方向とし、上下方向をx方向と定義する。
撮像面800に撮像素子が配置され、図4、図5(A)と同様に、結像光学系の射出瞳が第1瞳部分領域501と第2瞳部分領域503に分割される。第1画素Gs1は第1瞳部分領域501からの光を受光し、第3画素Gs2は第2瞳部分領域503からの光を受光する。図5(B)では、撮像素子の第1画素Gs1を含む画素行y1と第3画素Gs2を含む画素行y2を示している。
デフォーカス量(dと記す)は、その大きさ|d|が被写体像の結像位置から撮像面800までの距離を表す。被写体像の結像位置が撮像面800よりも被写体側にある前ピン状態では、負符号(d<0)とし、これとは反対の後ピン状態では正符号(d>0)として向きを定義する。被写体像の結像位置が撮像面(合焦位置)にある合焦状態では、d=0である。
図5(B)に示す被写体801の位置は、合焦状態(d=0)に対応する位置を示しており、被写体802の位置は前ピン状態(d<0)に対応する位置を例示する。以下では、前ピン状態(d<0)と後ピン状態(d>0)とを併せて、デフォーカス状態(|d|>0)という。
前ピン状態(d<0)では、被写体802からの光束のうち、第1瞳部分領域501(または第2瞳部分領域503)を通過した光束は、いったん集光した後、光束の重心位置G1(またはG3)を中心として幅Γ1(またはΓ3)に広がる。この場合、撮像面800上で暈けた像となる。暈け像は、撮像素子に配列された第1画素Gs1(または第3画素Gs2)により受光され、第1信号(または第3信号)が生成される。よって、第1信号(または第3信号)は、撮像面800上の重心位置G1(またはG3)にて、幅Γ1(またはΓ3)をもった被写体像(暈け像)として検出される。被写体像の幅Γ1(またはΓ3)は、デフォーカス量dの大きさ|d|が増加するのに伴い、概ね比例して増加する。同様に、第1信号と第3信号との間の被写体像の像ずれ量を「p」と記すと、その大きさ|p|はデフォーカス量dの大きさ|d|の増加に伴って増加する。例えば、像ずれ量pは各光束の重心位置の差「G1−G3」として定義され、その大きさ|p|は、|d|が増加するのに伴い、概ね比例して増加する。なお、後ピン状態(d>0)では、第1信号と第3信号との間の被写体像の像ずれ方向が前ピン状態とは反対となるが、同様の傾向がある。したがって、本実施形態では、第1信号と第2信号、または、第1信号と第3信号を加算した撮像信号のデフォーカス量の大きさが増加するのに伴い、第1信号と第2信号との間の像ずれ量の大きさや、第1信号と第3信号との間の像ずれ量の大きさが増加する。
本実施形態では、以下に示す2種類の焦点検出を行う。
・第1焦点検出:第1信号と第3信号のデフォーカス量と像ずれ量の関係性を用いる、位相差方式の焦点検出。
・第2焦点検出:第1信号と第2信号のデフォーカス量と像ずれ量の関係性を用いる、リフォーカス原理に基づいた方式(以後、リフォーカス方式と呼ぶ)の焦点検出。
また、本実施形態では、結像光学系の第1状態(デフォーカス量の大きい大デフォーカス状態)から第2状態(デフォーカス量の小さい小デフォーカス状態)まで焦点調節するために第1焦点検出手段を使用する。小デフォーカス状態から最良合焦位置の近傍まで焦点調節するために第2焦点検出手段を使用する。しかし、各焦点検出の利用方法としてはこの組み合わせに限らない。
先ず、撮像面位相差方式の第1焦点検出について説明する。
第1焦点検出では、第1信号と第3信号を相対的にシフトさせて信号の一致度を表す相関量(第1評価値)を計算し、相関(信号の一致度)が高くなるシフト量から像ずれ量を検出する。撮像信号のデフォーカス量の大きさが増加するのに伴い、第1信号と第3信号間の像ずれ量の大きさが増加するという関係性から、像ずれ量を第1検出デフォーカス量に変換して焦点検出が行われる。
図6のフローチャートを参照して、第1焦点検出処理の流れを説明する。本処理は、CPU121が実行するプログラムに従って撮像素子107、画像処理回路125を制御することで実現される焦点検出信号生成部が行う。
S110では、撮像素子の有効画素領域の中から焦点調節を行う焦点検出領域を設定する処理が実行される。焦点検出信号生成部は、焦点検出領域の第1画素の受光信号(A像信号)から第1信号を生成し、焦点検出領域の第3画素の受光信号(B像信号)から第3信号を生成する。
S120では、第1信号と第3信号に対し、それぞれシェーディング補正処理(光学補正処理)が行われる。図7を参照して、第3信号(または第1信号)の瞳ずれによるシェーディングについて説明する。図7は、撮像素子の周辺像高における第3画素Gs2の第2瞳部分領域503、および結像光学系の射出瞳400の関係を示す。
図7(A)は、結像光学系の射出瞳距離Dlと撮像素子の設定瞳距離Dsが同じ場合を示す。この場合、第2瞳部分領域503により、結像光学系の射出瞳400が、概ね、半分に瞳分割される。これに対して、図7(B)は、結像光学系の射出瞳距離Dlが撮像素子の設定瞳距離Dsより短い場合を示す。撮像素子の周辺像高では、結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれを生じ、結像光学系の射出瞳400が不均等に瞳分割されてしまう。同様に、図7(C)は、結像光学系の射出瞳距離Dlが撮像素子の設定瞳距離Dsより長い場合を示す。撮像素子の周辺像高では、結像光学系の射出瞳と撮像素子の入射瞳の瞳ずれを生じ、結像光学系の射出瞳400が不均等に瞳分割されてしまう。周辺像高で瞳分割が不均等になるのに伴い、第3信号の強度も不均等になり、第1信号と第3信号のいずれか一方の強度が相対的に大きくなり、他方の強度が相対的に小さくなるシェーディングが生じる。
図6のS120では、焦点検出領域の像高と、撮像レンズ(結像光学系)のF値、射出瞳距離に応じて、第1信号の第1シェーディング補正係数と、第3信号の第3シェーディング補正係数を、それぞれ生成する処理が行われる。第1シェーディング補正係数を第1信号に乗算し、第3シェーディング補正係数を第3信号に乗算することにより、第1信号と第3信号のシェーディング補正処理(光学補正処理)が実行される。
位相差方式の第1焦点検出では、第1信号と第3信号の相関(信号の一致度)に基づいて第1検出デフォーカス量(以下、第1検出量といい、DEF1と記す)が検出される。瞳ずれによるシェーディングが生じると、第1信号と第3信号との相関(信号の一致度)が低下する場合がある。よって、位相差方式の第1焦点検出では、第1信号と第3信号の相関(信号の一致度)を改善し、焦点検出性能を良好とするために、シェーディング補正処理(光学補正処理)が行われる。
図6のS130では、第1信号と第3信号に対してフィルタ処理が行われる。本実施形態のフィルタ処理の通過帯域例を、図8に実線のグラフgaで示す。横軸には空間周波数(ライン・スペース/mm)を示し、縦軸には最大値を1としたゲインを示す。本実施形態では、位相差方式の第1焦点検出により、大デフォーカス状態での焦点検出を行うので、フィルタ処理の通過帯域が低周波帯域を含むように構成される。なお、必要に応じて、大デフォーカス状態から小デフォーカス状態まで焦点調節を行う際、デフォーカス状態にしたがってフィルタ処理の通過帯域を、図8の1点鎖線のグラフgbのように、より高周波帯域に調整してもよい。
図9(A)は、本実施形態に係る撮像素子の周辺像高での、撮像信号の最良合焦位置における第1信号(破線参照)と第3信号(実線参照)を例示する。横軸は画素位置に対応する画素アドレスを示し、縦軸は信号レベルを示す。図9(B)は、光学補正処理とフィルタ処理後の第1信号(破線参照)と第3信号(実線参照)を例示する。
次に、図6のS140では、フィルタ処理後の第1信号と第3信号を瞳分割方向にて相対的にシフトさせるシフト処理が行われる。シフト処理により、第1信号と第3信号との一致度を表す相関量(第1評価値)が算出される。
フィルタ処理後のk番目の第1信号をGs1(k)とし、フィルタ処理後のk番目の第3信号をGs2(k)とする。焦点検出領域に対応する番号kの範囲をWとする。シフト処理によるシフト量をsとし、その範囲(シフト範囲)をΓ1として、相関量(第1評価値)CORは、式(1)により算出される。
Figure 2015194736
シフト量sによるシフト処理の結果、k番目の第1信号Gs1(k)と、k−s番目の第3信号Gs2(k−s)を対応させて減算することで、シフト減算信号が生成される。生成されたシフト減算信号の絶対値を計算し、焦点検出領域に対応する範囲W内で番号kでの和を求めて、相関量(第1評価値)であるCOR(s)が算出される。必要に応じて、行ごとに算出された相関量(第1評価値)を、シフト量ごとに、複数の行に亘って加算してもよい。
S150では、相関量(第1評価値)から、サブピクセル演算により、相関量が最小値となる実数値のシフト量を算出する処理が実行され、像ずれ量p1が求められる。この像ずれ量p1に対し、焦点検出領域の像高と、撮像レンズ(結像光学系)のF値、射出瞳距離に応じた第1変換係数K1を乗算することで、第1検出量(Def1)が算出される。
以上のように、位相差方式の第1焦点検出では、第1信号と第3信号に対してフィルタ処理とシフト処理を行うことにより、相関量から第1検出量が算出される。
次に、本実施形態におけるリフォーカス方式の第2焦点検出について説明する。
第2焦点検出では、第1信号と第2信号を相対的にシフトして加算することで、シフト加算信号(リフォーカス信号)が生成される。生成したリフォーカス信号から算出されるコントラスト評価値を用いて、撮像信号のMTF(Modulation Transfer Function)のピーク位置を算定することで、第2検出デフォーカス量が算出される。以下、第2検出デフォーカス量を第2検出量といい、Def2と記す。
図10を参照してリフォーカス処理を説明する。図10(A)は、撮像素子を模式的に示す断面図であり、図10(B)はリフォーカス処理を説明するための概略図である。撮像素子により取得された第1信号と第2信号による1次元方向(列方向または水平方向)のリフォーカス処理を例にして説明する。図10(A)に示す撮像面800は、図5に示した撮像面800に対応している。図10では、iとjを整数の変数として、撮像面800に配置された、撮像素子の列方向におけるi番目の焦点検出画素の第1信号をGs1(i)で示す。また撮像素子の列方向におけるj番目の撮像画素の第2信号をG(j)で示す。「j=i+1」の関係を満たすものとする。なお、図10では焦点検出信号として、第1画素Gs1を用いて説明するが、第3画素Gs2を用いる場合も同様である。
リフォーカス方式の第2焦点検出では、撮像面800において第1信号Gs1(i)と第2信号G(j)とが交互に並んでいる撮像素子の画素行を用いる(j=i+1)。仮想撮像面800Imは、第1信号Gs1(i)に係るi番目の画素位置と、第2信号G(j)に係るj番目の画素位置とが等しい(j=i)とした場合の撮像面を表す。第1信号Gs1(i)と第2信号G(j)については、本実施形態において、どちらも1画素おきの離散的な信号となる。また撮像面800から仮想撮像面800Imに置き換えた際の、仮想画素ずらし量をΔ(1画素分に相当)と記し、仮想撮像面800Imでの演算後に補正処理が行われる。第1信号Gs1(i)は、図5(A)の瞳部分領域501に対応した、主光線角度θGs1でi番目の画素に入射した光束の受光信号である。また、第2信号G(j)は、図5(A)の瞳部分領域501,503に対応した全瞳領域から入射した光束の受光信号である。第1信号Gs1(i)と第2信号G(j)は、光強度分布情報だけでなく、入射角度情報も有している。この為、第1信号Gs1(i)については、角度θGs1の方向に沿って仮想撮像面800Imから仮想結像面810Imまで平行移動させる。また第2信号G(j)は、図5(A)の瞳部分領域503に対応した主光線角度θGs2でj番目の画素に入射した光束の受光信号も含んでいる。この為、第2信号G(j)は角度θGs2の方向に沿って仮想撮像面800Imから仮想結像面810Imの位置まで平行移動させる。平行移動した両信号を加算することで、仮想結像面810Imでのリフォーカス信号を生成することができる。仮想結像面820Imでのリフォーカス信号についても同様に仮想結像面810Imから仮想結像面820Imまで平行移動させることで生成できる。
第1信号Gs1(i)を角度θGs1の方向に沿って仮想撮像面800Imから仮想結像面810Imまで平行移動させることは、列方向への+0.5画素のシフトに対応する。また、第2信号G(j)を角度θGs2の方向に沿って仮想撮像面800Imから仮想結像面810Imまで平行移動させることは、列方向への−0.5画素のシフトに対応する。したがって、第1信号Gs1(i)と第2信号G(j)とを相対的に+2画素シフトさせ、Gs1(i)とG(j+2)を対応させて加算することで、仮想結像面810Imでのリフォーカス信号を生成できる。同様に、第1信号Gs1(i)と第2信号G(j)を整数の画素分だけシフトさせて加算することで、整数のシフト量に応じた各仮想結像面でのシフト加算信号(リフォーカス信号)を生成できる。こうして生成されたシフト加算信号(リフォーカス信号)のコントラスト評価値が算出される。当該コントラスト評価値から撮像信号のMTFのピーク位置を算出することで、第2検出量DEF2が取得される。
図11のフローチャートを参照して、第2焦点検出処理の流れを説明する。本処理は、CPU121が実行するプログラムに従って撮像素子107、画像処理回路125を制御することで実現される焦点検出信号生成部が行う。
S210では、撮像素子107の有効画素領域内で焦点調節を行う焦点検出領域を設定する処理が行われる。焦点検出信号生成部は、焦点検出領域のうち、第1画素の受光信号(A像信号)から第1信号を生成し、第2画素の受光信号(撮像信号)から第2信号を生成する。
S220では、第1信号と第2信号に対してフィルタ処理が行われる。本実施形態のフィルタ処理の通過帯域例を、図8の破線のグラフgcおよび点線のグラフgdで例示する。本実施形態では、リフォーカス方式の第2焦点検出により、小デフォーカス状態から最良合焦位置近傍まで焦点検出を行う。したがって、フィルタ処理の通過帯域は、第1焦点検出におけるフィルタ処理の通過帯域よりも、高周波帯域を含むようにフィルタ特性が設定される。なお、必要に応じて、本フィルタ処理にて被写体像の信号のエッジ抽出を行うラプラシアン型(2階微分型)の、[1,−2,1]フィルタを用いてもよい。この場合、図8の点線のグラフgdで示すように、フィルタ処理の通過帯域をより高周波帯域に設定することができる。被写体像の高周波成分を抽出して第2焦点検出を行うことにより、焦点検出精度が向上する。
図11のS230では、フィルタ処理後の第1信号と第2信号を相対的に瞳分割方向にシフトさせる処理を行って加算することでシフト加算信号(リフォーカス信号)が生成される。生成されたシフト加算信号の大きさから演算式によって決定されるコントラスト評価値(第2評価値)が算出される。フィルタ処理後のk番目の第1信号をGs1(k)とし、フィルタ処理後のk番目の第2信号をG(k)とし、焦点検出領域に対応する番号kの範囲(焦点検出範囲内)をWとする。また、本実施形態では撮像信号である第2信号G(k)は焦点検出信号である第1信号Gs1(k)と比べて受光部の面積が大きいので、両者の受光量が異なる。その為、受光面積比に応じて第2信号G(k)を正規化する処理が行われる。正規化処理後の第2信号をGN(k)とする。シフト処理によるシフト量をsとし、その範囲(シフト範囲)をΓ2として、コントラスト評価値(第2評価値)RFCONは、式(2)により算出される。
Figure 2015194736
シフト量sによるシフト処理の結果、k番目の第1信号Gs1(k)と、「k−s」番目の正規化第2信号GN(k−s)を対応させて加算することで、シフト加算信号が生成される。生成されたシフト加算信号の絶対値を計算し、焦点検出領域に対応する範囲Wでの最大値をとることで、コントラスト評価値(第2評価値)としてRFCON(s)が算出される。必要に応じて、行ごとに算出されたコントラスト評価値(第2評価値)を、シフト量ごとに、複数の行に亘って加算してもよい。
S240では、コントラスト評価値(第2評価値)から、サブピクセル演算により、コントラスト評価値が最大値となる実数値のシフト量pが算出される。リフォーカス方式の第2焦点検出では、図10の撮像面800での第1画素Gs1(i)と第2画素G(j)(j=i+1)ではなく、仮想撮像面800Imでの第1画素Gs1(i)と第2画素G(j)(j=i)についての演算が実行される。これより、算出されたシフト量pは仮想撮像面800Imでのコントラスト評価値が最大値となる実数値が得られる。その為、仮想撮像面800Imから撮像面800に置き換える際、第1画素Gs1(i)と第2画素G(j)の仮想画素ずらし量Δを補正したシフト量が、ピークシフト量p2(=p+Δ)として算定される。ピークシフト量p2に対し、焦点検出領域の像高と、撮像レンズ(結像光学系)のF値、射出瞳距離に応じた第2変換係数K2を乗算することにより、第2検出量(Def2)が算出される。
以上のように、リフォーカス方式の第2焦点検出では、撮像素子の第1信号と第2信号に対してフィルタ処理とシフト処理を行い、加算してシフト加算信号を生成する。シフト加算信号の大きさから決定されたコントラスト評価値から第2検出量が取得される。すなわち、空間的に離れた第1画素と第3画素を用いる位相差方式の第1焦点検出とは異なり、リフォーカス方式の第2焦点検出では、隣接した位置で取得される第1信号と正規化第2信号とのシフト加算信号(リフォーカス信号)を用いて焦点検出が行われる。よって、シフト加算信号に対応する光束と、撮像信号である第2信号に対応する光束が、概ね一致するため、結像光学系の各収差(球面収差、非点収差、コマ収差など)によるシフト加算信号や撮像信号への影響も、概ね同じである。したがって、第2焦点検出により算出される合焦位置(第2検出量が0となる位置)と、撮像信号の最良合焦位置(撮像信号のMTFピーク位置)とが、概ね一致するため、高精度な焦点検出を実現できる。
図12(A)はフィルタ処理後の第1信号(破線)と正規化第2信号(実線)を例示する。横軸は画素位置に対応する画素アドレスを示し、縦軸は信号レベルを示す。また、フィルタ処理後の第1信号(破線)と正規化第2信号(実線)をそれぞれ、相対的に−2、−1、0、1、2のシフト量でずらして加算したシフト加算信号(リフォーカス信号)を図12(B)に例示する。シフト量の変化に伴い、シフト加算信号のピーク値が変化することがわかる。各シフト加算信号から算出されたコントラスト評価値(第2評価値)を図13に例示する。横軸はシフト量を示し、縦軸はコントラスト評価値を示す。図13を参照すれば、算出したピークシフト量p2と、最良合焦位置であるシフト量0とのずれ量(差)が小さく抑制されており、高精度に焦点検出できることが分かる。
一方、リフォーカス可能範囲には限界があるため、リフォーカス方式の第2焦点検出が高精度で焦点検出可能なデフォーカス量の範囲は限定される。図14を参照して本実施形態におけるリフォーカス可能範囲を説明する。図14では紙面に垂直な方向をy方向とし、これに直交する左右方向をz方向とし、上下方向をx方向と定義する。
許容錯乱円径をδとし、結像光学系の絞り値をFとすると、絞り値Fでの被写界深度は、±F×δである。本実施形態の受光部では、水平方向にて1/N(=1/2)、垂直方向に1/N(=1)の分割となる。受光部の面積が狭くなった瞳部分領域501(または503)の水平方向の実効絞り値F01(またはF03)は、F01=N×F(またはF03=N×F)となって暗くなる。第1信号(または第3信号)ごとの実効的な被写界深度は、±N×F×δで、N倍深くなり、合焦範囲がN倍に広がる。実効的な被写界深度、±N×F×δの範囲内では、第1信号(または第3信号)ごとに合焦した被写体像が取得される。よって、図10に示した主光線角度θGs1(またはθGs2)に沿って第1信号(または第3信号)を平行移動させるリフォーカス処理により、撮影後に合焦位置を再調整(リフォーカス)することができる。よって、撮影後に合焦位置を再調整(リフォーカス)できる、撮像面からの調整デフォーカス量dmは概ね、式(3)の範囲である。
Figure 2015194736
リフォーカス方式の第2焦点検出において高精度に焦点検出可能なデフォーカス量の範囲は、概ね、式(3)の範囲に限定される。第2焦点検出により高精度に検出可能なデフォーカス範囲は、位相差方式の第1焦点検出において検出可能なデフォーカス範囲以下の範囲である。したがって、リフォーカス方式の第2焦点検出のシフト処理におけるシフト範囲が、位相差方式の第1焦点検出のシフト処理におけるシフト範囲以下となるように構成される。
本実施形態の焦点検出では、結像光学系の大デフォーカス状態から小デフォーカス状態までの焦点調節に第1焦点検出を行い、小デフォーカス状態から最良合焦位置近傍までの焦点調節に第2焦点検出を行う。第2焦点検出のフィルタ処理の通過帯域は、第1焦点検出のフィルタ処理の通過帯域よりも高周波帯域を含む。また、本実施形態の撮像素子では、焦点検出画素(第1画素および第3画素)が受光する光束と、撮像画素(第2画素)が受光する光束が異なる。つまり、結像光学系の各収差(球面収差、非点収差、コマ収差など)による、焦点検出画素への影響と撮像信号への影響とが異なる場合がある。その影響の差異は、結像光学系の絞り値が小さい(明るい)とより大きくなる。そのため、結像光学系の絞り値が小さい(明るい)時に、位相差方式の第1焦点検出により算出される合焦位置(第1検出量が0となる位置)と撮像信号の最良合焦位置との間に差が生じる場合がある。撮像信号の最良合焦位置とは、撮像信号のMTFのピーク位置に相当する。よって、特に、結像光学系の絞り値が所定の絞り値以下の場合、位相差方式の第1焦点検出の焦点検出精度が低下する場合がある。したがって、必要に応じて、結像光学系の絞り値が所定の絞り値以下の場合には、位相差方式の第1焦点検出に加えて、リフォーカス方式の第2焦点検出により取得した第2検出量を使用して、高精度な焦点検出を行うことが望ましい。また、第2焦点検出では、基本的にレンズを駆動することなく最終的な合焦位置を検出できるので、従来の撮像画像信号によるコントラスト評価AFのような、煩わしいレンズ駆動やライブビュー表示画像のピント振りなどが抑制される。
図15は、本実施形態における焦点検出処理の流れを説明するフローチャートである。本フローによる焦点検出処理は、例えば撮像装置が何らかの撮影モードに設定され、撮像素子107からの信号を逐次処理し、表示画像を表示部131を用いて表示するライブビュー表示中に行われる。本焦点検出処理はライブビュー表示中繰り返し行われてもよいし、操作部132を用いた撮影準備指示(シャッターボタン半押しでAF、AE、など)や撮影指示などに応じて行われてもよい。本処理は、CPU121が実行するプログラムに従って実現される。本実施形態では、第1検出量Def1の絶対値が第1閾値(所定値1と記す)以下になるまで位相差方式の第1焦点検出が実行されてフォーカスレンズが駆動される。これにより、結像光学系の大デフォーカス状態から小デフォーカス状態まで焦点調節が行われる。その後、第2検出量Def2の絶対値が第2閾値(所定値2と記し、所定値2<所定値1である)以下になるまでリフォーカス方式の第2焦点検出が実行されてフォーカスレンズが駆動される。これにより、結像光学系の小デフォーカス状態から最良合焦位置近傍まで焦点調節が行われる。
図15の処理が開始すると、S100からS102までの反復処理が実行される。つまりS100およびS102の処理は、S101の判定条件を満たさない場合、繰り返し実行される。S100では、位相差方式による第1焦点検出の結果に基づいて第1検出量(Def1)が取得される。S101にて、第1検出量(Def1)の大きさ|Def1|が所定値1と比較される。|Def1|が所定値1より大きい場合、S102に進み、|Def1|が所定値1以下の場合、S200に移行する。S102では第1検出量(Def1)に応じてフォーカスレンズの駆動が行われ、S100に戻る。
S200およびS202の処理は、S201の判定条件を満たさない場合、反復処理として実行される。S200では、リフォーカス方式による第2焦点検出に基づいて第2検出量(Def2)が取得される。S201にて、第2検出量(Def2)の大きさ|Def2|が所定値2(<所定値1)と比較される。|Def2|が所定値2より大きい場合、S202に進み、|Def2|が所定値2以下の場合、焦点調節動作を終了する。S202では、第2検出量(Def2)に応じてフォーカスレンズの駆動が行われ、S200に戻る。
本実施形態では、第1焦点検出に続いて第2焦点検出が実行される。第1検出量が第1閾値より大きい場合、第1検出量を用いて焦点調節動作が行われる。第1検出量が第1閾値以下になった場合には、第2焦点検出による第2検出量を用いて焦点調節動作が行われ、この焦点調節動作は第2検出量が第2閾値以下になるまで継続する。本実施形態によれば、焦点検出信号から算出される合焦位置と、撮像信号の最良合焦位置との間の差を抑制し、高精度な焦点検出を実現できる。
[第2実施形態]
次に、本発明の第2実施形態を説明する。なお、第2実施形態にて第1実施形態と同様の構成については既に使用した符号を用いることによって、それらの詳細な説明を省略する。以下では、第1実施形態と相違する焦点検出処理について説明する。
図16のフローチャートを参照して、本実施形態の焦点検出処理の流れを説明する。本処理は、CPU121が実行するプログラムに従って実現される。本実施形態では、位相差方式の第1焦点検出とリフォーカス方式の第2焦点検出を並列処理することで高速化を実現できる。図16に示すS100,S200,S300,S301,S302,S304は、S303の判定条件を満たさない場合、反復処理として実行される。
S100およびS200の処理は並列処理として実行される。つまり、S100では、位相差方式による第1焦点検出が実行され、第1検出量(Def1)が算出される。これと並列的に実行されるS200では、リフォーカス方式による第2焦点検出により、コントラスト評価値に基づいて決定される第2検出量(Def2)が算出される。S100およびS200の処理後、S300に進む。S300は、シフト処理にてシフト範囲内で第2検出量(Def2)が取得されたか否かについての判定処理である。判定の結果、第2検出量(Def2)が取得された場合、S302に進み、第2検出量が(Def2)が取得されない場合、S301に進む。
S302では、第2検出量(Def2)を第3検出デフォーカス量(以下、第3検出量といい、Def3と記す)として設定する処理が行われる。また、S301では、第1検出量(Def1)を第3検出量(Def3)として設定する処理が行われる。S301,S302の処理後、S303に処理を進める。S303では、第3検出量(Def3)の大きさ|Def3|が第3閾値(所定値3と記す)と比較される。例えば、所定値3は前記所定値2に等しい。第3検出量(Def3)が所定値3より大きい場合、S304に進み、第3検出量(Def3)が所定値3以下の場合、焦点調節動作を終了する。S304では、第3検出量(Def3)に応じてフォーカスレンズが駆動される。そして、S100およびS200の並列処理に戻る。
本実施形態では、第1焦点検出および第2焦点検出の並列処理が実行され、第2焦点検出にて第2検出量が取得された場合には第3検出量として第2検出量を使用する。第2焦点検出にて第2検出量が取得されなかった場合には第3検出量として第1検出量を使用する。第3検出量を用いた焦点調節動作は、第3検出量が第3閾値以下になるまで継続する。本実施形態によれば、第1実施形態と同様に高精度な焦点検出を、第1および第2焦点検出処理の並列処理により高速に行うことができる。
105・・・第3レンズ群(フォーカスレンズ)
107・・・撮像素子
121・・・CPU

Claims (11)

  1. 結像光学系の瞳部分領域を通過する光束を受光する第1画素、および前記瞳部分領域を含む瞳領域を通過する光束を受光する第2画素を有する撮像素子と、
    前記第1画素が受光した信号から第1信号を生成し、前記第2画素が受光した信号から第2信号を生成する信号生成手段と、
    前記第1信号および第2信号を用いて前記結像光学系の焦点調節動作を制御する制御手段と、を備え、
    前記制御手段は、前記第1信号および第2信号に対してシフト処理を行って加算することにより得られるシフト加算信号から決定されるコントラスト評価値を複数のシフト量に対して算出し、該コントラスト評価値に基づいて決定される検出量を用いて焦点調節動作を制御することを特徴とする撮像装置。
  2. 前記制御手段は、前記シフト処理にて、前記第1信号および第2信号を相対的に前記瞳部分領域の瞳分割に係る瞳分割方向にシフトさせることを特徴とする請求項1に記載の撮像装置。
  3. 前記制御手段は、前記シフト量に対応する前記第1信号および第2信号を加算した値の絶対値を求め、該絶対値が焦点検出範囲内で最大となる値を前記コントラスト評価値として算出することを特徴とする請求項2に記載の撮像装置。
  4. 前記シフト量を変えて算出した前記コントラスト評価値の最大値から、前記検出量を決定することを特徴とする請求項3に記載の撮像装置。
  5. 前記第2画素は、画像記録用の信号として用いられることを特徴とする請求項1に記載の撮像装置。
  6. 前記撮像素子は、前記結像光学系の第1瞳部分領域を通過する光束を受光する前記第1画素、および前記第1瞳部分領域とは異なる、前記結像光学系の第2瞳部分領域を通過する光束を受光する第3画素を有しており、
    前記制御手段は、第1焦点検出にて前記第1信号と、前記第3画素が受光した信号から前記信号生成手段が生成した第3信号との相関量を算出し、該相関量から得られる第1検出量を用いて焦点調節動作を制御し、第2焦点検出にて前記コントラスト評価値から決定される第2検出量を用いて焦点調節動作を制御することを特徴とする請求項1に記載の撮像装置。
  7. 前記制御手段は、前記第1検出量が第1閾値より大きい場合、前記第1検出量を用いて焦点調節動作を制御し、前記第1検出量が前記第1閾値以下になった場合には、前記第2検出量を用いて焦点調節動作を制御し、当該焦点調節動作を前記第2検出量が第2閾値以下になるまで継続することを特徴とする請求項6に記載の撮像装置。
  8. 前記第2閾値は前記第1閾値よりも小さいことを特徴とする請求項7に記載の撮像装置。
  9. 前記制御手段は、前記第1焦点検出および前記第2焦点検出の並列処理を実行し、前記第2焦点検出にて前記第2検出量が取得された場合、第3検出量として前記第2検出量を設定し、前記第2焦点検出にて前記第2検出量が取得されなかった場合、前記第3検出量として前記第1検出量を設定し、前記第3検出量を用いて焦点調節動作を制御することを特徴とすることを特徴とする請求項6に記載の撮像装置。
  10. 前記制御手段は、前記第3検出量が第3閾値以下になるまで前記第1焦点検出および前記第2焦点検出の並列処理を継続することを特徴とする請求項9に記載の撮像装置。
  11. 結像光学系の瞳部分領域を通過する光束を受光する第1画素、および前記瞳部分領域を含む瞳領域を通過する光束を受光する第2画素を有する撮像素子と、
    前記第1画素が受光した信号から第1信号を生成し、前記第2画素が受光した信号から第2信号を生成する信号生成手段と、
    前記第1信号および第2信号を用いて前記結像光学系の焦点調節動作を制御する制御手段と、を備える撮像装置にて実行される制御方法であって、
    前記制御手段により、
    前記第1信号および第2信号に対してシフト処理を行って加算することにより得られるシフト加算信号を複数のシフト量に対して生成するステップと、
    複数の前記シフト加算信号の大きさからコントラスト評価値をそれぞれ算出し、該コントラスト評価値に基づいて検出量を決定するステップと、
    前記検出量を用いて焦点調節動作を制御するステップと、を有することを特徴とする撮像装置の制御方法。
JP2015048201A 2014-03-28 2015-03-11 撮像装置およびその制御方法 Pending JP2015194736A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015048201A JP2015194736A (ja) 2014-03-28 2015-03-11 撮像装置およびその制御方法
US14/670,130 US9392162B2 (en) 2014-03-28 2015-03-26 Imaging apparatus and its control method

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014067965 2014-03-28
JP2014067965 2014-03-28
JP2015048201A JP2015194736A (ja) 2014-03-28 2015-03-11 撮像装置およびその制御方法

Publications (1)

Publication Number Publication Date
JP2015194736A true JP2015194736A (ja) 2015-11-05

Family

ID=54192176

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015048201A Pending JP2015194736A (ja) 2014-03-28 2015-03-11 撮像装置およびその制御方法

Country Status (2)

Country Link
US (1) US9392162B2 (ja)
JP (1) JP2015194736A (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102268712B1 (ko) 2014-06-23 2021-06-28 삼성전자주식회사 자동 초점 이미지 센서 및 이를 포함하는 디지털 영상 처리 장치
JP2016038414A (ja) * 2014-08-05 2016-03-22 キヤノン株式会社 焦点検出装置およびその制御方法、並びに撮像装置
JP6218799B2 (ja) 2015-01-05 2017-10-25 キヤノン株式会社 撮像素子及び撮像装置
US10070088B2 (en) 2015-01-05 2018-09-04 Canon Kabushiki Kaisha Image sensor and image capturing apparatus for simultaneously performing focus detection and image generation
WO2017039038A1 (ko) * 2015-09-04 2017-03-09 재단법인 다차원 스마트 아이티 융합시스템 연구단 다중 필팩터가 적용된 이미지 센서

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07199052A (ja) * 1993-12-28 1995-08-04 Olympus Optical Co Ltd 焦点検出方法および距離測定方法
JP2009141390A (ja) * 2007-12-03 2009-06-25 Nikon Corp 撮像素子および撮像装置
JP2012173334A (ja) * 2011-02-17 2012-09-10 Nikon Corp デフォーカス量検出装置および電子カメラ
JP2013037294A (ja) * 2011-08-10 2013-02-21 Olympus Corp 撮像装置
JP2013190734A (ja) * 2012-03-15 2013-09-26 Nikon Corp 焦点検出装置および撮像装置
JP2013235047A (ja) * 2012-05-07 2013-11-21 Nikon Corp 焦点検出装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3592147B2 (ja) 1998-08-20 2004-11-24 キヤノン株式会社 固体撮像装置
JP5274299B2 (ja) 2008-03-11 2013-08-28 キヤノン株式会社 撮像装置
JP6000520B2 (ja) 2011-07-25 2016-09-28 キヤノン株式会社 撮像装置およびその制御方法およびプログラム
JP6149369B2 (ja) * 2012-09-27 2017-06-21 株式会社ニコン 撮像素子

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07199052A (ja) * 1993-12-28 1995-08-04 Olympus Optical Co Ltd 焦点検出方法および距離測定方法
JP2009141390A (ja) * 2007-12-03 2009-06-25 Nikon Corp 撮像素子および撮像装置
JP2012173334A (ja) * 2011-02-17 2012-09-10 Nikon Corp デフォーカス量検出装置および電子カメラ
JP2013037294A (ja) * 2011-08-10 2013-02-21 Olympus Corp 撮像装置
JP2013190734A (ja) * 2012-03-15 2013-09-26 Nikon Corp 焦点検出装置および撮像装置
JP2013235047A (ja) * 2012-05-07 2013-11-21 Nikon Corp 焦点検出装置

Also Published As

Publication number Publication date
US20150281558A1 (en) 2015-10-01
US9392162B2 (en) 2016-07-12

Similar Documents

Publication Publication Date Title
US10545312B2 (en) Focus detection apparatus, control method thereof, and storage medium storing program
US9438786B2 (en) Focus adjustment apparatus, focus adjustment method and program, and imaging apparatus
JP6249825B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP6239857B2 (ja) 撮像装置およびその制御方法
JP2015129846A (ja) 撮像装置およびその制御方法
US9521312B2 (en) Focus detection apparatus, control method for the same, and image capture apparatus
JP6381266B2 (ja) 撮像装置、制御装置、制御方法、プログラム、および、記憶媒体
CN107431754B (zh) 图像处理方法、图像处理装置和摄像设备
CN107960120B (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
CN107431755B (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
US10063764B2 (en) Control apparatus, image pickup apparatus, control method, and non-transitory computer-readable storage medium for performing focus detection
JP6700986B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2015194736A (ja) 撮像装置およびその制御方法
CN110312957B (zh) 焦点检测设备、焦点检测方法和计算机可读存储介质
JP6254843B2 (ja) 画像処理装置およびその制御方法
JP2015210285A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP6285683B2 (ja) 撮像装置及びその制御方法
JP2017219782A (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP2015145970A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
CN112492194B (zh) 图像处理方法和图像处理装置
JP7309383B2 (ja) 撮像装置
US10200622B2 (en) Image processing method, image processing apparatus, and imaging apparatus
KR20170015158A (ko) 제어장치, 촬상장치, 및 제어방법
JP2015225310A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2015225311A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180904

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190305