JP2017129788A - 焦点検出装置及び方法、及び撮像装置 - Google Patents

焦点検出装置及び方法、及び撮像装置 Download PDF

Info

Publication number
JP2017129788A
JP2017129788A JP2016009979A JP2016009979A JP2017129788A JP 2017129788 A JP2017129788 A JP 2017129788A JP 2016009979 A JP2016009979 A JP 2016009979A JP 2016009979 A JP2016009979 A JP 2016009979A JP 2017129788 A JP2017129788 A JP 2017129788A
Authority
JP
Japan
Prior art keywords
focus detection
subject
amount
focus
photoelectric conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016009979A
Other languages
English (en)
Other versions
JP2017129788A5 (ja
Inventor
直幸 大原
Naoyuki Ohara
直幸 大原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016009979A priority Critical patent/JP2017129788A/ja
Priority to US15/410,027 priority patent/US10313577B2/en
Publication of JP2017129788A publication Critical patent/JP2017129788A/ja
Publication of JP2017129788A5 publication Critical patent/JP2017129788A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634Warning indications

Abstract

【課題】 被写体が動体である場合に、被写体への追従性を向上させた像面位相差AFを行うこと。
【解決手段】 像面位相差AFにおいて、撮像素子上に結像された画像における被写体を含むように、焦点検出を行う1つ以上の焦点検出領域を設定する設定手段と、被写体の位置および大きさの少なくともいずれかが変化しているか否かを検出する検出手段と、検出結果に応じて、焦点検出領域を第1の方向に分割することで、複数の分割領域に分割する分割手段と、分割領域ごとに、各分割領域に含まれる対の光電変換素子からそれぞれ出力された信号を前記第1の方向に別々に加算して得られた一対の信号から相関量を求め、更に焦点検出領域ごとに加算した相関量に基づいて、焦点検出を行う焦点検出手段と、を有し、分割手段は、被写体の位置及び大きさの少なくともいずれかが変化している場合に、変化していない場合よりも分割領域の分割数を少なくする。
【選択図】 図1

Description

本発明は、焦点検出装置及び方法、及び撮像装置に関し、更に詳しくは、撮像面位相差検出方式のオートフォーカス制御を行う焦点検出装置及び方法、及び撮像装置に関する。
カメラ等の撮像装置に搭載されるオートフォーカス(AF)方式の一つとして、位相差検出方式(以下、「位相差AF」と記す。)がある。位相差AFでは、撮影レンズの射出瞳を通過した光束を二分割し、二分割した光束を一組の焦点検出用センサによりそれぞれ受光する。そして、一組の焦点検出用センサから出力される信号のずれ量、すなわち、光束の分割方向の相対的位置ずれ量(以下、「像ずれ量」と記す。)を検出する。このようにして求めた像ずれ量から、撮影レンズのピント方向のずれ量(以下、「デフォーカス量」と記す。)を求め、フォーカスレンズを制御する。
また、撮像素子に位相差検出機能を付与することで、専用の焦点検出用センサを不要とするとともに、高速に位相差AFを実現する像面位相差AFが提案されている。像面位相差AFでは、撮像素子の画素の光電変換部を二分割して瞳分割機能を付与し、二分割された光電変換部の出力を個別に処理することで焦点検出を行うとともに、二分割された光電変換部の合算出力を画像信号として用いている。
特許文献1には、像面位相差AFにおいて、焦点検出用信号の加算方法に関する構成が開示されており、被写体の位置が変化したか否かを検出し、検出結果に基づいて、焦点検出用信号のフレーム加算する数を変更している。また、特許文献2では、焦点検出用信号のノイズを抑えるために、輝度加算数と相関演算後の相関量波形を加算する数とを設定する方法が開示されている。
特開2011−247938号公報 特開2014−32214号公報
しかしながら、特許文献1及び特許文献2の構成では、焦点検出用信号を時間方向、空間方向に加算することで、焦点検出用信号のノイズを抑え、焦点検出精度の向上を図っているが、演算時間については考慮されていない。そのため、高い精度で焦点検出を行う場合に、演算時間がかかることがあるという課題がある。特に、被写体に対して追従あるいは予測する場合には、時間方向におけるサンプリングが必要なため、演算時間の短縮が求められている。
本発明は上記問題点を鑑みてなされたものであり、被写体が動体である場合に、被写体への追従性を向上させた像面位相差方式の焦点検出を行うことを目的とする。
上記目的を達成するために、撮像光学系の異なる瞳領域を透過した対の光束を、それぞれ一つのマイクロレンズを共有する第1の光電変換素子および第2の光電変換素子で受光する複数の焦点検出画素を備えた撮像素子から出力された信号を用いて、位相差方式の焦点検出を行う本発明の焦点検出装置は、前記撮像素子に結像された画像における被写体を含むように、前記焦点検出を行う1つ以上の焦点検出領域を設定する設定手段と、前記被写体の位置および大きさの少なくともいずれかが変化しているか否かを検出する検出手段と、前記検出手段による検出結果に応じて、前記焦点検出領域を予め決められた第1の方向に分割することで、複数の分割領域に分割する分割手段と、前記分割領域ごとに、各分割領域に含まれる前記第1の光電変換素子から出力された信号を前記第1の方向に加算すると共に、前記各分割領域に含まれる前記第2の光電変換素子から出力された信号を前記第1の方向に加算し、加算して得られた一対の信号を互いにシフトしながら相関量を求め、求めた前記分割領域ごとの相関量を前記焦点検出領域ごとに加算した相関量に基づいて、前記焦点検出を行う焦点検出手段と、を有し、前記分割手段は、前記被写体の位置及び大きさの少なくともいずれかが変化している場合に、変化していない場合よりも前記分割領域の分割数を少なくする。
本発明によれば、被写体が動体である場合に、被写体への追従性を向上させた像面位相差方式の焦点検出を行うことができる。
本発明の第1の実施形態における焦点検出装置を搭載した撮像装置の構成を示すブロック図。 第1の実施形態における撮像装置の撮影動作を示すフローチャート。 第1の実施形態における撮像素子の構成を説明するための図。 第1の実施形態における撮影レンズの瞳分割を説明するための図。 位相差検出用信号及び像ずれ量の一例を示す図。 像ずれ量からデフォーカス量へ変換する原理を説明するための図。 第1の実施形態における焦点検出領域の一例を示す図。 第1の実施形態における動体の位置を予測する方法を説明するための図。 第1の実施形態における焦点検出領域の設定方法を示すフローチャート。 第1の実施形態における焦点検出処理を示すフローチャート。 第1の実施形態に係る焦点制御処理を示すフローチャートである。 第2の実施形態における焦点検出領域の設定方法を示すフローチャート。
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。
<第1の実施形態>
まず、図1を参照して、第1の実施形態における撮像装置の構成について説明する。なお、本発明における撮像装置100は、被写体を撮影して、動画や静止画のデータをテープや固体メモリ、光ディスクや磁気ディスクなどの各種メディアに記録可能な、ビデオカメラやデジタルスチルカメラなどであるが、これらに限定されるものではない。
図1に示すように、撮像装置100内の各部は、バス160を介して接続され、CPU151により制御される。撮像装置100は、1つのマイクロレンズを共有する複数の光電変換素子を備えた画素を複数含む撮像素子141を有し、撮像素子141が出力する画像信号を用いて位相差方式の焦点検出(位相差AF)を行う焦点検出装置を搭載している。
なお、第1の実施形態の焦点検出装置は、撮影レンズ101(撮像光学系)を介して得られた光学像を撮影可能に構成された撮像装置100本体と、撮像装置100本体に着脱可能な撮影レンズ101とから構成される撮像システムに適用される。しかしながら、本発明はこれに限定されるものではなく、撮影レンズが撮像装置本体と一体的に設けられた撮像装置にも適用可能である。
撮影レンズ101は、第1の固定レンズ群102、ズームレンズ111、絞り103、第2の固定レンズ群121、及び、フォーカスレンズ131を備えたレンズユニットとして構成される。絞り制御部105は、CPU151の指令に従い、絞りモータ104を介して絞り103を駆動することにより、絞り103の開口径を調整して撮影時の光量調節を行う。ズーム制御部113は、ズームモータ112を介してズームレンズ111を駆動することにより、焦点距離を変更する。
また、フォーカス制御部133は、フォーカスモータ132を介してフォーカスレンズ131を駆動することにより、焦点調節状態(フォーカス状態)を制御する。フォーカスレンズ131は、焦点調節用レンズであり、図1には単レンズとして簡略的に示されているが、通常複数のレンズで構成される。
上記光学部材で構成された撮影レンズ101により撮像素子141上に結像される被写体像は、撮像素子141により電気信号に変換される。撮像素子141は、光電変換により被写体像(光学像)を電気信号に変換する画素部を含む。画素部は、横(水平)方向にm画素、縦(垂直)方向にn画素の受光素子のそれぞれが、後述するように2つの光電変換素子(受光領域)が配置された構成を有している。撮像素子141上に結像された被写体像を光電変換して得られた電気信号は、撮像信号処理部142により画像信号(画像データ)として整えられる。
位相差AF処理部135は、2つの光電変換素子(第1の光電変換素子、第2の光電変換素子)から個別に(それぞれ独立して)出力された画像信号を、撮像信号処理部142から取得する。そして、被写体からの光を分割して得られた像の分割方向における像ずれ量を求める。また、位相差AF処理部135は、求めた像ずれ量に基づいて撮影レンズ101のピント方向のずれ量(デフォーカス量)を算出する。デフォーカス量は、像ずれ量に換算係数を掛けることにより算出される。なお、像ずれ量の検出、デフォーカス量の算出の各動作は、CPU151の指令に基づいて行われる。また、これらの動作の少なくとも一部をCPU151またはフォーカス制御部133で実行するように構成してもよい。
位相差AF処理部135は、算出したデフォーカス量をフォーカス制御部133へ出力する。フォーカス制御部133は、ずれ量に基づいて、フォーカスモータ132を駆動する駆動量を決定する。そして、フォーカス制御部133及びフォーカスモータ132によるフォーカスレンズ131の移動制御により、AF制御が実現される。
一方、撮像信号処理部142から出力される画像データは、撮像制御部143にも送られ、一時的にRAM154に蓄積される。RAM154に蓄積された画像データは、画像圧縮伸張部153にて圧縮された後、記録媒体157に記録される。
これと並行して、RAM154に蓄積された画像データは、画像処理部152に送られる。画像処理部152は、第1の光電変換素子及び第2の光電変換素子の加算信号を用いて得られた画像信号を処理する。画像処理部152は、画像データに対して、例えば、画像表示に最適なサイズへの縮小・拡大処理を行う。最適なサイズに処理された画像データは、モニタディスプレイ150に送られて画像表示される。これにより、操作者は、リアルタイムで撮影画像を観察することができる。なお、画像の撮影直後にはモニタディスプレイ150が所定時間だけ撮影画像を表示することで、操作者は撮影画像を確認することができる。
また、画像処理部152は、RAM154に蓄積された画像データを参照し、顔検出などの被写体認識を行うことが可能である。この被写体認識技術には公知の検出技術を適用することができるが、その一例として、テンプレートマッチングを用いて、顔、体などの形状に特徴のある部位を画像から探し出し、類似度が高ければ被写体とみなす手法などがある。これらの被写体認識の各動作は、CPU151の指令に基づいて行われる。また、これらの動作の少なくとも一部をCPU151で実行するように構成してもよい。
スイッチやダイヤル、釦等により構成される操作部156は、操作者が撮像装置100への指示を行うために用いられ、撮影モードや再生モード、撮影及び再生を実行する際の各種機能の選択及び切り替え等を設定することができる。操作部156から入力された操作指示信号は、バス160を介してCPU151に送られる。
撮影モード時には、CPU151は、操作部156からの指示、あるいは、一時的にRAM154に蓄積された画像データの信号の大きさに基づいて、撮像素子141の蓄積時間を決定する。同様に、CPU151は、操作部156からの指示、あるいは、一時的にRAM154に蓄積された画像データの信号の大きさに基づいて、撮像素子141から撮像信号処理部142へ出力するゲインの値、及び、絞り103に設定する絞り値を決定する。
撮像制御部143は、CPU151から蓄積時間、ゲインの設定値の指示を受け取って撮像素子141及び撮像信号処理部142を制御し、絞り制御部105は、絞り値の指示を受け取って絞り103を制御する。
バッテリ159は、電源管理部158により適切に管理され、撮像装置100の全体に安定した電源供給を行う。フラッシュメモリ155は、撮像装置100の動作に必要な制御プログラムを記憶している。
操作者の操作により撮像装置100が起動し、電源OFF状態から電源ON状態へ移行すると、フラッシュメモリ155に格納された制御プログラムがRAM154の一部に読み込まれる。CPU151は、RAM154に読み込まれた制御プログラムに従って、撮像装置100の動作を制御する。
次に、図2を参照して、撮像装置100の焦点調節を含む撮影動作について説明する。図2は、撮像装置100の撮影動作を示すフローチャートである。図2の各ステップは、CPU151の制御プログラムに従った指令に基づいて行われる。
撮像装置100の電源がONにされ、撮影モードになると、CPU151は撮影動作を開始する。まず、S101において、撮像装置100のフラグや制御変数などを初期化し、S102において、フォーカスレンズ131などの光学部材(撮像光学部材)を初期位置に移動させる。
次に、S103において、CPU151は操作者により電源OFF操作が行われたか否かを検出する。S103にて電源OFF操作が検出された場合、S104に進む。S104では、CPU151は、撮像装置100の電源をOFFにするため、撮像光学部材を初期位置へ移動し、各種フラグや制御変数のクリアなどの後処理を行い、撮像装置100の撮影動作を終了する。
一方、S103において電源OFF操作が検出されない場合、S105に進み、CPU151は、焦点検出処理を行う。続いて、S106において、フォーカス制御部133は、S105で行われた焦点検出処理により決定された駆動方向、速度、及び、位置に従ってフォーカスレンズ131を駆動し、フォーカスレンズ131を所望の位置に移動させる焦点制御処理を行う。なお、S105で行われる焦点検出処理及びS106で行われる焦点制御処理の詳細については、後述する。
続いてS107において、撮像素子141は、本露光により被写体像を光電変換して撮像信号を生成する。そして、撮像信号処理部142は、光電変換により生成された撮像信号に所定の画像処理を施して、画像信号の出力及び被写体認識を行う。
次にS108において、CPU151は、操作者により操作部156に含まれる記録ボタンの押下がなされたか否かを検出し、記録中であるか否かを判定する。記録中でない場合には、S103へ戻る。一方、記録中である場合には、S109に進む。
S109において、撮像信号処理部142から出力された画像信号(画像データ)は、画像圧縮伸張部153により圧縮処理され、記録媒体157に記録される。そして、S103へ戻り、上述の各ステップを繰り返す。
次に、第1の実施形態における位相差検出方法について説明する。まず、図3を参照して、撮像素子141の構成について説明する。
図3(a)は、瞳分割機能を有する撮像素子141の画素の構成図(断面図)である。各画素の光電変換素子30は、2つの光電変換素子30−1(第1の光電変換素子)及び光電変換素子30−2(第2の光電変換素子)に分割されており、瞳分割機能を有する。なお、本実施形態では、撮像素子141の全ての画素が2つの光電変換素子30−1,30−2に分割された焦点検出画素の構成を有する場合について説明するが、本発明はこれに限られるものではない。位相差AFを行うことができるように、少なくとも一部の画素が焦点検出画素の構成を有していればよい。
オンチップマイクロレンズ31(以下、「マイクロレンズ」と呼ぶ。)は、光電変換素子30に効率よく光を集める機能を有し、光電変換素子30−1,30−2の境界に光軸が合うように配置されている。また、各画素には、平坦化膜32、カラーフィルタ33、配線34、および、層間絶縁膜35が設けられている。
図3(b)は、撮像素子141が有する画素配列の一部を示す平面図である。撮像素子141は、図3(a)に示す構成を有する一画素を複数配列することで形成される。また、各画素にはR(赤色)、G(緑色)、B(青色)のカラーフィルタ33が交互に配置され、4画素で一組の画素ブロック40を配列することで、所謂ベイヤー配列が構成されている。なお、図3(b)において、R、G、Bのそれぞれの下に示される「1」または「2」は、光電変換素子30−1,30−2にそれぞれ対応している。
図3(c)は、撮像素子141の光学原理図であり、図3(b)中のA−A線で切断して得られた断面図の一部を示す。撮像素子141は、撮影レンズ101の予定結像面に配置されている。マイクロレンズ31の作用により、光電変換素子30−1,30−2はそれぞれ、撮影レンズ101の射出瞳の異なる領域を通過した一対の光束を受光するように構成されている。
光電変換素子30−1は、主に、撮影レンズ101の射出瞳のうち図3(c)中の右側の領域を透過する光束を受光する。一方、光電変換素子30−2は、主に、撮影レンズ101の射出瞳のうち図3(c)中の左側の領域を透過する光束を受光する。
続いて、図4を参照して、撮影レンズ101の射出瞳について説明する。図4は、撮像素子141から見た場合の、撮影レンズ101の射出瞳50を示す図である。
図4において、射出瞳50の右側の領域51−1は、光電変換素子30−1の感度領域に対応する瞳領域(以下、「A像瞳」と記す。)であり、左側の領域51−2は、光電変換素子30−2の感度領域に対応する瞳領域(以下、「B像瞳」と記す。)である。点52−1,52−2は、それぞれ、A像瞳51−1およびB像瞳51−2の重心位置を示している。
第1の実施形態において撮影動作を行う場合、同一画素において同一色のカラーフィルタが配置された2つの光電変換素子30−1,30−2の出力を加算することにより、画像信号を生成することが可能である。
一方、第1の実施形態にかかる焦点検出処理を行う場合、各画素ブロック40内における4つの光電変換素子30−1からの出力を積算することにより、一つの焦点検出信号を取得する。そして、各画素ブロック40の焦点検出信号を横(水平)方向に連続して取得することにより、A像信号を生成する。
同様に、各画素ブロック40内における4つの光電変換素子30−2からの出力を積算することにより、一つの焦点検出信号を取得する。そして、各画素ブロック40の焦点検出信を横方向の画素ブロックについて連続して取得することにより、B像信号を生成する。このようにして生成されたA像信号及びB像信号により、一対の位相差検出用信号が生成される。
続いて、図5を参照して、A像信号及びB像信号(位相差検出用信号)について説明する。図5(a)は、位相差検出用信号を説明するための図であり、縦軸は位相差検出用信号の信号レベル、横軸は画素位置をそれぞれ示している。生成したA像信号及びB像信号の像ずれ量Xは、撮影レンズ101の結像状態(合焦状態、前ピン状態、または、後ピン状態)に応じて変化する。
撮影レンズ101が合焦状態の場合、A像信号及びB像信号の像ずれ量は無くなる。一方、前ピン状態または後ピン状態の場合、異なる方向に像ずれ量が生じる。また、像ずれ量は、撮影レンズ101により被写体像が結像している位置とマイクロレンズ上面との距離、いわゆるデフォーカス量と一定の関係を有する。
そこで、像ずれ量Xを算出するため、A像信号及びB像信号に対して相関演算を行う。この相関演算では、A像信号及びB像信号の一方を1画素ずつシフトさせながら、相関量を演算し、相関量が最大となるシフト量が像ずれ量Xとして算出される。
この相関演算を行う際に、図5(a)で得られた、A像信号及びB像信号の画素値を予め決められた比率で間引いた上で(以下、「水平画素間引き」と呼ぶ。)相関演算を行うことが可能である。間引いて演算を行うことにより、演算精度は低下するものの、演算の高速化が可能となる。
図5(b)は、A像信号及びB像信号をシフトさせていった時の相関量(以下、「相関量波形」と呼ぶ。)を示す図である。図5(b)において、横軸はシフト量(単位は画素)、縦軸はその時のA像信号とB像信号の相関量を示している。相関演算はCPU151で行われる。相関量を算出する際、A像信号及びB像信号を重ねて、それぞれ対応する信号同士を比較し、小さい方の値の累積を取得する。なお、大きい方の値の累積を取得しても良い。また、これらの値の差分を取得しても良い。累積値は、相関を指し示す指標となり、小さい方の値の累積を取得した場合には、累積値が最も大きい時が相関が最も高い時である。なお、大きい方の値の累積を取得した場合、または差分を取得した場合、累積値が最も小さい時が相関の最も高い時となる。
このようにして得られた累積値(相関量)に基づいて、位相差AF処理部135は、相関量が最大となるシフト量、即ち、像ずれ量Xを検出する。そして、像ずれ量Xから撮影レンズ101のデフォーカス量を求め、撮影レンズ101が合焦状態になるようなレンズ駆動量を算出することで焦点調節を行う。
次に、図6を参照して、相関演算により算出された像ずれ量Xからデフォーカス量へ変換する概念について説明する。図6は、撮影レンズ101及び撮像素子141を含む光学系を示す図である。被写体60に対する予定結像面の位置p0の光軸OA上に焦点検出面の位置p1がある。像ずれ量とデフォーカス量との関係は、光学系に応じて決定される。デフォーカス量は、像ずれ量Xに所定の係数K(換算係数)を掛けることにより算出することができる。
係数Kは、A像瞳51−1とB像瞳51−2の重心位置52−1,52−2に基づいて算出される。焦点検出面の位置p1が位置p2に移動した場合、位置p0、q2、q3の三角形と位置p0、q2’、q3’との三角形の相似に従って、像ずれ量Xが変化する。この位置p1から位置p2への移動量と、像ずれ量Xの変化量とから、焦点検出面の位置p2でのデフォーカス量を算出することが可能である。CPU151は、デフォーカス量に基づいて、被写体に対して合焦状態を得るためのフォーカスレンズ131の位置を算出する。
次に、図7を参照して、第1の実施形態の焦点検出方法にて用いられる焦点検出領域の設定方法について説明する。図7は、焦点検出領域の一例を示す図である。
本第1の実施形態では、図7(a)に示すように、撮像画角70内の適切な位置に、適切な大きさの焦点検出領域71を設ける。この焦点検出領域71は、被写体に応じて適切な個数、設けられ、各焦点検出領域71において焦点検出を行う。例えば、被写体として顔を捉え、この顔に焦点を追従させたい場合には、顔認識による検出結果に基づいて、検出された顔の付近に、適切な位置、大きさの焦点検出領域71を設ける。更に、顔の周囲にも焦点検出領域71を複数設けることにより、顔が画面内で動いた場合の焦点検出が可能となる。なお、焦点検出対象となる被写体は顔に限定されず、ユーザ操作によって指定される被写体や範囲を対象としてもよい。
また、第1の実施形態の各焦点検出領域71は、図7(b)に示すように、図中縦方向(第1の方向)に分割した分割領域72〜76に分割されている。そして分割領域72〜76それぞれにおいて、位相差AF処理部135は、輝度ライン加算数L1分の輝度ライン加算を行った位相差検出用信号を生成し、焦点検出を行う。
全ての分割領域72〜76の相関演算を行うことにより、分割数L2分の相関量波形を得る。この分割数L2分の相関量波形を加算することにより、最終的な焦点検出領域71における相関量波形を取得する。
そして、この焦点検出領域71における相関量波形から相関量が最大になる像ずれ量Xを算出する。本実施形態においては、分割数L2は最も多い場合で、焦点検出領域71内に含まれる画素ブロック40の図中縦方向の数分であり、分割数によって、焦点検出領域71内の輝度ライン加算数L1と分割数L2の比率を制御することができる。
焦点検出領域71内の輝度ライン加算数L1を増やし、分割数L2を減らすことで、相関演算を行う回数を減らし、演算の高速化が可能となるが、輝度ライン加算することにより、細かい模様の被写体に対する演算精度は低下する。
第1の実施形態では、顔などの主要な被写体(以下、「主被写体」と記す。)が検出されている場合に、主被写体に焦点を合わせ続けるために、撮像画角70中の主被写体の位置に対して焦点検出を行い、焦点検出の結果を連続的に用いることで、動体に追従した焦点調節を行う。
図8は、焦点検出の結果(合焦位置)を連続的に用いて動体の位置を予測する方法を説明するための図である。横軸は時間を示し、縦軸は各時間における合焦位置を示している。時間経過と合焦位置の過程から、主被写体が次にどの位置にいるかを予測することが可能である。また、この予測結果に基づいてフォーカスレンズ131を調節することにより、主被写体が動いている場合でも、焦点を合わせ続ける制御が可能である。しかしながら、焦点検出領域が複数あり、各焦点検出領域に演算時間がかかってしまうと、1回の焦点検出にかかる時間が長くなる。合焦位置の時間方向のサンプリングが粗くなることにより、動体の動きを予測する精度が低下してしまう場合がある。
そこで、第1の実施形態では、動体の動きを予測するモードに入った場合に、焦点検出領域の設定を変更することで、1回の焦点検出にかかる時間を短くする。
以下、図9を参照して、第1の実施形態における焦点検出領域の設定方法について説明する。図9の各ステップは、CPU151により実施される。
まずS201において、各焦点検出領域71の初期設定を行う。ここでは一例として、初期値として、輝度ライン加算数L1を8(即ち、2画素ブロック分)、分割数L2を12、水平画素間引き無しに設定する。続いてS202において、被写体検知を行う。この被写体検知は、画像処理部152で行われる顔検出などの被写体認識によって行われる。
S203では、検知した被写体が動体か否かを判別する。この判別は、被写体認識の結果を時間方向に数回確認することにより、撮影したい被写体である主被写体が動いているか否かを判別することによりなされる。具体的には、主被写体の位置及び大きさの少なくともいずれかが時間方向で変化している場合に、動体であると判別する。この判別に、焦点検出結果の過去数回の結果を参照するようにしても良い。時間方向に変化が見られる場合には、被写体は動体であると判断し、時間方向に変化がない場合には、被写体は動体ではないと判断する。S203において、被写体が動体でないと判断された場合には、処理を終了する。
一方、S203において、被写体が動体であると判断された場合、S204へ進み、輝度ライン加算数L1を16(4画素ブロック分)、分割数L2を6に設定する。このように、各焦点検出領域71内の輝度ライン加算数L1を増やし、分割数L2を減らすことで、相関演算を行う回数を減らし、演算時間を短くする。これにより、動体に追従するために、時間方向の焦点検出のサンプリングを多くすることができる。
次にS205において、S202で検出した被写体の水平方向のサイズが200画素(第1の閾値)より大きいか否かを判別する。200画素以下(第1の閾値以下)の場合は処理を終了し、200画素より大きい場合は、S206へ進む。
S206では、水平画素間引きを行うように設定する。この時、得られた輝度波形から、例えば、1画素とばしの画素データを用いて、相関演算を行う。このようにすることにより、演算時間を短くする。なお、画素データ量を減らすために水平方向(第2の方向)に間引きを行うものとして説明したが、水平方向に加算することにより画素データ量を減らすようにしても構わない。上記のようにして焦点検出領域の設定が終了すると、処理を終了する。
続いて、図10を参照して、図2のS105で行われる第1の実施形態における焦点検出処理について説明する。図10の各ステップは、CPU151、位相差AF処理部135、及び、フォーカス制御部133により実施され、図2のS105で行われる。
焦点検出が開始されると、まずS301において、図9を参照して説明した焦点検出領域設定処理を行う。次に、焦点検出に用いる位相差検出用信号を取得するため、CPU151及び撮像制御部143は撮像素子141を制御して所定の蓄積時間に従って、電荷蓄積(露光)を行う(S302)。所定の蓄積時間が経過すると(S303でYES)、S304において、各焦点検出領域71の光電変換素子30−1,30−2から、画素値の読み出しを行う。
次にS305において、CPU151は、各焦点検出領域71の所定画素数分の読み出しが完了したか否かを判定する。所定画素数分の読み出しが完了していない場合はS304に戻り、所定画素数分の読み出しが終了するまでS304〜S305を繰り返す。
所定画素数分の読み出しが完了すると、S306において、フォーカス制御部133は、分割数L2に分割して、図7に示すような各焦点検出領域71の分割領域の内の最初の1領域分の、輝度加算した位相差検出用信号に対し、前補正処理を行う。この前補正処理は、読み出した像信号に対する補正処理と、平均化フィルタ、エッジ強調フィルタなどの像信号のフィルタ処理とを含む。
そしてS307において、CPU151(フォーカス制御部133または位相差AF処理部135)は相関演算を行い、図5に示したような相関量波形を算出し、S308において、算出した相関量波形を加算する。
S309において、分割数L2分の相関演算及び加算を行ったか否かを判定し、分割数L2分の相関演算及び加算が完了していない場合、S306に戻り、次の分割領域における相関演算を行う。以後、焦点検出領域71に含まれる全分割領域の相関演算及び加算が完了するまで、S306〜S309を繰り返す。
S309において、分割数L2分の相関演算及び加算を行ったと判定されると、S310に進み、加算された相関量から、相関が最も高くなるシフト量、即ち、像ずれ量Xの算出を行う。なお、ここでの像ずれ量算出は、相関が最も高くなるシフト量と前後のシフト量での相関値を用いて補間演算を行い、1シフト以内の補間値の算出することを含む。このシフト量と補間値との和が像ずれ量Xとなる。このように、CPU151及び位相差AF処理部135は、光電変換素子30−1,30−2それぞれから独立して得られた信号値を用いた相関演算を行って像ずれ量を算出する。
続いてS311において、CPU151(または、フォーカス制御部133または位相差AF処理部135)は、算出した像ずれ量Xの信頼性を評価する。この信頼性は、像信号のコントラストや2つの像信号の一致度などに基づいて算出される。
続いて、S312において、CPU151(または、フォーカス制御部133または位相差AF処理部135)は、算出された信頼性の評価値に基づいて、信頼できる像ずれ量Xが得られたか否かを判定する。この信頼性判定では、例えば、S311で算出した信頼性の評価値が所定の閾値よりも大きいか否かに従って、所定値より大きい場合は信頼できると判定し、所定値以下の場合は信頼できないと判定する。なお、S312には、相関演算が苦手とする被写体か否かの判定も含む。
信頼性があると判定された場合、S313において、CPU151(フォーカス制御部133または位相差AF処理部135)は、算出された像ずれ量Xに係数Kを掛けることにより、デフォーカス量Defを算出する。なお、このデフォーカス量を算出するにあたり、撮影レンズ101を被写体に対してよりピントを合わせるための後補正処理を行うようにしても良い。
一方、S312において信頼性のある像ずれ量を検出できなかったと判定された場合は、位相差AFを行わず(S314)、位相差AFを行えない旨をモニタディスプレイ150に表示して操作者に通知する。
S315において、画角70内に設定された全焦点検出領域71に対して、演算が完了したか否かを確認する。演算が完了していない場合には、S306へ戻り、以後、全焦点検出領域71の演算が完了するまでS306〜S315を繰り返す。
S315において演算が完了した場合、焦点検出処理を終了して、本処理を呼び出したメインルーチンに戻る。
次に、図11を参照して、第1の実施形態で行われる焦点制御処理について説明する。図11に示される各ステップは、CPU151及びフォーカス制御部133により実施され、図2のS106で行われる。焦点制御動作が開始されると、CPU151は制御プログラムに従い所定の演算を行う。そして、フォーカス制御部133は、CPU151の指令に基づいて、フォーカスモータ132の制御を行う。
焦点制御が開始されると、S401において、フォーカス制御部133は、図10を参照して説明した焦点検出処理により算出されたデフォーカス量を取得する。
そして、S402において、フォーカス制御部133は、デフォーカス量に基づいてフォーカスレンズ131の駆動量(レンズ駆動量)を算出する。なお、このレンズ駆動量の算出には、レンズ駆動方向と速度の算出も含まれる。
続いて、S403において、CPU151(フォーカス制御部133)は、デフォーカス量の絶対値が所定値以下であるか否かを判定する。S403においてデフォーカス量の絶対値が所定値以下ではないと判定された場合、S404に進む。
S404では、フォーカスレンズ131の位置は合焦位置(合焦点)ではないと見なされ、S402で算出されたレンズ駆動量に従って、フォーカスレンズ131を駆動し、処理を終了する。以後、図2に示されるフローに従って、焦点検出とフォーカスレンズ駆動を繰り返す。
一方、S403において、デフォーカス量の絶対値が所定値以下であると判定された場合、S405に進む。このとき、フォーカスレンズ位置は合焦点にあると見なされ、S405にてレンズ駆動を停止し、処理を終了する。以後、図2に示されるフローに従ってS105で焦点検出を行い、デフォーカス量が再び所定値を超えた場合にはフォーカスレンズ131を駆動する。
上述した焦点検出及び焦点制御の動作は、図2のフローに示される通り、電源をOFFにされるまで、図9、図10、図11のフローを繰り返すことで、被写体に合焦するように複数回行われる。
以上のように本第1の実施形態によれば、被写体が動体であるか否かを判別し、焦点検出領域の輝度ライン加算数及び分割数の比率を制御することにより、演算を高速化することが可能となる。被写体が動体である場合には、演算の高速化によって、時間方向のサンプリングを増やすことにより、予測の精度を向上させ、動体に追従して焦点調節を行うことができる。
なお、上述した第1の実施形態における数値は一例である。例えば、図9のS205において、被写体の水平方向のサイズが200画素より大きいか否かのみを判別し、水平画素間引きする、しないの設定を行ったが、サイズの判別を複数段で行うようにし、サイズに応じて、間引きの程度を変更する構成としても良い。
また、移動量に応じて、輝度ライン加算数L1、分割数L2のそれぞれについて、上限、下限を設けるようにしてもよい。
また、図9において、主被写体が動体であるか否かに基づいて輝度ライン加算数L1と分割数L2を変更する方法について述べたが、この時、図10のS306において、異なるフィルタを用いるなど、前処理を変更してもよい。
また、図10のS313において、デフォーカス量を算出する際に、撮影レンズ101を被写体に対してよりピントを合わせるための後補正処理を行う場合があるが、被写体が動体である場合には、後補正処理を行わないようにしても良い。この後補正処理には、よりピントを合わせるために、撮影レンズ101の焦点距離などの情報やF値などの撮影設定に関する情報を用いて、デフォーカス量に加減する補正値を算出するなどの処理が含まれる。そのため、補正値算出にかかる演算時間がそのまま焦点検出にかかる演算時間に加わってしまう。一方、被写体は動き続けているため、よりピントを合わせるための補正値算出を行っても、被写体の位置は変わっている可能性が高い。被写体が動体である場合には、後補正処理を行わないようにすることで、演算の高速化を行っても良い。
また、第1の実施形態では、撮像素子141がベイヤー配列のカラーフィルタにより覆われているものとしたが、カラーフィルタの配列はこれに限られるものではない。また、各画素ブロックにおける4画素の光電変換素子30−1,30−2をそれぞれ積算するものとして説明したが、積算せずに、各画素の光電変換素子30−1,30−2からそれぞれ得られる画素信号を、上述した焦点検出制御に用いても良い。
<第2の実施形態>
次に、本発明の第2の実施形態における焦点検出領域の設定方法について説明する。第1の実施形態では、動体を検出したか否か、またその被写体の大きさに応じて、焦点検出領域の輝度ライン加算数、分割数を設定する方法について説明した。これに対し、第2の実施形態では、繰り返し焦点検出を行う中で、被写体の画面内、光軸の移動に応じて、焦点検出領域の数、及び、相関演算時のシフト範囲を変更する方法について説明する。
なお、第2の実施形態において、第1の実施形態と同一の構成及び処理内容については、同一の符号を用いてその説明を省略する。
図12を参照して、第2の実施形態における、焦点検出領域の設定方法について説明する。図12の各ステップは、CPU151により実施され、図10のS301において行われる。
まずS501において、各焦点検出領域71の初期設定を行う。ここでは一例として、初期値として、焦点検出領域71の設定個数を20個に設定する。また、相関演算時のシフト範囲(図5(b)のA像信号及びB像信号をシフトさせて相関量を算出する範囲)を100に設定する。続いてS502において、被写体検知を行う。この被写体検知は、画像処理部152で行われる顔検出などの被写体認識によって行われる。
S503において、検知した被写体が動体か否かを判別し、被写体が動体でない場合は処理を終了する。一方、被写体が動体である場合、S504へ進み、主被写体の画面中の移動量が所定値(第2の閾値、または第1の閾値)より小さいか否かを判定する。画面中の移動量の算出には、被写体認識の結果の時間方向の差を利用する。前回被写体認識を行った時の主被写体位置を記憶しておき、今回被写体認識の主被写体位置を比較する。そして、例えば100画素以上離れている場合に、主被写体の画面中の移動量が所定値以上(第2の閾値以上、または第1の閾値以上)と判別し、100画素未満の場合に、主被写体の画面中の移動量が所定値より小さいと判別する。
S504において、主被写体の画面中の移動量が所定値以上の場合は、S506に進む。一方、主被写体の画面中の移動量が所定値より小さい場合は、S505に進み、焦点検出領域71の設定個数を4に設定する。これは、主被写体の画面中の移動量が小さい場合には、多くの焦点検出領域71を設けなくても、次に被写体がいると予測される位置をカバーできるためである。そのため、焦点検出領域71の数を減らすことにより、1回の焦点検出にかかる演算時間を短くすることができる。
次に、S506において、主被写体の光軸方向の移動量が所定値(第3の閾値、または第2の閾値)より小さいか否かを判定する。光軸方向の移動量の算出には、焦点検出結果の過去数回の結果を参照する。前回焦点検出を行った時の焦点検出結果を記憶しておき、今回の焦点検出における主被写体位置と比較する。あるいは、前回の焦点調節時のフォーカスレンズ131のレンズ位置と、今回の焦点調節時のレンズ位置を比較しても良い。これが、デフォーカス量にして3mm以上離れている場合に、主被写体の光軸方向の移動量が所定値以上(第3の閾値以上、または第2の閾値以上)と判定し、3mm未満の場合に、主被写体の光軸の移動量が所定値より小さいと判定する。
S506において、主被写体の光軸方向の移動量が所定値以上の場合は、処理を終了し、所定値より小さい場合は、S507に進む。S507において、焦点検出領域71における相関演算におけるシフト範囲を、移動量が所定値以上の場合よりも狭い範囲、例えば50画素に設定する。これは、主被写体の光軸方向の移動量が小さい場合には、相関演算のシフト範囲を広く設けなくても、次に被写体が存在すると予測される位置をカバーできるためである。そのため、相関演算のシフト範囲を狭くすることにより、1回の焦点検出にかかる演算時間を短くすることができる。
以上のように、本第2の実施形態によれば、被写体が動体であるか否かを判別し、動きの大きさに応じて焦点検出領域数及び相関演算のシフト範囲を制御することにより、演算を高速化することができる。被写体が動体である場合には、演算の高速化によって、時間方向のサンプリングを増やすことにより、予測の精度を向上させ、動体に追従して焦点調節を行うことが可能になる。
なお、上述した第2の実施形態における数値は一例である。例えば、S1305において、主被写体の画面中の移動量が所定値より大きいか否かのみを判別し、焦点検出領域71の個数の設定を行ったが、移動量に応じて、焦点検出領域の数を段階的に設定する構成としても良い。
また、第1の実施形態で説明したように輝度ライン加算数L1、分割数L2のそれぞれについて、上限、下限を設けるようにしてもよい。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
101:撮影レンズ、131:フォーカスレンズ、133:フォーカス制御部、135:位相差AF処理部、141:撮像素子、143:撮像制御部、151:CPU、156:操作部

Claims (12)

  1. 撮像光学系の異なる瞳領域を透過した対の光束を、それぞれ一つのマイクロレンズを共有する第1の光電変換素子および第2の光電変換素子で受光する複数の焦点検出画素を備えた撮像素子から出力された信号を用いて、位相差方式の焦点検出を行う焦点検出装置であって、
    前記撮像素子に結像された画像における被写体を含むように、前記焦点検出を行う1つ以上の焦点検出領域を設定する設定手段と、
    前記被写体の位置および大きさの少なくともいずれかが変化しているか否かを検出する検出手段と、
    前記検出手段による検出結果に応じて、前記焦点検出領域を予め決められた第1の方向に分割することで、複数の分割領域に分割する分割手段と、
    前記分割領域ごとに、各分割領域に含まれる前記第1の光電変換素子から出力された信号を前記第1の方向に加算すると共に、前記各分割領域に含まれる前記第2の光電変換素子から出力された信号を前記第1の方向に加算し、加算して得られた一対の信号を互いにシフトしながら相関量を求め、求めた前記分割領域ごとの相関量を前記焦点検出領域ごとに加算した相関量に基づいて、前記焦点検出を行う焦点検出手段と、を有し、
    前記分割手段は、前記被写体の位置及び大きさの少なくともいずれかが変化している場合に、変化していない場合よりも前記分割領域の分割数を少なくすることを特徴とする焦点検出装置。
  2. 前記焦点検出手段は、前記被写体の大きさが予め決められた第1の閾値よりも大きいか否かを検出し、前記被写体の大きさが前記第1の閾値よりも大きい場合に、前記焦点検出画素から出力された信号を、前記第1の方向と垂直な第2の方向に間引きまたは加算することを特徴とする請求項1に記載の焦点検出装置。
  3. 前記被写体の位置が変化している場合、前記設定手段は、前記被写体の位置の移動量が予め決められた第2の閾値より小さい場合に、前記第2の閾値以上の場合よりも、設定する前記焦点検出領域の数を少なくすることを特徴とする請求項1または2に記載の焦点検出装置。
  4. 前記焦点検出手段は、前記検出手段により検出された前記被写体の位置の大きさの変化量が予め決められた第3の閾値よりも小さい場合に、前記シフトする範囲を、前記第3の閾値以上の場合よりも狭い範囲に設定することを特徴とする請求項1乃至3のいずれか1項に記載の焦点検出装置。
  5. 撮像光学系の異なる瞳領域を透過した対の光束を、それぞれ一つのマイクロレンズを共有する一対の光電変換素子で受光する複数の焦点検出画素を備えた撮像素子から出力された信号を用いて、位相差方式の焦点検出を行う焦点検出装置であって、
    前記撮像素子に結像された画像における被写体を含むように、前記焦点検出を行う1つ以上の焦点検出領域を設定する設定手段と、
    前記被写体の位置が変化している場合に、前記被写体の位置の移動量を検出する検出手段と、
    前記焦点検出領域ごとに、各焦点検出領域に含まれる前記焦点検出画素から出力された信号に基づいて、前記焦点検出を行う焦点検出手段と、を有し、
    前記設定手段は、前記被写体の位置の移動量が予め決められた第1の閾値よりも小さい場合に、前記第1の閾値以上の場合よりも、設定する前記焦点検出領域の数を少なくすることを特徴とする焦点検出装置。
  6. 前記焦点検出手段は、前記一対の光電変換素子からそれぞれ出力された信号を互いにシフトしながら相関量を求めることにより焦点検出を行い、
    前記検出手段は、更に、前記被写体の大きさが変化しているか否かを検出し、
    前記検出手段により検出された前記被写体の大きさの変化量が予め決められた第2の閾値よりも小さい場合に、前記シフトする範囲を、前記第2の閾値以上の場合よりも狭い範囲に設定することを特徴とする請求項5に記載の焦点検出装置。
  7. 前記焦点検出手段による焦点検出結果を、フォーカスレンズを駆動するための駆動量に変換する変換手段を更に有し、
    前記変換手段は、前記フォーカスレンズを含む撮像光学系の情報を用いて、前記駆動量を補正する処理を行うことが可能であって、前記被写体の位置および大きさの少なくともいずれかが変化している場合に、当該補正を行わないことを特徴とする請求項1乃至6のいずれか1項に記載の焦点検出装置。
  8. 撮像光学系の異なる瞳領域を透過した対の光束を、それぞれ一つのマイクロレンズを共有する一対の光電変換素子で受光する複数の焦点検出画素を備えた撮像素子から出力された信号を用いて、位相差方式の焦点検出を行う焦点検出装置であって、
    前記撮像素子に結像された画像における被写体を含むように、前記焦点検出を行う1つ以上の焦点検出領域を設定する設定手段と、
    前記被写体の大きさが変化しているか否かを検出する検出手段と、
    前記焦点検出領域ごとに、前記一対の光電変換素子からそれぞれ出力された信号を互いにシフトしながら相関量を求めることにより前記焦点検出を行う焦点検出手段と、を有し、
    前記焦点検出手段は、前記検出手段により検出された前記被写体の大きさの変化量が予め決められた閾値よりも小さい場合に、前記シフトする範囲を、前記閾値以上の場合よりも狭い範囲に設定することを特徴とする焦点検出装置。
  9. 前記撮像素子と、
    請求項1乃至8のいずれか1項に記載の焦点検出装置と
    を有することを特徴とする撮像装置。
  10. 撮像光学系の異なる瞳領域を透過した対の光束を、それぞれ一つのマイクロレンズを共有する第1の光電変換素子および第2の光電変換素子で受光する複数の焦点検出画素を備えた撮像素子から出力された信号を用いて、位相差方式の焦点検出を行う焦点検出方法であって、
    設定手段が、前記撮像素子に結像された画像における被写体を含むように、前記焦点検出を行う1つ以上の焦点検出領域を設定する設定工程と、
    検出手段が、前記被写体の位置および大きさの少なくともいずれかが変化しているか否かを検出する検出工程と、
    分割手段が、前記検出工程における検出結果に応じて、前記焦点検出領域を予め決められた第1の方向に分割することで、複数の分割領域に分割する分割工程と、
    焦点検出手段が、前記分割領域ごとに、各分割領域に含まれる前記第1の光電変換素子から出力された信号を前記第1の方向に加算すると共に、前記各分割領域に含まれる前記第2の光電変換素子から出力された信号を前記第1の方向に加算する第1の加算工程と、
    前記焦点検出手段が、前記分割領域ごとに、加算して得られた一対の信号を互いにシフトしながら相関量を求める演算工程と、
    前記焦点検出手段が、求めた前記分割領域ごとの相関量を前記焦点検出領域ごとに加算する第2の加算工程と、
    前記焦点検出手段が、前記加算した相関量に基づいて、前記焦点検出を行う焦点検出工程と、を有し、
    前記分割工程において、前記被写体の位置及び大きさの少なくともいずれかが変化している場合に、変化していない場合よりも前記分割領域の分割数を少なくすることを特徴とする焦点検出方法。
  11. 撮像光学系の異なる瞳領域を透過した対の光束を、それぞれ一つのマイクロレンズを共有する一対の光電変換素子で受光する複数の焦点検出画素を備えた撮像素子から出力された信号を用いて、位相差方式の焦点検出を行う焦点検出方法であって、
    設定手段が、前記撮像素子に結像された画像における被写体を含むように、前記焦点検出を行う1つ以上の焦点検出領域を設定する設定工程と、
    検出手段が、前記被写体の位置が変化している場合に、前記被写体の位置の移動量を検出する検出工程と、
    焦点検出手段が、前記焦点検出領域ごとに、各焦点検出領域に含まれる前記焦点検出画素から出力された信号に基づいて、前記焦点検出を行う焦点検出工程と、を有し、
    前記設定工程において、前記被写体の位置の移動量が予め決められた第1の閾値よりも小さい場合に、前記第1の閾値以上の場合よりも、設定する前記焦点検出領域の数を少なくすることを特徴とする焦点検出方法。
  12. 撮像光学系の異なる瞳領域を透過した対の光束を、それぞれ一つのマイクロレンズを共有する一対の光電変換素子で受光する複数の焦点検出画素を備えた撮像素子から出力された信号を用いて、位相差方式の焦点検出を行う焦点検出方法であって、
    設定手段が、前記撮像素子に結像された画像における被写体を含むように、前記焦点検出を行う1つ以上の焦点検出領域を設定する設定工程と、
    検出手段が、前記被写体の大きさが変化しているか否かを検出する検出工程と、
    焦点検出手段が、前記焦点検出領域ごとに、前記一対の光電変換素子からそれぞれ出力された信号を互いにシフトしながら相関量を求めることにより前記焦点検出を行う焦点検出工程と、を有し、
    前記焦点検出工程では、前記検出工程において検出された前記被写体の大きさの変化量が予め決められた閾値よりも小さい場合に、前記シフトする範囲を、前記閾値以上の場合よりも狭い範囲に設定することを特徴とする焦点検出方法。
JP2016009979A 2016-01-21 2016-01-21 焦点検出装置及び方法、及び撮像装置 Pending JP2017129788A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016009979A JP2017129788A (ja) 2016-01-21 2016-01-21 焦点検出装置及び方法、及び撮像装置
US15/410,027 US10313577B2 (en) 2016-01-21 2017-01-19 Focus detection apparatus, focus detection method, and image capturing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016009979A JP2017129788A (ja) 2016-01-21 2016-01-21 焦点検出装置及び方法、及び撮像装置

Publications (2)

Publication Number Publication Date
JP2017129788A true JP2017129788A (ja) 2017-07-27
JP2017129788A5 JP2017129788A5 (ja) 2019-03-07

Family

ID=59359254

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016009979A Pending JP2017129788A (ja) 2016-01-21 2016-01-21 焦点検出装置及び方法、及び撮像装置

Country Status (2)

Country Link
US (1) US10313577B2 (ja)
JP (1) JP2017129788A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019031000A1 (ja) * 2017-08-09 2019-02-14 ソニー株式会社 信号処理装置、撮像装置、信号処理方法及びプログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017129788A (ja) * 2016-01-21 2017-07-27 キヤノン株式会社 焦点検出装置及び方法、及び撮像装置
JP6530437B2 (ja) * 2017-03-27 2019-06-12 アンリツ株式会社 光コネクタ端面検査装置とその合焦画像データ取得方法
US10387477B2 (en) * 2017-05-30 2019-08-20 Qualcomm Incorporated Calibration for phase detection auto focus (PDAF) camera systems
JP7012142B2 (ja) * 2018-03-01 2022-01-27 富士フイルム株式会社 焦点調節操作検出装置、焦点調節操作検出方法及び焦点調節操作検出プログラム、並びに、撮像装置本体及び撮像装置
US11182914B2 (en) 2018-05-21 2021-11-23 Facebook Technologies, Llc Dynamic structured light for depth sensing systems based on contrast in a local area

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01287512A (ja) * 1988-05-13 1989-11-20 Minolta Camera Co Ltd 自動焦点検出装置
JP2006017960A (ja) * 2004-06-30 2006-01-19 Kodak Digital Product Center Japan Ltd 撮像方法及び撮像装置
JP2007047617A (ja) * 2005-08-12 2007-02-22 Canon Inc 焦点調節装置、撮像装置、及び焦点調節装置の制御方法
JP2008241733A (ja) * 2007-03-23 2008-10-09 Canon Inc 撮像装置
WO2012073729A1 (ja) * 2010-11-30 2012-06-07 富士フイルム株式会社 撮像装置及びその合焦位置検出方法
JP2012178705A (ja) * 2011-02-25 2012-09-13 Nikon Corp 撮像装置およびプログラム
WO2013088917A1 (ja) * 2011-12-13 2013-06-20 ソニー株式会社 画像処理装置、画像処理方法、及び記録媒体

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62148911A (ja) * 1985-12-23 1987-07-02 Minolta Camera Co Ltd 焦点検出装置
US4768054A (en) * 1986-02-14 1988-08-30 Minolta Camera Kabushiki Kaisha Focus condition detecting device
JPS63246730A (ja) * 1986-05-16 1988-10-13 Minolta Camera Co Ltd 焦点検出装置
EP0364137A3 (en) * 1988-09-29 1991-07-03 Nikon Corporation Automatic focus state detecting apparatus
JP3012025B2 (ja) * 1991-04-16 2000-02-21 コニカ株式会社 自動焦点カメラ
JP3188742B2 (ja) * 1992-01-31 2001-07-16 キヤノン株式会社 カメラ
JPH0875986A (ja) * 1994-09-06 1996-03-22 Nikon Corp 焦点検出装置
JP2002072061A (ja) * 2000-08-23 2002-03-12 Canon Inc 測距装置及びカメラ
JP4785266B2 (ja) * 2001-04-17 2011-10-05 キヤノン株式会社 多点測距装置
JP5483953B2 (ja) * 2009-08-18 2014-05-07 キヤノン株式会社 焦点調節装置、焦点調節方法及びプログラム
JP5482444B2 (ja) 2010-05-24 2014-05-07 株式会社ニコン 撮像装置
JP2014032214A (ja) 2010-11-30 2014-02-20 Fujifilm Corp 撮像装置及びその合焦位置検出方法
JP6249825B2 (ja) * 2014-03-05 2017-12-20 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JP6442362B2 (ja) * 2015-05-29 2018-12-19 キヤノン株式会社 撮像装置及び撮像素子の制御方法
JP2017129788A (ja) * 2016-01-21 2017-07-27 キヤノン株式会社 焦点検出装置及び方法、及び撮像装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01287512A (ja) * 1988-05-13 1989-11-20 Minolta Camera Co Ltd 自動焦点検出装置
JP2006017960A (ja) * 2004-06-30 2006-01-19 Kodak Digital Product Center Japan Ltd 撮像方法及び撮像装置
JP2007047617A (ja) * 2005-08-12 2007-02-22 Canon Inc 焦点調節装置、撮像装置、及び焦点調節装置の制御方法
JP2008241733A (ja) * 2007-03-23 2008-10-09 Canon Inc 撮像装置
WO2012073729A1 (ja) * 2010-11-30 2012-06-07 富士フイルム株式会社 撮像装置及びその合焦位置検出方法
JP2012178705A (ja) * 2011-02-25 2012-09-13 Nikon Corp 撮像装置およびプログラム
WO2013088917A1 (ja) * 2011-12-13 2013-06-20 ソニー株式会社 画像処理装置、画像処理方法、及び記録媒体

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019031000A1 (ja) * 2017-08-09 2019-02-14 ソニー株式会社 信号処理装置、撮像装置、信号処理方法及びプログラム
CN110945399A (zh) * 2017-08-09 2020-03-31 索尼公司 信号处理设备、成像设备、信号处理方法和程序
JPWO2019031000A1 (ja) * 2017-08-09 2020-07-09 ソニー株式会社 信号処理装置、撮像装置、信号処理方法及びプログラム
US11394866B2 (en) 2017-08-09 2022-07-19 Sony Group Corporation Signal processing device, imaging device, signal processing meihod and program
CN110945399B (zh) * 2017-08-09 2022-09-20 索尼公司 信号处理设备、成像设备、信号处理方法和存储器
JP7230807B2 (ja) 2017-08-09 2023-03-01 ソニーグループ株式会社 信号処理装置、撮像装置、信号処理方法及びプログラム

Also Published As

Publication number Publication date
US20170214845A1 (en) 2017-07-27
US10313577B2 (en) 2019-06-04

Similar Documents

Publication Publication Date Title
JP6029309B2 (ja) 焦点検出装置
JP6405243B2 (ja) 焦点検出装置及びその制御方法
JP6033038B2 (ja) 焦点検出装置、撮像装置、撮像システム、および、焦点検出方法
JP2017129788A (ja) 焦点検出装置及び方法、及び撮像装置
US9137436B2 (en) Imaging apparatus and method with focus detection and adjustment
US8854528B2 (en) Imaging apparatus
US10511781B2 (en) Image pickup apparatus, control method for image pickup apparatus
US10395348B2 (en) Image pickup apparatus, image processing apparatus, and control method of image pickup apparatus
JP5750551B2 (ja) 複数被写体の距離計測装置及び方法
US9411211B2 (en) Image capturing apparatus and imaging method
CN103039066A (zh) 成像装置、图像处理装置以及图像处理方法
JP5056168B2 (ja) 焦点調節装置および撮像装置
CN106470317B (zh) 摄像设备及其控制方法
US8644698B2 (en) Focusing-state detection apparatus, imaging apparatus, and its control method
US20180048805A1 (en) Control apparatus for performing focus detection, image capturing apparatus, control method, and non-transitory computer-readable storage medium
JP2015087511A (ja) 焦点検出装置、その制御方法、および制御プログラム、並びに撮像装置
JP2013160991A (ja) 撮像装置
JP6395621B2 (ja) 焦点調節装置及びそれを用いた撮像装置及び焦点調節方法
US10003735B2 (en) Calculation device and image pickup device using calculation device and calculation method
JP2011017754A (ja) 撮像装置、撮像装置の制御方法、及びコンピュータプログラム
JP6624789B2 (ja) 合焦制御装置、その制御方法、および制御プログラム、並びに撮像装置
JP2009042556A (ja) 電子カメラ
JP2015043044A (ja) 焦点検出装置およびその制御方法
JP6740019B2 (ja) 撮像装置およびその制御方法
JP6929145B2 (ja) 撮像装置、撮像方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190712

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200107