JP2017173374A - 焦点検出装置および方法、および撮像装置 - Google Patents

焦点検出装置および方法、および撮像装置 Download PDF

Info

Publication number
JP2017173374A
JP2017173374A JP2016056112A JP2016056112A JP2017173374A JP 2017173374 A JP2017173374 A JP 2017173374A JP 2016056112 A JP2016056112 A JP 2016056112A JP 2016056112 A JP2016056112 A JP 2016056112A JP 2017173374 A JP2017173374 A JP 2017173374A
Authority
JP
Japan
Prior art keywords
focus detection
image
color
focus
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016056112A
Other languages
English (en)
Other versions
JP6682310B2 (ja
JP2017173374A5 (ja
Inventor
嘉人 玉木
Yoshito Tamaki
嘉人 玉木
信貴 水野
Nobutaka Mizuno
信貴 水野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016056112A priority Critical patent/JP6682310B2/ja
Priority to US15/461,805 priority patent/US10455142B2/en
Publication of JP2017173374A publication Critical patent/JP2017173374A/ja
Publication of JP2017173374A5 publication Critical patent/JP2017173374A5/ja
Application granted granted Critical
Publication of JP6682310B2 publication Critical patent/JP6682310B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets

Abstract

【課題】 撮像素子に固有の各色感度の特徴と、倍率色収差等の光学的特徴とに起因する焦点検出誤差を低減すること。
【解決手段】 複数のマイクロレンズそれぞれに対して複数の光電変換部を備え、撮影光学系を介して入射する光を光電変換して電気信号を出力する、複数色のカラーフィルタに覆われた撮像素子から得られる各色の対の焦点検出信号に対して、前記撮像素子に固有の色感度情報に基づいて色ごとに前記焦点検出信号を補正する補正値を取得する取得手段と、前記補正値により、前記各色の対の焦点検出信号をそれぞれ補正する補正手段と、前記補正手段により補正された前記各色の対の焦点検出信号を合成して、一対の焦点検出信号を生成する生成手段と、前記生成手段により生成された前記一対の焦点検出信号に基づいて、焦点状態を示す評価値を検出する焦点検出手段とを有する。
【選択図】 図６

Description

本発明は、焦点検出装置および方法、および撮像装置に関するものである。
撮影レンズの焦点状態を検出する方式の一つとして、各画素にマイクロレンズが形成された２次元の撮像素子を用いて瞳分割方式の焦点検出を行う撮像面位相差方式の自動焦点検出方法（撮像面位相差ＡＦ）が知られている。例えば、特許文献１には、瞳分割方式の焦点検出を行うために、撮像素子を構成する各画素の光電変換部が複数に分割されており、分割された光電変換部がマイクロレンズを介して撮影レンズの瞳の異なる領域を通過した光束を受光するように構成されている。
撮像面位相差ＡＦは、撮像素子に形成された焦点検出画素から得られた対の信号に基づいて、焦点検出方向と焦点検出量を同時に検出することが可能であり、高速に焦点調節を行うことができる。一方、撮像面位相差ＡＦは光学像の位相差を利用して焦点検出を行うため、光学像を結像する撮影レンズの収差が焦点検出結果に誤差を与える場合があり、このような誤差を低減するための方法が提案されている。
特許文献２には、合焦状態において一対の焦点検出用の光束が形成する一対の光学像の形状が、光学系の収差に起因して一致しなくなることによる焦点検出誤差を補正する方法が開示されている。
また、特許文献３には焦点検出誤差を補正する方法として、撮影レンズの状態に関する情報と、撮像素子の状態に関する情報と、像高との組み合わせに応じた補正値で補正することが開示されている。
特開２００８−５２００９号公報 特開２０１３−１７１２５１号公報 特開２０１４−２２２２９１号公報
しかしながら、撮像面位相差ＡＦにおいて倍率色収差が及ぼす焦点検出誤差のメカニズムは従来詳しく知られておらず、特に前述した焦点検出誤差が撮像素子の特性の影響を強く受けることは知られていない。製品に内蔵された撮像素子の特性は、撮像素子の特性ばらつきと組み付け誤差により、設計値とは少なからず乖離がある。倍率色収差に起因する焦点検出誤差の補正値は、撮像素子の設計値を前提として算出するのが一般的であるため、実際の使用時においては補正値の精度が低いという課題がある。
本発明は上記問題点を鑑みてなされたものであり、撮像素子に固有の各色感度の特徴と、倍率色収差等の光学的特徴とに起因する焦点検出誤差を低減することを目的とする。
上記目的を達成するために、本発明の焦点検出装置は、複数のマイクロレンズそれぞれに対して複数の光電変換部を備え、撮影光学系を介して入射する光を光電変換して電気信号を出力する、複数色のカラーフィルタに覆われた撮像素子から得られる各色の対の焦点検出信号に対して、前記撮像素子に固有の色感度情報に基づいて色ごとに前記焦点検出信号を補正する補正値を取得する取得手段と、前記補正値により、前記各色の対の焦点検出信号をそれぞれ補正する補正手段と、前記補正手段により補正された前記各色の対の焦点検出信号を合成して、一対の焦点検出信号を生成する生成手段と、前記生成手段により生成された前記一対の焦点検出信号に基づいて、焦点状態を示す評価値を検出する焦点検出手段とを有する。
本発明によれば、撮像素子に固有の各色感度の特徴と、倍率色収差等の光学的特徴とに起因する焦点検出誤差を低減することができる。
本発明の実施の形態におけるデジタルカメラの概略構成を示すブロック図。 実施の形態における撮像素子の構成例を示す図。 実施の形態における、撮影光学系の射出瞳面と、像面中央近傍に配置された画素の光電変換部との共役関係を説明する図。 実施形態における焦点検出領域の例を示す図。 第１の実施形態におけるＡＦ動作を示すフローチャート。 実施形態におけるＡＦ用Ａ像とＡＦ用Ｂ像の像高に応じた色別感度を示す図。 周辺像高における合焦時のＡＦ用Ａ像およびＡＦ用Ｂ像の各色線像を示す図。 ＡＦ用Ａ像とＡＦ用Ｂ像のＲ信号およびＧ信号の瞳強度分布を示す図。 周辺像高における瞳部分領域と撮影光学系の射出瞳の関係を示す図。 第２の実施形態におけるＡＦ動作を示すフローチャート。 第２の実施形態におけるＡＦ動作を示すフローチャート。 第２の実施形態におけるＢＰ補正値算出処理を示すフローチャート。 第２の実施形態における設定情報の一例を示す図。 第２の実施形態におけるＢＰ補正値の算出処理を説明するための図。
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。なお、実施形態は発明の理解と説明を容易にするため、具体的かつ特定の構成を有するが、本発明はそのような特定の構成に限定されない。例えば、以下では本発明をレンズ交換可能な一眼レフタイプのデジタルカメラに適用した実施形態について説明するが、本発明はレンズ交換できないタイプのデジタルカメラや、ビデオカメラに対しても適用可能である。また、カメラを備えた任意の電子機器、例えば携帯電話機、パーソナルコンピュータ（ラップトップ、タブレット、デスクトップ型など）、ゲーム機などで実施することもできる。
＜第１の実施形態＞
（撮像装置の構成の説明−レンズユニット）
図１は、第１の実施形態におけるデジタルカメラの概略構成を示すブロック図である。第１の実施形態におけるデジタルカメラはレンズ交換式一眼レフカメラであり、撮影レンズからなるレンズユニット１００とカメラ本体１２０とを有する。レンズユニット１００は図中央の点線で示されるマウントＭを介して、カメラ本体１２０に装着される。
レンズユニット１００は、光学系（第１レンズ群１０１、絞り１０２、第２レンズ群１０３、フォーカスレンズ群（以下、単に「フォーカスレンズ」と呼ぶ。）１０４）、及び、駆動／制御系を有する。
第１レンズ群１０１は、レンズユニット１００の先端に配置され、光軸方向ＯＡに移動可能に保持される。絞り１０２は、その開口径を調節することで撮影時の光量を調節する機能のほか、静止画撮影時には露出時間を制御するメカニカルシャッタとしても機能する。絞り１０２及び第２レンズ群１０３は一体で光軸方向ＯＡに移動し、第１レンズ群１０１と連動して移動することにより、ズーム機能を実現する。また、フォーカスレンズ１０４も光軸方向ＯＡに移動可能であり、位置に応じてレンズユニット１００が合焦する被写体距離（合焦距離）が変化する。フォーカスレンズ１０４の光軸方向ＯＡにおける位置を制御することにより、レンズユニット１００の合焦距離を調節する焦点調節を行う。
駆動／制御系は、ズームアクチュエータ１１１、絞りアクチュエータ１１２、フォーカスアクチュエータ１１３、ズーム駆動回路１１４、絞り駆動回路１１５、フォーカス駆動回路１１６、レンズＭＰＵ１１７、レンズメモリ１１８を有する。レンズメモリ１１８には、倍率色収差情報等が記憶されている。
ズーム駆動回路１１４は、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動して、第１レンズ群１０１や第３レンズ群１０３を光軸方向ＯＡに駆動させることで、レンズユニット１００の光学系の画角を制御する。絞り駆動回路１１５は、絞りアクチュエータ１１２を駆動して絞り１０２の開口径を制御して、撮影光量の調節や、静止画撮影時の露光時間の制御を行う。フォーカス駆動回路１１６は、焦点検出結果に基づいてフォーカスアクチュエータ１１３によりフォーカスレンズ１０４を光軸方向ＯＡに駆動させることで、レンズユニット１００の光学系の合焦距離を制御する。また、フォーカス駆動回路１１６は、フォーカスアクチュエータ１１３を用いてフォーカスレンズ１０４の現在位置を検出する。
レンズＭＰＵ（プロセッサ）１１７は、レンズユニット１００に係る全ての演算、制御を行い、ズーム駆動回路１１４、絞り駆動回路１１５、フォーカス駆動回路１１６を制御する。また、レンズＭＰＵ１１７は、マウントＭを通じてカメラＭＰＵ１２５と接続され、コマンドやデータを通信する。例えばレンズＭＰＵ１１７はフォーカスレンズ１０４の位置を検出し、カメラＭＰＵ１２５からの要求に対してレンズ位置情報を通知する。このレンズ位置情報は、フォーカスレンズ１０４の光軸方向ＯＡにおける位置、光学系が移動していない状態の射出瞳の光軸方向ＯＡにおける位置および直径、射出瞳の光束を制限するレンズ枠の光軸方向ＯＡにおける位置および直径などの情報を含む。またレンズＭＰＵ１１７は、カメラＭＰＵ１２５からの要求に応じて、ズーム駆動回路１１４、絞り駆動回路１１５、フォーカス駆動回路１１６を制御する。レンズメモリ１１８には撮像面位相差ＡＦに必要な光学情報が予め記憶されている。カメラＭＰＵ１２５は、例えば内蔵する不揮発性メモリやレンズメモリ１１８に記憶されているプログラムを実行することで、レンズユニット１００の動作を制御する。
（撮像装置の構成の説明−カメラ本体）
カメラ本体１２０は、光学系（光学ローパスフィルタ１２１および撮像素子１２２）と、駆動／制御系とを有する。
光学ローパスフィルタ１２１は、撮影画像の偽色やモアレを軽減する。撮像素子１２２はＣＭＯＳイメージセンサと周辺回路で構成され、横方向ｍ画素、縦方向ｎ画素（ｎ，ｍは２以上の整数）が配置される。本実施形態の撮像素子１２２は、瞳分割機能を有し、画像データを用いた撮像面位相差ＡＦが可能であり、画像処理回路１２４は、撮像素子１２２が出力する画像データから、焦点検出信号と、表示・記録用の画像データを生成する。
駆動／制御系は、撮像素子駆動回路１２３、画像処理回路１２４、カメラＭＰＵ１２５、表示器１２６、操作スイッチ群１２７、メモリ１２８、撮像面位相差焦点検出部１２９、ＴＶＡＦ部１３０を有する。
撮像素子駆動回路１２３は、撮像素子１２２の動作を制御するとともに、取得した画像信号をＡ／Ｄ変換してカメラＭＰＵ１２５および画像処理回路１２４に送信する。画像処理回路１２４は、撮像素子１２２が取得した画像信号に対して、γ変換、ホワイトバランス調整処理、色補間処理、圧縮符号化処理など、デジタルカメラで行われる一般的な画像処理を行う。
カメラＭＰＵ（プロセッサ）１２５は、カメラ本体１２０に係る全ての演算、制御を行い、撮像素子駆動回路１２３、画像処理回路１２４、表示器１２６、操作スイッチ群１２７、メモリ１２８、撮像面位相差焦点検出部１２９、ＴＶＡＦ部１３０を制御する。また、カメラＭＰＵ１２５はマウントＭを介してレンズＭＰＵ１１７と接続され、レンズＭＰＵ１１７とコマンドやデータの通信をする。カメラＭＰＵ１２５はレンズＭＰＵ１１７に対し、レンズ位置の取得要求や、所定の駆動量での絞り、フォーカスレンズ、ズーム駆動要求や、レンズユニット１００に固有の光学情報の取得要求などを発行する。カメラＭＰＵ１２５には、カメラ動作を制御するプログラムを格納したＲＯＭ１２５ａ、変数を記憶するＲＡＭ１２５ｂ、諸パラメータを記憶するＥＥＰＲＯＭ１２５ｃが内蔵されている。更に、ＥＥＰＲＯＭ１２５ｃには、色感度情報等が記憶されている。
表示器１２６はＬＣＤなどから構成され、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像などを表示する。操作スイッチ群１２７は、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。メモリ１２８は、着脱可能なフラッシュメモリで、撮影済み画像を記録する。
撮像面位相差焦点検出部１２９は、画像処理回路１２４により得られる焦点検出信号（ＡＦ用信号）を用いて、撮像面位相差ＡＦを行う。具体的には、画像処理回路１２４が撮像面位相差ＡＦ用信号として撮影光学系の一対の瞳領域を通過した光束で形成される一対の像データを生成し、撮像面位相差焦点検出部１２９がこの一対の像データのずれ量に基づいて焦点ずれ量を検出する。このように、本実施形態の撮像面位相差焦点検出部１２９は、専用のＡＦセンサを用いず、撮像素子１２２の出力に基づいて撮像面位相差ＡＦを行う。なお、撮像面位相差焦点検出部１２９の動作については後で詳細に説明する。
ＴＶＡＦ部１３０は、画像処理回路１２４にて得られた画像情報のコントラスト成分により各種ＴＶＡＦ用評価値を算出し、コントラスト方式の焦点検出処理（ＴＶＡＦ）を行う。コントラスト方式の焦点検出処理では、フォーカスレンズ１０４を移動しながら複数のフォーカスレンズ位置で焦点評価値を算出し、焦点評価値がピークとなるフォーカスレンズ位置を検出する。
（焦点検出動作の説明：位相差ＡＦ）
次に、撮像面位相差焦点検出部１２９の動作について説明する。図２（ａ）は本実施形態における撮像素子１２２の画素配列を示した図で、２次元ＣＭＯＳエリアセンサの縦（Ｙ方向）６行と横（Ｘ方向）８列の範囲を、レンズユニット１００側から観察した状態を示している。撮像素子１２２にはベイヤー配列のカラーフィルタが設けられている。本実施形態のベイヤー配列は、例えば、奇数行の画素には、左から順に緑（Ｇ）と赤（Ｒ）のカラーフィルタがＸ方向に交互に配置され、偶数行の画素には、左から順に青（Ｂ）と緑（Ｇ）のカラーフィルタがＸ方向に交互に配置されている。画素２１１において、オンチップマイクロレンズ２１１ｉの内側に配置された複数の矩形は、それぞれ光電変換部２１１ａ，２１１ｂを表している。
本実施形態の撮像素子１２２に含まれる光電変換部２１１ａ，２１１ｂは、撮影光学系の異なる瞳部分領域を各々通過する光束を受光し、電気信号に変換する。なお、本実施形態では、撮像素子１２２のすべての画素の光電変換部はＸ方向に２分割され、分割された一方の領域の光電変換信号と、２つの光電変換信号の和をそれぞれ読み出しできる構成となっているが、本発明はこれに限られるものではない。例えば、Ｙ方向に分割しても、Ｘ方向およびＹ方向に複数に分割された構成であっても良い。そして、それぞれ読み出しされた信号は、２つの光電変換信号の和と、分割された一方の領域の光電変換信号との差分をとることにより、もう一方の光電変換領域で得られる信号に相当する信号を得ることができる。例えば、光電変換部２１１ａの出力と、光電変換部２１１ａ，２１１ｂの出力の和とが読み出される場合、光電変換部２１１ｂの出力は、和から光電変換部２１１ａの出力を減じることで取得する。これらの分割された光電変換領域の光電変換信号は、後述する方法で位相差式焦点検出に用いられるほか、視差情報を有した複数画像から構成される立体（３Ｄ）画像を生成するために用いることもできる。一方で、２つの光電変換信号の和は、通常の撮影画像として用いられる。
ここで、ＡＦ用信号について説明する。本実施形態においては、図２（ａ）に示すマイクロレンズ２１１ｉと、分割された光電変換部２１１ａ，２１１ｂで撮影光学系の射出光束を瞳分割する。そして、同一の画素行に配置された所定範囲内の複数の画素２１１について、光電変換部２１１ａの出力をつなぎ合わせて編成したものを、第１の焦点検出信号（ＡＦ用Ａ像）とする（一方の焦点検出信号）。同様に、光電変換部２１１ｂの出力をつなぎ合わせて編成したものを第２の焦点検出信号（ＡＦ用Ｂ像）とする（他方の焦点検出信号）。光電変換部２１１ａ、２１１ｂの出力は、カラーフィルタの単位配列に含まれる緑、赤、青、緑の複数色いずれかの色成分の出力であるため、これらの出力を合成して生成した疑似的な輝度（Ｙ）信号を用いる。但し、赤、青、緑の色毎に、ＡＦ用Ａ像、ＡＦ用Ｂ像を編成してもよい。このように生成したＡＦ用Ａ像とＢ像の相対的な像ずれ量を相関演算により検出することで、所定領域の焦点ずれ量（デフォーカス量）を検出することができる。なお、このような撮像素子は、特開２００４−１３４８６７号公報に開示されるように公知であるため、これ以上の詳細に関する説明は省略する。
図２（ｂ）は本実施形態の撮像素子１２２の読み出し回路の構成例を示した図である。１５１は水平走査回路、１５３は垂直走査回路である。そして各画素の境界部には、水平走査ライン１５２ａ及び１５２ｂと、垂直走査ライン１５４ａ及び１５４ｂが配線され、各光電変換部２１１ａ，２１１ｂからはこれらの走査ラインを介して信号が外部に読み出される。
なお、本実施形態の撮像素子１２２は、上述の画素内の読み出し方法に加え、以下の２種類の読み出しモードを有する。１つは、全画素読み出しモードと称するもので、高精細静止画を撮像するためのモードである。この場合は、全画素の信号が読み出される。
もう一つは、間引き読み出しモードと称するもので、動画記録、もしくはプレビュー画像の表示のみを行なうためのモードである。この場合に必要な画素数は全画素よりも少ないため、画素群はＸ方向及びＹ方向共に所定比率に間引いた画素のみ信号を読み出す。また、高速に読み出す必要がある場合にも、同様に間引き読み出しモードを用いる。Ｘ方向に間引く際には、信号の加算を行ってＳ／Ｎの改善を図り、Ｙ方向に対する間引きは、間引かれる行の信号出力を無視する。撮像面位相差ＡＦおよびコントラストＡＦも、通常、間引き読み出しモードで読み出された信号に基づいて行われる。
図３は、本実施形態の撮像装置において、撮影光学系の射出瞳面と、像高ゼロ、すなわち、像面中央近傍に配置された画素２１１の光電変換部の共役関係を説明する図である。撮像素子１２２の画素２１１の光電変換部２１１ａ，２１１ｂと、撮影光学系の射出瞳面とは、オンチップマイクロレンズ２１１ｉによって共役関係となるように設計される。そして撮影光学系の射出瞳は、一般的に光量調節用の絞りが置かれる面とほぼ一致する。一方、本実施形態の撮影光学系は変倍機能を有したズームレンズであるが、光学タイプによっては変倍操作を行うと、射出瞳の像面からの距離や大きさが変化する。図３では、レンズユニット１００の焦点距離が広角端と望遠端の中央にある状態を示している。この状態における射出瞳距離Ｚｅｐを標準値として、オンチップマイクロレンズ２１１ｉの形状や、像高（Ｘ，Ｙ座標）に応じた偏心パラメータの最適設計がなされる。
図３（ａ）において、鏡筒部材１０１ｂは第１レンズ群１０１を保持し、鏡筒部材１０４ｂはフォーカスレンズ１０４を保持する。絞り１０２は、絞り開放時の開口径を規定する開口板１０２ａと、絞り込み時の開口径を調節するための絞り羽根１０２ｂとを有する。なお、撮影光学系を通過する光束の制限部材として作用する鏡筒部材１０１ｂ、開口板１０２ａ、絞り羽根１０２ｂ、及び鏡筒部材１０４ｂは、像面から観察した場合の光学的な虚像を示している。また、絞り１０２の近傍における合成開口をレンズの射出瞳と定義し、前述したように像面からの距離をＺｅｐとしている。
図３（ａ）において、画素２１１は、最下層より、光電変換部２１１ａ，２１１ｂ、配線層２１１ｅ〜２１１ｇ、カラーフィルタ２１１ｈ、及びオンチップマイクロレンズ２１１ｉの各部材で構成される。そして２つの光電変換部２１１ａ，２１１ｂはオンチップマイクロレンズ２１１ｉによって撮影光学系の射出瞳面に投影される。換言すれば、撮影光学系の射出瞳が、オンチップマイクロレンズ２１１ｉを介して、光電変換部２１１ａ，２１１ｂの表面に投影されることになる。
図３（ｂ）は、撮影光学系の射出瞳面上における、光電変換部２１１ａ，２１１ｂの投影像を示したもので、図３（ａ）の光電変換部２１１ａ，２１１ｂに対する投影像は各々ＥＰ１ａ及びＥＰ１ｂとなる。また本実施形態では、上述したように、撮像素子１２２は、２つの光電変換部２１１ａ，２１１ｂのいずれか一方の出力と、両方の和の出力を得ることができる。両方の和の出力は、撮影光学系のほぼ全瞳領域である投影像ＥＰ１ａ、ＥＰ１ｂの両方の領域を通過した光束を光電変換したものである。
図３（ａ）において、撮影光学系を通過する光束の最外部をＬで示すように、光束は、絞りの開口板１０２ａで規制されており、投影像ＥＰ１ａ及びＥＰ１ｂは撮影光学系によるケラレがほぼ発生していない。また、図３（ｂ）では、図３（ａ）の光束をＴＬで示している。円で示される光束ＴＬの内側に、光電変換部２１１ａ，２１１ｂの投影像ＥＰ１ａ，ＥＰ１ｂの大部分が含まれていることからも、ケラレがほぼ発生していないことがわかる。光束は、絞りの開口板１０２ａでのみ制限されているため、光束ＴＬは、開口板１０２ａの開口径とほぼ等しいと言える。この際、像面中央では各投影像ＥＰ１ａおよびＥＰ１ｂのケラレ状態は光軸に対して対称となり、各光電変換部２１１ａ，２１１ｂが受光する光量は等しい。
撮像面位相差ＡＦを行う場合、カメラＭＰＵ１２５は撮像素子１２２から上述した２種類の出力を読み出すように撮像素子駆動回路１２３を制御する。そして、カメラＭＰＵ１２５は、画像処理回路１２４に対して焦点検出領域の情報を与え、焦点検出領域内に含まれる画素２１１の出力から、ＡＦ用Ａ像およびＡＦ用Ｂ像を生成して撮像面位相差焦点検出部１２９に供給するよう命令する。画像処理回路１２４はこの命令に従ってＡＦ用Ａ像およびＡＦ用Ｂ像を生成して撮像面位相差焦点検出部１２９に出力する。
なお、ここでは一例として水平方向に射出瞳を２分割する構成を説明したが、上述したように、撮像素子１２２中の少なくとも一部の画素について、垂直方向に射出瞳を２分割する構成としてもよい。また、水平および垂直の両方向に射出瞳を分割する構成としてもよい。垂直方向に射出瞳を分割する画素を設けることにより、水平だけでなく垂直方向の被写体のコントラストに対応した撮像面位相差ＡＦが可能となる。
以上、図１〜図３を参照して説明したように、撮像素子１２２は撮像のみの機能だけではなく、射出瞳を分割した光束を受光する焦点検出用画素を備えているため、撮像面位相差ＡＦを行うことが可能である。
（焦点検出領域の説明）
図４は、撮影範囲内における焦点検出領域を示す図で、この焦点検出領域内で撮像素子１２２から得られた信号に基づいて撮像面位相差ＡＦ及びＴＶＡＦが行われる。図４において、点線で示す長方形は撮像素子１２２の撮影範囲２１７を示す。撮影範囲２１７内には撮像面位相差ＡＦを行う３つの横方向の焦点検出領域２１８ａｈ、２１８ｂｈ、２１８ｃｈが形成されている。第１の実施形態では、撮像面位相差ＡＦ用の焦点検出領域を撮影範囲２１７の中央部と左右２箇所の計３箇所を備える構成とした。また、３つの撮像面位相差ＡＦ用の焦点検出領域２１８ａｈ、２１８ｂｈ、２１８ｃｈのそれぞれを包含する形で、ＴＶＡＦを行う焦点検出領域２１９ａ、２１９ｂ、２１９ｃが形成されている。ＴＶＡＦを行う焦点検出領域では、ＴＶＡＦ部１３０が水平方向と垂直方向の焦点評価値を用いて、コントラスト検出を行う。
なお、図４に示す例では、大きくわけて３つの領域に焦点検出領域を配置した例を示しているが、本発明は３つの領域に限られるものではなく、任意の位置に複数の領域を配置してもよい。また、光電変換部がＹ方向に分割されている場合、撮像面位相差ＡＦ用の焦点検出領域として、縦方向に画素が並ぶ領域を設定すれば良い。
（焦点検出処理フロー）
次に、上述した構成を有する撮像装置における本第１の実施形態における撮像面位相差ＡＦ処理について、図５のフローチャートを参照しながら説明する。なお、以下のＡＦ処理は、他の主体が明記されている場合を除き、カメラＭＰＵ１２５が主体となって実行される。また、カメラＭＰＵ１２５がレンズＭＰＵ１１７にコマンド等を送信することによって、レンズユニット１００の駆動や制御を行う場合、説明を簡潔にするために動作主体をカメラＭＰＵ１２５として記載する場合がある。
Ｓ１０１で、カメラＭＰＵ１２５は、シャッター秒時Ｔｖ、絞り値Ｆ、焦点検出領域、焦点距離などの撮影条件を設定する。なお、ここで設定される焦点検出領域は、主被写体によって決められるものでも良いし、予め設定された焦点検出領域でも良い。ここでは一例として、焦点検出領域として、図４に示す焦点検出領域２１８ｃｈを代表する座標（ｘ１、ｙ１）（代表点）を設定する。なお、本実施形態では、設定した代表座標を焦点検出領域２１８ｃｈの中央座標として説明する。
次にＳ１０２で、カメラＭＰＵ１２５は、撮像面位相差ＡＦに用いるＡＦ用信号を取得する。ここでは、設定した焦点検出領域に含まれる複数の画素２１１について、光電変換部２１１ａの出力をつなぎ合わせて編成したＡＦ用Ａ像（ＡＦ＿Ａ（ｉ））と、光電変換部２１１ｂの出力をつなぎ合わせて編成したＡＦ用Ｂ像（ＡＦ＿Ｂ（ｉ））とを取得する。Ｓ１０２で得られるＡＦ用信号は、撮像素子１２２からＲＧＢ毎に取得した直後の信号であり、ＲＧＢいずれかの値を個別に有している（ＡＦ＿Ａ（ｉ）＝｛ｒＡ（ｉ）、ｇＡ（ｉ）、ｂＡ（ｉ）｝、ＡＦ＿Ｂ（ｉ）＝｛ｒＢ（ｉ）、ｇＢ（ｉ）、ｂＢ（ｉ）｝）。
Ｓ１０３で、カメラＭＰＵ１２５はＭＰＵ１１７と通信を行い、Ｓ１０１で設定された撮影条件から得られる、レンズの射出瞳距離、絞り値Ｆ、像高（ｘ１、ｙ１））と、レンズメモリ１１８に格納されている倍率色収差情報とから、色毎信号補正を行うか否かを判定する。なお、レンズの射出瞳距離はレンズのズーム状態やフォーカス状態によって変わる。ここでは、レンズの射出瞳距離が基準瞳距離以上、もしくは絞りが所定絞り未満、もしくは像高が所定像高未満である場合、色毎信号補正は行わないと判定して、Ｓ１０６へ移行する。また、レンズの射出瞳距離が基準瞳距離未満、絞りが所定絞り以上、且つ、像高が所定像高以上である場合、カメラＭＰＵ１２５は、レンズメモリ１１８に格納されているレンズ情報の中から、撮影条件に合致した倍率色収差情報を取得する。そして、取得した倍率色収差情報を用いて、色毎信号補正を行うか否かを判定する。色毎信号補正を行うと判定された場合は、倍率色収差が及ぼす焦点検出誤差が大きいと考えられるため、色毎信号補正を行う為にＳ１０４に進む。一方、色毎信号補正を行わないと判定された場合は、倍率色収差が及ぼす焦点検出誤差が小さいと考えられるため、色毎信号補正を行わずに焦点検出を行うためにＳ１０６に進む。
Ｓ１０４は、上述したように、倍率色収差が及ぼす焦点検出誤差が大きく、Ｓ１０３で色毎信号補正を行うと判定された場合に行われる。カメラＭＰＵ１２５は、ＥＥＰＲＯＭ１２５ｃが保持している色毎信号補正値テーブルから、Ｓ１０１で設定された撮影条件から得られる、レンズの射出瞳距離、絞り値Ｆ、像高（ｘ１、ｙ１））を用いて、ＡＦ用Ａ像、ＡＦ用Ｂ像に対応した色毎信号補正値を算出する。なお、Ｓ１０１で設定された撮影条件から得られるレンズの射出瞳距離、絞り値Ｆ、像高（ｘ１、ｙ１））と、ＥＥＰＲＯＭ１２５ｃが有している瞳強度分布（受光率の入射角度分布）とから、ＡＦ用Ａ像、ＡＦ用Ｂ像に対応したＲＧＢ感度比を算出しても良い。本実施形態では、ＥＥＰＲＯＭ１２５ｃは瞳強度分布を有しているが、撮影条件に応じた関数の係数を保持し、その係数からＲＧＢ感度比を算出しても良い。もしくは、ＥＥＰＲＯＭ１２５ｃが撮影条件に応じたＲＧＢ感度比を有していても良い。また、ＥＥＰＲＯＭ１２５ｃが有するＲＧＢの瞳強度分布は、ＲＧＢそれぞれがＡＦ用信号別（Ａ像信号、Ｂ像信号）の瞳強度分布となっている。
以下の説明では、焦点検出領域２１８ｃｈの代表で座標（ｘ１、ｙ１）のＡＦ用Ａ像、ＡＦ用Ｂ像にそれぞれ対応したＲＧＢ感度比をＲ＿Ａ（ｒＡ／ｇＡ、１、ｂＡ／ｇＡ）、Ｒ＿Ｂ（ｒＢ／ｇＢ、１、ｂＢ／ｇＢ）の形式として説明する。しかしながら、Ｇ画素で規格化したＲ＿Ａ（ｒＡ、ｇＡ、ｂＡ）、Ｒ＿Ｂ（ｒＢ、ｇＢ、ｂＢ）の形式としても良い。
そして、取得したＡＦ用Ａ像に対応したＲＧＢ感度比とＡＦ用Ｂ像に対応したＲＧＢ感度比が等しくなるような色毎信号補正値Ｃｃを算出する。ここでは、説明を簡単にするため、Ａ像信号のＲ画素に対応した色毎信号補正値Ｃｃ＿ｒＡの算出方法について説明する。補正後の感度比ｒＡ´＝（ｒＡ＋ｒＢ）／２を取得した感度比ｒＡで除算した値を色毎信号補正値とする（Ｃｃ＿Ａ＝ｒＡ´／ｒＡ）。以下、Ｇ画素、Ｂ画素についても同様にして求める。このようにして、色毎信号補正値Ｃｃを算出する。
次にＳ１０５において、色毎信号補正を行う。ここで、本発明の色毎信号補正について説明する。図６はＡＦ用Ａ像（実線）、ＡＦ用Ｂ像（破線）の色感度比を示している。横軸は像高、縦軸はＧの感度で規格化されたＲの感度比を示しているがＢでも同様である。また、像高０は、焦点検出領域２１８ｃｈの中央像高を表している。本実施形態では、焦点検出領域２１８ｃｈの代表値である像高（ｘ１、ｙ１）において、図６（ａ）のように色毎信号補正値をＲＧＢ感度比がＡＦ用Ａ像、ＡＦ用Ｂ像の平均値となるような値として説明した。しかし、組み付け誤差等の影響でＡＦ用Ａ像とＡＦ用Ｂ像のＲＧＢ信号強度比が異なっていたとしても、図６（ｂ）のように倍率色収差の影響が少ない中央像高におけるＲＧＢ感度比となるような一定の値としても良い。また、ＡＦ用Ａ像のＲＧＢ感度比またはＡＦ用Ｂ像のＲＧＢ感度比となるようにしても良い。
Ｓ１０４で算出された色毎信号補正値Ｃｃを、Ｓ１０２で取得した図７（ａ）に示すＡＦ用Ａ像（ＡＦ＿Ａ（ｉ））、ＡＦ用Ｂ像（ＡＦ＿Ｂ（ｉ））のＲＧＢそれぞれの信号に乗算して補正する。
AF_A'(i)={(AF_rA(i) × Cc_rA) ,(AF_gA(i) × Cc_gA) ,(AF_bA(i) × Cc_bA)}
AF_B'(i)={(AF_rB(i) × Cc_rB) ,(AF_gB(i) × Cc_gB) ,(AF_bB(i) × Cc_bB)}
これにより、色毎信号補正後のＡＦ用Ａ像（ＡＦ＿Ａ´（ｉ））、Ｂ像信号（ＡＦ＿Ｂ´（ｉ））を生成する。
Ｓ１０６では、カメラＭＰＵ１２５は、ベイヤー加算（合成）した後、光量補正等を行う。この時、Ｓ１０３において色毎信号補正を行うと判定されていた場合には、Ｓ１０５で補正されたＡＦ用Ａ像とＡＦ用Ｂ像を用いる。また、Ｓ１０３において色毎信号補正を行わないと判定されていた場合には、Ｓ１０２で取得したＡＦ用Ａ像、ＡＦ用Ｂ像を用いる。
Ｓ１０７で、カメラＭＰＵ１２５は、ＥＥＰＲＯＭ１２５ｃに格納されているシフト量に基づいてシフト処理を行い、撮像面位相差焦点検出部１２９にて公知の位相差演算手法などを用いて信号の一致度を表す位相差を検出して、デフォーカス量に換算する。
Ｓ１０８で、カメラＭＰＵ１２５は、Ｓ１０７で検出したデフォーカス量に基づいて、レンズＭＰＵ１１７と通信してフォーカス駆動回路１１６に駆動命令を出す。そして、命令を受けたフォーカス駆動回路１１６からフォーカスアクチュエータ１１３を介して、フォーカスレンズ１０４を駆動させ、ＡＦ処理を終了する。
（倍率色収差による焦点検出誤差メカニズム）
ここで、倍率色収差による焦点検出誤差が発生するメカニズムについて説明する。倍率色収差は、波長による屈折率の違いにより、同一被写体から発せられた光が、撮像素子１２２上において色ずれを生じる現象である。
図７は、焦点検出領域を周辺像高とし、フォーカスレンズ１０４が合焦位置にある場合におけるＡＦ用Ａ像およびＡＦ用Ｂ像の各色線像の一例である。図７（ａ）は、本発明の色毎信号補正を行う前の各色線像を示しており、図７（ｂ）は、本発明の色毎信号補正を行った後の各色線像を示している。図７（ａ）、図７（ｂ）共に、縦軸は信号強度で、ＡＦ用Ａ像、ＡＦ用Ｂ像それぞれにおいてＧ信号の信号強度で規格化してある。横軸は、焦点検出領域の中央座標を０とした画素位置を表しており、各色線像の重心位置のずれが倍率色収差を表している。同一色におけるＡＦ用Ａ像とＡＦ用Ｂ像の重心位置は、焦点検出合焦位置においては、ほぼ同等である。
図７（ａ）のＲ信号とＧ信号を比較すると、ＡＦ用Ａ像においては、Ｒ信号はＧ信号よりも信号強度が小さい。一方、ＡＦ用Ｂ像においては、Ｒ信号はＧ信号よりも信号強度が大きい。なお、Ｂ信号に関しては、Ｇ信号との比較においてはＡＦ用Ａ像とＡＦ用Ｂ像とでほぼ同じなっている。このように、ＡＦ用Ａ像におけるＲＧＢ各色感度比とＡＦ用Ｂ像におけるＲＧＢ各色感度比が異なる理由は、撮像素子１２２の瞳強度分布（受光率の入射角度分布）が波長によって異なるためである。
図８にＡＦ用Ａ像とＡＦ用Ｂ像のＲ信号とＧ信号の撮像素子１２２における瞳強度分布を示す。横軸は入射角度であり、右側が正である。縦軸は受光率に相当する信号強度であり、ＡＦ用Ａ像とＡＦ用Ｂ像の交点（入射角度θc）において規格化している。入射角度が負の時に強度の最大値をとるのがＡＦ用Ａ像であり、入射角度が正の時に強度の最大値をとるのがＡＦ用Ｂ像である。波長による屈折率の違いにより、Ｒ信号とＧ信号の瞳強度分布の形状が異なる。
前述したように、基準瞳距離Ｄｓを標準値として偏心パラメータの設計がなされているため、交点の入射角度θcは射出瞳距離Ｚｅｐと対応している。射出瞳距離Ｚｅｐはレンズユニット１００の焦点距離が広角端と望遠端の中央にある状態の射出瞳距離である。したがって、広角端もしくは望遠端にレンズユニット１００が近付くにつれ、焦点検出画素に入射する光の入射角度は、交点の入射角度θcから外れていくこととなる。
図８に示すように、入射角度に対する信号強度の変化率がＲ信号とＧ信号で異なるため、交点の角度から外れた領域においては、Ｒ信号とＧ信号の信号強度比がＡＦ用Ａ像とＡＦ用Ｂ像とで異なることが分かる。例えば、交点よりも入射角度が負の場合、ＡＦ用Ａ像においては、Ｒ信号はＧ信号よりも信号強度が小さいが、ＡＦ用Ｂ像においては、Ｒ信号はＧ信号よりも信号強度が大きい。この場合、ＡＦ用Ａ像とＡＦ用Ｂ像でＲ信号とＧ信号の信号強度比が異なる。
図９に、撮像素子１２２の周辺像高における光電変換部２１１ａの第１瞳部分領域５０１，光電変換部２１１ｂの第２瞳部分領域５０２、および撮影光学系の射出瞳４００の関係を示す。射出瞳４００の水平方向をＸ軸、垂直方向をＹ軸としている。
図９（ａ）は、撮影光学系の射出瞳距離Ｄｌと撮像素子１２２の基準瞳距離Ｄｓが同じ場合を示している。この場合、第１瞳部分領域５０１と第２瞳部分領域５０２により、撮影光学系の射出瞳４００が、概ね、均等に瞳分割される。瞳強度分布で考えると、各像高への光線入射角度θはＡＦ用Ａ像、ＡＦ用Ｂ像の交点の入射角度θｃにほぼ等しくなるため（θ＝θｃ）、ＡＦ用Ａ像とＡＦ用Ｂ像におけるＲＧＢ信号の強度比はほぼ等しくなる。
図９（ｂ）は、撮影光学系の射出瞳距離Ｄｌが撮像素子１２２の基準瞳距離Ｄｓより短い場合である。また、図９（ｃ）は、撮影光学系の射出瞳距離Ｄｌが撮像素子１２２の基準瞳距離Ｄｓより長い場合である。どちらの場合も、撮像素子１２２の周辺像高において撮影光学系の射出瞳と撮像素子の入射瞳との間に瞳ずれが生じ、撮影光学系の射出瞳４００が、不均一に瞳分割されてしまう。瞳強度分布で考えると、図９（ｂ）、（ｃ）における光線入射角度θは、像高が高くなるほど、ＡＦ用Ａ像とＡＦ用Ｂ像の交点の入射角度θｃからずれることになる。したがって、レンズユニット１００の射出瞳距離Ｄｌと基準瞳距離Ｄｓとのずれが大きく、像高が高くなるほど、ＡＦ用Ａ像とＡＦ用Ｂ像におけるＲＧＢ信号強度の差は大きくなる。
なお、ＡＦ用Ａ像とＡＦ用Ｂ像の交点の入射角度θcは、撮像素子１２２の特性ばらつきと組み付け誤差の影響を強く受ける。したがって、レンズユニット１００の状態と焦点検出領域が同一であっても、撮像素子１２２の状態によってＡＦ用Ａ像とＡＦ用Ｂ像のＲＧＢ信号の強度比は異なる。
撮像面位相差焦点検出部１２９は、光電変換部２１１ａ，２１１ｂから得られる焦点検出信号を用いて焦点検出処理を行う。前述したように、ＲＧＢのＡＦ用Ａ像、ＲＧＢのＡＦ用Ｂ像の出力を合成して生成した疑似的な輝度（Ｙ）信号の相対的な像ずれ量より焦点ずれ量（デフォーカス量）を検出する。つまり、位相差ＡＦはＡＦ用Ａ像の重心ＧａとＡＦ用Ｂ像の重心Ｇｂが一致したときに合焦と判断することになる。
図７（ａ）を用いて、輝度（Ｙ）信号に関する、ＡＦ用Ａ像の重心Ｇ（Ａ）とＡＦ用Ｂ像の重心Ｇ（Ｂ）の算出処理について説明する。まず、図７（ａ）の横軸に示されるＲＧＢ各色の線像の重心位置をＸｒ、Ｘｇ、Ｘｂとする。また、図７（ａ）の縦軸に示されるＲＧＢ各色の信号強度をＳｒ、Ｓｇ、Ｓｂとする。輝度（Ｙ）信号作成時のＲＧＢの重みづけより、重心算出時の各色寄与率Ｐｉは、
Ｐｒ（Ａ）＝Ｓｒ（Ａ）／（Ｓｒ（Ａ）＋２Ｓｇ（Ａ）＋Ｓｂ（Ａ））
Ｐｇ（Ａ）＝２Ｓｇ（Ａ）／（Ｓｒ（Ａ）＋２Ｓｇ（Ａ）＋Ｓｂ（Ａ））
Ｐｂ（Ａ）＝Ｓｂ（Ａ）／（Ｓｒ（Ａ）＋２Ｓｇ（Ａ）＋Ｓｂ（Ａ））
Ｐｒ（Ｂ）＝Ｓｒ（Ｂ）／（Ｓｒ（Ｂ）＋２Ｓｇ（Ｂ）＋Ｓｂ（Ｂ））
Ｐｇ（Ｂ）＝２Ｓｇ（Ｂ）／（Ｓｒ（Ｂ）＋２Ｓｇ（Ｂ）＋Ｓｂ（Ｂ））
Ｐｂ（Ｂ）＝Ｓｂ（Ｂ）／（Ｓｒ（Ｂ）＋２Ｓｇ（Ｂ）＋Ｓｂ（Ｂ））
となる。なお、（Ａ）はＡＦ用Ａ像における値を示しており、（Ｂ）はＡＦ用Ｂ像における値を示している。ＡＦ用Ａ像の重心Ｇ（Ａ）とＡＦ用Ｂ像の重心Ｇ（Ｂ）はＲＧＢの線像重心と各色寄与率Ｐｉの積和によって求められ、
Ｇ（Ａ）＝ΣＸｉ（Ａ）× Ｐｉ（Ａ），（ｉ＝ｒ，ｇ，ｂ）
Ｇ（Ｂ）＝ΣＸｉ（Ｂ）× Ｐｉ（Ｂ），（ｉ＝ｒ，ｇ，ｂ）
となる。なお、Ｘｉ（Ａ）はＡＦ用Ａ像における線像の重心であり、Ｘｉ（Ｂ）はＡＦ用Ｂ像における線像重心である。
上述したように、同一色におけるＡＦ用Ａ像とＡＦ用Ｂ像の線像重心位置は、合焦位置においては、ほぼ同等であり、
Ｘｉ（Ａ）＝Ｘｉ（Ｂ） （ｉ＝ｒ，ｇ，ｂ）
として考えられる為、輝度（Ｙ）信号に関するＡＦ用Ａ像の重心Ｇ（Ａ）とＡＦ用Ｂ像の重心Ｇ（Ｂ）が一致する条件は、ＡＦ用Ａ像とＡＦ用Ｂ像の各色寄与率Ｐｉが一致することである。したがって、焦点検出領域におけるＲＧＢ信号の強度比がＡＦ用Ａ像とＡＦ用Ｂ像で一致すれば、ＡＦ用Ａ像の重心Ｇ（Ａ）とＡＦ用Ｂ像の重心Ｇ（Ｂ）が一致するため、撮像面位相差ＡＦの焦点検出結果は合焦位置に一致することになる。逆に、焦点検出領域におけるＲＧＢ信号の強度比がＡ像とＢ像で異なる場合は、重心Ｇ（Ａ）とＡＦ用Ｂ像の重心Ｇ（Ｂ）とで重心差が生じるため、撮像面位相差ＡＦの焦点検出結果は焦点検出合焦位置に一致せず、焦点検出誤差が発生する。
前述したように、撮像素子１２２の偏心パラメータは射出瞳距離Ｚｅｐを標準値として設計されているため、レンズユニット１００の射出瞳距離がＺｅｐから離れるほど、Ａ像とＢ像のＲＧＢ感度比は異なりやすい。また、射出瞳距離のずれは像高が高いほど影響が大きいため、倍率色収差による焦点検出誤差は像高が高いほど大きくなる。
以上のように、撮影光学系の倍率色収差情報に応じてＡＦ用Ａ像のＲＧＢ感度比とＡＦ用Ｂ像のＲＧＢ比を揃える色毎信号補正を行うことで、撮影光学系の倍率色収差に起因する焦点検出誤差を高精度に補正することができる。
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。第１の実施形態との主な違いは、倍率色収差に起因する焦点検出誤差の為の色毎信号補正に加えて、その他各種ＢＰ補正を行う点が異なる。第２の実施形態では、第１の実施形態に加えて、その他各種ＢＰ（第２の実施形態では、縦横ＢＰ、色ＢＰ、空間周波数ＢＰ）を補正する。これにより、レンズメモリ１１８もしくはＲＡＭ１２５ｂが必要とするようになる容量は増えるが、より高精度に補正値の算出を行うことができる。
まず、第２の実施形態におけるＡＦ処理の詳細を、図１０Ａおよび図１０Ｂに示すフローチャートを用いて説明する。以下のＡＦ処理動作は、他の主体が明記されている場合を除き、カメラＭＰＵ１２５が主体となって実行される。また、カメラＭＰＵ１２５がレンズＭＰＵ１１７にコマンド等を送信することによってレンズユニット１００の駆動や制御を行う場合、説明を簡潔にするために動作主体をカメラＭＰＵ１２５として記載する場合がある。
Ｓ１でカメラＭＰＵ１２５は焦点検出領域を設定する。ここでは、例えば、撮像面位相差ＡＦ用、コントラストＡＦ用共に、図４に示したような３か所の焦点検出領域が設定されるものとする。次にＳ２において、カメラＭＰＵ１２５は、ＲＡＭ１２５ｂ内の至近判定フラグを１に設定する。
Ｓ３で、カメラＭＰＵ１２５は、撮像素子１２２を露光して画像信号を読み出し、画像処理回路１２４に撮像面位相差ＡＦ用の焦点検出領域２１８ａｈ、２１８ｂｈ、２１８ｃｈ内の画像データに基づいて撮像面位相差ＡＦ用の像信号を生成させる。また、画像処理回路１２４が生成したＲＡＷ画像データをＴＶＡＦ部１３０に供給させ、ＴＶＡＦ部１３０でＴＶＡＦ用の焦点検出領域２１９ａ、２１９ｂ、２１９ｃ内の画素データに基づいて評価値を算出させる。なお、撮像面位相差ＡＦ用の像信号を生成する前に、画像処理回路１２４において撮影レンズのレンズ枠などによる光束のケラレによる射出瞳の非対称性を補正する処理（特開２０１０−１１７６７９号公報参照）を適用してもよい。ＴＶＡＦ部１３０が算出した焦点評価値は、カメラＭＰＵ１２５内のＲＡＭ１２５ｂに記憶される。
Ｓ４において、カメラＭＰＵ１２５は、信頼性のある焦点評価値のピーク（極大値）が検出されたか否かを判定する。これは、コントラスト方式の焦点検出を行うためのもので、信頼性のあるピークが検出された場合、焦点検出処理を終えるために処理をＳ２０に進める。なお、焦点評価値のピークの信頼性の算出方法に制限はないが、例えば、特開２０１０−７８８１０号公報の図１０から図１３で説明されているような方法を用いればよい。
第２の実施形態では、位相差ＡＦとコントラストＡＦを併用している。そのため、同一の焦点検出領域や他の焦点検出領域で、より至近側の被写体の存在が確認されている場合には、信頼性のある焦点評価値のピークが検出された際であっても、焦点検出を終えずに、処理をＳ５に進めてもよい。ただし、その場合、信頼性のある焦点評価値のピークに対応するフォーカスレンズ１０４の位置を記憶しておき、Ｓ５以降の処理で信頼性のある焦点検出結果が得られなかった場合に、記憶したフォーカスレンズ１０４位置を焦点検出結果とする。また、１回目の焦点評価値の算出結果のみからではピークを検出することができないため、Ｓ５に進む。
Ｓ５において、撮像面位相差焦点検出部１２９は、各焦点検出領域２１８ｃｈ，２１８ａｈ，２１８ｂｈについて、画像処理回路１２４から供給されたＡＦ用Ａ像信号、ＡＦ用Ｂ像信号の像ずれ量（位相差）を算出する。そして、予め記憶されているデフォーカス量への換算係数を用いてデフォーカス量に変換する。この時、ＡＦ用Ａ像信号、ＡＦ用Ｂ像信号に対して、第１の実施形態で図５のフローチャート用いて焦点検出処理を説明した通り、撮影光学系の倍率色収差情報に応じて色毎信号補正を行う。
さらに、算出されたデフォーカス量の信頼性も判定し、所定の信頼性を有すると判定された焦点検出領域のデフォーカス量のみを、以後のＡＦ処理で用いる。レンズ枠などによるケラレの影響により、デフォーカス量が大きくなるにつれて、一対の像信号間で検出される位相差は、より多くの誤差を含むようになる。そのため、得られたデフォーカス量が閾値より大きい場合、一対の像信号の形状の一致度が低い場合、像信号のコントラストが低い場合には、得られたデフォーカス量は所定の信頼性を有さない（信頼性が低い）と判定することができる。以下、得られたデフォーカス量が所定の信頼性を有すると判定された場合に「デフォーカス量が算出できた」と表現する。また、デフォーカス量が何らかの理由で算出できなかった場合や、算出されたデフォーカス量の信頼性が低いと判定された場合には「デフォーカス量が算出できない」と表現する。
Ｓ６において、カメラＭＰＵ１２５は、Ｓ１で設定した撮像面位相差ＡＦ用の焦点検出領域２１８ａｈ、２１８ｂｈ、２１８ｃｈの全てでデフォーカス量が算出できたか否か調べる。全ての焦点検出領域でデフォーカス量が算出できている場合、カメラＭＰＵ１２５は処理をＳ２０に進める。
Ｓ２０では、算出されたデフォーカス量の中で、最も至近側にある被写体を示すデフォーカス量が算出された焦点検出領域に対して、ＢＰ（ベストピント）補正値（ＢＰ）を算出する。ここで、最も至近側の被写体を選択する理由は、一般に、撮影者がピントを合わせたい被写体は、至近側に存在することが多いためである。また、ＢＰ補正値（ＢＰ）は、記録画像の合焦位置と焦点検出結果との差を補正するための値であり、以下の理由により算出する。
一般的な被写体は、水平方向、垂直方向ともにコントラストを有しており、撮影された画像の焦点状態の評価も、水平方向、垂直方向の両方向のコントラストを鑑みてなされる。一方で、上述の位相差検出方式のＡＦのように水平方向のみの焦点検出を行う場合、水平方向の焦点検出結果と撮影画像の水平方向、垂直方向の両方向の焦点状態には誤差（縦横ＢＰ）を生じる。この誤差は、撮影光学系の非点収差などにより発生する。また、記録画像の鑑賞時に評価する色と焦点検出信号に用いられている色の差により発生する誤差（色ＢＰ）がある。この誤差は、撮影光学系が色収差を有する場合に発生する。
ＢＰ補正値（ＢＰ）は、上述した誤差を補正するための補正値で、選択された焦点検出領域、フォーカスレンズ１０４の位置、ズーム状態を示す第１レンズ群１０１の位置などを考慮して算出される。算出方法の詳細については後述する。
Ｓ２１で、カメラＭＰＵ１２５は、Ｓ２０で算出されたＢＰ補正値（ＢＰ）を用いて、以下の式（１）により焦点検出結果ＤＥＦ＿Ｂを補正し、補正後の焦点検出結果ＤＥＦ＿Ａを算出する。
ＤＥＦ＿Ａ＝ＤＥＦ＿Ｂ＋ＢＰ …（１）
Ｓ２２では、式（１）で算出された補正後のデフォーカス量ＤＥＦ＿Ａに基づいてフォーカスレンズ１０４の駆動を行う（合焦制御）。次に、Ｓ２３に進み、レンズ駆動に用いたデフォーカス量が算出された焦点検出領域に関して、表示器１２６に合焦表示を行い、ＡＦ処理を終了する。
このように、第２の実施形態では、倍率色収差に起因する焦点検出誤差の為の色毎信号補正に加えて、その他の各種ＢＰ補正を行う。そして、各種ＢＰ補正を算出する為に、第２の実施形態では、ＲＧＢ３種の色と縦横２種を組み合わせた６種の空間周波数ごとのデフォーカス量の極大値を示すフォーカスレンズ１０４位置の情報を用いる。これにより、色ＢＰや縦横ＢＰについても、空間周波数依存を考慮することができ、より高精度な補正を行うことができる。
一方、Ｓ６でデフォーカス量が算出できなかった焦点検出領域が存在した場合、カメラＭＰＵ１２５は処理を図１０ＢのＳ７に進める。Ｓ７でカメラＭＰＵ１２５は、至近判定フラグが１であるか否かを判定する。至近判定フラグが１であるのは、ＡＦ動作が始まってからフォーカスレンズ駆動が一度も行われていない場合である。フォーカスレンズ駆動が行われていれば至近判定フラグは０となる。至近判定フラグが１である場合、カメラＭＰＵ１２５は、処理をＳ８に進める。
Ｓ８でカメラＭＰＵ１２５は、全ての焦点検出領域でデフォーカス量を算出できなかった場合、もしくは、算出されたデフォーカス量のうち、最も至近側の被写体の存在を示すデフォーカス量が所定の閾値Ａ以下の場合には、処理をＳ９に進める。Ｓ９でカメラＭＰＵ１２５は、至近側に予め決められた量、フォーカスレンズを駆動する。
ここでＳ８でＹｅｓの場合に、所定量のレンズ駆動を行う理由について説明する。まず、複数の焦点検出領域の中で、デフォーカス量が算出できた領域が無い場合とは、現時点では、ピント合わせを行うべき被写体が見つかっていない場合である。そのため、合焦不能であると判断する前に、全ての焦点検出領域に対して、ピント合わせを行うべき被写体の存在を確認するために、所定量のレンズ駆動を行い、後述する焦点評価値の変化を判定できるようにする。また、算出されたデフォーカス量の中で最も至近側の被写体の存在を示すデフォーカス量が所定の閾値Ａ以下の場合とは、現時点で、ほぼ合焦状態の焦点検出領域が存在している場合である。このような状況では、デフォーカス量が算出できなかった焦点検出領域に、より至近側に、現時点では検出されていない被写体がある可能性を確認するために、所定量のレンズ駆動を行い、後述する焦点評価値の変化を判定できるようにする。なお、Ｓ９でフォーカスレンズを駆動する所定量は、撮影光学系のＦ値やレンズ駆動量に対する撮像面上でのピント移動量の敏感度を鑑みて定めればよい。
一方で、Ｓ８でＮｏの場合、すなわち、算出されたデフォーカス量の中で最も至近側の被写体の存在を示すデフォーカス量が所定の閾値Ａより大きい場合には、Ｓ１０に進む。この場合には、デフォーカス量が算出できた焦点検出領域は存在するものの、その焦点検出領域は合焦状態ではない場合である。そのため、Ｓ１０でカメラＭＰＵ１２５は、算出されたデフォーカス量の中で最も至近側の被写体の存在を示すデフォーカス量に基づき、レンズ駆動を行う。
Ｓ９もしくはＳ１０にてレンズ駆動を行った後、カメラＭＰＵ１２５は処理をＳ１１に進め、至近判定フラグを０に設定して、図１０ＡのＳ３に処理を戻す。
一方、Ｓ７で、至近判定フラグが１でない（０である）場合、カメラＭＰＵ１２５は処理をＳ１２に進める。Ｓ１２でカメラＭＰＵ１２５は、デフォーカス量が算出できなかった焦点検出領域に対応したＴＶＡＦ用の焦点検出領域の焦点評価値が、レンズ駆動前後で、所定の閾値Ｂ以上変化したか否かを判断する。焦点評価値は増加する場合も減少する場合もあるが、Ｓ１２では焦点評価値の変化量の絶対値が所定の閾値Ｂ以上であるか否かを判断する。
ここで、焦点評価値の変化量の絶対値が所定の閾値Ｂ以上である場合とは、デフォーカス量は算出できないものの、焦点評価値の増減により、被写体のボケ状態の変化を検出できたことを意味している。そのため、本実施形態では、位相差ＡＦによるデフォーカス量が検出できない場合でも、焦点評価値の増減に基づいて被写体の存在を判定し、ＡＦ処理を継続する。これにより、デフォーカス量が大きく、位相差ＡＦでは検出できない被写体に対して、焦点調節を行うことができる。
ここで、判定に用いられる所定の閾値Ｂは、レンズ駆動量に応じて変更する。レンズ駆動量が大きい場合は、小さい場合よりも閾値Ｂに大きい値を設定する。これは、被写体が存在する場合には、レンズ駆動量の増加に応じて、焦点評価値の変化量も増加するためである。これらのレンズ駆動量ごとの閾値Ｂは、ＥＥＰＲＯＭ１２５ｃに記憶されている。
焦点評価値の変化量の絶対値が閾値Ｂ以上である場合、カメラＭＰＵ１２５は処理をＳ１３に進め、焦点評価値の変化量が閾値Ｂ以上ある焦点検出領域が、無限遠側被写体の存在を示す焦点検出領域のみであるか否かを判定する。焦点検出領域が無限遠側被写体の存在を示す場合とは、レンズ駆動の駆動方向が至近方向で焦点評価値が減少、もしくは、レンズ駆動の駆動方向が無限遠方向で焦点評価値が増加した場合である。
焦点評価値の変化量が閾値Ｂ以上である焦点検出領域が、無限遠側被写体の存在を示す焦点検出領域のみでない場合、カメラＭＰＵ１２５は処理をＳ１４に進め、至近側に所定量のレンズ駆動を行う。これは、焦点評価値の変化量が閾値Ｂ以上ある焦点検出領域の中に、至近側被写体の存在を示す焦点検出領域があるためである。なお、至近側を優先する理由は上述のとおりである。
一方、Ｓ１３において、焦点評価値の変化量が閾値Ｂ以上ある焦点検出領域が、無限遠側被写体の存在を示す焦点検出領域のみである場合、カメラＭＰＵ１２５は処理をＳ１５に進める。Ｓ１５でカメラＭＰＵ１２５は、デフォーカス量が算出できた焦点検出領域が存在するか否かを判定する。デフォーカス量が算出できた焦点検出領域が存在する場合（Ｓ１５でＹｅｓ）には、焦点評価値による無限遠側被写体の存在よりも、位相差ＡＦの結果を優先するため、カメラＭＰＵ１２５は、処理を図１０ＡのＳ２０に進める。
デフォーカス量が算出できた焦点検出領域が存在しない場合（Ｓ１５でＮｏ）には、被写体の存在を示す情報が、焦点評価値の変化のみである。そのため、カメラＭＰＵ１２５は、焦点評価値の変化に基づいて、Ｓ１６で無限遠側に所定量のレンズ駆動を行い、処理を図１０ＡのＳ３に戻す。
Ｓ１４及びＳ１６で行うレンズ駆動の所定量は、位相差ＡＦで検出可能なデフォーカス量を鑑みて決めればよい。被写体によって検出可能なデフォーカス量は異なるが、焦点検出不可能な状態からのレンズ駆動で、被写体を検出できずに通り過ぎてしまうことがないようなレンズ駆動量を予め設定しておく。
焦点評価値の変化量の絶対値が所定の閾値Ｂ未満である場合（Ｓ１２でＮｏ）、カメラＭＰＵ１２５は処理をＳ１７に進め、デフォーカス量が算出できた焦点検出領域の有無を判定する。デフォーカス量が算出できた焦点検出領域が無い場合、カメラＭＰＵ１２５は、処理をＳ１８に進め、予め定められた定点にレンズを駆動した後、さらに処理をＳ１９に進め、表示器１２６に非合焦表示を行ってＡＦ処理を終了する。これは、デフォーカス量が算出できた焦点検出領域が無く、レンズ駆動の前後で焦点評価値の変化がある焦点検出領域も無い場合である。このような場合、被写体の存在を示す情報が全く無いため、カメラＭＰＵ１２５は合焦不能と判定してＡＦ処理を終了する。
一方、Ｓ１７で、デフォーカス量が算出できた焦点検出領域が有る場合、カメラＭＰＵ１２５は処理を図１０ＡのＳ２０に進める。
次に、図１１から図１３を用いて、図１０ＡのＳ２０で行うＢＰ補正値の算出方法について説明する。図１１は、図１０ＡのＳ２０で処理するＢＰ補正値算出処理のフローチャートである。
Ｓ５００で、カメラＭＰＵ１２５は、ＢＰ補正値算出に必要なパラメータを取得する。ＢＰ補正値は、フォーカスレンズ１０４の位置、ズーム状態を示す第１レンズ群１０１の位置、焦点検出領域の位置など、撮影光学系の変化や焦点検出光学系の変化に伴い変化する。第２の実施形態では、フォーカスレンズ１０４の位置、ズーム状態を示す第１レンズ群１０１の位置、焦点検出領域の位置の情報を取得する。さらに、焦点検出に用いる信号と撮影画像に用いる信号の色や評価方向に関する設定情報を取得する。
図１２に、色および評価方向に関する設定情報の例を示す。図１２に示された設定情報は、焦点状態を評価するコントラストの方向（水平、垂直）と色（赤、緑、青）に対する、重み付けの大きさを示す情報である。設定情報は、焦点検出用と撮影画像用とで、異なる情報を有する。例えば、水平方向で緑色の信号を用いたコントラストＡＦの結果を補正する場合は、焦点検出用の設定情報を、
Ｋ＿ＡＦ＿ＲＨ＝０
Ｋ＿ＡＦ＿ＧＨ＝１
Ｋ＿ＡＦ＿ＢＨ＝０
Ｋ＿ＡＦ＿ＲＶ＝０
Ｋ＿ＡＦ＿ＧＶ＝０
Ｋ＿ＡＦ＿ＢＶ＝０
のように定めればよい。このように設定することにより、焦点検出用の信号のデフォーカスＭＴＦ（Modulation Transfer Function）のピーク情報は、水平方向で緑色の信号の特性と同じであることを示すことができる。
一方で、撮影画像用は、
Ｋ＿ＩＭＧ＿ＲＨ＝０．１５
Ｋ＿ＩＭＧ＿ＧＨ＝０．２９
Ｋ＿ＩＭＧ＿ＢＨ＝０．０６
Ｋ＿ＩＭＧ＿ＲＶ＝０．１５
Ｋ＿ＩＭＧ＿ＧＶ＝０．２９
Ｋ＿ＩＭＧ＿ＢＶ＝０．０６
のように設定すればよい。これは、ＲＧＢの信号に対して、Ｙ信号相当に変換するための重み付けを行い、撮影画像はＹ信号で評価し、水平方向、垂直方向いずれのコントラストも同等に評価することを想定して設定される値である。ただし、設定値や設定値の種類などは、これに限らない。
Ｓ５０１で、カメラＭＰＵ１２５は、ピーク係数に変更があるか否かを判定する。この判定は、事前に行われたＢＰ補正値の算出と、今回のＢＰ補正値の算出における各種条件が同一の場合、ピーク係数の再算出を省略するために行っている。第２の実施形態では、焦点検出用と撮影画像用の色や評価方向に関する設定情報（図１２）と焦点検出領域の位置が同一の場合には、Ｓ５０２からＳ５０４をスキップして処理をＳ５０５に移行し、ピーク係数算出を省略する。
Ｓ５０１で、初めてピーク係数算出する場合もしくはピーク係数の変更ありと判定された場合、Ｓ５０２に進み、カメラＭＰＵ１２５はＢＰ補正情報の取得を行う。ＢＰ補正情報は、被写体の空間周波数ごとの撮影光学系の結像位置に関する情報である。空間周波数による誤差は、撮影光学系の主に球面収差により発生するもので、焦点検出に用いる信号の評価周波数（帯域）と撮影画像を鑑賞する際の評価周波数（帯域）の差によって発生する。ＲＧＢ３色と縦横２種の方向の組み合わせ６種について、空間周波数ｆと撮像素子１２２上の焦点検出領域の位置（ｘ、ｙ）を変数とした以下の式（２）で表現される。
ＭＴＦ＿Ｐ＿ＲＨ（ｆ，ｘ，ｙ）＝
（ｒｈ（０）×ｘ＋ｒｈ（１）×ｙ＋ｒｈ（２））×ｆ2
＋（ｒｈ（３）×ｘ＋ｒｈ（４）×ｙ＋ｒｈ（５））×ｆ
＋（ｒｈ（６）×ｘ＋ｒｈ（７）×ｙ＋ｒｈ（８）） …（２）
なお、式（２）は、赤（Ｒ）でかつ水平（Ｈ）方向に対応した空間周波数ごとのデフォーカスＭＴＦの極大値を示すフォーカスレンズ１０４位置の情報ＭＴＦ＿Ｐ＿ＲＨの式を示しているが、他の組み合わせについても同様の式で表される。また、第２の実施形態において、ｒｈ（ｎ）（０≦ｎ≦８）は、レンズユニット１００のレンズメモリ１１８にあらかじめ記憶されており、カメラＭＰＵ１２５は、レンズＭＰＵ１１７に要求して取得するものとする。しかし、ＲＡＭ１２５ｂの不揮発性領域に記憶されていてもよい。
同様に、赤で垂直（ＭＴＦ＿Ｐ＿ＲＶ）、緑で水平（ＭＴＦ＿Ｐ＿ＧＨ）、緑で垂直（ＭＴＦ＿Ｐ＿ＧＶ）、青で水平（ＭＴＦ＿Ｐ＿ＢＨ）、青で垂直（ＭＴＦ＿Ｐ＿ＢＶ）についても、同様に係数（ｒｖ、ｇｈ、ｇｖ、ｂｈ、ｂｖ）が記憶されている。
次に、Ｓ５０３では、得られたＢＰ補正情報に対して、焦点検出領域の位置や評価信号の色、コントラスト方向に関する重み付けを行い、ＢＰ補正情報の加工を行う。まず、ＢＰ補正値を算出する際の焦点検出領域の位置についての情報を用いて、上述したＢＰ補正情報の計算を行う。具体的には、式（２）のｘ、ｙに焦点検出領域の位置情報を代入する。この計算により式（２）は、以下の式（３）のように表される。
ＭＴＦ＿Ｐ＿ＲＨ（ｆ）＝Ａｒｈ×ｆ2＋Ｂｒｈ×ｆ＋Ｃｒｈ …（３）
同様に、ＭＴＦ＿Ｐ＿ＲＶ（ｆ）、ＭＴＦ＿Ｐ＿ＧＨ（ｆ）、ＭＴＦ＿Ｐ＿ＧＶ（ｆ）、ＭＴＦ＿Ｐ＿ＢＨ（ｆ）、ＭＴＦ＿Ｐ＿ＢＶ（ｆ）についても計算する。
図１３（ａ）は、Ｓ５０２で焦点検出領域の位置情報を代入した後のＢＰ補正情報の例を示し、横軸は空間周波数を、縦軸はデフォーカスＭＴＦの極大値を示すフォーカスレンズ１０４の位置（ピーク位置）を表している。図に示す通り、色収差が大きい場合には、色毎の曲線が乖離し、縦横差が大きい場合には、図中の水平方向と垂直方向の曲線が乖離する。このように、第２の実施形態では、色毎（ＲＧＢ）と評価方向毎（ＨとＶ）との組み合わせごとに、空間周波数に対応したデフォーカスＭＴＦ情報を有する。これにより、高精度なＢＰ補正値算出を可能とする。
次に、Ｓ５０３において、焦点検出、撮像で評価する色、方向に関する重み付けを行う。重み付けは、Ｓ５００で取得している設定情報を構成する１２個の係数を、ＢＰ補正情報を用いて行う。具体的には、焦点検出用の空間周波数特性ＭＴＦ＿Ｐ＿ＡＦ（ｆ）と撮影画像用の空間周波数特性ＭＴＦ＿Ｐ＿ＩＭＧ（ｆ）を、式（４）および式（５）を用いて算出する。
ＭＴＦ＿Ｐ＿ＡＦ（ｆ）＝
Ｋ＿ＡＦ＿ＲＨ×ＭＴＦ＿Ｐ＿ＲＨ（ｆ）
＋Ｋ＿ＡＦ＿ＲＶ×ＭＴＦ＿Ｐ＿ＲＶ（ｆ）
＋Ｋ＿ＡＦ＿ＧＨ×ＭＴＦ＿Ｐ＿ＧＨ（ｆ）
＋Ｋ＿ＡＦ＿ＧＶ×ＭＴＦ＿Ｐ＿ＧＶ（ｆ）
＋Ｋ＿ＡＦ＿ＢＨ×ＭＴＦ＿Ｐ＿ＢＨ（ｆ）
＋Ｋ＿ＡＦ＿ＢＶ×ＭＴＦ＿Ｐ＿ＢＶ（ｆ） …（４）
ＭＴＦ＿Ｐ＿ＩＭＧ（ｆ）＝
Ｋ＿ＩＭＧ＿ＲＨ×ＭＴＦ＿Ｐ＿ＲＨ（ｆ）
＋Ｋ＿ＩＭＧ＿ＲＶ×ＭＴＦ＿Ｐ＿ＲＶ（ｆ）
＋Ｋ＿ＩＭＧ＿ＧＨ×ＭＴＦ＿Ｐ＿ＧＨ（ｆ）
＋Ｋ＿ＩＭＧ＿ＧＶ×ＭＴＦ＿Ｐ＿ＧＶ（ｆ）
＋Ｋ＿ＩＭＧ＿ＢＨ×ＭＴＦ＿Ｐ＿ＢＨ（ｆ）
＋Ｋ＿ＩＭＧ＿ＢＶ×ＭＴＦ＿Ｐ＿ＢＶ（ｆ） …（５）
図１３（ｂ）に、ＭＴＦ＿Ｐ＿ＡＦ（ｆ）とＭＴＦ＿Ｐ＿ＩＭＧ（ｆ）の例を、図１３（ａ）と同様の形式で示す。第２の実施形態では、このように、焦点検出領域の位置や評価する色や方向についての変数の計算を、空間周波数の変数に関する計算に先駆けて行う。計算の結果、ＭＴＦ＿Ｐ＿ＡＦ（ｆ）とＭＴＦ＿Ｐ＿ＩＭＧ（ｆ）は、下記式（６）（７）の形式で表される。
ＭＴＦ＿Ｐ＿ＡＦ（ｆ）＝Ａａｆ×ｆ2＋Ｂａｆ×ｆ＋Ｃａｆ …（６）
ＭＴＦ＿Ｐ＿ＩＭＧ（ｆ）＝Ａｉｍｇ×ｆ2＋Ｂｉｍｇ×ｆ＋Ｃｉｍｇ …（７）
図１３（ｂ）には、離散的な空間周波数Ｆ１からＦ４について、式（６）に代入して得られるデフォーカスＭＴＦがピーク（極大値）となるフォーカスレンズ位置ＬＰ４＿ＡＦ、ＬＰ５＿ＡＦ、ＬＰ６＿ＡＦ、ＬＰ７＿ＡＦが縦軸に示されている。
Ｓ５０４で、このＬＰ４＿ＡＦ〜ＬＰ７＿ＡＦを、ピーク係数ＭＴＦ＿Ｐ＿ＡＦ（ｎ）（１≦ｎ≦４）としてレンズメモリ１１８またはＲＡＭ１２５ｂに記憶する。同様に、ＬＰ４＿Ｉｍｇ〜ＬＰ７＿Ｉｍｇを、ピーク係数ＭＴＦ＿Ｐ＿Ｉｍｇ（ｎ）（１≦ｎ≦４）としてレンズメモリ１１８またはＲＡＭ１２５ｂに記憶し、Ｓ５０５に進む。
次に、Ｓ５０５で、焦点検出用もしくは撮影画像用の信号の評価帯域に変更があるか否かを判定し、評価帯域に変更がない場合には、Ｓ５０７に進み、ＢＰ補正値を算出する。ＢＰ補正値を算出するのに際し、カメラＭＰＵ１２５はまず、撮影画像の合焦位置（Ｐ＿ｉｍｇ）とＡＦで検出する合焦位置（Ｐ＿ＡＦ）を、以下の式（８）および（９）に従って算出する。算出には、ＡＦ評価帯域Ｗ１および撮影画像評価帯域Ｗ２を用いる。ＡＦ評価帯域Ｗ１は、コントラストＡＦや位相差ＡＦを行う際に用いられる信号の帯域で、被写体、撮影光学系、撮像素子のサンプリング周波数、評価に用いるデジタルフィルタの影響を鑑みて算出される。また、撮影画像評価帯域Ｗ２は、撮影画像に用いられる信号の帯域で、被写体、撮影光学系、および撮像素子の周波数特性、撮影画像の鑑賞者の評価帯域の影響を鑑みて算出される。
Ｐ＿ｉｍｇ＝ＭＴＦ＿Ｐ＿Ｉｍｇ（１）×Ｗ１（１）
＋ＭＴＦ＿Ｐ＿Ｉｍｇ（２）×Ｗ１（２）
＋ＭＴＦ＿Ｐ＿Ｉｍｇ（３）×Ｗ１（３）
＋ＭＴＦ＿Ｐ＿Ｉｍｇ（４）×Ｗ１（４） …（８）
Ｐ＿ＡＦ＝ＭＴＦ＿Ｐ＿ＡＦ（１）×Ｗ２（１）
＋ＭＴＦ＿Ｐ＿ＡＦ（２）×Ｗ２（２）
＋ＭＴＦ＿Ｐ＿ＡＦ（３）×Ｗ２（３）
＋ＭＴＦ＿Ｐ＿ＡＦ（４）×Ｗ２（４） …（９）
つまり、図１３（ｂ）で示した空間周波数ごとのデフォーカスＭＴＦの極大値情報を、ＡＦ評価帯域Ｗ１および撮影画像評価帯域Ｗ２で重みづけ加算する。これにより、撮影画像の合焦位置（Ｐ＿ｉｍｇ）とＡＦが検出する合焦位置（Ｐ＿ＡＦ）を算出している。
次にカメラＭＰＵ１２５は、ＢＰ補正値（ＢＰ）を、以下の式（１０）により算出する。
ＢＰ＝Ｐ＿ＡＦ−Ｐ＿ｉｍｇ …（１０）
一方、Ｓ５０５で、評価帯域に変更があると判定された場合にはＳ５０６に進み、焦点検出や撮影画像の設定や状況に応じて評価帯域情報を取得する。Ｓ５０６で、評価帯域情報の取得を終えると、Ｓ５０７に進みＢＰ補正値の算出を行う。
上記の通り第２の実施形態では、倍率色収差に起因する焦点検出誤差の為の色毎信号補正に加えて、その他の各種ＢＰ補正を行う。さらに、焦点検出領域の位置や評価信号の色やコントラスト方向に関する処理を、評価帯域に関する処理よりも先行して行う。これは、撮影者が焦点検出領域の位置を設定により決定している場合には、焦点検出領域の位置や評価する色や縦横の情報は、撮影者による設定や撮像装置の構成で決まるため、変更の頻度が低いためである。一方で、信号の評価帯域については、撮像素子の読み出しモードやＡＦ評価信号のデジタルフィルタなどにより変更される頻度が高い。例えば、信号のＳ／Ｎが低下する低照度環境では、デジタルフィルタの帯域をより低帯域に変更することなどが考えられる。第２の実施形態では、このような場合に、変更の頻度が低い係数（ピーク係数）を算出した後に記憶し、変更の頻度の高い係数（評価帯域）のみを必要に応じて計算し、ＢＰ補正値の算出を行う。これにより、撮影者が焦点検出領域の位置を設定している場合などには、演算量の低減を行うことができる。
以上のように第２の実施形態によれば、倍率色収差に起因する焦点検出誤差の為の色毎信号補正に加えて、その他の各種ＢＰ補正を行うことにより、倍率色収差に起因する焦点検出誤差の補正を含めた各種ＢＰ補正を高精度に行うことができる。
＜他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
１００：レンズユニット、１０４：フォーカスレンズ群、１１３：フォーカスアクチュエータ、１１７：レンズＭＰＵ、１１８：レンズメモリ、１２０：カメラ本体、１２２：撮像素子、１２５：カメラＭＰＵ、１２５ａ：ＲＡＭ、１２９：撮像面位相差焦点検出部、１３０：ＴＶＡＦ部

Claims (13)

  1. 複数のマイクロレンズそれぞれに対して複数の光電変換部を備え、撮影光学系を介して入射する光を光電変換して電気信号を出力する、複数色のカラーフィルタに覆われた撮像素子から得られる各色の対の焦点検出信号に対して、前記撮像素子に固有の色感度情報に基づいて色ごとに前記焦点検出信号を補正する補正値を取得する取得手段と、
    前記補正値により、前記各色の対の焦点検出信号をそれぞれ補正する補正手段と、
    前記補正手段により補正された前記各色の対の焦点検出信号を合成して、一対の焦点検出信号を生成する生成手段と、
    前記生成手段により生成された前記一対の焦点検出信号に基づいて、焦点状態を示す評価値を検出する焦点検出手段と
    を有することを特徴とする焦点検出装置。
  2. 前記補正値は、合焦状態において、各像高における前記各色の対の焦点検出信号の信号強度を、前記各色の対の焦点検出信号の一方の信号強度と、他方の信号強度との平均に補正する係数であることを特徴とする請求項１に記載の焦点検出装置。
  3. 前記補正値は、合焦状態において、前記各色の対の焦点検出信号の信号強度を、中央像高における前記各色の対の焦点検出信号の信号強度に補正する係数であることを特徴とする請求項１に記載の焦点検出装置。
  4. 前記補正値は、合焦状態において、前記各色の対の焦点検出信号の一方の信号強度を、他方の信号強度に補正する係数であることを特徴とする請求項１に記載の焦点検出装置。
  5. 前記取得手段は、レンズの射出瞳距離、絞り、像高に基づいて、前記補正値を取得することを特徴とする請求項１乃至４のいずれか１項に記載の焦点検出装置。
  6. 前記取得手段は、前記レンズの射出瞳距離、絞り、像高それぞれに応じた前記補正値を予め保持した記憶手段から取得することを特徴とする請求項５に記載の焦点検出装置。
  7. 前記撮像素子に焦点検出領域が設定されている場合に、前記像高として、当該設定された焦点検出領域の代表点を設定することを特徴とする請求項５または６に記載の焦点検出装置。
  8. 前記代表点を像高として取得した前記補正値を、前記焦点検出領域の光電変換部から出力された前記各色の対の焦点検出信号の補正に用いることを特徴とする請求項７に記載の焦点検出装置。
  9. 前記レンズの射出瞳距離が予め決められた基準瞳距離以上、絞りが予め決められた絞り未満、または、前記対の焦点検出信号を出力した光電変換部の像高が予め決められた像高未満である場合に、前記補正を行わないことを特徴とする請求項１乃至８のいずれか１項に記載の焦点検出装置。
  10. 前記レンズの射出瞳距離が予め決められた基準瞳距離未満、絞りが予め決められた絞り以上、且つ、前記対の焦点検出信号を出力した光電変換部の像高が予め決められた像高以上である場合に、前記取得手段は、撮影条件に応じた前記倍率色収差の情報を取得し、当該取得した倍率色収差の情報に基づいて、前記補正を行うか否かを判定し、
    前記倍率色収差の情報は、予め決められた特定の色、または波長を基準として相対的に求められた値であることを特徴とする請求項９に記載の焦点検出装置。
  11. 前記焦点検出手段により検出された評価値に対して、前記撮影光学系の非点収差、色収差、球面収差の少なくとも１つによって生じる、撮影画像の焦点状態との差を補正する第２の補正手段を更に有することを特徴とする請求項１乃至１０のいずれか１項に記載の焦点検出装置。
  12. 前記撮像素子と、
    請求項１乃至１１のいずれか１項に記載の焦点検出装置と、
    前記評価値に基づいて、前記撮影光学系の焦点状態を制御する制御手段と
    を有することを特徴とする撮像装置。
  13. 複数のマイクロレンズそれぞれに対して複数の光電変換部を備え、撮影光学系を介して入射する光を光電変換して電気信号を出力する、複数色のカラーフィルタに覆われた撮像素子から得られる各色の対の焦点検出信号を用いた焦点検出方法であって、
    取得手段が、前記撮像素子に固有の色感度情報に基づいて色ごとに前記焦点検出信号を補正する補正値を取得する取得工程と、
    補正手段が、前記補正値により、前記各色の対の焦点検出信号をそれぞれ補正する補正工程と、
    生成手段が、前記補正工程で補正された前記各色の対の焦点検出信号を合成して、一対の焦点検出信号を生成する生成工程と、
    焦点検出手段が、前記生成工程で生成された前記一対の焦点検出信号に基づいて、焦点状態を示す評価値を検出する焦点検出手段と
    を有することを特徴とする焦点検出方法。
JP2016056112A 2016-03-18 2016-03-18 焦点検出装置および方法、および撮像装置 Active JP6682310B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016056112A JP6682310B2 (ja) 2016-03-18 2016-03-18 焦点検出装置および方法、および撮像装置
US15/461,805 US10455142B2 (en) 2016-03-18 2017-03-17 Focus detection apparatus and method, and image capturing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016056112A JP6682310B2 (ja) 2016-03-18 2016-03-18 焦点検出装置および方法、および撮像装置

Publications (3)

Publication Number Publication Date
JP2017173374A true JP2017173374A (ja) 2017-09-28
JP2017173374A5 JP2017173374A5 (ja) 2019-04-25
JP6682310B2 JP6682310B2 (ja) 2020-04-15

Family

ID=59847274

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016056112A Active JP6682310B2 (ja) 2016-03-18 2016-03-18 焦点検出装置および方法、および撮像装置

Country Status (2)

Country Link
US (1) US10455142B2 (ja)
JP (1) JP6682310B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019070610A (ja) * 2017-10-11 2019-05-09 キヤノン株式会社 測距装置および測距方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6186900B2 (ja) * 2013-06-04 2017-08-30 ソニー株式会社 固体撮像装置、電子機器、レンズ制御方法、および撮像モジュール
GB2548462B (en) * 2016-01-29 2020-06-17 Canon Kk Image sensor and image capturing apparatus
MY196634A (en) * 2016-02-01 2023-04-25 Kla Tencor Corp Method and System for Optical Three-Dimensional Topography Measurement
JP2017194558A (ja) * 2016-04-20 2017-10-26 オリンパス株式会社 撮像装置および撮像方法
JP6395790B2 (ja) * 2016-11-18 2018-09-26 キヤノン株式会社 撮像装置、撮像装置の制御方法およびフォーカス制御プログラム
JP7086551B2 (ja) * 2017-09-21 2022-06-20 キヤノン株式会社 撮像装置及びその制御方法
JP7171331B2 (ja) * 2018-09-14 2022-11-15 キヤノン株式会社 撮像装置
US20220159191A1 (en) * 2020-11-18 2022-05-19 Canon Kabushiki Kaisha Image pickup apparatus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001356260A (ja) * 2000-06-15 2001-12-26 Olympus Optical Co Ltd ピント合わせ装置及び測距装置
JP2009008928A (ja) * 2007-06-28 2009-01-15 Olympus Corp 撮像装置及び画像信号処理プログラム
JP2011223562A (ja) * 2010-03-23 2011-11-04 Fujifilm Corp 撮像装置
JP2014041202A (ja) * 2012-08-21 2014-03-06 Nikon Corp 焦点検出装置および撮像装置
JP2015222411A (ja) * 2014-05-01 2015-12-10 キヤノン株式会社 撮像装置およびその制御方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004134867A (ja) 2002-10-08 2004-04-30 Canon Inc 固体撮像装置、その駆動方法、及び撮像システム
JP4858008B2 (ja) 2006-08-24 2012-01-18 株式会社ニコン 焦点検出装置、焦点検出方法および撮像装置
JP5153542B2 (ja) 2008-09-25 2013-02-27 キヤノン株式会社 自動焦点調節装置および焦点調節方法
JP5237059B2 (ja) 2008-11-14 2013-07-17 キヤノン株式会社 焦点検出装置及び方法、及び撮像装置
JP5629832B2 (ja) * 2011-09-30 2014-11-26 富士フイルム株式会社 撮像装置及び位相差画素の感度比算出方法
JP5966426B2 (ja) 2012-02-22 2016-08-10 株式会社ニコン 焦点検出装置
JP6239857B2 (ja) 2013-05-13 2017-11-29 キヤノン株式会社 撮像装置およびその制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001356260A (ja) * 2000-06-15 2001-12-26 Olympus Optical Co Ltd ピント合わせ装置及び測距装置
JP2009008928A (ja) * 2007-06-28 2009-01-15 Olympus Corp 撮像装置及び画像信号処理プログラム
JP2011223562A (ja) * 2010-03-23 2011-11-04 Fujifilm Corp 撮像装置
JP2014041202A (ja) * 2012-08-21 2014-03-06 Nikon Corp 焦点検出装置および撮像装置
JP2015222411A (ja) * 2014-05-01 2015-12-10 キヤノン株式会社 撮像装置およびその制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019070610A (ja) * 2017-10-11 2019-05-09 キヤノン株式会社 測距装置および測距方法
JP7057090B2 (ja) 2017-10-11 2022-04-19 キヤノン株式会社 測距装置および測距方法

Also Published As

Publication number Publication date
JP6682310B2 (ja) 2020-04-15
US20170272643A1 (en) 2017-09-21
US10455142B2 (en) 2019-10-22

Similar Documents

Publication Publication Date Title
KR102053305B1 (ko) 촬영 광학계
JP6478457B2 (ja) 焦点調節装置及び焦点調節方法
JP6682310B2 (ja) 焦点検出装置および方法、および撮像装置
JP6429546B2 (ja) 撮像装置、制御方法、プログラム、および、記憶媒体
JP6478496B2 (ja) 撮像装置およびその制御方法
JP6486288B2 (ja) 撮像装置、制御方法、プログラム、記憶媒体
JP6298362B2 (ja) 撮像装置及びその制御方法、及び撮像システム
JP6464118B2 (ja) 焦点検出装置および方法、撮像装置、およびレンズユニット
US10630883B2 (en) Image capturing apparatus and focus detection method
JP6854619B2 (ja) 焦点検出装置及び方法、撮像装置、レンズユニット及び撮像システム
JP6890937B2 (ja) 焦点検出装置、撮像装置、および焦点検出方法
JP7037271B2 (ja) 焦点検出装置および焦点検出方法、撮像装置、プログラム並びに記憶媒体
JP6744933B2 (ja) レンズ部およびその制御方法
JP6685769B2 (ja) 情報処理装置、撮像装置及び情報処理方法
JP2016090816A (ja) 撮像装置およびその制御方法
JP2016090815A (ja) 撮像装置およびその制御方法
JP6686239B1 (ja) レンズ部、送信装置、及び受信装置
JP6686191B2 (ja) 焦点検出装置、撮像装置、及び焦点検出方法
JP6548626B2 (ja) 撮像装置、撮像装置の制御方法およびフォーカス制御プログラム
JP6415054B2 (ja) 撮像装置及び撮像方法
JP2020003686A (ja) 焦点検出装置、撮像装置および交換レンズ装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190315

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190315

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200325

R151 Written notification of patent or utility model registration

Ref document number: 6682310

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151