JP2019078965A - 撮像装置および焦点検出方法 - Google Patents

撮像装置および焦点検出方法 Download PDF

Info

Publication number
JP2019078965A
JP2019078965A JP2017207731A JP2017207731A JP2019078965A JP 2019078965 A JP2019078965 A JP 2019078965A JP 2017207731 A JP2017207731 A JP 2017207731A JP 2017207731 A JP2017207731 A JP 2017207731A JP 2019078965 A JP2019078965 A JP 2019078965A
Authority
JP
Japan
Prior art keywords
light
focus detection
focus
information
image pickup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017207731A
Other languages
English (en)
Other versions
JP7091053B2 (ja
Inventor
英之 浜野
Hideyuki Hamano
英之 浜野
暁彦 上田
Akihiko Ueda
暁彦 上田
嘉人 玉木
Yoshito Tamaki
嘉人 玉木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017207731A priority Critical patent/JP7091053B2/ja
Priority to US16/167,833 priority patent/US10630883B2/en
Priority to CN201811267222.4A priority patent/CN109729244B/zh
Publication of JP2019078965A publication Critical patent/JP2019078965A/ja
Application granted granted Critical
Publication of JP7091053B2 publication Critical patent/JP7091053B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0208Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows using focussing or collimating elements, e.g. lenses or mirrors; performing aberration correction
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/0037Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration with diffracting elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】メモリ容量の増加を抑えつつ、様々な分光特性のAF補助光を使用しても撮像光学系の収差に起因する焦点検出誤差を良好に補正する。【解決手段】撮像装置120は、被写体像を撮像する撮像素子122と、撮像素子からの焦点検出用信号を用いて焦点検出を行う焦点検出手段125,129とを有する。焦点検出手段は、撮像光学系の収差情報と第1の光の分光特性に応じた第1の演算用情報とを用いて撮像時の焦点位置として算出される第1の焦点位置と、収差情報と第1の光の分光特性に応じた第2の演算用情報とを用いて焦点検出時の焦点位置として算出される第2の焦点位置との差分を用いて焦点検出の結果を補正する。焦点検出において第1の光とは分光特性が異なる第2の光が被写体に向けて発光される場合と発光されない場合とで、第2の演算用情報を変更する。【選択図】図2

Description

本発明は、デジタルカメラやビデオカメラ等の撮像装置に関する。
撮像装置の自動焦点調節(AF)方式には、コントラスト検出(TV−AF)方式と位相差検出方式があり、撮像装置には撮像素子をこれらのAF方式における焦点検出用センサとして用いるものがある。ただし、これらのAF方式では、撮像素子上に形成される光学像を利用して焦点検出を行うため、光学像を形成する撮像光学系の収差が焦点検出結果に誤差を与える。例えば、被写体(人物)が眩しさを感じ難いように、AF補助光としては赤色光や近赤外光が用いられる。このAF補助光を被写体に照射して焦点検出を行い、その後にAF補助光の照射を停止して撮像を行うと、AF補助光の分光特性に対する撮像光学系の収差の影響によって焦点検出結果に誤差が生じる場合がある。
特許文献1には、このような焦点検出結果の誤差をAF補助光の照射時に用いる補正量としてメモリに記憶しておくことにより、より高精度な焦点検出を行う撮像装置が開示されている。
特許第4272717号公報
しかしながら、AF補助光として、赤色光および近赤外光に加えて、セルフタイマー機能や赤目緩和機能と併用するための緑色光や、動画撮像時の照明と併用するための白色光等、様々な分光特性のAF補助光が用いられる場合がある。この場合に、特許文献1にて開示された撮像装置では、AF補助光ごとに、かつ撮像光学系の収差が異なる光学状態(ズーム状態、フォーカス状態、F値等)ごとに補正量を記憶する必要がある。さらに、レンズ交換型の撮像装置では、これに装着可能な互いに収差が異なる交換レンズごとに補正量を記憶する必要がある。この結果、必要なメモリ容量が増大する。
本発明は、メモリ容量の増加を抑えつつ、様々な分光特性のAF補助光を使用しても、撮像光学系の収差に起因する焦点検出誤差を良好に補正することが可能な撮像装置を提供する。
本発明の一側面としての撮像装置は、被写体から撮像光学系に入射した光により形成される被写体像を撮像する撮像素子と、撮像素子からの焦点検出用信号を用いて焦点検出を行う焦点検出手段とを有する。焦点検出手段は、撮像光学系の収差情報と第1の光の分光特性に応じた第1の演算用情報とを用いて撮像時の焦点位置として算出される第1の焦点位置と、収差情報と第1の光の分光特性に応じた第2の演算用情報とを用いて焦点検出時の焦点位置として算出される第2の焦点位置との差分を用いて焦点検出の結果を補正する。そして、焦点検出において第1の光とは分光特性が異なる第2の光が被写体に向けて発光される場合と発光されない場合とで、第2の演算用情報を変更することを特徴とする。
本発明の他の一側面としての撮像装置は、被写体から撮像光学系に入射した光により形成される被写体像を撮像する撮像素子と、撮像素子からの焦点検出用信号を用いて焦点検出を行う焦点検出手段とを有する。焦点検出手段は、撮像光学系の収差情報と第1の光の分光特性に応じた第1の演算用情報とを用いて撮像時の焦点位置として算出される第1の焦点位置と、収差情報と第1の光の分光特性に応じた第2の演算用情報とを用いて焦点検出時の焦点位置として算出される第2の焦点位置との差分を用いて焦点検出の結果を補正する。そして、焦点検出において第1の光とは分光特性が異なる第2の光が被写体に向けて発光される場合は、第2の光の分光特性に応じて第2の第2の演算用情報を変更することを特徴とする。
本発明の他の一側面としての撮像装置は、被写体から撮像光学系に入射した光により形成される被写体像を撮像する撮像素子と、撮像素子からの焦点検出用信号を用いて焦点検出を行う焦点検出手段とを有する。焦点検出手段は、撮像光学系の収差情報と第1の光の分光特性に応じた第1の演算用情報とを用いて撮像時の焦点位置として算出される第1の焦点位置と、収差情報と第1の光の分光特性に応じた第2の演算用情報とを用いて焦点検出時の焦点位置として算出される第2の焦点位置との差分を用いて焦点検出の結果を補正する。そして、焦点検出において第1の光とは分光特性が異なる第2の光が被写体に向けて発光される場合は、収差情報と第2の演算用情報とを用いて第2の光の分光特性に応じた第3の焦点位置を取得し、第1の焦点位置と第3の焦点位置との差分を用いて焦点検出の結果を補正することを特徴とする。
本発明の他の一側面としての撮像装置は、被写体から撮像光学系に入射した光により形成される被写体像を撮像する撮像素子と、撮像素子からの焦点検出用信号を用いて焦点検出を行う焦点検出手段とを有する。焦点検出手段は、撮像光学系の収差情報と第1の光のうち一部の波長域の光の分光特性に応じた第1の演算用情報とを用いて撮像時の焦点位置としての算出される第1の焦点位置と、収差情報と上記一部の波長域の光の分光特性に応じた第2の演算用情報とを用いて焦点検出時の焦点位置として算出される第2の焦点位置との差分を用いて前記焦点検出の結果を補正する。そして、焦点検出において第1の光とは波長域が異なる第2の光が前記被写体に向けて発光される場合は、第1の焦点位置と、収差情報と第2の光の分光特性に応じた第3の演算用情報とを用いて算出される第3の焦点位置との差分を用いて焦点検出の結果を補正することを特徴とする。
本発明の他の一側面としての撮像装置は、被写体から撮像光学系に入射した光により形成される被写体像を撮像する撮像素子と、撮像素子からの焦点検出用信号を用いて焦点検出を行う焦点検出手段とを有する。焦点検出手段は、撮像光学系の収差情報と第1の光の分光特性に応じた第1の演算用情報とを用いて撮像時の焦点位置として算出される第1の焦点位置と、収差情報と第1の光の分光特性に応じた第2の演算用情報とを用いて焦点検出時の焦点位置として算出される第2の焦点位置との差分を用いて焦点検出の結果を補正する。そして、焦点検出において第1の光とは分光特性が異なる第2の光が被写体に向けて発光される場合は、第1の焦点位置と、第2の光の分光特性に応じた撮像光学系の第2の収差情報と第2の光の分光特性に応じた第3の演算用情報とを用いて算出される第3の焦点位置との差分を用いて焦点検出の結果を補正することを特徴とする。
本発明によれば、メモリ容量の増加を抑えつつ、AF補助光の分光特性にかかわらず、撮像光学系の収差に起因する焦点検出誤差を良好に補正することができる。
本発明の各実施例におけるAF処理を示すフローチャート。 各実施例のデジタルカメラの構成を示すブロック図。 各実施例における撮像素子の構成を示す図。 各実施例における光電変換領域と射出瞳との関係を示す図。 図2中のTVAF部の構成を示すブロック図。 各実施例における焦点検出領域を示す図。 実施例1におけるBP補正値算出処理を示すフローチャート。 実施例1におけるBP補正値算出処理を説明するための図。 実施例1における空間周波数特性を示す図。 実施例2におけるAF処理を示すフローチャート。 実施例2におけるBP補正値算出処理を示すフローチャート。 実施例2におけるBP補正値算出用の設定情報を示す図。 実施例3におけるAF処理を示すフローチャート。 実施例3におけるBP補正値算出処理を示すフローチャート。 実施例3におけるBP補正値算出処理を説明するための図。 実施例4におけるAF処理を示すフローチャート。 実施例4におけるBP補正値算出処理を示すフローチャート。 実施例4におけるBP補正値算出処理を説明する図。 実施例4におけるBP補正値算出用の設定情報を示す図。 実施例5におけるBP補正値算出処理を示すフローチャート。 実施例5におけるBP補正値算出処理を説明する図。 実施例6におけるAF処理を示すフローチャート。 実施例6におけるBP補正値算出処理を示すフローチャート。 実施例6におけるBP補正値算出用の設定情報を示す図。
以下、本発明の実施例について図面を参照しながら説明する。
図2は、実施例に係る撮像装置の一例としてデジタルカメラの構成を示すブロック図である。本実施例のデジタルカメラはレンズ交換式一眼レフカメラであり、レンズユニット100とカメラ本体120とを有する。レンズユニット(交換レンズ)100は図中央の点線で示されるマウントMを介して、カメラ本体120に装着される。
本実施例では、レンズ交換式一眼レフカメラについて説明するが、レンズ一体型カメラ、ミラーレスカメラおよびビデオカメラ等の他の撮像装置も本発明の実施例に含まれる。また、携帯電話機、パーソナルコンピュータ、ゲーム機等、カメラ機能を備えた各種電子機器も撮像装置として本発明の実施例に含まれる。
レンズユニット100は、レンズ光学系と、駆動/制御系とを有する。レンズ光学系は、第1レンズ群101、絞り102、第2レンズ群103、フォーカスレンズ群(以下、単にフォーカスレンズという)104を含み、被写体の光学像である被写体像を形成する。
第1レンズ群101はレンズユニット100の先端に配置され、光軸方向OAに移動可能に保持されている。絞り102は、光量を調節する機能を有するとともに、静止画撮像時に露出時間を制御するメカニカルシャッタとしても機能する。絞り102および第2レンズ群103は、一体で光軸方向OAに移動可能であり、第1レンズ群101と連動して移動することにより変倍を行う。フォーカスレンズ104は、光軸方向OAに移動して、レンズユニット100が合焦する被写体距離(合焦距離)を変化させる。すなわち、焦点調節を行う。
駆動/制御系は、ズームアクチュエータ111、絞りアクチュエータ112、フォーカスアクチュエータ113、ズーム駆動回路114、絞り絞り駆動回路115、フォーカス駆動回路116、レンズMPU117およびレンズメモリ118を含む。ズーム駆動回路114は、ズームアクチュエータ111を用いて第1レンズ群101および第3レンズ群103を光軸方向OAに駆動する。絞り駆動回路115は、絞りアクチュエータ112を用いて絞り102を駆動して、絞り102の開口径や開閉動作を制御する。フォーカス駆動回路116は、フォーカスアクチュエータ113を用いてフォーカスレンズ104を光軸方向OAに駆動する。また、フォーカス駆動回路116は、フォーカスアクチュエータ113を用いてフォーカスレンズ104の現在位置を検出する。
レンズMPU(マイクロプロセッサユニット)117は、レンズユニット100に関する全ての演算および制御を行う。該制御には、ズーム駆動回路114、絞り駆動回路115およびフォーカス駆動回路116の制御も含まれる。また、レンズMPU117は、マウントMに設けられた通信端子を介してカメラMPU125と電気的に接続され、カメラMPU125との間でコマンドやデータを通信する。例えばレンズMPU117は、フォーカスレンズ104の位置(以下、フォーカスレンズ位置という)を検出し、カメラMPU125からの要求に応じて、検出したフォーカスレンズ位置を含むフォーカスレンズ情報をカメラMPU125に通知する。フォーカスレンズ情報は、フォーカスレンズ104の光軸方向OAでの位置、射出瞳の光軸方向OAでの位置と直径、射出瞳からの光束を制限するレンズ枠の光軸方向OAでの位置および直径等の情報を含む。またレンズMPU117は、カメラMPU125からの要求に応じて、ズーム駆動回路114、絞り駆動回路115およびフォーカス駆動回路116を制御する。
レンズメモリ118は、後述する焦点検出に必要な光学情報を予め記憶している。カメラMPU125は、例えば内蔵する不揮発性メモリまたはレンズメモリ118に記憶されたコンピュータプログラムを実行することで、上述した演算や制御を行う。
カメラ本体120は、光学ローパスフィルタ121と、撮像素子122と、駆動/制御系とを有する。レンズ光学系と光学ローパスフィルタ121は、撮像光学系を構成する。
光学ローパスフィルタ121は、撮像素子122により取得される撮像画像の偽色やモアレを軽減するために設けられている。撮像素子122は、CMOSイメージセンサとその周辺回路で構成されている。本実施例の撮像素子122は、瞳分割機能を有しており、該撮像素子122からの出力信号(焦点検出用信号)を用いた位相差検出方式での焦点検出が可能である。位相差検出方式での焦点検出および該焦点検出の結果に基づくフォーカスレンズ104の位置制御をまとめて位相差AFという。
駆動/制御系は、センサ駆動回路123、画像処理回路124、カメラMPU125、表示器126、操作スイッチ群127、メモリ128、位相差AF部129およびTVAF部130を有する。
センサ駆動回路123は、撮像素子122の動作を制御するとともに、撮像素子122から取得したアナログ撮像信号をA/D変換してカメラMPU125に送信する。画像処理回路124は、A/D変換により得られたデジタル撮像データに対して、γ変換、ホワイトバランス調整処理、色補間処理および圧縮符号化処理等の画像処理を行って表示および記録用の画像データを生成する。また、画像処理回路124は、デジタル撮像データから、位相差AF用の焦点検出データと、コントラスト検出方式でのAF(以下、TVAFという)用の輝度データも生成する。
カメラMPU125は、カメラ本体120に関する全ての演算および制御を行う。該制御には、センサ駆動回路123、画像処理回路124、表示器126、操作スイッチ群127、メモリ128、位相差AF部129およびTVAF部130の制御が含まれる。カメラMPU125は、上述したマウントMに設けられた通信端子を介してレンズMPU117と接続され、レンズMPU117とコマンドやデータを通信する。カメラMPU125は、レンズMPU117に対して、レンズ位置情報の取得要求や、絞り、フォーカスおよびズーム駆動要求を通信を介して行う。さらに、カメラMPU125は、レンズMPU117に対して、レンズユニット100に固有の光学情報の取得要求も通信を介して行う。カメラMPU125には、コンピュータプログラムを格納したROM125a、変数を記憶するRAM(メモリ)125bおよび各種パラメータを記憶するEEPROM125cが内蔵されている。カメラMPU125は、ROM125aに格納されたコンピュータプログラムに従って上記演算や制御を行う。
表示器126はLCD等のディスプレイデバイスにより構成され、撮像モードに関する情報、撮像前のプレビュー画像と撮像後の確認用画像、AF時の合焦状態指標等を表示する。操作スイッチ群127は、電源スイッチ、レリーズ(撮像トリガ)スイッチ、ズーム操作スイッチ、撮像モード選択スイッチ等、ユーザにより操作される操作部材を含む。記録手段としてのメモリ128は、カメラ本体120に対して着脱が可能なフラッシュメモリであり、撮像画像を記録する。
位相差AF部129は、画像処理回路124により得られた焦点検出データを用いて位相差AFを行う。具体的には、画像処理回路124は、撮像光学系の一対の瞳領域を通過した光束により形成される一対の被写体像を撮像した撮像素子122の出力信号(撮像信号)から位相差焦点検出用信号としての一対の位相差像信号(後述するA像およびB像信号)を生成する。位相差AF部129は、この一対の位相差像信号間のずれ量(像ずれ量)に基づいてデフォーカス量を算出する。位相差AF部129は、算出したデフォーカス量に応じてフォーカスレンズ104を駆動する制御指令であるフォーカス駆動要求をレンズMPU117に送信する。
このように、本実施例の位相差AF部129は、専用のAFセンサを用いず、撮像素子122の出力に基づく位相差AFとしての撮像面位相差AFを行う。位相差AF部129の動作については後に詳細に説明する。
TVAF部130は、画像処理回路124が生成するTVAF用の焦点評価値(画像データのコントラスト状態を示す評価値)に基づいてTVAFを行う。TVAFは、フォーカスレンズ104を移動させて焦点評価値がピークとなるフォーカスレンズ位置を合焦位置として検出し、その位置にフォーカスレンズ104を移動させる。
このように、本実施例のカメラは位相差AFとTVAFの両方を実行可能であり、状況に応じて選択的に使用したり組み合わせて使用したりすることができる。
補助光発光手段としての補助光発光部200は、カメラMPU125からの発光および非発光指示に応じて発光および非発光設定を行う。ピントを合わせたい被写体が低コントラストであったり低照度であったりする場合に、補助光を発光することにより、AFが可能な状況を増やす。
次に、位相差AF部129の動作についてさらに詳細に説明する。図3(a)は、撮像素子122の画素配列を示しており、2次元CMOSセンサの縦(Y方向)6行と横(X方向)8列の画素範囲をレンズユニット100側から見て示している。撮像素子122にはベイヤー配列のカラーフィルタが設けられている。具体的には、奇数行の画素には左から順に緑(G)と赤(R)のカラーフィルタが交互に、偶数行の画素には左から順に青(B)と緑(G)のカラーフィルタが交互に配置されている。画素211において、円211iはオンチップマイクロレンズを表し、該マイクロレンズ211iの内側に配置された複数の矩形211a,211bはそれぞれ光電変換部を示す。
撮像素子122のすべての画素において、光電変換部がX方向に2分割されている。各画素からは、それぞれの光電変換部からの光電変換信号を別々に読み出したり、2つの光電変換部からの光電変換信号の和を読み出したりすることが可能である。光電変換信号の和から一方の光電変換部の光電変換信号を減じることで、他方の光電変換部の光電変換信号に相当する信号を得ることができる。それぞれの光電変換部からの光電変換信号は、前述した一対の位相差像信号を生成するために用いたり、3D画像を提示するための一対の視差画像の生成するために用いたりすることもできる。また、光電変換信号の和は、通常の画像データ(ライブビュー画像や撮像画像)を生成するために用いられる。
位相差AFを行う場合は、図3(a)のマイクロレンズ211iと、分割された2つの光電変換部211a,211bとにより撮像光学系の射出瞳を分割する(以下これを瞳分割するという)。そして、同一画素行に配置された所定範囲内の複数の画素211について、一方の光電変換部211aの出力をつなぎ合わせて生成した信号を焦点検出用のA像信号とし、光電変換部211bの出力をつなぎ合わせて生成した信号を焦点検出用のB像データとする。光電変換部211a,211bの出力としては、カラーフィルタの単位配列に含まれる緑、赤、青および緑の出力を加算して算出した疑似的な輝度(Y)信号を用いる。ただし、R、GおよびBの色ごとに、A像およびB像信号を生成してもよい。このように生成したA像およびB像信号の相対的なずれ量を相関演算により算出することで、上記所定範囲内の焦点ずれ量であるデフォーカス量を算出することができる。
本実施例では、各画素から一方の光電変換部の出力と両方の光電変換部の出力の和を読み出す。例えば光電変換部211aの出力と光電変換部211a,211bの出力の和とを読み出す場合には、光電変換部211bの出力は上記和から光電変換部211aの出力を減じることで取得する。これにより、A像およびB像信号の両方を得ることができ、位相差AFが実現できる。
図3(b)は、撮像素子122の読み出し回路の構成を示す。151は水平走査回路、153は垂直走査回路である。各画素の境界部には、水平走査ライン152a,152bと、垂直走査ライン154a,154bが配線されている。各光電変換部からは、これらの走査ラインを介して信号が外部に読み出される。
なお、本実施例の撮像素子は、上述した画素内の読み出し方法に加えて、以下の2種類の読み出しモードを有する。第1の読み出しモードは、高精細静止画を撮像するための全画素読み出しモードである。このモードでは、全画素からの信号が読み出される。一方、第2の読み出しモードは、動画記録またはライブビュー画像の表示のみを行なうための間引き読み出しモードである。このモードでは、全画素よりも少ない数の画素、すなわちX方向およびY方向ともに所定比率で間引いた画素のみから信号を読み出す。また、高速に信号を読み出す必要がある場合にもこの第2の読み出しモードが用いられる。X方向において間引く際には、信号の加算を行ってS/Nを改善する。Y方向にやいて間引く際には、間引かれる行の信号出力を無視する。位相差AFおよびTVAFは、通常は第2の読み出しモードで読み出された信号を用いて行われる。
図4(a),(b)を用いて、撮像光学系の射出瞳面と、撮像素子において像高ゼロ、すなわち像面の中央近傍に配置された画素(光電変換部)との共役関係を説明する。光電変換部と撮像光学系の射出瞳面は、マイクロレンズ211iによって共役関係とされる。撮像光学系の射出瞳の位置は、一般的に光量調節用の虹彩絞りが配置される位置に一致する。本実施例の撮像光学系は変倍機能を有するが、変倍を行うことで像面からの射出瞳までの距離(射出瞳距離)や大きさが変化する。図4(a)は、レンズユニット100の焦点距離が広角端と望遠端との中央にある状態を示している。この状態における射出瞳距離Zepを標準値として、マイクロレンズ211iの形状や像高(X座標およびY座標)に応じた偏心パラメータが最適化される。
図4(a)において、101bは第1レンズ群101を保持する鏡筒部材であり、104bはフォーカスレンズ104を保持する鏡筒部材である。102aは絞り102の開放時の開口径を決める開口を有する開口板であり、102bは絞り込み時の開口径を調節する絞り羽根である。なお、撮像光学系を通過する光束の制限部材として作用する鏡筒部材101b、開口板102a、絞り羽根102bおよび鏡筒部材104bは、像面側から観察したときの光学的な虚像を示している。また、絞り102の近傍における合成開口を撮像光学系の射出瞳と定義して、前述したように像面からの射出瞳距離をZepとしている。
画素211は像面の中央近傍に配置されており、本実施例では中央画素という。この中央画素211は、最下層から、光電変換部211a,211b、配線層211e〜211g、カラーフィルタ211hおよびマイクロレンズ211iにより構成される。そして、2つの光電変換部211a,211bは、マイクロレンズ211iによって撮像光学系の射出瞳面に逆投影される。言い換えれば、撮像光学系の射出瞳のうち互いに異なる領域(瞳領域)であるEP1a,EP1bが、マイクロレンズ211iを介して光電変換部211a,211bの表面に投影される。
図4(b)は、撮撮像光学系の射出瞳面上における光電変換部211a,211bの逆投影像EP1a,EP1bを光軸方向から見て示す。撮像素子122は、2つの光電変換部101a,101bのうち一方からの信号を出力することができるとともに、これらの両方からの信号を加算して出力できる画素を有する。加算して出力された信号は、焦点検出瞳EP1a,EP1bを通過した全ての光束を光電変換して得られた信号である。
図4(a)において、撮像光学系を通過する光束(図ではその外縁を直線で示している)Lは、絞り102の開口板102aによって制限されており、瞳領域EP1a,EP1bからの光束は撮像光学系においてケラレることなく画素に到達する。図4(b)では、図4(a)に示した光束Lの射出瞳面での断面(外縁)をTLとして示している。TLで示される円(つまりは開口板102aの開口)の内部に2つの光電変換部211a,211bの逆投影像EP1a,EP1bの大部分が含まれていることから、逆投影像EP1a,EP1bにはわずかなケラレしか発生していないことが分かる。この際、射出瞳面の中央では逆投影像EP1a,EP1bのケラレ状態は、撮像光学系の光軸(図4(a)に一点鎖線で示す)に関して対称となり、光電変換部211a,211bが受光する光量は互いに等しい。
位相差AFを行う場合に、カメラMPU125は、撮像素子122から上述した2種類の読み出しモードで出力信号を読み出すようにセンサ駆動回路123を制御する。そして、カメラMPU125は、画像処理回路124に対して焦点検出領域の情報を与え、焦点検出領域内に含まれる画素の出力からA像およびB像信号を生成して位相差AF部129に供給するよう命令する。画像処理回路124は、この命令に従って、A像およびB像信号を生成して位相差AF部129に出力する。画像処理回路124は、TVAF部130に対しては、RAW画像データを供給する。このように、撮像素子122は、位相差AFおよびTVAFの両方において焦点検出部を構成している。
なお、ここまでは撮像光学系の射出瞳を水平方向に2分割する場合について説明したが、撮像素子の少なくとも一部の画素については射出瞳を垂直方向に2分割する構成としてもよい。また、水平および垂直両方向に射出瞳を分割する構成としてもよい。垂直方向に射出瞳を分割する画素を設けることにより、水平だけでなく垂直方向の被写体のコントラストに対応した位相差AFが可能となる。
次に、図5を用いて、TVAF(コントラストAF)について説明する。TVAFは、カメラMPU125とTVAF部130とが連携して、フォーカスレンズ104の所定量の駆動と焦点評価値の算出とを繰り返し行うことで実現される。図5は、TVAF部130の構成を示している。
TVAF部130内のAF評価用信号処理回路401には、画像処理回路124からRAW画像データが入力される。AF評価用信号処理回路401は、RAW画像データからG信号を抽出し、該G信号に対して低輝度成分を強調して高輝度成分を抑圧するガンマ補正処理を行う。なお、この際、R、GおよびB信号の全てに対してガンマ補正処理を行ってもよい。また、R、GおよびB信号を用いて輝度(Y)信号を生成してもよい。以下の説明において、AF評価用信号処理回路401から出力される信号を、その信号の種類にかかわらず、輝度信号Yと称する。
カメラMPU125は、領域設定回路413に対してRAW画像データ(つまりは撮像範囲)内において焦点検出を行う焦点検出領域を設定する。領域設定回路413は、設定された焦点検出領域内の信号を選択するゲート信号を生成する。ゲート信号は、ラインピーク検出回路402、水平積分回路403、ライン最小値検出回路404、ラインピーク検出回路409、垂直積分回路406、410および垂直ピーク検出回路405,407,411に入力される。また、カメラMPU125は、焦点評価値が焦点検出領域内の輝度信号Yから生成されるように、輝度信号Yが上記各回路に入力されるタイミングを制御する。領域設定回路413には、複数の焦点検出領域を設定することが可能である。
次に、焦点評価値の1つであるYピーク評価値の算出方法について説明する。ガンマ補正処理が行われた輝度信号Yは、ラインピーク検出回路402へ入力される。ラインピーク検出回路402は、領域設定回路413に設定された焦点検出領域内で水平ラインごとのYラインピーク値を求める。ラインピーク検出回路402の出力は、垂直ピーク検出回路405において焦点検出領域内で垂直方向にピークホールドされ、これによりYピーク評価値が生成される。Yピーク評価値は、高輝度被写体や低照度被写体の判定に有効な指標である。
焦点評価値の他の1つであるY積分評価値の算出方法について説明する。ガンマ補正処理が行われた輝度信号Yは、水平積分回路403に入力される。水平積分回路403は、焦点検出領域内で水平ラインごとにYの積分値を求める。水平積分回路403の出力は、垂直積分回路406において焦点検出領域内で垂直方向に積分される。これにより、Y積分評価値が生成される。Y積分評価値は、焦点検出領域内全体の明るさを判断する指標として用いることができる。
焦点評価値の別の1つであるMax−Min評価値の算出方法について説明する。ガンマ補正処理が行われた輝度信号Yは、ラインピーク検出回路402に入力される。ラインピーク検出回路402は、焦点検出領域内で水平ラインごとのYラインピーク値を求める。また、ガンマ補正処理が行われた輝度信号Yは、ライン最小値検出回路404に入力される。ライン最小値検出回路404は、焦点検出領域内で水平ラインごとにYの最小値を検出する。検出された水平ラインごとのYのラインピーク値および最小値は、減算器に入力され、これにより(ラインピーク値−最小値)が垂直ピーク検出回路407に入力される。垂直ピーク検出回路407は、焦点検出領域内で垂直方向にピークホールドを行い、Max−Min評価値を生成する。Max−Min評価値は、低コントラストか高コントラストかの判定に有効な指標である。
焦点評価値のさらに別の1つである領域ピーク評価値の算出方法について説明する。ガンマ補正処理が行われた輝度信号Yは、BPF408を通ることで、特定の周波数成分が抽出されて焦点信号が生成される。この焦点信号は、ラインピーク検出回路409に入力される。ラインピーク検出回路409は、焦点検出領域内で水平ラインごとのラインピーク値を求める。ラインピーク値は、垂直ピーク検出回路411によって焦点検出領域内でピークホールドされ、これにより領域ピーク評価値が生成される。領域ピーク評価値は、焦点検出領域内で被写体が移動しても変化が少ないので、合焦状態から再度、合焦位置を探す処理に移行するかどうかを判定する再起動判定に有効な指標である。
焦点評価値の最後の1つとしての全ライン積分評価値の算出方法について説明する。領域ピーク評価値と同様に、ラインピーク検出回路409は、焦点検出領域内で水平ラインごとのラインピーク値を求める。次に、ラインピーク検出回路409は、ラインピーク値を垂直積分回路410に入力する。垂直積分回路410は、焦点検出領域内で垂直方向に全水平走査ライン数について積分して全ライン積分評価値を生成する。高周波全ライン積分評価値は、積分の効果でダイナミックレンジが広く、感度が高いので、主要な焦点評価値である。このため、本実施例において単に焦点評価値と記載したときは、それが全ライン積分評価値を意味する。
カメラMPU125のAF制御部160は、上述した各評価値を取得して、レンズMPU117を通じてフォーカスレンズ104を光軸方向に所定方向に所定量だけ移動させる。そして、新たに得られたRAW画像データから各評価値を算出し、全ライン積分評価値が最大値となるフォーカスレンズ位置を検出する。
本実施例では、上記各評価値を水平ライン方向および垂直ライン方向のそれぞれで算出する。これにより、水平および垂直方向の直交する2方向の被写体のコントラスト情報を用いたTVAFを行うことができる。
図6は、撮像範囲内における焦点検出領域の例を示す。位相差AFおよびTVAFのいずれも、焦点検出領域に含まれる画素から得られる信号を用いて行われる。図6において、太破線で示す長方形は撮像素子122の全画素が形成された撮像範囲217を示す。撮像範囲217には、位相差AF用の焦点検出領域218ah,218bh,218chが設定されている。ここでは、焦点検出領域218ah,218bh,218chを撮像範囲217の中央部と左右2箇所の計3箇所に設定している。また、TVAF用の焦点検出領域219a,219b,219cが、位相差AF用の焦点検出領域218ah,218bh,218chのそれぞれを包含するように設定されている。なお、図6は焦点検出領域の設定例を示すにすぎず、焦点検出領域の数、位置および大きさは図6に示したものに限定されない。
次に、図1のフローチャートを用いて、本実施例のカメラにおけるAF処理について説明する。AF処理は、主としてカメラMPU125がコンピュータプログラムとしての焦点調節制御プログラムに従って実行する。カメラMPU125は、レンズMPU117にコマンド等を送信することによってレンズユニット100の駆動や制御を行う場合もある。以下の説明において、「S」はステップを意味する。
S1において、カメラMPU125は焦点検出領域を設定する。ここでは、位相差AF用およびコントラストAF用の焦点検出領域として、図5に示した3か所の焦点検出領域が設定されるものとする。
次にS2では、カメラMPU125は、撮像素子122を露光して撮像信号を読み出し、画像処理回路124に位相差AF用の焦点検出領域218ah,218bh,218ch内のそれぞれの画像データから位相差AF用のA像およびB像信号を生成させる。また、カメラMPU125は、画像処理回路124が生成したRAW画像データをTVAF部130に供給させ、TVAF部130にTVAF用の焦点検出領域219a,219b,219c内のそれぞれの画像データから焦点評価値を算出させる。TVAF部130が算出した焦点評価値は、カメラMPU125内のRAM125bに記憶される。
次にS3では、カメラMPU125は、AF補助光(以下、単に補助光という)が必要か否かを判定する。一般に、照度が低い又はコントラストが低い被写体に対しては、良好な焦点検出を行うための補助光は有効である。このため、カメラMPU125は、S2で取得したA像およびB像信号のコントラスト(明暗差)や平均出力値等を所定の閾値と比較し、その結果、被写体のコントラストが低い又は照度が低いと判定した場合は、補助光が必要と判定してS4に進む。一方、補助光が不要と判定したカメラMPU125はS6に進む。
S4では、カメラMPU125は、補助光の発光を指示し、補助光発光部200を発光させる。この際に、補助光の発光/非発光状態を判別するためのフラグとして用いる補助光フラグを、発光状態を示す1にセットする。
次にS5では、カメラMPU125は、S2と同様に撮像素子122を再度露光して撮像信号を読み出し、画像処理回路124に位相差AF用の焦点検出領域218ah,218bh,218ch内の画像データから位相差AF用のA像およびB像信号を生成させる。また、カメラMPU125は、画像処理回路124が生成したRAW画像データをTVAF部130に供給させ、TVAF部130にTVAF用の焦点検出領域219a,219b,219c内の画像データから焦点評価値を算出させる。TVAF部130が算出した焦点評価値は、カメラMPU125内のRAM125bに記憶される。
S6では、カメラMPU125は、信頼性のある焦点評価値のピーク(極大値)が検出されたか否かを判定する。信頼性のあるピークが検出された場合、カメラMPU125は、焦点検出処理を終えるためにS20に進む。なお、焦点評価値のピークの信頼性は、例えば、該ピークと焦点評価値の最小値との差、焦点評価値の変化曲線において一定値以上の傾きで変化している部分の長さおよび傾斜している部分の勾配をそれぞれに対して設けられた閾値と比較して判断する。これらの値が全ての閾値を超えていれば、ピークは信頼性があると判定することができる。
本実施例では、位相差AFとTVAFを併用する。このため、同一の焦点検出領域や他の焦点検出領域で、より至近側の被写体の存在が確認されている場合には、信頼性のある焦点評価値のピークが検出された場合でも焦点検出を終えずにS7に進んでもよい。ただし、この場合は、信頼性のある焦点評価値のピークに対応するフォーカスレンズ位置を記憶しておき、S7以降の処理で信頼性のある焦点検出結果が得られなかった場合に、記憶したフォーカスレンズ位置を焦点検出結果とする。
S7では、カメラMPU125は、焦点検出領域218ch,218ah,218bhのそれぞれにおいて画像処理回路124から供給されたA像およびB像信号のずれ量(位相差)を算出する。そして、該位相差を、予め記憶されている換算係数を用いてデフォーカス量に変換する。デフォーカス量が焦点検出結果に相当する。
ここでは、カメラMPU125は、算出されたデフォーカス量の信頼性も判定し、所定の信頼性を有すると判定された焦点検出領域のデフォーカス量のみを以後の処理で用いる。レンズ枠等によるケラレの影響によりデフォーカス量が大きくなるにつれて、A像およびB像信号間の位相差はより多くの誤差を含むようになる。このため、得られたデフォーカス量が閾値より大きい場合、A像およびB像信号の形状の一致度が低い場合およびA像およびB像信号のコントラストが低い場合には、得られたデフォーカス量の信頼性が所定の信頼性より低いと判定できる。以下、得られたデフォーカス量が所定の信頼性を有すると判定された場合に、「デフォーカス量が算出できた」と表現する。また、デフォーカス量が何らかの理由で算出できなかった場合や、デフォーカス量の信頼性が低いと判定された場合には「デフォーカス量が算出できない」と表現する。
次にS20では、カメラMPU125は、BP補正値を算出する。このBP補正値およびその算出処理については、後述する。さらに、カメラMPU125は、算出したBP補正値(BP)を用いて以下の式(1)によりデフォーカス量(DEF_B)を補正し、補正後のデフォーカス量(DEF_A)を算出する。
DEF_A=DEF_B+BP (1)
本実施例では、R、GおよびBの3色と縦(垂直)および横(水平)の2方向とを組み合わせた6種類の空間周波数のそれぞれにおいて、デフォーカスMTFが極大値を示すフォーカスレンズ位置の情報を用いてBP補正値を算出する。これにより、色や方向についての空間周波数の依存性を考慮することができ、より高精度なBP補正値を算出することができる。したがって、AFの精度を向上させることができる。
次にS21では、カメラMPU125は、焦点検出領域を選択する。本実施例では、より至近側に被写体が存在することを示す検出結果が得られた焦点検出領域を選択する。これは、一般に、主被写体は至近側に存在する頻度が高いためである。ただし、焦点検出領域の選択方法はこれに限らず、人物の顔の検出結果や撮像範囲の中央の焦点検出領域を優先的に選択する等、他の方法を用いてもよい。
次にS22では、カメラMPU125は、レンズMPU117を通じてフォーカスレンズ104を、選択した焦点検出領域について式(1)で算出された補正後のデフォーカス量DEF_Aに基づいて駆動する。
そして、S23では、カメラMPU125は、補助光の非発光(消灯)を指示する。本実施例では、合焦位置へのフォーカスレンズ104の駆動を終えた後に補助光を消灯するが、消灯タイミングはこれに限らない。例えば、信頼性の高い焦点検出結果が得られたら消灯してもよい。これにより、補助光の発光期間を短縮することができ、省電力を実現することができる。また、カメラMPU125は、補助光の発光/非発光状態を判別するためのフラグとして用いる補助光フラグを、非発光状態を示す0とする。
続いてS24では、カメラMPU125は、フォーカスレンズ104の駆動に用いたデフォーカス量を算出した焦点検出領域を表す表示(AF枠表示)を、表示器126に表示する。例えば、ライブビュー画像に重畳表示させてもよい。そしてAF処理を終了する。
図7のフローチャートは、図1のS20でカメラMPU125が行うBP補正値算出処理を示す。
S201において、カメラMPU125は、BP補正値の算出に必要なパラメータ(算出条件)を取得する。BP補正値は、フォーカスレンズ位置、ズーム状態を示す第1レンズ群101の位置(以下、ズーム位置という)および焦点検出領域の位置等、撮像光学系の状態や焦点検出系の設定に応じて変化する。このため、カメラMPU125は、S201において、例えばフォーカスレンズ位置、ズーム位置および焦点検出領域の位置の情報を取得する。さらに、カメラMPU125は、S201において、焦点検出用信号と撮像画像生成用(記録撮像用)信号の色や評価方向に関する設定情報(演算用情報)を取得する。設定情報は、レンズメモリ118またはRAM125bに記憶(保持)されている。
図8(a)は、上記設定情報の例を示す。この設定情報は、焦点状態を評価する色(分光特性または波長)とコントラスト方向(水平および垂直)との組み合わせのそれぞれに対する重み付けの大きさ(係数)を示す重み付け演算用の情報である。設定情報は、焦点検出用と撮像画像用とで異なる。また、焦点検出用の設定情報は、通常光(第1の光)が撮像光学系に入射する状態でのAF用と補助光(第2の光)が撮像光学系に入射する状態でのAF用とで異なる。例えば、通常光下における水平方向で緑色の信号を用いたTVAFの結果を補正する場合は、焦点検出用の設定情報を、
K_AFN_RH=0
K_AFN_GH=1
K_AFN_BH=0
K_AFN_RV=0
K_AFN_GV=0
K_AFN_BV=0
のように定めればよい。このような設定情報により、焦点検出用信号のデフォーカスMTFのピーク情報(例えば図8(b)に示すようなデフォーカスMTFが極大値を示すデフォーカス状態)が水平方向にて緑色の信号の特性と同じであることを示すことができる。
例えば、補助光下における水平方向で主として赤色の信号を用いたTVAFの結果を補正する場合は、焦点検出用の設定情報を、
K_AFL_RH=0.8
K_AFL_GH=0.2
K_AFL_BH=0
K_AFL_RV=0
K_AFL_GV=0
K_AFL_BV=0
のように定めればよい。このような設定情報により、焦点検出用信号のデフォーカスMTFのピーク情報が水平方向にて赤色を中心とした信号の特性と同じであることを示すことができる。ここで設定される焦点検出用の設定情報は、第2の演算用情報に相当する。
一方、撮像画像用の設定情報は、
K_IMG_RH=0.15
K_IMG_GH=0.29
K_IMG_BH=0.06
K_IMG_RV=0.15
K_IMG_GV=0.29
K_IMG_BV=0.06
のように定める。これは、R、GおよびB信号をY信号に相当する信号に変換するための重み付けを行い、撮像画像をY信号で評価し、水平方向および垂直方向のいずれのコントラストも同等に評価することを想定して設定される値である。ただし、設定値や設定値の種類等はこれに限らない。ここで設定される撮像画像用の設定情報は、第1の演算用情報に相当する。
なお、補助光の発光の有無で焦点検出用の設定情報を変更するのと同様に、撮像画像用の設定情報をフラッシュ発光の有無によって切り替えてもよい。
次にS202では、カメラMPU125は、後述するピーク係数に変更があるか否かを判定する。この判定は、事前に行われたBP補正値の算出と今回のBP補正値の算出における各種条件が同一の場合に、ピーク係数の再算出を省略するために行っている。本実施例でカメラMPU125は、焦点検出用と撮像画像用の色や評価方向に関する設定情報(図8(a))と焦点検出領域の位置に変更がなければ、ピーク係数に変更なしと判定し、S203からS207をスキップしてS208に進む。
一方、S202において初めてピーク係数を算出する場合もしくはピーク係数の変更があると判定した場合は、カメラMPU125は、S203に進み、収差情報を取得する。収差情報は、被写体の空間周波数ごとの撮像光学系の結像位置に関する情報、すなわち収差に関する情報であり、本実施例ではデフォーカスMTFが極大値(ピーク)を示すフォーカスレンズ位置(以下、デフォーカスMTFピーク位置という)の情報である。収差情報は、上述した3色と2方向との6つの組み合わせのそれぞれについて、空間周波数fと撮像素子122上の焦点検出領域の位置(x,y)を変数とした以下の式(2)で表現される。
MTF_P_RH(f,x,y)
=(rh(0)×x+rh(1)×y+rh(2))×f2
+(rh(3)×x+rh(4)×y+rh(5))×f
+(rh(6)×x+rh(7)×y+rh(8)) (2)
式(2)はR色の信号について水平(H)方向に対応した空間周波数ごとのデフォーカスMTFピーク位置MTF_P_RHの式を示しているが、他の色と方向の組み合わせにおける空間周波数ごとのデフォーカスMTFピーク位置についても同様の式で表される。
また、本実施例において、rh(n)(1≦n≦8)は、レンズユニット100内のレンズメモリ118に予め記憶されており、カメラMPU125は、レンズMPU117に要求してrh(n)を取得する。ただし、rh(n)はカメラRAM125bの不揮発性領域に記憶されていてもよい。
赤と垂直(MTF_P_RV)、緑と水平(MTF_P_GH)、緑と垂直(MTF_P_GV)、青と水平(MTF_P_BH)および青と垂直(MTF_P_BV)のそれぞれの組み合わせに対する係数(rv,gh,gv,bh,bv)も同様に取得できる。本実施例では、図8(b)で示される曲線をMTFピーク曲線という。
次にS204では、カメラMPU125は、補助光が非発光状態(補助光フラグ=0)であるか発光状態(補助光フラグ=1)であるかを判定する。発光状態である場合はS205に進み、非発光状態である場合はS206に進む。
S205では、カメラMPU125は、得られた収差情報に対して、焦点検出領域の位置と評価する信号の色およびコントラスト方向に関する重み付けを行う。まずカメラMPU125は、BP補正値を算出する際の焦点検出領域の位置についての情報を用いて、収差情報を計算する。具体的には、式(2)のx,yに焦点検出領域の位置情報を代入する。この計算により式(2)は、以下の式(3)のような形式で表される。
MTF_P_RH(f)=Arh×f2+Brh×f+Crh (3)
カメラMPU125は、MTF_P_RV(f)、MTF_P_GH(f)、MTF_P_GV(f)、MTF_P_BH(f)、MTF_P_BV(f)についても同様に計算する。
図8(b)は、S205で焦点検出領域の位置情報を代入した後の収差情報の例を示し、横軸は空間周波数を、縦軸はデフォーカスMTFピーク位置を示す。また、Nqは、撮像素子122の画素ピッチにより決まるナイキスト周波数を示す。
図に示す通り、色収差が大きい場合には色ごとの曲線が乖離し、縦横差が大きい場合には図中の水平方向と垂直方向の曲線が乖離する。このように、本実施例では、色(R、GおよびB)と評価方向(HおよびV)との組み合わせごとに、空間周波数に対応したデフォーカスMTFの情報を有する。これにより、高精度なBP補正値を算出することが可能となる。
次に、カメラMPU125は、S201で取得した設定情報を構成する12個の係数(図8(a))を、収差情報を用いて重み付けする。これにより、設定情報が、焦点検出および撮像において評価する色と方向に関して重み付けされる。具体的には、カメラMPU125は、焦点検出用の空間周波数特性を示すMTFピーク曲線MTF_P_AF(f)と撮像画像用の空間周波数特性を示すMTFピーク曲線MTF_P_Img(f)を、式(4)および(5)を用いて算出する。
MTF_P_AF(f)
=K_AF_RH×MTF_P_RH(f)
+K_AF_RV×MTF_P_RV(f)
+K_AF_GH×MTF_P_GH(f)
+K_AF_GV×MTF_P_GV(f)
+K_AF_BH×MTF_P_BH(f)
+K_AF_BV×MTF_P_BV(f) (4)
MTF_P_Img(f)
=K_IMG_RH×MTF_P_RH(f)
+K_IMG_RV×MTF_P_RV(f)
+K_IMG_GH×MTF_P_GH(f)
+K_IMG_GV×MTF_P_GV(f)
+K_IMG_BH×MTF_P_BH(f)
+K_IMG_BV×MTF_P_BV(f) (5)
式(4)において、K_AF_RH、K_AF_GH、K_AF_BH、K_AF_RV、K_AF_GVおよびK_AF_BVは焦点検出(AF)用の重み付け係数である。これらAF用の重み付け係数として、通常光下でのAF(以下、通常光AFという)用の重み付け係数であるK_AFN_RH、K_AFN_GH、K_AFN_BH、K_AFN_RV、K_AFN_GVおよびK_AFN_BVが用いられる。
図8(c)は、MTF_P_AF(f)とMTF_P_Img(f)の例を、図8(b)と同じ形式で示す。本実施例では、このように焦点検出領域の位置、評価する色および方向についての変数の計算を、空間周波数の変数に関する計算に先駆けて行う。計算の結果、MTF_P_AF(f)とMTF_P_Img(f)は、以下の式(6)および(7)の形式で表される。
MTF_P_AF(f)=Aaf×f2+Baf×f+Caf (6)
MTF_P_Img(f)=Aimg×f2+Bimg×f+Cimg (7)
図8(c)には、離散的な空間周波数F1からF4を式(6)に代入して得られるデフォーカスMTFピーク位置LP4_AF、LP5_AF、LP6_AF、LP7_AFが縦軸に示されている。
S206では、カメラMPU125は、S205と同様に、得られた収差情報に対して、焦点検出領域の位置および評価する信号の色と方向に関する重み付けを行う。S205と異なる点は、AF用重み付け係数(K_AF_RH〜K_AF_BV)として、補助光下でのAF(以下、補助光AFという)用の重み付け係数(K_AFL_RH〜K_AFL_BV)を用いる点である。AF用重み付け係数を、通常光の場合と補助光の場合で変更することにより、それぞれの状況に対して、焦点検出用の空間周波数特性を示すMTFピーク曲線MTF_P_AF(f)を適切に算出することができる。これにより、補助光の発光の有無によらず焦点検出結果に対して高精度な補正を行うことができる。
S207では、カメラMPU125は、LP4_AF〜LP7_AF(もしくはLP4_AFL〜LP7_AFL)を、ピーク係数MTF_P_AF(n)(1≦n≦4)としてレンズメモリ118またはRAM125bに記憶する。またカメラMPU125は、LP4_Img〜LP7_Imgを、ピーク係数MTF_P_Img(n)としてレンズメモリ118またはRAM125bに記憶し、S208に進む。
次にS208では、カメラMPU125は、焦点検出用もしくは撮像画像用の信号の評価帯域に変更があるか否かを判定する。評価帯域に変更がない場合にはS210に進み、BP補正値を算出する。BP補正値を算出するに際し、カメラMPU125は、まず撮像画像の合焦位置(P_img)とAFで検出される合焦位置(P_AF)とをそれぞれ、以下の式(8)および(9)により算出する。カメラMPU125は、この算出において、撮像画像評価帯域を示す評価帯域W1と、AF評価帯域を示す評価帯域W2とを用いる。撮像画像評価帯域およびAF評価帯域とはそれぞれ、撮像画像を生成するための信号とAFを行うための信号を評価する際の空間周波数帯域である。
カメラMPU125は、撮像画像評価帯域を、被写体、撮像光学系および撮像素子の周波数特性と、撮像画像に対する鑑賞者の評価帯域への影響とを考慮して算出する。また、AF評価帯域を、被写体、撮像光学系および撮像素子のサンプリング周波数と、評価に用いるデジタルフィルタの影響とを考慮して算出する。これらの2つの評価帯域の算出方法についての詳細は後述する。
P_img
=MTF_P_Img(1)×W1(1)
+MTF_P_Img(2)×W1(2)
+MTF_P_Img(3)×W1(3)
+MTF_P_Img(4)×W1(4) (8)
P_AF
=MTF_P_AF(1)×W2(1)
+MTF_P_AF(2)×W2(2)
+MTF_P_AF(3)×W2(3)
+MTF_P_AF(4)×W2(4) (9)
つまり、カメラMPU125は、図8(c)で示した空間周波数ごとのデフォーカスMTFの極大値の情報を、撮像画像やAFの評価帯域W1,W2で重み付け加算する。これにより、撮像画像(撮像時)の合焦位置P_imgとAF(焦点検出時)にて検出される合焦位置P_AFを算出する。撮像画像の合焦位置は第1の焦点位置に相当し、AF(通常光AFおよび補助光AF)で検出される合焦位置は第2の焦点位置に相当する。
次にカメラMPU125は、BP補正値(BP)を、以下の式(10)により算出する。
BP=P_AF−P_img (10)
以上の処理により、カメラMPU125は、通常光AFを行う場合と補助光AFを行う場合とで互いに異なるBP補正値を算出する。
一方、S208で評価帯域に変更があると判定したカメラMPU125は、S209に進み、評価帯域情報を取得して更新する。評価帯域を取得すると、カメラMPU125は、S210に進んで上述の通りBP補正値を算出する。
次に、図9(a)〜(f)を用いて、撮像画像評価帯域およびAF評価帯域の算出方法について説明する。これらの図はいずれも、空間周波数ごとの信号の強度を示しており、横軸に空間周波数を、縦軸に強度を示している。
図9(a)は、被写体の空間周波数特性Iを示している。横軸上のF1,F2,F3およびF4は、図8(b)のMTFピーク曲線に対応する空間周波数である。また、Nqは、撮像素子122の画素ピッチにより決まるナイキスト周波数を示す。F1からF4とNqについては、図9(b)〜(f)にも同様に示している。本実施例では、被写体の空間周波数特性(I)は、事前に記憶した代表値を用いる。図9(a)では、被写体の空間周波数特性(I)は連続した曲線として描かれているが、実際には空間周波数F1,F2,F3,F4に対応した離散値I(n)(1≦n≦4)を有する。
また本実施例では、被写体の空間周波数特性として予め記憶された代表値を用いたが、焦点検出を行う被写体に応じて、使用する被写体の空間周波数特性を変更してもよい。撮像により得られる画像データにFFT処理等を行うことにより、被写体の空間周波数情報(パワースペクトル)を得ることができる。この場合、演算処理が増加するが、実際に焦点検出する被写体に応じた補正値を算出できるため、高精度な焦点検出が可能となる。また、より簡易的に、被写体のコントラスト情報の大小によって、予め記憶された数種の空間周波数特性を使い分けてもよい。
図9(b)は、撮像光学系の空間周波数特性Oを示している。この空間周波数特性Oの情報は、レンズMPU117から取得してもよいし、カメラ内のRAM125bに記憶しておいてもよい。記憶する情報は、デフォーカス状態ごとの空間周波数特性でもよいし、合焦状態での空間周波数特性のみでもよい。BP補正値は合焦近傍で算出されるため、合焦状態での空間周波数特性を用いれば、高精度なBP補正値が得られる。しかし、演算負荷は増えてもデフォーカス状態ごとの空間周波数特性を用いれば、より高精度なBP補正値が得られる。どちらのデフォーカス状態の空間周波数特性を用いるか、位相差AFにより得られるデフォーカス量を用いて選択すればよい。図9(b)では、撮像光学系の空間周波数特性Oが連続した曲線として描かれているが、実際には空間周波数F1,F2,F3,F4に対応した離散値O(n)(1≦n≦4)を有する。
図9(c)は、光学ローパスフィルタ121の空間周波数特性Lを示している。この空間周波数特性Lの情報は、カメラ内のRAM125bに記憶されている。図9(c)では、光学ローパスフィルタ121の空間周波数特性(L)が連続した曲線で描かれているが、実際には空間周波数F1,F2,F3,F4に対応した離散値L(n)(1≦n≦4)を有する。
図9(d)は、信号生成による空間周波数特性M1,M2を示している。上述した通り、本実施例の撮像素子は2種類の読み出しモードを有する。第1の読み出しモード、すなわち全画素読み出しモードでは、空間周波数特性M1として示すように、信号生成時に空間周波数特性が変わることはない。一方で、第2の読み出しモード、すなわち間引き読み出しモードの際には、空間周波数特性M2として示すように、信号生成時に空間周波数特性が変わる。第2の読み出しモードでは、X方向の間引きの際に信号の加算を行ってS/Nの改善を図るため、加算によるローパス効果が発生する。図9(d)のM2は、第2の読み出しモードの際の信号生成時の空間周波数特性を示している。ここでは、間引きの影響は加味せず、加算によるローパス効果を示している。図9(d)では、信号生成による空間周波数特性M1,M2が連続した曲線で描かれているが、実際には空間周波数F1,F2,F3,F4に対応した離散値M1(n),M2(n)(1≦n≦4)を有する。
図9(e)は、撮像画像を鑑賞する際の空間周波数ごとの感度を示す空間周波数特性D1とAF評価信号の処理時に用いるデジタルフィルタの空間周波数特性D2とを示している。撮像画像を鑑賞する際の空間周波数ごとの感度は、鑑賞者の個人差や、画像サイズや鑑賞距離、明るさなどの鑑賞環境等により影響を受ける。本実施例では、代表的な値として、鑑賞時の空間周波数ごとの感度を設定して記憶している。
一方、第2の読み出しモードでは、間引きの影響で信号の周波数成分の折り返しノイズ(エイリアシング)が発生する。空間周波数特性D2は、その影響を加味したデジタルフィルタの空間周波数特性である。図9(e)は、鑑賞時の空間周波数特性D1とデジタルフィルタの空間周波数特性D2が曲線で描かれているが、実際には空間周波数F1,F2,F3,F4に対応した離散値D1(n),D2(n)(1≦n≦4)を有する。
以上のように種々の空間周波数特性を予め記憶しておくことにより、撮像特性情報である撮像画像評価帯域W1および焦点検出特性情報であるAF評価帯域W2を、以下の式(11)および(12)を用いて算出する。式(11),(12)において、nは1≦n≦4である。
W1(n)=I(n)×O(n)×L(n)×M1(n)×D1(n) (11)
W2(n)=I(n)×O(n)×L(n)×M2(n)×D2(n) (12)
図9(f)は、撮像画像評価帯域W1とAF評価帯域W2を示す。式(11)や式(12)の計算を行うことにより、撮像画像の合焦状態を決定する因子に対して、空間周波数ごとにどの程度の影響度合いを有するかを定量化することができる。同様に、焦点検出結果が有する誤差が、空間周波数毎にどの程度の影響度合いを有するかを定量化することができる。
また、カメラ内に記憶する情報は、事前に計算されたW1やW2であってもよい。上述したように補正を行うごとに計算することにより、AF評価に用いるデジタルフィルタ等を変更した際に柔軟に対応して補正値を算出できる。一方で、事前に記憶しておけば、式(11)や(12)のような計算や各種データの記憶容量を削減することができる。
また、全ての計算を事前に終えておく必要はないため、例えば、撮像光学系と被写体の空間周波数特性のみは予め計算してカメラ内に記憶しておくることにより、データの記憶容量の低減や演算量の低減を行ってもよい。
図9(a)〜(f)では、4つの空間周波数(F1〜F4)に対応する離散値を用いて説明した。しかし、データを有する空間周波数の数が多いほど、撮像画像評価帯域やAF評価帯域の空間周波数特性を正確に再現することができ、精度の良いBP補正値を算出することができる。一方、重み付けを行う空間周波数を少なくすることにより、演算量を低減することができる。撮像画像評価帯域とAF評価帯域の空間周波数特性を代表する空間周波数をそれぞれ1つずつ持って以後の演算を行ってもよい。
本実施例では、補助光の発光の有無に応じて焦点検出用の重み付け係数(第2の演算用情報)を変更し、焦点検出用の空間周波数特性を示すMTFピーク曲線MTF_P_AF(f)を算出する。これにより、補助光の発光時には、補助光の色(分光特性)に適した焦点検出用信号の重み付けを実現することができ、高精度に焦点検出結果を補正することができる。また、補助光の発光時に必要な情報は、補助光の色に応じた重み付け係数の情報のみであり、新たに収差情報等は不要である。このため、対応する補助光の種類の数が増えた場合でも、焦点検出結果の補正のために必要な情報数を過度に増やすことなく、高精度な補正を行うことができる。
(変形例)
本実施例では、補助光の発光の有無によってのみ焦点検出用の重み付け係数を変更し、焦点検出用の空間周波数特性を示すMTFピーク曲線MTF_P_AF(f)を算出した。これは、被写体が一定の分光特性を有することを前提としているが、実際の被写体は様々な分光特性を有する。
補助光を発光する際には、補助光以外の光源が暗いことが想定されるため、補助光以外の光源による被写体の分光特性の影響はないと想定することができる。この想定に加え、事前に補助光の分光特性の情報を記憶しておくことにより、被写体の分光特性を取得することができる。赤、緑および青の3色(波長)において被写体の分光特性(第2の被写体分光情報)をIr,Ig,Ibとし、補助光の分光特性(光量の比)をLr,Lg,Lbとする。また、補助光の発光時における撮像素子122からの出力信号の分光特性(信号強度の比:第1の被写体分光情報)をOr,Og,Obとする。このとき、被写体の分光特性をIr,Ig,Ibは以下の式(13)で算出することができる。
Ir=Or/Lr
Ig=Og/Lg
Ib=Ob/Lb (13)
ここでの被写体の分光特性Ir,Ig,Ibは、撮像素子122で受光した光量から補助光の分光特性を差し引いた特性を示している。
補助光の発光時に撮像素子122の出力信号から得られる被写体の分光特性の情報(第1の被写体分光情報)を用いて、撮像画像用、通常光AF用および補助光AF用の重み付けの大きさを示す設定情報を変更してもよい。これにより、より高精度に焦点検出結果の補正を行うことができる。例えば、撮像画像用の設定情報として、
K_IMG_RH=Ir
K_IMG_GH=Ig
K_IMG_BH=Ib
K_IMG_RV=Ir
K_IMG_GV=Ig
K_IMG_BV=Ib (ただし、Ir+Ig+Ib=0.5)
のように定めればよい。
また、同様に補助光AF用の設定情報として、
K_AFL_RH=Or/(Or+Og)
K_AFL_GH=Og/(Or+Og)
K_AFL_BH=0
K_AFL_RV=0
K_AFL_GV=0
K_AFL_BV=0
のように定めればよい。
また、通常光AF用の設定情報として、得られた被写体の分光特性(Ir,Ig,Ib)を用いてもよい。
以上の処理を、被写体分光算出手段としてのカメラMPU125が行うことにより、被写体の分光特性に応じたBP補正値を算出することができる。
次に、本発明の実施例2について説明する。本実施例は、補助光が複数種類ある場合について説明する。実施例1では、補助光の種類は1つであり、該補助光を発光するか否かで焦点検出用の重み付け係数を変更した。しかしながら、補助光には分光特性が互いに異なる赤、緑、橙、赤外および白色等の種々の光がある。本実施例では、それぞれの補助光の分光特性に応じて焦点検出結果を補正することにより、補助光の種類によらず高精度な焦点検出を行う。
実施例1で説明したカメラの構成(図2)、焦点検出方式(図3(a)〜図5)、焦点検出領域(図6)および各評価帯域(図9)は、本実施例においても共通である。
本実施例におけるAF処理を、図10から図12を用いて説明する。図10のフローチャートにおいて、実施例1におけるAF処理(図1)と同じ処理を行うステップには、実施例1と同じステップ番号を付す。
図10のフローチャートでは、補助光が必要な場合(S3でYesの場合)に、使用可能な補助光が内蔵補助光と外付け補助光の2種類ある点が実施例1と異なる。内蔵補助光は、実施例1に図2で示した補助光発光部200から発光される。外付け補助光は、カメラ本体120に対して着脱可能な外付けフラッシュユニットに設けられた外付け補助光発光部から発光される。本実施例では、内蔵補助光は緑色を中心とした分光特性を有し、外付け補助光は赤外から赤色を中心とした分光特性を有する。
S3において補助光が必要と判定したカメラMPU125は、S30に進み、外付け補助光発光部の有無、すなわち外付け補助光の発光の可否を判定する。外付け補助光が発光できない場合は、カメラMPU125はS31に進み、内蔵補助光の発光を指示する。この際、内蔵補助光の発光/非発光を判別するためのIDとして用いる補助光IDを、発光状態を示す1に設定する。
外付け補助光が発光可能である場合には、カメラMPU125は、S32に進み、外付け補助光の発光を指示する。この際、カメラMPU125は、外付け補助光の発光状態を判別するためのIDとして用いる補助光IDを、発光状態を示す2とする。本実施例では、外付け補助光の分光特性を既知として説明するが、該分光特性の情報を外付けフラッシュユニットから取得してもよい。カメラMPU125は、外付けフラッシュユニットから分光特性を示す情報、すなわち外付け補助光の種類の情報を取得し、該情報に応じて予め定められた補助光IDを設定すればよい。
S31およびS32で補助光の発光を終えたカメラMPU125は、S5に進み、処理を継続する。これ以降の処理は、実施例1と同じである。S7を終える又はS6でYesの場合は、カメラMPU125はS40に進んでBP補正を行う。このBP補正の詳細については後述する。
S22を終えたカメラMPU125は、S33において、S23と同様の処理を行う。この際、カメラMPU125は、補助光の非発光状態を判別するためのIDとして用いる補助光IDを非発光状態を示す0とする。
次に、図11のフローチャートを用いて、本実施例におけるBP補正値算出処理の詳細を説明する。図11において、実施例1(図7)で示した処理と同じ処理には同じステップ番号を付している。
S300において、カメラMPU125は、BP補正値の算出に必要なパラメータ(算出条件)を取得する。BP補正値は、フォーカスレンズ位置、ズーム位置および焦点検出領域の位置等、撮像光学系の状態や焦点検出系の設定に応じて変化する。このため、カメラMPU125は、S201において、例えばフォーカスレンズ位置、ズーム位置および焦点検出領域の位置の情報を取得する。さらに、カメラMPU125は、S201において、焦点検出用信号と撮像画像生成用信号の色や評価方向に関する設定情報を取得する。
図12は、上記設定情報の例を示す。この設定情報は、焦点状態を評価する色(R、GおよびB)とコントラスト方向(水平および垂直)との組み合わせのそれぞれに対する重み付けの大きさを示す情報である。設定情報は、焦点検出用と撮像画像用とで異なる。また、焦点検出用の設定情報は、通常光AF用と内蔵補助光AF用と外付け補助光AF用とで異なる。通常光AF用の設定情報については実施例1と同様である。内蔵補助光AF用の設定情報は、内蔵補助光が主として緑色の分光特性を有するので、
K_AFLin_RH=0.2
K_AFLin_GH=0.7
K_AFLin_BH=0.1
K_AFLin_RV=0
K_AFLin_GV=0
K_AFLin_BV=0
のように定めればよい。このような設定情報により、焦点検出用信号のデフォーカスMTFのピーク情報は、水平方向で緑色を主とした信号の特性と同じであることを示すことができる。
一方、外付け補助光AF用の設定情報は、外付け補助光が主として赤外から赤色の分光特性を有するので、
K_AFLout_RH=0.9
K_AFLout_GH=0.1
K_AFLout_BH=0
K_AFLout_RV=0
K_AFLout_GV=0
K_AFLout_BV=0
のように定めればよい。このような設定情報により、焦点検出用信号のデフォーカスMTFのピーク情報は、水平方向で赤色を主とした信号の特性と同じであることを示すことができる。その他の補助光が存在する場合にも、その分光特性に合わせて色ごとの重み付けを設定すればよい。
また、本実施例では、分光特性が互いに異なる複数の補助光を切り替えて発光させる場合について説明しているが、複数の補助光を同時に発光させてもよい。この場合には、それぞれの補助光の強度と分光特性を考慮してこれら補助光に対する重み付け情報を設定すればよい。例えば、本実施例の内蔵補助光と外付け補助光の強度比が1:2でこれらが同時に発光される場合には、内蔵補助光と外付け補助光の重み付け係数(K_AFLinとK_AFout)を1:2の割合で重み付け加算したものを、使用する重み付け係数とすればよい。
S203を終えたカメラMPU125は、S301において、補助光IDが0、すなわち補助光が非発光状態であるか否かを判定し、非発光状態である場合にはS205に進む。一方、発光状態である場合には、カメラMPU125はS302に進み、補助光IDが1か2か、すなわち内蔵補助光が発光状態か外付け補助光が発光状態かを判定する。カメラMPU125は、内蔵補助光が発光状態である場合はS303に進み、外付け補助光が発光状態である場合はS304に進む。
S303およびS304では、カメラMPU125は、S300で取得した補助光AF用の重み付け係数を用いて、実施例1のS205およびS206と同様に、焦点検出領域の位置および評価する信号の色とコントラスト方向に関する重み付けを行う。AF用重み付け係数は、K_AF_RH、K_AF_GH、K_AF_BH、K_AF_RV、K_AF_GVおよびK_AF_BVである。これらAF用重み付け係数として、S303では、内蔵補助光AF用の重み付け係数(K_AFLin_RH、K_AFLin_GH、K_AFLin_BH、K_AFLin_RV、K_AFLin_GV、K_AFLin_BV)を用いる。S304では、AF用重み付け係数として、外付け補助光AF用の重み付け係数(K_AFLout_RH、K_AFLout_GH、K_AFLout_BH、K_AFLout_RV、K_AFLout_GV、K_AFLout_BV)を用いる。
次に、本発明の実施例3について説明する。本実施例では、撮像素子のRGBのカラーフィルタの分光特性の範囲外(例えば赤外)に補助光の分光特性がある場合について説明する。実施例2では、複数の補助光のそれぞれの分光特性に応じてR、GおよびBの重み付けを変更することでBP補正値を算出した。しかし、R、GおよびBの波長の範囲外(例えば赤外)の分光特性を有する補助光の場合はR、GおよびBの重み付けを変更するだけではBP補正量を算出することができない。また、赤外用に重み付け係数を保持すると、レンズメモリ118またはRAM125bに必要な記憶容量が増加する。本実施例では、必要となる記憶容量を増やすことなく、赤外の補助光を発光する際のBP補正量を算出する。
このため、本実施例では、R、GおよびBの通常光AF用の重み付け係数(第2の演算用情報)を用いた外挿演算によって赤外補助光AF用のBP補正量を算出する。
実施例1で説明したカメラの構成(図2)、焦点検出方式(図3(a)〜図5)、焦点検出領域(図6)および各評価帯域(図9)は、本実施例においても共通である。
本実施例におけるAF処理を、図13から図15を用いて説明する。本実施例では、外付け補助光が赤外光である場合について説明する。図13のフローチャートにおいて、実施例2におけるAF処理(図10)と同じ処理を行うステップには実施例2と同じステップ番号を付している。本実施例は、S50で行うBP補正値算出処理のみが実施例2と異なる。
図14のフローチャートを用いてS50でカメラMPU125が行うBP補正値算出処理について説明する。図14において、実施例2(図11)と同じステップには同じステップ番号を付している。本実施例では、実施例2のS304に代わるS401において、カメラMPU125は赤外光である外付け補助光が発光する場合の収差情報に対する重み付けを行う。
図15では、図8(b)に示したMTFピーク曲線に、赤外と水平(MTF_P_INFH)および赤外と垂直(MTF_P_INFV)のMTFピーク曲線が追加されている。
S401において、カメラMPU125は、MTF_P_INFH(f)およびMTF_P_INFV(f)をそれぞれ、以下の式(14),(15)を用いて算出する。式(14),(15)は、RとGのMTFピーク曲線(収差情報)とRの通常光AF用の重み付け係数(第2演算用情報)を用いた外挿演算を示す。
MTF_P_INFH(f)
=K_AF_RH×(MTF_P_RH(f)
+(MTF_P_RH(f)―MTF_P_GH(f)) (14)
MTF_P_INFV(f)
=K_AF_RV×(MTF_P_RV(f)
+(MTF_P_RV(f)―MTF_P_GV(f)) (15)
またカメラMPU125は、焦点検出用の空間周波数特性を示すMTFピーク曲線MTF_P_AF_INF(f)を以下の式(16)を用いて算出する。
MTF_P_AF_INF(f)
=K_AF_INFH×MTF_P_INFH(f)
+K_AF_INFV×MTF_P_INFV(f)
+K_AF_RH×MTF_P_RH(f)
+K_AF_RV×MTF_P_RV(f)
+K_AF_GH×MTF_P_GH(f)
+K_AF_GV×MTF_P_GV(f)
+K_AF_BH×MTF_P_BH(f)
+K_AF_BV×MTF_P_BV(f) (16)
通常光AF用の設定に関しては、実施例1と同様に行えばよい。外付け補助光用の重み付け係数の設定情報は、外付け補助光が主として赤外の分光特性を有するので、
K_AF_INFH=1
K_AF_RH=0
K_AF_GH=0
K_AF_BH=0
K_AF_INFV=0
K_AF_RV=0
K_AF_GV=0
K_AF_BV=0
のように定めればよい。このような重み付け係数の設定情報により、焦点検出に用いられ信号のデフォーカスMTFのピーク情報が、水平方向で赤外を主とした信号の特性と同じであることを示すことができる。
カメラMPU125は、外付け(赤外)補助光AF用のMTFピーク曲線を、式(14)および式(15)に示したように、通常光のMTFピーク曲線(収差情報)と通常光AF用の重み付け係数(第2の演算用情報)を用いた外挿演算によって算出する。そして、このMTFピーク曲線を用いて赤外補助光AFにより検出される合焦位置(第3焦点位置)を算出し、撮像画像用の合焦位置(第1の焦点位置)と赤外補助光AFにより検出される合焦位置との差分をBP補正値として算出する。これにより、R、GおよびBに対する重み付け係数を保持しつつ、記憶容量を増やすことなく、赤外光である外付け補助光の発光時のBP補正値を算出することができる。
(変形例)
本実施例では、赤外光である外付け補助光の発光の有無によってのみ、焦点検出用のRとGのMTFピーク曲線を用いた外挿演算によって赤外のMTFピーク曲線MTF_P_INF(f)を算出した。これは、被写体が一定の分光特性を有することを前提としている。しかし、実際の被写体は様々な分光特性を有しており、外付け補助光の発光時の撮像素子122の受光信号は被写体からの光の信号強度と外付け補助光の信号強度とが混ざった信号であるため、外付け補助光用の設定情報を変更する必要がある。
補助光の非発光時の任意の被写体に対して撮像素子122が受光したR、GおよびBの3色(波長)の信号の分光特性(信号強度の比)をSr,Sg,Sbとする。また、外付け補助光のR、GおよびBの3色(波長)の分光特性(光量比)をLr,Lg,Lbとする。
このとき、Sr/Sg≧Lr/Lgである場合には、Rの波長の信号特性が大きいために外付け補助光の信号強度が被写体からの光の信号強度より大きい。この場合は、重み付け係数K_AF_INFHの値を大きく(例えば1に)して、MTFピーク曲線MTF_P_AF_INF(f)を算出する。一方、Sr/Sg<Lr/Lgである場合には、外付け補助光の信号強度が被写体からの光の信号強度より小さい。この場合は、重み付け係数K_AF_INFHの値を小さくし、かつR、GおよびBの重み付けを加えて、MTFピーク曲線MTF_P_AF_INF(f)を算出する。
なお、本実施例では、赤外補助光の発光時のBP補正値の算出について説明したが、RGおよびBの3色(波長)以外の波長であればどの波長の光でもよい。
次に、本発明の実施例4について説明する。本実施例では、GおよびBに対する重み付け係数を保持するとともに、Rに対する重み付け係数に代えて赤外に対する重み付け係数を保持する。すなわち、第1の光(R,GおよびB)のうち一部の波長域の光に対する重み付け係数を保持するとともに、第1の光とは波長域が異なる第2の光(赤外)に対する重み付け係数を保持する。これにより、記憶容量を増やすことなく、Rより長波長の赤外領域に対する重み付けを行うことができる。また、実施例3では外挿演算により赤外の特性を算出したが、外挿計算は精度の保証がしにくいため、本実施例では、Rの代わりに赤外の収差情報を用いて、内挿計算によりRの収差情報を算出する。
実施例1で説明したカメラの構成(図2)、焦点検出方式(図3(a)〜図5)、焦点検出領域(図6)および各評価帯域(図9)は、本実施例においても共通である。
本実施例におけるAF処理を、図16から図19を用いて説明する。本実施例では、外付け補助光が赤外光である場合について説明する。図16のフローチャートにおいて、実施例2におけるAF処理(図10)と同じ処理を行うステップには実施例2と同じステップ番号を付している。本実施例は、S60で行うBP補正値算出処理のみが実施例2と異なる。
図17のフローチャートを用いてS60でカメラMPU125が行うBP補正値算出処理について説明する。図17において、実施例2(図11)と同じステップには同じステップ番号を付している。本実施例では、実施例2(実施例1)のS205に代わるS501において、カメラMPU125は収差情報に対して通常光AF用の重み付けを行う。また、実施例2のS30320に代わるS502において、内蔵補助光AF用の重み付けを行う。さらに実施例2のS304に代わるS503において、外付け補助光AF用の重み付けを行う。
図18では、図8(b)に示したMTFピーク曲線に、赤外の水平のMTFピーク曲線(MTF_P_INFH)および赤外の垂直のMTFピーク曲線(MTF_P_INFV)が追加されている。また、赤の水平と垂直のMTFピーク曲線削除されている。
S501では、カメラMPU125は、焦点検出用の空間周波数特性を示すMTFピーク曲線MTF_P_AF_INF2(f)を以下の式(17)を用いて算出する。また、撮像画像用の空間周波数特性を示すMTFピーク曲線MTF_P_Img_INF2(f)を以下の式(18)を用いて算出する。
MTF_P_AF_INF2(f)
=K_AF_INFH×MTF_P_INFH(f)
+K_AF_INFV×MTF_P_INFV(f)
+K_AF_GH×MTF_P_GH(f)
+K_AF_GV×MTF_P_GV(f)
+K_AF_BH×MTF_P_BH(f)
+K_AF_BV×MTF_P_BV(f) (17)
MTF_P_Img_INF2(f)
=K_IMG_INFH×MTF_P_INFH(f)
+K_IMG_INFV×MTF_P_INFV(f)
+K_IMG_GH×MTF_P_GH(f)
+K_IMG_GV×MTF_P_GV(f)
+K_IMG_BH×MTF_P_BH(f)
+K_IMG_BV×MTF_P_BV(f) (18)
K_AF_INFHとK_AF_INFHはそれぞれ、赤外での焦点状態を評価するコントラスト方向が水平および垂直である設定情報である。赤外で設定情報を保持することにより、記憶容量を増やすことなく、通常光、内蔵補助光および赤外外付け補助光のMTFピーク曲線を内挿演算により算出することができる。
図19は、本実施例における焦点検出用信号と撮像画像生成用信号の色や評価方向に関する設定情報の例を示す。この設定情報は、焦点状態を評価する色(R、GおよびB)とコントラスト方向(水平および垂直)との組み合わせのそれぞれに対する重み付けの大きさを示す情報である。設定情報は、焦点検出用と撮像画像用とで異なる。また、焦点検出用の設定情報は、通常光AF用と内蔵補助光AF用と外付け補助光AF用とで異なる。
(変形例)
本実施例では、赤外光である外付け補助光の発光の有無によってのみ、焦点検出用のRとGのMTFピーク曲線を用いた外挿演算によって赤外のMTFピーク曲線MTF_P_INF(f)を算出した。これは、被写体が一定の分光特性を有することを前提としている。しかし、実際の被写体は様々な分光特性を有しており、外付け補助光の発光時の撮像素子122の受光信号は被写体からの光の信号強度と外付け補助光の信号強度とが混ざった信号であるため、外付け補助光用の設定情報を変更する必要がある。
補助光の非発光時の任意の被写体に対して撮像素子122が受光したR、GおよびBの3色(波長)の信号の分光特性(信号強度の比)をSr,Sg,Sbとする。また、外付け補助光のR、GおよびBの3色(波長)の分光特性(光量比)をLr,Lg,Lbとする。このとき、Sr/Sg≧Lr/Lgである場合には、Rの波長の信号特性が大きいために外付け補助光の信号強度が被写体からの光の信号強度より大きい。この場合は、重み付け係数K_AF_INFHの値を大きくして、MTFピーク曲線MTF_P_AF_INF2(f)を算出する。一方、Sr/Sg<Lr/Lgである場合には、外付け補助光の信号強度が被写体からの光の信号強度より小さい。この場合は、重み付け係数K_AF_INFHの値を小さくし、かつR、GおよびBの重み付けを加えて、MTFピーク曲線MTF_P_AF_INF2(f)を算出する。
次に、本発明の実施例5について説明する。本実施例では、補助光の発光時に、該補助光の色に適した収差情報と焦点検出用信号の重み付け係数とを用いた演算を行う。実施例1で説明したカメラの構成(図2)、焦点検出方式(図3(a)〜図5)、焦点検出領域(図6)および各評価帯域(図9)は、本実施例においても共通である。
本実施例におけるBP補正値算出処理を、図20および図21を用いて説明する。本実施例では、補助光が近赤外光を含む場合について説明する。図20のフローチャートにおいて、実施例1におけるBP補正値算出処理(図7)と同じ処理を行うステップには実施例1と同じステップ番号を付している。
S201において、カメラMPU125は、BP補正値の算出に必要なフォーカスレンズ位置、ズーム位置および焦点検出領域の位置の情報を取得する。さらに、カメラMPU125は、焦点検出に用いる信号と撮像画像の生成に用いる信号の色や評価方向に関する設定情報を取得する。
図21(a)に、上記設定情報の例を示す。この設定情報は、焦点状態を評価する色(近赤外、R、GおよびB)とコントラストの方向(水平、垂直)との組み合わせのそれぞれに対する重み付けの大きさを示す情報である。設定情報は、焦点検出用と撮像画像用とで異なる。また、焦点検出用の設定情報は、通常光AF用と補助光AF用とで異なる情報を有する。さらに本実施例では、補助光が水平と垂直とで色が異なる。水平では、近赤外、R、GおよびBの4色であり、垂直ではR、GおよびBの3色である。例えば、通常光下における水平方向でG信号を用いたコントラストAFの結果を補正する場合は、焦点検出用の設定情報を、
K_AFN_RH=0
K_AFN_GH=1
K_AFN_BH=0
K_AFN_RV=0
K_AFN_GV=0
K_AFN_BV=0
のように定めればよい。このような設定情報により、焦点検出用信号のデフォーカスMTFのピーク情報が水平方向にてG信号の特性と同じであることを示すことができる。ここで設定する焦点検出用の設定情報は、第2の演算用情報に相当する。
例えば、補助光下における水平方向で主にG信号を用いたコントラストAFの結果を補正する場合は、焦点検出用の設定情報を、
K_AFL_NIRH=0.7
K_AFL_RH=0.2
K_AFL_GH=0.1
K_AFL_BH=0
K_AFL_RV=0
K_AFL_GV=0
K_AFL_BV=0
のように定めればよい。このような設定情報により、焦点検出用信号のデフォーカスMTFのピーク情報が水平方向にて近赤外とRを中心とした信号の特性と同じであることを示すことができる。ここで設定される焦点検出用の設定情報は、第3の演算用情報に相当する。
一方、撮像画像用の設定情報は、
K_IMG_RH=0.15
K_IMG_GH=0.29
K_IMG_BH=0.06
K_IMG_RV=0.15
K_IMG_GV=0.29
K_IMG_BV=0.06
のように定めればよい。これは、R、GおよびB信号をY信号に変換するための重み付けを行い、撮像画像をY信号で評価し、水平および垂直方向のいずれのコントラストも同等に評価することを想定して設定される値である。ただし、設定値やその種類は、これに限らない。ここで設定される撮像画像用の設定情報は、第1の演算用情報に相当する。
なお、補助光発光の有無で焦点検出用の設定情報を変更するのと同様に、撮像画像用の設定情報をフラッシュ発光の有無によって切り替えてもよい。
S202においてピーク係数に変更があると判定したカメラMPU125は、S204に進み、補助光が非発光状態(補助光フラグ=0)であるか発光状態(補助光フラグ=1)であるかを判定する。非発光状態である場合はS601に進み、発光状態である場合はS603に進む。
S601では、カメラMPU125は、補助光の非発光状態における収差情報である第1の収差情報を取得する。収差情報は、被写体の空間周波数ごとの撮像光学系の結像位置に関する情報である。収差情報は、実施例1でも説明したように、上述した3色と2方向との6つの組み合わせのそれぞれについて、空間周波数fと撮像素子122上の焦点検出領域の位置(x,y)とを変数とした式(2)で表現される。カメラMPU125は、赤と水平(MTF_P_RH)、赤と垂直(MTF_P_RV)、緑と水平(MTF_P_GH)、緑と垂直(MTF_P_GV)、青と水平(MTF_P_BH)および青と垂直(MTF_P_BV)についての第1の収差情報を取得する。また、これらの組み合わせにおける係数(rv,gh,gv,bh,bv)も同様に記憶および取得する。本実施例では、図21(b)で示される曲線をMTFピーク曲線という。
次にS602では、カメラMPU125は、S601で得られた収差情報に対して、焦点検出領域の位置および評価する信号の色とコントラスト方向に関する重み付けを行うための設定情報を取得する。ここで取得する設定情報は、記録撮像用の第1の演算用情報と通常光AF用の第2の演算用情報に相当する。
まずカメラMPU125は、BP補正値を算出する際の焦点検出領域の位置情報を用いて収差情報を計算する。具体的には、式(2)のx,yに焦点検出領域の位置情報を代入する。この計算により、式(2)は、実施例1中の式(3)のような形式で表される。こうして、カメラMPU125は、MTF_P_RH(f)、MTF_P_RV(f)、MTF_P_GH(f)、MTF_P_GV(f)、MTF_P_BH(f)およびMTF_P_BV(f)を得る。
図21(b)は、S602で焦点検出領域の位置情報を代入した後の収差情報の例を示し、横軸は空間周波数を、縦軸はデフォーカスMTFが極大値を示すフォーカスレンズ位置(デフォーカスMTFピーク位置)である。また、Nqは、撮像素子122の画素ピッチにより決まるナイキスト周波数を示す。
図に示す通り、色収差が大きい場合には色ごとの曲線が乖離し、縦横差が大きい場合には図中の水平方向と垂直方向の曲線が乖離する。このように、本実施例では、色(R、GおよびB)と評価方向(HおよびV)との組み合わせごとに、空間周波数に対応したデフォーカスMTFの情報を有する。これにより、高精度なBP補正値を算出することが可能となる。
次に、カメラMPU125は、S201で取得した設定情報を構成する12個の係数(図21(a))を、収差情報を用いて重み付けする。これにより、設定情報が、焦点検出および撮像において評価する色と方向に関して重み付けされる。具体的には、カメラMPU125は、焦点検出用の空間周波数特性を示すMTFピーク曲線MTF_P_AF(f)と撮像画像用の空間周波数特性を示すMTFピーク曲線MTF_P_Img(f)を、実施例1に示した式(4)および(5)を用いて算出する。
図21(c)は、MTF_P_AF(f)とMTF_P_Img(f)の例を、図21(b)と同様の形式で示す。本実施例では、このように焦点検出領域の位置、評価する色および方向についての変数の計算を、空間周波数の変数に関する計算に先駆けて行う。計算の結果、MTF_P_AF(f)とMTF_P_Img(f)は、実施例1で説明した式(6)および(7)の形式で表される。
図21(c)には、離散的な空間周波数F1からF4を式(6)に代入して得られるデフォーカスMTFピーク位置LP4_AF、LP5_AF、LP6_AF、LP7_AFが縦軸に示されている。
一方、S603では、S601とは異なり、カメラMPU125は、補助光が発光状態(補助光フラグ=1)であるときの収差情報である第2の収差情報を取得する。本実施例では、近赤外と水平のデフォーカスMTFピーク位置(MTF_P_NIRH)が第2の収差情報である。第1の収差情報と第2の収差情報は、波長、収差方向、撮像距離および像高のうち少なくとも1つに関して互いに異なる。
なお、本実施例の撮像素子122の各画素は、図3(a)に示したように水平方向に2分割された光電変換部を有する。このため、近赤外のMTFピーク曲線の収差方向は水平(MTF_P_NIRH)のみを用いて説明している。ただし、これに限定されず、垂直(MTF_P_NIRV)等をさらに用いてもよい。また本実施例では、近赤外の補助光を想定して説明しているが、近赤外に限定されず、使用する補助光の波長特性に応じたMTFピーク曲線を取得してもよい。さらに本実施例では、MTFピーク曲線を被写体距離に応じて複数取得するが、近赤外のMTFピーク曲線は補助光の到達距離が短いため、近距離時のみを取得してもよい。
次にS604では、S602とは異なり、カメラMPU125は、S603で得られた収差情報に対して、焦点検出領域の位置および評価する信号の色とコントラスト方向に関する重み付けを行うための設定情報を取得する。ここで取得する設定情報は、記録撮像用の第1の演算用情報と補助光AF用の第3の演算用情報に相当する。
まずカメラMPU125は、BP補正値を算出する際の焦点検出領域の位置情報を用いて収差情報を計算する。具体的には、式(2)のx,yに焦点検出領域の位置情報を代入する。この計算により式(2)は、近赤外と水平のデフォーカスMTFピーク位置(MTF_P_NIRHについて、以下の式(19)のような形式で表される。
MTF_P_NIRH(f)=Anirh×f2+Brh×f+Crh (19)
カメラMPU125は、MTF_P_RV(f)、MTF_P_GH(f)、MTF_P_GV(f)、MTF_P_BH(f)およびMTF_P_BV(f)についても同様に計算する。
次にカメラMPU125は、S201で取得した設定情報を構成する12個の係数(図21(a))を、収差情報を用いて重み付けする。これにより、設定情報が焦点検出および撮像において評価する色と方向に関して重み付けされる。
具体的には、カメラMPU125は、焦点検出用の空間周波数特性を示すMTFピーク曲線MTF_P_AF-NIR(f)を以下の式(20)を用いて算出する。
MTF_P_AF-NIR(f)
=K_AF_NIRH×MTF_P_NIRH(f)
+K_AF_RH×MTF_P_RH(f)
+K_AF_RV×MTF_P_RV(f)
+K_AF_GH×MTF_P_GH(f)
+K_AF_GV×MTF_P_GV(f)
+K_AF_BH×MTF_P_BH(f)
+K_AF_BV×MTF_P_BV(f) (20)
また、カメラMPU125は、撮像画像用の空間周波数特性を示すMTFピーク曲線MTF_P_Img(f)を、上述した式(5)を用いて算出する。
式(18)において、K_AF_NIRH、K_AF_RH、K_AF_GH、K_AF_BH、K_AF_RV、K_AF_GVおよびK_AF_BVは、焦点検出(AF)用の重み付け係数である。これらAF用の重み付け係数として、図21(a)に示した補助光AF用の重み付け係数(第3の演算用情報)K_AF_NIRH、K_AFL_RH、K_AFL_GH、K_AFL_BH、K_AFL_RV、K_AFL_GVおよびK_AFL_BVが用いられる。なお、補助光AF用の重み付け係数は、上述した第2の収差情報が近赤外の収差情報のみである場合は、近赤外にのみ重み付けの値を有する。
本実施例では、このように焦点検出領域の位置、評価する色および方向についての変数の計算を、空間周波数の変数に関する計算に先駆けて行う。計算の結果、MTF_P_AF-NIR(f)とMTF_P_Img(f)は、以下の式(21)および実施例1で示した式(7)の形式で表される。
MTF_P_AF-NIR(f)=Aaf×f2+Baf×f+Caf (21)
MTF_P_Img(f)=Aimg×f2+Bimg×f+Cimg (7)
こうして、図21(c)の離散的な空間周波数F1からF4におけるデフォーカスMTFピーク位置LP4_AFS、LP5_AFS、LP6_AFSおよびLP7_AF(いずれも図示せず)が、F1〜F4を式(21)に代入することで得られる。
次にS207において、カメラMPU125は、図21(c)に示したLP4_AF〜LP7_AF(または不図示のLP4_AFS〜LP7_AFS)を、ピーク係数MTF_P_AF(n)(1≦n≦4)としてレンズメモリ118またはRAM125bに記憶する。またカメラMPU125は、LP4_Img〜LP7_Imgを、ピーク係数MTF_P_Img(n)(1≦n≦4)としてレンズメモリ118またはRAM125bに記憶し、S208〜S210の処理を行う。
実施例1でも説明したように、S210においてBP補正値を算出するカメラMPU125は、撮像画像の合焦位置(P_img)と、AF(通常光AFと補助光AF)で検出される合焦位置(P_AF)とをそれぞれ、式(8)および(9)により算出する。撮像画像の合焦位置は第1の焦点位置に相当し、通常光AFで検出される合焦位置は第2の焦点位置に相当する。また、補助光AFで検出される合焦位置は第3の焦点位置に相当する。
そして、カメラMPU125は、通常光AF用のBP補正値を式(10)におけるP_AFを通常光AFで検出される合焦位置とすることで算出する。また、補助光AF用のBP補正値を、式(10)におけるP_AFを補助光AFで検出される合焦位置とすることで算出する。
本実施例では、補助光の発光時に、収差情報と焦点検出用の重み付け係数を補助光の非発光時のそれらから変更して、焦点検出用の空間周波数特性を示すMTFピーク曲線MTF_P_AF-NIR(f)を算出する。これにより、補助光の発光時に、補助光の色に適した収差情報と焦点検出用信号の重み付けを用いたBP補正値の演算を行うことができ、高精度に焦点検出結果を補正することができる。
次に、本発明の実施例6について説明する。本実施例におけるAF処理を図22から図24を用いて説明する。実施例5では、補助光の種類は1つであり、該補助光を発光するか否かで焦点検出用の重み付け係数を変更した。しかしながら、補助光には分光特性が互いに異なる赤、緑、橙、赤外および白色等の種々の光がある。本実施例では、それぞれの補助光の分光特性に応じたMTFピーク曲線を用いて焦点検出結果を補正することにより、補助光の種類によらず高精度な焦点検出を行う。
図22のフローチャートにおいて、実施例2および実施例5におけるAF処理(図10および図16)と同じ処理を行うステップには、実施例2および実施例5と同じステップ番号を付す。図22のフローチャートでは、補助光が必要な場合(S3でYesの場合)に、使用可能な補助光が内蔵補助光と外付け補助光の2種類ある点が実施例5と異なる。内蔵補助光は、実施例1に図2で示した補助光発光部200から発光される。外付け補助光は、カメラ本体120に対して着脱可能な外付けフラッシュユニットに設けられた外付け補助光発光部から発光される。本実施例では、内蔵補助光は緑色を中心とした分光特性を有し、外付け補助光は近赤外から赤色を中心とした分光特性を有する。
S3において補助光が必要と判定したカメラMPU125は、S30に進み、外付け補助光発光部の有無、すなわち外付け補助光の発光の可否を判定する。外付け補助光が発光できない場合は、カメラMPU125はS31に進み、内蔵補助光の発光を指示する。この際、補助光IDを1に設定する。
外付け補助光が発光可能である場合には、カメラMPU125は、S32に進み、外付け補助光の発光を指示する。この際、カメラMPU125は、補助光IDを2とする。実施例2でも説明したが、本実施例では、外付け補助光の分光特性を既知として説明する。しかし、該分光特性の情報を外付けフラッシュユニットから取得してもよい。カメラMPU125は、外付けフラッシュユニットから分光特性を示す情報、すなわち外付け補助光の種類の情報を取得し、該情報に応じて予め定められた補助光IDを設定すればよい。
S31およびS32で補助光の発光を終えたカメラMPU125は、S5に進み、S5からS7の処理を経て又はS6でYesの場合にS70に進んでBP補正値算出処理を行う。このBP補正値算出処理については後述する。
S70の処理を終えたカメラMPU125は、S21、S22、S33およびS24k処理を行ってAF処理を終了する。
次に、図23のフローチャートを用いて、S70でカメラMPU125が行うBP補正値算出処理の詳細について説明する。図23において、実施例2(図11)および実施例5(図20)で示した処理と同じ処理には同じステップ番号を付している。
S300およびS202の処理を終えたカメラMPU125は、S301において補助光IDが0、すなわち外付け補助光が非発光状態か否かを判定し、非発光状態である場合にはS602に、発光状態である場合はS302に進む。カメラMPU125は、S302において、補助光IDが1、すなわち内蔵補助光が発光状態か外付け補助光が発光状態かを判定する。カメラMPU125は、内蔵補助光が発光状態である場合はS603に進み、外付け補助光が発光状態である場合はS701に進む。
実施例5と同じく、S603では、カメラMPU125は内蔵補助光AF用のMTFピーク曲線を取得する。この際、カメラMPU125は、図24(a)に示す内蔵補助光AF用重み付け係数(K_AFLin_RH、K_AFLin_GH、K_AFLin_BH、K_AFLin_RV、K_AFLin_GV、K_AFLin_BV)を用いる。
そして、次のS604では、カメラMPU125は、S603で得られた収差情報に対して、焦点検出領域の位置および評価する信号の色とコントラスト方向に関する重み付けを行うための設定情報を取得する。
一方、S701では、カメラMPU125は、外付け補助光AF用のMTFピーク曲線を取得する。この際、カメラMPU125は、図24(a)に示す外付け補助光AF用重み付け係数(K_AFL_NIRH、K_AFL_RH、K_AFL_GH、K_AFL_BH、K_AFL_RV、K_AFL_GV、K_AFL_BV)を用いる。そして、カメラMPU125は、S604にて、S701で得られた収差情報に対して、焦点検出領域の位置および評価する信号の色とコントラスト方向に関する重み付けを行うための設定情報を取得する。
図24(b)は、外付け補助光と内蔵補助光のMTFピーク曲線の例を示す。MTFピーク曲線は、図21(b)に示した通常光用と図24(b)に示した補助光(外付け補助光および内蔵補助光)用とで異なる。また、補助光用は、内蔵補助光用(MTF_P_AFin)と外付け補助光用(MTF_P_AFout)とで異なる。
なお、本実施例における撮像素子122は、図3(a)に示したように水平方向に2分割された光電変換部を有する。このため、近赤外のMTFピーク曲線として水平のMTFピーク曲線(MTF_P_NIRH)のみを用いて説明している。ただし、これに限定されず、垂直のMTFピーク曲線(MTF_P_NIRV)等をさらに用いてもよい。また本実施例では、内蔵補助光は緑色を中心とした分光特性を有し、外付け補助光は近赤外から赤色を中心とした分光特性を有する場合について説明した。しかし、この組み合わせに限定されず、使用する内蔵補助光と外付け補助光の波長特性に応じたMTFピーク曲線を取得してもよい。
さらに、内蔵補助光のMTFピーク曲線をカメラ内のRAM125bに予め保持するとともに、外付け補助光のMTFピーク曲線をフラッシュユニット内に保有してもよい。この場合、カメラMPU125は、フラッシュユニットのカメラ本体120への装着時や外付け補助光の発光時にMTFピーク曲線をフラッシュユニットから取得すればよい。
また、内蔵補助光と外付け補助光で対応像高を変更してもよい。例えば、本実施例の補助光は、分光特性から内蔵補助光は外付け補助光に比べて照射範囲が広いため、本実施例の外付け補助光に対して、内蔵補助光に比べて対応像高を限定してもよい。
そして、カメラMPU125は、内蔵補助光および外付け補助光の発光時には、図21(a)に示した設定情報を用いて、焦点検出用の空間周波数特性を示すMTFピーク曲線MTF_P_AFin(f)とMTF_P_AFout(f)を算出する。
本実施例によれば、補助光として複数種類の光を使用可能である場合に、それぞれの補助光に対して適切なBP補正値を算出することができ、この結果、高精度な焦点検出を行うことができる。
(その他の実施例)
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
120 カメラ本体
125 カメラMPU

Claims (19)

  1. 被写体から撮像光学系に入射した光により形成される被写体像を撮像する撮像素子と、
    前記撮像素子からの焦点検出用信号を用いて焦点検出を行う焦点検出手段とを有し、
    前記焦点検出手段は、
    前記撮像光学系の収差情報と第1の光の分光特性に応じた第1の演算用情報とを用いて撮像時の焦点位置として算出される第1の焦点位置と、前記収差情報と前記第1の光の分光特性に応じた第2の演算用情報とを用いて前記焦点検出時の焦点位置として算出される第2の焦点位置との差分を用いて前記焦点検出の結果を補正し、
    前記焦点検出において前記第1の光とは分光特性が異なる第2の光が前記被写体に向けて発光される場合と発光されない場合とで、前記第2の演算用情報を変更することを特徴とする撮像装置。
  2. 前記制御手段は、前記第2の光の分光特性に応じて前記第2の演算用情報を変更することを特徴とする請求項1に記載の撮像装置。
  3. 被写体から撮像光学系に入射した光により形成される被写体像を撮像する撮像素子と、
    前記撮像素子からの焦点検出用信号を用いて焦点検出を行う焦点検出手段とを有し、
    前記焦点検出手段は、
    前記撮像光学系の収差情報と第1の光の分光特性に応じた第1の演算用情報とを用いて撮像時の焦点位置として算出される第1の焦点位置と、前記収差情報と前記第1の光の分光特性に応じた第2の演算用情報とを用いて前記焦点検出時の焦点位置として算出される第2の焦点位置との差分を用いて前記焦点検出の結果を補正し、
    前記焦点検出において前記第1の光とは分光特性が異なる第2の光が被写体に向けて発光される場合は、前記第2の光の分光特性に応じて前記第2の演算用情報を変更することを特徴とする撮像装置。
  4. 被写体から撮像光学系に入射した光により形成される被写体像を撮像する撮像素子と、
    前記撮像素子からの焦点検出用信号を用いて焦点検出を行う焦点検出手段とを有し、
    前記焦点検出手段は、
    前記撮像光学系の収差情報と第1の光の分光特性に応じた第1の演算用情報とを用いて撮像時の焦点位置として算出される第1の焦点位置と、前記収差情報と前記第1の光の分光特性に応じた第2の演算用情報とを用いて前記焦点検出時の焦点位置として算出される第2の焦点位置との差分を用いて前記焦点検出の結果を補正し、
    前記焦点検出において前記第1の光とは分光特性が異なる第2の光が前記被写体に向けて発光される場合は、前記収差情報と前記第2の演算用情報とを用いて前記第2の光の分光特性に応じた第3の焦点位置を取得し、前記第1の焦点位置と前記第3の焦点位置との差分を用いて前記焦点検出の結果を補正することを特徴とする撮像装置。
  5. 前記制御手段は、前記第2の光が発光される場合において、前記収差情報と前記第2の演算用情報とを用いた外挿演算を行って前記第3の焦点位置を取得することを特徴とする請求項4に記載の撮像装置。
  6. 被写体から撮像光学系に入射した光により形成される被写体像を撮像する撮像素子と、
    前記撮像素子からの焦点検出用信号を用いて焦点検出を行う焦点検出手段とを有し、
    前記焦点検出手段は、
    前記撮像光学系の収差情報と第1の光のうち一部の波長域の光の分光特性に応じた第1の演算用情報とを用いて撮像時の焦点位置としての算出される第1の焦点位置と、前記収差情報と前記一部の波長域の光の分光特性に応じた第2の演算用情報とを用いて前記焦点検出時の焦点位置として算出される第2の焦点位置との差分を用いて前記焦点検出の結果を補正し、
    前記焦点検出において前記第1の光とは波長域が異なる第2の光が前記被写体に向けて発光される場合は、前記第1の焦点位置と、前記収差情報と前記第2の光の分光特性に応じた第3の演算用情報とを用いて算出される第3の焦点位置との差分を用いて前記焦点検出の結果を補正することを特徴とする撮像装置。
  7. 被写体から撮像光学系に入射した光により形成される被写体像を撮像する撮像素子と、
    前記撮像素子からの焦点検出用信号を用いて焦点検出を行う焦点検出手段とを有し、
    前記焦点検出手段は、
    第1の光の分光特性に応じた前記撮像光学系の第1の収差情報と前記第1の光の分光特性に応じた第1の演算用情報とを用いて撮像時の焦点位置として算出される第1の焦点位置と、前記第1の収差情報と前記第1の光の分光特性に応じた第2の演算用情報とを用いて前記焦点検出時の焦点位置として算出される第2の焦点位置との差分を用いて前記焦点検出の結果を補正し、
    前記焦点検出において前記第1の光とは分光特性が異なる第2の光が前記被写体に向けて発光される場合は、前記第1の焦点位置と、前記第2の光の分光特性に応じた前記撮像光学系の第2の収差情報と前記第2の光の分光特性に応じた第3の演算用情報とを用いて算出される第3の焦点位置との差分を用いて前記焦点検出の結果を補正することを特徴とする撮像装置。
  8. 前記第1の収差情報と前記第2の収差情報は、波長、収差方向、撮像距離および像高のうち少なくとも1つに関して互いに異なることを特徴とする請求項7に記載の撮像装置。
  9. 前記制御手段は、前記第2の光の分光特性に応じて前記第3の演算用情報を変更することを特徴とする請求項7または8に記載の撮像装置。
  10. 前記各演算用情報を記憶するメモリを有する又は交換レンズに設けられたメモリから前記各演算用情報を取得することを特徴とする請求項1から9のいずれか一項に記載の撮像装置。
  11. 前記各演算用情報は、前記第1または第2の光の分光特性に応じた重み付け演算用の情報であることを特徴とする請求項1から10のいずれか一項に記載の撮像装置。
  12. 前記第2の光は、前記第1の光よりも長い波長域の光であることを特徴とする請求項1から11のいずれか一項に記載の撮像装置。
  13. 前記制御手段は、
    前記第2の光が発光されたときの前記撮像素子からの焦点検出用信号により得られる前記被写体の分光特性に関する第1の被写体分光情報と前記第2の光の分光特性の情報とを用いて、前記第2の光の非発光時における前記被写体の分光特性に関する第2の被写体分光情報を取得し、
    前記第2の被写体分光情報を用いて前記第1の演算用情報を取得することを特徴とする請求項1から12のいずれか一項に記載の撮像装置。
  14. 被写体から撮像光学系に入射した光により形成される被写体像を撮像する撮像素子を有する撮像装置において、前記撮像素子からの焦点検出用信号を用いて焦点検出を行う焦点検出方法であって、
    前記撮像光学系の収差情報と第1の光の分光特性に応じた第1の演算用情報とを用いて撮像時の焦点位置として算出される第1の焦点位置と、前記収差情報と前記第1の光の分光特性に応じた第2の演算用情報とを用いて前記焦点検出時の焦点位置として算出される第2の焦点位置との差分を用いて前記焦点検出の結果を補正するステップと、
    前記焦点検出において前記第1の光とは分光特性が異なる第2の光が前記被写体に向けて発光される場合と発光されない場合とで、前記第2の演算用情報を変更するステップとを有することを特徴とする焦点検出方法。
  15. 被写体から撮像光学系に入射した光により形成される被写体像を撮像する撮像素子を有する撮像装置において、前記撮像素子からの焦点検出用信号を用いて焦点検出を行う焦点検出方法であって、
    前記撮像光学系の収差情報と第1の光の分光特性に応じた第1の演算用情報とを用いて撮像時の焦点位置として算出される第1の焦点位置と、前記収差情報と前記第1の光の分光特性に応じた第2の演算用情報とを用いて前記焦点検出時の焦点位置として算出される第2の焦点位置との差分を用いて前記焦点検出の結果を補正するステップと、
    前記焦点検出において前記第1の光とは分光特性が異なる第2の光が被写体に向けて発光される場合に、前記第2の光の分光特性に応じて前記第2の第2の演算用情報を変更するステップとを有することを特徴とする焦点検出方法。
  16. 被写体から撮像光学系に入射した光により形成される被写体像を撮像する撮像素子を有する撮像装置において、前記撮像素子からの焦点検出用信号を用いて焦点検出を行う焦点検出方法であって、
    前記撮像光学系の収差情報と第1の光の分光特性に応じた第1の演算用情報とを用いて撮像時の焦点位置として算出される第1の焦点位置と、前記収差情報と前記第1の光の分光特性に応じた第2の演算用情報とを用いて前記焦点検出時の焦点位置として算出される第2の焦点位置との差分を用いて前記焦点検出の結果を補正するステップと、
    前記焦点検出において前記第1の光とは分光特性が異なる第2の光が前記被写体に向けて発光される場合は、前記収差情報と前記第2の演算用情報とを用いて前記第2の光の分光特性に応じた第3の焦点位置を取得し、前記第1の焦点位置と前記第3の焦点位置との差分を用いて前記焦点検出の結果を補正するステップとを有することを特徴とする焦点検出方法。
  17. 被写体から撮像光学系に入射した光により形成される被写体像を撮像する撮像素子を有する撮像装置において、前記撮像素子からの焦点検出用信号を用いて焦点検出を行う焦点検出方法であって、
    前記撮像光学系の収差情報と第1の光のうち一部の波長域の光の分光特性に応じた第1の演算用情報とを用いて撮像時の焦点位置としての算出される第1の焦点位置と、前記収差情報と前記一部の波長域の光の分光特性に応じた第2の演算用情報とを用いて前記焦点検出時の焦点位置として算出される第2の焦点位置との差分を用いて前記焦点検出の結果を補正するステップと、
    前記焦点検出において前記第1の光とは波長域が異なる第2の光が前記被写体に向けて発光される場合は、前記第1の焦点位置と、前記収差情報と前記第2の光の分光特性に応じた第3の演算用情報とを用いて算出される第3の焦点位置との差分を用いて前記焦点検出の結果を補正するステップとを有することを特徴とする焦点調節方法。
  18. 被写体から撮像光学系に入射した光により形成される被写体像を撮像する撮像素子を有する撮像装置において、前記撮像素子からの焦点検出用信号を用いて焦点検出を行う焦点検出方法であって、
    第1の光の分光特性に応じた前記撮像光学系の第1の収差情報と前記第1の光の分光特性に応じた第1の演算用情報とを用いて撮像時の焦点位置として算出される第1の焦点位置と、前記第1の収差情報と前記第1の光の分光特性に応じた第2の演算用情報とを用いて前記焦点検出時の焦点位置として算出される第2の焦点位置との差分を用いて前記焦点検出の結果を補正するステップと、
    前記焦点検出において前記第1の光とは分光特性が異なる第2の光が前記被写体に向けて発光される場合は、前記第1の焦点位置と、前記第2の光の分光特性に応じた前記撮像光学系の第2の収差情報と前記第2の光の分光特性に応じた第3の演算用情報とを用いて算出される第3の焦点位置との差分を用いて前記焦点検出の結果を補正するステップとを有することを特徴とする焦点検出方法。
  19. 被写体から撮像光学系に入射した光により形成される被写体像を撮像する撮像素子を有する撮像装置のコンピュータに、請求項13から17のいずれか一項に記載の焦点検出方法に従う処理を実行させることを特徴とするコンピュータプログラム。
JP2017207731A 2017-10-27 2017-10-27 撮像装置および焦点検出方法 Active JP7091053B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017207731A JP7091053B2 (ja) 2017-10-27 2017-10-27 撮像装置および焦点検出方法
US16/167,833 US10630883B2 (en) 2017-10-27 2018-10-23 Image capturing apparatus and focus detection method
CN201811267222.4A CN109729244B (zh) 2017-10-27 2018-10-29 摄像设备、焦点检测方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017207731A JP7091053B2 (ja) 2017-10-27 2017-10-27 撮像装置および焦点検出方法

Publications (2)

Publication Number Publication Date
JP2019078965A true JP2019078965A (ja) 2019-05-23
JP7091053B2 JP7091053B2 (ja) 2022-06-27

Family

ID=66244561

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017207731A Active JP7091053B2 (ja) 2017-10-27 2017-10-27 撮像装置および焦点検出方法

Country Status (3)

Country Link
US (1) US10630883B2 (ja)
JP (1) JP7091053B2 (ja)
CN (1) CN109729244B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020197686A (ja) * 2019-06-05 2020-12-10 キヤノン株式会社 撮像装置及びその制御方法、カメラシステム、プログラム、記憶媒体
JP2021006086A (ja) * 2019-06-27 2021-01-21 株式会社大一商会 遊技機

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021002213A1 (ja) * 2019-07-02 2021-01-07 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置およびその駆動方法、並びに電子機器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005352208A (ja) * 2004-06-10 2005-12-22 Nikon Corp 電子カメラ
JP2008191335A (ja) * 2007-02-02 2008-08-21 Canon Inc 撮像装置及び撮像システム
JP2009053568A (ja) * 2007-08-29 2009-03-12 Canon Inc 撮像装置及び撮像システム
JP2017151380A (ja) * 2016-02-26 2017-08-31 キヤノン株式会社 情報処理装置、撮像装置及び情報処理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4272717B2 (ja) 1997-12-17 2009-06-03 キヤノン株式会社 ビデオカメラシステム
WO2005088624A1 (ja) * 2004-03-15 2005-09-22 Konica Minolta Opto, Inc. 対物光学素子及び光ピックアップ装置
KR100689370B1 (ko) * 2005-03-25 2007-03-02 삼성전자주식회사 줌 렌즈
KR100976284B1 (ko) * 2007-06-07 2010-08-16 가부시끼가이샤 도시바 촬상 장치
EP2012173A3 (en) * 2007-07-03 2009-12-09 JDS Uniphase Corporation Non-etched flat polarization-selective diffractive optical elements
WO2013146066A1 (ja) * 2012-03-30 2013-10-03 富士フイルム株式会社 画像処理装置及び方法並びに撮像装置
CN103197512B (zh) * 2013-04-22 2015-09-16 中国科学院上海光学精密机械研究所 光刻机投影物镜偏振像差原位检测方法
JP5903529B2 (ja) * 2013-08-01 2016-04-13 富士フイルム株式会社 撮像装置、撮像方法及び画像処理装置
US20150227023A1 (en) * 2014-02-13 2015-08-13 Canon Kabushiki Kaisha Focus control apparatus and control method therefor
JP6486288B2 (ja) * 2016-02-09 2019-03-20 キヤノン株式会社 撮像装置、制御方法、プログラム、記憶媒体
JP6464118B2 (ja) * 2016-06-27 2019-02-06 キヤノン株式会社 焦点検出装置および方法、撮像装置、およびレンズユニット

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005352208A (ja) * 2004-06-10 2005-12-22 Nikon Corp 電子カメラ
JP2008191335A (ja) * 2007-02-02 2008-08-21 Canon Inc 撮像装置及び撮像システム
JP2009053568A (ja) * 2007-08-29 2009-03-12 Canon Inc 撮像装置及び撮像システム
JP2017151380A (ja) * 2016-02-26 2017-08-31 キヤノン株式会社 情報処理装置、撮像装置及び情報処理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020197686A (ja) * 2019-06-05 2020-12-10 キヤノン株式会社 撮像装置及びその制御方法、カメラシステム、プログラム、記憶媒体
JP7303668B2 (ja) 2019-06-05 2023-07-05 キヤノン株式会社 撮像装置及びその制御方法、カメラシステム、プログラム、記憶媒体
JP2021006086A (ja) * 2019-06-27 2021-01-21 株式会社大一商会 遊技機

Also Published As

Publication number Publication date
CN109729244A (zh) 2019-05-07
US20190132508A1 (en) 2019-05-02
US10630883B2 (en) 2020-04-21
JP7091053B2 (ja) 2022-06-27
CN109729244B (zh) 2021-01-26

Similar Documents

Publication Publication Date Title
KR101968109B1 (ko) 초점 조절장치, 그 제어방법, 및 촬상장치
JP6478457B2 (ja) 焦点調節装置及び焦点調節方法
JP6429546B2 (ja) 撮像装置、制御方法、プログラム、および、記憶媒体
TWI548272B (zh) 影像擷取設備和用於控制影像擷取設備的方法
US9742982B2 (en) Image capturing apparatus and method for controlling image capturing apparatus
JP6682310B2 (ja) 焦点検出装置および方法、および撮像装置
JP6298362B2 (ja) 撮像装置及びその制御方法、及び撮像システム
CN109729244B (zh) 摄像设备、焦点检测方法和存储介质
JP6890937B2 (ja) 焦点検出装置、撮像装置、および焦点検出方法
JP6744933B2 (ja) レンズ部およびその制御方法
JP6484003B2 (ja) 撮像装置およびその制御方法、および撮影光学系
JP6484004B2 (ja) 撮像装置およびその制御方法、および撮影光学系およびその制御方法
JP6395790B2 (ja) 撮像装置、撮像装置の制御方法およびフォーカス制御プログラム
JP6686191B2 (ja) 焦点検出装置、撮像装置、及び焦点検出方法
JP6548626B2 (ja) 撮像装置、撮像装置の制御方法およびフォーカス制御プログラム
JP6686239B1 (ja) レンズ部、送信装置、及び受信装置
JP2017102240A (ja) 画像処理装置および画像処理方法、撮像装置、プログラム
JP2020003686A (ja) 焦点検出装置、撮像装置および交換レンズ装置
JP6415054B2 (ja) 撮像装置及び撮像方法
JP2017003674A (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP2019071591A (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201021

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210811

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210824

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220615

R151 Written notification of patent or utility model registration

Ref document number: 7091053

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151