JP2018072554A - 撮像装置および焦点調節方法 - Google Patents

撮像装置および焦点調節方法 Download PDF

Info

Publication number
JP2018072554A
JP2018072554A JP2016211774A JP2016211774A JP2018072554A JP 2018072554 A JP2018072554 A JP 2018072554A JP 2016211774 A JP2016211774 A JP 2016211774A JP 2016211774 A JP2016211774 A JP 2016211774A JP 2018072554 A JP2018072554 A JP 2018072554A
Authority
JP
Japan
Prior art keywords
value
luminance
evaluation
focus
symmetry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016211774A
Other languages
English (en)
Other versions
JP6936930B2 (ja
Inventor
工 毛利
Takumi Mori
工 毛利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2016211774A priority Critical patent/JP6936930B2/ja
Priority to CN201711001518.7A priority patent/CN108024053A/zh
Priority to US15/793,944 priority patent/US10302901B2/en
Publication of JP2018072554A publication Critical patent/JP2018072554A/ja
Application granted granted Critical
Publication of JP6936930B2 publication Critical patent/JP6936930B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/282Autofocusing of zoom lenses
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02Viewfinders
    • G03B13/06Viewfinders with lenses with or without reflectors
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02Viewfinders
    • G03B13/16Viewfinders combined with focusing aids
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Abstract

【課題】高輝度評価値が飽和してしまうか否かに関わらず、また複数の星が存在するような撮影シーンであっても好適に合焦することが可能な撮像装置および焦点調節方法を提供する。
【解決手段】ひとつあるいは複数の点光源に合焦させるために、フォーカスレンズを光軸方向に移動させながら複数の画像データを取得し、上記画像データに基づいて焦点調節を行う撮像装置において、画像データに基づいて所定の評価領域内の画素の輝度値を検出する輝度値検出手段と、輝度値に基づいて高輝度評価値Ymaxを算出する評価値算出手段と、フォーカスレンズの移動に対する高輝度評価値の対称性Ymax_symを算出する対称性算出手段と、記対称性に基づいて算出される極値に基づいて焦点調節を行う制御手段を具備する。
【選択図】 図4

Description

本発明は、星空のように無限遠にある点光源のような被写体にピントを合わせることが可能な撮像装置および焦点調節方法に関する。
星にピントを合わせるための焦点検出装置が従来より種々提案されている。例えば、特許文献1には、撮影領域の天体画像の中から特定の星の位置を検出・追跡し、特定の星の大きさや輝度の変化から合焦位置を算出する自動焦点調節装置が開示されている。また、特許文献2には、撮影領域を複数の小さな領域に分割し、それぞれの領域内の星のコントラストの変化より、合焦処理で使用する領域を選択したり除外したりして合焦位置を算出する焦点検出装置が開示されている。さらに、特許文献3には、画像の評価領域全体の積算値の変化より飽和状態を判別し、判別内容により演算処理に使用するデータを選択するカメラが提案されている。
特開2015−184614号公報 特許第4692273号公報 特許第4595390号公報
このように、星等の天体撮影に適した焦点調節装置が提案されているが、下記のような解決すべき課題がある。
(1) 合焦付近で飽和する高輝度評価値
合焦位置を検出するためにAFスキャン(AF走査)をしながら撮像を行う(AFスキャン撮影)が、AFスキャン前に適正露光条件を設定することは困難であり、スキャン撮影途中で合焦点付近となった場合に、輝度値が飽和してしまい、合焦点位置を正確に検出することができない。すなわち、合焦位置付近で輝度信号が飽和するか否かは、AFスキャンを行ってみないと分からず、このため、合焦点前後で輝度値が飽和している場合には、3点補間等によって補間位置を算出することができない。
(2) 手ブレや瞬きの影響
高輝度画素データから算出した評価値(高輝度評価値)の中の最大輝度値は瞬きの影響を受けやすく、フォーカスレンズ位置に対する評価値特性値のピークと前後のデータから補間処理で合焦点を算出する場合、誤差が生じることがある。また、高輝度評価値の中の高輝度画素数を用いて検出する場合には、評価領域内の複数の天体の画素の積算値を算出することから、瞬きの影響は少なくなる。しかし、手ブレによる画像ブレの影響を受け、評価値が変動することがあり、合焦点算出に誤差が生じることがある。従って、手ブレや星の瞬きなどの影響により、高輝度評価値の特性が変動し、合焦位置の算出に誤差が生じてしまう。
(3) 複雑なフォーカスレンズ位置特性カーブ
評価領域内に一つの星だけでなく、明るい星や肉眼では見えにくい複数の暗い星などを撮影すると、高輝度画素数などのレンズ位置特性は単調な極値を持った特性とはならず、複雑な特性となってしまう。すなわち、複数の星が観察される撮影シーンでは、高輝度評価値のレンズ位置特性は、それぞれの星の特性カーブが合成されることから、複雑なカーブとなり、合焦位置を検出するのが困難となる。
本発明は、このような事情を鑑みてなされたものであり、高輝度評価値が飽和してしまうか否かに関わらず、また複数の星が存在するような撮影シーンであっても好適に合焦することが可能な撮像装置および焦点調節方法を提供することを目的とする。
上記目的を達成するため第1の発明に係る撮像装置は、ひとつあるいは複数の点光源に合焦させるために、フォーカスレンズを光軸方向に移動させながら複数の画像データを取得し、上記画像データに基づいて焦点調節を行う撮像装置において、上記画像データに基づいて所定の評価領域内の画素の輝度値を検出する輝度値検出手段と、上記輝度値に基づいて高輝度評価値を算出する評価値算出手段と、上記フォーカスレンズの移動に対する上記高輝度評価値の対称性を算出する対称性算出手段と、上記対称性に基づいて算出される極値に基づいて焦点調節を行う制御手段と、を具備する。
第2の発明に係る撮像装置は、上記第1の発明において、上記高輝度評価値は、上記評価領域内の最大の輝度を示す輝度値である。
第3の発明に係る撮像装置は、上記第1の発明において、上記高輝度評価値は、上記評価領域内で所定の輝度値を越える画素の数である。
第4の発明に係る撮像装置は、上記第1の発明において、上記高輝度評価値は、上記評価領域内で所定の輝度値を越える画素の輝度値の積算値である。
第5の発明に係る撮像装置は、上記第4の発明において、上記高輝度評価値は、上記積算値を、上記所定の輝度値を越える画素の数で除算した値である。
第6の発明に係る撮像装置は、上記第1ないし第5のいずれかの発明において、上記評価領域内で複数の上記高輝度評価値の最大値と最小値の比率に基づいて、および/または対称性算出手段で算出した対称性の最大値と最小値の比率に基づいて、複数の画像データを取得する上記フォーカスレンズの移動範囲を設定する移動範囲設定手段を有し、上記制御部は、上記設定された移動範囲に基づいて上記フォーカスレンズの移動と画像データの取得を制御する。
第7の発明に係る撮像装置は、上記第1の発明において、上記輝度値に基づいて飽和状態を判定する飽和状態判定手段を有し、上記対称性算出手段は、非飽和状態と判定された場合は、上記高輝度評価値を上記評価領域内の最大の輝度を示す輝度値とし、飽和状態と判定された場合は、上記高輝度評価値を上記評価領域内で所定の輝度値を越える画素の数とする。
第8の発明に係る撮像装置は、上記第7の発明において、上記飽和状態判定手段は、上記評価領域内の最大の輝度を示す輝度値を所定値と比較して判定する。
第9の発明に係る撮像装置は、上記第7の発明において、上記飽和状態判定手段は、上記評価領域内で所定の輝度値を越える画素の数に基づいて判定する。
第10の発明に係る焦点調節方法は、ひとつあるいは複数の点光源に合焦させるために、フォーカスレンズを光軸方向に移動させながら複数の画像データを取得し、上記画像データに基づいて焦点調節を行う撮像装置の焦点調節方法において、上記画像データに基づいて所定の評価領域内の画素の輝度値を検出し、上記輝度値に基づいて高輝度評価値を算出し、上記フォーカスレンズの移動に対する上記高輝度評価値の対称性を算出し、上記対称性に基づいて算出される極値に基づいて焦点調節を行う。
本発明によれば、高輝度評価値が飽和してしまうか否かに関わらず、また複数の星が存在するような撮影シーンであっても好適に合焦することが可能な撮像装置および焦点調節方法を提供することができる。
本発明の一実施形態に係るカメラの主として電気的構成を示すブロック図である。 本発明の一実施形態に係るカメラにおいて、高輝度評価値を算出するためのAF評価領域を示す図である。 本発明の一実施形態に係るカメラにおいて、AF評価領域において、レンズ位置と最大輝度値の関係を示すグラフである。 本発明の一実施形態に係るカメラにおいて、対称性マッチング処理を説明するためのグラフである。 本発明の一実施形態に係るカメラにおいて、対称性変換処理を説明する図である。 本発明の一実施形態に係るカメラにおいて、高輝度評価値と対称性評価値を示すグラフである。 本発明の一実施形態に係るカメラにおいて、高輝度評価値と対称性評価値を示すグラフである。 本発明の一実施形態に係るカメラにおいて、最大輝度値がレンズの移動中に飽和する場合の対称性評価値を示すグラフである。 本発明の一実施形態に係るカメラにおいて、最大輝度値がレンズの初期位置において既に飽和している場合の高輝度評価値を示すグラフである。 本発明の一実施形態に係るカメラにおいて、1つの点光源の輝度レベルによる特性変化を示すグラフである。 本発明の一実施形態に係るカメラにおいて、高輝度評価値と対称性評価値を示すグラフである。 本発明の一実施形態に係るカメラのマウント処理の動作を示すフローチャートである。 本発明の一実施形態に係るカメラの撮影シーケンスを示すフローチャートである。 本発明の一実施形態に係るカメラのAF動作を示すフローチャートである。 本発明の一実施形態に係るカメラの初期画像処理を示すフローチャートである。 本発明の一実施形態に係るカメラのAF画像処理を示すフローチャートである。 本発明の一実施形態に係るカメラのAF処理を示すフローチャートである。
以下、本発明の一実施形態として撮像装置としてデジタルカメラ(以下、「カメラ」と称す)に適用した例について説明する。このカメラは、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データに基づいて、被写体像を本体の背面に配置した表示部にライブビュー表示する。撮影者はライブビュー表示を観察することにより、構図やシャッタタイミングを決定する。レリーズ操作時には、画像データが記録媒体に記録される。記録媒体に記録された画像データは、再生モードを選択すると、表示部に再生表示することができる。
また、本実施形態においては、ひとつあるいは複数の点光源に合焦させるために、フォーカスレンズを光軸方向に移動させながら複数の画像データを取得し、この画像データに基づいて焦点調節を行う(例えば、図16のS91、S93参照)。
図1は、本実施形態に係るカメラの主として電気的構成を示すブロック図である。このカメラは、カメラ本体11とレンズ鏡筒12は別体で構成され、レンズ鏡筒12はカメラ本体11に着脱自在である。なお、カメラ本体11とレンズ鏡筒12を一体に構成しても勿論かまわない。
レンズ鏡筒12内には、焦点調節および焦点距離調節用の撮影レンズ21と、開口径を調節するための絞り22が配置されている。撮影レンズ21はレンズ枠23に保持され、レンズ枠23はレンズ駆動機構24およびレンズ駆動回路25によって光軸方向に駆動され、絞り22は絞り駆動機構27によって駆動される。レンズ鏡筒12は、撮影レンズを含むレンズ部として機能する。
レンズ駆動回路25および絞り駆動機構27は、レンズ制御用マイクロコンピュータ(以下、「LCPU」と称する)30に接続され、LCPU30によって駆動制御される。LCPU30は、CPU(Central Processing Unit)と不図示のレンズ駆動パルス生成部等の周辺回路を有し、メモリ31に記憶されたプログラムに従い、カメラ本体11からの制御命令に応じて、レンズ鏡筒12内の各部を制御する。
LCPU30は、メモリ31に接続されている。このメモリ31は、フラッシュROM等の電気的に書き換え可能な不揮発性メモリである。メモリ31は、前述のLCPU30用のプログラムの他に、撮影レンズ21の光学的特性、絞り22の特性等の種々の特性を記憶しており、また各種調整値も記憶する。撮影レンズ21の光学的特性として、撮影レンズ21の歪曲収差等に関する情報を焦点距離毎に有している。LCPU30は、カメラ本体11からの要求に応じて、これらの情報を読み出して送信する。
メモリ31は、撮影レンズの歪曲収差データを記憶する記憶部として機能する。この記憶部は、撮影レンズの複数の光学状態(例えば、焦点距離やフォーカスレンズ位置ごと)に対応する歪曲収差データに応じた複数のAFエリア配置情報を記憶する。
LCPU30は、通信コネクタ35に接続されており、この通信コネクタ35を通じて、カメラ本体11内の本体制御用マイクロコンピュータ(以下、「BCPU」と称する)60と通信を行う。また、通信コネクタ35は、カメラ本体11からレンズ鏡筒12に電源を供給するための給電端子を有する。
カメラ本体11にあって、撮影レンズ21の光軸上には、露出時間制御用のシャッタ52が設けられている。本実施形態においては、シャッタ52は先幕および後幕を有するフォーカルプレーンシャッタである。シャッタ52は、シャッタチャージ機構57によってシャッタチャージされ、またシャッタ制御回路56によってシャッタ52の開閉制御が行われる。
シャッタ52の後方であって、撮影レンズ21の光軸上には、撮像素子ユニット54が配置されており、撮影レンズ21によって結像される被写体像を画素信号に光電変換する。なお、撮像素子ユニット54内の撮像素子としては、CCD(Charge Coupled Devices)イメージセンサや、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の二次元撮像素子を使用できることは言うまでもない。撮像素子ユニット54は、撮影レンズにより集光される被写体光を受光し光電変換して画素信号を出力する撮像素子として機能する。
前述のシャッタ52と撮像素子54の間には、被写体光束から赤外光成分と、高周波成分を除去するための光学フィルタである光学ローパスフィルタ(OLPF)53が配置されている。
撮像素子ユニット54は、手ブレ補正ユニット75によって、撮影レンズ21の光軸と垂直な面内で、手ブレを打ち消す方向に移動する。すなわち、カメラ本体11が撮影者の手ブレ等によって動くと、この動きをジャイロ等(不図示)のブレ検出部によってブレの量と方向を検出し、手ブレ補正ユニット75は、BCPU60からの制御に従って、検出された動きを打ち消すように撮像素子ユニット54を移動させる。
撮像素子ユニット54は撮像素子インターフェース回路61に接続されている。撮像素子インターフェース回路61は、BCPU60からの制御命令に従って、撮像素子ユニット54内の撮像素子から画素信号を読み出し、増幅処理やAD変換処理等の前処理を施した後、画像処理コントローラ62に出力する。
画像処理コントローラ62は、画像データのデジタル的増幅(デジタルゲイン調整処理)、色補正、ガンマ(γ)補正、コントラスト補正、ライブビュー表示用画像生成等の各種の画像処理を行なう。また画像データをJPEGやTIFF等の圧縮方式で圧縮し、また圧縮画像データを伸張する。なお、画像圧縮はJPEGやTIFFに限らず、他の圧縮方式でもよい。
画像処理コントローラ62には、SDRAM(Synchronous Dynamic Random Access Memory)63、フラッシュROM64、記憶メディア65が接続されている。
SDRAM63は、電気的に書き換え可能な揮発性メモリであり、撮像素子ユニット54から読み出された画像データを一時的に書き込み、読み出しを行う。フラッシュROM64は、電気的に書き換え可能な不揮発性メモリであり、BCPU60用のプログラムや、各種調整値等を記憶し、読み出す。フラッシュROM64は、メモリ31からの歪曲収差データ等のレンズ特性を記憶する。
記憶メディア65は、コンパクトフラッシュ(登録商標)、SDメモリカード(登録商標)またはメモリスティック(登録商標)等の書換え可能な記録媒体のいずれかが装填可能となるように構成され、カメラ本体11に対して着脱自在となっている。その他、通信接点を介してハードディスクを接続可能に構成してもよい。
ストロボ72は、電源回路80からの電源電圧を昇圧し、昇圧した高圧電圧を充電するコンデンサや、閃光発光用のキセノン管や、トリガ回路等を有し、低輝度の被写体に対する照明機器として使用される。ストロボ制御回路71は、BCPU60からの制御命令に従って、ストロボ72に対して充電やトリガ等の制御を行う。
EVF(Electric Viewfinder)66は、カメラ本体11内に内蔵された表示パネルを接眼部を介して撮影者が観察することができる。EVF66には、ライブビュー表示や記録画像の再生表示等を行う。動作表示用LCD(Liquid Crystal Display)77は、カメラ本体11の外装部に設けられ、カメラの動作状態を表示し、また、ライブビュー表示や記録画像の再生表示も行う。
カメラ操作スイッチ(SW)78は、電源釦、レリーズ釦、メニュー釦、OK釦等の操作部材の操作に連動するスイッチである。レリーズ釦には、レリーズ釦の半押し操作を検出する1Rスイッチ(1RSW)や、レリーズ釦の全押しを検出する2Rスイッチ(2RSW)が設けられている。
電源回路80は、カメラ本体11に装填された電源電池を有し、カメラ本体11やレンズ鏡筒12内の各回路ユニット等に電源電圧を供給する。
本体制御用マイクロコンピュータ(BCPU)60は、CPU(Central Processing Unit)とその周辺回路等を有する。CPUはフラッシュROM64に記憶されたプログラムに従って、カメラ本体11内の各部と、LCPU30を介して、レンズ鏡筒12内の各部を制御することによってカメラの全体の処理を実行する。
BCPU60は、撮像素子インターフェース61を介して入力する画像データに基づいて、後述するAF評価領域AFVA内の画素の輝度値を検出する(例えば、図5の輝度画像103、図16のS93等参照)。BCPU60は、画像データに基づいて所定の評価領域内の画素の輝度値を検出する輝度値検出手段として機能する。なお、入力画像データから輝度画像データへの変換方法は後述する。
BCPU60は、フォーカスレンズを移動させ、それぞれのレンズ位置で取得した輝度値に基づいて高輝度評価値を算出する(例えば、図5の高輝度評価値105、図16のS97等参照)。BCPU60は、輝度値に基づいて高輝度評価値を算出する評価値算出手段として機能する。
BCPU60は、複数のフォーカスレンズ位置で取得した高輝度評価値に対称性処理を施し対称性評価値を算出する(例えば、図5の対称性評価値107、図16のS97等参照)。BCPU60は、フォーカスレンズの移動に対する高輝度評価値の対称性を算出する対称性算出手段として機能する。
BCPU60は、対称性評価値の極値の位置に基づいて、合焦位置を求め、この合焦位置にフォーカスレンズを移動させる(例えば、図4(b)のYmax_symの極値、図17のS113、S115等参照)。BCPU60は、対称性に基づいて算出される極値に基づいて焦点調節を行う制御手段として機能する。
また、BCPU60は、初期位置に移動後(図15のS71、S73等参照)、輝度値に基づいて、飽和状態となるか否かについて予測を行う(例えば、図3の飽和判定値、図5の判定値Th0、Th1(Th0<Th1)、図15のS77等参照)。BCPU60は、輝度値に基づいて飽和状態を判定する飽和状態判定手段として機能する。この場合、上述した対称性算出手段は、非飽和状態と判定された場合は、高輝度評価値を評価領域内の最大の輝度を示す輝度値(最大輝度値)とし、飽和状態と判定された場合は、高輝度評価値を上記評価領域内で所定の輝度値を越える画素の数(高輝度画素数)とする(例えば、後述する図15のS77〜S81、図16のS95、S97等参照)。これにより、最低限必要なデータを処理するだけでよく、計算負荷を低減することが出来る。
上述の飽和状態判定手段は、評価領域内の最大の輝度を示す輝度値を所定値と比較して判定してもよく、また価領域内で所定の輝度値を越える画素の数に基づいて判定してもよい(例えば、図15のS77参照)。
本実施形態においては、上述の輝度値検出手段、評価値算出手段、対称性算出手段、制御手段、飽和状態判定手段は、BCPU60によってソフト的に実現されている。しかし、これらの機能の全部または一部をハードウエア回路によって実現してもよく、また、ヴェリログ(Verilog)によって記述されたプログラム言語に基づいて生成されたゲート回路等のハードウエア構成でもよく、またDSP(Digital Signal Processor)等のソフトを利用したハードウエア構成を利用してもよい。これらは適宜組み合わせてもよいことは勿論である。
次に、本実施形態における撮像素子ユニット54内の撮像素子からの画素取り込みモードについて説明する。
星等の無限遠にある点光源に対して、焦点検出を行う場合には、本実施形態においては、撮像素子からの画素取り込みは、全画素取り込みモードによって行う。画素取り込みモードとしては、とびとびの画素位置で画素データを取り込む間引き取り込みモードがある。しかし、フォーカスレンズを移動させていくと、合焦付近で星の輝度が高くなるが、とびとびの画素位置の画素データしか取り込まない間引き取り込みモードでは、合焦付近で星像を取りこぼすおそれがある。そこで、本実施形態においては、星像についてピント合わせを行う際には、全画素取り込みモードを実行する。
また撮像素子はカラーフィルタの配列として例えばベイヤー配列でありR画素、Gb・Gr画素、B画素を有し、それぞれの画素からの出力に基づいてRAW(RGbGrB)画像データを生成する。焦点検出用の画像データは、RAW画像データからの輝度画像データに変換することによって取得する。輝度画像への変換方法としては、例えば、4画素加算平均画像データ(Y=(R+Gb+Gr+B)/4)等によって算出すればよい。また、全画素取り込みモードから処理した4画素加算平均画像データであれば、水平・垂直を1/2に間引きした輝度情報としてもよい。また、撮像素子の露光時間としては、本実施形態においては、1/30s(フレームレート30fps)とするが、これに限らず、1/60s、1/120s等、異なる露光時間であってもよい。なお、AF画像取得中の露光条件は一定とする(図16のS93)。
次に、図2乃至図11を用いて、本実施形態における高輝度評価値と、この高輝度評価値に対称性処理を施すことによって得られる対称性評価値を用いた合焦位置の検出について説明する。本実施形態は、星のように、無限遠ある点光源にピント合わせを行う際に焦点検出に適している。高輝度評価値の詳細については、図3、図5等を用いて、また対称性評価値については図4、図5等を用いて後述する。
図2は、カメラ等の撮像装置によって取得された星等の画像を示す。高輝度評価値は、AF評価領域AFVAの画像データに基づいて算出する。この領域の大きさや位置は、撮影者が手動で設定してもよく、また自動的にデフォルト値に従って設定してもよい。
図3は、AF評価領域AFVA内の最大輝度値に基づく高輝度評価値を示すグラフである。図3において、横軸は撮影レンズ21の内のフォーカスレンズの位置を示し、縦軸は輝度値を示す。この輝度値は、AF評価領域AFVAにおける最大輝度値を示している。高輝度評価値の特性変化は、(a)星の種類(等級や点光源の大きさ等)と数、(b)露光条件(シャッタ速度、絞り値、感度)、(c)レンズの焦点距離、(d)撮影条件(天候、時刻)、(e)評価領域等によって、変化する。AF評価領域AFVA内の点光源の明るさの順番はフォーカスレンズ位置に関わらず、基本的には変わらない。図3に示すグラフは、上述の(b)〜(d)の条件を一定とした場合であって、異なる明るさの星ごとの輝度特性を示す。
まず、図3中、Ymax_1で示すラインは、AF評価領域AFVAにおいて、フォーカスレンズの位置を変えながら、撮像素子ユニット54内の撮像素子からの画像データに基づいて、最大輝度値の変化をプロットしたものである。すなわち、AF評価領域AFVA内には図2に示すように多数の星があり、AF評価領域AFVA内で最も輝度の高い星の輝度値を検出し、フォーカスレンズの位置毎にデータをプロットすることにより得たものである。ひとつの星のフォーカスレンズ位置に応じた最大輝度値の変化の特性は、フォーカスレンズが合焦位置付近で最大輝度値がピークとなり、合焦位置から離れるに従って最大輝度値が低下する。
また、図3において、Ymax_2で示すラインは、別のAF評価領域AFVAにおいて、フォーカスレンズの位置を変えながら、最大輝度値の変化をプロットしたものである。この場合には、Ymax_1よりも明るい星がAF評価領域AFVA内にあることから、Ymax_2はYmax_1よりも上側にある。図3には、Ymax_1、Ymax_2と同様に、異なるAF評価領域AFVAについて、Ymax_3、Ymax_4をプロットした例を示す。
図3に示すYmax_5は、AF評価領域AFVA内に一等星のような明るい星や月などがある場合の輝度値である。この場合には、極度に明るいことから、フォーカスレンズ位置に係りなく、輝度値は飽和している。
なお、図3に示すグラフにおいて、飽和判定値SJVは、フォーカスレンズが合焦位置付近で飽和状態になるか否かを予測するための判定値である。この判定値は、フォーカスレンズをスキャンしながら、高輝度値のピークを検出するにあたって、輝度値が合焦位置付近で飽和するか否かを、スキャン開始位置で予測する際に使用する。
次に、図4を用いて、対称性マッチング処理(対称性処理)について説明する。図4(a)において、ラインLSは、フォーカスレンズ位置に応じた画像信号であり、図3のYmax_1〜Ymax_4に対応する。この画像信号は、フォーカスレンズ位置をiとすると、G(i)で表す。また、ラインLIは、対称性の度合S(k)(対称性評価値ともいう)を算出するフォーカスレンズ位置kを対称軸として、ラインLSを反転させて生成した反転信号である。この反転信号LIは、対称性算定位置をkとすると、k+iの位置の画像信号G(k+i)に対して、反転信号LIはG(k−j)で表される。また、iは対称性S(k)を算出するために必要な幅±wの範囲内、すなわち、−wから+wまで変化させる。ここで、図4(a)に示すように、画像データを取得したフォーカスレンズ位置i、及び、各フォーカスレンズ位置iにて、撮影した画像の数を0からt_no−1とすると、対称性の算定位置kの範囲はi=wからi=t_no−w−1までとなる。これは、対称性の算定に必要とする幅wの分だけ、対称性の算定値kを変化できる範囲が狭く制限されるためである。
図4(a)は、対称性算定位置i=kにあり、±wの範囲(窓範囲は2w+1)のラインLSを、i=kを対称軸として左右に反転し、反転信号LIをプロットしたものである。領域M(k)は、画像信号の変化を示すラインLSと反転信号の変化を示すラインLIの差分にあたる。この差分の面積(領域M(k)に相当)より対称性S(k)を算出する処理としては、下記(1)〜(3)によって表すことができる。
M(s)=Σ{(G(k+j)−G(k−j)} ・・・(1) (j=−w〜w)
S(k)=ΣABS{(G(k+j)−G(k−j)} ・・・(2) (j=−w〜w)
S(k)=ΣABS{(G(k+j)−G(k−j)} ・・・(3) (j=1〜w)
式(2)は式(1)の基本式に対して、データのサイズを小さく抑えることができ、式(3)は計算範囲をさらに減らすことができる。なお、ABSは絶対値を意味する。
図4(b)は、図3に示した高輝度値Ymaxに対して、図4(a)で説明した対称性マッチング処理(以下、対称性処理という)を施した場合の値を示す。すなわち、図4(b)におけるYmaxに対して、上述の式(3)によって対称性処理を施すと、Ymax_symが得られる。Ymax_symは、無限側のスキャン開始位置であるフォーカスレンズ位置から窓の片側wだけ離れた位置から算出が可能である。また、Ymax_symは、図4(b)に示すように、フォーカスレンズ位置が合焦位置に相当する位置で極値(ピーク値)となる。従って、高輝度値Ymaxに対して対称性処理が施された値(Ymax_sym)の極値となる位置がフォーカスレンズの合焦位置となる。
次に、レンズ駆動動作について説明する。本実施形態においては、光学無限遠位置よりも更に無限側にフォーカスレンズの移動を制御するための制御用の位置(制御無限遠位置)を設け、この制御無限遠の位置から、至近側にフォーカスレンズを移動させながら、画像データを取得している。このときのフォーカスレンズの移動と撮影の方式については、レンズスキャン駆動動作とレンズステップ駆動動作があり、いずれかの方式によってレンズ駆動動作を行う。
レンズスキャン駆動動作では、フォーカスレンズをスキャン駆動開始位置に移動後、目標位置を設定し、一定の速度LDspeedで駆動させる。このときのLDspeedは、以下の式(4)により設定する。
LDspeed[mm/s]=Kstep・Fδ[μm]・FrameRate[fps]÷1000 ・・・(4)
ここで、Fδは焦点深度であり、Fは絞り値、δは許容できるボケの直径(許容錯乱円)を表す。また、Kstepは1フレーム当たりの像面移動量を決める係数である。レンズスキャン駆動動作を行う場合には、撮像ユニットは一定フレームレートFrameRateで画像を連続撮影する。フレームレートとしては、本実施形態においては、FrameRate=30fpsを採用するが、これ以外のフレームレート、例えば、60fps、120fps等であってもよい。
レンズステップ駆動動作は、フォーカスレンズを一定量移動させると、その位置で停止し、画像を撮影する。撮影後、フォーカスレンズを一定量移動させて画像を撮影する。この動作を繰り返し行いながら、フォーカスレンズの移動と撮影を行う。本実施形態においては、1ステップの像面移動量LDstep=Kstep・Fδ[μm]である。像面移動量LDstepは、モータパルス量に変換されて、フォーカスレンズを駆動させる。このように、ステップ駆動動作と撮影動作を交互に行い、測定範囲内での撮影を行う。
レンズステップ駆動動作の駆動量は下記のようにして決める。すなわち、測定範囲を±30Fδ[μm]と設定すると、測定範囲に対応するレンズ総ステップ数Nは、N=60/Kstep[step]となる。Kstep=2で駆動すると、合焦点を挟んで±15[step]が駆動ステップ数となる。
高輝度評価値の対称性を検出するためのデータ処理窓幅(片側)wは、測定範囲を±30Fδとすると、±Fδの合焦精度を確保するために6〜9Fδ(20〜30%)程度に設定すればよい。この場合、w=N/5〜N/3となり、Kstep=1の場合はN=60であり、wは以下のように設定される。
w=12〜20[step](Kstep=1)
また、Kstep=2の場合はN=30であり、wは以下のように設定される。
w=6〜10[step](Kstep=2)
フォーカスレンズの移動範囲は、AF評価領域AFVA内で複数の高輝度評価値の最大値と最小値の比率に基づいて、および/または対称性算出手段で算出した対称性の最大値と最小値の比率に基づいて、複数の画像データを取得するフォーカスレンズの移動範囲を設定する移動範囲設定手段を設けるようにしてもよい。BCPU60が、移動範囲設定手段としての機能を果たせばよい。例えば、対称性処理中に対称性の値の最大値と最小値を常に記録、更新する。極値である最小値が更新されなくなり、現在の値が増加し始め、さらに最大値と最小値の差分に所定の比率をかけた値を超えたら検出を完了するなどとしてもよい。また、BCPU60は、設定された移動範囲に基づいてフォーカスレンズの移動と画像データの取得を制御する制御手段としての機能を果たす。
このような移動範囲設定手段を設けて設定された移動範囲内でフォーカスレンズの移動と画像データの取得を行うことにより、不用な範囲までの走査時間を減らすことができ、焦点調整までの制御時間をより高速化することができる。
次に、図5を用いて、高輝度評価値と対称性評価値の算出について説明する。前述したように、フォーカスレンズを移動させ、撮影を行うことにより、フォーカスレンズ位置に応じた点光源画像101の画像データを取得できる。この点光源画像101の画像データを輝度画像103の画像データに変換し、この画像データに基づいて、フォーカスレンズ位置毎に高輝度評価値105を算出する。
高輝度評価値としては、本実施形態においては、次の7種類、即ち、最大輝度値Ymax、高輝度画素数Ycnt[0]、高輝度積算値Ysum[0]、高輝度平均値Yavr[0]、高輝度画素数Ycnt[1]、高輝度積算値Ysum[1]、高輝度平均値Yavr[1]を算出する。
最大輝度値Ymaxは、図3を用いて説明したように、AF評価領域AFVA内において最も明るい点光源の輝度である。すなわち、高輝度評価値は、評価領域内の最大の輝度を示す輝度値である。高輝度画素数Ycnt[0]は、AF評価領域AFVA内において、判定値Th0を超えた画素の数である。すなわち、高輝度評価値は、評価領域内で所定の輝度値を越える画素の数である。
高輝度積算値Ysum[0]は、AF評価領域AFVA内において、判定値Th0を超えた画素について、各画素の画素値の積算値である。すなわち、高輝度評価値は、評価領域内で所定の輝度値を越える画素の輝度値の積算値がある。高輝度平均値Yavr[0]は、高輝度積算値Ysum[0]を高輝度画素数Ycnt[0]で除算した値である。すなわち、高輝度評価値は、積算値を、上記所定の輝度値を越える画素の数で除算した値である。
同様に、高輝度画素数Ycnt[1]、高輝度積算値Ysum[1]、高輝度平均値Yavr[1]は、判定値をTh0からTh1に変更して算出した値である。Th1はTh0より高めの設定値とする。なお、高輝度評価値を算出する場合には、レンズ鏡筒12内のメモリ31から取得した歪曲収差データ等のレンズ特性情報を用いて、AF評価領域AFVAの位置、形状、大きさ等を適宜補正してもよい。
対称性評価値107は、フォーカスレンズ位置毎の高輝度評価値105が窓の幅分(2w+1)揃うと処理ができ、図4を用いて説明した対称性マッチング処理を施すことにより算出する。対称性評価値107としては、次の7種類、すなわち、最大輝度値Ymax_Sym、高輝度画素数Ycnt_Sym[0]、高輝度積算値Ysum_Sym[0]、高輝度平均値Yavr_Sym[0]、高輝度画素数Ycnt_Sym[1]、高輝度積算値Ysum_Sym[1]、高輝度平均値Yavr_Sym[1]がある。対称性評価値107としての最大輝度値Ymax_Symは、図4で説明したようにして算出する。他の対称性評価値も、同様に前述の式(1)〜(3)のいずれかに基づいて算出することができる。
次に、図6および図7を用いて、高輝度評価値と対称性評価値の例を示す。図6は、図4(b)に示すような最大輝度値Ymaxを示すような星空の被写体の画像に基づいて、判定値Th0を用いて、算出した高輝度評価値と対称性評価値を算出した例を示す。すなわち、図6(a)は、フォーカスレンズ位置に応じた、高輝度画素数Ycnt[0]と高輝度画素数Ycnt_Sym[0]を示す。また、図6(b)は、フォーカスレンズ位置に応じた、高輝度積算値Ysum[0]と高輝度積算値Ysum_Sym[0]を示す。図6(c)は、フォーカスレンズ位置に応じた、高輝度平均値Yavr[0]と高輝度平均値Yavr_Sym[0]を示す。
図7は、図4(b)に示すような最大輝度値Ymaxを示すような星空の被写体の画像に基づいて、判定値Th1を用いて、算出した高輝度評価値と対称性評価値を算出した例を示す。すなわち、図7(a)は、フォーカスレンズ位置に応じた、高輝度画素数Ycnt[1]と高輝度画素数Ycnt_Sym[1]を示す。また、図7(b)は、フォーカスレンズ位置に応じた、高輝度積算値Ysum[1]と高輝度積算値Ysum_Sym[1]を示す。図7(c)は、フォーカスレンズ位置に応じた、高輝度平均値Yavr[1]と高輝度平均値Yavr_Sym[1]を示す。
図4(b)、図6および図7から分かるように、それぞれの対称評価値の極値は合焦位置と一致する。そこで、7種類の高輝度評価値(最大輝度値、高輝度画素数、高輝度積算値、高輝度平均値)のいずれかに基づいて、対称評価値を算出し、この対称評価値が極値となるフォーカスレンズ位置を合焦位置として求めることができる。本実施形態においては、7種類の対称評価値を算出しているが、いずれか1つでも十分であり、検証用に2つ以上の対称評価値を算出し、極値の信頼性について判断してもよい。
次に、図8を用いて、最大輝度値がフォーカスレンズの初期位置において不飽和であるが、スキャン移動中に飽和してしまう場合の合焦位置の検出について説明する。図3に示したYmax_3、Ymax_4のように、フォーカスレンズの初期位置においては、最大輝度値は飽和していないが、フォーカスレンズが合焦位置に近づくにつれて、最大輝度値が飽和してしまう場合がある。フォーカスレンズの初期位置の撮影画像からでは、合焦付近で飽和するか否かの推定は難しい。
本実施形態においては、前述したように高輝度評価値を算出し、この高輝度評価値に基づいて対称性評価値を算出している。図8に、前述のYmax_3、Ymax_4に相当する最大輝度値Ymaxを示し、これに基づいて対称性処理を施した最大輝度値Ymax_Symも示す。図8から分かるように、フォーカスレンズ位置がL1〜L2の間では、最大輝度値が飽和状態となっている。最大輝度値が飽和してしまうと、3点補間等によって、最大輝度値の極値を求めることができない。しかし、本実施形態においては、最大輝度値Ymaxに対称性処理を施した対称性評価値Ymax_symを算出することにより、飽和した部分の影響を軽減した評価値を対称性評価値として算出することができる。この対称性評価値Ymax_symの極値に基づいて、精度よくフォーカスレンズの合焦位置を算出することができる。さらにYmax_symの極値と前後のデータの補間処理により合焦位置をより精度よく求めることができる。
図8に示すような移動中に飽和するか否かは、フォーカスレンズの初期位置において、最大輝度値と判定値を比較しても、正確に判断することはできない。よって、判定値を超えていないならば、図8を用いて説明したような対称性処理を行うことで、多少の飽和状態でも合焦位置を検出することができる(後述する図15のS77、S81、図16のS95、S97等参照)。
次に、図9を用いて、最大輝度値がフォーカスレンズの初期位置において判定値を超えている場合や、既に飽和している場合の合焦位置の検出について説明する。図3に示したYmax_5のように、フォーカスレンズの初期位置において、最大輝度値Ymaxが既に飽和しており、スキャン駆動中も継続して最大輝度値Ymaxが飽和している場合がある。このようなスキャン範囲全域において最大輝度値Ymaxが飽和している状態のときに対称性処理を施しても、対称性評価値Ymax_symはフラットになってしまい、極値を検出することができない。そこで、前述の最大輝度値Ymax以外の高輝度評価値を利用して合焦位置の検出を行う。本実施形態においては、前述した高輝度評価値のうちの高輝度画素数Ycntに着目して合焦位置の検出を行う。
図9において、最大輝度値Ymaxがフォーカスレンズの初期位置において既に飽和しており、スキャン範囲全域においても飽和している状態である。このような状態では、フォーカスレンズ位置に応じて飽和する画素数が変化するので、高輝度画素数Ycntは、緩やかなカーブで凹のカーブを描き、極小値付近が合焦点となる。つまり、ピントがほけた状態では飽和する画素数が多く、合焦に近づくに従い飽和する画素数は減少し、合焦位置では飽和する画素数が最も小さくなる。しかし、手ぶれや天体の明るさに変動があると、高輝度画素数Ycntの極小値と前後のデータ値に大きな変動誤差がのり、補間処理で誤差が生じてしまう。そうすると、合焦点の検出精度が低下するという問題が生ずる。
そこで、図9に示すように、高輝度画素数Ycntに対して対称性処理を施し、高輝度画素数Ycntの対称性を評価し、対称性評価値Ycnt_symを求める。これにより、フォーカスレンズ位置毎の天体の輝度の変化や手ぶれによる高輝度画素数の変動成分を平均化することができるので(ローパスフィルタ効果)、その影響を少なくすることができ、正しく極値を求めることができる。さらに前後のデータの補間処理による誤差も低減され合焦点の検出精度を向上させることができる。
次に、図10および図11を用いて、AF評価領域AFVAに明るさの異なる複数の天体(例えば星)が存在する場合の合焦点検出について説明する。フォーカスレンズが合焦点付近から離れている位置から合焦点に近づくと明るさの異なる星ごとに星像のぼやけ方が変化し、それに応じて輝度も変化する。
図10は、5種類の異なる明るさの点光源(例えば星)について、フォーカスレンズ位置に応じて、それぞれ点光源の特性変化を示す。図10(a)は最大輝度値Ymaxの変化を示し、図10(b)は所定の判定値を超えた高輝度画素数Ycntの変化を示し、図10(c)は所定の判定値を超えた高輝度積算値Ysumを示し、図10(d)は高輝度積算値Ysumを対応する高輝度画素数Ycntで除算した高輝度平均値Yavrを示す。
AF評価領域AFVAの領域内に、明るさの異なる複数の天体が存在する場合には、複数の天体のそれぞれの明るさに応じた図10のような輝度変化を生じ、AF評価領域AFVAのそれぞれの高輝度評価値は、これらの明るさの異なる複数の天体に応じた変化が複合的に重畳した変化となる。このため、最大輝度以外の高輝度評価値の極値が有効であるか否かを判断するのが困難となる。
図11は、明るさの異なる複数の天体が存在するシーンで、フォーカスレンズ位置毎に高輝度画素数Ycntをプロットしたグラフである。図から分かるように、図10(b)の明るい点光源と暗い点光源の特性が合成された形となっている。このため、図10(b)の高輝度画素数Ycntは複数のピーク値を有し、はっきりした極値を有していない。この高輝度画素数Ycntに対して対称性処理を施した対称性評価値Ycnt_symは、合焦位置において極小値を示す特性となる。明るさの異なる複数の天体が存在するシーンにおける高輝度積算値Ysum_sym、高輝度平均値Yavr_symについても、同様に対処性処理を施し対称性評価値を算出することにより合焦位置に対応する極小値を求めることができる。このように、AF評価領域AFVA内に明るさの異なる複数の天体が存在し、高輝度評価値が複雑な特性を示しても、対称性処理を施すことにより、容易にかつ精度よく合焦位置を検出することができる。
このように、高輝度評価値に対して、対称性処理を施して極値を求め、これに基づいてフォーカスレンズの合焦位置を決めている。このため、合焦位置を挟んで凸形や凹型の特性に係わらず、また合焦点位置付近が極大になるか極小になるかに係わらず合焦位置を算定することができる。すなわち、高輝度評価値の特性カーブのオフセットやピークの数や形状(極大・極小など)に係わらず合焦位置に対応する極値の位置を算出することができる。
また、対称性処理で求めた結果は、フォーカスレンズ位置毎の特性データのノイズの影響が平均化され低減されるので、より精度良く合焦位置を算出することができる。高輝度評価値そのものを3点補間処理して合焦点を算出するより、対称性処理で窓幅分の画像データより算出したそれぞれの3点データ(極値と前後の点)を元に、補間して算出した合焦点の方がより多くの画像情報を加味したデータとなる。対称性処理を行うことにより、手ブレや天体の瞬きの影響が低減されるためである。
次に、図12乃至図17に示すフローチャートを用いて、本実施形態におけるカメラの動作について説明する。この動作は、BCPU60がフラッシュROM64に記憶されたプログラムに従ってカメラの各部を制御することにより実行する。また、このフローチャートは、高輝度評価値またはコントラスト値を用いて行う自動焦点調節に関連する動作を主に示している。
図12に示すマウント処理は、カメラの電源釦が操作されると開始する。マウント処理のフローがスタートすると、まず、本体の電源をオンにする(S1)。ここでは、電源回路80によって、カメラ本体11の各部に電源が給電される。
本体電源オンとなると、次に、カメラシステムの初期化を行う(S3)。ここでは、画像処理コントローラ62への電源を供給し、OS(Operating System)を立ち上げ、撮像ユニット54内の撮像素子に電源供給し、前回電源オフ時の状態に回復する等、カメラシステムの初期化を行う。
カメラシステムの初期化を行うと、次に、レンズ鏡筒の電源をオンにする(S5)。ここでは、電源回路80によって、通信コネクタ35を通じて、レンズ鏡筒12内の各部に電源が供給される。
レンズ電源をオンにすると、次に、初期通信を行う(S7)。ここでは、カメラ本体11から送信を行い、レンズ鏡筒12からの返信に基づいて、通信プロトコル確認を行う。
初期通信を行うと、次に、レンズ性能情報の取得のための通信を行う(S9)。ここでは、メモリ31に記憶されているレンズ性能情報、例えば、ズームレンズか単焦点レンズのいずれであるか、焦点距離、絞り値(F値)等の情報を、LCPU30に送信要求し、取得する。
レンズ性能情報を取得すると、次に、レンズ機能情報取得通信を行う(S11)。ここでは、レンズ機能情報、例えば、通信速度、レンズ駆動速度、レンズ手ブレ補正機能の有無等の情報を、LCPU30に送信要求し、取得する。
レンズ機能情報を取得すると、次に、レンズ光学情報取得通信を行う(S13)。ここでは、メモリ31に記憶されているレンズ光学情報、例えば、歪曲収差データ、分光透過率等の情報を、LCPU30に送信要求し、取得する。ステップS9〜S13において取得した各情報は、フラッシュROM64またはSDRAM63に記憶され、高輝度評価値を用いたAF処理またはコントラストAF処理等の種々の処理の際に使用される。
レンズ光学情報を取得すると、次に、撮影情報表示を行う(S17)。ここでは、動作表示部77に、撮影モード、シャッタ速度、絞り値、ISO感度等の撮影情報を表示する。
撮影情報表示を行うと、撮影待機状態となる(S19)。ここでは、レリーズ釦の半押し等がなされるまで、撮影待機状態となる。撮影待機状態では、例えば、撮像素子からの画像データに基づいてライブビューを表示し、また撮影モード等の各種設定を受け付け、また電源釦がオフとなると、電源オフ処理を行う。
次に、図13に示すフローチャートを用いて、撮影シーケンスについて説明する。撮影シーケンスは、撮影待機状態において、レリーズ釦の半押し操作等の操作がなされるとスタートする。
撮影シーケンスのフローがスタートすると、まず、撮影レンズ状態取得通信を行う(S21)。ここでは、絞り22の最新の絞り状態、撮影レンズ21の最新のズーム状態(焦点距離を含む)等、最新のレンズ鏡筒の状態を、LCPU30に送信要求し、取得する。
レンズ状態取得通信を行うと、次に、1RSWがオンか否かを判定する(S23)。レリーズ釦が半押しされると、1RSWがオンとなる。ここでは、1RSWのオンオフ状態に基づいて判定する。この判定の結果、1RSWがオフの場合には、ステップS21に戻り、前述の動作を周期的に繰り返す。
一方、ステップS23における判定の結果、1RSWがオンとなった場合には、高輝度評価値またはコントラスト値に基づくAF動作を行う(S25)。ここでは、コントラストAFまたは高輝度評価値に基づくAF動作を行う。コントラストAFは、撮像素子からの画像データの高周波成分を抽出してコントラスト評価値を生成し、このコントラスト評価値がピークとなるように、フォーカスレンズの位置を調節する。また、高輝度評価値に基づくAF動作は、図2ないし図11を用いて説明したように、高輝度評価値と、この高輝度評価値に対称性処理を施した対称性評価値を用いて、合焦位置を検出する。ピントが正しく検出され、フォーカスレンズが合焦位置に駆動されると、合焦フラグに「1」がセットされる。このAFの詳しい動作については、図14を用いて後述する。
AF動作を行うと、次に、合焦フラグが「1」か「0」のいずれであるかを判定する(S27)。合焦フラグは、デフォルト値は「0」であり、前述したように、フォーカスレンズが合焦位置に駆動されると、合焦フラグとして「1」がセットされる。
ステップS27における判定の結果、合焦フラグが「0」であった場合には、非合焦処理を行う(S41)。非合焦処理としては、例えば、EVF66等に非合焦状態であることを表示する等、撮影者に合焦できないことを告知し、またフォーカスレンズの駆動を停止する。
一方、ステップS27における判定の結果、合焦フラグが「1」であった場合には、1RSWがオフか否かを判定する(S29)。撮影者がレリーズ釦の半押し状態を解除すると、1RSWはオフ状態となる。ステップS29における判定がオフであった場合には、ステップS21に戻り、前述の動作を繰り返す。
ステップS29における判定の結果、1RSWがオフでなかった場合には、レンズ状態取得通信を行う(S31)。ここでは、ステップS21と同様に、最新のレンズ鏡筒の状態を、LCPU30に送信要求し、取得する。
レンズ状態取得通信を行うと、次に、2RSWがオンか否かを判定する(S33)。レリーズ釦が全押しされると、2RSWがオンとなる。ここでは、2RSWのオンオフ状態に基づいて判定する。この判定の結果、2RSWがオフの場合には、ステップS31に戻り、前述の動作を繰り返す。
一方、ステップS33における判定の結果、2RSWがオンの場合には、撮影動作に移る。まず、露光動作を行う(S35)。ここでは、シャッタ52を開放して撮像素子ユニット54の撮像素子面上に被写体像を形成し、露光時間の経過後にシャッタ52が閉鎖状態となり露光を終了する。露光が終了すると、撮像素子から画像データが読み出される。
露光動作が終了すると、次に画像処理を行う(S37)。ここでは、撮像素子から読み出された画像データに対して、画像処理コントローラ62が画像記録用に種々の画像処理を施す。
画像処理を行うと、次にカード記録を行う(S39)。ここでは、ステップS37において画像処理が施された画像データを記憶メディア65に記録する。ステップS39においてカード記録を行うと、またはステップS41において非合焦処理を行うと、撮影シーケンスのフローを終了し、元のフローに戻る。
次に、図14に示すフローチャートを用いて、ステップS25のAF動作の詳しい動作について説明する。
AF動作のフローに入ると、まず、星空AFモードか否かの判定を行う(S51)。星空AFモードは、撮影者がカメラ操作SW78中のメニュー釦やOK釦等を操作することにより星空AFモードを手動設定する。手動設定で星空AFモードに設定された場合、交換レンズ毎の個体別情報としてメモリ31に記録されている光学無限位置情報をもとにフォーカスレンズ位置を移動してもよい。また、撮像素子からの画像データを解析し、背景輝度のレベルや星等の天体が写っているかどうかなどを判定し、自動的に星空AFモードを設定するようにしてもよい。また、星空AFモードで合焦できなかった場合に、フォーカスレンズを光学無限位置に移動させてもよい。
ステップS51における判定の結果、星空AFモードでない場合には、通常AFを行う(S61)。ここでは、コントラストAF等によって、撮像素子からの画像データのコントラスト値を検出し、このコントラスト値がピークとなる位置にフォーカスレンズの位置を移動させる。なお、通常AF動作としては、コントラストAF以外にも、例えば、位相差AF等、他のAF動作を用いてもよい。
一方、ステップS51における判定の結果、星空AFモードの場合には、ステップS53以下において、図2乃至図11を用いて説明した高輝度評価値および対称性評価値を用いて、AF動作を実行する。まず、星空撮影用に露光条件の設定を行う(S53)。ここでは、星空撮影に適した露光条件、例えば、絞りを開放側の値とし、またシャッタ速度を長秒時シャッタ速度とし、ISO感度も高感度側に設定する。
続いて、初期画像処理を行う(S55)。ここでは、フォーカスレンズを制御無限位置に移動させ、平均輝度を求めて平均輝度値が所定の値以上か否かを判定する。平均輝度が所定の値以上の場合、つまり、背景輝度が高すぎて、明る過ぎるシーンの場合、合焦フラグを「0」のまま、AF動作を終了する(不図示)。この初期画像処理の詳しい動作については、図15を用いて後述する。
初期画像処理を行うと、次に、AF画像処理を行う(S57)。ここでは、スキャン駆動等によって画像データを取得し、この取得した画像データを輝度画像データに変換し、さらに高輝度評価値と対称性評価値を算出する。このAF画像処理の詳しい動作については、図16を用いて後述する。
AF画像処理を行うと、次に合焦処理を行う(S59)。ここでは、AF画像処理によって算出した対称評価値を用いて合焦位置を算出し、この算出した合焦位置にフォーカスレンズを移動させ、合焦フラグを「1」とする。しかし、ここで合焦位置が検出できなかった場合、交換レンズの個体情報の光学無限位置にフォーカスレンズを移動させ、合焦フラグを「0」とする。合焦処理の詳しい動作については、図17を用いて後述する。
ステップS59において合焦処理を行うか、またはステップS61において通常AFを行うと、AF動作のフローを終了して、元のフローに戻る。
次に、図15に示すフローチャートを用いて、ステップS55の初期画像処理の詳しい動作について説明する。
初期画像処理のフローに入ると、まず、初期位置移動を行う(S71)。ここでは、フォーカスレンズを初期位置として制御無限位置に移動させる。撮影レンズ21の光学的な無限位置(光学無限位置)は、個々のレンズ鏡筒によって微妙に異なる。そのため、交換レンズの個体別情報としてメモリ31には光学無限位置情報も記録されているが、カメラの撮影方向によるレンズの重力負荷の変化や、環境温度の変化などにより微妙に変動することがある。よって、想定される光学無限位置よりもさらに無限側の位置を被写界深度Fδと測定ステップ数をもとに初期位置として算出し、その位置に移動させる。このとき初期位置が制御無限位置よりさらに無限側になる場合、制御無限位置を初期位置としている。ここでは、BCPU60は、LCPU30を介してレンズ駆動回路25によってフォーカスレンズを初期位置まで移動させる。
初期位置移動を開始すると、フォーカスレンズが停止したか否かを判定する(S73)。ここでは、フォーカスレンズが初期位置か制御無限位置に到達し、停止したか否かを判定する。フォーカスレンズが停止していない場合には、初期位置に到達し停止するのをまつ。
ステップS73における判定の結果、フォーカスレンズが停止すると、次に、平均輝度を算出する(S75)。ここでは、撮像素子ユニット54中の撮像素子からの画像データに基づいて、AF評価領域AFVAにおける平均輝度を算出する。平均輝度値はAF評価領域AFVAの背景を含めた全体の明るさ(単位画素あたりの積算輝度値)を求めている。この値が所定の明るさ以上の場合(S76Yes)、背景輝度が高い、明るいシーンと判定し、AF動作を中止する。この場合、合焦フラグを0に設定して(S82)、リターンし、AF動作の処理もリターンしてステップS41にて非合焦処理を行う。また平均輝度値が所定の明るさ以下の場合は(S76No)、その値に所定の値を加算するか、または係数を乗算した値を算定し、背景輝度値より僅かに高い値として判定値Th0に設定する。
平均輝度を算出し、ステップS76における判定の結果が、Noであった場合には、次に、高輝度画素判定を行う(S77)。ここでは、図3を用いて説明した飽和判定値よりも最大輝度値が高いか否かを判定する。なお、この判定は、最大輝度値以外にも、例えば、初期位置における高輝度画素数Ycntや高輝度積算値Ysum等と、所定の判定値とに基づいて行ってもよい。例えば、高い側の設定値Th1による高輝度画素数Ycnt[1]や高輝度積算値Ysum[1]の高輝度評価値が所定値以上などとして判定する。
ステップS77における高輝度画素による判定の結果、最大輝度値が判定値以上の場合には、フラグSATflag=ONとする(S81)。すなわち、初期位置で最大輝度値が既に飽和しているか、あるいは合焦付近で飽和すると予測し、フラグSATflagをセットする。一方、高輝度画素が飽和しないと予測した場合には、フラグSATflag=OFFとする(S79)。すなわち、合焦位置付近でも最大輝度値が飽和することがないと予測して、フラグSATflagをリセットする。
ステップS79またはS81においてフラグSATflagのセット又はリセットを行うと、初期画像処理のフローを終了し、元のフローに戻る。
次に、図16に示すフローチャートを用いて、ステップS55(図14)のAF画像処理の詳しい動作について説明する。
AF画像処理のフローに入ると、まず、スキャン駆動を開始する(S91)。ここでは、前述したレンズスキャン速度LDspeedで、制御無限位置から至近側に向けてフォーカスレンズを移動させる。また、このとき目標位置も設定し、この位置までフォーカスレンズを移動させる。目標位置としては、前述したように、例えば、測定する範囲を合焦位置の前後±30Fδ[μm]程度の範囲を測距できる程度の位置とする。
次に、輝度画像を取得する(S93)。ここでは、フォーカスレンズを移動させた状態で撮像素子により被写体像を露光し、1フレーム(30fps)分の露光時間が経過すると、撮像素子から画像データを取得する。画像データはRAWデータであるので、このRAWデータを輝度画像データに変換する。
輝度画像取得を行うと、次に、評価データに変換する(S95)。ここでは、ステップS93において取得した輝度画像データに基づいて、高輝度評価値を算出する。高輝度評価値としては、前述したように、本実施形態では、最大輝度値Ymax、高輝度画素数Ycnt[0]、高輝度積算値Ysum[0]、高輝度平均値Yavr[0]、高輝度画素数Ycnt[1]、高輝度積算値Ysum[1]、高輝度平均値Yavr[1]の7種類がある。しかし、これら全部を算出する必要がなく、少なくとも1つを算出すればよい。
なお、高輝度評価の算出を行うにあたって、初期画像処理で飽和状態と判定された場合には(この場合には、SATflag=ON)、AF評価領域AFVA内の最大輝度値Ymaxを用いた対称性評価を行わず高輝度画素数Ycntを用いて対称性評価を行う(図9)。一方、初期画像処理で非飽和状態と判定された場合には(この場合には、SATflag=OFF)、AF評価領域AFVA内の最大輝度値Ymaxを用いて対称性評価を行う。また、他の高輝度評価値を用いて対称性評価を行ってもよい。
評価データ変換を行うと、次に、対称性評価を行う(S97)。ここでは、ステップS95で求めた評価データに基づいて対称性評価を行う。対称性評価としては、前述したように本実施形態では、最大輝度値Ymax_Sym、高輝度画素数Ycnt_Sym[0]、高輝度積算値Ysum_Sym[0]、高輝度平均値Yavr_Sym[0]、高輝度画素数Ycnt_Sym[1]、高輝度積算値Ysum_Sym[1]、高輝度平均値Yavr_Sym[1]の7種類がある。しかし、これら全部を算出する必要がなく、前記の評価データ変換処理により算出した高輝度評価値から対称性評価値を算出すればよい。また対称性を評価するには前述で説明した窓幅(2w+1)分の画像データが必要なため、そのデータ数が揃うまでのこの処理(S97)は何もせず、通過する。
対称性評価を行うと、次に、レンズ停止位置か否かを判定する(S99)。ここでは、ステップS91において設定した目標位置に到達したか否かを判定する。あるいは現在のフォーカスレンズ位置と前回のフォーカスレンズ位置の変位が設定値以下の場合、停止と判定する。
ステップS99における判定の結果、レンズ停止位置でない場合には、次に、対称性検出完了か否かを判定する(S101)。ステップS97において対称性評価を行っているが、対称性評価は、極値を検出できればよく、ステップS91において設定した目標位置に到達する前に信頼性の高い極値を検出することができれば、その時点で対称性評価の算出を完了してもよい。例えば、対称性評価中に対称性の値の最大値と最小値を常に記録、更新する。極値である最小値が更新されなくなり、現在の値が増加し始め、さらに最大値と最小値の差分に所定の比率をかけた値を超えたら検出を完了するなどとしてもよい。このステップS101の判定の結果、対称性検出が完了していなければ、ステップS93に戻って前述の処理を行う。
一方、ステップS99における判定の結果、レンズ停止と判定されていれば、またはステップS101における判定の結果、対称性検出が完了した場合には、次に、スキャン駆動中か否かを判定する(S103)。この判定の結果、スキャン駆動中であれば、スキャン駆動を停止する(S105)。ここでは、BCPU60は、LCPU30を介してレンズ駆動回路25によってフォーカスレンズの駆動を停止させる。
ステップS105においてスキャン駆動を停止すると、またはステップS103における判定の結果、スキャン駆動中でない場合には、AF画像処理のフローを終了し、元のフローに戻る。
なお、AF画像処理のフローにおいては、スキャン駆動を行いながら、輝度画像を取得していた。しかし、これに限らず、前述したレンズステップ駆動動作を行いながら、輝度画像を取得するようにしてもよい。この場合には、レンズステップ駆動を行い、フォーカスレンズを停止した位置で輝度画像を取得する。
次に、図17に示すフローチャートを用いて、ステップS59(図14)の合焦処理の詳しい動作について説明する。
合焦処理のフローに入ると、まず、合焦範囲を算出する(S111)。合焦範囲は、合焦を許容する範囲を示し、算出された合焦点が合焦範囲外の場合は無効とするように用いられる。合焦範囲は、複数の対称性評価値を使う場合に、基準となる高輝度評価値や対称性評価値に基づき合焦範囲を求め、この合焦範囲を使用して他の対称性評価値の合焦位置範囲を限定するときに有効な処理となる。対称性評価の処理において、フォーカスレンズ位置に対応する撮影された画像データiの中で、対称性を算定する範囲はi=wからi=t_no−w−1までとなっている(wは対称性を算出する片側の計算幅、t_noは撮影画像数)。そして、高輝度評価値の最大輝度値Ymaxから対称性評価値Ymax_symを算出する場合、それぞれの撮影画像位置(フォーカスレンズ位置)の高輝度評価値の最大値と最小値の差分の所定の比率(1より小さい)の値を算定する。たとえば、最大輝度値Ymaxの最大値を基準にしてこの算定値分の範囲を超える最大輝度値Ymaxの範囲を除いて合焦範囲とする。この場合、無限遠側のwから至近側のt_no−w−1の範囲より狭い範囲が合焦範囲として求められる。また、最大輝度値Ymaxの対称性評価値Ymax_symの場合は、同様に算定値を算出し、対称性評価値Ymax_symの最小値を基準として算定値分の範囲より小さくなる範囲を同様に求め、この範囲を合焦範囲と設定する。また、これらの複数の合焦範囲の中でより中心側にある合焦範囲を最終的な合焦範囲としてもよい。
その他の最大輝度値Ymax以外の高輝度評価値の対称性評価値でも、同様の処理で合焦範囲を限定することができる。それぞれの対称性評価値の最大値と最小値の差分の所定の比率の値を算定し、無限遠側のwから至近側のt_no−w−1の範囲に対して、この算定値より小さくなる範囲を同様に求める。これらの中でより中心側にある範囲を合焦範囲とする。また設定値Th0<Th1であるので、Th1の評価値のほうがより合焦範囲が狭く限定することができる。それぞれのデータで最大値と最小値の差分が0の場合、その評価データは使用しない。
合焦範囲を算出すると、次に、合焦位置を算出する(S113)。ここでは、ステップS97において算出した対称性評価の極値に対応する位置がステップS111で算定された合焦範囲に入っているかを検証する。合焦範囲にある極値であれば、ここを合焦画像位置Fc_idとする。高輝度評価値が最大輝度値Ymaxの場合、最大輝度値の対称性評価値Ymax_Symの極値位置を合焦画像位置Fc_idとして、この位置の対称度(対称性評価値)とこの前後のステップ位置の3点の対称度データ(対称性評価値)を使い、補間処理により、より高精度なピーク位置である補間画像位置Fc_ipを算定する。次に求められた補間画像位置Fc_ipの前後の撮影画像に対応したフォーカスレンズのパルス位置を求め、この補間画像位置Fc_ipをもとにフォーカスレンズのパルス位置を補間し、その位置をフォーカスレンズの合焦位置Fc_posとして算出する。フォーカスレンズの位置に対応するパルス位置は、各輝度画像取得時にパルス位置情報として同時に記録されている(図16のS93)。
高輝度評価値が最大輝度値以外の場合、例えば高輝度画素数Ycntと高輝度画素数の対称性評価値Ycnt_Symをもとに前記同様求めることができる。対称性データの極値の位置を合焦範囲にあるか検証し、範囲内であれば、上記同様の極値の輝度値データとその前後の輝度値を用い補間処理により合焦パルス位置Fc_posを算出することが可能である。
補間処理はガウス関数補間やラグランジェ補間などを使用すればよい。またフォーカスレンズの合焦パルス位置Fc_posは補間処理された補間画像位置Fc_ipをもとに算出しているが、補間処理でピーク位置の補間画像位置Fc_ipを算定する際に画像位置番号ではなくフォーカスレンズの位置であるパルス位置を代入することで、直接、合焦パルス位置Fc_posを算出することも可能である。
前記、高輝度評価値が最大輝度値の場合で、最大輝度値の対称性Ymax_Symが合焦範囲にない場合や合焦画像位置が見つからない場合、最大輝度値Ymaxの極値(最大値)の位置が合焦範囲にあるか検証し、範囲内であれば、上記同様の極値の輝度値データとその前後の輝度値を用い補間処理により合焦パルス位置Fc_posを算出することが可能である。
その他の高輝度評価値の対称性データとして、高輝度画素数Ycnt_sym[0]、高輝度積算値Ysum_sym[0]、高輝度平均値Yavr_sym[0]、高輝度画素数Ycnt_sym[1]、高輝度積算値Ysum_sym[1]、高輝度平均値Yavr_sym[1]など6種類算出することが可能であり、この中から合焦範囲内にあるもので優先順位をつけて選択して、合焦パルス位置を算出することも可能である。
また、高輝度評価値の対称性データによるすべての合焦画像位置Fc_idと補間画像位置Fc_ip、合焦パルス位置Fc_posを求めてから、それらの合焦画像位置Fc_idの最頻値を求め、最頻値と一致する高輝度評価値の対称性評価値の補間画像位置Fc_ipあるいは合焦パルス位置Fc_posを平均化して、最終的な合焦パルス位置Fc_posを算出することも可能である。
合焦パルス位置Fc_posを算出すると、次に、合焦パルス位置Fc_posに移動する(S115)。ここでは、ステップS115において算出した合焦パルス位置Fc_posにフォーカスレンズを移動させる。すなわち、BCPU60は、LCPU30を介してレンズ駆動回路25によってフォーカスレンズを合焦パルス位置Fc_posまで移動させる。
合焦パルス位置移動を開始すると、次に、レンズ停止か否かを判定する(S117)。合焦パルス位置Fc_posに到達すると、レンズ駆動回路25によるフォーカスレンズの駆動を停止させる。このステップでは、レンズ駆動回路25によるレンズ駆動が停止したか否かを判定する。この判定の結果、停止していない場合には、停止位置に到達するのを待つ。一方、レンズが停止した場合には、合焦処理のフローを終了し、元のフローに戻る。
本実施形態において説明した焦点検出は、AF評価領域の画像の輝度値が低照度状態の時や、「星空モード」や「夜景モード」などが設定されているとき実施される。対象となるほぼ無限遠に近い焦点位置の点光源に対して合焦させるため、フォーカスレンズを設計上の光学無限位置から更に遠方側の制御無限位置まで駆動させる、ここで初期画像を撮影し、評価領域の輝度画像から高輝度評価値を算出する。ここで、算出する高輝度評価値としては、評価領域内の輝度値の最大値(最大輝度値)、所定値以上の高輝度画素の数(高輝度画素数)、高輝度積算値などがある。また、この初期位置では評価領域全体の平均輝度値(単位画素あたりの積算輝度値)より背景輝度を算出して、背景輝度が高い場合は処理を中止する(図15のS75)。
暗い低等級の星から明るい高等級の星や天体のある星空まで、1回のAFスキャン処理で、画像の飽和・非飽和に係わらず、輝度データを取得しながら、点光源の高輝度評価値の対称性を検出することで、合焦点位置を高速に精度よく見つけることができる。
以上説明したように、本発明の一実施形態においては、画像データに基づいて所定の評価領域内の画素の輝度値を検出し(例えば、図16のS93)、この輝度値に基づいて高輝度評価値を算出し(例えば、図16のS95)、フォーカスレンズの移動に対する高輝度評価値の対称性を算出し(例えば、図16のS97)、対称性に基づいて算出される極値に基づいて焦点調節を行っている(例えば、図17のS115参照)。このため、高輝度評価値が飽和してしまうか否かに関わらず、また複数の星が存在するような撮影シーンであっても好適に合焦することができる。
また、上述した(1)の課題については、本実施形態においては、対称性評価を用いて極値を検出していることから、輝度が飽和した場合であっても、合焦位置を精度よく検出することができる。また、(2)の課題については、本実施形態においては、対称性評価を用いて極値を検出していることから、最大輝度値や高輝度画素数が揺らいだとしても、合焦位置を精度よく検出することができる。また、輝度の異なる複数の星等がある場合であっても対称性評価を用いていることにより、極値がきれいな特性で出現し、合焦位置を精度よく検出することができる。
なお、本発明の一実施形態においては、星空の天体に対して焦点調節する場合について説明したが、焦点調節の対象は、星空の天体に限らず、夜景の中で遠方にある点光源のような被写体等、種々の状況で使用することができる。
また、本発明の一実施形態では、初期位置に移動後の輝度値に基づいて、飽和状態となるか否かについて予測を行い。飽和判定結果により処理する高輝度評価値を切り替えて、最低限必要なデータを処理し、計算負荷を低減している。しかし、このような処理データを限定することに限らず。上述した7つの高輝度評価値とそれから算定した対称性評価値処理を常に実施し、最後に不要な処理結果を除去し、有意なデータのみを利用して合焦位置を検出することも可能である。
また、本発明の一実施形態においては、高輝度画素数等の算出にあたって判定値としてTh0、Th1の2種類の例について説明したが、判定値は3以上設けて判定するようにしても勿論かまわない。例えば、Th0<Th1<Th2とした場合、初期画像の平均輝度値より算出した判定値Th0は、低等級の暗い星を検出するのに有効な設定となるように、背景画像より少し高めの値に設定する。またTh2は高等級の明るい星や天体を検出するために約512(信号輝度最大値=1023の場合)と固定値を設定しておく。また判定値Th1はその中間の天体を検出するように、Th0とTh2の中間値としてもよい。このような処理により、輝度信号のレベルが小さな撮影シーンからから大きなシーンまで信号を取りこぼす確立が減少し、複数の高輝度評価値と対称性の処理結果の中から信頼性の高いデータを選別することにより、合焦点の検出精度を高めることが出来る。
また、AF画像処理(S57)の中の対称性検出において(S101)、スキャン撮影中に対称性の極値を検出し、途中での検出完了処理(S101)を行っているが、この限りではなく、予め想定した走査範囲の撮影(S93)と対称性の算出(S97)を最後まで実行し、その後に走査範囲の全画像から合焦範囲算出(S111)と、合焦位置の算出(S113)を実行してもかまわない。
また、本発明の一実施形態においては、静止画の撮影時に適用する場合について説明したが(例えば、図13のS33参照)。しかし、これに限らず、動画撮影時にも適用することができる。また、対称性評価の極値は、極小値となる例について説明したが、極大値となるような対称性評価であっても勿論かまわない。
また、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもミラーレスカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォン、携帯情報端末、パーソナルコンピュータ(PC)、タブレット型コンピュータ、ゲーム機器等に内蔵されるカメラ、医療用カメラ、顕微鏡等の科学機器用のカメラ、天体望遠鏡に取り付けられるカメラ、自動車搭載用カメラ、監視用カメラでも構わない。いずれにしても、無限遠等、遠方にある被写体の焦点調節を行う機器であれば、本発明を適用することができる。
また、本明細書において説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
11・・・カメラ本体、12・・・レンズ鏡筒、21・・・撮影レンズ、22・・・絞り、23・・・レンズ枠、24・・・レンズ駆動機構、25・・・レンズ駆動回路、27・・・絞り駆動機構、30・・・レンズ制御用マイクロコンピュータ(LCPU)、31・・・メモリ、35・・・通信コネクタ、52・・・シャッタ、53・・・光学ローパスフィルタ(OLPF)、54・・・撮像素子ユニット、56・・・シャッタ制御回路、57・・・シャッタチャージ機構、60・・・本体制御用マイクロコンピュータ(BCPU)、61・・・撮像素子インターフェース回路、62・・・画像処理コントローラ、63・・・SDRAM、64・・・フラッシュROM、65・・・記憶メディア、66・・・電子ビューファインダ(EVF)、71・・・ストロボ制御回路、72・・・ストロボ、75・・・手ブレ補正ユニット、77・・・動作表示用LCD、78・・・カメラ操作SW、80・・・電源回路

Claims (10)

  1. ひとつあるいは複数の点光源に合焦させるために、フォーカスレンズを光軸方向に移動させながら複数の画像データを取得し、上記画像データに基づいて焦点調節を行う撮像装置において、
    上記画像データに基づいて所定の評価領域内の画素の輝度値を検出する輝度値検出手段と、
    上記輝度値に基づいて高輝度評価値を算出する評価値算出手段と、
    上記フォーカスレンズの移動に対する上記高輝度評価値の対称性を算出する対称性算出手段と、
    上記対称性に基づいて算出される極値に基づいて焦点調節を行う制御手段と、
    を具備することを特徴とする撮像装置。
  2. 上記高輝度評価値は、上記評価領域内の最大の輝度を示す輝度値であることを特徴とする請求項1に記載の撮像装置。
  3. 上記高輝度評価値は、上記評価領域内で所定の輝度値を越える画素の数であることを特徴とする請求項1に記載の撮像装置。
  4. 上記高輝度評価値は、上記評価領域内で所定の輝度値を越える画素の輝度値の積算値であることを特徴とする請求項1に記載の撮像装置。
  5. 上記高輝度評価値は、上記積算値を、上記所定の輝度値を越える画素の数で除算した値であることを特徴とする請求項4に記載の撮像装置。
  6. 上記評価領域内で複数の上記高輝度評価値の最大値と最小値の比率に基づいて、および/または対称性算出手段で算出した対称性の最大値と最小値の比率に基づいて、複数の画像データを取得する上記フォーカスレンズの移動範囲を設定する移動範囲設定手段を有し、
    上記制御部は、上記設定された移動範囲に基づいて上記フォーカスレンズの移動と画像データの取得を制御することを特徴とする請求項1乃至5のいずれか一項に記載の撮像装置。
  7. 上記輝度値に基づいて飽和状態を判定する飽和状態判定手段を有し、
    上記対称性算出手段は、
    非飽和状態と判定された場合は、上記高輝度評価値を上記評価領域内の最大の輝度を示す輝度値とし、
    飽和状態と判定された場合は、上記高輝度評価値を上記評価領域内で所定の輝度値を越える画素の数とすることを特徴とする請求項1に記載の撮像装置。
  8. 上記飽和状態判定手段は、上記評価領域内の最大の輝度を示す輝度値を所定値と比較して判定することを特徴とする請求項7に記載の撮像装置。
  9. 上記飽和状態判定手段は、上記評価領域内で所定の輝度値を越える画素の数に基づいて判定することを特徴とする請求項7に記載の撮像装置。
  10. ひとつあるいは複数の点光源に合焦させるために、フォーカスレンズを光軸方向に移動させながら複数の画像データを取得し、上記画像データに基づいて焦点調節を行う撮像装置の焦点調節方法において、
    上記画像データに基づいて所定の評価領域内の画素の輝度値を検出し、
    上記輝度値に基づいて高輝度評価値を算出し、
    上記フォーカスレンズの移動に対する上記高輝度評価値の対称性を算出し、
    上記対称性に基づいて算出される極値に基づいて焦点調節を行う、
    ことを特徴とする焦点調節方法。
JP2016211774A 2016-10-28 2016-10-28 撮像装置および焦点調節方法 Active JP6936930B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016211774A JP6936930B2 (ja) 2016-10-28 2016-10-28 撮像装置および焦点調節方法
CN201711001518.7A CN108024053A (zh) 2016-10-28 2017-10-24 摄像装置、焦点调节方法和记录介质
US15/793,944 US10302901B2 (en) 2016-10-28 2017-10-25 Imaging apparatus and focus adjustment method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016211774A JP6936930B2 (ja) 2016-10-28 2016-10-28 撮像装置および焦点調節方法

Publications (2)

Publication Number Publication Date
JP2018072554A true JP2018072554A (ja) 2018-05-10
JP6936930B2 JP6936930B2 (ja) 2021-09-22

Family

ID=62021322

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016211774A Active JP6936930B2 (ja) 2016-10-28 2016-10-28 撮像装置および焦点調節方法

Country Status (3)

Country Link
US (1) US10302901B2 (ja)
JP (1) JP6936930B2 (ja)
CN (1) CN108024053A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020113219A (ja) * 2019-01-17 2020-07-27 オリンパス株式会社 撮像装置、画像合成方法、及び画像合成プログラム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180036463A (ko) * 2016-09-30 2018-04-09 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자 장치
JP2019004281A (ja) * 2017-06-14 2019-01-10 オリンパス株式会社 画像処理装置
JP7043255B2 (ja) 2017-12-28 2022-03-29 キヤノン株式会社 電子機器及びその制御方法
JP2019121857A (ja) * 2017-12-28 2019-07-22 キヤノン株式会社 電子機器及びその制御方法
CN112291469A (zh) * 2018-07-23 2021-01-29 深圳市真迈生物科技有限公司 成像方法、装置及系统
JP7271188B2 (ja) * 2019-01-10 2023-05-11 キヤノン株式会社 制御装置、撮像装置、制御方法、および、プログラム
CN112532889B (zh) * 2019-09-19 2022-05-06 杭州海康威视数字技术股份有限公司 图像采集设备的光圈值确定方法及装置
CN112689082B (zh) * 2019-10-17 2022-05-17 电装波动株式会社 具备事件相机的摄像装置
CN112946855A (zh) * 2019-12-11 2021-06-11 余姚舜宇智能光学技术有限公司 自动对焦方法和系统
TWI781490B (zh) * 2020-02-27 2022-10-21 日商斯庫林集團股份有限公司 對焦位置檢測方法、對焦位置檢測裝置、記錄媒體及對焦位置檢測用程式
CN112911153B (zh) * 2021-02-01 2023-03-24 浙江大华技术股份有限公司 一种聚焦处理方法及装置
FR3139393A1 (fr) 2022-09-01 2024-03-08 Unistellar Procédé de mise au point automatique dans un télescope

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005055746A (ja) * 2003-08-06 2005-03-03 Minolta Co Ltd 撮像装置、合焦制御方法、およびプログラム
JP4692273B2 (ja) * 2005-12-26 2011-06-01 株式会社ニコン 焦点検出装置およびカメラ
US20110157425A1 (en) * 2009-12-25 2011-06-30 Canon Kabushiki Kaisha Video processing apparatus and video processing method
US20140300802A1 (en) * 2013-04-05 2014-10-09 Canon Kabushiki Kaisha Imaging apparatus and imaging method
US20150163395A1 (en) * 2013-12-05 2015-06-11 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
JP2015127721A (ja) * 2013-11-26 2015-07-09 株式会社ニコン 焦点検出装置および撮像装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003215440A (ja) * 2002-01-24 2003-07-30 Casio Comput Co Ltd オートフォーカス方法、及びオートフォーカス装置
JP2004309739A (ja) * 2003-04-07 2004-11-04 Canon Inc 焦点検出装置
JP4595390B2 (ja) 2004-06-02 2010-12-08 株式会社ニコン カメラ
JP5358039B1 (ja) * 2011-11-30 2013-12-04 パナソニック株式会社 撮像装置
JP5883654B2 (ja) * 2012-01-06 2016-03-15 株式会社 日立産業制御ソリューションズ 画像信号処理装置
JP5947602B2 (ja) * 2012-04-11 2016-07-06 キヤノン株式会社 撮像装置
CN102967983A (zh) * 2012-11-07 2013-03-13 苏州科达科技股份有限公司 相机自动对焦方法
JP6398250B2 (ja) 2014-03-26 2018-10-03 リコーイメージング株式会社 焦点検出装置
JP2017003832A (ja) * 2015-06-12 2017-01-05 キヤノン株式会社 自動焦点調節装置および光学機器

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005055746A (ja) * 2003-08-06 2005-03-03 Minolta Co Ltd 撮像装置、合焦制御方法、およびプログラム
JP4692273B2 (ja) * 2005-12-26 2011-06-01 株式会社ニコン 焦点検出装置およびカメラ
US20110157425A1 (en) * 2009-12-25 2011-06-30 Canon Kabushiki Kaisha Video processing apparatus and video processing method
JP2011139171A (ja) * 2009-12-25 2011-07-14 Canon Inc 映像処理装置及び映像処理方法
US20140300802A1 (en) * 2013-04-05 2014-10-09 Canon Kabushiki Kaisha Imaging apparatus and imaging method
JP2014202961A (ja) * 2013-04-05 2014-10-27 キヤノン株式会社 撮像装置及び撮像方法
JP2015127721A (ja) * 2013-11-26 2015-07-09 株式会社ニコン 焦点検出装置および撮像装置
US20150163395A1 (en) * 2013-12-05 2015-06-11 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
JP2015108778A (ja) * 2013-12-05 2015-06-11 キヤノン株式会社 撮像装置及びその制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020113219A (ja) * 2019-01-17 2020-07-27 オリンパス株式会社 撮像装置、画像合成方法、及び画像合成プログラム
US10897581B2 (en) 2019-01-17 2021-01-19 Olympus Corporation Image capturing apparatus, image compositing method, and recording medium having recorded therein image compositing program to be executed by computer of image capturing apparatus

Also Published As

Publication number Publication date
US20180120534A1 (en) 2018-05-03
JP6936930B2 (ja) 2021-09-22
CN108024053A (zh) 2018-05-11
US10302901B2 (en) 2019-05-28

Similar Documents

Publication Publication Date Title
JP6936930B2 (ja) 撮像装置および焦点調節方法
JP4127491B2 (ja) オートフォーカス機能付きカメラ
US8937677B2 (en) Digital photographing apparatus, method of controlling the same, and computer-readable medium
WO2013088917A1 (ja) 画像処理装置、画像処理方法、及び記録媒体
US20090179994A1 (en) Imaging apparatus and its control method
JP2007027967A (ja) 撮影装置
US10298862B2 (en) Imaging apparatus and imaging method
JP2009169282A (ja) 撮像装置及びそのプログラム
JP5952975B2 (ja) 撮像装置および撮像方法
JP6887245B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
US10097751B2 (en) Imaging apparatus and image compositing method
JP6758950B2 (ja) 撮像装置、その制御方法とプログラム
JP2022003376A (ja) 焦点検出装置および焦点検出方法
KR20100115574A (ko) 디지털 카메라 및 그 제어방법
JP2017009815A (ja) 焦点検出装置、焦点検出方法、およびカメラシステム
JP5430314B2 (ja) 撮像装置及びその制御方法
US9525815B2 (en) Imaging apparatus, method for controlling the same, and recording medium to control light emission
JP2012239078A (ja) 撮影装置
JP5358826B2 (ja) デジタルカメラ
JP5245644B2 (ja) 露出演算装置
JP2005333491A (ja) 撮像装置
JP2014127770A (ja) 撮像装置
JP5157559B2 (ja) 電子カメラ
JP2009303113A (ja) 電子カメラ
JP2010232909A (ja) 撮像装置及びその駆動制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191014

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200923

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210106

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210819

R150 Certificate of patent or registration of utility model

Ref document number: 6936930

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150