JP2016018116A - Focus adjustment device, focus adjustment method and program, and imaging apparatus - Google Patents
Focus adjustment device, focus adjustment method and program, and imaging apparatus Download PDFInfo
- Publication number
- JP2016018116A JP2016018116A JP2014141568A JP2014141568A JP2016018116A JP 2016018116 A JP2016018116 A JP 2016018116A JP 2014141568 A JP2014141568 A JP 2014141568A JP 2014141568 A JP2014141568 A JP 2014141568A JP 2016018116 A JP2016018116 A JP 2016018116A
- Authority
- JP
- Japan
- Prior art keywords
- focus
- image
- imaging
- unit
- focus lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims description 42
- 238000001514 detection method Methods 0.000 claims abstract description 164
- 238000011156 evaluation Methods 0.000 claims abstract description 102
- 230000003287 optical effect Effects 0.000 claims abstract description 41
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000000875 corresponding effect Effects 0.000 claims 8
- 230000001276 controlling effect Effects 0.000 claims 3
- 230000002596 correlated effect Effects 0.000 claims 1
- 238000012937 correction Methods 0.000 abstract description 15
- 238000004364 calculation method Methods 0.000 description 30
- 238000012545 processing Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 21
- 230000008569 process Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 12
- 230000010354 integration Effects 0.000 description 12
- 230000008859 change Effects 0.000 description 11
- 210000001747 pupil Anatomy 0.000 description 7
- 230000007423 decrease Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 4
- 230000011514 reflex Effects 0.000 description 4
- 238000005315 distribution function Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像素子で取得された画像信号を用いて焦点調節を行うデジタルスチルカメラ、デジタルビデオカメラ、携帯電話などに搭載される撮像装置に関する。 The present invention relates to an imaging apparatus mounted on a digital still camera, a digital video camera, a mobile phone, or the like that performs focus adjustment using an image signal acquired by an imaging element.
一般的に、撮像装置の焦点検出調節方式として、コントラストAF(AutoFocus)検出方式と位相差AF検出方式とがある。 In general, there are a contrast AF (AutoFocus) detection method and a phase difference AF detection method as focus detection adjustment methods of the imaging apparatus.
コントラストAF検出方式はデジタルスチルカメラやデジタルビデオカメラで多く用いられるAF方式であり、撮像素子が焦点検出用センサとして用いられている。撮像素子の出力信号、特に高周波成分のコントラスト情報に着目し、そのAF評価値が最も大きくなるフォーカスレンズの位置を合焦位置とするAF方式である(以下、コントラストAFと称す)。 The contrast AF detection method is an AF method that is often used in digital still cameras and digital video cameras, and an image sensor is used as a focus detection sensor. Focusing on the output signal of the image sensor, particularly the contrast information of the high-frequency component, this is an AF method in which the position of the focus lens with the largest AF evaluation value is the focus position (hereinafter referred to as contrast AF).
一方、位相差AF検出方式の焦点検出は、一眼レフカメラに多く用いられ、自動焦点検出(AF)一眼レフカメラの実用化に貢献した技術である。例えば、デジタル一眼レフカメラでは、位相差AF検出方式は、2次結像光学系からなる焦点検出部により行われる。焦点検出部は、撮影光学系の射出瞳を通過した光束を2つの領域に分割する瞳分割部を備え、2分割された光束はミラーボックス内に配置された光路分割部を介して、2次結像光学系により一組の焦点検出用センサ上に結像される。そして、その焦点検出用センサから受光量に応じて出力される信号のずれ量すなわち瞳分割方向の相対的位置ずれ量を検出することで、撮影光学系のピント方向のずれ量を直接的に求める。従って、焦点検出用センサで蓄積動作を一回行なえば、ピントずれの量と方向が同時に得られ、高速な焦点調節動作が可能となる。焦点検出した後の撮影時には、光路分割部を撮影光束外へ退避させ、撮像素子への露光を行い撮影画像を取得する。 On the other hand, focus detection using the phase difference AF detection method is often used in single-lens reflex cameras, and is a technology that contributes to the practical application of automatic focus detection (AF) single-lens reflex cameras. For example, in a digital single-lens reflex camera, the phase difference AF detection method is performed by a focus detection unit including a secondary imaging optical system. The focus detection unit includes a pupil division unit that divides the light beam that has passed through the exit pupil of the photographing optical system into two regions, and the two-divided light beam is subjected to secondary through an optical path division unit disposed in the mirror box. An image is formed on a set of focus detection sensors by an imaging optical system. Then, by detecting the shift amount of the signal output from the focus detection sensor according to the amount of received light, that is, the relative positional shift amount in the pupil division direction, the shift amount in the focus direction of the photographing optical system is directly obtained. . Therefore, if the accumulation operation is performed once by the focus detection sensor, the amount and direction of the focus deviation can be obtained at the same time, and a high-speed focus adjustment operation is possible. At the time of photographing after focus detection, the optical path dividing unit is retracted out of the photographing light beam, and the image sensor is exposed to obtain a photographed image.
位相差AF検出方式の中でも、撮像素子に位相差AF機能を付与し、背面液晶などの表示部でリアルタイムに画像を確認する電子ファインダ観察時や動画撮影時でも高速のAFを実現する技術は、撮像面位相差AF検出方式(以下、撮像面位相差AF)と呼ばれる。 Among the phase difference AF detection methods, the technology that provides a phase difference AF function to the image sensor and realizes high-speed AF even during electronic viewfinder observation and moving image shooting that confirms an image in real time on a display unit such as a rear liquid crystal, This is called an imaging surface phase difference AF detection method (hereinafter referred to as imaging surface phase difference AF).
また、レンズの収差などが原因で、撮像素子の出力信号から得られる水平方向のみのコントラトの変化を用いてAFした場合と、垂直方向のみのコントラトの変化を用いてAFした場合では、焦点検出の結果に差が生じることがある。つまり、水平方向の信号を評価するか、垂直方向の信号を評価するかという、評価対象となる信号の方向によってピント位置がずれる現象が起こることがある。 In addition, focus detection is performed when AF is performed using only the contrast change in the horizontal direction obtained from the output signal of the image sensor due to lens aberration, and when AF is performed using only the contrast change in the vertical direction. Differences may occur in the results. In other words, the focus position may shift depending on the direction of the signal to be evaluated, that is, whether the signal in the horizontal direction is evaluated or the signal in the vertical direction is evaluated.
上記のAF方式の中でもコントラストAFや撮像面位相差AFでは、演算負荷低減や演算速度向上のために、撮像素子の出力信号から水平又は垂直方向のどちらか一方向のみに抜き出した信号を用いて焦点検出を行うことが多い。しかしながら、前述のように評価対象となる信号の方向によってピント位置がずれるため、水平又は垂直方向のどちらか一方向のみに抜き出した信号を用いた焦点検出結果は、撮影画像を観賞している人が最も合焦していると感じるボケ状態からずれてしまう欠点があった。 Among the AF methods described above, in contrast AF and imaging surface phase difference AF, in order to reduce the calculation load and increase the calculation speed, a signal extracted in only one of the horizontal and vertical directions from the output signal of the image sensor is used. Focus detection is often performed. However, since the focus position is shifted depending on the direction of the signal to be evaluated as described above, the focus detection result using the signal extracted only in one of the horizontal and vertical directions is the person who is viewing the captured image. However, there was a drawback that the camera would deviate from the out-of-focus state where it feels most focused.
そこで、撮影画像を観賞している人が最も合焦していると感じるボケ状態となるようにピント位置を補正することができる合焦位置検出装置の構成を有するものがある(特許文献1)。即ち、特許文献1の合焦位置検出装置は、AFを終えたあとにピント補正を行うことで被写体にピントを合わせることを特徴としている。 In view of this, there is one having a configuration of a focus position detection device that can correct the focus position so that a person who is viewing the captured image feels out of focus most (Patent Document 1). . In other words, the in-focus position detection apparatus of Patent Document 1 is characterized in that the subject is focused by performing focus correction after AF is completed.
しかしながら、上述の特許文献1に開示された従来技術で用いられる補正値はレンズ個体ごとにデータが異なるため、レンズ個体ごとに補正値を算出しなければ補正ができないという欠点がある。更に、被写体のパターンに因っては補正誤差が生じてしまい補正精度が悪くなるという場合があった。 However, since the correction values used in the prior art disclosed in Patent Document 1 described above differ in data for each individual lens, there is a drawback that correction cannot be performed unless the correction value is calculated for each individual lens. Furthermore, there is a case where a correction error occurs due to the pattern of the subject and the correction accuracy is deteriorated.
本発明は上記問題点を鑑みてなされたものであり、AF後に行うレンズ毎のピント補正値の算出を不要にし、高精度な焦点検出の実現が可能な焦点検出装置を有する撮像装置を提供することである。 The present invention has been made in view of the above-described problems, and provides an imaging apparatus having a focus detection apparatus that does not require calculation of a focus correction value for each lens that is performed after AF and can realize highly accurate focus detection. That is.
本発明の焦点調節装置は、フォーカスレンズを含む撮影光学系で形成された被写体像を撮像手段で撮像して得られた画像信号を取得する取得手段と、画像信号を用いて、撮像手段の撮像面の第1の方向での被写体像のピント状態を検出してフォーカスレンズの第1の駆動情報を生成する第1の焦点検出手段と、デフォーカス量が異なるボケ状態の被写体像に対応する複数の画像信号を用いて、第1の方向を含む複数の方向について、フォーカスレンズの位置と相関関係を有するボケ状態の評価値を生成し、評価値に基づいて前記フォーカスレンズの第2の駆動情報を生成する第2の焦点検出手段と、評価値に従って、第1の駆動情報および第2の駆動情報のいずれかを用いて前記フォーカスレンズの駆動を制御する焦点調節手段とを備える。 The focus adjustment apparatus of the present invention includes an acquisition unit that acquires an image signal obtained by imaging a subject image formed by a photographing optical system including a focus lens by an imaging unit, and an imaging unit that uses the image signal. A first focus detection unit that detects the focus state of the subject image in the first direction of the surface and generates first drive information of the focus lens; and a plurality of subjects corresponding to the subject images in a blurred state with different defocus amounts Is used to generate an evaluation value of a blurred state having a correlation with the position of the focus lens for a plurality of directions including the first direction, and second driving information of the focus lens is generated based on the evaluation value And a focus adjusting means for controlling the driving of the focus lens using either the first drive information or the second drive information according to the evaluation value.
本発明によれば、AF後に行うピント補正を不要にすることによって、高精度な焦点検出の実現と演算負荷の低減を可能にする焦点調節装置を提供できる。 According to the present invention, it is possible to provide a focus adjustment device that can realize high-precision focus detection and reduce a calculation load by eliminating the need for focus correction performed after AF.
[実施例1]
撮像装置の全体概略構成
以下に、本発明の好ましい実施例を、図1〜図7を参照して詳細に説明する。
[Example 1]
Overall Schematic Configuration of Imaging Device Hereinafter, a preferred embodiment of the present invention will be described in detail with reference to FIGS.
図1は、本実施例に係わる焦点調節装置を適用した撮像装置としてのデジタルカメラのブロック図である。本実施例のデジタルカメラは交換レンズ式一眼レフカメラであり、レンズユニット100とカメラ本体120とを有する。レンズユニット100は図中央の点線で示されるマウントMを介して、カメラ本体120と着脱可能に接続される。
FIG. 1 is a block diagram of a digital camera as an imaging apparatus to which the focus adjustment apparatus according to the present embodiment is applied. The digital camera of this embodiment is an interchangeable lens type single-lens reflex camera, and includes a
レンズユニット100は、第1レンズ群101、絞り兼用シャッタ102、第2レンズ群103、フォーカスレンズ群(以下、単に「フォーカスレンズ」という)104、及び、後述する制御部を有する。このようにレンズユニット100は、フォーカスレンズ104を含むと共に被写体の像を形成する撮影光学系を有する。
The
第1レンズ群101は、レンズユニット100の先端に配置され、光軸方向OAに進退可能に保持される。絞り兼用シャッタ102は、その開口径を調節することで撮影時の光量調節を行う他、静止画撮影時には露光秒時調節用シャッタとして機能する。絞り兼用シャッタ102及び第2レンズ群103は一体として光軸方向OAに進退可能であり、第1レンズ群101の進退動作との連動によりズーム機能を実現する。フォーカスレンズ104は、光軸方向の進退移動により焦点調節を行う。
The
レンズユニット100の制御部は、ズームアクチュエータ111、絞りシャッタアクチュエータ112、フォーカスアクチュエータ113、ズーム駆動部114、絞りシャッタ駆動部115、フォーカス駆動部116、レンズMPU117、レンズメモリ118を有する。
The control unit of the
ズームアクチュエータ111は、第1レンズ群101や第3レンズ群103を光軸方向OAに進退駆動し、ズーム操作を行なう。絞りシャッタアクチュエータ112は、絞り兼用シャッタ102の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行なう。フォーカスアクチュエータ113は、フォーカスレンズ104を光軸方向OAに進退駆動して焦点調節を行ない、フォーカスレンズ104の現在位置を検出する位置検出部としての機能が備わっている。
The
ズーム駆動部114は、撮影者のズーム操作に応じてズームアクチュエータ111を駆動する。シャッタ駆動部115は、絞りシャッタアクチュエータ112を駆動制御して絞り兼用シャッタ102の開口を制御する。フォーカス駆動部116は、焦点検出結果に基づいてフォーカスアクチュエータ113を駆動制御し、フォーカスレンズ104を光軸方向OAに進退駆動して焦点調節を行なう。
The
レンズMPU117は、撮影光学系に係る全ての演算、制御を行い、ズーム駆動部114、シャッタ駆動部115、フォーカス駆動部116、レンズメモリ118を制御する。また、レンズMPU117は、現在のレンズ位置を検出し、カメラMPU125からの要求に対してレンズ位置情報を通知する。レンズメモリ118には自動焦点調節に必要な光学情報を記憶する。
The lens MPU 117 performs all calculations and control related to the photographing optical system, and controls the
カメラ本体120は、光学的ローパスフィルタ121、撮像素子122、後述する制御部を有する。光学的ローパスフィルタ121は、撮影画像の偽色やモアレを軽減する。
撮像素子122は、C−MOSセンサとその周辺部で構成され、C−MOSセンサは横方向にm画素、縦方向にn画素の受光ピクセル上に1つの光電変換素子が配置された画素配列を有する。撮像素子122は、画素配列の各画素の独立な出力が可能なように構成されている。また、一部の画素が焦点検出用画素となっており、撮像面における位相差AF検出方式の焦点検出(撮像面位相差AF)が可能となっている。
The
The
より具体的には、撮像素子122の画素配列は、被写体の像を形成する撮影光学系の射出瞳の全域を通る光束を各々が受光して被写体の像を生成する複数の撮影用画素を有する。また、画素配列は、各々が撮影光学系の異なる射出瞳の領域を通る光束を受光する複数の焦点検出用画素を更に有する。複数の焦点検出用画素は全体として撮影光学系の射出瞳の全域を通る光束を受光することができ、1つの撮影用画素に対応する。例えば、画素配列において、2行×2列の画素のうち、対角に配置される一対のG画素は撮影用画素として残し、R画素とB画素を焦点検出用画素に置き換える。
More specifically, the pixel array of the
駆動部は、撮像素子駆動部123、画像処理部124、第1の制御部、第2の制御部、第3の制御部の機能を備えたカメラMPU125、表示器126、操作スイッチ群127、メモリ128、第1の焦点検出部129、第2の焦点検出部130を有する。
The driving unit includes an image
撮像素子駆動部123は、撮像素子122の動作を制御するとともに、取得した画像信号をA/D変換してカメラMPU125に送信する。画像処理部124は、撮像素子122が取得した画像のγ変換、カラー補間、JPEG圧縮などを行う。
The image
第1の制御部、第2の制御部、第3の制御部の機能を備えたカメラMPU(プロセッサ)125は、カメラ本体120に係る全ての演算、制御を行う。これにより、撮像素子駆動部123、画像処理部124、表示器126、操作SW127、メモリ128、第1の焦点検出部129、第2の焦点検出部130を制御する。
A camera MPU (processor) 125 having the functions of a first control unit, a second control unit, and a third control unit performs all calculations and controls related to the
第1の制御部、第2の制御部、第3の制御部の機能を備えたカメラMPU125はマウントMの信号線を介してレンズMPU117と接続されている。これにより、レンズMPU117に対してレンズ位置の取得や所定の駆動量でのレンズ駆動要求を発行したり、レンズユニット100に固有の光学情報を取得したりする。
The
第1の制御部、第2の制御部、第3の制御部の機能を備えたカメラMPU125には、カメラ動作を制御するプログラムを格納したROM125a、変数を記憶するRAM125b、諸パラメータを記憶するEEPROM125cが内蔵されている。更に、カメラMPU125は、ROM125aに格納したプログラムをロードして実行することで焦点検出処理を実行する。焦点検出処理の詳細は後述する。また、カメラMPU125は、撮像面位相差AFにおいて、焦点検出位置の像高が大きい時にケラレの影響が大きく信頼度が低下するため、その補正も行う。
The
表示器126はLCDなどから構成され、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像などを表示する。操作スイッチ群127は、電源スイッチ、レリーズ(撮影トリガ)スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。本実施例のメモリ128は、着脱可能なフラッシュメモリで、撮影済み画像を記録する。また、レリーズスイッチは撮影動作に先立って行われるAE処理、AF動作を開始させる指示信号を発生する第1ストローク(以下SW1)と実際の露光動作を開始させる指示信号を発生する第2ストローク(以下SW2)との二段スイッチにより構成される。
The
第1の焦点検出部129は、撮像素子122に埋め込まれた焦点検出用画素の像信号により位相差AF方式での焦点検出処理を行う。より具体的には、第1の焦点検出部129は、撮像光学系の一対の瞳領域を通過する光束により焦点検出用画素に形成される一対の像(以下A像、B像と呼ぶ)のずれ量に基づいて撮像面位相差AFを行う。撮像面位相差AFの原理は、特開2009−003122号公報の図5〜図7、図16などにおいて説明されているものと同様である。
The first
本実施例の撮像装置が有する撮像素子122は、特開2009−003122号公報の図6のように、撮像面位相差AFを行う焦点検出用画素のうち、A像用の焦点検出画素を水平方向に規則的に配列し、これらの画素群で取得した被写体像がA像である。また、B像用の焦点検出画素も水平方向(長辺方向)に規則的に配列し、これらの画素群で取得した被写体像がB像である。ここで水平方向とは、撮影光学系の光軸と撮像素子の撮像面の長辺とが地面に平行となるように撮像装置を構えたとき、この光軸に直交し、かつ水平方向に伸びる直線に沿った方向をいう。長辺方向とは撮影画面(画素配列)の中で画素数が多く長辺である方向のことをいう。
As shown in FIG. 6 of Japanese Patent Application Laid-Open No. 2009-003122, the
上記のように、A像、B像の各焦点検出画素が配置されている方向(この例では水平方向)、すなわち撮像面位相差AFが評価する方向のことを、第1の方向と定義する。ただし、第1の焦点検出部129が行う第1の焦点検出方法としては、撮像面位相差AFに限らない。撮像素子122の面内の方向である第1の方向のコントラストを利用して焦点検出を行うことができればよい。例えば、第1の焦点検出方法はコントラストAFでもよい。コントラストAFの詳細な合焦位置算出方法としては、例えば、特開2010−078810号公報の図12で説明されているような方法を用いればよい。つまり、合焦状態を示すコントラスト焦点評価値のフォーカスレンズ104の位置に対する変化を表わす曲線の一定値以上の傾きで傾斜している部分の長さ、および傾斜している部分の勾配の変化具合から、ピーク位置を算出する。コントラスト焦点評価値のピーク位置は、合焦位置にほかならないので、これにより合焦位置算出を行うことができる。なお、第1の焦点検出部129で行うAF方式のことを以下において第1の焦点検出と称することにする。
As described above, the direction in which the focus detection pixels of the A image and the B image are arranged (in this example, the horizontal direction), that is, the direction evaluated by the imaging plane phase difference AF is defined as the first direction. . However, the first focus detection method performed by the first
第2の焦点検出部130は、画像処理部124にて得られた画像情報から算出されるボケ評価値に基づいた第2の焦点検出方式により第2の焦点検出を行う。第2の焦点検出方式は、Depth From Defocus法(以下DFD)と呼ばれる方法を用いており、所定のデフォーカス量だけ異なる2つの画像に対して演算処理を行うことでボケ評価値を算出する。ボケ評価値の具体的な算出方法については後述する。
The second
DFDに用いる所定のデフォーカス量だけ異なる2つの画像を得るためには、撮像画像のボケ状態に影響を与える、フォーカスレンズの位置、絞り量、焦点距離などの撮影パラメータをカメラMPU125の制御で変更して撮影を行う。撮影パラメータの変更は、1つ以上のパラメータの変更であれば、どれを変更してもよい。本実施例では、フォーカスレンズの位置のみを変更する場合の説明を行う。
In order to obtain two images that differ by a predetermined defocus amount used for DFD, the shooting parameters such as the focus lens position, aperture amount, and focal length, which affect the blurred state of the captured image, are changed by controlling the
本実施例に係わるボケ評価値とは撮像画像のボケ状態を示す値であり、撮影光学系の点像強度分布関数の分散と相関をもつ値である。ここで、点像強度分布関数とは点像がレンズを通過したあとの広がり具合の関数のことである。また、撮影光学系の点像強度分布関数の分散は被写体距離と相関をもっている。即ち撮影光学系の点像強度分布関数の分散はフォーカスレンズ位置と相関をもっていると言い換えることができる。以上のことから、ボケ評価値とフォーカスレンズ位置の間には相関関係があるとわかる。この関係について詳しくは後述する。 The blur evaluation value according to the present embodiment is a value indicating the blur state of the captured image, and is a value having a correlation with the variance of the point image intensity distribution function of the photographing optical system. Here, the point spread function is a spread function after the point image passes through the lens. Further, the dispersion of the point image intensity distribution function of the photographing optical system has a correlation with the subject distance. In other words, it can be said that the dispersion of the point image intensity distribution function of the photographing optical system has a correlation with the focus lens position. From the above, it can be seen that there is a correlation between the blur evaluation value and the focus lens position. This relationship will be described in detail later.
本実施例に係わる焦点調節装置は、第1の焦点検出部129と第2の焦点検出部130により2つの焦点検出方法を行うことを特徴としている。この目的については後述する。
The focus adjustment apparatus according to the present embodiment is characterized in that the first
ボケ評価値の説明
次に、図2を参照して、図1のカメラMPU125及び第2の焦点検出部130により算出されるボケ評価値の算出方法について説明する。図2は、本発明のボケ評価値を算出する部のブロック図である。同図において、図1と同様の部分は同じ符号を付して示す。
Description of Blur Evaluation Value Next, a method for calculating the blur evaluation value calculated by the
第2の焦点検出部130では、画像信号からボケ評価値を算出する。前述の通り、ボケ評価値の算出には、所定のデフォーカス量だけ異なる2つの画像信号を用いる。撮像素子が1つしかない本実施例の機構では、同時に2つの画像を撮像することができないので、所定のデフォーカス量だけ異なる2つの画像信号を得るためには順番に撮像する必要がある。ここで、先に撮像される画像を画像1、後に撮像される画像を画像2と呼び、画像1と画像2はDFDに用いるために所定のデフォーカス量だけ異なる2つの画像である。
The second
まず画像1の輝度信号を取得するために、撮像素子駆動部123でA/D変換された画像信号がMPU125に送信され、画像1の画像信号がRAM125bに格納される。
First, in order to acquire the luminance signal of the image 1, the image signal A / D converted by the image
画像1の画像信号が、第2の焦点検出部130に入力されると、AF評価用信号処理部201で、輝度信号Yに変換された後、低輝度成分を強調して高輝度成分を抑圧するガンマ補正処理が施される。また、ガンマ補正処理された輝度信号Yは、赤の輝度信号(以下RY)、緑の輝度信号(以下GY)、青の輝度信号(以下BY)の3色の輝度信号と、RY,GY,BYを所定の重みづけし加算することにより計算されたY信号を含む。なお以下では、赤、緑、青の各色をそれぞれR、G、Bと呼ぶことにする。ただし、AF評価用信号処理部201の出力信号である画像1の輝度信号Yは、ノイズ低減や精度向上を目的として、RY、GY、BY、Y信号のどれか一つを用いてもよいし、複数の信号を組み合わせて複数のボケ評価値を算出してもよい。
When the image signal of the image 1 is input to the second
続いて、画像1と所定のデフォーカス量だけ異なる画像2の輝度信号を取得するべく、撮像素子上に結像される像のボケ状態を変えるために、フォーカスレンズ104を所定量だけ駆動させる。駆動後に撮像された画像2の画像信号は、RAM125bに格納され、更に第2の焦点検出部130を通して画像1と同様の処理を行って画像2の輝度信号Yを生成する。ガンマ補正された画像1、画像2の輝度信号Yのことを、以下においてそれぞれ画像1の輝度信号202(G1)、画像2の輝度信号203(G2)と称する。
Subsequently, the
G1、G2はそれぞれ領域設定215によって設定される横方向m画素、縦方向n画素のAF評価範囲から切り出されて、より小さい範囲の領域に設定される。具体的には、AF評価範囲の大きさを横方向M画素、縦方向N画素とすると、MとNにそれぞれ後述するフィルタのタップ数(以下、Tap)を考慮した項を足し合わせて、横方向M+Tap画素、縦方向N+Tap画素に領域設定される。 G1 and G2 are cut out from the AF evaluation range of m pixels in the horizontal direction and n pixels in the vertical direction set by the region setting 215, respectively, and set to a smaller region. Specifically, when the size of the AF evaluation range is M pixels in the horizontal direction and N pixels in the vertical direction, a term that takes into account the number of filter taps (hereinafter referred to as Tap) to be described later is added to M and N, The region is set to the direction M + Tap pixel and the vertical direction N + Tap pixel.
G1、G2は横方向、縦方向に値をもつM+Tap行、N+Tap列の2次元の信号であるため、以下においてそれぞれG1(i,j)、G2(i,j)のように表すことにする。ただしi=1〜M+Tap、j=1〜N+Tapとした。 Since G1 and G2 are two-dimensional signals of M + Tap rows and N + Tap columns having values in the horizontal and vertical directions, they will be expressed as G1 (i, j) and G2 (i, j), respectively, below. . However, i = 1 to M + Tap and j = 1 to N + Tap.
G1はBPF部204に入力されて特定の周波数成分が抽出され、信号S1として出力される。ここで、特定の周波数成分の抽出には、被写体のDC成分や高周波成分などの除外も含まれる。このBPF部204を通す目的は、被写体の空間周波数依存をなくすことである。
G1 is input to the
BPF部204で行われる演算について説明する。BPF部204では、まず、G1に対して、2次元フィルタ(BPF)の畳み込み演算が行われる。畳み込み演算によりS1(i,j)は、式(1)のように求められる。ここで、畳み込み演算の結果には、2次元フィルタ(BPF)のサイズによって、正しくないデータが一部出力される。この正しく出力されない一部のデータのことをフィルタのタップと呼び、行方向のタップの数(Tap)はフィルタの行方向の要素数−1で求められる。同様に列方向のTapはフィルタの列方向の要素数−1で求められる。
Calculations performed by the
以上のことから、正しいデータのみを出力するために畳み込み演算の結果であるS1(i,j)からTap分の信号を除外した信号S1(i’,j’)が、BPF部204の出力信号となる。ただし、i’=1〜M、j’=1〜Nとした。なお、(1)式で使用するBPFの例としては、(3)式のような2次元フィルタを用いればよい。ただし、BPFの要素数はその値は、抽出したい周波数帯域に応じて変更してもよい。
From the above, the signal S 1 (i ′, j ′) obtained by excluding the Tap signal from S 1 (i, j), which is the result of the convolution operation in order to output only correct data, is the output signal of the
G2についても同様に、BPF部205を通して(2)式のような畳み込み演算を行った結果の信号から、Tap分の信号を除外したS1(i’,j’)信号S2が出力される。
次に、二乗演算部206と領域内積分部208により周波数空間における画像信号のパワーを求める。そのために、パーシバルの定理と呼ばれる式を用いて周波数空間上の計算を実空間における計算により求める。ここでパーシバルの定理とは、関数の平方の総和(積分)が、そのフーリエ変換の平方の総和(積分)と等しい、とする定理である。パーシバルの定理は一般に、式(4)のように表され、波形s(x)が持つ全エネルギーの全実空間xについての総和と、その波形のエネルギーのフーリエ変換S(f)の全周波数成分fについての総和とが等しいことを意味する。
以下において、周波数空間における画像信号のパワーをPと称し、画像1のPをP1,画像2のPをP2と呼ぶことにする。 Hereinafter, the power of the image signal in the frequency space is referred to as P, P in the image 1 is referred to as P1, and P in the image 2 is referred to as P2.
P1、P2を求めるために、まず二乗演算を行う。具体的には、二乗演算部206でBPF部204の出力信号S1に対して(5)式のように二乗演算を行い、信号T1を生成する。同様に、二乗演算部205でBPF部207の出力信号S2に対して(6)式のように二乗演算を行い、信号T2を生成する。
続いてP1、P2を求めるために、領域内積分部208では、二乗演算部206の出力信号に対して、AF評価範囲の大きさである横方向M、縦方向Nの領域の積分演算を行う。領域内積分部208の出力信号をP1とすると、(7)式のようにP1は求められる。同様に、領域内積分部209の出力信号をP2とすると、(8)式のようにP2は求められる。
ただし、積分領域は主被写体の位置や、主被写体以外の被写体の位置などに応じて、領域を狭くするか、または複数に分けてもよい。また、後述するボケ評価値演算部212による演算の後に行ってもよい
However, the integration region may be narrowed or divided into a plurality of regions depending on the position of the main subject, the position of a subject other than the main subject, and the like. Further, it may be performed after calculation by a blur evaluation
以上のように、二乗演算部206と領域内積分部208を通してP1が、二乗演算部207と領域内積分部209を通して、P2が生成される。ここで、Pの値と、フォーカスレンズ位置の関係を、図3に示した。図3のように、Pは合焦位置で最大値となる。これは、合焦位置が最も画像のコントラストがはっきりしているため、画像信号のパワーが最も強い状態となるからである。一方、合焦から無限側や至近側にむかってボケていくにつれ、Pは徐々に小さい値をとる。これは、画像がボケるにつれて画像のコントラストが減っていくためである。
As described above, P1 is generated through the
差分演算部210では、領域内積分部208、209の出力信号P1、P2の差分P2−P1を演算する。これは、画像1と画像2の周波数空間における信号のパワーを比較し、2つの画像のボケ具合の違いを評価するためである。2つの画像のボケ具合が大きく異なるときは、P2−P1が大きい値をとり、2つの画像のボケ具合にあまり差がないときは、P2−P1は小さい値をとる。
The
積分演算部211では、領域内積分部208、209の出力信号P1、P2の和P1+P2を演算する。これは、後述するボケ評価値算出の際の規格化に用いる。ボケ評価値演算部212では、差分演算部210の出力結果を積分演算部211の出力結果で規格化することにより、(9)式のようにボケ評価値を演算する。
以下において、ボケ評価値をCと呼ぶことにする。Cを用いた焦点検出方法について詳しくは後述する。また、(9)式を、
図2のAF制御部1251は、ボケ評価値Cを取り込み、フォーカス駆動部116を通じて、焦点検出結果に基づいてフォーカスアクチュエータ113を駆動制御し、フォーカスレンズ104を進退駆動してAF制御を行なう。
The
以上のような手順で、第2の焦点検出部130では、算出されたボケ評価値Cによりフォーカスレンズ104を駆動して第2の焦点検出を行う。
With the above procedure, the second
合焦位置判定処理動作の説明
以下、図2、図4を参照して、上記構成を有するカメラMPU(プロセッサ)125が実行する、本実施例に係わる焦点調節装置を適用した撮像装置における合焦動作(AF動作)について説明する。
Description of In-Focus Position Determination Processing Operation Hereinafter, with reference to FIGS. 2 and 4, in-focus in an imaging apparatus to which the focus adjustment apparatus according to the present embodiment is executed, which is executed by the camera MPU (processor) 125 having the above-described configuration. The operation (AF operation) will be described.
図4は、本実施例に係わる焦点調節装置を適用した撮像装置のAF動作のフローチャートを示す。この動作に関する制御プログラムは、カメラMPU125によって実行される。なお、図4において、「S」はステップの略である。
FIG. 4 is a flowchart of the AF operation of the imaging apparatus to which the focus adjustment apparatus according to the present embodiment is applied. A control program related to this operation is executed by the
カメラMPU125に含まれる領域設定部215は、AF動作を開始すると(S400)、まず、被写体に対する焦点調節を行うためのAF評価範囲を設定する(S401)。このステップS401の処理では、画像内に1つの測距領域が設定される。AF評価範囲は、後述するAF動作によって焦点調節するための画像信号を評価する範囲であり、AF動作の目的は、焦点検出エリアとしてのAF評価範囲内の撮影者が意図する被写体に焦点調節を行うことである。なお、ここで設定されるAF評価範囲は、第1の焦点検出を行うための範囲(以下、第1のAF評価範囲)であり、第2の焦点検出を行うための範囲(以下、第2のAF評価範囲)は本ステップで設定してもしなくてもよい。また、第2のAF評価範囲も共に設定する場合は、第1のAF評価範囲と同じにしてもしなくてもよい。
When the
次に、撮像素子122への露光を行う(S402)。これにより、第1の焦点検出や第2の焦点検出に用いる出力信号を得るだけでなく、各焦点検出部用の焦点検出領域を含む近傍の被写体の情報を得ることができる。また、第1の焦点検出や第2の焦点検出は、必要な焦点調節精度に合わせて、撮像画素の出力信号の数を間引いて用いてもよい。また、露光はフォーカスレンズが連続に動いている最中に行ってもよいし、止まっている間に行ってもよい。
Next, the
次に、第1の焦点検出部によってデフォーカス量を算出する(S403)。デフォーカス量は焦点検出用画素列の長さ及び像ずれ量をデフォーカス量に変換する係数(K値)から決定されるが、詳しい算出方法は特開2009−003122号公報の図5〜図7、図16などにおいて説明されているものと同様である。 Next, the defocus amount is calculated by the first focus detection unit (S403). The defocus amount is determined from the length of the focus detection pixel row and the coefficient (K value) for converting the image shift amount into the defocus amount. A detailed calculation method is shown in FIGS. 5 to 5 of Japanese Patent Laid-Open No. 2009-003122. 7, the same as described in FIG.
以下の説明において、第1の焦点検出部によって算出されるデフォーカス量のことを第1のデフォーカス量と称する。ここで留意すべき点は、本ステップは、第1のデフォーカス量が算出できた場合と算出できない場合、いずれの場合も含まれている点である。S403の処理を終了するとS404へ進む。 In the following description, the defocus amount calculated by the first focus detection unit is referred to as a first defocus amount. It should be noted that this step is included in both cases where the first defocus amount can be calculated and when it cannot be calculated. When the process of S403 ends, the process proceeds to S404.
S404では、S403で第1のデフォーカス量が算出できた場合は、第1のデフォーカス量に対応したフォーカスレンズ104のレンズ駆動量(第1の駆動情報)を算出し、その後S405へ進む。S403で第1のデフォーカス量が算出できなかった場合は、S404でレンズ駆動量を算出しないまま処理を終了し、S405へ進む。
In S404, if the first defocus amount can be calculated in S403, the lens drive amount (first drive information) of the
次に、S405で露光の回数を判定する。露光回数が2回以上の場合はS406へ進み(S405のYes)、第2の焦点検出部による焦点検出と第2の焦点検出結果の信頼性判定を行う(S406)。以下において、第2の焦点検出部によって算出されるデフォーカス量のことを第2のデフォーカス量と称する。 In step S405, the number of exposures is determined. If the number of exposures is two or more, the process proceeds to S406 (Yes in S405), and the focus detection by the second focus detection unit and the reliability determination of the second focus detection result are performed (S406). Hereinafter, the defocus amount calculated by the second focus detection unit is referred to as a second defocus amount.
S406で第2のデフォーカス量を算出するためには、前述したように2回の露光分の画像がRAM125bに蓄積されている必要がある。この理由は、第2の焦点検出に用いるボケ評価値の算出には、図2の202,203に示すように、画像1と画像2の輝度信号を用いるためである。そこで、露光回数が1回以下の場合(S405のNo)は第2のデフォーカス量が算出できないため、もう1回以上露光を繰り返すために後述するS410を実行後露光ステップ(S402)に戻る。S406の第2の焦点検出方法や信頼性判定方法の詳細は後述する。 In order to calculate the second defocus amount in S406, as described above, the image for the two exposures needs to be accumulated in the RAM 125b. This is because the luminance signals of the images 1 and 2 are used for calculating the blur evaluation value used for the second focus detection, as indicated by 202 and 203 in FIG. Therefore, when the number of exposures is 1 or less (No in S405), the second defocus amount cannot be calculated. Therefore, in order to repeat the exposure one more time, S410, which will be described later, is returned to the exposure step after execution (S402). Details of the second focus detection method and reliability determination method in S406 will be described later.
ここで、S403で算出した第1のデフォーカス量と、S406で算出した第2のデフォーカス量それぞれの精度について説明する。結論としては、以下で述べる理由により、第1のデフォーカス量よりも第2のデフォーカス量の方が、焦点検出結果として精度が良いと言える。 Here, the accuracy of each of the first defocus amount calculated in S403 and the second defocus amount calculated in S406 will be described. In conclusion, for the reason described below, it can be said that the second defocus amount is more accurate as the focus detection result than the first defocus amount.
まず前提として、収差などの影響により、評価する方向によってピントがずれる現象が起こることがあるのは前述の通りである。また、一般に撮影画像を観賞している人が最も合焦していると感じるボケ状態が望ましいとされているが、このボケ状態は1方向だけではなく、上下左右など複数の方向の画像のコントラスト(エッジ形状)の状況により決められる。つまり、撮影画像を観賞している人が最も合焦していると感じるボケ状態のピント状態を得るためには、1方向のボケ状態の評価だけでは精度が不十分と言える。 First, as a premise, as described above, the phenomenon of defocusing depending on the direction of evaluation may occur due to the influence of aberration or the like. Further, it is generally desirable that a person who is viewing a photographed image feels most in focus, but this blurred state is not limited to only one direction, and contrast of images in a plurality of directions such as up, down, left, and right. It is determined by the situation of (edge shape). In other words, it can be said that the accuracy of the evaluation in only one direction is insufficient to obtain the out-of-focus state where the person viewing the captured image feels most focused.
第1の焦点検出方法では第1の方向のボケ状態しか評価しないため精度が不十分であるのに対して、第2の焦点検出方法では前述のように2次元的なエッジのパワーの情報をボケ評価値としているため、第2のデフォーカス量は実際の絵のピント状態の評価とほぼ等しい。このように、第1のデフォーカス量よりも第2のデフォーカス量の方が、精度が良いと言える。 In the first focus detection method, only the blurring state in the first direction is evaluated, and thus the accuracy is insufficient. On the other hand, in the second focus detection method, information on the power of the two-dimensional edge is used as described above. Since the blur evaluation value is used, the second defocus amount is substantially equal to the evaluation of the actual picture focus state. Thus, it can be said that the second defocus amount is more accurate than the first defocus amount.
S406で第2のデフォーカス量の算出とその信頼性判定を行い、第2のデフォーカス量が信頼できると判定された場合は、S408へ進み(S407のYes)、更に第2のデフォーカス量が合焦位置のデフォーカス量か否かを判定する。合焦と判定された場合は(S108のYes)、カメラMPU125は合焦表示を行い(S409)、その後、本AF動作を終了(S412)する。
In S406, the second defocus amount is calculated and its reliability is determined. If it is determined that the second defocus amount is reliable, the process proceeds to S408 (Yes in S407), and further the second defocus amount. Is the defocus amount at the in-focus position. If the in-focus state is determined (Yes in S108), the
S410では、第2のデフォーカス量が算出できない場合(S405のNo)または信頼性の低い第2のデフォーカス量が算出された場合(S407のNo)に、第1のレンズ制御によるフォーカスレンズ駆動を行う(S410)。ただし第1のレンズ制御とは、第2のデフォーカス量が算出できない場合または信頼性の低い第2のデフォーカス量が算出された場合に、本ステップでカメラMPU125が行うフォーカスレンズ駆動の制御を指す。
In S410, when the second defocus amount cannot be calculated (No in S405) or when the second defocus amount with low reliability is calculated (No in S407), the focus lens is driven by the first lens control. (S410). However, the first lens control is control of the focus lens drive performed by the
第1のレンズ制御では、S404で算出されたレンズ駆動量だけフォーカスレンズ104を駆動するか、またはサーチ駆動を行う。ここで、サーチ駆動とは、事前に設定した方向(通常は至近方向)に所定の速度で所定の量フォーカスレンズ104を駆動することを指す。レンズ駆動方向を通常は至近方向に設定するのは、撮影者が焦点調節の対象とする被写体は至近側に存在することが多いためであるが、この方向に限らなくてもよい。以上のように第1のレンズ制御によってフォーカスレンズ104を駆動した後、フローはS402に戻る。
In the first lens control, the
S411では、信頼性のある第2のデフォーカス量が算出された場合(S407のYes)で且つ第2のデフォーカス量が合焦と判定されなかった場合(S408のNo)、第2のレンズ制御を行う(S411)。ただし第2のレンズ制御とは、第2のデフォーカス量の信頼性は高いと判定され且つ合焦と判定されなかった場合に、本ステップでカメラMPU125が行うフォーカスレンズ駆動の制御を指す。第2のレンズ制御では、フォーカスレンズ104の位置が所定の間隔だけ異なる位置で露光を行うことができるようにレンズ駆動を行う。所定の間隔の決定方法については後述する。また、露光はフォーカスレンズ104が連続に動いている最中に行ってもよいし、止まっている間に行ってもよい。
In S411, when the reliable second defocus amount is calculated (Yes in S407), and the second defocus amount is not determined to be in focus (No in S408), the second lens Control is performed (S411). However, the second lens control refers to focus lens drive control performed by the
以上のように第2のレンズ制御によってフォーカスレンズ104を駆動した後、フローはS402に戻る。
After the
上述した図4のフローチャートからわかるように、本実施例では、最終的には、第1のデフォーカス量ではなく第2のデフォーカス量を用いて、合焦位置へレンズ駆動を行う。より具体的に言えば、第1のデフォーカス量と第2のデフォーカス量のうち、第2のデフォーカス量が演算可能な場合は、第2のデフォーカス量を用いて焦点検出を行う。 As can be seen from the flowchart of FIG. 4 described above, in the present embodiment, the lens is finally driven to the in-focus position using the second defocus amount instead of the first defocus amount. More specifically, when the second defocus amount can be calculated from the first defocus amount and the second defocus amount, focus detection is performed using the second defocus amount.
最終的に第2のデフォーカス量を用いるならば、常に第2の焦点検出部のみを用いてAFすればいいように思えるが、第1の焦点検出部も必ず並行して用いる必要がある。この理由を、デフォーカス量検出可能範囲の観点から図5を用いて説明する。以下において、第1のデフォーカス量を検出することが可能なフォーカスレンズ104の位置の範囲を第1のデフォーカス範囲と呼び、第2のデフォーカス量を検出することが可能なフォーカスレンズ104の位置の範囲を第2のデフォーカス範囲と呼ぶことにする。
If the second defocus amount is finally used, it seems that AF should always be performed using only the second focus detection unit, but the first focus detection unit must also be used in parallel. The reason for this will be described with reference to FIG. 5 from the viewpoint of the defocus amount detectable range. Hereinafter, the range of the position of the
図5は第1、第2のデフォーカス検出範囲とフォーカスレンズ位置の関係を表した図である。図5の至近端、無限端、とはフォーカスレンズ104の駆動の限界位置の両端を表しており、合焦となるフォーカスレンズの位置を、合焦位置として示した。
FIG. 5 is a diagram showing the relationship between the first and second defocus detection ranges and the focus lens position. The near end and the infinite end in FIG. 5 represent both ends of the limit position for driving the
図5に示すように、第1、第2のデフォーカス範囲は共に合焦位置を必ず含んでいる。また、第1のデフォーカス量よりも第2のデフォーカス量の方が、精度が良いのは前述の通りである。そこで、フォーカスレンズ位置が合焦位置に近く、第1のデフォーカス量も第2のデフォーカス量も算出可能な場合は、精度のよい第2のデフォーカス検出結果を用いて合焦位置の算出を行う。 As shown in FIG. 5, the first and second defocus ranges always include the in-focus position. As described above, the second defocus amount is more accurate than the first defocus amount. Therefore, when the focus lens position is close to the in-focus position and the first defocus amount and the second defocus amount can be calculated, the in-focus position is calculated using the accurate second defocus detection result. I do.
一方、図5に示すように、第2のデフォーカス検出範囲は第1のデフォーカス範囲に比べて狭いので、合焦位置から遠い位置にフォーカスレンズ104があるときは、第1の焦点検出部を用いる方が有利となる。そこで、第1のデフォーカス量は算出可能且つ第2のデフォーカス量は算出不可能な場合は、第1のデフォーカス量を用いて合焦位置の算出を行う。
On the other hand, as shown in FIG. 5, since the second defocus detection range is narrower than the first defocus range, when the
以上をふまえると、本撮像装置は、第1の焦点検出部と第2の焦点検出部の両方の部を有する必要がある。 In view of the above, the imaging apparatus needs to have both the first focus detection unit and the second focus detection unit.
このように、S402の露光時の出力信号は、第1の焦点検出や第2の焦点検出のいずれにも用いられる可能性がある。そのため、露光の度に、第1の焦点検出部による第1のデフォーカス量と第2の焦点検出部による第2のデフォーカス量をともに算出する。これにより、常に両方の焦点検出方式で焦点検出が行える。しかし、本発明の実施形態として、これに限る必要はなく、露光の度に、いずれか一方のみの焦点検出を行うようにしてもよい。その場合には、焦点検出に必要な演算量が減るという効果が得られる。 Thus, the output signal at the time of exposure in S402 may be used for either the first focus detection or the second focus detection. Therefore, for each exposure, both the first defocus amount by the first focus detection unit and the second defocus amount by the second focus detection unit are calculated. Thereby, focus detection can always be performed by both focus detection methods. However, the embodiment of the present invention is not limited to this, and only one of the focus detections may be performed for each exposure. In that case, an effect of reducing the amount of calculation required for focus detection can be obtained.
第2の焦点検出部による焦点検出と信頼性判定処理動作の説明
次に、図6を参照して第2の焦点検出部130による焦点検出と信頼性判定処理動作について説明する。図6は、図4のS406で実行される第2の焦点検出部による焦点検出と信頼性判定処理動作のフローチャートを示す図である。この動作に関する制御プログラムは、カメラMPU125によって実行される。図6においても、「S」はステップの略である。
Description of Focus Detection and Reliability Determination Processing Operation by Second Focus Detection Unit Next, focus detection and reliability determination processing operation by the second
カメラMPU125に含まれる領域設定部215は、第2の焦点検出によるAF動作を開始すると(S600)、被写体に対して第2のAF評価範囲を設定する(S601)。本ステップS601の処理では、画像内に1つの測距領域が設定される。第2のAF評価範囲は、第2の焦点検出部によって焦点調節するための画像信号を評価する範囲である。図4のS401において既に第2のAF評価範囲が設定されている場合には、本ステップS601で第2のAF評価範囲設定を行わずにS602へ進む。続いて、画像1、画像2の輝度信号よりボケ評価値Cを算出する(S602)。算出方法については上述の通りである。
When the
次に、S602で算出されたボケ評価値から、第2のデフォーカス量を算出する(S603)。前述したように、ボケ評価値Cはフォーカスレンズ位置と相関をもっている。この相関関係について図7(a)を用いて説明する。 Next, a second defocus amount is calculated from the blur evaluation value calculated in S602 (S603). As described above, the blur evaluation value C has a correlation with the focus lens position. This correlation will be described with reference to FIG.
図7(a)は、ボケ評価値Cとフォーカスレンズ位置の関係を示す図である。図7(a)の至近端、無限端とはフォーカスレンズ104の駆動の限界位置の両端を表している。
FIG. 7A shows the relationship between the blur evaluation value C and the focus lens position. The close end and the infinite end in FIG. 7A represent both ends of the limit position for driving the
図7(a)に示すように、第2のデフォーカス範囲内に関しては、ボケ評価値Cとフォーカスレンズ位置は1対1の対応関係にある。この1対1の対応関係のうち、C=0に対応するフォーカスレンズの位置が合焦位置となる。この理由を、図3と(9)式を用いて説明する。 As shown in FIG. 7A, the blur evaluation value C and the focus lens position have a one-to-one correspondence relationship within the second defocus range. Of this one-to-one correspondence, the position of the focus lens corresponding to C = 0 is the in-focus position. The reason for this will be described with reference to FIGS. 3 and (9).
(9)式によると、ボケ評価値Cは、フォーカスレンズ位置が所定のデフォーカス量だけ異なる2つの画像のパワーP1、P2の差分を和で除して求めている。図3に示すように、画像1と画像2のフォーカスレンズ104の位置をそれぞれL1’、L2’とし、L1’、L2’は合焦位置近傍ではないとする。L1’、L2’に対応する画像のパワーをP1’、P2’とし、L2’−L1’は第2の焦点検出を行うために必要な所定のデフォーカス量であるとする。このようにP1’<P2’のとき、(9)式に代入するとC>0となるので、C=0のときが合焦位置と分かる。
According to equation (9), the blur evaluation value C is obtained by dividing the difference between the powers P1 and P2 of two images whose focus lens positions differ by a predetermined defocus amount by the sum. As shown in FIG. 3, it is assumed that the positions of the
同様に、合焦位置をまたいで画像1と画像2が得られた場合の画像1と画像2のフォーカスレンズ位置をそれぞれL1、L2とする。L1、L2に対応する画像のパワーをP1、P2とし、L2−L1は第2の焦点検出を行うために必要な所定のデフォーカス量であるとする。前述のようにPは合焦位置で最大値をとるので、L1,L2のように合焦位置をまたいだ位置に画像1と画像2のフォーカスレンズがあるとき、1箇所だけP1とP2の値が同じ値をとることになる。P1=P2のとき、(9)式に代入するとC=0となるので、C=0のときが合焦位置と分かる。 Similarly, the focus lens positions of the image 1 and the image 2 when the images 1 and 2 are obtained across the in-focus positions are L1 and L2, respectively. Assume that the powers of the images corresponding to L1 and L2 are P1 and P2, and L2-L1 is a predetermined defocus amount necessary for performing the second focus detection. As described above, P takes the maximum value at the in-focus position. Therefore, when the focus lenses of the image 1 and the image 2 are located across the in-focus position such as L1 and L2, the values of P1 and P2 are only at one place. Will have the same value. When P1 = P2, if it is substituted into the equation (9), C = 0 is obtained, so that when C = 0, the in-focus position is known.
以下において、図7(a)に戻りS603における第2のデフォーカス量の算出方法について説明する。例えば、S602で算出されたボケ評価値がCaであった場合は、相関関係よりフォーカスレンズ104の位置Laが得られる。デフォーカス量とは、合焦位置からLaの距離(方向も含む)を指すので、ボケ評価値Caから第2のデフォーカス量を求めることができた。
Hereinafter, referring back to FIG. 7A, the second defocus amount calculation method in S603 will be described. For example, when the blur evaluation value calculated in S602 is Ca, the position La of the
この図7(a)に示すような相関関係はテーブル(以下Cテーブル)としてROM125aに記憶されており、算出されたボケ評価値CでCテーブルを参照することにより第2のデフォーカス量を求めることができる(S603)。なお、算出したボケパラメータCに対応する値が、ROM125aに記憶されているCテーブルになかった場合はCテーブルに対して補完演算を行って第2のデフォーカス量を求めればよい。 The correlation shown in FIG. 7A is stored in the ROM 125a as a table (hereinafter referred to as C table), and the second defocus amount is obtained by referring to the C table with the calculated blur evaluation value C. (S603). If the calculated value corresponding to the blur parameter C is not in the C table stored in the ROM 125a, the second defocus amount may be obtained by performing a complementary operation on the C table.
図3は、合焦位置から至近側と無限側にほぼ左右対称な例を挙げたが、実際のレンズは左右対称になっていない。左右対称でないことによりP1=P2のときでも合焦位置からずれてしまうが、このずれ量はレンズの設計値からわかるので、ずれ量分Cテーブルを事前にオフセットすればよい。 FIG. 3 shows an example in which the left and right sides are almost symmetrical from the in-focus position, but the actual lens is not symmetrical. Even if P1 = P2 due to the fact that it is not symmetric, it will deviate from the in-focus position. Since this deviation amount can be known from the design value of the lens, the C table may be offset in advance for the deviation amount.
次に、S603で算出された第2のデフォーカス量に対応したフォーカスレンズ104のレンズ駆動量(第2の駆動情報)を算出し(S604)、処理を終了するとS605へ進む。
Next, the lens drive amount (second drive information) of the
次に、第2のデフォーカス量の信頼性を判定する(S605)。まず、第2のデフォーカス量の信頼性について図7(b)を用いて説明する。
図7(b)は、ボケ評価値Cとフォーカスレンズ位置の関係を示す図である。図7(b)の至近端Ls、無限端Lm、はフォーカスレンズ104の駆動の限界位置の両端を表しており、Lgは合焦位置である。
Next, the reliability of the second defocus amount is determined (S605). First, the reliability of the second defocus amount will be described with reference to FIG.
FIG. 7B is a diagram illustrating the relationship between the blur evaluation value C and the focus lens position. In FIG. 7B, the closest end Ls and the infinite end Lm represent both ends of the limit position for driving the
図7(b)では、Cとフォーカスレンズ位置の関係のプロット範囲を図7(a)よりも広げて至近端から無限端まで図示している。ボケ評価値Cとフォーカスレンズ104の位置は1対1の対応関係となる部分と、1対2の対応関係になる部分がある。図7(b)では、LxからLyの間は1対1の対応関係で、LsからLxの間とLyからLmの間は1対2の対応関係である。1対2対応の関係が生じる理由は後述する。ここで1対2対応の関係とは、例えばひとつのボケ評価値CxがS602で算出されS603でCテーブルに照らしたときに、Ls、Lxの2つのフォーカスレンズ位置が算出される関係である。
In FIG. 7B, the plot range of the relationship between C and the focus lens position is expanded from that in FIG. The blur evaluation value C and the position of the
評価値Cとフォーカスレンズ位置が1対2の対応関係になる部分が生じる原因は、図3に示すPの変化を表わす曲線の形状と、(9)式に示すCの演算方法にある。 The reason why the evaluation value C and the focus lens position have a one-to-two correspondence is caused by the shape of the curve representing the change of P shown in FIG. 3 and the calculation method of C shown in equation (9).
前述のように、Pのグラフ形状は合焦位置で最大値をとり、合焦から無限側や至近側にむかってボケていくにつれPの値は減少する。すると、Pの傾きは合焦位置で0となり、合焦から無限側や至近側にむかってボケていくにつれ増加し、無限端や至近端が近づくと再び0に近づいていく。また、(9)式右辺の分子P2−P1の傾向も、Pの傾きと同じく、合焦からボケていくにつれ増加し、無限端や至近端が近づくと再び0に近づいていく。即ち、(9)式右辺の分子の影響で、(9)式左辺であるCの傾向は0から増加し、再び減少するような傾向となる。 As described above, the graph shape of P takes the maximum value at the in-focus position, and the value of P decreases as the focus is blurred toward the infinity side or the near side. Then, the inclination of P becomes 0 at the in-focus position, and increases as it is blurred toward the infinite side or the close side from the in-focus position, and approaches 0 again when the infinite end or the close end approaches. Similarly to the inclination of P, the tendency of the molecules P2-P1 on the right side of the formula (9) increases as the focus is blurred and approaches 0 again when the infinite end or the closest end approaches. That is, due to the influence of the numerator on the right side of Equation (9), the tendency of C on the left side of Equation (9) tends to increase from 0 and decrease again.
一方(9)式右辺の分母のP1+P2の値は、合焦からボケていくにつれ、最大値から徐々に減少していく。即ち、分母の影響でPは規格化され、(9)式左辺であるCの傾向は合焦近傍では小さい値をもち、ボケていくつれ大きい値をもつような傾向となる。 On the other hand, the value of P1 + P2 in the denominator on the right side of the formula (9) gradually decreases from the maximum value as the focus is blurred. That is, P is normalized due to the influence of the denominator, and the tendency of C, which is the left side of equation (9), has a small value in the vicinity of the in-focus state, and tends to have a large number of blurs.
この(9)式のようにCを算出することから、Cの絶対値(以下|C|)は合焦位置から離れるにつれて増加し、あるところから減少するため、Cとフォーカスレンズ位置が1対2の対応関係になる部分が生じる。以上を踏まえると、Cの値は図7(b)のような値をとる。 Since C is calculated as shown in equation (9), the absolute value of C (hereinafter | C |) increases as the distance from the in-focus position increases, and decreases from a certain point. A part corresponding to 2 is generated. Based on the above, the value of C takes a value as shown in FIG.
図7(a)に戻り、信頼性判定に関する説明をする。ボケ評価値CxがS602で算出されたとき、Cテーブルに照らすだけではLs,Lxのうちどちらが正しいフォーカスレンズ位置か判定できないため、1対1の対応関係が成立しない場合はS603で間違った第2のデフォーカス量を算出する可能性がある。そこで、ボケ評価値がCxからCyの間以外の値をとる場合は、信頼性の無いボケ評価値と言える。第2のデフォーカス範囲内に関しては、1対1対応の関係が成立しているため、ボケ評価値がCyからCxの間の値をとる場合は、信頼性の有るボケ評価値と言える。 Returning to FIG. 7A, the reliability determination will be described. When the blur evaluation value Cx is calculated in S602, it is not possible to determine which of the Ls and Lx is the correct focus lens position simply by illuminating the C table. If the one-to-one correspondence relationship is not established, the wrong second in S603 is determined. There is a possibility of calculating the defocus amount. Therefore, when the blur evaluation value takes a value other than between Cx and Cy, it can be said that the blur evaluation value has no reliability. Since a one-to-one correspondence relationship is established within the second defocus range, it can be said that the blur evaluation value is reliable when the blur evaluation value takes a value between Cy and Cx.
S605では、以上のようなボケ評価値の信頼性の有無を、Pの値を用いて判定する。信頼性判定には、P1とP2どちらか一方のPを用いてもよいし、両方を用いてもよい。 In S605, the presence or absence of reliability of the blur evaluation value as described above is determined using the value of P. For the reliability determination, either one of P1 and P2 or both of them may be used.
以下において、第2のデフォーカス量の信頼性算出方法について図3を用いて説明する。 Hereinafter, the reliability calculation method of the second defocus amount will be described with reference to FIG.
図3の縦軸である画像のパワーは、被写体のコントラストによって異なる値をとるが、撮像画像の明暗差(最大出力値―最小出力値)で規格化を行えば、どのようなコントラストの被写体を撮影してもPのグラフ形状は概ね一致する。そこで、明暗差で規格化したPの値が所定の閾値以上の値を取る場合には、第2のデフォーカス量は信頼性があると判定する。他方、閾値未満の場合は第2のデフォーカス量は信頼性がないと判定し(S605)、第2の焦点検出部による焦点検出と信頼性判定処理を終える(S606)。 The power of the image on the vertical axis in FIG. 3 takes different values depending on the contrast of the subject. However, if normalization is performed with the difference in brightness (maximum output value-minimum output value) of the captured image, Even after shooting, the graph shapes of P are almost the same. Therefore, when the value of P normalized by the light / dark difference takes a value equal to or greater than a predetermined threshold, it is determined that the second defocus amount is reliable. On the other hand, if it is less than the threshold value, it is determined that the second defocus amount is not reliable (S605), and the focus detection and reliability determination processing by the second focus detection unit is finished (S606).
また、より簡単に、明暗差によるPの規格化を行わずに信頼性判定を行ってもよい。以下の判定方法で用いる閾値のうち、P2−P1に対して用いる閾値をP差分閾値、Pに対して用いる閾値をP閾値と呼ぶことにする。 In addition, the reliability determination may be performed more simply without performing the standardization of P based on the difference in brightness. Of the threshold values used in the following determination methods, the threshold value used for P2-P1 is called a P difference threshold value, and the threshold value used for P is called a P threshold value.
具体的には、P2−P1が所定のP差分閾値以下の値を取り且つPがP閾値以上の場合には第2のデフォーカス量は信頼性有りと判定し、P2−P1が所定の差分閾値以下の値を取り且つPがP閾値以下の場合には第2のデフォーカス量は信頼性無しと判定する。図3に示すように、無限端や至近端付近のように画像のコントラストが大きく減ってしまったボケ状態(以下大ボケ状態)の画像1と画像2には、パワーPの差がほとんど無くなる。そこで、パワーPの差に対して差分閾値を設けた。ただし、合焦位置近傍の場合もパワーPの差は小さくなるので、P閾値を更に設け、P閾値以下の場合は大ボケ状態と判断する。 Specifically, when P2−P1 takes a value equal to or smaller than a predetermined P difference threshold and P is equal to or larger than the P threshold, it is determined that the second defocus amount is reliable, and P2−P1 is equal to the predetermined difference. When the value is equal to or smaller than the threshold value and P is equal to or smaller than the P threshold value, it is determined that the second defocus amount is not reliable. As shown in FIG. 3, there is almost no difference in the power P between the image 1 and the image 2 in the blurred state (hereinafter referred to as the large blurred state) in which the contrast of the image is greatly reduced as in the vicinity of the infinite end or the close end. . Therefore, a difference threshold is provided for the difference in power P. However, since the difference in power P is small even in the vicinity of the in-focus position, a P threshold value is further provided.
また、P2−P1が所定のP差分閾値以下の値をとる回数が所定回数以下の場合は第2のデフォーカス量は信頼性有りと判定し、P2−P1が所定のP差分閾値以下の値をとる回数が所定回数以下の場合は第2のデフォーカス量は信頼性無しと判定してもよい。図3に示すように、大ボケ状態のときは画像1と画像2のパワーPの差が無くなった状態が連続し、一方合焦状態のときはP2−P1≒0となるのは合焦近傍のみであることを利用する。 If the number of times P2−P1 takes a value equal to or smaller than the predetermined P difference threshold is equal to or smaller than the predetermined number, the second defocus amount is determined to be reliable, and P2−P1 is equal to or smaller than the predetermined P difference threshold. The second defocus amount may be determined to be unreliable if the number of times of taking is less than or equal to a predetermined number. As shown in FIG. 3, the state in which the difference between the powers P of the image 1 and the image 2 disappears continuously in the case of a large blur, while P2−P1≈0 in the in-focus state is near the in-focus state. Take advantage of being only.
以上のようにS605で第2のデフォーカス量の信頼性判定を終えると、第2の焦点検出部による焦点検出と信頼性判定処理を終了する(S606)。 As described above, when the reliability determination of the second defocus amount is completed in S605, the focus detection and reliability determination processing by the second focus detection unit is ended (S606).
このように本実施例では、所定のデフォーカス量に基づいてフォーカスレンズ104を動かすことで得られる画像1、画像2のパワーPからボケ評価値Cを算出してCテーブルを参照して第2のデフォーカス量を算出している。そしてその際に、パワーPに対して閾値を設けることで第2のデフォーカス量の信頼性を判定を可能としている。
As described above, in this embodiment, the blur evaluation value C is calculated from the power P of the image 1 and the image 2 obtained by moving the
また、前述したボケ評価値Cの算出方法として、BPF部205で抽出する周波数帯域の、中心近傍の周波数をωとしたときに、以下の(11)式のように、周波数の重みづけのための係数として1/ω^2をつけてもよい。
この目的は、複数のBPFを用いて複数のボケ評価値Cを算出して比較する場合に、周波数の二乗で規格化することで複数のボケ評価値Cの値を一致させることである。 The purpose is to make the values of the plurality of blur evaluation values C coincide by normalizing with the square of the frequency when the plurality of blur evaluation values C are calculated and compared using a plurality of BPFs.
また、第2のデフォーカス量を得るために2つの画像を用いるのではなく、3つの画像を用いてもよい。その場合は、3つの画像から複数のボケ評価値Cを算出したあとに複数のCを重みづけして組み合わせて第2の焦点検出に用いてもよい。 Also, instead of using two images to obtain the second defocus amount, three images may be used. In that case, after calculating a plurality of blur evaluation values C from three images, a plurality of C may be weighted and combined for use in the second focus detection.
このように、撮像素子の出力信号から水平又は垂直方向のどちらか一方向のみに抜き出した信号を用いた第1の焦点検出動作において、第1の焦点検出動作のあとに第2の焦点検出動作を行うことにより、AF後に行うピント補正を不要にすることが可能である。また、AF後に行うピント補正よりも高精度な焦点検出の実現が可能である。 As described above, in the first focus detection operation using the signal extracted from the output signal of the image sensor in only one of the horizontal and vertical directions, the second focus detection operation is performed after the first focus detection operation. It is possible to eliminate the need for focus correction performed after AF. In addition, it is possible to realize focus detection with higher accuracy than the focus correction performed after AF.
[実施例2]
以下、図8から図9を参照して、本発明の第2の実施例に係わる焦点調節装置を適用した撮像装置について説明する。なお、本実施例においては、第1の実施例に係わる焦点調節装置を有する撮像装置のブロック図(図1)、ボケ評価値を算出する部のブロック図(図2)は同様の構成であり、同様の動作を行うため、説明は省略する。また、画像信号のパワーとフォーカスレンズ位置の関係を示す図(図3)、デフォーカス範囲とフォーカスレンズ位置の関係を示す図(図5)に関しても、同様の構成であり、説明は省略する。
[Example 2]
Hereinafter, with reference to FIGS. 8 to 9, an image pickup apparatus to which the focus adjustment apparatus according to the second embodiment of the present invention is applied will be described. In this embodiment, the block diagram (FIG. 1) of the image pickup apparatus having the focus adjustment apparatus according to the first embodiment and the block diagram (FIG. 2) of the unit for calculating the blur evaluation value have the same configuration. Since the same operation is performed, the description is omitted. Also, a diagram showing the relationship between the power of the image signal and the focus lens position (FIG. 3) and a diagram showing the relationship between the defocus range and the focus lens position (FIG. 5) have the same configuration and will not be described.
第1の実施例との主な違いは、2点ある。1点目は、第1の実施例に対してSW1前の動作を加えた点である。この理由は詳しく後述する。2点目は、第2の焦点検出方式であるDFDに用いる所定のデフォーカス量だけ異なる2つの画像を得るために変更する撮影パラメータである。撮像画像のボケ状態に影響を与える撮影パラメータには、フォーカスレンズ位置、絞り量、焦点距離などが挙げられ、1つ以上変更すれば、所定のデフォーカス量だけ異なる2つの画像が得られる。第1の実施例ではフォーカスレンズ位置のみを変更することでボケ状態の異なる2つの画像を得たが、本実施例では、被写体が動いたり、撮影者の手振れしたりすることで第2のAF評価領域内の被写体が揺れ動くことを利用する。ただし被写体の移動や撮影者の手振れの方向は、図2の光軸方向OAであるとする。 There are two main differences from the first embodiment. The first point is that the operation before SW1 is added to the first embodiment. The reason for this will be described later in detail. The second point is a shooting parameter that is changed in order to obtain two images that differ by a predetermined defocus amount used in the DFD that is the second focus detection method. The shooting parameters that affect the blurring state of the captured image include the focus lens position, the aperture amount, the focal length, and the like. If one or more are changed, two images that differ by a predetermined defocus amount can be obtained. In the first embodiment, two images having different blur states are obtained by changing only the focus lens position. However, in this embodiment, the second AF can be performed by moving the subject or shaking the photographer. Use the fact that the subject in the evaluation area swings. However, the direction of movement of the subject and camera shake of the photographer is assumed to be the optical axis direction OA in FIG.
第2の実施例では、SW1前のAF動作に対して、被写体の移動や撮影者の手振れによって得られたボケ状態の異なる2つの画像から第2の焦点検出を行うことにより、事前にデフォーカス量を知ることができる。 In the second embodiment, defocusing is performed in advance by performing second focus detection from two images with different blur states obtained by subject movement or camera shake of the subject with respect to the AF operation before SW1. You can know the amount.
以下では、第2の実施例で行う処理動作の内容を、図8および図9のフローチャートを参照して説明する。 Hereinafter, the contents of the processing operation performed in the second embodiment will be described with reference to the flowcharts of FIGS.
合焦位置判定処理動作の説明
以下、図8を参照して、上記構成を有するカメラMPU(プロセッサ)125が実行する、本実施例による合焦動作(AF動作)について説明する。図8は、本実施例に係わる焦点調節装置を適用した撮像装置のAF動作のフローチャートを示す図である。この動作に関する制御プログラムは、カメラMPU125によって実行される。なお、図8において、「S」はステップの略であり、図4と同様の部分は同じ符号を付して示す。図8ではステップS801,802,803以外のステップは、第1の実施例の図1と同様の構成であり、同様の動作を行うため、説明は省略する。
Description of Focus Position Determination Processing Operation The focus operation (AF operation) according to the present embodiment, which is executed by the camera MPU (processor) 125 having the above configuration, will be described below with reference to FIG. FIG. 8 is a diagram illustrating a flowchart of the AF operation of the imaging apparatus to which the focus adjustment apparatus according to the present embodiment is applied. A control program related to this operation is executed by the
図8によると、まず、SW1がONかOFFかの判定を行い、SW1がONの場合はS802へ進む(S801のYes)。OFFの場合はS803へ進み(S802のNo)、SW1前のAF動作を行ったあと(S803)、フローはS401へ戻る。SW1前のAF動作の詳細については後述する。 According to FIG. 8, it is first determined whether SW1 is ON or OFF. If SW1 is ON, the process proceeds to S802 (Yes in S801). If it is OFF, the process proceeds to S803 (No in S802). After performing the AF operation before SW1 (S803), the flow returns to S401. Details of the AF operation before SW1 will be described later.
S802では、既に第2のデフォーカス量が算出できたか否かを判定する。S802で第2のデフォーカス量が算出できた場合はS408へ進み(S802のNo)、合焦か否かを判定する。S408で合焦と判定された場合(S108のYes)は、カメラMPU125は合焦表示を行い(S409)、本AF動作を終了する。
In step S802, it is determined whether the second defocus amount has already been calculated. If the second defocus amount can be calculated in S802, the process proceeds to S408 (No in S802), and it is determined whether or not it is in focus. If it is determined in S408 that focus is achieved (Yes in S108), the
一方、S802で第2のデフォーカス量が算出できなかったと判定された場合はS402へ進み(S802のYes)、第1の実施例と同様なAF動作を実行する。 On the other hand, if it is determined in S802 that the second defocus amount cannot be calculated, the process proceeds to S402 (Yes in S802), and the AF operation similar to that in the first embodiment is executed.
このように、SW1前に事前にデフォーカス量を検出しておくことで、第1の実施例で行っていたS402〜S411のステップを省略可能となる場合にAF動作の高速化が可能である。 Thus, by detecting the defocus amount in advance before SW1, it is possible to speed up the AF operation when the steps S402 to S411 performed in the first embodiment can be omitted. .
SW1前のAF動作の説明
以下、図8のステップS803で実行されるSW1前のAF動作を、図9を参照して説明する。図9は、本実施例におけるSW1前のAF動作(S803)のフローチャートを示す図であり、同図においても、「S」はステップの略であり、図4と同様の部分は同じ符号を付して示す。図9の動作に関する制御プログラムは、カメラMPU125によって実行される。
Description of AF Operation Before SW1 Hereinafter, the AF operation before SW1 executed in step S803 of FIG. 8 will be described with reference to FIG. FIG. 9 is a diagram showing a flowchart of the AF operation before SW1 (S803) in the present embodiment. In FIG. 9, “S” is an abbreviation of step, and the same parts as those in FIG. Show. A control program related to the operation of FIG. 9 is executed by the
まず、図9において、ステップS905以外のステップに関しては、第1の実施例の図4と同様の構成であり、同様の動作を行うため、説明は省略する。ただし、注意すべき点は図4のS404とS410のステップが、図9では無くなっている点である。この理由は後述する。また、SW1前なので、画像3および画像4の画像信号を取得するための露光をカメラUPU125の制御で行う。
First, in FIG. 9, steps other than step S905 are the same as those in FIG. 4 of the first embodiment, and the same operations are performed, so that the description thereof is omitted. However, it should be noted that the steps S404 and S410 in FIG. 4 are not shown in FIG. The reason for this will be described later. Further, since it is before SW1, exposure for acquiring image signals of
前述したように、本実施例では、被写体が動いたり、撮影者の手振れしたりすることで第2のAF評価領域内の被写体が揺れ動くことを利用して所定のデフォーカス量だけ異なる複数の画像信号を取得する。ただし、被写体の移動や撮影者の手振れの方向は、図2の光軸方向OAであるとする。OA以外の方向に被写体移動や撮影者の手振れがある一定生じた場合は、AF評価範囲内の画像に対してパターンマッチング(正規化相関)処理などを行い第2の焦点検出を行えばよい。 As described above, in this embodiment, a plurality of images differing by a predetermined defocus amount using the subject moving in the second AF evaluation area due to the subject moving or the camera shake of the photographer. Get the signal. However, the direction of movement of the subject and camera shake of the photographer is assumed to be the optical axis direction OA in FIG. If there is a certain amount of subject movement or camera shake in the direction other than OA, pattern matching (normalized correlation) processing or the like may be performed on the image within the AF evaluation range to perform second focus detection.
以下において、光軸方向OAに被写体の移動や撮影者の手振れが生じる前の、あるボケ状態の画像を画像3、生じた後の画像を画像4と呼ぶことにする。
Hereinafter, an image in a certain blurred state before the movement of the subject or the camera shake of the photographer in the optical axis direction OA is referred to as an
S905では、第2のデフォーカス間隔が、デフォーカス間隔閾値より大きいか否かを判定する。ただし、第2のデフォーカス間隔とは、画像3から得られる第1のデフォーカス量と、画像4から得られる第1のデフォーカス量の差分を指すとする。また、デフォーカス間隔閾値とは、第2のデフォーカス間隔に対して判定に用いる閾値を指すとする。S905で第2のデフォーカス間隔を算出するためには、画像3、画像4の露光を終えている必要がある。つまり、S102の露光が1回以下の場合は、S905はNoとなりフローはS402に帰還し露光を行う。
In S905, it is determined whether or not the second defocus interval is larger than the defocus interval threshold value. However, the second defocus interval refers to a difference between the first defocus amount obtained from the
また、画像3、画像4に関して露光が二回以上である場合において、第2のデフォーカス間隔がデフォーカス間隔閾値未満ならば(S905のNo)、フローはS402に戻り露光を行う。即ち、画像3と画像4のボケ状態の違いが、デフォーカス閾値以上の所定のデフォーカス間隔となるまで、S905、S402、S403を繰り返す。
If the second defocus interval is less than the defocus interval threshold in the case where exposure is performed twice or more with respect to the
第2のデフォーカス間隔がデフォーカス間隔閾値より大きい場合(S905のNo)、S106へ進み画像3と画像4を用いて第2の焦点検出とその信頼性判定を行う。
When the second defocus interval is larger than the defocus interval threshold (No in S905), the process proceeds to S106, and the second focus detection and the reliability determination are performed using the
なお、留意すべき点は、画像3と画像4のデフォーカス量が変化することは、図3のL1’,L2’の幅が変化することに他ならないため、(9)式により算出されたボケ評価値Cの値も変化する点である。第1の実施例では、フォーカスレンズ位置の間隔は常に所定のデフォーカス間隔で動かしていたが、本実施例は、デフォーカス閾値以上のさまざまな値のデフォーカス間隔によって第2の焦点検出が行われる(S406)。そこで、第2の焦点検出に用いた画像3と画像4のデフォーカス間隔によって、参照するCテーブルも変化させる必要がある。そこで、S406では複数のCテーブルをメモリに記憶しておくことが望ましい。
It should be noted that the change in the defocus amount between the
さらに、SW1前にはできるだけレンズを駆動しないことが望ましいものの、レンズ駆動を行ってもよい。所定のデフォーカス量だけ異なる2つの画像を得る際に、本実施例のようにAF評価領域内で被写体が揺れ動くことを利用する場合と、第1の実施例で説明したようにフォーカスレンズ位置などの撮影パラメータの変更を利用する場合とを、併用しても構わない。 Further, although it is desirable not to drive the lens as much as possible before SW1, lens driving may be performed. When two images differing by a predetermined defocus amount are obtained, the case where the subject is shaken within the AF evaluation area as in the present embodiment and the focus lens position as described in the first embodiment are used. It may be used in combination with the case of using the change of the shooting parameter.
また、第1の実施例では、AF動作開始時に、既にフォーカスレンズ位置が合焦位置に近かった場合においても、第2の焦点検出のために用いる2枚の画像を撮像するためにフォーカスレンズを駆動して第2の画像を撮像する必要があった。つまり、合焦レンズ位置から離れる駆動を入れなければならないという欠点があった。しかし、本実施例によれば、SW1前にはできるだけレンズを駆動しないことが望ましいため、レンズを駆動させずに第2の焦点検出を行うことが可能となる。 In the first embodiment, the focus lens is used to capture two images used for the second focus detection even when the focus lens position is already close to the in-focus position at the start of the AF operation. It was necessary to drive to capture the second image. That is, there is a drawback that it is necessary to drive away from the focusing lens position. However, according to the present embodiment, it is desirable that the lens is not driven as much as possible before SW1, so that the second focus detection can be performed without driving the lens.
このように、撮像素子の出力信号から水平又は垂直方向のみのどちらか一方向に抜き出した信号を用いた第1の焦点検出動作において、第1の焦点検出動作のあとに第2の焦点検出動作を行うことにより、AF後に行うピント補正を不要にすることが可能である。また、AF後に行うピント補正よりも高精度な焦点検出の実現が可能である。更に、SW1前の動作を加えることで、SW2時にAF結果が得られている場合も含まれたため、より高速な焦点検出の実現が可能である。 As described above, in the first focus detection operation using the signal extracted from the output signal of the image sensor in only one of the horizontal and vertical directions, the second focus detection operation is performed after the first focus detection operation. It is possible to eliminate the need for focus correction performed after AF. In addition, it is possible to realize focus detection with higher accuracy than the focus correction performed after AF. Further, by adding the operation before SW1, the case where an AF result is obtained at SW2 is included, so that it is possible to realize focus detection at a higher speed.
また、上述した実施の形態の処理は、各機能を具現化したソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に提供してもよい。そして、そのシステム或いは装置のコンピュータ(又はCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによって、前述した実施形態の機能を実現することができる。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスクなどを用いることができる。或いは、CD−ROM、CD−R、磁気テープ、不揮発性のメモリーカード、ROMなどを用いることもできる。 Further, in the processing of the above-described embodiment, a storage medium in which a program code of software that embodies each function is recorded may be provided to the system or apparatus. The functions of the above-described embodiments can be realized by the computer (or CPU or MPU) of the system or apparatus reading out and executing the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention. As a storage medium for supplying such a program code, for example, a floppy (registered trademark) disk, a hard disk, an optical disk, a magneto-optical disk, or the like can be used. Alternatively, a CD-ROM, CD-R, magnetic tape, nonvolatile memory card, ROM, or the like can be used.
また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した各実施例の機能が実現される場合も含まれている。 The functions of the above-described embodiments are not only realized by executing the program code read by the computer. Including the case where the OS (operating system) running on the computer performs part or all of the actual processing based on the instruction of the program code, and the functions of the above-described embodiments are realized by the processing. It is.
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリーに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含むものである。 Furthermore, the program code read from the storage medium may be written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. After that, the CPU of the function expansion board or function expansion unit performs part or all of the actual processing based on the instruction of the program code, and the functions of the above-described embodiments are realized by the processing. Is also included.
また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。 Although the present invention has been described in detail based on the preferred embodiments thereof, the present invention is not limited to these specific embodiments, and various forms without departing from the gist of the present invention are also included in the present invention. included. Furthermore, each embodiment mentioned above shows only one embodiment of this invention, and it is also possible to combine each embodiment suitably.
Claims (15)
前記画像信号を用いて、前記撮像手段の撮像面の第1の方向での前記被写体像のピント状態を検出して前記フォーカスレンズの第1の駆動情報を生成する第1の焦点検出手段と、
デフォーカス量が異なるボケ状態の前記被写体像に対応する複数の画像信号を用いて、前記第1の方向を含む複数の方向について、前記フォーカスレンズの位置と相関関係を有するボケ状態の評価値を生成し、前記評価値に基づいて前記フォーカスレンズの第2の駆動情報を生成する第2の焦点検出手段と、
前記評価値に従って、前記第1の駆動情報および前記第2の駆動情報のいずれかを用いて前記フォーカスレンズの駆動を制御する焦点調節手段と、
を備えることを特徴とする焦点調節装置。 An acquisition means for acquiring an image signal obtained by imaging an object image formed by an imaging optical system including a focus lens by an imaging means;
First focus detection means for generating a first drive information of the focus lens by detecting a focus state of the subject image in a first direction of an imaging surface of the imaging means using the image signal;
Using a plurality of image signals corresponding to the subject images in the defocused state having different defocus amounts, evaluation values of the defocused state having a correlation with the position of the focus lens are obtained for a plurality of directions including the first direction. Second focus detection means for generating and generating second drive information of the focus lens based on the evaluation value;
Focus adjusting means for controlling the driving of the focus lens using either the first driving information or the second driving information according to the evaluation value;
A focus adjusting apparatus comprising:
フォーカスレンズを含む撮影光学系で形成された被写体像を撮像手段で撮像して得られた画像信号を取得する取得工程と、
前記画像信号を用いて、前記撮像手段の撮像面の第1の方向でのピント状態を検出して前記フォーカスレンズの第1の駆動情報を生成する第1の焦点検出工程と、
デフォーカス量が異なるボケ状態の前記被写体像に対応する複数の画像信号を用いて、前記第1の方向を含む複数の方向について、前記フォーカスレンズの位置と相関関係を有するボケ状態の評価値を生成し、前記評価値に基づいて前記フォーカスレンズの第2の駆動情報を生成する第2の焦点検出工程と、
前記評価値に従って、前記第1の駆動情報および前記第2の駆動情報のいずれかを用いて前記フォーカスレンズの駆動を制御する焦点調節工程と、
を備えることを特徴とする制御方法。 In the control method of the focus adjustment device,
An acquisition step of acquiring an image signal obtained by imaging a subject image formed by an imaging optical system including a focus lens by an imaging unit;
A first focus detection step of generating a first drive information of the focus lens by detecting a focus state in the first direction of the imaging surface of the imaging means using the image signal;
Using a plurality of image signals corresponding to the subject images in the defocused state having different defocus amounts, evaluation values of the defocused state having a correlation with the position of the focus lens are obtained for a plurality of directions including the first direction. A second focus detection step for generating and generating second drive information of the focus lens based on the evaluation value;
A focus adjustment step of controlling driving of the focus lens using either the first drive information or the second drive information according to the evaluation value;
A control method comprising:
前記フォーカスレンズを駆動する駆動手段と、
前記撮影光学系により形成された被写体像を撮像して画像信号を生成する撮像手段と、
前記撮影光学系で形成された異なるボケ状態の被写体像を前記撮像手段で撮像して得られた画像信号を取得する取得手段と、
前記画像信号を用いて、前記撮像手段の撮像面の第1の方向でのピント状態を検出して前記フォーカスレンズの第1の駆動情報を生成する第1の焦点検出手段と、
デフォーカス量が異なるボケ状態の前記被写体像に対応する複数の画像信号を用いて、前記第1の方向を含む複数の方向について、前記フォーカスレンズの位置と相関関係を有するボケ状態の評価値を生成し、前記評価値に基づいて前記フォーカスレンズの第2の駆動情報を生成する第2の焦点検出手段と、
前記評価値に従って、前記第1の駆動情報および前記第2の駆動情報のいずれかを用いて前記フォーカスレンズの駆動を制御する焦点調節手段と、
を備え、
前記焦点調節手段は、前記駆動手段を制御して、前記第1の駆動情報および前記第2の駆動情報のいずれかに従って前記フォーカスレンズを駆動することを特徴とする撮像装置。 A taking optical system including a focus lens capable of moving back and forth in the optical axis direction
Driving means for driving the focus lens;
Imaging means for capturing an image of a subject formed by the imaging optical system and generating an image signal;
An acquisition means for acquiring an image signal obtained by imaging the subject images in different blur states formed by the imaging optical system with the imaging means;
First focus detection means for generating a first drive information of the focus lens by detecting a focus state in the first direction of the imaging surface of the imaging means using the image signal;
Using a plurality of image signals corresponding to the subject images in the defocused state having different defocus amounts, evaluation values of the defocused state having a correlation with the position of the focus lens are obtained for a plurality of directions including the first direction. Second focus detection means for generating and generating second drive information of the focus lens based on the evaluation value;
Focus adjusting means for controlling the driving of the focus lens using either the first driving information or the second driving information according to the evaluation value;
With
The focus adjustment unit controls the driving unit to drive the focus lens according to either the first driving information or the second driving information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014141568A JP6300670B2 (en) | 2014-07-09 | 2014-07-09 | Focus adjustment apparatus, focus adjustment method and program, and imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014141568A JP6300670B2 (en) | 2014-07-09 | 2014-07-09 | Focus adjustment apparatus, focus adjustment method and program, and imaging apparatus |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016018116A true JP2016018116A (en) | 2016-02-01 |
JP2016018116A5 JP2016018116A5 (en) | 2017-08-10 |
JP6300670B2 JP6300670B2 (en) | 2018-03-28 |
Family
ID=55233369
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014141568A Expired - Fee Related JP6300670B2 (en) | 2014-07-09 | 2014-07-09 | Focus adjustment apparatus, focus adjustment method and program, and imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6300670B2 (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016218206A (en) * | 2015-05-19 | 2016-12-22 | キヤノン株式会社 | Imaging device and control method of the same |
DE112017000611T5 (en) | 2016-02-02 | 2018-10-11 | Kabushiki Kaisha Kobe Seiko Sho (Kobe Steel, Ltd.) | Kippsegmenttraglager |
US10904425B2 (en) | 2017-11-06 | 2021-01-26 | Canon Kabushiki Kaisha | Image processing apparatus, control method therefor, and storage medium for evaluating a focusing state of image data |
JP2021032990A (en) * | 2019-08-21 | 2021-03-01 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | Control device, imaging system, control method and program |
US11323610B2 (en) | 2018-09-28 | 2022-05-03 | Samsung Electronics Co., Ltd. | Autofocus method and electronic device performing same |
JP2023060003A (en) * | 2016-10-26 | 2023-04-27 | モレキュラー デバイシーズ, エルエルシー | Trans-illumination imaging with use of interference fringes to enhance contrast and find focus |
CN116886889A (en) * | 2023-08-01 | 2023-10-13 | 无锡维凯科技有限公司 | Camera focusing detection device |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007139894A (en) * | 2005-11-15 | 2007-06-07 | Olympus Corp | Imaging apparatus |
JP2007139893A (en) * | 2005-11-15 | 2007-06-07 | Olympus Corp | Focusing detection device |
JP2007199633A (en) * | 2006-01-30 | 2007-08-09 | Olympus Corp | Focusing detector |
JP2009175279A (en) * | 2008-01-22 | 2009-08-06 | Olympus Imaging Corp | Camera system |
JP2010016743A (en) * | 2008-07-07 | 2010-01-21 | Olympus Corp | Distance measuring apparatus, distance measuring method, distance measuring program, or imaging device |
JP2014063142A (en) * | 2012-08-31 | 2014-04-10 | Canon Inc | Distance detection device, imaging apparatus, program, recording medium, and distance detection method |
-
2014
- 2014-07-09 JP JP2014141568A patent/JP6300670B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007139894A (en) * | 2005-11-15 | 2007-06-07 | Olympus Corp | Imaging apparatus |
JP2007139893A (en) * | 2005-11-15 | 2007-06-07 | Olympus Corp | Focusing detection device |
JP2007199633A (en) * | 2006-01-30 | 2007-08-09 | Olympus Corp | Focusing detector |
JP2009175279A (en) * | 2008-01-22 | 2009-08-06 | Olympus Imaging Corp | Camera system |
JP2010016743A (en) * | 2008-07-07 | 2010-01-21 | Olympus Corp | Distance measuring apparatus, distance measuring method, distance measuring program, or imaging device |
JP2014063142A (en) * | 2012-08-31 | 2014-04-10 | Canon Inc | Distance detection device, imaging apparatus, program, recording medium, and distance detection method |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016218206A (en) * | 2015-05-19 | 2016-12-22 | キヤノン株式会社 | Imaging device and control method of the same |
DE112017000611T5 (en) | 2016-02-02 | 2018-10-11 | Kabushiki Kaisha Kobe Seiko Sho (Kobe Steel, Ltd.) | Kippsegmenttraglager |
JP2023060003A (en) * | 2016-10-26 | 2023-04-27 | モレキュラー デバイシーズ, エルエルシー | Trans-illumination imaging with use of interference fringes to enhance contrast and find focus |
JP7549691B2 (en) | 2016-10-26 | 2024-09-11 | モレキュラー デバイシーズ, エルエルシー | Transillumination imaging with use of interference fringes to enhance contrast and find focus - Patents.com |
US10904425B2 (en) | 2017-11-06 | 2021-01-26 | Canon Kabushiki Kaisha | Image processing apparatus, control method therefor, and storage medium for evaluating a focusing state of image data |
US11323610B2 (en) | 2018-09-28 | 2022-05-03 | Samsung Electronics Co., Ltd. | Autofocus method and electronic device performing same |
JP2021032990A (en) * | 2019-08-21 | 2021-03-01 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | Control device, imaging system, control method and program |
CN116886889A (en) * | 2023-08-01 | 2023-10-13 | 无锡维凯科技有限公司 | Camera focusing detection device |
CN116886889B (en) * | 2023-08-01 | 2024-03-15 | 无锡维凯科技有限公司 | Camera focusing detection device |
Also Published As
Publication number | Publication date |
---|---|
JP6300670B2 (en) | 2018-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6300670B2 (en) | Focus adjustment apparatus, focus adjustment method and program, and imaging apparatus | |
JP6405243B2 (en) | Focus detection apparatus and control method thereof | |
US8027581B2 (en) | Imaging apparatus, imaging apparatus control method, and computer program | |
JP5676988B2 (en) | Focus adjustment device | |
US9137436B2 (en) | Imaging apparatus and method with focus detection and adjustment | |
JP6506560B2 (en) | Focus control device and method therefor, program, storage medium | |
US10986262B2 (en) | Imaging apparatus, control method, and non-transitory storage medium | |
JPWO2012132486A1 (en) | Imaging apparatus, imaging method, program, and program storage medium | |
JP5936358B2 (en) | Image display device, image display method, imaging device and control method thereof, program, and storage medium storing the same | |
JP2012113171A (en) | Imaging device and control method therefor | |
US10477101B2 (en) | Focus detection apparatus, control method and storage medium | |
JP2010091669A (en) | Imaging device | |
JP5963552B2 (en) | Imaging device | |
US10412321B2 (en) | Imaging apparatus and image synthesis method | |
US20150264249A1 (en) | Image processing apparatus and image processing method | |
JP2013097154A (en) | Distance measurement device, imaging apparatus, and distance measurement method | |
JP2016142999A (en) | Imaging device and control method of the same | |
JP6501536B2 (en) | Imaging device, control method therefor, program, storage medium | |
JP2016156950A (en) | Automatic focus adjustment device and control method of the same | |
JP2015232620A (en) | Imaging device, control method and program | |
JP6429724B2 (en) | Imaging apparatus and control method thereof | |
JP6305016B2 (en) | FOCUS CONTROL DEVICE, FOCUS CONTROL DEVICE CONTROL METHOD, AND IMAGING DEVICE | |
JP6223502B2 (en) | Image processing apparatus, image processing method, program, and storage medium storing the same | |
JP2016099432A (en) | Focus detection device, and method, program and storage medium | |
JP2009017093A (en) | Image recognizing device, focus adjusting device and imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170626 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170626 |
|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20171214 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180117 |
|
TRDD | Decision of grant or rejection written | ||
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20180126 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180227 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6300670 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |