JP2011013324A - Image pickup apparatus and method of controlling the same - Google Patents
Image pickup apparatus and method of controlling the same Download PDFInfo
- Publication number
- JP2011013324A JP2011013324A JP2009155603A JP2009155603A JP2011013324A JP 2011013324 A JP2011013324 A JP 2011013324A JP 2009155603 A JP2009155603 A JP 2009155603A JP 2009155603 A JP2009155603 A JP 2009155603A JP 2011013324 A JP2011013324 A JP 2011013324A
- Authority
- JP
- Japan
- Prior art keywords
- phase difference
- focus control
- subject
- contrast information
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、ビデオカメラ等の撮像装置に関し、特にコントラスト検出方式と位相差検出方式でのフォーカス制御が可能な撮像装置及びその制御方法に関する。 The present invention relates to an imaging apparatus such as a video camera, and more particularly to an imaging apparatus capable of focus control by a contrast detection method and a phase difference detection method, and a control method thereof.
撮像装置のフォーカス制御（オートフォーカス：ＡＦ）方式には、撮像により生成された画像の高周波成分から得られたコントラスト情報を用いるコントラスト検出方式（ＴＶ−ＡＦ方式ともいう）がある。また、位相差検出光学系により形成された２つの被写体像の位相差を用いる位相差検出方式もある。さらに、コントラスト検出方式と位相差検出方式を組み合わせたハイブリッド方式もある。
位相差検出方式では、原理的に被写体までの距離情報を得ることができるためにフォーカス制御を短時間で行うことが可能であるが、撮影光学系とは別の位相差検出光学系を用いるためにフォーカス制御の精度が若干低い。一方、コントラスト検出方式では、原理的に被写体までの距離情報を得ることができないためにフォーカス制御に多少の時間を要するが、高精度なフォーカス制御が可能である。
ハイブリッド方式では、位相差検出方式によって高速に合焦近傍位置を求め、コントラスト検出方式で高精度な合焦状態へとフォーカス制御を行えるので、高速かつ高精度なフォーカス制御を可能とする。また、ハイブリッド方式を用いると、位相差検出方式では対応できないマクロ撮影等の極端な至近距離での撮影を行う場合でも、コントラスト検出方式で対応することができるというメリットもある。
さらに、特許文献１には、画像中から人物の顔等の特定被写体を検出し、該特定被写体を合焦対象としてハイブリッド方式により高速かつ高精度のフォーカス制御を行う撮像装置が開示されている。
As a focus control (autofocus: AF) system of an imaging apparatus, there is a contrast detection system (also referred to as a TV-AF system) that uses contrast information obtained from high-frequency components of an image generated by imaging. There is also a phase difference detection method that uses a phase difference between two subject images formed by a phase difference detection optical system. Further, there is a hybrid system that combines a contrast detection system and a phase difference detection system.
In the phase difference detection method, since distance information to the subject can be obtained in principle, focus control can be performed in a short time, but because a phase difference detection optical system different from the photographing optical system is used. However, the accuracy of focus control is slightly low. On the other hand, in the contrast detection method, since distance information to the subject cannot be obtained in principle, focus control takes some time, but highly accurate focus control is possible.
In the hybrid method, a focus vicinity position can be obtained at high speed by the phase difference detection method, and focus control can be performed to a highly accurate focus state by the contrast detection method, so that high-speed and high-precision focus control is possible. In addition, when the hybrid method is used, there is an advantage that even when photographing at an extremely close distance such as macro photographing that cannot be handled by the phase difference detection method, the contrast detection method can be used.
Further, Patent Document 1 discloses an imaging apparatus that detects a specific subject such as a human face from an image and performs high-speed and high-precision focus control by a hybrid method using the specific subject as a focusing target.
しかしながら、特許文献１にて開示された撮像装置では、特定被写体に対して位相差検出方式によってフォーカス制御を行っている（フォーカスレンズを移動させている）間は、特定被写体に対するコントラスト検出方式での評価を行っていない。このため、特定被写体を追尾しながら該特定被写体に対する位相差検出方式でのフォーカス制御からコントラスト検出方式でのフォーカス制御に移行したときに、改めて特定被写体のコントラスト情報を取得しなければならず、合焦状態を得るまでの時間が長くなる。
本発明は、ハイブリッド方式により特定被写体に対する高精度なフォーカス制御をより高速で行えるようにした撮像装置及びその制御方法を提供する。
However, in the imaging device disclosed in Patent Document 1, while the focus control is performed on the specific subject by the phase difference detection method (the focus lens is moved), the contrast detection method for the specific subject is used. Not evaluated. For this reason, when shifting from the focus control using the phase difference detection method to the focus control using the contrast detection method while tracking the specific subject, the contrast information of the specific subject must be acquired again. The time until the focus state is obtained becomes longer.
The present invention provides an imaging apparatus capable of performing high-precision focus control on a specific subject at a higher speed by a hybrid method, and a control method therefor.
本発明の一側面としての撮像装置は、撮影光学系により形成された被写体像を光電変換する撮像素子と、該撮像素子の出力を用いて生成された画像において特定被写体を検出する被写体検出手段と、位相差検出光学系により形成された２つの被写体像の位相差を検出する位相差検出手段と、画像のコントラスト情報を生成するコントラスト情報生成手段と、撮影光学系のフォーカス制御として、コントラスト情報生成手段から取得したコントラスト情報を用いるコントラストフォーカス制御および位相差検出手段から取得した位相差を用いる位相差フォーカス制御を行う制御手段とを有する。制御手段は、画像において特定被写体が検出されることに応じて、該特定被写体に対応する２つの被写体像の位相差を用いて位相差フォーカス制御を行い、該位相差フォーカス制御が終了した後に特定被写体のコントラスト情報を用いてコントラストフォーカス制御を行う。そして、制御手段は、位相差フォーカス制御が終了する前に、特定被写体のコントラスト情報の取得を開始することを特徴とする。 An imaging apparatus according to one aspect of the present invention includes an imaging element that photoelectrically converts a subject image formed by a photographing optical system, and a subject detection unit that detects a specific subject in an image generated using the output of the imaging element. , A phase difference detection means for detecting a phase difference between two object images formed by the phase difference detection optical system, a contrast information generation means for generating image contrast information, and contrast information generation as focus control of the photographing optical system Control means for performing contrast focus control using the contrast information acquired from the means and phase difference focus control using the phase difference acquired from the phase difference detection means. The control means performs phase difference focus control using the phase difference between the two subject images corresponding to the specific subject in response to detection of the specific subject in the image, and specifies the specific phase after the phase difference focus control is completed. Contrast focus control is performed using the contrast information of the subject. The control means is characterized in that the acquisition of the contrast information of the specific subject is started before the phase difference focus control is completed.
より具体的には、例えば、制御手段は、コントラストフォーカス制御として、画像において特定被写体の検出に関係なく設定された第１の画像領域のコントラスト情報を用いる第１のコントラストフォーカス制御と、画像において特定被写体の検出位置に対応する第２の画像領域のコントラスト情報を用いる第２のコントラストフォーカス制御とを行う。また、位相差フォーカス制御として、位相差検出手段の検出視野内において画像における特定被写体の検出に関係なく設定された第１の検出領域で検出された位相差を用いる第１の位相差フォーカス制御と、該検出視野内において画像における特定被写体の検出位置に対応する第２の検出領域で検出された位相差を用いる第２の位相差フォーカス制御とを行う。制御手段は、第１のコントラストフォーカス制御を行っている状態で画像において特定被写体が検出されることに応じて、第２の位相差フォーカス制御を行い、該第２の位相差フォーカス制御が終了した後に第２のコントラストフォーカス制御を行う。そして、制御手段は、第２の位相差フォーカス制御が終了する前に、第２の画像領域のコントラスト情報の取得を開始することを特徴とする。 More specifically, for example, the control means performs first contrast focus control using contrast information of the first image area set regardless of detection of a specific subject in the image as contrast focus control, and specifies in the image. Second contrast focus control using the contrast information of the second image area corresponding to the detection position of the subject is performed. Further, as the phase difference focus control, a first phase difference focus control using a phase difference detected in a first detection region set irrespective of detection of a specific subject in an image in a detection field of view of the phase difference detection means; Then, the second phase difference focus control using the phase difference detected in the second detection area corresponding to the detection position of the specific subject in the image in the detection field is performed. The control means performs the second phase difference focus control in response to the detection of the specific subject in the image in the state in which the first contrast focus control is performed, and the second phase difference focus control is completed. Later, second contrast focus control is performed. The control means is characterized in that the acquisition of the contrast information of the second image region is started before the second phase difference focus control is completed.
本発明では、特定被写体に対する高速かつ高精度なフォーカス制御を行うことができる。 In the present invention, high-speed and high-precision focus control can be performed on a specific subject.
以下、本発明の実施例について図面を参照しながら説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図１には、本発明の実施例１である撮像装置としてのビデオカメラの構成を示している。ビデオカメラは、撮影レンズ（撮影光学系）１０１と、撮像素子１０２と、撮像ＡＦＥ（ＡＦＥ１）１０３と、位相差レンズ（位相差検出光学系）１０４と、位相差センサ１０５と、位相差ＡＦＥ（ＡＦＥ２）１０６とを有する。また、ビデオカメラは、ＴＶ−ＡＦ評価値演算部（コントラスト情報生成手段）１０７と、顔検出処理部（被写体検出手段）１０８と、位相差枠設定部１０９と、位相差演算部１１０と、レンズ位置制御部（フォーカス制御手段）１１１とを有する。さらに、ビデオカメラは、画像処理部１１２と、表示・記録部１１３とを有する。
撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサにより構成されており、撮影レンズ１０１により形成された被写体像を光電変換する。撮像ＡＦＥ１０３は、撮像素子１０２から出力されたアナログ信号の増幅やデジタル信号への変換を行い、撮像データ（以下、画像データ又は撮影画像という）を生成する。
位相差レンズ１０４は、撮影レンズ１０１とは別の光学系として設けられている。位相差センサ１０５は、位相差レンズ１０４により形成された同一被写体の２像（２つの被写体像）を２つの受光素子（ラインセンサ）により光電変換し、該２像に対応する２つの像信号を出力する。位相差ＡＦＥ１０６は、位相差センサ１０５から出力された２つの像信号（アナログ信号）の増幅やデジタル信号への変換を行う。位相差演算部１１０は、該２つの像信号間の位相差、つまりは上記２つの被写体像間の位相差を算出し、さらに該位相差に基づいて被写体までの距離を算出する。位相差センサ１０５と位相差演算部１１０により、位相差検出手段が構成される。
なお、位相差レンズ１０４が、撮影レンズ１０１とは全く別の光学系として設けられていることから、本実施例にいう位相差検出方式は、外測位相差検出方式とも称される。ただし、本発明は、外測位相差検出方式に限らず、撮影レンズ１０１の一部を用いて位相差検出光学系を用いた内測位相差検出方式を用いる場合にも適用することが可能である。
ＴＶ−ＡＦ評価値演算部１０７は、撮像ＡＦＥ１０３からの画像データから高周波成分を抽出して所定の処理を行うことで、該画像データのコントラスト情報であるＴＶ−ＡＦ評価値を生成する。ＴＶ−ＡＦ評価値は、撮像素子１０２上に形成された被写体像の焦点状態に対応した値である。
顔検出処理部１０８は、撮像ＡＦＥ１０３からの画像データ（撮影画像）から、パターンマッチング等の画像処理技術を用いて特定被写体としての人物の顔を検出する。
ＴＶ−ＡＦ評価値演算部１０７は、顔検出処理部１０８にて顔が検出された場合には、撮影画像中における該顔検出位置に対応する画像領域であるＴＶ−ＡＦ枠（焦点検出領域）を選択し、このＴＶ−ＡＦ枠内でＴＶ−ＡＦ評価値を算出（生成）する。
また、位相差枠設定部１０９は、顔検出処理部１０８にて顔が検出された場合には、位相差センサ１０５の検出視野内において、画像内での顔の検出位置に対応する位相差検出領域である位相差枠を選択する。そして、位相差センサ１０５及び位相差演算部１１０は、該位相差枠内の特定被写体の２像間の位相差を検出する。
レンズ位置制御部１１１は、位相差演算部１１０にて算出された被写体距離の情報を用いる位相差検出方式のフォーカス制御と、ＴＶ−ＡＦ評価値演算部１０７にて算出されたＴＶ−ＡＦ評価値を用いるコントラスト検出方式のフォーカス制御とを行う。フォーカス制御は、具体的には、撮影レンズ１０１に含まれる不図示のフォーカスレンズの位置の制御である。なお、以下の説明において、位相差検出方式のフォーカス制御を位相差ＡＦ（位相差フォーカス制御）といい、コントラスト検出方式のフォーカス制御をＴＶ−ＡＦ（コントラストフォーカス制御）という。
画像処理部１１２は、撮像ＡＦＥ１０３からの画像データに対して所定の画像処理を行うことで、表示や記録に適した画像信号（映像信号）を生成する。表示・記録部１１３は、画像処理部１１２にて生成された画像信号を不図示のモニタに表示したり、不図示の記録媒体に記録したりする。
次に、本実施例で行われるＴＶ−ＡＦについて説明する。
図２には、ＴＶ−ＡＦ評価値演算部１０７の構成を示している。本実施例では、図２の右下に示すように、ＴＶ−ＡＦ枠として、画面中央のＴＶ−ＡＦ枠と画面左側のＴＶ−ＡＦ枠と画面右側のＴＶ−ＡＦ枠（以下、これらを中央枠、左枠および右枠ともいう）のうちいずれか１つを選択できる。ＴＶ−ＡＦ評価値演算部１０７は、選択されたＴＶ−ＡＦ枠でＴＶ−ＡＦ評価値を算出し、該算出したＴＶ−ＡＦ評価値をレンズ位置制御部１１１に出力する。
ＴＶ−ＡＦ評価値演算部１０７に入力された画像データ（ここでは、入力映像ともいう）は、ＴＥバンドパスフィルタ２０１とＦＥバンドパスフィルタ２１１を通過して、ＡＢＳ２０２，２１２にて絶対値化される。ＡＢＳ２０２，２１２のそれぞれから出力された絶対値信号は、ＴＥラインピークホールド２０３とＦＥラインピークホールド２１３に入力される。
各ラインピークホールドは、入力映像の水平１ラインの中で、ＡＢＳから出力された最も大きな絶対値信号の値（絶対値）を保持する。そして、垂直枠信号発生器２３１は、入力映像の垂直座標の変化に応じて、ＴＥラインピークホールド２０３とＦＥラインピークホールド２１３を制御する。これにより、ＴＥラインピークホールド２０３とＦＥラインピークホールド２１３にて保持されている絶対値がそれぞれ、ＴＥ積分計算部２０４及びＦＥ積分計算部２１４に入力される。
水平枠信号発生器２２１は、入力映像の水平座標が上記３つのＴＶ−ＡＦ枠のうちどのＴＶ−ＡＦ枠に対応するかを確認しながら、ＡＢＳ２０１，２０２から出力される絶対値信号を、対応するＴＶ−ＡＦ枠のラインピークホールドに入力させる。入力映像の１フレームでのＴＶ−ＡＦ評価値の算出が終わると、ＴＶ−ＡＦ枠ごとにＴＥ積分計算部２０４とＦＥ積分計算部２１４からＴＥ積分値とＦＥ積分値が出力される。
ＴＥ積分値とＦＥ積分値はそれぞれ、合焦状態、合焦近傍状態および大ボケ状態で異なる値を示す。ＴＥ積分値とＦＥ積分値の和の値は、図３に示すように、フォーカスレンズの位置の変化に対して合焦状態（合焦位置）でピークを示すように変化する。レンズ位置制御部１１１は、ＴＥ積分値とＦＥ積分値の和の値をピーク値に近づけるようにフォーカスレンズの位置を移動（シフト）させることで、ＴＶ−ＡＦによる合焦状態を得る。
ＴＶ−ＡＦ評価値演算部１０７は、顔検出処理部１０８にて顔が検出されない場合は、上述した３つのＴＶ−ＡＦ枠のうち中央枠（第１の画像領域）を選択し、該中央枠のＴＶ−ＡＦ評価値を算出する。すなわち、中央枠は、画像内において特定被写体の検出に関係なく設定されるＴＶ−ＡＦ枠である。この場合のＴＶ−ＡＦを、以下の説明において、通常ＴＶ−ＡＦ（第１のコントラストフォーカス制御）という。
一方、顔検出処理部１０８にて顔が検出された場合は、ＴＶ−ＡＦ評価値演算部１０７は、該顔の検出位置に基づいて、該顔が含まれるＴＶ−ＡＦ枠（中央枠、左枠および右枠のうち顔の検出位置に対応するＴＶ−ＡＦ枠）を選択してＴＶ−ＡＦ評価値を算出する。この場合のＴＶ−ＡＦを、以下の説明において、顔優先ＴＶ−ＡＦ（第２のコントラストフォーカス制御）という。
次に、本実施例で行われる位相差ＡＦについて説明する。
図４には、図１に示した位相差レンズ１０４と位相差センサ１０５とを示している。位相差レンズ１０４は、それぞれの光軸が平行になるように配置された２つのレンズＡ，Ｂにより構成されている。該２つのレンズＡ，Ｂは、同一の被写体ＯＢＪの２つの像を位相差センサ１０５上に形成する。位相差センサ１０５から出力される２つの像信号は、被写体距離Ｄに対応する位相差を有し、これらを重ね合わせると図５に示すような信号が得られる。図５において、横軸は位相差センサ１０５における受光素子（画素）の位置を示し、縦軸は位相差センサ１０５からの出力信号のレベルを示している。
位相差演算部１１０は、該２つの像信号間の位相差ｄ１やｄ２を算出し、該位相差を用いた三角測量法にて被写体距離Ｄを算出する。レンズ位置制御部１１１は、被写体距離Ｄに基づいて、合焦状態が得られるフォーカスレンズの位置（駆動量）を算出し、その位置にフォーカスレンズを移動（シフト）させるよう制御する。
位相差枠設定部１０９は、顔検出処理部１０８にて顔が検出されない場合は、位相差センサ１０５の検出視野の全域において２像の位相差を検出する。この場合の位相差ＡＦを、以下の説明において、通常位相差ＡＦ（第１の位相差フォーカス制御）という。
一方、顔検出処理部１０８にて顔が検出された場合は、位相差センサ１０５の検出視野内のうち顔の検出位置に対応する（顔が含まれる）位相差枠を選択して位相差及び被写体距離を算出する。なお、ここでは、位相差枠として、図２に示したＴＶ−ＡＦ枠と同様に、中央枠、左枠および右枠が選択可能であるとする。例えば、選択された左枠で検出された位相差が図５のｄ１であるとすると、顔までの距離Ｄは、ｄ１に基づいて算出される。この場合の位相差ＡＦを、以下の説明において、顔優先位相差ＡＦ（第２の位相差フォーカス制御）という。
FIG. 1 shows the configuration of a video camera as an image pickup apparatus that is Embodiment 1 of the present invention. The video camera includes an imaging lens (imaging optical system) 101, an image sensor 102, an imaging AFE (AFE1) 103, a phase difference lens (phase difference detection optical system) 104, a phase difference sensor 105, and a phase difference AFE ( AFE2) 106. In addition, the video camera includes a TV-AF evaluation value calculation unit (contrast information generation unit) 107, a face detection processing unit (subject detection unit) 108, a phase difference frame setting unit 109, a phase difference calculation unit 110, and a lens. A position control unit (focus control means) 111. Further, the video camera includes an image processing unit 112 and a display / recording unit 113.
The image sensor 102 is composed of a CCD sensor or a CMOS sensor, and photoelectrically converts a subject image formed by the photographing lens 101. The imaging AFE 103 amplifies the analog signal output from the imaging element 102 and converts it into a digital signal, and generates imaging data (hereinafter referred to as image data or captured image).
The phase difference lens 104 is provided as an optical system different from the photographing lens 101. The phase difference sensor 105 photoelectrically converts two images (two subject images) of the same subject formed by the phase difference lens 104 by two light receiving elements (line sensors), and two image signals corresponding to the two images. Output. The phase difference AFE 106 amplifies the two image signals (analog signals) output from the phase difference sensor 105 and converts them into digital signals. The phase difference calculation unit 110 calculates a phase difference between the two image signals, that is, a phase difference between the two subject images, and further calculates a distance to the subject based on the phase difference. The phase difference sensor 105 and the phase difference calculation unit 110 constitute phase difference detection means.
Since the phase difference lens 104 is provided as an optical system that is completely different from the photographing lens 101, the phase difference detection method in this embodiment is also referred to as an external measurement phase difference detection method. However, the present invention can be applied not only to the external measurement phase difference detection method but also to the case where the internal measurement phase difference detection method using the phase difference detection optical system using a part of the photographing lens 101 is used.
The TV-AF evaluation value calculation unit 107 extracts a high-frequency component from the image data from the imaging AFE 103 and performs a predetermined process, thereby generating a TV-AF evaluation value that is contrast information of the image data. The TV-AF evaluation value is a value corresponding to the focus state of the subject image formed on the image sensor 102.
The face detection processing unit 108 detects the face of a person as a specific subject from image data (captured image) from the imaging AFE 103 using an image processing technique such as pattern matching.
When the face detection processing unit 108 detects a face, the TV-AF evaluation value calculation unit 107 is a TV-AF frame (focus detection region) that is an image region corresponding to the face detection position in the captured image. Is selected, and a TV-AF evaluation value is calculated (generated) within this TV-AF frame.
The phase difference frame setting unit 109 detects the phase difference corresponding to the detected position of the face in the image within the detection visual field of the phase difference sensor 105 when the face is detected by the face detection processing unit 108. A phase difference frame that is an area is selected. Then, the phase difference sensor 105 and the phase difference calculation unit 110 detect a phase difference between two images of the specific subject within the phase difference frame.
The lens position control unit 111 includes focus control of a phase difference detection method using information on the subject distance calculated by the phase difference calculation unit 110, and a TV-AF evaluation value calculated by the TV-AF evaluation value calculation unit 107. And focus control of a contrast detection method using. Specifically, the focus control is control of the position of a focus lens (not shown) included in the photographing lens 101. In the following description, the phase difference detection type focus control is referred to as phase difference AF (phase difference focus control), and the contrast detection type focus control is referred to as TV-AF (contrast focus control).
The image processing unit 112 performs predetermined image processing on the image data from the imaging AFE 103 to generate an image signal (video signal) suitable for display and recording. The display / recording unit 113 displays the image signal generated by the image processing unit 112 on a monitor (not shown) or records it on a recording medium (not shown).
Next, TV-AF performed in the present embodiment will be described.
FIG. 2 shows the configuration of the TV-AF evaluation value calculation unit 107. In the present embodiment, as shown in the lower right of FIG. 2, as the TV-AF frame, the TV-AF frame at the center of the screen, the TV-AF frame on the left side of the screen, and the TV-AF frame on the right side of the screen (hereinafter referred to as the center). Any one of the frame, the left frame, and the right frame). The TV-AF evaluation value calculation unit 107 calculates a TV-AF evaluation value with the selected TV-AF frame, and outputs the calculated TV-AF evaluation value to the lens position control unit 111.
Image data (also referred to as input video here) input to the TV-AF evaluation value calculation unit 107 passes through the TE band-pass filter 201 and the FE band-pass filter 211 and is converted into absolute values by the ABSs 202 and 212. The The absolute value signals output from the ABSs 202 and 212 are input to the TE line peak hold 203 and the FE line peak hold 213.
Each line peak hold holds the value (absolute value) of the largest absolute value signal output from the ABS in one horizontal line of the input video. The vertical frame signal generator 231 controls the TE line peak hold 203 and the FE line peak hold 213 in accordance with the change in the vertical coordinate of the input video. As a result, the absolute values held by the TE line peak hold 203 and the FE line peak hold 213 are input to the TE integration calculation unit 204 and the FE integration calculation unit 214, respectively.
The horizontal frame signal generator 221 corresponds to the absolute value signals output from the ABSs 201 and 202 while checking which of the three TV-AF frames the horizontal coordinate of the input image corresponds to. Input to the line peak hold of the TV-AF frame. When the calculation of the TV-AF evaluation value in one frame of the input video is completed, the TE integration value and the FE integration value are output from the TE integration calculation unit 204 and the FE integration calculation unit 214 for each TV-AF frame.
The TE integration value and the FE integration value respectively show different values in the in-focus state, the in-focus state, and the large blur state. As shown in FIG. 3, the sum of the TE integration value and the FE integration value changes so as to show a peak in the in-focus state (in-focus position) with respect to the change in the position of the focus lens. The lens position control unit 111 moves (shifts) the focus lens so that the sum of the TE integrated value and the FE integrated value approaches the peak value, thereby obtaining a focused state by the TV-AF.
When the face detection processing unit 108 does not detect a face, the TV-AF evaluation value calculation unit 107 selects a central frame (first image region) from the three TV-AF frames described above, and the central frame The TV-AF evaluation value is calculated. That is, the center frame is a TV-AF frame set regardless of the detection of a specific subject in the image. The TV-AF in this case is referred to as normal TV-AF (first contrast focus control) in the following description.
On the other hand, when a face is detected by the face detection processing unit 108, the TV-AF evaluation value calculation unit 107 determines the TV-AF frame (center frame, left) including the face based on the detected position of the face. The TV-AF evaluation value is calculated by selecting the TV-AF frame corresponding to the detected face position from the frame and the right frame. The TV-AF in this case is referred to as face priority TV-AF (second contrast focus control) in the following description.
Next, the phase difference AF performed in the present embodiment will be described.
FIG. 4 shows the phase difference lens 104 and the phase difference sensor 105 shown in FIG. The phase difference lens 104 includes two lenses A and B arranged so that their optical axes are parallel to each other. The two lenses A and B form two images of the same subject OBJ on the phase difference sensor 105. The two image signals output from the phase difference sensor 105 have a phase difference corresponding to the subject distance D, and when these are superimposed, a signal as shown in FIG. 5 is obtained. In FIG. 5, the horizontal axis indicates the position of the light receiving element (pixel) in the phase difference sensor 105, and the vertical axis indicates the level of the output signal from the phase difference sensor 105.
The phase difference calculation unit 110 calculates a phase difference d1 or d2 between the two image signals, and calculates a subject distance D by a triangulation method using the phase difference. Based on the subject distance D, the lens position control unit 111 calculates the position (drive amount) of the focus lens from which an in-focus state is obtained, and controls to move (shift) the focus lens to that position.
When the face detection processing unit 108 does not detect a face, the phase difference frame setting unit 109 detects the phase difference between the two images in the entire detection field of the phase difference sensor 105. The phase difference AF in this case is referred to as normal phase difference AF (first phase difference focus control) in the following description.
On the other hand, when the face is detected by the face detection processing unit 108, the phase difference frame corresponding to the detected position of the face (including the face) in the detection field of the phase difference sensor 105 is selected and the phase difference and The subject distance is calculated. Here, it is assumed that the center frame, the left frame, and the right frame can be selected as the phase difference frame, similarly to the TV-AF frame shown in FIG. For example, if the phase difference detected in the selected left frame is d1 in FIG. 5, the distance D to the face is calculated based on d1. The phase difference AF in this case is referred to as face priority phase difference AF (second phase difference focus control) in the following description.
そして、本実施例では、通常ＴＶ−ＡＦ、顔優先ＴＶ−ＡＦ、通常位相差ＡＦおよび顔優先位相差ＡＦを組み合わせたハイブリットＡＦを行う。 In this embodiment, hybrid AF is performed by combining normal TV-AF, face priority TV-AF, normal phase difference AF, and face priority phase difference AF.
次に、図６のタイムチャートを用いて、本実施例でのハイブリットＡＦの流れについて説明する。
（通常ＴＶ−ＡＦ：時間Ｔ０−Ｔ１）
顔の検出がされていない時間Ｔ０では、通常ＴＶ−ＡＦが行われる。前述したように、通常ＴＶ−ＡＦでは、ＴＶ−ＡＦ評価値は中央枠で算出され、位相差（被写体距離）は検出視野の全域で検出される。
時間Ｔ１で、顔検出処理部１０８により顔が左枠において検出されたものとする。このとき、位相差枠が顔の検出位置に合わせて左枠に設定される。ここでは、顔までの距離として３ｍが検出されたものとする。時間Ｔ１では、フォーカスレンズの移動（以下、レンズシフトともいう）は行わず、ＴＶ−ＡＦ枠が中央枠から左枠に変更される。
（顔優先位相差ＡＦ：時間Ｔ２−Ｔ４）
時間Ｔ２では、通常ＴＶ−ＡＦから、左枠での位相差を検出する顔優先位相差ＡＦに移行する。また、時間Ｔ２では、顔優先位相差ＡＦ中であるが、左枠で算出されたＴＶ−ＡＦ評価値の取得も開始し、入力映像の大ボケ判定を行う。このとき、フォーカスレンズ位置は無限遠位置（∞）であり、顔までの距離は３ｍであるので、大ボケと判定される。
時間Ｔ３では、無限遠位置にあるフォーカスレンズを、顔までの距離３ｍに対してある程度合焦する位置（誤差１ｍ程度）まで高速でシフトさせる。レンズシフトが高速で行われている間は、左枠で算出されたＴＶ−ＡＦ評価値は利用できないが、レンズシフトは被写体距離に基づいて行われているので、何ら問題はない。
このように、本実施例では、顔優先ＴＶ−ＡＦの開始前に、ＴＶ−ＡＦ評価値の取得対象を顔が検出された左枠に変更する。
時間Ｔ３の間にある程度合焦する位置までのレンズシフトが完了すると、時間Ｔ４では、左枠で算出されたＴＶ−ＡＦ評価値の利用を可能とするため、レンズシフトの速度が時間Ｔ３よりも遅い速度（中速）に減速される。
（顔優先ＴＶ−ＡＦ：時間Ｔ５）
時間Ｔ５の開始時点では、左枠で算出されたＴＶ−ＡＦ評価値の取得が既に開始されているので、ただちに左枠で算出されたＴＶ−ＡＦ評価値を用いた顔優先ＴＶ−ＡＦを開始することができる。ここでは、時間Ｔ５において、顔までの距離が３ｍから４ｍに変化するものとする。顔優先ＴＶ−ＡＦでは、該移動する顔を追尾しながら、時間Ｔ４よりもさらに遅いレンズシフト速度によって、顔への合焦状態を維持する。
このように、本実施例では、顔優先位相差ＡＦの終了前（顔優先位相差ＡＦによるフォーカス制御中又は顔優先ＴＶ−ＡＦによるフォーカス制御の開始前）から、顔の検出位置に対応する左枠で算出されたＴＶ−ＡＦ評価値を取得する。これにより、顔優先位相差ＡＦから顔優先ＴＶ−ＡＦに移行したときに、顔のＴＶ−ＡＦ評価値を改めて取得し直す必要がない。また、TV−AF評価値により合焦位置を取得できた場合には、その取得結果に基づいて焦点調節を行うことができる。したがって、顔優先位相差ＡＦの終了後に顔のＴＶ−ＡＦ評価値を改めて取得し直す場合に比べて、顔優先ＴＶ−ＡＦ、つまりは顔を追尾しながらのハイブリッドＡＦをより高速で行うことができる。
（顔優先ＴＶ−ＡＦ：時間Ｔ６）
時間Ｔ６では、顔優先ＴＶ−ＡＦ中に追尾していた顔が消失したり（検出されなくなったり）、ユーザの選択操作等によって追尾する顔（主顔）が変更されたりした場合を想定している。この時間Ｔ６では、顔優先ＴＶ−ＡＦは保持されるが、ＴＶ−ＡＦ評価値の取得対象が中央枠に変更される。そして、フォーカスレンズも、無限遠位置に低速でシフトされる。
Next, the flow of the hybrid AF in the present embodiment will be described using the time chart of FIG.
(Normal TV-AF: Time T0-T1)
In the time T0 when no face is detected, normal TV-AF is performed. As described above, in normal TV-AF, the TV-AF evaluation value is calculated in the center frame, and the phase difference (subject distance) is detected in the entire detection field.
It is assumed that the face is detected in the left frame by the face detection processing unit 108 at time T1. At this time, the phase difference frame is set to the left frame in accordance with the face detection position. Here, it is assumed that 3 m is detected as the distance to the face. At time T1, the focus lens is not moved (hereinafter also referred to as lens shift), and the TV-AF frame is changed from the center frame to the left frame.
(Face priority phase difference AF: Time T2-T4)
At time T2, the normal TV-AF shifts to face priority phase difference AF for detecting the phase difference in the left frame. At time T2, the face-priority phase difference AF is being performed, but the acquisition of the TV-AF evaluation value calculated in the left frame is also started, and large blur determination of the input video is performed. At this time, the focus lens position is the infinity position (∞), and the distance to the face is 3 m.
At time T3, the focus lens at the infinity position is shifted at a high speed to a position that is focused to some extent with respect to the distance of 3 m to the face (error about 1 m). While the lens shift is performed at high speed, the TV-AF evaluation value calculated in the left frame cannot be used, but there is no problem because the lens shift is performed based on the subject distance.
Thus, in this embodiment, the acquisition target of the TV-AF evaluation value is changed to the left frame where the face is detected before the start of face priority TV-AF.
When the lens shift to a position where the focus is achieved to some extent during time T3 is completed, the TV-AF evaluation value calculated in the left frame can be used at time T4, so that the lens shift speed is faster than time T3. Decelerated to a slow speed (medium speed).
(Face priority TV-AF: Time T5)
Since acquisition of the TV-AF evaluation value calculated in the left frame has already started at the start of time T5, face-priority TV-AF using the TV-AF evaluation value calculated in the left frame is immediately started. can do. Here, it is assumed that the distance to the face changes from 3 m to 4 m at time T5. In face-priority TV-AF, the focused state on the face is maintained at a lens shift speed slower than time T4 while tracking the moving face.
As described above, in this embodiment, the face corresponding to the detected position of the face from before the face priority phase difference AF ends (during the focus control by the face priority phase difference AF or before the focus control by the face priority TV-AF starts). The TV-AF evaluation value calculated in the frame is acquired. Accordingly, when the face priority phase difference AF is shifted to the face priority TV-AF, it is not necessary to newly acquire the TV-AF evaluation value of the face. Further, when the in-focus position can be acquired from the TV-AF evaluation value, the focus adjustment can be performed based on the acquisition result. Therefore, the face priority TV-AF, that is, the hybrid AF while tracking the face can be performed at a higher speed than when the face TV-AF evaluation value is obtained again after the face priority phase difference AF is completed. it can.
(Face priority TV-AF: Time T6)
At time T6, it is assumed that the face being tracked during face priority TV-AF disappears (cannot be detected) or the face to be tracked (main face) is changed by the user's selection operation or the like. Yes. At this time T6, the face priority TV-AF is held, but the acquisition target of the TV-AF evaluation value is changed to the center frame. The focus lens is also shifted to the infinity position at a low speed.
次に、本発明の実施例２であるビデオカメラにおけるハイブリットＡＦの流れについて、図７のタイムチャートを用いて説明する。本実施例のビデオカメラの構成は、実施例１と同じである。
図７において、時間Ｔ０−Ｔ１での通常ＴＶ−ＡＦ、時間Ｔ２−Ｔ４での顔優先位相差ＡＦおよび時間Ｔ５での顔優先ＴＶ−ＡＦについては、実施例１と同じである。もちろん、時間Ｔ２−Ｔ４において顔優先位相差ＡＦの終了前（顔優先位相差ＡＦの動作中又は顔優先ＴＶ−ＡＦの開始前）から、顔の検出位置に対応するＴＶ−ＡＦ枠（左枠）で算出されたＴＶ−ＡＦ評価値の取得を開始する点も同じである。
Next, the flow of hybrid AF in the video camera that is Embodiment 2 of the present invention will be described with reference to the time chart of FIG. The configuration of the video camera of this embodiment is the same as that of the first embodiment.
In FIG. 7, the normal TV-AF at time T0-T1, the face priority phase difference AF at time T2-T4, and the face priority TV-AF at time T5 are the same as in the first embodiment. Of course, the TV-AF frame (left frame) corresponding to the face detection position from the time T2-T4 before the end of the face priority phase difference AF (during the operation of the face priority phase difference AF or before the start of the face priority TV-AF). The same applies to the point where the acquisition of the TV-AF evaluation value calculated in (1) is started.
（顔優先ＴＶ−ＡＦ：時間Ｔ６）
時間Ｔ６では、顔優先ＴＶ−ＡＦ中に追尾していた顔が消失したり、ユーザの選択操作等によって追尾する顔（主顔）が変更されたりした場合を想定している。この時間Ｔ６では、通常ＴＶ−ＡＦに移行し、ＴＶ−ＡＦ評価値の取得対象も中央枠に変更される。ここでは、レンズシフトは行われない。
（通常位相差ＡＦ：時間Ｔ７−Ｔ８）
時間Ｔ７では、通常位相差ＡＦに移行する。また、時間Ｔ７から、中央枠で算出されたＴＶ−ＡＦ評価値の取得を開始し、入力映像の大ボケ判定を行う。
大ボケ判定後の時間Ｔ８では、フォーカスレンズを高速で無限遠位置にシフトする。レンズシフトが高速で行われている間は、左枠で算出されたＴＶ−ＡＦ評価値は利用できないが、レンズシフトは被写体距離に基づいて行われているので、何ら問題はない。
このように、本実施例では、顔優先ＴＶ−ＡＦ中に追尾していた顔が消失する等した場合には、通常ＴＶ−ＡＦに移行する。このため、実施例１のように顔優先ＴＶ−ＡＦを続行する場合に比べて、スムーズに通常のハイブリッドＡＦを継続（再開）することができる。
また、本実施例では、顔優先ＴＶ−ＡＦ中に追尾していた顔が消失する等した場合には、通常ＴＶ−ＡＦを経て通常位相差ＡＦに移行する。そして、通常位相差ＡＦを行っている間に、中央枠のＴＶ−ＡＦ評価値の取得を開始する。これにより、通常位相差ＡＦの後に、中央枠のＴＶ−ＡＦ評価値を用いた通常ＴＶ−ＡＦを迅速に開始することができる。
(Face priority TV-AF: Time T6)
At time T6, it is assumed that the face tracked during face priority TV-AF disappears or the face to be tracked (main face) is changed by the user's selection operation or the like. At time T6, the process shifts to normal TV-AF, and the TV-AF evaluation value acquisition target is also changed to the center frame. Here, no lens shift is performed.
(Normal phase difference AF: Time T7-T8)
At time T7, the process proceeds to normal phase difference AF. Also, from time T7, acquisition of the TV-AF evaluation value calculated in the center frame is started, and large blurring determination of the input video is performed.
At time T8 after the large blur determination, the focus lens is shifted to the infinity position at high speed. While the lens shift is performed at high speed, the TV-AF evaluation value calculated in the left frame cannot be used, but there is no problem because the lens shift is performed based on the subject distance.
As described above, in this embodiment, when a face tracked during face priority TV-AF disappears, the process shifts to normal TV-AF. For this reason, normal hybrid AF can be continued (restarted) more smoothly than in the case of continuing face priority TV-AF as in the first embodiment.
In this embodiment, when the face tracked during the face priority TV-AF disappears, the normal phase difference AF is performed through the normal TV-AF. Then, during the normal phase difference AF, the acquisition of the TV-AF evaluation value of the center frame is started. Thereby, after normal phase difference AF, normal TV-AF using the TV-AF evaluation value of the center frame can be started quickly.
次に、本発明の実施例３であるビデオカメラについて説明する。本実施例のビデオカメラの構成は、基本的に実施例１と同じであるが、ＴＶ−ＡＦ評価値演算部１０７でのＴＶ−ＡＦ評価値の算出方法が異なる。
図８には、本実施例でのＴＶ−ＡＦ評価値演算部１０７の構成を示している。ここでは、ＴＶ−ＡＦ評価値として、３つのＴＶ−ＡＦ枠（中央枠、左枠および右枠）で算出されるＴＶ−ＡＦ評価値に重み付け係数（Ｗ＿Ｌ，Ｗ＿Ｃ，Ｗ＿Ｒ）を乗じたものを用いる。
通常ＴＶ−ＡＦにおいては、中央枠に対する重み付け係数Ｗ＿Ｃの値を他のＴＶ−ＡＦ枠に対する重み付け係数Ｗ＿Ｌ，Ｗ＿Ｒよりも大きくして、中央重点のＴＶ−ＡＦ評価を行う。また、顔優先ＴＶ−ＡＦでは、顔が含まれるＴＶ−ＡＦ枠に対する重み付け係数を他のＴＶ−ＡＦ枠に対する重み付け係数よりも大きくする。
次に、実施例１で用いた図６のタイムチャートを用いて、本実施例におけるハイブリットＡＦの流れについて説明する。
（通常ＴＶ−ＡＦ：時間Ｔ０−Ｔ１）
顔の検出がされていない時間Ｔ０では、通常ＴＶ−ＡＦが行われる。前述したように、通常ＴＶ−ＡＦでは、ＴＶ−ＡＦ評価値は中央枠に対する重み付けを最も大きくして算出される。位相差（被写体距離）は検出視野の全域で検出される。
時間Ｔ１で、顔検出処理部１０８により顔が左枠において検出されたものとする。このとき、位相差枠が顔の検出位置に合わせて左枠に設定される。ここでは、顔までの距離として３ｍが検出されたものとする。時間Ｔ１では、レンズシフトは行わず、ＴＶ−ＡＦ評価値については中央枠の重み付けを小さくし、左枠の重み付けを大きくする。
（顔優先位相差ＡＦ：時間Ｔ２−Ｔ４）
時間Ｔ２では、通常ＴＶ−ＡＦから、左枠での位相差を検出する顔優先位相差ＡＦに移行する。また、時間Ｔ２では、顔優先位相差ＡＦ中であるが、左枠で算出されたＴＶ−ＡＦ評価値の取得も開始し、入力映像の大ボケ判定を行う。このとき、フォーカスレンズ位置は無限遠位置（∞）であり、顔までの距離は３ｍであるので、大ボケと判定される。
時間Ｔ３では、無限遠位置にあるフォーカスレンズを、顔までの距離３ｍに対してある程度合焦する位置（誤差１ｍ程度）まで高速でシフトさせる。レンズシフトが高速で行われている間は、左枠で算出されたＴＶ−ＡＦ評価値は利用できないが、レンズシフトは被写体距離に基づいて行われているので、何ら問題はない。
このように、本実施例では、顔優先ＴＶ−ＡＦの開始前に、ＴＶ−ＡＦ評価値について顔が検出された左枠の重み付けを大きくする。そして、顔優先ＴＶ−ＡＦによってフォーカスレンズを顔に対して合焦が得られるようにシフトさせ、時間Ｔ４以降で左枠のＴＶ−ＡＦ評価値に重みをおいた顔優先ＴＶ−ＡＦに移行するための準備を行う。
時間Ｔ３の間にある程度合焦する位置までのレンズシフトが完了すると、時間Ｔ４では、左枠で算出されたＴＶ−ＡＦ評価値の利用を可能とするため、レンズシフトの速度が時間Ｔ３よりも遅い速度（中速）に減速される。そして、顔までの距離３ｍに対して位相差ＡＦにより合焦が得られる位置までレンズシフトが行われる。
（顔優先ＴＶ−ＡＦ：時間Ｔ５）
時間Ｔ５の開始時点では、重みをおいた左枠のＴＶ−ＡＦ評価値の取得が既に開始されているので、ただちに左枠のＴＶ−ＡＦ評価値を用いた顔優先ＴＶ−ＡＦを開始することができる。ここでは、時間Ｔ５において、顔までの距離が３ｍから４ｍに変化するものとする。顔優先ＴＶ−ＡＦでは、該移動する顔を追尾しながら、時間Ｔ４よりもさらに遅いレンズシフト速度によって、顔への合焦状態を維持する。
本実施例では、顔優先ＴＶ−ＡＦにおいて、顔が検出されないＴＶ−ＡＦ枠のＴＶ−ＡＦ評価値も、顔が検出されたＴＶ−ＡＦ枠に比べて低い重み付けではあるが参照する。このため、画像内で顔の位置が頻繁に変動するような場合でも、顔優先ＴＶ−ＡＦをスムーズに継続することができる。
（顔優先ＴＶ−ＡＦ時間Ｔ６）
時間Ｔ６では、顔優先ＴＶ−ＡＦ中に追尾していた顔が消失したり、ユーザの選択操作等によって追尾する顔（主顔）が変更されたりした場合を想定している。この時間Ｔ６では、顔優先ＴＶ−ＡＦは保持されるが、中央枠のＴＶ−ＡＦ評価値の重み付けを大きくし、左枠のＴＶ−ＡＦ評価値の重み付けを小さくする。そして、フォーカスレンズも、無限遠位置に低速でシフトされる。
以上説明したように、上記各実施例では、画像において特定被写体が検出されると、該特定被写体に対して位相差フォーカス制御を行い、該位相差フォーカス制御の終了後に該特定被写体に対するコントラストフォーカス制御を行う。これにより、特定被写体に対する高速かつ高精度なフォーカス制御を行うことができる。
しかも、特定被写体に対する位相差フォーカス制御が終了する前から特定被写体のコントラスト情報の取得を開始する。このため、特定被写体に対する位相差フォーカス制御から特定被写体に対するコントラストフォーカス制御に移行したときに、コントラスト情報を改めて取得し直す必要がない。したがって、特定被写体に対するコントラストフォーカス制御、つまりは特定被写体を追尾しながらのハイブリッド方式によるフォーカス制御をより高速で行うことができる。なお、特定被写体のコントラスト情報の取得を、位相差フォーカス制御の終了後に行ってもよい。
Next, a video camera that is Embodiment 3 of the present invention will be described. The configuration of the video camera of the present embodiment is basically the same as that of the first embodiment, but the TV-AF evaluation value calculation unit 107 calculates a TV-AF evaluation value differently.
FIG. 8 shows the configuration of the TV-AF evaluation value calculation unit 107 in this embodiment. Here, a TV-AF evaluation value obtained by multiplying a TV-AF evaluation value calculated in three TV-AF frames (a center frame, a left frame, and a right frame) by a weighting coefficient (W_L, W_C, W_R) is used. Use.
In normal TV-AF, the center-weighted TV-AF evaluation is performed by setting the value of the weighting coefficient W_C for the center frame larger than the weighting coefficients W_L and W_R for the other TV-AF frames. In the face priority TV-AF, the weighting coefficient for the TV-AF frame including the face is set larger than the weighting coefficients for the other TV-AF frames.
Next, the flow of the hybrid AF in the present embodiment will be described using the time chart of FIG. 6 used in the first embodiment.
(Normal TV-AF: Time T0-T1)
In the time T0 when no face is detected, normal TV-AF is performed. As described above, in normal TV-AF, the TV-AF evaluation value is calculated with the largest weight for the center frame. The phase difference (subject distance) is detected over the entire detection field.
It is assumed that the face is detected in the left frame by the face detection processing unit 108 at time T1. At this time, the phase difference frame is set to the left frame in accordance with the face detection position. Here, it is assumed that 3 m is detected as the distance to the face. At time T1, lens shift is not performed, and for the TV-AF evaluation value, the weight of the center frame is reduced and the weight of the left frame is increased.
(Face priority phase difference AF: Time T2-T4)
At time T2, the normal TV-AF shifts to face priority phase difference AF for detecting the phase difference in the left frame. At time T2, the face-priority phase difference AF is being performed, but the acquisition of the TV-AF evaluation value calculated in the left frame is also started, and large blur determination of the input video is performed. At this time, the focus lens position is the infinity position (∞), and the distance to the face is 3 m.
At time T3, the focus lens at the infinity position is shifted at a high speed to a position that is focused to some extent with respect to the distance of 3 m to the face (error about 1 m). While the lens shift is performed at high speed, the TV-AF evaluation value calculated in the left frame cannot be used, but there is no problem because the lens shift is performed based on the subject distance.
Thus, in this embodiment, the weight of the left frame in which the face is detected for the TV-AF evaluation value is increased before the start of face priority TV-AF. Then, the focus lens is shifted so that the face is focused on the face by the face priority TV-AF, and after time T4, the process shifts to the face priority TV-AF in which the TV-AF evaluation value in the left frame is weighted. Prepare for.
When the lens shift to a position where the focus is achieved to some extent during time T3 is completed, the TV-AF evaluation value calculated in the left frame can be used at time T4, so that the lens shift speed is faster than time T3. Decelerated to a slow speed (medium speed). Then, the lens shift is performed up to a position where focus is obtained by the phase difference AF with respect to the distance of 3 m to the face.
(Face priority TV-AF: Time T5)
Since the weighted left frame TV-AF evaluation value has already been acquired at the start of time T5, the face-priority TV-AF using the left frame TV-AF evaluation value is immediately started. Can do. Here, it is assumed that the distance to the face changes from 3 m to 4 m at time T5. In face-priority TV-AF, the focused state on the face is maintained at a lens shift speed slower than time T4 while tracking the moving face.
In this embodiment, in the face-priority TV-AF, the TV-AF evaluation value of the TV-AF frame in which no face is detected is also referred to although the weight is lower than that of the TV-AF frame in which the face is detected. For this reason, even when the position of the face frequently fluctuates in the image, the face priority TV-AF can be continued smoothly.
(Face priority TV-AF time T6)
At time T6, it is assumed that the face tracked during face priority TV-AF disappears or the face to be tracked (main face) is changed by the user's selection operation or the like. At this time T6, the face priority TV-AF is maintained, but the weight of the TV-AF evaluation value in the center frame is increased, and the weight of the TV-AF evaluation value in the left frame is decreased. The focus lens is also shifted to the infinity position at a low speed.
As described above, in each of the embodiments described above, when a specific subject is detected in an image, phase difference focus control is performed on the specific subject, and contrast focus control is performed on the specific subject after the phase difference focus control is completed. I do. As a result, high-speed and high-precision focus control can be performed on a specific subject.
In addition, the acquisition of the contrast information of the specific subject is started before the phase difference focus control for the specific subject is completed. For this reason, when the phase difference focus control for the specific subject is shifted to the contrast focus control for the specific subject, it is not necessary to acquire the contrast information again. Therefore, contrast focus control for a specific subject, that is, focus control by a hybrid method while tracking the specific subject can be performed at higher speed. Note that the contrast information of the specific subject may be acquired after the phase difference focus control is completed.
ハイブリッド方式により特定被写体に対する高精度なフォーカス制御をより高速で行える撮像装置を実現できる。 An imaging apparatus capable of performing high-precision focus control on a specific subject at a higher speed by the hybrid method can be realized.
１０１ 撮影レンズ
１０２ 撮像素子
１０４ 位相差検出レンズ
１０５ 位相差センサ
１０７ ＴＶ−ＡＦ評価値演算部
１０８ 顔検出処理部
１０９ 位相差枠設定部
１１０ 位相差演算部
１１１ レンズ位置制御部
DESCRIPTION OF SYMBOLS 101 Shooting lens 102 Image pick-up element 104 Phase difference detection lens 105 Phase difference sensor 107 TV-AF evaluation value calculating part 108 Face detection process part 109 Phase difference frame setting part 110 Phase difference calculating part 111 Lens position control part
Claims (4)
該撮像素子の出力を用いて生成された画像において特定被写体を検出する被写体検出手段と、
位相差検出光学系により形成された２つの被写体像の位相差を検出する位相差検出手段と、
前記画像中の焦点検出領域におけるコントラスト情報を生成するコントラスト情報生成手段と、
前記コントラスト情報生成手段から取得した前記コントラスト情報と前記位相差検出手段から取得した前記位相差とに基づいて、前記撮影光学系のフォーカス制御を行う制御手段とを有し、
前記制御手段は、前記フォーカス制御において、前記特定被写体に対応する前記２つの被写体像の前記位相差に基づいて前記フォーカス制御を行い、該位相差に基づくフォーカス制御中もしくは終了後に前記特定被写体が検出された領域に前記焦点検出領域を設定して前記コントラスト情報を取得することを特徴とする撮像装置。 An image sensor that photoelectrically converts a subject image formed by the photographing optical system;
Subject detection means for detecting a specific subject in an image generated using the output of the image sensor;
Phase difference detection means for detecting a phase difference between two subject images formed by the phase difference detection optical system;
Contrast information generating means for generating contrast information in a focus detection region in the image;
Control means for performing focus control of the photographing optical system based on the contrast information acquired from the contrast information generation means and the phase difference acquired from the phase difference detection means;
In the focus control, the control unit performs the focus control based on the phase difference between the two subject images corresponding to the specific subject, and the specific subject is detected during or after the focus control based on the phase difference. An imaging apparatus characterized in that the contrast information is acquired by setting the focus detection region in a region that has been set.
前記制御手段は、前記位相差に基づくフォーカス制御が終了する前に、前記コントラスト情報の取得を開始することを特徴とする請求項１に記載の撮像装置。 The control means performs focus control based on the phase difference when the specific subject is detected in the image in a state where focus control is performed based on the contrast information, and the focus control based on the phase difference ends. After performing focus control based on the contrast information,
The imaging apparatus according to claim 1, wherein the control unit starts acquiring the contrast information before the focus control based on the phase difference is completed.
前記位相差に基づくフォーカス制御を行っている間に前記コントラスト情報の取得を開始することを特徴とする請求項２に記載の撮像装置。 When the specific subject is no longer detected in the image in a state where the focus control based on the contrast information is performed after the focus control based on the phase difference is completed, the control unit performs the focus control based on the phase difference. And
The imaging apparatus according to claim 2, wherein acquisition of the contrast information is started while performing focus control based on the phase difference.
該撮像ステップでの出力を用いて生成された画像において特定被写体を検出する被写体検出ステップと、
位相差検出光学系により形成された２つの被写体像の位相差を検出する位相差検出ステップと、
前記画像中の焦点検出領域におけるコントラスト情報を生成するコントラスト情報生成ステップと、
前記コントラスト情報生成ステップで取得した前記コントラスト情報と前記位相差検出ステップで取得した前記位相差とに基づいて、前記撮影光学系のフォーカス制御を行う制御ステップとを有し、
前記制御ステップでは、前記フォーカス制御において、前記特定被写体に対応する前記２つの被写体像の前記位相差に基づいて前記フォーカス制御を行い、該位相差に基づくフォーカス制御中もしくは終了後に前記特定被写体が検出された領域に前記焦点検出領域を設定して前記コントラスト情報を取得することを特徴とする撮像装置の制御方法。 An imaging step of photoelectrically converting a subject image formed by the imaging optical system;
A subject detection step for detecting a specific subject in an image generated using the output in the imaging step;
A phase difference detection step for detecting a phase difference between two subject images formed by the phase difference detection optical system;
A contrast information generating step for generating contrast information in a focus detection region in the image;
A control step of performing focus control of the photographing optical system based on the contrast information acquired in the contrast information generation step and the phase difference acquired in the phase difference detection step;
In the control step, the focus control is performed based on the phase difference between the two subject images corresponding to the specific subject in the focus control, and the specific subject is detected during or after the focus control based on the phase difference. A control method for an imaging apparatus, wherein the contrast information is acquired by setting the focus detection region in a region that has been set.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009155603A JP5355252B2 (en) | 2009-06-30 | 2009-06-30 | Imaging apparatus and control method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009155603A JP5355252B2 (en) | 2009-06-30 | 2009-06-30 | Imaging apparatus and control method thereof |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2011013324A true JP2011013324A (en) | 2011-01-20 |
| JP2011013324A5 JP2011013324A5 (en) | 2012-08-09 |
| JP5355252B2 JP5355252B2 (en) | 2013-11-27 |
Family
ID=43592307
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009155603A Expired - Fee Related JP5355252B2 (en) | 2009-06-30 | 2009-06-30 | Imaging apparatus and control method thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5355252B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013015559A (en) * | 2011-06-30 | 2013-01-24 | Nikon Corp | Focus detector and imaging apparatus |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007316497A (en) * | 2006-05-29 | 2007-12-06 | Canon Inc | Imaging apparatus and control method therefor |
| JP2008061157A (en) * | 2006-09-04 | 2008-03-13 | Nikon Corp | Camera |
| JP2008058498A (en) * | 2006-08-30 | 2008-03-13 | Canon Inc | Imaging apparatus |
| JP2009069255A (en) * | 2007-09-11 | 2009-04-02 | Sony Corp | Imaging device and focusing control method |
-
2009
- 2009-06-30 JP JP2009155603A patent/JP5355252B2/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007316497A (en) * | 2006-05-29 | 2007-12-06 | Canon Inc | Imaging apparatus and control method therefor |
| JP2008058498A (en) * | 2006-08-30 | 2008-03-13 | Canon Inc | Imaging apparatus |
| JP2008061157A (en) * | 2006-09-04 | 2008-03-13 | Nikon Corp | Camera |
| JP2009069255A (en) * | 2007-09-11 | 2009-04-02 | Sony Corp | Imaging device and focusing control method |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013015559A (en) * | 2011-06-30 | 2013-01-24 | Nikon Corp | Focus detector and imaging apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5355252B2 (en) | 2013-11-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4795155B2 (en) | Optical device, imaging device, and control method thereof | |
| JP5895270B2 (en) | Imaging device | |
| US20160173762A1 (en) | Image-capturing apparatus | |
| WO2007058100A1 (en) | In-focus detector | |
| WO2007086378A1 (en) | Best-focus detector | |
| JP2008026802A (en) | Imaging apparatus | |
| JP6154081B2 (en) | Imaging device, imaging device body, and lens barrel | |
| CN101115146A (en) | Image-pickup apparatus and focus control method | |
| JP2008276017A (en) | Imaging apparatus and method, and program | |
| JP5095519B2 (en) | Imaging apparatus and imaging method | |
| JP2010139666A (en) | Imaging device | |
| JP6838894B2 (en) | Focus control device, its control method and program | |
| JP6808340B2 (en) | Lens control device, control method | |
| JP2014130131A (en) | Imaging apparatus, semiconductor integrated circuit and imaging method | |
| JP2018165800A (en) | Image blurring correction device, imaging device, and method for controlling imaging device | |
| JP2018137613A (en) | Image processing apparatus, imaging apparatus and control method for image processing apparatus | |
| JP2019168479A (en) | Controller, imaging device, method for control, program, and, and storage medium | |
| JP5355252B2 (en) | Imaging apparatus and control method thereof | |
| JP2016142924A (en) | Imaging apparatus, method of controlling the same, program, and storage medium | |
| JP4969349B2 (en) | Imaging apparatus and imaging method | |
| JP2004070038A (en) | Auto-focusing system | |
| JP2007248698A (en) | Method and apparatus for imaging | |
| JP2011013324A5 (en) | ||
| JP4562170B2 (en) | Focus control device and optical apparatus | |
| JP6089232B2 (en) | Imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120627 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120627 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130218 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130226 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130430 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130730 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130827 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5355252 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |