JP2017107058A - Imaging apparatus and method for controlling the same - Google Patents
Imaging apparatus and method for controlling the same Download PDFInfo
- Publication number
- JP2017107058A JP2017107058A JP2015240474A JP2015240474A JP2017107058A JP 2017107058 A JP2017107058 A JP 2017107058A JP 2015240474 A JP2015240474 A JP 2015240474A JP 2015240474 A JP2015240474 A JP 2015240474A JP 2017107058 A JP2017107058 A JP 2017107058A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- detection
- focus
- focus adjustment
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims description 57
- 238000001514 detection method Methods 0.000 claims abstract description 123
- 238000012545 processing Methods 0.000 claims abstract description 73
- 230000003287 optical effect Effects 0.000 claims abstract description 20
- 238000006243 chemical reaction Methods 0.000 claims description 23
- 238000011156 evaluation Methods 0.000 description 20
- 238000009825 accumulation Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Abstract
Description
本発明は、撮像装置及びその制御方法に関し、特に、撮像装置における焦点調節制御に関する。 The present invention relates to an imaging apparatus and a control method thereof, and more particularly to focus adjustment control in the imaging apparatus.
従来、CMOSイメージセンサ等の撮像素子からオートフォーカス評価値に必要な画像の読み出しを行う際、静止画像等の通常の読み出し速度よりも速い速度で読み出すことで、高速に焦点検出を行う技術がある。 Conventionally, when reading an image necessary for an autofocus evaluation value from an image sensor such as a CMOS image sensor, there is a technique for performing focus detection at a high speed by reading at a speed faster than a normal reading speed of a still image or the like. .
例えば、特許文献1では、有効画素領域のうち特定の領域の画素信号のみを撮像素子から読み出し、オートフォーカス評価値を取得することで高速な焦点検出を行う技術が開示されている。 For example, Patent Document 1 discloses a technique for performing high-speed focus detection by reading out only a pixel signal of a specific area from an effective pixel area from an image sensor and acquiring an autofocus evaluation value.
また、特許文献2では、予め区分された静止画像の読み出し領域のうち、特定の区分領域を他の区分領域よりも先に読み出し、オートフォーカス評価値を取得することで、高速に焦点検出を行う技術が開示されている。 Further, in Patent Document 2, a specific segmented region is read out from other segmented regions in advance in a still image readout region, and an autofocus evaluation value is acquired, thereby performing focus detection at high speed. Technology is disclosed.
しかしながら、特許文献1に開示された従来技術では、有効画素領域全体を読み出して被写体を検知してから、オートフォーカス評価値を取得するための読み出し領域を決めている。全体を読み出す際には被写体が写っていない部分も読み出すことになるため、無駄な読み出し時間を費やしてしまい、オートフォーカス評価値を取得するまでに時間が掛かっていた。 However, in the prior art disclosed in Patent Document 1, after reading out the entire effective pixel area and detecting the subject, the readout area for acquiring the autofocus evaluation value is determined. When reading the whole, a portion where the subject is not captured is also read, so that useless reading time is consumed and it takes time to obtain the autofocus evaluation value.
また、特許文献2に開示された従来技術では、静止画像の読み出しと一部並行して、オートフォーカス評価値を取得するための読み出しを行っている。オートフォーカス評価値を取得するための読み出し部分として、予め区分された静止画像の読み出し領域内の特定の一部領域としているが、被写体に動きがある場合、設定した領域に被写体が入らない可能性が高くなり、被写体検出及び追尾の面では性能が低下する。 In the prior art disclosed in Patent Document 2, readout for acquiring an autofocus evaluation value is performed in part in parallel with readout of a still image. As a readout part for acquiring the autofocus evaluation value, a specific partial area in the readout area of the still image divided in advance is used, but if the subject has movement, the subject may not enter the set area And the performance decreases in terms of subject detection and tracking.
本発明は上記問題点を鑑みてなされたものであり、オートフォーカスのための焦点検出領域を決定するまでに掛かる時間を抑制すると共に、被写体を追尾しながらの高速連写撮影を実現することを目的とする。 The present invention has been made in view of the above problems, and it is possible to reduce the time required to determine a focus detection area for autofocus and realize high-speed continuous shooting while tracking a subject. Objective.
上記目的を達成するために、本発明の撮像装置は、入射した被写体光学像を光電変換して画像信号または焦点検出用信号を出力する複数の画素からなる画素部を有する撮像素子と、前記撮像素子の読み出しを制御する制御手段と、前記撮像素子から出力された画像信号に基づいて、被写体を検出する検出手段と、前記制御手段により、前記検出された被写体を含む前記画素部の一部の領域から読み出された前記焦点検出用信号に基づいて焦点調節処理を行う焦点調節手段と、を有し、前記検出手段は、前記撮像素子からの前記画像信号の読み出しが終了する前に、被写体の検出処理を開始する。 In order to achieve the above object, an image pickup apparatus according to the present invention includes an image pickup device having a pixel unit including a plurality of pixels that photoelectrically convert an incident subject optical image and output an image signal or a focus detection signal; A control unit that controls reading of the element; a detection unit that detects a subject based on an image signal output from the image sensor; and a part of the pixel unit that includes the detected subject by the control unit. A focus adjustment unit that performs a focus adjustment process based on the focus detection signal read from the area, and the detection unit includes a subject before reading of the image signal from the image sensor is completed. The detection process is started.
本発明によれば、オートフォーカスのための焦点検出領域を決定するまでに掛かる時間を抑制すると共に、被写体を追尾しながらの高速連写撮影を実現することができる。 According to the present invention, it is possible to reduce the time required to determine the focus detection area for autofocus and to realize high-speed continuous shooting while tracking the subject.
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。 DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out the present invention will be described in detail with reference to the accompanying drawings.
<第1の実施形態>
本第1の実施形態における撮像装置の全体構成について、図1を用いて説明する。図1は、本発明の撮像装置の一例として、デジタルカメラ100の概略構成を示す図である。なお、撮像装置としては、デジタルカメラの他に、デジタルビデオカメラのようなカメラはもとより、カメラ機能付き携帯電話、カメラ付きコンピュータなど、カメラ機能を備える任意の電子機器であっても良い。
<First Embodiment>
The overall configuration of the imaging apparatus according to the first embodiment will be described with reference to FIG. FIG. 1 is a diagram showing a schematic configuration of a
結像光学系の先端部に第1レンズ群101が配置されており、第1レンズ群101は光軸方向に進退可能に保持されている。絞り兼用シャッタ102は、その開口径を調節することで撮影時の光量調節を行うほか、静止画撮影時には露光秒時調節用シャッタとしても機能する。絞り兼用シャッタ102と第2レンズ群103とは一体となって光軸方向に進退し、第1レンズ群101の進退動作との連動によって、変倍作用(ズーム機能)を奏する。
A
第3レンズ群105(フォーカスレンズ)は、光軸方向の進退によって、焦点調節を行う。光学的ローパスフィルタ106は、撮影画像の偽色やモアレを軽減するための光学素子である。上述した第1レンズ群101、絞り兼用シャッタ102、第2レンズ群103、第3レンズ群105、光学的ローパスフィルタ106は、結像光学系を構成している。撮像素子107は、2次元CMOSフォトセンサーと周辺回路とを含み、結像光学系の結像面に配置される。
The third lens group 105 (focus lens) performs focus adjustment by advancing and retreating in the optical axis direction. The optical low-
ズームアクチュエータ111は、不図示のカム筒を回動することで、第1レンズ群101ないし第3レンズ群105を光軸方向に進退駆動し、変倍操作を行う。絞りシャッタアクチュエータ112は、絞り兼用シャッタ102の開口径を制御して撮影光量を調節するとともに、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ114は、第3レンズ群105を光軸方向に進退駆動して焦点調節を行う。
The
撮影時に用いられる被写体照明用電子フラッシュ115は、キセノン管を用いた閃光照明装置が好適であるが、連続発光するLEDを備えた照明装置を用いてもよい。オートフォーカス(AF)補助光部116は、所定の開口パターンを有するマスクの像を、投光レンズを介して被写体に投影し、暗い被写体あるいは低コントラストの被写体に対する焦点検出能力を向上させる。
The subject illumination
制御部121は、撮像装置100における種々の制御を司るものであり、不図示のCPU(演算部)、A/Dコンバータ、D/Aコンバータ、通信インターフェイス回路等を有している。制御部121は、ROMに記憶された所定のプログラムに基づいて、カメラが有する各種回路を駆動し、AF、撮影、画像処理と記録等の一連の動作を実行する。また、本実施形態では、結像光学系の状態に応じた焦点検出補正値も記憶されている。
The
電子フラッシュ制御回路122は、撮影動作に同期して電子フラッシュ115を点灯制御する。補助光駆動回路123は、焦点検出動作に同期してAF補助光部116を点灯制御する。撮像素子駆動回路124は、撮像素子107の撮像動作を制御するとともに、取得した画像信号をA/D変換して制御部121に送信する。画像処理回路125は、撮像素子107が取得した画像の被写体検出、γ変換、カラー補間、JPEG圧縮等の処理を行う。
The electronic
フォーカス駆動回路126は、焦点検出結果に基づいてフォーカスアクチュエータ114を駆動制御し、第3レンズ群105を光軸方向に進退駆動して焦点調節を行う。絞りシャッタ駆動回路128は、絞りシャッタアクチュエータ112を駆動制御して絞り兼用シャッタ102の開口を制御する。ズーム駆動回路129は、撮影者によるズーム操作に応じてズームアクチュエータ111を駆動する。
The
表示器131は、例えばLCD等により構成されており、撮像装置100の撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、焦点検出時の合焦状態の表示画像等を表示する。操作スイッチ群132は、電源スイッチ、レリーズ(撮影トリガ)スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を含む。記録媒体133は、着脱可能なフラッシュメモリ等であり、撮影により取得した画像ファイルを記録する。メモリ134はRAM、ROM等であり、所定のプログラムの記憶や、画像処理中の画像データや画像処理に必要なパラメータデータの保持等を行っている。制御部121は、メモリ134のROMに記憶された所定のプログラムに基づいて、撮像装置100の各種回路を駆動し、AF、撮影、画像処理、記録等の一連の動作を実行する。
The
図2は、第1の実施形態で用いられる撮像素子107の画素部のうち、ダミー画素や遮光(OB)画素等を除く、光学系を介して入射した被写体光学像を電気信号に変換して出力する有効画素領域1071の構成を示す図である。
FIG. 2 shows an object optical image incident through an optical system, excluding dummy pixels and light-shielding (OB) pixels, in the pixel portion of the
図2(b)は、有効画素領域1071の画素211の配列を模式的に示した図で、縦(Y方向)6行と横(X方向)8列の範囲を、結像光学系側から観察した状態を示している。各画素211は、オンチップマイクロレンズ211iと、オンチップマイクロレンズ211iの内側に配置された光電変換部211a、211bとを有する。
FIG. 2B is a diagram schematically showing the arrangement of the
本実施形態では、有効画素領域1071を構成するすべての画素の光電変換部は、図2(b)に示すようにX方向に2分割され、それぞれの領域の光電変換信号を独立して読み出しできる構成となっている。または、光電変換部211a、211bの一方の光電変換信号と、2つの光電変換信号を加算した和を読み出し、読み出した和から一方の光電変換信号を減ずることで、光電変換部211a、211bの他方の光電変換信号を得るようにしても良い。このように分割された領域の光電変換信号は、位相差検出による焦点検出用信号として、公知の位相差方式の焦点検出(位相差AF)に用いられる。一方で、通常の画像を得る際には、2つの領域の光電変換信号の和を読み出す。
In the present embodiment, the photoelectric conversion units of all the pixels constituting the
なお、光電変換部の分割方向や分割数、また、光電変換部を分割した画素の配置は図2(b)に示す例に限るものでは無く、位相差方式の焦点検出を行うことができる構成であれば良い。 Note that the division direction and the number of divisions of the photoelectric conversion unit, and the arrangement of the pixels obtained by dividing the photoelectric conversion unit are not limited to the example illustrated in FIG. 2B, and a configuration capable of performing phase difference type focus detection. If it is good.
上記構成を有する有効画素領域1071において、図2(a)に示す焦点検出領域1710の焦点状態を検出する場合、焦点検出領域1710の周辺領域1711から得られる信号を利用して検出する。そのため、有効画素領域1071の周辺部では、焦点検出領域1710の周辺領域1711を確保することができないため、AFを行うことができない。このように(第2の領域)、AF可能な領域を領域1702(第1の領域)で表している。
In the
次に、本実施形態による撮像装置によって行われる被写体追従AF連続撮影について、図3および図4を参照して説明する。図3は、上記構成を有する撮像装置における被写体追従AF連続撮影処理のタイミングを示すタイミングチャート、図4は、被写体追従AF連続撮影処理のフローチャートである。この処理は、操作スイッチ群132に含まれる撮影モード選択スイッチのユーザー操作により、撮影モードが被写体追従AF連続撮影モードとなっている場合に行われる。
Next, subject tracking AF continuous shooting performed by the imaging apparatus according to the present embodiment will be described with reference to FIGS. 3 and 4. FIG. 3 is a timing chart showing the timing of subject tracking AF continuous shooting processing in the imaging apparatus having the above configuration, and FIG. 4 is a flowchart of subject tracking AF continuous shooting processing. This process is performed when the shooting mode is set to the subject tracking AF continuous shooting mode by the user operation of the shooting mode selection switch included in the
被写体追従AF連続撮影モードのときに、操作スイッチ群132に含まれるレリーズスイッチがオンとなることで撮影が開始され、S101へ移行する。S101では、静止画撮影のために撮像素子107の露光を開始し(t1)、電荷が蓄積される。露光時間は絞りシャッタアクチュエータ112で制御する。このとき、撮像素子駆動回路124によって、撮像素子107の有効画素領域1071全体を読み出す駆動モードで撮像素子107を制御する。また、連続撮影モードにおける1枚目の画像の撮影時には、撮影開始に先立って、公知の方法により焦点調節及び測光が行われ、その結果に基づいて、フォーカスレンズ105及び露出が制御される。
In the subject tracking AF continuous shooting mode, shooting is started when a release switch included in the
S102では、撮像素子駆動回路124により、電荷の蓄積を終了すると共に、撮像素子107に蓄積された電荷から得られた画像信号をA/D変換して制御部121に送信する処理を開始する(t2)。この際には、光電変換部211a、211bに蓄積された光電変換信号の和を読み出す。また、S101において設定した駆動モードに従い、有効画素領域1071全体からの画像信号を読み出す。
In S <b> 102, the image
S103では、撮像素子107に蓄積された電荷から得られた画像信号をA/D変換して、1画素毎、もしくは複数の画素単位で制御部121に順次送信しながら、被写体検出処理開始時間(t3)となるのを待つ。ここで、被写体検出処理開始時間としては、本実施形態では以下の2つのいずれかとする。
In S103, an image signal obtained from the electric charge accumulated in the
1つ目は、AF可能な領域1072の読み出しが完了するタイミングである。これは、AFできない領域1073で被写体を検出しても、その周辺からAF評価値演算に必要な画像信号を得ることができないため、結局はAFできないからである。つまり、AF可能な領域1072まで読み出しが完了した時点で、読み出した画像信号をもとに被写体検出すれば、検出した被写体のAF評価値演算に必要な画像信号を得ることができる。従って、AF可能な領域1702の読み出しが完了する時点を、被写体検出処理開始時間とする。なお、AF可能な領域1702は撮影モードや、レンズの種類により変わるため、条件に応じて被写体検出処理開始時間を変える。
The first is timing when reading of the AF-
2つ目は、連写撮影時の連写速度に基づいて決めるタイミングである。連写速度が速い場合は、撮影と次の撮影との撮影間の処理時間をより短くする必要がある。そこで、被写体検出処理開始時間を早めることで、撮影間の処理時間を短くすることができる。その場合、読み出し完了している画像信号は少なくなってしまうため、被写体検出の精度は低下してしまうが、連写速度をより高速にすることが可能となる。 The second timing is determined based on the continuous shooting speed during continuous shooting. When the continuous shooting speed is high, it is necessary to shorten the processing time between the shooting and the next shooting. Therefore, by shortening the subject detection processing start time, the processing time between shootings can be shortened. In that case, since the number of image signals that have been read out decreases, the accuracy of subject detection decreases, but the continuous shooting speed can be increased.
また、AF可能な領域1702の読み出しが完了するタイミングと、連写撮影時の連写速度に基づくタイミングのうち、早い方を被写体検出処理開始時間としてもよい。 Also, the earlier of the timing at which reading of the AF-enabled area 1702 is completed and the timing based on the continuous shooting speed at the time of continuous shooting may be set as the subject detection processing start time.
S104では、制御部121に送信されてきた画像信号をもとに、画像処理回路125において被写体検出処理を開始する(t3)。これにより、残りの静止画読み出し処理と被写体検出処理が並行して実行されることになる。
In S104, subject detection processing is started in the
後述するが、AF処理に必要な検出結果情報は被写体の位置情報である。一方、AF開始時間には制約があり、AF開始までには検出処理が終わっている必要がある。そのため、被写体検出処理を開始するタイミングは、静止画読み出しの途中の、AF可能な領域1702まで読み出しが完了する時点、または、設定中の連写速度を保証できる時点となる。なお、被写体が多数あるような場面で、検出処理が間に合わなかった場合は、前回の撮影での検出処理結果の位置情報を代用してもよい。または、予めデフォルト位置情報を設定しておき、それをAF処理で使用してもよい。 As will be described later, the detection result information necessary for the AF processing is the position information of the subject. On the other hand, the AF start time is limited, and the detection process needs to be completed before the AF start. Therefore, the timing of starting the subject detection process is a time when reading is completed up to the AF-capable area 1702 during the still image reading, or a time when the continuous shooting speed being set can be guaranteed. If the detection process is not in time in a scene where there are many subjects, the position information of the detection process result in the previous shooting may be used instead. Alternatively, default position information may be set in advance and used in AF processing.
S105では、AF開始時間(t4)となるのを待つ。ここで、AF開始時間は、連写速度によって決まる次の撮影開始時間までに、AF評価値算出用の読み出し領域算出処理、電荷蓄積、読み出し、及びAF評価値算出とレンズ駆動量の算出、レンズの駆動が完了するように決める。 In S105, the process waits for the AF start time (t4). Here, the AF start time is read out area calculation processing for AF evaluation value calculation, charge accumulation, readout, and AF evaluation value calculation and lens drive amount calculation by the next shooting start time determined by the continuous shooting speed, lens To complete the drive.
AF開始時間になると、焦点調節処理を開始する。まず、S106において、被写体検出処理による被写体検出結果から、AF評価値算出用読み出し領域を決定する。第1の実施形態では、AF評価値算出用の読み出しは、撮像素子駆動回路124により静止画読み出しとは別の駆動で制御して、撮像素子107の有効画素領域1071を部分的に読み出す。このとき、被写体検出結果の被写体位置情報を用いて、被写体位置を中心として、有効画素領域1071から部分的に読み出す領域(焦点検出領域1710及び周辺領域1711)を決定する。
At the AF start time, the focus adjustment process is started. First, in S106, an AF evaluation value calculation readout area is determined from the subject detection result obtained by subject detection processing. In the first embodiment, the AF evaluation value calculation readout is controlled by the image
S107では、AF評価値算出のために撮像素子107を露光し、電荷蓄積を行う(t4〜t5)。露光時間は絞りシャッタアクチュエータ112で制御する。静止画とは異なり、ここでは撮像素子駆動回路124において、撮像素子107の有効画素領域1071の一部の領域を読み出す駆動モードで撮像素子107を制御する。
In S107, the
露光時間が経過すると、S108において、撮像素子駆動回路124により、撮像素子107に蓄積された電荷から得られた画像信号をA/D変換して制御部121に送信する処理を行う(t5〜t6)。ここでは、S107において設定した駆動モードに従い、有効画素領域1071の一部の領域の画像信号を読み出す。この際には、光電変換部211a、211bに蓄積された光電変換信号をそれぞれ独立に読み出す。
When the exposure time has elapsed, in S108, the image
S109では、制御部121に送信された画像信号をもとにAFの評価値算出処理を実行して(t6〜t7)、次の撮影で被写体にフォーカスするためのレンズの駆動量を制御部121で算出する。
In S109, AF evaluation value calculation processing is executed based on the image signal transmitted to the control unit 121 (t6 to t7), and the driving amount of the lens for focusing on the subject in the next shooting is controlled by the
S110では、制御部121で算出したレンズの駆動量から、フォーカス駆動回路126、または絞りシャッタ駆動回路128、あるいはそれらを組み合わせて制御する。そして、各アクチュエータ114、112を駆動させて、被写体に合焦する位置までレンズを駆動させる(t7〜t8)。
In S110, the
S111では、操作スイッチ群132に含まれるレリーズスイッチ(SW2)がオンかオフかを判断し、オンであれば、S110で駆動したレンズ位置で、静止画蓄積処理、静止画読み出しを行って、連写撮影を続ける(t8)。オフであれば連写撮影を停止して撮影終了となる。
In S111, it is determined whether the release switch (SW2) included in the
上記の通り第1の実施形態によれば、静止画読み出し途中から被写体検出処理を開始することにより、被写体検出処理と静止画読み出しとを並行して行うことで、連続撮影時の撮影間の処理時間をより短くすることができる。加えて、AF評価値算出用読み出しについては読み出す領域を被写体位置に基づいた撮像素子の有効画素領域1071の一部としている。これにより、被写体の検出および追尾精度を保ったまま、読み出しに掛かる時間をより短くすることができる。
As described above, according to the first embodiment, subject detection processing is started in the middle of still image readout, and subject detection processing and still image readout are performed in parallel, thereby performing processing between photographing during continuous photographing. Time can be shortened. In addition, for the AF evaluation value calculation readout, the readout area is a part of the
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。なお、第2の実施形態で用いられる撮像装置は、図1及び図2を参照して第1実施形態で説明したものと同様であるので、説明を省略する。第2の実施形態は、第1の実施形態で行われる被写体追従AF連続撮影の処理に対して、被写体検出処理の処理内容が異なる。その他の処理については第1実施形態と同様の処理を行う。
<Second Embodiment>
Next, a second embodiment of the present invention will be described. Note that the imaging device used in the second embodiment is the same as that described in the first embodiment with reference to FIGS. In the second embodiment, the subject detection processing is different from the subject tracking AF continuous photographing processing performed in the first embodiment. Other processes are the same as those in the first embodiment.
以下、第2の実施形態における撮像装置によって行われる被写体追従AF連続撮影処理について、図5および図6を参照して説明する。図5は、第2の実施形態における被写体追従AF連続撮影のタイミングを示すタイミングチャート、図6は、第2の実施形態における被写体追従AF連続撮影処理のフローチャートである。 Hereinafter, the subject tracking AF continuous shooting process performed by the imaging apparatus according to the second embodiment will be described with reference to FIGS. 5 and 6. FIG. 5 is a timing chart showing the timing of subject tracking AF continuous shooting in the second embodiment, and FIG. 6 is a flowchart of subject tracking AF continuous shooting processing in the second embodiment.
図5に示す処理のタイミングと、図3に示す処理のタイミングとの違いは、図3においてt3〜t4の間に行う被写体検出処理が、図5では速度優先の検出処理と精度優先の検出処理に置き換わっている点である。また、図6に示す処理と図4に示す処理との違いは、S204〜S208で行う被写体検出処理であり、それ以外の処理は、第1の実施形態において説明した処理と同様であるため、同じ参照番号を付して、説明を省略する。 The difference between the processing timing shown in FIG. 5 and the processing timing shown in FIG. 3 is that the subject detection processing performed between t3 and t4 in FIG. 3 is the speed priority detection processing and accuracy priority detection processing in FIG. It is a point that has been replaced. The difference between the process shown in FIG. 6 and the process shown in FIG. 4 is the subject detection process performed in S204 to S208, and the other processes are the same as the processes described in the first embodiment. The same reference numerals are assigned and description is omitted.
S204においてS104と同様に、被写体検出処理を開始する。ただし、第2の実施形態では2通りの処理により被写体の検出を行う。1つは、被写体の内容や個数等を判別しない精度の低い検出処理であり(速度優先の被写体検出処理)、検出精度のパラメータを調節することで、AF開始時間までに、主被写体の位置とサイズの情報を検出結果として出力することを保証する。ここでは入力した画像信号をもとにした色情報から、速度優先の被写体検出処理を行う(t11からt12)。 In S204, the subject detection process is started as in S104. However, in the second embodiment, the subject is detected by two kinds of processing. One is a low-accuracy detection process that does not discriminate the content or number of subjects (speed-priority subject detection processing). By adjusting the detection accuracy parameter, the position of the main subject Ensures that size information is output as a detection result. Here, speed-priority subject detection processing is performed from color information based on the input image signal (from t11 to t12).
もう1つの検出処理は、検出結果として被写体が顔か否かを判断して、その被写体の個数、それぞれの位置とサイズ、重要度の順位まで出力する、高精度な検出処理である(精度優先の被写体検出処理)。しかしながら、顔やその他の物体の個数が多いところを撮影する場合に検出処理が高負荷となり、検出結果を出力するまでに時間が掛かることがある(t11からt13)。 Another detection process is a high-precision detection process that determines whether or not a subject is a face as a detection result, and outputs the number of subjects, their respective positions and sizes, and importance ranking (accuracy priority). Subject detection process). However, when photographing a place where the number of faces and other objects is large, the detection processing becomes heavy, and it may take time to output the detection result (from t11 to t13).
なお、速度優先の被写体検出処理も、精度優先の被写体検出処理も、第1の実施形態における被写体検出処理と同様に、静止画の読み出しをしている途中(t11)から、2つの検出処理を同時に開始する。これにより、残りの静止画読み出し処理と上述した2つの被写体検出処理が並行して実行されることになる。 It should be noted that both the speed-priority subject detection processing and the accuracy-priority subject detection processing are performed in the same manner as the subject detection processing in the first embodiment. Start at the same time. As a result, the remaining still image reading process and the two subject detection processes described above are executed in parallel.
S205では、AF開始時間(t4)となるのを待つ。AF開始時間はS105と同様にして決定する。すなわち、連写速度によって決まる次の撮影開始時間までに、AF評価値算出用の読み出し領域算出処理、電荷蓄積、読み出し、及びAF評価値算出とレンズ駆動量の算出、レンズの駆動が完了するように決める。 In S205, the process waits for the AF start time (t4). The AF start time is determined in the same manner as S105. That is, by the next shooting start time determined by the continuous shooting speed, the AF evaluation value calculation readout area calculation processing, charge accumulation, readout, AF evaluation value calculation and lens driving amount calculation, and lens driving are completed. Decide on.
AF開始時間になると、焦点調節処理を開始する。まず、S206では、S204で開始した2つの被写体検出処理において、AF開始時間になったときに、精度優先の被写体検出結果を出力できているか否かを判断する(t4)。 At the AF start time, the focus adjustment process is started. First, in S206, in the two subject detection processes started in S204, it is determined whether or not an accuracy priority subject detection result can be output when the AF start time comes (t4).
精度優先の被写体検出結果が出力できている場合、すなわちAF開始時間までに2つの被写体検出結果が共に出力できている状態にある場合は、S207に進んで、精度優先の被写体検出結果を用いて、AF評価値算出用読み出し領域を算出する。 If the accuracy-priority subject detection result can be output, that is, if the two subject detection results are output together by the AF start time, the process proceeds to S207, and the accuracy-priority subject detection result is used. The AF evaluation value calculation readout area is calculated.
検出結果が1つの物体であれば、その物体の位置を中心として読み出し領域を決定する。一方で複数の物体が検出された際は、最も順位の高い物体の位置を中心として読み出し領域を決定する。また、読み出し領域の決定に顔情報を用いる場合、サイズによって、瞳位置を中心に読み出し領域を決定するか、顔自体の中心で読み出し領域を決定するかを判別する。 If the detection result is one object, the reading area is determined with the position of the object as the center. On the other hand, when a plurality of objects are detected, the reading area is determined with the position of the highest ranked object as the center. Further, when face information is used for determination of the reading area, it is determined whether to determine the reading area around the pupil position or to determine the reading area based on the center of the face depending on the size.
一方、速度優先の被写体検出結果のみが出力できている場合、すなわちAF開始時間までに速度優先の被写体検出結果のみが出力できている状態にある場合は、S208に進み、速度優先の被写体検出結果を用いて、AF評価値算出用読み出し領域を算出する。検出結果としては、1つの物体の情報のみ出力されているので、その物体の位置を中心として読み出し領域を決定する。 On the other hand, if only the speed-priority subject detection result can be output, that is, if only the speed-priority subject detection result can be output before the AF start time, the process proceeds to S208, and the speed-priority subject detection result. Is used to calculate the AF evaluation value calculation readout area. Since only the information of one object is output as the detection result, the reading area is determined with the position of the object as the center.
読み出し領域を決定すると、S107に進んで、図3を参照して説明した処理を行う。 When the reading area is determined, the process proceeds to S107, and the processing described with reference to FIG. 3 is performed.
上記のように第2の実施形態によれば、検出方法を2つに分けて同時に実施することで、速度優先の被写体検出処理により連写速度を保証しながら、被写体の検出及び追尾の保証が可能となる。加えて、精度優先の被写体検出処理がAF開始時間に間に合う場合は、より精度の高い検出結果を用いることで、追尾性能を向上することができる。 As described above, according to the second embodiment, the detection method is divided into two and executed simultaneously, so that the subject detection and tracking can be ensured while guaranteeing the continuous shooting speed by the subject detection processing prioritizing the speed. It becomes possible. In addition, when the accuracy priority subject detection process is in time for the AF start time, the tracking performance can be improved by using a more accurate detection result.
100:デジタルカメラ、105:第3レンズ群、107:撮像素子、114:フォーカスアクチュエータ、121:制御部、124:撮像素子駆動回路、125:画像処理回路、126:フォーカス駆動回路、211:画素、211a,211b:光電変換部、1702:AF可能な領域、1703:AFできない領域 100: Digital camera, 105: Third lens group, 107: Image sensor, 114: Focus actuator, 121: Control unit, 124: Image sensor drive circuit, 125: Image processing circuit, 126: Focus drive circuit, 211: Pixel, 211a, 211b: photoelectric conversion unit, 1702: AF-enabled area, 1703: AF-disabled area
Claims (8)
前記撮像素子の読み出しを制御する制御手段と、
前記撮像素子から出力された画像信号に基づいて、被写体を検出する検出手段と、
前記制御手段により、前記検出された被写体を含む前記画素部の一部の領域から読み出された前記焦点検出用信号に基づいて焦点調節処理を行う焦点調節手段と、を有し、
前記検出手段は、前記撮像素子からの前記画像信号の読み出しが終了する前に、被写体の検出処理を開始することを特徴とする撮像装置。 An image sensor having a pixel portion composed of a plurality of pixels that photoelectrically convert an incident subject optical image and output an image signal or a focus detection signal;
Control means for controlling readout of the image sensor;
Detection means for detecting a subject based on an image signal output from the image sensor;
Focus adjusting means for performing focus adjustment processing based on the focus detection signal read out from the partial area of the pixel unit including the detected subject by the control means,
The image pickup apparatus, wherein the detection unit starts a subject detection process before the reading of the image signal from the image pickup element is completed.
前記検出手段は、前記第1の領域から前記画像信号の読み出しが終了したときに、前記被写体の検出処理を開始することを特徴とする請求項1に記載の撮像装置。 The pixel unit includes a first region that outputs a focus detection signal that can be subjected to focus adjustment processing by the focus adjustment unit, and a second region that cannot perform focus adjustment processing,
The imaging apparatus according to claim 1, wherein the detection unit starts detection processing of the subject when reading of the image signal from the first region is completed.
前記検出手段は、連写撮影時に、前記第1の領域からの前記画像信号の読み出しが終了したときと、次の画像の撮影を開始するまでに前記焦点調節処理を終えるように連写速度と前記焦点調節処理にかかる時間に基づいて決定した前記被写体の検出処理の開始時間とのうち、いずれか早いタイミングで、前記被写体の検出処理を開始することを特徴とする請求項1に記載の撮像装置。 The pixel unit includes a first region that outputs a focus detection signal that can be subjected to focus adjustment processing by the focus adjustment unit, and a second region that cannot perform focus adjustment processing,
The detection means is configured to detect the continuous shooting speed so that the focus adjustment processing is completed before reading of the image signal from the first region is completed and shooting of the next image is started during continuous shooting. 2. The imaging according to claim 1, wherein the subject detection process is started at an earlier timing of a start time of the subject detection process determined based on a time required for the focus adjustment process. apparatus.
連写撮影時に、前記焦点調節手段は、前記焦点調節処理の開始時間までに前記精度優先の被写体検出処理により被写体が検出されている場合に、前記精度優先の被写体検出処理により検出された被写体に対して前記焦点調節処理を行い、前記焦点調節処理の開始時間までに前記精度優先の被写体検出処理により被写体が検出されていない場合に、前記速度優先の被写体検出処理により検出された被写体に対して前記焦点調節処理を行うことを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。 The detection means performs an accuracy priority subject detection process and a speed priority subject detection process,
At the time of continuous shooting, the focus adjusting means detects the subject detected by the accuracy priority subject detection processing when the subject is detected by the accuracy priority subject detection processing by the start time of the focus adjustment processing. When the subject is detected by the speed priority subject detection processing when the focus adjustment processing is performed and no subject is detected by the accuracy priority subject detection processing by the start time of the focus adjustment processing. The imaging apparatus according to claim 1, wherein the focus adjustment process is performed.
前記制御手段は、前記画像信号として前記複数の光電変換部それぞれに蓄積された電荷を画素毎に加算して読み出し、前記焦点検出用信号として前記複数の光電変換部それぞれに蓄積された電荷に応じた信号を得られるように読み出し、
前記焦点調節手段は、位相差方式による焦点調節処理を行うことを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。 Each of the pixels includes a plurality of photoelectric conversion units,
The control means reads out the charge accumulated in each of the plurality of photoelectric conversion units as the image signal for each pixel, and according to the charge accumulated in each of the plurality of photoelectric conversion units as the focus detection signal. Read out the signal
The imaging apparatus according to claim 1, wherein the focus adjustment unit performs a focus adjustment process using a phase difference method.
前記撮像素子の読み出しを制御する制御手段と、
制御手段が、前記画素部から画像信号を読み出す第1の読み出し工程と、
検出手段が、前記第1の読み出し工程で読み出された画像信号に基づいて、被写体を検出する検出工程と、
前記制御手段が、前記検出された被写体を含む前記画素部の一部の領域から前記焦点検出用信号を読み出す第2の読み出し工程と、
焦点調節手段が、前記第2の読み出し工程で読み出された前記焦点検出用信号に基づいて焦点調節処理を行う焦点調節工程と、を有し、
前記検出工程では、前記画素部からの前記画像信号の読み出しが終了する前に、被写体の検出処理を開始することを特徴とする撮像装置の制御方法。 A method for controlling an image pickup apparatus having an image pickup element having a pixel portion composed of a plurality of pixels that photoelectrically convert an incident subject optical image and output an image signal or a focus detection signal,
Control means for controlling readout of the image sensor;
A first reading step in which the control means reads an image signal from the pixel unit;
A detecting step for detecting a subject based on the image signal read in the first reading step;
A second reading step in which the control means reads the focus detection signal from a partial region of the pixel unit including the detected subject;
A focus adjustment step, wherein the focus adjustment means performs a focus adjustment process based on the focus detection signal read out in the second readout step;
In the detection step, a subject detection process is started before reading of the image signal from the pixel unit is completed.
連写撮影時に、前記第2の読み出し工程では、前記第2の読み出し工程の開始時間までに前記精度優先の被写体検出処理により被写体が検出されている場合に、前記精度優先の被写体検出処理により検出された被写体を含む前記画素部の一部の領域から前記焦点検出用信号を読み出し、前記第2の読み出し工程の開始時間までに前記精度優先の被写体検出処理により被写体が検出されていない場合に、前記速度優先の被写体検出処理により検出された被写体を含む前記画素部の一部の領域から前記焦点検出用信号を読み出すことを特徴とする請求項7に記載の撮像装置の制御方法。 In the detection process, subject detection processing prioritizing accuracy and subject detection processing prioritizing speed are performed.
During continuous shooting, in the second readout step, when the subject is detected by the subject detection processing with priority on accuracy by the start time of the second readout step, detection is performed by subject detection processing with priority on accuracy. When the focus detection signal is read out from a partial area of the pixel unit including the processed subject and the subject is not detected by the subject detection process with priority on accuracy by the start time of the second readout step, The method of controlling an imaging apparatus according to claim 7, wherein the focus detection signal is read from a partial region of the pixel unit including the subject detected by the speed-priority subject detection process.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015240474A JP6626332B2 (en) | 2015-12-09 | 2015-12-09 | Imaging device and control method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015240474A JP6626332B2 (en) | 2015-12-09 | 2015-12-09 | Imaging device and control method thereof |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017107058A true JP2017107058A (en) | 2017-06-15 |
JP2017107058A5 JP2017107058A5 (en) | 2018-11-29 |
JP6626332B2 JP6626332B2 (en) | 2019-12-25 |
Family
ID=59059456
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015240474A Active JP6626332B2 (en) | 2015-12-09 | 2015-12-09 | Imaging device and control method thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6626332B2 (en) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009175821A (en) * | 2008-01-22 | 2009-08-06 | Fujifilm Corp | Detection method and photographing device for specific image |
JP2010035237A (en) * | 2009-11-12 | 2010-02-12 | Fujifilm Corp | Position detection device and method of target image and program for controlling position detection device of target image |
JP2010072599A (en) * | 2008-09-22 | 2010-04-02 | Canon Inc | Automatic focusing device and automatic focusing method |
JP2011166515A (en) * | 2010-02-10 | 2011-08-25 | Olympus Corp | Imaging apparatus |
JP2012010003A (en) * | 2010-06-23 | 2012-01-12 | Olympus Imaging Corp | Digital camera |
US20120206640A1 (en) * | 2011-02-15 | 2012-08-16 | Canon Kabushiki Kaisha | Imaging apparatus and control method |
JP2012169920A (en) * | 2011-02-15 | 2012-09-06 | Canon Inc | Imaging apparatus and control method |
JP2014206562A (en) * | 2013-04-10 | 2014-10-30 | キヤノン株式会社 | Imaging apparatus and control method therefor |
-
2015
- 2015-12-09 JP JP2015240474A patent/JP6626332B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009175821A (en) * | 2008-01-22 | 2009-08-06 | Fujifilm Corp | Detection method and photographing device for specific image |
JP2010072599A (en) * | 2008-09-22 | 2010-04-02 | Canon Inc | Automatic focusing device and automatic focusing method |
JP2010035237A (en) * | 2009-11-12 | 2010-02-12 | Fujifilm Corp | Position detection device and method of target image and program for controlling position detection device of target image |
JP2011166515A (en) * | 2010-02-10 | 2011-08-25 | Olympus Corp | Imaging apparatus |
JP2012010003A (en) * | 2010-06-23 | 2012-01-12 | Olympus Imaging Corp | Digital camera |
US20120206640A1 (en) * | 2011-02-15 | 2012-08-16 | Canon Kabushiki Kaisha | Imaging apparatus and control method |
JP2012169920A (en) * | 2011-02-15 | 2012-09-06 | Canon Inc | Imaging apparatus and control method |
CN102685383A (en) * | 2011-02-15 | 2012-09-19 | 佳能株式会社 | Imaging apparatus and control method |
JP2014206562A (en) * | 2013-04-10 | 2014-10-30 | キヤノン株式会社 | Imaging apparatus and control method therefor |
Also Published As
Publication number | Publication date |
---|---|
JP6626332B2 (en) | 2019-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5322783B2 (en) | IMAGING DEVICE AND CONTROL METHOD OF IMAGING DEVICE | |
JP3992992B2 (en) | Subject image acquisition device | |
US8817165B2 (en) | Image capturing apparatus | |
JP2010181751A (en) | Auto focus detection device | |
JP5159520B2 (en) | Imaging apparatus, automatic focus detection apparatus, and control method thereof | |
JP5954933B2 (en) | Imaging device and lens device | |
JP6548437B2 (en) | Focusing apparatus, control method therefor, control program, and imaging apparatus | |
JP5484617B2 (en) | Imaging device | |
JP2018101055A (en) | Focus adjustment device, imaging device and focus adjustment method | |
JP2004361611A (en) | Solid-state image pickup element and photographing device | |
JP5279638B2 (en) | Imaging device | |
CN113316928B (en) | Imaging element, imaging apparatus, image data processing method, and computer-readable storage medium | |
JP6482247B2 (en) | FOCUS ADJUSTMENT DEVICE, IMAGING DEVICE, FOCUS ADJUSTMENT DEVICE CONTROL METHOD, AND PROGRAM | |
JP2001230966A (en) | Electronic camera | |
JP7309383B2 (en) | Imaging device | |
KR20170087029A (en) | Imaging apparatus and control method thereof | |
JP6626332B2 (en) | Imaging device and control method thereof | |
JP6808501B2 (en) | Imaging device and control method of imaging device | |
JP4535462B2 (en) | Subject image acquisition device | |
JP2020134546A (en) | Imaging apparatus, lens device, camera system, and control method of imaging apparatus | |
JP6660036B2 (en) | Focus detection device and imaging device | |
JP4992382B2 (en) | Noise removal method and noise removal control program | |
JP2009253623A (en) | Solid-state imaging device and photographic device | |
JP6477630B2 (en) | Imaging device | |
JP2022188869A (en) | Image processing apparatus, imaging apparatus, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181015 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181015 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190417 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190628 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190823 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191129 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6626332 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |