JP2019057810A - Imaging apparatus, control method for the same, and program - Google Patents

Imaging apparatus, control method for the same, and program Download PDF

Info

Publication number
JP2019057810A
JP2019057810A JP2017180696A JP2017180696A JP2019057810A JP 2019057810 A JP2019057810 A JP 2019057810A JP 2017180696 A JP2017180696 A JP 2017180696A JP 2017180696 A JP2017180696 A JP 2017180696A JP 2019057810 A JP2019057810 A JP 2019057810A
Authority
JP
Japan
Prior art keywords
subject
area
image data
image
evaluation value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017180696A
Other languages
Japanese (ja)
Inventor
憲治 三輪
Kenji Miwa
憲治 三輪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017180696A priority Critical patent/JP2019057810A/en
Publication of JP2019057810A publication Critical patent/JP2019057810A/en
Pending legal-status Critical Current

Links

Images

Abstract

To solve the problem in which, if an area where a subject detection process is performed is limited in order to accelerate timing of obtaining an autofocus evaluation value, it is not possible to perform suitable image processing on a subject outside the area.SOLUTION: An imaging apparatus is configured to read out image data of a first area including an area corresponding to an area where an evaluation value for autofocus is generated among effective pixel areas of an imaging device and to calculate an amount of lens drive for auto focus on the basis of the evaluation value for autofocus corresponding to a subject detected from the image data. The imaging apparatus is further configured to read out image data of a second area including an area not included in the first area among the effective pixel areas of the imaging device and perform image processing on the basis of the subject detected from the image data of the second area and the subject detected from the image data of the first area.SELECTED DRAWING: Figure 2

Description

本発明は、オートフォーカスおよび画像処理ための被写体の検出処理に関するものである。   The present invention relates to subject detection processing for autofocus and image processing.

画像データから被写体が存在する領域を検出し、その領域に対応するオートフォーカス評価値を算出して、焦点検出を行う撮像装置が知られている(特許文献1)。   There is known an imaging apparatus that detects a region where a subject exists from image data, calculates an autofocus evaluation value corresponding to the region, and performs focus detection (Patent Document 1).

特許文献1には、画像データから検出した被写体の領域に対応する読み出し領域を設定し、この読み出し領域から読み出した画像データを用いてオートフォーカスのための評価値(オートフォーカス評価値)を算出することが開示されている。   In Patent Document 1, a reading area corresponding to a subject area detected from image data is set, and an evaluation value (autofocus evaluation value) for autofocus is calculated using image data read from the reading area. It is disclosed.

特開2012−58464号公報JP 2012-58464 A

上述の特許文献1に開示された従来技術では、有効画素領域の全体から読み出した画像データから被写体を検出し、これに応じてオートフォーカス評価値を取得するための読み出し領域を設定している。   In the conventional technique disclosed in Patent Document 1 described above, a subject is detected from image data read from the entire effective pixel area, and a reading area for acquiring an autofocus evaluation value is set accordingly.

ここで、撮像装置によっては、オートフォーカス評価値を算出できる領域が有効画素領域全体をカバーしておらず、一部の領域に限定されている場合がある。このような構成の場合、オートフォーカス評価値を算出することができない領域から被写体を検出したとしても、その検出結果をオートフォーカスに反映させることはできない。   Here, depending on the imaging device, the area where the autofocus evaluation value can be calculated does not cover the entire effective pixel area, and may be limited to a part of the area. In such a configuration, even if a subject is detected from an area where an autofocus evaluation value cannot be calculated, the detection result cannot be reflected in autofocus.

そこで、オートフォーカス評価値を得ることができる領域から画像データを読み出し終えた時点で、全ての画像データを読み出す前であっても、被写体の検出を開始することが考えられる。被写体の検出の開始を早めることで、被写体を検出できるまでの時間を短縮することができる。   Therefore, it is conceivable that the detection of the subject is started when the image data has been read from the area where the autofocus evaluation value can be obtained, even before all the image data has been read. By accelerating the start of subject detection, the time until the subject can be detected can be shortened.

しかしながら、オートフォーカス評価値を得ることができる領域のみから被写体を検出すると、この領域外に被写体が存在する場合に、その被写体を中心とした色補正や鮮鋭度補正などの画像処理を行うことができなくなってしまう。   However, if a subject is detected only from a region where an autofocus evaluation value can be obtained, image processing such as color correction and sharpness correction centered on the subject may be performed when the subject exists outside this region. It becomes impossible.

そこで、本発明は、被写体に対するオートフォーカス評価値を得るのに要する時間を抑えつつ、オートフォーカス評価値を得る領域外に存在する被写体に対しても好適な画像処理を行える撮像装置を提供することを目的とする。   Accordingly, the present invention provides an imaging apparatus that can perform suitable image processing on a subject that exists outside the region from which the autofocus evaluation value is obtained while suppressing the time required to obtain the autofocus evaluation value for the subject. With the goal.

上記目的を達成するために、本発明は、撮像素子から画像データを読み出す読み出し手段と、前記読み出し手段によって読み出された画像データから被写体を検出する被写体の検出処理を行う検出手段と、オートフォーカスのための評価値を生成する生成手段と、前記検出手段によって検出された被写体に対応する前記評価値に基づいて、オートフォーカスのためのレンズの駆動量を算出する算出手段と、前記検出手段によって検出された被写体に基づいて、画像処理を行う画像処理手段と、を有し、前記読み出し手段は、前記撮像素子の有効画素領域の一部であり、かつ、前記オートフォーカスのための評価値が生成される領域に対応する領域を含む第1の領域の画像データを読み出してから、前記撮像素子の有効画素領域の一部の領域であり、かつ、前記第1の領域に含まれない領域を含む第2の領域の画像データを読み出し、前記検出手段は、前記読み出し手段が前記第2の領域の画像データの読み出しを終える前に前記第1の領域の画像データに対して第1の被写体の検出処理を行い、前記第2の領域の画像データが読み出されてから前記第2の領域の画像データに対して第2の被写体の検出処理を行い、前記算出手段は、前記第1の被写体の検出処理によって検出された被写体に対応する前記評価値に基づいて、前記レンズの駆動量を算出し、前記画像処理手段は、前記第1の被写体の検出処理によって検出された被写体と前記第2の被写体の検出処理によって検出された被写体に基づいて、前記画像処理を行うことを特徴とする撮像装置を提供するものである。   In order to achieve the above object, the present invention provides a reading unit that reads image data from an image sensor, a detection unit that performs a subject detection process for detecting a subject from the image data read by the reading unit, and an autofocus. Generating means for generating an evaluation value for the object, calculation means for calculating a lens driving amount for autofocus based on the evaluation value corresponding to the subject detected by the detecting means, and the detecting means Image processing means for performing image processing based on the detected subject, and the reading means is a part of an effective pixel area of the image sensor, and an evaluation value for the autofocus is After reading out the image data of the first area including the area corresponding to the area to be generated, a part of the effective pixel area of the image sensor And the image data of the second area including the area not included in the first area is read, and the detecting means reads the image data before the reading means finishes reading the image data of the second area. A first subject detection process is performed on the image data in the first area, and after the image data in the second area is read out, the second subject image data in the second area is read out. Detection processing is performed, and the calculation means calculates a driving amount of the lens based on the evaluation value corresponding to the subject detected by the first subject detection processing, and the image processing means The present invention provides an imaging apparatus that performs the image processing based on a subject detected by one subject detection processing and a subject detected by the second subject detection processing.

本発明によれば、被写体に対するオートフォーカス評価値を得るのに要する時間を抑えつつ、オートフォーカス評価値を得る領域外に存在する被写体に対しても好適な画像処理を行える撮像装置を提供することができる。   According to the present invention, it is possible to provide an imaging apparatus capable of performing suitable image processing on a subject existing outside an area for obtaining an autofocus evaluation value while suppressing the time required to obtain an autofocus evaluation value for the subject. Can do.

本発明の第1の実施形態における撮像装置の全体構成を示す概略図である1 is a schematic diagram illustrating an overall configuration of an imaging apparatus according to a first embodiment of the present invention. 本発明の第1の実施形態における撮影処理の動作のタイミングを示すタイミングチャートである3 is a timing chart showing the timing of the photographing process operation in the first embodiment of the present invention. 本発明の第1の実施形態における撮影処理の動作を示すフローチャートである6 is a flowchart showing an operation of a photographing process in the first embodiment of the present invention. 本発明の第1の実施形態における被写体検出結果を示す表であるIt is a table | surface which shows the to-be-photographed object detection result in the 1st Embodiment of this invention. 本発明の第1の実施形態における静止画画像処理の動作を示すフローチャートである3 is a flowchart showing an operation of still image processing in the first embodiment of the present invention. 本発明の第1の実施形態における被写体検出範囲を示す図であるIt is a figure which shows the to-be-photographed object detection range in the 1st Embodiment of this invention. 本発明の第2の実施形態における被写体検出範囲を示す図であるIt is a figure which shows the to-be-photographed object detection range in the 2nd Embodiment of this invention.

以下、本発明の好適な実施形態について添付の図面を参照しながら詳細に説明する。   Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

(第1の実施形態)
図1は、第1の実施形態による撮像装置の全体構成を示す図である。
(First embodiment)
FIG. 1 is a diagram illustrating an overall configuration of an imaging apparatus according to the first embodiment.

本実施形態における撮像装置100は、デジタルカメラである。図1に示すように、結像光学系の先端部に第1レンズ群101が配置されており、第1レンズ群101は光軸方向に進退可能に保持されている。絞り兼用シャッタ102は、その開口径を調節することで撮影時の光量調節を行うほか、静止画撮影時には露光秒時調節用シャッタとしても機能する。絞り兼用シャッタ102と第2レンズ群103とは一体となって光軸方向に進退し、第1レンズ群101の進退動作との連動によって、変倍作用(ズーム機能)を奏する。   The imaging device 100 in the present embodiment is a digital camera. As shown in FIG. 1, a first lens group 101 is disposed at the tip of the imaging optical system, and the first lens group 101 is held so as to be able to advance and retreat in the optical axis direction. The iris / shutter 102 adjusts the aperture diameter to adjust the amount of light at the time of shooting, and also functions as an exposure time adjustment shutter at the time of still image shooting. The diaphragm / shutter 102 and the second lens group 103 integrally move forward and backward in the optical axis direction, and exhibit a zooming function (zoom function) in conjunction with the forward / backward movement of the first lens group 101.

第3レンズ群105は、光軸方向の進退によって、焦点調節を行う。光学的ローパスフィルタ106は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子107は、2次元CMOSフォトセンサーと周辺回路とを含み、結像光学系の結像面に配置される。   The third lens group 105 performs focus adjustment by moving back and forth in the optical axis direction. The optical low-pass filter 106 is an optical element for reducing false colors and moire in the captured image. The image sensor 107 includes a two-dimensional CMOS photosensor and a peripheral circuit, and is disposed on the imaging surface of the imaging optical system.

ズームアクチュエータ111は、図示しないカム筒を回動することで、第1レンズ群101乃至第3レンズ群105を光軸方向に進退駆動し、変倍操作を行う。絞りシャッタアクチュエータ112は、絞り兼用シャッタ102の開口径を制御して撮影光量を調節するとともに、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ114は、第3レンズ群105を光軸方向に進退駆動して焦点調節を行う。   The zoom actuator 111 rotates a cam cylinder (not shown) to drive the first lens group 101 to the third lens group 105 back and forth in the optical axis direction and perform a zooming operation. The aperture shutter actuator 112 controls the aperture diameter of the aperture / shutter 102 to adjust the amount of photographing light, and controls the exposure time during still image photographing. The focus actuator 114 adjusts the focus by driving the third lens group 105 back and forth in the optical axis direction.

撮影時に用いられる照明手段(被写体照明用電子フラッシュ)115は、キセノン管を用いた閃光照明装置が好適であるが、連続発光するLEDを備えた照明装置を用いてもよい。オートフォーカス(以下、AFと記す)補助光手段116は、所定の開口パターンを有するマスクの像を、投光レンズを介して被写体に投影し、暗い被写体あるいは低コントラストの被写体に対する焦点検出能力を向上させる。   The illumination means (electronic flash for subject illumination) 115 used at the time of photographing is preferably a flash illumination device using a xenon tube, but an illumination device including LEDs that emit light continuously may be used. Autofocus (hereinafter referred to as AF) auxiliary light means 116 projects an image of a mask having a predetermined aperture pattern onto a subject via a light projection lens, and improves focus detection capability for a dark subject or a low-contrast subject. Let

制御部121は、撮像装置100における種々の制御を司るものであり、図示しないCPU(演算部)、A/Dコンバータ、D/Aコンバータ、通信インターフェイス回路等を有している。   The control unit 121 controls various controls in the imaging apparatus 100, and includes a CPU (arithmetic unit), an A / D converter, a D / A converter, a communication interface circuit, and the like (not shown).

電子フラッシュ制御回路122は、撮影動作に同期して照明手段115を点灯制御する。補助光駆動回路123は、焦点検出動作に同期してAF補助光手段116を点灯制御する。   The electronic flash control circuit 122 controls lighting of the illumination unit 115 in synchronization with the photographing operation. The auxiliary light driving circuit 123 controls the lighting of the AF auxiliary light unit 116 in synchronization with the focus detection operation.

撮像素子駆動回路124は、撮像素子107の撮像動作を制御するとともに、取得した画像信号をA/D変換して制御部121に送信する。画像処理回路125は、撮像素子107が取得した画像に対して、被写体が存在する領域を検出するための被写体検出、ガンマ変換、カラー補間、および、圧縮等の処理を行う。   The image sensor drive circuit 124 controls the image capturing operation of the image sensor 107, A / D converts the acquired image signal, and transmits it to the control unit 121. The image processing circuit 125 performs processing such as subject detection, gamma conversion, color interpolation, and compression for detecting an area where the subject exists on the image acquired by the image sensor 107.

フォーカス駆動回路126は、焦点検出結果に基づいてフォーカスアクチュエータ114を駆動制御し、第3レンズ群105を光軸方向に進退駆動して焦点調節を行う。絞りシャッタ駆動回路128は、絞りシャッタアクチュエータ112を駆動制御して絞り兼用シャッタ102の開口を制御する。ズーム駆動回路129は、撮影者によるズーム操作に応じてズームアクチュエータ111を駆動する。   The focus drive circuit 126 controls the focus actuator 114 based on the focus detection result, and adjusts the focus by driving the third lens group 105 back and forth in the optical axis direction. The aperture shutter drive circuit 128 controls the aperture of the aperture / shutter 102 by drivingly controlling the aperture shutter actuator 112. The zoom drive circuit 129 drives the zoom actuator 111 according to the zoom operation by the photographer.

表示装置131は、例えば液晶ディスプレイや有機ELディスプレイにより構成されており、撮像装置100の撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、焦点検出時の合焦状態の表示画像等を表示する。操作スイッチ群132は、電源スイッチ、レリーズ(撮影トリガ)スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を含む。記録媒体133は、着脱可能なフラッシュメモリ等であり、撮影により取得した画像ファイルを記録する。メモリ134はRAM、ROM等であり、所定のプログラムの記憶や、画像処理中の画像データや画像処理に必要なパラメータデータの保持等を行っている。制御部121は、メモリ134の有するROMに記憶された所定のプログラムに基づいて、撮像装置100の各種回路を駆動し、AF、撮影、画像処理、記録等の一連の動作を実行する。   The display device 131 is configured by, for example, a liquid crystal display or an organic EL display. The display device 131 includes information on the shooting mode of the imaging device 100, a preview image before shooting, a confirmation image after shooting, and a display image of a focused state at the time of focus detection. Etc. are displayed. The operation switch group 132 includes a power switch, a release (shooting trigger) switch, a zoom operation switch, a shooting mode selection switch, and the like. The recording medium 133 is a detachable flash memory or the like, and records an image file acquired by photographing. The memory 134 is a RAM, a ROM, or the like, and stores a predetermined program, holds image data during image processing, parameter data necessary for image processing, and the like. The control unit 121 drives various circuits of the imaging apparatus 100 based on a predetermined program stored in the ROM of the memory 134, and executes a series of operations such as AF, shooting, image processing, and recording.

次に、本実施形態による撮像装置によって行われる被写体追従AFモードでの連続撮影について、図2と図3を用いて説明する。図2は、本実施形態による撮像装置における被写体追従AFモードでの連続撮影の際の動作のタイミングを示すタイミングチャートである。加えて、図3は、本実施形態による撮像装置における被写体追従AFモードでの連続撮影の際の動作を示すフローチャートである。   Next, continuous shooting in the subject tracking AF mode performed by the imaging apparatus according to the present embodiment will be described with reference to FIGS. FIG. 2 is a timing chart showing operation timings in continuous shooting in the subject tracking AF mode in the imaging apparatus according to the present embodiment. In addition, FIG. 3 is a flowchart showing an operation at the time of continuous shooting in the subject tracking AF mode in the imaging apparatus according to the present embodiment.

撮像装置100は、操作スイッチ群132に含まれる撮影モード選択スイッチのユーザー操作により、撮影モードが被写体追従AFモードになっていることを前提とする。   The imaging apparatus 100 is based on the premise that the shooting mode is set to the subject tracking AF mode by the user operation of the shooting mode selection switch included in the operation switch group 132.

このモードのときに、操作スイッチ群132に含まれるレリーズスイッチがオンとなることで撮影が開始され、ステップS301へ移行する。   In this mode, shooting is started when a release switch included in the operation switch group 132 is turned on, and the process proceeds to step S301.

ステップS301では、静止画撮影のために撮像素子107へ露光を開始し、電荷の蓄積を行う。図2の静止画蓄積201が、露光および電荷の蓄積を行う期間を示す。露光時間は絞りシャッタアクチュエータ112で制御する。   In step S301, exposure to the image sensor 107 is started for still image shooting, and charge is accumulated. The still image accumulation 201 in FIG. 2 indicates a period during which exposure and charge accumulation are performed. The exposure time is controlled by the aperture shutter actuator 112.

ステップS302では、有効画素領域の全体を含む領域から画像データを読み出す処理を開始する。撮像素子駆動回路124は、撮像素子107に蓄積された電荷から得られた画像信号をA/D変換して画像データを生成し、制御部121に1画素単位、もしくは複数の画素単位で順に送信する。図2の静止画読み出し202が、画像データの読み出しに要する期間である。   In step S302, a process of reading image data from an area including the entire effective pixel area is started. The image sensor driving circuit 124 A / D converts an image signal obtained from the electric charge accumulated in the image sensor 107 to generate image data, and sequentially transmits it to the control unit 121 in units of one pixel or in units of a plurality of pixels. To do. 2 is a period required for reading image data.

ステップS303では、画像処理回路125が被写体検出処理を開始する。図2の被写体検出203が、被写体検出処理に要する期間である。ここで、後述する図6の領域601がAF評価値を算出可能な領域である。この領域601より後に読み出される画像データからはAF評価値を算出しないため、このような領域の画像データの読み出しを完了する前に被写体検出処理を開始する。具体的には、AF評価値を算出可能な全ての領域からの画像データの読み出しが完了すると、制御部121に送信されてきた画像信号に基づき、画像処理回路125が被写体検出処理を開始する。図2の静止画読み出し202の下に記載された矢印212が、AF評価値を算出可能な全ての領域からの画像データの読み出しに必要な期間を示す。   In step S303, the image processing circuit 125 starts subject detection processing. The subject detection 203 in FIG. 2 is a period required for subject detection processing. Here, an area 601 in FIG. 6 to be described later is an area where an AF evaluation value can be calculated. Since the AF evaluation value is not calculated from the image data read after this area 601, the subject detection process is started before the reading of the image data in such an area is completed. Specifically, when reading of the image data from all the areas where the AF evaluation value can be calculated is completed, the image processing circuit 125 starts subject detection processing based on the image signal transmitted to the control unit 121. An arrow 212 described below the still image reading 202 in FIG. 2 indicates a period necessary for reading image data from all areas where AF evaluation values can be calculated.

図4は被写体検出処理により検出された被写体の結果を表している。検出された被写体毎に、被写体の位置(水平方向、垂直方向)と大きさ、また、検出結果としての信頼度が算出され、信頼度順に整列されている。ピントが合っていない被写体や、画角内に捉えられず切れて写っている被写体では信頼度が小さくなるため、信頼度は、撮像装置が主たる被写体として捉えているかを表す指標として扱うこともできる。また、被写体検出処理では、検出できる被写体の個数に上限を設ける場合もある。これは、検出した被写体の数に応じて後処理の時間が増加するため、処理時間を考慮して検出できる被写体の個数に上限を設定する。   FIG. 4 shows the result of the subject detected by the subject detection process. For each detected subject, the position (horizontal direction and vertical direction) and size of the subject and the reliability as a detection result are calculated and arranged in the order of reliability. Reliability is low for subjects that are out of focus, or subjects that are not captured within the angle of view, and can be handled as an index that indicates whether the imaging device is capturing as the main subject. . In the subject detection process, an upper limit may be set for the number of subjects that can be detected. Since the post-processing time increases according to the number of detected subjects, an upper limit is set on the number of subjects that can be detected in consideration of the processing time.

ステップS304では、制御部121が、被写体検出処理によって得られた被写体の位置情報を用いて、被写体の位置を中心とし、有効画素領域に対して部分的にAF読み出し領域を設定する。次のフレームの電荷の蓄積のタイミングは定まっており、その前にAF処理を完了する必要があるため、被写体検出処理ができるタイミングには制約がある。蓄積時間が長いと、AF評価値を算出可能な全ての領域からの画像データの読み出しが完了するまでに要する時間が長くなるため、AF処理を開始する前に被写体検出処理が完了しないケースがある。このような場合は、直前のフレームの画像データから得られた被写体検出処理によって検出された領域を、AF読み出し領域として設定してもよい。あるいは、デフォルトとして定めておいた領域をAF読み出し領域として設定してもよい。   In step S304, using the subject position information obtained by subject detection processing, the control unit 121 sets an AF readout region partially with respect to the effective pixel region with the subject position as the center. Since the timing of charge accumulation in the next frame is fixed and the AF process needs to be completed before that, there is a restriction on the timing at which the subject detection process can be performed. If the accumulation time is long, it takes a long time to complete reading of image data from all areas where AF evaluation values can be calculated, and therefore the subject detection process may not be completed before the AF process is started. . In such a case, an area detected by subject detection processing obtained from the image data of the immediately preceding frame may be set as the AF readout area. Alternatively, an area determined as a default may be set as the AF readout area.

また、このステップS304と並行して静止画のための画像処理が開始される。この現像のフローについては後ほど説明を行う。   In parallel with step S304, image processing for a still image is started. This development flow will be described later.

ステップS305では、AF評価値の算出のために撮像素子107へ露光を開始し、電荷が蓄積される。図2のAF蓄積204が、AF評価値の算出のための電荷の蓄積に要する期間である。露光時間は絞りシャッタアクチュエータ112で制御する。露光時間の長さは、AF評価値さえ得られれば良いので、静止画を得る場合に比較して短く設定することができる。   In step S305, exposure to the image sensor 107 is started to calculate an AF evaluation value, and charges are accumulated. The AF accumulation 204 in FIG. 2 is a period required for accumulating charges for calculating the AF evaluation value. The exposure time is controlled by the aperture shutter actuator 112. The length of the exposure time only needs to obtain the AF evaluation value, and can be set shorter than when obtaining a still image.

ステップS306では、撮像素子駆動回路124が、撮像素子107に蓄積された電荷から得られた画像信号をA/D変換して画像データを生成し、制御部121に送信する処理を開始する。図2のAF読み出し205が、AF評価値を生成するための画像データの読み出しに要する期間である。撮像素子駆動回路124は、静止画のための読み出しとは別の駆動方式で撮像素子107を制御し、撮像素子107の有効画素領域から部分的に画像データを読み出す。撮像素子駆動回路124はAF読み出し領域からのみ画像データを読み出すので、有効画素領域の全体から画像データを読み出す場合に比べて、読み出しに要する時間を大幅に短縮することができる。   In step S <b> 306, the image sensor drive circuit 124 A / D converts an image signal obtained from the electric charge accumulated in the image sensor 107 to generate image data, and starts processing to transmit to the control unit 121. The AF readout 205 in FIG. 2 is a period required for readout of image data for generating an AF evaluation value. The image sensor driving circuit 124 controls the image sensor 107 by a driving method different from the readout for still images, and partially reads image data from the effective pixel area of the image sensor 107. Since the image sensor driving circuit 124 reads image data only from the AF reading area, the time required for reading can be significantly shortened compared to reading image data from the entire effective pixel area.

ステップS307では、制御部121は、送信された画像データをもとにAFの評価値の算出を実行して、次の撮影で被写体にフォーカスするためのレンズの駆動量を制御部121で算出する。AFの評価値は、コントラストの強さや、特定周波数成分の信号レベルの積分値などを算出する、周知のコントラストAF方式を用いる。図2の駆動量算出206が、AF評価値の算出に要する期間である。   In step S307, the control unit 121 calculates an AF evaluation value based on the transmitted image data, and the control unit 121 calculates a lens driving amount for focusing on the subject in the next shooting. . The AF evaluation value uses a well-known contrast AF method for calculating the strength of contrast, the integrated value of the signal level of a specific frequency component, and the like. The driving amount calculation 206 in FIG. 2 is a period required for calculating the AF evaluation value.

ステップS308では、制御部121は算出したレンズの駆動量に基づいて、フォーカス駆動回路126を制御して、被写体に合焦する位置までレンズを駆動させる。図2のレンズ駆動207が、被写体に合焦する位置までレンズを駆動させるための要する期間である。   In step S308, the control unit 121 controls the focus driving circuit 126 based on the calculated lens driving amount to drive the lens to a position where the subject is focused. This is a period required for the lens drive 207 in FIG. 2 to drive the lens to a position where the subject is in focus.

ステップS309では、操作スイッチ群132に含まれるレリーズスイッチがオンされた状態のままであるか、オフされたかを判断して、オンされた状態のままであればステップS301に戻る。オフされていれば、連写撮影を停止し、撮影終了となる。   In step S309, it is determined whether the release switch included in the operation switch group 132 remains on or off. If it remains on, the process returns to step S301. If it is off, the continuous shooting is stopped and the shooting ends.

ここで、図2の被写体検出203を実行可能な期間について説明する。ステップS303で説明したように、図2の被写体検出203は、AF評価値を算出可能な全ての領域からの画像データの読み出しが完了したタイミングから、開始することができる。   Here, a period during which the subject detection 203 in FIG. 2 can be performed will be described. As described in step S303, the subject detection 203 in FIG. 2 can be started from the timing when reading of the image data from all the areas where the AF evaluation value can be calculated is completed.

また、図2の被写体検出203は、連写の間隔によって決まる、次のフレームのための電荷の蓄積(図2の静止画蓄積221)を開始する前に、被写体に合焦する位置までレンズを駆動させる処理までを完了する必要がある。つまり、図2の被写体検出203は、次のフレームの電荷の蓄積を開始するタイミングから、図2のAF蓄積204、AF読み出し205、駆動量算出206およびレンズ駆動207の期間だけ遡ったタイミングまでには、完了することが望ましい。   In addition, the subject detection 203 in FIG. 2 sets the lens to a position where the subject is in focus before starting charge accumulation (still image accumulation 221 in FIG. 2) for the next frame, which is determined by the interval of continuous shooting. It is necessary to complete the process to be driven. That is, the object detection 203 in FIG. 2 starts from the timing at which the charge accumulation of the next frame is started to the timing that is back by the period of AF accumulation 204, AF readout 205, drive amount calculation 206, and lens drive 207 in FIG. Is desirable to complete.

ここで、撮像素子107における静止画読み出し203が完了しないと、撮像素子107におけるAF蓄積204を開始することができない。そのため、少なくともAF評価値を算出可能な全ての領域からの画像データの読み出しが完了してから、有効画素領域の全ての領域からの画像データの読み出しが完了するまでの間は、被写体検出203のための期間として確保することができる。そして、蓄積時間が短いほど、すなわち、AF評価値を算出可能な全ての領域からの画像データの読み出しが完了するタイミングが早くなるほど、被写体検出203のために割り当てられる期間を長くすることができる。   Here, unless the still image reading 203 in the image sensor 107 is completed, the AF accumulation 204 in the image sensor 107 cannot be started. For this reason, at least during the period from the completion of reading of image data from all areas where AF evaluation values can be calculated to the completion of reading of image data from all areas of the effective pixel area, Can be secured as a period. Then, the shorter the accumulation time, that is, the earlier the timing for completing the reading of the image data from all the areas where the AF evaluation value can be calculated, the longer the period allocated for the subject detection 203 can be.

続いて、図2、図5および図6を用いて、図3のステップS304と並行して開始される撮影した画像データに対して行われる静止画のための画像処理について説明する。図5は静止画のための画像処理の動作についてのフローチャートである。   Next, image processing for a still image performed on captured image data that is started in parallel with step S304 in FIG. 3 will be described with reference to FIGS. FIG. 5 is a flowchart of the image processing operation for a still image.

ステップS501では、制御部121が現像処理のために被写体検出処理を適用する範囲を決定する。現像処理では、撮影された被写体に基づいて現像パラメータを変化させることで、その被写体に好適な画像データを生成することができる。例えば、被写体が暗い場合には、被写体の輝度を持ち上げるように現像処理のパラメータが変更される。また、被写体が人物の場合には、顔位置を検出し、その結果から、人物の明るさや色味を判定し、被写体である人物がより良く映るように現像パラメータが決定される。しかしながら、図3のステップS303では、有効画素領域の全ての領域から画像データを読み出す前であっても、AF評価値を算出可能な領域から画像データを読み出した時点で、被写体検出処理を開始している。そのため、AF評価値を得ることができる領域よりも後に読み出される領域に被写体が存在していたとしても、ステップS303の被写体検出処理では検出対象とすることができない。ゆえに、ステップS501では、AF評価値を得ることができる領域よりも後に読み出される領域に存在する被写体を検出するための、被写体検出処理を適用する範囲を決定する。なお、必ずしも、AF評価値を得ることができる領域よりも後に読み出される領域の全てを、被写体検出処理を適用する範囲とする必要はない。例え被写体が存在していたとしても、その位置に存在する被写体の重要度は低いと考えられる領域については、被写体検出処理を適用する範囲に含めなくともよい。   In step S501, the control unit 121 determines a range to which subject detection processing is applied for development processing. In the development process, image data suitable for the subject can be generated by changing development parameters based on the photographed subject. For example, when the subject is dark, the parameters of the development process are changed so as to increase the luminance of the subject. When the subject is a person, the face position is detected, and based on the result, the brightness and color of the person are determined, and development parameters are determined so that the person who is the subject is better reflected. However, in step S303 in FIG. 3, the subject detection process is started when the image data is read from the area where the AF evaluation value can be calculated, even before the image data is read from all the effective pixel areas. ing. For this reason, even if the subject exists in an area read after the area where the AF evaluation value can be obtained, it cannot be set as a detection target in the subject detection processing in step S303. Therefore, in step S501, a range to which subject detection processing is applied to detect a subject existing in an area read after an area where an AF evaluation value can be obtained is determined. Note that it is not always necessary that the entire area read after the area where the AF evaluation value can be obtained be the range to which the subject detection process is applied. Even if a subject exists, an area where the importance of the subject existing at that position is considered to be low need not be included in the range to which the subject detection process is applied.

図6は被写体検出処理を適用する範囲を説明する図である。撮像素子107の有効画素領域は、AF評価値を算出可能な領域601を含む。上述の図3のステップS303で説明したように、AF評価値を算出可能な領域までの読み出しが完了するタイミングで、AF読み出し領域の設定のための被写体検出処理を実施する。そのため、点線602で示されるラインの画像データの読み出しが完了したタイミングで、AF読み出し領域の設定のための被写体検出処理を実施する。このときの被写体検出処理の対象範囲が左下がりの斜線で示す領域603である。   FIG. 6 is a diagram illustrating a range to which the subject detection process is applied. The effective pixel area of the image sensor 107 includes an area 601 in which an AF evaluation value can be calculated. As described in step S303 in FIG. 3 described above, subject detection processing for setting an AF readout area is performed at the timing when readout to an area where an AF evaluation value can be calculated is completed. Therefore, subject detection processing for setting the AF readout area is performed at the timing when readout of the image data of the line indicated by the dotted line 602 is completed. The target range of the subject detection process at this time is a region 603 indicated by a diagonal line with a lower left corner.

現像のための被写体検出処理は、残りの右下がりの斜線で示す領域604を含む領域に対して行われる。現像のための被写体検出処理に要する時間は、有効画素領域の狭い領域のみを対象とするので、有効画素領域全体に対して被写体検出処理を行う場合に比べて大幅に短縮することができる。現像のための被写体検出処理が完了するまでの時間が短くなれば、現像処理が完了する前の時間も短くなるので、連写枚数の向上に寄与することが可能となる。   The subject detection process for development is performed on the area including the remaining area 604 indicated by the slanting line at the lower right. Since the time required for the subject detection process for development is limited to only a narrow effective pixel region, the time can be significantly reduced as compared with the case where the subject detection processing is performed on the entire effective pixel region. If the time until the subject detection process for development is completed is shortened, the time before the development process is completed is also shortened, which can contribute to the improvement of the number of continuous shots.

ステップS502では、ステップS501において決定された範囲に対して、現像のための被写体検出処理を行う。図2の現像用被写体検出208が、現像のための被写体検出処理に要する期間を示す。ステップS303とステップS502における被写体検出処理は同一の画像処理回路125が行うため、ステップS502の被写体検出処理は、ステップS303の被写体検出処理が完了した後に実行される。   In step S502, subject detection processing for development is performed on the range determined in step S501. The development subject detection 208 in FIG. 2 indicates a period required for subject detection processing for development. Since the subject detection processing in step S303 and step S502 is performed by the same image processing circuit 125, the subject detection processing in step S502 is executed after the subject detection processing in step S303 is completed.

ステップS503では、ステップS303で得られたAF読み出し領域を設定するための被写体の検出結果と、ステップS502で得られた現像のための被写体の検出結果を統合して、1画面分の被写体の検出結果を生成する。図2の統合209が、この被写体の検出結果を統合する処理に要する期間を示す。被写体の検出結果は、統合した後に信頼度の順で並び替えを行う。並び替えた結果、検出個数が上限の数を超えた場合には、上限の検出個数までを有効な検出結果として、信頼度の低い被写体情報は削除するようにしてもよい。   In step S503, the subject detection result for setting the AF readout area obtained in step S303 and the subject detection result for development obtained in step S502 are integrated to detect the subject for one screen. Generate results. The integration 209 in FIG. 2 indicates a period required for the process of integrating the detection results of the subject. The detection results of the subject are rearranged in order of reliability after being integrated. If the number of detections exceeds the upper limit as a result of the rearrangement, subject information with low reliability may be deleted with the upper limit of detections as an effective detection result.

ステップS504では、統合された被写体の検出結果に基づいて現像パラメータを決定し、現像処理を実施する。図2の静止画現像処理210が、この現像処理に要する期間を示す。例えば、検出された被写体の位置、大きさ、および、信頼度に基づいて優先順位を設定し、優先順位に応じた重み付けを行って、色補正や鮮鋭度補正などの各種の画像処理を行う。あるいは、信頼度が閾値以上の被写体のみを対象として、各種の画像処理を行うようにしてもよい。あるいは、統合された被写体の検出結果を現像処理によって生成された画像データとともに記憶し、この画像データを後で処理する場合に被写体の検出結果を参照できるようにしてもよい。   In step S504, development parameters are determined based on the integrated subject detection result, and development processing is performed. The still image development processing 210 in FIG. 2 indicates the period required for this development processing. For example, a priority order is set based on the position, size, and reliability of the detected subject, and weighting according to the priority order is performed to perform various image processing such as color correction and sharpness correction. Alternatively, various types of image processing may be performed only on subjects whose reliability is equal to or higher than a threshold. Alternatively, the integrated subject detection result may be stored together with the image data generated by the development process, and the subject detection result may be referred to when this image data is processed later.

前述の通り、本実施形態では、有効画素領域の全領域から画像データを読み出す前であっても、AF評価値を算出するための領域から画像データを読み出した時点で、被写体検出処理を行う。これにより、被写体に対するAF評価値を算出するまでの時間を短縮することができる。   As described above, in the present embodiment, subject detection processing is performed at the time when image data is read from the area for calculating the AF evaluation value, even before image data is read from the entire effective pixel area. Thereby, it is possible to shorten the time required to calculate the AF evaluation value for the subject.

加えて、このAF読み出し領域は、撮像素子の有効画素領域のうち、被写体が検出された位置に基づく領域のみとしている。これにより、被写体に対するAF精度を保ちつつ、AF評価値を得るための画像データの読み出しに掛かる時間をより短くすることができる。   In addition, the AF readout area is only an area based on the position where the subject is detected among the effective pixel areas of the image sensor. As a result, it is possible to shorten the time required to read the image data for obtaining the AF evaluation value while maintaining the AF accuracy with respect to the subject.

また、現像処理に必要な被写体検出処理は、AF読み出し領域を決定するための被写体検出では実施しなかった範囲に基づく部分的な領域に限定して実施する。そして、得られた被写体検出結果をAF読み出し領域を決定するための被写体検出結果と統合することで、処理時間をより短くすることができる。   The subject detection processing necessary for the development processing is limited to a partial region based on a range that has not been performed in subject detection for determining the AF readout region. Then, the processing time can be shortened by integrating the obtained subject detection result with the subject detection result for determining the AF read area.

以上説明したように、本実施形態の撮像装置によれば、AF評価値を算出するまでに要する時間を抑えつつ、この領域外に存在する被写体に対しても好適な画像処理を行うことができる。   As described above, according to the imaging apparatus of the present embodiment, it is possible to perform suitable image processing for a subject existing outside this region while suppressing the time required to calculate the AF evaluation value. .

なお、本実施形態では、ステップS303で得られた被写体の検出結果に基づいて撮像素子107上のAF読み出し領域を決定し、再度、撮像素子107にAF評価値の算出のための電荷の蓄積を行わせる例をあげて説明を行った。しかしながら、これに限られるものではない。例えば、撮像装置が一眼レフカメラであって、撮像素子107とは別に測距センサを用いている場合であっても、本発明を適用することはできる。このような撮像装置の場合、測距センサに対応する測距点を含む領域から画像データの読み出しが完了した時点で、ステップS303の被写体検出処理を開始する。そして、この被写体の検出結果に基づいて測距センサの出力を選択して、レンズ駆動量の算出を行うようにする。   In the present embodiment, the AF reading area on the image sensor 107 is determined based on the detection result of the subject obtained in step S303, and charge accumulation for calculating the AF evaluation value is again stored in the image sensor 107. The explanation was given by giving an example. However, the present invention is not limited to this. For example, the present invention can be applied even when the imaging apparatus is a single-lens reflex camera and a distance measuring sensor is used separately from the imaging element 107. In the case of such an imaging apparatus, the subject detection process in step S303 is started when reading of the image data is completed from the area including the distance measuring point corresponding to the distance measuring sensor. Then, the output of the distance measuring sensor is selected based on the detection result of the subject, and the lens driving amount is calculated.

あるいは、特開2014−146019号に記載されているように、各画素から視差を有する画像データを得られる撮像素子を備えた撮像装置に本発明を適用してもよい。このような撮像装置であれば、瞳距離に応じて設定される距離情報を算出可能な領域から画像データを読み出しが完了した時点で、ステップS303の被写体検出処理を開始する。そして、この被写体の検出結果に基づいて画素を選択し、選択した画素から得られた視差を有する画像データを用いて、位相差検出方式によりレンズ駆動量の算出を行えばよい。   Or you may apply this invention to the imaging device provided with the image pick-up element which can obtain the image data which has parallax from each pixel as it describes in Unexamined-Japanese-Patent No. 2014-146019. In the case of such an imaging apparatus, the subject detection process in step S303 is started when reading of the image data is completed from an area where distance information set according to the pupil distance can be calculated. Then, a pixel may be selected based on the detection result of the subject, and the lens driving amount may be calculated by a phase difference detection method using image data having parallax obtained from the selected pixel.

このように、他の構成の撮像装置の場合であっても、被写体が存在する領域のAF評価値を得るまでの時間を短縮することができる。そして、図5に示す静止画画像処理を行うことで、AF評価値を算出する領域の外に存在する被写体に対しても好適な画像処理を行うことができるようになる。   As described above, even in the case of an imaging apparatus having another configuration, it is possible to shorten the time required to obtain the AF evaluation value of the area where the subject exists. Then, by performing the still image processing shown in FIG. 5, it is possible to perform suitable image processing even for a subject existing outside the area for calculating the AF evaluation value.

(第2の実施形態)
第2の実施形態では、第1の実施形態で説明した撮像装置において、被写体が、AF評価値を算出可能な領域601の境界部を跨いでいる場合について説明する。本実施形態においても、図3および図5に示すフローチャートは本実施形態にいても共通である。
(Second Embodiment)
In the second embodiment, a case will be described in which, in the imaging apparatus described in the first embodiment, a subject straddles a boundary portion of an area 601 where an AF evaluation value can be calculated. Also in the present embodiment, the flowcharts shown in FIGS. 3 and 5 are common to the present embodiment.

図7は、被写体701がAF評価値を算出可能な領域601の境界部を跨ぐ位置に存在する状態を示す。図7(a)では、被写体701は、AF読み出し領域を決定するための被写体の検出範囲が行われる領域702の下端と重なっている。   FIG. 7 shows a state in which the subject 701 exists at a position straddling the boundary of the region 601 where the AF evaluation value can be calculated. In FIG. 7A, the subject 701 overlaps the lower end of the region 702 where the subject detection range for determining the AF readout region is performed.

図7(a)に示す状態では、AF読み出し領域を決定するための被写体検出処理によって、被写体701が低い信頼度で検出されるケースと、被写体701が検出されないケースとが考えられる。第1の実施形態では、図3のステップS303の被写体検出処理と、図5のステップS502の被写体検出処理のいずれにおいても、この被写体701を高い信頼度で検出することができなかった。   In the state shown in FIG. 7A, there are a case where the subject 701 is detected with low reliability and a case where the subject 701 is not detected by subject detection processing for determining the AF read area. In the first embodiment, neither the subject detection process in step S303 in FIG. 3 nor the subject detection process in step S502 in FIG. 5 can detect the subject 701 with high reliability.

これに対し、本実施形態は、図7(a)の被写体701を高い信頼度で被写体として検出できるようにするための処理を行う。具体的には、図5のステップS501において、制御部121が現像処理のために被写体検出処理を適用する範囲を決定する処理が、第1の実施形態と一部異なる。   On the other hand, in the present embodiment, processing is performed so that the subject 701 in FIG. 7A can be detected as a subject with high reliability. Specifically, in step S501 in FIG. 5, the process in which the control unit 121 determines a range to which the subject detection process is applied for the development process is partly different from the first embodiment.

制御部121は、図7(b)に示すように、AF評価値を算出可能な領域702も一部含むように、現像処理のための被写体検出処理を適用する範囲を決定する。図5のステップS501において、例えば、撮像素子107の下端のラインから、検出可能な被写体の最大のサイズを含むライン数だけ含むように、被写体検出処理を適用する範囲を決定する。あるいは、図3ステップS303の被写体検出処理において、信頼度が低くとも被写体701を検出できているならば、その検出結果から被写体の位置とサイズを推定し、これを含むように、被写体検出処理を適用する範囲の上端のラインを決定する。これにより、図3のステップS303の被写体検出範囲の境界と重なる被写体701を、現像処理のための被写体検出範囲に含めることが可能になり、被写体701の信頼度を正しく判定することが可能になる。   As shown in FIG. 7B, the control unit 121 determines a range to which the subject detection process for the development process is applied so as to partially include an area 702 in which the AF evaluation value can be calculated. In step S501 of FIG. 5, for example, a range to which subject detection processing is applied is determined so as to include the number of lines including the maximum size of the subject that can be detected from the bottom line of the image sensor 107. Alternatively, in the subject detection process of step S303 in FIG. 3, if the subject 701 can be detected even if the reliability is low, the subject position and size are estimated from the detection result, and the subject detection process is performed so as to include this. Determine the top line of the range to apply. Accordingly, the subject 701 that overlaps the boundary of the subject detection range in step S303 in FIG. 3 can be included in the subject detection range for development processing, and the reliability of the subject 701 can be correctly determined. .

なお、図5のステップS503の被写体の検出結果を統合する処理では、同一の被写体がステップS303とステップS502の両方の被写体検出処理で検出されている場合がある。よって、両方で検出された被写体であるかを判定して、検出結果を1つにまとめる必要がある。同一の被写体であるかを判定する方法としては、検出された被写体の位置およびサイズの差分がいずれも予め設定した範囲内であれば、同一の被写体と判断することができる。また、同一の被写体と判断された場合には、信頼度の高いほうの検出結果を選択すればよい。あるいは、ステップS502の被写体検出処理のほうが、ステップS303の被写体検出処理よりも被写体を包含するように被写体検出範囲が設定されている可能性が高いため、ステップS502の被写体検出処理の結果を選択するようにしてもよい。   In the process of integrating the detection results of the subject in step S503 in FIG. 5, the same subject may be detected in both the subject detection processes in steps S303 and S502. Therefore, it is necessary to determine whether the subject is detected by both, and combine the detection results into one. As a method for determining whether or not they are the same subject, it can be determined that they are the same subject as long as the difference between the detected position and size of the subject is within a preset range. If it is determined that the subject is the same, the detection result with higher reliability may be selected. Alternatively, the subject detection process in step S502 is more likely to include the subject than the subject detection process in step S303, so the result of the subject detection process in step S502 is selected. You may do it.

以上説明したように、本実施形態によれば、第1の実施形態における効果に加え、AF評価値を算出可能な領域に一部だけ掛かっている被写体を検出する確率を向上することができるようになる。   As described above, according to the present embodiment, in addition to the effects of the first embodiment, it is possible to improve the probability of detecting a subject that only partially covers an area where an AF evaluation value can be calculated. become.

(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

101 第1レンズ群
102 絞り兼用シャッタ
103 第2レンズ群
105 第3レンズ群
107 撮像素子
111 ズームアクチュエータ
112 絞りシャッタアクチュエータ
114 フォーカスアクチュエータ
121 制御部
124 撮像素子駆動回路
125 画像処理回路
126 フォーカス駆動回路
132 操作スイッチ群
DESCRIPTION OF SYMBOLS 101 1st lens group 102 Diaphragm combined shutter 103 2nd lens group 105 3rd lens group 107 Image pick-up element 111 Zoom actuator 112 Aperture shutter actuator 114 Focus actuator 121 Control part 124 Image pick-up element drive circuit 125 Image processing circuit 126 Focus drive circuit 132 Operation Switch group

Claims (11)

撮像素子から画像データを読み出す読み出し手段と、
前記読み出し手段によって読み出された画像データから被写体を検出する被写体の検出処理を行う検出手段と、
オートフォーカスのための評価値を生成する生成手段と、
前記検出手段によって検出された被写体に対応する前記評価値に基づいて、オートフォーカスのためのレンズの駆動量を算出する算出手段と、
前記検出手段によって検出された被写体に基づいて、画像処理を行う画像処理手段と、を有し、
前記読み出し手段は、前記撮像素子の有効画素領域の一部であり、かつ、前記オートフォーカスのための評価値が生成される領域に対応する領域を含む第1の領域の画像データを読み出してから、前記撮像素子の有効画素領域の一部の領域であり、かつ、前記第1の領域に含まれない領域を含む第2の領域の画像データを読み出し、
前記検出手段は、前記読み出し手段が前記第2の領域の画像データの読み出しを終える前に前記第1の領域の画像データに対して第1の被写体の検出処理を行い、前記第2の領域の画像データが読み出されてから前記第2の領域の画像データに対して第2の被写体の検出処理を行い、
前記算出手段は、前記第1の被写体の検出処理によって検出された被写体に対応する前記評価値に基づいて、前記レンズの駆動量を算出し、
前記画像処理手段は、前記第1の被写体の検出処理によって検出された被写体と前記第2の被写体の検出処理によって検出された被写体に基づいて、前記画像処理を行うことを特徴とする撮像装置。
Reading means for reading image data from the image sensor;
Detection means for performing subject detection processing for detecting a subject from the image data read by the readout means;
Generating means for generating an evaluation value for autofocus;
Calculation means for calculating a lens driving amount for autofocus based on the evaluation value corresponding to the subject detected by the detection means;
Image processing means for performing image processing based on the subject detected by the detection means,
The reading means reads image data of a first area that is a part of an effective pixel area of the image sensor and includes an area corresponding to an area where an evaluation value for autofocus is generated. Reading out image data of a second area that is a part of the effective pixel area of the image sensor and includes an area that is not included in the first area;
The detection means performs a first subject detection process on the image data of the first area before the reading means finishes reading the image data of the second area, and detects the second area. After the image data is read out, a second subject detection process is performed on the image data in the second area,
The calculation means calculates a driving amount of the lens based on the evaluation value corresponding to the subject detected by the first subject detection process,
The imaging apparatus according to claim 1, wherein the image processing means performs the image processing based on the subject detected by the first subject detection processing and the subject detected by the second subject detection processing.
前記画像処理手段は、前記第1の被写体の検出処理によって検出された被写体と前記第2の被写体の検出処理によって検出された被写体を統合した結果に基づいて、前記画像処理を行うことを特徴とする請求項1に記載の撮像装置。   The image processing means performs the image processing based on a result of integrating the subject detected by the first subject detection processing and the subject detected by the second subject detection processing. The imaging device according to claim 1. 前記第2の領域は、前記撮像素子の有効画素領域のうち、前記第1の領域に含まれない全ての領域であることを特徴とする請求項1または2に記載の撮像装置。   3. The imaging apparatus according to claim 1, wherein the second area is an area that is not included in the first area in the effective pixel area of the imaging element. 4. 前記第2の領域は、前記第1の領域の一部を含む領域であることを特徴とする請求項1または2に記載の撮像装置。   The imaging device according to claim 1, wherein the second region is a region including a part of the first region. 前記検出手段は、検出した被写体の信頼度を求めるものであり、
前記画像処理手段は、前記第1の被写体の検出処理によって検出された被写体と前記第2の被写体の検出処理によって検出された被写体が同一の被写体であれば、信頼度の高いほうの被写体の検出結果を選択することを特徴とする請求項4に記載の撮像装置。
The detecting means is for determining the reliability of the detected object;
If the subject detected by the first subject detection processing and the subject detected by the second subject detection processing are the same subject, the image processing means detects a subject with higher reliability. 5. The imaging apparatus according to claim 4, wherein a result is selected.
前記画像処理手段は、前記第1の被写体の検出処理によって検出された被写体と前記第2の被写体の検出処理によって検出された被写体が同一の被写体であれば、前記第2の被写体の検出処理によって検出された被写体の検出結果を選択することを特徴とする請求項4に記載の撮像装置。   If the subject detected by the first subject detection processing and the subject detected by the second subject detection processing are the same subject, the image processing means performs the second subject detection processing. The imaging apparatus according to claim 4, wherein a detection result of the detected subject is selected. 前記読み出し手段は、前記第2の領域の画像データの読み出しが終わった後に、電荷の蓄積を行った撮像素子から前記第1の被写体の検出処理の結果に基づく領域の画像データを読み出し、
前記生成手段は、前記第1の被写体の検出処理の結果に基づく領域から読み出された画像データから前記評価値を生成することを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。
The readout means reads out the image data of the region based on the result of the detection processing of the first subject from the image sensor that has accumulated the charge after the readout of the image data of the second region is completed,
The said production | generation means produces | generates the said evaluation value from the image data read from the area | region based on the result of a detection process of the said 1st to-be-photographed object, The any one of Claim 1 thru | or 6 characterized by the above-mentioned. Imaging device.
前記算出手段は、前記生成手段は生成した前記評価値のうち、前記検出手段によって検出された被写体に対応する前記評価値を選択して、オートフォーカスのためのレンズの駆動量を算出することを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。   The calculation unit selects the evaluation value corresponding to the subject detected by the detection unit from the evaluation values generated by the generation unit, and calculates a lens driving amount for autofocus. The image pickup apparatus according to claim 1, wherein the image pickup apparatus is characterized. 前記第1の被写体の検出処理の実行可能な時間は、次のフレームの撮影をするまでの間隔に基づいて決定されることを特徴とする請求項1乃至8のいずれか1項に記載の撮像装置。   The imaging according to any one of claims 1 to 8, wherein the executable time of the first subject detection process is determined based on an interval until the next frame is captured. apparatus. 撮像素子の有効画素領域の一部であり、かつ、オートフォーカスのための評価値が生成される領域に対応する領域を含む第1の領域の画像データを読み出す工程と、
前記第1の領域の画像データを読み出した後で、前記撮像素子の有効画素領域の一部の領域であり、かつ、前記第1の領域に含まれない領域を含む第2の領域の画像データを読み出す工程と、
前記第2の領域の画像データの読み出しを終える前に前記第1の領域の画像データに対して、被写体を検出するための第1の被写体の検出処理を行う工程と、
前記オートフォーカスのための評価値を生成する工程と、
前記第1の被写体の検出処理によって検出された被写体に対応する前記評価値に基づいて、前記オートフォーカスのためのレンズの駆動量を算出する工程と、
前記第2の領域の画像データが読み出されてから前記第2の領域の画像データに対して第2の被写体の検出処理を行う工程と、
前記第1の被写体の検出処理によって検出された被写体と前記第2の被写体の検出処理によって検出された被写体に基づいて、画像処理を行う工程と、
を有することを特徴とする撮像装置の制御方法。
Reading image data of a first region that is a part of an effective pixel region of the image sensor and includes a region corresponding to a region where an evaluation value for autofocus is generated;
After the image data of the first area is read out, the image data of the second area that is a part of the effective pixel area of the image sensor and includes an area that is not included in the first area A process of reading
Performing a first subject detection process for detecting a subject on the image data of the first region before finishing reading of the image data of the second region;
Generating an evaluation value for the autofocus;
Calculating a lens driving amount for the autofocus based on the evaluation value corresponding to the subject detected by the first subject detection process;
Performing a second subject detection process on the image data of the second area after the image data of the second area is read;
Performing image processing based on the subject detected by the first subject detection processing and the subject detected by the second subject detection processing;
A method for controlling an imaging apparatus, comprising:
撮像装置のコンピュータが読み出し実行することが可能なプログラムであって、
前記プログラムは、
前記撮像装置の撮像素子の有効画素領域の一部であり、かつ、オートフォーカスのための評価値が生成される領域に対応する領域を含む第1の領域の画像データを読み出すステップと、
前記第1の領域の画像データを読み出した後で、前記撮像素子の有効画素領域の一部の領域であり、かつ、前記第1の領域に含まれない領域を含む第2の領域の画像データを読み出すステップと、
前記第2の領域の画像データの読み出しを終える前に前記第1の領域の画像データに対して、被写体を検出するための第1の被写体の検出処理を行うステップと、
前記オートフォーカスのための評価値を生成するステップと、
前記第1の被写体の検出処理によって検出された被写体に対応する前記評価値に基づいて、前記オートフォーカスのためのレンズの駆動量を算出するステップと、
前記第2の領域の画像データが読み出されてから前記第2の領域の画像データに対して第2の被写体の検出処理を行うステップと、
前記第1の被写体の検出処理によって検出された被写体と前記第2の被写体の検出処理によって検出された被写体に基づいて、画像処理を行うステップと、
を有することを特徴とするプログラム。
A program that can be read and executed by the computer of the imaging apparatus,
The program is
Reading image data of a first area that is a part of an effective pixel area of the image sensor of the imaging device and includes an area corresponding to an area where an evaluation value for autofocus is generated;
After the image data of the first area is read out, the image data of the second area that is a part of the effective pixel area of the image sensor and includes an area that is not included in the first area A step of reading
Performing a first subject detection process for detecting a subject on the image data of the first region before finishing reading of the image data of the second region;
Generating an evaluation value for the autofocus;
Calculating a lens driving amount for the autofocus based on the evaluation value corresponding to the subject detected by the first subject detection process;
Performing a second subject detection process on the image data of the second area after the image data of the second area is read;
Performing image processing based on the subject detected by the first subject detection processing and the subject detected by the second subject detection processing;
The program characterized by having.
JP2017180696A 2017-09-20 2017-09-20 Imaging apparatus, control method for the same, and program Pending JP2019057810A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017180696A JP2019057810A (en) 2017-09-20 2017-09-20 Imaging apparatus, control method for the same, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017180696A JP2019057810A (en) 2017-09-20 2017-09-20 Imaging apparatus, control method for the same, and program

Publications (1)

Publication Number Publication Date
JP2019057810A true JP2019057810A (en) 2019-04-11

Family

ID=66106286

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017180696A Pending JP2019057810A (en) 2017-09-20 2017-09-20 Imaging apparatus, control method for the same, and program

Country Status (1)

Country Link
JP (1) JP2019057810A (en)

Similar Documents

Publication Publication Date Title
JP5322783B2 (en) IMAGING DEVICE AND CONTROL METHOD OF IMAGING DEVICE
JP3823921B2 (en) Imaging device
JP2009133903A (en) Imaging apparatus and imaging method
US10986262B2 (en) Imaging apparatus, control method, and non-transitory storage medium
JP2018031877A (en) Image pickup device and focus adjusting method
JP2017211487A (en) Imaging apparatus and automatic focus adjustment method
JP2006091915A (en) Imaging apparatus
JP6548437B2 (en) Focusing apparatus, control method therefor, control program, and imaging apparatus
JP6300670B2 (en) Focus adjustment apparatus, focus adjustment method and program, and imaging apparatus
JP2009302794A (en) Imaging apparatus
JP6393091B2 (en) Imaging apparatus, control method therefor, program, and storage medium
JP6200240B2 (en) Imaging apparatus, control method therefor, program, and storage medium
JP2016142924A (en) Imaging apparatus, method of controlling the same, program, and storage medium
JP2012063664A (en) Photometric device and electronic camera
JP2019057810A (en) Imaging apparatus, control method for the same, and program
JP2010026039A (en) Photographing apparatus, and control method and program of photographing apparatus
JP2010256519A (en) Imaging apparatus
JP5320937B2 (en) Focus detection apparatus and imaging apparatus
JP6294607B2 (en) IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP2005024857A (en) Digital single lens reflex camera
JP6808501B2 (en) Imaging device and control method of imaging device
US11190704B2 (en) Imaging apparatus and control method for performing live view display of a tracked object
JP2016095415A (en) Imaging apparatus, method for controlling the same, program, and storage medium
JP2004334072A (en) Imaging apparatus
JP5619227B2 (en) IMAGING DEVICE AND CONTROL METHOD OF IMAGING DEVICE