JP2018185450A - Imaging apparatus and control method thereof - Google Patents

Imaging apparatus and control method thereof Download PDF

Info

Publication number
JP2018185450A
JP2018185450A JP2017088082A JP2017088082A JP2018185450A JP 2018185450 A JP2018185450 A JP 2018185450A JP 2017088082 A JP2017088082 A JP 2017088082A JP 2017088082 A JP2017088082 A JP 2017088082A JP 2018185450 A JP2018185450 A JP 2018185450A
Authority
JP
Japan
Prior art keywords
imaging
flicker
pixel
signal
focus detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017088082A
Other languages
Japanese (ja)
Other versions
JP7071061B2 (en
Inventor
淳一 今宮
Junichi Imamiya
淳一 今宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017088082A priority Critical patent/JP7071061B2/en
Publication of JP2018185450A publication Critical patent/JP2018185450A/en
Application granted granted Critical
Publication of JP7071061B2 publication Critical patent/JP7071061B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To provide an imaging apparatus capable of performing focus detection by a phase difference system with high accuracy under a flicker light source, and a control method thereof.SOLUTION: An imaging apparatus includes: an imaging device having an imaging pixel configured to output an imaging signal according to an image formed by an imaging optical system and a focus detection pixel configured to output a phase difference signal according to a plurality of images having passed through different pupil areas of the imaging optical system; a flicker detection part configured to detect a flicker according to the imaging signal; and a control part configured to control, when the flicker detection part detects a flicker, an accumulation period of the focus detection pixel independently from an accumulation period of the imaging pixel to correct a flicker of the phase difference signal.SELECTED DRAWING: Figure 9

Description

本発明は、焦点検出用の画素を備えた撮像装置及びその制御方法に関するものである。   The present invention relates to an imaging apparatus including a focus detection pixel and a control method thereof.

近年、焦点検出用の画素を備えた撮像素子が実現されている。例えば、特許文献1には、撮像用の画素の間に焦点検出用の画素が配置された撮像素子を備える撮像装置が記載されている。特に、特許文献1の撮像装置では、焦点検出画素の蓄積期間を、撮像画素の蓄積期間とは独立に制御する技術について記載されている。これにより、焦点検出に最適な位相差信号の輝度となるように焦点検出画素の蓄積期間を調整し、焦点検出の精度を向上させている。   In recent years, an image sensor having pixels for focus detection has been realized. For example, Patent Document 1 describes an imaging apparatus including an imaging element in which focus detection pixels are arranged between imaging pixels. In particular, the imaging device disclosed in Patent Document 1 describes a technique for controlling the accumulation period of focus detection pixels independently of the accumulation period of imaging pixels. Thereby, the accumulation period of the focus detection pixels is adjusted so that the luminance of the phase difference signal is optimum for focus detection, and the accuracy of focus detection is improved.

特開2010−219958号公報JP 2010-219958 A

一方、フリッカ光源下においてフリッカを抑制するために、フリッカ周波数に応じて撮像画素の蓄積期間を調整するフリッカ補正が知られている。しかし、特許文献1に記載の技術のように、焦点検出画素の蓄積期間を、撮像画素の蓄積期間とは独立に制御すると、撮像信号のフリッカはフリッカ補正により抑制されるものの、位相差信号のフリッカは補正されない。この結果、位相差信号に重畳されたフリッカの影響によって焦点検出の精度がかえって低下してしまうことがあった。そこで、本発明は、フリッカ光源下においても位相差方式による焦点検出を高精度に行うことが可能な撮像装置及びその制御方法を提供することを目的とする。   On the other hand, in order to suppress flicker under a flicker light source, flicker correction is known in which the accumulation period of imaging pixels is adjusted according to the flicker frequency. However, when the accumulation period of the focus detection pixels is controlled independently of the accumulation period of the imaging pixels as in the technique described in Patent Document 1, the flicker of the imaging signal is suppressed by the flicker correction, but the phase difference signal Flicker is not corrected. As a result, the accuracy of focus detection sometimes deteriorates due to the flicker effect superimposed on the phase difference signal. SUMMARY An advantage of some aspects of the invention is that it provides an imaging apparatus capable of performing focus detection by a phase difference method with high accuracy even under a flicker light source and a control method thereof.

本発明の一観点によれば、撮像光学系によって結像された像に基づく撮像信号を出力する撮像画素、及び、撮像光学系の異なる瞳領域を通過した複数の像に基づく位相差信号を出力する焦点検出画素、を有する撮像素子と、撮像信号に基づいてフリッカを検出するフリッカ検出部と、フリッカ検出部がフリッカを検出した場合に、焦点検出画素の蓄積期間を撮像画素の蓄積期間とは独立に制御して位相差信号のフリッカ補正を行う制御部と、を備えることを特徴とする撮像装置が提供される。   According to one aspect of the present invention, an imaging pixel that outputs an imaging signal based on an image formed by an imaging optical system, and a phase difference signal based on a plurality of images that have passed through different pupil regions of the imaging optical system are output. An imaging element having a focus detection pixel, a flicker detection unit that detects flicker based on an imaging signal, and a storage period of the focus detection pixel when the flicker detection unit detects flicker. There is provided an imaging apparatus comprising: a control unit that independently controls and performs flicker correction of a phase difference signal.

本発明によれば、フリッカ光源下においても位相差方式による焦点検出を高精度に行うことが可能な撮像装置及びその制御方法を提供することができる。   According to the present invention, it is possible to provide an imaging apparatus capable of performing focus detection by a phase difference method with high accuracy even under a flicker light source and a control method therefor.

第1実施形態に係る撮像装置の構成を概略的に示すブロック図である。1 is a block diagram schematically showing a configuration of an imaging apparatus according to a first embodiment. 第1実施形態に係る撮像装置における撮像素子の構成を概略的に示す図である。It is a figure showing roughly the composition of the image sensor in the imaging device concerning a 1st embodiment. 第1実施形態に係る撮像装置における画素単位の構成を概略的に示す等価回路図である。FIG. 3 is an equivalent circuit diagram schematically illustrating a configuration of a pixel unit in the imaging apparatus according to the first embodiment. 第1実施形態に係る撮像装置における画素単位の構成を概略的に示す平面図である。FIG. 2 is a plan view schematically showing a configuration of a pixel unit in the imaging apparatus according to the first embodiment. 第1実施形態に係る撮像装置における画素アレイの構成を概略的に示す図である。It is a figure which shows schematically the structure of the pixel array in the imaging device which concerns on 1st Embodiment. 第1実施形態に係る撮像装置における瞳領域を概略的に示す図である。It is a figure which shows schematically the pupil area | region in the imaging device which concerns on 1st Embodiment. 第1実施形態に係る撮像装置における画素アレイの走査方法を概略的に示す図である。It is a figure which shows schematically the scanning method of the pixel array in the imaging device which concerns on 1st Embodiment. 第1実施形態に係る撮像装置におけるフリッカの検出方法の例を示す図である。It is a figure which shows the example of the detection method of the flicker in the imaging device which concerns on 1st Embodiment. 第1実施形態に係る撮像装置の制御方法を示すフローチャートである。3 is a flowchart illustrating a method for controlling the imaging apparatus according to the first embodiment. 第1実施形態に係る撮像装置におけるフリッカの振幅の判定方法の例を示す図である。It is a figure which shows the example of the determination method of the amplitude of the flicker in the imaging device which concerns on 1st Embodiment. 第1実施形態に係る撮像装置における蓄積期間の設定方法の例を示す第1の図である。It is a 1st figure which shows the example of the setting method of the accumulation | storage period in the imaging device which concerns on 1st Embodiment. 第1実施形態に係る撮像装置における蓄積期間の設定方法の例を示す第2の図である。It is a 2nd figure which shows the example of the setting method of the accumulation | storage period in the imaging device which concerns on 1st Embodiment. 第2実施形態に係る撮像装置の制御方法を示すフローチャートである。It is a flowchart which shows the control method of the imaging device which concerns on 2nd Embodiment. 第2実施形態に係る撮像装置における蓄積期間の設定方法の例を示す図である。It is a figure which shows the example of the setting method of the accumulation period in the imaging device which concerns on 2nd Embodiment.

以下、本発明の好適な実施形態について図面を用いて説明する。なお、本発明は以下の実施形態に限定されるものではなく、その要旨を逸脱しない範囲において適宜変更可能である。また、各図において同一、又は相当する機能を有するものは、同一符号を付し、その説明を省略又は簡潔にすることもある。   Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. In addition, this invention is not limited to the following embodiment, In the range which does not deviate from the summary, it can change suitably. In addition, components having the same or corresponding functions in each drawing are denoted by the same reference numerals, and the description thereof may be omitted or simplified.

(第1実施形態)
図1は、第1実施形態に係る撮像装置100の構成を概略的に示すブロック図である。図1に示す本実施形態の撮像装置100は、撮像素子101、フリッカ検出部102、蓄積期間算出部103、撮像素子駆動部104、及び制御部105を備えて構成される。
(First embodiment)
FIG. 1 is a block diagram schematically showing the configuration of the imaging apparatus 100 according to the first embodiment. An imaging apparatus 100 according to the present embodiment illustrated in FIG. 1 includes an imaging element 101, a flicker detection unit 102, an accumulation period calculation unit 103, an imaging element driving unit 104, and a control unit 105.

撮像素子101は、不図示の撮像光学系によって結像された像に基づく撮像信号を出力する撮像画素を有する。また、撮像素子101は、撮像光学系の異なる瞳領域を通過した複数の像に基づく位相差信号を出力する焦点検出画素を有する。撮像画素と焦点検出画素は、一般的には異なる構成を有するが、後述の図3〜図4に示すように、撮像信号と位相差信号のいずれをも出力し得る同一の構成とすることも可能である。   The imaging element 101 has an imaging pixel that outputs an imaging signal based on an image formed by an imaging optical system (not shown). In addition, the image sensor 101 includes focus detection pixels that output phase difference signals based on a plurality of images that have passed through different pupil regions of the imaging optical system. Although the imaging pixel and the focus detection pixel generally have different configurations, as shown in FIGS. 3 to 4 to be described later, the imaging pixel and the focus detection pixel may have the same configuration capable of outputting both the imaging signal and the phase difference signal. Is possible.

フリッカ検出部102は、撮像素子101が出力する撮像信号に含まれるフリッカの有無及びその振幅、周期等を検出する。例えば蛍光灯によるフリッカは、商用電源の周波数に同期した照明強度等のゆらぎが撮像信号に重畳されることによって発生する。蓄積期間算出部103は、フリッカ検出部102が検出したフリッカの振幅、周期等の情報に基づいて、フリッカを補正するための撮像素子101の駆動情報を算出し、撮像素子駆動部104に出力する。撮像素子駆動部104は、蓄積期間算出部103が算出した駆動情報に従って撮像素子101を駆動する。制御部105は、撮像装置100の全体の制御を司る。なお、蓄積期間算出部103及び撮像素子駆動部104が、制御部105に含まれる構成としてもよい。   The flicker detection unit 102 detects the presence / absence of flicker included in the image pickup signal output from the image pickup device 101, the amplitude, the period, and the like. For example, flicker due to a fluorescent lamp occurs when fluctuations such as illumination intensity synchronized with the frequency of the commercial power supply are superimposed on the imaging signal. The accumulation period calculation unit 103 calculates drive information of the image sensor 101 for correcting flicker based on information such as the flicker amplitude and period detected by the flicker detection unit 102 and outputs the drive information to the image sensor drive unit 104. . The image sensor drive unit 104 drives the image sensor 101 according to the drive information calculated by the accumulation period calculation unit 103. The control unit 105 governs overall control of the imaging apparatus 100. Note that the storage period calculation unit 103 and the image sensor driving unit 104 may be included in the control unit 105.

本実施形態の制御部105は、撮像画素の蓄積期間と焦点検出画素の蓄積期間とを独立に制御可能である。撮像信号の蓄積期間は、予め撮影者が指定したシャッタースピード等に基づいて決定される。したがって、このように、焦点検出画素の蓄積期間を撮像画素の蓄積期間とは独立に制御可能な構成とすることで、焦点検出に最適な位相差信号の輝度となるように、焦点検出画素の蓄積期間を調整することが可能となる。   The control unit 105 according to the present embodiment can independently control the accumulation period of the imaging pixels and the accumulation period of the focus detection pixels. The accumulation period of the imaging signal is determined based on a shutter speed or the like designated in advance by the photographer. Therefore, in this way, by setting the accumulation period of the focus detection pixel to be controllable independently from the accumulation period of the imaging pixel, the focus detection pixel of the focus detection pixel can be set to have the optimum luminance of the phase difference signal for focus detection. It is possible to adjust the accumulation period.

次に、図1に示した撮像素子101についてより具体的に説明する。図2は、第1実施形態に係る撮像装置100における撮像素子101の構成を概略的に示す図である。図2に示す撮像素子101は、画素アレイ201、垂直走査回路202、読み出し回路203、水平走査回路204、及びシリアルインターフェイス205を有して構成される。   Next, the image sensor 101 shown in FIG. 1 will be described more specifically. FIG. 2 is a diagram schematically illustrating the configuration of the image sensor 101 in the image capturing apparatus 100 according to the first embodiment. The image sensor 101 shown in FIG. 2 includes a pixel array 201, a vertical scanning circuit 202, a readout circuit 203, a horizontal scanning circuit 204, and a serial interface 205.

画素アレイ201には、撮像画素及び焦点検出画素が行列状に配置されている。垂直走査回路202は、画素アレイ201の行を垂直方向に走査する。読み出し回路203は、垂直走査回路202によって走査された行の撮像画素及び焦点検出画素から、撮像信号及び位相差信号を読み出す。読み出し回路203は、撮像画素及び焦点検出画素から信号を読み出すためのメモリ、ゲインアンプ、AD変換器等を列ごとに有している。水平走査回路204は、読み出し回路203によって読み出された各列の信号を順に走査して撮像素子101の外部に出力する。シリアルインターフェイス205は、撮像素子101内の各回路の動作モード等を、撮像素子101の外部から決定するためのものである。   In the pixel array 201, imaging pixels and focus detection pixels are arranged in a matrix. The vertical scanning circuit 202 scans the rows of the pixel array 201 in the vertical direction. The readout circuit 203 reads out the imaging signal and the phase difference signal from the imaging pixels and focus detection pixels in the row scanned by the vertical scanning circuit 202. The readout circuit 203 includes a memory, a gain amplifier, an AD converter, and the like for reading out signals from the imaging pixels and focus detection pixels for each column. The horizontal scanning circuit 204 sequentially scans the signals of each column read by the reading circuit 203 and outputs the signals to the outside of the image sensor 101. The serial interface 205 is for determining the operation mode and the like of each circuit in the image sensor 101 from the outside of the image sensor 101.

なお、撮像素子101は、図2に示した構成要素以外にも、例えばタイミングジェネレータを有していてもよい。タイミングジェネレータは、垂直走査回路202、読み出し回路203、水平走査回路204等に対してタイミング信号を出力する。   Note that the image sensor 101 may include, for example, a timing generator in addition to the components shown in FIG. The timing generator outputs a timing signal to the vertical scanning circuit 202, the readout circuit 203, the horizontal scanning circuit 204, and the like.

次に、図2に示した画素アレイ201に配置された撮像画素及び焦点検出画素について説明する。図3は、第1実施形態に係る撮像装置100における画素単位300の構成を概略的に示す等価回路図である。また、図4は、第1実施形態に係る撮像装置100における画素単位300の構成を概略的に示す平面図である。以下の説明では、撮像画素と焦点検出画素が共に図3及び図4に示す画素単位300の構成を有し、撮像信号と位相差信号のいずれをも出力し得ることを想定するが、本実施形態は必ずしもこのような構成に限定されない。撮像画素と焦点検出画素とは異なる構成を有してもよい。   Next, imaging pixels and focus detection pixels arranged in the pixel array 201 illustrated in FIG. 2 will be described. FIG. 3 is an equivalent circuit diagram schematically showing the configuration of the pixel unit 300 in the imaging apparatus 100 according to the first embodiment. FIG. 4 is a plan view schematically showing the configuration of the pixel unit 300 in the imaging apparatus 100 according to the first embodiment. In the following description, it is assumed that both the imaging pixel and the focus detection pixel have the configuration of the pixel unit 300 shown in FIGS. 3 and 4 and can output both the imaging signal and the phase difference signal. The form is not necessarily limited to such a configuration. The imaging pixel and the focus detection pixel may have different configurations.

図3及び図4に示す画素単位300は、光電変換部301、302、転送トランジスタ307、308、リセットトランジスタ305、増幅トランジスタ304、及び選択トランジスタ306を有して構成される。垂直走査回路202は、転送トランジスタ307、308、リセットトランジスタ305、選択トランジスタ306を、それぞれ、制御信号φTXA_n、φTXB_n、φRES_n、φSEL_nにより制御する。制御信号φTXA_n、φTXB_n、φRES_n、φSEL_nは、それぞれ、制御線312、313、311、310に出力される。各制御信号のnは行番号を示しており、例えば、制御信号φTXA_nは、第n行の画素単位300に出力された制御信号であることを示している。   A pixel unit 300 shown in FIGS. 3 and 4 includes photoelectric conversion units 301 and 302, transfer transistors 307 and 308, a reset transistor 305, an amplification transistor 304, and a selection transistor 306. The vertical scanning circuit 202 controls the transfer transistors 307 and 308, the reset transistor 305, and the selection transistor 306 by control signals φTXA_n, φTXB_n, φRES_n, and φSEL_n, respectively. Control signals φTXA_n, φTXB_n, φRES_n, and φSEL_n are output to control lines 312, 313, 311 and 310, respectively. N of each control signal indicates a row number. For example, the control signal φTXA_n indicates that the control signal is output to the pixel unit 300 in the n-th row.

光電変換部301、302は、例えば半導体基板上に形成されたフォトダイオード(PD:Photo Diode)であって、同一のマイクロレンズ401によって結像された像をそれぞれ光電変換する。以下の説明では、光電変換部301を「A画素」と称し、光電変換部302を「B画素」と称する。また、A画素が出力する信号を「A信号」と称し、B画素が出力する信号を「B信号」と称する。図4に示すように、A画素とB画素は、マイクロレンズ401の中心に対して、それぞれ左右にオフセットして配置されている。これにより、A画素とB画素とは、撮像光学系の異なる瞳領域を通過した像に基づくA信号とB信号をそれぞれ出力することになるので、A信号とB信号を比較して被写体像の焦点を検出することが可能となる。   The photoelectric conversion units 301 and 302 are, for example, photodiodes (PD: Photo Diode) formed on a semiconductor substrate, and photoelectrically convert images formed by the same microlens 401, respectively. In the following description, the photoelectric conversion unit 301 is referred to as “A pixel”, and the photoelectric conversion unit 302 is referred to as “B pixel”. A signal output from the A pixel is referred to as an “A signal”, and a signal output from the B pixel is referred to as a “B signal”. As shown in FIG. 4, the A pixel and the B pixel are arranged offset to the left and right with respect to the center of the microlens 401. As a result, the A pixel and the B pixel respectively output an A signal and a B signal based on an image that has passed through different pupil regions of the imaging optical system. It becomes possible to detect the focal point.

転送トランジスタ307は、制御信号φTXA_nがH(ハイレベル)のときにオンとなり、制御信号φTXA_nがL(ローレベル)のときにオフとなる。転送トランジスタ307をオンすることで、A画素に生じた信号電荷がフローティングディフュージョン領域303に転送される。同様に、転送トランジスタ308は、制御信号φTXB_nがH(ハイレベル)のときにオンとなり、制御信号φTXB_nがL(ローレベル)のときにオフとなる。転送トランジスタ308をオンすることで、B画素に生じた信号電荷がフローティングディフュージョン領域303に転送される。なお、図4には、転送トランジスタ307、308のゲート電極のみを示している。フローティングディフュージョン領域303は、増幅トランジスタ304のゲート端子に接続され、画素アンプを構成すると共に、電荷/電圧変換部としても機能する。   The transfer transistor 307 is turned on when the control signal φTXA_n is H (high level), and is turned off when the control signal φTXA_n is L (low level). By turning on the transfer transistor 307, the signal charge generated in the A pixel is transferred to the floating diffusion region 303. Similarly, the transfer transistor 308 is turned on when the control signal φTXB_n is H (high level), and is turned off when the control signal φTXB_n is L (low level). By turning on the transfer transistor 308, the signal charge generated in the B pixel is transferred to the floating diffusion region 303. In FIG. 4, only the gate electrodes of the transfer transistors 307 and 308 are shown. The floating diffusion region 303 is connected to the gate terminal of the amplification transistor 304, constitutes a pixel amplifier, and also functions as a charge / voltage conversion unit.

リセットトランジスタ305は、制御信号φRES_nがH(ハイレベル)のときにオンとなり、制御信号φRES_nがL(ローレベル)のときにオフとなる。リセットトランジスタ305をオンすることで、フローティングディフュージョン領域303に保持された信号電荷がリセットされる。また、リセットトランジスタ305と転送トランジスタ307を同時にオンすることで、A画素に蓄積された信号電荷がリセットされる。また、リセットトランジスタ305と転送トランジスタ308を同時にオンすることで、B画素に蓄積された信号電荷がリセットされる。   The reset transistor 305 is turned on when the control signal φRES_n is H (high level), and is turned off when the control signal φRES_n is L (low level). By turning on the reset transistor 305, the signal charge held in the floating diffusion region 303 is reset. Further, by simultaneously turning on the reset transistor 305 and the transfer transistor 307, the signal charge accumulated in the A pixel is reset. Also, the signal charge accumulated in the B pixel is reset by simultaneously turning on the reset transistor 305 and the transfer transistor 308.

選択トランジスタ306は、制御信号φSEL_nがH(ハイレベル)のときにオンとなり、制御信号φSEL_nがL(ローレベル)のときにオフとなる。選択トランジスタ306をオンすることで、増幅トランジスタ304の出力が垂直出力線309に出力される。垂直出力線309には不図示の定電流源が接続されており、不図示の定電流源と増幅トランジスタ304はソースフォロワ回路を構成している。   The selection transistor 306 is turned on when the control signal φSEL_n is H (high level), and is turned off when the control signal φSEL_n is L (low level). By turning on the selection transistor 306, the output of the amplification transistor 304 is output to the vertical output line 309. A constant current source (not shown) is connected to the vertical output line 309, and the constant current source (not shown) and the amplification transistor 304 constitute a source follower circuit.

前述のように、図3及び図4に示した画素単位300は、撮像画素と焦点検出画素のいずれとして用いることも可能である。画素単位300を撮像画素として用いる場合は、A信号とB信号とを加算して撮像信号を生成する。一方、画素単位300を焦点検出画素として用いる場合は、A信号とB信号のペアを位相差信号として使用する。なお、図3及び図4に示した画素単位300において光電変換部302を省略して、ただ1つの光電変換部301を有する画素単位300を撮像画素として用いることも可能である。   As described above, the pixel unit 300 shown in FIGS. 3 and 4 can be used as either an imaging pixel or a focus detection pixel. When the pixel unit 300 is used as an imaging pixel, an A signal and a B signal are added to generate an imaging signal. On the other hand, when the pixel unit 300 is used as a focus detection pixel, a pair of A signal and B signal is used as a phase difference signal. Note that it is also possible to omit the photoelectric conversion unit 302 in the pixel unit 300 illustrated in FIGS. 3 and 4 and use the pixel unit 300 having only one photoelectric conversion unit 301 as an imaging pixel.

次に、図2に示した画素アレイ201について説明する。図5は、第1実施形態に係る撮像装置100における画素アレイ201の構成を概略的に示す図である。図5に示す画素アレイ201には、図3及び図4に示した画素単位300が行列状に配置されている。このような構成により、画素単位300が出力する撮像信号を用いて2次元画像を生成することができる。また、画素単位300が出力する位相差信号を比較して被写体像の焦点を検出することができる。   Next, the pixel array 201 illustrated in FIG. 2 will be described. FIG. 5 is a diagram schematically illustrating a configuration of the pixel array 201 in the imaging apparatus 100 according to the first embodiment. In the pixel array 201 shown in FIG. 5, the pixel units 300 shown in FIGS. 3 and 4 are arranged in a matrix. With such a configuration, a two-dimensional image can be generated using the imaging signal output from the pixel unit 300. Further, the focus of the subject image can be detected by comparing the phase difference signals output from the pixel unit 300.

図6は、第1実施形態に係る撮像装置100における瞳領域607、608を概略的に示す図である。図6の左側から入射した光は、不図示の撮像光学系によって集光され、射出瞳606を通過して光軸609に沿って右に進む。その後、マイクロレンズ401及びカラーフィルタ603を通過した光束は、画素アレイ201の光電変換部301、302にそれぞれ像を結ぶ。   FIG. 6 is a diagram schematically showing pupil regions 607 and 608 in the imaging apparatus 100 according to the first embodiment. Light incident from the left side of FIG. 6 is collected by an imaging optical system (not shown), passes through the exit pupil 606, and proceeds to the right along the optical axis 609. Thereafter, the light beams that have passed through the microlens 401 and the color filter 603 form images on the photoelectric conversion units 301 and 302 of the pixel array 201, respectively.

図6に示すように、A画素(光電変換部301)とB画素(光電変換部302)は、マイクロレンズ401の中心に対して、それぞれ上下にオフセットして配置されている。これにより、A画素とB画素とは、撮像光学系の異なる瞳領域608、607を通過した像に基づくA信号とB信号をそれぞれ出力することになるので、A信号とB信号を比較して被写体像の焦点を検出することが可能となる。図6には、上側の瞳領域607を通過して下側のB画素に結像する光束の最外周610と、下側の瞳領域608を通過して上側のA画素に結像する光束の最外周612を示している。   As illustrated in FIG. 6, the A pixel (photoelectric conversion unit 301) and the B pixel (photoelectric conversion unit 302) are respectively offset with respect to the center of the microlens 401. As a result, the A pixel and the B pixel respectively output the A signal and the B signal based on the images that have passed through the different pupil regions 608 and 607 of the imaging optical system, so the A signal and the B signal are compared. It becomes possible to detect the focus of the subject image. FIG. 6 shows the outermost periphery 610 of the light beam that passes through the upper pupil region 607 and forms an image on the lower B pixel, and the light beam that passes through the lower pupil region 608 and forms an image on the upper A pixel. The outermost periphery 612 is shown.

図7は、第1実施形態に係る撮像装置100における画素アレイ201の走査方法を概略的に示す図である。図7(a)は、図5に示した画素アレイ201を概略的に示している。画素アレイ201の上部及び左部の斜線部は、遮光された画素単位300が配置されたオプティカルブラック(OB:Optical Black)部を示している。また、図7(a)の左側には、画素アレイ201の行番号を示している。   FIG. 7 is a diagram schematically illustrating a scanning method of the pixel array 201 in the imaging apparatus 100 according to the first embodiment. FIG. 7A schematically shows the pixel array 201 shown in FIG. The hatched portions on the upper and left sides of the pixel array 201 indicate an optical black (OB) portion where the shielded pixel unit 300 is arranged. Further, the row number of the pixel array 201 is shown on the left side of FIG.

図7(b)は、図7(a)に示した画素アレイ201の走査方法の例を示している。垂直走査回路202は、まず、画像を生成するための第1の走査を行う。この第1の走査では、画素アレイ201を垂直方向に第1の周期で間引いて走査しながら、A信号とB信号を加算した撮像信号を順に読み出す。次に、垂直走査回路202は、焦点検出を行うための第2の走査を行う。この第2の走査では、第1の走査で読み出されなかった画素アレイ201の行を第2の周期で間引いて走査しながら、A信号とB信号のペアである位相差信号を順に読み出す。このように、第2の走査では、同一の画素単位300に対してA信号とB信号を別々に読み出すが、第2の走査は、A信号のみを読み出す走査と、B信号のみを読み出す走査の2つの走査に分けてもよい。   FIG. 7B shows an example of a scanning method of the pixel array 201 shown in FIG. First, the vertical scanning circuit 202 performs a first scan for generating an image. In the first scanning, the image pickup signal obtained by adding the A signal and the B signal is sequentially read while scanning the pixel array 201 by thinning out the pixel array 201 in the vertical direction at the first cycle. Next, the vertical scanning circuit 202 performs a second scan for performing focus detection. In the second scanning, the phase difference signal that is a pair of the A signal and the B signal is sequentially read while thinning and scanning the rows of the pixel array 201 that have not been read in the first scanning in the second period. As described above, in the second scanning, the A signal and the B signal are separately read out for the same pixel unit 300, but the second scanning is a scanning in which only the A signal is read and a scanning in which only the B signal is read. It may be divided into two scans.

その後、第1の走査で読み出した撮像信号から画像を生成すると共に、第2の走査で読み出した位相差信号を比較して焦点を検出する。このように垂直方向に間引きながら行う読み出し方法では、生成される画像の解像度が小さくなる。したがって、静止画モードと比較して読み出し対象の行が少なくて済むライブビュー画像や動画に好適である。なお、焦点検出を行わない場合には、画素アレイ201の全ての行を間引きすることなしに、第1の走査のみを行う。   Thereafter, an image is generated from the imaging signal read in the first scan, and the focus is detected by comparing the phase difference signals read in the second scan. As described above, in the reading method performed while thinning out in the vertical direction, the resolution of the generated image is reduced. Therefore, it is suitable for live view images and moving images that require fewer rows to be read compared to the still image mode. When focus detection is not performed, only the first scan is performed without thinning out all the rows of the pixel array 201.

続いて、図7(b)を参照しながら、垂直走査回路202による第1の走査及び第2の走査についてより具体的に説明する。図7(b)において太枠で囲まれた行は、第1の走査の読み出し対象行であり、その他の行は第1の走査において間引かれる行である。また、図7(b)に縦線パターンが付加された行は、第2の走査の読み出し対象行であり、その他の行は第2の走査において読み出されずに間引かれる行である。   Next, the first scanning and the second scanning by the vertical scanning circuit 202 will be described more specifically with reference to FIG. In FIG. 7B, the rows surrounded by a thick frame are read target rows in the first scan, and the other rows are thinned out in the first scan. In addition, the row to which the vertical line pattern is added in FIG. 7B is a read target row for the second scan, and the other rows are thinned out without being read in the second scan.

垂直走査回路202は、まず、V0行に配置された画素単位300からA信号とB信号を加算した撮像信号を読み出した後、同様に3行周期でV1行からV7行まで撮像信号を読み出す。これらのV0行〜V7行に対する読み出しが第1の走査である。この第1の走査により読み出された撮像信号は、同一のマイクロレンズ401を共有する光電変換部301、302の両方に生じた信号電荷に基づくものである。このため、画素単位300の全体に入射した光に基づく信号が、撮像信号として出力される。その後、第1の走査で読み出したV0行〜V7行の撮像信号から画像が生成される。   The vertical scanning circuit 202 first reads an imaging signal obtained by adding the A signal and the B signal from the pixel unit 300 arranged in the V0 row, and similarly reads the imaging signal from the V1 row to the V7 row in a cycle of 3 rows. Reading for these V0 to V7 rows is the first scan. The imaging signal read by the first scan is based on signal charges generated in both the photoelectric conversion units 301 and 302 sharing the same microlens 401. For this reason, a signal based on light incident on the entire pixel unit 300 is output as an imaging signal. Thereafter, an image is generated from the imaging signals of the V0 to V7 rows read out in the first scan.

このように、垂直方向に行を間引いて読み出す一方で、水平方向には列を間引かないで読み出すと、水平方向と垂直方向で読み出し画素数が異なり、生成された画像の縦横比が異なってしまう。そこで、後段の処理において縦横比の変換が行われる。或いは、垂直方向と同じ比率で水平方向を間引いて読み出してもよいし、間引きする代わりに複数列を加算して読み出してもよい。   As described above, when reading is performed by thinning out rows in the vertical direction while reading out without thinning out columns in the horizontal direction, the number of read pixels is different between the horizontal direction and the vertical direction, and the aspect ratio of the generated image is different. End up. Therefore, the aspect ratio is converted in the subsequent processing. Alternatively, the horizontal direction may be thinned and read at the same ratio as the vertical direction, or a plurality of columns may be added and read instead of thinning.

V7行まで第1の走査が行われると、垂直走査回路202は、走査行をV8行に戻す。そして、V8行に配置された画素単位300からA信号及びB信号のペアである位相差信号を読み出した後、同様にV9行からV13行まで位相差信号を読み出す。この際、第1の走査で既に読み出した行については走査をスキップする。これらのV8行〜V13行に対する読み出しが第2の走査である。この第2の走査により読み出された位相差信号は、同一のマイクロレンズ401を共有する光電変換部301、302のそれぞれに生じた信号電荷に基づくものである。このため、撮像光学系の異なる瞳領域を通過した光に基づくA信号とB信号を比較して、被写体像の焦点を検出することができる。   When the first scanning is performed up to the V7 row, the vertical scanning circuit 202 returns the scanning row to the V8 row. Then, after reading out the phase difference signal that is a pair of the A signal and the B signal from the pixel unit 300 arranged in the V8 row, the phase difference signal is similarly read out from the V9 row to the V13 row. At this time, scanning is skipped for the rows that have already been read in the first scanning. Reading for these V8 to V13 rows is the second scan. The phase difference signal read out by the second scanning is based on signal charges generated in the photoelectric conversion units 301 and 302 that share the same microlens 401. Therefore, the focus of the subject image can be detected by comparing the A signal and the B signal based on the light that has passed through different pupil regions of the imaging optical system.

なお、第2の走査でも第1の走査と同様に所定の周期で間引いて走査することで、読み出し時間を短縮して高速なフレームレートに対応することができる。また、撮影者の操作等によって、焦点検出を行う焦点検出領域が予め指定されている場合は、この焦点検出領域を含む最も狭い行範囲を、第2の走査の対象行とすることが好ましい。例えば、図7(b)において、V8行からV13行の範囲に焦点検出領域が設定されている場合には、上述の動作のように、V8行目からV13行目までを第2の走査の対象行とする。焦点検出領域は、固定の領域であってもよいし、被写体検出等の公知の方法によって自動的に設定されてもよい。   In the second scan, scanning is performed with a predetermined cycle as in the first scan, so that the readout time can be shortened and a high frame rate can be handled. In addition, when a focus detection area for performing focus detection is designated in advance by a photographer's operation or the like, it is preferable that the narrowest row range including the focus detection area is a target line for the second scan. For example, in FIG. 7B, when the focus detection area is set in the range from the V8 line to the V13 line, the second scan is performed from the V8 line to the V13 line as described above. Target row. The focus detection area may be a fixed area or may be automatically set by a known method such as subject detection.

図7(c)は、図7(b)に示した第1の走査及び第2の走査により走査した行を、読み出した順に並べ替えた図である。第1の走査で読み出したV0行〜V7行の画素単位300からは、A信号とB信号を加算した撮像信号が読み出される。また、第2の走査で読み出したV8行〜V13行の画素単位300からは、A信号とB信号のペアである位相差信号が読み出される。図7(c)には、第2の走査で読み出したA信号とB信号を、例えばV8aとV8bのように別々に示している。   FIG. 7C is a diagram in which the rows scanned by the first scan and the second scan shown in FIG. 7B are rearranged in the read order. An imaging signal obtained by adding the A signal and the B signal is read out from the pixel units 300 in the V0 to V7 rows read out in the first scan. Further, a phase difference signal that is a pair of the A signal and the B signal is read out from the pixel units 300 in the V8 to V13 rows read out in the second scanning. In FIG. 7C, the A signal and the B signal read in the second scanning are separately shown as V8a and V8b, for example.

前述のように、本実施形態の制御部105は、第1の走査で読み出す撮像画素の蓄積期間と、第2の走査で読み出す焦点検出画素の蓄積期間とを独立に制御可能である。撮像信号の蓄積期間は、予め撮影者が指定したシャッタースピード等に基づいて決定される。したがって、このように、焦点検出画素の蓄積期間を撮像画素の蓄積期間とは独立に制御可能な構成とすることで、焦点検出に最適な位相差信号の輝度となるように、焦点検出画素の蓄積期間を調整することが可能となる。   As described above, the control unit 105 according to the present embodiment can independently control the accumulation period of the imaging pixels read by the first scan and the accumulation period of the focus detection pixels read by the second scan. The accumulation period of the imaging signal is determined based on a shutter speed or the like designated in advance by the photographer. Therefore, in this way, by setting the accumulation period of the focus detection pixel to be controllable independently from the accumulation period of the imaging pixel, the focus detection pixel of the focus detection pixel can be set to have the optimum luminance of the phase difference signal for focus detection. It is possible to adjust the accumulation period.

図8は、第1実施形態に係る撮像装置100におけるフリッカの検出方法の例を示す図である。例えば蛍光灯のフリッカは、商用電源の周波数に同期して発生する。商用電源の周波数は、東日本では50Hz、西日本では60Hzである。   FIG. 8 is a diagram illustrating an example of a flicker detection method in the imaging apparatus 100 according to the first embodiment. For example, flicker of a fluorescent lamp is generated in synchronization with the frequency of a commercial power source. The frequency of the commercial power supply is 50 Hz in eastern Japan and 60 Hz in western Japan.

ライブビューに用いる撮像画像の蓄積期間の周期が、フリッカ周期に対して半周期だけ異なっていると、連続する撮像画像のフレーム間で、図8(a)、図8(b)に示すようにフリッカのパターンのずれが生じる。例えば、フリッカ周期が、商用電源の電源周波数50Hzに同期した10msの場合、パターンのずれが生じる撮像画素の蓄積期間の周期は、15ms(67fps)、25ms(40fps)、35ms(28fps)、45ms(22fps)等である。ここで、フリッカ周期10msは、商用電源の周期20msの半分となることに注意されたい。   As shown in FIGS. 8A and 8B, when the period of the captured image storage period used in the live view is different from the flicker period by a half period, between frames of consecutive captured images. A flicker pattern shift occurs. For example, when the flicker cycle is 10 ms synchronized with the power supply frequency 50 Hz of the commercial power supply, the cycle of the imaging pixel accumulation period in which the pattern shift occurs is 15 ms (67 fps), 25 ms (40 fps), 35 ms (28 fps), 45 ms ( 22 fps). Here, it should be noted that the flicker cycle of 10 ms is half of the commercial power cycle of 20 ms.

したがって、図8(a)の画像と図8(b)の画像の差分を算出することで、撮像画像のフリッカを除く成分を相殺して、フリッカ成分のみを抽出することができる。図8(a)の画像と図8(b)の画像から算出した差分画像を図8(c)に示す。また、図8(c)に示す差分画像の垂直方向のX−Y線に沿った信号分布を図8(d)に示す。このようにして得られた図8(d)に示す波形は、抽出されたフリッカノイズの波形を示している。したがって、図8(d)に示す波形に基づいて、フリッカの有無及びその振幅、周期等を検出することが可能である。   Therefore, by calculating the difference between the image in FIG. 8A and the image in FIG. 8B, it is possible to cancel the components excluding flicker in the captured image and extract only the flicker component. FIG. 8C shows a difference image calculated from the image of FIG. 8A and the image of FIG. 8B. FIG. 8D shows a signal distribution along the XY line in the vertical direction of the difference image shown in FIG. The waveform shown in FIG. 8D obtained in this manner indicates the extracted flicker noise waveform. Therefore, it is possible to detect the presence / absence of flicker, its amplitude, period, etc. based on the waveform shown in FIG.

ライブビュー表示中はフレームレートが30fps等に固定されるため、ライブビュー表示中にフリッカ検出を行うことはできない。そのため、フリッカの検出は、ライブビュー表示の開始前のタイミングで一度だけ行われる。また、フリッカ検出に用いる撮像画素の蓄積期間の周期を45ms(22fps)とすると、50Hzと60Hzのいずれの商用電源に同期したフリッカも検出することができる。なお、フリッカの検出タイミングやフリッカ周期は、必ずしもこのような値には限定されず、環境等に応じて適宜設定することが可能である。   Since the frame rate is fixed at 30 fps or the like during live view display, flicker detection cannot be performed during live view display. Therefore, flicker detection is performed only once at the timing before the start of live view display. Further, when the period of the accumulation period of the imaging pixels used for flicker detection is 45 ms (22 fps), flicker synchronized with any commercial power source of 50 Hz or 60 Hz can be detected. Note that the flicker detection timing and flicker cycle are not necessarily limited to such values, and can be set as appropriate according to the environment.

以下、図9〜図12を用いて、焦点検出に最適な位相差信号の輝度となるように焦点検出画素の蓄積期間を調整しながら、位相差信号のフリッカを抑制する方法について説明する。図9は、第1実施形態に係る撮像装置100の制御方法を示すフローチャートである。   Hereinafter, a method for suppressing the flicker of the phase difference signal while adjusting the accumulation period of the focus detection pixel so as to obtain the luminance of the phase difference signal optimal for focus detection will be described with reference to FIGS. FIG. 9 is a flowchart illustrating a method for controlling the imaging apparatus 100 according to the first embodiment.

ステップS801において、撮影者の操作等によりライブビューが起動される。フリッカ検出部102は、ステップS802において、図8に示した方法等を用いてフリッカの有無、及びその周波数を検出する。   In step S801, the live view is activated by a photographer's operation or the like. In step S802, the flicker detection unit 102 detects the presence / absence of flicker and the frequency thereof using the method shown in FIG.

ステップS803において、制御部105は、フリッカ検出部102によってフリッカが検出されたか否かを判定する。フリッカが検出された場合(YES)はステップS804に進み、フリッカの振幅を算出する。一方、フリッカが検出されなかった場合(NO)はステップS807に進み、フリッカ補正フラグをOFFに設定して、ステップS808に進む。   In step S <b> 803, the control unit 105 determines whether or not flicker is detected by the flicker detection unit 102. If flicker is detected (YES), the process proceeds to step S804, and the flicker amplitude is calculated. On the other hand, if no flicker is detected (NO), the process proceeds to step S807, the flicker correction flag is set to OFF, and the process proceeds to step S808.

ステップS805において、制御部105は、算出したフリッカの振幅が、焦点検出精度に影響を与える所定の閾値以上であるか否かを判定する。図10は、ステップS805におけるフリッカの振幅の判定方法の例を示す図である。図10(a)は、フリッカの振幅が焦点検出精度に影響を与えない場合を示し、図10(b)は、フリッカの振幅が焦点検出精度に影響を与える場合を示している。   In step S805, the control unit 105 determines whether or not the calculated flicker amplitude is greater than or equal to a predetermined threshold that affects the focus detection accuracy. FIG. 10 is a diagram illustrating an example of a flicker amplitude determination method in step S805. FIG. 10A shows a case where the flicker amplitude does not affect the focus detection accuracy, and FIG. 10B shows a case where the flicker amplitude affects the focus detection accuracy.

図10(a)に示すように、フリッカの振幅の大きさが閾値未満である場合(NO)はステップS807に進み、フリッカ補正フラグをOFFに設定して、ステップS808に進む。一方、図10(b)に示すように、フリッカの振幅の大きさが閾値以上である場合(YES)はステップS806に進み、フリッカ補正フラグをONに設定して、ステップS808に進む。ステップS808では、ライブビュー表示を開始する。   As shown in FIG. 10A, if the magnitude of the flicker amplitude is less than the threshold (NO), the process proceeds to step S807, the flicker correction flag is set to OFF, and the process proceeds to step S808. On the other hand, as shown in FIG. 10B, if the flicker amplitude is greater than or equal to the threshold (YES), the process proceeds to step S806, the flicker correction flag is set to ON, and the process proceeds to step S808. In step S808, live view display is started.

ステップS809において、制御部105は、焦点検出(AF)を行うために最適な焦点検出画素の蓄積期間の長さを算出する。ステップS810において、制御部105は、フリッカ補正フラグを確認して、フリッカ補正を行うか否かを判定する。図11及び図12は、ステップS810〜S812における蓄積期間の設定方法の例を示す図である。前述のように、本実施形態の制御部105は、撮像画素の蓄積期間と焦点検出画素の蓄積期間とを独立に制御可能である。図11は、焦点検出画素の蓄積期間が撮像画素の蓄積期間よりも短く制御された場合を示し、図12は、焦点検出画素の蓄積期間が撮像画素の蓄積期間よりも長く制御された場合を示している。   In step S809, the control unit 105 calculates the length of the optimum focus detection pixel accumulation period for performing focus detection (AF). In step S810, the control unit 105 checks the flicker correction flag and determines whether to perform flicker correction. 11 and 12 are diagrams illustrating an example of the accumulation period setting method in steps S810 to S812. As described above, the control unit 105 of the present embodiment can independently control the accumulation period of the imaging pixels and the accumulation period of the focus detection pixels. FIG. 11 illustrates a case where the accumulation period of the focus detection pixels is controlled to be shorter than the accumulation period of the imaging pixels, and FIG. 12 illustrates a case where the accumulation period of the focus detection pixels is controlled to be longer than the accumulation period of the imaging pixels. Show.

フリッカ補正フラグがONの場合はステップS811に進み、ステップS809で算出した焦点検出画素の蓄積期間を、図11(b)又は図12(b)に示すように、フリッカが抑制されるように補正する。例えば、焦点検出画素の蓄積期間の長さを、図11及び図12に黒丸で示すような、フリッカ周期又はその整数倍に設定することで、フリッカが抑制される。そして、ステップS812において、フリッカ補正後の蓄積期間を設定する。   If the flicker correction flag is ON, the process proceeds to step S811, and the focus detection pixel accumulation period calculated in step S809 is corrected so as to suppress flicker as shown in FIG. 11B or 12B. To do. For example, flicker can be suppressed by setting the length of the focus detection pixel accumulation period to a flicker cycle or an integer multiple thereof as shown by black circles in FIGS. In step S812, an accumulation period after flicker correction is set.

この際、撮像画素の蓄積期間についても同様にフリッカ補正を行うが、焦点検出画素の蓄積期間は、必ずしも撮像画素の蓄積期間と同じ長さに補正する必要はない。焦点検出画素の蓄積期間は、フリッカが抑制される複数の蓄積期間の長さのうちから、焦点検出に最適なものを選択すればよい。例えば、図11(b)又は図12(b)に示すように、フリッカが抑制される複数の蓄積期間の長さのうちから、ステップS809において算出した蓄積期間の長さに最も近いものを選択して設定する。   At this time, flicker correction is similarly performed for the accumulation period of the imaging pixels, but the accumulation period of the focus detection pixels is not necessarily corrected to the same length as the accumulation period of the imaging pixels. As the accumulation period of the focus detection pixels, an optimum one for focus detection may be selected from the lengths of a plurality of accumulation periods in which flicker is suppressed. For example, as shown in FIG. 11B or FIG. 12B, the one closest to the length of the accumulation period calculated in step S809 is selected from the lengths of the plurality of accumulation periods in which flicker is suppressed. And set.

一方、ステップS810において、フリッカ補正フラグがOFFの場合はステップS811をスキップしてS812に進む。そして、図11(a)又は図12(a)に示すように、ステップS809で算出した焦点検出画素の蓄積期間をそのまま設定する。   On the other hand, if the flicker correction flag is OFF in step S810, step S811 is skipped and the process proceeds to S812. Then, as shown in FIG. 11A or FIG. 12A, the accumulation period of the focus detection pixels calculated in step S809 is set as it is.

ステップS813において、制御部105は、撮影者等によってライブビューの終了操作が行われたか否かを判定する。ライブビューの終了操作が行われた場合(YES)はステップS814に進んでライブビュー表示を終了し、ステップS815に進んでライブビューを終了する。一方、ライブビューの終了操作が行われていない場合(NO)は、ステップS809に戻って、同様の焦点検出画素の蓄積期間の算出/補正処理をフレームごとに繰り返す。   In step S813, the control unit 105 determines whether a live view end operation has been performed by a photographer or the like. When the live view end operation is performed (YES), the process proceeds to step S814 to end the live view display, and the process proceeds to step S815 to end the live view. On the other hand, if the live view end operation has not been performed (NO), the process returns to step S809, and the same calculation / correction processing of the focus detection pixel accumulation period is repeated for each frame.

以上のように、本実施形態の撮像装置は、撮像光学系によって結像された像に基づく撮像信号を出力する撮像画素、及び、撮像光学系の異なる瞳領域を通過した複数の像に基づく位相差信号を出力する焦点検出画素を有する撮像素子を備えている。そして、フリッカ検出部がフリッカを検出した場合に、焦点検出画素の蓄積期間を撮像画素の蓄積期間とは独立に制御して位相差信号のフリッカ補正を行う。このような構成により、フリッカ光源下においても位相差方式による焦点検出を高精度に行うことが可能な撮像装置及びその制御方法を提供することができる。   As described above, the imaging apparatus according to the present embodiment is based on an imaging pixel that outputs an imaging signal based on an image formed by an imaging optical system and a plurality of images that pass through different pupil regions of the imaging optical system. An imaging device having a focus detection pixel that outputs a phase difference signal is provided. When the flicker detection unit detects flicker, the flicker correction of the phase difference signal is performed by controlling the accumulation period of the focus detection pixel independently of the accumulation period of the imaging pixel. With such a configuration, it is possible to provide an imaging apparatus capable of performing focus detection by a phase difference method with high accuracy even under a flicker light source and a control method thereof.

(第2実施形態)
第2実施形態に係る撮像装置100及びその制御方法について、図13及び図14を参照しながら説明する。図13は、第2実施形態に係る撮像装置100の制御方法を示すフローチャートである。図13に示す本実施形態のフローチャートでは、図9に示したフローチャートにおけるステップS804及びステップS805が省略されている。すなわち、本実施形態では、フリッカの振幅の大きさに関わらず、フリッカ検出部102がフリッカを検出した場合にはフリッカ補正を行う。その他の処理については図9と概ね同じである。以下、図9と異なる処理について説明を行う。
(Second Embodiment)
An imaging apparatus 100 and a control method thereof according to the second embodiment will be described with reference to FIGS. FIG. 13 is a flowchart illustrating a method for controlling the imaging apparatus 100 according to the second embodiment. In the flowchart of the present embodiment shown in FIG. 13, steps S804 and S805 in the flowchart shown in FIG. 9 are omitted. That is, in this embodiment, flicker correction is performed when the flicker detection unit 102 detects flicker regardless of the amplitude of the flicker. Other processes are almost the same as those in FIG. Hereinafter, processing different from FIG. 9 will be described.

ステップS802までの処理は先の図9と同じである。ステップS1301において、制御部105は、フリッカ検出部102によってフリッカが検出されたか否かを判定する。フリッカが検出された場合(YES)はステップS806に進み、フリッカ補正フラグをONに設定して、ステップS808に進む。一方、フリッカが検出されなかった場合(NO)はステップS807に進み、フリッカ補正フラグをOFFに設定して、ステップS808に進む。ステップS808では、ライブビュー表示を開始する。本実施形態では、図9のステップS804に示したフリッカの振幅の算出処理と、ステップS805に示したフリッカの振幅の判定処理が省略されている。   The processing up to step S802 is the same as in FIG. In step S <b> 1301, the control unit 105 determines whether or not flicker is detected by the flicker detection unit 102. If flicker is detected (YES), the process proceeds to step S806, the flicker correction flag is set to ON, and the process proceeds to step S808. On the other hand, if no flicker is detected (NO), the process proceeds to step S807, the flicker correction flag is set to OFF, and the process proceeds to step S808. In step S808, live view display is started. In the present embodiment, the flicker amplitude calculation process shown in step S804 of FIG. 9 and the flicker amplitude determination process shown in step S805 are omitted.

ステップS809において、制御部105は、焦点検出(AF)を行うために最適な蓄積期間の長さを算出する。ステップS810において、制御部105は、フリッカ補正フラグを確認して、フリッカ補正を行うか否かを判定する。図14は、ステップS810〜S812における蓄積期間の設定方法の例を示す図である。図14(a)は、焦点検出画素の蓄積期間が撮像画素の蓄積期間よりも短く制御された場合を示し、図14(b)は、焦点検出画素の蓄積期間が撮像画素の蓄積期間よりも長く制御された場合を示している。   In step S809, the control unit 105 calculates the optimum length of the accumulation period for performing focus detection (AF). In step S810, the control unit 105 checks the flicker correction flag and determines whether to perform flicker correction. FIG. 14 is a diagram illustrating an example of the accumulation period setting method in steps S810 to S812. FIG. 14A shows a case where the accumulation period of the focus detection pixels is controlled to be shorter than the accumulation period of the imaging pixels, and FIG. 14B shows that the accumulation period of the focus detection pixels is longer than the accumulation period of the imaging pixels. The case where it was controlled for a long time is shown.

フリッカ補正フラグがONの場合はステップS1302に進み、ステップS809で算出した焦点検出画素の蓄積期間の長さを、図14に示すように、フリッカ補正された撮像画素の蓄積期間と同じ長さに補正する。そして、ステップS812において、フリッカ補正後の蓄積期間を設定する。   If the flicker correction flag is ON, the process proceeds to step S1302, and the length of the focus detection pixel accumulation period calculated in step S809 is set to the same length as the flicker-corrected imaging pixel accumulation period as shown in FIG. to correct. In step S812, an accumulation period after flicker correction is set.

一方、ステップS810において、フリッカ補正フラグがOFFの場合はステップS1302をスキップしてS812に進む。そして、図11(a)又は図12(a)に示すように、ステップS809で算出した焦点検出画素の蓄積期間をそのまま設定する。   On the other hand, if the flicker correction flag is OFF in step S810, step S1302 is skipped and the process proceeds to S812. Then, as shown in FIG. 11A or FIG. 12A, the accumulation period of the focus detection pixels calculated in step S809 is set as it is.

以上のように、本実施形態では、フリッカ検出部がフリッカを検出した場合に、焦点検出画素の蓄積期間の長さを撮像画素の蓄積期間と同じ長さに設定して、位相差信号のフリッカ補正を行う。これにより、フリッカ光源下においても位相差方式による焦点検出の精度を維持することができる。   As described above, in the present embodiment, when the flicker detection unit detects flicker, the length of the focus detection pixel accumulation period is set to the same length as the imaging pixel accumulation period, and the flicker of the phase difference signal is set. Make corrections. As a result, the accuracy of focus detection by the phase difference method can be maintained even under a flicker light source.

(その他の実施形態)
本発明は、上記実施形態に限らず種々の変形が可能である。例えば、上記実施形態に記載の撮像装置100の構成は一例を示したものであり、本発明を適用可能な撮像装置100はこのような構成に限定されるものではない。
(Other embodiments)
The present invention is not limited to the above embodiment, and various modifications can be made. For example, the configuration of the imaging apparatus 100 described in the above embodiment is an example, and the imaging apparatus 100 to which the present invention is applicable is not limited to such a configuration.

本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。   The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

なお、上記実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならない。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。   The above-described embodiments are merely examples of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed as being limited thereto. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.

100 :撮像装置
101 :撮像素子
102 :フリッカ検出部
105 :制御部
201 :画素アレイ
202 :垂直走査回路
203 :読み出し回路
204 :水平走査回路
300 :画素単位
301、302 :光電変換部
303 :フローティングディフュージョン領域
304 :増幅トランジスタ
305 :リセットトランジスタ
306 :選択トランジスタ
307、308 :転送トランジスタ
DESCRIPTION OF SYMBOLS 100: Image pick-up device 101: Image pick-up element 102: Flicker detection part 105: Control part 201: Pixel array 202: Vertical scanning circuit 203: Read-out circuit 204: Horizontal scanning circuit 300: Pixel unit 301, 302: Photoelectric conversion part 303: Floating diffusion Region 304: amplification transistor 305: reset transistor 306: selection transistor 307, 308: transfer transistor

Claims (12)

撮像光学系によって結像された像に基づく撮像信号を出力する撮像画素、及び、撮像光学系の異なる瞳領域を通過した複数の像に基づく位相差信号を出力する焦点検出画素、を有する撮像素子と、
前記撮像信号に基づいてフリッカを検出するフリッカ検出部と、
前記フリッカ検出部がフリッカを検出した場合に、前記焦点検出画素の蓄積期間を前記撮像画素の蓄積期間とは独立に制御して前記位相差信号のフリッカ補正を行う制御部と、
を備えることを特徴とする撮像装置。
An imaging element having an imaging pixel that outputs an imaging signal based on an image formed by the imaging optical system, and a focus detection pixel that outputs a phase difference signal based on a plurality of images that have passed through different pupil regions of the imaging optical system When,
A flicker detection unit for detecting flicker based on the imaging signal;
A control unit that controls flicker correction of the phase difference signal by controlling the accumulation period of the focus detection pixels independently of the accumulation period of the imaging pixels when the flicker detection unit detects flicker;
An imaging apparatus comprising:
前記撮像素子は、
前記撮像画素及び前記焦点検出画素が行列状に配置された画素アレイと、
前記撮像画素が配置された複数の行から前記撮像信号を読み出す第1の走査、及び、前記焦点検出画素が配置された複数の行から前記位相差信号を読み出す第2の走査、を行う垂直走査回路と、
を有し、
前記垂直走査回路は、前記第1の走査を行った後に前記第2の走査を行う
ことを特徴とする請求項1に記載の撮像装置。
The image sensor is
A pixel array in which the imaging pixels and the focus detection pixels are arranged in a matrix;
Vertical scanning for performing a first scan for reading the imaging signal from a plurality of rows in which the imaging pixels are arranged and a second scanning for reading out the phase difference signal from the plurality of rows in which the focus detection pixels are arranged. Circuit,
Have
The imaging apparatus according to claim 1, wherein the vertical scanning circuit performs the second scanning after performing the first scanning.
前記撮像画素及び前記焦点検出画素は、A信号を出力するA画素、及び、B信号を出力するB画素を有し、
前記撮像素子は、前記第1の走査において、前記A信号と前記B信号とが加算された前記撮像信号を読み出し、前記第2の走査において、前記A信号と前記B信号のペアである前記位相差信号を読み出す
ことを特徴とする請求項2に記載の撮像装置。
The imaging pixel and the focus detection pixel include an A pixel that outputs an A signal and a B pixel that outputs a B signal,
The imaging element reads the imaging signal obtained by adding the A signal and the B signal in the first scanning, and the pair of the A signal and the B signal in the second scanning. The phase difference signal is read out. The imaging apparatus according to claim 2.
前記フリッカ検出部は、フリッカの振幅を検出し、
前記制御部は、検出したフリッカの振幅の大きさが所定の閾値以上である場合に、フリッカ補正を行う
ことを特徴とする請求項1から3のいずれか1項に記載の撮像装置。
The flicker detection unit detects the flicker amplitude,
The imaging apparatus according to claim 1, wherein the control unit performs flicker correction when the magnitude of the detected flicker amplitude is equal to or greater than a predetermined threshold.
前記制御部は、前記焦点検出画素の蓄積期間の長さを、フリッカが抑制される蓄積期間の長さであって前記撮像画素の蓄積期間とは異なる長さに設定して、前記位相差信号のフリッカ補正を行う
ことを特徴とする請求項4に記載の撮像装置。
The control unit sets the length of the accumulation period of the focus detection pixels to be a length of an accumulation period in which flicker is suppressed and is different from the accumulation period of the imaging pixels, and the phase difference signal The imaging apparatus according to claim 4, wherein flicker correction is performed.
前記制御部は、検出したフリッカの振幅の大きさが前記閾値未満である場合に、前記焦点検出画素の蓄積期間を前記撮像画素の蓄積期間とは独立に制御して、前記位相差信号の輝度を調整する
ことを特徴とする請求項4又は5に記載の撮像装置。
The control unit controls the accumulation period of the focus detection pixels independently of the accumulation period of the imaging pixels when the magnitude of the detected flicker amplitude is less than the threshold value, and the luminance of the phase difference signal The imaging apparatus according to claim 4, wherein the imaging device is adjusted.
前記制御部は、前記フリッカ検出部がフリッカを検出した場合に、前記焦点検出画素の蓄積期間の長さを前記撮像画素の蓄積期間と同じ長さに設定して、前記位相差信号のフリッカ補正を行う
ことを特徴とする請求項1から3のいずれか1項に記載の撮像装置。
When the flicker detecting unit detects flicker, the control unit sets the length of the accumulation period of the focus detection pixel to the same length as the accumulation period of the imaging pixel, and performs flicker correction of the phase difference signal. The imaging apparatus according to any one of claims 1 to 3, wherein:
前記フリッカ検出部は、フリッカ周期を検出し、
前記制御部は、前記焦点検出画素の蓄積期間の長さを、前記フリッカ周期又は前記フリッカ周期の整数倍に設定して、前記位相差信号のフリッカ補正を行う
ことを特徴とする請求項1から7のいずれか1項に記載の撮像装置。
The flicker detection unit detects a flicker cycle,
The control unit performs flicker correction on the phase difference signal by setting the length of the accumulation period of the focus detection pixels to the flicker cycle or an integer multiple of the flicker cycle. 8. The imaging device according to any one of items 7.
前記フリッカ検出部は、連続するフレーム間で前記撮像信号を比較してフリッカを検出する
ことを特徴とする請求項1から8のいずれか1項に記載の撮像装置。
The imaging apparatus according to claim 1, wherein the flicker detection unit detects the flicker by comparing the imaging signals between consecutive frames.
撮像光学系によって結像された像に基づく撮像信号を出力する撮像画素、及び、撮像光学系の異なる瞳領域を通過した複数の像に基づく位相差信号を出力する焦点検出画素、を有する撮像素子を備えた撮像装置の制御方法であって、
前記撮像信号に基づいてフリッカを検出するフリッカ検出ステップと、
前記フリッカ検出ステップにおいてフリッカを検出した場合に、前記焦点検出画素の蓄積期間を前記撮像画素の蓄積期間とは独立に制御して前記位相差信号のフリッカ補正を行う制御ステップと、
を有することを特徴とする撮像装置の制御方法。
An imaging element having an imaging pixel that outputs an imaging signal based on an image formed by the imaging optical system, and a focus detection pixel that outputs a phase difference signal based on a plurality of images that have passed through different pupil regions of the imaging optical system A method for controlling an imaging apparatus comprising:
A flicker detection step for detecting flicker based on the imaging signal;
A control step of performing flicker correction of the phase difference signal by controlling the accumulation period of the focus detection pixels independently of the accumulation period of the imaging pixels when flicker is detected in the flicker detection step;
A method for controlling an imaging apparatus, comprising:
撮像光学系によって結像された像に基づく撮像信号を出力する撮像画素、及び、撮像光学系の異なる瞳領域を通過した複数の像に基づく位相差信号を出力する焦点検出画素、を有する撮像素子を備えた撮像装置において、コンピュータを、
前記撮像信号に基づいてフリッカを検出するフリッカ検出手段と、
前記フリッカ検出手段がフリッカを検出した場合に、前記焦点検出画素の蓄積期間を前記撮像画素の蓄積期間とは独立に制御して前記位相差信号のフリッカ補正を行う制御手段と、
として機能させることを特徴とするプログラム。
An imaging element having an imaging pixel that outputs an imaging signal based on an image formed by the imaging optical system, and a focus detection pixel that outputs a phase difference signal based on a plurality of images that have passed through different pupil regions of the imaging optical system In an imaging apparatus comprising:
Flicker detection means for detecting flicker based on the imaging signal;
Control means for controlling flicker correction of the phase difference signal by controlling the accumulation period of the focus detection pixels independently of the accumulation period of the imaging pixels when the flicker detection means detects flicker;
A program characterized by functioning as
請求項11に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。   A computer-readable storage medium storing the program according to claim 11.
JP2017088082A 2017-04-27 2017-04-27 Imaging device and its control method Active JP7071061B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017088082A JP7071061B2 (en) 2017-04-27 2017-04-27 Imaging device and its control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017088082A JP7071061B2 (en) 2017-04-27 2017-04-27 Imaging device and its control method

Publications (2)

Publication Number Publication Date
JP2018185450A true JP2018185450A (en) 2018-11-22
JP7071061B2 JP7071061B2 (en) 2022-05-18

Family

ID=64356817

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017088082A Active JP7071061B2 (en) 2017-04-27 2017-04-27 Imaging device and its control method

Country Status (1)

Country Link
JP (1) JP7071061B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115499597A (en) * 2022-09-13 2022-12-20 豪威集成电路(成都)有限公司 Method and device for identifying target frequency light source of imaging system and terminal equipment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010217618A (en) * 2009-03-18 2010-09-30 Canon Inc Image capturing apparatus and signal processing device
JP2010263568A (en) * 2009-05-11 2010-11-18 Canon Inc Imaging device
JP2015111252A (en) * 2013-11-05 2015-06-18 キヤノン株式会社 Imaging device, imaging device control method, program, and storage medium
JP2016197177A (en) * 2015-04-03 2016-11-24 キヤノン株式会社 Display control device and control method of the same, and imaging device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010217618A (en) * 2009-03-18 2010-09-30 Canon Inc Image capturing apparatus and signal processing device
JP2010263568A (en) * 2009-05-11 2010-11-18 Canon Inc Imaging device
JP2015111252A (en) * 2013-11-05 2015-06-18 キヤノン株式会社 Imaging device, imaging device control method, program, and storage medium
JP2016197177A (en) * 2015-04-03 2016-11-24 キヤノン株式会社 Display control device and control method of the same, and imaging device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115499597A (en) * 2022-09-13 2022-12-20 豪威集成电路(成都)有限公司 Method and device for identifying target frequency light source of imaging system and terminal equipment

Also Published As

Publication number Publication date
JP7071061B2 (en) 2022-05-18

Similar Documents

Publication Publication Date Title
US10771718B2 (en) Imaging device and imaging system
JP6264616B2 (en) Imaging device and solid-state imaging device
JP5516960B2 (en) Solid-state imaging device, driving method of solid-state imaging device, and electronic apparatus
JP5850680B2 (en) Imaging apparatus and control method thereof
JP6253272B2 (en) Imaging apparatus, imaging system, signal processing method, program, and storage medium
JP6588702B2 (en) Imaging apparatus, control method therefor, program, and storage medium
JP6066593B2 (en) Imaging system and driving method of imaging system
JP2012231333A (en) Imaging apparatus, control method thereof and program
JP2009164846A (en) Solid-state image pickup device and operation method therefor
US8913161B2 (en) Image capturing apparatus and control method thereof
US9930273B2 (en) Image pickup apparatus, image pickup system, and control method for the image pickup apparatus for controlling transfer switches
US10003734B2 (en) Image capturing apparatus and control method of image sensor
JP2008042298A (en) Solid-state image pickup device
JP6362511B2 (en) Imaging apparatus and control method thereof
US20110037882A1 (en) Solid-state imaging device, method of driving solid-state imaging device, and electronic apparatus
US9635241B2 (en) Image capturing apparatus and method of controlling image capturing apparatus
JP2007173986A (en) Imaging apparatus and control method thereof, computer program, and storage medium
JP7071061B2 (en) Imaging device and its control method
US9813646B2 (en) Solid-state imaging apparatus, imaging system, and method for driving solid-state imaging apparatus, where longer accumulation time is used for light-shielded pixels
JP5010655B2 (en) Solid-state imaging device
TW200539691A (en) An image pickup apparatus and imaging method
RU2637728C2 (en) Excitation method for image fixing device and image fixing device
JP2017098790A (en) Imaging apparatus, control method of the same, program, and storage medium
JP2017118329A (en) Imaging apparatus, imaging method, image frame read-out control circuit and signal processing device
JP2020057892A (en) Imaging device

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20171214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20180126

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200402

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211223

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220506

R151 Written notification of patent or utility model registration

Ref document number: 7071061

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151