JP2016052054A - Imaging device - Google Patents

Imaging device Download PDF

Info

Publication number
JP2016052054A
JP2016052054A JP2014177358A JP2014177358A JP2016052054A JP 2016052054 A JP2016052054 A JP 2016052054A JP 2014177358 A JP2014177358 A JP 2014177358A JP 2014177358 A JP2014177358 A JP 2014177358A JP 2016052054 A JP2016052054 A JP 2016052054A
Authority
JP
Japan
Prior art keywords
unit pixel
signal
focus detection
light
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014177358A
Other languages
Japanese (ja)
Other versions
JP6452354B2 (en
JP2016052054A5 (en
Inventor
聡史 鈴木
Satoshi Suzuki
聡史 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014177358A priority Critical patent/JP6452354B2/en
Publication of JP2016052054A publication Critical patent/JP2016052054A/en
Publication of JP2016052054A5 publication Critical patent/JP2016052054A5/ja
Application granted granted Critical
Publication of JP6452354B2 publication Critical patent/JP6452354B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an imaging device capable of performing appropriate focus detection depending on the situation.SOLUTION: An imaging device comprises: a first unit pixel that converts light into an electric charge; a second unit pixel that converts light into an electric charge; a light-emitting device that projects light to a subject; a first focus detector that acquires information on a distance to the subject on the basis of an output signal of the first unit pixel without projecting of light by the light-emitting device; and a second focus detector that acquires information on the distance to the subject on the basis of an output signal of the second unit pixel with projecting of light by the light-emitting device.SELECTED DRAWING: Figure 12

Description

本発明は、撮像装置に関する。   The present invention relates to an imaging apparatus.

近年、電子カメラ等の撮像装置において、光の強度分布のみならず光の入射方向や距離情報をも取得可能な撮像装置が知られている。   2. Description of the Related Art In recent years, imaging apparatuses such as electronic cameras that can acquire not only light intensity distribution but also light incident direction and distance information are known.

特許文献1では、撮像装置において、瞳分割方式の焦点検出が可能な技術が開示されている。特許文献1では、1つの画素は2つのフォトダイオードを有しており(以下、これらを分割画素という)、各フォトダイオードは1つのマイクロレンズによって撮影レンズの異なる瞳を通過した光を受光する。したがって、2つのフォトダイオードからの出力信号波形を比較することで、瞳分割位相差AFや距離検出用画像の取得が可能となる。また、2つのフォトダイオードからの出力信号を加算することで、通常の撮像画像を得ることができる。   Japanese Patent Application Laid-Open No. 2004-228561 discloses a technique capable of pupil focus type focus detection in an imaging apparatus. In Patent Document 1, one pixel has two photodiodes (hereinafter, these are referred to as divided pixels), and each photodiode receives light that has passed through different pupils of the photographing lens by one microlens. Accordingly, by comparing the output signal waveforms from the two photodiodes, it is possible to acquire the pupil division phase difference AF and the distance detection image. Moreover, a normal captured image can be obtained by adding the output signals from the two photodiodes.

また、特許文献2では、撮像装置において、いわゆる光走行時間法、あるいはTOF(Time of Flight)方式の焦点検出が可能な技術が開示されている。特許文献2には、1つの画素は1つのフォトダイオードに対して2つのフローティングディフュージョンと2つの転送スイッチを有している。そして、投射光のパルスタイミングに同期し、2つの転送スイッチを交互に開閉させることで、反射光により発生した電荷を1つのフォトダイオードから2つのフローティングディフュージョンへ配分する。その電荷の配分比から被写体までの距離を推定することができる。   Patent Document 2 discloses a technique capable of detecting a focus by a so-called light travel time method or TOF (Time of Flight) method in an imaging apparatus. In Patent Document 2, one pixel has two floating diffusions and two transfer switches for one photodiode. Then, in synchronization with the pulse timing of the projection light, the two transfer switches are alternately opened and closed to distribute the charge generated by the reflected light from one photodiode to two floating diffusions. The distance to the subject can be estimated from the charge distribution ratio.

特開2001−124984号公報JP 2001-124984 A 国際公開第2007/026777号International Publication No. 2007/026777

しかし、瞳分割方式の焦点検出は、被写体の明暗を用いたコントラスト方式等に比べて、焦点検出の高速化が可能であるが、被写界深度が深い状況や、また画像周辺部など、光学的な諸条件によっては瞳分割位相差が得られにくい。そのため、瞳分割方式の焦点検出は、良好な焦点検出や距離検出用画像の取得を行うことが難しい場合がある。一方で、光走行時間法では、画素単位で距離情報の取得が可能であるが、遠距離被写体に対して投射光が届かない場合や反射率の低い被写体に対して測定が困難である。   However, the focus detection of the pupil division method can speed up the focus detection compared to the contrast method using the contrast of the subject, but it is difficult to detect the optical field in situations where the depth of field is deep or the periphery of the image. It is difficult to obtain a pupil division phase difference depending on various conditions. For this reason, it may be difficult for pupil division type focus detection to perform good focus detection or acquisition of a distance detection image. On the other hand, in the light travel time method, distance information can be acquired in units of pixels, but measurement is difficult when the projection light does not reach a long-distance subject or a subject with low reflectivity.

本発明の目的は、状況に応じた適切な焦点検出を行うことができる撮像装置を提供することである。   The objective of this invention is providing the imaging device which can perform the focus detection suitable according to a condition.

本発明の撮像装置は、光を電荷に変換する第1の単位画素と、光を電荷に変換する第2の単位画素と、被写体に対して光を投射する発光装置と、前記発光装置が光を投射しないで前記第1の単位画素の出力信号を基に被写体までの距離に関する情報を取得する第1の焦点検出部と、前記発光装置が光を投射して前記第2の単位画素の出力信号を基に被写体までの距離に関する情報を取得する第2の焦点検出部とを有することを特徴とする。   An imaging device according to the present invention includes a first unit pixel that converts light into electric charge, a second unit pixel that converts light into electric charge, a light emitting device that projects light onto a subject, and the light emitting device is light. A first focus detector that acquires information on the distance to the subject based on the output signal of the first unit pixel without projecting the light, and the light emitting device projects light to output the second unit pixel. And a second focus detection unit that acquires information on the distance to the subject based on the signal.

光学的な諸条件に応じた適切な焦点検出を行うことができる。   It is possible to perform appropriate focus detection according to various optical conditions.

撮像装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of an imaging device. 第1の実施形態における撮像素子の画素配置図である。It is a pixel arrangement | positioning figure of the image pick-up element in 1st Embodiment. 撮影レンズの射出瞳から出た光束が単位画素に入射する概念図である。It is a conceptual diagram in which the light beam emitted from the exit pupil of the photographing lens enters the unit pixel. 第1の実施形態における単位画素内の構成例を示す模式図である。It is a schematic diagram which shows the structural example in the unit pixel in 1st Embodiment. 位相差検出用単位画素内の構成例を示す回路図である。It is a circuit diagram which shows the structural example in the unit pixel for phase difference detection. TOF焦点検出用単位画素内の構成例を示す回路図である。It is a circuit diagram which shows the structural example in the unit pixel for TOF focus detection. 第1の実施形態における撮像素子の読み出し回路を説明する図である。It is a figure explaining the read-out circuit of the image sensor in a 1st embodiment. 位相差検出用画素の駆動方法を示すタイミングチャートである。It is a timing chart which shows the drive method of the pixel for phase difference detection. TOF焦点検出用画素の第1の駆動方法のタイミングチャートである。It is a timing chart of the 1st drive method of the pixel for a TOF focus detection. TOF焦点検出用画素の第2の駆動方法のタイミングチャートである。It is a timing chart of the 2nd drive method of the pixel for a TOF focus detection. TOF方式に係るパルスタイミングを説明する模式図である。It is a schematic diagram explaining the pulse timing which concerns on a TOF system. 撮像動作を説明するフローチャートである。It is a flowchart explaining an imaging operation. 第1の焦点検出駆動方法を説明する読み出しタイミングチャートである。It is a read timing chart explaining the first focus detection drive method. 第2の焦点検出駆動方法を説明する読み出しタイミングチャートである。It is a read-out timing chart explaining the 2nd focus detection drive method. 第2の実施形態における撮像素子の画素配置図である。It is a pixel arrangement | positioning figure of the image pick-up element in 2nd Embodiment. 第2の実施形態における単位画素内の構成例を示す模式図である。It is a schematic diagram which shows the structural example in the unit pixel in 2nd Embodiment. 通常の撮像用単位画素内の構成例を示す回路図である。It is a circuit diagram which shows the structural example in the normal pixel unit for imaging. 第2の実施形態における撮像素子の読み出し回路を説明する図である。It is a figure explaining the read-out circuit of the image pick-up element in 2nd Embodiment. 通常の撮像画素の駆動方法を示すタイミングチャートである。It is a timing chart which shows the drive method of a normal imaging pixel. 第1の焦点検出駆動方法を説明する読み出しタイミングチャートである。It is a read timing chart explaining the first focus detection drive method. 第2の焦点検出駆動方法を説明する読み出しタイミングチャートである。It is a read-out timing chart explaining the 2nd focus detection drive method. 第3の実施形態における撮像素子の画素配置図である。It is a pixel arrangement | positioning figure of the image pick-up element in 3rd Embodiment. 第3の実施形態における単位画素内の構成例を示す模式図である。It is a schematic diagram which shows the structural example in the unit pixel in 3rd Embodiment. 第3の実施形態における単位画素内の構成例を示す回路図である。It is a circuit diagram which shows the structural example in the unit pixel in 3rd Embodiment. 第3の実施形態における撮像素子の読み出し回路を説明する図である。It is a figure explaining the read-out circuit of the image pick-up element in 3rd Embodiment. 位相差検出用画素の駆動方法を示すタイミングチャートである。It is a timing chart which shows the drive method of the pixel for phase difference detection. TOF焦点検出用画素の駆動方法を示すタイミングチャートである。It is a timing chart which shows the drive method of the pixel for a TOF focus detection. 通常の撮像画素の駆動方法を示すタイミングチャートである。It is a timing chart which shows the drive method of a normal imaging pixel.

(第1の実施形態)
図1は、本発明の第1の実施形態による撮像装置100の構成例を示すブロック図である。撮影レンズ101を通過した光は、レンズ絞り204を介して、撮影レンズ101の焦点位置近傍に結像する。マイクロレンズアレイ102は、複数のマイクロレンズ1020を有し、撮影レンズ101の焦点位置近傍に配置されることで、撮影レンズ101の異なる瞳領域を通過した光を瞳領域毎に分割して出射する。撮像素子103は、CMOSイメージセンサやCCDイメージセンサ等の固体撮像素子であり、1つのマイクロレンズ1020に対して複数の画素が対応するように配置される。撮像素子103は、マイクロレンズ1020で瞳領域毎に分割して出射された光を、分割情報を保ったまま受光し、データ処理可能な画像信号に変換する。
(First embodiment)
FIG. 1 is a block diagram illustrating a configuration example of an imaging apparatus 100 according to the first embodiment of the present invention. The light that has passed through the photographing lens 101 forms an image in the vicinity of the focal position of the photographing lens 101 via the lens diaphragm 204. The microlens array 102 has a plurality of microlenses 1020 and is arranged in the vicinity of the focal position of the photographing lens 101, so that light that has passed through different pupil regions of the photographing lens 101 is divided and emitted for each pupil region. . The image sensor 103 is a solid-state image sensor such as a CMOS image sensor or a CCD image sensor, and is arranged so that a plurality of pixels correspond to one microlens 1020. The image sensor 103 receives the light emitted after being divided for each pupil region by the microlens 1020 while maintaining the division information, and converts the light into image signals that can be processed.

アナログ信号処理回路(AFE)104は、撮像素子103から出力される画像信号に対して、相関二重サンプリング処理、信号増幅、基準レベル調整、アナログ/デジタル変換処理等を行う。デジタル信号処理回路(DFE)105は、アナログ信号処理回路104から出力される画像信号に対して、基準レベル調整等のデジタル画像処理を行う。   An analog signal processing circuit (AFE) 104 performs correlated double sampling processing, signal amplification, reference level adjustment, analog / digital conversion processing, and the like on the image signal output from the image sensor 103. A digital signal processing circuit (DFE) 105 performs digital image processing such as reference level adjustment on the image signal output from the analog signal processing circuit 104.

画像処理回路106は、デジタル信号処理回路105から出力された画像信号に対して、後述するA像及びB像の相関演算や焦点検出、また所定の画像処理や欠陥補正等を施す。メモリ回路107及び記録回路108は、画像処理回路106から出力された画像信号等を記録保持する不揮発性メモリあるいはメモリカード等の記録媒体である。   The image processing circuit 106 performs correlation calculation and focus detection of A and B images, which will be described later, and predetermined image processing and defect correction for the image signal output from the digital signal processing circuit 105. The memory circuit 107 and the recording circuit 108 are recording media such as a nonvolatile memory or a memory card that records and holds an image signal output from the image processing circuit 106.

制御回路109は、撮影レンズ101、撮像素子103、画像処理回路106、操作回路110、表示回路111及び発光装置112等の撮像装置全体を統括的に駆動・制御する。操作回路110は、撮像装置100に備え付けられた操作部材からの信号を入力し、制御回路109に対してユーザーの命令を出力する。表示回路111は、撮影後の画像やライブビュー画像、各種設定画面等を表示する。発光装置112は、制御回路109からの信号PLIGHT(図8〜図11)に応じて、被写体に対して光を投射する。   The control circuit 109 comprehensively drives and controls the entire imaging apparatus such as the photographing lens 101, the imaging element 103, the image processing circuit 106, the operation circuit 110, the display circuit 111, and the light emitting device 112. The operation circuit 110 inputs a signal from an operation member provided in the imaging apparatus 100 and outputs a user command to the control circuit 109. The display circuit 111 displays an image after shooting, a live view image, various setting screens, and the like. The light emitting device 112 projects light on the subject in accordance with a signal PLIGHT (FIGS. 8 to 11) from the control circuit 109.

次に、撮影レンズ101、マイクロレンズアレイ102及び撮像素子103の関係と、画素の定義、及び瞳分割方式による焦点検出の原理を説明する。   Next, the relationship between the photographing lens 101, the microlens array 102, and the image sensor 103, the definition of pixels, and the principle of focus detection by the pupil division method will be described.

図2は、撮像素子103及びマイクロレンズ1020を図1の光軸Z方向から観察した図である。本実施形態では、1つのマイクロレンズ1020に対して1つの単位画素200が設けられる。図2においては、撮像素子103は、8×8=64個の単位画素200を有する。各単位画素200は、それぞれX座標とY座標のアドレスを(X,Y)と表記する。単位画素200は、光を電荷に変換する。ここで、Y座標が0、1、2、4、5、6の6行に配置されている単位画素200は、1つのマイクロレンズ1020に対して2個の分割画素201A及び201Bを有する。分割画素201A及び201Bは、X軸方向に並ぶ。また、Y座標が3、6の2行に配置されている単位画素200は、1つのマイクロレンズ1020に対して1つの画素を有する。2つの分割画素201A及び201Bで構成される6行の単位画素200は、瞳分割位相差検出方式の焦点検出に使用され、1つの画素で構成される2行の単位画素200は、TOF方式焦点検出に使用される。   FIG. 2 is a diagram of the image sensor 103 and the microlens 1020 observed from the direction of the optical axis Z in FIG. In the present embodiment, one unit pixel 200 is provided for one microlens 1020. In FIG. 2, the image sensor 103 has 8 × 8 = 64 unit pixels 200. Each unit pixel 200 represents an address of the X coordinate and the Y coordinate as (X, Y). The unit pixel 200 converts light into electric charge. Here, the unit pixels 200 arranged in six rows with Y coordinates of 0, 1, 2, 4, 5, and 6 include two divided pixels 201A and 201B for one microlens 1020. The divided pixels 201A and 201B are arranged in the X-axis direction. Further, the unit pixels 200 arranged in two rows with Y coordinates of 3 and 6 have one pixel for one microlens 1020. Six rows of unit pixels 200 composed of two divided pixels 201A and 201B are used for focus detection of the pupil division phase difference detection method, and two rows of unit pixels 200 composed of one pixel are TOF-type focus points. Used for detection.

図3は、撮影レンズ101から出射された光が1つのマイクロレンズ1020を通過して単位画素200で受光される様子を光軸Zに対して垂直方向(Y軸方向)から観察した図である。瞳領域202及び203は、撮影レンズ101の射出瞳領域を表す。瞳領域202及び203を通過した光は、光軸Zを中心として単位画素200に入射する。瞳領域202を通過する光束はマイクロレンズ1020を通して分割画素201Aで受光され、瞳領域203を通過する光束はマイクロレンズ1020を通して分割画素201Bで受光される。したがって、分割画素201A及び201Bは、それぞれ撮影レンズ101の異なる瞳領域202及び203の光を受光している。   FIG. 3 is a diagram in which the light emitted from the photographing lens 101 passes through one microlens 1020 and is received by the unit pixel 200 as observed from the direction perpendicular to the optical axis Z (Y-axis direction). . Pupil areas 202 and 203 represent exit pupil areas of the photographic lens 101. The light that has passed through the pupil regions 202 and 203 enters the unit pixel 200 with the optical axis Z as the center. The light beam passing through the pupil region 202 is received by the divided pixel 201A through the micro lens 1020, and the light beam passing through the pupil region 203 is received by the divided pixel 201B through the micro lens 1020. Accordingly, the divided pixels 201A and 201B receive light from different pupil regions 202 and 203 of the photographing lens 101, respectively.

複数の単位画素200内の分割画素201Aの出力信号群で構成した被写体像をA像とする。同様に、複数の単位画素200内の分割画素201Bの出力信号群で構成した被写体像をB像とする。   A subject image formed by the output signal group of the divided pixels 201A in the plurality of unit pixels 200 is defined as an A image. Similarly, a subject image formed by the output signal group of the divided pixels 201B in the plurality of unit pixels 200 is defined as a B image.

画像処理回路106は、A像及びB像に対して相関演算を実施し、像のずれ量(瞳分割位相差)を検出する。さらに、画像処理回路106は、像のずれ量に対して撮影レンズ101の焦点位置と光学系から決まる変換係数を乗じることで、画像内の任意の被写体位置に対応した焦点位置を算出することができる。制御回路109は、ここで算出された焦点位置を基に撮影レンズ101のフォーカスを制御することで瞳分割位相差AFが可能となる。また、画像処理回路106は、A像信号とB像信号との加算をA+B像信号とすることで、このA+B像信号を通常の撮影画像に用いることができる。   The image processing circuit 106 performs a correlation operation on the A image and the B image, and detects an image shift amount (pupil division phase difference). Further, the image processing circuit 106 can calculate a focal position corresponding to an arbitrary subject position in the image by multiplying the image shift amount by a conversion coefficient determined by the focal position of the photographing lens 101 and the optical system. it can. The control circuit 109 can perform the pupil division phase difference AF by controlling the focus of the photographing lens 101 based on the focal position calculated here. Further, the image processing circuit 106 can use the A + B image signal for a normal captured image by adding the A image signal and the B image signal to the A + B image signal.

図5は、図2のY座標が0、1、2、4、5、6の単位画素200の構成例を示す回路図であり、瞳分割位相差検出方式の焦点検出に使用される第1の単位画素200を示す。Y座標が0、1、2、4、5、6の行は、それぞれ、複数の図5の第1の単位画素200が並ぶ行である。第1の単位画素200は、第1のフォトダイオード301A及び第2のフォトダイオード301Bを有する。第1のフォトダイオード301Aは分割画素201Aに対応し、第2のフォトダイオード301Bは分割画素201Bに対応する。第1のフォトダイオード301Aには転送スイッチ302Aが接続され、第2のフォトダイオード301Bには転送スイッチ302Bが接続される。転送スイッチ302Aにはフローティングディフュージョン303Aが接続され、転送スイッチ302Bにはフローティングディフュージョン303Bが接続される。フローティングディフュージョン303Aにはリセットスイッチ304A及びソースフォロアアンプ305Aが接続される。フローティングディフュージョン303Bにはリセットスイッチ304B及びソースフォロアアンプ305Bが接続される。ソースフォロアアンプ305Aにはセレクトスイッチ306Aが接続される。ソースフォロアアンプ305Bにはセレクトスイッチ306Bが接続される。リセットスイッチ304Aと304B及びソースフォロアアンプ305Aと305Bのドレインは、基準電位(VDD)ノード308に接続される。   FIG. 5 is a circuit diagram showing a configuration example of the unit pixel 200 having Y coordinates of 0, 1, 2, 4, 5, and 6 in FIG. The unit pixel 200 is shown. The rows with Y coordinates of 0, 1, 2, 4, 5, and 6 are rows in which a plurality of first unit pixels 200 in FIG. 5 are arranged. The first unit pixel 200 includes a first photodiode 301A and a second photodiode 301B. The first photodiode 301A corresponds to the divided pixel 201A, and the second photodiode 301B corresponds to the divided pixel 201B. A transfer switch 302A is connected to the first photodiode 301A, and a transfer switch 302B is connected to the second photodiode 301B. A floating diffusion 303A is connected to the transfer switch 302A, and a floating diffusion 303B is connected to the transfer switch 302B. A reset switch 304A and a source follower amplifier 305A are connected to the floating diffusion 303A. A reset switch 304B and a source follower amplifier 305B are connected to the floating diffusion 303B. A select switch 306A is connected to the source follower amplifier 305A. A select switch 306B is connected to the source follower amplifier 305B. The drains of the reset switches 304A and 304B and the source follower amplifiers 305A and 305B are connected to a reference potential (VDD) node 308.

フォトダイオード301A及び301Bは、同一のマイクロレンズ1020を通過した光を受光し、その受光量に応じた電荷を生成する光電変換部である。転送スイッチ302Aは、転送パルス信号PTXAに応じて、第1のフォトダイオード301Aで発生した電荷をフローティングディフュージョン303Aに転送する。転送スイッチ302Bは、転送パルス信号PTXBに応じて、第2のフォトダイオード301Bで発生した電荷をフローティングディフュージョン303Bに転送する。フローティングディフュージョン303A及び303Bは、電荷を一時的に保持するとともに、保持した電荷を電圧に変換する電荷電圧変換部である。   The photodiodes 301 </ b> A and 301 </ b> B are photoelectric conversion units that receive light that has passed through the same microlens 1020 and generate electric charges according to the amount of received light. The transfer switch 302A transfers the charge generated in the first photodiode 301A to the floating diffusion 303A in response to the transfer pulse signal PTXA. The transfer switch 302B transfers the charge generated in the second photodiode 301B to the floating diffusion 303B in response to the transfer pulse signal PTXB. The floating diffusions 303 </ b> A and 303 </ b> B are charge-voltage conversion units that temporarily hold charges and convert the held charges into voltages.

リセットスイッチ304Aは、リセットパルス信号PRESに応じて、フローティングディフュージョン303Aの電位を基準電位ノード308の電位にリセットする。リセットスイッチ304Bは、リセットパルス信号PRESに応じて、フローティングディフュージョン303Bの電位を基準電位ノード308の電位にリセットする。ソースフォロアアンプ305Aは、MOSトランジスタと基準電位ノード308からなるソースフォロア回路であり、フローティングディフュージョン303Aに保持した電荷に基づく電圧を増幅して、画素信号として出力する。ソースフォロアアンプ305Bは、MOSトランジスタと基準電位ノード308からなるソースフォロア回路であり、フローティングディフュージョン303Bに保持した電荷に基づく電圧を増幅して、画素信号として出力する。   The reset switch 304A resets the potential of the floating diffusion 303A to the potential of the reference potential node 308 in response to the reset pulse signal PRES. The reset switch 304B resets the potential of the floating diffusion 303B to the potential of the reference potential node 308 in response to the reset pulse signal PRES. The source follower amplifier 305A is a source follower circuit including a MOS transistor and a reference potential node 308. The source follower amplifier 305A amplifies a voltage based on the electric charge held in the floating diffusion 303A and outputs it as a pixel signal. The source follower amplifier 305B is a source follower circuit including a MOS transistor and a reference potential node 308. The source follower amplifier 305B amplifies a voltage based on the electric charge held in the floating diffusion 303B and outputs it as a pixel signal.

セレクトスイッチ306Aは、セレクトパルス信号PSELに応じて、ソースフォロアアンプ305Aで増幅された画素信号を垂直出力線307Aに出力する。セレクトスイッチ306Bは、セレクトパルス信号PSELに応じて、ソースフォロアアンプ305Bで増幅された画素信号を垂直出力線307Bに出力する。垂直出力線307A及び307Bは、図7のように、同じ列の複数の単位画素200で共有される。   The select switch 306A outputs the pixel signal amplified by the source follower amplifier 305A to the vertical output line 307A according to the select pulse signal PSEL. The select switch 306B outputs the pixel signal amplified by the source follower amplifier 305B to the vertical output line 307B according to the select pulse signal PSEL. The vertical output lines 307A and 307B are shared by a plurality of unit pixels 200 in the same column as shown in FIG.

図6は、図2のY座標が3、6の単位画素200の構成例を示す回路図であり、TOF方式の焦点検出に使用される第2の単位画素200を示す。Y座標が3、6の行は、複数の図6の第2の単位画素200が並ぶ行である。第2の単位画素200は、1つのフォトダイオード301を有する。フォトダイオード301は、画素に対応する。フォトダイオード301には2つの転送スイッチ302C及び302Dが接続される。転送スイッチ302Cにはフローティングディフュージョン303Cが接続される。転送スイッチ302Dにはフローティングディフュージョン303Dが接続される。フローティングディフュージョン303Cにはリセットスイッチ304C及びソースフォロアアンプ305Cが接続される。フローティングディフュージョン303Dにはリセットスイッチ304D及びソースフォロアアンプ305Dが接続される。ソースフォロアアンプ305Cにはセレクトスイッチ306Cが接続される。ソースフォロアアンプ305Dにはセレクトスイッチ306Dが接続される。リセットスイッチ304Cと304D及びソースフォロアアンプ305Cと305Dのドレインは、基準電位(VDD)ノード308に接続される。   FIG. 6 is a circuit diagram showing a configuration example of the unit pixel 200 with Y coordinates of 3 and 6 in FIG. 2, and shows a second unit pixel 200 used for TOF focus detection. The rows with Y coordinates 3 and 6 are rows in which a plurality of second unit pixels 200 in FIG. 6 are arranged. The second unit pixel 200 has one photodiode 301. The photodiode 301 corresponds to a pixel. Two transfer switches 302C and 302D are connected to the photodiode 301. A floating diffusion 303C is connected to the transfer switch 302C. A floating diffusion 303D is connected to the transfer switch 302D. A reset switch 304C and a source follower amplifier 305C are connected to the floating diffusion 303C. A reset switch 304D and a source follower amplifier 305D are connected to the floating diffusion 303D. A select switch 306C is connected to the source follower amplifier 305C. A select switch 306D is connected to the source follower amplifier 305D. The drains of the reset switches 304C and 304D and the source follower amplifiers 305C and 305D are connected to a reference potential (VDD) node 308.

フォトダイオード301は、マイクロレンズ1020を通過した光を受光し、その受光量に応じた電荷を生成する光電変換部である。転送スイッチ302Cは、転送パルス信号PTXCに応じて、フォトダイオード301で発生した電荷をフローティングディフュージョン303Cに転送する。転送スイッチ302Dは、転送パルス信号PTXDに応じて、フォトダイオード301で発生した電荷をフローティングディフュージョン303Dに転送する。フローティングディフュージョン303C及び303Dは、電荷を一時的に保持するとともに、保持した電荷を電圧に変換する電荷電圧変換部である。   The photodiode 301 is a photoelectric conversion unit that receives light that has passed through the microlens 1020 and generates a charge corresponding to the amount of light received. The transfer switch 302C transfers charges generated in the photodiode 301 to the floating diffusion 303C in response to the transfer pulse signal PTXC. The transfer switch 302D transfers the charge generated in the photodiode 301 to the floating diffusion 303D in response to the transfer pulse signal PTXD. The floating diffusions 303 </ b> C and 303 </ b> D are charge-voltage conversion units that temporarily hold charges and convert the held charges into voltages.

リセットスイッチ304Cは、リセットパルス信号PRESに応じて、フローティングディフュージョン303Cの電位を基準電位ノード308の電位にリセットする。リセットスイッチ304Dは、リセットパルス信号PRESに応じて、フローティングディフュージョン303Dの電位を基準電位ノード308の電位にリセットする。ソースフォロアアンプ305Cは、MOSトランジスタと基準電位ノード308からなるソースフォロア回路であり、フローティングディフュージョン303Cに保持した電荷に基づく電圧を増幅して、画素信号として出力する。ソースフォロアアンプ305Dは、MOSトランジスタと基準電位ノード308からなるソースフォロア回路であり、フローティングディフュージョン303Dに保持した電荷に基づく電圧を増幅して、画素信号として出力する。   The reset switch 304C resets the potential of the floating diffusion 303C to the potential of the reference potential node 308 in response to the reset pulse signal PRES. The reset switch 304D resets the potential of the floating diffusion 303D to the potential of the reference potential node 308 in response to the reset pulse signal PRES. The source follower amplifier 305C is a source follower circuit including a MOS transistor and a reference potential node 308. The source follower amplifier 305C amplifies a voltage based on the electric charge held in the floating diffusion 303C and outputs it as a pixel signal. The source follower amplifier 305D is a source follower circuit including a MOS transistor and a reference potential node 308. The source follower amplifier 305D amplifies a voltage based on the charge held in the floating diffusion 303D and outputs it as a pixel signal.

セレクトスイッチ306Cは、セレクトパルス信号PSELに応じて、ソースフォロアアンプ305Cで増幅された画素信号を垂直出力線307Aに出力する。セレクトスイッチ306Dは、セレクトパルス信号PSELに応じて、ソースフォロアアンプ305Dで増幅された画素信号を垂直出力線307Bに出力する。垂直出力線307A及び307Bは、図7のように、同じ列の複数の単位画素200で共有される。   The select switch 306C outputs the pixel signal amplified by the source follower amplifier 305C to the vertical output line 307A according to the select pulse signal PSEL. The select switch 306D outputs the pixel signal amplified by the source follower amplifier 305D to the vertical output line 307B according to the select pulse signal PSEL. The vertical output lines 307A and 307B are shared by a plurality of unit pixels 200 in the same column as shown in FIG.

図4(a)は、図5に対応し、図2のY座標が0、1、2、4、5、6の単位画素200のレイアウト図であり、瞳分割位相差検出方式の焦点検出に使用される第1の単位画素200を示す。第1の単位画素200は、単一のマイクロレンズ1020を共有する第1のフォトダイオード301A及び第2のフォトダイオード301Bを有する。第1のフォトダイオード301Aは、転送スイッチ302Aに接続される。第2のフォトダイオード301Bは、転送スイッチ302Bに接続される。転送スイッチ302Aは、フローティングディフュージョン303Aに接続される。転送スイッチ302Bは、フローティングディフュージョン303Bに接続される。   FIG. 4A corresponds to FIG. 5 and is a layout diagram of the unit pixel 200 with the Y coordinate of 0, 1, 2, 4, 5, 6 in FIG. 2, and is used for focus detection in the pupil division phase difference detection method. The 1st unit pixel 200 used is shown. The first unit pixel 200 includes a first photodiode 301A and a second photodiode 301B that share a single microlens 1020. The first photodiode 301A is connected to the transfer switch 302A. The second photodiode 301B is connected to the transfer switch 302B. The transfer switch 302A is connected to the floating diffusion 303A. The transfer switch 302B is connected to the floating diffusion 303B.

図4(b)は、図6に対応し、図2のY座標が3、6の単位画素200のレイアウト図であり、TOF方式の焦点検出に使用される単位画素200を示す。1つのマイクロレンズ1020に対して、フォトダイオード301が設けられる。フォトダイオード301の両端には、2つの転送スイッチ302C及び302Dが接続される。転送スイッチ302Cは、フローティングディフュージョン303Cに接続される。転送スイッチ302Dは、フローティングディフュージョン303Dに接続される。   FIG. 4B is a layout diagram of the unit pixel 200 corresponding to FIG. 6 and having a Y coordinate of 3 and 6 in FIG. 2, and shows the unit pixel 200 used for TOF focus detection. A photodiode 301 is provided for one microlens 1020. Two transfer switches 302C and 302D are connected to both ends of the photodiode 301. The transfer switch 302C is connected to the floating diffusion 303C. The transfer switch 302D is connected to the floating diffusion 303D.

図7は、撮像素子103、垂直シフトレジスタ401、列回路403、水平シフトレジスタ404及び出力アンプ407の構成例を示す図である。撮像素子103では、複数の単位画素200が行列状に配置されている。なお、図7においては、4行3列の計12個の単位画素200を図示するが、実際は、撮像素子103は数百万〜数千万の単位画素200を有する。また、単位画素200は、ベイヤー配列に従って並べられ、それぞれ赤(R)、緑(G)、青(B)のカラーフィルタが設けられる。ここでは、発光装置112の投射光として用いられる赤外光や、より反射光の受光効率を上げることを目的として、赤外フィルタや透明フィルタを形成した画素を配置してもよい。垂直シフトレジスタ401は、各行の単位画素200に接続される信号線402を介して、単位画素200の行を選択・駆動する。単位画素200のフローティングディフュージョン303A〜303Dで変換された信号は、それぞれ垂直出力線307A及び307Bを通り、列回路403に入力される。列回路403で処理された信号は、水平シフトレジスタ404により、水平出力線405及び406を通り、出力アンプ407に転送される。   FIG. 7 is a diagram illustrating a configuration example of the image sensor 103, the vertical shift register 401, the column circuit 403, the horizontal shift register 404, and the output amplifier 407. In the image sensor 103, a plurality of unit pixels 200 are arranged in a matrix. In FIG. 7, a total of 12 unit pixels 200 in 4 rows and 3 columns are illustrated, but in reality, the image sensor 103 has millions to tens of millions of unit pixels 200. The unit pixels 200 are arranged according to a Bayer array, and are provided with red (R), green (G), and blue (B) color filters, respectively. Here, for the purpose of increasing the light receiving efficiency of the infrared light used as the projection light of the light emitting device 112 and the reflected light, pixels formed with an infrared filter or a transparent filter may be arranged. The vertical shift register 401 selects and drives a row of unit pixels 200 via a signal line 402 connected to the unit pixels 200 of each row. Signals converted by the floating diffusions 303A to 303D of the unit pixel 200 are input to the column circuit 403 through the vertical output lines 307A and 307B, respectively. The signal processed by the column circuit 403 is transferred to the output amplifier 407 through the horizontal output lines 405 and 406 by the horizontal shift register 404.

続いて、列回路403の構成を説明する。クランプ容量408は、垂直出力線307A又は307Bに接続される。フィードバック容量409は、オペアンプ410の出力端子及び入力端子間に接続される。基準電圧ノード411は、基準電圧をオペアンプ410に供給する。スイッチ412は、リセット信号PC0Rに応じて、フィードバック容量409の両端をショートさせるためのスイッチである。容量413及び414は、電圧を保持するための容量である。スイッチ415は、信号PTSに応じて、オペアンプ410の出力電圧を容量413へ書き込む。スイッチ416は、信号PTNに応じて、オペアンプ410の出力電圧を容量414へ書き込む。スイッチ417は、水平シフトレジスタ404からの信号PHSに応じて、容量413の電圧を水平出力線405に転送する。スイッチ418は、水平シフトレジスタ404からの信号PHNに応じて、容量414の電圧を水平出力線406に転送する。出力アンプ407は、水平出力線405及び406の電圧の差分を出力する。   Next, the configuration of the column circuit 403 will be described. The clamp capacitor 408 is connected to the vertical output line 307A or 307B. The feedback capacitor 409 is connected between the output terminal and the input terminal of the operational amplifier 410. The reference voltage node 411 supplies a reference voltage to the operational amplifier 410. The switch 412 is a switch for short-circuiting both ends of the feedback capacitor 409 in accordance with the reset signal PC0R. Capacitors 413 and 414 are capacitors for holding voltage. The switch 415 writes the output voltage of the operational amplifier 410 to the capacitor 413 according to the signal PTS. The switch 416 writes the output voltage of the operational amplifier 410 to the capacitor 414 in accordance with the signal PTN. The switch 417 transfers the voltage of the capacitor 413 to the horizontal output line 405 in response to the signal PHS from the horizontal shift register 404. The switch 418 transfers the voltage of the capacitor 414 to the horizontal output line 406 in response to the signal PHN from the horizontal shift register 404. The output amplifier 407 outputs the voltage difference between the horizontal output lines 405 and 406.

図8は、撮像装置の第1の駆動方法を示すタイミングチャートである。第1の駆動方法は、通常撮影及び瞳分割位相差検出方式の焦点検出における画素信号読み出しを行うための駆動方法である。通常撮影では、画像信号を生成する。瞳分割位相差検出方式の焦点検出では、瞳分割位相差検出方式の焦点検出を行う。第1の駆動方法では、2つのフォトダイオード301A及び301Bで発生した電荷をそれぞれ2つのフローティングディフュージョン303A及び303Bで読み出す。   FIG. 8 is a timing chart illustrating a first driving method of the imaging apparatus. The first driving method is a driving method for performing pixel signal reading in normal imaging and focus detection using the pupil division phase difference detection method. In normal shooting, an image signal is generated. In focus detection using the pupil division phase difference detection method, focus detection using the pupil division phase difference detection method is performed. In the first driving method, the charges generated in the two photodiodes 301A and 301B are read out by the two floating diffusions 303A and 303B, respectively.

始めに、期間HBLKにおいて、時刻t0では、信号PRESがハイレベルであり、リセットスイッチ304A及び304Bがオンし、フローティングディフュージョン303A及び303Bがリセットされる。時刻t1では、信号PTXA及びPTXBがハイレベルとなり、転送スイッチ302A及び302Bがオンし、フォトダイオード301A及び301Bがリセットされる。時刻t2では、信号PTXA及びPTXBがローレベルになり、転送スイッチ302A及び302Bがオフし、フォトダイオード301A及び301Bの電荷蓄積期間が開始する。フォトダイオード301A及び301Bは、光電変換により電荷を生成する。   First, in the period HBLK, at time t0, the signal PRES is at a high level, the reset switches 304A and 304B are turned on, and the floating diffusions 303A and 303B are reset. At time t1, the signals PTXA and PTXB become high level, the transfer switches 302A and 302B are turned on, and the photodiodes 301A and 301B are reset. At time t2, the signals PTXA and PTXB become low level, the transfer switches 302A and 302B are turned off, and the charge accumulation periods of the photodiodes 301A and 301B start. The photodiodes 301A and 301B generate charges by photoelectric conversion.

その後、時刻t3では、信号PSELがハイレベルになり、セレクトスイッチ306A及び306Bがオンし、ソースフォロアアンプ305A及び305Bが動作状態となる。時刻t4では、信号PRESがローレベルになり、リセットスイッチ304A及び304Bがオフし、フローティングディフュージョン303A及び303Bのリセットが解除される。ソースフォロアアンプ305A及び305Bは、それぞれ、フローティングディフュージョン303A及び303Bの電荷に基づく電圧をリセット信号レベル(ノイズ成分)として、垂直出力線307A及び307Bを介して列回路403に出力する。時刻t5では、信号PC0Rがローレベルになり、スイッチ412がオフし、オペアンプ410のリセット状態を解除する。時刻t6では、信号PTNがハイレベルになり、スイッチ416がオンし、オペアンプ410の出力信号がリセット信号レベルとして容量414に書き込む。時刻t7では、信号PTNがローレベルになり、スイッチ416がオフし、容量414への書き込みが終了する。   Thereafter, at time t3, the signal PSEL becomes high level, the select switches 306A and 306B are turned on, and the source follower amplifiers 305A and 305B are in an operating state. At time t4, the signal PRES goes low, the reset switches 304A and 304B are turned off, and the reset of the floating diffusions 303A and 303B is released. The source follower amplifiers 305A and 305B output the voltages based on the charges of the floating diffusions 303A and 303B to the column circuit 403 via the vertical output lines 307A and 307B as reset signal levels (noise components), respectively. At time t5, the signal PC0R becomes low level, the switch 412 is turned off, and the reset state of the operational amplifier 410 is released. At time t6, the signal PTN goes high, the switch 416 is turned on, and the output signal of the operational amplifier 410 is written to the capacitor 414 as the reset signal level. At time t7, the signal PTN becomes low level, the switch 416 is turned off, and writing to the capacitor 414 is completed.

次に、時刻t8では、信号PTXA及びPTXBがハイレベルになり、転送スイッチ302A及び302Bがオンする。すると、フォトダイオード301A及び301Bに蓄積された電荷は、それぞれ、フローティングディフュージョン303A及び303Bに転送される。時刻t10では、信号PTXA及びPTXBがローレベルになり、転送スイッチ302A及び302Bがオフし、フォトダイオード301A及び301Bからフローティングディフュージョン303A及び303Bへの電荷転送が終了する。すなわち、フォトダイオード301A及び301Bの電荷蓄積期間が終了する。ソースフォロアアンプ305A及び305Bは、それぞれ、フローティングディフュージョン303A及び303Bの電荷に応じた電圧を光信号レベル(光成分+ノイズ成分)として、垂直出力線307A及び307Bを介して列回路403に出力する。時刻t13では、信号PTSがハイレベルになり、スイッチ415がオンし、オペアンプ410の出力信号を光信号レベルとして、容量413に書き込む。オペアンプ410は、クランプ容量408及びフィードバック容量409の比に応じた反転ゲインで増幅出力する。時刻t14では、信号PTSがローレベルになり、スイッチ415がオフし、容量413への書き込みが終了する。その後、時刻t15では、信号PRESがハイレベルになり、リセットスイッチ304A及び304Bがオンし、フローティングディフュージョン303A及び303Bがリセット状態になる。   Next, at time t8, the signals PTXA and PTXB become high level, and the transfer switches 302A and 302B are turned on. Then, the electric charges accumulated in the photodiodes 301A and 301B are transferred to the floating diffusions 303A and 303B, respectively. At time t10, the signals PTXA and PTXB become low level, the transfer switches 302A and 302B are turned off, and the charge transfer from the photodiodes 301A and 301B to the floating diffusions 303A and 303B ends. That is, the charge accumulation period of the photodiodes 301A and 301B ends. The source follower amplifiers 305A and 305B output the voltages corresponding to the charges of the floating diffusions 303A and 303B as optical signal levels (light component + noise component) to the column circuit 403 via the vertical output lines 307A and 307B, respectively. At time t13, the signal PTS goes high, the switch 415 is turned on, and the output signal of the operational amplifier 410 is written in the capacitor 413 as the optical signal level. The operational amplifier 410 amplifies and outputs with an inversion gain corresponding to the ratio of the clamp capacitor 408 and the feedback capacitor 409. At time t14, the signal PTS becomes low level, the switch 415 is turned off, and writing to the capacitor 413 is completed. After that, at time t15, the signal PRES goes high, the reset switches 304A and 304B are turned on, and the floating diffusions 303A and 303B are reset.

次に、期間HSRにおいて、時刻t16〜t17では、水平シフトレジスタ404は、各列の列回路403毎に順次、ハイレベルパルスの信号PHS及びPHNを出力する。すると、各列の列回路403のスイッチ417及び418は、順次オンし、各列の列回路403の容量413及び414に保持された信号はそれぞれ水平出力線405及び406に出力される。出力アンプ407は、水平出力線405及び406の信号の差分を差動信号レベル(光成分)として出力する。   Next, in a period HSR, during times t16 to t17, the horizontal shift register 404 sequentially outputs high-level pulse signals PHS and PHN for each column circuit 403 in each column. Then, the switches 417 and 418 of the column circuit 403 of each column are sequentially turned on, and the signals held in the capacitors 413 and 414 of the column circuit 403 of each column are output to the horizontal output lines 405 and 406, respectively. The output amplifier 407 outputs the difference between the signals of the horizontal output lines 405 and 406 as a differential signal level (light component).

この後、通常撮影の場合、画像処理回路106は、フォトダイオード301A及び301Bの電荷に基づく信号を加算して撮影画像としてもよい。一方、瞳分割位相差検出方式の焦点検出の場合は、画像処理回路106は、前述したA像及びB像に対する相関演算を施し、距離情報を取得する。また、この場合も、距離情報取得後に、画像処理回路106は、A像とB像の信号を加算してもよい。   Thereafter, in the case of normal shooting, the image processing circuit 106 may add a signal based on the charges of the photodiodes 301A and 301B to obtain a shot image. On the other hand, in the case of focus detection using the pupil division phase difference detection method, the image processing circuit 106 performs correlation calculation on the above-described A image and B image, and acquires distance information. Also in this case, the image processing circuit 106 may add the signals of the A image and the B image after acquiring the distance information.

図9は、撮像装置の第2の駆動方法を示すタイミングチャートである。第2の駆動方法は、図6の単位画素200に対し、発光装置112による発光を用いず、通常撮影の画素信号読み出しを行うための駆動方法である。第2の駆動方法では、1つのフォトダイオード301で発生した電荷を2つのフローティングディフュージョン303C及び303Dに転送する。   FIG. 9 is a timing chart illustrating a second driving method of the imaging apparatus. The second driving method is a driving method for reading pixel signals for normal photographing without using light emission by the light emitting device 112 for the unit pixel 200 of FIG. In the second driving method, electric charges generated in one photodiode 301 are transferred to two floating diffusions 303C and 303D.

始めに、期間HBLKにおいて、時刻t0では、信号PRESがハイレベルであり、リセットスイッチ304C及び304Dがオンし、フローティングディフュージョン303C及び303Dがリセットされる。時刻t1では、信号PTXC及びPTXDがハイレベルになり、転送スイッチ302C及び302Dがオンし、フォトダイオード301がリセットされる。時刻t2では、信号PTXC及びPTXDがローレベルになり、転送スイッチ302C及び302Dがオフし、フォトダイオード301の電荷蓄積が開始される。   First, in the period HBLK, at time t0, the signal PRES is at a high level, the reset switches 304C and 304D are turned on, and the floating diffusions 303C and 303D are reset. At time t1, the signals PTXC and PTXD become high level, the transfer switches 302C and 302D are turned on, and the photodiode 301 is reset. At time t2, the signals PTXC and PTXD become low level, the transfer switches 302C and 302D are turned off, and the charge accumulation of the photodiode 301 is started.

その後、時刻t3では、信号PSELがハイレベルになり、セレクトスイッチ306C及び306Dがオンし、ソースフォロアアンプ305C及び305Dが動作状態になる。時刻t4では、信号PRESがローレベルになり、リセットスイッチ304C及び304Dがオフし、フローティングディフュージョン303C及び303Dのリセットが解除される。ソースフォロアアンプ305C及び305Dは、それぞれ、フローティングディフュージョン303C及び303Dの電荷に基づく電圧をリセット信号レベル(ノイズ成分)として、垂直出力線307A及び307Bを介して列回路403に出力する。時刻t5では、信号PC0Rがローレベルになり、スイッチ412がオフし、オペアンプ410のリセット状態が解除される。時刻t6では、信号PTNがハイレベルになり、スイッチ416がオンし、オペアンプ410の出力信号がリセット信号レベルとして容量414に書き込まれる。時刻t7では、信号PTNがローレベルになり、スイッチ416がオフし、容量414への書き込みが終了する。   After that, at time t3, the signal PSEL becomes high level, the select switches 306C and 306D are turned on, and the source follower amplifiers 305C and 305D are in the operating state. At time t4, the signal PRES goes low, the reset switches 304C and 304D are turned off, and the reset of the floating diffusions 303C and 303D is released. The source follower amplifiers 305C and 305D output the voltage based on the charges of the floating diffusions 303C and 303D to the column circuit 403 via the vertical output lines 307A and 307B as reset signal levels (noise components), respectively. At time t5, the signal PC0R becomes low level, the switch 412 is turned off, and the reset state of the operational amplifier 410 is released. At time t6, the signal PTN goes high, the switch 416 is turned on, and the output signal of the operational amplifier 410 is written to the capacitor 414 as the reset signal level. At time t7, the signal PTN becomes low level, the switch 416 is turned off, and writing to the capacitor 414 is completed.

次に、時刻t8では、信号PTXC及びPTXDがハイレベルになり、転送スイッチ302C及び302Dがオンし、フォトダイオード301に蓄積された電荷がフローティングディフュージョン303C及び303Dに転送される。時刻t10では、信号PTXC及びPTXDがローレベルになり、転送スイッチ302C及び302Dがオフし、フォトダイオード301からフローティングディフュージョン303C及び303Dへの電荷転送が終了する。ソースフォロアアンプ305C及び305Dは、それぞれ、フローティングディフュージョン303C及び303Dの電荷に基づく電圧を光信号レベル(光成分+ノイズ成分)として、垂直出力線307A及び307Bを介して列回路403に出力する。時刻t13では、信号PTSがハイレベルになり、スイッチ415がオンし、オペアンプ410の出力信号が光信号レベルとして容量413に書き込まれる。オペアンプ410は、クランプ容量408及びフィードバック容量409の比に応じた反転ゲインで増幅出力する。時刻t14では、信号PTSがローレベルになり、スイッチ415がオフし、容量413への書き込みが終了する。その後、時刻t15では、信号PRESがハイレベルになり、リセットスイッチ304C及び304Dがオンし、フローティングディフュージョン303C及び303Dがリセット状態になる。   Next, at time t8, the signals PTXC and PTXD become high level, the transfer switches 302C and 302D are turned on, and the charges accumulated in the photodiode 301 are transferred to the floating diffusions 303C and 303D. At time t10, the signals PTXC and PTXD become low level, the transfer switches 302C and 302D are turned off, and the charge transfer from the photodiode 301 to the floating diffusions 303C and 303D is completed. The source follower amplifiers 305C and 305D output voltages based on the charges of the floating diffusions 303C and 303D as optical signal levels (light component + noise component) to the column circuit 403 via the vertical output lines 307A and 307B, respectively. At time t13, the signal PTS goes high, the switch 415 is turned on, and the output signal of the operational amplifier 410 is written into the capacitor 413 as the optical signal level. The operational amplifier 410 amplifies and outputs with an inversion gain corresponding to the ratio of the clamp capacitor 408 and the feedback capacitor 409. At time t14, the signal PTS becomes low level, the switch 415 is turned off, and writing to the capacitor 413 is completed. Thereafter, at time t15, the signal PRES goes high, the reset switches 304C and 304D are turned on, and the floating diffusions 303C and 303D are reset.

次に、期間HSRにおいて、時刻t16〜t17では、水平シフトレジスタ404は、各列の列回路403毎に順次、ハイレベルパルスの信号PHS及びPHNを出力する。すると、各列の列回路403のスイッチ417及び418は、順次オンし、各列の列回路403の容量413及び414に保持された信号はそれぞれ水平出力線405及び406に出力される。出力アンプ407は、水平出力線405及び406の信号の差分を差動信号レベル(光成分)として出力する。   Next, in a period HSR, during times t16 to t17, the horizontal shift register 404 sequentially outputs high-level pulse signals PHS and PHN for each column circuit 403 in each column. Then, the switches 417 and 418 of the column circuit 403 of each column are sequentially turned on, and the signals held in the capacitors 413 and 414 of the column circuit 403 of each column are output to the horizontal output lines 405 and 406, respectively. The output amplifier 407 outputs the difference between the signals of the horizontal output lines 405 and 406 as a differential signal level (light component).

この後、通常撮影の場合、画像処理回路106は、フローティングディフュージョン303C及び303Dの電荷に基づく信号を加算して撮影画像として使用する。   Thereafter, in the case of normal shooting, the image processing circuit 106 adds signals based on the charges of the floating diffusions 303C and 303D and uses them as a shot image.

図10は、撮像装置の第3の駆動方法を示すタイミングチャートである。第3の駆動方法は、TOF方式の焦点検出における画素信号読み出しを行うための駆動方法である。第3の駆動方法では、1つのフォトダイオード301で発生した電荷を2つのフローティングディフュージョン303C及び303Dに転送する。   FIG. 10 is a timing chart illustrating a third driving method of the imaging apparatus. The third driving method is a driving method for performing pixel signal readout in TOF type focus detection. In the third driving method, electric charges generated in one photodiode 301 are transferred to two floating diffusions 303C and 303D.

始めに、期間HBLKにおいて、時刻t0では、信号PRESがハイレベルであり、リセットスイッチ304C及び304Dがオンし、フローティングディフュージョン303C及び303Dがリセットされる。時刻t1では、信号PTXC及びPTXDがハイレベルになり、転送スイッチ302C及び302Dがオンし、フォトダイオード301がリセットされる。時刻t2では、信号PTXC及びPTXDがローレベルになり、転送スイッチ302C及び302Dがオフし、フォトダイオード301の電荷蓄積が開始する。   First, in the period HBLK, at time t0, the signal PRES is at a high level, the reset switches 304C and 304D are turned on, and the floating diffusions 303C and 303D are reset. At time t1, the signals PTXC and PTXD become high level, the transfer switches 302C and 302D are turned on, and the photodiode 301 is reset. At time t2, the signals PTXC and PTXD become low level, the transfer switches 302C and 302D are turned off, and charge accumulation in the photodiode 301 starts.

その後、時刻t3では、信号PSELがハイレベルになり、セレクトスイッチ306C及び306Dがオンし、ソースフォロアアンプ305C及び305Dが動作状態になる。時刻t4では、信号PRESがローレベルになり、リセットスイッチ304C及び304Dがオフし、フローティングディフュージョン303C及び303Dのリセットが解除される。ソースフォロアアンプ305C及び305Dは、それぞれ、フローティングディフュージョン303C及び303Dの電荷に基づく電圧をリセット信号レベル(ノイズ成分)として、垂直出力線307A及び307Bを介して列回路403に出力する。時刻t5では、信号PC0Rがローレベルになり、スイッチ412がオフし、オペアンプ410のリセット状態が解除される。時刻t6では、信号PTNがハイレベルになり、スイッチ416がオンし、オペアンプ410の出力信号がリセット信号レベルとして容量414に書き込まれる。時刻t7では、信号PTNがローレベルになり、スイッチ416がオフし、容量414への書き込みが終了する。   After that, at time t3, the signal PSEL becomes high level, the select switches 306C and 306D are turned on, and the source follower amplifiers 305C and 305D are in the operating state. At time t4, the signal PRES goes low, the reset switches 304C and 304D are turned off, and the reset of the floating diffusions 303C and 303D is released. The source follower amplifiers 305C and 305D output the voltage based on the charges of the floating diffusions 303C and 303D to the column circuit 403 via the vertical output lines 307A and 307B as reset signal levels (noise components), respectively. At time t5, the signal PC0R becomes low level, the switch 412 is turned off, and the reset state of the operational amplifier 410 is released. At time t6, the signal PTN goes high, the switch 416 is turned on, and the output signal of the operational amplifier 410 is written to the capacitor 414 as the reset signal level. At time t7, the signal PTN becomes low level, the switch 416 is turned off, and writing to the capacitor 414 is completed.

次に、時刻t8では、信号PTXCがハイレベルになり、転送スイッチ302Cがオンし、フォトダイオード301に蓄積された電荷がフローティングディフュージョン303Cに転送開始する。その後、時刻t9では、信号PLIGHTがハイレベルになり、発光装置112はパルス光の投射を開始する。時刻t10では、信号PTXCがローレベルになり、それと同時に信号PTXDがハイレベルになる。すると、転送スイッチ302Cがオフし、フォトダイオード301からフローティングディフュージョン303Cへの電荷転送が終了し、転送スイッチ302Dがオンし、フォトダイオード301からフローティングディフュージョン303Dへの電荷転送が開始する。時刻t11では、信号PLIGHTがローレベルになり、発光装置112はパルス光の投射を終了する。時刻t12では、信号PTXDがローレベルになり、転送スイッチ302Dがオフし、フォトダイオード301からフローティングディフュージョン303Dへの電荷転送が終了する。   Next, at time t8, the signal PTXC becomes high level, the transfer switch 302C is turned on, and the charge accumulated in the photodiode 301 starts to be transferred to the floating diffusion 303C. Thereafter, at time t9, the signal PLIGHT becomes high level, and the light emitting device 112 starts projecting pulsed light. At time t10, the signal PTXC becomes low level, and at the same time, the signal PTXD becomes high level. Then, the transfer switch 302C is turned off, the charge transfer from the photodiode 301 to the floating diffusion 303C is completed, the transfer switch 302D is turned on, and the charge transfer from the photodiode 301 to the floating diffusion 303D is started. At time t11, the signal PLIGHT becomes a low level, and the light emitting device 112 finishes projecting the pulsed light. At time t12, the signal PTXD becomes low level, the transfer switch 302D is turned off, and the charge transfer from the photodiode 301 to the floating diffusion 303D is completed.

ソースフォロアアンプ305C及び305Dは、それぞれ、フローティングディフュージョン303C及び303Dの電荷に基づく電圧を光信号レベル(光成分+ノイズ成分)として、垂直出力線307A及び307Bを介して列回路403に出力する。時刻t13では、信号PTSがハイレベルになり、スイッチ415がオンし、オペアンプ410の出力信号が光信号レベルとして容量413に書き込まれる。オペアンプ410は、クランプ容量408及びフィードバック容量409の比に応じた反転ゲインで増幅出力する。時刻t14では、信号PTSがローレベルになり、スイッチ415がオフし、容量413への書き込みが終了する。その後、時刻t15では、信号PRESがハイレベルになり、リセットスイッチ304C及び304Dがオンし、フローティングディフュージョン303C及び303Dがリセット状態になる。   The source follower amplifiers 305C and 305D output voltages based on the charges of the floating diffusions 303C and 303D as optical signal levels (light component + noise component) to the column circuit 403 via the vertical output lines 307A and 307B, respectively. At time t13, the signal PTS goes high, the switch 415 is turned on, and the output signal of the operational amplifier 410 is written into the capacitor 413 as the optical signal level. The operational amplifier 410 amplifies and outputs with an inversion gain corresponding to the ratio of the clamp capacitor 408 and the feedback capacitor 409. At time t14, the signal PTS becomes low level, the switch 415 is turned off, and writing to the capacitor 413 is completed. Thereafter, at time t15, the signal PRES goes high, the reset switches 304C and 304D are turned on, and the floating diffusions 303C and 303D are reset.

次に、期間HSRにおいて、時刻t16〜t17では、水平シフトレジスタ404は、各列の列回路403毎に順次、ハイレベルパルスの信号PHS及びPHNを出力する。すると、各列の列回路403のスイッチ417及び418は、順次オンし、各列の列回路403の容量413及び414に保持された信号はそれぞれ水平出力線405及び406に出力される。出力アンプ407は、水平出力線405及び406の信号の差分を差動信号レベル(光成分)として出力する。   Next, in a period HSR, during times t16 to t17, the horizontal shift register 404 sequentially outputs high-level pulse signals PHS and PHN for each column circuit 403 in each column. Then, the switches 417 and 418 of the column circuit 403 of each column are sequentially turned on, and the signals held in the capacitors 413 and 414 of the column circuit 403 of each column are output to the horizontal output lines 405 and 406, respectively. The output amplifier 407 outputs the difference between the signals of the horizontal output lines 405 and 406 as a differential signal level (light component).

この後、画像処理回路106は、後述するようにフローティングディフュージョン303C及び303Dの電荷に基づく信号の比を基に反射光の投射光に対する遅延時間を算出し、被写体までの距離を取得する。また、画像処理回路106は、フローティングディフュージョン303C及び303Dの電荷に基づく信号を加算してもよい。   Thereafter, as will be described later, the image processing circuit 106 calculates a delay time of the reflected light with respect to the projection light based on a ratio of signals based on the charges of the floating diffusions 303C and 303D, and acquires a distance to the subject. Further, the image processing circuit 106 may add signals based on the charges of the floating diffusions 303C and 303D.

ところで、図8の瞳分割位相差方式では光学的な諸条件によって位相差検出が難しい場合が考えられる。そこで、図10のTOF方式による焦点検出を行う。図11は、図10のタイミングチャートの一部を示すものであり、TOF方式の焦点検出の原理を説明する図である。   By the way, in the pupil division phase difference method of FIG. 8, it may be difficult to detect the phase difference due to various optical conditions. Therefore, focus detection by the TOF method of FIG. 10 is performed. FIG. 11 shows a part of the timing chart of FIG. 10 and explains the principle of TOF focus detection.

時刻t8では、信号PTXCがハイレベルになり、転送スイッチ302Cがオンし、フォトダイオード301に蓄積された電荷がフローティングディフュージョン303Cに転送開始する。その後、時刻t9では、信号PLIGHTがハイレベルになり、発光装置112はパルス光の投射を開始する。時刻t10では、信号PTXCがローレベルになり、それと同時に信号PTXDがハイレベルになる。すると、転送スイッチ302Cがオフし、フォトダイオード301からフローティングディフュージョン303Cへの電荷転送が終了し、転送スイッチ302Dがオンし、フォトダイオード301からフローティングディフュージョン303Dへの電荷転送が開始する。時刻t11では、信号PLIGHTがローレベルになり、発光装置112はパルス光の投射を終了する。時刻t12では、信号PTXDがローレベルになり、転送スイッチ302Dがオフし、フォトダイオード301からフローティングディフュージョン303Dへの電荷転送が終了する。   At time t8, the signal PTXC becomes high level, the transfer switch 302C is turned on, and the charge accumulated in the photodiode 301 starts to be transferred to the floating diffusion 303C. Thereafter, at time t9, the signal PLIGHT becomes high level, and the light emitting device 112 starts projecting pulsed light. At time t10, the signal PTXC becomes low level, and at the same time, the signal PTXD becomes high level. Then, the transfer switch 302C is turned off, the charge transfer from the photodiode 301 to the floating diffusion 303C is completed, the transfer switch 302D is turned on, and the charge transfer from the photodiode 301 to the floating diffusion 303D is started. At time t11, the signal PLIGHT becomes a low level, and the light emitting device 112 finishes projecting the pulsed light. At time t12, the signal PTXD becomes low level, the transfer switch 302D is turned off, and the charge transfer from the photodiode 301 to the floating diffusion 303D is completed.

ここで、信号PTXCによる転送スイッチ302Cのオン時間と信号PTXDによる転送スイッチ302Dのオン時間は等しい。発光装置112が投射するパルス光は、被写体に対して反射する。撮像装置から被写体までの距離がゼロならば、反射光は信号PLIGHTによるパルス光の投射期間と同期間に受光され、フローティングディフュージョン303C及び303Dの電荷に基づく信号は同じになる。   Here, the ON time of the transfer switch 302C by the signal PTXC is equal to the ON time of the transfer switch 302D by the signal PTXD. The pulsed light projected by the light emitting device 112 is reflected with respect to the subject. If the distance from the imaging device to the subject is zero, the reflected light is received in synchronization with the pulse light projection period of the signal PLIGHT, and the signals based on the charges of the floating diffusions 303C and 303D are the same.

しかし、撮像装置から被写体までの距離がゼロでない場合、図11のように、反射光は、信号PLIGHTによるパルス光の投射期間に対して、(t9’−t9)分だけ遅れて受光される。その結果、フローティングディフュージョン303Cは(t10−t9’)の期間に受光した反射光に応じた電荷を蓄積し、フローティングディフュージョン303Dは(t11’−t10)の期間に受光した反射光に応じた電荷を蓄積することになる。フローティングディフュージョン303C及び303Dの蓄積電荷量に偏りが生じる。画像処理回路106は、発光装置112が投射する光と、図6の単位画素200が受光した光との位相差を基に被写体までの距離を演算する。すなわち、画像処理回路106は、フローティングディフュージョン303C及び303Dの電荷に基づく信号の比を基に反射光の投射光に対する遅延時間を推定することができ、その遅延時間と光速との積を基に被写体までの距離を算出することができる。   However, when the distance from the imaging device to the subject is not zero, the reflected light is received with a delay of (t9'-t9) with respect to the pulse light projection period by the signal PLIGHT as shown in FIG. As a result, the floating diffusion 303C accumulates charges corresponding to the reflected light received during the period (t10-t9 '), and the floating diffusion 303D stores charges corresponding to the reflected light received during the period (t11'-t10). Will accumulate. There is a bias in the amount of charge stored in the floating diffusions 303C and 303D. The image processing circuit 106 calculates the distance to the subject based on the phase difference between the light projected by the light emitting device 112 and the light received by the unit pixel 200 in FIG. That is, the image processing circuit 106 can estimate the delay time of the reflected light with respect to the projection light based on the ratio of the signals based on the charges of the floating diffusions 303C and 303D, and the subject based on the product of the delay time and the speed of light. Can be calculated.

以上を踏まえ、撮像装置の撮像動作について、図12に示すフローチャートを用いて説明する。ステップS801では、制御回路109は、ユーザーによる操作回路110の操作に応じて又は自動的に、静止画撮影、動画撮影等のモード設定、感度、絞り値などの撮影条件設定を行う。   Based on the above, the imaging operation of the imaging apparatus will be described using the flowchart shown in FIG. In step S <b> 801, the control circuit 109 performs mode setting such as still image shooting and moving image shooting, and shooting condition settings such as sensitivity and aperture value, according to the operation of the operation circuit 110 by the user.

ステップS802では、制御回路109は、被写体の輝度が第1の閾値よりも高いか否かの判定を行う。被写体の輝度が第1の閾値よりも高い場合は、ステップS804に進む。被写体の輝度が第1の閾値よりも低い場合はステップS803に進む。   In step S802, the control circuit 109 determines whether the luminance of the subject is higher than the first threshold value. If the luminance of the subject is higher than the first threshold value, the process proceeds to step S804. If the luminance of the subject is lower than the first threshold, the process proceeds to step S803.

ステップS803では、制御回路109は、前のフレームにおける焦点検出結果である被写体までの距離が第2の閾値より近いか否かの判定を行う。被写体までの距離が第2の閾値よりも近い場合は、ステップS805に進む。被写体までの距離が第2の閾値よりも遠い場合は、ステップS804に進む。   In step S803, the control circuit 109 determines whether the distance to the subject, which is the focus detection result in the previous frame, is closer than the second threshold value. If the distance to the subject is closer than the second threshold, the process proceeds to step S805. If the distance to the subject is greater than the second threshold, the process proceeds to step S804.

ステップS804では、図5の単位画素200は、発光装置112による発光を伴わない図8の第1の駆動方法(瞳分割位相差検出方式焦点検出)により信号を読み出し、図6の単位画素200は、図9の第2の駆動方法により信号を読み出す。その後、ステップS806に進む。   In step S804, the unit pixel 200 in FIG. 5 reads out a signal by the first driving method (pupil division phase difference detection type focus detection) in FIG. 8 that is not accompanied by light emission by the light emitting device 112, and the unit pixel 200 in FIG. The signal is read out by the second driving method of FIG. Thereafter, the process proceeds to step S806.

ステップS805では、図5の単位画素200は、図8の第1の駆動方法により信号を読み出し、図6の単位画素200は、発光装置112による発光を伴う図10の第3の駆動方法(TOF方式焦点検出)により信号を読み出す。その後、ステップS806に進む。   In step S805, the unit pixel 200 in FIG. 5 reads the signal by the first driving method in FIG. 8, and the unit pixel 200 in FIG. 6 performs the third driving method (TOF in FIG. The signal is read out by system focus detection. Thereafter, the process proceeds to step S806.

ステップS806では、画像処理回路106は、ステップS804の信号を基に、瞳分割位相差検出方式により被写体までの距離を算出し、ステップS805の信号を基に、TOF方式により被写体までの距離を算出する。具体的には、ステップS804を通過した場合、画像処理回路106の第1の焦点検出部は、ステップS804の発光装置112が光を投射しないで図5の単位画素200の出力信号を基に被写体までの距離に関する情報を取得(演算)する。ステップS805を通過した場合、画像処理回路106の第2の焦点検出部は、ステップS805の発光装置112が光を投射して図6の単位画素200の出力信号を基に被写体までの距離に関する情報を取得(演算)する。   In step S806, the image processing circuit 106 calculates the distance to the subject by the pupil division phase difference detection method based on the signal in step S804, and calculates the distance to the subject by the TOF method based on the signal in step S805. To do. Specifically, when passing through step S804, the first focus detection unit of the image processing circuit 106 detects the subject based on the output signal of the unit pixel 200 in FIG. 5 without the light emitting device 112 of step S804 projecting light. Get (calculate) information about the distance to. When passing through step S805, the second focus detection unit of the image processing circuit 106 provides information on the distance to the subject based on the output signal of the unit pixel 200 in FIG. 6 when the light emitting device 112 in step S805 projects light. Is obtained (calculated).

また、画像処理回路106は、ステップS804又はS805で読み出された画像信号に対し、所定の画像処理を施し、画像信号をメモリ回路107、記録回路108、及び表示回路111に出力する。   Further, the image processing circuit 106 performs predetermined image processing on the image signal read in step S804 or S805, and outputs the image signal to the memory circuit 107, the recording circuit 108, and the display circuit 111.

ステップS807では、制御回路109は、撮影終了の有無を判定する。継続ならばステップS808に進み、終了ならば一連の動作を終了する。   In step S807, the control circuit 109 determines whether or not shooting has ended. If continuing, the process proceeds to step S808, and if finished, the series of operations is terminated.

ステップS808では、制御回路109は、ステップS806で得られた被写体までの距離を基にレンズ駆動量を算出する。ステップS809では、制御回路109は、算出されたレンズ駆動量を基に撮影レンズ101を駆動することでフォーカス駆動を行う。その後、ステップS801に戻り、上記動作を繰り返す。   In step S808, the control circuit 109 calculates a lens driving amount based on the distance to the subject obtained in step S806. In step S809, the control circuit 109 performs focus driving by driving the photographing lens 101 based on the calculated lens driving amount. Then, it returns to step S801 and repeats the said operation | movement.

なお、最初のフレームにおいて、ステップS802及びS803の判定ができない場合には、ステップS801の後、ステップS804に進む。すなわち、図12の1回目の処理では、ステップS801からステップS804に進む。その後の2回目の処理では、1回目の図5の単位画素200の出力を基に、ステップS802及びS803の判定を行う。すなわち、2回目以降の処理では、前フレームの単位画素200の出力信号を基に、ステップS802及びS803の判定を行う。なお、ステップS802の判定は、測光部により測定された輝度を基に判定してもよい。   If the determinations in steps S802 and S803 cannot be made in the first frame, the process proceeds to step S804 after step S801. That is, in the first process of FIG. 12, the process proceeds from step S801 to step S804. In the second processing thereafter, the determinations in steps S802 and S803 are performed based on the first output of the unit pixel 200 in FIG. That is, in the second and subsequent processes, the determinations in steps S802 and S803 are performed based on the output signal of the unit pixel 200 of the previous frame. Note that the determination in step S802 may be performed based on the luminance measured by the photometry unit.

次に、撮像素子103の読み出しのタイミングについて図13及び図14を用いて説明する。図13は、図12のステップS804の第1及び第2の駆動方法を説明する読み出しタイミングチャートである。図13において、点線で区切られた期間H00〜H15は、それぞれ各行の読み出し期間を表すものである。また、表記の画素アドレスは、図2を用いて説明した画素配置のアドレスと同じものである。本実施形態においては、各行を順番に読み出すローリング方式による読み出しを行う。読み出す行の順番は、まず、瞳分割位相差検出方式の焦点検出が可能な図5の単位画素200の行を、Y座標アドレスが小さい順に6行読み出し、続けて、TOF方式の焦点検出が可能な図6の単位画素200の行を、Y座標アドレスが小さい順に2行読み出す。この時、例えば、単位画素(0,0)が信号を蓄積する期間はH00〜H07の期間であり、単位画素(0,3)が信号を蓄積する期間はH06〜H13の期間となる。   Next, the readout timing of the image sensor 103 will be described with reference to FIGS. FIG. 13 is a read timing chart for explaining the first and second driving methods in step S804 of FIG. In FIG. 13, periods H00 to H15 divided by dotted lines represent the readout periods of the respective rows. In addition, the pixel address of the notation is the same as the address of the pixel arrangement described with reference to FIG. In the present embodiment, reading is performed by a rolling method in which each row is read sequentially. Regarding the order of the rows to be read, first, six rows of the unit pixel 200 in FIG. 5 capable of focus detection by the pupil division phase difference detection method are read out in ascending order of the Y coordinate address, and then the focus detection by the TOF method is possible. Two rows of unit pixels 200 in FIG. 6 are read in ascending order of Y coordinate address. At this time, for example, a period in which the unit pixel (0, 0) accumulates a signal is a period from H00 to H07, and a period in which the unit pixel (0, 3) accumulates a signal is a period from H06 to H13.

図14は、図12のステップS805の第1及び第3の駆動方法を説明する読み出しタイミングチャートである。図14においても、図13と同様に、読み出す行の順番は、まず、瞳分割位相差検出方式の焦点検出が可能な図5の単位画素200の行を、Y座標アドレスが小さい順に6行読み出す。続けて、TOF方式の焦点検出が可能な図6の単位画素200の行を、Y座標アドレスが小さい順に2行読み出す。   FIG. 14 is a read timing chart for explaining the first and third driving methods in step S805 of FIG. Also in FIG. 14, as in FIG. 13, the order of the rows to be read is first to read out the rows of the unit pixel 200 in FIG. 5 capable of focus detection by the pupil division phase difference detection method in ascending order of the Y coordinate address. . Subsequently, two rows of the unit pixel 200 in FIG. 6 capable of TOF focus detection are read in ascending order of the Y coordinate address.

また、TOF方式の焦点検出に使用する発光装置112による発光を、信号PLIGHTに従い、H05,H06,H13,H14の期間に行う。この時、例えば、瞳分割位相差検出方式の焦点検出が可能な図5の単位画素200の行の単位画素(0,0)が電荷を蓄積する期間はH00〜H07の期間である。   Further, light emission by the light emitting device 112 used for the focus detection of the TOF method is performed in the periods of H05, H06, H13, and H14 in accordance with the signal PLIGHT. At this time, for example, the period in which the unit pixels (0, 0) in the row of the unit pixels 200 in FIG. 5 capable of focus detection by the pupil division phase difference detection method accumulate charges is a period from H00 to H07.

一方、TOF方式の焦点検出が可能な図6の単位画素200の行の単位画素(0,3)が電荷を蓄積する期間は、図13ではH06〜H13の期間であった。図14においては、発光装置112による発光の被写体からの反射光以外の外光の影響を極力抑えるため、期間H13の発光の直前の期間H12において、フォトダイオード301の信号のリセットを行うことにより、電荷蓄積期間はH13のみとする。   On the other hand, the period in which the unit pixels (0, 3) in the row of the unit pixel 200 of FIG. 6 capable of detecting the focus of the TOF method accumulate charges is the period of H06 to H13 in FIG. In FIG. 14, in order to suppress as much as possible the influence of external light other than the reflected light from the subject of light emission by the light emitting device 112, by resetting the signal of the photodiode 301 in the period H12 immediately before the light emission in the period H13, The charge accumulation period is only H13.

瞳分割位相差検出方式の焦点検出が可能な図5の単位画素200の電荷蓄積期間と、TOF方式の焦点検出が可能な図6の単位画素200の電荷蓄積期間は、相互に異なる。TOF方式の焦点検出が可能な図6の単位画素200の電荷蓄積期間は、発光装置112が光を投射する期間を含む。   The charge accumulation period of the unit pixel 200 in FIG. 5 capable of focus detection by the pupil division phase difference detection method and the charge accumulation period of the unit pixel 200 in FIG. 6 capable of TOF type focus detection are different from each other. The charge accumulation period of the unit pixel 200 in FIG. 6 in which the TOF focus detection is possible includes a period during which the light emitting device 112 projects light.

以上のようにして、撮像素子103は、瞳分割位相差方式による焦点検出とTOF方式による焦点検出の両方を行うことが可能であり、一方の焦点検出方式での焦点検出が困難な場合でも、もう一方の焦点検出方式の焦点検出結果を用いることが可能となる。これにより、撮影環境や被写体の状態によらず、適切な焦点検出を行うことが可能となる。   As described above, the image sensor 103 can perform both focus detection by the pupil division phase difference method and focus detection by the TOF method, and even when focus detection by one focus detection method is difficult, The focus detection result of the other focus detection method can be used. This makes it possible to perform appropriate focus detection regardless of the shooting environment and the state of the subject.

なお、上記説明では、距離を算出する画素をカラーフィルタの区別なく行ったが、投射光の色、例えば赤外光などに合わせて赤外フィルタの画素のみを用いてもよいし、より光を取り込むために透明フィルタやGフィルタの画素を用いてもよい。   In the above description, the pixels for calculating the distance are performed without distinction of the color filters. However, only the pixels of the infrared filter may be used according to the color of the projection light, for example, the infrared light, or more light may be used. In order to capture, transparent filter or G filter pixels may be used.

(第2の実施形態)
次に、本発明の第2の実施形態による撮像装置について説明する。第1の実施形態では全ての単位画素200が焦点検出可能な単位画素であるのに対し、第2の実施形態では撮像専用の単位画素を混在させる。
(Second Embodiment)
Next, an imaging apparatus according to the second embodiment of the present invention will be described. In the first embodiment, all unit pixels 200 are unit pixels capable of focus detection, whereas in the second embodiment, unit pixels dedicated for imaging are mixed.

図15は、図2と同様に、撮像素子103及びマイクロレンズ1020を図1の光軸Z方向から観察した図である。撮像素子103は、8×8=64個の単位画素200を有する。各単位画素200は、それぞれX座標とY座標のアドレスをもって、(X,Y)と表記する。ここで、本実施形態においては、Y座標が0、4の2行に配置されている単位画素200は、1つのマイクロレンズ1020に対して2つの分割画素201A及び201Bが設けられる。また、Y座標が1、2、3、5、6、7の6行に配置されている単位画素200は、1つのマイクロレンズ1020に対して1つの画素が設けられる。2つの分割画素201A及び201Bで構成される単位画素200は、瞳分割位相差検出方式の焦点検出に使用される。1つの画素で構成される単位画素200のうち、Y座標が3、7の単位画素200は、TOF方式の焦点検出に使用され、Y座標が1、2、5、6の単位画素200は、焦点検出には使用されず、撮像にのみ使用される。   FIG. 15 is a view of the image sensor 103 and the microlens 1020 observed from the direction of the optical axis Z in FIG. The image sensor 103 has 8 × 8 = 64 unit pixels 200. Each unit pixel 200 is expressed as (X, Y) with addresses of X coordinate and Y coordinate. Here, in the present embodiment, the unit pixel 200 arranged in the two rows of Y coordinates 0 and 4 is provided with two divided pixels 201A and 201B for one microlens 1020. In addition, in the unit pixels 200 arranged in six rows of Y coordinates 1, 2, 3, 5, 6, and 7, one pixel is provided for one microlens 1020. A unit pixel 200 composed of two divided pixels 201A and 201B is used for focus detection in the pupil division phase difference detection method. Among the unit pixels 200 composed of one pixel, the unit pixels 200 with Y coordinates of 3 and 7 are used for TOF focus detection, and the unit pixels 200 with Y coordinates of 1, 2, 5, and 6 are It is not used for focus detection but only for imaging.

Y座標が0、4の単位画素200は、図5の構成を有する。Y座標が3、7の単位画素200は、図6の構成を有する。   The unit pixel 200 whose Y coordinate is 0 or 4 has the configuration shown in FIG. The unit pixel 200 having Y coordinates of 3 and 7 has the configuration shown in FIG.

図17は、図15のY座標が1、2、5、6の単位画素200の構成例を示す回路図である。単位画素200は、1つのフォトダイオード301を有する。フォトダイオード301には、転送スイッチ302Eが接続される。転送スイッチ302Eには、フローティングディフュージョン303Eが接続される。フローティングディフュージョン303Eには、リセットスイッチ304E及びソースフォロアアンプ305Eが接続される。ソースフォロアアンプ305Eには、セレクトスイッチ306Eが接続される。リセットスイッチ304E及びソースフォロアアンプ305Eのドレインは、基準電位(VDD)ノード308に接続される。   FIG. 17 is a circuit diagram illustrating a configuration example of the unit pixel 200 having Y coordinates of 1, 2, 5, and 6 in FIG. The unit pixel 200 has one photodiode 301. A transfer switch 302E is connected to the photodiode 301. A floating diffusion 303E is connected to the transfer switch 302E. A reset switch 304E and a source follower amplifier 305E are connected to the floating diffusion 303E. A select switch 306E is connected to the source follower amplifier 305E. The drains of the reset switch 304E and the source follower amplifier 305E are connected to a reference potential (VDD) node 308.

フォトダイオード301は、マイクロレンズ1020を通過した光を受光し、その受光量に応じた電荷を生成する光電変換部である。転送スイッチ302Eは、転送パルス信号PTXEに応じて、フォトダイオード301で発生した電荷をフローティングディフュージョン303Eに転送する。フローティングディフュージョン303Eは、電荷を一時的に保持するとともに、保持した電荷を電圧に変換する電荷電圧変換部である。   The photodiode 301 is a photoelectric conversion unit that receives light that has passed through the microlens 1020 and generates a charge corresponding to the amount of light received. The transfer switch 302E transfers the charge generated in the photodiode 301 to the floating diffusion 303E in response to the transfer pulse signal PTXE. The floating diffusion 303E is a charge-voltage converter that temporarily holds charges and converts the held charges into a voltage.

リセットスイッチ304Eは、リセットパルス信号PRESに応じて、フローティングディフュージョン303Eの電位を基準電位ノード308の電位にリセットする。ソースフォロアアンプ305Eは、MOSトランジスタと基準電位VDD308からなるソースフォロア回路であり、フローティングディフュージョン303Eに保持した電荷に基づく電圧を増幅して、画素信号として出力する。
セレクトスイッチ306Eは、セレクトパルス信号PSELに応じて、ソースフォロアアンプ305Eで増幅された画素信号を垂直出力線307Aに出力する。垂直出力線307Aは、同じ列の複数の単位画素200で共有される。
The reset switch 304E resets the potential of the floating diffusion 303E to the potential of the reference potential node 308 in response to the reset pulse signal PRES. The source follower amplifier 305E is a source follower circuit including a MOS transistor and a reference potential VDD 308. The source follower amplifier 305E amplifies a voltage based on the charge held in the floating diffusion 303E and outputs it as a pixel signal.
The select switch 306E outputs the pixel signal amplified by the source follower amplifier 305E to the vertical output line 307A according to the select pulse signal PSEL. The vertical output line 307A is shared by a plurality of unit pixels 200 in the same column.

図16(a)は、図15のY座標が0、4の単位画素200(図5)のレイアウト図であり、図4(a)と同じである。図16(b)は、図15のY座標が3、7の単位画素200(図6)のレイアウト図であり、図4(b)と同じである。図16(a)の単位画素200は第1の単位画素200であり、図16(b)の単位画素200は第2の単位画素200である。   FIG. 16A is a layout diagram of the unit pixel 200 (FIG. 5) whose Y coordinate is 0 or 4 in FIG. 15 and is the same as FIG. 4A. FIG. 16B is a layout diagram of the unit pixel 200 (FIG. 6) whose Y coordinate is 3 or 7 in FIG. 15, and is the same as FIG. 4B. The unit pixel 200 in FIG. 16A is the first unit pixel 200, and the unit pixel 200 in FIG. 16B is the second unit pixel 200.

図16(c)は、図15のY座標が1、2、5、6の単位画素200(図17)のレイアウト図である。フォトダイオード301は、転送スイッチ302Eに接続される。転送スイッチ302Eは、フローティングディフュージョン303Eに接続される。図16(c)の単位画素200は、第3の単位画素200である。   FIG. 16C is a layout diagram of the unit pixel 200 (FIG. 17) whose Y coordinate is 1, 2, 5, 6 in FIG. The photodiode 301 is connected to the transfer switch 302E. The transfer switch 302E is connected to the floating diffusion 303E. The unit pixel 200 in FIG. 16C is the third unit pixel 200.

図18は、撮像素子103、垂直シフトレジスタ401、列回路403、水平シフトレジスタ404及び出力アンプ407の構成例を示す図である。本実施形態(図18)が第1の実施形態(図7)と異なる点を説明する。撮像素子103は、複数の単位画素200が行列状に配置されている。単位画素200内のフローティングディフュージョン303A〜303Eの電荷に基づく信号は、垂直出力線307A又は307Bを通り、列回路403に入力される。列回路403で処理された信号は、水平シフトレジスタ404により、水平出力線405及び406を通り、出力アンプ407に転送される。   FIG. 18 is a diagram illustrating a configuration example of the image sensor 103, the vertical shift register 401, the column circuit 403, the horizontal shift register 404, and the output amplifier 407. Differences of the present embodiment (FIG. 18) from the first embodiment (FIG. 7) will be described. The image sensor 103 has a plurality of unit pixels 200 arranged in a matrix. A signal based on the charges of the floating diffusions 303A to 303E in the unit pixel 200 is input to the column circuit 403 through the vertical output line 307A or 307B. The signal processed by the column circuit 403 is transferred to the output amplifier 407 through the horizontal output lines 405 and 406 by the horizontal shift register 404.

次に、単位画素200からの信号読み出しの読み出しタイミングを説明する。但し、図16(a)の単位画素200及び図16(b)の単位画素200からの信号読み出しのタイミングについては、図8、図9、図10を用いて説明した第1の実施形態の駆動タイミングと同一であるため、説明を省略する。   Next, the readout timing of signal readout from the unit pixel 200 will be described. However, the timing of signal readout from the unit pixel 200 in FIG. 16A and the unit pixel 200 in FIG. 16B is the driving of the first embodiment described with reference to FIGS. Since it is the same as the timing, the description is omitted.

図19は、撮像装置の第4の駆動方法を示すタイミングチャートである。第4の駆動方法は、図16(c)及び図17の単位画素200からの画素信号読み出しを行うための駆動方法である。始めに、期間HBLKにおいて、時刻t0では、信号PRESがハイレベルであり、リセットスイッチ304Eがオンし、フローティングディフュージョン303Eがリセットされる。時刻t1では、信号PTXEがハイレベルになり、転送スイッチ302Eがオンし、フォトダイオード301がリセットされる。時刻t2では、信号PTXEがローレベルになり、転送スイッチ302Eがオフし、フォトダイオード301の電荷蓄積期間が開始する。   FIG. 19 is a timing chart illustrating a fourth driving method of the imaging device. The fourth driving method is a driving method for reading a pixel signal from the unit pixel 200 shown in FIGS. First, in the period HBLK, at time t0, the signal PRES is at a high level, the reset switch 304E is turned on, and the floating diffusion 303E is reset. At time t1, the signal PTXE becomes high level, the transfer switch 302E is turned on, and the photodiode 301 is reset. At time t2, the signal PTXE becomes low level, the transfer switch 302E is turned off, and the charge accumulation period of the photodiode 301 starts.

その後、時刻t3では、信号PSELがハイレベルになり、セレクトスイッチ306Eがオンし、ソースフォロアアンプ305Eが動作状態になる。時刻t4では、信号PRESがローレベルになり、リセットスイッチ304Eがオフし、フローティングディフュージョン303Eのリセットが解除される。ソースフォロアアンプ305Eは、フローティングディフュージョン303Eの電荷に基づく電圧をリセット信号レベル(ノイズ成分)として、垂直出力線307Aを介して列回路403に出力する。時刻t5では、信号PC0Rがローレベルになり、スイッチ412がオフし、オペアンプ410のリセット状態が解除される。時刻t6では、信号PTNがハイレベルになり、スイッチ416がオンし、オペアンプ410の出力信号がリセット信号レベルとして容量414に書き込まれる。時刻t7では、信号PTNがローレベルになり、スイッチ416がオフし、容量414への書き込みが終了する。   After that, at time t3, the signal PSEL becomes high level, the select switch 306E is turned on, and the source follower amplifier 305E is activated. At time t4, the signal PRES goes low, the reset switch 304E is turned off, and the reset of the floating diffusion 303E is released. The source follower amplifier 305E outputs a voltage based on the charge of the floating diffusion 303E as a reset signal level (noise component) to the column circuit 403 via the vertical output line 307A. At time t5, the signal PC0R becomes low level, the switch 412 is turned off, and the reset state of the operational amplifier 410 is released. At time t6, the signal PTN goes high, the switch 416 is turned on, and the output signal of the operational amplifier 410 is written to the capacitor 414 as the reset signal level. At time t7, the signal PTN becomes low level, the switch 416 is turned off, and writing to the capacitor 414 is completed.

次に、時刻t8では、信号PTXEがハイレベルになり、転送スイッチ302Eがオンし、フォトダイオード301に蓄積された電荷がフローティングディフュージョン303Eに転送される。時刻t10では、信号PTXEがローレベルになり、転送スイッチ302Eがオフし、フォトダイオード301からフローティングディフュージョン303Eへの電荷転送が終了する。すなわち、フォトダイオード301の電荷蓄積期間が終了する。ソースフォロアアンプ305Eは、フローティングディフュージョン303Eの電荷に基づく電圧を光信号レベル(光成分+ノイズ成分)として、垂直出力線307Aを介して列回路403に出力する。時刻t13では、信号PTSがハイレベルになり、スイッチ415がオンし、オペアンプ410の出力信号が光信号レベルとして容量413に書き込まれる。オペアンプ410は、クランプ容量408及びフィードバック容量409の比に応じた反転ゲインで増幅出力する。時刻t14では、信号PTSがローレベルになり、スイッチ415がオフし、容量413への書き込みが終了する。その後、時刻t15では、信号PRESがハイレベルになり、フローティングディフュージョン303Eがリセット状態になる。   Next, at time t8, the signal PTXE becomes high level, the transfer switch 302E is turned on, and the charge accumulated in the photodiode 301 is transferred to the floating diffusion 303E. At time t10, the signal PTXE becomes low level, the transfer switch 302E is turned off, and the charge transfer from the photodiode 301 to the floating diffusion 303E is completed. That is, the charge accumulation period of the photodiode 301 ends. The source follower amplifier 305E outputs a voltage based on the charge of the floating diffusion 303E as an optical signal level (light component + noise component) to the column circuit 403 via the vertical output line 307A. At time t13, the signal PTS goes high, the switch 415 is turned on, and the output signal of the operational amplifier 410 is written into the capacitor 413 as the optical signal level. The operational amplifier 410 amplifies and outputs with an inversion gain corresponding to the ratio of the clamp capacitor 408 and the feedback capacitor 409. At time t14, the signal PTS becomes low level, the switch 415 is turned off, and writing to the capacitor 413 is completed. Thereafter, at time t15, the signal PRES goes high, and the floating diffusion 303E is reset.

次に、期間HSRにおいて、時刻t16〜t17では、水平シフトレジスタ404は、各列の列回路403毎に順次、ハイレベルパルスの信号PHS及びPHNを出力する。すると、各列の列回路403のスイッチ417及び418は、順次オンし、各列の列回路403の容量413及び414に保持された信号はそれぞれ水平出力線405及び406に出力される。出力アンプ407は、水平出力線405及び406の信号の差分を差動信号レベル(光成分)として出力する。   Next, in a period HSR, during times t16 to t17, the horizontal shift register 404 sequentially outputs high-level pulse signals PHS and PHN for each column circuit 403 in each column. Then, the switches 417 and 418 of the column circuit 403 of each column are sequentially turned on, and the signals held in the capacitors 413 and 414 of the column circuit 403 of each column are output to the horizontal output lines 405 and 406, respectively. The output amplifier 407 outputs the difference between the signals of the horizontal output lines 405 and 406 as a differential signal level (light component).

その後、画像処理回路106は、フローティングディフュージョン303Eの電荷に基づく信号を撮影画像として使用する。画像処理回路106は、信号を加算してもよい。   Thereafter, the image processing circuit 106 uses a signal based on the charge of the floating diffusion 303E as a captured image. The image processing circuit 106 may add signals.

画像処理回路106は、図16(c)の単位画素200の出力信号を用いずに、第1の実施形態と同様に、図16(a)の単位画素200又は図16(b)の単位画素200の出力信号を基に被写体までの距離を演算する。図16(c)の単位画素200の出力信号は、画像信号を形成するために用いられる。   The image processing circuit 106 does not use the output signal of the unit pixel 200 in FIG. 16C, and similarly to the first embodiment, the unit pixel 200 in FIG. 16A or the unit pixel in FIG. The distance to the subject is calculated based on the 200 output signals. The output signal of the unit pixel 200 in FIG. 16C is used to form an image signal.

次に、撮像素子103の読み出しのタイミングについて図20及び図21を用いて説明する。図20は、図12のステップS804の駆動方法を説明する読み出しタイミングチャートである。図16(a)の単位画素200は図8の第1の駆動方法により駆動され、図16(b)の単位画素200は図9の第2の駆動方法により駆動され、図16(c)の単位画素200は図19の第4の駆動方法により駆動される。   Next, the readout timing of the image sensor 103 will be described with reference to FIGS. FIG. 20 is a read timing chart illustrating the driving method in step S804 in FIG. The unit pixel 200 in FIG. 16A is driven by the first driving method in FIG. 8, the unit pixel 200 in FIG. 16B is driven by the second driving method in FIG. 9, and the unit pixel 200 in FIG. The unit pixel 200 is driven by the fourth driving method of FIG.

図20において、点線で区切られた期間H00〜H15は、それぞれ各行の読み出し期間を表すものである。また、表記の画素アドレスは、図15を用いて説明した画素配置のアドレスと同じものである。本実施形態においては、各行を順番に読み出すローリング方式による読み出しを行う。読み出す行の順番は、まず、瞳分割位相差検出方式の焦点検出が可能な図16(a)の単位画素200の行を、Y座標アドレスが小さい順に2行読み出す。続けて、通常の撮像にのみ使用される図16(c)の単位画素200の行を、Y座標アドレスが小さい順に4行読み出し、続けて、TOF方式の焦点検出が可能な図16(b)の単位画素200の行を、Y座標アドレスが小さい順に2行読み出す。この時、例えば、単位画素(0,0)が電荷を蓄積する期間はH00〜H07の期間であり、単位画素(0,1)が電荷を蓄積する期間はH02〜H09の期間であり、単位画素(0,3)が電荷を蓄積する期間はH06〜H13の期間となる。   In FIG. 20, periods H00 to H15 separated by dotted lines represent the readout periods of the respective rows. In addition, the pixel address of the notation is the same as the address of the pixel arrangement described with reference to FIG. In the present embodiment, reading is performed by a rolling method in which each row is read sequentially. Regarding the order of the rows to be read, first, two rows of the unit pixel 200 in FIG. 16A capable of focus detection by the pupil division phase difference detection method are read in ascending order of the Y coordinate address. Subsequently, four rows of the unit pixel 200 in FIG. 16C used only for normal imaging are read in ascending order of the Y coordinate address, and subsequently, TOF focus detection is possible in FIG. 16B. Two rows of unit pixels 200 are read out in ascending order of the Y coordinate address. At this time, for example, a period in which the unit pixel (0, 0) accumulates charges is a period from H00 to H07, and a period in which the unit pixel (0, 1) accumulates charges is a period from H02 to H09. The period in which the pixel (0, 3) accumulates charges is a period from H06 to H13.

図21は、図12のステップS805の駆動方法を説明する読み出しタイミングチャートである。図16(a)の単位画素200は図8の第1の駆動方法により駆動され、図16(b)の単位画素200は図10の第3の駆動方法により駆動され、図16(c)の単位画素200は図19の第4の駆動方法により駆動される。   FIG. 21 is a read timing chart illustrating the driving method in step S805 of FIG. The unit pixel 200 in FIG. 16A is driven by the first driving method in FIG. 8, the unit pixel 200 in FIG. 16B is driven by the third driving method in FIG. 10, and the unit pixel 200 in FIG. The unit pixel 200 is driven by the fourth driving method of FIG.

図21においても、図20と同様に、読み出す行の順番は、まず、瞳分割位相差検出方式の焦点検出が可能な図16(a)の単位画素200の行を、Y座標アドレスが小さい順に2行読み出す。続けて、通常の撮像にのみ使用される図16(c)の単位画素200の行を、Y座標アドレスが小さい順に4行読み出し、続けて、TOF方式の焦点検出が可能な図16(b)の単位画素200の行を、Y座標アドレスが小さい順に2行読み出す。また、TOF方式の焦点検出に使用する発光装置112による発光を、信号PLIGHTに従い、H05,H06,H13,H14の期間に行う。この時、例えば、瞳分割位相差検出方式の焦点検出が可能な図16(a)の単位画素200の行の単位画素(0,0)が電荷を蓄積する期間はH00〜H07の期間である。   Also in FIG. 21, as in FIG. 20, the order of rows to be read is as follows. First, the rows of the unit pixels 200 in FIG. 16A capable of focus detection by the pupil division phase difference detection method are arranged in ascending order of the Y coordinate address. Read two lines. Subsequently, four rows of the unit pixel 200 in FIG. 16C used only for normal imaging are read in ascending order of the Y coordinate address, and subsequently, TOF focus detection is possible in FIG. 16B. Two rows of unit pixels 200 are read out in ascending order of the Y coordinate address. Further, light emission by the light emitting device 112 used for the focus detection of the TOF method is performed in the periods of H05, H06, H13, and H14 in accordance with the signal PLIGHT. At this time, for example, the period in which the unit pixels (0, 0) in the row of the unit pixels 200 in FIG. 16A capable of focus detection by the pupil division phase difference detection method accumulate charges is a period from H00 to H07. .

一方、TOF方式の焦点検出が可能な図16(b)の単位画素200の行の単位画素(0,3)が電荷を蓄積する期間は、図20ではH06〜H13の期間であった。図21では、発光装置112による発光の被写体からの反射光以外の外光の影響を極力抑えることが望ましいため、期間H13の発光の直前の期間H12において、フォトダイオード301の電荷のリセットを行うことにより、電荷蓄積期間はH13のみとする。   On the other hand, the period in which the unit pixels (0, 3) in the row of the unit pixels 200 of FIG. 16B capable of detecting the focus of the TOF method accumulate charges is the period of H06 to H13 in FIG. In FIG. 21, since it is desirable to minimize the influence of external light other than the reflected light from the light emitting object emitted by the light emitting device 112, the charge of the photodiode 301 is reset in the period H12 immediately before the light emission in the period H13. Therefore, the charge accumulation period is only H13.

また、通常の撮像にのみ使用される図16(c)の単位画素(0,1)が電荷を蓄積する期間は、図20ではH02〜H09の期間であった。図21では、発光装置112による発光の被写体からの反射光の画像への写りこみは極力抑えることが望ましい。そのため、期間H06に行われる発光装置112による発光の直後にフォトダイオード301の電荷のリセットを行うことにより、電荷蓄積期間はH07〜H09のみとする。   Further, the period in which the unit pixel (0, 1) in FIG. 16C used only for normal imaging accumulates electric charge is the period from H02 to H09 in FIG. In FIG. 21, it is desirable to suppress reflection of reflected light from the light-emitting subject on the image by the light-emitting device 112 as much as possible. Therefore, the charge accumulation period is limited to only H07 to H09 by resetting the charge of the photodiode 301 immediately after light emission by the light emitting device 112 performed in the period H06.

瞳分割位相差検出方式の焦点検出が可能な図16(a)の単位画素200の電荷蓄積期間と、TOF方式の焦点検出が可能な図16(b)の単位画素200の電荷蓄積期間と、通常の撮像にのみ使用される図16(c)の単位画素200の電荷蓄積期間は異なる。TOF方式の焦点検出が可能な図16(b)の単位画素200の電荷蓄積期間は、発光装置112が光を投射する期間を含む。通常の撮像にのみ使用される図16(c)の単位画素200の電荷蓄積期間は、発光装置112が光を投射する期間を含まない。   The charge accumulation period of the unit pixel 200 in FIG. 16A capable of focus detection by the pupil division phase difference detection method, the charge accumulation period of the unit pixel 200 in FIG. 16B capable of focus detection by the TOF method, The charge accumulation period of the unit pixel 200 of FIG. 16C used only for normal imaging is different. The charge accumulation period of the unit pixel 200 in FIG. 16B in which the TOF focus detection is possible includes a period during which the light emitting device 112 projects light. The charge accumulation period of the unit pixel 200 in FIG. 16C used only for normal imaging does not include a period during which the light emitting device 112 projects light.

以上のように、図16(a)の単位画素200の行、図16(c)の単位画素200の行、図16(b)の単位画素200の行について、それぞれ異なるタイミングでフォトダイオード301の電荷のリセットを行う。これにより、異なる方式の距離測定の精度向上及び適切な撮像画像取得を同時に行うことができる。   As described above, the photodiode 301 of the row of the unit pixel 200 in FIG. 16A, the row of the unit pixel 200 in FIG. 16C, and the row of the unit pixel 200 in FIG. Reset the charge. Thereby, the accuracy improvement of the distance measurement of a different system and acquisition of a suitable captured image can be performed simultaneously.

(第3の実施形態)
次に、本発明の第3の実施形態による撮像装置について説明する。第3の実施形態は、焦点検出方式に依らず、すべての単位画素200の構成が同じであり、単位画素200の駆動方法を異ならせることで、複数の焦点検出方式を実現するものである。
(Third embodiment)
Next, an imaging apparatus according to the third embodiment of the present invention will be described. In the third embodiment, the configuration of all unit pixels 200 is the same regardless of the focus detection method, and a plurality of focus detection methods are realized by changing the driving method of the unit pixels 200.

図22は、撮像素子103及びマイクロレンズ1020を図1の光軸Z方向から観察した図である。1つのマイクロレンズ1020に対応して、1つの単位画素200が設けられる。撮像素子103は、8×8=64個の単位画素200を有する。各単位画素200は、それぞれX座標とY座標のアドレスをもって、(X,Y)と表記する。すべての単位画素200は、相互に、構成が同じであり、1つのマイクロレンズ1020に対して2つの分割画素201A及び201Bを有する。2つの分割画素201A及び201Bで構成される単位画素200は、各行毎に、通常の撮像、瞳分割位相差検出方式の焦点検出、TOF方式の焦点検出のいずれかに使用される。   22 is a diagram of the image sensor 103 and the microlens 1020 observed from the direction of the optical axis Z in FIG. One unit pixel 200 is provided corresponding to one microlens 1020. The image sensor 103 has 8 × 8 = 64 unit pixels 200. Each unit pixel 200 is expressed as (X, Y) with addresses of X coordinate and Y coordinate. All unit pixels 200 have the same configuration, and have two divided pixels 201A and 201B for one microlens 1020. The unit pixel 200 composed of the two divided pixels 201A and 201B is used for each row for either normal imaging, pupil division phase difference detection focus detection, or TOF focus detection.

図24は、単位画素200の構成例を示す回路図である。単位画素200は、第1のフォトダイオード301F及び第2のフォトダイオード301Gを有する。第1のフォトダイオード301Fには、2つの転送スイッチ302F及び302Hが接続される。第2のフォトダイオード302Gには、2つの転送スイッチ302G及び302Jが接続される。転送スイッチ302F、302G、302H、302Jには、それぞれ、フローティングディフュージョン303F、303G、303H、303Jが接続される。フローティングディフュージョン303F、303G、303H、303Jには、それぞれ、リセットスイッチ304F、304G、304H、304Jとソースフォロアアンプ305F、305G、305H、305Jが接続される。ソースフォロアアンプ305F、305G、305H、305Jには、それぞれ、セレクトスイッチ306F、306G、306H、306Jが接続される。リセットスイッチ304Fと304G及びソースフォロアアンプ305Fと305Gのドレインは、基準電位(VDD)ノード308を共有している。リセットスイッチ304Hと304J及びソースフォロアアンプ305Hと305Jのドレインは、基準電位ノード308を共有している。   FIG. 24 is a circuit diagram illustrating a configuration example of the unit pixel 200. The unit pixel 200 includes a first photodiode 301F and a second photodiode 301G. Two transfer switches 302F and 302H are connected to the first photodiode 301F. Two transfer switches 302G and 302J are connected to the second photodiode 302G. Floating diffusions 303F, 303G, 303H, and 303J are connected to the transfer switches 302F, 302G, 302H, and 302J, respectively. Reset switches 304F, 304G, 304H, and 304J and source follower amplifiers 305F, 305G, 305H, and 305J are connected to the floating diffusions 303F, 303G, 303H, and 303J, respectively. Select switches 306F, 306G, 306H, and 306J are connected to the source follower amplifiers 305F, 305G, 305H, and 305J, respectively. The drains of the reset switches 304F and 304G and the source follower amplifiers 305F and 305G share a reference potential (VDD) node 308. The drains of the reset switches 304H and 304J and the source follower amplifiers 305H and 305J share the reference potential node 308.

フォトダイオード301F及び301Gは、同一のマイクロレンズ1020を通過した光を受光し、その受光量に応じた電荷を生成する光電変換部である。転送スイッチ302Fは、転送パルス信号PTXFに応じて、フォトダイオード301Fで発生した電荷をフローティングディフュージョン303Fに転送する。転送スイッチ302Hは、転送パルス信号PTXHに応じて、フォトダイオード301Fで発生した電荷をフローティングディフュージョン303Hに転送する。転送スイッチ302Gは、転送パルス信号PTXGに応じて、フォトダイオード301Gで発生した電荷をフローティングディフュージョン303Gに転送する。転送スイッチ302Jは、転送パルス信号PTXJに応じて、フォトダイオード301Gで発生した電荷をフローティングディフュージョン303Jに転送する。フローティングディフュージョン303F、303G、303H、303Jは、電荷を一時的に保持するとともに、保持した電荷を電圧信号に変換する電荷電圧変換部である。   The photodiodes 301 </ b> F and 301 </ b> G are photoelectric conversion units that receive light that has passed through the same microlens 1020 and generate electric charges according to the amount of light received. The transfer switch 302F transfers the charge generated in the photodiode 301F to the floating diffusion 303F in response to the transfer pulse signal PTXF. The transfer switch 302H transfers the charge generated in the photodiode 301F to the floating diffusion 303H in response to the transfer pulse signal PTXH. The transfer switch 302G transfers the charge generated in the photodiode 301G to the floating diffusion 303G in response to the transfer pulse signal PTXG. The transfer switch 302J transfers charges generated in the photodiode 301G to the floating diffusion 303J in response to the transfer pulse signal PTXJ. The floating diffusions 303F, 303G, 303H, and 303J are charge-voltage conversion units that temporarily hold charges and convert the held charges into voltage signals.

リセットスイッチ304F、304G、304H、304Jは、それぞれ、リセットパルス信号PRESに応じて、フローティングディフュージョン303F、303G、303H、303Jの電位を基準電位ノード308の電位にリセットする。ソースフォロアアンプ305F、305G、305H、305Jは、それぞれ、MOSトランジスタと基準電位VDD308からなるソースフォロア回路である。ソースフォロアアンプ305F、305G、305H、305Jは、それぞれ、フローティングディフュージョン303F、303G、303H、303Jに保持した電荷に基づく電圧を増幅して、画素信号として出力する。   The reset switches 304F, 304G, 304H, and 304J respectively reset the potentials of the floating diffusions 303F, 303G, 303H, and 303J to the potential of the reference potential node 308 in response to the reset pulse signal PRES. The source follower amplifiers 305F, 305G, 305H, and 305J are source follower circuits each including a MOS transistor and a reference potential VDD308. The source follower amplifiers 305F, 305G, 305H, and 305J amplify voltages based on the charges held in the floating diffusions 303F, 303G, 303H, and 303J, respectively, and output them as pixel signals.

セレクトスイッチ306F、306G、306H、306Jは、セレクトパルス信号PSELに応じて、ソースフォロアアンプ305F、305G、305H、305Jで増幅された画素信号を垂直出力線307F、307G、307H、307Jに出力する。垂直出力線307F、307G、307H、307Jは、図25に示すように、同じの列の複数の単位画素200で共有される。   The select switches 306F, 306G, 306H, 306J output the pixel signals amplified by the source follower amplifiers 305F, 305G, 305H, 305J to the vertical output lines 307F, 307G, 307H, 307J according to the select pulse signal PSEL. As shown in FIG. 25, the vertical output lines 307F, 307G, 307H, and 307J are shared by a plurality of unit pixels 200 in the same column.

図23は、単位画素200のレイアウト図である。フォトダイオード301Fの両端には、2つの転送スイッチ302F及び302Hが接続される。転送スイッチ302Fはフローティングディフュージョン303Fに接続され、転送スイッチ302Hはフローティングディフュージョン303Hに接続される。フォトダイオード301Gの両端には、2つの転送スイッチ302G及び302Jが接続される。転送スイッチ302Gはフローティングディフュージョン303Gに接続され、転送スイッチ302Jはフローティングディフュージョン303Jに接続される。   FIG. 23 is a layout diagram of the unit pixel 200. Two transfer switches 302F and 302H are connected to both ends of the photodiode 301F. The transfer switch 302F is connected to the floating diffusion 303F, and the transfer switch 302H is connected to the floating diffusion 303H. Two transfer switches 302G and 302J are connected to both ends of the photodiode 301G. The transfer switch 302G is connected to the floating diffusion 303G, and the transfer switch 302J is connected to the floating diffusion 303J.

図25は、撮像素子103、垂直シフトレジスタ401、列回路403、水平シフトレジスタ404及び出力アンプ407の構成例を示す図である。本実施形態(図25)が第1の実施形態(図7)と同様の構成要素については、説明を省略する。撮像素子103は、複数の単位画素200が行列状に配置されている。単位画素200内のフローティングディフュージョン303F、303G、303H、303Jでの電荷に基づく信号は、それぞれ、垂直出力線307F、307G、307H、307Jを通り、列回路403に入力される。列回路403で処理された信号は、水平シフトレジスタ404により、水平出力線405及び406を通り、出力アンプ407に転送される。   FIG. 25 is a diagram illustrating a configuration example of the image sensor 103, the vertical shift register 401, the column circuit 403, the horizontal shift register 404, and the output amplifier 407. The description of the same components in this embodiment (FIG. 25) as those in the first embodiment (FIG. 7) is omitted. The image sensor 103 has a plurality of unit pixels 200 arranged in a matrix. Signals based on charges in the floating diffusions 303F, 303G, 303H, and 303J in the unit pixel 200 are input to the column circuit 403 through the vertical output lines 307F, 307G, 307H, and 307J, respectively. The signal processed by the column circuit 403 is transferred to the output amplifier 407 through the horizontal output lines 405 and 406 by the horizontal shift register 404.

図26は、図8に対応し、撮像装置の第1の駆動方法を示すタイミングチャートである。第1の駆動方法は、通常撮影及び瞳分割位相差検出方式焦点検出における画素信号読み出しを行うための駆動方法である。第1の駆動方法では、2つのフォトダイオード301F及び301Gで発生した電荷をそれぞれフローティングディフュージョン303F及び303Gに転送する。   FIG. 26 is a timing chart corresponding to FIG. 8 and illustrating a first driving method of the imaging apparatus. The first driving method is a driving method for reading pixel signals in normal imaging and pupil division phase difference detection type focus detection. In the first driving method, charges generated in the two photodiodes 301F and 301G are transferred to the floating diffusions 303F and 303G, respectively.

始めに、期間HBLKにおいて、時刻t0では、信号PRESがハイレベルであり、リセットスイッチ304F及び304Gがオンし、フローティングディフュージョン303F及び303Gがリセットされる。時刻t1では、信号PTXF及びPTXGがハイレベルになり、転送スイッチ302F及び302Gがオンし、フォトダイオード301F及び301Gがリセットされる。時刻t2では、信号PTXF及びPTXGがローレベルになり、転送スイッチ302F及び302Gがオフし、フォトダイオード301F及び301Gの電荷蓄積が開始する。ここで、リセットのためにオン/オフする転送スイッチは、電荷蓄積後に、電荷転送に用いるものに限らず、この例では信号PTXH及びPTXJによる転送スイッチ302H及び302Jを使用してもよい。   First, in the period HBLK, at time t0, the signal PRES is at a high level, the reset switches 304F and 304G are turned on, and the floating diffusions 303F and 303G are reset. At time t1, the signals PTXF and PTXG become high level, the transfer switches 302F and 302G are turned on, and the photodiodes 301F and 301G are reset. At time t2, the signals PTXF and PTXG become low level, the transfer switches 302F and 302G are turned off, and charge accumulation of the photodiodes 301F and 301G starts. Here, the transfer switches that are turned on / off for resetting are not limited to those used for charge transfer after charge accumulation. In this example, transfer switches 302H and 302J using signals PTXH and PTXJ may be used.

その後、時刻t3では、信号PSELがハイレベルになり、セレクトスイッチ306F及び306Gがオンし、ソースフォロアアンプ305F及び305Gが動作状態になる。時刻t4では、信号PRESがローレベルになり、リセットスイッチ304F及び304Gがオフし、フローティングディフュージョン303F及び303Gのリセットが解除される。ソースフォロアアンプ305F及び305Gは、それぞれ、フローティングディフュージョン303F及び303Gの電荷に基づく電圧をリセット信号レベル(ノイズ成分)として、垂直出力線307F及び307Gを介して列回路403に出力する。時刻t5では、信号PC0Rがローレベルになり、スイッチ412がオフし、オペアンプ410のリセット状態が解除される。時刻t6では、信号PTNがハイレベルになり、スイッチ416がオンし、オペアンプ410の出力信号がリセット信号レベルとして容量414に書き込まれる。時刻t7では、信号PTNがローレベルになり、スイッチ416がオフし、容量414への書き込みが終了する。   After that, at time t3, the signal PSEL becomes high level, the select switches 306F and 306G are turned on, and the source follower amplifiers 305F and 305G are in an operating state. At time t4, the signal PRES goes low, the reset switches 304F and 304G are turned off, and the reset of the floating diffusions 303F and 303G is released. The source follower amplifiers 305F and 305G output the voltage based on the charges of the floating diffusions 303F and 303G as a reset signal level (noise component) to the column circuit 403 via the vertical output lines 307F and 307G, respectively. At time t5, the signal PC0R becomes low level, the switch 412 is turned off, and the reset state of the operational amplifier 410 is released. At time t6, the signal PTN goes high, the switch 416 is turned on, and the output signal of the operational amplifier 410 is written to the capacitor 414 as the reset signal level. At time t7, the signal PTN becomes low level, the switch 416 is turned off, and writing to the capacitor 414 is completed.

次に、時刻t8では、信号PTXF及びPTXGがハイレベルになり、転送スイッチ302F及び302Gがオンし、フォトダイオード301F及び301Gに蓄積された電荷がフローティングディフュージョン303F及び303Gにそれぞれ転送される。時刻t10では、信号PTXF及びPTXGがローレベルになり、転送スイッチ302F及び302Gがオフし、フォトダイオード301F及び301Gからフローティングディフュージョン303F及び303Gへの電荷転送が終了する。ソースフォロアアンプ305F及び305Gは、それぞれ、フローティングディフュージョン303F及び303G電荷に基づく電圧を光信号レベル(光成分+ノイズ成分)として、垂直出力線307F及び307Gを介して列回路403に出力する。時刻t13では、信号PTSがハイレベルになり、スイッチ415がオンし、オペアンプ410の出力信号が光信号レベルとして容量413に書き込まれる。オペアンプ410は、クランプ容量408及びフィードバック容量409の比に応じた反転ゲインで増幅出力する。時刻t14では、信号PTSがローレベルになり、スイッチ415がオフし、容量413への書き込みが終了する。その後、時刻t15では、信号PRESがハイレベルになり、リセットスイッチ304F及び304Gがオンし、フローティングディフュージョン303F及び303Gがリセット状態になる。   Next, at time t8, the signals PTXF and PTXG become high level, the transfer switches 302F and 302G are turned on, and the charges accumulated in the photodiodes 301F and 301G are transferred to the floating diffusions 303F and 303G, respectively. At time t10, the signals PTXF and PTXG become low level, the transfer switches 302F and 302G are turned off, and the charge transfer from the photodiodes 301F and 301G to the floating diffusions 303F and 303G is completed. The source follower amplifiers 305F and 305G output voltages based on the charges of the floating diffusions 303F and 303G as optical signal levels (light component + noise component) to the column circuit 403 via the vertical output lines 307F and 307G, respectively. At time t13, the signal PTS goes high, the switch 415 is turned on, and the output signal of the operational amplifier 410 is written into the capacitor 413 as the optical signal level. The operational amplifier 410 amplifies and outputs with an inversion gain corresponding to the ratio of the clamp capacitor 408 and the feedback capacitor 409. At time t14, the signal PTS becomes low level, the switch 415 is turned off, and writing to the capacitor 413 is completed. After that, at time t15, the signal PRES goes high, the reset switches 304F and 304G are turned on, and the floating diffusions 303F and 303G are reset.

次に、期間HSRにおいて、時刻t16〜t17では、水平シフトレジスタ404は、各列の列回路403毎に順次、ハイレベルパルスの信号PHS及びPHNを出力する。すると、各列の列回路403のスイッチ417及び418は、順次オンし、各列の列回路403の容量413及び414に保持された信号はそれぞれ水平出力線405及び406に出力される。出力アンプ407は、水平出力線405及び406の信号の差分を差動信号レベル(光成分)として出力する。   Next, in a period HSR, during times t16 to t17, the horizontal shift register 404 sequentially outputs high-level pulse signals PHS and PHN for each column circuit 403 in each column. Then, the switches 417 and 418 of the column circuit 403 of each column are sequentially turned on, and the signals held in the capacitors 413 and 414 of the column circuit 403 of each column are output to the horizontal output lines 405 and 406, respectively. The output amplifier 407 outputs the difference between the signals of the horizontal output lines 405 and 406 as a differential signal level (light component).

この後、通常撮影として駆動される場合、画像処理回路106は、フォトダイオード301F及び301Gの電荷に基づく信号を加算して撮影画像としてもよい。一方、瞳分割位相差検出の場合、画像処理回路106は、前述したA像及びB像に対する相関演算を施し、距離情報を取得する。また、この場合も、画像処理回路106は、距離情報取得後に、A像及びB像の信号を加算してもよい。   Thereafter, when driven for normal shooting, the image processing circuit 106 may add a signal based on the charges of the photodiodes 301F and 301G to form a shot image. On the other hand, in the case of pupil division phase difference detection, the image processing circuit 106 performs correlation calculation on the above-described A image and B image, and acquires distance information. Also in this case, the image processing circuit 106 may add the signals of the A image and the B image after obtaining the distance information.

なお、図26のタイミングチャートでは、F及びGの組み合わせを用いたが、F及びJまたはG及びHといった組み合わせを用いることもできる。それは、水平転送や後段の処理回路等の仕様に応じて適宜決められる。   In the timing chart of FIG. 26, a combination of F and G is used, but a combination of F and J or G and H can also be used. It is determined as appropriate according to the specifications of horizontal transfer and subsequent processing circuits.

図27は、図10に対応し、撮像装置の第3の駆動方法を示すタイミングチャートである。第3の駆動方法は、TOF方式焦点検出における画素信号読み出しを行うための駆動方法である。第3の駆動方法では、フォトダイオード301Fに加えて、フォトダイオード301Gも同時に使用して読み出す。   FIG. 27 corresponds to FIG. 10 and is a timing chart showing a third driving method of the imaging apparatus. The third driving method is a driving method for performing pixel signal reading in TOF focus detection. In the third driving method, in addition to the photodiode 301F, the photodiode 301G is also used and read simultaneously.

始めに、期間HBLKにおいて、時刻t0では、信号PRESがハイレベルであり、リセットスイッチ304F、304G、304H、304Jがオンし、フローティングディフュージョン303F、303G、303H、303Jがリセットされる。時刻t1では、信号PTXF、PTXG、PTXH、PTXJがハイレベルになり、転送スイッチ302F、302G、302H、302Jがオンし、フォトダイオード301F及び301Gがリセットされる。時刻t2では、信号PTXF、PTXG、PTXH、PTXJがローレベルになり、転送スイッチ302F、302G、302H、302Jがオフし、フォトダイオード301F及び301Gの電荷蓄積が開始する。   First, in the period HBLK, at time t0, the signal PRES is at a high level, the reset switches 304F, 304G, 304H, and 304J are turned on, and the floating diffusions 303F, 303G, 303H, and 303J are reset. At time t1, the signals PTXF, PTXG, PTXH, and PTXJ become high level, the transfer switches 302F, 302G, 302H, and 302J are turned on, and the photodiodes 301F and 301G are reset. At time t2, the signals PTXF, PTXG, PTXH, and PTXJ are at a low level, the transfer switches 302F, 302G, 302H, and 302J are turned off, and charge accumulation in the photodiodes 301F and 301G starts.

その後、時刻t3では、信号PSELがハイレベルになり、セレクトスイッチ306F、306G、306H、306Jがオンし、ソースフォロアアンプ305F、305G、305H、305Jが動作状態になる。時刻t4では、信号PRESがローレベルになり、リセットスイッチ304F、304G、304H、304Jがオフし、フローティングディフュージョン303F、303G、303H、303Jのリセットが解除される。ソースフォロアアンプ305F、305G、305H、305Jは、それぞれ、フローティングディフュージョン303F、303G、303H、303Jの電荷に基づく電圧をリセット信号レベル(ノイズ成分)として、列回路403に出力する。その電圧は、垂直出力線307F、307G、307H、307Jを介して、列回路403に出力される。時刻t5では、信号PC0Rがローレベルになり、スイッチ412がオフし、オペアンプ410のリセット状態が解除される。時刻t6では、信号PTNがハイレベルになり、スイッチ416がオンし、オペアンプ410の出力信号がリセット信号レベルとして容量414に書き込まれる。時刻t7では、信号PTNがローレベルになり、スイッチ416がオフし、容量414への書き込みが終了する。   Thereafter, at time t3, the signal PSEL becomes high level, the select switches 306F, 306G, 306H, and 306J are turned on, and the source follower amplifiers 305F, 305G, 305H, and 305J are in an operating state. At time t4, the signal PRES goes low, the reset switches 304F, 304G, 304H, and 304J are turned off, and the reset of the floating diffusions 303F, 303G, 303H, and 303J is released. The source follower amplifiers 305F, 305G, 305H, and 305J output voltages based on the charges of the floating diffusions 303F, 303G, 303H, and 303J to the column circuit 403 as reset signal levels (noise components), respectively. The voltage is output to the column circuit 403 via the vertical output lines 307F, 307G, 307H, and 307J. At time t5, the signal PC0R becomes low level, the switch 412 is turned off, and the reset state of the operational amplifier 410 is released. At time t6, the signal PTN goes high, the switch 416 is turned on, and the output signal of the operational amplifier 410 is written to the capacitor 414 as the reset signal level. At time t7, the signal PTN becomes low level, the switch 416 is turned off, and writing to the capacitor 414 is completed.

次に、時刻t8では、信号PTXF及びPTXGがハイレベルになり、転送スイッチ302F及び302Gがオンし、フォトダイオード301F及び301Gに蓄積された電荷がフローティングディフュージョン303F及び303Gに転送開始する。その後、時刻t9では、信号PLIGHTがハイレベルになり、発光装置112はパルス光の投射を開始する。時刻t10では、信号PTXF及びPTXGがローレベルになり、信号PTXH及びPTXJがハイレベルになり、転送スイッチ302F及び302Gがオフし、転送スイッチ302H及び302Jがオンする。すると、フォトダイオード301F及び301Gからフローティングディフュージョン303F及び303Gへの電荷転送が終了し、フォトダイオード301F及び301Gからフローティングディフュージョン303H及び303Jへの電荷転送が開始する。時刻t11では、信号PLIGHTがローレベルになり、発光装置112はパルス光の投射を終了する。時刻t12では、信号PTXH及びPTXJがローレベルになり、転送スイッチ302H及び302Jがオフし、フォトダイオード301F及び301Gからフローティングディフュージョン303H及び303Jへの電荷転送が終了する。   Next, at time t8, the signals PTXF and PTXG become high level, the transfer switches 302F and 302G are turned on, and the charges accumulated in the photodiodes 301F and 301G start to be transferred to the floating diffusions 303F and 303G. Thereafter, at time t9, the signal PLIGHT becomes high level, and the light emitting device 112 starts projecting pulsed light. At time t10, the signals PTXF and PTXG become low level, the signals PTXH and PTXJ become high level, the transfer switches 302F and 302G are turned off, and the transfer switches 302H and 302J are turned on. Then, the charge transfer from the photodiodes 301F and 301G to the floating diffusions 303F and 303G ends, and the charge transfer from the photodiodes 301F and 301G to the floating diffusions 303H and 303J starts. At time t11, the signal PLIGHT becomes a low level, and the light emitting device 112 finishes projecting the pulsed light. At time t12, the signals PTXH and PTXJ become low level, the transfer switches 302H and 302J are turned off, and the charge transfer from the photodiodes 301F and 301G to the floating diffusions 303H and 303J is completed.

ソースフォロアアンプ305F、305G、305H、305Jは、それぞれ、フローティングディフュージョン303F、303G、303H、303Jの電荷に基づく電圧を光信号レベル(光成分+ノイズ成分)として、列回路403に出力する。その電圧は、垂直出力線307F、307G、307H、307Jを介して、列回路403に出力される。時刻t13では、信号PTSがハイレベルになり、スイッチ415がオンし、オペアンプ410の出力信号が光信号レベルとして容量413に書き込まれる。オペアンプ410は、クランプ容量408及びフィードバック容量409の比に応じた反転ゲインで増幅出力する。時刻t14では、信号PTSがローレベルになり、スイッチ415がオフし、容量413への書き込みが終了する。その後、時刻t15では、信号PRESがハイレベルになり、リセットスイッチ304F、304G、304H、304Jがオンし、フローティングディフュージョン303F、303G、303H、303Jがリセット状態になる。   The source follower amplifiers 305F, 305G, 305H, and 305J each output a voltage based on the charges of the floating diffusions 303F, 303G, 303H, and 303J to the column circuit 403 as an optical signal level (light component + noise component). The voltage is output to the column circuit 403 via the vertical output lines 307F, 307G, 307H, and 307J. At time t13, the signal PTS goes high, the switch 415 is turned on, and the output signal of the operational amplifier 410 is written into the capacitor 413 as the optical signal level. The operational amplifier 410 amplifies and outputs with an inversion gain corresponding to the ratio of the clamp capacitor 408 and the feedback capacitor 409. At time t14, the signal PTS becomes low level, the switch 415 is turned off, and writing to the capacitor 413 is completed. After that, at time t15, the signal PRES goes high, the reset switches 304F, 304G, 304H, and 304J are turned on, and the floating diffusions 303F, 303G, 303H, and 303J are reset.

次に、期間HSRにおいて、時刻t16〜t17では、水平シフトレジスタ404は、各列の列回路403毎に順次、ハイレベルパルスの信号PHS及びPHNを出力する。すると、各列の列回路403のスイッチ417及び418は、順次オンし、各列の列回路403の容量413及び414に保持された信号はそれぞれ水平出力線405及び406に出力される。出力アンプ407は、水平出力線405及び406の信号の差分を差動信号レベル(光成分)として出力する。   Next, in a period HSR, during times t16 to t17, the horizontal shift register 404 sequentially outputs high-level pulse signals PHS and PHN for each column circuit 403 in each column. Then, the switches 417 and 418 of the column circuit 403 of each column are sequentially turned on, and the signals held in the capacitors 413 and 414 of the column circuit 403 of each column are output to the horizontal output lines 405 and 406, respectively. The output amplifier 407 outputs the difference between the signals of the horizontal output lines 405 and 406 as a differential signal level (light component).

図28は、図19に対応し、撮像装置の第4の駆動方法を示すタイミングチャートである。第4の駆動方法は、通常の撮像にのみ使用される単位画素200からの画素信号読み出しを行うための駆動方法である。   FIG. 28 is a timing chart corresponding to FIG. 19 and showing a fourth driving method of the imaging apparatus. The fourth driving method is a driving method for reading a pixel signal from the unit pixel 200 used only for normal imaging.

始めに、期間HBLKにおいて、時刻t0では、信号PRESがハイレベルであり、リセットスイッチ304F、304G、304H、304Jがオンし、フローティングディフュージョン303F、303G、303H、303Jがリセットされる。時刻t1では、信号PTXF、PTXG、PTXH、PTXJがハイレベルになり、転送スイッチ302F、302G、302H、302Jがオンし、フォトダイオード301F、301Gがリセットされる。時刻t2では、信号PTXF、PTXG、PTXH、PTXJがローレベルになり、転送スイッチ302F、302G、302H、302Jがオフし、フォトダイオード301F、301Gの電荷蓄積が開始する。   First, in the period HBLK, at time t0, the signal PRES is at a high level, the reset switches 304F, 304G, 304H, and 304J are turned on, and the floating diffusions 303F, 303G, 303H, and 303J are reset. At time t1, the signals PTXF, PTXG, PTXH, and PTXJ become high level, the transfer switches 302F, 302G, 302H, and 302J are turned on, and the photodiodes 301F and 301G are reset. At time t2, the signals PTXF, PTXG, PTXH, and PTXJ become low level, the transfer switches 302F, 302G, 302H, and 302J are turned off, and charge accumulation of the photodiodes 301F and 301G starts.

その後、時刻t3では、信号PSELがハイレベルになり、セレクトスイッチ306F、306G、306H、306Jがオンし、ソースフォロアアンプ305F、305G、305H、305Jが動作状態になる。時刻t4では、信号PRESがローレベルになり、リセットスイッチ304F、304G、304H、304Jがオフし、フローティングディフュージョン303F、303G、303H、303Jのリセットが解除される。ソースフォロアアンプ305F、305G、305H、305Jは、それぞれ、フローティングディフュージョン303F、303G、303H、303Jの電荷に基づく電圧をリセット信号レベル(ノイズ成分)として、列回路403に出力する。その電圧は、垂直出力線307F、307G、307H、307Jを介して、列回路403に出力される。時刻t5では、信号PC0Rがローレベルであり、スイッチ412がオフし、オペアンプ410のリセット状態が解除される。時刻t6では、信号PTNがハイレベルになり、スイッチ416がオンし、オペアンプ410の出力信号がリセット信号レベルとして容量414に書き込まれる。時刻t7では、信号PTNがローレベルになり、スイッチ416がオフし、容量414への書き込みが終了する。   Thereafter, at time t3, the signal PSEL becomes high level, the select switches 306F, 306G, 306H, and 306J are turned on, and the source follower amplifiers 305F, 305G, 305H, and 305J are in an operating state. At time t4, the signal PRES goes low, the reset switches 304F, 304G, 304H, and 304J are turned off, and the reset of the floating diffusions 303F, 303G, 303H, and 303J is released. The source follower amplifiers 305F, 305G, 305H, and 305J output voltages based on the charges of the floating diffusions 303F, 303G, 303H, and 303J to the column circuit 403 as reset signal levels (noise components), respectively. The voltage is output to the column circuit 403 via the vertical output lines 307F, 307G, 307H, and 307J. At time t5, the signal PC0R is at a low level, the switch 412 is turned off, and the reset state of the operational amplifier 410 is released. At time t6, the signal PTN goes high, the switch 416 is turned on, and the output signal of the operational amplifier 410 is written to the capacitor 414 as the reset signal level. At time t7, the signal PTN becomes low level, the switch 416 is turned off, and writing to the capacitor 414 is completed.

次に、時刻t8では、信号PTXF、PTXG、PTXH、PTXJがハイレベルになり、転送スイッチ302F、302G、302H、302Jがオンする。すると、フォトダイオード301F、301Gに蓄積された電荷がフローティングディフュージョン303F、303G、303H、303Jに転送される。時刻t10では、信号PTXF、PTXG、PTXH、PTXJがローレベルになり、転送スイッチ302F、302G、302H、302Jがオフする。すると、フォトダイオード301F、301Gからフローティングディフュージョン303F、303G、303H、303Jへの電荷転送が終了する。ソースフォロアアンプ305F、305G、305H、305Jは、それぞれ、フローティングディフュージョン303F、303G、303H、303Jの電荷に基づく電圧を光信号レベル(光成分+ノイズ成分)として、列回路403に出力する。その電圧は、垂直出力線307F、307G、307H、307Jを介して、列回路403に出力される。時刻t13では、信号PTSがハイレベルになり、スイッチ415がオンし、オペアンプ410の出力信号が光信号レベルとして容量413に書き込まれる。オペアンプ410は、クランプ容量408及びフィードバック容量409の比に応じた反転ゲインで増幅出力する。時刻t14では、信号PTSがローレベルになり、スイッチ415がオフし、容量413への書き込みが終了する。その後、時刻t15では、信号PRESがハイレベルになり、リセットスイッチ304F、304G、304H、304Jがオンし、フローティングディフュージョン303F、303G、303H、303Jがリセット状態になる。   Next, at time t8, the signals PTXF, PTXG, PTXH, and PTXJ become high level, and the transfer switches 302F, 302G, 302H, and 302J are turned on. Then, charges accumulated in the photodiodes 301F and 301G are transferred to the floating diffusions 303F, 303G, 303H, and 303J. At time t10, the signals PTXF, PTXG, PTXH, and PTXJ become low level, and the transfer switches 302F, 302G, 302H, and 302J are turned off. Then, the charge transfer from the photodiodes 301F and 301G to the floating diffusions 303F, 303G, 303H, and 303J is completed. The source follower amplifiers 305F, 305G, 305H, and 305J each output a voltage based on the charges of the floating diffusions 303F, 303G, 303H, and 303J to the column circuit 403 as an optical signal level (light component + noise component). The voltage is output to the column circuit 403 via the vertical output lines 307F, 307G, 307H, and 307J. At time t13, the signal PTS goes high, the switch 415 is turned on, and the output signal of the operational amplifier 410 is written into the capacitor 413 as the optical signal level. The operational amplifier 410 amplifies and outputs with an inversion gain corresponding to the ratio of the clamp capacitor 408 and the feedback capacitor 409. At time t14, the signal PTS becomes low level, the switch 415 is turned off, and writing to the capacitor 413 is completed. After that, at time t15, the signal PRES goes high, the reset switches 304F, 304G, 304H, and 304J are turned on, and the floating diffusions 303F, 303G, 303H, and 303J are reset.

次に、期間HSRにおいて、時刻t16〜t17では、水平シフトレジスタ404は、各列の列回路403毎に順次、ハイレベルパルスの信号PHS及びPHNを出力する。すると、各列の列回路403のスイッチ417及び418は、順次オンし、各列の列回路403の容量413及び414に保持された信号はそれぞれ水平出力線405及び406に出力される。出力アンプ407は、水平出力線405及び406の信号の差分を差動信号レベル(光成分)として出力する。   Next, in a period HSR, during times t16 to t17, the horizontal shift register 404 sequentially outputs high-level pulse signals PHS and PHN for each column circuit 403 in each column. Then, the switches 417 and 418 of the column circuit 403 of each column are sequentially turned on, and the signals held in the capacitors 413 and 414 of the column circuit 403 of each column are output to the horizontal output lines 405 and 406, respectively. The output amplifier 407 outputs the difference between the signals of the horizontal output lines 405 and 406 as a differential signal level (light component).

この後、通常撮影として駆動するために、画像処理回路106は、フローティングディフュージョン303F、303G、303H、303Jの電荷に基づく信号を加算して撮影画像として使用する。   Thereafter, in order to drive for normal photographing, the image processing circuit 106 adds signals based on the charges of the floating diffusions 303F, 303G, 303H, and 303J and uses them as a photographed image.

以上のように、本実施形態では、単位画素200が全て同一の構成でありながら、単位画素200からの信号読み出し駆動方法を変える。これにより、瞳分割位相差検出方式の焦点検出を行う単位画素の行、通常の撮像にのみ使用される単位画素の行、TOF方式の焦点検出を行う単位画素の行のいずれかの駆動方法を各行毎に選択することが可能となる。1つの撮像素子103を用いて複数の焦点検出方式を自由に実現可能とする。これにより、撮影環境や被写体の状態によらず、適切な焦点検出を行うことができる。   As described above, in this embodiment, the signal readout driving method from the unit pixel 200 is changed while all the unit pixels 200 have the same configuration. As a result, the driving method of one of the row of unit pixels that performs focus detection in the pupil division phase difference detection method, the row of unit pixels that are used only for normal imaging, and the row of unit pixels that perform focus detection in the TOF method. Selection can be made for each row. A plurality of focus detection methods can be freely realized by using one image sensor 103. Thereby, appropriate focus detection can be performed regardless of the shooting environment and the state of the subject.

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。   The above-described embodiments are merely examples of implementation in carrying out the present invention, and the technical scope of the present invention should not be construed in a limited manner. That is, the present invention can be implemented in various forms without departing from the technical idea or the main features thereof.

100 撮像装置、103 撮像素子、106 画像処理回路、112 発光装置、200 単位画素 DESCRIPTION OF SYMBOLS 100 Image pick-up device, 103 Image pick-up element, 106 Image processing circuit, 112 Light-emitting device, 200 Unit pixel

Claims (14)

光を電荷に変換する第1の単位画素と、
光を電荷に変換する第2の単位画素と、
被写体に対して光を投射する発光装置と、
前記発光装置が光を投射しないで前記第1の単位画素の出力信号を基に被写体までの距離に関する情報を取得する第1の焦点検出部と、
前記発光装置が光を投射して前記第2の単位画素の出力信号を基に被写体までの距離に関する情報を取得する第2の焦点検出部と
を有することを特徴とする撮像装置。
A first unit pixel that converts light into charge;
A second unit pixel that converts light into charge;
A light emitting device that projects light onto a subject;
A first focus detection unit that acquires information about a distance to a subject based on an output signal of the first unit pixel without projecting light;
An image pickup apparatus comprising: a second focus detection unit configured to obtain information on a distance to a subject based on an output signal of the second unit pixel by the light emitting device projecting light.
前記第1の焦点検出部が、前記発光装置が光を投射しない場合の前記第1の単位画素の出力信号を基に被写体までの距離に関する情報を取得した後、
前記第1の単位画素の出力信号に応じて、前記第1の焦点検出部及び前記第2の焦点検出部のいずれかが被写体までの距離に関する情報を取得することを特徴とする請求項1記載の撮像装置。
After the first focus detection unit acquires information on the distance to the subject based on the output signal of the first unit pixel when the light emitting device does not project light,
2. The information on the distance to the subject is acquired by one of the first focus detection unit and the second focus detection unit in accordance with an output signal of the first unit pixel. Imaging device.
被写体の輝度が第1の閾値よりも高い場合には前記第1の焦点検出部により被写体までの距離に関する情報を取得し、前記被写体の輝度が第1の閾値よりも低い場合には前記第2の焦点検出部により被写体までの距離に関する情報を取得することを特徴とする請求項1又は2記載の撮像装置。   When the luminance of the subject is higher than the first threshold, information on the distance to the subject is acquired by the first focus detection unit, and when the luminance of the subject is lower than the first threshold, the second The imaging apparatus according to claim 1, wherein information regarding a distance to the subject is acquired by the focus detection unit. 被写体までの距離が第2の閾値より遠い場合には前記第1の焦点検出部により被写体までの距離に関する情報を取得し、前記被写体までの距離が第2の閾値よりも近い場合には前記第2の焦点検出部により被写体までの距離に関する情報を取得することを特徴とする請求項1〜3のいずれか1項に記載の撮像装置。   When the distance to the subject is farther than the second threshold, the first focus detection unit acquires information on the distance to the subject, and when the distance to the subject is closer than the second threshold, The imaging apparatus according to claim 1, wherein information on a distance to the subject is acquired by the two focus detection units. 前記第1の単位画素は、単一のマイクロレンズを共有する複数の光電変換部を有し、
前記第1の焦点検出部は、前記複数の光電変換部の信号を基に被写体までの距離に関する情報を取得することを特徴とする請求項1〜4のいずれか1項に記載の撮像装置。
The first unit pixel has a plurality of photoelectric conversion units sharing a single microlens,
5. The imaging apparatus according to claim 1, wherein the first focus detection unit acquires information on a distance to a subject based on signals from the plurality of photoelectric conversion units.
前記第2の焦点検出部は、前記発光装置が投射する光と、前記第2の単位画素が受光した光との位相差を基に被写体までの距離に関する情報を取得することを特徴とする請求項1〜5のいずれか1項に記載の撮像装置。   The second focus detection unit acquires information about a distance to a subject based on a phase difference between light projected by the light emitting device and light received by the second unit pixel. Item 6. The imaging device according to any one of Items 1 to 5. 前記第1の単位画素は、複数の光電変換部を有し、
前記第2の単位画素は、1つの光電変換部を有することを特徴とする請求項1〜6のいずれか1項に記載の撮像装置。
The first unit pixel includes a plurality of photoelectric conversion units,
The imaging apparatus according to claim 1, wherein the second unit pixel includes one photoelectric conversion unit.
前記第1の単位画素及び前記第2の単位画素は、駆動方法が異なることを特徴とする請求項1〜6のいずれか1項に記載の撮像装置。   The imaging apparatus according to claim 1, wherein the first unit pixel and the second unit pixel have different driving methods. 複数の前記第1の単位画素が並ぶ第1の行と、
複数の前記第2の単位画素が並ぶ第2の行を有することを特徴とする請求項1〜8のいずれか1項に記載の撮像装置。
A first row in which a plurality of the first unit pixels are arranged;
The imaging apparatus according to claim 1, further comprising a second row in which the plurality of second unit pixels are arranged.
前記第2の焦点検出部により被写体までの距離に関する情報を取得する場合には、前記第1の単位画素の電荷蓄積期間と前記第2の単位画素の電荷蓄積期間は異なることを特徴とする請求項1〜9のいずれか1項に記載の撮像装置。   When the information about the distance to the subject is acquired by the second focus detection unit, the charge accumulation period of the first unit pixel is different from the charge accumulation period of the second unit pixel. Item 10. The imaging device according to any one of Items 1 to 9. さらに、光を電荷に変換する第3の単位画素を有し、
前記第1の焦点検出部及び前記第2の焦点検出部は、前記第3の単位画素の出力信号を用いずに被写体までの距離に関する情報を取得し、
前記第3の単位画素の出力信号は、画像信号を形成するために用いられることを特徴とする請求項1〜9のいずれか1項に記載の撮像装置。
Furthermore, it has the 3rd unit pixel which converts light into an electric charge,
The first focus detection unit and the second focus detection unit obtain information on a distance to a subject without using an output signal of the third unit pixel,
The image pickup apparatus according to claim 1, wherein an output signal of the third unit pixel is used to form an image signal.
前記第2の焦点検出部により被写体までの距離に関する情報を取得する場合には、前記第1の単位画素の電荷蓄積期間と前記第2の単位画素の電荷蓄積期間と前記第3の単位画素の電荷蓄積期間は異なることを特徴とする請求項11記載の撮像装置。   When the information on the distance to the subject is acquired by the second focus detection unit, the charge accumulation period of the first unit pixel, the charge accumulation period of the second unit pixel, and the third unit pixel The image pickup apparatus according to claim 11, wherein the charge accumulation periods are different. 前記第2の単位画素の電荷蓄積期間は、前記発光装置が光を投射する期間を含むことを特徴とする請求項10又は12記載の撮像装置。   The imaging device according to claim 10 or 12, wherein the charge accumulation period of the second unit pixel includes a period during which the light emitting device projects light. 前記第3の単位画素の電荷蓄積期間は、前記発光装置が光を投射する期間を含まないことを特徴とする請求項12記載の撮像装置。   13. The imaging device according to claim 12, wherein the charge accumulation period of the third unit pixel does not include a period during which the light emitting device projects light.
JP2014177358A 2014-09-01 2014-09-01 Imaging device Active JP6452354B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014177358A JP6452354B2 (en) 2014-09-01 2014-09-01 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014177358A JP6452354B2 (en) 2014-09-01 2014-09-01 Imaging device

Publications (3)

Publication Number Publication Date
JP2016052054A true JP2016052054A (en) 2016-04-11
JP2016052054A5 JP2016052054A5 (en) 2017-05-25
JP6452354B2 JP6452354B2 (en) 2019-01-16

Family

ID=55659260

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014177358A Active JP6452354B2 (en) 2014-09-01 2014-09-01 Imaging device

Country Status (1)

Country Link
JP (1) JP6452354B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10616508B2 (en) 2017-06-09 2020-04-07 Olympus Corporation Solid state imaging sensor, observation apparatus using solid state image sensor, method for driving image pickup section, and recording medium for recording program for driving image pickup section
WO2021085773A1 (en) * 2019-10-30 2021-05-06 엘지전자 주식회사 Mobile terminal
CN113574408A (en) * 2019-03-27 2021-10-29 松下知识产权经营株式会社 Solid-state imaging device

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11330246B2 (en) 2019-11-21 2022-05-10 Microsoft Technology Licensing, Llc Imaging system configured to use time-of-flight imaging and stereo imaging

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07167646A (en) * 1993-12-15 1995-07-04 Fuji Photo Optical Co Ltd Distance measuring equipment
JPH07167647A (en) * 1993-12-15 1995-07-04 Fuji Photo Optical Co Ltd Distance measuring equipment for camera
JP2001083407A (en) * 1999-09-13 2001-03-30 Canon Inc Image pickup device
JP2012220631A (en) * 2011-04-06 2012-11-12 Nikon Corp Optical instrument
JP2013003501A (en) * 2011-06-21 2013-01-07 Nikon Corp Camera
WO2015075926A1 (en) * 2013-11-20 2015-05-28 パナソニックIpマネジメント株式会社 Distance measurement and imaging system
WO2015083539A1 (en) * 2013-12-03 2015-06-11 ソニー株式会社 Imaging device, method, and program

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07167646A (en) * 1993-12-15 1995-07-04 Fuji Photo Optical Co Ltd Distance measuring equipment
JPH07167647A (en) * 1993-12-15 1995-07-04 Fuji Photo Optical Co Ltd Distance measuring equipment for camera
JP2001083407A (en) * 1999-09-13 2001-03-30 Canon Inc Image pickup device
JP2012220631A (en) * 2011-04-06 2012-11-12 Nikon Corp Optical instrument
JP2013003501A (en) * 2011-06-21 2013-01-07 Nikon Corp Camera
WO2015075926A1 (en) * 2013-11-20 2015-05-28 パナソニックIpマネジメント株式会社 Distance measurement and imaging system
WO2015083539A1 (en) * 2013-12-03 2015-06-11 ソニー株式会社 Imaging device, method, and program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10616508B2 (en) 2017-06-09 2020-04-07 Olympus Corporation Solid state imaging sensor, observation apparatus using solid state image sensor, method for driving image pickup section, and recording medium for recording program for driving image pickup section
CN113574408A (en) * 2019-03-27 2021-10-29 松下知识产权经营株式会社 Solid-state imaging device
WO2021085773A1 (en) * 2019-10-30 2021-05-06 엘지전자 주식회사 Mobile terminal

Also Published As

Publication number Publication date
JP6452354B2 (en) 2019-01-16

Similar Documents

Publication Publication Date Title
JP6929403B2 (en) Image sensor and image sensor
US10063762B2 (en) Image sensor and driving method thereof, and image capturing apparatus with output signal control according to color
WO2013111629A1 (en) Solid-state image sensor, driving method therefor, and electronic device
US10638072B2 (en) Control apparatus, image pickup apparatus, and control method for performing noise correction of imaging signal
JP6452354B2 (en) Imaging device
US10033951B2 (en) Image sensor that performs different readout operations and image capturing apparatus including image sensor
JP2019114949A (en) Imaging apparatus, imaging system, and driving method of imaging apparatus
JP6460669B2 (en) Imaging device
JP6362511B2 (en) Imaging apparatus and control method thereof
JP2019050486A (en) Imaging apparatus and control method of the same
JP2010068049A (en) Image device
JP2021182763A (en) Image pick-up device and imaging apparatus
JP2016184868A (en) Imaging device and driving method of imaging device
JP2016058877A (en) Imaging apparatus and control method thereof
JP6399844B2 (en) Imaging device
JP6320154B2 (en) Imaging device and driving method of imaging device
JP6366341B2 (en) Imaging device
JP6373027B2 (en) Imaging device
WO2015008635A1 (en) Solid-state imaging element, method for driving same, and electronic apparatus
JP2015108759A (en) Imaging device, imaging system, control method of imaging device, program and storage medium
JP2017085377A (en) Imaging apparatus and its control method, program, and storage medium
JP2017156372A (en) Imaging device
JP6320132B2 (en) Imaging system
JP6366325B2 (en) Imaging system
JP2017184181A (en) Image sensor

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170331

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170331

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181211

R151 Written notification of patent or utility model registration

Ref document number: 6452354

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151