JP2017229001A - Imaging apparatus and distance measuring apparatus - Google Patents

Imaging apparatus and distance measuring apparatus Download PDF

Info

Publication number
JP2017229001A
JP2017229001A JP2016125258A JP2016125258A JP2017229001A JP 2017229001 A JP2017229001 A JP 2017229001A JP 2016125258 A JP2016125258 A JP 2016125258A JP 2016125258 A JP2016125258 A JP 2016125258A JP 2017229001 A JP2017229001 A JP 2017229001A
Authority
JP
Japan
Prior art keywords
photoelectric conversion
imaging
signal
unit
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016125258A
Other languages
Japanese (ja)
Other versions
JP6821967B2 (en
Inventor
寛信 村田
Hironobu Murata
寛信 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2016125258A priority Critical patent/JP6821967B2/en
Publication of JP2017229001A publication Critical patent/JP2017229001A/en
Application granted granted Critical
Publication of JP6821967B2 publication Critical patent/JP6821967B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an imaging apparatus capable of obtaining a normal signal which is not for distance measurement simultaneously with the measurement of the distance to an object to be measured.SOLUTION: The imaging apparatus includes: a first image pickup device that photoelectrically converts part of incident light including modulated light and transmits the rest; a second image pickup device for photoelectrically converting the rest of the incident light; and an arithmetic unit that calculates a subject distance from a signal of the modulated light included in a signal output from one of the first image pickup device and the second image pickup device.SELECTED DRAWING: Figure 3

Description

本発明は、撮像装置および測距装置に関する。   The present invention relates to an imaging device and a distance measuring device.

対象物へ照射した光の反射光を受光することにより、対象物までの距離を測定する光飛行時間（ＴＯＦ；Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）計測法が知られている（例えば特許文献１）。このような方法により対象物までの距離を測定する際、同時に対象物の画像を得ることは困難であった。   An optical time-of-flight (TOF) measurement method for measuring a distance to an object by receiving reflected light of light irradiated on the object is known (for example, Patent Document 1). When measuring the distance to the object by such a method, it is difficult to obtain an image of the object at the same time.

特開２００８−８９３４６号公報JP 2008-89346 A

第１の態様によると、撮像装置は、変調光を含む入射光の一部を光電変換して残りを透過する第１撮像素子と、前記入射光の残りを光電変換する第２撮像素子と、前記第１撮像素子と前記第２撮像素子との一方が出力した信号に含まれる前記変調光の信号により被写体距離を演算する演算部と、を備える。
第２の態様によると、測距装置は、変調光を含む入射光の一部を光電変換して残りを透過する第１撮像素子と、前記入射光の残りを光電変換する第２撮像素子と、前記第１撮像素子と前記第２撮像素子との一方が出力した信号に含まれる前記変調光の信号により被写体距離を演算する演算部と、を備える。 According to the first aspect, the imaging apparatus includes: a first imaging element that photoelectrically converts a part of incident light including modulated light and transmits the remainder; a second imaging element that photoelectrically converts the remainder of the incident light; A computing unit that computes a subject distance based on the modulated light signal included in a signal output from one of the first image sensor and the second image sensor.
According to the second aspect, the distance measuring device includes a first image sensor that photoelectrically converts a part of incident light including modulated light and transmits the remaining light, and a second image sensor that photoelectrically converts the remaining incident light. A calculation unit that calculates a subject distance based on a signal of the modulated light included in a signal output from one of the first image sensor and the second image sensor.

撮像装置の構成を模式的に示す断面図Sectional drawing which shows the structure of an imaging device typically 撮像部を模式的に示す斜視図Perspective view schematically showing the imaging unit 撮像部の構成を模式的に示す図The figure which shows the structure of an imaging part typically 撮像画素の配列を模式的に示す平面図Plan view schematically showing the arrangement of imaging pixels 第１撮像画素および第２撮像画素の回路図Circuit diagram of first imaging pixel and second imaging pixel 第１測距部による測距動作のタイミングチャートTiming chart of ranging operation by the first ranging unit 差信号からパルス光と反射光束との位相差を算出する方法を示す説明図Explanatory diagram showing a method for calculating the phase difference between the pulsed light and the reflected light flux from the difference signal 第１測距部による測距動作のタイミングチャートTiming chart of ranging operation by the first ranging unit マイクロレンズの変形例を示す断面図Sectional drawing which shows the modification of a micro lens

（第１の実施の形態）
図１は、第１の実施の形態に係る撮像装置の構成を模式的に示す断面図である。撮像装置１は、光源部１０、撮像光学系１１、撮像部１２、および制御部１３を備える。 (First embodiment)
FIG. 1 is a cross-sectional view schematically showing the configuration of the imaging apparatus according to the first embodiment. The imaging device 1 includes a light source unit 10, an imaging optical system 11, an imaging unit 12, and a control unit 13.

光源部１０は、被測定物２に対して測定光束３を放出する。測定光束３は、例えば可視光である。測定光束３のうち、被測定物２の表面で反射した反射光束４ａは、撮像光学系１１を通過して撮像部１２に入射する。被測定物２には、測定光束３の他に、例えば太陽や街灯などの光源６からの光束（背景光５）も放出される。測定光束３による反射光束４ａに加えて、背景光５による反射光束４ｂも撮像光学系１１を通過して撮像部１２に入射する。撮像部１２は、例えばＣＭＯＳイメージセンサである。なお、詳細は後述するが、撮像部１２は２層の光電変換部を有しており、１回の撮像により２種類の信号を同時に得ることができるように構成されている。   The light source unit 10 emits the measurement light beam 3 to the object to be measured 2. The measurement light beam 3 is, for example, visible light. Of the measurement light beam 3, the reflected light beam 4 a reflected by the surface of the DUT 2 passes through the imaging optical system 11 and enters the imaging unit 12. In addition to the measurement light beam 3, a light beam (background light 5) from a light source 6 such as the sun or a streetlight is also emitted to the object 2 to be measured. In addition to the reflected light beam 4 a by the measurement light beam 3, the reflected light beam 4 b by the background light 5 also passes through the imaging optical system 11 and enters the imaging unit 12. The imaging unit 12 is a CMOS image sensor, for example. Although details will be described later, the imaging unit 12 includes a two-layer photoelectric conversion unit, and is configured so that two types of signals can be obtained simultaneously by one imaging.

制御部１３は、不図示のＣＰＵおよびその周辺回路により構成される。制御部１３は、所定の制御プログラムを読み込んで実行することにより、撮像装置１全体を制御する。制御部１３は、第１測距部１３ａ、第２測距部１３ｂ、第１画像作成部１３ｃ、および第２画像作成部１３ｄを有する。制御部１３が有するこれらの各部は、上記の制御プログラムによりソフトウェア的に実現される。なお、制御部１３が有するこれらの各部を、同等の機能を有する電子回路等により構成してもよい。これらの各部の働きについては後に詳述する。   The control unit 13 includes a CPU (not shown) and its peripheral circuits. The control unit 13 controls the entire imaging apparatus 1 by reading and executing a predetermined control program. The control unit 13 includes a first distance measuring unit 13a, a second distance measuring unit 13b, a first image creating unit 13c, and a second image creating unit 13d. Each of these units included in the control unit 13 is realized by software by the control program. In addition, you may comprise these each part which the control part 13 has with the electronic circuit etc. which have an equivalent function. The function of each part will be described in detail later.

（撮像部１２の説明）
図２は、撮像部１２を模式的に示す斜視図である。撮像部１２は、第１撮像素子１２ａおよび第２撮像素子１２ｂを積層した構造を有する。第１撮像素子１２ａは、有機光電変換膜による複数の第１撮像画素３０ａを有する。第２撮像素子１２ｂは、フォトダイオードによる複数の第２撮像画素３０ｂを有する。被測定物２からの入射光は、まず第１撮像素子１２ａの第１撮像画素３０ａに入射する。 (Description of the imaging unit 12)
FIG. 2 is a perspective view schematically showing the imaging unit 12. The imaging unit 12 has a structure in which a first imaging element 12a and a second imaging element 12b are stacked. The first imaging element 12a has a plurality of first imaging pixels 30a made of an organic photoelectric conversion film. The second imaging element 12b has a plurality of second imaging pixels 30b made of photodiodes. Incident light from the DUT 2 first enters the first imaging pixel 30a of the first imaging element 12a.

第１撮像素子１２ａは、シアン、マゼンタ、イエローの各色に感度を有する３種類の第１撮像画素３０ａを有する。第１撮像画素３０ａは、入射光のうち、それら各色に対応する波長域の光のみを光電変換する。シアンに対応する第１撮像画素３０ａは、シアンの色情報を有する信号を出力する。同様に、マゼンタに対応する第１撮像画素３０ａは、マゼンタの色情報を有する信号を出力し、イエローに対応する第１撮像画素３０ａは、イエローの色情報を有する信号を出力する。   The first imaging element 12a includes three types of first imaging pixels 30a having sensitivity to each color of cyan, magenta, and yellow. The first imaging pixel 30a photoelectrically converts only light in a wavelength region corresponding to each color of incident light. The first imaging pixel 30a corresponding to cyan outputs a signal having cyan color information. Similarly, the first imaging pixel 30a corresponding to magenta outputs a signal having magenta color information, and the first imaging pixel 30a corresponding to yellow outputs a signal having yellow color information.

第１撮像画素３０ａへの入射光のうち、光電変換されなかった残りの光は、第１撮像画素３０ａを通過し、下方に設けられた第２撮像画素３０ｂに入射する。シアンに対応する第１撮像画素３０ａの下方に設けられた第２撮像画素３０ｂは、シアンの光以外の光（シアンの補色、すなわち赤色の光を光電変換し、赤色の色情報を有する信号を出力する。同様に、マゼンタに対応する第１撮像画素３０ａの下方に設けられた第２撮像画素３０ｂは、マゼンタの光以外の光（マゼンタの補色、すなわち緑色の光を光電変換し、緑色の色情報を有する信号を出力する。イエローに対応する第１撮像画素３０ａの下方に設けられた第２撮像画素３０ｂは、イエローの光以外の光（イエローの補色、すなわち青色の光を光電変換し、青色の色情報を有する信号を出力する。   Of the light incident on the first imaging pixel 30a, the remaining light that has not been subjected to photoelectric conversion passes through the first imaging pixel 30a and enters the second imaging pixel 30b provided below. The second imaging pixel 30b provided below the first imaging pixel 30a corresponding to cyan photoelectrically converts light other than cyan light (complementary color of cyan, that is, red light, and has red color information). Similarly, the second imaging pixel 30b provided below the first imaging pixel 30a corresponding to magenta photoelectrically converts light other than magenta light (magenta complementary color, that is, green light, The second imaging pixel 30b provided below the first imaging pixel 30a corresponding to yellow performs photoelectric conversion on light other than yellow light (complementary color of yellow, that is, blue light). , A signal having blue color information is output.

図３（ａ）は、撮像部１２の構成を模式的に示す断面図である。図３（ａ）の紙面上側が、被測定物２からの光束の入射面である。すなわち被測定物２からの光束は、図２（ａ）の紙面上側から紙面下側に向かって入射する。撮像部１２の最下層はシリコン基板１２０である。シリコン基板１２０の上層には、配線層１３０、下部電極１１４、有機光電変換膜１１２、共通電極１１３、マイクロレンズ１１１が順に配置されている。   FIG. 3A is a cross-sectional view schematically showing the configuration of the imaging unit 12. The upper side of the drawing in FIG. 3A is the incident surface of the light beam from the DUT 2. That is, the light beam from the DUT 2 enters from the upper side of the drawing in FIG. 2A toward the lower side of the drawing. The lowermost layer of the imaging unit 12 is a silicon substrate 120. On the upper layer of the silicon substrate 120, a wiring layer 130, a lower electrode 114, an organic photoelectric conversion film 112, a common electrode 113, and a microlens 111 are arranged in this order.

シリコン基板１２０には、フォトダイオードＰＤや不図示の信号読み出し回路などが形成されている。配線層１３０には、個別電極１１４やフォトダイオードＰＤ、不図示の信号読み出し回路などを互いに接続する配線が形成されている。有機光電変換膜１１２は、可視光を吸収し、吸収した光の量に応じた量の電荷（電子正孔対）を生成する。   On the silicon substrate 120, a photodiode PD, a signal readout circuit (not shown), and the like are formed. In the wiring layer 130, wirings for connecting the individual electrodes 114, the photodiode PD, a signal readout circuit (not shown) and the like to each other are formed. The organic photoelectric conversion film 112 absorbs visible light and generates electric charges (electron hole pairs) in an amount corresponding to the amount of absorbed light.

有機光電変換膜１１２の一方の面（上面）には、透明な共通電極１１３が設けられている。有機光電変換膜１１２の他方の面（下面）には、透明な個別電極１１４が設けられている。有機光電変換膜１１２は、全ての撮像画素部１２１に共通な１枚の薄膜として形成されている。共通電極１１３は、全ての撮像画素部１２１について共通な１つの電極として設けられている。共通電極１１３には、所定の正電圧Ｖｐｃが印加される。個別電極１１４は、撮像画素部１２１ごとに互いに分離して設けられている。個別電極１１４は、共通電極１１３と対向するように設けられている。   A transparent common electrode 113 is provided on one surface (upper surface) of the organic photoelectric conversion film 112. A transparent individual electrode 114 is provided on the other surface (lower surface) of the organic photoelectric conversion film 112. The organic photoelectric conversion film 112 is formed as a single thin film common to all the imaging pixel units 121. The common electrode 113 is provided as one electrode common to all the imaging pixel units 121. A predetermined positive voltage Vpc is applied to the common electrode 113. The individual electrodes 114 are provided separately for each imaging pixel unit 121. The individual electrode 114 is provided so as to face the common electrode 113.

被測定物２からの光束は、マイクロレンズ１１１を通過し、シリコン基板１２０内に形成されたフォトダイオードＰＤに入射する。フォトダイオードＰＤは、入射した光束の光量に応じた量の信号電荷を生成する。   The light beam from the DUT 2 passes through the microlens 111 and enters the photodiode PD formed in the silicon substrate 120. The photodiode PD generates an amount of signal charge corresponding to the amount of incident light flux.

マイクロレンズ１１１は、入射光をフォトダイオードＰＤに向けて集光する。マイクロレンズ１１１は、フォトダイオードＰＤの受光面に結像面を有する。換言すると、マイクロレンズ１１１は、被測定物２の像をフォトダイオードＰＤに結像させる。   The microlens 111 condenses incident light toward the photodiode PD. The microlens 111 has an imaging surface on the light receiving surface of the photodiode PD. In other words, the microlens 111 forms an image of the DUT 2 on the photodiode PD.

図３（ｂ）は、第１撮像画素３０ａを模式的に示す平面図である。第１撮像画素３０ａに含まれる個別電極１１４は、光軸を通過する直線に対して線対称な一対の第１個別電極１１４ａおよび第２個別電極１１４ｂとして構成される。第１撮像画素３０ａは、図３（ｂ）に図示した第１個別電極１１４ａおよび第２個別電極１１４ｂが占める領域に入射した光を光電変換した結果に基づく信号を出力する。第１撮像画素３０ａは、第１個別電極１１４ａが占める領域に入射した光を光電変換した結果に基づく信号と、第２個別電極１１４ｂが占める領域に入射した光を光電変換した結果に基づく信号と、を個別に出力する。つまり第１撮像画素３０ａは、第１個別電極１１４ａによる光電変換部と、第２個別電極１１４ｂによる光電変換部とを有している。   FIG. 3B is a plan view schematically showing the first imaging pixel 30a. The individual electrodes 114 included in the first imaging pixel 30a are configured as a pair of first individual electrodes 114a and second individual electrodes 114b that are axisymmetric with respect to a straight line passing through the optical axis. The first imaging pixel 30a outputs a signal based on the result of photoelectric conversion of the light incident on the region occupied by the first individual electrode 114a and the second individual electrode 114b illustrated in FIG. The first imaging pixel 30a includes a signal based on a result of photoelectric conversion of light incident on a region occupied by the first individual electrode 114a, and a signal based on a result of photoelectric conversion of light incident on a region occupied by the second individual electrode 114b. , Are output individually. That is, the first imaging pixel 30a includes a photoelectric conversion unit using the first individual electrode 114a and a photoelectric conversion unit using the second individual electrode 114b.

図３（ｃ）は、第２撮像画素３０ｂを模式的に示す平面図である。第２撮像画素３０ｂに含まれるフォトダイオードＰＤは、図３（ｂ）に図示した一対の第１個別電極１１４ａおよび第２個別電極１１４ｂが占める領域を全て含むように形成される。   FIG. 3C is a plan view schematically showing the second imaging pixel 30b. The photodiode PD included in the second imaging pixel 30b is formed so as to include all the regions occupied by the pair of first individual electrodes 114a and second individual electrodes 114b illustrated in FIG.

以上のように構成された第１撮像画素３０ａは、撮像光学系１１の一対の瞳領域をそれぞれ通過した一対の光束を、それぞれ個別に光電変換した一対の信号を出力する。これに対して、第２撮像画素３０ｂは、それら一対の瞳領域を含む１つの瞳領域を通過した光束を光電変換した信号を出力する。   The first imaging pixel 30a configured as described above outputs a pair of signals obtained by individually photoelectrically converting a pair of light beams that have passed through a pair of pupil regions of the imaging optical system 11, respectively. In contrast, the second imaging pixel 30b outputs a signal obtained by photoelectrically converting a light beam that has passed through one pupil region including the pair of pupil regions.

図４（ａ）は、第１撮像素子１２ａにおける第１撮像画素３０ａの配列を模式的に示す平面図であり、図４（ｂ）は、第２撮像素子１２ｂにおける第２撮像画素３０ｂの配列を模式的に示す平面図である。図４（ａ）において、「Ｃｙ」「Ｍｇ」「Ｙｅ」という文字は、それぞれシアン、マゼンタ、イエローの各色に対応する第１撮像画素３０ａを示す。図４（ｂ）において、「Ｒ」「Ｇ」「Ｂ」という文字は、それぞれ赤、緑、青の各色に対応する第２撮像画素３０ｂを示す。第２撮像画素３０ｂは、いわゆるベイヤ配列を為すように配列される。第１撮像画素３０ａは、第２撮像画素３０ｂと補色関係になるように配列される。   FIG. 4A is a plan view schematically showing the arrangement of the first imaging pixels 30a in the first imaging element 12a, and FIG. 4B is the arrangement of the second imaging pixels 30b in the second imaging element 12b. It is a top view which shows typically. In FIG. 4A, the characters “Cy”, “Mg”, and “Ye” indicate the first imaging pixels 30a corresponding to cyan, magenta, and yellow, respectively. In FIG. 4B, the letters “R”, “G”, and “B” indicate the second imaging pixels 30b corresponding to the colors red, green, and blue, respectively. The second imaging pixels 30b are arranged in a so-called Bayer arrangement. The first imaging pixel 30a is arranged so as to have a complementary color relationship with the second imaging pixel 30b.

図５は、第１撮像画素３０ａおよび第２撮像画素３０ｂの回路図である。第１撮像画素３０ａは、共通電極１１３、有機光電変換膜１１２、第１個別電極１１４ａ、第２個別電極１１４ｂ、第１リセットトランジスタＲＳＴ１、第２リセットトランジスタＲＳＴ２、第１増幅トランジスタＡＭＰ１、第２増幅トランジスタＡＭＰ２、第１選択トランジスタＳＥＬ１、および第２選択トランジスタＳＥＬ２を有する。   FIG. 5 is a circuit diagram of the first imaging pixel 30a and the second imaging pixel 30b. The first imaging pixel 30a includes a common electrode 113, an organic photoelectric conversion film 112, a first individual electrode 114a, a second individual electrode 114b, a first reset transistor RST1, a second reset transistor RST2, a first amplification transistor AMP1, and a second amplification. A transistor AMP2, a first selection transistor SEL1, and a second selection transistor SEL2 are included.

共通電極１１３には、所定の正電圧Ｖｐｃが印加される。第１個別電極１１４ａには、有機光電変換膜１１２により吸収された（光電変換された）光量に応じた量の電荷（正孔）が蓄積される。第１リセットトランジスタＲＳＴ１は、第１リセット信号φＲＳＴ１に従って、第１個別電極１１４ａに蓄積されている電荷を所定電圧Ｖｒｅｆによりリセットする。第１増幅トランジスタＡＭＰ１は、第１個別電極１１４ａに蓄積されている電荷に応じた信号を、所定電圧Ｖｃｃに基づき出力する。第１選択トランジスタＳＥＬ１は、第１選択信号φＳＥＬ１に従って、第１増幅トランジスタＡＭＰ１から出力された信号を、この第１撮像画素３０ａからの第１信号として所定の出力信号線に出力する。   A predetermined positive voltage Vpc is applied to the common electrode 113. Charges (holes) in an amount corresponding to the amount of light absorbed (photoelectrically converted) by the organic photoelectric conversion film 112 are accumulated in the first individual electrode 114a. The first reset transistor RST1 resets the electric charge accumulated in the first individual electrode 114a with the predetermined voltage Vref according to the first reset signal φRST1. The first amplification transistor AMP1 outputs a signal corresponding to the electric charge accumulated in the first individual electrode 114a based on the predetermined voltage Vcc. In accordance with the first selection signal φSEL1, the first selection transistor SEL1 outputs the signal output from the first amplification transistor AMP1 to the predetermined output signal line as the first signal from the first imaging pixel 30a.

第２リセットトランジスタＲＳＴ２は、第２リセット信号φＲＳＴ２に従って、第２個別電極１１４ｂに蓄積されている電荷を所定電圧Ｖｒｅｆによりリセットする。第２増幅トランジスタＡＭＰ２は、第２個別電極１１４ｂに蓄積されている電荷に応じた信号を、所定電圧Ｖｃｃに基づき出力する。第２選択トランジスタＳＥＬ２は、第２選択信号φＳＥＬ２に従って、第２増幅トランジスタＡＭＰ２から出力された信号を、この第１撮像画素３０ａからの第２信号として所定の出力信号線に出力する。   The second reset transistor RST2 resets the electric charge accumulated in the second individual electrode 114b with the predetermined voltage Vref according to the second reset signal φRST2. The second amplification transistor AMP2 outputs a signal corresponding to the charge accumulated in the second individual electrode 114b based on the predetermined voltage Vcc. In accordance with the second selection signal φSEL2, the second selection transistor SEL2 outputs the signal output from the second amplification transistor AMP2 as a second signal from the first imaging pixel 30a to a predetermined output signal line.

第２撮像画素３０ｂは、フォトダイオードＰＤ、転送トランジスタＴＸ、第３リセットトランジスタＲＳＴ３、第３増幅トランジスタＡＭＰ３、および第３選択トランジスタＳＥＬ３を有する。フォトダイオードＰＤは、入射光を光電変換して光量に応じた量の電荷を生成する。転送トランジスタＴＸは、転送信号φＴＸに従って、フォトダイオードＰＤにより生成された電荷を、いわゆるフローティングディフュージョンＦＤに転送する。第３リセットトランジスタＲＳＴ３は、第３リセット信号φＲＳＴ３に従って、フォトダイオードＰＤおよびフローティングディフュージョンＦＤに蓄積されている電荷を所定電圧Ｖｃｃによりリセットする。第３増幅トランジスタＡＭＰ３は、フローティングディフュージョンＦＤに蓄積されている電荷に応じた信号を、所定電圧Ｖｃｃに基づき出力する。第３選択トランジスタＳＥＬ３は、第３選択信号φＳＥＬ３に従って、第３増幅トランジスタＡＭＰ３から出力された信号を、この第２撮像画素３０ｂからの第３信号として所定の出力信号線に出力する。   The second imaging pixel 30b includes a photodiode PD, a transfer transistor TX, a third reset transistor RST3, a third amplification transistor AMP3, and a third selection transistor SEL3. The photodiode PD photoelectrically converts incident light to generate an amount of charge corresponding to the amount of light. The transfer transistor TX transfers the charge generated by the photodiode PD to a so-called floating diffusion FD in accordance with the transfer signal φTX. The third reset transistor RST3 resets the charges accumulated in the photodiode PD and the floating diffusion FD with the predetermined voltage Vcc in accordance with the third reset signal φRST3. The third amplification transistor AMP3 outputs a signal corresponding to the electric charge accumulated in the floating diffusion FD based on the predetermined voltage Vcc. The third selection transistor SEL3 outputs the signal output from the third amplification transistor AMP3 to the predetermined output signal line as the third signal from the second imaging pixel 30b in accordance with the third selection signal φSEL3.

（第１測距部１３ａの説明）
第１測距部１３ａは、第１撮像画素３０ａにより出力された第１信号および第２信号から、被測定物２までの距離を測定する。第１測距部１３ａは、いわゆる光飛行時間（Time of Flight）計測法により、被測定物２までの距離を測定する。 (Description of the first distance measuring unit 13a)
The first distance measuring unit 13a measures the distance to the device under test 2 from the first signal and the second signal output from the first imaging pixel 30a. The first distance measuring unit 13a measures the distance to the device under test 2 by a so-called time of flight measurement method.

図６は、第１測距部１３ａによる測距動作のタイミングチャートである。図６の横軸は、紙面左方向から紙面右方向に向かって時間の経過を示し、図６の縦軸は、光量および信号量を示す。なお、図６では説明を簡単にするため、１つの第１撮像画素３０ａに注目して説明を行い、第１選択信号φＳＥＬ１および第２選択信号φＳＥＬ２については図示および説明を省略する。   FIG. 6 is a timing chart of the distance measuring operation by the first distance measuring unit 13a. The horizontal axis of FIG. 6 shows the passage of time from the left side of the drawing to the right side of the drawing, and the vertical axis of FIG. 6 shows the light amount and the signal amount. In FIG. 6, for simplification of description, the description is given focusing on one first imaging pixel 30 a, and illustration and description of the first selection signal φSEL <b> 1 and the second selection signal φSEL <b> 2 are omitted.

図６において、第１サンプルホールド信号とは、第１信号を所定周期ごとにサンプリングし保持した信号である。また、第２サンプルホールド信号とは、第２信号を所定周期ごとにサンプリングし保持した信号である。   In FIG. 6, the first sample hold signal is a signal obtained by sampling and holding the first signal at predetermined intervals. The second sample hold signal is a signal obtained by sampling and holding the second signal every predetermined period.

時刻ｔ１に、制御部１３は第１リセット信号φＲＳＴ１をＨレベルにする。これにより、第１個別電極１１４ａがリセットされ、第１信号および第１サンプルホールド信号がＨレベルになる。その後の時刻ｔ２に、制御部１３は第２リセット信号φＲＳＴ２をＨレベルにする。これにより、第２個別電極１１４ｂがリセットされ、第２信号および第２サンプルホールド信号がＨレベルになる。   At time t1, the control unit 13 sets the first reset signal φRST1 to the H level. As a result, the first individual electrode 114a is reset, and the first signal and the first sample hold signal become H level. At subsequent time t2, the control unit 13 sets the second reset signal φRST2 to the H level. As a result, the second individual electrode 114b is reset, and the second signal and the second sample and hold signal become H level.

その後の時刻ｔ３に、制御部１３は、光源部１０から被測定物２に向けてパルス光を放出させる。このパルス光のパルス幅はＴｏである。これと同時に、制御部１３は、所定時間Ｔａごとに第１リセット信号φＲＳＴ１のＨレベルとＬレベルを繰り返し変化させ続ける。また、制御部１３は、第１リセット信号φＲＳＴ１を反転した信号（ＨレベルとＬレベルを逆転させた信号）を第２リセット信号φＲＳＴとして出力する。つまり、第１撮像画素３０ａからは、所定時間Ｔａの期間に入射した光が光電変換された第１信号と、その直後の所定時間Ｔａの期間に入射した光が光電変換された第２信号とが繰り返し出力される。換言すると、入射光を所定時間Ｔａごとに交互に光電変換した結果が、第１信号および第２信号として出力される。   Thereafter, at time t <b> 3, the control unit 13 emits pulsed light from the light source unit 10 toward the DUT 2. The pulse width of this pulsed light is To. At the same time, the control unit 13 keeps changing the H level and L level of the first reset signal φRST1 repeatedly every predetermined time Ta. Further, the control unit 13 outputs a signal obtained by inverting the first reset signal φRST1 (a signal obtained by reversing the H level and the L level) as the second reset signal φRST. That is, from the first imaging pixel 30a, a first signal obtained by photoelectric conversion of light incident during a predetermined time period Ta, and a second signal obtained by photoelectric conversion of light incident during a predetermined time period Ta immediately thereafter. Is repeatedly output. In other words, the result of alternately photoelectrically converting incident light every predetermined time Ta is output as the first signal and the second signal.

光源部１０から放出されたパルス光は、被測定物２により反射され、反射光束４ａとして第１撮像画素３０ａに入射する。反射光束４ａが第１撮像画素３０ａに入射する時刻ｔ４は、パルス光を放出した時刻ｔ３から遅れ時間Ｔｄだけ遅れる。遅れ時間Ｔｄは、被測定物２の距離に応じた時間である。例えば被測定物２が遠ければ遠いほど、遅れ時間Ｔｄは大きくなる。   The pulsed light emitted from the light source unit 10 is reflected by the DUT 2 and enters the first imaging pixel 30a as a reflected light beam 4a. The time t4 when the reflected light beam 4a enters the first imaging pixel 30a is delayed by a delay time Td from the time t3 when the pulsed light is emitted. The delay time Td is a time according to the distance of the DUT 2. For example, the farther the device under test 2 is, the longer the delay time Td becomes.

第１撮像画素３０ａには、反射光束４ａとは別に、背景光５による反射光束４ｂが入射し続けている。従って、反射光束４ａが入射しない間、第１撮像画素３０ａから出力される第１信号および第２信号は、環境光の光量に応じた大きさになる。第１サンプルホールド信号および第２サンプルホールド信号も同様である。第１サンプルホールド信号と第２サンプルホールド信号とを、位相を１８０度ずらして差を取った差信号は、反射光束４ｂが一定である限り、ゼロとなる。   In addition to the reflected light beam 4a, the reflected light beam 4b from the background light 5 continues to enter the first imaging pixel 30a. Therefore, while the reflected light beam 4a is not incident, the first signal and the second signal output from the first imaging pixel 30a have a magnitude corresponding to the amount of ambient light. The same applies to the first sample hold signal and the second sample hold signal. A difference signal obtained by shifting the phase of the first sample hold signal and the second sample hold signal by 180 degrees is zero as long as the reflected light beam 4b is constant.

これに対して、反射光束４ａが入射するときには、第１撮像画素３０ａから出力される第１信号および第２信号は、環境光の光量と反射光束４ａの光量とを加算した光量に応じた大きさになる。第１サンプルホールド信号および第２サンプルホールド信号も同様である。従って、第１サンプルホールド信号と第２サンプルホールド信号とを、位相を１８０度ずらして差を取った差信号には、反射光束４ａの光量が反映される。   On the other hand, when the reflected light beam 4a is incident, the first signal and the second signal output from the first imaging pixel 30a are large in accordance with the light amount obtained by adding the light amount of the ambient light and the light amount of the reflected light beam 4a. It will be. The same applies to the first sample hold signal and the second sample hold signal. Therefore, the light quantity of the reflected light beam 4a is reflected in the difference signal obtained by shifting the phase of the first sample hold signal and the second sample hold signal by 180 degrees.

制御部１３は、光源部１０から被測定物２に対して一定時間Ｔａごとに繰り返しパルス光を放出させる。このとき差信号は、パルス光および反射光束４ａと同一の周波数成分を有する。従って、差信号から、パルス光と反射光束４ａとの位相差（すなわち遅れ時間Ｔｄ）を検出することができる。遅れ時間Ｔｄは光速と被測定物２までの距離とにより決定されるので、遅れ時間Ｔｄが判明すれば、被測定物２までの距離を算出することができる。   The control unit 13 repeatedly emits pulsed light from the light source unit 10 to the DUT 2 for every predetermined time Ta. At this time, the difference signal has the same frequency component as the pulse light and the reflected light beam 4a. Therefore, the phase difference (that is, the delay time Td) between the pulsed light and the reflected light beam 4a can be detected from the difference signal. Since the delay time Td is determined by the speed of light and the distance to the object 2 to be measured, if the delay time Td is known, the distance to the object 2 to be measured can be calculated.

図７は、差信号からパルス光と反射光束４ａとの位相差φを算出する方法を示す説明図である。なお図７では、説明を簡単にするため、光源部１０からパルス光ではなく正弦波の光を放出した場合について説明するが、パルス光でも同様の処理により位相差φを得ることができる。このとき、差信号はＡＳｉｎ（ωｔ―φ）と表記することができる。この差信号に対して、参照信号Ｓｉｎ（ωｔ）および参照信号Ｃｏｓ（ωｔ）を乗算すると、前者はＡ／２（ｃｏｓ（―φ）―ｃｏｓ（２ωｔ―φ））となり、後者はＡ／２（ｓｉｎ（―φ）＋ｓｉｎ（２ωｔ―φ））となる。この２つの信号に対してローパスフィルタを適用すると、Ａ／２（ｃｏｓ（―φ））、Ａ／２（ｓｉｎ（―φ））という信号が得られる。位相差φは、これら２つから、ａｒｃｔａｎ（―ｓｉｎ（―φ）／ｃｏｓ（―φ））を演算することにより算出される。   FIG. 7 is an explanatory diagram showing a method of calculating the phase difference φ between the pulsed light and the reflected light beam 4a from the difference signal. In FIG. 7, for the sake of simplicity, a case will be described in which a sine wave light is emitted from the light source unit 10 instead of a pulsed light. However, the phase difference φ can be obtained by a similar process using a pulsed light. At this time, the difference signal can be expressed as ASin (ωt−φ). When the difference signal is multiplied by the reference signal Sin (ωt) and the reference signal Cos (ωt), the former becomes A / 2 (cos (−φ) −cos (2ωt−φ)), and the latter becomes A / 2. (Sin (−φ) + sin (2ωt−φ)). When a low-pass filter is applied to these two signals, signals of A / 2 (cos (-φ)) and A / 2 (sin (-φ)) are obtained. The phase difference φ is calculated by calculating arctan (−sin (−φ) / cos (−φ)) from these two.

制御部１３は、第１測距部１３ａにより測定された第１撮像画素３０ａごとの距離を、例えば二次元状に配列してデプスマップを作成し、不図示の記憶媒体に記憶する。また、第１測距部１３ａにより測定された第１撮像画素３０ａごとの距離を、撮像光学系１１の焦点調節に利用することもできる。   The control unit 13 creates a depth map by arranging the distances of the first imaging pixels 30a measured by the first ranging unit 13a, for example, in a two-dimensional manner, and stores the depth map in a storage medium (not shown). Further, the distance for each first imaging pixel 30a measured by the first distance measuring unit 13a can be used for focus adjustment of the imaging optical system 11.

（第２測距部１３ｂの説明）
第２測距部１３ｂは、第１撮像画素３０ａにより出力された信号から、被測定物２までの距離を測定する。第２測距部１３ｂは、いわゆる瞳分割方式の位相差検出法により、被測定物２までの距離を測定する。 (Description of the second distance measuring unit 13b)
The second distance measuring unit 13b measures the distance to the DUT 2 from the signal output from the first imaging pixel 30a. The second distance measuring unit 13b measures the distance to the DUT 2 using a so-called pupil division type phase difference detection method.

第２測距部１３ｂは、Ｘ方向に並んだ複数の第１撮像画素３０ａの各々から、第１個別電極１１４ａに対応する信号をそれぞれ取得して配列した第１の信号列と、第２個別電極１１４ｂに対応する信号をそれぞれ取得して配列した第２の信号列とを生成する。   The second distance measuring unit 13b includes a first signal sequence in which signals corresponding to the first individual electrodes 114a are obtained and arranged from each of the plurality of first imaging pixels 30a arranged in the X direction, and a second individual A signal corresponding to the electrode 114b is acquired and a second signal sequence is generated.

第２測距部１３ｂは、第１の信号列と第２の信号列との相関を、第１の信号列と第２の信号列とを少しずつシフトさせながら繰り返し演算し、相関量が極小となるシフト量を求める。ここで求められた相関量が極小となるシフト量は、撮像光学系１１のデフォーカス量に応じた量となる。相関量が極小となるシフト量に所定の係数を乗じることで、撮像光学系１１のデフォーカス量が算出できる。   The second distance measuring unit 13b repeatedly calculates the correlation between the first signal sequence and the second signal sequence while gradually shifting the first signal sequence and the second signal sequence, and the correlation amount is minimal. Find the shift amount. The shift amount that minimizes the correlation amount obtained here is an amount corresponding to the defocus amount of the imaging optical system 11. The defocus amount of the imaging optical system 11 can be calculated by multiplying the shift amount that minimizes the correlation amount by a predetermined coefficient.

第２測距部１３ｂは、撮像光学系１１のデフォーカス量と、撮像光学系１１の現在の撮影距離（フォーカス位置）とから、被測定物２までの距離を算出する。例えば、撮像光学系１１の現在の撮影距離が１メートルであり、撮像光学系１１のデフォーカス量が０である場合、撮像装置１から被測定物２までの距離は１メートルである。デフォーカス量の正負は、撮像光学系１１の現在の撮影距離よりも被測定物２が近い（遠い）ことを示しており、デフォーカス量の絶対値の大小は、その近さ（遠さ）を示している。従って、例えば撮影距離に応じて予め定められた係数を乗じることで、被測定物２までの距離を算出することができる。   The second distance measuring unit 13 b calculates the distance to the DUT 2 from the defocus amount of the imaging optical system 11 and the current shooting distance (focus position) of the imaging optical system 11. For example, when the current shooting distance of the imaging optical system 11 is 1 meter and the defocus amount of the imaging optical system 11 is 0, the distance from the imaging device 1 to the DUT 2 is 1 meter. The sign of the defocus amount indicates that the DUT 2 is closer (distant) than the current shooting distance of the imaging optical system 11, and the absolute value of the defocus amount is close (far). Is shown. Therefore, for example, the distance to the DUT 2 can be calculated by multiplying a predetermined coefficient according to the shooting distance.

制御部１３は、第２測距部１３ｂにより測定された被測定物２の各部分の距離を、例えば二次元状に配列してデプスマップを作成し、不図示の記憶媒体に記憶する。また、第２測距部１３ｂにより測定された距離やデフォーカス量を、撮像光学系１１の焦点調節に利用することもできる。   The control unit 13 creates a depth map by arranging the distances of the parts of the DUT 2 measured by the second distance measuring unit 13b, for example, in a two-dimensional manner, and stores the depth map in a storage medium (not shown). The distance and defocus amount measured by the second distance measuring unit 13b can also be used for focus adjustment of the imaging optical system 11.

（第１画像作成部１３ｃの説明）
第１画像作成部１３ｃは、第１撮像画素３０ａにより出力された信号から、被測定物２の画像データを作成する。第１画像作成部１３ｃは、１つの第１撮像画素３０ａにより出力された一対の信号を加算した加算信号を、その第１撮像画素３０ａに対応する撮像信号と見なす。第１画像作成部１３ｃは、そのようにして作成された第１撮像画素３０ａの各々に対応する撮像信号に対して、周知のデモザイク処理や種々の画像処理（ホワイトバランスの調整など）を施すことにより、被測定物２の画像データを作成する。制御部１３は、第１画像作成部１３ｃにより作成された画像データを、例えば不図示の記憶媒体に記憶したり、不図示の表示装置に表示したりする。また、第１測距部１３ａや第２測距部１３ｂにより測定された距離に基づくデプスマップと、第１画像作成部１３ｃにより作成された画像データとを関連付けて、不図示の記憶媒体に記憶してもよい。 (Description of first image creation unit 13c)
The first image creation unit 13c creates image data of the DUT 2 from the signal output from the first imaging pixel 30a. The first image creation unit 13c regards an addition signal obtained by adding a pair of signals output from one first imaging pixel 30a as an imaging signal corresponding to the first imaging pixel 30a. The first image creation unit 13c performs well-known demosaic processing and various image processing (such as white balance adjustment) on the imaging signals corresponding to each of the first imaging pixels 30a thus created. Thus, the image data of the DUT 2 is created. The control unit 13 stores the image data created by the first image creation unit 13c, for example, in a storage medium (not shown) or displays it on a display device (not shown). Further, the depth map based on the distance measured by the first distance measuring unit 13a or the second distance measuring unit 13b is associated with the image data created by the first image creating unit 13c and stored in a storage medium (not shown). May be.

（第２画像作成部１３ｄの説明）
第２画像作成部１３ｄは、第２撮像画素３０ｂにより出力された信号から、被測定物２の画像データを作成する。第２画像作成部１３ｄは、第２撮像画素３０ｂの各々に対応する信号に対して、周知のデモザイク処理や種々の画像処理（ホワイトバランスの調整など）を施すことにより、被測定物２の画像データを作成する。制御部１３は、第２画像作成部１３ｄにより作成された画像データを、例えば不図示の記憶媒体に記憶したり、不図示の表示装置に表示したりする。また、第１測距部１３ａや第２測距部１３ｂにより測定された距離に基づくデプスマップと、第２画像作成部１３ｄにより作成された画像データとを関連付けて、不図示の記憶媒体に記憶してもよい。 (Description of second image creation unit 13d)
The second image creation unit 13d creates image data of the DUT 2 from the signal output from the second imaging pixel 30b. The second image creation unit 13d performs well-known demosaic processing and various image processing (such as white balance adjustment) on the signal corresponding to each of the second imaging pixels 30b, whereby the image of the DUT 2 is measured. Create data. The control unit 13 stores the image data created by the second image creation unit 13d in, for example, a storage medium (not shown) or displays it on a display device (not shown). Further, the depth map based on the distance measured by the first distance measuring unit 13a or the second distance measuring unit 13b is associated with the image data created by the second image creating unit 13d and stored in a storage medium (not shown). May be.

上述した実施の形態によれば、次の作用効果が得られる。
（１）第１撮像素子１２ａは、変調光を含む入射光の一部を光電変換して残りを透過する。第２撮像素子１２ｂは、入射光の残りを光電変換する。第１測距部１３ａは、第１撮像素子１２ａが出力した第１信号に含まれる測定光束３の信号により被写体距離を演算する。このようにしたので、被測定物２までの距離の測定と同時に、測距用でない通常の信号を得ることができる。 According to the embodiment described above, the following operational effects can be obtained.
(1) The first image sensor 12a photoelectrically converts a part of incident light including modulated light and transmits the rest. The second image sensor 12b photoelectrically converts the remaining incident light. The first distance measuring unit 13a calculates the subject distance based on the signal of the measurement light beam 3 included in the first signal output from the first image sensor 12a. Since it did in this way, the normal signal which is not for ranging can be obtained simultaneously with the measurement of the distance to the to-be-measured object 2. FIG.

（２）第２画像作成部１３ｄは、第２撮像素子１２ｂが出力した第３信号により画像データを生成する。このようにしたので、被測定物２までの距離の測定と同時に、被測定物２の画像データを得ることができる。 (2) The second image creation unit 13d generates image data based on the third signal output from the second image sensor 12b. Since it did in this way, the image data of the to-be-measured object 2 can be obtained simultaneously with the measurement of the distance to the to-be-measured object 2.

（３）第１撮像素子１２ａは光電変換部を有する第１撮像画素３０ａを備える。第２撮像素子１２ｂは光電変換部を有する第２撮像画素３０ｂを備える。第１撮像画素３０ａは、図３（ｂ）に示すように、第１個別電極１１４ａによる光電変換部と、第２個別電極１１４ｂによる光電変換部とを有している。第１測距部１３ａは、第１期間において第１個別電極１１４ａに対応する光電変換部による光電変換の結果に基づく第１信号と、第１期間とは異なる第２期間において第２個別電極１１４ｂに対応する光電変換部による光電変換の結果に基づく第２信号とにより測定光束３の信号を検出する。このようにしたので、被測定物２の同一部位からの反射光束４ａに基づき距離を測定することができる。 (3) The first imaging element 12a includes a first imaging pixel 30a having a photoelectric conversion unit. The second imaging element 12b includes a second imaging pixel 30b having a photoelectric conversion unit. As shown in FIG. 3B, the first imaging pixel 30a includes a photoelectric conversion unit using the first individual electrode 114a and a photoelectric conversion unit using the second individual electrode 114b. The first distance measuring unit 13a includes a first signal based on a result of photoelectric conversion by the photoelectric conversion unit corresponding to the first individual electrode 114a in the first period, and a second individual electrode 114b in a second period different from the first period. The signal of the measurement light beam 3 is detected by the second signal based on the result of the photoelectric conversion by the photoelectric conversion unit corresponding to. Since it did in this way, distance can be measured based on the reflected light beam 4a from the same site | part of the to-be-measured object 2. FIG.

（４）マイクロレンズ１１１は、第１個別電極１１４ａによる光電変換部および第２個別電極１１４ｂによる光電変換部の受光面に結像面を有する。第２測距部１３ｂは、第１個別電極１１４ａに対応する光電変換部による光電変換の結果に基づく第１信号と、第２個別電極１１４ｂに対応する光電変換部による光電変換の結果に基づく第２信号と、の相関を演算することにより被写体距離を測定する。このようにしたので、いわゆるＴｏＦ法による被写体距離と、いわゆる像面位相差方式による被写体距離とを共に得ることができる。更に、第２画像作成部１３ｄにより作成される画像の画質と、第２測距部１３ｂにより測定される距離の精度と、が共に向上する。 (4) The microlens 111 has an imaging surface on the light receiving surface of the photoelectric conversion unit formed by the first individual electrode 114a and the photoelectric conversion unit formed by the second individual electrode 114b. The second distance measuring unit 13b includes a first signal based on a result of photoelectric conversion by the photoelectric conversion unit corresponding to the first individual electrode 114a and a first signal based on a result of photoelectric conversion by the photoelectric conversion unit corresponding to the second individual electrode 114b. The subject distance is measured by calculating the correlation between the two signals. Since this is done, it is possible to obtain both the subject distance by the so-called ToF method and the subject distance by the so-called image plane phase difference method. Furthermore, both the image quality of the image created by the second image creation unit 13d and the accuracy of the distance measured by the second distance measuring unit 13b are improved.

（第２の実施の形態）
上述した第１の実施の形態では、光源部１０から放出したパルス光と、その反射光束４ａとの位相差φを検出することにより、遅れ時間Ｔｄを求めていた。第２の実施の形態に係る撮像装置の第１測距部１３ａは、位相差φを介さず、遅れ時間Ｔｄを直接検出する。以下、第２の実施の形態に係る第１測距部１３ａの動作について説明する。なお、第１の実施の形態と同一の箇所については説明を省略する。 (Second Embodiment)
In the above-described first embodiment, the delay time Td is obtained by detecting the phase difference φ between the pulsed light emitted from the light source unit 10 and the reflected light beam 4a. The first distance measuring unit 13a of the imaging apparatus according to the second embodiment directly detects the delay time Td without using the phase difference φ. The operation of the first distance measuring unit 13a according to the second embodiment will be described below. Note that the description of the same parts as those in the first embodiment is omitted.

図８は、第１測距部１３ａによる測距動作のタイミングチャートである。図８の横軸は、紙面左方向から紙面右方向に向かって時間の経過を示し、図８の縦軸は、光量および信号量を示す。なお、図８では説明を簡単にするため、１つの第１撮像画素３０ａに注目して説明を行い、第１選択信号φＳＥＬ１および第２選択信号φＳＥＬ２については図示および説明を省略する。   FIG. 8 is a timing chart of the distance measuring operation by the first distance measuring unit 13a. The horizontal axis of FIG. 8 shows the passage of time from the left side of the paper to the right side of the paper, and the vertical axis of FIG. 8 shows the light amount and the signal amount. In FIG. 8, for the sake of simplicity, the description will be given focusing on one first imaging pixel 30a, and illustration and description of the first selection signal φSEL1 and the second selection signal φSEL2 will be omitted.

時刻ｔ１１に、制御部１３は第１リセット信号φＲＳＴ１をＨレベルにする。これにより、第１個別電極１１４ａがリセットされ、第１信号がＨレベルになる。その後の時刻ｔ１２に、制御部１３は第２リセット信号φＲＳＴ２をＨレベルにする。これにより、第２個別電極１１４ｂがリセットされ、第２信号がＨレベルになる。   At time t11, the control unit 13 sets the first reset signal φRST1 to the H level. As a result, the first individual electrode 114a is reset, and the first signal becomes H level. At subsequent time t12, the control unit 13 sets the second reset signal φRST2 to the H level. As a result, the second individual electrode 114b is reset, and the second signal becomes H level.

その後の時刻ｔ１３に、制御部１３は、光源部１０から被測定物２に向けてパルス光を放出させる。このパルス光のパルス幅はＴｏである。つまり、パルス光は時刻ｔ３から時間Ｔｏの間だけ放出される。これと同時に、制御部１３は、第１リセット信号φＲＳＴ１を時間Ｔｏの間だけＬレベルにする。その後、時間Ｔｏが経過した後の時刻ｔ１４に、制御部１３は、第１リセット信号φＲＳＴ１をＨレベルにすると共に、第２リセット信号φＲＳＴ２をＬレベルにする。その後、時間Ｔｏが経過した後の時刻ｔ１５に、制御部１３は、第２リセット信号φＲＳＴ２をＨレベルにする。つまり、第１撮像画素３０ａからは、時刻ｔ１３から時刻ｔ１４までの期間に入射した光が光電変換された第１信号と、時刻ｔ１４から時刻ｔ１５までの期間に入射した光が光電変換された第２信号とが出力される。   Thereafter, at time t <b> 13, the control unit 13 emits pulsed light from the light source unit 10 toward the DUT 2. The pulse width of this pulsed light is To. That is, the pulsed light is emitted only from time t3 to time To. At the same time, the control unit 13 sets the first reset signal φRST1 to the L level only for the time To. Thereafter, at time t14 after the time To has elapsed, the control unit 13 sets the first reset signal φRST1 to the H level and sets the second reset signal φRST2 to the L level. Thereafter, at time t15 after time To elapses, the control unit 13 sets the second reset signal φRST2 to the H level. That is, from the first imaging pixel 30a, a first signal obtained by photoelectric conversion of light incident during a period from time t13 to time t14 and a first signal obtained by photoelectric conversion of light incident during a period from time t14 to time t15. Two signals are output.

その後の時刻ｔ１６に、制御部１３は、第１リセット信号φＲＳＴ１を時間Ｔｏの間だけＬレベルにする。その後、時間Ｔｏが経過した後の時刻ｔ１７に、制御部１３は、第１リセット信号φＲＳＴ１をＨレベルにすると共に、第２リセット信号φＲＳＴ２をＬレベルにする。その後、時間Ｔｏが経過した後の時刻ｔ１８に、制御部１３は、第２リセット信号φＲＳＴ２をＨレベルにする。つまり、第１撮像画素３０ａからは、時刻ｔ１６から時刻ｔ１７までの期間に入射した光が光電変換された第１信号と、時刻ｔ１７から時刻ｔ１８までの期間に入射した光が光電変換された第２信号とが出力される。   At subsequent time t16, the control unit 13 sets the first reset signal φRST1 to the L level only for the time To. Thereafter, at time t17 after time To elapses, the control unit 13 sets the first reset signal φRST1 to the H level and sets the second reset signal φRST2 to the L level. Thereafter, at time t18 after time To elapses, the control unit 13 sets the second reset signal φRST2 to the H level. That is, from the first imaging pixel 30a, a first signal obtained by photoelectric conversion of light incident during a period from time t16 to time t17 and a first signal obtained by photoelectric conversion of light incident during a period from time t17 to time t18. Two signals are output.

光源部１０から放出されたパルス光は、被測定物２により反射され、反射光束４ａとして第１撮像画素３０ａに入射する。反射光束４ａが第１撮像画素３０ａに入射する時刻ｔ１９は、パルス光を放出した時刻ｔ１３から遅れ時間Ｔｄだけ遅れる。遅れ時間Ｔｄは、被測定物２の距離に応じた時間である。例えば被測定物２が遠ければ遠いほど、遅れ時間Ｔｄは大きくなる。   The pulsed light emitted from the light source unit 10 is reflected by the DUT 2 and enters the first imaging pixel 30a as a reflected light beam 4a. The time t19 when the reflected light beam 4a enters the first imaging pixel 30a is delayed by a delay time Td from the time t13 when the pulsed light is emitted. The delay time Td is a time according to the distance of the DUT 2. For example, the farther the device under test 2 is, the longer the delay time Td becomes.

第１撮像画素３０ａには、反射光束４ａとは別に、背景光５による反射光束４ｂが入射し続けている。従って、反射光束４ａが入射しない間、第１撮像画素３０ａから出力される第１信号および第２信号は、環境光の光量に応じた大きさＱｏになる。   In addition to the reflected light beam 4a, the reflected light beam 4b from the background light 5 continues to enter the first imaging pixel 30a. Therefore, while the reflected light beam 4a is not incident, the first signal and the second signal output from the first imaging pixel 30a have a magnitude Qo corresponding to the amount of ambient light.

これに対して、反射光束４ａが入射するときには、第１撮像画素３０ａから出力される第１信号および第２信号は、それぞれ、環境光の光量と反射光束４ａの光量とを加算した光量に応じた大きさＱＡ’、ＱＢ’になる。遅れ時間Ｔｄが小さいほど、ＱＡ’が相対的に大きくなり、ＱＢ’が相対的に小さくなる。逆に、遅れ時間Ｔｄが大きいと、ＱＡ’が相対的に小さくなり、ＱＢ’が相対的に大きくなる。   On the other hand, when the reflected light beam 4a is incident, the first signal and the second signal output from the first imaging pixel 30a correspond to the light amount obtained by adding the light amount of the ambient light and the light amount of the reflected light beam 4a, respectively. The size becomes QA ′ and QB ′. As the delay time Td is smaller, QA ′ is relatively larger and QB ′ is relatively smaller. Conversely, when the delay time Td is large, QA ′ is relatively small and QB ′ is relatively large.

第１測距部１３ａは、時間ｔ１３から時間ｔ１４の間の光電変換の結果得られた第１信号および第２信号から、上記のＱＡ’およびＱＢ’を得る。第１測距部１３ａは、時間ｔ１４から時間ｔ１５の間の光電変換の結果得られた第１信号または第２信号から、上記のＱｏを得る。第１測距部１３ａは、ＱＡ’、ＱＢ’からそれぞれＱｏを減算することにより、反射光束４ａの光量を示す信号量ＱＡ、ＱＢを得る。第１測距部１３ａは、ＱＡとＱＢの比から、遅れ時間Ｔｄを演算する。   The first distance measuring unit 13a obtains the above QA 'and QB' from the first signal and the second signal obtained as a result of the photoelectric conversion between time t13 and time t14. The first distance measuring unit 13a obtains the above Qo from the first signal or the second signal obtained as a result of photoelectric conversion between time t14 and time t15. The first distance measuring unit 13a subtracts Qo from QA 'and QB' to obtain signal amounts QA and QB indicating the light amount of the reflected light beam 4a. The first distance measuring unit 13a calculates a delay time Td from the ratio of QA and QB.

上述した実施の形態によれば、第１の実施の形態と同様の作用効果が得られる。   According to the embodiment described above, the same operational effects as those of the first embodiment can be obtained.

（変形例１）
第２撮像画素３０ｂにより出力される第３信号には、光源部１０からのパルス光の成分が含まれてしまう。そこで、第２画像作成部１３ｄが、第３信号からパルス光のパルスカウント分を減算して画像データを作成するようにしてもよい。つまり第２画像作成部１３ｄが、第３信号からパルス光の成分を減算して画像データを作成するようにしてもよい。このようにすることで、第２画像作成部１３ｄにより作成される画像データの画質が向上する。 (Modification 1)
The third signal output from the second imaging pixel 30b includes a component of pulsed light from the light source unit 10. Therefore, the second image creation unit 13d may create image data by subtracting the pulse count of the pulsed light from the third signal. That is, the second image creation unit 13d may create image data by subtracting the pulsed light component from the third signal. By doing so, the image quality of the image data created by the second image creation unit 13d is improved.

（変形例２）
第２測距部１３ｂによる距離の測定（瞳分割方式による測距）が必要ない場合には、マイクロレンズ１１１を省略してもよい。この場合には、例えば有機光電変換膜１１２とフォトダイオードＰＤをより近づける、隣接するフォトダイオードＰＤ間に隔壁を設ける等の方法により、隣接する第２撮像画素３０ｂ間のクロストークを抑止することが望ましい。なお、この場合においても、第１測距部１３ａによる距離の測定（ＴｏＦ法による測距）は可能である。 (Modification 2)
If the distance measurement by the second distance measuring unit 13b (distance measurement by the pupil division method) is not necessary, the micro lens 111 may be omitted. In this case, for example, the crosstalk between the adjacent second imaging pixels 30b can be suppressed by a method such as bringing the organic photoelectric conversion film 112 and the photodiode PD closer, or providing a partition between the adjacent photodiodes PD. desirable. Even in this case, the distance measurement by the first distance measuring unit 13a (ranging by the ToF method) is possible.

（変形例３）
一部の第２撮像画素３０ｂについて、フォトダイオードＰＤを図３（ｂ）に示すように一対に分割し、第２測距部１３ｂがそれら一対のフォトダイオードＰＤからの信号に基づき被写体距離を演算するようにしてもよい。この場合において、分割された一対のフォトダイオードＰＤの各々に対応する一対の読み出し回路を設けてもよいし、一対のフォトダイオードＰＤに対して読み出し回路を１つだけ設け、信号の読み出しを異なるタイミングで行う（時分割的に行う）ようにしてもよい。 (Modification 3)
For some of the second imaging pixels 30b, the photodiode PD is divided into a pair as shown in FIG. 3B, and the second distance measuring unit 13b calculates the subject distance based on the signals from the pair of photodiodes PD. You may make it do. In this case, a pair of readout circuits corresponding to each of the pair of divided photodiodes PD may be provided, or only one readout circuit is provided for the pair of photodiodes PD, and signal readout is performed at different timings. May be performed in a time-division manner.

また、マイクロレンズ１１１がフォトダイオードＰＤに像を結ばないようにしてもよい。そのようなマイクロレンズの例を図９に示す。マイクロレンズ１１１が像を結ばずに入射光を拡散させるようにしたり、マイクロレンズ１１１がフォトダイオードＰＤよりも更に深い部分に像を結ぶようにしたりすることで、第１測距部１３ａにより測定される距離（ＴｏＦ法による測距）の精度が向上する。   Further, the microlens 111 may not form an image on the photodiode PD. An example of such a microlens is shown in FIG. It is measured by the first distance measuring unit 13a by causing the microlens 111 to diffuse incident light without forming an image, or by forming an image in a portion deeper than the photodiode PD. The accuracy of the distance (measurement by ToF method) is improved.

また、マイクロレンズ１１１が下部電極１１４やその近傍に像を結ぶようにしてもよい。このようにすることで、第２測距部１３ｂにより測定される距離（瞳分割方式による測距）の精度が向上する。また、第１画像作成部１３ｃにより作成される画像の画質も向上する。   Further, the micro lens 111 may form an image on the lower electrode 114 or its vicinity. By doing in this way, the precision of the distance (distance measurement by a pupil division system) measured by the 2nd ranging part 13b improves. In addition, the image quality of the image created by the first image creation unit 13c is improved.

更に、それらを組み合わせてもよい。例えば、撮像面の一部にはフォトダイオードＰＤに像を結ばないマイクロレンズ１１１を配置し（もしくはマイクロレンズ１１１を配置せず）、撮像面の別の一部ではフォトダイオードＰＤを図３（ｂ）に示すように一対に分割し、撮像面の残りの部分には第１の実施の形態で示したマイクロレンズ１１１を配置する。このようにすることで、測距精度と画質とを両立させることができる。   Furthermore, they may be combined. For example, a microlens 111 that does not form an image on the photodiode PD is disposed on a part of the imaging surface (or the microlens 111 is not disposed), and the photodiode PD is disposed on another part of the imaging surface in FIG. And the microlens 111 shown in the first embodiment is disposed in the remaining part of the imaging surface. By doing in this way, ranging accuracy and image quality can be made compatible.

（変形例４）
図２（ａ）に図示したように、撮像部１２は、いわゆる表面照射型の構造を有しているが、配線層１３０をフォトダイオードＰＤの裏面に移動させた、いわゆる裏面照射型の構造としてもよい。この場合において、第１撮像画素３０ａからの信号は、例えば有機光電変換膜１１２の近傍に薄膜トランジスタによる信号読み出し回路（図５に例示した回路）を形成することにより読み出す。あるいは、シリコン基板１２０に第１撮像画素３０ａの信号読み出し回路を形成し、その信号読み出し回路と個別電極１１４とを、シリコン基板１２０を貫通する貫通電極により接続してもよい。 (Modification 4)
As shown in FIG. 2A, the imaging unit 12 has a so-called front-illuminated structure, but has a so-called back-illuminated structure in which the wiring layer 130 is moved to the back surface of the photodiode PD. Also good. In this case, the signal from the first imaging pixel 30a is read out by forming a signal readout circuit (circuit illustrated in FIG. 5) using a thin film transistor in the vicinity of the organic photoelectric conversion film 112, for example. Alternatively, a signal readout circuit for the first imaging pixel 30 a may be formed on the silicon substrate 120, and the signal readout circuit and the individual electrode 114 may be connected by a through electrode penetrating the silicon substrate 120.

（変形例５）
有機光電変換膜など、フォトダイオードＰＤとは異なる光電変換部材を、フォトダイオードＰＤの代わりに配置してもよい。つまり、第２撮像画素３０ｂが、フォトダイオードＰＤ以外の光電変換部を有するようにしてもよい。 (Modification 5)
A photoelectric conversion member different from the photodiode PD, such as an organic photoelectric conversion film, may be disposed instead of the photodiode PD. That is, the second imaging pixel 30b may include a photoelectric conversion unit other than the photodiode PD.

（変形例６）
有機光電変換膜１１２に、シアン、マゼンタ、イエローの各色とは異なる波長域への感度を持たせてもよい。例えば、有機光電変換膜１１２が、赤外光を吸収し可視光を透過するようにしてもよい。この場合、有機光電変換膜１１２の前後いずれかに、赤、緑、青の各色に対応する波長域の光のみを通過させるカラーフィルタを配置し、下層のフォトダイオードＰＤに、それら各色の光のみが入射するようにすることが望ましい。 (Modification 6)
The organic photoelectric conversion film 112 may have sensitivity to a wavelength range different from each color of cyan, magenta, and yellow. For example, the organic photoelectric conversion film 112 may absorb infrared light and transmit visible light. In this case, a color filter that passes only light in a wavelength range corresponding to each color of red, green, and blue is disposed either before or after the organic photoelectric conversion film 112, and only the light of each color is disposed in the lower photodiode PD. Is preferably incident.

１…撮像装置、１３…制御部、１３ａ…第１測距部、１３ｂ…第２測距部、１３ｃ…第１画像作成部、１３ｄ…第２画像作成部、３０…撮像画素、３０ａ…第１撮像画素、３０ｂ…第２撮像画素、１１２…有機光電変換膜、ＰＤ…フォトダイオード DESCRIPTION OF SYMBOLS 1 ... Imaging device, 13 ... Control part, 13a ... 1st ranging part, 13b ... 2nd ranging part, 13c ... 1st image creation part, 13d ... 2nd image creation part, 30 ... Imaging pixel, 30a ... 1st 1 imaging pixel, 30b ... 2nd imaging pixel, 112 ... organic photoelectric conversion film, PD ... photodiode

Claims (10)

変調光を含む入射光の一部を光電変換して残りを透過する第１撮像素子と、
前記入射光の残りを光電変換する第２撮像素子と、
前記第１撮像素子と前記第２撮像素子との一方が出力した信号に含まれる前記変調光の信号により被写体距離を演算する演算部と、
を備える撮像装置。 A first imaging element that photoelectrically converts a part of incident light including modulated light and transmits the remainder;
A second image sensor that photoelectrically converts the remainder of the incident light;
A calculation unit that calculates a subject distance based on a signal of the modulated light included in a signal output from one of the first image sensor and the second image sensor;
An imaging apparatus comprising: 請求項１に記載の撮像装置において、
前記第１撮像素子と前記第２撮像素子との他方が出力した信号により画像データを生成する画像生成部を更に備える撮像装置。 The imaging device according to claim 1,
An imaging apparatus further comprising an image generation unit that generates image data based on a signal output from the other of the first imaging element and the second imaging element. 請求項２に記載の撮像装置において、
前記第１撮像素子および前記第２撮像素子は光電変換部を有する画素を備え、前記第１撮像素子と前記第２撮像素子との一方は、前記画素に第１光電変換部および第２光電変換部を有し、
前記演算部は、第１期間において前記第１光電変換部が出力した信号と、前記第１期間とは異なる第２期間において前記第２光電変換部の他方が出力した信号とにより前記変調光の信号を検出する撮像装置。 The imaging device according to claim 2,
The first image sensor and the second image sensor each include a pixel having a photoelectric conversion unit, and one of the first image sensor and the second image sensor has a first photoelectric conversion unit and a second photoelectric conversion on the pixel. Part
The arithmetic unit is configured to output the modulated light based on a signal output from the first photoelectric conversion unit in a first period and a signal output from the other of the second photoelectric conversion units in a second period different from the first period. An imaging device that detects a signal. 請求項３に記載の撮像装置において、
前記第１光電変換部および前記第２光電変換部の受光面に結像面を有するマイクロレンズを更に備え、
前記演算部は、前記第１光電変換部が出力した信号と、前記第２光電変換部が出力した信号と、の相関を演算することにより被写体距離を演算する撮像装置。 The imaging device according to claim 3.
A microlens having an imaging surface on the light receiving surfaces of the first photoelectric conversion unit and the second photoelectric conversion unit;
The imaging device calculates an object distance by calculating a correlation between a signal output from the first photoelectric conversion unit and a signal output from the second photoelectric conversion unit. 請求項３に記載の撮像装置において、
前記第１撮像素子と前記第２撮像素子との一方は、第３光電変換部および第４光電変換部を有する、前記第１光電変換部および前記第２光電変換部を有する前記画素とは異なる画素を更に備え、
前記第３光電変換部および前記第４光電変換部の受光面に結像面を有するマイクロレンズを更に備え、
前記演算部は、前記第３光電変換部が出力した信号と、前記第４光電変換部が出力した信号と、の相関を演算することにより被写体距離を演算する撮像装置。 The imaging device according to claim 3.
One of the first image sensor and the second image sensor has a third photoelectric conversion unit and a fourth photoelectric conversion unit, and is different from the pixel having the first photoelectric conversion unit and the second photoelectric conversion unit. Further comprising pixels,
A microlens having an imaging surface on the light receiving surfaces of the third photoelectric conversion unit and the fourth photoelectric conversion unit;
The imaging unit calculates an object distance by calculating a correlation between a signal output from the third photoelectric conversion unit and a signal output from the fourth photoelectric conversion unit. 請求項２から請求項５までのいずれか一項に記載の撮像装置において、
前記演算部は、前記第１撮像素子が出力した信号に含まれる前記変調光の信号により被写体距離を演算し、
前記画像生成部は、前記第２撮像素子により出力された信号から前記画像データを生成する撮像装置。 In the imaging device according to any one of claims 2 to 5,
The calculation unit calculates a subject distance based on the modulated light signal included in the signal output from the first image sensor,
The image generating unit generates the image data from a signal output from the second image sensor. 請求項２から請求項６までのいずれか一項に記載の撮像装置において、
前記画像生成部は、前記第２撮像素子により出力された信号から前記変調光の信号を減算して前記画像データを生成する撮像装置。 In the imaging device according to any one of claims 2 to 6,
The imaging apparatus, wherein the image generation unit generates the image data by subtracting a signal of the modulated light from a signal output from the second imaging element. 請求項１から請求項７までのいずれか一項に記載の撮像装置において、
所定のデューティ比を有するパルス波または所定の周波数を有する正弦波の波形を有する前記変調光を被写体に向けて放出する光源部を更に備える撮像装置。 In the imaging device according to any one of claims 1 to 7,
An imaging apparatus further comprising a light source unit that emits the modulated light having a pulse wave having a predetermined duty ratio or a sinusoidal waveform having a predetermined frequency toward a subject. 請求項１から請求項８までのいずれか一項に記載の撮像装置において、
前記第１撮像素子と前記第２撮像素子との一方は、有機光電変換膜により光電変換を行う撮像装置。 In the imaging device according to any one of claims 1 to 8,
One of the first imaging element and the second imaging element is an imaging apparatus that performs photoelectric conversion by an organic photoelectric conversion film. 変調光を含む入射光の一部を光電変換して残りを透過する第１撮像素子と、
前記入射光の残りを光電変換する第２撮像素子と、
前記第１撮像素子と前記第２撮像素子との一方が出力した信号に含まれる前記変調光の信号により被写体距離を演算する演算部と、
を備える測距装置。
A first imaging element that photoelectrically converts a part of incident light including modulated light and transmits the remainder;
A second image sensor that photoelectrically converts the remainder of the incident light;
A calculation unit that calculates a subject distance based on a signal of the modulated light included in a signal output from one of the first image sensor and the second image sensor;
Ranging device comprising.
JP2016125258A 2016-06-24 2016-06-24 Imaging device Active JP6821967B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016125258A JP6821967B2 (en) 2016-06-24 2016-06-24 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016125258A JP6821967B2 (en) 2016-06-24 2016-06-24 Imaging device

Publications (2)

Publication Number Publication Date
JP2017229001A true JP2017229001A (en) 2017-12-28
JP6821967B2 JP6821967B2 (en) 2021-01-27

Family

ID=60892135

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016125258A Active JP6821967B2 (en) 2016-06-24 2016-06-24 Imaging device

Country Status (1)

Country Link
JP (1) JP6821967B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015162562A (en) * 2014-02-27 2015-09-07 株式会社ニコン Imaging apparatus and digital camera
WO2020172812A1 (en) * 2019-02-27 2020-09-03 深圳市汇顶科技股份有限公司 Imaging system, and pixel array and image sensor thereof
WO2024135561A1 (en) * 2022-12-20 2024-06-27 株式会社ジャパンディスプレイ Detection device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011243862A (en) * 2010-05-20 2011-12-01 Sony Corp Imaging device and imaging apparatus
JP2012029130A (en) * 2010-07-26 2012-02-09 Konica Minolta Opto Inc Imaging device and image input device
JP2015026895A (en) * 2013-07-24 2015-02-05 株式会社ニコン Imaging device
JP2015162562A (en) * 2014-02-27 2015-09-07 株式会社ニコン Imaging apparatus and digital camera
WO2016076328A1 (en) * 2014-11-10 2016-05-19 株式会社ニコン Light detection device, image-capturing device, and image-capturing element

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011243862A (en) * 2010-05-20 2011-12-01 Sony Corp Imaging device and imaging apparatus
JP2012029130A (en) * 2010-07-26 2012-02-09 Konica Minolta Opto Inc Imaging device and image input device
JP2015026895A (en) * 2013-07-24 2015-02-05 株式会社ニコン Imaging device
JP2015162562A (en) * 2014-02-27 2015-09-07 株式会社ニコン Imaging apparatus and digital camera
WO2016076328A1 (en) * 2014-11-10 2016-05-19 株式会社ニコン Light detection device, image-capturing device, and image-capturing element

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015162562A (en) * 2014-02-27 2015-09-07 株式会社ニコン Imaging apparatus and digital camera
WO2020172812A1 (en) * 2019-02-27 2020-09-03 深圳市汇顶科技股份有限公司 Imaging system, and pixel array and image sensor thereof
US11442170B2 (en) 2019-02-27 2022-09-13 Shenzhen GOODIX Technology Co., Ltd. Imaging system, pixel array of imaging system and image sensor
WO2024135561A1 (en) * 2022-12-20 2024-06-27 株式会社ジャパンディスプレイ Detection device

Also Published As

Publication number Publication date
JP6821967B2 (en) 2021-01-27

Similar Documents

Publication Publication Date Title
US10638118B2 (en) Time-of-flight camera system
US11561085B2 (en) Resolving multipath interference using a mixed active depth system
KR101348522B1 (en) Solid state imaging device and distance image measurement device
US8530811B2 (en) Light field image sensor, method and applications
US20190181169A1 (en) Differential pixel circuit and method of computer vision applications
US10091492B2 (en) Imaging apparatuses and a time of flight imaging method
CN111758047B (en) Single chip RGB-D camera
US10491842B2 (en) Imaging device, a solid-state imaging device for use in the imaging device
KR20160032014A (en) A method for driving a time-of-flight system
JP6716902B2 (en) Electronics
US20150001664A1 (en) Multispectral sensor
JP2008533478A (en) 3-D imaging system
JP6821967B2 (en) Imaging device
JP2015510259A (en) Color invisible light sensor, eg IR sensor, ie multispectral sensor
TWI718765B (en) Image sensing device
JP2016092738A (en) Imaging element and imaging apparatus
US10410374B2 (en) Image sensors with calibrated phase detection pixels
JP2021013179A (en) Imaging device and distance measuring device
JP2017133931A (en) Image creation device, and distance image and color image creation method
JP2024082238A (en) Device for distance measurement
JP2009128215A (en) Spectroscopic measuring instrument

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200212

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200612

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20200612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200707

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201221

R150 Certificate of patent or registration of utility model

Ref document number: 6821967

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250