JP2021125716A - Solid imaging device and electronic apparatus - Google Patents
Solid imaging device and electronic apparatus Download PDFInfo
- Publication number
- JP2021125716A JP2021125716A JP2020015755A JP2020015755A JP2021125716A JP 2021125716 A JP2021125716 A JP 2021125716A JP 2020015755 A JP2020015755 A JP 2020015755A JP 2020015755 A JP2020015755 A JP 2020015755A JP 2021125716 A JP2021125716 A JP 2021125716A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- transistor
- signal
- pixel
- photoelectric conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title abstract description 86
- 239000007787 solid Substances 0.000 title abstract 2
- 238000012546 transfer Methods 0.000 claims abstract description 87
- 238000006243 chemical reaction Methods 0.000 claims abstract description 56
- 230000003321 amplification Effects 0.000 claims abstract description 23
- 238000003199 nucleic acid amplification method Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims description 82
- 238000000034 method Methods 0.000 claims description 60
- 239000000758 substrate Substances 0.000 claims description 46
- 239000004065 semiconductor Substances 0.000 claims description 39
- 230000008569 process Effects 0.000 claims description 34
- 238000003860 storage Methods 0.000 claims description 30
- 238000009825 accumulation Methods 0.000 abstract description 6
- 238000001514 detection method Methods 0.000 description 77
- 230000003071 parasitic effect Effects 0.000 description 40
- 238000000926 separation method Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 19
- 238000004891 communication Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 17
- 230000009467 reduction Effects 0.000 description 15
- 238000009826 distribution Methods 0.000 description 14
- 238000002674 endoscopic surgery Methods 0.000 description 12
- 101100042610 Arabidopsis thaliana SIGB gene Proteins 0.000 description 11
- 239000010410 layer Substances 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 9
- 210000001519 tissue Anatomy 0.000 description 8
- 101100042615 Arabidopsis thaliana SIGD gene Proteins 0.000 description 6
- 101100042617 Arabidopsis thaliana SIGE gene Proteins 0.000 description 6
- 101100294408 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) MOT2 gene Proteins 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 101150117326 sigA gene Proteins 0.000 description 6
- 101100421503 Arabidopsis thaliana SIGA gene Proteins 0.000 description 5
- 101100042613 Arabidopsis thaliana SIGC gene Proteins 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000001356 surgical procedure Methods 0.000 description 5
- 230000005284 excitation Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 4
- 229910052721 tungsten Inorganic materials 0.000 description 4
- 239000010937 tungsten Substances 0.000 description 4
- 101100398918 Arabidopsis thaliana IPMS2 gene Proteins 0.000 description 3
- 101100455985 Arabidopsis thaliana MAM3 gene Proteins 0.000 description 3
- 101100018850 Luffa aegyptiaca IMS1 gene Proteins 0.000 description 3
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 238000010336 energy treatment Methods 0.000 description 3
- 238000002955 isolation Methods 0.000 description 3
- 238000010030 laminating Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 229910052814 silicon oxide Inorganic materials 0.000 description 3
- 239000010936 titanium Substances 0.000 description 3
- 208000005646 Pneumoperitoneum Diseases 0.000 description 2
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 239000003153 chemical reaction reagent Substances 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- MOFVSTNWEDAEEK-UHFFFAOYSA-M indocyanine green Chemical compound [Na+].[O-]S(=O)(=O)CCCCN1C2=CC=C3C=CC=CC3=C2C(C)(C)C1=CC=CC=CC=CC1=[N+](CCCCS([O-])(=O)=O)C2=CC=C(C=CC=C3)C3=C2C1(C)C MOFVSTNWEDAEEK-UHFFFAOYSA-M 0.000 description 2
- 229960004657 indocyanine green Drugs 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000011810 insulating material Substances 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 229910052719 titanium Inorganic materials 0.000 description 2
- FYYHWMGAXLPEAU-UHFFFAOYSA-N Magnesium Chemical compound [Mg] FYYHWMGAXLPEAU-UHFFFAOYSA-N 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 229910004298 SiO 2 Inorganic materials 0.000 description 1
- NRTOMJZYCJJWKI-UHFFFAOYSA-N Titanium nitride Chemical compound [Ti]#N NRTOMJZYCJJWKI-UHFFFAOYSA-N 0.000 description 1
- QCWXUUIWCKQGHC-UHFFFAOYSA-N Zirconium Chemical compound [Zr] QCWXUUIWCKQGHC-UHFFFAOYSA-N 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000002073 fluorescence micrograph Methods 0.000 description 1
- 229910052735 hafnium Inorganic materials 0.000 description 1
- VBJZVLUMGGDVMO-UHFFFAOYSA-N hafnium atom Chemical compound [Hf] VBJZVLUMGGDVMO-UHFFFAOYSA-N 0.000 description 1
- 229910000449 hafnium oxide Inorganic materials 0.000 description 1
- WIHZLLGSGQNAGK-UHFFFAOYSA-N hafnium(4+);oxygen(2-) Chemical compound [O-2].[O-2].[Hf+4] WIHZLLGSGQNAGK-UHFFFAOYSA-N 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 229910052747 lanthanoid Inorganic materials 0.000 description 1
- 150000002602 lanthanoids Chemical class 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 239000011777 magnesium Substances 0.000 description 1
- 229910052749 magnesium Inorganic materials 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 210000004400 mucous membrane Anatomy 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 229910052715 tantalum Inorganic materials 0.000 description 1
- GUVRBAGPIYLISA-UHFFFAOYSA-N tantalum atom Chemical compound [Ta] GUVRBAGPIYLISA-UHFFFAOYSA-N 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 229910052727 yttrium Inorganic materials 0.000 description 1
- VWQVUPCCIRVNHF-UHFFFAOYSA-N yttrium atom Chemical compound [Y] VWQVUPCCIRVNHF-UHFFFAOYSA-N 0.000 description 1
- 229910052726 zirconium Inorganic materials 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/62—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
- H04N25/625—Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of smear
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Power Engineering (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
Description
本開示は、固体撮像装置及び電子機器に関する。 The present disclosure relates to a solid-state image sensor and an electronic device.
CMOS(Complementary Metal-Oxide-Semiconductor)イメージセンサなどの固体撮像装置において、全画素の露光期間を揃えるグローバルシャッタ方式が知られている(例えば特許文献1を参照)。 In a solid-state image sensor such as a CMOS (Complementary Metal-Oxide-Semiconductor) image sensor, a global shutter method for aligning the exposure periods of all pixels is known (see, for example, Patent Document 1).
固体撮像装置の画素には、信号電荷だけでなくノイズ電荷も生じる。特許文献1は、ノイズ電荷と、信号電荷及びノイズ電荷とを順に取得し、それらを用いてノイズ電荷の影響を低減する手法を提案する。しかしこの手法では、ノイズ電荷の取得と信号電荷及びノイズ電荷の取得との間のタイムラグによってそれぞれのノイズ電荷量に相違が生じ、ノイズ電荷の影響を十分に低減できない可能性がある。とくにタイムラグの間に被写体の位置、輝度が変化する場合に課題が顕在化する。 Not only signal charges but also noise charges are generated in the pixels of the solid-state image sensor. Patent Document 1 proposes a method of acquiring a noise charge, a signal charge, and a noise charge in order, and using them to reduce the influence of the noise charge. However, in this method, the time lag between the acquisition of the noise charge and the acquisition of the signal charge and the noise charge causes a difference in the amount of each noise charge, and there is a possibility that the influence of the noise charge cannot be sufficiently reduced. In particular, the problem becomes apparent when the position and brightness of the subject change during the time lag.
本開示は、ノイズ電荷の影響を低減することが可能な固体撮像装置及び電子機器を提供することを目的とする。 It is an object of the present disclosure to provide a solid-state image sensor and an electronic device capable of reducing the influence of noise charge.
本開示の一側面に係る固体撮像装置は、複数の単位画素を備える画素アレイと、複数の単位画素それぞれを露光期間が揃うように駆動する駆動部と、駆動部による駆動に基づいて複数の単位画素それぞれから信号線に出力された画素信号を処理する信号処理回路と、を備え、複数の単位画素の各々は、光電変換部と、光電変換部に接続された第1転送トランジスタと、第1転送トランジスタを介して光電変換部に接続され、光電変換部で発生した信号電荷を保持するメモリ部と、メモリ部に接続された第2転送トランジスタと、第2転送トランジスタを介してメモリ部に接続され、メモリ部から転送された電荷を蓄積する蓄積部と、蓄積部に蓄積された電荷に基づく電圧値の画素信号を信号線に出現させる増幅トランジスタと、光電変換部に接続された第1排出トランジスタと、光電変換部に接続された第2排出トランジスタと、を備える。 The solid-state imaging device according to one aspect of the present disclosure includes a pixel array including a plurality of unit pixels, a drive unit that drives each of the plurality of unit pixels so that the exposure period is uniform, and a plurality of units based on the drive by the drive unit. A signal processing circuit for processing a pixel signal output from each pixel to a signal line is provided, and each of the plurality of unit pixels includes a photoelectric conversion unit, a first transfer transistor connected to the photoelectric conversion unit, and a first unit. A memory unit that is connected to the photoelectric conversion unit via a transfer transistor and holds the signal charge generated by the photoelectric conversion unit, a second transfer transistor connected to the memory unit, and a second transfer transistor connected to the memory unit via the second transfer transistor. A storage unit that stores the charge transferred from the memory unit, an amplification transistor that causes a pixel signal of a voltage value based on the charge stored in the storage unit to appear on the signal line, and a first discharge connected to the photoelectric conversion unit. It includes a transistor and a second emission transistor connected to a photoelectric conversion unit.
以下に、本開示の一実施形態について図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。 Hereinafter, one embodiment of the present disclosure will be described in detail with reference to the drawings. In the following embodiments, the same parts are designated by the same reference numerals, so that duplicate description will be omitted.
以下に示す項目順序に従って本開示を説明する。
1. はじめに
2. 実施形態
2.1 電子機器の概略構成例
2.2 固体撮像装置の概略構成例
2.3 単位画素の等価回路例
2.4 単位画素の平面レイアウト例
2.5 単位画素の断面構造の例
2.6 単位画素の配置例
2.7 ノイズ低減処理の例
2.8 撮像処理の例
3. 変形例
3.1 単位画素の等価回路例
3.2 単位画素の平面レイアウト例
3.3 OR回路の例
3.4 裏面照射型の例
3.5 1画素1ADCの例
4. 効果
5. 移動体への応用例
6. 内視鏡手術システムへの応用例
The present disclosure will be described according to the order of items shown below.
1. 1. Introduction 2. Embodiment 2.1 Schematic configuration example of an electronic device 2.2 Schematic configuration example of a solid-state image sensor 2.3 Equivalent circuit example of a unit pixel 2.4 Plane layout example of a unit pixel 2.5 Cross-sectional structure example of a unit pixel 2 6.6 Example of unit pixel arrangement 2.7 Example of noise reduction processing 2.8 Example of imaging processing 3. Modification example 3.1 Example of equivalent circuit of unit pixel 3.2 Example of plane layout of unit pixel 3.3 Example of OR circuit 3.4 Example of back-illuminated type 3.5 Example of 1 pixel 1ADC 4. Effect 5. Application example to mobile body 6. Application example to endoscopic surgery system
1. はじめに
固体撮像装置は、デジタルスチルカメラ、デジタルビデオカメラなどの電子機器に幅広く用いられている。そのような固体撮像装置の動作方式として、ローリングシャッタ方式及びグローバルシャッタ方式が知られている。ローリングシャッタ方式は、画像出力タイミングに合わせて、画素部の上方の列から下方の列へ露光期間をずらしながら撮像をする方式で、必要最小限の回路規模で実現できる。但し、露光期間をずらすことでフォーカルプレーン歪という特有の画質劣化が発生する。これに対し、グローバルシャッタ方式では、フォーカルプレーン歪が発生しない。グローバルシャッタ方式の固体撮像装置では、画素毎にメモリ部を設けることにより、各画素における蓄積の同時性が実現される。
1. 1. Introduction Solid-state image sensors are widely used in electronic devices such as digital still cameras and digital video cameras. A rolling shutter method and a global shutter method are known as operation methods of such a solid-state image sensor. The rolling shutter method is a method of taking an image while shifting the exposure period from the upper row to the lower row of the pixel portion according to the image output timing, and can be realized with the minimum necessary circuit scale. However, by shifting the exposure period, a peculiar image quality deterioration called focal plane distortion occurs. On the other hand, in the global shutter method, focal plane distortion does not occur. In the global shutter type solid-state image sensor, the simultaneity of storage in each pixel is realized by providing a memory unit for each pixel.
画素毎に記憶素子が設けられていると、電荷保持中のメモリ部に光が漏れ込むことによるノイズ電荷の発生、すなわちスミアの発生による画質の劣化が懸念される。ここで、専用のスミア検出画素を画素アレイ中に配置してスミア発生量(ノイズ信号)を検出し、画素信号から減算することでスミア成分を抑圧することは可能である。スミア検出精度はスミア検出画素の配置密度と比例関係にあり、スミア検出画素の数を増やすことでスミア検出精度は上昇するが、その分、撮像用画素の数が減り画質劣化の要因となる。 If a storage element is provided for each pixel, there is a concern that noise charge may be generated due to light leaking into the memory portion holding the charge, that is, image quality may be deteriorated due to smear generation. Here, it is possible to suppress the smear component by arranging dedicated smear detection pixels in the pixel array to detect the amount of smear generation (noise signal) and subtracting it from the pixel signal. The smear detection accuracy is proportional to the arrangement density of the smear detection pixels, and the smear detection accuracy increases by increasing the number of smear detection pixels, but the number of imaging pixels decreases by that amount, which causes deterioration of image quality.
本実施形態の一側面によれば、ノイズ電荷の影響の低減と、上述のスミア検出精度と撮像用画素の減少とのトレードオフの解消との両立が実現される。 According to one aspect of the present embodiment, it is possible to achieve both reduction of the influence of noise charge and elimination of the trade-off between the above-mentioned smear detection accuracy and reduction of imaging pixels.
2. 第1の実施形態
2.1 電子機器の概略構成例
図1は、実施形態に係る固体撮像装置が搭載された、実施形態に係る電子機器の概略構成の例を示すブロック図である。この例では、電子機器は、カメラである。電子機器1は、撮像レンズ10と、固体撮像装置100と、プロセッサ20と、記憶部30とを含む。
2. 1st Embodiment 2.1 Schematic configuration example of an electronic device FIG. 1 is a block diagram showing an example of a schematic configuration of an electronic device according to an embodiment on which the solid-state image sensor according to the embodiment is mounted. In this example, the electronic device is a camera. The electronic device 1 includes an
撮像レンズ10は、入射光を集光し、その像を固体撮像装置に結像する。ただしレンズ以外の光学系が用いられてもよい。固体撮像装置100は、受光面に入射した光を電気信号に変換し(光電変換し)、画像データを生成する。固体撮像装置100の詳細については、後に図2以降を参照して説明する。プロセッサ20は、固体撮像装置100を制御する。例えば、プロセッサ20は、固体撮像装置100で生成された画像データを処理する。この他に、プロセッサ20は、電子機器1に必要な種々の処理を実行する。電子機器1がカメラである場合、露光制御(AE:Auto Exposure)、オートフォーカス(AF:Auto Focus)等の処理がプロセッサ20によって実行される。記憶部30は、固体撮像装置100によって生成された画像データを記憶する。この他に、記憶部30は、プロセッサ20によって実行される処理に必要な種々のデータを記憶する。
The
2.2 固体撮像装置の概略構成例
図2及び図3は、固体撮像装置の概略構成例を示す図である。図2に示す例では、固体撮像装置100は、CMOSイメージセンサである。固体撮像装置100は、画素アレイ40と、垂直駆動部50と、水平駆動部60と、カラム信号処理回路70と、モード切替信号分配部80と、ロジック回路90とを含む。
2.2 Schematic configuration example of the solid-state image sensor FIGS. 2 and 3 are diagrams showing a schematic configuration example of the solid-state image sensor. In the example shown in FIG. 2, the solid-
画素アレイ40は、複数の単位画素400を備える。複数の単位画素400は、2次元格子状(行列状ともいう)に配置される。各単位画素400には、垂直駆動部50に接続された画素駆動線が接続され、垂直駆動信号が供給される。各単位画素400の画素信号は、VSL(垂直信号線)420に出現する。本実施形態では、さらに、各単位画素400に、モード切替信号分配部80に接続されたモード切替信号分配線が接続され、動作モード切替え信号が供給される。単位画素400のさらなる詳細については、後に図4〜図6を参照して説明する。
The
垂直駆動部50は、複数の単位画素400を駆動する。垂直駆動部50は、画素アレイ40の行方向に延びる画素駆動線に、駆動信号を供給する。これにより、複数の単位画素400が、行単位で駆動される。駆動信号の例は、パルス信号である。駆動のタイミングは、信号SIG1に基づいて制御される。信号SIG1は、ロジック回路90の駆動制御部91(後述)から、垂直駆動部50に供給される。垂直駆動部50は、シフトレジスタ、アドレスデコーダなどで構成されてよい。垂直駆動部50は、単位画素400を行単位で順次垂直方向に選択走査し、単位画素400の各々のPD401で受光量に応じて発生した信号電荷に基づく画素信号を、VSL420を通してカラム信号処理回路70に供給する。
The
水平駆動部60は、複数の単位画素400を駆動する。水平駆動部60は、画素アレイ40の列方向に延びる画素駆動線に、駆動信号を供給する。これにより、複数の単位画素400が、行単位で駆動(選択)される。駆動信号の例は、パルス信号である。駆動のタイミングは、信号SIG2に基づいて制御される。信号SIG2は、駆動制御部91から水平駆動部60に供給される。選択された列の単位画素400から出力された画素信号は、列方向に延びる列信号線(垂直信号線(VSL)420に相当)に入力され、カラム信号処理回路70の列ごとのAD変換部(単位回路)でデジタル値に変換される。水平駆動部60は、シフトレジスタ、アドレスデコーダなどで構成されてよい。
The
カラム信号処理回路70は、垂直駆動部50及び水平駆動部60による駆動に基づいて複数の単位画素400それぞれから信号線(VSL420に相当)に出力された画素信号を処理する。カラム信号処理回路70は、各々が単位画素400の各列に対応した複数のAD変換部(図示しない)を含む。各AD変換部は、対応する列の単位画素400から出力されたアナログの画素信号を、デジタルの画素信号に変換する。デジタルの画素信号は、ロジック回路90における信号処理回路93(後述)に送られる。変換のタイミングは、信号SIG3に基づいて制御される。信号SIG3は、駆動制御部91からカラム信号処理回路70に供給される。なお、カラム信号処理回路70には、デジタル値に変換された画素信号を用いてCDS(相関二重サンプリング)等の処理を実行する回路が含まれてもよい。
The column
モード切替信号分配部80は、単位画素400のモード(後述)を切替えるための動作モード切替信号を、単位画素400に供給する。モード切替信号の供給(分配)対象となる単位画素400の選択は、信号SIG5に基づいて制御される。信号SIG5は、ロジック回路90のモード判定回路92(後述)からモード切替信号分配部80に供給される。
The mode switching
ロジック回路90は、画素アレイ40、垂直駆動部50、水平駆動部60、カラム信号処理回路70及びモード切替信号分配部80を制御するとともに、カラム信号処理回路70からの画素信号を処理するデジタル回路である。この例では、ロジック回路90は、駆動制御部91と、モード判定回路92と、信号処理回路93とを含む。
The
駆動制御部91は、駆動パラメータに基づいて、信号SIG1、信号SIG2、信号SIG3及び信号SIG4を生成する。先に述べたように、信号SIG1は、垂直駆動部50の駆動信号である。信号SIG2は、水平駆動部60の駆動信号である。信号SIG3は、カラム信号処理回路70の駆動信号である。信号SIG4は、信号処理回路93の駆動信号である。駆動制御部91は、外部の上位装置から与えられた駆動パラメータに基づき、各信号SIG1〜SIG4を生成する。上位装置は、電子機器1のプロセッサ20(図1)、その他のアプリケーションプロセッサ等である。駆動パラメータには、動作基準となるクロック信号の他に、フレームレート、ROI(Region Of Interest)の指定、HDR(High Dynamic Range)とLDR(Low Dynamic Range)との切替え等が含まれてもよい。
The
モード判定回路92は、信号SIG5を生成する。信号SIG5は、画素アレイ40における各単位画素400の動作モードを切替える信号である。図2に示す例では、モード判定回路92は、AE・AFステータス信号に基づいて、信号SIG5を生成する。AE・AFステータス信号は、AE及びAFの各々が実行中であるか否か、完了したか否か等を示す。AE・AFステータス信号は、プロセッサ20(図1)からモード判定回路92に送られる。また、モード判定回路92は、信号処理回路93からの信号に基づいて、画素アレイ40における各単位画素400の動作モードを切替える信号SIG5を生成する。モード判定回路92は、プロセッサ20からの指示に応じて信号SIG5を生成してもよい。なお、各単位画素400の動作モードの切替えについては、後述において説明する。
The mode determination circuit 92 generates the signal SIG5. The signal SIG 5 is a signal for switching the operation mode of each
信号処理回路93は、カラム信号処理回路70から出力された行ごと又はフレームごとの画像データに対してホワイトバランス調整等の信号処理を実行する。信号処理が施された画像データは、プロセッサ20及び/又は記憶部30(図1)に出力される。デジタル信号の処理のタイミングは、信号SIG4に基づいて制御される。信号SIG4は、駆動制御部91から信号処理回路93に供給される。
The
2.3 単位画素の等価回路例
図4は、単位画素の等価回路例を示す図である。なお、本説明における単位画素とは、1つの読出し回路と、これに接続された1又は複数の光電変換部とからなる画素であってよい。ただし、以下の説明では、簡略化のため、1つの読出し回路に1つの光電変換部が接続された場合を例示する。
2.3 Example of equivalent circuit of unit pixel FIG. 4 is a diagram showing an example of an equivalent circuit of unit pixel. The unit pixel in the present description may be a pixel composed of one readout circuit and one or a plurality of photoelectric conversion units connected to the reading circuit. However, in the following description, for simplification, a case where one photoelectric conversion unit is connected to one readout circuit will be illustrated.
図4に例示する単位画素400は、PD(フォトダイオード)401と、読出し回路460とを備える。読出し回路460は、例えば、MEM(メモリ)402、FD(フローティングディフュージョン)403、第1転送トランジスタ405、第2転送トランジスタ406、リセットトランジスタ409、第1排出トランジスタ404、第2排出トランジスタ410、増幅トランジスタ407及び選択トランジスタ408を含む。読出し回路460を構成する各トランジスタは、例えば、N型のMOSトランジスタである。ただし、これに限定されず、一部又は全部をP型のMOSトランジスタで構成することも可能である。また、回路に供給される複数の電源電圧を、電源線VDDと称して図示する。各電源線VDDは、異なる電圧値を有していてもよい。各電源線VDDは、同じ電源から供給されてもよいし異なる電源から供給されてもよい。なお、基準電位を有するグラウンドGNDも図示される。
The
PD401は、入射光に対応する電荷を発生させる光電変換部である。PD401のアノードは、グラウンドGNDに接続される。PD401のカソードは、第1排出トランジスタ404の両端(この例ではソース及びドレイン)を介して、電源線VDDに接続される。第1排出トランジスタ404は、オーバーフローゲートとも称される。第1排出トランジスタ404の制御端(この例ではゲート)に制御電圧OFGが印加されると、第1排出トランジスタ404の両端が導通し、PD401のカソードに蓄積されている電荷が電源線VDDに放出(リセット)される。制御電圧OFGは、垂直駆動部50(図1)から供給される。さらに、PD401のカソードは、第1転送トランジスタ405の両端を介してMEM402に接続され、第2排出トランジスタ410の両端を介して電源線VDDに接続される。
PD401 is a photoelectric conversion unit that generates an electric charge corresponding to incident light. The anode of PD401 is connected to the ground GND. The cathode of the PD401 is connected to the power supply line VDD via both ends (source and drain in this example) of the
MEM402は、PD401で発生した電荷を保持するメモリ部である。MEM402は、第1転送トランジスタ405の両端を介して、PD401のカソードに接続される。第1転送トランジスタ405は、PD401の電荷をMEM402に転送するための転送ゲートである。第1転送トランジスタ405の制御端に制御電圧TRXが印加されると、第1転送トランジスタ405の両端が導通し、PD401からMEM402に電荷が転送される。制御電圧TRXは、垂直駆動部50(図1)から供給される。MEM402は、例えば埋め込みチャネルのCCD(Charge Coupled Device)である。
The
FD403は、MEM402から転送される電荷を蓄積し、これを電荷量に応じた電圧値の電圧に変換する電荷電圧変換機能を備える蓄積部である。FD403は、第2転送トランジスタ406の両端を介して、MEM402に接続される。第2転送トランジスタ406は、MEM402の電荷をFD403に転送するための転送ゲートである。第2転送トランジスタ406の制御端に制御電圧TRGが印加されると、第2転送トランジスタ406の両端が導通し、MEM402からFD403に電荷が転送される。制御電圧TRGは、垂直駆動部50(図1)から供給される。FD403に蓄積された電荷量に応じた電圧値の電圧は、増幅トランジスタ407で所定の増幅ゲインで増幅された後、選択トランジスタ408を介して、VSL420に出現する。増幅トランジスタ407の制御端はFD403に接続され、両端は電源線VDDと選択トランジスタ408との間に接続される。選択トランジスタ408は、行選択トランジスタである。選択トランジスタ408の制御端に制御電圧SELが印加されると、増幅トランジスタ407のドレイン端が選択トランジスタ408の両端を介してVSL420に接続される。それにより、増幅トランジスタ407によって増幅された電圧が、画素信号としてVSL420に出現する。制御電圧SELは、水平駆動部60(図1)から供給される。
The
FD403は、リセットトランジスタ409の両端を介して、電源線VDDに接続される。リセットトランジスタ409は、FD403をリセットするためのリセットトランジスタである。リセットトランジスタ409は、第1リセット部を構成する。リセットトランジスタ409の制御端に制御電圧RSTが印加されると、リセットトランジスタ409の両端が導通し、FD403に蓄積されている電荷が電源線VDDに放出される(FDリセット)。制御電圧RSTは、垂直駆動部50(図1)から供給される。さらに第2転送トランジスタ406が導通していれば、MEM402に蓄積されている電荷も放出(リセット)される(MEMリセット)。この第2転送トランジスタ406も第1リセット部を構成しうる。さらに第1転送トランジスタ405が導通していれば、PD401のカソードに蓄積されている電荷も放出(リセット)される(PDリセット)。この第1転送トランジスタ405も、第1リセット部を構成しうる。
The
第2排出トランジスタ410は、PD401に接続され、PD401の露光(すなわち電荷蓄積)の有効/無効を切替えるためのリセットトランジスタである。言い換えれば、第2排出トランジスタ410は、当該単位画素400を後述するスミア検出信号を生成するための単位画素400として機能させるためのリセットトランジスタである。第2排出トランジスタ410は、第2リセット部を構成する。第2排出トランジスタ410の制御端に制御電圧DCGが印加されると、第2排出トランジスタ410の両端が導通し、PD401で発生した電荷が電源線VDDに放出(リセット)されるようになり、それにより、PD401の露光が無効とされる。制御電圧DCGは、モード切替信号分配部80(図1)から供給される。なお、この例では、第2排出トランジスタ410は、第1排出トランジスタ404に対して並列に設けられる。第2排出トランジスタ410のさらなる詳細については後述する。
The
このように、本実施形態では、3つのリセットトランジスタ、すなわちリセットトランジスタ409、第1排出トランジスタ404及び第2排出トランジスタ410を備える。リセットトランジスタ409は、画素リセット用のリセットトランジスタとして用いられる。第1排出トランジスタ404は、電子シャッタ、すなわち、PD401の露光時間(蓄積期間ともいう)を制御するためのリセットトランジスタとして用いられる。第2排出トランジスタ410は、単位画素400をスミア検出信号生成用の画素として機能させるためのリセットトランジスタとして用いられる。
As described above, the present embodiment includes three reset transistors, that is, a
2.4 画素の平面レイアウト例
図5は、単位画素400の平面レイアウト例を示す図である。単位画素400の各要素が、先に図4を参照して説明した単位画素400の等価回路を構成するように、基板450に形成される。基板450は、半導体基板である。図において、基板面に平行な面をXY平面とするXYZ座標系が示される。図4には、単位画素400の要素のうち、PD401、MEM402、FD403、第1排出トランジスタ404、第1転送トランジスタ405、第2転送トランジスタ406及び第2排出トランジスタ410のみが示され、他の要素は“Other elements”として省略して示す。この平面レイアウトでは、MEM402は、基板厚方向(Z軸方向)において第1転送トランジスタ405と重複しており、破線で示される。なお、単位画素400のいくつかの構成要素は、基板450における光の入射面ではなく、反対側の面に配置されてよい。例えば、第1転送トランジスタ405、MEM402、第2転送トランジスタ406、FD403、増幅トランジスタ407、第1排出トランジスタ404及び第2排出トランジスタ410のうちの少なくとも1つが、基板450における光の入射面とは反対側の面に配置されてよい。
2.4 Pixel Plane Layout Example FIG. 5 is a diagram showing a plan layout example of
ここで、第1排出トランジスタ404及び第2排出トランジスタ410の配置について説明すると、図5に示す例では、第1排出トランジスタ404及び第2排出トランジスタ410はいずれも横置き型のトランジスタであり、互いに平面上に並んで配置される。ただし、第1排出トランジスタ404及び第2排出トランジスタ410の一方又は両方が縦置き型のトランジスタであってもよい。
Here, the arrangement of the
2.5 単位画素の断面構造の例
図6Aは、図5のA−A線に沿った単位画素400の断面構造の例を示す図である。この例では、固体撮像装置100は、表面照射型の固体撮像装置である。PD401は、基板450の表面部分から裏面側に向かって(Z軸負方向に向かって)p型半導体領域及びn型半導体領域をこの順に設けることによって形成される。電源線VDDとのコンタクトは、基板450の表面部分にn型半導体領域を設けることによって形成される。第2排出トランジスタ410は、PD401と電源線VDDとの間にチャネルを形成するように、基板450の表面上に、基板450と絶縁された状態で設けられる。
2.5 Example of cross-sectional structure of unit pixel FIG. 6A is a diagram showing an example of a cross-sectional structure of
図6Bは、図5のB−B線に沿った単位画素400の断面構造の例を示す図である。図6Bは、図6Aと比較して、第2排出トランジスタ410に代えて第1排出トランジスタ404の断面が示される点において相違する。第1排出トランジスタ404は、PD401と電源線VDDとの間にチャネルを形成するように、基板450の表面上に、基板450と絶縁された状態で設けられる。
FIG. 6B is a diagram showing an example of a cross-sectional structure of the
以上説明した単位画素400を備える固体撮像装置100は、垂直駆動部50及び水平駆動部60が、複数の単位画素400それぞれを露光期間が揃うように駆動することで、グローバルシャッタ方式の固体撮像装置として動作し得る。グローバルシャッタ方式の動作は公知の動作であってよいため、ここでは詳細な説明は省略する。動作例を端的に述べると、PD401による光電変換、MEM402への電荷転送、FD403への電荷転送、増幅トランジスタ407による電荷電圧変換、読出し対象行の選択が順に実行されるように、垂直駆動部50が信号SIG1に基づいて動作する。水平駆動部60及びカラム信号処理回路70は、選択トランジスタ408を介してVSL420に出現したアナログの画素信号が行ごとにデジタルの画素信号に変換されるように、それぞれ信号SIG2、信号SIG3に基づいて動作する。信号処理回路93は、以上のように生成された行ごとの画素信号又はフレーム単位の画像データに対して所定の信号処理を実行するように、信号SIG4に基づいて動作する。
The solid-
さらに、実施形態に係る固体撮像装置100は、上述のようなグローバルシャッタ方式の固体撮像装置と比較して、各単位画素400が、第1モード及び第2モードの2つの動作モードを備える点において相違する。第1モードは、PD401の光電変換により発生した電荷(信号電荷)に基づく画素信号を生成する通常撮像モードである。第2モードは、主にMEM402で発生した寄生光成分の電荷(後述するノイズ電荷に相当)に基づく信号(以下、「スミア検出信号」という)を検出する寄生光検出モードである。信号SIG5は、これらのモード切替えに用いられる。一実施形態において、モード切替えは、第2排出トランジスタ410によって実現される。以下、第2排出トランジスタ410を用いたモード切替えの例について、再び図4を参照して説明する。
Further, in the solid-
上述したように、第2排出トランジスタ410が導通状態である期間、PD401に発生した電荷は、電源線VDDに放出される。すなわち、第2排出トランジスタ410が導通状態とされている期間、PD401の露光が無効とされる。そのため、MEM402には、入射光量に応じた電荷(信号電荷)が蓄積されず、主に、MEM402に素子内での反射光等(以下、「寄生光」という)が入射することで発生した電荷が蓄積されることになる。言い換えれば、本実施形態に係る第2排出トランジスタ410は、MEM402の状態を、少なくとも次に説明する第1状態と第2状態との間で切替える。なお、第1状態への切替えは、第2状態から第1状態へ切替えることのほか、第1状態を維持することも含む。第2状態への切替えは、第1状態から第2状態へ切替えることのほか、第2状態を維持することも含む。
As described above, the electric charge generated in the
第1状態は、MEM402が信号電荷を含む電荷を保持する状態である。より具体的に、第1状態では、MEM402は、露光期間中にPD401で発生する信号電荷と、MEM402で発生するノイズ電荷との合計電荷を保持する。このノイズ電荷には、素子内での反射光等がMEM402に漏れ込むことで発生する寄生光成分(以下、スミア成分ともいう)も含まれ得る。第1状態では、第2排出トランジスタ410は、遮断状態(OFF)に制御される。第1排出トランジスタ404は、PD401への露光期間に応じて導通状態(ON)と遮断状態とに制御される。
The first state is a state in which the
第2状態は、MEM402がノイズ電荷を保持する状態である。より具体的に、第2状態では、MEM402は、露光期間中にMEM402で発生するノイズ電荷を保持する。このノイズ電荷は、PD401で発生する信号電荷を含まない電荷である。そのようなノイズ電荷を得るために、第2状態では、第2排出トランジスタ410が導通状態に制御される。なお、第1排出トランジスタ404は、遮断状態及び導通状態のいずれに制御されてもよい。第2状態では、PD401がリセット状態にあるため、PD401には信号電荷が蓄積されず、したがって、ノイズ電荷のみがMEM402によって保持される。
The second state is a state in which the
複数の単位画素400の各々がMEM402を含むことによって、各画素は、第1モード及び第2モードのいずれかのモードに個別に切替えられる。なお、第1モードへの切替えは、第2モードから第1モードへ切替えることのほか、第1モードを維持することも含む。第2モードへの切替えは、第1モードから第2モードへ切替えることのほか、第2モードを維持することも含む。第1モードは、単位画素400を撮像用画素として機能させるためのモード(通常撮像モード)である。第1モードでは、MEM402が第1状態に切替えられる。第2モードは、単位画素400を寄生光検出画素として機能させるためのモード(寄生光検出モード)である。第2モードでは、MEM102が第2状態に切替えられる。複数の単位画素400の各々の第2排出トランジスタ410が個別制御可能であるので、固体撮像装置100は、複数の単位画素400のうちの一部の単位画素400を第1モードに切替え、他の単位画素400を第2モードに切替えることができる。すなわち、固体撮像装置100は、画素アレイ40中に、第1モードの画素と、第2モードの画素とを任意に配置することができる。第1モードに切替える画素及び第2モードに切替える画素の選択は、信号SIG5に基づいて行われる。
Each of the plurality of
2.6 単位画素の配置例
図7、図8A、図8B、図8C及び図8Dは、単位画素の配置例を示す図である。第1モードの単位画素を撮像用単位画素400−1と称して図示し、第2モードの単位画素を寄生光検出単位画素400−2と称して図示する。単位画素400全体に占める寄生光検出単位画素400−2の割合は、50%未満であってよい。好ましい寄生光検出単位画素400−2の割合の例は、25%以下(4画素中1画素以下)、6.25%以上(16画素中1画素以上)である。これにより、撮像用単位画素400−1で撮像される画像の解像度の低下を防ぎつつ、寄生光検出単位画素400−2による検出精度(とくにスミア領域の境界の精度)の低下も防ぐことができる。寄生光検出単位画素400−2は、画素アレイ40中に均等配置されてよい。均等配置の例としては、行方向(X軸方向)での等間隔配置、列方向(Y軸方向)での等間隔配置、斜め方向(X軸方向及びY軸方向に交差する軸方向)での等間隔配置等を挙げることができる。ただし、これらに限定されず画素アレイ40全体で発生するスミアをまんべんなく検出可能な配置であれば、種々変形されてよい。例えば、画素アレイ40を複数の領域に分割し、それらの領域においてのみ寄生光検出単位画素400−2が配置されるように制御してもよい。例えば図8A、図8B、図8C及び図8Dに示すように、画素アレイ40を4分割した領域のいずれかに、寄生光検出単位画素400−2を任意配置してもよい。図8Aの例では、画素アレイ40の左上の領域に寄生光検出単位画素400−2が配置される。図8Bの例では、画素アレイ40の左下の領域に寄生光検出単位画素400−2が配置される。図8Cの例では、画素アレイ40の右上の領域に寄生光検出単位画素400−2が配置される。図8Dでは、画素アレイ40の右下の領域に寄生光検出単位画素400−2が配置される。
2.6 Example of Arrangement of Unit Pixels FIGS. 7, 8A, 8B, 8C and 8D are diagrams showing an example of arrangement of unit pixels. The unit pixel of the first mode is referred to as an imaging unit pixel 400-1, and the unit pixel of the second mode is referred to as a parasitic light detection unit pixel 400-2. The ratio of the parasitic light detection unit pixel 400-2 to the
撮像用単位画素400−1の画素信号及び寄生光検出単位画素400−2の画素信号は、カラム信号処理回路70(図2)によってデジタル信号に変換された後、信号処理回路93に送られる。信号処理回路93は、次に図9及び図10を参照して説明するノイズ低減処理を実行する。ノイズ成分の例は、寄生光成分(スミア成分)である。なお、画素アレイ40において、単位画素400にスミア成分が発生するような高光量の光が入射される領域を、「高光量領域」と称する。言い換えると、スミア成分が検出されることは、高光量領域の存在を意味する。
The pixel signal of the imaging unit pixel 400-1 and the pixel signal of the parasitic light detection unit pixel 400-2 are converted into digital signals by the column signal processing circuit 70 (FIG. 2) and then sent to the
2.7 ノイズ低減処理の例
図9及び図10は、ノイズ低減処理の例を示す図である。図9に示すように、信号処理回路93には、撮像用単位画素400−1の画素信号がAD変換された画素信号PS1(第1の画素信号)及び寄生光検出単位画素400−2の画素信号がAD変換された画素信号PS2(第2の画素信号)が入力される。信号処理回路93は、補間回路93aと、偽信号推定回路93bと、減算回路93cと、分離回路93dとを含み、撮像された画素信号からスミア成分を除去する。
2.7 Example of noise reduction processing FIGS. 9 and 10 are diagrams showing an example of noise reduction processing. As shown in FIG. 9, the
分離回路93dは、カラム信号処理回路70から行単位又はフレーム単位で入力された画像信号PS1及び画素信号PS2を、撮像用単位画素400−1からの画像信号(すなわち、信号成分とノイズ成分(スミア検出信号に相当)とを含む画素信号)PXS1と、寄生光検出単位画素400−2からの画像信号(すなわち、ノイズ成分のみのスミア検出信号)PXS2とに分離する機能を備える。画素信号PXS2は、例えば図10Aに示すような高輝度画素に対応する。分離回路93dは、分離した信号のうち、撮像用単位画素400−1から読み出された画像信号PXS1を補間回路93a及び偽信号推定回路93bの両方に入力し、寄生光検出単位画素400−2から読み出されたスミア検出信号よりなる画像信号PXS2を偽信号推定回路93bに入力する。
The separation circuit 93d transmits the image signal PS1 and the pixel signal PS2 input from the column
補間回路93aは、分離回路93dから行単位又はフレーム単位で入力された画像信号PXS1において、寄生光検出単位画素400−2として動作することによって欠落した画素の画素値(画素信号に相当)を、例えば、周囲の撮像用単位画素400−1から読み出された画素値(画素信号に相当)に基づいて補間する処理を実行する。この画素補間には種々の公知の手法が用いられてもよい。また、補間回路93aは、画素補間がされた行単位又はフレーム単位の画像信号IMS1を減算回路93cに入力する。画像信号IMS1は、例えば図10Bに示すような画像の信号である。
The interpolation circuit 93a sets the pixel value (corresponding to the pixel signal) of the pixel missing by operating as the parasitic light detection unit pixel 400-2 in the image signal PXS1 input from the separation circuit 93d in line units or frame units. For example, a process of interpolating based on a pixel value (corresponding to a pixel signal) read from the surrounding imaging unit pixels 400-1 is executed. Various known methods may be used for this pixel interpolation. Further, the interpolation circuit 93a inputs the pixel-interpolated line-by-line or frame-by-frame image signal IMS1 to the
偽信号推定回路93bは、信号成分とノイズ成分とを含んだ画像信号PXS1と、ノイズ成分(スミア検出信号)からなる画像信号PXS2とから、画像信号PXS1におけるノイズ成分を推定する機能を備える。例えば、偽信号推定回路93bは、画像信号PXS2の値に基づいてスミアが発生している領域を特定し、画像信号PXS1においてこの特定した領域と対応する領域に含まれる各画素のノイズ成分を推定する。また、偽信号推定回路93bは、推定されたノイズ成分の画素信号IMS2を減算回路93cに入力する。画素信号IMS2は、例えば図10Cに示すような画像の信号である。
The false signal estimation circuit 93b has a function of estimating the noise component in the image signal PXS1 from the image signal PXS1 including the signal component and the noise component and the image signal PXS2 composed of the noise component (smear detection signal). For example, the false signal estimation circuit 93b identifies a region where smear is generated based on the value of the image signal PXS2, and estimates the noise component of each pixel included in the region corresponding to the specified region in the image signal PXS1. do. Further, the false signal estimation circuit 93b inputs the pixel signal IMS2 of the estimated noise component to the
減算回路93cは、補間回路93aから行単位又はフレーム単位で入力された画像信号IMS1から、偽信号推定回路93bから行単位又はフレーム単位で入力された画像信号IMS2(画素ごとに推定されたノイズ成分)を減算する。これにより、減算回路93cからは、ノイズ成分が除去された画像信号が出力される。出力される画像信号は、例えば図10Dに示すような画像の信号である。
The
画素アレイ40において、寄生光検出単位画素400−2は、高光量領域が存在する場合にのみ配置されてよい。例えば、前フレームで高光量領域の存在が検出された場合には先に図7及び図8を参照して説明したように寄生光検出単位画素400−2を配置し、そうでない場合には寄生光検出単位画素400−2を配置しなくても(すべての単位画素400を撮像用単位画素400−1にしても)よい。高光量領域が存在するか否かの判断は、前フレームにスミアが発生しているか否かに基づいて行われてもよい。この判断は、信号処理回路93で実行されてもよいし、信号処理回路93から処理結果を受けたモード判定回路92において実行されてもよいし、外部の制御部やアプリケーションプロセッサ等で実行されてもよい。このような高輝度領域の有無の判断は、例えば固体撮像装置100を用いた撮像を行う前に行われてよい。これについて、次に図11A及び図11Bを参照して説明する。
In the
2.8 撮像処理の例
図11A及び図11Bは、撮像処理(撮像方法)の例を示すフローチャートである。このフローチャートは、撮像対象に電子機器1を向けてから、電子機器1による撮像が行われるまでの処理の例である。図11Aに示す第1の処理と、図11Bに示す第2の処理とは、同時に実行されて(並列的に処理されて)よい。
2.8 Example of Imaging Processing FIG. 11A and FIG. 11B are flowcharts showing an example of imaging processing (imaging method). This flowchart is an example of processing from pointing the electronic device 1 to the image pickup target until the image pickup is performed by the electronic device 1. The first process shown in FIG. 11A and the second process shown in FIG. 11B may be executed at the same time (processed in parallel).
図11Aに示す第1の処理について説明する。ステップS11において、露光制御(AE)が行われる。これにより、撮像に適した露光状態が得られる。また、先に説明したAE・AFステータス信号(図2)が、露光制御が完了したことを示すようになる。ステップS12において、オートフォーカス(AF)が行われる。これにより、撮像に適したフォーカス状態が得られる。また、先に説明したAE・AFステータス信号(図2)は、オートフォーカスが完了したことを示すようになる。ステップS13において、撮像が行われる。これにより、先のステップS11及びステップS12によって得られた適切な露光状態及びフォーカス状態で、撮像が行われる。ステップS13の処理が実行された後、フローチャートの処理が終了する。 The first process shown in FIG. 11A will be described. In step S11, exposure control (AE) is performed. As a result, an exposure state suitable for imaging can be obtained. Further, the AE / AF status signal (FIG. 2) described above indicates that the exposure control has been completed. In step S12, autofocus (AF) is performed. As a result, a focus state suitable for imaging can be obtained. Further, the AE / AF status signal (FIG. 2) described above indicates that the autofocus has been completed. In step S13, imaging is performed. As a result, imaging is performed in the appropriate exposure state and focus state obtained in the previous steps S11 and S12. After the process of step S13 is executed, the process of the flowchart ends.
図11Bに示す第2の処理について説明する。ステップS21において、寄生光検出モードがONになる。具体的に、例えば先に図7及び図8を参照して説明したように、複数の単位画素400のうちの一部の単位画素400が第2モードに切替えられ、寄生光検出単位画素400−2となる。
The second process shown in FIG. 11B will be described. In step S21, the parasitic light detection mode is turned on. Specifically, for example, as described above with reference to FIGS. 7 and 8, a part of the
ステップS22において、高光量領域の存在が検出される。例えば、先に説明したように前フレームにスミアが発生しているか否かに基づいて、高光量領域が存在するか否かが判断される。 In step S22, the presence of a high light intensity region is detected. For example, as described above, it is determined whether or not a high light intensity region exists based on whether or not smear is generated in the front frame.
ステップS23において、AFが完了したか否かが判断される。すなわち、先に説明したステップS12の処理が完了したか否かが判断される。AFが完了した場合(ステップS23でYes)、ステップS24に処理が進められる。そうでない場合(ステップS23でNo)、ステップS22に処理が戻される。 In step S23, it is determined whether or not AF is completed. That is, it is determined whether or not the process of step S12 described above is completed. When AF is completed (Yes in step S23), the process proceeds to step S24. If not (No in step S23), the process is returned to step S22.
ステップS24において、高光量領域が存在したか否かが判断される。すなわち、先のステップS22で高光量領域の存在が検出されたか否かが判断される。高光量領域が存在した場合(ステップS24でYes)、ステップS26に処理が進められる。そうでない場合(ステップS24でNo)、ステップS25の処理を経た後、ステップS26に処理が進められる。 In step S24, it is determined whether or not a high light intensity region exists. That is, it is determined whether or not the presence of the high light intensity region is detected in the previous step S22. When a high light intensity region exists (Yes in step S24), the process proceeds to step S26. If not (No in step S24), the process proceeds to step S26 after the process of step S25.
ステップS25において、寄生光検出モードがOFFになる。これにより、すべての単位画素400が第1モードに切替えられ、撮像用単位画素400−1となる。言い換えると、このステップS25の処理が実行されない場合は(ステップS24でYes)、寄生光検出モードがONのままなので、撮像用単位画素400−1だけでなく寄生光検出単位画素400−2も存在することになる。
In step S25, the parasitic light detection mode is turned off. As a result, all the
ステップS13において、先に図11Aを参照して説明したように、先のステップS11及びステップS12によって得られた適切な露光状態及びフォーカス状態で、撮像が行われる。さらに、先のステップS24において高光量領域が存在した場合には、複数の単位画素400のうちの一部の画素が第2モードに切替えられた状態で(すなわち、寄生光検出単位画素400−2となって)、撮像が行われる。したがって、先に図9及び図10を参照して説明したようなノイズ低減処理が実行される。一方で、先のステップS25において高光量領域が存在しなかった場合には、すべての単位画素400が第1モードに切替えられた状態で(すなわち、撮像用単位画素400−1となって)、撮像が行われる。この場合、上述のノイズ低減処理は実行されなくてよい。ステップS13の処理が実行された後、フローチャートの処理が終了する。
In step S13, as described above with reference to FIG. 11A, imaging is performed in the appropriate exposure state and focus state obtained in the previous steps S11 and S12. Further, when the high light amount region exists in the previous step S24, a part of the plurality of
なお、上記では、ステップS11及びステップS12(図11A)と、ステップS21〜S25(図11B)とが同時に実行される(並列処理される)例について説明したが、それらのステップが順に実行されても(直列処理されても)よい。例えば、ステップS11及びステップS12の処理が実行された後に、ステップS21〜S25の処理が実行されてもよい。ステップS21〜S25の処理は、ステップS11の処理よりも前に実行されてもよいし、ステップS11の処理の後であってステップS12の処理の前に実行されてもよい。ステップS23の処理は適宜省略されてよい。 In the above description, an example in which steps S11 and S12 (FIG. 11A) and steps S21 to S25 (FIG. 11B) are executed at the same time (parallel processing) has been described, but these steps are executed in order. (May be processed in series). For example, the processes of steps S21 to S25 may be executed after the processes of steps S11 and S12 are executed. The processes of steps S21 to S25 may be executed before the process of step S11, or may be executed after the process of step S11 and before the process of step S12. The process of step S23 may be omitted as appropriate.
以上、本開示の実施形態について説明したが、本開示の実施形態は上述の例に限定されない。 Although the embodiments of the present disclosure have been described above, the embodiments of the present disclosure are not limited to the above-mentioned examples.
3. 変形例
3.1 単位画素の等価回路例
図12は、変形例に係る画素の等価回路の例を示す図である。図12に例示す単位画素400Aは、単位画素400(図4)と比較して、読出し回路460Aが、隣接する単位画素400Bの読出し回路460Bと一部の要素を共有する点において相違する。図12に示す例では、FD403AB、第1排出トランジスタ404AB、増幅トランジスタ407AB、選択トランジスタ408AB及びリセットトランジスタ409ABが共有される。他の要素は、共有されていない。すなわち、単位画素400Aは、PD401A、MEM402A、第1転送トランジスタ405A、第2転送トランジスタ406A及び第2排出トランジスタ410Aを含み、単位画素400Bは、それらとは別に、PD401B、MEM402B、第1転送トランジスタ405B、第2転送トランジスタ406B及び第2排出トランジスタ410Bを含む。単位画素400Aの画素信号と単位画素400Bの画素信号とが例えば順番にVSL420に出力されるように、第1排出トランジスタ404ABの制御電圧OFG、第1転送トランジスタ405Aの制御電圧TRX_A、第2転送トランジスタ406Aの制御電圧TRG_A、リセットトランジスタ409ABの制御電圧RST、選択トランジスタ408ABの制御電圧SEL、第2排出トランジスタ410Aの制御電圧DCG_A、第1転送トランジスタ405Bの制御電圧TRX_B、第2転送トランジスタ406Bの制御電圧TRG_B及び第2排出トランジスタ410Bの制御電圧DCG_Bが制御される。
3. 3. Modification Example 3.1 Example of Equivalent Circuit of Unit Pixel FIG. 12 is a diagram showing an example of an equivalent circuit of a pixel according to the modification. The
なお、FD403AB、第1排出トランジスタ404AB、増幅トランジスタ407AB、選択トランジスタ408AB及びリセットトランジスタ409ABの機能等は、先に図4を参照して説明したFD403、第1排出トランジスタ404、増幅トランジスタ407、選択トランジスタ408及びリセットトランジスタ409と同様であるので、ここでは説明は繰り返さない。PD401A、MEM402A、第1転送トランジスタ405A、第2転送トランジスタ406A及び第2排出トランジスタ410Aの機能等は、先に図4を参照して説明したPD401、MEM402、第1転送トランジスタ405、第2転送トランジスタ406及び第2排出トランジスタ410と同様であるので、ここでは説明は繰り返さない。PD401B、MEM402B、第1転送トランジスタ405B、第2転送トランジスタ406B及び第2排出トランジスタ410Bについても同様である。
The functions of the FD403AB, the first emission transistor 404AB, the amplification transistor 407AB, the selection transistor 408AB, and the reset transistor 409AB are described above with reference to FIG. 4, the FD403, the
3.2 単位画素の平面レイアウト例
図13は、図12の単位画素の平面レイアウト例を示す図である。この例では、単位画素400A及び単位画素400Bの各要素が、図12の等価回路を構成するように、基板450ABに形成される。基板450ABは、半導体基板である。なお、図13には、単位画素400A及び単位画素400Bの要素のうち、PD401A、PD401B、MEM402A、MEM402B、FD403AB、第1排出トランジスタ404AB、第1転送トランジスタ405A、第1転送トランジスタ405B、第2転送トランジスタ406A、第2転送トランジスタ406B、第2排出トランジスタ410A及び第2排出トランジスタ410Bのみが示され、他の要素は“Other elements”として省略して示す。なお、MEM402A及びMEM402Bは、基板厚方向(Z軸方向)において第1転送トランジスタ405A及び第1転送トランジスタ405Bとそれぞれ重複しており、破線で示される。
3.2 Example of plane layout of unit pixels FIG. 13 is a diagram showing an example of a plane layout of unit pixels of FIG. In this example, each element of the
3.3 OR回路の例
上記実施形態では、単位画素400のモード切替えのために行われるMEM402の状態の切替えが、第1排出トランジスタ404に並列接続された第2排出トランジスタ410によって実現される例について説明した。ただし、切替手段はこのような第2排出トランジスタ410に限定されない。例えば、第1排出トランジスタ404に、PD401と電源線VDDとを接続するという第2排出トランジスタ410の機能を併用させてよい。この場合、例えば、第1排出トランジスタ404の制御端に、垂直駆動部50からの電圧と、モード切替信号分配部80からの電圧とが、OR回路を介して印加されるようにしてよい。
3.3 Example of OR circuit In the above embodiment, the state switching of the
図14に例示する単位画素400Cは、単位画素400(図4)と比較して、読出し回路460Cが、第2排出トランジスタ410を有さない一方で、(第1排出トランジスタ404Cを介して)PD401に接続された第2排出トランジスタ410Cを有する点において相違する。第2排出トランジスタ410Cは、トランジスタ等を含んで構成されるOR回路である。第2排出トランジスタ410Cの一方の入力端には垂直駆動部50からの制御電圧OFGが供給され、他方の入力端にはモード切替信号分配部80からの制御電圧DCGが供給される。第2排出トランジスタ410Cの出力端は、第1排出トランジスタ404Cの制御端に接続される。垂直駆動部50からの制御電圧OFGが第2排出トランジスタ410Cを介して第1排出トランジスタ404Cの制御端に印加されると、第1排出トランジスタ404Cは、これまで説明した第1排出トランジスタ404(図4等)として機能する。モード切替信号分配部80からの制御電圧DCGが第2排出トランジスタ410Cを介して第1排出トランジスタ404の制御端に印加されると、第1排出トランジスタ404は、これまで説明した第2排出トランジスタ410(図4等)として機能する。したがって、単位画素400Cにおいては、第1排出トランジスタ404C及び第2排出トランジスタ410の共同によって、第1及び第2の2つの排出トランジスタが実現される。
In the
3.4 裏面照射型の例
上記実施形態では固体撮像装置100が表面照射型の固体撮像装置である例について説明した。ただし、固体撮像装置は、裏面照射型であってもよい。図15は、そのような固体撮像素子の画素の断面構造例を示す図である。
3.4 Example of back-illuminated type In the above embodiment, an example in which the solid-
図15に示すように、フォトダイオードPDが、半導体基板138の裏面(図では上面)側から入射する入射光L1を受光する。フォトダイオードPDの上方には、平坦化膜133及びオンチップレンズ131が設けられており、各部を順次介して入射した入射光L1を、受光面137で受光して光電変換が行われる。
As shown in FIG. 15, the photodiode PD receives the incident light L1 incident from the back surface (upper surface in the figure) side of the
例えば、フォトダイオードPDは、N型半導体領域139が、電荷(電子)を蓄積する電荷蓄積領域として形成されている。フォトダイオードPDにおいては、N型半導体領域139は、半導体基板138のP型半導体領域136及び144で囲まれた領域内に設けられている。N型半導体領域139の、半導体基板138の表面(下面)側には、裏面(上面)側よりも不純物濃度が高いP型半導体領域144が設けられている。つまり、フォトダイオードPDは、HAD(Hole-Accumulation Diode)構造になっており、N型半導体領域139の上面側と下面側との各界面において、暗電流が発生することを抑制するように、P型半導体領域136及び144が形成されている。
For example, in the photodiode PD, the N-
半導体基板138の内部には、複数の画素110の間を電気的に分離する画素分離部140が設けられており、この画素分離部140で区画された領域に、フォトダイオードPDが設けられている。図中、上面側から、固体撮像装置を見た場合、画素分離部140は、例えば、複数の画素110の間に介在するように格子状に形成されており、フォトダイオードPDは、この画素分離部140で区画された領域内に形成されている。
Inside the
各フォトダイオードPDでは、アノードが接地されており、固体撮像装置において、フォトダイオードPDが蓄積した信号電荷(例えば、電子)は、図示せぬ転送トランジスタ等を介して読み出され、電気信号として、図示せぬ垂直信号線へ出力される。 In each photodiode PD, the anode is grounded, and in the solid-state imaging device, the signal charge (for example, electrons) accumulated in the photodiode PD is read out via a transfer transistor (not shown) or the like, and is used as an electric signal. It is output to a vertical signal line (not shown).
配線層145は、半導体基板138のうち、遮光膜134、オンチップレンズ131等の各部が設けられた裏面(上面)とは反対側の表面(下面)に設けられる。
The
配線層145は、配線146と絶縁層147とを含み、絶縁層147内において、配線146が各素子に電気的に接続するように形成されている。配線層145は、いわゆる多層配線の層になっており、絶縁層147を構成する層間絶縁膜と配線146とが交互に複数回積層されて形成されている。ここでは、配線146としては、転送トランジスタ111等のフォトダイオードPDから電荷を読み出すためのトランジスタへの配線や、垂直信号線124等の各配線が、絶縁層147を介して積層されている。
The
配線層145の、フォトダイオードPDが設けられている側に対して反対側の面には、例えば回路チップ122が接合されている。
For example, a
遮光膜134は、半導体基板138の裏面(図では上面)の側に設けられている。
The light-shielding
遮光膜134は、半導体基板138の上方から半導体基板138の裏面へ向かう入射光L1の一部を、遮光するように構成されている。
The light-shielding
遮光膜134は、半導体基板138の内部に設けられた画素分離部140の上方に設けられている。ここでは、遮光膜134は、半導体基板138の裏面(上面)上において、シリコン酸化膜等の絶縁膜135を介して、凸形状に突き出るように設けられている。これに対して、半導体基板138の内部に設けられたフォトダイオードPDの上方においては、フォトダイオードPDに入射光L1が入射するように、遮光膜134は、設けられておらず、開口している。
The light-shielding
つまり、図中、上面側から、固体撮像装置を見た場合、遮光膜134の平面形状は、格子状になっており、入射光L1が受光面137へ通過する開口が形成されている。
That is, when the solid-state image sensor is viewed from the upper surface side in the drawing, the planar shape of the light-shielding
遮光膜134は、光を遮光する遮光材料で形成されている。例えば、チタン(Ti)膜とタングステン(W)膜とを、順次、積層することで、遮光膜134が形成されている。この他に、遮光膜134は、例えば、窒化チタン(TiN)膜とタングステン(W)膜とを、順次、積層することで形成することができる。
The light-shielding
遮光膜134は、平坦化膜133によって被覆されている。平坦化膜133は、光を透過する絶縁材料を用いて形成されている。この絶縁材料には、例えば、酸化シリコン(SiO2)などを用いることができる。
The light-shielding
画素分離部140は、例えば、溝部141、固定電荷膜142、及び、絶縁膜143を有する。
The
固定電荷膜142は、半導体基板138の裏面(上面)の側において、複数の画素110の間を区画している溝部141を覆うように形成されている。
The fixed
具体的には、固定電荷膜142は、半導体基板138において裏面(上面)側に形成された溝部141の内側の面を一定の厚みで被覆するように設けられている。そして、その固定電荷膜142で被覆された溝部141の内部を埋め込むように、絶縁膜143が設けられている(充填されている)。
Specifically, the fixed
ここでは、固定電荷膜142は、半導体基板138との界面部分において正電荷(ホール)蓄積領域が形成されて暗電流の発生が抑制されるように、負の固定電荷を有する高誘電体を用いて形成されている。固定電荷膜142が負の固定電荷を有するように形成されていることで、その負の固定電荷によって、半導体基板138との界面に電界が加わり、正電荷(ホール)蓄積領域が形成される。
Here, the fixed
固定電荷膜142は、例えば、ハフニウム酸化膜(HfO2膜)で形成することができる。また、固定電荷膜142は、その他、例えば、ハフニウム、ジルコニウム、アルミニウム、タンタル、チタン、マグネシウム、イットリウム、ランタノイド元素等の酸化物の少なくとも1つを含むように形成することができる。
The fixed
なお、画素分離部140は、上記構成に限定されず、種々変形することができる。例えば、絶縁膜143の代わりにタングステン(W)膜などの光を反射する反射膜を用いることで、画素分離部140を光反射構造とすることが可能となる。それにより、フォトダイオードPD内に進入した入射光L1を画素分離部140で反射させることが可能となるため、フォトダイオードPD内での入射光L1の光路長を長くすることが可能となる。加えて、画素分離部140を光反射構造とすることで、隣接画素への光の漏れ込みを低減することが可能となるため、画質や測距精度等をより向上させることも可能となる。なお、反射膜の材料としてタングステン(W)などの金属材料を用いた場合には、固定電荷膜142の代わりにシリコン酸化膜などの絶縁膜を溝部141内に設けるとよい。
The
また、画素分離部140を光反射構造とする構成は、反射膜を用いる構成に限定されず、例えば、溝部141内に半導体基板138よりも高い屈折率若しくは低い屈折率の材料を埋め込むことでも実現することができる。
Further, the configuration in which the
さらに、図15には、半導体基板138の裏面(上面)側から形成された溝部141内に画素分離部140が設けられた、いわゆるRDTI(Reverse Deep Trench Isolation)構造の画素分離部140が例示されているが、これに限定されず、例えば、半導体基板138の表面(下面)側から形成された溝部内に画素分離部140が設けられた、いわゆるDTI(Deep Trench Isolation)構造や、半導体基板138の表裏面を貫通するように形成された溝部内に画素分離部140が設けられた、いわゆるFTI(Full Trench Isolation)構造など、種々の構造の画素分離部140を採用することが可能である。
Further, FIG. 15 illustrates a
3.5 1画素1ADCの例
上記実施形態では、カラム信号処理回路70が、画素アレイ40の列の数に対応したAD変換器を有するカラムADCである例について説明した。ただし、固体撮像装置は、1画素1ADCの構成であってもよい。この場合、各画素に1つのAD変換器がそれぞれ設けられる。
3.5 Example of 1 Pixel 1 ADC In the above embodiment, an example in which the column
4. 効果
以上説明した固体撮像装置100は、例えば以下のように特定される。すなわち、固体撮像装置100は、画素アレイ40と、垂直駆動部50及び水平駆動部60と、カラム信号処理回路70及び信号処理回路93とを備える。画素アレイ40は、複数の単位画素400を備える。垂直駆動部50及び水平駆動部60は、複数の単位画素400それぞれを露光期間が揃うように駆動する駆動部である。カラム信号処理回路70及び信号処理回路93は、垂直駆動部50及び水平駆動部60による駆動に基づいて複数の単位画素400それぞれからVSL420に出力された画素信号を処理する信号処理回路である。複数の単位画素400の各々は、PD401と、第1転送トランジスタ405と、MEM402と、第2転送トランジスタ406と、FD403と、増幅トランジスタ407と、第1排出トランジスタ404と、第2排出トランジスタ410とを備える。PD401は、光電変換部である。第1転送トランジスタ405は、PD401に接続される。MEM402は、第1転送トランジスタ405を介してPD401に接続され、PD401で発生した信号電荷を保持するメモリ部である。第2転送トランジスタ406は、MEM402に接続される。FD403は、第2転送トランジスタ406を介してMEM402に接続され、MEM402から転送された電荷を蓄積する蓄積部である。増幅トランジスタ407は、FD403に蓄積された電荷に基づく電圧値の画素信号をVSL420に出現させる。第1排出トランジスタ404は、PD401に接続される。第2排出トランジスタ410は、PD401に接続される。
4. Effect The solid-
上記の固体撮像装置100では、複数の単位画素400の各々がPD401に接続された第2排出トランジスタ410を備えているので、各単位画素400を、第2排出トランジスタ410によるリセットが行われずMEM402に信号電荷が保持される撮像用単位画素400−1と、第2排出トランジスタ410によるリセットが行われてMEM402にノイズ電荷が保持される寄生光検出単位画素400−2との間で任意に切替えることができる。この場合、撮像用単位画素400−1及び寄生光検出単位画素400−2の露光期間が同じにできるので、寄生光検出単位画素400−2によるノイズ電荷の取得と、撮像用単位画素400−1による信号電荷及びノイズ電荷の取得との間にタイムラグが生じない。したがって、タイムラグ間での被写体の位置、輝度の変化といったタイムラグに起因する問題も生じない。その分、ノイズ電荷の影響をより確実に低減することができる。
In the solid-
ノイズ電荷の影響としては、例えばスミアの発生による画質の劣化が考えられる。ここで、スミアの原因となるノイズ電荷を検出するために、寄生光検出単位画素400−2の数を増やせば、スミアスミア検出精度は上昇するが、その分、撮像用画素の数が減り画質劣化の要因となる。この点、固体撮像装置100によれば、寄生光検出単位画素400−2の数を任意に選択することができるので、スミア検出精度と撮像用画素の減少とのトレードオフを解消することもできる。
As an effect of the noise charge, for example, deterioration of image quality due to the generation of smear can be considered. Here, if the number of parasitic light detection unit pixels 400-2 is increased in order to detect the noise charge that causes smear, the smear detection accuracy is increased, but the number of imaging pixels is reduced by that amount and the image quality is deteriorated. It becomes a factor of. In this regard, according to the solid-
電子機器1は、固体撮像装置100が搭載された電子機器である。固体撮像装置100が搭載された電子機器1によれば、上述のようにノイズ電荷の影響の低減と、上述のスミア検出精度と撮像用画素の減少とのトレードオフの解消との両立が実現される。
The electronic device 1 is an electronic device on which the solid-
第2排出トランジスタ410は、PD401に対し、第1排出トランジスタ404と並列に接続されてよい。これにより、画素駆動に対してアクティブに動作する第1排出トランジスタ404に対して直列に第2排出トランジスタ410を設けた場合に生じる可能性のある回路動作にばらつきを低減することができる。
The
単位画素400の各々は、PD401の露光期間中、第2転送トランジスタ406が導通状態にされる第1モードと、第2転送トランジスタ406が遮断状態にされる第2モードとを備えてよい。これにより、複数のモードを備える単位画素400を得ることができる。
Each of the
固体撮像装置100は、モード切替信号分配部80を備えてよい。モード切替信号分配部80は、複数の単位画素400の各々を、第1モードと第2モードとのいずれかで動作させるモード切替部である。これにより、複数の単位画素400の各々の動作モードを個別に切替えることができる。
The solid-
モード切替信号分配部80は、複数の単位画素400のうちの一部の単位画素400を第1モードで動作させ、他の単位画素400を第2モードで動作させてよい。これにより、第1モードで動作する撮像用単位画素400−1と、第2モードで動作する寄生光検出単位画素400−2との両方を備える画素アレイ40を得ることができる。
The mode switching
固体撮像装置100は、前フレームの画素信号に基づいて高光量領域が存在するか否かを判定する判定部をさらに備えてよい。判定部は、例えば、信号処理回路93、信号処理回路93から処理結果を受けたモード判定回路92、外部の制御部やアプリケーションプロセッサ等によって実現されてよい。モード切替信号分配部80は、高光量領域が存在する場合、複数の単位画素400のうちの一部の単位画素を第1モードで動作させ、他の単位画素を第2モードで動作させ、高光量領域が存在しない場合、複数の単位画素400のすべての単位画素を第1モードで動作させてよい。これにより、ノイズ電荷の影響が大きくなる高輝度領域が存在する場合にのみ、ノイズ電荷の影響を低減するために第2モードの単位画素である寄生光検出単位画素400−2を用いることができる。
The solid-
複数の単位画素400の各々は、FD403に接続されたリセットトランジスタ409をさらに備えてよい。これにより、FD403をリセットすることができる。
Each of the plurality of
複数の単位画素400のうちの互いに隣接する単位画素400A及び単位画素400Bは、第1排出トランジスタ404ABを共有してよい。これにより、単位画素の構成要素数を削減することができる。
The
PD401は、基板450に設けられてよい。基板450は、半導体基板であってよい。第1転送トランジスタ405、MEM402、第2転送トランジスタ406、FD403、増幅トランジスタ407、第1排出トランジスタ404及び第2排出トランジスタ410のうちの少なくとも1つは、基板450における光の入射面とは反対側の面に配置されてよい。これにより、単位画素400の構成要素の配置の自由度を高めることができる。
PD401 may be provided on the
5. 移動体への応用例
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
5. Examples of application to mobile objects The technology according to the present disclosure (this technology) can be applied to various products. For example, the technology according to the present disclosure is realized as a device mounted on a moving body of any kind such as an automobile, an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, a personal mobility, an airplane, a drone, a ship, and a robot. You may.
図16は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。 FIG. 16 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
車両制御システム12000は、通信ネットワーク12001を介して接続された複数の電子制御ユニットを備える。図16に示した例では、車両制御システム12000は、駆動系制御ユニット12010、ボディ系制御ユニット12020、車外情報検出ユニット12030、車内情報検出ユニット12040、及び統合制御ユニット12050を備える。また、統合制御ユニット12050の機能構成として、マイクロコンピュータ12051、音声画像出力部12052、及び車載ネットワークI/F(Interface)12053が図示されている。
The
駆動系制御ユニット12010は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット12010は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
The drive
ボディ系制御ユニット12020は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット12020は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット12020には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット12020は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
The body
車外情報検出ユニット12030は、車両制御システム12000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット12030には、撮像部12031が接続される。車外情報検出ユニット12030は、撮像部12031に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット12030は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
The vehicle exterior
撮像部12031は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部12031は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部12031が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
The
車内情報検出ユニット12040は、車内の情報を検出する。車内情報検出ユニット12040には、例えば、運転者の状態を検出する運転者状態検出部12041が接続される。運転者状態検出部12041は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット12040は、運転者状態検出部12041から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
The vehicle interior
マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット12010に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
The
また、マイクロコンピュータ12051は、車外情報検出ユニット12030又は車内情報検出ユニット12040で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
Further, the
また、マイクロコンピュータ12051は、車外情報検出ユニット12030で取得される車外の情報に基づいて、ボディ系制御ユニット12020に対して制御指令を出力することができる。例えば、マイクロコンピュータ12051は、車外情報検出ユニット12030で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切替える等の防眩を図ることを目的とした協調制御を行うことができる。
Further, the
音声画像出力部12052は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図16の例では、出力装置として、オーディオスピーカ12061、表示部12062及びインストルメントパネル12063が例示されている。表示部12062は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
The audio-
図17は、撮像部12031の設置位置の例を示す図である。
FIG. 17 is a diagram showing an example of the installation position of the
図17では、撮像部12031として、撮像部12101、12102、12103、12104、12105を有する。
In FIG. 17, the
撮像部12101、12102、12103、12104、12105は、例えば、車両12100のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部12101及び車室内のフロントガラスの上部に備えられる撮像部12105は、主として車両12100の前方の画像を取得する。サイドミラーに備えられる撮像部12102、12103は、主として車両12100の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部12104は、主として車両12100の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部12105は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
The
なお、図17には、撮像部12101ないし12104の撮影範囲の一例が示されている。撮像範囲12111は、フロントノーズに設けられた撮像部12101の撮像範囲を示し、撮像範囲12112,12113は、それぞれサイドミラーに設けられた撮像部12102,12103の撮像範囲を示し、撮像範囲12114は、リアバンパ又はバックドアに設けられた撮像部12104の撮像範囲を示す。例えば、撮像部12101ないし12104で撮像された画像データが重ね合わせられることにより、車両12100を上方から見た俯瞰画像が得られる。
Note that FIG. 17 shows an example of the photographing range of the
撮像部12101ないし12104の少なくとも1つは、距離情報を取得する機能を有していてもよい。例えば、撮像部12101ないし12104の少なくとも1つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
At least one of the
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を基に、撮像範囲12111ないし12114内における各立体物までの距離と、この距離の時間的変化(車両12100に対する相対速度)を求めることにより、特に車両12100の進行路上にある最も近い立体物で、車両12100と略同じ方向に所定の速度(例えば、0km/h以上)で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ12051は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御(追従停止制御も含む)や自動加速制御(追従発進制御も含む)等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
For example, the
例えば、マイクロコンピュータ12051は、撮像部12101ないし12104から得られた距離情報を元に、立体物に関する立体物データを、2輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ12051は、車両12100の周辺の障害物を、車両12100のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ12051は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ12061や表示部12062を介してドライバに警報を出力することや、駆動系制御ユニット12010を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
For example, the
撮像部12101ないし12104の少なくとも1つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ12051は、撮像部12101ないし12104の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部12101ないし12104の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ12051が、撮像部12101ないし12104の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部12052は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部12062を制御する。また、音声画像出力部12052は、歩行者を示すアイコン等を所望の位置に表示するように表示部12062を制御してもよい。
At least one of the
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部12031に適用され得る。撮像部12031に本開示に係る技術を適用することにより、より見やすい撮像画像を得ることができるため、ドライバの疲労を軽減することが可能になる。
The example of the vehicle control system to which the technique according to the present disclosure can be applied has been described above. The technique according to the present disclosure can be applied to the
6. 内視鏡手術システムへの応用例
本開示に係る技術(本技術)は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
6. Examples of application to endoscopic surgery systems The technology according to the present disclosure (this technology) can be applied to various products. For example, the techniques according to the present disclosure may be applied to endoscopic surgery systems.
図18は、本開示に係る技術(本技術)が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。 FIG. 18 is a diagram showing an example of a schematic configuration of an endoscopic surgery system to which the technique according to the present disclosure (the present technique) can be applied.
図18では、術者(医師)11131が、内視鏡手術システム11000を用いて、患者ベッド11133上の患者11132に手術を行っている様子が図示されている。図示するように、内視鏡手術システム11000は、内視鏡11100と、気腹チューブ11111やエネルギー処置具11112等の、その他の術具11110と、内視鏡11100を支持する支持アーム装置11120と、内視鏡下手術のための各種の装置が搭載されたカート11200と、から構成される。
FIG. 18 shows a surgeon (doctor) 11131 performing surgery on
内視鏡11100は、先端から所定の長さの領域が患者11132の体腔内に挿入される鏡筒11101と、鏡筒11101の基端に接続されるカメラヘッド11102と、から構成される。図示する例では、硬性の鏡筒11101を有するいわゆる硬性鏡として構成される内視鏡11100を図示しているが、内視鏡11100は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
The
鏡筒11101の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡11100には光源装置11203が接続されており、当該光源装置11203によって生成された光が、鏡筒11101の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者11132の体腔内の観察対象に向かって照射される。なお、内視鏡11100は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
An opening in which an objective lens is fitted is provided at the tip of the
カメラヘッド11102の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU: Camera Control Unit)11201に送信される。
An optical system and an image pickup element are provided inside the
CCU11201は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡11100及び表示装置11202の動作を統括的に制御する。さらに、CCU11201は、カメラヘッド11102から画像信号を受け取り、その画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
The CCU11201 is composed of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and the like, and comprehensively controls the operations of the
表示装置11202は、CCU11201からの制御により、当該CCU11201によって画像処理が施された画像信号に基づく画像を表示する。
The
光源装置11203は、例えばLED(light emitting diode)等の光源から構成され、術部等を撮影する際の照射光を内視鏡11100に供給する。
The
入力装置11204は、内視鏡手術システム11000に対する入力インタフェースである。ユーザは、入力装置11204を介して、内視鏡手術システム11000に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡11100による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示等を入力する。
The
処置具制御装置11205は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具11112の駆動を制御する。気腹装置11206は、内視鏡11100による視野の確保及び術者の作業空間の確保の目的で、患者11132の体腔を膨らめるために、気腹チューブ11111を介して当該体腔内にガスを送り込む。レコーダ11207は、手術に関する各種の情報を記録可能な装置である。プリンタ11208は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
The treatment
なお、内視鏡11100に術部を撮影する際の照射光を供給する光源装置11203は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置11203において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド11102の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
The
また、光源装置11203は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド11102の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
Further, the drive of the
また、光源装置11203は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置11203は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
Further, the
図19は、図18に示すカメラヘッド11102及びCCU11201の機能構成の一例を示すブロック図である。
FIG. 19 is a block diagram showing an example of the functional configuration of the
カメラヘッド11102は、レンズユニット11401と、撮像部11402と、駆動部11403と、通信部11404と、カメラヘッド制御部11405と、を有する。CCU11201は、通信部11411と、画像処理部11412と、制御部11413と、を有する。カメラヘッド11102とCCU11201とは、伝送ケーブル11400によって互いに通信可能に接続されている。
The
レンズユニット11401は、鏡筒11101との接続部に設けられる光学系である。鏡筒11101の先端から取り込まれた観察光は、カメラヘッド11102まで導光され、当該レンズユニット11401に入射する。レンズユニット11401は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
The
撮像部11402を構成する撮像素子は、1つ(いわゆる単板式)であってもよいし、複数(いわゆる多板式)であってもよい。撮像部11402が多板式で構成される場合には、例えば各撮像素子によってRGBそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部11402は、3D(dimensional)表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成されてもよい。3D表示が行われることにより、術者11131は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部11402が多板式で構成される場合には、各撮像素子に対応して、レンズユニット11401も複数系統設けられ得る。
The image sensor constituting the image pickup unit 11402 may be one (so-called single plate type) or a plurality (so-called multi-plate type). When the image pickup unit 11402 is composed of a multi-plate type, for example, each image pickup element may generate an image signal corresponding to each of RGB, and a color image may be obtained by synthesizing them. Alternatively, the image pickup unit 11402 may be configured to have a pair of image pickup elements for acquiring image signals for the right eye and the left eye corresponding to 3D (dimensional) display, respectively. The 3D display enables the
また、撮像部11402は、必ずしもカメラヘッド11102に設けられなくてもよい。例えば、撮像部11402は、鏡筒11101の内部に、対物レンズの直後に設けられてもよい。
Further, the imaging unit 11402 does not necessarily have to be provided on the
駆動部11403は、アクチュエータによって構成され、カメラヘッド制御部11405からの制御により、レンズユニット11401のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部11402による撮像画像の倍率及び焦点が適宜調整され得る。
The drive unit 11403 is composed of an actuator, and moves the zoom lens and the focus lens of the
通信部11404は、CCU11201との間で各種の情報を送受信するための通信装置によって構成される。通信部11404は、撮像部11402から得た画像信号をRAWデータとして伝送ケーブル11400を介してCCU11201に送信する。
The communication unit 11404 is configured by a communication device for transmitting and receiving various types of information to and from the CCU11201. The communication unit 11404 transmits the image signal obtained from the image pickup unit 11402 as RAW data to the
また、通信部11404は、CCU11201から、カメラヘッド11102の駆動を制御するための制御信号を受信し、カメラヘッド制御部11405に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
Further, the communication unit 11404 receives a control signal for controlling the drive of the
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてCCU11201の制御部11413によって自動的に設定されてもよい。後者の場合には、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡11100に搭載されていることになる。
The imaging conditions such as the frame rate, exposure value, magnification, and focus may be appropriately specified by the user, or may be automatically set by the
カメラヘッド制御部11405は、通信部11404を介して受信したCCU11201からの制御信号に基づいて、カメラヘッド11102の駆動を制御する。
The camera head control unit 11405 controls the drive of the
通信部11411は、カメラヘッド11102との間で各種の情報を送受信するための通信装置によって構成される。通信部11411は、カメラヘッド11102から、伝送ケーブル11400を介して送信される画像信号を受信する。
The communication unit 11411 is composed of a communication device for transmitting and receiving various information to and from the
また、通信部11411は、カメラヘッド11102に対して、カメラヘッド11102の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
Further, the communication unit 11411 transmits a control signal for controlling the drive of the
画像処理部11412は、カメラヘッド11102から送信されたRAWデータである画像信号に対して各種の画像処理を施す。
The
制御部11413は、内視鏡11100による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部11413は、カメラヘッド11102の駆動を制御するための制御信号を生成する。
The
また、制御部11413は、画像処理部11412によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置11202に表示させる。この際、制御部11413は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部11413は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具11112の使用時のミスト等を認識することができる。制御部11413は、表示装置11202に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者11131に提示されることにより、術者11131の負担を軽減することや、術者11131が確実に手術を進めることが可能になる。
Further, the
カメラヘッド11102及びCCU11201を接続する伝送ケーブル11400は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
The
ここで、図示する例では、伝送ケーブル11400を用いて有線で通信が行われていたが、カメラヘッド11102とCCU11201との間の通信は無線で行われてもよい。
Here, in the illustrated example, the communication is performed by wire using the
以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、カメラヘッド11102の撮像部11402)に適用され得る。カメラヘッド11102に本開示に係る技術を適用することにより、より鮮明な術部画像を得ることができるため、術者が術部を確実に確認することが可能になる。
The above is an example of an endoscopic surgery system to which the technique according to the present disclosure can be applied. The technique according to the present disclosure can be applied to the imaging unit 11402) of the
なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。 Although the endoscopic surgery system has been described here as an example, the technique according to the present disclosure may be applied to other, for example, a microscopic surgery system.
なお、本開示に記載された効果は、あくまで例示であって、開示された内容に限定されない。他の効果があってもよい。 The effects described in this disclosure are merely examples, and are not limited to the disclosed contents. Other effects may be present.
以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。 Although the embodiments of the present disclosure have been described above, the technical scope of the present disclosure is not limited to the above-described embodiments as they are, and various changes can be made without departing from the gist of the present disclosure. In addition, components covering different embodiments and modifications may be combined as appropriate.
また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。 Further, the effects in each embodiment described in the present specification are merely examples and are not limited, and other effects may be obtained.
なお、本技術は以下のような構成も取ることができる。
(1)
複数の単位画素を備える画素アレイと、
前記複数の単位画素それぞれを露光期間が揃うように駆動する駆動部と、
前記駆動部による駆動に基づいて前記複数の単位画素それぞれから信号線に出力された画素信号を処理する信号処理回路と、
を備え、
前記複数の単位画素の各々は、
光電変換部と、
前記光電変換部に接続された第1転送トランジスタと、
前記第1転送トランジスタを介して前記光電変換部に接続され、前記光電変換部で発生した信号電荷を保持するメモリ部と、
前記メモリ部に接続された第2転送トランジスタと、
前記第2転送トランジスタを介して前記メモリ部に接続され、前記メモリ部から転送された電荷を蓄積する蓄積部と、
前記蓄積部に蓄積された電荷に基づく電圧値の画素信号を信号線に出現させる増幅トランジスタと、
前記光電変換部に接続された第1排出トランジスタと、
前記光電変換部に接続された第2排出トランジスタと、
を備える、固体撮像装置。
(2)
前記第2排出トランジスタは、前記光電変換部に対し、前記第1排出トランジスタと並列に接続される、
前記(1)に記載の固体撮像装置。
(3)
前記単位画素の各々は、前記光電変換部の露光期間中、前記第2排出トランジスタが導通状態にされる第1モードと、前記第2排出トランジスタが遮断状態にされる第2モードとを備える、
前記(1)又は(2)に記載の固体撮像装置。
(4)
前記複数の単位画素の各々を、前記第1モードと前記第2モードとのいずれかで動作させるモード切替部をさらに備える、
前記(3)に記載の固体撮像装置。
(5)
前記モード切替部は、前記複数の単位画素のうちの一部の単位画素を前記第1モードで動作させ、他の単位画素を前記第2モードで動作させる、
前記(4)に記載の固体撮像装置。
(6)
前フレームの画素信号に基づいて高光量領域が存在するか否かを判定する判定部をさらに備え、
前記モード切替部は、
前記高光量領域が存在する場合、前記複数の単位画素のうちの一部の単位画素を前記第1モードで動作させ、他の単位画素を前記第2モードで動作させ、
前記高光量領域が存在しない場合、前記複数の単位画素のすべての単位画素を第1モードで動作させる、
前記(4)又は(5)に記載の固体撮像装置。
(7)
前記複数の単位画素の各々は、前記蓄積部に接続されたリセットトランジスタをさらに備える、
前記(1)〜(6)のいずれか1項に記載の固体撮像装置。
(8)
前記複数の単位画素のうちの互いに隣接する単位画素は、前記第1排出トランジスタを共有する、
前記(1)〜(7)のいずれか1項に記載の固体撮像装置。
(9)
前記光電変換部は、半導体基板に設けられ、
前記第1転送トランジスタ、前記メモリ部、前記第2転送トランジスタ、前記蓄積部、前記増幅トランジスタ、前記第1排出トランジスタ及び前記第2排出トランジスタのうちの少なくとも1つは、前記半導体基板における光の入射面とは反対側の面に配置されている、
前記(1)〜(8)のいずれか一項に記載の固体撮像装置。
(10)
固体撮像装置が搭載された電子機器であって、
前記固体撮像装置は、
複数の単位画素を備える画素アレイと、
前記複数の単位画素それぞれを露光期間が揃うように駆動する駆動部と、
前記駆動部による駆動に基づいて前記複数の単位画素それぞれから信号線に出力された画素信号を処理する信号処理回路と、
を備え、
前記複数の単位画素の各々は、
光電変換部と、
前記光電変換部に接続された第1転送トランジスタと、
前記第1転送トランジスタを介して前記光電変換部に接続され、前記光電変換部で発生した信号電荷を保持するメモリ部と、
前記メモリ部に接続された第2転送トランジスタと、
前記第2転送トランジスタを介して前記メモリ部に接続され、前記メモリ部から転送された電荷を蓄積する蓄積部と、
前記蓄積部に蓄積された電荷に基づく電圧値の画素信号を信号線に出現させる増幅トランジスタと、
前記光電変換部に接続された第1排出トランジスタと、
前記光電変換部に接続された第2排出トランジスタと、
を備える、電子機器。
The present technology can also have the following configurations.
(1)
A pixel array with multiple unit pixels and
A drive unit that drives each of the plurality of unit pixels so that the exposure periods are aligned,
A signal processing circuit that processes a pixel signal output to a signal line from each of the plurality of unit pixels based on driving by the drive unit, and a signal processing circuit.
With
Each of the plurality of unit pixels
Photoelectric conversion unit and
The first transfer transistor connected to the photoelectric conversion unit and
A memory unit connected to the photoelectric conversion unit via the first transfer transistor and holding a signal charge generated by the photoelectric conversion unit.
The second transfer transistor connected to the memory unit and
A storage unit connected to the memory unit via the second transfer transistor and accumulating charges transferred from the memory unit, and a storage unit.
An amplification transistor that causes a pixel signal with a voltage value based on the electric charge stored in the storage unit to appear on the signal line.
The first emission transistor connected to the photoelectric conversion unit and
The second emission transistor connected to the photoelectric conversion unit and
A solid-state image sensor.
(2)
The second emission transistor is connected to the photoelectric conversion unit in parallel with the first emission transistor.
The solid-state image sensor according to (1) above.
(3)
Each of the unit pixels includes a first mode in which the second emission transistor is in a conductive state and a second mode in which the second emission transistor is in a cutoff state during the exposure period of the photoelectric conversion unit.
The solid-state image sensor according to (1) or (2) above.
(4)
A mode switching unit for operating each of the plurality of unit pixels in either the first mode or the second mode is further provided.
The solid-state image sensor according to (3) above.
(5)
The mode switching unit operates some of the plurality of unit pixels in the first mode and the other unit pixels in the second mode.
The solid-state image sensor according to (4) above.
(6)
Further provided with a determination unit for determining whether or not a high light intensity region exists based on the pixel signal of the previous frame.
The mode switching unit is
When the high light intensity region is present, some of the plurality of unit pixels are operated in the first mode, and the other unit pixels are operated in the second mode.
When the high light intensity region does not exist, all the unit pixels of the plurality of unit pixels are operated in the first mode.
The solid-state image sensor according to (4) or (5) above.
(7)
Each of the plurality of unit pixels further includes a reset transistor connected to the storage unit.
The solid-state image sensor according to any one of (1) to (6) above.
(8)
The unit pixels adjacent to each other among the plurality of unit pixels share the first emission transistor.
The solid-state image sensor according to any one of (1) to (7) above.
(9)
The photoelectric conversion unit is provided on a semiconductor substrate and is provided on a semiconductor substrate.
At least one of the first transfer transistor, the memory unit, the second transfer transistor, the storage unit, the amplification transistor, the first emission transistor, and the second emission transistor is incident light on the semiconductor substrate. It is located on the opposite side of the surface,
The solid-state image sensor according to any one of (1) to (8) above.
(10)
An electronic device equipped with a solid-state image sensor
The solid-state image sensor
A pixel array with multiple unit pixels and
A drive unit that drives each of the plurality of unit pixels so that the exposure periods are aligned,
A signal processing circuit that processes a pixel signal output to a signal line from each of the plurality of unit pixels based on driving by the drive unit, and a signal processing circuit.
With
Each of the plurality of unit pixels
Photoelectric conversion unit and
The first transfer transistor connected to the photoelectric conversion unit and
A memory unit connected to the photoelectric conversion unit via the first transfer transistor and holding a signal charge generated by the photoelectric conversion unit.
The second transfer transistor connected to the memory unit and
A storage unit connected to the memory unit via the second transfer transistor and accumulating charges transferred from the memory unit, and a storage unit.
An amplification transistor that causes a pixel signal with a voltage value based on the electric charge stored in the storage unit to appear on the signal line.
The first emission transistor connected to the photoelectric conversion unit and
The second emission transistor connected to the photoelectric conversion unit and
Equipped with electronic equipment.
1 電子機器
10 撮像レンズ
20 プロセッサ
30 記憶部
40 画素アレイ
50 垂直駆動部
60 水平駆動部
70 カラム信号処理回路
80 モード切替信号分配部
90 ロジック回路
91 駆動制御部
92 モード判定回路
93 信号処理回路
93a 補間回路
93b 偽信号推定回路
93c 減算回路
93d 分離回路
100 固体撮像装置
400 単位画素
401 PD(フォトダイオード)
402 MEM(メモリ)
403 FD(フローティングディフュージョン)
404 第1排出トランジスタ
405 第1転送トランジスタ
406 第2転送トランジスタ
407 増幅トランジスタ
408 選択トランジスタ
409 リセットトランジスタ
410 第2排出トランジスタ
420 VSL
450 基板
460 読出し回路
1
402 MEM (memory)
403 FD (Floating Diffusion)
404
450
Claims (10)
前記複数の単位画素それぞれを露光期間が揃うように駆動する駆動部と、
前記駆動部による駆動に基づいて前記複数の単位画素それぞれから信号線に出力された画素信号を処理する信号処理回路と、
を備え、
前記複数の単位画素の各々は、
光電変換部と、
前記光電変換部に接続された第1転送トランジスタと、
前記第1転送トランジスタを介して前記光電変換部に接続され、前記光電変換部で発生した信号電荷を保持するメモリ部と、
前記メモリ部に接続された第2転送トランジスタと、
前記第2転送トランジスタを介して前記メモリ部に接続され、前記メモリ部から転送された電荷を蓄積する蓄積部と、
前記蓄積部に蓄積された電荷に基づく電圧値の画素信号を信号線に出現させる増幅トランジスタと、
前記光電変換部に接続された第1排出トランジスタと、
前記光電変換部に接続された第2排出トランジスタと、
を備える、固体撮像装置。 A pixel array with multiple unit pixels and
A drive unit that drives each of the plurality of unit pixels so that the exposure periods are aligned,
A signal processing circuit that processes a pixel signal output to a signal line from each of the plurality of unit pixels based on driving by the drive unit, and a signal processing circuit.
With
Each of the plurality of unit pixels
Photoelectric conversion unit and
The first transfer transistor connected to the photoelectric conversion unit and
A memory unit connected to the photoelectric conversion unit via the first transfer transistor and holding a signal charge generated by the photoelectric conversion unit.
The second transfer transistor connected to the memory unit and
A storage unit connected to the memory unit via the second transfer transistor and accumulating charges transferred from the memory unit, and a storage unit.
An amplification transistor that causes a pixel signal with a voltage value based on the electric charge stored in the storage unit to appear on the signal line.
The first emission transistor connected to the photoelectric conversion unit and
The second emission transistor connected to the photoelectric conversion unit and
A solid-state image sensor.
請求項1に記載の固体撮像装置。 The second emission transistor is connected to the photoelectric conversion unit in parallel with the first emission transistor.
The solid-state image sensor according to claim 1.
請求項1に記載の固体撮像装置。 Each of the unit pixels includes a first mode in which the second emission transistor is in a conductive state and a second mode in which the second emission transistor is in a cutoff state during the exposure period of the photoelectric conversion unit.
The solid-state image sensor according to claim 1.
請求項3に記載の固体撮像装置。 A mode switching unit for operating each of the plurality of unit pixels in either the first mode or the second mode is further provided.
The solid-state image sensor according to claim 3.
請求項4に記載の固体撮像装置。 The mode switching unit operates some of the plurality of unit pixels in the first mode and the other unit pixels in the second mode.
The solid-state image sensor according to claim 4.
前記モード切替部は、
前記高光量領域が存在する場合、前記複数の単位画素のうちの一部の単位画素を前記第1モードで動作させ、他の単位画素を前記第2モードで動作させ、
前記高光量領域が存在しない場合、前記複数の単位画素のすべての単位画素を第1モードで動作させる、
請求項4に記載の固体撮像装置。 Further provided with a determination unit for determining whether or not a high light intensity region exists based on the pixel signal of the previous frame.
The mode switching unit is
When the high light intensity region is present, some of the plurality of unit pixels are operated in the first mode, and the other unit pixels are operated in the second mode.
When the high light intensity region does not exist, all the unit pixels of the plurality of unit pixels are operated in the first mode.
The solid-state image sensor according to claim 4.
請求項1に記載の固体撮像装置。 Each of the plurality of unit pixels further includes a reset transistor connected to the storage unit.
The solid-state image sensor according to claim 1.
請求項1に記載の固体撮像装置。 The unit pixels adjacent to each other among the plurality of unit pixels share the first emission transistor.
The solid-state image sensor according to claim 1.
前記第1転送トランジスタ、前記メモリ部、前記第2転送トランジスタ、前記蓄積部、前記増幅トランジスタ、前記第1排出トランジスタ及び前記第2排出トランジスタのうちの少なくとも1つは、前記半導体基板における光の入射面とは反対側の面に配置されている、
請求項1に記載の固体撮像装置。 The photoelectric conversion unit is provided on a semiconductor substrate and is provided on a semiconductor substrate.
At least one of the first transfer transistor, the memory unit, the second transfer transistor, the storage unit, the amplification transistor, the first emission transistor, and the second emission transistor is incident light on the semiconductor substrate. It is located on the opposite side of the surface,
The solid-state image sensor according to claim 1.
前記固体撮像装置は、
複数の単位画素を備える画素アレイと、
前記複数の単位画素それぞれを露光期間が揃うように駆動する駆動部と、
前記駆動部による駆動に基づいて前記複数の単位画素それぞれから信号線に出力された画素信号を処理する信号処理回路と、
を備え、
前記複数の単位画素の各々は、
光電変換部と、
前記光電変換部に接続された第1転送トランジスタと、
前記第1転送トランジスタを介して前記光電変換部に接続され、前記光電変換部で発生した信号電荷を保持するメモリ部と、
前記メモリ部に接続された第2転送トランジスタと、
前記第2転送トランジスタを介して前記メモリ部に接続され、前記メモリ部から転送された電荷を蓄積する蓄積部と、
前記蓄積部に蓄積された電荷に基づく電圧値の画素信号を信号線に出現させる増幅トランジスタと、
前記光電変換部に接続された第1排出トランジスタと、
前記光電変換部に接続された第2排出トランジスタと、
を備える、電子機器。 An electronic device equipped with a solid-state image sensor
The solid-state image sensor
A pixel array with multiple unit pixels and
A drive unit that drives each of the plurality of unit pixels so that the exposure periods are aligned,
A signal processing circuit that processes a pixel signal output to a signal line from each of the plurality of unit pixels based on driving by the drive unit, and a signal processing circuit.
With
Each of the plurality of unit pixels
Photoelectric conversion unit and
The first transfer transistor connected to the photoelectric conversion unit and
A memory unit connected to the photoelectric conversion unit via the first transfer transistor and holding a signal charge generated by the photoelectric conversion unit.
The second transfer transistor connected to the memory unit and
A storage unit connected to the memory unit via the second transfer transistor and accumulating charges transferred from the memory unit, and a storage unit.
An amplification transistor that causes a pixel signal with a voltage value based on the electric charge stored in the storage unit to appear on the signal line.
The first emission transistor connected to the photoelectric conversion unit and
The second emission transistor connected to the photoelectric conversion unit and
Equipped with electronic equipment.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020015755A JP2021125716A (en) | 2020-01-31 | 2020-01-31 | Solid imaging device and electronic apparatus |
PCT/JP2021/002122 WO2021153429A1 (en) | 2020-01-31 | 2021-01-22 | Solid-state imaging device and electronic apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020015755A JP2021125716A (en) | 2020-01-31 | 2020-01-31 | Solid imaging device and electronic apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021125716A true JP2021125716A (en) | 2021-08-30 |
Family
ID=77079746
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020015755A Pending JP2021125716A (en) | 2020-01-31 | 2020-01-31 | Solid imaging device and electronic apparatus |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2021125716A (en) |
WO (1) | WO2021153429A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117999796A (en) * | 2021-11-23 | 2024-05-07 | 华为技术有限公司 | Solid-state imaging device with adjustable conversion gain, driving method, and electronic device |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014011718A (en) * | 2012-07-02 | 2014-01-20 | Sony Corp | Signal processing device, signal processing method, and program |
CN106664380B (en) * | 2014-07-04 | 2020-03-13 | 夏普株式会社 | Solid-state imaging element and electronic information device |
JP2017118265A (en) * | 2015-12-22 | 2017-06-29 | キヤノン株式会社 | Imaging apparatus |
JP7150469B2 (en) * | 2018-05-17 | 2022-10-11 | キヤノン株式会社 | Imaging device and imaging system |
-
2020
- 2020-01-31 JP JP2020015755A patent/JP2021125716A/en active Pending
-
2021
- 2021-01-22 WO PCT/JP2021/002122 patent/WO2021153429A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2021153429A1 (en) | 2021-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115528056B (en) | Light detection device and electronic apparatus | |
US11923387B2 (en) | Imaging device and electronic apparatus | |
WO2021235101A1 (en) | Solid-state imaging device | |
WO2021124975A1 (en) | Solid-state imaging device and electronic instrument | |
WO2021153480A1 (en) | Imaging element, imaging device, and distance measurement device | |
JP2020021987A (en) | Imaging apparatus and electronic apparatus | |
TW202133413A (en) | Solid-state imaging device and electronic apparatus | |
WO2021106732A1 (en) | Imaging device and electronic instrument | |
US12002825B2 (en) | Solid-state imaging device and electronic apparatus with improved sensitivity | |
WO2021100332A1 (en) | Semiconductor device, solid-state image capturing device, and electronic device | |
WO2021153429A1 (en) | Solid-state imaging device and electronic apparatus | |
WO2019181466A1 (en) | Imaging element and electronic device | |
US20240088191A1 (en) | Photoelectric conversion device and electronic apparatus | |
WO2022009627A1 (en) | Solid-state imaging device and electronic device | |
US20230005993A1 (en) | Solid-state imaging element | |
TW202118279A (en) | Imaging element and imaging device | |
TWI840384B (en) | Camera equipment and electronic equipment | |
WO2021187151A1 (en) | Image-capturing element, semiconductor chip | |
WO2023058352A1 (en) | Solid-state imaging device | |
WO2024057814A1 (en) | Light-detection device and electronic instrument | |
WO2021215299A1 (en) | Imaging element and imaging device | |
WO2024057805A1 (en) | Imaging element and electronic device | |
JP2023027455A (en) | Image pick up element, imaging device, manufacturing method | |
JP2022094727A (en) | Solid-state imaging device and method for manufacturing the same | |
JP2021072397A (en) | Solid-state image pickup device and electronic equipment |