CN114339090A - 图像感测装置及图像感测方法 - Google Patents
图像感测装置及图像感测方法 Download PDFInfo
- Publication number
- CN114339090A CN114339090A CN202110881956.7A CN202110881956A CN114339090A CN 114339090 A CN114339090 A CN 114339090A CN 202110881956 A CN202110881956 A CN 202110881956A CN 114339090 A CN114339090 A CN 114339090A
- Authority
- CN
- China
- Prior art keywords
- sensing
- transistor
- pixels
- sub
- readout
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000000007 visual effect Effects 0.000 claims abstract description 71
- 239000003990 capacitor Substances 0.000 claims description 23
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 5
- 101100010418 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) DSF1 gene Proteins 0.000 description 4
- 101100010419 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) DSF2 gene Proteins 0.000 description 4
- 230000009471 action Effects 0.000 description 4
- 101100041125 Arabidopsis thaliana RST1 gene Proteins 0.000 description 3
- 101100443250 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) DIG1 gene Proteins 0.000 description 3
- 101100443251 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) DIG2 gene Proteins 0.000 description 3
- 101100041128 Schizosaccharomyces pombe (strain 972 / ATCC 24843) rst2 gene Proteins 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- CETRDCWBMBILAL-XXKOCQOQSA-N Gonyautoxin 1 Chemical compound N=C1N(O)[C@@H](COC(=O)N)[C@@H]2NC(N)=N[C@@]22C(O)(O)[C@H](OS(O)(=O)=O)CN21 CETRDCWBMBILAL-XXKOCQOQSA-N 0.000 description 2
- ARSXTTJGWGCRRR-XXKOCQOQSA-N Gonyautoxin 2 Chemical compound NC(=O)OC[C@@H]1N=C(N)N2C[C@@H](OS(O)(=O)=O)C(O)(O)[C@@]22N=C(N)N[C@@H]12 ARSXTTJGWGCRRR-XXKOCQOQSA-N 0.000 description 2
- 101000763951 Homo sapiens Mitochondrial import inner membrane translocase subunit Tim8 A Proteins 0.000 description 2
- 102100026808 Mitochondrial import inner membrane translocase subunit Tim8 A Human genes 0.000 description 2
- 101100148262 Schizosaccharomyces pombe (strain 972 / ATCC 24843) rtx2 gene Proteins 0.000 description 2
- ARSXTTJGWGCRRR-LJRZAWCWSA-N [(3as,4r,9s,10as)-2,6-diamino-10,10-dihydroxy-9-sulfooxy-3a,4,8,9-tetrahydro-1h-pyrrolo[1,2-c]purin-4-yl]methyl carbamate Chemical compound [H+].NC(=O)OC[C@@H]1N=C(N)N2C[C@H](OS([O-])(=O)=O)C(O)(O)[C@@]22N=C(N)N[C@@H]12 ARSXTTJGWGCRRR-LJRZAWCWSA-N 0.000 description 2
- CLBIEZBAENPDFY-HNXGFDTJSA-N dinophysistoxin 1 Chemical compound C([C@H](O1)[C@H](C)/C=C/[C@H]2CC[C@@]3(CC[C@H]4O[C@@H](C([C@@H](O)[C@@H]4O3)=C)[C@@H](O)C[C@H](C)[C@@H]3[C@@H](CC[C@@]4(O3)[C@@H](CCCO4)C)C)O2)C(C)=C[C@]21O[C@H](C[C@@](C)(O)C(O)=O)CC[C@H]2O CLBIEZBAENPDFY-HNXGFDTJSA-N 0.000 description 2
- BRFKTXCAUCYQBT-KIXJXINUSA-N dinophysistoxin 2 Chemical compound C([C@H](O1)[C@H](C)/C=C/[C@H]2CC[C@@]3(CC[C@H]4O[C@@H](C([C@@H](O)[C@@H]4O3)=C)[C@@H](O)C[C@H](C)[C@H]3O[C@@]4([C@@H](CCCO4)C)CCC3)O2)C(C)=C[C@]21O[C@H](C[C@@](C)(O)C(O)=O)CC[C@H]2O BRFKTXCAUCYQBT-KIXJXINUSA-N 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 101100010420 Drosophila melanogaster dsf gene Proteins 0.000 description 1
- 101100064168 Escherichia coli (strain K12) dsbA gene Proteins 0.000 description 1
- JKKCSFJSULZNDN-HGRQIUPRSA-N Gonyautoxin 5 Chemical compound OS(=O)(=O)NC(=O)OC[C@@H]1N=C(N)N2CCC(O)(O)[C@@]22N=C(N)N[C@H]21 JKKCSFJSULZNDN-HGRQIUPRSA-N 0.000 description 1
- ALRRPAKWGUBPBK-UHFFFAOYSA-N Gonyautoxin VI Natural products N=C1N(O)C(COC(=O)NS(O)(=O)=O)C2NC(=N)NC22C(O)(O)CCN21 ALRRPAKWGUBPBK-UHFFFAOYSA-N 0.000 description 1
- 101710102931 Solute carrier family 22 member 12 Proteins 0.000 description 1
- OKSSKVHGKYJNLL-LJRZAWCWSA-N [(3as,4r,9s,10as)-2,6-diamino-10,10-dihydroxy-9-sulfooxy-3a,4,8,9-tetrahydro-1h-pyrrolo[1,2-c]purin-4-yl]methoxycarbonylsulfamic acid Chemical compound OS(=O)(=O)NC(=O)OC[C@@H]1N=C(N)N2C[C@H](OS(O)(=O)=O)C(O)(O)[C@@]22N=C(N)N[C@H]21 OKSSKVHGKYJNLL-LJRZAWCWSA-N 0.000 description 1
- 238000004146 energy storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- JKKCSFJSULZNDN-UHFFFAOYSA-N gonyautoxin 5 Natural products N=C1NC(COC(=O)NS(O)(=O)=O)C2NC(=N)NC22C(O)(O)CCN21 JKKCSFJSULZNDN-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012772 sequence design Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/705—Pixels for depth measurement, e.g. RGBZ
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/532—Control of the integration time by controlling global shutters in CMOS SSIS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
本发明提供一种图像感测装置及图像感测方法。图像感测装置包括像素阵列及读出电路。像素阵列包括阵列排列的多个感测子像素。在一个图框期间的一个第一曝光期间中，多个感测子像素同时进行曝光，以分别将多个第一感测信号存储于多个感测子像素的多个存储单元。在一个图框期间的多个第一读出期间中，读出电路在不同期间依序读出存储在多个存储单元的多个第一感测信号。在一个图框期间的多个动态视觉感测期间的每一个中，多个感测子像素的全部或一部分经重置后再次同时进行曝光，并且读出电路接着同时读出所述多个感测子像素的多个第二感测信号。
Description
技术领域
本发明涉及一种感测技术，尤其涉及一种图像感测装置及图像感测方法。
背景技术
目前的图像传感器若要实现图像感测以及动态视觉感测，则图像传感器会将一部分的感测子像素作为图像感测，并且将另一部分的感测子像素用于动态视觉感测。换言之，传统的图像传感器若要实现图像感测功能以及动态视觉感测功能，则会导致图像解析度下降，并且图像传感器需要额外的电路配置成本(例如具有较多的读出电路需求)。有鉴于此，如何实现一种可同时具备有图像感测功能以及动态视觉感测功能的图像传感器，并且可提供具有较高图像解析度的图像感测结果，以下将提出几个实施例的解决方案。
发明内容
本发明是针对一种图像感测装置及图像感测方法，可实现良好的图像感测以及动态视觉感测功能。
根据本发明的实施例，本发明的图像感测装置包括像素阵列以及读出电路。像素阵列包括阵列排列的多个感测子像素。读出电路耦接所述像素阵列。在一个图框期间的一个第一曝光期间中，所述多个感测子像素同时进行曝光，以分别将多个第一感测信号存储于所述多个感测子像素的多个存储单元。在所述一个图框期间的多个第一读出期间中，所述读出电路在不同期间依序读出存储在所述多个存储单元的所述多个第一感测信号。在所述一个图框期间的多个动态视觉感测期间的每一个中，所述多个感测子像素的全部或一部分经重置后再次同时进行曝光，并且所述读出电路接着同时读出所述多个感测子像素的多个第二感测信号。
根据本发明的实施例，本发明的图像感测方法适于图像感测装置。所述图像感测装置包括像素阵列以及读出电路。所述像素阵列包括阵列排列的多个感测子像素。所述图像感测方法包括以下步骤：在一个图框期间的一个第一曝光期间中，通过所述多个感测子像素同时进行曝光，以分别将多个第一感测信号存储于所述多个感测子像素的多个存储单元；在所述一个图框期间的多个第一读出期间中，通过所述读出电路在不同期间依序读出存储在所述多个存储单元的所述多个第一感测信号；以及在所述一个图框期间的多个动态视觉感测期间的每一个中，通过所述多个感测子像素的全部或一部分经重置后再次同时进行曝光，并且通过所述读出电路接着同时读出所述多个感测子像素的多个第二感测信号。
基于上述，本发明的图像感测装置以及图像感测方法可在一个图框期间进行图像感测以及动态视觉感测，并且可具有良好的图像解析度。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1是本发明的一实施例的图像感测装置的示意图；
图2是本发明的一实施例的感测阵列的示意图；
图3是本发明的一实施例的感测子像素的示意图；
图4是本发明的一实施例的图像感测方法的流程图；
图5是本发明的一实施例的多个感测子像素在一个图框期间中的操作时序图；
图6是本发明的另一实施例的多个感测子像素在一个图框期间中的操作时序图；
图7是本发明的一实施例的感测子像素的感测电路图；
图8是本发明的另一实施例的感测子像素的感测电路图；
图9是本发明的一实施例的多个感测子像素的感测电路图；
图10是本发明的另一实施例的多个感测子像素的感测电路图。
附图标记说明
100:图像感测装置；
110:像素阵列；
111、910～990、1010～1090、1110～1190:感测像素；
112:动态视觉感测像素；
120:读出电路；
310、710、810:第一感测电路；
320、720、820:第二感测电路；
911～914、921～924、961～964、1011～1014、1111～1114:感测电路；
R_1～R_N、G1_1～G1_N、G2_1～G2_N、B_1～B_N、300、700、800:感测子像素；
I_1～I_K、D_1～D_P、FN、DFN、FN1、FN2、DFN1、DFN2:读出节点；
PD、PD1～PD8:光电二极管；
S410～S450:步骤；
IS1～IS4、IS1’～IS4’:图像感测时序；
DVS1～DVS4、DVS1’～DVS4’:动态视觉感测时序；
t0～t18、t0’～t11’:时间；
GTX、GTX1～GTX8:第一晶体管；
RTX、RTX1～RTX8:第二晶体管；
RST、RST1、RST2:第三晶体管；
SF、SF1、SF2:第四晶体管；
DTX、DTX1～DTX8:第五晶体管；
DRST、DRST1、DRST2:第六晶体管；
DSF、DSF1、DSF2:第七晶体管；
MN、MN1～MN8:存储单元；
V_RST、V_DRST、V_RST1、V_RST2、V_DRST1、V_DRST2:重置信号；
Cr1、Cr3:第一电容；
Cr2、Cr4:第二电容；
Vr1、Vr2、Vr3、Vr4:斜坡信号。
具体实施方式
现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同元件符号在附图和描述中用来表示相同或相似部分。
图1是本发明的一实施例的图像感测装置的示意图。图2是本发明的一实施例的感测阵列的示意图。参考图1，图像感测装置100包括像素阵列110以及读出电路120。像素阵列110耦接读出电路120。像素阵列110包括阵列排列的多个感测子像素R_1～R_N、G1_1～G1_N、G2_1～G2_N、B_1～B_N、多个读出节点I_1～I_K以及多个读出节点D_1～D_P，其中N、K、P为正整数。读出节点I_1～I_K以及读出节点D_1～D_P分别用于读出最邻近的周围四个感测子像素的感测结果。
在本实施例中，感测子像素R_1～R_N可为红色感测子像素，并且用于感测红色光。感测子像素G1_1～G1_N可为第一绿色感测子像素，并且用于感测绿色光。感测子像素G2_1～G2_N可为第二绿色感测子像素，并且用于感测绿色光。感测子像素B_1～B_N可为蓝色感测子像素，并且用于感测蓝色光。另外，在本发明的另一些实施例中，感测子像素G2_1～G2_N可作为红外光感测子像素，并且用于距离感测。
在本实施例中，一个红色感测子像素(例如感测子像素R_1)、一个第一绿色感测子像素(例如感测子像素G1_1)、一个第二绿色感测子像素(例如感测子像素G2_1)以及一个蓝色感测子像素(例如感测子像素B_1)可组成一个图像感测像素(例如图像感测像素111)。
在本实施例中，对于图像感测(作为图像传感器(Image Sensor))而言，任一个图像感测像素的四个感测子像素的多个感测信号由同一的读出节点(例如读出节点I_1)被读出电路120分时读出。具体而言，感测子像素R_1、G1_1、G2_1、B_1的多个感测信号由读出节点I_1被读出电路120分时读出。感测子像素R_2、G1_2、G2_2、B_2的多个感测信号由读出节点I_2被读出电路120分时读出。感测子像素R_3、G1_3、G2_3、B_3的多个感测信号由读出节点I_3被读出电路120分时读出。以此类推，其他感测子像素的感测信号可如同上述方式由对应的读出节点来被读出至读出电路120。
在本实施例中，四个红色感测子像素(例如感测子像素R_5、R_6、R_8、R_9)、四个第一绿色感测子像素(例如感测子像素G1_4、G1_5、G1_7、G1_8)、四个第二绿色感测子像素(例如感测子像素G2_2、G2_3、G2_5、G2_6)以及四个蓝色感测子像素(例如感测子像素B_1、B_2、B_4、B_5)可组成一个动态视觉感测像素(例如动态视觉感测像素112)，但本发明并不限于此。在本发明的另一实施例中，动态视觉感测像素也可由一个红色感测子像素(例如感测子像素R_5)、一个第一绿色感测子像素(例如感测子像素G1_4)、一个第二绿色感测子像素(例如感测子像素G2_2)以及一个蓝色感测子像素(例如感测子像素B_1)所组成。
在本实施例中，对于动态视觉感测(作为动态视觉传感器(Dynamic VisionSensor,DVS))而言，任十六个感测子像素的多个感测信号可由四个读出节点(例如读出节点D_1、D_2、D_3、D_4)可被读出电路120同时读出。具体而言，十六个感测子像素R_5、R_6、R_8、R_9、G1_4、G1_5、G1_7、G1_8、G2_2、G2_3、G2_5、G2_6、B_1、B_2、B_4、B_5的多个感测信号由读出节点D_1、D_2、D_3、D_4被读出电路120同时读出。此外，由于像素阵列110最外侧的多个感测子像素(例如感测子像素R_1、G1_1、R_2、R2_1、R_42等)在进行动态视觉感测时，未被使用，因此像素阵列110的最外侧的(未被使用的)多个感测子像素可在像素阵列110进行动态视觉感测时被禁能(disable)。
在本实施例中，在一个图框期间的一个第一曝光期间中，感测子像素R_1～R_N、G1_1～G1_N、G2_1～G2_N、B_1～B_N同时进行曝光，以分别将多个第一感测信号存储于各自感测子像素的存储单元。在所述一个图框期间的多个第一读出期间中，读出电路120在不同期间依序读出存储在多个存储单元的多个第一感测信号。在所述一个图框期间的多个动态视觉感测期间的每一个中，感测子像素R_1～R_N、G1_1～G1_N、G2_1～G2_N、B_1～B_N的全部或一部份经重置后再次同时进行曝光，并且读出电路120接着同时读出动态视觉感测像素内所述多个感测子像素的多个第二感测信号。换言之，本实施例的图像感测装置100在图像感测模式中是采用全局式快门(Global Shutter,GS)的曝光操作，并且采用滚动式(Rolling)的读出操作。本实施例的图像感测装置100在动态视觉感测模式中是采用全局式快门的曝光操作。
图3是本发明的一实施例的感测子像素的示意图。参考图1，在本实施例中，上述的感测子像素R_1可各别具有如图3所示的感测子像素300的架构，并且感测子像素R_2～R_N、G1_2～G1_N、G2_2～G2_N、B_2～B_N也具有相同架构可以此类推。在本实施例中，感测子像素300包括光电二极管(Photodiode,PD)PD、第一感测电路310以及第二感测电路320。光电二极管PD的阳极(Anode)耦接接地电压，并且阴极(Cathode)耦接第一感测电路310以及第二感测电路320。
在本实施例中，第一感测电路310包括存储单元。在第一曝光期间中，第一感测电路310将光电二极管PD提供的第一感测信号存储于存储单元。在对应的第一读出期间中，第一感测电路310将存储在存储单元中的第一感测信号从读出节点I_1输出。在所述多个动态视觉感测期间的每一个中，第二感测电路320从读出节点D_1输出由光电二极管PD提供的第二感测信号。因此，本实施例的像素阵列110可利用相同的感测子像素在一个图框期间同时进行图像感测以及动态视觉感测。
图4是本发明的一实施例的图像感测方法的流程图。参考图1、图2以及图4，本实施例的图像感测装置100可执行以下操作S410～450，以实现在一个图框期间中可进行图像感测操作以及动态视觉感测操作。在步骤S410，在一个图框期间的一个第一曝光期间中，多个感测子像素R_1～R_N、G1_1～G1_N、G2_1～G2_N、B_1～B_N可同时进行曝光，以分别将第一感测信号存储于感测子像素R_1～R_N、G1_1～G1_N、G2_1～G2_N、B_1～B_N的多个存储单元。在步骤S420，在所述一个图框期间的多个第一读出期间中，读出电路120在不同期间依序读出存储在多个存储单元的多个第一感测信号。在步骤S430，读出电路120及后端数字处理电路可根据所述多个第一感测信号产生一个感测图像。在步骤S440，在所述一个图框期间的多个动态感测期间的每一个中，感测子像素的全部或一部份经重置后再次同时进行曝光，并且通过读出电路120接着同时读出多个动态视觉感测像素(例如图2的动态视觉感测像素112)内的多个感测子像素的多个第二感测信号。在步骤S450，读出电路120及后端数字处理电路可根据所述多个第二感测信号产生动态感测结果。值得注意的是，步骤S420与步骤S440可为在同一个图框期间执行(可同时或非同时)，因此无限制执行的先后顺序。并且，步骤S430与步骤S450也无限制执行的先后顺序。因此，本实施例的图像感测装置100以及图像感测方法可在一个图框期间中取得图像感测结果以及动态视觉感测结果，并且图像感测结果可具有良好的图像解析度。
图5是本发明的一实施例的多个感测子像素在一个图框期间中的操作时序图。参考图1、图2及图5，以下以感测子像素R_5、G1_5、G2_5、B_5的操作为例。图像感测时序IS1～IS4可分别对应于感测子像素R_5、G1_5、G2_5、B_5的图像感测动作。动态视觉感测时序DVS1～DVS4可分别对应于感测子像素R_5、G1_5、G2_5、B_5的动态视觉感测动作。在时间t0至时间t1，感测子像素R_5、G1_5、G2_5、B_5同时进行曝光(图像感测)。在时间t2至时间t3，感测子像素R_5的存储单元所存储的感测信号从读出节点I_5被读出。接着，在时间t4至时间t5，感测子像素R_5、G1_5、G2_5、B_5同时进行曝光(第一次动态视觉感测)，其中感测子像素R_6、R_8、R_9、G1_4、G1_7、G1_8、G2_2、G2_3、G2_6、B_1、B_2、B_4也同时进行曝光(第一次动态视觉感测)。在时间t5至时间t6，感测子像素R_5、G1_5、G2_5、B_5的多个感测信号从读出节点D_1、D_2、D_3、D_4被读出，其中感测子像素R_6、R_8、R_9、G1_4、G1_7、G1_8、G2_2、G2_3、G2_6、B_1、B_2、B_4的多个感测信号也同时从读出节点D_1、D_2、D_3、D_4被读出。在时间t7至时间t8，感测子像素G1_5的存储单元所存储的感测信号从读出节点I_5被读出。在时间t9至时间t10，感测子像素R_5、G1_5、G2_5、B_5同时进行曝光(第二次动态视觉感测)，其中感测子像素R_6、R_8、R_9、G1_4、G1_7、G1_8、G2_2、G2_3、G2_6、B_1、B_2、B_4也同时进行曝光(第二次动态视觉感测)。在时间t10至时间t11，感测子像素R_5、G1_5、G2_5、B_5的多个感测信号从读出节点D_1、D_2、D_3、D_4被读出，其中感测子像素R_6、R_8、R_9、G1_4、G1_7、G1_8、G2_2、G2_3、G2_6、B_1、B_2、B_4的多个感测信号也同时从读出节点D_1、D_2、D_3、D_4被读出。在时间t12至时间t13，感测子像素G2_5的存储单元所存储的感测信号从读出节点I_5被读出。在时间t14至时间t15，感测子像素R_5、G1_5、G2_5、B_5同时进行曝光(第三次动态视觉感测)，其中感测子像素R_6、R_8、R_9、G1_4、G1_7、G1_8、G2_2、G2_3、G2_6、B_1、B_2、B_4也同时进行曝光(第三次动态视觉感测)。在时间t15至时间t16，感测子像素R_5、G1_5、G2_5、B_5的多个感测信号从读出节点D_1、D_2、D_3、D_4被读出，其中感测子像素R_6、R_8、R_9、G1_4、G1_7、G1_8、G2_2、G2_3、G2_6、B_1、B_2、B_4的多个感测信号也同时从读出节点D_1、D_2、D_3、D_4被读出。在时间t17至时间t18，感测子像素B_5的存储单元所存储的感测信号从读出节点I_5被读出。因此，感测子像素R_5、G1_5、G2_5、B_5的四个图像信号读出期间与感测子像素R_5、G1_5、G2_5、B_5的三个动态视觉感测期间交错进行，并且此四个图像信号读出期间与三个动态视觉感测期间之间彼此未时序重叠。
如此一来，本实例的像素阵列110可利用相同的感测子像素在一个图框期间同时进行图像感测以及动态视觉感测。并且，在本实施例中，像素阵列110经由上述图像感测所产生的感测图像的解析度高于(例如16倍)经由上述动态视觉感测所产生的感测图像。此外，值得注意的是，本实例的动态视觉感测可利用后端数字处理器将上述第一次至第三次动态视觉感测结果之间的三个感测图像比较，以通过其差异来判断当前感测对象的动作结果，或是输出连续的动态视觉感测图像。
另外，值得注意的是，由于本实施例的图像感测及动态视觉感测的读出操作在不同时间区间进行，因此本实施例的感测子像素R_5、G1_5、G2_5、B_5的第一感测电路以及本实施例的感测子像素R_5、R_6、R_8、R_9、G1_4、G1_5、G1_7、G1_8、G2_2、G2_3、G2_5、G2_6、B_1、B_2、B_4、B_5的第二感测电路可耦接读出电路120的相同行读出电路或不同行读出电路。
图6是本发明的另一实施例的多个感测子像素在一个图框期间中的操作时序图。参考图1、图2及图6，以下以感测子像素R_5、G1_5、G2_5、B_5的操作为例。图像感测时序IS1’～IS4’可分别对应于感测子像素R_5、G1_5、G2_5、B_5的图像感测动作。动态视觉感测时序DVS1’～DVS4’可分别对应于感测子像素R_5、G1_5、G2_5、B_5的动态视觉感测动作。在时间t0’至时间t1’，感测子像素R_5、G1_5、G2_5、B_5同时进行曝光(图像感测)。在时间t2’至时间t3’，感测子像素R_5的存储单元所存储的感测信号从读出节点I_5被读出。接着，在时间t4’至时间t5’，感测子像素R_5、G1_5、G2_5、B_5同时进行曝光(第一次动态视觉感测)，其中感测子像素R_6、R_8、R_9、G1_4、G1_7、G1_8、G2_2、G2_3、G2_6、B_1、B_2、B_4也同时进行曝光(第一次动态视觉感测)。在时间t5’至时间t6’，感测子像素R_5、G1_5、G2_5、B_5的多个感测信号从读出节点D_1、D_2、D_3、D_4被读出，其中感测子像素R_6、R_8、R_9、G1_4、G1_7、G1_8、G2_2、G2_3、G2_6、B_1、B_2、B_4的多个感测信号也同时从读出节点D_1、D_2、D_3、D_4被读出。同时，在时间t4’至时间t6’，感测子像素G1_1的存储单元所存储的感测信号从读出节点I_5被读出。在时间t7’至时间t8’，感测子像素G2_5的存储单元所存储的感测信号从读出节点I_5被读出。在时间t9’至时间t10’，感测子像素R_5、G1_5、G2_5、B_5同时进行曝光(第二次动态视觉感测)，其中感测子像素R_6、R_8、R_9、G1_4、G1_7、G1_8、G2_2、G2_3、G2_6、B_1、B_2、B_4也同时进行曝光(第二次动态视觉感测)。在时间t10’至时间t11’，感测子像素R_5、G1_5、G2_5、B_5的多个感测信号从读出节点D_1、D_2、D_3、D_4被读出，其中感测子像素R_6、R_8、R_9、G1_4、G1_7、G1_8、G2_2、G2_3、G2_6、B_1、B_2、B_4的多个感测信号也同时从读出节点D_1、D_2、D_3、D_4被读出。同时，在时间t9’至时间t11’，感测子像素B_5的存储单元所存储的感测信号从读出节点I_5被读出。因此，感测子像素R_5、G1_5、G2_5、B_5的四个图像信号读出期间的偶数期间部分(或是奇数期间部分)与感测子像素R_5、G1_5、G2_5、B_5的两个动态视觉感测期间交错进行。感测子像素R_5、G1_5、G2_5、B_5的四个图像信号读出期间的偶数期间部分以及奇数期间部分的其中之一与两个动态视觉感测期间之间彼此未时序重叠，并且感测子像素R_5、G1_5、G2_5、B_5的四个图像信号读出期间的奇数期间部分(或是偶数期间部分)与两个动态视觉感测期间逐一同步进行。
换言之，由于本实施例的各感测子像素设计有如上述图3的两个感测电路设计，以使本实施例的感测子像素可在一个图框期间中的图像感测信号的读出期间来操作空闲的光电二极管进行动态视觉感测，并且可不影响(增加)一个图框期间的时间长度。相较上述图5的实施时序，图6的图像感测装置100所提供的感测结果可具有较高的影格率(framerate)。并且，本发明的动态视觉感测期间不限于图6，依其设计精神动态视觉感测期间(曝光+读出)可设计于任意的图像感测信号的读出期间来同步执行。
另外，值得注意的是，由于本实施例的图像感测及动态视觉感测的读出操作可能在相同时间区间进行，因此本实施例的感测子像素R_5、G1_5、G2_5、B_5的第一感测电路以及本实施例的感测子像素R_5、R_6、R_8、R_9、G1_4、G1_5、G1_7、G1_8、G2_2、G2_3、G2_5、G2_6、B_1、B_2、B_4、B_5的第二感测电路可耦接读出电路120的不同行读出电路。
图7是本发明的一实施例的感测子像素的感测电路图。参考图7，上述的感测子像素R_1～R_N、G1_1～G1_N、G2_1～G2_N、B_1～B_N可各别具有如图7所示的感测子像素700的电路架构。在本实施例中，感测子像素700包括光电二极管PD、第一感测电路710以及第二感测电路720。在本实施例中，第一感测电路710以及第二感测电路720耦接光电二极管PD。在本实施例中，第一感测电路710包括第一晶体管GTX、存储单元MN、第二晶体管RTX、第三晶体管RST以及第四晶体管SF。第一晶体管GTX的第一端耦接光电二极管PD。存储单元MN耦接第一晶体管GTX的第二端。存储单元MN可为另一光电二极管(不受光)或电容等储能元件。第二晶体管RTX的第一端耦接存储单元MN。第三晶体管RST的第一端耦接重置信号V_RST。第三晶体管RST的第二端耦接第二晶体管RTX的第二端。第四晶体管SF的控制端耦接第三晶体管RST的第二端。在本实施例中，第四晶体管SF的控制端耦接读出节点FN(可例如是上述图2及图3的读出节点I1)。第三晶体管RST可重置读出节点FN的电位和/或重置光电二极管PD。当第二晶体管RTX开启时，第四晶体管SF的第二端可输出存储在存储单元MN中的感测信号的结果。
在本实施例中，第二感测电路720包括第五晶体管DTX、第六晶体管DRST以及第七晶体管DSF。第五晶体管DTX的第一端耦接光电二极管PD。第六晶体管DRST的第一端耦接另一重置信号V_DRST。第六晶体管DRST的第二端耦接第五晶体管DTX的第二端。第七晶体管DSF的控制端耦接第六晶体管DRST的第二端。在本实施例中，第七晶体管DSF的控制端耦接读出节点DFN(可例如是上述图2及图3的读出节点D1)。第六晶体管DRST可重置读出节点DFN的电位和/或重置光电二极管PD。当第五晶体管DTX开启时，第七晶体管DSF的第二端可输出光电二极管PD的感测信号。
图8是本发明的另一实施例的感测子像素的感测电路图。参考图8，上述的感测子像素R_1～R_N、G1_1～G1_N、G2_1～G2_N、B_1～B_N可各别具有如图8所示的感测子像素800的电路架构。在本实施例中，感测子像素800包括光电二极管PD、第一感测电路810以及第二感测电路820。在本实施例中，第一感测电路810以及第二感测电路820耦接光电二极管PD。参考图8的第一感测电路810以及第二感测电路820的内部电路元件具有如图7的第一感测电路710以及第二感测电路720的内部电路元件，因此不再赘述。与图7不同的是，本实施例的第一感测电路810还包括第一电容Cr1。第一电容Cr1的第一端可耦接斜坡信号Vr1(取样斜坡信号)。斜坡信号Vr1可为上斜坡信号或下斜坡信号。第一电容Cr1的第二端耦接第二晶体管RTX的第二端。在本实施例中，第二感测电路820还包括第二电容Cr2。第二电容Cr2的第一端耦接另一斜坡信号Vr2(取样斜坡信号)。另一斜坡信号Vr2可为另一上斜坡信号或另一下斜坡信号。第二电容Cr2的第二端耦接第五晶体管DTX的第二端。
对此，例如图2的感测子像素R_1可与感测子像素R_4作为差动输出。对此，感测子像素R_1可与感测子像素R_4的两个第一感测电路的读出节点可例如耦接类比数字转换器(Analog-to-Digital Converter,ADC)的第一输入端以及第二输入端。感测子像素R_1可与感测子像素R_4的两个第二感测电路的读出节点也可例如耦接类比数字转换器的第一输入端以及第二输入端。
图9是本发明的一实施例的多个感测子像素的感测电路图。先参考图2，感测阵列110中的感测子像素R_1～R_N、G1_1～G1_N、G2_1～G2_N、B_1～B_N的每四个耦接同一个第四晶体管(4-share)。搭配参考图9，感测像素910可如同上述的感测子像素R_5、G1_5、G2_5、B_5耦接同一个第三晶体管RST以及同一个第四晶体管SF。在本实施例中，感测子像素R_5的感测电路911可包括光电二极管PD1、第一晶体管GTX1、存储单元MN1以及第二晶体管RTX1。感测子像素G1_5的感测电路912可包括光电二极管PD2、第一晶体管GTX2、存储单元MN2以及第二晶体管RTX2。感测子像素G2_5的感测电路913可包括光电二极管PD3、第一晶体管GTX3、存储单元MN3以及第二晶体管RTX3。感测子像素B_5的感测电路914可包括光电二极管PD4、第一晶体管GTX4、存储单元MN4以及第二晶体管RTX4。对此，本实施例的各感测子像素的第一感测电路的内部电路元件的耦接方式可参考上述图7实施例的说明，因此不再赘述。在本实施例中，感测子像素R_5、G1_5、G2_5、B_5耦接同一个第三晶体管RST以及同一个第四晶体管SF。因此，感测像素910可通过分时开启第二晶体管RTX1、RTX2、RTX3、RTX4，以从第四晶体管SF分时读出多个感测信号，而可实现如上述图5或图6的实施例的分时读出图像感测信号的信号读出动作。
再同时参考图2及图9，感测阵列110中的感测子像素R_1～R_N、G1_1～G1_N、G2_1～G2_N、B_1～B_N中全部或一部分的每十六个感测子像素耦接同一个第七晶体管(16-share)。搭配参考图9，感测像素910～990可包括如同上述的感测子像素R_5、R_6、R_8、R_9、G1_4、G1_5、G1_7、G1_8、G2_2、G2_3、G2_5、G2_6、B_1、B_2、B_4、B_5，并且感测子像素R_5、R_6、R_8、R_9、G1_4、G1_5、G1_7、G1_8、G2_2、G2_3、G2_5、G2_6、B_1、B_2、B_4、B_5耦接同一个第七晶体管。感测像素910可包括感测子像素R_5、G1_5、G2_5、B_5，并且感测子像素R_5、G1_5、G2_5、B_5耦接同一个第三晶体管RST以及同一个第四晶体管SF。感测像素920可包括感测子像素R_2、G1_2、G2_2、B_2，并且感测子像素R_2、G1_2、G2_2、B_2耦接同一个第三晶体管以及同一个第四晶体管。感测像素930可包括感测子像素R_4、G1_4、G2_4、B_4，并且感测子像素R_4、G1_4、G2_4、B_4耦接同一个第三晶体管以及同一个第四晶体管。感测像素940可包括感测子像素R_6、G1_6、G2_6、B_6，并且感测子像素R_6、G1_6、G2_6、B_6耦接同一个第三晶体管以及同一个第四晶体管。感测像素950可包括感测子像素R_8、G1_8、G2_8、B_8，并且感测子像素R_8、G1_8、G2_8、B_8耦接同一个第三晶体管以及同一个第四晶体管。感测像素960可包括感测子像素R_1、G1_1、G2_1、B_1，并且感测子像素R_1、G1_1、G2_1、B_1耦接同一个第三晶体管以及同一个第四晶体管。感测像素970可包括感测子像素R_3、G1_3、G2_3、B_3，并且感测子像素R_3、G1_3、G2_3、B_3耦接同一个第三晶体管以及同一个第四晶体管。感测像素980可包括感测子像素R_7、G1_7、G2_7、B_7，并且感测子像素R_7、G1_7、G2_7、B_7耦接同一个第三晶体管以及同一个第四晶体管。感测像素990可包括感测子像素R_9、G1_9、G2_9、B_9，并且感测子像素R_9、G1_9、G2_9、B_9耦接同一个第三晶体管以及同一个第四晶体管。
在本实施例中，感测像素910的感测子像素R_5的感测电路911还可包括第五晶体管DTX1。感测像素910的感测子像素G1_5的感测电路912还可包括第五晶体管DTX2。感测像素910的感测子像素G2_5的感测电路913还可包括第五晶体管DTX3。感测像素910的感测子像素B_5的感测电路914还可包括第五晶体管DTX4。对此，本实施例的各感测子像素的感测电路的内部电路元件的耦接方式可参考上述图7实施例的说明，因此不再赘述。在本实施例中，感测子像素R_5、G1_5、G2_5、B_5耦接同一个第六晶体管DRST以及第七晶体管DSF。
在本实施例中，感测像素920的感测子像素G2_2、B_2的感测电路923、924同样耦接同一个第六晶体管DRST以及第七晶体管DSF，并且感测子像素R_2、G1_2的感测电路921、922未耦接第六晶体管DRST以及第七晶体管DSF或耦接其他第六晶体管以及其他第七晶体管。以此类推，感测像素930的感测子像素G1_4、B_4的感测电路同样耦接同一个第六晶体管DRST以及第七晶体管DSF，并且感测子像素R_4、G2_4的感测电路未耦接第六晶体管DRST以及第七晶体管DSF或耦接其他第六晶体管以及其他第七晶体管。感测像素940的感测子像素R_6、G2_6的感测电路同样耦接同一个第六晶体管DRST以及第七晶体管DSF，并且感测子像素G1_6、B_6的感测电路未耦接第六晶体管DRST以及第七晶体管DSF或耦接其他第六晶体管以及其他第七晶体管。感测像素950的感测子像素R_8、G1_8的感测电路同样耦接同一个第六晶体管DRST以及第七晶体管DSF，并且感测子像素G2_8、B_8的感测电路未耦接第六晶体管DRST以及第七晶体管DSF或耦接其他第六晶体管以及其他第七晶体管。
在本实施例中，感测像素960的感测子像素B_1的感测电路964同样耦接第六晶体管DRST以及第七晶体管DSF，并且感测子像素R_1、G1_1、G2_1的感测电路961～963未耦接第六晶体管DRST以及第七晶体管DSF或耦接其他第六晶体管以及其他第七晶体管。以此类推，感测像素970的感测子像素G2_3的感测电路同样耦接第六晶体管DRST以及第七晶体管DSF，并且感测子像素R_3、G1_3、B_3的感测电路未耦接第六晶体管DRST以及第七晶体管DSF或耦接其他第六晶体管以及其他第七晶体管。感测像素980的感测子像素G1_7的感测电路同样耦接第六晶体管DRST以及第七晶体管DSF，并且感测子像素R_7、G2_7、B_7的感测电路未耦接第六晶体管DRST以及第七晶体管DSF或耦接其他第六晶体管以及其他第七晶体管。感测像素990的感测子像素R_9的感测电路同样耦接第六晶体管DRST以及第七晶体管DSF，并且感测子像素G1_9、G2_9、B_9的感测电路未耦接第六晶体管DRST以及第七晶体管DSF或耦接其他第六晶体管以及其他第七晶体管。
因此，感测像素910～990的感测子像素R_5、R_6、R_8、R_9、G1_4、G1_5、G1_7、G1_8、G2_2、G2_3、G2_5、G2_6、B_1、B_2、B_4、B_5可通过同时开启各别的第五晶体管，以从第七晶体管DSF同时读出多个感测信号的加总信号结果，而可实现如上述图5或图6的实施例的同时读出动态视觉感测信号的信号读出动作。
图10是本发明的另一实施例的多个感测子像素的感测电路图。先参考图2，动态视觉感测像素112的十六个感测子像素可与另一感测像素组的另十六个感测子像素形成差动输出。搭配参考图10，感测像素1010～1090可包括如同上述的感测子像素R_5、R_6、R_8、R_9、G1_4、G1_5、G1_7、G1_8、G2_2、G2_3、G2_5、G2_6、B_1、B_2、B_4、B_5，并且感测像素1010～1090的内部电路耦接方式可参考上述图9实施例，在此不多加赘述。感测像素1010可如同包括上述的感测子像素R_5、G1_5、G2_5、B_5。在本实施例中，感测子像素R_5的感测电路1011可包括第一晶体管GTX1、存储单元MN1以及第二晶体管RTX1。感测子像素G1_5的感测电路1012可包括第一晶体管GTX2、存储单元MN2以及第二晶体管RTX2。感测子像素G2_5的感测电路1013可包括第一晶体管GTX3、存储单元MN3以及第二晶体管RTX3。感测子像素B_5的感测电路1014可包括第一晶体管GTX4、存储单元MN4以及第二晶体管RTX4。感测子像素R_5、G1_5、G2_5、B_5的感测电路1011～1014耦接相同的第三晶体管RST1、第四晶体管SF1以及第一电容Cr1。
在本实施例中，感测像素1110可为另一感测像素，并且同样包括四个感测子像素。在本实施例中，另一红色感测子像素的感测电路1111可包括第一晶体管GTX5、存储单元MN5以及第二晶体管RTX5。另一第一绿色感测子像素的感测电路1112可包括第一晶体管GTX6、存储单元MN6、第二晶体管RTX6。另一第二绿色感测子像素的感测电路1113可包括第一晶体管GTX7、存储单元MN7、第二晶体管RTX7。另一蓝色感测子像素的感测电路1114可包括第一晶体管GTX8、存储单元MN8、第二晶体管RTX8。另一红色感测子像素、另一第一绿色感测子像素、另一第二绿色感测子像素以及另一蓝色感测子像素的感测电路1111～1114耦接相同的第三晶体管RST2、第四晶体管SF2以及第一电容Cr3。
在本实施例中，第一电容Cr1可例如接收上斜坡信号Vr1，并且第一电容Cr3可例如接收下斜坡信号Vr3。光电二极管PD1及光电二极管PD5的图像感测信号的读出结果可作为差动输出。光电二极管PD2及光电二极管PD6的图像感测信号的读出结果可作为差动输出。光电二极管PD3及光电二极管PD7的图像感测信号的读出结果可作为差动输出。光电二极管PD4及光电二极管PD8的图像感测信号的读出结果可作为差动输出。因此，后端差动放大器或类比数字转换器可利用上述多个差动输出结果来产生感测图像。
在本实施例中，感测像素1010可分时开启第二晶体管RTX1、RTX2、RTX3、RTX4，以及感测像素1110可分时开启第二晶体管RTX5、RTX6、RTX7、RTX8。因此，读出电路可从第四晶体管SF1及第四晶体管SF2分时读出经由读出节点FN1及读出节点FN2提供的多个差动感测信号，而可实现如上述图5或图6的实施例的分时读出图像感测信号的信号读出动作。以此类推，感测像素1020～1090以及感测像素1120～1190可执行相同操作，而分时读出各自的图像感测信号。
再同时参考图2及图10，感测阵列110中的感测子像素R_1～R_N、G1_1～G1_N、G2_1～G2_N、B_1～B_N中的每十六个感测子像素耦接同一个第七晶体管。在本实施例中，感测子像素R_5的感测电路1011可还包括第五晶体管DTX1。感测子像素G1_5的感测电路1012可包括第五晶体管DTX2。感测子像素G2_5的感测电路1012可包括第五晶体管DTX3。感测子像素B_5的感测电路1013可包括第五晶体管DTX4。感测子像素R_5、G1_5、G2_5、B_5的感测电路1011～1014耦接相同的第六晶体管DRST1、第七晶体管DSF1以及第二电容Cr2。以此类推，感测像素1020～1090中的感测子像素R_6、R_8、R_9、G1_4、G1_7、G1_8、G2_2、G2_3、G2_6、B_1、B_2、B_4的感测电路同样耦接第六晶体管DRST1、第七晶体管DSF1以及第二电容Cr2。
在本实施例中，另一红色感测子像素的感测电路1111可包括第五晶体管DTX5。另一第一绿色感测子像素的感测电路1112可包括第五晶体管DTX6。另一第二绿色感测子像素的感测电路1113可包括第五晶体管DTX7。另一蓝色感测子像素的感测电路1114可包括第五晶体管DTX8。另一红色感测子像素、另一第一绿色感测子像素、另一第二绿色感测子像素以及另一蓝色感测子像素的感测电路1111～1114耦接相同的第六晶体管DRST2、第七晶体管DSF2以及第二电容Cr4。以此类推，感测像素1120～1190中的对应的十二个感测子像素的感测电路同样耦接第六晶体管DRST2、第七晶体管DSF2以及第二电容Cr4。
在本实施例中。第二电容Cr2可例如接收上斜坡信号，并且第二电容Cr4可例如接收下斜坡信号。光电二极管PD1及光电二极管PD5的动态视觉感测信号的读出结果可作为差动输出。光电二极管PD2及光电二极管PD6的动态视觉感测信号的读出结果可作为差动输出。光电二极管PD3及光电二极管PD7的动态视觉感测信号的读出结果可作为差动输出。光电二极管PD4及光电二极管PD8的动态视觉感测信号的读出结果可作为差动输出。因此，后端差动放大器或类比数字转换器可利用上述多个差动输出结果来产生动态视觉感测图像。
在本实施例中，感测像素1020～1090可具有如感测像素1010相同的电路配置。感测像素1120～1190可具有如感测像素1110相同的电路配置。因此，感测阵列110可同时开启感测像素1010～1090的感测子像素R_5、R_6、R_8、R_9、G1_4、G1_5、G1_7、G1_8、G2_2、G2_3、G2_5、G2_6、B_1、B_2、B_4、B_5的全部的第五晶体管，并且可同时开启感测像素1110～1190的另十六个感测子像素的全部的第五晶体管。因此，读出电路可从第七晶体管DSF1及第七晶体管DSF2读出经由读出节点DFN1及读出节点DFN2提供的差动感测信号，而可实现如上述图5或图6的实施例的动态视觉感测信号的信号读出动作。
综上所述，本发明的图像感测装置以及图像感测方法可在一个图框期间进行图像感测以及动态视觉感测。本发明的图像感测装置以及图像感测方法还可通过图像感测以及动态视觉感测的曝光操作的时序设计，以实现具有较高影格率的图像感测结果以及动态视觉感测结果。本发明的图像感测装置以及图像感测方法还可通过差动输出的数据读出手段设计，以实现具有低噪音及高精度的图像感测结果以及动态视觉感测结果。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (22)
1.一种图像感测装置，其特征在于，包括：
像素阵列，包括阵列排列的多个感测子像素；以及
读出电路，耦接所述像素阵列，
其中在一个图框期间的一个第一曝光期间中，所述多个感测子像素同时进行曝光，以分别将多个第一感测信号存储于所述多个感测子像素的多个存储单元，
其中在所述一个图框期间的多个第一读出期间中，所述读出电路在不同期间依序读出存储在所述多个存储单元的所述多个第一感测信号，
其中在所述一个图框期间的多个动态视觉感测期间的每一个中，所述多个感测子像素的全部或一部分经重置后再次同时进行曝光，并且所述读出电路接着同时读出所述多个感测子像素的多个第二感测信号。
2.根据权利要求1所述的图像感测装置，其特征在于，所述多个第一读出期间与所述多个动态视觉感测期间交错进行，并且所述多个第一读出期间与所述多个动态视觉感测期间之间彼此未时序重叠。
3.根据权利要求1所述的图像感测装置，其特征在于，所述多个第一读出期间的偶数期间部分以及奇数期间部分的其中之一与所述多个动态视觉感测期间交错进行，并且所述多个第一读出期间的所述偶数期间部分以及所述奇数期间部分的其中之一与所述多个动态视觉感测期间之间彼此未时序重叠，
其中所述多个第一读出期间的偶数期间部分以及奇数期间部分的其中之另一与所述多个动态视觉感测期间逐一同步进行。
4.根据权利要求1所述的图像感测装置，其特征在于，所述多个感测子像素包括红色感测子像素、第一绿色感测子像素、第二绿色感测子像素以及蓝色感测子像素。
5.根据权利要求1所述的图像感测装置，其特征在于，所述读出电路根据所述多个第一感测信号产生一个感测图像，并且所述读出电路根据所述多个第二感测信号产生一动态视觉感测结果。
6.根据权利要求1所述的图像感测装置，其特征在于，在所述一个图框期间的所述多个第一读出期间中，所述读出电路在不同期间依序读出存储在所述多个感测子像素的另多个存储单元的另多个第一感测信号，其中所述多个第一感测信号与所述另多个第一感测信号分别形成多个差动信号，并且所述读出电路根据所述多个差动信号产生一个感测图像。
7.根据权利要求1所述的图像感测装置，其特征在于，在所述多个动态视觉感测期间的每一个中，所述读出电路同时读出所述多个感测子像素的另多个第二感测信号，其中所述多个第二感测信号与所述另多个第二感测信号分别形成另多个差动信号，并且所述读出电路根据所述另多个差动信号产生动态视觉感测结果。
8.根据权利要求1所述的图像感测装置，其特征在于，所述多个子像素的每一个包括：
光电二极管；
第一感测电路，耦接所述光电二极管，并且包括所述存储单元；以及
第二感测电路，耦接所述光电二极管，
其中在所述第一曝光期间中，所述第一感测电路将所述光电二极管提供的所述第一感测信号存储于所述存储单元，
其中在对应的第一读出期间中，所述第一感测电路将存储在所述存储单元中的所述第一感测信号输出，
其中在所述多个动态视觉感测期间的每一个中，所述第二感测电路输出由所述光电二极管提供的所述第二感测信号。
9.根据权利要求8所述的图像感测装置，其特征在于，所述第一感测电路以及所述第二感测电路耦接所述读出电路的不同行读出电路。
10.根据权利要求8所述的图像感测装置，其特征在于，所述第一感测电路以及所述第二感测电路耦接所述读出电路的相同行读出电路。
11.根据权利要求8所述的图像感测装置，其特征在于，所述第一感测电路包括：
第一晶体管，其中所述第一晶体管的第一端耦接所述光电二极管；
所述存储单元，耦接所述第一晶体管的第二端；
第二晶体管，其中所述第二晶体管的第一端耦接所述存储单元；
第三晶体管，其中所述第三晶体管的第一端耦接重置信号，并且所述第三晶体管的第二端耦接所述第二晶体管的第二端；以及
第四晶体管，其中所述第四晶体管的控制端耦接所述第三晶体管的所述第二端。
12.根据权利要求11所述的图像感测装置，其特征在于，所述多个感测子像素中的每四个不同颜色感测子像素耦接同一个第四晶体管。
13.根据权利要求11所述的图像感测装置，其特征在于，所述第一感测电路还包括：
第一电容，其中所述第一电容的第一端耦接上斜坡信号或下斜坡信号，并且所述第一电容的第二端耦接所述第二晶体管的所述第二端。
14.根据权利要求8所述的图像感测装置，其特征在于，所述第二感测电路包括：
第五晶体管，其中所述第五晶体管的第一端耦接所述光电二极管；
第六晶体管，其中所述第六晶体管的第一端耦接另一重置信号，并且所述第六晶体管的第二端耦接所述第五晶体管的第二端；以及
第七晶体管，其中所述第七晶体管的控制端耦接所述第六晶体管的所述第二端。
15.根据权利要求14所述的图像感测装置，其特征在于，所述多个感测子像素中的每十六个感测子像素耦接同一个第七晶体管。
16.根据权利要求14所述的图像感测装置，其特征在于，所述第二感测电路还包括：
第二电容，其中所述第二电容的第一端耦接另一上斜坡信号或另一下斜坡信号，并且所述第二电容的第二端耦接所述第五晶体管的所述第二端。
17.一种图像感测方法，适于图像感测装置，其特征在于，所述图像感测装置包括像素阵列以及读出电路，所述像素阵列包括阵列排列的多个感测子像素，其中所述图像感测方法包括：
在一个图框期间的一个第一曝光期间中，通过所述多个感测子像素同时进行曝光，以分别将多个第一感测信号存储于所述多个感测子像素的多个存储单元；
在所述一个图框期间的多个第一读出期间中，通过所述读出电路在不同期间依序读出存储在所述多个存储单元的所述多个第一感测信号；以及
在所述一个图框期间的多个动态视觉感测期间的每一个中，通过所述多个感测子像素的全部或一部分经重置后再次同时进行曝光，并且通过所述读出电路接着同时读出所述多个感测子像素的多个第二感测信号。
18.根据权利要求17所述的图像感测方法，其特征在于，所述多个第一读出期间与所述多个动态视觉感测期间交错进行，并且所述多个第一读出期间与所述多个动态视觉感测期间之间彼此未时序重叠。
19.根据权利要求17所述的图像感测方法，其特征在于，所述多个第一读出期间的偶数期间部分以及奇数期间部分的其中之一与所述多个动态视觉感测期间交错进行，并且所述多个第一读出期间的所述偶数期间部分以及所述奇数期间部分的其中之一与所述多个动态视觉感测期间之间彼此未时序重叠，
其中所述多个第一读出期间的偶数期间部分以及奇数期间部分的其中之另一与所述多个动态视觉感测期间逐一同步进行。
20.根据权利要求17所述的图像感测方法，其特征在于，还包括：
通过所述读出电路根据所述多个第一感测信号产生一个感测图像；以及
通过所述读出电路根据所述多个第二感测信号产生动态视觉感测结果。
21.根据权利要求17所述的图像感测方法，其特征在于，还包括：
在所述一个图框期间的所述多个第一读出期间中，通过所述读出电路在不同期间依序读出存储在所述多个感测子像素的另多个存储单元的另多个第一感测信号，其中所述多个第一感测信号与所述另多个第一感测信号分别形成多个差动信号；以及
通过所述读出电路根据所述多个差动信号产生一个感测图像。
22.根据权利要求17所述的图像感测方法，其特征在于，还包括：
在所述多个动态视觉感测期间的每一个中，通过所述读出电路同时读出所述多个感测子像素的另多个第二感测信号，其中所述多个第二感测信号与所述另多个第二感测信号分别形成另多个差动信号；以及
通过所述读出电路根据所述另多个差动信号产生动态视觉感测结果。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202063084010P | 2020-09-28 | 2020-09-28 | |
| US63/084,010 | 2020-09-28 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114339090A true CN114339090A (zh) | 2022-04-12 |
| CN114339090B CN114339090B (zh) | 2023-09-26 |
Family
ID=80821903
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110682656.6A Withdrawn CN114338970A (zh) | 2020-09-28 | 2021-06-18 | 图像传感装置以及图像传感方法 |
| CN202110881956.7A Active CN114339090B (zh) | 2020-09-28 | 2021-08-02 | 图像感测装置及图像感测方法 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110682656.6A Withdrawn CN114338970A (zh) | 2020-09-28 | 2021-06-18 | 图像传感装置以及图像传感方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US11463643B2 (zh) |
| CN (2) | CN114338970A (zh) |
| TW (2) | TW202213978A (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI819631B (zh) * | 2022-05-30 | 2023-10-21 | 友達光電股份有限公司 | 影像感測裝置 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102487436A (zh) * | 2010-12-01 | 2012-06-06 | 英属开曼群岛商恒景科技股份有限公司 | 感测像素阵列及感测装置 |
| CN103533263A (zh) * | 2012-07-03 | 2014-01-22 | 三星电子株式会社 | 图像传感器芯片、操作方法和包括图像传感器芯片的系统 |
| CN105706439A (zh) * | 2013-09-16 | 2016-06-22 | 超龙凯姆公司 | 动态、单个光电二极管像素电路及其操作方法 |
| US10264195B1 (en) * | 2012-08-16 | 2019-04-16 | Rambus Inc. | Shared-counter image sensor |
| EP3518529A1 (en) * | 2018-01-26 | 2019-07-31 | Prophesee | Method and apparatus of processing a signal from an event-based sensor |
| US20190355169A1 (en) * | 2018-05-18 | 2019-11-21 | Samsung Electronics Co., Ltd. | Semantic mapping for low-power augmented reality using dynamic vision sensor |
| CN110999278A (zh) * | 2017-06-26 | 2020-04-10 | 脸谱科技有限责任公司 | 数字像素图像传感器 |
| CN111093011A (zh) * | 2018-10-24 | 2020-05-01 | 印芯科技股份有限公司 | 具有加密功能的光学传感器及图像数据加密方法 |
| US20200169675A1 (en) * | 2018-11-26 | 2020-05-28 | Bae Systems Information And Electronic Systems Integration Inc. | Bdi based pixel for synchronous frame-based & asynchronous event-driven readouts |
| WO2020129435A1 (ja) * | 2018-12-18 | 2020-06-25 | ソニーセミコンダクタソリューションズ株式会社 | イメージセンサ、記録装置、リセット方法 |
| CN111713101A (zh) * | 2017-12-11 | 2020-09-25 | 普罗菲西公司 | 基于事件的图像传感器及其操作方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2510235C2 (ru) * | 2008-03-18 | 2014-03-27 | Новадак Текнолоджиз Инк. | Система визуализации для получения комбинированного изображения из полноцветного изображения в отраженном свете и изображение в ближней инфракрасной области |
| KR101467509B1 (ko) * | 2008-07-25 | 2014-12-01 | 삼성전자주식회사 | 이미지 센서 및 이미지 센서 동작 방법 |
| US8218068B2 (en) * | 2009-04-01 | 2012-07-10 | Omnivision Technologies, Inc. | Exposing pixel groups in producing digital images |
| US8605177B2 (en) * | 2009-09-16 | 2013-12-10 | Altasens, Inc. | Image sensor with wide dynamic range |
| KR20120097828A (ko) * | 2011-02-25 | 2012-09-05 | 삼성전자주식회사 | 협대역 영상을 제공할 수 있는 내시경 장치 및 상기 내시경 장치의 영상 처리 방법 |
| CN102821251B (zh) * | 2012-09-03 | 2016-05-04 | 广州市盛光微电子有限公司 | 一种应用快速开关光源的高速摄像方法及应用装置 |
| WO2014152757A2 (en) * | 2013-03-15 | 2014-09-25 | Stryker Corporation | Endoscopic light source and imaging system |
| JP6355531B2 (ja) * | 2014-11-06 | 2018-07-11 | 富士フイルム株式会社 | 内視鏡用光源装置、内視鏡システム及びその作動方法 |
| TWI696842B (zh) * | 2018-11-16 | 2020-06-21 | 精準基因生物科技股份有限公司 | 飛時測距感測器以及飛時測距方法 |
-
2021
- 2021-06-09 TW TW110120970A patent/TW202213978A/zh unknown
- 2021-06-18 CN CN202110682656.6A patent/CN114338970A/zh not_active Withdrawn
- 2021-07-23 TW TW110127179A patent/TWI777685B/zh active
- 2021-08-02 CN CN202110881956.7A patent/CN114339090B/zh active Active
- 2021-08-17 US US17/403,885 patent/US11463643B2/en active Active
- 2021-08-24 US US17/409,810 patent/US20220103770A1/en not_active Abandoned
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102487436A (zh) * | 2010-12-01 | 2012-06-06 | 英属开曼群岛商恒景科技股份有限公司 | 感测像素阵列及感测装置 |
| CN103533263A (zh) * | 2012-07-03 | 2014-01-22 | 三星电子株式会社 | 图像传感器芯片、操作方法和包括图像传感器芯片的系统 |
| US10264195B1 (en) * | 2012-08-16 | 2019-04-16 | Rambus Inc. | Shared-counter image sensor |
| CN105706439A (zh) * | 2013-09-16 | 2016-06-22 | 超龙凯姆公司 | 动态、单个光电二极管像素电路及其操作方法 |
| CN110999278A (zh) * | 2017-06-26 | 2020-04-10 | 脸谱科技有限责任公司 | 数字像素图像传感器 |
| CN111713101A (zh) * | 2017-12-11 | 2020-09-25 | 普罗菲西公司 | 基于事件的图像传感器及其操作方法 |
| EP3518529A1 (en) * | 2018-01-26 | 2019-07-31 | Prophesee | Method and apparatus of processing a signal from an event-based sensor |
| US20190355169A1 (en) * | 2018-05-18 | 2019-11-21 | Samsung Electronics Co., Ltd. | Semantic mapping for low-power augmented reality using dynamic vision sensor |
| CN111093011A (zh) * | 2018-10-24 | 2020-05-01 | 印芯科技股份有限公司 | 具有加密功能的光学传感器及图像数据加密方法 |
| US20200169675A1 (en) * | 2018-11-26 | 2020-05-28 | Bae Systems Information And Electronic Systems Integration Inc. | Bdi based pixel for synchronous frame-based & asynchronous event-driven readouts |
| WO2020129435A1 (ja) * | 2018-12-18 | 2020-06-25 | ソニーセミコンダクタソリューションズ株式会社 | イメージセンサ、記録装置、リセット方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114339090B (zh) | 2023-09-26 |
| US20220103770A1 (en) | 2022-03-31 |
| TW202213978A (zh) | 2022-04-01 |
| US11463643B2 (en) | 2022-10-04 |
| TWI777685B (zh) | 2022-09-11 |
| US20220103767A1 (en) | 2022-03-31 |
| CN114338970A (zh) | 2022-04-12 |
| TW202213979A (zh) | 2022-04-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5893573B2 (ja) | 固体撮像装置 | |
| US10021334B2 (en) | Pixel circuit and method of operating the same | |
| JP4793602B2 (ja) | Ａ／ｄ変換器および読み出し回路 | |
| US20180262706A1 (en) | Imaging device and imaging system | |
| JP4366501B2 (ja) | ディジタルノイズキャンセル機能をもつイメージセンサ | |
| JP2021019266A (ja) | 光電変換装置及び撮像システム | |
| US20110013045A1 (en) | Cmos image sensor with processor controlled integration time | |
| JP2014222863A (ja) | 撮像装置 | |
| CN103905048A (zh) | 用于减少像素阵列读出时间的转换电路 | |
| US9294701B2 (en) | Image pickup apparatus, method for driving image pickup apparatus, image pickup system, and method for driving image pickup system | |
| CN109040632B (zh) | 读出电路以及感测装置 | |
| CN114339090B (zh) | 图像感测装置及图像感测方法 | |
| US8982259B2 (en) | Analog-to-digital converters and related image sensors | |
| CN114449187B (zh) | 图像传感器以及图像感测方法 | |
| JP6871815B2 (ja) | 撮像装置及びその駆動方法 | |
| CN113923386B (zh) | 动态视觉传感器 | |
| CN114125208A (zh) | 图像传感装置与设置于像素单元内的处理电路 | |
| JP4969792B2 (ja) | 固体撮像装置 | |
| CN112399116A (zh) | 成像电路 | |
| JPH11225289A (ja) | エッジ検出用固体撮像装置、並びに固体撮像装置の駆動によるエッジ検出方法 | |
| KR20180001172A (ko) | 그룹 선택 회로와 그를 이용한 컬럼 리드아웃 장치 및 그 방법 | |
| CN210297887U (zh) | 暗电流相关双采样器和图像传感器 | |
| TWI838048B (zh) | 事件檢測像素電路、事件圖像感測器和電子裝置 | |
| JP2008141396A (ja) | アナログディジタル変換器およびイメージセンシング半導体デバイス | |
| WO2023231405A1 (zh) | 事件检测像素电路、事件图像传感器和电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |