CN117135482A - 影像感测装置及其影像感测方法 - Google Patents

影像感测装置及其影像感测方法 Download PDF

Info

Publication number
CN117135482A
CN117135482A CN202310087515.9A CN202310087515A CN117135482A CN 117135482 A CN117135482 A CN 117135482A CN 202310087515 A CN202310087515 A CN 202310087515A CN 117135482 A CN117135482 A CN 117135482A
Authority
CN
China
Prior art keywords
dynamic
static
sensing
sub
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310087515.9A
Other languages
English (en)
Inventor
印秉宏
王佳祥
王鼎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Tyrafos Semiconductor Technologies Co Ltd
Original Assignee
Guangzhou Tyrafos Semiconductor Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Tyrafos Semiconductor Technologies Co Ltd filed Critical Guangzhou Tyrafos Semiconductor Technologies Co Ltd
Publication of CN117135482A publication Critical patent/CN117135482A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/02—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components specially adapted for rectifying, oscillating, amplifying or switching and having potential barriers; including integrated passive circuit elements having potential barriers
    • H01L27/0203—Particular design considerations for integrated circuits
    • H01L27/0248—Particular design considerations for integrated circuits for electrical or thermal protection, e.g. electrostatic discharge [ESD] protection
    • H01L27/0251—Particular design considerations for integrated circuits for electrical or thermal protection, e.g. electrostatic discharge [ESD] protection for MOS devices
    • H01L27/0255—Particular design considerations for integrated circuits for electrical or thermal protection, e.g. electrostatic discharge [ESD] protection for MOS devices using diodes as protective elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/14612—Pixel-elements with integrated switching, control, storage or amplification elements involving a transistor
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/52—Elements optimising image sensor operation, e.g. for electromagnetic interference [EMI] protection or temperature control by heat transfer or cooling elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H04N25/535—Control of the integration time by using differing integration times for different sensor regions by dynamic region selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Facsimile Heads (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Abstract

本发明提供了一种影像感测装置及其影像感测方法。所述影像感测装置包括：影像感测阵列以及影像处理电路。其中，所述影像感测阵列包含多个子阵列区域，并且子阵列区域用以取得不同曝光时间的多个感测信号，其中在一主图框时间中，所述多个感测信号包含有至少一静态感测信号以及至少一动态感测信号，所述静态感测信号以及所述动态感测信号的个数可以为任意的不同正整数，所述静态感测信号以第一帧率曝光第一曝光时间产生，所述动态感测信号以第二帧率曝光第二曝光时间产生；所述影像处理电路分析静态感测信号以及动态感测信号，输出子阵列区域中具有相同帧率的感测信号的子图框，并利用具有不同帧率的子图框以特定比例加成融合产生主图框。

Description

影像感测装置及其影像感测方法
技术领域
本发明有关于一种影像感测装置，特别关于一种影像感测装置及其影像感测方法。
背景技术
近年自驾车产业的需求日趋蓬勃，对自驾车而言，用于侦测即时道路状况的影像感测器是必备元件。目前，应用于侦测即时道路状况的影像感测器又以动态视觉感测器(Dynamic Vision Sensor,DVS)为主流，其原因在于，动态视觉感测器是以事件(event)为单位记录影像资讯。这种基于动态事件的感测器使得机器的自主性更加接近现实，因而适用于自动驾驶车领域中基于视觉的高速应用。
然而，使用动态视觉的感测技术，特别是在低亮度的环境下，由于曝光时间较短，自驾车的影像辨识算法需要辨识场景而使用静态物体时，将面对曝光不足，也就是细节不足的画面，无法做出正确的场景侦测，因此提高发生事故的风险。因此，如何让画面同时取得高品质的静态资讯与高帧率的动态资讯，特别在低亮度环境下，是研究人员亟待解决的问题。
因此，本案发明人在观察上述缺失后，而遂有本发明的产生。
发明内容
本发明的目的提供一种影像感测装置，其具有影像感测阵列以及影像处理电路，所述影像感测阵列用以取得初始图框，初始图框包含多个子图框，并且所述多个子图框分别包含多个感测信号，其中所述多个感测信号包含有静态感测信号以及动态感测信号，所述静态感测信号以第一帧率曝光第一曝光时间产生，所述动态感测信号以第二帧率曝光第二曝光时间产生，且所述第一曝光时间大于所述第二曝光时间，所述第二帧率大于第一帧率，所述影像处理电路用以分析所述初始图框，以将所述多个子图框中具有相同帧率的所述多个感测信号随时间的变化进行一动态事件(dynamic event)侦测处理，并根据所述多个子阵列区域的侦测结果将所述静态感测信号以及所述动态感测信号融合为一主图框。借此，根据本发明的影像感测装置可以针对不同子阵列区域依据动态事件侦测处理的结果，分别、或以特定比例加成输出静态感测信号以及动态感测信号组成主图框，以实现低光源下，高清晰的动态影像。
为达上述目的，本发明提供一种影像感测装置，其包含有：一影像感测阵列，包含多个子阵列区域，并且所述多个子阵列区域用以取得不同曝光时间的多个感测信号，其中在一主图框时间中，所述多个感测信号包含有至少一静态感测信号以及至少一动态感测信号，所述至少一静态感测信号以及所述至少一动态感测信号的个数可以为任意的不同正整数，所述至少一静态感测信号以第一帧率曝光一第一曝光时间产生，所述至少一动态感测信号以第二帧率曝光一第二曝光时间产生；一影像处理电路，其耦接于所述影像感测阵列，用以分析所述至少一静态感测信号以及所述至少一动态感测信号，输出子阵列区域中具有相同帧率的所述多个感测信号的子图框，并利用所述多个子图框融合产生一主图框。
较佳地，根据本发明的影像感测装置，其中，所述第一曝光时间大于所述第二曝光时间，所述第二帧率大于第一帧率。
较佳地，根据本发明的影像感测装置，其进一步包含有一暂存电路，其耦接于所述影像处理电路，其中，所述多个子图框包含至少一静态子图框以及至少一动态子图框，所述暂存电路用于存储所述静态子图框以及所述动态子图框。
较佳地，根据本发明的影像感测装置，其中，所述影像处理电路针对所述多个子图框执行一动态事件侦测处理，其用以判断所述多个子图框中的物体是否为动态事件，当判断为否时，所述影像处理电路在所述子图框输出所述静态子图框，当判断为是时，所述影像处理电路在所述子图框输出所述动态子图框。
较佳地，根据本发明的影像感测装置，其中，所述影像处理电路根据所述动态事件侦测处理的结果将所述多个静态子图框以及所述多个动态子图框融合为所述主图框。
较佳地，根据本发明的影像感测装置，其中，所述影像感测阵列包含多个感测单元，所述子阵列区域包含所述多个感测单元的多个子阵列区域。
较佳地，根据本发明的影像感测装置，其中，所述多个感测单元分别包括：一光电二极管；一传输电路，其耦接于所述光电二极管；一重置电路，其耦接于所述光电二极管；其中，所述重置电路用以接收一重置信号，并且所述传输电路用以接收一读出信号，所述重置电路根据所述重置信号重置所述光电二极管中的电荷，所述传输电路根据所述读出信号将累积于所述光电二极管中的电荷转换为所述感测信号。
较佳地，根据本发明的影像感测装置，其中，所述多个子阵列区域包含有一静态子阵列区域以及一动态子阵列区域，所述静态子阵列区域用于产生所述至少一静态感测信号，所述动态子阵列区域用于产生所述至少一动态感测信号。
较佳地，根据本发明的影像感测装置，其中，在一个所述静态子阵列区域中的所述多个感测单元排列而成一个拜尔图案阵列，在一个所述动态子阵列区域中的所述多个感测单元排列而成一个拜尔图案阵列，所述两个拜尔图案阵列在空间上左右相邻组成一列，以排列成一个两个拜尔图案阵列单元，以及，在所述个两个拜尔图案阵列单元内，设置有八条独立的读出信号控制线。
较佳地，根据本发明的影像感测装置，其中，所述静态子阵列区域包含多个静态感测单元，所述多个静态感测单元的所述多个重置电路皆接收一静态重置信号，另，所述多个静态感测单元的所述多个传输电路皆接收一静态读出信号。
较佳地，根据本发明的影像感测装置，其中，所述静态重置信号包含有多个静态重置时序，所述多个静态重置时序分别对应重置所述多个静态感测单元存储的电荷，所述多个静态感测单元中的每个静态感测单元所接收的所述静态读出信号与所述静态重置时序之间的时间差为所述第一曝光时间。
较佳地，根据本发明的影像感测装置，其中，所述动态子阵列区域包含多个动态感测单元，所述多个动态感测单元的所述多个重置电路皆接收一动态重置信号，另，所述多个动态感测单元的所述多个传输电路皆接收一动态读出信号。
较佳地，根据本发明的影像感测装置，其中，所述动态重置信号包含有多个动态重置时序，所述多个动态重置时序分别对应重置所述多个动态感测单元存储的电荷，所述多个动态感测单元中的每个动态感测单元所接收的所述动态读出信号与所述动态重置时序之间的时间差为所述第二曝光时间。
较佳地，根据本发明的影像感测装置，其中，所述影像感测阵列进一步包含有设置于所述多个感测单元上的多个滤波片，所述多个滤波片包含可见光滤波片、红外光滤波片或紫外光滤波片。
较佳地，根据本发明的影像感测装置，其中，所述多个感测单元进一步包含有一控制电路，其耦接于所述传输电路以及所述重置电路，所述控制电路用于产生所述读出信号以及所述重置信号。
较佳地，根据本发明的影像感测装置，其中，所述控制电路包含有至少一静态曝光控制电路以及至少一动态曝光控制电路，所述静态曝光控制电路用于产生至少一静态重置信号以及至少一静态读出信号，所述动态曝光控制电路用于产生至少一动态重置信号以及至少一动态读出信号。
又，为达上述目的，本发明根据上述影像感测装置为基础，进一步提供一种影像感测方法，其包含有：在一主图框时间中，产生至少一静态感测信号以及至少一动态感测信号，所述至少一静态感测信号以及所述至少一动态感测信号的个数可以为任意的不同正整数，所述至少一静态感测信号以第一帧率曝光一第一曝光时间产生，所述至少一动态感测信号以第二帧率曝光一第二曝光时间产生；以及分析所述至少一静态感测信号以及所述至少一动态感测信号，以输出具有相同帧率的所述至少一静态感测信号以及所述至少一动态感测信号的子图框，并利用所述多个子图框融合产生一主图框。
综上，本发明所的影像感测装置搭配影像感测方法，可以借由分别独立的曝光控制电路提供读出信号以及重置信号，使静态子阵列区域以及动态子阵列区域在一次取像操作中分别依据不同帧率与不同曝光时间来取得初始图框的感测信号。换言之，根据本发明的影像感测装置可以在初始图框中相同的子图框中分别产生静态感测信号以及动态感测信号，静态感测信号为以第一帧率曝光第一曝光时间，动态感测信号为以第二帧率曝光第二曝光时间，且第一曝光时间大于第二曝光时间，第二帧率大于第一帧率。因此，本发明的影像感测装置可以通过判断初始图框中相同的子图框是否为动态事件，以分别、或以特定比例加成输出静态感测信号以及动态感测信号，并根据子图框的侦测结果将静态感测信号以及动态感测信号融合为主图框，实现低光源下，高清晰的动态影像。
为使熟悉所述项技艺人士了解本发明的目的、特征及功效，兹借由下述具体实施例，并配合所附的图式，对本发明详加说明如下。
附图说明
图1为根据本发明的影像感测装置的示意图；
图2为说明根据本发明的初始图框的示意图；
图3为根据本发明的影像感测方法的步骤图；
图4为根据本发明第一实施例的影像感测装置的电路图；
图5为根据本发明第一实施例的影像感测阵列的示意图；
图6为根据本发明第一实施例的重置信号以及读出信号的时序图；
图7为根据本发明第一实施例的动态事件侦测处理的步骤图；
图8为根据本发明第二实施例的影像感测装置的电路图；以及
图9为根据本发明第二实施例的重置信号以及读出信号的时序图。
附图标记说明：
100：影像感测装置；
11：影像感测阵列；
111：子阵列区域；
12：影像处理电路；
13：控制电路；
14：暂存电路；
200：初始图框；
21：子图框；
22：感测信号；
221：静态感测信号；
222：动态感测信号；
300：感测单元；
31：光电二极管；
32：传输电路；
33：重置电路；
34：电压耦合电路；
35：放大选择电路；
351：放大晶体管；
352：选择晶体管；
353：信号线；
41：静态子阵列区域；
411：第一静态感测单元；
412：第二静态感测单元；
413：第三静态感测单元；
414：第四静态感测单元；
42：动态子阵列区域；
421：第一动态感测单元；
422：第二动态感测单元；
423：第三动态感测单元；
424：第四动态感测单元；
51：红光滤波片；
52：绿光滤波片；
53：蓝光滤波片；
B，Bd：蓝色感测区域；
FD0，FD1：浮动扩散点；
G，Gd：绿色感测区域；
R，Rd：红色感测区域；
RST0：静态重置信号；
RST0_0～RST0_7：静态重置时序；
RST1：动态重置信号；
RST1_0～RST1_7：动态重置时序；
sel：外部选择信号；
S1，S2，S21，S22，S23:步驟
TX0～TX7：静态读出信号；
D-TX0～D-TX7：动态读出信号；
T1：第一曝光时间；
T2：第二曝光时间。
具体实施方式
现在将参照其中示出本发明概念的示例性实施例的附图在下文中更充分地阐述本发明概念。以下借由参照附图更详细地阐述的示例性实施例，本发明概念的优点及特征以及其达成方法将显而易见。然而，应注意，本发明概念并非仅限于以下示例性实施例，而是可实施为各种形式。因此，提供示例性实施例仅是为了揭露本发明概念并使熟习此项技术者了解本发明概念的类别。在图式中，本发明概念的示例性实施例并非仅限于本文所提供的特定实例且为清晰起见而进行夸大。
本文所用术语仅用于阐述特定实施例，而并非旨在限制本发明。除非上下文中清楚地另外指明，否则本文所用的单数形式的用语“一”及“所述”旨在亦包括多个形式。本文所用的用语“和/或”包括相关所列项其中一或多者的任意及所有组合。应理解，当称元件“连接”或“耦合”至另一元件时，所述元件可直接连接或耦合至所述另一元件或可存在中间元件。
相似地，应理解，当称一个元件(例如层、区或基板)位于另一元件“上”时，所述元件可直接位于所述另一元件上，或可存在中间元件。相比之下，用语“直接”意指不存在中间元件。更应理解，当在本文中使用用语“包括”、“包含”时，是表明所陈述的特征、整数、步骤、操作、元件、和/或组件的存在，但不排除一或多个其他特征、整数、步骤、操作、元件、组件、和/或其群组的存在或添加。
此外，将借由作为本发明概念的理想化示例性图的剖视图来阐述详细说明中的示例性实施例。相应地，可根据制造技术和/或可容许的误差来修改示例性图的形状。因此，本发明概念的示例性实施例并非仅限于示例性图中所示出的特定形状，而是可包括可根据制造制程而产生的其他形状。图式中所例示的区域具有一般特性，且用于说明元件的特定形状。因此，此不应被视为仅限于本发明概念的范围。
亦应理解，尽管本文中可能使用用语“第一”、“第二”、“第三”等来阐述各种元件，然而所述些元件不应受限于所述些用语。所述些用语仅用于区分各个元件。因此，某些实施例中的第一元件可在其他实施例中被称为第二元件，而此并不背离本发明的教示内容。本文中所阐释及说明的本发明概念的态样的示例性实施例包括其互补对应物。本说明书通篇中，相同的参考编号或相同的指示物表示相同的元件。
此外，本文中参照剖视图和/或平面图来阐述示例性实施例，其中所述剖视图和/或平面图是理想化示例性说明图。因此，预期存在由例如制造技术和/或容差所造成的相对于图示形状的偏离。因此，示例性实施例不应被视作仅限于本文中所示区的形状，而是欲包括由例如制造所导致的形状偏差。因此，图中所示的区为示意性的，且其形状并非旨在说明装置的区的实际形状、亦并非旨在限制示例性实施例的范围。
请参阅图1-图2所示，图1为根据本发明的影像感测装置的示意图；图2为说明根据本发明的初始图框的示意图。如图1所示，根据本发明的影像感测装置100包括：影像感测阵列11以及影像处理电路12。
具体地，如图1-图2所示，根据本发明的影像感测阵列11，其包含多个子阵列区域111，并且子阵列区域111用以取得不同帧率与不同曝光时间的多个感测信号22。在一些实施例中，如图2所示，影像感测阵列11可以通过影像处理电路12输出一初始图框200，初始图框200包含多个子图框21，并且子图框21分别包含多个感测信号22，其中感测信号22包含有静态感测信号221以及动态感测信号222，静态感测信号221以第一帧率曝光第一曝光时间产生，动态感测信号222以第二帧率曝光第二曝光时间产生，其中，所述第一曝光时间大于所述第二曝光时间，所述第二帧率大于所述第一帧率。
具体地，如图1-图2所示，根据本发明的影像处理电路12，其耦接于影像感测阵列11，影像处理电路12用以分析感测信号22，以将子图框21中具有相同帧率感测信号22随时间的变化进行动态事件(dynamicevent)侦测处理，并根据子图框21的侦测结果将静态感测信号221以及动态感测信号222融合(fusion)为主图框。
具体地，在一些实施例中，影像感测阵列11可为CMOS影像感测器(CMOS ImageSensor,CIS)或感光耦合元件(Charge Coupled Device,CCD)。在一些实施例中，影像处理电路12可为影像信号处理器(Image Signal Processor,ISP)、中央处理器(CentralProcessing Unit,CPU)、微处理器(Microprocessor)、数字信号处理器(Digital SignalProcessor,DSP)、可程式化控制器(Programmable Logic Controller,PLC)、特殊应用集成电路(Application Specific Integrated Circuit,ASIC)、系统单芯片(System on Chip,SoC)或其他类似元件或上述元件的组合。并且，在一些实施例中，影像感测装置100还可包括记忆体(Memory)。所述记忆体可用以存储本发明各实施例所述的图框、感测信号、像素数据、影像分析软体或运算软体等，本发明并不加以限制。
请参阅图3所示，图3为根据本发明的影像感测方法的步骤图。如图3所示，根据本发明的影像感测方法，其执行下述步骤S1-S2：
步骤S1：借由影像感测阵列11取得初始图框200，初始图框200包含多个子图框21，并且子图框21分别包含感测信号22，其中所述多个感测信号22包含有静态感测信号221以及动态感测信号222，静态感测信号221以第一帧率曝光第一曝光时间T1产生，动态感测信号222以第二帧率曝光第二曝光时间T2产生，且第一曝光时间T1大于所述第二曝光时间T2，第二帧率大于所述第一帧率。
步骤S2：借由影像处理电路12分析初始图框200，以将子图框21中具有相同帧率的感测信号22随时间的变化进行动态事件侦测处理，并根据子图框21的侦测结果将静态感测信号221以及动态感测信号222融合为一主图框。
需要进一步说明的是，根据本发明的影像处理电路12融合子图框21形成所述主图框的方法可以包含但不限于图框合成算法以及图框合成电路。算法可例如为：分别将静态感测信号221和动态感测信号222乘上不同增益值后加总为合成值。此外，当进行子图框融合时，可依据各子图框的帧率与曝光时间，进行增益的调整或补偿。例如，依据不同曝光时间之间的比例进行调整，例如让曝光时间与增益的乘积为定值，但本发明不限于此。
此外，可以理解的是，由于第一曝光时间T1大于第二曝光时间T2，因此当静态感测信号221进行曝光时，影像感测阵列11可以感测产生多个动态感测信号222，并通过影像处理电路12产生多个动态子图框，也就是说，若将曝光、读取、输出静态子图框的时间视为一个单位时间，则动态子图框在所述单位时间内，可以完成曝光、读取、输出多个次的循环，然而本发明不限于此。此外，在本发明中，影像感测阵列11用于感测静态感测信号221及动态感测信号222以产出用于产生影像的数据所需的时间可理解为一主图框时间，根据需要，在一主图框时间内，影像感测阵列11可感测多个静态感测信号221及多个动态感测信号222。
值得一提的是，根据本发明的影像感测装置100的影像感测阵列11可以包含有多个感测单元，在一些实施例中，所述多个感测单元在第一曝光时间T1与第二曝光时间T2可以是进行全局快门(Global shutter)曝光操作，以避免产生果冻效应(Jello Effect)，亦即影像感测装置100上的所有感测单元的每个感测二极管都会同时曝光。在另一些实施例中，所述多个感测单元在第一曝光时间T1与第二曝光时间T2可以是进行卷帘读出操作(Rolling readout)，然而本发明不限于此。
第一实施例
以下，参照图式，说明本发明的影像感测装置100的第一实施的实施形态。
参阅图4-图5所示，图4为根据本发明第一实施例的影像感测装置的电路图；图5为根据本发明第一实施例的影像感测阵列的示意图。如图4-图5所示，根据本发明第一实施例的影像感测装置100，其包括：影像感测阵列11、影像处理电路12、控制电路13以及暂存电路14。
具体地，如图4所示，根据本发明第一实施例的影像感测阵列11包含多个感测单元300，其中，感测单元300可以包含有：光电二极管31、传输电路32以及重置电路33，并且光电二极管31、传输电路32以及重置电路33耦接至一浮动扩散(floating diffusion，FD)点FD0。其中，光电二极管31主要用于执行将入射光光电转换成根据入射光的光强度的一量的电荷(亦即电子)；传输电路32耦接在光电二极管31与浮动扩散点FD0之间，且受控于读出信号TX以控制光电二极管31与浮动扩散点FD0之间的电荷传输，以根据读出信号TX将累积于光电二极管31中的电荷转换为感测信号22；重置电路33耦接在光电二极管31与浮动扩散点FD0之间，且受控于重置信号RST重置光电二极管31中所存储的电荷。
具体地，如图4所示，根据本发明第一实施例的控制电路13，其耦接于感测单元300的传输电路32以及重置电路33，控制电路13用于产生控制信号TX以及重置信号RST。如图4所示，在本实施例中，控制电路13可以包含有静态曝光控制电路131以及动态曝光控制电路132，以分别控制影像感测阵列11的感测单元300产生静态感测信号221以及动态感测信号222。另外，上述的控制信号TX以及重置信号RST可例如是脉冲信号。
具体地，如图4所示，根据本发明第一实施例的暂存电路14，其耦接于影像处理电路12，其中，影像处理电路12可以根据静态感测信号221以及动态感测信号222产生至少一静态子图框以及至少一动态子图框，并且暂存电路14可以存储所述多个静态子图框以及所述多个动态子图框，使得影像处理电路12可以根据每个子图框21的动态事件侦测处理的结果，决定输出静态子图框或者动态子图框，并且根据输出的静态子图框与动态子图框融合产生主图框，然而本发明不限于此。此外，暂存电路14可为子图框缓冲器(subframebuffer)或图框缓冲器(frame buffer)，以用于根据输出的静态子图框与动态子图框融合产生主图框。可理解的是，根据需要，暂存电路亦可设置于影像处理电路中。
具体地，根据本发明第一实施例的子阵列区域111可以包含多个感测单元300，其中，所述多个子阵列区域111用以一次取像操作中分别依据不同帧率与不同曝光时间来取得如图2所示的初始图框200的感测信号22。需要进一步说明的是，在本实施例中，如图5所示，子阵列区域111可以包含有静态子阵列区域41以及动态子阵列区域42，静态子阵列区域41包含有第一静态感测单元411、第二静态感测单元412、第三静态感测单元413以及第四静态感测单元414，动态子阵列区域42包含第一动态感测单元421、第二动态感测单元422、第三动态感测单元423以及第四动态感测单元424，其中，静态子阵列区域41用于产生静态感测信号221，动态子阵列区域42用于产生动态感测信号222，然而本发明不限于此。
具体地，如图5所示，在本实施例中，静态子阵列区域41中的第一静态感测单元411、第二静态感测单元412、第三静态感测单元413、第四静态感测单元414排列成拜尔(Bayer)图案阵列的形式，分别包括红色感测区域R、绿色感测区域G、绿色感测区域G、及蓝色感测区域B，以分别用于感测红色、绿色、绿色、及蓝色。而动态子阵列区域42中的第一动态感测单元421、第二动态感测单元422、第三动态感测单元423、第四动态感测单元424亦排列成拜尔图案阵列的形式，分别包括红色感测区域Rd、绿色感测区域Gd、绿色感测区域Gd、及蓝色感测区域Bd，以分别用于感测红色、绿色、绿色、及蓝色。在实作上，感测单元300的排列方式不限于此。可以理解的是，在本实施例的静态子阵列区域41和动态子阵列区域42中的感测单元300所排列而成的两个拜尔图案阵列单元内，设置有八条独立的读出信号控制线。特别说明的是，此静态感测单元排列而成的拜尔(Bayer)图案阵列与动态感测单元排列而成的拜尔(Bayer)图案阵列可例如是空间上左右相邻(如图5所示)，亦即在两个感测单元组成的列(row)设置八条独立的读出信号控制线。由图4和图5的设计可知，一个子阵列区域111受到八个独立信号的控制，而控制电路的适当设计，这些感测单元300的曝光时间和输出帧率可分别对应不同级别的范围，使影像感测装置100在画质提升，且动态感测灵敏度、动态范围等多方面都能获得兼顾。需理解的是，虽然图4只绘示一个影像处理电路12供多个感测单元300共用，在实作上并不限定于此
具体地，如图5所示，在本实施例中，影像感测装置100包含有滤波片，滤波片包含红光滤波片51、绿光滤波片52以及蓝光滤波片53，红光滤波片51设置于第一静态感测单元411以及第一动态感测单元421上，绿光滤波片52设置于第二静态感测单元412、第三静态感测单元413、第二动态感测单元422以及第三动态感测单元423上，蓝光滤波片53设置于第四静态感测单元414以及第四动态感测单元424上。借此，根据本发明第一实施例的影像感测装置100可通过添加红光滤波片51、绿光滤波片52以及蓝光滤波片53的设置使得相同的光电二极管侦测不同的波长范围的光线，并达成产生彩色动态影像的目的，大幅增进本发明的影像感测装置100的实用性及适用范围。然而，本发明不限于此，除了图5所示的红光滤波片51、绿光滤波片52以及蓝光滤波片53等可见光滤波片外，影像感测装置所使用的滤光片亦可为红外光滤波片或紫外光滤波片。
请参阅图6所示，图6为根据本发明第一实施例的重置信号以及读出信号的时序图。在本实施例中，根据本发明的第一静态感测单元411、第二静态感测单元412、第三静态感测单元413以及第四静态感测单元414的重置电路33皆接收静态重置信号RST0，静态重置信号RST0包含有4个静态重置时序RST0_0～RST0_3。此外，第一静态感测单元411的传输电路32接收第一静态读出信号TX0，第二静态感测单元412的传输电路32接收第二静态读出信号TX1，第三静态感测单元413的传输电路32接收第三静态读出信号TX2，第四静态感测单元414的传输电路32接收第四静态读出信号TX3。其中，静态重置时序RST0_0～RST0_3分别用于重置第一静态感测单元411、第二静态感测单元412、第三静态感测单元413以及第四静态感测单元414中所存储的电荷，以防止静态子阵列区域41产生的感测信号进行类比及数字转换时无法取得正确的数字像素值。值得注意的是，静态重置时序RST0_0～RST0_3分别与静态读出信号TX0～TX3之间具有一时间差。更具体而言，所述时间差即为感测单元开始积分时间以及结束积分时间(即相当于曝光时间)，如图6所示，在本实施例中所述时间差为第一曝光时间T1，然而本发明不限于此。要特别说明的是，静态读出信号TX0～TX3是由静态曝光控制电路131提供，因此具有相同的帧率。而动态读出信号D-TX0～D-TX3是由动态曝光控制电路132提供，因此可具有与静态读出信号TX0～TX3不同的帧率。因此，本发明的影像感测装置100可使每一控制电路产生多种切换控制信号给不同的感测单元300，达成相同帧率但分时读出的操作模式，也可以产生一个控制信号给多个像素电路，达成像素合并模式(pixel binning mode)。此外，举例来说，静态读出信号TX0～TX3具有相同的帧率，但时序上具有特定的平移关。借此，当第一静态感测单元411、第二静态感测单元412、第三静态感测单元413以及第四静态感测单元414分别受到静态读出信号TX0～TX3驱动时，可以避免读出时序冲突。同样地，动态读出信号D-TX0～D-TX3具有相同的帧率，但时序上具有特定的平移关。借此，当第一动态感测单元421、第二动态感测单元422、第三动态感测单元423以及第四动态感测单元424分别受到动态读出信号D-TX0～D-TX3驱动时，可以避免读出时序冲突。
具体地，在本实施例中，根据本发明的第一动态感测单元421、第二动态感测单元422、第三动态感测单元423以及第四动态感测单元424的重置电路33皆接收动态重置信号RST1，动态重置信号RST1包含有4个动态重置时序RST1_0～RST1_3。此外，第一动态感测单元421的传输电路32接收第一动态读出信号D-TX0，第二动态感测单元422的传输电路32接收第二动态读出信号D-TX1，第三动态感测单元423的传输电路32接收第三动态读出信号D-TX2，第四动态感测单元424的传输电路32接收第四动态读出信号D-TX3。其中，动态重置时序RST1_0～RST1_3分别用于重置第一动态感测单元421、第二动态感测单元422、第三动态感测单元423以及第四动态感测单元424中所存储的电荷，以防止感测单元300产生的感测信号进行类比及数字转换时无法取得正确的数字像素值。值得注意的是，动态重置时序RST1_0～RST1_3分别与动态读出信号D-TX0～D-TX3之间具有又一时间差。更具体而言，如图6所示，所述时间差为第二曝光时间T2，然而本发明不限于此。
如此一来，由于静态重置信号RST0与静态读出信号TX0～TX3以及动态重置信号RST1与动态读出信号D-TX0～D-TX3之间具有不同的时间差，因此本实施例的影像感测装置100的这些感测单元可依据不同的帧率与不同的积分时间(或曝光时间)来取得初始图框200的各个子图框21当中的感测信号22。换言之，根据本发明第一实施例的影像感测装置100可以在初始图框200中相同的子图框21中分别产生静态感测信号221以及动态感测信号222，静态感测信号221为以第一帧率曝光第一曝光时间T1，动态感测信号222为以第二帧率曝光第二曝光时间T2，且第一曝光时间T1大于第二曝光时间T2，第二帧率大于第二帧率。因此，本实施例的影像感测装置100可以通过判断初始图框200中相同的子图框21是否为动态事件分别、或以特定比例加成输出静态感测信号221以及动态感测信号222，并根据子图框21的侦测结果将静态感测信号221以及动态感测信号222融合为主图框。据此，融合完的主图框在低光源下具有高信噪比(SNR)，且实现为高清晰的动态影像，而不会发生动态模糊(motion blur)的现象，而这等同于提升感测器的灵敏度。
以下仅针对控制曝光时间(exposure time)及输出帧率(frame rate)的部份进行详细说明。为了兼顾动态感测的灵敏度以及静态画面的画质，本发明实施例可使影像感测阵列11同时产生多种曝光值的影像数据。举例来说，静态曝光控制电路131耦接静态子阵列区域41，并分别传送读出信号TX0～TX3以控制每一个静态子阵列区域41中的第一静态感测单元411、第二静态感测单元412、第三静态感测单元413以及第四静态感测单元414的第一曝光时间T1。而动态曝光控制电路132耦接动态子阵列区域42，并分别传送动态读出信号D-TX0～D-TX3以控制每一个第一动态感测单元421、第二动态感测单元422、第三动态感测单元423以及第四动态感测单元424的第二曝光时间T2。由于影像感测阵列11中不同感测单元有不同曝光时间，输出影像数据的速度(亦即帧率)也可以产生区别。通常，侦测动态需要较高的帧率，而记录静态画面相对地不要求帧率，但要求较高的信噪比(SNR)。因此，本实施例的静态曝光控制电路131可控制静态感测单元一第一帧率输出静态感测信号221，而动态曝光控制电路132可控制动态感测单元以一第二帧率输出动态感测信号222。所述第二帧率高于所述第一帧率。要特别说明的是，静态曝光控制电路131与动态曝光控制电路132可分别具有第一位址解码器与第二位址解码器，用以分别产生非同步的第一帧率与第二帧率。举例来说，控制电路13可以控制影像感测阵列11以每秒30格的速度侦测动态影像变化，但同时又是以每秒1格的速度记录静态影像数据。且在将静态感测信号221与动态感测信号222存储于图框缓冲器后，经由适当的算法进行静态感测信号221与动态感测信号222的融合，即可得到每秒30格的高信噪比影像。静态曝光控制电路131与动态曝光控制电路132的帧率比例，视实作需求，可以是任意比例。例如，两个帧率可以是M：N，其中M和N是正整数。
请参阅图7所示，图7为说明根据本发明第一实施例的动态事件侦测处理的步骤图。如图7所示，本发明的动态事件侦测处理，其执行下述步骤S21-步骤S23：
步骤S21：借由影像处理电路12将相同子图框21中具有相同帧率的感测信号22的光强度随时间的变化侦测是否落入一光变区间。
步骤S22：当落入所述光变区间时，影像处理电路12在子图框21输出动态感测信号221，或将动态感测信号221与静态感测信号222以特定比例加成输出。
步骤S23：当未落入所述光变区间时，影像处理电路12在子图框21输出静态感测信号222，或将动态感测信号221与静态感测信号222以另一特定比例加成输出。
值得一提的是，如图4所示，根据本发明第一实施例的感测单元300可以进一步包含有电压耦合电路34，电压耦合电路34的一端耦接于浮动扩散点FD0，并且电压耦合电路34的另一端耦接于斜坡产生器电路(Ramp generator)，电压耦合电路34用于传导由斜坡产生电路的输出斜坡信号，此信号为AC信号，最后此斜坡信号会耦合传导到浮动扩散点FD0，以利(转换单元)模数转换器(ADC)做信号转换。在本实施例中，电压耦合电路34仅包含一个电容器，所述电容器耦接于浮动扩散点FD0，然而本发明不限于此。
值得再提的是，如图4所示，根据本发明第一实施例的感测单元300可以进一步包含有放大选择电路35，放大选择电路35包括放大晶体管351、选择晶体管352以及信号线353，其中，放大晶体管351的闸极耦接于浮动扩散点FD0，且放大晶体管351经由选择晶体管352耦接于信号线353，当选择晶体管352接收控制电路13提供的外部选择信号sel，使得选择晶体管352处于接通状态中时，则放大晶体管351放大浮动扩散点FD0的电压并且产生电压信号传输至信号线353，然而本发明不限于此。
综上所述，本发明第一实施例的影像感测装置100，可借由静态子阵列区域41以及动态子阵列区域42依据不同的帧率与不同的曝光时间在单次影像撷取操作中取得初始图框200，并且借由分析初始图框200中的子图框21是否为动态事件，分别、或以特定比例加成输出静态感测信号221以及动态感测信号222。
以下提供影像感测装置100的其他示例，以使本领域技术人员更清楚的理解可能的变化。以与上述实施例相同的元件符号指示的元件实质上相同于上述参照图1-图6所叙述者。与影像感测装置100相同的元件、特征、和优点将不再赘述。
请参阅图8-图9所示，图8为根据本发明第二实施例的影像感测装置的电路图；图9为根据本发明第二实施例的重置信号以及读出信号的时序图。相较于第一实施例，本发明第二实施例的影像感测装置100包含有第一静态感测单元411、第二静态感测单元412、第一动态感测单元421以及第二动态感测单元422，其中，第一静态感测单元411、第二静态感测单元412、第一动态感测单元421以及第二动态感测单元422为交错排列，其中，第一静态感测单元411与第二静态感测单元412耦接于静态曝光控制电路131，第一动态感测单元421与第二动态感测单元422耦接于动态曝光控制电路132。搭配图8所示，第一静态感测单元411与第二静态感测单元412的重置电路33皆接收静态重置信号RST0，第一静态感测单元411与第二静态感测单元412的传输电路32分别接收静态读出信号TX0～TX7，第一动态感测单元421与第二动态感测单元422的重置电路33皆接收动态重置信号RST1，第一动态感测单元421与第二动态感测单元422的传输电路32分别接收动态读出信号D-TX0～D-TX7，使得第一静态感测单元411与第二静态感测单元412产生第一曝光时间T1的静态感测信号221，第一动态感测单元421与第二动态感测单元422产生第二曝光时间T2的动态感测信号222。
此外，根据本发明的另一实施例，在进行感测单元300的读出时，亦可将静态子阵列区域41中的第一静态感测单元411、第二静态感测单元412、第三静态感测单元413以及第四静态感测单元414与动态子阵列区域42中的第一动态感测单元421、第二动态感测单元422、第三动态感测单元423、第四动态感测单元424分别施加第一类比增益和第二类比增益。所述第一类比增益和第二类比增益的比例可为整数比例，例如，M：N，其中M和N是正整数，且所述第一类比增益和第二类比增益的比例可例如为第二曝光时间与第一曝光时间的比例，亦即所述第一类比增益与第一曝光时间的乘积相等于所述第二类比增益与第二曝光时间的乘积。但本发明不限于此。
以上借由特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点及功效。
以上所述仅为本发明的较佳实施例，并非用以限定本发明的范围；凡其它未脱离本发明所揭示的精神下所完成的等效改变或修饰，均应包含在权利要求内。

Claims (21)

1.一种影像感测装置，其特征在于，包括：
一影像感测阵列，包含多个子阵列区域，并且所述多个子阵列区域用以取得不同曝光时间的多个感测信号，其中在一主图框时间中，所述多个感测信号包含有至少一静态感测信号以及至少一动态感测信号，所述至少一静态感测信号以及所述至少一动态感测信号的个数可以为任意的不同正整数，所述至少一静态感测信号以一第一帧率曝光一第一曝光时间产生，所述至少一动态感测信号以一第二帧率曝光一第二曝光时间产生；
一影像处理电路，其耦接于所述影像感测阵列，用以分析所述至少一静态感测信号以及所述至少一动态感测信号，输出子阵列区域中具有相同帧率的所述多个感测信号的子图框，并利用具有不同帧率的所述多个子图框以特定比例加成融合产生一主图框。
2.根据权利要求1所述的影像感测装置，其特征在于，所述第一曝光时间大于所述第二曝光时间，所述第二帧率大于所述第一帧率。
3.根据权利要求1所述的影像感测装置，其特征在于，进一步包含有一暂存电路，其耦接于所述影像处理电路，其中，所述多个子图框包含至少一静态子图框以及至少一动态子图框，所述暂存电路用于存储所述静态子图框以及所述动态子图框。
4.根据权利要求3所述的影像感测装置，其特征在于，所述影像处理电路针对所述多个子图框执行一动态事件侦测处理，其用以判断所述多个子图框中的物体是否为动态事件，当判断为否时，所述影像处理电路在所述子图框输出所述静态子图框，当判断为是时，所述影像处理电路在所述子图框输出所述动态子图框。
5.根据权利要求4所述的影像感测装置，其特征在于，所述影像处理电路根据所述动态事件侦测处理的结果将所述多个静态子图框以及所述多个动态子图框融合为所述主图框。
6.根据权利要求1所述的影像感测装置，其特征在于，所述影像感测阵列包含多个感测单元，所述子阵列区域包含所述多个感测单元的多个子阵列区域。
7.根据权利要求6所述的影像感测装置，其特征在于，所述多个感测单元分别包括：
一光电二极管；
一传输电路，其耦接于所述光电二极管；
一重置电路，其耦接于所述光电二极管；
其中，所述重置电路用以接收一重置信号，并且所述传输电路用以接收一读出信号，所述重置电路根据所述重置信号重置所述光电二极管中的电荷，所述传输电路根据所述读出信号将累积于所述光电二极管中的电荷转换为所述感测信号。
8.根据权利要求7所述的影像感测装置，其特征在于，所述多个子阵列区域包含有一静态子阵列区域以及一动态子阵列区域，所述静态子阵列区域用于产生所述至少一静态感测信号，所述动态子阵列区域用于产生所述至少一动态感测信号。
9.根据权利要求8所述的影像感测装置，其特征在于，在一个所述静态子阵列区域中的所述多个感测单元排列而成一个拜尔图案阵列，在一个所述动态子阵列区域中的所述多个感测单元排列而成一个拜尔图案阵列，两个所述拜尔图案阵列在空间上左右相邻组成一列，以排列成两个拜尔图案阵列单元，以及，在所述两个拜尔图案阵列单元内，设置有八条独立的读出信号控制线。
10.根据权利要求8所述的影像感测装置，其特征在于，所述静态子阵列区域包含多个静态感测单元，所述多个静态感测单元的所述多个重置电路皆接收一静态重置信号，另，所述多个静态感测单元的所述多个传输电路皆接收一静态读出信号。
11.根据权利要求10所述的影像感测装置，其特征在于，所述静态重置信号包含有多个静态重置时序，所述多个静态重置时序分别对应重置所述多个静态感测单元存储的电荷，所述多个静态感测单元中的每个静态感测单元所接收的所述静态读出信号与所述静态重置时序之间的时间差为所述第一曝光时间。
12.根据权利要求8所述的影像感测装置，其特征在于，所述动态子阵列区域包含多个动态感测单元，所述多个动态感测单元的所述多个重置电路皆接收一动态重置信号，另，所述多个动态感测单元的所述多个传输电路皆接收一动态读出信号。
13.根据权利要求12所述的影像感测装置，其特征在于，所述动态重置信号包含有多个动态重置时序，所述多个动态重置时序分别对应重置所述多个动态感测单元存储的电荷，所述多个动态感测单元中的每个动态感测单元所接收的所述动态读出信号与所述动态重置时序之间的时间差为所述第二曝光时间。
14.根据权利要求6所述的影像感测装置，其特征在于，所述影像感测阵列进一步包含有设置于所述多个感测单元上的多个滤波片，所述多个滤波片包含可见光滤波片、红外光滤波片和紫外光滤波片中的至少一项。
15.根据权利要求7所述的影像感测装置，其特征在于，所述多个感测单元进一步包含有一控制电路，其耦接于所述传输电路以及所述重置电路，所述控制电路用于产生所述读出信号以及所述重置信号。
16.根据权利要求15所述的影像感测装置，其特征在于，所述控制电路包含有至少一静态曝光控制电路以及至少一动态曝光控制电路，所述静态曝光控制电路用于产生至少一静态重置信号以及至少一静态读出信号，所述动态曝光控制电路用于产生至少一动态重置信号以及至少一动态读出信号。
17.根据权利要求16所述的影像感测装置，其特征在于，所述静态曝光控制电路与所述动态曝光控制电路分别具有一第一位址解码器与一第二位址解码器，用以分别产生非同步的一第一帧率与一第二帧率。
18.一种影像感测方法，其特征在于，包括：
在一主图框时间中，产生至少一静态感测信号以及至少一动态感测信号，所述至少一静态感测信号以及所述至少一动态感测信号的个数可以为任意的不同正整数，所述至少一静态感测信号以第一帧率曝光一第一曝光时间产生，所述至少一动态感测信号以第二帧率曝光一第二曝光时间产生；以及
分析所述至少一静态感测信号以及所述至少一动态感测信号，以输出具有相同帧率的所述至少一静态感测信号以及所述至少一动态感测信号的子图框，并利用具有不同帧率的多个所述子图框融合产生一主图框。
19.根据权利要求18所述的方法，其特征在于，所述第一曝光时间大于所述第二曝光时间，所述第二帧率大于所述第一帧率。
20.根据权利要求18所述的方法，其特征在于，分析所述至少一静态感测信号以及所述至少一动态感测信号针对所述多个子图框执行一动态事件侦测处理，其用以判断所述多个子图框中的物体是否为动态事件，当判断为否时，在所述子图框输出所述静态子图框，当判断为是时，在所述子图框输出所述动态子图框。
21.根据权利要求19所述的方法，其特征在于，根据所述动态事件侦测处理的结果将所述多个静态子图框以及所述多个动态子图框以特定比例加成融合为所述主图框。
CN202310087515.9A 2022-05-26 2023-01-19 影像感测装置及其影像感测方法 Pending CN117135482A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202263345920P 2022-05-26 2022-05-26
US63/345,920 2022-05-26

Publications (1)

Publication Number Publication Date
CN117135482A true CN117135482A (zh) 2023-11-28

Family

ID=88849682

Family Applications (7)

Application Number Title Priority Date Filing Date
CN202310055903.9A Pending CN117135418A (zh) 2022-05-26 2023-01-19 影像感测电路和影像感测装置
CN202310056252.5A Pending CN117135419A (zh) 2022-05-26 2023-01-19 影像感测电路和影像感测装置
CN202310057390.5A Pending CN117135485A (zh) 2022-05-26 2023-01-19 影像感测结构及包含所述影像感测结构的影像感测装置
CN202310058682.0A Pending CN117135479A (zh) 2022-05-26 2023-01-19 影像感测装置及其影像感测方法
CN202310060643.4A Pending CN117135481A (zh) 2022-05-26 2023-01-19 影像感测装置
CN202310059038.5A Pending CN117135480A (zh) 2022-05-26 2023-01-19 影像感测装置
CN202310087515.9A Pending CN117135482A (zh) 2022-05-26 2023-01-19 影像感测装置及其影像感测方法

Family Applications Before (6)

Application Number Title Priority Date Filing Date
CN202310055903.9A Pending CN117135418A (zh) 2022-05-26 2023-01-19 影像感测电路和影像感测装置
CN202310056252.5A Pending CN117135419A (zh) 2022-05-26 2023-01-19 影像感测电路和影像感测装置
CN202310057390.5A Pending CN117135485A (zh) 2022-05-26 2023-01-19 影像感测结构及包含所述影像感测结构的影像感测装置
CN202310058682.0A Pending CN117135479A (zh) 2022-05-26 2023-01-19 影像感测装置及其影像感测方法
CN202310060643.4A Pending CN117135481A (zh) 2022-05-26 2023-01-19 影像感测装置
CN202310059038.5A Pending CN117135480A (zh) 2022-05-26 2023-01-19 影像感测装置

Country Status (3)

Country Link
US (7) US20230388666A1 (zh)
CN (7) CN117135418A (zh)
TW (5) TW202348021A (zh)

Also Published As

Publication number Publication date
TW202348012A (zh) 2023-12-01
US20230388655A1 (en) 2023-11-30
CN117135480A (zh) 2023-11-28
TW202348005A (zh) 2023-12-01
US20230388679A1 (en) 2023-11-30
CN117135418A (zh) 2023-11-28
TW202348006A (zh) 2023-12-01
TW202347748A (zh) 2023-12-01
US20230388668A1 (en) 2023-11-30
TW202348017A (zh) 2023-12-01
CN117135481A (zh) 2023-11-28
US20230388610A1 (en) 2023-11-30
TW202348021A (zh) 2023-12-01
US20230388650A1 (en) 2023-11-30
CN117135419A (zh) 2023-11-28
CN117135479A (zh) 2023-11-28
TW202348014A (zh) 2023-12-01
US20230388666A1 (en) 2023-11-30
CN117135485A (zh) 2023-11-28
US20230388671A1 (en) 2023-11-30

Similar Documents

Publication Publication Date Title
US11719908B2 (en) Image sensor and image capturing apparatus
US11493729B2 (en) Image sensor capable of reducing readout time and image capturing apparatus
US9899447B2 (en) Solid-state imaging device, method for driving the same, and imaging device
US20180109782A1 (en) Systems and Methods for Detecting Defective Camera Arrays and Optic Arrays
JP5521721B2 (ja) 撮像素子およびカメラシステム
US10063762B2 (en) Image sensor and driving method thereof, and image capturing apparatus with output signal control according to color
JP7232291B2 (ja) 撮像素子及び撮像装置
EP3445037B1 (en) Varying exposure time of pixels in photo sensor using motion prediction
JP2020061758A (ja) 撮像素子及び撮像装置
CN117135482A (zh) 影像感测装置及其影像感测方法
US11863893B2 (en) Image sensor including auto-focus pixels that receive the same transmission control signal
US11889217B2 (en) Image sensor including auto-focus pixels

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination