CN114697578B - 基于三维堆叠技术的双模态图像传感器芯片及成像系统 - Google Patents

基于三维堆叠技术的双模态图像传感器芯片及成像系统 Download PDF

Info

Publication number
CN114697578B
CN114697578B CN202011634543.0A CN202011634543A CN114697578B CN 114697578 B CN114697578 B CN 114697578B CN 202011634543 A CN202011634543 A CN 202011634543A CN 114697578 B CN114697578 B CN 114697578B
Authority
CN
China
Prior art keywords
image
event
sensor chip
image sensor
pixel array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011634543.0A
Other languages
English (en)
Other versions
CN114697578A (zh
Inventor
赵蓉
王韬毅
施路平
杨哲宇
裴京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202011634543.0A priority Critical patent/CN114697578B/zh
Publication of CN114697578A publication Critical patent/CN114697578A/zh
Application granted granted Critical
Publication of CN114697578B publication Critical patent/CN114697578B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/766—Addressed sensors, e.g. MOS or CMOS sensors comprising control or output lines used for a plurality of functions, e.g. for pixel output, driving, reset or power
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于三维堆叠技术的双模态图像传感器芯片及成像系统，包括：像素阵列及控制模块包括像素阵列和数模转换单元；模拟电路包括事件信息地址编解码器、读出控制器、事件信息采样电路和列模数转换器；数字电路包括行存储器、图像压缩单元、混合神经网络处理单元和帧及事件存储器；其中，像素阵列及控制模块设置顶层晶圆上；模拟电路和数字电路设置在同一底层晶圆上；顶层晶圆和底层晶圆基于三维堆叠方式连接。本发明包含可记录事件信息的视杆细胞像素和记录全帧彩色信息的视锥细胞像素，并在三维堆叠图像传感器芯片内部进行图像压缩和神经网络算法的预处理，实时检测、识别和感兴趣区域记录，缓解输出接口压力。

Description

基于三维堆叠技术的双模态图像传感器芯片及成像系统
技术领域
本发明涉及图像传感器技术领域，尤其涉及一种基于三维堆叠技术的双模态图像传感器芯片及成像系统。
背景技术
在传统的背照式CMOS图像传感器(Back Illuminated CMOS Image Sensor，简称BI CIS)制造工艺中，所有电路元件均被制造在一个二维的晶圆上。在这一传统工艺下，像素内的处理电路将占用较大面积。
先进的三维堆叠(Three-dimensional stacking)式图像传感器(3D BI CIS)制造工艺将通过将感光元件放置在顶层晶圆，处理电路放置在底部晶圆的方式，大大提高了填充因子(Fill Factor，简称FF)和集成度，将有效降低芯片面积并提高分辨率。同时，可以将一部分图像信号处理器(Image Signal Processor，简称ISP)的功能放置在底部晶圆，在实现部分图像预处理算法的同时缓解输出带宽压力。
现有采用三维堆叠技术的传感器中，均只实现了单一种类的像素。例如，三维堆叠式激活像素感受器(Active Pixel Sensor，简称APS)只能产生低帧率的彩色图像，而三维堆叠式动态视觉传感器(Dynamic Vision Sensor，简称DVS)只能产生图像质量较差的事件信息。因此，现在亟需一种基于三维堆叠技术的双模态图像传感器芯片及成像系统来解决上述问题。
发明内容
针对现有技术存在的问题，本发明提供一种基于三维堆叠技术的双模态图像传感器芯片及成像系统。
本发明提供一种基于三维堆叠技术的双模态图像传感器芯片，包括像素阵列及控制模块、模拟电路和数字电路，其中：
所述像素阵列及控制模块包括像素阵列和数模转换单元，所述数模转换单元的输出端连接所述像素阵列的输入端，所述数模转换单元的输入端连接传感控制器的输出端；所述像素阵列的第一输出端连接所述模拟电路的事件信息地址编解码器的输入端，所述像素阵列的第二输出端连接所述模拟电路的列模数转换器的输入端，所述像素阵列的第三输出端连接所述模拟电路的事件采样电路的第二输入端；
所述模拟电路包括事件信息地址编解码器、读出控制器、事件信息采样电路和列模数转换器，所述事件信息地址编解码器和所述读出控制器之间通信连接，所述读出控制器的输出端连接所述事件采样电路的第一输入端，所述列模数转换器的输出端和所述事件采样电路的输出端分别连接所述数字电路；
所述数字电路包括行存储器、帧及事件存储器、图像压缩单元和混合神经网络处理单元；所述图像压缩单元分别连接至所述行存储器、所述混合神经网络处理单元以及所述帧及事件存储器；所述行存储器的输入端分别连接所述列模数转换器的输出端和所述事件采样电路的输出端；所述帧及事件存储器用于存储帧信息和事件信息，所述混合神经网络处理单元用于对所述图像压缩单元发送的图像信息进行识别和追踪；
其中，所述像素阵列及控制模块设置顶层晶圆上；所述模拟电路和所述数字电路设置在同一底层晶圆上；所述顶层晶圆和所述底层晶圆基于三维堆叠方式连接。
根据本发明提供的一种基于三维堆叠技术的双模态图像传感器芯片，所述双模态图像传感器芯片的中央处理器与图像信号处理器芯片通信连接，所述中央处理器的输出端连接所述传感控制器的输入端，用于将所述图像信号处理器芯片生成的控制信号，发送至所述像素阵列模块。
根据本发明提供的一种基于三维堆叠技术的双模态图像传感器芯片，所述图像信号处理器芯片包括高速数据接口模块、图像处理模块和人工智能模块，其中：
所述图像处理模块通过所述高速数据接口，用于对所述混合神经网络处理单元处理后得到的图像信息进行预处理，所述图像信息包括激活像素感受器图像和动态视觉传感器事件信号；
所述人工智能模块的输入端连接所述图像处理模块的输出端，用于对预处理后的图像信息进行目标识别、目标追踪和图像重建；
其中，所述图像信号处理器芯片的中央处理器、所述高速数据接口模块和所述图像处理模块通过总线进行通信连接。
根据本发明提供的一种基于三维堆叠技术的双模态图像传感器芯片，所述双模态图像传感器芯片的中央处理器与图像信号处理器芯片之间通过控制信号接口进行通信连接。
根据本发明提供的一种基于三维堆叠技术的双模态图像传感器芯片，所述事件信息地址编解码器是由行地址编码器、行选择器和行地址解码器构成的。
根据本发明提供的一种基于三维堆叠技术的双模态图像传感器芯片，所述图像处理模块包括颜色插值单元、像素矫正单元、白平衡单元、事件地址解码信息单元、自动曝光/聚焦单元和宽动态范围处理单元。
根据本发明提供的一种基于三维堆叠技术的双模态图像传感器芯片，所述双模态图像传感器芯片和所述图像信号处理器芯片中分别设置有内存控制器，用于读取和存储图像数据、控制指令信息和神经网络参数。
根据本发明提供的一种基于三维堆叠技术的双模态图像传感器芯片，所述图像信号处理器芯片的图像输出接口为多媒体接口，用于将所述人工智能模块处理后的图像信息传输至显示器。
本发明提供了一种成像系统，包括上述任一基于三维堆叠技术的双模态图像传感器芯片。
本发明提供的基于三维堆叠技术的双模态图像传感器芯片及成像系统，包含可记录事件信息的视杆细胞像素和记录全帧彩色信息的视锥细胞像素，并在三维堆叠图像传感器芯片内部进行图像压缩和神经网络算法的预处理，可实现实时检测、识别和感兴趣区域记录等智能算法，且极大缓解输出接口压力。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于三维堆叠技术的双模态图像传感器芯片的结构示意图；
图2为本发明提供的图像信号处理器芯片的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
事件相机(Event Camera)，又称为动态视觉感受器(DVS)，是一种新型的成像系统。与传统相机使用快门控制帧率，所有像素按帧记录光强不同，事件相机对光强变化率敏感，并且每个像素独立记录该像素处光强对数值的变化量，当变化量超过阈值后产生一个正向或负向脉冲。正是由于事件相机异步的特性，使得其不受快门限制，具有极高的时间分辨率(帧率约1,000,000fps，与之相比传统相机帧率约为100fps)，结合其对变化敏感的特性，使其对运动监测等任务具有天然的适应性。另一种被称为DAViS的相机，将传统激活像素感受器(APS)与DVS结合，既能记录单帧图像也能记录事件信息，同时具有了传统相机高空间分辨率和DVS相机高时间分辨率的优点。
在传统的背照式CMOS图像传感器(BI CIS)制造工艺中，所有电路元件均被制造在一个二维的晶圆上。在这一传统工艺下，像素内的处理电路将占用较大面积。先进的三维堆叠式图像传感器(3D BI CIS)制造工艺将通过将感光元件放置在顶层晶圆，处理电路放置在底部晶圆的方式，大大提高了填充因子(FF)和集成度，将有效降低芯片面积并提高分辨率。同时，可以将一部分图像信号处理器(Image Signal Processor，简称ISP)的功能放置在底部晶圆，在实现部分图像预处理算法的同时缓解输出带宽压力。
然而，现有采用三维堆叠技术的传感器中，均只实现了单一种类的像素。例如，三维堆叠式APS只能产生低帧率的彩色图像，而三维堆叠式DVS只能产生图像质量较差的事件信息。本发明基于三维堆叠技术，设计一种双模态图像传感器芯片，该芯片包含可实现APS功能的视锥(Cones)像素和可实现DVS功能的视杆细胞(Rods)像素，通过使用三维堆叠技术，使该芯片达到较高分辨率，并实现高帧率、高动态范围和高图像质量的视频输出，并在传感器芯片内部实现图像压缩和人工智能算法处理。
图1为本发明提供的基于三维堆叠技术的双模态图像传感器芯片的结构示意图，如图1所示，本发明提供了一种基于三维堆叠技术的双模态图像传感器芯片，包括像素阵列及控制模块101、模拟电路102和数字电路103，其中：
所述像素阵列及控制模块101包括像素阵列(Pixel Array)1011和数模转换单元(DAC)1012，所述数模转换单元1012的输出端连接所述像素阵列1011的输入端，所述数模转换单元1012的输入端连接传感控制器1036的输出端；所述像素阵列1011的第一输出端连接所述模拟电路102的事件信息地址编解码器1021的输入端，所述像素阵列1011的第二输出端连接所述模拟电路102的列模数转换器1023的输入端，所述像素阵列1011的第三输出端连接所述模拟电路102的事件采样电路1024的第二输入端；
所述模拟电路102包括事件信息地址编解码器1021、读出控制器(Rods ReadoutController)1022、事件信息采样电路(Event Sampling Circuit)1024和列模数转换器(Column ADCs)1023，所述事件信息地址编解码器1021和所述读出控制器1022之间通信连接，所述读出控制器1022的输出端连接所述事件采样电路1024的第一输入端，所述列模数转换器1023的输出端和所述事件采样电路1024的输出端分别连接所述数字电路103；
所述数字电路103包括行存储器(Line Memory)1031、图像压缩单元(ImageCompression Unit，简称ICU)1032、混合神经网络处理单元(Hybrid Neural NetworkProcessing Unit，简称HNPU)1033和帧及事件存储器(Frame/Event Memory)1034；所述图像压缩单元1032分别连接至所述行存储器1031、所述混合神经网络处理单元1033以及所述帧及事件存储器1034；所述行存储器1031的输入端分别连接所述列模数转换器1023的输出端和所述事件采样电路1024的输出端；所述帧及事件存储器1034用于存储帧信息和事件信息，所述混合神经网络处理单元1033用于对所述图像压缩单元发送的图像信息进行识别和追踪；
其中，所述像素阵列及控制模块101设置顶层晶圆上；所述模拟电路102和所述数字电路103设置在同一底层晶圆上；所述顶层晶圆和所述底层晶圆基于三维堆叠方式连接。
在本发明中，可参考图1所示，顶层晶圆的像素阵列1011包括彩色APS像素(在图1中以C字母表示)，以及记录事件信息的像素(在图1中以R字母表示)。进一步地，在底层晶圆的模拟电路102中，所述事件信息地址编解码器1021是由行地址编码器、行选择器和行地址解码器构成的，其中，事件信息地址编码器用于对产生事件的视杆细胞像素进行筛选和编码，行选择器选择对应视杆细胞像素和视锥细胞像素的行，通过行地址解码器(驱动器)实现驱动读取；读出控制器1022用于对事件像素的读取进行控制；列模数转换器(ADC)1023用于将APS像素的模拟信号转换为数字信号；事件信息采样电路1024用于采样视杆细胞像素的事件信息。
在底层晶圆的数字电路103中，行存储器1031用于作为图像信息的缓存；图像压缩单元1032用于对彩色图像使用H264和H265算法压缩，并对事件信息进行预测编码算法压缩，优选地，在本发明中，图像压缩单元1032可将压缩后的图像信息发送到混合神经网络处理单元1034，也可将压缩后的图像信息直接发送到数据发送器1038(可参考图1所示)；混合神经网络处理单元1034包括人工神经网络(Artificial Neural Network，简称ANN)、脉冲神经网络(Spiking Neural Network，简称SNN)和混合神经网络(Hybrid Neural Network，简称HNN)，用于通过使用混合神经网络算法对经过图像压缩单元1032压缩后的图像信息进行识别和追踪等。在本发明中，可参考图1所示，数字电路103还包括中央处理器1035(CPU)和各种控制器，用于调整像素和各模块参数，可参考图1所示，控制器可包括传感控制器1036(Sensor Controller)、控制信号接口1037(本实施例采用I2C/SPI接口)、数据发送器1038(Data Transmitter)、高速数据接口1039(本实施例采用MIPI接口)和内存控制器(DDRController)等，其中，中央处理器1035通过控制信号接口1037和后端ISP进行通信连接，并将接收到的控制信号通过传感控制器1036发送到像素阵列模块101中；通过数据发送器1038和高速数据接口1039，将混合神经网络处理单元1034将处理后的图像信息发送到后端ISP。
本发明提供的基于三维堆叠技术的双模态图像传感器芯片，包含可记录事件信息的视杆细胞像素和记录全帧彩色信息的视锥细胞像素，并在三维堆叠图像传感器芯片内部进行图像压缩和神经网络算法的预处理，可实现实时检测、识别和感兴趣区域记录等智能算法，且极大缓解输出接口压力。
在上述实施例的基础上，可参考图1所示，所述双模态图像传感器芯片的中央处理器1035与图像信号处理器芯片通信连接，所述中央处理器1035的输出端连接所述传感控制器1036的输入端，用于将所述图像信号处理器芯片生成的控制信号，发送至所述像素阵列模块101。优选地，所述双模态图像传感器芯片的中央处理器1035与图像信号处理器芯片之间通过控制信号接口进行通信连接，在本发明中，控制信号接口可采用I2C/SPI接口。
在上述实施例的基础上，图2为本发明提供的图像信号处理器芯片的结构示意图，如图2所示，所述图像信号处理器芯片包括高速数据接口模块201、图像处理模块(Imageprocess subsystem)202和人工智能模块(Al Processing Unit)203，其中：
在本发明中，所述高速数据接口模块201为MIPI接口(MIPI Receiver)，以通过MIPI接口连接方式，读取Bayer格式的APS传统图像和空间梯度格式的DVS事件信号；
所述图像处理模块202通过所述高速数据接口模块201，用于对所述混合神经网络处理单元处理后得到的图像信息进行预处理，所述图像信息包括激活像素感受器图像和动态视觉传感器事件信号；
所述人工智能模块203的输入端连接所述图像处理模块202的输出端，用于对预处理后的图像信息进行目标识别、目标追踪和图像重建；
其中，所述图像信号处理器芯片的中央处理器204、所述高速数据接口模块201和所述图像处理模块202通过总线205进行通信连接。
在本发明中，图像信号处理器芯片是基于现场可编程逻辑门阵列(FieldProgrammable Gate Array，简称FPGA)重构得到的，如图2所示，该芯片的中央处理器204为ARM核心中央处理系统，用于处理反馈控制的信息，并通过I2C/SPI接口的通信方式控制基于三维堆叠技术的双模态图像传感器。需要说明的是，本发明可通过内存控制器，从存储中读取或存储图像数据、指令信息和神经网络参数。进一步地，图像处理模块201以传统和新式融合算法处理图像数据，并对其进行编码压缩输出为HDMI或DP等格式，且对MIPI输入的格式进行解码，以进行后续处理，其中，所述图像处理模块201包括颜色插值单元(Demosaic)、像素矫正单元(Pixel Correction)、白平衡单元(White Balance)、解码单元、自动曝光/聚焦单元(Auto Exposure/Focus)和宽动态范围处理单元(Wide DynamicRange，简称WDR)。人工智能模块203(Al处理器)用于对预处理的图像和视频进行目标识别、追踪和图像重建等。在本发明中，各模块通过总线205连接传输数据，具体地，可采用AXI(Advanced eXtensible Interface)总线协议。
在上述实施例的基础上，所述双模态图像传感器芯片和所述图像信号处理器芯片中分别设置有内存控制器，用于读取和存储图像数据、控制指令信息和神经网络参数。
在上述实施例的基础上，所述图像信号处理器芯片的图像输出接口为多媒体数据接口，用于将所述人工智能模块处理后的图像信息传输至显示器。其中，多媒体数据接口可采用HDMI接口或DP接口。
本发明还提供了一种成像系统，所述成像系统包括上述各实施例提供的基于三维堆叠技术的双模态图像传感器芯片。该成像系统包含可记录事件信息的视杆细胞像素和记录全帧彩色信息的视锥细胞像素，并在三维堆叠图像传感器芯片内部进行图像压缩和神经网络算法的预处理，可实现实时检测、识别和感兴趣区域记录等智能算法，且极大缓解输出接口压力。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于三维堆叠技术的双模态图像传感器芯片，其特征在于，包括像素阵列及控制模块、模拟电路和数字电路，其中：
所述像素阵列及控制模块包括像素阵列和数模转换单元，所述数模转换单元的输出端连接所述像素阵列的输入端，所述数模转换单元的输入端连接传感控制器的输出端；所述像素阵列的第一输出端连接所述模拟电路的事件信息地址编解码器的输入端，所述像素阵列的第二输出端连接所述模拟电路的列模数转换器的输入端，所述像素阵列的第三输出端连接所述模拟电路的事件采样电路的第二输入端；
所述模拟电路包括事件信息地址编解码器、读出控制器、事件信息采样电路和列模数转换器，所述事件信息地址编解码器和所述读出控制器之间通信连接，所述读出控制器的输出端连接所述事件采样电路的第一输入端，所述列模数转换器的输出端和所述事件采样电路的输出端分别连接所述数字电路；
所述数字电路包括行存储器、图像压缩单元、混合神经网络处理单元和帧及事件存储器；所述图像压缩单元分别连接至所述行存储器、所述混合神经网络处理单元以及所述帧及事件存储器；所述行存储器的输入端分别连接所述列模数转换器的输出端和所述事件采样电路的输出端；所述帧及事件存储器用于存储帧信息和事件信息，所述混合神经网络处理单元用于对所述图像压缩单元发送的图像信息进行识别和追踪；
其中，所述像素阵列及控制模块设置顶层晶圆上；所述模拟电路和所述数字电路设置在同一底层晶圆上；所述顶层晶圆和所述底层晶圆基于三维堆叠方式连接。
2.根据权利要求1所述的基于三维堆叠技术的双模态图像传感器芯片，其特征在于，所述双模态图像传感器芯片的中央处理器与图像信号处理器芯片通信连接，所述中央处理器的输出端连接所述传感控制器的输入端，用于将所述图像信号处理器芯片生成的控制信号，发送至所述像素阵列模块。
3.根据权利要求2所述的基于三维堆叠技术的双模态图像传感器芯片，其特征在于，所述图像信号处理器芯片包括高速数据接口模块、图像处理模块和人工智能模块，其中：
所述图像处理模块通过所述高速数据接口，用于对所述混合神经网络处理单元处理后得到的图像信息进行预处理，所述图像信息包括激活像素感受器图像和动态视觉传感器事件信号；
所述人工智能模块的输入端连接所述图像处理模块的输出端，用于对预处理后的图像信息进行目标识别、目标追踪和图像重建；
其中，所述图像信号处理器芯片的中央处理器、所述高速数据接口模块和所述图像处理模块通过总线进行通信连接。
4.根据权利要求2所述的基于三维堆叠技术的双模态图像传感器芯片，其特征在于，所述双模态图像传感器芯片的中央处理器与图像信号处理器芯片之间通过控制信号接口进行通信连接。
5.根据权利要求1所述的基于三维堆叠技术的双模态图像传感器芯片，其特征在于，所述事件信息地址编解码器是由行地址编码器、行选择器和行地址解码器构成的。
6.根据权利要求3所述的基于三维堆叠技术的双模态图像传感器芯片，其特征在于，所述图像处理模块包括颜色插值单元、像素矫正单元、白平衡单元、事件地址解码信息单元、自动曝光/聚焦单元和宽动态范围处理单元。
7.根据权利要求2所述的基于三维堆叠技术的双模态图像传感器芯片，其特征在于，所述双模态图像传感器芯片和所述图像信号处理器芯片中分别设置有内存控制器，用于读取和存储图像数据、控制指令信息和神经网络参数。
8.根据权利要求3所述的基于三维堆叠技术的双模态图像传感器芯片，其特征在于，所述图像信号处理器芯片的图像输出接口为多媒体数据接口，用于将所述人工智能模块处理后的图像信息传输至显示器。
9.一种成像系统，其特征在于，所述成像系统包括权利要求1至8任一项所述的基于三维堆叠技术的双模态图像传感器芯片。
CN202011634543.0A 2020-12-31 2020-12-31 基于三维堆叠技术的双模态图像传感器芯片及成像系统 Active CN114697578B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011634543.0A CN114697578B (zh) 2020-12-31 2020-12-31 基于三维堆叠技术的双模态图像传感器芯片及成像系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011634543.0A CN114697578B (zh) 2020-12-31 2020-12-31 基于三维堆叠技术的双模态图像传感器芯片及成像系统

Publications (2)

Publication Number Publication Date
CN114697578A CN114697578A (zh) 2022-07-01
CN114697578B true CN114697578B (zh) 2024-03-15

Family

ID=82134784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011634543.0A Active CN114697578B (zh) 2020-12-31 2020-12-31 基于三维堆叠技术的双模态图像传感器芯片及成像系统

Country Status (1)

Country Link
CN (1) CN114697578B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102665049A (zh) * 2012-03-29 2012-09-12 中国科学院半导体研究所 基于可编程视觉芯片的视觉图像处理系统
CN105355621A (zh) * 2015-11-26 2016-02-24 上海集成电路研发中心有限公司 一种堆叠式图像传感器
CN110572593A (zh) * 2019-08-19 2019-12-13 上海集成电路研发中心有限公司 一种3d堆叠式图像传感器
CN111083402A (zh) * 2019-12-24 2020-04-28 清华大学 双模态仿生视觉传感器
CN210866179U (zh) * 2019-11-12 2020-06-26 深圳市汇顶科技股份有限公司 堆叠式的图像传感芯片、图像传感器和电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015157341A1 (en) * 2014-04-07 2015-10-15 Samsung Electronics Co., Ltd. High resolution, high frame rate, low power image sensor
US10863131B2 (en) * 2015-05-20 2020-12-08 Samsung Electronics Co., Ltd. Image sensor including parallel output of pixel signals from a pixel unit and image processing system including the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102665049A (zh) * 2012-03-29 2012-09-12 中国科学院半导体研究所 基于可编程视觉芯片的视觉图像处理系统
CN105355621A (zh) * 2015-11-26 2016-02-24 上海集成电路研发中心有限公司 一种堆叠式图像传感器
CN110572593A (zh) * 2019-08-19 2019-12-13 上海集成电路研发中心有限公司 一种3d堆叠式图像传感器
CN210866179U (zh) * 2019-11-12 2020-06-26 深圳市汇顶科技股份有限公司 堆叠式的图像传感芯片、图像传感器和电子设备
CN111083402A (zh) * 2019-12-24 2020-04-28 清华大学 双模态仿生视觉传感器

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
半导体智能视觉系统芯片;吴南健;;中兴通讯技术;20200229(02);42-46 *
面向实时视觉芯片的高速CMOS图像传感器;付秋瑜 等;;光学学报;20110810(08);289-295 *

Also Published As

Publication number Publication date
CN114697578A (zh) 2022-07-01

Similar Documents

Publication Publication Date Title
US11405565B2 (en) Information processing device and information processing method
US10763285B2 (en) Image generation devices and image processing systems for converting resolutions of image data captured by image sensors mounted on movable-body apparatuses
US20130188045A1 (en) High Resolution Surveillance Camera
US11589059B2 (en) Video compression apparatus, electronic apparatus, and video compression program
CN103916575A (zh) 摄像元件、摄像设备及其控制方法
CN112188093B (zh) 双模态信号融合系统和方法
US11743620B2 (en) Imaging array with drive-sense circuits and methods for use therewith
US11736834B2 (en) Handheld communication device with drive-sense imaging array and methods for use therewith
Kodama et al. 1.22 μm 35.6 Mpixel RGB hybrid event-based vision sensor with 4.88 μm-pitch event pixels and up to 10K event frame rate by adaptive control on event sparsity
US20040145668A1 (en) MOS solid-state imaging element and imaging device provided with the same
CN118175432A (zh) 一种自动曝光控制方法、装置和电子设备
CN114697578B (zh) 基于三维堆叠技术的双模态图像传感器芯片及成像系统
CN112188092B (zh) 双模态信号处理系统和方法
US20230388668A1 (en) Image sensor circuit and image sensor device
CN110336953B (zh) 四元像素结构图像传感器及读取控制方法
CN115334260B (zh) 图像传感器以及像素级曝光控制方法
US20230368486A1 (en) Image sensor and method of operating the same
CN210536770U (zh) 一种亿级像素阵列摄像装置
WO2020116178A1 (ja) 画像処理装置および方法
CN110225261B (zh) 一种ZigZagHDR曝光控制系统及其进行曝光控制的方法
CN109584137B (zh) 一种脉冲序列格式转换方法及系统
CN118488335A (zh) 一种兼容灰度与脉冲输出的自适应仿生视觉传感器及方法
WO2022063060A1 (zh) 双模态信号处理系统和方法
US20240251185A1 (en) Imaging apparatus and an imaging system including the imaging apparatus
CN117692808A (zh) 基于三维堆叠技术的时空差分视觉传感器芯片及成像系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant