CN116226031A - 一种基于感存算一体化的芯片系统 - Google Patents

一种基于感存算一体化的芯片系统 Download PDF

Info

Publication number
CN116226031A
CN116226031A CN202310143121.0A CN202310143121A CN116226031A CN 116226031 A CN116226031 A CN 116226031A CN 202310143121 A CN202310143121 A CN 202310143121A CN 116226031 A CN116226031 A CN 116226031A
Authority
CN
China
Prior art keywords
pixel
analog
global
digital
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310143121.0A
Other languages
English (en)
Inventor
梁朝朝
郝宗耀
杨诚
傅强
金文平
刘进
许建国
牛迪
张艳茹
王明
朱冠兰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Dvl Electron Co ltd
Anhui Medical University
Original Assignee
Hefei Dvl Electron Co ltd
Anhui Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Dvl Electron Co ltd, Anhui Medical University filed Critical Hefei Dvl Electron Co ltd
Priority to CN202310143121.0A priority Critical patent/CN116226031A/zh
Publication of CN116226031A publication Critical patent/CN116226031A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00Digital computers in general; Data processing equipment in general
    • G06F15/76Architectures of general purpose stored program computers
    • G06F15/78Architectures of general purpose stored program computers comprising a single central processing unit
    • G06F15/7839Architectures of general purpose stored program computers comprising a single central processing unit with memory
    • G06F15/7842Architectures of general purpose stored program computers comprising a single central processing unit with memory on one IC chip (single chip microcontrollers)
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明适用于集成技术领域,提供了一种基于感存算一体化的芯片系统,包括:传感模块和存储运算模块,所述传感模块和存储运算模块一体集成在一基底上;所述传感模块包括像素单元、模数转换单元和数据传输单元,所述像素单元用于采集待测物体产生的像素信号,并将采集的像素信号传输给所述模数转换单元,所述模数转换单元能够接收所述像素信号,并将该像素信号转换为数字信号传输给所述数据传输单元;所述数据传输单元与所述存储运算模块连接,用于将所述数字信号传输给所述存储运算模块;本发明中的传感模块和存储运算模块,将图像采集、存储、计算集成为一体结构,可以有效改善图像信息处理的延迟、能耗增加的问题。

Description

一种基于感存算一体化的芯片系统
技术领域
本发明属于集成技术领域,尤其涉及一种基于感存算一体化的芯片系统。
背景技术
伴随着半导体、新材料的快速发展,近两年集传感、存储、计算(简称感存算)一体化的一种新型架构进入大众的视线,通过在电子器件中集成信息感知、数据计算与数据存储的功能,可以极大程度地提高电子器件的信息处理效率,并节省能源降低能耗,具有应用于感存算一体化处理系统的潜力。
传统的传感单元与计算单元、存储单元处于分离的状态,信息需要通过传感单元将有效数据采集,并通过数模转换器等模块将数据转换成计算与存储单元可以处理的形式,并通过线路连接将信息传递至存储与计算单元。这一繁琐的过程使得信息处理的延迟、能耗增加。在医用内窥镜摄像设备方面,亦存在同样的问题,图像传感、存储、计算处于分离状态,导致后续的图像信息处理的延迟、能耗增加,限制了信号在实时低延迟信息传输的需要。因此,有必要针对医用内窥镜摄像系统,提出一种基于感存算一体化的芯片系统。
发明内容
本发明实施例的目的在于提供一种基于感存算一体化的芯片系统,以解决现有医用内窥镜摄像设备的图像采集、存储、计算处于分离状态,而导致后续的图像信息处理的延迟、能耗增加的问题。
本发明提出一种多层网络互联结构,层与层之间通过无线通信链路来进行互联,用无线通信链路来补充固定的光纤链路连接所带来的高时延问题,同时降低了网络阻塞率,该拓扑结构具有很好的可扩展性,具有时延低,阻塞率小的特点,具有更好的网络生存性。虽然,国内外很多学者提出采用无线通信技术融合进数据中心内部网络中,其中清华大学肖诗汉等人提出采用钻石型连接结构构件无线数据中心网络,其中,任意两个服务器间的直连链路都是无线链路;但是其服务器与交换机之间或者交换机与交换机之间的直连链路都是有线链路;可拓展性方面较差。
本发明实施例是这样实现的,一种基于感存算一体化的芯片系统,所述基于感存算一体化的芯片系统包括:传感模块和存储运算模块,所述传感模块和存储运算模块一体集成在一基底上;
所述传感模块包括像素单元、模数转换单元和数据传输单元,所述像素单元用于采集待测物体产生的像素信号,并将采集的像素信号传输给所述模数转换单元,所述模数转换单元能够接收所述像素信号,并将该像素信号转换为数字信号传输给所述数据传输单元;所述数据传输单元与所述存储运算模块连接,用于将所述数字信号传输给所述存储运算模块;
所述存储运算模块,用于接收、存储所述数据传输单元传输的数字信号,并将接收或存储的所述数字信号进行运算处理,以获得待测物体的图像信息。
优选地,所述像素单元采用全局式快门像素结构,该全局式快门像素结构能够在逐行读出像素信号中的像素前执行全局动作机制,进而控制所有像素同时开始曝光和结束曝光。
优选地,所述全局式快门像素结构至少包括全局复位晶体管、全局电荷传输晶体管、用于电荷缓存的存储单元;
所述全局复位晶体管的源极接入供电电压,所述全局复位晶体管的漏极耦接于所述全局电荷传输晶体管的源极,所述全局电荷传输晶体管的漏级与电荷转移晶体管的源极连接,所述电荷转移晶体管的漏级与浮动扩散节点耦接,所述浮动扩散节点和源极跟随放大器的第一端耦接,并通过浮动扩散节点复位晶体管接入供电电压,所述浮动扩散节点与第一电容的一端耦接,所述全局复位晶体管与所述全局电荷传输晶体管之间连接光电二极管,所述存储单元耦接于所述全局电荷传输晶体管与所述电荷转移晶体管之间,所述源极跟随放大器的第二端接入供电电压,所述源极跟随放大器的第三端作为信号输出端。
优选地,所述模数转换单元包括采样保持器、模数转换器;
所述采样保持器,将像素单元传输的像素信号进行模拟采样并读出,得到N个像素信号;
所述模数转换器,按照时序将所述采样保持器采集的N个像素信号转换为至少N个像素的数字信号。
优选地,所述模数转换单元还包括数据对齐子模块,所述数据对齐子模块,用于通过冗余或非冗余变换,将所述模数转换器中各级A/D转换电路输出的像素位点转换为N个像素信号对应的数字信号。
优选地,所述数据传输单元包括并转串转换器和低压差分信号驱动器,所述模数转换器、并转串转换器、低压差分信号驱动器依次连接,以实现数字信号的传输。
优选地,所述存储运算模块采用双字线SRAM的存内计算电路。
优选地,所述双字线SRAM的存内计算电路包括存储阵列和外围运算电路,所述外围运算电路至少包括连接在所述存储阵列相应位线的预充电路、行译码电路、列译码电路及输出电路,所述行译码电路还连接有时序控制电路,所述列译码电路分别连接所述时序控制电路和输出电路。
本发明实施例提供的一种基于感存算一体化的芯片系统,本实施例中传感模块和存储运算模块一体集成在一基底上,在通过医用内窥镜摄像设备的图像采集的过程中,可以实现图像采集、存储和计算的高时效性及低时延,并减少一些不必要的外围传输电路;解决了现有医用内窥镜摄像设备的图像采集、存储、计算处于分离状态,而导致后续的图像信息处理的延迟、能耗增加的问题。
附图说明
图1为本发明实施例提供的一种基于感存算一体化的芯片系统的架构图;
图2为本发明实施例中采用背照射工艺的像素单元的原理示意图;
图3为本发明实施例中采用前照射工艺的像素单元的原理示意图;
图4为本发明实施例中全局式快门像素结构的电路图;
图5为本发明实施例中模数转换器的架构图;
图6为本发明实施例中采样保持器和模数转换器中12bit Pipelined ADC(即A/D转换电路)的实现电路图;
图7为本发明实施例中SUB-LVDS驱动器(低压差分信号驱动器)的连接示意图;
图8为本发明实施例提供的CMOS 传感器的 LVDS 输出构成图;
图9为本发明实施例中双字线SRAM的存内计算电路的电路图;
附图中:100-传感模块;200-存储运算模块;110-像素单元;111-微透镜;112-光学滤光片;113-光电探测器;114-金属层;120-模数转换单元;210-存储阵列;220-外围运算电路。
实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在提出本发明前,在医用内窥镜摄像设备方面,亦存在传统的图像传感单元与计算单元、存储单元处于分离的状态,这样的问题,由于图像传感、存储、计算处于分离状态,导致后续的图像信息处理的延迟、能耗增加,限制了信号在实时低延迟信息传输的需要;因此本发明针对医用内窥镜摄像系统提出一种基于感存算一体化的芯片系统。
图1为本发明实施例提供的一种基于感存算一体化的芯片系统的架构图,具体可以包括:传感模块100和存储运算模块200,所述传感模块100和存储运算模块200一体集成在一基底上;
所述传感模块100包括像素单元110、模数转换单元120和数据传输单元,所述像素单元110用于采集待测物体产生的像素信号,并将采集的像素信号传输给所述模数转换单元120,所述模数转换单元120能够接收所述像素信号,并将该像素信号转换为数字信号传输给所述数据传输单元;所述数据传输单元与所述存储运算模块200连接,用于将所述数字信号传输给所述存储运算模块200;
所述存储运算模块200,用于接收、存储所述数据传输单元传输的数字信号,并将接收或存储的所述数字信号进行运算处理,以获得待测物体的图像信息。
本实施例中,所述存储运算模块200集成了存储和运算的功能,再与传感模块100的传感(感知)实现传感、存储、运算三大功能集成在一块硅片上,即集成在一基底上,实现感存算一体化集成;在通过医用内窥镜摄像设备的图像采集的过程中,这样的感存算一体化高度集成,减少了附属信号处理电路的占用体积,从而降低芯片整体体积,达到小型化的目的;可以实现图像采集、存储和计算的高时效性及低时延,并减少一些不必要的外围传输电路;解决了现有医用内窥镜摄像设备的图像采集、存储、计算处于分离状态,而导致后续的图像信息处理的延迟、能耗增加的问题。
在本实施例的一个示例中,所述像素单元110采用全局式快门像素结构,该全局式快门像素结构能够在逐行读出像素信号中的像素前执行全局动作机制,进而控制所有像素同时开始曝光和结束曝光。
本实施例中,所述的像素单元110即为感光单元,该感光单元可以采用全局式快门像素结构,这是一种高填充因子背照式全局快门像素工艺(BSI工艺)的结构,如此,可以实现感存算一体化的三维堆叠结构,进而实现整体结构的高集成度;
在本实施例的一个示例中,如图2所示,为所述的BSI工艺的工艺原理图,可以包括如下步骤:
将多个微透镜111排列设置为透镜阵列,微透镜111的凸面为光的入射面;微透镜111与凸面相对的一面为平面,该平面上设置光学滤光片112,所述光学滤光片112也可以设置为与透镜阵列等大的阵列结构;在光学滤光片112远离微透镜111的一侧设置光电探测器113,微透镜111、光学滤光片112和光电探测器113是一一对应的;在光电探测器113远离微透镜的一侧设置金属层114,所述金属层114内设置有供电电源和光电探测器113的驱动电路,实现对光电探测器113的供电和驱动控制;所述的光电探测器113可以采用光电二极管,光学滤光片112可以采用彩色滤光片,也可以采用其他混色滤光片,使得特定波长的光被过滤;本示例采用BSI工艺的像素单元110,使得入射光不受金属层114的影响、光的传输路径短而且可实现更深的光电二极管(Photo diode),有利于光的吸收。
在一个示例中,以三色光(R、G、B)的感知为例,如图2所示,微透镜111设置有三列,第一列微透镜透射的三色光,经过对应的彩色滤光片后剩余红色光(R)被传输至相对的光电探测器113,其他的绿色光、蓝色光(G、B)并过滤;同理,第二列微透镜透射的三色光,经过对应的彩色滤光片后剩余绿色光(G)被传输至相对的光电探测器113,其他的红色光、蓝色光(R、B)并过滤;第三列微透镜透射的三色光,经过对应的彩色滤光片后剩余蓝色光(B)被传输至相对的光电探测器113,其他的红色光、绿色光(R、G)并过滤;各光电探测器113探测获得单色光的像素信号。
在一个示例中,所述的像素单元110是采用前照式(FSI)工艺的全局式快门像素结构。如图3所示,该全局式快门像素结构中,金属层114设置在所述光学滤光片112与光电探测器113之间;
综上所述,本实施例优选采用BSI工艺的全局式快门像素结构,采用BSI工艺的全局式快门像素结构,可得到比前照式(FSI)工艺的更高的量子效率(QE,QuantumEfficiency)。采用BSI工艺可以保证最高QE高于60%(550nm)的目标,提高芯片系统的灵敏度和宽谱段响应能力。
在一个实施例中,如图4所示,所述全局式快门像素结构至少包括全局复位晶体管GR、全局电荷传输晶体管GT、用于电荷缓存的存储单元SD;
所述全局复位晶体管GR的源极接入供电电压Vdd,所述全局复位晶体管GR的漏极耦接于所述全局电荷传输晶体管GT的源极,所述全局电荷传输晶体管GT的漏级与电荷转移晶体管TG的源极连接,所述电荷转移晶体管TG的漏级与浮动扩散节点FD耦接,所述浮动扩散节点FD和源极跟随放大器的第一端耦接,并通过浮动扩散节点复位晶体管RST接入供电电压Vdd,所述浮动扩散节点FD与第一电容Cfd的一端耦接,所述全局复位晶体管GR与所述全局电荷传输晶体管GT之间连接光电二极管PD,所述存储单元SD耦接于所述全局电荷传输晶体管GT与所述电荷转移晶体管TG之间,所述源极跟随放大器的第二端接入供电电压Vdd,所述源极跟随放大器的第三端作为信号输出端。
本实施例中,光电二极管PD用于累积光电效应产生的电荷,全局复位晶体管GR用于对光电二极管PD进行复位,全局电荷传输晶体管GT用于将光电二极管PD累积的电荷转移至存储单元SD,电荷转移晶体管TG用于将存储单元SD存储的电荷转移至浮动扩散节点FD,浮动扩散节点复位晶体管RST用于对浮动扩散节点FD的电压进行复位。
在全局电荷传输晶体管GT的栅极由低电平->高电平->低电平进行操作时,光电二极管PD曝光收集到的电荷转移到该全局电荷传输晶体管GT下方的存储单元SD中。电荷转移晶体管TG也为由栅极电压控制的开关管,在该晶体管栅极由低电平->高电平->低电平进行操作时,在存储单元SD的电荷转移到浮动扩散节点FD上。浮动扩散节点复位晶体管RST为复位晶体管,在该复位晶体管的栅极为高电平时,浮动扩散节点FD的电压被复位到一个高电位,清空浮动扩散节点FD上的电子。
在本实施例的一个示例中,源极跟随放大器包括第一晶体管SF和控制管VB,所述浮动扩散节点FD和第一晶体管SF的栅极连接,第一晶体管SF的源极连接供电电压Vdd,第一晶体管SF的漏级连接场效应晶体管SEL的源级,场效应晶体管SEL的漏级作为信号输出端,并且场效应晶体管SEL的漏级连接有控制管VB。
在本实施例的一个示例中,该全局式快门像素结构能够在逐行读出像素信号中的像素前执行全局动作机制,进而控制所有像素同时开始曝光和结束曝光,具体包括:
在常规的卷帘式快门的基础上,增加一个机制,即逐行读出像素之前有一个“全局动作”期间,在这个期间所有像素一起动作,将积存在光电二极管PD里的信号电荷转移到存储单元SD里,全局电荷传输晶体管GT关闭以后,可以通过全局复位晶体管GR来控制所有像素进行下一帧的曝光;全局复位晶体管GR为高电平时,入射光产生的电荷经全局复位晶体管GR,排出到供电电压VDD,因而不会积存在光电二极管PD里;曝光开始时,全局复位晶体管GR变低电平,不再将光电二极管PD里的电荷排出,入射光产生的信号电荷积存在光电二极管PD里,直到下一帧的全局动作期间被传输到存储单元SD。信号电荷传输到存储单元SD后,将以与常规的卷帘式快门相同的动作方式被逐行读出。即,存储单元SD的电荷被传输到浮动扩散节点FD转换成电压,然后经源极跟随放大器读出。
本示例中,全局快门式像素结构的全局复位晶体管GR和全局动作机制控制所有像素同时开始曝光和结束曝光,不会产生卷帘式快门像素因为曝光开始和结束时间不同而导致的运动物体失真,对医用内窥镜摄像的高品质要求可以满足。
如图5、图6所示,在一个实施例中,所述模数转换单元120包括采样保持器、模数转换器;
所述采样保持器,将像素单元传输的像素信号进行模拟采样并读出,得到N个像素信号;
所述模数转换器,按照时序将所述采样保持器采集的N个像素信号转换为至少N个像素的数字信号。
本实施例的所述采样保持器,也称采样保持级,所述模数转换器可以由十二级A/D转换电路级联构成,十二级A/D转换电路的每级输出两个数字信号(D1和D0)。
在一个实施例的示例中,N个像素信号可以是8个像素信号,也可以是16个像素信号,或其他个数的像素信号,以8个像素信号为例:采样保持级同时采样和读出像素单元传输的8个像素信号,并输出给第一级A/D转换器(即第一级A/D转换电路,如图5中的第一级Pipelined ADC单元),之后,经过后面级联的11级A/D转换器(即11级Pipelined ADC单元)转换后,传输给数据传输单元及存储运算模块;
其中,每个A/D转换器在每个水平周期内处理8个像素信号,因此,有8个像素信号输入级联的A/D转换器。像素信号首先被采样保持级采样,然后按顺序有其后的12bitPipelined ADC转换成数字信号。Pipelined ADC的每级输出2bit,经数据对齐模块(包含冗余非冗余变换)后得到8个像素的A/D转换结果,即图5中的数字信号Dout_pix1、数字信号Dout_pix2至数字信号Dout_pix8。
上述,在十二级A/D转换电路的信号转换中,使用了数据对齐,通过冗余闳非冗余变换将A/D转换结果变换为与输入相同数量级的输出,以便于后续对数据的保持、存储和运算。十二级A/D转换电路属于一种多斜率高速低功耗列ADC电路,可以实现高分辨率高帧频图像数据感知。
在本实施例的一个示例中,数据对齐是通过数据对齐子模块实现的,因此,在本示例中,所述模数转换单元120还包括数据对齐子模块,所述数据对齐子模块,用于通过冗余或非冗余变换,将所述模数转换器中各级A/D转换电路输出的像素位点转换为N个像素信号对应的数字信号。
上述,所述的数据对齐子模块可以采用常规的模数转换器的串行接口,如图7所示,通过该模数转换器的串行接口实现数据对齐,在此不再赘述。
本实施例中,模数转换器的串行接口连接所述的模数转换器与数据传输单元。
在一个实施例中,所述数据传输单元包括并转串转换器和低压差分信号驱动器,所述模数转换器、并转串转换器、低压差分信号驱动器依次连接,以实现数字信号的传输。
本实施例的一个示例中,所述并转串转换器可以采用并转串转换(P2S)电路,所述低压差分信号驱动器可以采用高速数据驱动器(Tx)电路(即LVDS驱动器(Tx),LVDS Driver(Tx));LVDS驱动器(Tx)和存储运算模块连接,主要将模数转换器电路输出的数字信号通过模数转换器的串行接口、并转串转换(P2S)电路,输出数据至存储运算模块。
如图8所示,为一种CMOS传感器的LVDS输出构成图;其中CMOS传感器的LVDS输出作为上述LVDS驱动器(Tx)的一种选择。
本实例中CMOS传感器由于传输数据数据量巨大,因此需要共180对差分数据输出,单边90对数据输出,而一般Sub-LVDS 接口需要同时输出时钟信号,因此90对Sub-LVDS 分成4组,每组输出一个时钟信号,整体架构如图 8 所示。
如图9所示,在一个实施例中,所述存储运算模块200采用双字线SRAM的存内计算电路。
本实施例中采用双字线SRAM的存内计算电路,是一种双字线双阈值SRAM的存储系统,这种存算一体架构将逻辑操作集成到存储阵列当中,从而模糊了计算(运算)和存储阵列之间的边界,并显著降低了计算能耗和等待时间。
本实施例中,所述双字线SRAM的存内计算电路包括存储阵列210和外围运算电路220,所述存储阵列210由若干存储器构成;所述外围运算电路220至少包括连接在所述存储阵列210相应位线的预充电路、行译码电路、列译码电路及输出电路,所述行译码电路还连接有时序控制电路,所述列译码电路分别连接所述时序控制电路和输出电路。
其中,预充电路主要是在对存储阵列进行各种操作之前,对存储阵列的位线的充、放电进行控制。时序控制电路操作行译码电路、列译码电路所需的控制信号,行译码电路、列译码电路接收地址信号通过译码后输出多位行控制信号、列控制信号,以实现对相应行或列像素的操作,输出电路用于输出运算结果。
在一个示例中,所述输出电路可以由灵敏放大器和门电路构成,灵敏放大器与存储阵列的位线相连,通过门电路对灵敏放大器输出的位线电压与参考电压进行比较后,即可输出运算结果。
在一个示例中,外围运算电路220包含有两种运算模式,即:SRAM模式和CIM模式;处于SRAM模式,主要执行数据的保持、存储与读取操作;处于CIM模式,可实现BCAM运算和与、或非、异或等逻辑运算。进一步地,在SRAM模式下,预充电路主要是在对存储阵列进行各种操作之前,对存储阵列的位线的充、放电进行控制。时序控制电路操作行译码电路、列译码电路所需的控制信号,行译码电路、列译码电路接收地址信号通过译码后输出多位行控制信号、列控制信号,以实现对相应行或列像素的操作,输出电路用于输出运算结果。
本实施例提供了一种基于感存算一体化的芯片系统,该基于感存算一体化的芯片系统以一个基底(硅片)为基础,将传感模块100和存储运算模块200高度集成为一体化结构;而所述存储运算模块200又集成了存储和运算的功能单元,与传感模块100的传感(感知)实现传感、存储、运算三大功能集成在一块硅片上,实现感存算一体化集成;在通过医用内窥镜摄像设备的图像采集的过程中,这样的感存算一体化高度集成,减少了附属信号处理电路的占用体积,从而降低芯片整体体积,达到小型化的目的;可以实现图像采集、存储和计算的高时效性及低时延,并减少一些不必要的外围传输电路;解决了现有医用内窥镜摄像设备的图像采集、存储、计算处于分离状态,而导致后续的图像信息处理的延迟、能耗增加的问题。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于感存算一体化的芯片系统,其特征在于,所述基于感存算一体化的芯片系统包括:传感模块和存储运算模块,所述传感模块和存储运算模块一体集成在一基底上;
所述传感模块包括像素单元、模数转换单元和数据传输单元,所述像素单元用于采集待测物体产生的像素信号,并将采集的像素信号传输给所述模数转换单元,所述模数转换单元能够接收所述像素信号,并将该像素信号转换为数字信号传输给所述数据传输单元;所述数据传输单元与所述存储运算模块连接,用于将所述数字信号传输给所述存储运算模块;
所述存储运算模块,用于接收、存储所述数据传输单元传输的数字信号,并将接收或存储的所述数字信号进行运算处理,以获得待测物体的图像信息。
2.根据权利要求1所述的基于感存算一体化的芯片系统,其特征在于,所述像素单元采用全局式快门像素结构,该全局式快门像素结构能够在逐行读出像素信号中的像素前执行全局动作机制,进而控制所有像素同时开始曝光和结束曝光。
3.根据权利要求1所述的基于感存算一体化的芯片系统,其特征在于,所述全局式快门像素结构至少包括全局复位晶体管、全局电荷传输晶体管、用于电荷缓存的存储单元;
所述全局复位晶体管的源极接入供电电压,所述全局复位晶体管的漏极耦接于所述全局电荷传输晶体管的源极,所述全局电荷传输晶体管的漏级与电荷转移晶体管的源极连接,所述电荷转移晶体管的漏级与浮动扩散节点耦接,所述浮动扩散节点和源极跟随放大器的第一端耦接,并通过浮动扩散节点复位晶体管接入供电电压,所述浮动扩散节点与第一电容的一端耦接,所述全局复位晶体管与所述全局电荷传输晶体管之间连接光电二极管,所述存储单元耦接于所述全局电荷传输晶体管与所述电荷转移晶体管之间,所述源极跟随放大器的第二端接入供电电压,所述源极跟随放大器的第三端作为信号输出端。
4.根据权利要求1所述的基于感存算一体化的芯片系统,其特征在于,所述模数转换单元包括采样保持器、模数转换器;
所述采样保持器,将像素单元传输的像素信号进行模拟采样并读出,得到N个像素信号;
所述模数转换器,按照时序将所述采样保持器采集的N个像素信号转换为至少N个像素的数字信号。
5.根据权利要求4所述的基于感存算一体化的芯片系统,其特征在于,所述模数转换单元还包括数据对齐子模块,所述数据对齐子模块,用于通过冗余或非冗余变换,将所述模数转换器中各级A/D转换电路输出的像素位点转换为N个像素信号对应的数字信号。
6.根据权利要求4所述的基于感存算一体化的芯片系统,其特征在于,所述数据传输单元包括并转串转换器和低压差分信号驱动器,所述模数转换器、并转串转换器、低压差分信号驱动器依次连接,以实现数字信号的传输。
7.根据权利要求1所述的基于感存算一体化的芯片系统,其特征在于,所述存储运算模块采用双字线SRAM的存内计算电路。
8.根据权利要求7所述的基于感存算一体化的芯片系统,其特征在于,所述双字线SRAM的存内计算电路包括存储阵列和外围运算电路,所述外围运算电路至少包括连接在所述存储阵列相应位线的预充电路、行译码电路、列译码电路及输出电路,所述行译码电路还连接有时序控制电路,所述列译码电路分别连接所述时序控制电路和输出电路。
CN202310143121.0A 2023-02-21 2023-02-21 一种基于感存算一体化的芯片系统 Pending CN116226031A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310143121.0A CN116226031A (zh) 2023-02-21 2023-02-21 一种基于感存算一体化的芯片系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310143121.0A CN116226031A (zh) 2023-02-21 2023-02-21 一种基于感存算一体化的芯片系统

Publications (1)

Publication Number Publication Date
CN116226031A true CN116226031A (zh) 2023-06-06

Family

ID=86569075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310143121.0A Pending CN116226031A (zh) 2023-02-21 2023-02-21 一种基于感存算一体化的芯片系统

Country Status (1)

Country Link
CN (1) CN116226031A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116821047A (zh) * 2023-08-31 2023-09-29 北京犀灵视觉科技有限公司 一种感存算一体化电路、系统及方法
CN116881193A (zh) * 2023-09-01 2023-10-13 北京犀灵视觉科技有限公司 一种感存算一体宏单元电路、系统及数据处理方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102143332A (zh) * 2011-04-20 2011-08-03 中国科学院半导体研究所 基于标准cmos工艺的彩色图像传感器
CN103686006A (zh) * 2013-12-24 2014-03-26 北京交通大学 一种基于压缩传感的全局式曝光cmos图像传感器
US20150346867A1 (en) * 2014-05-30 2015-12-03 Semiconductor Energy Laboratory Co., Ltd. Sensor, Input Device, and Input/Output Device
CN106791504A (zh) * 2011-09-21 2017-05-31 普廷数码影像控股公司 堆叠芯片成像系统
CN107430766A (zh) * 2015-04-07 2017-12-01 深圳市大疆创新科技有限公司 用于将图像数据并行存储在相机系统中的系统和方法
US20180227529A1 (en) * 2017-02-03 2018-08-09 SmartSens Technology (U.S.), Inc. Stacked image sensor pixel cell with selectable shutter modes and in-pixel cds
CN108419033A (zh) * 2018-03-01 2018-08-17 上海晔芯电子科技有限公司 基于拐点的hdr图像传感器像素结构及成像系统
CN108470742A (zh) * 2018-03-22 2018-08-31 上海晔芯电子科技有限公司 Hdr图像传感器像素结构及成像系统
CN110633069A (zh) * 2019-09-06 2019-12-31 安徽大学 一种基于静态随机存储器的乘法电路结构
CN111309670A (zh) * 2020-02-18 2020-06-19 电子科技大学 一种cmos感存算一体电路结构
CN112700810A (zh) * 2020-12-22 2021-04-23 电子科技大学 一种融合忆阻器的cmos感存算一体电路结构
CN113467751A (zh) * 2021-07-16 2021-10-01 东南大学 一种基于磁性随机存储器的模拟域存内计算阵列结构
CN113596361A (zh) * 2021-08-02 2021-11-02 电子科技大学 一种基于像素内实现正负权值运算的感存算一体电路结构

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102143332A (zh) * 2011-04-20 2011-08-03 中国科学院半导体研究所 基于标准cmos工艺的彩色图像传感器
CN106791504A (zh) * 2011-09-21 2017-05-31 普廷数码影像控股公司 堆叠芯片成像系统
CN103686006A (zh) * 2013-12-24 2014-03-26 北京交通大学 一种基于压缩传感的全局式曝光cmos图像传感器
US20150346867A1 (en) * 2014-05-30 2015-12-03 Semiconductor Energy Laboratory Co., Ltd. Sensor, Input Device, and Input/Output Device
CN107430766A (zh) * 2015-04-07 2017-12-01 深圳市大疆创新科技有限公司 用于将图像数据并行存储在相机系统中的系统和方法
US20180227529A1 (en) * 2017-02-03 2018-08-09 SmartSens Technology (U.S.), Inc. Stacked image sensor pixel cell with selectable shutter modes and in-pixel cds
CN108419033A (zh) * 2018-03-01 2018-08-17 上海晔芯电子科技有限公司 基于拐点的hdr图像传感器像素结构及成像系统
CN108470742A (zh) * 2018-03-22 2018-08-31 上海晔芯电子科技有限公司 Hdr图像传感器像素结构及成像系统
CN110633069A (zh) * 2019-09-06 2019-12-31 安徽大学 一种基于静态随机存储器的乘法电路结构
CN111309670A (zh) * 2020-02-18 2020-06-19 电子科技大学 一种cmos感存算一体电路结构
CN112700810A (zh) * 2020-12-22 2021-04-23 电子科技大学 一种融合忆阻器的cmos感存算一体电路结构
CN113467751A (zh) * 2021-07-16 2021-10-01 东南大学 一种基于磁性随机存储器的模拟域存内计算阵列结构
CN113596361A (zh) * 2021-08-02 2021-11-02 电子科技大学 一种基于像素内实现正负权值运算的感存算一体电路结构

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
王童: "仿生生物感官的感存算一体化系统", 物理学报, pages 441 - 450 *
蔺智挺: "以双字线双阈值4T_SRAM为基础的存内计算设计", 计算机科学与探索, pages 2116 - 2126 *
钮建超: "基于双字线双阈值4T SRAM的存内计算设计", 中国优秀硕士论文电子期刊 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116821047A (zh) * 2023-08-31 2023-09-29 北京犀灵视觉科技有限公司 一种感存算一体化电路、系统及方法
CN116821047B (zh) * 2023-08-31 2023-10-31 北京犀灵视觉科技有限公司 一种感存算一体化电路、系统及方法
CN116881193A (zh) * 2023-09-01 2023-10-13 北京犀灵视觉科技有限公司 一种感存算一体宏单元电路、系统及数据处理方法
CN116881193B (zh) * 2023-09-01 2023-11-10 北京犀灵视觉科技有限公司 一种感存算一体宏单元电路、系统及数据处理方法

Similar Documents

Publication Publication Date Title
CN116226031A (zh) 一种基于感存算一体化的芯片系统
US10608101B2 (en) Detection circuit for photo sensor with stacked substrates
CN206283595U (zh) 成像像素
US8610810B2 (en) Two-by-two pixel structure in an imaging system-on-chip
US9848141B2 (en) Image pixels having processed signal storage capabilities
CN108305884B (zh) 像素单元和形成像素单元的方法及数字相机成像系统组件
KR20190069557A (ko) 오버플로우 능력을 갖는 이미지 센서 픽셀
EP2123019B1 (en) Extended dynamic range using variable sensitivity pixels
EP1017231A2 (en) Photodiode active pixel sensor with shared reset signal and row select
CN116156298B (zh) 基于感存算一体化的内窥镜高清视频处理系统及方法
CN109005329B (zh) 一种像素单元、图像传感器以及相机
CN108200366B (zh) 像素单元和形成像素单元的方法及数字相机成像系统
US7910965B2 (en) Image sensor circuits including shared floating diffusion regions
US10002901B1 (en) Stacked image sensor with embedded FPGA and pixel cell with selectable shutter modes and in-pixel CDs
EP2517461B1 (en) Column output circuits for image sensors
CN108282625B (zh) 像素单元和形成像素单元的方法及数字相机成像系统组件
US9888197B1 (en) Methods and apparatus for a CMOS image sensor with an in-pixel amplifier
CN109257548B (zh) 一种cmos图像传感器及图像输出方法
US11950011B2 (en) Image sensor
WO2023011092A1 (zh) 图像传感器、摄像头组件和移动终端
Fossum The invention of CMOS image sensors: A camera in every pocket
US20030052983A1 (en) Image capture and storage device
KR20220165006A (ko) 내부 커패시터를 포함하는 픽셀을 포함하는 이미지 센서
CN107040733B (zh) Cmos图像传感器
CN110336965B (zh) 用于cmos图像传感器的有源像素摆幅扩展系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination