CN116881193A - 一种感存算一体宏单元电路、系统及数据处理方法 - Google Patents

一种感存算一体宏单元电路、系统及数据处理方法 Download PDF

Info

Publication number
CN116881193A
CN116881193A CN202311120533.9A CN202311120533A CN116881193A CN 116881193 A CN116881193 A CN 116881193A CN 202311120533 A CN202311120533 A CN 202311120533A CN 116881193 A CN116881193 A CN 116881193A
Authority
CN
China
Prior art keywords
unit
bus
digital
msc
sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311120533.9A
Other languages
English (en)
Other versions
CN116881193B (zh
Inventor
冯新鹤
冉亮
易伟
芮松鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiling Visual Technology Co ltd
Original Assignee
Beijing Xiling Visual Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiling Visual Technology Co ltd filed Critical Beijing Xiling Visual Technology Co ltd
Priority to CN202311120533.9A priority Critical patent/CN116881193B/zh
Publication of CN116881193A publication Critical patent/CN116881193A/zh
Application granted granted Critical
Publication of CN116881193B publication Critical patent/CN116881193B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G06F15/78—Architectures of general purpose stored program computers comprising a single central processing unit
    • G06F15/7807—System on chip, i.e. computer system on a single chip; System in package, i.e. computer system on one or more chips in a single package
    • G06F15/7821—Tightly coupled to memory, e.g. computational memory, smart memory, processor in memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Semiconductor Integrated Circuits (AREA)

Abstract

本发明涉及电子电路及信号处理领域，提出一种感存算一体宏单元电路、系统及数据处理方法，所述宏单元电路包括感知单元，用于感知信号并将感知信号转换为电压或电流输出；存算单元，用于同时进行数据存储和数据运算，所述的数据包括模拟数据和数字数据；MSC总线，用于传递感知信号和运算信号，且所述感知单元和存算单元均连接到所述MSC总线；INS总线，用于将控制指令发送到控制感知单元和存算单元执行，所述感知单元和存算单元均连接到所述INS总线。本发明解决了现有技术中数据传输处理低效的问题，感知的模拟信号，直接在当前处理宏单元处理，无需转换成数字信号，无需传输到外部，降低了时延，提高了效率和处理实时性。

Description

一种感存算一体宏单元电路、系统及数据处理方法
技术领域
本发明涉及电子电路及信号处理领域，尤其是是一种感存算一体宏单元电路、系统及数据处理方法
背景技术
随着工业互联网的发展，对视频采集和处理技术提出了更高的要求，传统的视觉类应用系统，图像传感器采集图像信息，将光信号转化电信号，并经过数模转换之后变成数字信号，再经过图像信号处理单元处理图像数据，最后需要经过特殊的视频接口输出给系统中的处理器，进而由处理器执行数据分析并做出相应的控制和操作，整个过程中数据传输要经过多个节点，路径复杂且很长，带来各种延迟，这种数据传输过程中的延迟造成了数据处理瓶颈，影响视觉处理的时效性。另外，当图像传感器芯片更高的帧率输出给后级芯片时，要求传输通道具有非常高的带宽，但是每帧的数据中存在大量的无用信息一同给到了处理器或者神经网络芯片，这些无用的信息实际上占用了大量的带宽，提高了数据传输成本，且降低了数据处理效率，同时因为数据转换和数据搬运带来了能耗损失。
发明内容
为了解决上述技术问题，本发明提出一种感存算一体宏单元电路，采用传感、运算和存储一体化设计，能够实现视觉类像素级感存算一体芯片、系统及数据处理方法，所述的一体宏单元电路具体包括：
感知单元，用于感知信号并将感知信号转换为电压或电流输出；
存算单元，用于同时进行数据存储和数据运算，所述的数据包括模拟数据和/或数字数据；
MSC总线，用于传递感知信号和运算信号，且所述感知单元和存算单元均连接到所述MSC总线；
INS总线，用于将控制指令发送到控制感知单元和存算单元执行，所述感知单元和存算单元均连接到所述INS总线；
标签模块，连接到所述INS总线，其中存储有标识数据，基于所存储的标识数据确定是否执行INS总线发送的指令；
上述感知单元、存算单元、MSC总线、INS总线以及标签模块一体化的集成在同一基片上。
进一步的，所述的感知单元为视觉感知单元、触觉感知单元、压力感知单元、气压感知单元或速度/加速度感知单元，感知单元用于感知和采集数据，并转换为电流或电压信号传输到MSC总线上。
进一步的，所述视觉感知单元包括2D感知单元、3D感知单元或混合感知单元。
进一步的，所述的存算单元包括模拟存算单元和/或数字存算单元，用于分别实现模拟和数字数据存储以及运算， 其中，所述模拟存算单元、数字存算单元分别连接到上述MSC总线实现运算功能。
进一步的，所述模拟存算单元包括多个模拟信号存储器，模拟信号存储器同时作为模拟运算单元，通过将所述多个模拟存算单元连接到同一MSC总线进行读写操作，使得模拟信号直接在模拟信号存储器中进行加减乘除运算。
进一步的，通过执行多个模拟信号存储器的读出操作以及单个模拟信号存储器的写入操作，实现加法操作。
进一步的，通过重复执行N次用于实现一加法运算的读写操作，实现乘法运算。
进一步的，所述数字存算单元，包括若多个数字信号存储器，数字信号存储器同时具有存储和逻辑运算能力。
进一步的，所述的数字存算单元中设置有DREG BANK，所述DREG BANK包括多个数字信号存储器，以及数字读总线MSC RD DBUS和数字写总线MSC WR BUS，所述的数字信号存储器为数字寄存器DREG；
在数字读总线MSC RD DBUS和数字写总线MSC WR BUS之间并行连接有多个数字寄存器，其中，数字寄存器DREG的输入端IN接在MSC WR DBUS 上，数字寄存器的输出端OUT连接在MSC RD DBUS上，在两个BUS间还连接多路器MUX，另，数字寄存器DREG的MSC RD DBUS还通过一开关SBUS连接到MSC总线上。
进一步的，在运算时，将读总线MSC RD DBUS读出的一个或多个数字寄存器DREG信号通过多路器MUX写回到写总线MSC WR DBUS上再写到相应的一个或多个数字寄存器DREG中实现运算。
进一步的，所述的数字信号存储器采用3T DRAM、或者6T DRAM 、SRAM实现。
进一步的，所述的数字信号存储器采用Flash 实现，其中，进一步包括：
多个FLASH存储器，以及读写控制电路、读数据总线MSC RD DBUS以及多路器MUX，其中，FLASH存储器的输入端IN接在读写控制电路上，FLASH的输出端并行的连接到MSC RDDBUS上，且MSC RD DBUS与读写控制电路之间连接有多路器MUX。
进一步的，所述标签模块，连接到INS总线，其中存储有标识数据，基于所存储的标识数据确定是否执行INS总线发送的指令。
进一步的，所述标签模块内部包括比较器电路，用来比较两个信号的大小，根据比较结果确定标签值。
进一步的，每个标签模块对应一个的处理单元，用于根据标签模块中的标识决定当前处理单元PE是否执行当前INS指令；当所述标签模块中的标识为第一值时，对应的处理单元执行当前INS指令，当所述标签模块中的标识为第二值时，对应的处理单元不执行当前INS指令。
进一步的，所述处理单元还包括：
模拟信号算子运算单元AOP，用于进行指数和乘方、开方运算等常规运算，也可以根据应用开发特定算子。
进一步的，一种电路系统，包括感存算一体宏单元电路，所述的多个感存算一体宏单元电路布局为阵列结构。
根据本发明的另一个方面，还提出一种数据处理方法，利用前述权利要求感存算一体宏单元电路对于感测到的信号在宏单元内部进行存算处理。
本发明的一种感存算一体宏单元电路，解决了现有技术中数据传输处理低效的问题，感知的模拟信号，直接在当前处理宏单元处理，无需转换成数字信号，无需传输到外部，降低了时延，提高了效率和处理实时性。而且具有边缘处理能力，应用场景灵活，可在线改变应用功能。本发明的感知单元感知数据直接进行运算存储，可以进行计算机视觉（CV）算法预算，也可以进行卷积神经网络运算，具有低功耗、低延迟的优势。
附图说明
图1：本发明实施例的感存算一体的宏单元电路；
图2：一个实施例的2D视觉感知单元电路示意图；
图3：又一个实施例的2D视觉感知单元电路示意图
图4：一个实施例的3D感知单元电路示意图；
图5：又一个实施例3D感知单元电路示意图；
图6：一个实施例为2D/3D混合感知电路示意图；
图7：模拟寄存器AREG电路原理示意图；
图8：电流型模拟寄存器电路示意图；
图9：模拟寄存器AREG实现模拟存算示意图；
图10：模拟寄存器AREG实现模拟加减运算示意图；
图11：模拟寄存器实现除法运算操作示意图；
图12：数字寄存器DREG采用3T的DRAM实现示意图；
图13：宏单元电路中设计中数字寄存器组示意图；
图14：宏单元电路中设计SRAM作为DREG示意图；
图15：采用非易失性存储器Flash作为DREG示意图；
图16：FLASH组成的FLASH BANK实现数字运算示意图；
图17：TAG标签模块示意图；
图18：相邻PE通信模块ADJ IF示意图。
图19：8选1的ADJ IF模块示意图。
实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
根据本发的实施例，提出一种感存算一体的宏单元电路，如图1所示，该宏单元电路1包括：
感知单元2，用于感知信号，将感知信号转换为电压或电流输出；
存算单元3，用于同时进行数据存储和数据运算，所述的数据包括模拟数据和数字数据；
MSC总线4，用于传递感知信号和运算信号，且感知单元和存算单元均连接到所述MSC总线；
INS总线5，用于发送控制指令，所述感知单元2和存算单元3均连接到所述INS总线；上述感知单元2、存算单元3、MSC总线4、INS总线5一体化的集成在同一基片上。
如图1所示，本发明所提出的感存算一体的宏单元电路，该宏单元电路可以是位于芯片内的模块单元，该宏单元包括感知单元2、存算单元3等，通过将感知单元2、存算单元3等集成为一体制作的宏电路单元，使得宏单元电路直接处理感知的模拟信号，即直接在当前处理宏单元内处理，无需转换成数字信号，无需传输到宏单元外部，也无需传输到芯片外部，从而极大的降低了延迟，提高了处理效率。
可选的，所述的宏单元（PE，下面简称PE或PE单元）1可以采用阵列形式布局在芯片内，从而形成宏单元阵列，例如可以为1024*1024，或者2048*2048等，从而能够并行处理更多数据，具有更强的处理能力。
进一步的，还可包括标签模块6，连接到MSC总线4和INS总线5，其中存储有标识数据，基于所存储的标识数据确定是否执行INS总线发送的指令；
所述的感知单元2为视觉感知单元、触觉感知单元、压力感知单元、气压感知单元或速度/加速度感知单元，感知单元用于感知和采集数据；
在本发明的实施例中，所述的感知单元2用于感测周围环境中的物理参数或光电信号，其中，所述视觉感知单元包括2D感知单元、3D感知单元或混合感知单元。
进一步，所述的视觉感知单元包括传统的CIS （CMOS image sensor)中2D的Pixel，用于感测2D的光信号，生成2D图像信号，也可以是感知3D信息的TOF Pixel，从而测量物体的3D距离；还可以是事件传感器（EVS/DVS），从而能够探测到触发事件信号。
根据本发明的实施例，对于视觉传感器，在使用CIS中的像素单元时，可以输出电压信号，也可以通过改变读出电路，使之电流输出，即两种形式的输出都可以作为本发明的实施方式，从而提高灵活性，对应的，配套的总线电路也采用电压型或电流型MSC总线。
参见图2，为一个2D视觉的感知单元的示意图，用于输出光感知的电压信号，其包括用于采集光信号的PD传感单元，PD传感单元后端连接有数据读出电路，所示的PD传感单元为光电二极管，用于根据光亮度的强弱将光信号转换成相应的电信号，所述的光电二极管例如可以是：例如Si光电二极管、PIN Si光电二极管、肖特基势垒光电二极管、HgCdTe光伏二极管。
其中，PD传感单元的一端连接到一个MOS管M1的漏极，MOS管M1的栅极作为TX信号发送控制端，MOS管M1的源极连接到一个FD保持电容的一端，FD保持电容的另一端与PD传感单元的另一端相连并且接地；FD保持电容的一端还连接到MOS管M2的源，以及MOS管M3的栅极，M2的栅极作为RX接收信号的控制端，MOS管M2的源极连接到RST复位信号端，从而根据RX接收信号对FD保持电容进行复位；M3的漏极连接到供电电源VDD，然后MOS管M3的源极连接到一个MOS管M4，该MOS管M4作为信号选择开关，将M3输出的信号选择输出，输出电压形式的信号Vpix；
参见图3，为另一2D感知单元电路示意图，该2D视觉的感知单元可以输出电流信号，例如，PD传感单元的一端分别连接到MOS管M5的源极以及MOS管M6的栅极，M5的栅极接RX信号，漏极接RST信号，用于对PD传感单元进行复位，光电二极管接收到光信号后，输出电压信号改变M6的栅极电压，从而使得M6输出变化的电流信号ipix，该输出电流信号通过MOS管M7选通输出；
对于3D信号的像素检测，可以使用APD器件来检测，也可以使用SPAD器件来检测，或者可以使用忆阻器RRAM器件检测光信号，也称作ORRAM，既可以感知光信号也可以存储信号。
参见图4，为3D感知单元电路示意图，将上述图3中的2D视觉的感知单元替换为雪崩光电二极管（APD)，实现3D 信号采集，如图4所示，在该实施例中，雪崩光电二极管APD的一端需要连接电流偏置单元bias，用于给雪崩光电二极管提供电流，光电采集的电流信号ipix通过MOS管M7选择输出。
参见图5，为本发明的又一3D感知单元电路示意图，在该实施例中，单光子雪崩光电二极管SAPD的一端需要连接限流单元Qenching，用于提供和限制单光子雪崩光电二极管SPAD的电流，光电采集的电流信号通过反相器输出到PE。
参见图6，为2D/3D混合感知电路示意图，在视觉的感知单元混合集成2D和3D传感器，将2D像素和3D像素混合使用在感知单元中，实现混合感知，如图6所示，其中，上部为采用了SPAD的3D感知电路，下部为采用的PD的2D感知电路，3D感知电路通过信号输出选择MOS管M 10栅极的S_3D选择输出3D信号，2D感知电路通过信号输出选择MOS管M 9栅极的S_2D选择输出2D信号，最终经过MOS管M11输出电流信号。
可选的，所述的感知单元除了进行光学感知，还可以拓展到其他感知方式，例如，触觉感知单元，或者其他MEMS，感知气压，压力，加速度等等；考虑到在使用不同的感知方式的情况下，可能存在工艺不兼容的问题，因此，在制作时，可以考虑三维堆叠stacking方式，将感知单元加工在单独晶圆，PE中的其他电路加工在普通MOS加工工艺的晶圆，然后再将两者stacking在一起，完成整体的功能。
在上述实施例中，采用了电压或电流输出两种方式，优先的，本发明首先选用将感知信号转成电流型的感知单元，如图3，将2D光电二极管PD输出的信号转电流输出电路，或图4，将APD雪崩二极管的光电信号转为电流输出电路，图5中，用于测距的SPAD信号输出转为电流输出的电路，图6中，采用2D/3D混合感知电路。以图3为例，光信号通过PD转成光生载流子形成电荷，电荷在后级的MOS的栅端形成电压，通过控制栅极进而控制改MOS的导通电流，即将信号转成了电流信号，这个电流信号可以接入PE中的MSC总线，进一步输出给接在MSC总线上的其他单元进行进一步处理，例如传输到给模拟寄存器进行运算，或是传输到数字寄存器进行存储运算，或是通过Adjacent IF传递给相邻的PE。
进一步参见图1，所述的存算单元3包括模拟存算单元31与数字存算单元32，用于分别实现模拟和数字数据存储以及运算， 其中，所述模拟存算单元、数字存算单元分别连接到上述MSC总线实现运算功能。
所述存算单元3包括：
模拟存算单元31，包括多个模拟信号存储器，模拟信号存储器同时作为模拟运算单元，模拟信号能够通过模拟信号存储器进行加减乘除运算；
数字存算单元32，包括若多个数字信号存储器，数字信号存储器具有存储和逻辑运算能力。
具体的，在一个实施例中，所述的模拟存算单元31包括若干个模拟信号存储器，模拟信号存储器本身也是作为运算单元，信号可以通过模拟存储器进行加减乘除运算，例如，在一个实施例方式中，可以设计5或8个模拟寄存器（AREG）作为模拟信号存储器，可以满足基本的运算需求。
在一个实施例中，模拟存算单元31可以实现为模拟寄存器（AREG），具体如图7所示，展示了本实施例的模拟寄存器的原理，模拟寄存器包括恒流源A1、MOS管MA，以及开关Sread和开关Swrite，其中，恒流源电路的一端连接到电源，另一端连接到MOS管MA的漏极，MOS管MA与栅极之间接有开关Swrite，在MOS管MA的漏极连接有开关Sread，用于输入读取的电流信号；
图7中，上方的A1为一个恒流源，电流为IREF，当写操作时候，开关Sread和开关Swrite导通，将写入电流Iwrite灌入寄存器，根据基尔霍夫定律，此时AREG的MOS管MA的导通电流IDS等于电流IREF和电流Iwrite之和，这个过程为写操作；读操作的过程如下：当开关Swrite断开，开关Sread保持导通，此时Iread等于IDS减去IREF，恰好等于Iwrite的电流值，这个过程为读操作。公式如下，其中IIN为写入电流Iwrite，IOUT为读出电流IRead；
当写入时：IIN=IDS-IREF
当读出时：IOUT=IDS-IREF
MOS晶体管的饱和电流公式：IDS=1/2μCox(VGS-VT)2，VGS为栅极电压，VT为阈值电压，μ为电子迁移率,Cox为氧化层电容；
其中，当MOS管71的栅源电压VGS保持不变时候，IIN=IOUT；
进一步的，根据一个实施例，如图8所示，上述的模拟寄存器电路可以设计为电流型模拟寄存器，具体的设计如下：
MOS管M80和M81组成恒流源，其中，M80的漏极接Vref参考电压，M80的栅极作为控制端，接Svref控制电压信号用于控制MOS管M80开关，从而通过M80的源极将参考电压Vref输出到M81的栅极；读信号控制端Sread分别连接到MOS管M82、M83的栅极，用于控制数据读出，写信号控制端子Swrite连接到MOS管M85的栅极，用于控制数据写入，在读、写的时候通过给Sread、Swrite通入高电平。MOS管M82和M83为读选通控制单元，由Sread控制，在读、写时候打开，从而将M84中存储的数据通过M83读取到MSC总线上。MOS管M84是存储信号的MOS管，M85为写选通控制管，在写入数据时，通过Swrite控制M85导通，实现将MSC总线上的数据写入MOS管M84中。
根据一个实施例，采用上述模拟寄存器AREG能够实现模拟存算的运算功能，具体如下，参见图9，有两个模拟寄存器AREG，分别是AREG0、AREG1并行的连接到MSC BUS总线上，其中，AREG0执行读操作，将存储的数据读出为电流IO，输出到MSC BUS总线上，AREG1执行写操作，将上述电流-I0写入寄存器AREG1，从而，上述AREG1流入I0，因为电流的方向与AREG0读出的电流方向相反，所以定义为-I0，从而实现了取反操作。
根据另一个实施例，如图10所示，模拟寄存器AREG0、AREG1、AREG2分别连接到MSC总线上，其中，
AREG0执行读操作，将数据读出，即电流I0读出，AREG1同样执行读操作，读出电流I1到MSC BUS总线，AREG2执行写入操作，电流流入AREG2，因此写入AREG2的电流大小应该为I0+I1，即实现了加法操作。如果I0与I1的电流方向不同，实现减法的操作，如上一个实施例所示。
根据另一个实施例，本发明还能实现乘法电路，其中，操作过程如下：假设要实现I0×N，则将AREG0读出的电流反复执行相加操作到AREG1，执行N次，从而在不改变加法电路的情况下，简便的实现了整数乘法操作；可选的，也可以设计专门的乘法电路实现上述功能。
根据本发明的又一个实施例，如图11，上述模拟寄存器还能实现除法操作，模拟寄存器AREG0、AREG1、AREG2分别连接到MSC BUS总线上，其中，AREG0执行读操作，读出数据，输出对应的电流I0，AREG1和AREG2同时为写操作，写入每个模拟寄存器AREG1、AREG2的电流大小是I0/2，因此实现了整数除法操作。
可见，本发明中的提出的感存算宏单元电路，其中通过模拟寄存器与MSC总线等电路，实现存算一体电路结构， 无需将数据输出到宏单元外部即能实现模拟数据的存算功能，提高了数据处理效率，降低了传输延迟，而且省去了数字ADC模块，降低了功耗和时延。
根据本发明的其他实施例，还可以设计多个模拟寄存器AREG组成AREG BANK，例如模拟寄存器AREG的数量5个或者10个，根据应用设计AREG个数，这样一组AREG可以实现大量的信号存储以及加减乘除运算，为应用复杂算法提供基本的运算能力。
本发明的数字存算单元32包括若干个数字信号存储器，数字信号存储器除了存储数字信号外，还可以进行逻辑运算。例如，在一个实施例方式中，上述的数字信号存储器可以实现为数字寄存器DREG，例如，设计8个数字寄存器DREG作为数字存算单元，其既能够存储数字数据，还能实现数字数据的逻辑运算功能。
根据一个实施例，所述的数字寄存器DREG如图12所示，该数字寄存器DREG采用3T的DRAM实现，电路中包括3个MOS管MWR、MRD、MS，其中，MOS管MWR的漏极作为输入端IN，MWR的栅极连接到写入控制信号WR，MWR的漏极连接到MOS管MS的栅极，MS的栅极和源极之间并联有用于维持栅极电压的电容C，MOS管MRD的漏极作为输出端OUT，MRD的栅极连接到读信号RD，MRD的源极与MS的漏极相连，从而，通过WR写入信号控制MWR管将二值信号写入到MS中，MS靠栅极电容C保持信号，DREG通过读出信号RD控制MRD管将信号读出。
继续参见图13，本实施例中，宏单元电路中设计有数字寄存器组，即DREG BANK，该DREG BANK中包括有多个DREG，用于实现和保证应用所需的数字信号存储，在DREG BANK中设计有专属的数字读写总线，分别是数字读总线MSC RD DBUS和数字写总线MSC WR DBUS，在数字读总线MSC RD DBUS和数字写总线MSC WR DBUS之间并行连接有多个数字寄存器DREG0、DREG1……DREG9等，其中，数字寄存器的输入端IN接在MSC WR DBUS 上，数字寄存器的输出端OUT连接在MSC RD DBUS上，在两个DBUS总线间还连接多路器MUX，另外，DREG的MSCRD DBUS还通过一开关SBUS连接到MSC总线上；要实现运算操作时，将数字读总线MSC RDDBUS读出的信号通过MUX写回到数字写总线MSC WR DBUS上再写到相应的DREG中，写回的信号与原来的信号相同也可以选择取反写回，这就是多路器MUX的作用，同时打开多个DREG读出控制信号RD到读总线上，可以实现存储数字信号的线与操作。DREG BANK的数字读总线MSC RD DBUS通过选通开关SBUS连接到MSC 总线，将信号传递到MSC 总线上，进行进一步的操作。从而，通过上述电路结构实现了DREG的存储、运算功能，
根据本发明的另一个可选的实施例，如图14，还可以采用SRAM作为DREG，DREG电路中包括6个MOS管MWR、MRD、以及M141、M142、M143、M144，其中，MOS管MWR的漏极作为输入端IN，MWR的栅极连接到写入控制信号WR；其中，M141、M143、二者为PMOS， M142、M144为NMOS，M141、M142构成第一反相器，M143、M144构成第二个反相器，分别将信号反转后作为输入到另一反相器中，共同构成一个锁存器，存储需要的信息。MWR的源极连接到并联的反相器的一端，MRD的源极连接到所述并联反相器的另一端，从而这两个反相器接到输入输出电路。
MOS管MRD的漏极作为输出端OUT，MRD的栅极连接到读信号RD，从而，通过WR写入信号控制MWR管将二值信号写入到反相器中存储。本发明提出6T SRAM作为PE宏单元电路中数字信号存储的DREG电路，相比之前采用DRAM，存储更加稳定，但是会增加DREG的单元尺寸。
在数据写如果过程中，数据通过MWR管写入数据，WR输出有效高电平信号，控制MWR导通，IN输入有效信号，完成写操作，对应的，数据通过MRD管读出数据，RD输出有效高电平信号，控制MRD管导通，OUT输出有效信号，完成读操作。
可选的，在一个实施例中，如图15所示，也可以采用非易失性存储器Flash作为DREG，Flash是一种非易失性存储器，具有快速读写速度、较低的功耗和高密度存储等优点。Flash电路原理基于电荷累积和释放的机制，通过控制栅极电压来控制电荷的存储和释放。Flash电路由一系列的电容和MOSFET（金属氧化物半导体场效应晶体管）组成。每个电容存储着一定量的电荷，根据电容的大小可以存储不同的电荷量。每个MOSFET用于控制电荷的存储和释放。MOSFET有三个引脚：源极、漏极和栅极。源极和漏极之间形成一个导通通道，栅极用于控制通道的导通和截止。
如图15，使用Fash器件MF作为DREG，通过在IN端给高压信号对MF写“1”，通过栅和衬底之间达到足够的负压使得MF写入“0”，在平时读操作，在IN端给常规电压，作为读选择信号，然后将信号读出本DREG单元到读总线上。
在本发明的数字存算单元执行运算操作是，如图16所示，将FLASH组成的FLASHBANK，与NOR FLASH非常类似，与前面提到的DREG BANK不同，包括：多个FLASH器件，FLASH0、FLASH1……FLASH9等，FLASH的输入端IN接在读写控制电路上，FLASH的输出端并行的连接到MSC RD DBUS上，且MSC RD DBUS与读写控制电路之间连接有多路器MUX；在此实施例中，需要设计一个读写控制电路，对需要写操作的FLASH单元，在对应其IN端提供高压或者负压，在读时候，需要在对应的IN端提供正常高电平进行读操作。
在其他实施例中，可以选用其他集成度好非易失性存储器，例如忆阻器RRAM和磁存储器MRAM，配置对应的读写电路。
以上为本发明中模拟存算单元和数字存算单元的实现方式，通过模拟存算单元和数字存算单元的设计，再结合一体设计的各种MSC总线，将存储和计算功能用同一电路实现，极大的降低了传输延迟，提高了处理效率。
进一步的，本发明还包括标签模块6，标签模块6的输出作为判断信号，在控制当前PE是否执行当前SIMD的指令，比如当TAG输出状态为ON，则当前PE不执行当前的这条指令，反之当TAG输出状态为OFF，则当前PE执行当前的这条指令。
所述标签模块6，连接到MSC总线4和INS总线5，其中存储有标识数据，基于所存储的标识数据确定是否执行INS总线发送的指令。具体的，标签模块的作用根据当前的运算产生标签信号TAG，来判断接下来的全局指令是否在当前PE执行，如当所有TAG等于0时，给MSC芯片的操作指令，所有PE都会执行，经过一系列运算，某些PE中TAG值变成了“1”，在接下来的MSC芯片操作指令，只有TAG等于0的PE会执行指令。
如图17所示，为TAG标签模块的电路实现，其内部包括一个比较器电路，用来比较两个信号的大小。MOS管M171的栅极输入电压信号A，MOS管M172的栅极输入电压信号B，MOS管M172的漏极作为输出端，比较器电路用来比较两个信号的大小，当A小于B，会造成TAG的输出变为0，或者将模拟寄存器AREG的输出端输入到B端，阈值电压输入到A端，判断该AREG的值是否超过给定的阈值信号VTH，超过为0，低于阈值则变成1。
为了增加PE之间的数据交互和相关运算，PE宏单元中还设计了相邻PE通信模块（ADJ IF）8，如图18，可以将围绕当前PE周围8个PE的信息给到当前PE，这个模块可以在空间上与周围8个或者4个PE进行信号通讯与运算；参见图19，上述模块ADJ IF包括多路选择器，其中所述多路选择器的输入端分别与相邻的8个PE单元相连，多路选择器对上述8个PE单元的信号进行选择，通过模拟寄存器AREG_ADJ模块输出，通过开关SAJ与感存算总线MSC BUS连接在一起，从而输出模拟信号，所述模拟信号可以是电压，也可以是电流信号。
具体的，本实施例的ADJ IF模块，如图19，包括多路器以及相邻单元模拟寄存器AREG_ADJ，其中，设计8选1多路器（或4选一多路器），以及用来接收周围PE传递信号的AREG，称之为AREG_ADJ，例如，多路器的接入端包括8个PE的输出，TOP_PE_MSC_BUS是指当前PE上方的PE的信号，BOTTOM_PE_MSC_BUS是指当前PE下方的PE的信号等等，上下左右周围8个PE的信号输入到多路器的输入端，进行选择，然后通过AREG_ADJ运算，最后通过开关SAJ将AREG_ADJ的输出接入MSC 总线，从而对一个或多个PE的信号进行处理后的结果输出到MSC总线。可见，本发明的ADJ IF模块具有灵活的功能，能够对PE宏单元电路中局部区域的像素数据进行运算。
除了MSC BUS，PE宏单元电路中还设计全局指令总线INS BUS，对PE中每个功能模块进行整体操作控制，因为每个PE的INS BUS是由相同的全局信号控制，所以通过这种方式实现了SIMD。
可选的，如图1，本发明PE宏单元电路除了通过AREG实现基本的模拟信号运算外，本发明还设置了模拟信号算子运算单元（AOP）7，实现特殊算子的运算功能，比如根据应用的需要，可以设计平方运算电路，LOG运算电路，平方根运算，或者神经网络中常用的激活函数，比如Sigmoid，Tanh，ReLU等等，这里不再赘述，主要利用电路原理实现上述运算功能，设计时需要考虑电路的精简度，利于电路面积和功耗。
另外，如图1所示，宏单元电路中还设计有IO模块9，在本发明中是指通过芯片IO模块9直接输入模拟信号到内部PE单元，增加灵活性，也就是信号来源除了SU单元外，还可以来自芯片外部，增加芯片的场景灵活度。
以上是本发明涉及处理宏单元（PE）的结构设计，和每个部件的内部设计，使得PE具有AREG，对模拟信号的存储和运算能力，同时还设计了DREG，对数字信号的存储和逻辑运算能力，丰富的互连结构，如Adjacent IF模块，更有利于矩阵运算，灵活的算法实现和神经网络算法的使用。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (18)

1.一种感存算一体宏单元电路，其特征在于，包括：
感知单元，用于感知信号并将感知信号转换为电压或电流输出；
存算单元，用于同时进行数据存储和数据运算，所述的数据包括模拟数据和/或数字数据；
MSC总线，用于传递感知信号和运算信号，且所述感知单元和存算单元均连接到所述MSC总线；
INS总线，用于将控制指令发送到控制感知单元和存算单元执行，所述感知单元和存算单元均连接到所述INS总线；
标签模块，连接到所述INS总线，其中存储有标识数据，基于所存储的标识数据确定是否执行INS总线发送的指令；
上述感知单元、存算单元、MSC总线、INS总线以及标签模块一体化的集成在同一基片上。
2.根据权利要求1所述的一种感存算一体宏单元电路，其特征在于：
所述的感知单元为视觉感知单元、触觉感知单元、压力感知单元、气压感知单元或速度/加速度感知单元，感知单元用于感知和采集数据，并转换为电流或电压信号传输到MSC总线上。
3.根据权利要求2所述的一种感存算一体宏单元电路，其特征在于：
所述视觉感知单元包括2D感知单元、3D感知单元或混合感知单元。
4.根据权利要求1所述的一种感存算一体宏单元电路，其特征在于：
所述的存算单元包括模拟存算单元和/或数字存算单元，用于分别实现模拟和数字数据存储以及运算， 其中，所述模拟存算单元、数字存算单元分别连接到上述MSC总线实现运算功能。
5.根据权利要求4所述的一种感存算一体宏单元电路，其特征在于：
所述模拟存算单元包括多个模拟信号存储器，模拟信号存储器同时作为模拟运算单元，通过将所述多个模拟存算单元连接到同一MSC总线进行读写操作，使得模拟信号直接在模拟信号存储器中进行加减乘除运算。
6.根据权利要求5所述的一种感存算一体宏单元电路，其特征在于：
通过执行多个模拟信号存储器的读出操作以及单个模拟信号存储器的写入操作，实现加法操作。
7.根据权利要求5所述的一种感存算一体宏单元电路，其特征在于：
通过重复执行N次用于实现加法运算的读写操作，实现乘法运算。
8.根据权利要求4所述的一种感存算一体宏单元电路，其特征在于：
所述数字存算单元，包括若多个数字信号存储器，数字信号存储器同时具有存储和逻辑运算能力。
9.根据权利要求8所述的一种感存算一体宏单元电路，其特征在于：
所述的数字存算单元中设置有DREG BANK，所述DREG BANK包括多个数字信号存储器，以及数字读总线MSC RD DBUS和数字写总线MSC WR DBUS，所述的数字信号存储器为数字寄存器DREG；
在数字读总线MSC RD DBUS和数字写总线MSC WR DBUS之间并行连接有多个数字寄存器DREG，其中，数字寄存器DREG的输入端IN接在MSC WR DBUS 上，数字寄存器DREG的输出端OUT连接在MSC RD DBUS上，在数字读总线MSC RD DBUS和数字写总线MSC WR DBUS间还连接多路器MUX，数字寄存器DREG的数字读总线MSC RD DBUS还通过一开关SBUS连接到MSC总线上。
10.根据权利要求9所述的一种感存算一体宏单元电路，其特征在于：
在运算时，将数字读总线MSC RD DBUS读出的一个或多个数字寄存器DREG信号通过多路器MUX写回到数字写总线MSC WR DBUS上再写到相应的一个或多个数字寄存器DREG中实现运算。
11.根据权利要求8所述的一种感存算一体宏单元电路，其特征在于：
所述的数字信号存储器采用3T DRAM、或者6T DRAM、SRAM实现。
12.根据权利要求11所述的一种感存算一体宏单元电路，其特征在于：
所述的数字信号存储器采用Flash 实现，其中，进一步包括：
多个FLASH存储器，以及读写控制电路、读数据MSC RD DBUS总线以及多路器MUX，其中，FLASH存储器的输入端IN接在读写控制电路上，FLASH的输出端并行的连接到MSC RD DBUS上，且MSC RD DBUS与读写控制电路之间连接有多路器MUX。
13.根据权利要求1所述的一种感存算一体宏单元电路，其特征在于，还包括：
所述标签模块，连接到INS总线，其中存储有标识数据，基于所存储的标识数据确定当前感存算一体宏单元电路是否执行INS总线发送的指令。
14.根据权利要求13所述的一种感存算一体宏单元电路，其特征在于：
所述标签模块内部包括比较器电路，用来比较两个信号的大小，根据比较结果确定标签值。
15.根据权利要求1所述的一种感存算一体宏单元电路，其特征在于，
每个标签模块对应一个的处理单元，用于根据标签模块中的标识决定当前处理单元PE是否执行当前INS指令；当所述标签模块中的标识为第一值时，对应的处理单元执行当前INS指令，当所述标签模块中的标识为第二值时，对应的处理单元不执行当前INS指令。
16.根据权利要求1所述的一种感存算一体宏单元电路，其特征在于，还包括：
模拟信号算子运算单元，用于进行指数和乘方、开方运算。
17.一种电路系统，包括多个如权利要求1-16之一所述的感存算一体宏单元电路，其特征在于，所述的多个感存算一体宏单元电路布局为阵列结构。
18.一种数据处理方法，其特征在于，利用权利要求1-16之一所述的感存算一体宏单元电路对于感测到的信号在宏单元内部进行存算处理。
CN202311120533.9A 2023-09-01 2023-09-01 一种感存算一体宏单元电路、系统及数据处理方法 Active CN116881193B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311120533.9A CN116881193B (zh) 2023-09-01 2023-09-01 一种感存算一体宏单元电路、系统及数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311120533.9A CN116881193B (zh) 2023-09-01 2023-09-01 一种感存算一体宏单元电路、系统及数据处理方法

Publications (2)

Publication Number Publication Date
CN116881193A true CN116881193A (zh) 2023-10-13
CN116881193B CN116881193B (zh) 2023-11-10

Family

ID=88271745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311120533.9A Active CN116881193B (zh) 2023-09-01 2023-09-01 一种感存算一体宏单元电路、系统及数据处理方法

Country Status (1)

Country Link
CN (1) CN116881193B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114418080A (zh) * 2022-01-28 2022-04-29 Oppo广东移动通信有限公司 存算一体运算方法、忆阻器神经网络芯片及存储介质
US20220310136A1 (en) * 2021-03-29 2022-09-29 Changxin Memory Technologies, Inc. Data transmission circuit and method, and storage device
CN116156298A (zh) * 2023-04-11 2023-05-23 安徽医科大学 基于感存算一体化的内窥镜高清视频处理系统及方法
CN116226031A (zh) * 2023-02-21 2023-06-06 安徽医科大学 一种基于感存算一体化的芯片系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220310136A1 (en) * 2021-03-29 2022-09-29 Changxin Memory Technologies, Inc. Data transmission circuit and method, and storage device
CN114418080A (zh) * 2022-01-28 2022-04-29 Oppo广东移动通信有限公司 存算一体运算方法、忆阻器神经网络芯片及存储介质
CN116226031A (zh) * 2023-02-21 2023-06-06 安徽医科大学 一种基于感存算一体化的芯片系统
CN116156298A (zh) * 2023-04-11 2023-05-23 安徽医科大学 基于感存算一体化的内窥镜高清视频处理系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘胜: "超宽SIMD_DSP片上并行数据访存关键技术研究", 《中国博士学位论文全文数据辑》 *
蒋志迪: "可编程媒体处理系统芯片（SoC）结构设计研究", 中国博士学位论文全文数据辑 *

Also Published As

Publication number Publication date
CN116881193B (zh) 2023-11-10

Similar Documents

Publication Publication Date Title
CN110651468B (zh) 摄像装置及电子设备
TWI774147B (zh) 脈衝卷積神經網路演算法、積體電路及其製造方法、運算裝置及存儲介質
US7098437B2 (en) Semiconductor integrated circuit device having a plurality of photo detectors and processing elements
KR101848771B1 (ko) 3차원 이미지 센서 및 이를 포함하는 휴대용 장치
EP1570645B1 (en) Circuitry for image sensors with avalanche photodiodes
Abedin et al. Mr-pipa: An integrated multilevel rram (hfo x)-based processing-in-pixel accelerator
Song et al. A reconfigurable convolution-in-pixel cmos image sensor architecture
US20230238405A1 (en) Semiconductor device and electronic device
CN116881193B (zh) 一种感存算一体宏单元电路、系统及数据处理方法
CN112700810B (zh) 一种融合忆阻器的cmos感存算一体电路结构
US20220292332A1 (en) System
Földesy et al. Digital implementation of cellular sensor‐computers
Yin et al. A 0.5 V 34.4 uW 14.28 kfps 105dB smart image sensor with array-level analog signal processing
Sharda et al. Temporal frame filtering for autonomous driving using 3D-stacked global shutter CIS with IWO buffer memory and near-pixel compute
US20100231796A1 (en) Noise reduction for analog video applications
JP2019004358A (ja) 撮像装置および撮像システム
CN110971844A (zh) 一种扩展cmos图像传感器像素满阱容量的电路
CN213960195U (zh) 基于复合介质栅双晶体管光敏探测器的像素合并电路
CN116821047B (zh) 一种感存算一体化电路、系统及方法
CN112906444B (zh) 有源像素传感器阵列、显示面板、电子设备
CN220732925U (zh) 图像传感器像素单元、信号处理电路和电子设备
CN221409010U (zh) 传感器像素单元、信号处理电路和电子设备
JP2959279B2 (ja) 電荷積分型二次元アレイ光検出器用信号読み出し回路
CN220732924U (zh) 脉冲序列式传感器像素单元、脉冲序列式传感器及设备
CN115278100B (zh) 一种像素单元电路、信号采集装置和信号采集方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant