CN116821047B - 一种感存算一体化电路、系统及方法 - Google Patents

Abstract

本发明涉及一种感存算一体化电路、系统及方法，所述的电路包括：处理单元（PE）阵列，包括阵列布置的多个处理单元，每个处理单元内设置有第一MSC总线和第一INS总线，以及与第一MSC总线和第一INS总线相连的感存算模块，所述的感存算模块将感知单元、存算单元一体化的集成在一个处理单元内；第二MSC总线，与每个处理单元内的第一MSC总线相连，用于传递感知信号和运算信号；第二INS总线，与每个处理单元内的第一INS总线相连，用于向处理单元发出控制指令，用于控制处理单元的动作；各处理单元能够以SIMD的方式在单指令的控制下同时并行处理每个单元内的数据。

Description

一种感存算一体化电路、系统及方法

技术领域

本发明涉及计算机领域，尤其是涉及一种感存算一体化电路、系统及方法。

背景技术

传统冯诺依曼架构的计算机体系，将中央处理器，内存和外设分别独立开来，实现了处理、存储和控制功能进行分工协作，但是随着摩尔定律的发展和半导体芯片的不断进步，冯诺依曼架构出现瓶颈，首先处理器的运算速度已经很快，但是受到和内存之间的总线和内存工作速度的限制，进而限制了整体计算机性能，即常说的“内存墙”的问题。

传统的视觉类应用系统，如图1所示，图像传感器采集图像信息，光信号转化电荷，然后通过像素单元PIXEL将电荷转换电压，然后通过电压放大器AMP以及列级模拟数字转换器ADC，转换成数字信号，再经过图像信号处理单元ISP通道处理图像数据，最后需要经过特殊的视频接口DATA PHY输出给系统中的处理器，或者神经网络处理单元，对图像传感器采集的原始图像进行分析和处理，进而做出相应的控制和操作，整个过程路径复杂且很长，带来的很多不必要的延迟和功耗，如ADC模块，和视频接口DATA PHY，因为数据转换和数据搬运带来了能耗损失，因此，这些都是耗电较大的环节，另外，图像传感器芯片需要以特定频率如30帧或者60帧，甚至更高的帧率输出给后级芯片，每帧的数据存在大量的无用信息一同给到了处理器或者神经网络芯片，不仅数据带宽巨大，大大降低了系统的处理效率。

发明内容

为了解决上述技术问题，本发明提出一种视觉类像素级感存算一体化电路，实现多应用场景的像素级感存算一体芯片，无论2D和3D（距离）的像素感知，都可以在本设计中得以实现，本发明的视觉类像素级感存算一体芯片结构，可以根据应用需求部署一定规模的处理宏单元阵列，在阵列中所有处理宏单元可以同时并行的执行感存算操作，即单指令多数据处理模式（SIMD），极大的增加了运算能力。

本发明的技术方案为：一种感存算一体化电路，包括：

处理单元（PE）阵列，包括阵列布置的多个处理单元，每个处理单元内设置有第一MSC总线和第一INS总线，以及与第一MSC总线和第一INS总线相连的感存算模块，所述的感存算模块将感知单元、存算单元一体化的集成在一个处理单元内；

第二MSC总线，与每个处理单元内的第一MSC总线相连，用于传递感知信号和运算信号；

第二INS总线，与每个处理单元内的第一INS总线相连，用于向处理单元发出控制指令，用于控制处理单元的动作；

各处理单元能够以SIMD的方式在单指令的控制下同时并行处理每个单元内的数据。

进一步的，外围模拟模块，连接到第二MSC总线，用于处理模拟信号并进行模数转换或模拟信号输入输出；

外围数字模块，包括INS总线控制模块和MCU模块，用于下发指令到INS总线。

进一步的，所述的INS总线控制模块，用于向INS总线发送控制指令；

所述的INS总线控制模块内包括有包括信号输入端口、指令选择单元、指令存储单元、指令译码单元、指令输出单元以及信号输出端口；

所述信号输入端口用于接收INS控制指令；

所述的指令选择单元用于对指令的来源进行判断，选择对应的处理方式，并输出经过译码单元译码后的指令字符串。

进一步的，在判断为需要通过查询指令存储单元获取指令字符串的情况下，所述的INS总线控制模块接收到控制指令后，通过查询指令存储单元，获取该控制指令对应的具体指令字符串。

进一步的，上述控制指令为经由外部系统给入，或者是片上的处理器发送到INS总线控制单元的。

进一步的，在处理单元阵列水平方向和垂直方向分别设置有行控制模块和列控制模块，行控制模块用于对处理单元阵列进行行选择和相关控制，相应的列模式控制模块用于对处理单元阵列进行列选择和相关控制，以及数据读出选择。

进一步的，所述第二MSC总线包括有列级MSC总线，每个处理单元与列级MSC总线通过第一开关连接，所述的第一开关用于控制从PE读取数据。

进一步的，处理单元内部的第一MSC总线，以及PE外部芯片上的第二MSC总线、以及行控制模块、列控制模块构成了MSC总线网络，MSC总线网络能够接收芯片外部的数据信号，或将芯片内处理单元的数据信号读出到芯片外部。

进一步的，接口模块，用于模拟或数字信号的输入与输出，所述的接口模块为输入、输出分开的两个独立的端口，或者为同时具有输入输出功能的端口；其中，

在模拟信号模式下，输出时，运算单元运算后的模拟信号直接通过第二MSC总线输出，输入时，将外部模拟信号输入到处理单元阵列中；

在数字信号模式下，输出时，将处理单元中的数字存储器的内容通过第二MSC总线输出到芯片外部，输入时，通过第二MSC总线将数字信息内容输入到处理单元中的数字存储器。

进一步的，将多个处理单元中的第一MSC总线相连接到一起输出，实现多个处理单元中第一MSC总线信号的求和操作再输出。

进一步的，所述的MSC总线网络电路中还包括与列控制模块相连的数字输出单元组，该数字输出单元组包括多个比较器，所述比较器的一端引脚接到统一的参考电压，另一端引脚接到第二MSC总线，从而通过将MSC总线中的数据与比较器相比较，比较器最终输出的多个数字值，作为最终数字输出单元组输出的一组数字值。

进一步的，列控制模块和行控制模块还能设置为地址输出模式，用于根据预定处理单元内存储的数值，输出该处理单元对应的地址，

进一步的，所述的感知单元为视觉感知单元、触觉感知单元、压力感知单元、气压感知单元或速度/加速度感知单元，感知单元用于感知和采集数据；

其中，所述视觉感知单元包括2D感知单元、3D感知单元或混合感知单元。

进一步的，所述的感知单元采用第一工艺加工在第一基材上，存算单元采用第二工艺加工在第二基材上，通过三维堆叠方式将第一基材和第二基材堆叠在一起形成一个整体的感存算模块。

进一步的，所述的存算模块包括模拟存算单元与数字存算单元，用于实现模拟和数字运算； 模拟存算单元与数字存算单元分别连接到上述第一MSC总线实现运算功能；

进一步的，所述处理单元中的存算模块包括：

模拟存算单元，包括多个模拟信号存储器，模拟信号存储器同时作为模拟运算单元，模拟信号能够通过模拟信号存储器进行加减乘除运算；

数字存算单元，包括若多个数字信号存储器，数字信号存储器具有存储和逻辑运算能力。

进一步的，所述模拟存算单元、数字存算单元与第一MSC总线；

其中，对于运算单元的运算结果，存储在上述模拟存算单元或数字存算单元中，通过行控制模块和列控制模块进行选通读出到第一MSC总线，并最终通过接口模块输出。

进一步的，所述处理单元还包括：

模拟信号算子运算单元，用于进行指数和乘方、开方运算。

进一步的，标签模块，每个标签模块对应一个处理单元，用于根据标签模块中的标识决定各处理单元阵列中各处理单元PE是否执行当前INS指令；当所述标签模块中的标识为第一值时，对应的处理单元执行当前INS指令，当所述标签模块中的标识为第二值时，对应的处理单元不执行当前INS指令。

进一步的，所述外围模拟模块中集成有时钟锁相环电路PLL、多种传感器、模数转换器和数模转换器；其中，

时钟锁相环电路PLL用于提供多种时钟；

数模转换器和模数转换器与第二MSC总线相连，用于将芯片的模拟信号转换成数字信号输出到外围数字模块，或通过接口电路输出到外部；

模数转换器将需要处理单元的外部提供运算的模拟信号，通过模数转换后转换为数字信号外部。

进一步的，INS总线控制模块，负责将外部系统发送的指令转换成内部控制信号，并控制感存算模块操作，MCU模块用于直接下发指令给感存算模块。

根据本发明的另一个方面，还提出一种感存算一体化系统，包括前述的感存算一体化电路，还包括：

存储器，以及

处理器，所述处理器用于与所述的感存算一体化电路进行交互。

根据本发明的另一个方面，还提出一种利用前述感存算一体化电路实现数据处理的方法，包括如下步骤：

感知单元采集信号数据；

通过处理单元阵列中的存算对上述信号数据进行基于SIMD指令的运算；

将运算后的数据直接存储在处理单元阵列中的存算单元中。

进一步的，所述通过处理单元阵列中的存算单元对上述信号数据进行基于SIMD指令的运算，在执行指令之前，读取标签模块中的标识，基于所述标签模块中的标识，控制处理单元阵列中的各对应存算单元是否进行运算处理。

根据本发明的另一个方面，还提出一种感存算一体芯片，其上包括有前述的电路。

本发明的感存算一体电路解决了传感器数据处理的效率问题，既打破了“传感墙”，也打破了“内存墙”，将视觉传感和数据存储、计算结合一体，具有边缘处理能力，应用场景灵活，可在线改变应用功能。

在本发明的感存算一体电路中，感知数据直接进行运算存储，可以进行普通的计算机视觉（Computer Vision / CV）算法预算，也可以进行卷积神经网络运算，可以作为通用处理的架构，具有低延迟、低功耗的优势。

通过集成APD或者SPAD等器件和相应读出电路可以实现距离信息的3D检测和运算，尤其是能够满足复杂场景下，满足对图像或采集数据大带宽的要求，通过感知单元、存算模块的一体设计，以及MSC总线、INS总线的控制和配合，实现低延迟，高效率，运算速度快，处理灵活等优势。

附图说明

图1：传统的视觉类应用系统原理图；

图2：本发明的一种感存算一体化电路总体示意图；

图3：本发明的一种感存算一体化电路详细示意图；

图4：INS总线控制模块；

图5：MSC总线网络和行列控制模式示意图；

图6：选定多个PE中MSC总线信号进行了“求和”操作再输出示意图；

图7：MSC总线网络电路中的数字输出单元组示意图；

图8：输出PE单元地址模式示意图；

图9：本发明的一种输出电压信号的2D感知单元电路示意图；

图10：本发明的一种输出电流信号的2D感知单元电路示意图；

图11：本发明的一种3D感知单元电路示意图；

图12：本发明的又一3D感知单元电路示意图；

图13：本发明的一种混合感知单元电路示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅为本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域的普通技术人员在不付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。

根据本发明的一个实施例，提出一种感存算一体化电路，如图2-3所示：包括：

处理单元（PE）阵列1，包括阵列布置的多个处理单元（PE）101，其中每个处理单元101内设置有第一感存算MSC总线和第一全局指令INS总线，以下分别简称第一MSC总线、第一INS总线，以及与第一MSC总线和第一INS总线相连的感存算模块，所述的感存算模块将感知单元、存算单元一体化的集成在一个处理单元内；

第二MSC总线，与每个处理单元内的第一MSC总线相连，用于传递感知信号和运算信号，如图2中的粗虚线所示；

第二INS总线，与每个处理单元内的第一INS总线相连，用于向处理单元发出控制指令，用于控制处理单元的动作，如图2中的粗实线所示；

各处理单元能够以SIMD的方式在单指令的控制下同时并行处理每个处理单元内的数据。

进一步的，包括外围模拟模块3，连接到第二MSC总线，用于处理模拟信号并进行模数转换或模拟信号输入输出；以及包括，

外围数字模块4，包括INS总线控制模块41和MCU模块，用于下发指令到INS总线。

进一步的，所述的INS总线控制模块，用于向INS总线发送控制指令；

如图2所示,中间是处理单元（PE）阵列1，下或简称PE阵列，由多个PE以阵列形式布局排列在一起，例如512*512规模，或者1024*1024，每个PE都包括感存算基本单元， PE阵列中的所有PE可以同时并行处理每个单元内的数据，即单指令多数据模式即SIMD。

在本发明的技术方案中，PE中存在两条总线，一条是第一MSC总线，用来传递感知信号和运算信号，所述的运算信号为电流信号或者电压信号，另一条是第一INS总线，用于控制PE所有功能模块的实现和动作。在PE的外部也存在两条总线，即第二MSC总线和第二INS总线，其中，第二MSC总线与每个处理单元内的第一MSC总线相连，用于传递感知信号和运算信号；第二INS总线，与每个处理单元内的第一INS总线相连，用于向处理单元发出控制指令，用于控制处理单元的动作；

PE阵列中，所有PE中的第一INS总线通过PE阵列外部的第二INS总线与INS总线控制模块41连接在一起，因此对INS总线控制模块41发出的指令控制，所有PE会执行同样的动作；可选的，也可以通过控制，使得部分PE同时工作，其他PE不工作，从而提高效率；例如，可选的，可以在PE中设置有标签模块，标签模块中存储有标识，根据该标识的值来决定当前PE是否执行当前INS指令。可见，本发明的感存算一体电路，在处理信号和数据时，无论是感知信号的采集，还是采集之后对数据的处理上，执行效率非常高，尤其适用于前面感知到运算高数据带宽的场景，能够实现非常低的延迟，且实现了SIMD并行处理。

如图4所示，所述的INS总线控制模块41内包括有包括信号输入端口411、指令选择单元412、指令存储单元413、指令译码单元414、指令输出单元415以及信号输出端口416；

所述信号输入端口用于接收INS控制指令；

所述的指令选择单元用于对指令的来源进行判断，选择对应的处理方式，并输出经过译码单元译码后的指令字符串。

进一步的，在判断为需要通过查询指令存储单元获取指令字符串的情况下，所述的INS总线控制模块接收到控制指令后，通过查询指令存储单元，获取该控制指令对应的具体指令字符串；在判断为不需要查询指令存储单元即可直接执行的指令字符串的情况下，上述指令字符串通常较为简单，可以直接执行，不需要再查询指令存储单元获取更具体、复杂的指令。

进一步的，上述控制指令为经由外部系统给入，或者是片上的处理器发送到INS总线控制单元的。

具体的，INS指令控制器41，可以将指令存储在芯片内部memory中，由INS调出控制PE阵列。在一个实施例中，上述指令存储单元413是可以是在芯片片内内嵌一定容量的指令存储器，在这种情况下，指令经过指令译码器（decoder）414生成对应指令，再经过INS控制指令输出单元415按照一定的时序写入到PE阵列中的第一INS总线，在阵列中每行PE共用同一个INS总线，每行PE用不同的缓冲器buffer 417驱动，但是每个buffer的源头都是同一个信号和控制。

在一个实施例中，指令选择单元可以实现为选择器电路，包括两个输入端和一个输出端，其中一个端口连接到信号输入端口，另一个输入端连接到指令存储单元413的输出口，通过指令选择单元412，选择其中一个输入端的指令作为输出；

在一个实施例中，所述指令的来源可以是芯片接口，通过芯片外部系统给入指令到芯片接口，所述芯片接口再将指令传输到IN总线控制单元41，在一个实施例中，所述的芯片接口如SPI接口或者IIC接口，以及其他的通用接口。

通过设计第一INS总线，采用INS总线连接到PE阵列中的每个处理单元，当INS总线上发送指令时，每个处理单元都能接收到上述指令，并同时开始执行处理运算，因此，通过上述方式，本发明实现SIMD方式，PE使用同一个全局指令。

进一步参考图5，是MSC总线网络和行列控制模式示意图，在所述的在处理单元阵列水平方向和垂直方向分别设置有行控制模块（ROW CTRL）和列控制模块（COLUMN CTRL），行控制模块5用于对处理单元阵列进行行选择和相关控制，相应的列控制模块6用于对处理单元阵列进行列选择和相关控制，以及数据读出选择。

进一步的，所述第二MSC总线包括有列级MSC总线，每个处理单元与列级MSC总线通过第一开关连接，所述的第一开关用于控制从PE读取数据。

具体的，如上图5所示，第二MSC总线包括有列级总线，每个PE内部的第一MSC总线通过开关（图中未示出）控制接入到PE外部的列级MSC总线61，用于将PE中的数据读出到芯片外部；上述的PE内部的第一MSC总线，以及PE外部芯片上的第二MSC总线、以及行控制模块5、列控制模块6构成了MSC总线网络，MSC总线网络可以接收芯片外部的数据信号，也可以通过MSC总线网络将芯片中PE的数据信号读出到芯片外部。

根据一个实施例，上述MSC总线网络可以接收芯片外部的信号，信号输入过程为：

步骤S11，将行地址发送到行控制模块5，行控制模块对行地址译码，根据译码后的地址选择某一行PE，使得该行PE可以对列级MSC总线进行访问；

步骤S12，将列地址发送到列控制模块6，列控制模块6对列地址进行译码，根据译码后的列地址选中对应的PE单元，将芯片模拟输入端口（analog input）的模拟信号通过MSC总线（此处MSC总线涵盖第一MSC总线、第二MSC总线）写入到指定地址的PE中预定的寄存器或者操作单元。

根据另一个实施例，上述MSC总线网络可以通过MSC总线网络将芯片中PE的数据信号读出到芯片外部，具体包括如下步骤：

步骤S21，将行地址发送到行控制模块5，行控制模块5对行地址译码，根据译码后的地址选择某一行PE，使得该行PE可以对列级MSC总线61进行访问；

步骤S22，将列地址发送到列控制模块6，列控制模块6对列地址进行译码，根据译码后的列地址选中对应的一个或多个PE单元，使得该行PE可以对列级MSC总线进行访问；

步骤S23，通过控制时序，将PE单元的第一MSC总线中的（数据）信号读出到模拟输出端口（Analog data output），进而读出到芯片外部。

从而，上述的MSC总线网络电路实现了数据的写入或读出，但是跟输入信号不同的地方在于，读出模式根据应用场景的算法不同，通过将多个处理单元中的第一MSC总线相连接到一起输出，实现多个处理单元中第一MSC总线信号的求和操作再输出。在一个实施例中，例如可以多行、多列同时选中，即，可以将多个PE中的MSC总线接到一起再输出，这样选定多个PE中MSC总线信号进行了“求和”操作再输出，增加了存算跨空间的预算能力。如图6所示，第一区域601为10*10的PE阵列，其中，由于只对部分区域感兴趣，希望计算该区域信号的加和，因此，通过行列控制模块，选通其中的第二区域602，从第3行第3列，到第5行第6列，即3*4的PE单元，然后同时读取到第一MSC总线上，实现加和计算，并通过第二MSC总线，将上述计算结果输出。

进一步的，还包括接口模块7，用于模拟或数字信号的输入与输出，其中，

在模拟信号模式下，运算单元运算后的模拟信号直接通过第二MSC总线输出，或者将外部模拟信号输入到处理单元阵列中；

在数字信号模式下，可以将处理单元中的数字存储器的内容通过第二MSC总线输出到芯片外部。

在一个实施例中，上述的MSC总线网络电路结构，实现数字信号输出，数字信号输出和模拟信号输出类似，都是首先通过行控制模块5和列控制模块6输出PE地址，选择对应的PE单元，但是数字信号输出模式下，本发明的MSC总线网络电路结构可以同时输出同一行相邻8个PE中的DREG信号，因此在给入行地址的后，接下来给入的列地址是相邻列地址的首地址，然后根据首地址自动计算出其他相邻列的地址；

进一步的，本发明MSC总线网络电路中还包括与列控制模块6相连的数字输出单元组，如图7所示，该数字输出单元组包括多个比较器，所述比较器的一端引脚接到统一的参考电压VREF，另一端引脚接到第二MSC总线，从而通过将MSC总线中的数据与比较器相比较，比较器最终输出的多个数字值，作为最终数字输出单元组输出的一组数字值；

在一个可选实施例中，在列控制模块中，设计有8个比较器，即DIG1,DIG2……，DEG7等，第二MSC总线通过列控制模块6接入比较器一端，例如正端，比较器另一端（负端）接参考电压VREF，参考电压VREF用于识别第二MSC总线上的数字信号，可选的，设计在VDD/2即可。比较器输出就是作为输出到芯片外部的数字信号，VDD为比较器的电源供电电压。

进一步的，列控制模块6和行控制模块5还具有地址输出功能，能设置为地址输出模式，用于根据预定PE单元的值，输出该PE单元对应的地址；例如，在本发明的一个实施例中，除了上述的模拟、数字信号的输入输出过程，行列控制模块和行控制模块还设计有一个地址输出模式，其可以根据PE中的某个寄存器的值，将该PE的地址输出到芯片外部，例如PE中标签TAG的值作为依据，如果TAG是“1”，就将该PE的地址通过8位数据端口将其地址输出。如图8，10*10的PE阵列中，黑框PE中的TAG值是“1”，阵列其他的PE中的TAG值是“0”，这样就将这两个黑框所示PE的所在地址（1，1）和（9，9），输出到芯片外部，此时数字端口输出的就不是PE中的寄存器，而是PE的地址。根据一个可选的方式，在输出地址时，可以通过遍历PE阵列中的PE处理单元实现，例如，通过判断该PE处理单元的值是否为“1”，如果是，则输出该PE处理单元的地址；也可以采用其他可选的方式实现，本发明不作限制。

根据另一个可选的方式，地址输出通过如下过程实现：行控制模块5和列控制模块6中分别包括行、列译码器，可以接收标签模块TAG的输出，行译码器接收当前行的TAG输出（每个PE的TAG类似Open drain的输出到一个TAG总线上，然后接到译码器中），列译码器接收当前列的TAG输出。地址从低到高，对应优先级从低到高，当行地址较高的TAG输出到译码器中，比其地址低的TAG所在行就被屏蔽。因此整个阵列中，TAG为1的最高行列地址最优先输出，输出后，通过指令将此PE输出的TAG清零，然后再找下一个TAG（下一个最高），如此反复，直到最低的输出完毕，从而输出了所有的TAG为1的PE的地址。

本发明中，在每个PE上设置有感存算模块，所述感存算模块包括感知单元、存算单元，即在同一PE中同时集成感、存、算单元三种功能单元；所述的存算单元包括模拟存算单元与数字存算单元，用于实现模拟和数字运算；模拟存算单元与数字存算单元分别连接到上述第一MSC总线实现运算功能,通过将感知模块感知的数据通过第一MSC总线快速传递到存算模块，能够实现高效、快速的运算功能；具体的，存算模块中：

模拟存算单元，包括多个模拟信号存储器，模拟信号存储器同时作为模拟运算单元，模拟信号能够通过模拟信号存储器进行加减乘除运算；

数字存算单元，包括若多个数字信号存储器，数字信号存储器具有存储和逻辑运算能力。

在一个实施例，如上所述，模拟存算单元包括若干个模拟信号存储器，模拟信号存储器本身也是运算单元，信号可以通过模拟存储器进行加减乘除运算，例如，可以设计5~8个寄存器，可以满足基本的运算需求。同样，数字存算单元包括若干个数字信号存储器，数字信号存储器除了存储数字信号外，还可以进行逻辑运算。

进一步的，所述的PE还包括模拟信号算子运算单元（AOP），除了通过模拟寄存器进行常规运算，根据应用场景特殊性，可以单独设计数学算子实现除了加减乘除之外非常规数学运算，例如平方运算，log运算，平方根运算等。

进一步的，所述的PE还包括标签（TAG）模块，标签模块中存储有标识，输出该标识作为判断信号，以控制当前PE是否执行当前SIMD的指令，比如当TAG输出状态为ON，则当前PE不执行当前的这条指令，反之当TAG输出状态为OFF，则当前PE执行当前的这条指令。

进一步的，所述的PE还包括PE中还可以包括相邻PE通信单元（Adjacent IF），作为相邻PE之间的通信接口，如图3中Adjacent IF单元，与当前PE周围4个或8个PE通信连接，可以将围绕当前PE周围4个或8个PE的信息传递到当前PE。

进一步的，上述PE还包括IO接口，连接到第一MSC总线和第一INS总线。

上述各模块单元通过感存算MSC总线连接在一起，模拟信号可以是电压，也可以是电流信号。除了MSC总线，PE中还设计全局指令总线INS 总线，对PE中每个功能模块进行整体操作控制，由于每个PE的INS BUS是由相同的全局信号控制，所以通过这种方式实现了SIMD。

进一步的，上述的感存算一体化电路可以制作在芯片中，从而形成单独的芯片，如图2所示；该芯片可以进一步与其他外部处理器、存储器、通信总线等连接，构成数据处理系统；

所述的模拟存算单元和数字存算单元与第一MSC总线、第一INS总线相连。其中，对于运算单元的运算结果，存储在上述模拟存算单元或数字存算单元中，通过行控制模块和列控制模块进行选通读出，最终通过接口模块输出。

可见，为本发明的感存算一体电路，兼有模拟感存算，数字感存算，以及模拟和数字融合存算，并可实现SIMD的执行方式，非常适合近感知运算单元，更加适合边缘感知运算应用，比如IOT，极低延迟场景等。

进一步的，本发明中，PE中的感知单元SU包括传统的CIS(CMOS Image Sensor)中的Pixel，也可以是感知3D信息的TOF pixel。感知单元SU用于感知信号，例如光信号、触摸信号距离信号等，本实施例中，感知信号既可以来自于PE内部感知单元SU，也可以来自于芯片外部输入，如果这个感知信号可以来自芯片外部输入，可以通过从输入接口输入模拟信号到PE中的模拟寄存器，模拟信号可以是电压也可以是电流。可选的，也可以通过外部输入数字信号到PE中的数字寄存器进行运算和存储。

进一步的，所述的感知单元可以为视觉感知单元、触觉感知单元、压力感知单元、气压感知单元或速度/加速度感知单元，感知单元用于感知和采集数据；

其中，所述视觉感知单元包括2D感知单元、3D感知单元以及混合感知单元。

具体的，对于视觉的感知单元，分为2D和3D；上述的感知单元也可以是事件传感器（EVS/DVS），可以使用传统的CIS中的像素单元，输出的信号可以输出电压信号，也可以改变读出电路使之输出电流信号，对于3D的像素检测，可以使用APD器件来检测，也可以使用SPAD器件来检测，或者可以利用忆阻器RRAM等器件检测光信号，也称作ORRAM，既可以感知光信号，也可以存储数据。除了光学感知，上述的感知单元还可以拓展到触觉感知单元，或者其他MEMS，感知气压，压力，加速度等等。

根据本发明的一个实施例，如图9所示，为一个2D视觉的感知单元的示意图，用于输出光感知的电压信号，其包括用于采集光信号的PD传感单元，PD传感单元后端连接有数据读出电路，所示的PD传感单元为光电二极管，用于根据光度的强弱将光信号转换成相应的电信号，所述的光电二极管例如可以是：例如Si光电二极管、PIN Si光电二极管、肖特基势垒光电二极管、HgCdTe光伏二极管。

其中，PD传感单元的一端连接到一个MOS管M1的漏极，MOS管M1的栅极作为TX信号发送端，MOS管M1的源极连接到一个FD保持电容的一端，FD保持电容的另一端与PD传感单元的另一端相连并且接地；FD保持电容的一端还连接到MOS管M2的源，以及MOS管M3的栅极，M2的栅极作为RX接收信号的控制端，MOS管M2的源极连接到RST复位信号端，从而根据RX接收信号对FD保持电容进行复位；M3的漏极连接到供电电源VDD，然后MOS管M3的源极连接到一个MOS管M4，该MOS管M4作为信号选择开关，将M3输出的信号选择输出，输出电压形式的信号Vpix；

参见图10，为另一2D感知单元电路示意图，该2D视觉的感知单元可以输出电流信号，例如，PD传感单元的一端分别连接到MOS管M5的源极以及MOS管M6的栅极，M5的栅极接RX信号，漏极接RST信号，用于对PD传感单元进行复位，光电二极管接收到光信号后，输出电压信号改变M6的栅极电压，从而使得M6输出变化的电流信号ipix，该输出电流信号通过MOS管M7选通输出；

参见图11，为3D感知单元电路示意图，上述图10中的2D视觉的感知单元也可以为雪崩光电二极管（APD)，实现3D 信号采集，如图11所示，在该实施例中，雪崩光电二极管APD的一端需要连接电流偏置单元bias，用于给雪崩光电二极管提供电流，光电采集的电流信号ipix通过MOS管M7选择输出。

参见图12，为本发明的又一3D感知单元电路示意图，在该实施例中，单光子雪崩光电二极管SAPD的一端需要连接限流单元Qenching，用于提供和限制单光子雪崩光电二极管SPAD的电流，光电采集的电流信号通过反相器输出到PE。

参见图13，为2D/3D混合感知电路示意图，在视觉的感知单元混合集成2D和3D传感器，将2D像素和3D像素混合使用在感知单元中，实现混合感知，如图12所示，其中，上部为采用了SPAD的3D感知电路，下部为采用的PD的2D感知电路，3D感知电路通过信号输出选择MOS管M 10栅极的S_3D选择输出3D信号，2D感知电路通过信号输出选择MOS管M 9栅极的S_2D选择输出3D信号，最终经过MOS管M11输出电流信号。

进一步的，所述的感知单元采用第一工艺加工在第一基材上，存算单元采用第二工艺加工在第二基材上，通过三维堆叠方式将第一基材和第二基材堆叠在一起形成一个整体的感存算模块。

前述的感知单元和存算通常采用不同的工艺实现，但是由于工艺不兼容，在此实施例中，本发明提出考虑三维堆叠（stacking）方式，感知单元加工在单独晶圆，PE中的存算电路等加工在普通MOS加工工艺的晶圆，然后再将两者stacking在一起，完成整体的功能。

本发明在感知模块采集到模拟的感知信号之后，对模拟信号直接运算，减少ADC环节，具有数据带宽大，延迟低的优点，省去数据转换和搬运的大量功耗，避免了冯诺依曼结构在感知类神经网络处理最大的缺陷。尤其是在感存算领域，神经网络算法，在前面几层网络数据带宽非常大，在传统的神经网络算法都会受到限制，本发明的感存算一体结构因为感知和运算集成在同一个PE中，有效解决了这个带宽的问题。

进一步的，根据本发明的实施例，所述的电路中还包括外围模拟模块3，外围模拟模块3中集成有时钟锁相环电路PLL、多种传感器、模数转换器和数模转换器等；其中，

时钟锁相环电路PLL用于提供多种时钟；

所述的传感器例如可以是温度传感器，电压传感器等，能够测量输出模拟信号；

进一步的，所述数模转换器（DAC）和模数转换器（ADC）与第二MSC总线相连，用于将芯片的模拟信号转换成数字信号输出到外围数字模块，或通过接口电路输出到外部系统中的MCU等。

进一步的，数模转换器是将需要外部提供运算的模拟信号，通过数字系统给到芯片中。

进一步的，所述的外围模拟模块还为芯片PE阵列中各模拟单元提供必要的模拟环境，比如预定的电压、电流。所述预定的电压例如是高压（高于电源电压，如3.3V），或负压等。通过设置模数转换器增加了芯片的灵活性，模拟输出对现有数字系统不够友好，本发明可以使用片上设计的模数转换器转换成数字系统再送到系统SOC。同样的，外界数字系统如果需要输入信号给PE进行模拟运算，可以使用片上数模转换器进行信号之间的转换，大大提高灵活度。

进一步的 外围数字模块4中包括前述的INS总线控制模块，以及MCU、配置模块，INS总线控制模块如前所述，负责将外部系统发送的指令转换成内部控制信号，并控制感存算模块操作，MCU模块是微处理器模块，用于直接下发指令给感存算模块。

可选的，上述MCU模块是微处理器模块，可用于直接下发指令给芯片控制感存算芯片功能等操作，无需外部系统发送指令，芯片可以自主完成应用功能。

可选的，外围数字模块4中还可以设计合适的MCU模块，例如采用ARM结构的M0或M4，甚至更高级的A系列；用于进一步数据处理和对外围系统的控制，也提供了处理的灵活性。可选的，也可以是RISC-V结构MCU，通过增加嵌入MCU核，可以增加感存算芯片的灵活度和单芯片方案的能力，MCU可以控制INS，可以与片外系统通信。

进一步的，上述感存算一体化的电路外围还可以集成外部接口模块，例如IIC，SPI或者QSPI接口，用于跟外部系统进行通讯。

在一个实施例中，上述电路还包括标签模块，每个标签模块对应一个处理单元，用于根据标签模块中的标识决定各处理单元阵列中各处理单元PE是否执行当前INS指令；当所述标签模块中的标识为第一值（例如为1）时，对应的处理单元执行当前INS指令，当所述标签模块中的标识为第二值时（例如为0），对应的处理单元不执行当前INS指令。

在一个实施例中，PE还可包括接口模块，用于模拟或数字信号的输入与输出，所述的接口模块为输入、输出分开的两个独立的端口，或者为同时具有输入输出功能的端口；其中，

在模拟信号模式下，输出时，运算单元运算后的模拟信号直接通过第二MSC总线输出，输入时，将外部模拟信号输入到处理单元阵列中；

在数字信号模式下，输出时，将处理单元中的数字存储器的内容通过第二MSC总线输出到芯片外部，输入时，通过第二MSC总线将数字信息内容输入到处理单元中的数字存储器。

根据本发明的另一个方面，还提出一种感存算一体化系统，包括前述的感存算一体化电路，还包括：

存储器，以及

处理器，所述处理器用于与所述的感存算一体化电路进行交互。

根据本发明的另一个方面，还提出一种利用前述感存算一体化电路实现数据处理的方法，包括如下步骤：

感知单元采集信号数据；

通过处理单元阵列中的存算单元对上述信号数据进行基于SIMD指令的运算；

将运算后的数据直接存储在处理单元阵列中的存算单元中。

进一步的，所述通过处理单元阵列中的存算单元对上述信号数据进行基于SIMD指令的运算，在执行指令之前，读取标签模块中的标识，基于所述标签模块中的标识，控制处理单元阵列中的各对应存算单元是否进行运算处理。

根据本发明的另一个方面，还提出一种感存算一体芯片，其上包括有前述的电路。

本发明的感存算一体电路、系统或芯片能够应用用于实时的视觉图像目标边缘检测、目标追踪、计数，超高速目标识别、零延迟HDR，视觉里程计、特征点提取，深度图，光流、运动估计等场景中，具有低延迟、高效率的特点，

通过集成APD或者SPAD等器件和相应读出电路可以实现距离信息的3D检测和运算，尤其是能够满足复杂场景下，满足对图像或采集数据大带宽的要求，通过感知单元、存算模块的一体设计，以及MSC总线、INS总线的控制和配合，实现低延迟，高效率，运算速度快，处理灵活等优势。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (25)

1.一种感存算一体化电路，其特征在于，包括：

处理单元阵列，包括阵列布置的多个处理单元，每个处理单元内设置有第一MSC总线和第一INS总线；

以及与第一MSC总线和第一INS总线相连的感存算模块，所述的感存算模块将感知单元、存算单元一体化的集成在一个处理单元内；

第二MSC总线，与每个处理单元内的第一MSC总线相连，用于传递感知信号和运算信号；

第二INS总线，与每个处理单元内的第一INS总线相连，用于向处理单元发出控制指令，用于控制处理单元的动作；

各处理单元能够以SIMD的方式在单指令的控制下同时并行处理每个单元内的数据。

2.根据权利要求1所述的一种感存算一体化电路，其特征在于，还包括：

外围模拟模块，连接到第二MSC总线，用于处理模拟信号并进行模数转换或模拟信号输入输出；

外围数字模块，包括INS总线控制模块和MCU模块，用于下发指令到INS总线。

3.根据权利要求2所述的一种感存算一体化电路，其特征在于：

所述的INS总线控制模块，用于向INS总线发送控制指令；

所述的INS总线控制模块内包括有包括信号输入端口、指令选择单元、指令存储单元、指令译码单元、指令输出单元以及信号输出端口；

所述信号输入端口用于接收INS控制指令；

所述的指令选择单元用于对指令的来源进行判断，选择对应的处理方式，并输出经过译码单元译码后的指令字符串。

4.根据权利要求3所述的一种感存算一体化电路，其特征在于：

在判断为需要通过查询指令存储单元获取指令字符串的情况下，所述的INS总线控制模块接收到控制指令后，通过查询指令存储单元，获取该控制指令对应的具体指令字符串。

5.根据权利要求2所述的一种感存算一体化电路，其特征在于，上述控制指令为经由外部系统给入，或者是片上的处理器发送到INS总线控制单元的。

6.根据权利要求1所述的一种感存算一体化电路，其特征在于，

在处理单元阵列水平方向和垂直方向分别设置有行控制模块和列控制模块，行控制模块用于对处理单元阵列进行行选择和相关控制，相应的列模式控制模块用于对处理单元阵列进行列选择和相关控制，以及数据读出选择。

7.根据权利要求6所述的一种感存算一体化电路，其特征在于，

所述第二MSC总线包括有列级MSC总线，每个处理单元与列级MSC总线通过第一开关连接，所述的第一开关用于控制从PE读取数据。

8.根据权利要求6所述的一种感存算一体化电路，其特征在于，

处理单元内部的第一MSC总线，以及PE外部芯片上的第二MSC总线、以及行控制模块、列控制模块构成了MSC总线网络，MSC总线网络能够接收芯片外部的数据信号，或将芯片内处理单元的数据信号读出到芯片外部。

9.根据权利要求6所述的一种感存算一体化电路，其特征在于，处理单元内还包括：

接口模块，用于模拟或数字信号的输入与输出，所述的接口模块为输入、输出分开的两个独立的端口，或者为同时具有输入输出功能的端口；其中，

在模拟信号模式下，输出时，运算单元运算后的模拟信号直接通过第二MSC总线输出，输入时，将外部模拟信号输入到处理单元阵列中；

在数字信号模式下，输出时，将处理单元中的数字存储器的内容通过第二MSC总线输出到芯片外部，输入时，通过第二MSC总线将数字信息内容输入到处理单元中的数字存储器。

10.根据权利要求9所述的一种感存算一体化电路，其特征在于，

将多个处理单元中的第一MSC总线相连接到一起输出，实现多个处理单元中第一MSC总线信号的求和操作再输出。

11.根据权利要求8所述的一种感存算一体化电路，其特征在于，

所述的MSC总线网络电路中还包括与列控制模块相连的数字输出单元组，该数字输出单元组包括多个比较器，所述比较器的一端引脚接到统一的参考电压，另一端引脚接到第二MSC总线，从而通过将第二MSC总线中的数据与比较器相比较，比较器最终输出的多个数字值，作为最终数字输出单元组输出的一组数字值。

12.根据权利要求8所述的一种感存算一体化电路，其特征在于，

进一步的，列控制模块和行控制模块还能设置为地址输出模式，用于根据预定处理单元内存储的数值，输出该处理单元对应的地址。

13.根据权利要求1所述的一种感存算一体化电路，其特征在于：

所述的感知单元为视觉感知单元、触觉感知单元、压力感知单元、气压感知单元或速度/加速度感知单元，感知单元用于感知和采集数据；

其中，所述视觉感知单元包括2D感知单元、3D感知单元或混合感知单元。

14.根据权利要求1所述的一种感存算一体化电路，其特征在于：

所述的感知单元采用第一工艺加工在第一基材上，存算单元采用第二工艺加工在第二基材上，通过三维堆叠方式将第一基材和第二基材堆叠在一起形成一个整体的感存算模块。

15.根据权利要求1所述的一种感存算一体化电路，其特征在于：

所述的存算模块包括模拟存算单元与数字存算单元，用于实现模拟和数字运算；

模拟存算单元与数字存算单元分别连接到上述第一MSC总线实现运算功能。

16.根据权利要求15所述的一种感存算一体化电路，其特征在于，所述处理单元中的存算模块包括：

模拟存算单元，包括多个模拟信号存储器，模拟信号存储器同时作为模拟运算单元，模拟信号能够通过模拟信号存储器进行加减乘除运算；

数字存算单元，包括多个数字信号存储器，数字信号存储器具有存储和逻辑运算能力。

17.根据权利要求16所述的一种感存算一体化电路，其特征在于：

所述模拟存算单元、数字存算单元与第一MSC总线相连；

其中，对于运算单元的运算结果，存储在上述模拟存算单元或数字存算单元中，通过行控制模块和列控制模块进行选通读出到第一MSC总线，并最终通过接口模块输出。

18.根据权利要求17所述的一种感存算一体化电路，其特征在于，所述处理单元还包括：

模拟信号算子运算单元，用于进行指数和乘方、开方运算。

19.根据权利要求1所述的一种感存算一体化电路，其特征在于，所述处理单元还包括：

标签模块，每个标签模块对应一个处理单元，用于根据标签模块中的标识决定各处理单元阵列中各处理单元PE是否执行当前INS指令；当所述标签模块中的标识为第一值时，对应的处理单元执行当前INS指令，当所述标签模块中的标识为第二值时，对应的处理单元不执行当前INS指令。

20.根据权利要求2所述的一种感存算一体化电路，其特征在于：

所述外围模拟模块中集成有时钟锁相环电路PLL、多种传感器、模数转换器和数模转换器；其中，

时钟锁相环电路PLL用于提供多种时钟；

数模转换器和模数转换器与第二MSC总线相连，用于将芯片的模拟信号转换成数字信号输出到外围数字模块，或通过接口模块输出到外部；

模数转换器将需要处理单元的外部提供运算的模拟信号，通过模数转换后转换为数字信号外部。

21.根据权利要求3所述的一种感存算一体化电路，其特征在于：

所述INS总线控制模块，负责将外部系统发送的指令转换成内部控制信号，并控制感存算模块操作，MCU模块用于直接下发指令给感存算模块。

22.一种感存算一体化系统，包括权利要求1-21之一所述的感存算一体化电路，其特征在于，还包括：

存储器，以及

处理器，所述处理器用于与所述的感存算一体化电路进行交互。

23.一种利用权利要求1-21之一的感存算一体化电路实现数据处理的方法，其特征在于包括：

感知单元采集信号数据；

通过处理单元阵列中的存算对上述信号数据进行基于SIMD指令的运算；

将运算后的数据直接存储在处理单元阵列中的存算单元中。

24.根据权利要求23所述的数据处理的方法，其特征在于：所述通过处理单元阵列中的存算单元对上述信号数据进行基于SIMD指令的运算，在执行指令之前，读取标签模块中的标识，基于所述标签模块中的标识，控制处理单元阵列中的各对应存算单元是否进行运算处理。

25.一种感存算一体芯片，其特征在于，其上包括有如权利要求1-21之一所述的电路。