CN115049050B - 一种面向人工智能的神经单元实现方法及电路 - Google Patents

Abstract

本发明公开了一种面向人工智能的神经单元实现方法及电路，该方法包括一种面向人工智能的神经单元的电路，包括：非线性处理模块，用于根据非线性函数对待处理信号进行非线性处理，非线性函数是根据至少一个神经网络层的激活函数确定的；信号输入端，用于将待处理信号输入非线性处理模块；信号输出端，用于从非线性处理模块输出处理后的信号。其中，所述非线性函数包括分段泰勒线性函数和/或指数移位函数；和/或，所述非线性处理模块包括量化器、模拟电路电子器件、光子器件、量子器件、原子催化剂器件，和生物单元器件中的至少一项。

Description

一种面向人工智能的神经单元实现方法及电路

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种面向人工智能的神经单元实现方法及电路。

背景技术

现有技术中，常见的激活函数包括四种，第一种是固化的激活函数，无法灵活进行非线性能力的调整，即当所在神经网络需要不同限度的非线性激活时其往往难以实现；第二种是非线性函数，一般为Sigmoid函数或tanh函数，这种非线性函数存在梯度消失和指数计算问题，硬件实现计算复杂度较高的问题；第三种是线性函数，一般为线性tanh函数或Relu函数，这种线性函数存在梯度不饱和，0点左侧为0的问题；第四种是仅使用数字电路逻辑实现的函数，这种函数限制了其非线性能力的表达。

可见，常见的激活函数一般为非线性，难以通过电路的方式实现，因此，人工神经网络的激活函数的精确度较低，灵活度不够高，面向人工智能的神经单元的实现方式有待改进。

发明内容

本发明实施例提供一种面向人工智能的神经单元实现方法及电路，用以提高人工神经网络的激活函数的精确度和灵活度。

第一方面，本发明实施例提供的一种面向人工智能的神经单元的处理电路，包括：

非线性处理模块，用于根据非线性函数对待处理信号进行非线性处理，非线性函数是根据至少一个神经网络层的激活函数确定的；

信号输入端，用于将待处理信号输入非线性处理模块；

信号输出端，用于从非线性处理模块输出处理后的信号；

其中，所述非线性函数包括分段泰勒线性函数和/或指数移位函数；和/或，

所述非线性处理模块包括量化器、模拟电路电子器件、光子器件、量子器件、原子催化剂器件，和生物单元器件中的至少一项。

在一种可能的设计中，非线性处理模块还用于实现卷积操作。

在一种可能的设计中，所述非线性函数包括分段泰勒线性函数，所述分段泰勒线性函数包括第一段函数和第二段函数，第一段函数和第二段函数为线性函数，第一段函数的斜率与第二段函数的斜率不同；非线性处理模块包括加法器、乘法器和显示查找表LUT。

在一种可能的设计中，非线性函数包括指数移位函数；非线性处理模块包括加法器、乘法器和位移单元。

在一种可能的设计中，所述非线性处理模块包括量化器和模拟电路电子器件，其中，量化器包括模拟-数字转换模块；模拟电路电子器件包括单一双极型晶体管、单一三极型晶体管、单一场效应晶体管、单一具备放大功能的晶体管，和模拟放大器中的至少一项。

在一种可能的设计中，所述非线性处理模块包括量化器和光子器件，其中，量化器包括光电转换模块；光子器件包括光电探测器、光电管、光电倍增管、光敏电阻、光敏二极管、光敏三极管、光电池和光电耦合器中的至少一项。

在一种可能的设计中，非线性处理模块包括量化器和量子器件，其中，量化器包括量子转化模块；量子器件包括超高频无线电波段的量子振荡器、放大器和单电子器件中的至少一项。

在一种可能的设计中，非线性处理模块包括量化器和原子催化剂器件，其中，量化器包括化学电转化模块；原子催化剂器件包括单原子催化剂器件。

在一种可能的设计中，非线性处理模块包括量化器和生物单元器件，其中，量化器包括生物电转化模块；生物单元器件包括生物传感器。

第二方面，本发明实施例提供的一种面向人工智能的神经单元实现方法，包括：

获得待处理信号；通过第一方面及其任一可能的设计中所述的非线性处理模块处理所述待处理信号；输出待处理信号。

第三方面，本申请还提供了一种电子设备，所述电子设备包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如上述第一方面及其任一可能的设计的动作。

第四方面，本申请还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面及其任一可能的设计的动作。

第五方面，本申请还提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如第一方面及其任一可能的设计的动作。

另外，第二方面至第五方面所带来的技术效果可参见上述第一方面的描述，此处不再赘述。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种神经网络的结构示意图；

图2为本发明实施例提供的一种激活函数的曲线；

图3为本发明实施例提供的一种面向人工智能的神经单元的电路的架构；

图4为本发明实施例提供的一种非线性处理模块的结构化示意图；

图5为本发明实施例提供的一种激活函数和非线性函数的示例图；

图6为本发明实施例提供的一种非线性处理模块的结构化示意图；

图7为本发明实施例提供的一种激活函数和非线性函数的示例图；

图8为本发明实施例提供的一种非线性处理模块的结构化示意图；

图9为本发明实施例提供的一种非线性处理模块的结构化示意图；

图10为本发明实施例提供的一种基本电路结构和性能参数的示例图；

图11为本发明实施例提供的另一种可行的模拟电路结构；

图12为本发明实施例提供的一种非线性处理模块的结构化示意图；

图13为本发明实施例提供的一种非线性处理模块的结构化示意图；

图14为本发明实施例提供的一种非线性处理模块的结构化示意图；

图15为本发明实施例提供的一种非线性处理模块的结构化示意图；

图16为本发明实施例提供的一种面向人工智能的神经单元实现方法的流程示意图；

图17为本申请实施例提供的一种面向人工智能的神经单元的电路的装置结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作可选的详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明提出一种激活函数设计和实现方案，并示例性的设计与之匹配的灵活处理架构，具体来说，包括以下几种方案，分别是可变参数的灵活线性乘加结构实现、指数移位架构实现、模拟电路加量化器件实现、光子衰减模拟加量化器件实现、量子器件实现、单原子催化剂（或分子催化剂）实现和生物单元实现，有助于人工神经网络突破性能瓶颈，从而实现更高精度和更高灵活度的激活函数设计和人工神经网络处理器。

下面对本申请可能涉及的部分技术术语进行介绍，以便本领域技术人员理解。

一、人工神经网络

简称神经网络，是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型，它以人工神经元（或称感知器）为节点，按不同的连接方式构成神经网络。图1为本申请实施例提供的一种神经网络的结构示意图。如图1所示，多个感知器并列连接构成一个神经网络层，多个神经网络层按顺序排布组成最简单的神经网络——多层感知器（Multilayer Perceptron，MLP）。其中，任意两个感知器之间的直线表示它们之间相互连接并相互依赖，连接的依赖程度就是权重，多层感知器包括一个输入层、至少一个隐藏层和一个输出层。图1中从左至右依次显示了输入层（层1)、隐藏层（层2）以及输出层（层3）。

构建神经网络的主要工作就是不断调整权重，使得网络推断（或者预测）误差最小化的过程，这个过程就是神经网络的训练过程。简单来说，训练过程是指在已有数据中学习，获得某些能力的过程；而推断过程则是指对新的数据，使用这些能力完成特定任务（如分类、识别等）的过程。训练一般基于前向计算（Forward Pass）和后向计算（BackwardPass，BP）实现。前向计算是指从输入层到输出层逐层计算输出的过程。后向计算是网络根据实际输出和期望输出之间的误差，反向进行网络权值的修正，直到权重值调整到最佳，以使得整个网络的预测效果最好。后向计算过程就是网络的学习和训练过程，该过程主要基于BP算法进行。

以上图的多层神经网络为例，其中

表示第二层（隐藏层）第一个神经元的输 出，

表示第二层（隐藏层）第二个神经元的输出，

表示第二层（隐藏层）第三个神经 元的输出。这三个神经元的输出分别表示为：

；

；

。

经过输出层，多层神经网络的输出y₃为：

。

其中，

是相邻两层（t与t+1层）神经元之间的权重值。神经网络的训练过程就 是求解神经元之间的权重，使得误差函数最小的一个过程。误差函数是所有待求解权重的 一个复合函数，一般采用梯度下降算法来求解误差函数的极值。梯度下降算法的基本步骤 为：首先选取一个初始点，求解梯度向量；然后向梯度向量为负的方向，以合适的步长进行 搜索，找到最佳的权重值；不断也迭代搜索过程，直到两次迭代之间的差值小于设定的阈 值；最后输出迭代后的网络参数等结果。

二、人工神经元

人工神经元是人工神经网络的基本单元,人工神经元的基本的数学原型可表示为：

；

。

其中，偏置将神经元的输入x乘以一定的权重w并进行求和，实现了一种线性映射；激活函数是人工神经元细胞体中对所有输入信号进行加权和之后的非线性映射。

三、激活函数

常用激活函数的曲线如图2所示，包括：

1、S形的（Sigmoid）函数：一种非线性函数，存在梯度消失和指数计算问题，硬件实现计算复杂度较高；

2、双曲正切（tanh）函数：一种非线性函数，存在梯度消失和指数计算问题，硬件实现计算复杂度较高；

3、tanh线性逼近函数：一种线性函数，梯度不饱和；

4、整流线性单元（The Rectified Linear Unit，ReLU）函数：一种线性函数，实现简单，梯度不饱和，缺点为0点左侧为0。

四、量子器件

量子器件，也称量子电子器件，尺寸在纳米数量级之内，在纳米尺度下，粒子表现出一定的量子效应，例如隧穿效应、干涉效应、库仑阻塞效应等。而量子电子器件正是利用电子的量子效应作为工作机制的电子器件。利用不同的量子效应，又可构成不同类型的量子器件，同时也分别具有各种不同的奇特性能。

谐振隧穿器件是量子器件的一种，是利用电子的共振隧穿机制进行工作的器件，一般由两个距离很近的、能够产生隧穿效应的双势垒构成，对于不同的输入电压信号呈现较好的非线性特性。

图3为本发明实施例提供的一种面向人工智能的神经单元的电路100的架构，参考图3所示，该处理电路100包括非线性处理模块110、信号输入端120和信号输出端130。本领域技术人员可以理解，图3中示出的处理电路100还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，本申请不做限制。

其中，非线性处理模块110，用于根据非线性函数对待处理信号进行非线性处理，非线性函数是根据至少一个神经网络层的激活函数确定的，其中，非线性函数包括分段泰勒线性函数和/或指数移位函数；和/或，非线性处理模块包括量化器、模拟电路电子器件、光子器件、量子器件、原子催化剂器件，和生物单元器件中的至少一项。信号输入端120，用于将待处理信号输入非线性处理模块；信号输出端130，用于从非线性处理模块输出处理后的信号。

可选的，以神经网络是图1所示的结构为例，至少一个神经网络层可以是层1、层2和层3中的任意一层或多层，本申请不做限制。

在一种可能的设计中，非线性处理模块110还用于实现卷积操作。

在一种可能的设计中，非线性处理模块包括量化器和中间器件。

图4为本申请实施例提供的一种非线性处理模块的结构化示意图，其中，非线性处理模块110包括量化器和中间器件。示例性的，图4中以两个量化器和一个中间器件为例进行介绍，本申请不以此为限。

可选的，中间器件可以是由模拟电路电子器件、光子器件、量子器件、单原子催化剂器件（或单分子催化剂）和生物单元器件（或称生物单元）中的任意一个构成，前述结构均为示例而非限定。

可以理解，本申请中的非线性处理模块可至少包括一种类型的中间器件，如包括模拟电路电子器件、光子器件、量子器件、原子催化剂器件，和生物单元器件中的至少一项。此外，非线性处理模块可包括与中间器件相对应的量化器，或者说，对于不同的中间器件来说，量化器可能不同，后续将结合实施例具体说明，这里暂不展开。

此外可选的，本申请中的分段泰勒线性函数和/或指数移位函数可由上述量化器和中间器件实现。此外，本申请中的分段泰勒线性函数和/或指数移位函数也可以由上述量化器和中间器件以外的器件实现。本申请中的量化器和中间器件可用于实现分段泰勒线性函数和/或指数移位函数，也可以用于实现其他类型的非线性函数，不具体限制。

为了更好的描述本发明实施例，下面将通过以下实施例，描述在多种处理架构下前述处理电路的实现方式。

实施例一

本实施例中，该处理电路可用于实现分段线性逼近的激活函数的非线性处理。具体的，非线性函数包括分段泰勒线性函数，分段泰勒线性函数至少可包括第一段函数和第二段函数，第一段函数的斜率与第二段函数的斜率不同。可以理解，第一段函数和第二段函数为线性函数。

图5为本申请实施例提供的一种激活函数和非线性函数的示例图，如图5所示，线性的激活函数可以有至少两种表示方法。

可选的，该非线性函数所包含的函数中，至少一段为线性函数，例如，该非线性函数可以包括一段线性函数和一段（或多段）非线性函数。

可选的，该非线性函数可以包括至少两段（大于等于两段）线性函数，例如可以包括四段线性函数，本申请不做限定。

可选的，横坐标相连的两段线性函数的斜率不同。举例来说，第一段函数对应的横坐标为（0，10），第二段函数对应的横坐标为（10，40），则第一段函数和第二段函数的斜率不同。

前述非线性函数可表示为：

。

其中，k表示分段线性函数的乘数项，即分段线性函数的斜率，

为分段线性函数 中第i段的加法项。具体来说，

表示第一段函数的斜率，

表示第i段函数的斜率，i=1、 2、……。例如，当非线性函数仅包括两段函数时，i=2。

采用该公式，能够将非线性激活函数分解为多组[k，C]参数，从而快速实现数字电路的高精度拟合。同时，在神经网络的计算过程中，可根据数据精度要求，灵活调整[k，C]参数，可以实现高精度高计算复杂度低计算速度和低精度低计算复杂度高计算速度的灵活切换，也可以实现不同神经网络层灵活地采用不同的激活函数，以实现更高精度和灵活度的人工神经网络。应理解，切换既包括对某一固定激活函数的精确度切换，也可以为不同目标激活函数的拟合切换。

可以理解的是，前述非线性函数是对激活函数进行一阶泰勒级数逼近的结果，在一种可能的设计中，处理方法包括：设计一种寻找展开点的方法，选取多个展开点进行线性近似，展开点用于对激活函数进行分段；计算原函数与非线性函数（或称逼近函数）的最大误差绝对值，得到参数误差偏离值；在参数误差偏离值大于1的区域采用高斜率，以加快非标准取值的衰减，从而构建分段线性的激活函数。

图6为本申请实施例提供的一种非线性处理模块的结构化示意图，该结构由可变参数的灵活线性乘加结构来实现，用于实现前述非线性处理的动作。如图6所示，该非线性处理模块110包括加法器、乘法器和系数（Coefficient）显示查找表（Look Up Table，LUT）。

实施例二

本实施例中，该处理电路可用于实现可指数移位架构的激活函数的非线性处理。具体的，非线性函数可包括指数移位函数或称为指数函数。

图7为本申请实施例提供的另一种激活函数和非线性函数的示例图，如图7所示，非线性函数可以有至少两种表示方法。

示例性的，前述指数移位函数可表示为：

。

其中，x为所拟合的指数移位函数的移位项，k为所拟合的指数移位函数的乘数项，b为指数移位函数的加法项。

应理解，该指数移位函数是对指定的激活函数进行非线性指数逼近的结果，可以直接构建指数型的激活函数，即部分指数运算用移位操作实现，从而快速的逼近指数型计算函数。其中的指数运算可以通过非线性处理模块实现。

这样，能够将非线性激活函数分解为多组[x]参数，以快速实现数字电路的高精度拟合。同时，在神经网络计算过程中，可根据数据精度要求，灵活调整[x，k，C]参数，实现高精度高计算复杂度低计算速度和低精度低计算复杂度高计算速度的灵活切换，也可以实现不同神经网络层灵活地采用不同的激活函数，以实现更高精度和灵活度的人工神经网络。应理解，切换既包括对某一固定激活函数的精确度切换，也可以为不同目标激活函数的拟合切换。

图8为本申请实施例提供的一种非线性处理模块的结构化示意图，该结构由指数移位架构来实现，用于实现前述非线性处理的动作。如图8所示，该非线性处理模块包括加法器、乘法器和位移单元（Shift unit）。

实施例三

本实施例中，该处理电路可用于实现激活函数的非线性处理。具体的，在该处理电路中，中间器件可以是模拟电路电子器件。激活函数的非线性度非常适合模拟电路的电流电压特性，因此，本实施例通过模拟电路加量化器件来实现激活函数的机制。进一步的，为了将处理结果输出到下一级计算中，还可以在该处理电路中增加量化器件，即中间器件还包括量化器，从而进行更深层次的神经网络运算。

利用模拟电路来替代卷积核和激活函数，输入和输出基本可以拟合如下公式：

。

其中，

是相邻两层（t与t+1层）神经元之间的权重值。采用该公式，可以在一定 程度上提高人工神经网络计算的速度并降低功耗，使得人工神经网络的权重内化为卷积核 和激活函数的模拟参数比，以实现对应的卷积功能，和更加高速低功耗的人工神经网络处 理器。

在一种可能的设计中，非线性处理模块包括量化器和模拟电路电子器件。

图9为本申请实施例提供的一种非线性处理模块的结构化示意图，用于实现前述非线性处理的动作，该非线性处理模块包括两个量化器和一个中间器件，其中，中间器件包括模拟电路电子器件。

可选的，在非线性处理模块110中，靠近信号输入端120的一侧的量化器可以是数模（Digital to Analog，DA）转换器（Converter）（或称D/A转换器，DAC），用于适配不同的模拟电路。其中，D/A转换器可以将数字信号转换为模拟信号。

可选的，在非线性处理模块110中，靠近信号输出端130的一侧的量化器可以是模数（Analog to Digital，AD）转换器（Converter）（或称A/D转换器，ADC），用于适配不同的模拟电路。其中，A/D转换器可以将模拟信号转换为数字信号。

在一种可能的设计中，量化器包括模拟-数字转换模块；模拟电路电子器件包括单一双极型晶体管、单一三极型晶体管、单一场效应晶体管、单一具备放大功能的晶体管，和模拟放大器中的至少一项。

示例性的，图10为本申请实施例提供的一种基本电路结构和性能参数的示例图，该基本电路结构由电阻R、二极管VD和模拟放大器A构成。

示例性的，图11为本申请实施例提供的另一种可行的模拟电路结构，该电路结构由双极型晶体管VT、电阻R和模拟放大器A构成。

采用本实施例所示的方法，由于模拟电路具备计算速度快，电路性能稳定优异等特征，在人工神经网络中能够充分利用模拟电路的非线性特性，以拟合其在激活函数中的非线性激励补充，有助于人工神经网络突破性能瓶颈，以带来速度更快，性能更加优异的人工神经网络处理器。模拟电路可以在替代激活函数的同时，替代激活函数之前的卷积操作，即可以设计一种模拟电路，该模拟电路具备普通神经网络卷积核加激活函数的功能，使得整个卷积操作和激活函数均由模拟器件实现。

实施例四

本实施例中，该处理电路可用于实现激活函数的非线性处理。具体的，在该处理电路中，中间器件可以是光子器件。激活函数的非线性度非常适合于光子器件电路的光子衰减特性，同时，为了将处理结果输出到下一级计算中，还可以在该处理电路中增加量化器件，即中间器件还包括量化器，从而进行更深层次的神经网络运算。

利用光电电路来替代卷积核和激活函数，输入和输出基本可以拟合如下公式：

。

其中，

是相邻两层（t与t+1层）神经元之间的权重值。采用该公式，可以在一定 程度上提高人工神经网络计算的速度并降低功耗，使得人工神经网络的权重内化为卷积核 和激活函数的光电性能参数设计，以实现对应的卷积功能，和更加高速低功耗的人工神经 网络处理器。

在一种可能的设计中，非线性处理模块包括量化器和光子器件。

图12为本申请实施例提供的一种非线性处理模块的结构化示意图，用于实现前述非线性处理的动作，该非线性处理模块包括两个量化器和一个中间器件，其中，中间器件包括光子器件。

可选的，在非线性处理模块110中，靠近信号输入端120的一侧的量化器可以是光电转化器，用于适配不同的光电电路。

在一种可能的设计中，量化器包括光电转换模块；光子器件包括光电探测器、光电管、光电倍增管、光敏电阻、光敏二极管、光敏三极管、光电池和光电耦合器中的至少一项。

采用本实施例所示的方法，可以在人工神经网络中充分利用光电器件的非线性特性，以拟合其在激活函数中的非线性激励补充。光电电路具备计算速度快，电路性能稳定优异且带宽大数据率高等特征，有助于人工神经网络突破性能瓶颈，以带来速度更快，性能更加优异的人工神经网络处理器。

实施例五

本实施例中，该处理电路可用于实现激活函数的非线性处理。具体的，在该处理电路中，中间器件可以是量子器件。激活函数的非线性度非常适合于量子器件电路的跃迁和衰减特性，同时，为了将处理结果输出到下一级计算中，还可以在该处理电路中增加量化器件，即中间器件还包括量化器，从而进行更深层次的神经网络运算。

利用量子电路来替代卷积核和激活函数，输入和输出基本可以拟合如下公式：

。

其中，

是相邻两层（t与t+1层）神经元之间的权重值。采用该公式，可以在一定 程度上提高人工神经网络计算的速度并降低功耗，使得人工神经网络的权重内化为卷积核 和激活函数的量子性能参数设计，以实现对应的卷积功能，和更加速度快、功耗低、存储能 力大、计算能力强、保密性好以及其他奇特的性能的量子人工神经网络处理器。

在一种可能的设计中，非线性处理模块包括量化器和量子器件。

图13为本申请实施例提供的一种非线性处理模块的结构化示意图，用于实现前述非线性处理的动作，该非线性处理模块包括两个量化器和一个中间器件，其中，中间器件包括量子器件。

可选的，在非线性处理模块110中，靠近信号输入端120的一侧的量化器可以是量子转化器，用于适配不同的量子电路。

在一种可能的设计中，量化器包括量子转换模块。量子器件可包括超高频无线电波段的量子振荡器、放大器、光量子振荡器、光波段量子放大器、量子陀螺仪或量子磁强计等。此外，量子器件还包括单电子器件、单电子器件等使用量子非线性特性制作的器件单元。

示例性的，量子器件可以包括谐振隧穿器件，该器件对于不同的输入电压信号呈现较好的非线性特性，与人工智能神经网络中激活函数的非线性特性需求一致。

采用本实施例所示的方法，可以在人工神经网络中充分利用量子器件的非线性特性，以拟合其在激活函数中的非线性激励补充。量子电路具备计算速度快，电路性能稳定优异且带宽大数据率高等特征，有助于人工神经网络突破性能瓶颈，以带来速度更快，性能更加优异的人工神经网络处理器。

实施例六

本实施例中，该处理电路可用于实现激活函数的非线性处理。具体的，在该处理电路中，中间器件可以是原子催化剂器件。激活函数的非线性度非常适合于单原子催化剂器件电路的表面效应特性，同时，为了将处理结果输出到下一级计算中，还可以在该处理电路中增加量化器件，即中间器件还包括量化器，从而进行更深层次的神经网络运算。

利用单原子催化剂电路来替代卷积核和激活函数，输入和输出基本可以拟合如下公式：

。

其中，

是相邻两层（t与t+1层）神经元之间的权重值。采用该公式，可以在一定 程度上提高人工神经网络计算的速度并降低功耗，使得人工神经网络的权重内化为卷积核 和激活函数的单原子催化剂性能化学参数设计，以实现对应的卷积功能，和更加高速低功 耗的人工神经网络处理器。

在一种可能的设计中，非线性处理模块包括量化器和原子催化剂器件。

图14为本申请实施例提供的一种非线性处理模块的结构化示意图，用于实现前述非线性处理的动作，该非线性处理模块包括两个量化器和一个中间器件，其中，中间器件包括原子催化剂器件。

可选的，在非线性处理模块110中，靠近信号输入端120的一侧的量化器可以是原子化学特性转化器，用于适配不同的单原子电路。

在一种可能的设计中，量化器包括化学电转化模块；原子催化剂器件包括单原子催化剂器件。示例性的，单原子催化剂器件包括嵌入氮掺杂石墨烯中的单分散钴原子(Co-N/G)，Fe³⁺–N–C单原子催化剂等使用金属以单原子的形式均匀单一地负载在金属、金属氧化物、二维材料和分子筛等载体上，以单原子作为催化活性中心进行催化的非线性特性制作的器件单元。应理解，这里的Fe表示铁元素，N表示氮元素，C表示碳元素。

示例性的，单原子催化剂器件可以包括Pt-1/FeOx，FeOx负载的单原子铂（Pt）催化剂，其中，O表示氧元素。Pt单原子提供电子给基底材料FeOx使催化剂更稳定，并对CO氧化呈现高活性；Pt单原子的存在以及Pt单原子与FeOx的结合态；带正电的Pt降低了CO的吸附能和CO的反应能垒，其反应能垒特性呈现较好的非线性特性。因此，该器件呈现的特性与人工智能神经网络中激活函数的非线性特性需求一致。

采用本实施例所示的方法，可以在人工神经网络中充分利用单原子催化剂器件的非线性特性，以拟合其在激活函数中的非线性激励补充。单原子催化剂具备反应速度快，性能稳定优异且功耗低等特征，有助于人工神经网络突破性能瓶颈，以带来速度更快，性能更加优异的人工神经网络处理器。

实施例七

本实施例中，该处理电路可用于实现激活函数的非线性处理。具体的，在该处理电路中，中间器件可以是生物单元器件。激活函数的非线性度非常适合于生物单元器件电路的衰减特性，同时，为了将处理结果输出到下一级计算中，还可以在该处理电路中增加量化器件，即中间器件还包括量化器，从而进行更深层次的神经网络运算。

利用生物电路来替代卷积核和激活函数，输入和输出基本可以拟合如下公式：

。

其中，

是相邻两层（t与t+1层）神经元之间的权重值。采用该公式，可以在一定 程度上提高人工神经网络计算的速度并降低功耗，使得人工神经网络的权重内化为卷积核 和激活函数的生物性能参数设计，以实现对应的卷积功能，和更加高速低功耗的人工神经 网络处理器。

在一种可能的设计中，非线性处理模块包括量化器和生物单元器件。

图15为本申请实施例提供的一种非线性处理模块的结构化示意图，用于实现前述非线性处理的动作，该非线性处理模块包括两个量化器和一个中间器件，其中，中间器件包括生物单元器件。

可选的，在非线性处理模块110中，靠近信号输入端120的一侧的量化器可以是生物电转化器，用于适配不同的生物电路。

在一种可能的设计中，量化器包括生物电转化模块；生物单元器件包括生物传感器。

示例性的，生物器件可以是组织传感器、微生物传感器、免疫传感器或场效应晶体管生物传感器。其中，生物器件包括组织传感器：利用动植物组织中多酶系统的催化作用来检测待测物，由于所利用的是组织中的酶，无需人工提纯过程，因而较稳定，使用时间长。微生物传感器：将微生物固定在生物敏感膜上，利用微生物的呼吸作用或所含有的酶类，来测定待测物质尤其是发酵过程中的物质浓度。免疫传感器：利用抗原和抗体之间的高度特异性，将抗原（或抗体）结合在生物敏感膜上，来测定样品中相应抗体（或抗原）的浓度。场效应晶体管生物传感器：结合了晶体管工艺，所需酶或抗体量很少，被认为是第三代生物传感器。

采用本实施例所示的方法，可以在人工神经网络中充分利用生物器件的非线性特性，以拟合其在激活函数中的非线性激励补充。生物电路具备性能稳定，功耗低且与人体契合度高等特征，有助于人工神经网络突破性能瓶颈，以带来速度更快，性能更加优异的人工神经网络处理器。

可选的，以上实施例一至实施例七的任意多个之间可以结合实施。例如，非线性函数可包括实施例一所示的分段泰勒线性函数和实施例二所示的指数移位函数，此外，可以通过实施例三至实施例七中任意一种或多种结构的非线性处理模块实现实施例一和/或实施例二所示的非线性函数。

基于上述描述，图16示例性的示出了本发明实施例提供的一种面向人工智能的神经单元实现方法的流程示意图，该流程可以由前述处理电路100执行，以实现神经单元的功能。如图16所示，该流程具体包括：

S201：获得待处理信号。

步骤S201中获取待处理信号的动作可以由处理电路中的信号输入端执行，且适用于前述任一实施例。

S202：通过非线性处理模块处理该待处理信号。

步骤S202中处理待处理信号的动作可以参考前述对于非线性处理模块110的描述，且适用于前述任一实施例。

S203：输出处理后的待处理信号。

步骤S201中获取待处理信号的动作可以由处理电路中的信号输入端执行，且适用于前述任一实施例。

采用该方法，能够通过电路的方式实现激活函数的设计，提高激活函数的准确性和灵活性。

基于相同的技术构思，本发明实施例还提供了一种面向人工智能的神经单元的电路的装置结构示意图，包括上述面向人工智能的神经单元的电路。

图17示出了本申请实施例提供的一种面向人工智能的神经单元的电路的装置结构示意图。

本申请实施例中的电子设备可包括处理器1701。处理器1701是该装置的控制中心，可以利用各种接口和线路连接该装置的各个部分，通过运行或执行存储在存储器1702内的指令以及调用存储在存储器1702内的数据。可选的，处理器1701可包括一个或多个处理单元，处理器1701可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1701中。在一些实施例中，处理器1701和存储器1702可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。

处理器1701可以是通用处理器，例如中央处理器（CPU）、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的处理电路所执行的步骤可以直接由硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

在本申请实施例中，存储器1702存储有可被至少一个处理器1701执行的指令，至少一个处理器1701通过执行存储器1702存储的指令，可以用于执行前述由处理电路执行的通信过程。

存储器1702作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器1702可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器（Random AccessMemory，RAM）、静态随机访问存储器（Static Random Access Memory，SRAM）、可编程只读存储器（Programmable Read Only Memory，PROM）、只读存储器（Read Only Memory，ROM）、带电可擦除可编程只读存储器（Electrically Erasable Programmable Read-Only Memory，EEPROM）、磁性存储器、磁盘、光盘等等。存储器1702是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器1702还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

本申请实施例中，该装置还可以包括通信接口1703，电子设备可以通过该通信接口1703传输数据。例如电子设备为前述处理电路，通信接口1703可用于实现图3所示的信号输入端120和/或信号输出端130。

可选的，可由图17所示处理器1701（或处理器1701和存储器1702）实现图3所示的非线性处理模块110，也就是说，可以由处理器1701（或处理器1701和存储器1702）执行非线性处理模块110的动作。

基于相同的申请构思，本申请实施例还提供一种计算机可读存储介质，其中可存储有指令，当该指令在计算机上运行时，使得计算机执行上述方法实施例提供的操作步骤。该计算机可读存储介质可以是图17所示的存储器1702。

基于相同的技术构思，本发明实施例还提供了一种计算设备，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述用户界面的显示的方法。

基于相同的技术构思，本发明实施例还提供了一种计算机存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述用户界面的显示的方法。

本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (3)

1.一种面向人工智能的神经单元的电路，其特征在于，包括：

非线性处理模块，用于根据非线性函数对待处理信号进行非线性处理，所述非线性函数是根据至少一个神经网络层的激活函数确定的；

信号输入端，用于将所述待处理信号输入所述非线性处理模块；

信号输出端，用于从所述非线性处理模块输出处理后的信号；

其中，所述非线性函数包括分段泰勒线性函数和/或指数移位函数，所述分段泰勒线性函数是对所述激活函数进行一阶泰勒级数逼近的结果，所述指数移位函数是对所述激活函数进行非线性指数逼近的结果；

所述非线性处理模块包括模拟电路电子器件、原子催化剂器件，和生物单元器件中的至少一项；

所述非线性函数包括分段泰勒线性函数，所述分段泰勒线性函数包括第一段函数和第二段函数，所述第一段函数的斜率与所述第二段函数的斜率不同；所述非线性处理模块包括加法器、乘法器和显示查找表LUT；

所述非线性函数包括指数移位函数；所述非线性处理模块包括加法器、乘法器和位移单元；

所述非线性处理模块包括量化器和模拟电路电子器件，所述量化器包括模拟-数字转换模块，所述模拟电路电子器件包括单一双极型晶体管、单一三极型晶体管、单一场效应晶体管、单一具备放大功能的晶体管，和模拟放大器中的至少一项；

所述非线性处理模块包括量化器和原子催化剂器件，所述量化器包括化学电转化模块，所述原子催化剂器件包括单原子催化剂器件；

所述非线性处理模块包括量化器和生物单元器件，所述量化器包括生物电转化模块，所述生物单元器件包括生物传感器。

2.如权利要求1所述的电路，其特征在于，所述非线性处理模块还用于实现卷积操作。

3.一种面向人工智能的神经单元的实现方法，其特征在于，包括：

获得待处理信号；

通过如权利要求1-2中任一所述的面向人工智能的神经单元的电路处理所述待处理信号；

输出所述待处理信号。

Images