CN106875010B - 神经元权重信息处理方法和系统 - Google Patents

Abstract

本发明涉及一种神经元权重信息处理方法和系统，所述方法包括：接收前端神经元的神经元输出信息，以及与所述神经元输出信息对应的权重索引；根据所述权重索引，读取权重索引信息对应关系，获取权重信息，所述权重索引信息对应关系为权重索引和权重信息之间的对应关系；根据所述权重信息和所述神经元输出信息，获取所述前端神经元的输入信息。神经元之间不再将权重信息直接传递，而是将权重信息的索引进行传递，不但节省了网络之间的传递信息量，并且可以更加灵活的改变权重信息的设置。提高了神经元网络的信息处理能力。

Description

神经元权重信息处理方法和系统

技术领域

本发明涉及人工神经网络技术领域，特别是涉及神经元权重信息处理方法和系统。

背景技术

如今的人工神经网络研究绝大多数仍是在冯·诺依曼计算机软件并搭配高性能GPGPU(General Purpose Graphic Processing Units通用图形处理单元)平台中实现的，整个过程的硬件开销、能耗和信息处理速度都不容乐观。为此，近几年神经形态计算领域迅猛发展，即采用硬件电路直接构建神经网络从而模拟大脑的功能，试图实现大规模并行、低能耗、可支撑复杂模式学习的计算平台。

然而，传统的神经形态系统中，将神经网络中各神经元之间的连接和权重信息进行绑定时，每一个神经元之间的连接都需要传递相应的权重信息，占据了较多的硬件处理资源，硬件对于网络性能的约束很大，并且权重信息降低了神经元的处理能力，限制了神经元的灵活性，不适合通用的神经网络的硬件框架。

发明内容

基于此，有必要针对神经元与权重信息一一对应配置并传递，降低了神经元信息处理能力的问题，提供一种神经元权重信息处理方法和系统，所述方法包括：

接收前端神经元的神经元输出信息，以及与所述神经元输出信息对应的权重索引；

根据所述权重索引，读取权重索引信息对应关系，获取权重信息，所述权重索引信息对应关系为权重索引和权重信息之间的对应关系；

根据所述权重信息和所述神经元输出信息，获取所述前端神经元的输入信息。

在其中一个实施例中，所述前端神经元，包括人工神经元或脉冲神经元。

在其中一个实施例中，所述权重索引，包括与所述权重索引对应的权重信息的存储地址。

在其中一个实施例中，所述接收前端神经元的神经元输出信息，以及与所述神经元输出信息对应的权重索引，包括：

接收前端神经元输出的路由信息，所述路由信息包括前端神经元输出的神经元输出信息，以及与所述神经元输出信息对应的权重索引；

解析所述路由信息，获取所述神经元输出信息和所述权重索引。

在其中一个实施例中，所述权重信息，包括：

根据预设的权重取值范围和初始权重信息，利用权重约化算法计算出的所述权重信息。

在其中一个实施例中，在根据所述权重信息和所述神经元输出信息，获取所述前端神经元的输入信息的步骤之后，所述方法还包括：

根据所述前端神经元的输入信息和读取的当前神经元信息，根据神经元输出算法，计算当前神经元输出信息；

确定所述当前神经元输出信息的目的信息，并根据所述目的信息查找目的索引对应关系，获取所述目的信息的权重索引，所述目的索引对应关系包括目的信息和权重索引之间的对应关系；

输出所述当前神经元输出信息和所述权重索引。

在其中一个实施例中，当前神经元接收的前端神经元的输出信息中，携带前端神经元与当前神经元之间的权重信息的权重索引，当前神经元根据接收到的权重索引信息读取权重信息后，根据不同的神经元模型进行相应的运算处理，获取前端神经元的输入信息。神经元之间不再将权重信息直接传递，而是将权重信息的索引进行传递，不但节省了网络之间的传递信息量，并且可以更加灵活的改变各个神经元的权重信息的设置，提高了神经元网络的信息处理能力。

在其中一个实施例中，权重索引的使用，不但适用于人工神经网络，也适用于脉冲神经网络，提高了人工神经网络和脉冲神经网络的信息处理能力。

在其中一个实施例中，采用权重信息的存储地址作为其索引信息，可以使接收到索引信息的神经元直接利用存储地址信息查询到权重信息，提高权重信息的提取效率，进而提高整个神经元网络的信息处理效率。

在其中一个实施例中，将权重索引和神经元输出信息，设置于路由信息中进行传送，充分利用了现有的路由数据，提高了神经元之间的信息使用效率。

在其中一个实施例中，根据预设的权重取值范围，利用权重约化算法计算出的权重信息，其权重值在预设的取值范围之内，且为预设的取值范围的有限个离散值，减少了用于存储权重信息的硬件的存储空间，并且保持了权重信息的精度。

在其中一个实施例中，当前神经元计算出当前神经元的输出信息后，根据输出信息的目的神经元，查找对应的权重索引后，输出所述当前神经元输出信息和所述权重索引。当前神经元将权重索引发送至后端的神经元，将权重索引信息在神经网络中进行了完整的传递，提高了神经网络的信息处理能力。

本发明还提供一种神经元权重信息处理系统，包括：

前端神经元输出信息接收模块，用于接收前端神经元的神经元输出信息，以及与所述神经元输出信息对应的权重索引；

权重信息获取模块，用于根据所述权重索引，读取权重索引信息对应关系，获取权重信息，所述权重索引信息对应关系为权重索引和权重信息之间的对应关系；

前端神经元输入信息获取模块，用于根据所述权重信息和所述神经元输出信息，获取所述前端神经元的输入信息。

在其中一个实施例中，所述前端神经元，包括人工神经元或脉冲神经元。

在其中一个实施例中，所述权重索引，包括与所述权重索引对应的权重信息的存储地址。

在其中一个实施例中，所述前端神经元输出信息接收模块，包括：

路由信息接收单元，用于接收前端神经元输出的路由信息，所述路由信息包括前端神经元输出的神经元输出信息，以及与所述神经元输出信息对应的权重索引；

路由信息解析单元，用于解析所述路由信息，获取所述神经元输出信息和所述权重索引。

在其中一个实施例中，所述权重信息，包括：

根据预设的权重取值范围和初始权重信息，利用权重约化算法计算出的所述权重信息。

在其中一个实施例中，还包括：

当前神经元输出信息获取模块，用于根据所述前端神经元的输入信息和读取的当前神经元信息，根据神经元输出算法，计算当前神经元输出信息；

权重索引确定模块，用于确定所述当前神经元输出信息的目的信息，并根据所述目的信息查找目的索引对应关系，获取所述目的信息的权重索引，所述目的索引对应关系包括目的信息和权重索引之间的对应关系；

权重索引发送模块，用于输出所述当前神经元输出信息和所述权重索引。

在其中一个实施例中，当前神经元接收的前端神经元的输出信息中，携带前端神经元与当前神经元之间的权重信息的权重索引，当前神经元根据接收到的权重索引信息读取权重信息后，根据不同的神经元模型进行相应的运算处理，获取前端神经元的输入信息。神经元之间不再将权重信息直接传递，而是将权重信息的索引进行传递，不但节省了网络之间的传递信息量，并且可以更加灵活的改变各个神经元的权重信息的设置，提高了神经元网络的信息处理能力。

在其中一个实施例中，权重索引的使用，不但适用于人工神经网络，也适用于脉冲神经网络，提高了人工神经网络和脉冲神经网络的信息处理能力。

在其中一个实施例中，采用权重信息的存储地址作为其索引信息，可以使接收到索引信息的神经元直接利用存储地址信息查询到权重信息，提高权重信息的提取效率，进而提高整个神经元网络的信息处理效率。

在其中一个实施例中，将权重索引和神经元输出信息，设置于路由信息中进行传送，充分利用了现有的路由数据，提高了神经元之间的信息使用效率。

在其中一个实施例中，根据预设的权重取值范围，利用权重约化算法计算出的权重信息，其权重值在预设的取值范围之内，减少了用于存储权重信息的硬件的存储空间，并且保持了权重信息的精度。

在其中一个实施例中，当前神经元计算出用于输出的当前神经元的输出信息后，根据输出信息的目的神经元，查找对应的权重索引后，输出所述当前神经元输出信息和所述权重索引。当前神经元将权重索引发送至后端的神经元，将权重索引信息在神经网络中进行了完整的传递，提高了神经网络的信息处理能力。

附图说明

图1为一个实施例的神经元权重信息处理方法的流程示意图；

图2为另一个实施例的神经元权重信息处理方法的流程示意图；

图3为一个实施例的神经元权重信息处理系统的结构示意图；

图4为另一个实施例的神经元权重信息处理系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

图1为一个实施例的神经元权重信息处理方法的流程示意图，如图1所示的神经元权重信息处理方法包括：

步骤S100，接收前端神经元的神经元输出信息，以及与所述神经元输出信息对应的权重索引。

具体的，所述前端神经元的神经元输出信息，是前端神经元计算得出的输出信息；所述权重索引，是用于当前神经元检索到与前端神经元输出信息对应的权重信息的索引信息。

采用权重索引的方式，可以在信息的传递过程中，占用更小的信息传递空间，不但降低了硬件的处理需求，并且只需要改变索引信息，就能够更加灵活的方便的对权重信息的变化进行更新，使得神经网络中权重信息的更新更加方便。

步骤S200，根据所述权重索引，读取权重索引信息对应关系，获取权重信息，所述权重索引信息对应关系为权重索引和权重信息之间的对应关系。

具体的，所述权重索引信息对应关系，可以存储在当前神经元本地，也可以存储在神经网络中的其它位置，只要当前神经元能够读取到即可。

步骤S300，根据所述权重信息和所述神经元输出信息，获取所述前端神经元的输入信息。

具体的，将所述读取到的权重信息，根据不同的神经元模型进行相应的运算处理，获取前端神经元的输入信息。

在本实施例中，当前神经元接收的前端神经元的输出信息中，携带前端神经元与当前神经元之间的权重信息的权重索引，当前神经元根据接收到的权重索引信息读取权重信息后，根据不同的神经元模型进行相应的运算处理，获取前端神经元的输入信息。神经元之间不再将权重信息直接传递，而是将权重信息的索引进行传递，不但节省了网络之间的传递信息量，并且可以更加灵活的改变各个神经元的权重信息的设置，提高了神经元网络的信息处理能力。

在其中一个实施例中，所述前端神经元，包括人工神经元或脉冲神经元，即，前端神经元和当前神经元，可以为人工神经元或脉冲神经元，即人工神经元网络或脉冲神经元网络，均可以在权重信息的传递中，采用权重索引的方式。

具体的，当所述神经元为人工神经元时，所述接收前端神经元的神经元输出信息，以及与所述神经元输出信息对应的权重索引，包括：前端人工神经元输出的膜电位信息、前端人工神经元与当前人工神经元的连接权重索引；所述根据所述权重索引，读取权重索引信息对应关系，获取权重信息，包括：根据所述前端人工神经元与当前人工神经元的连接权重索引，读取前端人工神经元与当前人工神经元的连接权重。

当所述神经元为脉冲神经元时，所述接收前端神经元的神经元输出信息，以及与所述神经元输出信息对应的权重索引，包括：前端脉冲神经元输出的脉冲尖端信息、前端脉冲神经元与当前脉冲神经元的连接权重索引；根据所述权重索引，读取权重索引信息对应关系，获取权重信息，包括：根据所述前端脉冲神经元与当前脉冲神经元的连接权重索引，读取前端脉冲神经元与当前脉冲神经元的连接权重。

在本实施例中，权重索引的使用，不但适用于人工神经网络，也适用于脉冲神经网络，提高了人工神经网络和脉冲神经网络的信息处理能力。

在其中一个实施例中，所述权重索引，包括与所述权重索引对应的权重信息的存储地址。

具体的，除权重信息的存储地址外，也可以采用权重信息的编号等作为权重索引，或根据实际需求，采用其它方式对权重信息进行索引信息的获取后，用做权重信息的索引信息。

在本实施例中，采用权重信息的存储地址作为其索引信息，可以使接收到索引信息的神经元直接利用存储地址信息查询到权重信息，提高权重信息的提取效率，进而提高整个神经元网络的信息处理效率。

在其中一个实施例中，所述接收前端神经元的神经元输出信息，以及与所述神经元输出信息对应的权重索引，包括：接收前端神经元输出的路由信息，所述路由信息包括前端神经元输出的神经元输出信息，以及与所述神经元输出信息对应的权重索引；解析所述路由信息，获取所述神经元输出信息和所述权重索引。

具体的，将所述权重索引设置在路由信息中，利用现有的神经网络中的信息传递数据，将权重索引信息进行传递。在路由信息中，利用固定长度或可变长度的信息位存储所述索引信息即可。

在本实施例中，将权重索引和神经元输出信息，设置于路由信息中进行传送，充分利用了现有的路由数据，提高了神经元之间的信息使用效率。

在其中一个实施例中，根据预设的权重取值范围和初始权重信息，利用权重约化算法计算出的所述权重信息，将权重限定在某些固定的值。

具体的，所述预设的权重取值范围，是为网络中所需的权重最大值和最小值形成的范围；所述权重约化算法，在保证算法精度的前提下，可将权重离散化为某些固定的值，例如权重二值化、三值化算法。

在本实施例中，根据预设的权重取值范围，利用权重约化算法计算出的权重信息，其权重值在预设的取值范围之内的某些固定值，减少了用于存储权重信息的硬件的存储空间，并且保持了权重信息的精度。

图2为另一个实施例的神经元权重信息处理方法的流程示意图，如图2所示的神经元权重信息处理方法包括：

步骤S100，接收前端神经元的神经元输出信息，以及与所述神经元输出信息对应的权重索引。

步骤S200，根据所述权重索引，读取权重索引信息对应关系，获取权重信息，所述权重索引信息对应关系为权重索引和权重信息之间的对应关系。

步骤S300，根据所述权重信息和所述神经元输出信息，获取所述前端神经元的输入信息。

步骤S400，根据所述前端神经元的输入信息和读取的当前神经元信息，根据神经元输出算法，计算当前神经元输出信息。

具体的，当所述神经元为人工神经元时，所述当前人工神经元信息包括：当前人工神经元偏置信息；则所述根据所述前端神经元的输入信息和读取的当前神经元信息，根据神经元输出算法，计算当前神经元输出信息，包括：根据所述前端人工神经元输出的膜电位信息、所述前端人工神经元与当前人工神经元的连接权重、所述当前人工神经元偏置信息，通过预设的人工神经元激活函数，计算当前人工神经元输出信息。

当所述神经元为脉冲神经元时，所述当前脉冲神经元信息包括：历史膜电位信息和膜电位泄漏信息；则所述根据所述前端神经元的输入信息和读取的当前神经元信息，根据神经元输出算法，计算当前神经元输出信息，包括：根据所述前端脉冲神经元输入信息、所述前端脉冲神经元与当前脉冲神经元的连接权重、所述历史膜电位信息、所述膜电位泄露信息，通过脉冲神经元计算模型，计算当前脉冲神经元输出信息

步骤S500，确定所述当前神经元输出信息的目的信息，并根据所述目的信息查找目的索引对应关系，获取所述目的信息的权重索引，所述目的索引对应关系包括目的信息和权重索引之间的对应关系。

具体的，当一个神经网络的任务确定后，当前神经元与后端神经元的连接关系便已经确定，当前神经元输出信息的目的信息也已经确定。根据所述当前神经元输出信息的目的信息，查找目的索引对应关系，便可以对应的权重索引。

步骤S600，输出所述当前神经元输出信息和所述权重索引。

具体的，输出所述当前神经元输出信息和所述权重索引给后端的神经元即可完成权重索引的整个传递过程。

在本实施例中，当前神经元计算出用于输出的当前神经元的输出信息后，根据输出信息的目的神经元，查找对应的权重索引后，输出所述当前神经元输出信息和所述权重索引。当前神经元将权重索引发送至后端的神经元，将权重索引信息在神经网络中进行了完整的传递，提高了神经网络的信息处理能力。

图3为一个实施例的神经元权重信息处理系统的结构示意图，如图3所示的神经元权重信息处理系统包括：

前端神经元输出信息接收模块100，用于接收前端神经元的神经元输出信息，以及与所述神经元输出信息对应的权重索引；所述前端神经元，包括人工神经元或脉冲神经元。所述权重索引，包括与所述权重索引对应的权重信息的存储地址。所述前端神经元输出信息接收模块，包括：路由信息接收单元，用于接收前端神经元输出的路由信息，所述路由信息包括前端神经元输出的神经元输出信息，以及与所述神经元输出信息对应的权重索引；路由信息解析单元，用于解析所述路由信息，获取所述神经元输出信息和所述权重索引。

权重信息获取模块200，用于根据所述权重索引，读取权重索引信息对应关系，获取权重信息，所述权重索引信息对应关系为权重索引和权重信息之间的对应关系；所述权重信息，包括：根据预设的权重取值范围和初始权重信息，利用权重约化算法计算出的所述权重信息。

前端神经元输入信息获取模块300，用于根据所述权重信息和所述神经元输出信息，获取所述前端神经元的输入信息。

在本实施例中，当前神经元接收的前端神经元的输出信息中，携带前端神经元与当前神经元之间的权重信息的权重索引，当前神经元根据接收到的权重索引信息读取权重信息后，根据不同的神经元模型进行相应的运算处理，获取前端神经元的输入信息。神经元之间不再将权重信息直接传递，而是将权重信息的索引进行传递，不但节省了网络之间的传递信息量，并且可以更加灵活的改变各个神经元的权重信息的设置，提高了神经元网络的信息处理能力。权重索引的使用，不但适用于人工神经网络，也适用于脉冲神经网络，提高了人工神经网络和脉冲神经网络的信息处理能力。采用权重信息的存储地址作为其索引信息，可以使接收到索引信息的神经元直接利用存储地址信息查询到权重信息，提高权重信息的提取效率，进而提高整个神经元网络的信息处理效率。将权重索引和神经元输出信息，设置于路由信息中进行传送，充分利用了现有的路由数据，提高了神经元之间的信息使用效率。根据预设的权重取值范围，利用权重约化算法计算出的权重信息，其权重值在预设的取值范围之内，减少了用于存储权重信息的硬件的存储空间，并且保持了权重信息的精度。

图4为另一个实施例的神经元权重信息处理系统的结构示意图，如图4所示的神经元权重信息处理系统包括：

前端神经元输出信息接收模块100，用于接收前端神经元的神经元输出信息，以及与所述神经元输出信息对应的权重索引。

权重信息获取模块200，用于根据所述权重索引，读取权重索引信息对应关系，获取权重信息，所述权重索引信息对应关系为权重索引和权重信息之间的对应关系。

前端神经元输入信息获取模块300，用于根据所述权重信息和所述神经元输出信息，获取所述前端神经元的输入信息。

当前神经元输出信息获取模块400，用于根据所述前端神经元的输入信息和读取的当前神经元信息，根据神经元输出算法，计算当前神经元输出信息。

权重索引确定模块500，用于确定所述当前神经元输出信息的目的信息，并根据所述目的信息查找目的索引对应关系，获取所述目的信息的权重索引，所述目的索引对应关系包括目的信息和权重索引之间的对应关系。

权重索引发送模块600，用于输出所述当前神经元输出信息和所述权重索引。

在本实施例中，当前神经元计算出用于输出的当前神经元的输出信息后，根据输出信息的目的神经元，查找对应的权重索引后，输出所述当前神经元输出信息和所述权重索引。当前神经元将权重索引发送至后端的神经元，将权重索引信息在神经网络中进行了完整的传递，提高了神经网络的信息处理能力。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种神经元权重信息处理方法，其特征在于，所述方法包括：

接收前端神经元的神经元输出信息，以及与所述神经元输出信息对应的权重索引，其中，所述权重索引用于当前神经元检索到与所述神经元输出信息对应的权重信息的索引信息，且所述权重索引能够在所述前端神经元和所述当前神经元之间进行直接传递；

根据所述权重索引，读取权重索引信息对应关系，获取权重信息，所述权重索引信息对应关系为权重索引和权重信息之间的对应关系；

根据所述权重信息和所述神经元输出信息，获取所述前端神经元的输入信息。

2.根据权利要求1所述的神经元权重信息处理方法，其特征在于：

所述前端神经元，包括人工神经元或脉冲神经元。

3.根据权利要求1所述的神经元权重信息处理方法，其特征在于，所述接收前端神经元的神经元输出信息，以及与所述神经元输出信息对应的权重索引，包括：

接收前端神经元输出的路由信息，所述路由信息包括前端神经元输出的神经元输出信息，以及与所述神经元输出信息对应的权重索引；

解析所述路由信息，获取所述神经元输出信息和所述权重索引。

4.根据权利要求1所述的神经元权重信息处理方法，其特征在于，所述权重信息，包括：

根据预设的权重取值范围和初始权重信息，利用权重约化算法计算出的所述权重信息。

5.根据权利要求1所述的神经元权重信息处理方法，其特征在于，在根据所述权重信息和所述神经元输出信息，获取所述前端神经元的输入信息的步骤之后，所述方法还包括：

根据所述前端神经元的输入信息和读取的当前神经元信息，根据神经元输出算法，计算当前神经元输出信息；

确定所述当前神经元输出信息的目的信息，并根据所述目的信息查找目的索引对应关系，获取所述目的信息的权重索引，所述目的索引对应关系包括目的信息和权重索引之间的对应关系；

输出所述当前神经元输出信息和所述权重索引。

6.一种神经元权重信息处理系统，其特征在于，包括：

前端神经元输出信息接收模块，用于接收前端神经元的神经元输出信息，以及与所述神经元输出信息对应的权重索引，其中，所述权重索引用于当前神经元检索到与所述神经元输出信息对应的权重信息的索引信息，且所述权重索引能够在所述前端神经元和所述当前神经元之间进行直接传递；

权重信息获取模块，用于根据所述权重索引，读取权重索引信息对应关系，获取权重信息，所述权重索引信息对应关系为权重索引和权重信息之间的对应关系；

前端神经元输入信息获取模块，用于根据所述权重信息和所述神经元输出信息，获取所述前端神经元的输入信息。

7.根据权利要求6所述的神经元权重信息处理系统，其特征在于：

所述前端神经元，包括人工神经元或脉冲神经元。

8.根据权利要求6所述的神经元权重信息处理系统，其特征在于，所述前端神经元输出信息接收模块，包括：

路由信息接收单元，用于接收前端神经元输出的路由信息，所述路由信息包括前端神经元输出的神经元输出信息，以及与所述神经元输出信息对应的权重索引；

路由信息解析单元，用于解析所述路由信息，获取所述神经元输出信息和所述权重索引。

9.根据权利要求6所述的神经元权重信息处理系统，其特征在于，所述权重信息，包括：

根据预设的权重取值范围和初始权重信息，利用权重约化算法计算出的所述权重信息。

10.根据权利要求6所述的神经元权重信息处理系统，其特征在于，还包括：

当前神经元输出信息获取模块，用于根据所述前端神经元的输入信息和读取的当前神经元信息，根据神经元输出算法，计算当前神经元输出信息；

权重索引确定模块，用于确定所述当前神经元输出信息的目的信息，并根据所述目的信息查找目的索引对应关系，获取所述目的信息的权重索引，所述目的索引对应关系包括目的信息和权重索引之间的对应关系；

权重索引发送模块，用于输出所述当前神经元输出信息和所述权重索引。