CN114861895A - 神经网络神经元信息存储方法及装置、众核系统、介质 - Google Patents

Abstract

本公开提供了一种神经网络神经元信息存储方法，所述神经网络为加载在众核系统的神经网络，该方法包括：根据神经网络的神经元的近期发放活跃度确定神经元当前时刻为稀疏神经元或非稀疏神经元；在神经元当前时刻为稀疏神经元，且神经元在当前时刻之前时刻为非稀疏神经元的情况下，将神经元的权重信息从众核系统的片上存储空间转移至众核系统外的外加存储空间；在神经元当前时刻为非稀疏神经元，且神经元在当前时刻之前时刻为稀疏神经元的情况下，将神经元的权重信息从众核系统外的外加存储空间转移至众核系统的片上存储空间。本公开还提供了一种神经网络神经元信息存储方法及装置、众核系统、计算机可读介质。

Description

神经网络神经元信息存储方法及装置、众核系统、介质

技术领域

本公开涉及计算机技术领域，特别涉及一种神经网络神经元信息存储方法及装置、众核系统、计算机可读介质。

背景技术

随着人工智能技术的不断发展，神经网络的应用也越来越广泛，人工智能技术中的神经网络由大量神经元构成，每个神经元可以连接其他神经元，神经元之间的连接强度由连接权重表示。连接权重的存储需要占用大量存储空间，如何优化权重信息的存储成为面临的实际问题。

发明内容

本公开提供一种神经网络神经元信息存储方法及装置、众核系统、计算机可读介质。

第一方面，本公开提供了神经网络神经元信息存储方法，其中，所述神经网络为加载在众核系统的神经网络，所述神经网络的稀疏神经元的权重信息存储在所述众核系统外的外加存储空间，所述神经网络的非稀疏神经元的权重信息存储在所述众核系统的片上存储空间，所述神经网络神经元信息存储方法包括：根据所述神经网络的神经元的近期发放活跃度确定所述神经元当前时刻为稀疏神经元或非稀疏神经元；在所述神经元当前时刻为稀疏神经元，且所述神经元在当前时刻之前时刻为非稀疏神经元的情况下，将所述神经元的权重信息从所述众核系统的片上存储空间转移至所述众核系统外的外加存储空间；在所述神经元当前时刻为非稀疏神经元，且所述神经元在当前时刻之前时刻为稀疏神经元的情况下，将所述神经元的权重信息从所述众核系统外的外加存储空间转移至所述众核系统的片上存储空间。

第二方面，本公开提供了一种神经网络神经元信息存储装置，所述神经网络为加载在众核系统的神经网络，所述神经网络的稀疏神经元的权重信息存储在所述众核系统外的外加存储空间，所述神经网络的非稀疏神经元的权重信息存储在所述众核系统的片上存储空间，所述神经网络神经元信息存储装置包括：判断模块，用于根据所述神经网络的神经元的近期发放活跃度确定所述神经元当前时刻为稀疏神经元或非稀疏神经元；第一执行模块，用于在所述神经元当前时刻为稀疏神经元，且所述神经元在当前时刻之前时刻为非稀疏神经元的情况下，将所述神经元的权重信息从所述众核系统的片上存储空间转移至所述众核系统外的外加存储空间；第二执行模块，用于在所述神经元当前时刻为非稀疏神经元，且所述神经元在当前时刻之前时刻为稀疏神经元的情况下，将所述神经元的权重信息从所述众核系统外的外加存储空间转移至所述众核系统的片上存储空间。

第三方面，本公开提供了一种众核系统，该众核系统包括：多个处理核；以及，片上网络，被配置为交互所述多个处理核间的数据和外部数据；其中，一个或多个所述处理核中存储有一个或多个指令，一个或多个所述指令被一个或多个所述处理核执行，以使一个或多个所述处理核能够执行上述的神经网络神经元信息存储方法。

第四方面，本公开提供了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序在被处理核执行时实现上述的神经网络神经元信息存储方法。

本公开所提供的神经网络神经元信息存储方法及装置、众核系统、计算机可读介质，根据神经元的稀疏性的动态变化，将稀疏神经元与后继神经元的连接权重值存储在众核系统外的外部存储空间，将非稀疏神经元的连接权重值存储在众核系统的片上存储空间，在不影响神经网络的处理效率的同时，减少连接权重值对众核系统的片上存储空间的占用，使得众核系统的片上存储空间可以有更大的空间存储更加重要的信息，提升神经网络的性能。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用来提供对本公开的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述，以上和其他特征和优点对本领域技术人员将变得更加显而易见，在附图中：

图1为本公开实施例提供的一种神经网络神经元信息存储方法的流程图；

图2为本公开实施例提供的另一种神经网络神经元信息存储方法的流程图；

图3a为本公开实施例提供的神经网络神经元的发放值随时间变化的坐标示意图；

图3b为本公开实施例提供的神经网络神经元的活跃度随时间变化的坐标示意图；

图4为本公开实施例提供的一种加载神经网络的众核系统的示意图；

图5为本公开实施例提供的一种神经网络神经元信息存储装置的组成框图；

图6为本公开实施例提供的一种众核系统的组成框图。

具体实施方式

为使本领域的技术人员更好地理解本公开的技术方案，以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

在不冲突的情况下，本公开各实施例及实施例中的各特征可相互组合。

如本文所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。

本文所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本文所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。还将理解的是，当本说明书中使用术语“包括”和/或“由……制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。

除非另外限定，否则本文所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本文明确如此限定。

在一些相关技术中，通过处理芯片执行神经网络，如将神经网络加载在众核系统，由于神经网络的连接权重需要占用存储空间，因此，在神经网络加载在众核系统的情况下，连接权重可以存储在众核系统的片上存储空间，也可以存储在众核系统外的外加存储空间。

若连接权重存储在众核系统的片上存储空间，由于众核系统的片上存储空间的容量有限，为了保证所有的连接权重都可以存储，可能需要牺牲一些信息，如连接权重的精度，对神经网络的性能造成影响。

若连接权重存储在存储空间更大的众核系统外的外加存储空间，虽然可以释放众核系统的片上存储空间，但每次使用连接权重时，众核系统都需要从外加存储空间读取连接权重，从外加存储空间读取连接权重的功耗代价较大，且会占用较大的带宽，不仅增加了连接权重的读取功耗代价，还会影响神经网络的处理速度和处理效率。

本公开实施例的神经网络神经元信息存储方法，根据神经元稀疏性的动态变化，将稀疏神经元与后继神经元的连接权重值存储在众核系统外的外部存储空间，将非稀疏神经元的连接权重值存储在众核系统的片上存储空间，在不影响神经网络的处理效率的同时，减少连接权重值对众核系统的片上存储空间的占用，使得众核系统的片上存储空间可以有更大的空间存储更加重要的信息，提升神经网络的性能。

图1为本公开实施例提供的一种神经网络神经元信息存储方法的流程图。

参照图1，本公开实施例提供一种神经网络神经元信息存储方法。

本公开实施例的神经网络可以是脉冲神经网络(Spiking Neural Network，SNN)，也可以是人工神经网络(Artificial Neural Network，ANN)，也可以是其他由多个神经元组成的神经网络。

本公开实施例的神经网络可以是加载在众核系统的神经网络，众核系统的至少部分处理核对应神经网络的一个或多个神经元。

在将神经网络加载到众核系统的过程中，可以根据神经元的稀疏性(如与前继神经元或后继神经元的不为零的连接权重的个数)将神经元分为稀疏神经元和非稀疏神经元，并将稀疏神经元的权重信息存储在众核系统外的外加存储空间，将非稀疏神经元的权重信息存储在众核系统的片上存储空间。

其中，神经元的权重信息可以包括可以表示该神经元与其后继神经元间的连接权重的值，其具体可以是该神经元与其后继神经元间的连接权重值，也可以是权重索引信息以及有效权重信息，权重索引信息包括与神经元的后继神经元一一对应的标识信息，标识信息用于表示其对应的后继神经元与该神经元的连接权重是否为零，有效权重信息则包括有效权重值，每个有效权重值为该神经元与一个后继神经元不为零的连接权重值。

众核系统外的外加存储空间可以是除众核系统外其他具有存储功能的芯片、服务器等。

参照图1，本公开实施例提供的神经网络神经元信息存储方法具体包括：

S101、根据神经网络的神经元的近期发放活跃度确定神经元当前时刻为稀疏神经元或非稀疏神经元。

神经网络的神经元对应的处理核获取该神经元在近期发放活跃程度(即近期发放活跃度)，根据近期发放活跃度确定该神经元在当前时刻为稀疏神经元，或非稀疏神经元。

其中，若神经元被确定在当前时刻为稀疏神经元，则说明该神经元在近期的众核系统执行神经网络的过程中，经常沉默(即神经元的发放值经常为0，或者说不经常进行发放)，其在之后一段时间内的执行神经网络的过程中，也有大概率不进行发放。

在神经元的发放值为0的情况下，计算与神经元连接的后继神经元的输入电流值时，可以不读取该神经元的权重信息，直接判定该神经元对后继神经元的输入电流值的贡献为0。

因此，当神经元被确定在当前时刻稀疏神经元，在之后一段时间内的众核系统执行神经网络的过程中，该神经元的权重信息也有很大的概率并不参与计算，不会被读取。

若将该神经元的权重信息存储在众核系统外的外部存储空间，在众核系统执行神经网络的过程中，由于该权重信息被读取的次数较少，所需要的读取的功耗自然也很小，对神经网络的处理效率的影响也很小。

同时，将该神经元的权重信息存储在众核系统外的外部存储空间，可以减少权重信息对众核系统的片上存储空间的占用，使得众核系统的片上存储空间可以有更大的空间存储更加有用的信息(如使用频率更高的权重信息)，有利于提升神经网络的性能。

若神经元被确定在当前时刻为非稀疏神经元，则说明该神经元在近期的众核系统执行神经网络的过程中，发放值经常不为0，或者说经常进行发放，其在之后一段时间的执行神经网络的过程中，也有大概率要进行发放。

在神经元的发放值不为0的情况下，计算与神经元连接的后继神经元的输入电流值时，需要读取该神经元的权重信息。因此，当神经元被确定在当前时刻为非稀疏神经元，在之后一段时间内的众核系统执行神经网络的过程中，该神经元的权重信息有很大的概率参与计算，需要的读取功耗较大，对神经网络的处理效率的影响也较大。

若将其权重信息存储在众核系统的片上存储空间，方便在众核系统执行神经网络的过程中读取权重信息，避免对神经网络的处理效率的影响。

S102、在神经元当前时刻为稀疏神经元，且神经元在当前时刻之前时刻为非稀疏神经元的情况下，将神经元的权重信息从众核系统的片上存储空间转移至众核系统外的外加存储空间。

S103、在神经元当前时刻为非稀疏神经元，且神经元在当前时刻之前时刻为稀疏神经元的情况下，将神经元的权重信息从众核系统外的外加存储空间转移至众核系统的片上存储空间。

在确定神经元的稀疏性发生变化的情况下，为了不对神经网络的处理效率造成影响，处理核对神经元的权重信息也进行对应的处理。

如神经元在当前时刻被确定为稀疏神经元，神经元的权重信息应被存储在众核系统外的外加存储空间，以节省神经元的权重信息所占用的片上存储空间。

但由于神经元在当前时刻之前时刻为非稀疏神经元，也就是说，该神经元的权重信息被存储在众核系统的片上存储空间，因此需要将神经元的权重信息从众核系统的片上存储空间转移至众核系统外的外加存储空间。

再如神经元在当前时刻被确定为非稀疏神经元，神经元的权重信息应被存储在众核系统的片上存储空间，以方便处理核在神经元进行发放时，读取该神经元的权重信息。

但由于该神经元在当前时刻之前时刻为非稀疏神经元，也就是说，该神经元的权重信息被存储在众核系统外的外加存储空间，因此需要将该神经元的权重信息从众核系统外的外加存储空间转移至众核系统的片上存储空间。

若神经元在当前时刻之前时刻为非稀疏神经元，且其在当前时刻依然被确定为非稀疏神经元，也就是说，神经元的稀疏性并没有发生变化，因此，神经元的权重信息不需要进行处理，其继续存储在众核系统的片上存储空间即可。

若神经元在当前时刻之前时刻为稀疏神经元，且其在当前时刻依然被确定为稀疏神经元，也就是说，神经元的稀疏性并没有发生变化，因此，神经元的权重信息不需要进行处理，其继续存储在众核系统外的外加存储空间即可。

神经网络的输入等信息发生变化时，神经网络每个神经元的输入也会随之变化，神经元的发放值自然也可能随之变化，也就是说，神经元的近期发放活跃度是随着神经网络的输入等信息发生变化的，神经网络的输入等信息是一个随着时间变化的量，因此神经元的近期发放活跃度也是随着时间发生变化的，也就是说，一个神经元是稀疏神经元还是非稀疏神经元也可能是随着时间发生变化的，是动态的。

处理核根据神经元的近期发放活跃度，动态确定神经元为稀疏神经元或非稀疏神经元，可以避免稀疏神经元随着时间变化为非稀疏神经元，但其权重信息仍存储在众核系统外的外加存储空间，影响神经网络的处理效率。

在一些实施例中，在将神经元的权重信息从众核系统的片上存储空间转移至众核系统外的外加存储空间，可以是将神经元的权重信息从众核系统的片上存储空间转移至众核系统外的外加存储空间，并将该神经元的权重信息在外加存储空间的地址信息存储在众核系统的片上存储空间，以使众核系统基于地址信息获取神经元的权重信息。

其中，地址信息可以是该神经元的权重信息在外加存储空间的起始地址以及权重信息所占的长度。

在一些实施例中，将神经元的权重信息从众核系统外的外加存储空间转移至众核系统的片上存储空间，可以是将该神经元的权重信息从众核系统外的外加存储空间转移至神经元的后继神经元对应的片上存储空间，以使后继神经元基于神经元的权重信息进行相应处理，如计算后继神经元的输入电流值。

在一些实施例中，在神经元为稀疏神经元的情况下，神经元的权重信息包括权重索引信息以及有效权重信息，权重索引信息包括标识信息，每个标识信息对应该神经元的一个后继神经元，用于表示该后继神经元与神经元的连接权重值是否为零；有效权重信息包括有效权重值，每个有效权重值为神经元与一个后继神经元不为零的连接权重值。

在一些实施例中，在神经元为非稀疏神经元的情况下，神经元的权重信息包括该神经元与其后继神经元的连接权重值。

将非稀疏神经元与后继神经元的连接权重值存储为索引信息和有效权重信息，就不需要对连接权重值为零的连接权重值进行存储，在神经元与一个或多个后继神经元的连接权重值为零的情况下，可以节省连接权重值存储所占用的存储空间。

图2为本公开实施例提供的另一种神经网络神经元信息存储方法的流程图。

参照图2，本公开实施例提供的神经网络神经元信息存储方法包括：

S201、每隔预定时间根据神经网络的神经元的近期发放活跃度确定神经元为稀疏神经元或非稀疏神经元。

处理核每隔预先设置的预定时间获取该神经元在近期发送的活跃程度(即近期发放活跃度)，根据获取的近期发放活跃度确定该神经元为稀疏神经元，或非稀疏神经元。

在一些实施例中，神经元的近期发放活跃度包括神经元在当前时刻之前的预定时间段的发放频率、神经元在当前时刻之前的预定时间段的发放频率的变化量以及神经元在当前时刻的活跃度中至少一者。

也就是说，处理核获取的神经元的近期发放活跃度可以包括神经元在当前时刻的活跃度，也可以包括神经元在当前时刻之前的预定时间段内发放频率，还可以包括神经元在当前时刻之前的预定时间段内发放频率的变化量。

其中，预定时间段的长度与确定神经元为稀疏神经元或非稀疏神经元的间隔时间的长度可以是相同的，也可以是不同的。

即若处理核该次获取神经元的近期发放活跃度的时间为t1(即当前时刻)，当前时刻之前的预定时间段为t2到t1的时间段，处理核上一次获取该神经元的近期发放活跃度的时间可以为t2(这种情况下，预定时间段的长度与确定神经元为稀疏神经元或非稀疏神经元的间隔时间的长度是相同的)，也可以为t2之前或之后的时间(这种情况下，预定时间段的长度与确定神经元为稀疏神经元或非稀疏神经元的间隔时间的长度是不相同的)。

神经元在当前时刻之前的预定时间段内的发放频率可以通过统计该神经元在预定时间段内发放值不为0(即不沉默)的次数计算，如若当前时刻之前的预定时间段为t2到t1的时间段，则可统计该神经元在t2到t1的时间段内发放值不为0的次数作为神经元在当前时刻之前的预定时间段内发放频率。

神经元在当前时刻之前的预定时间段内的发放频率的变化量可以通过神经元在相邻预定时间段内的发放频率计算，如若当前时刻之前的预定时间段为t2到t1的时间段，则可将t2到t1的时间段内神经元的发放频率与t3到t2的时间段(t3到t2的时间段的长度与t2到t1的时间段的长度一致)内神经元发放频率的差值作为神经元在当前时刻之前的预定时间段内发放频率的变化量。

在一些实施例中，神经元在当前时刻的活跃度通过神经元在前一时刻的活跃度和神经元在当前时刻的发放值确定。

举例来说，可以通过公式trace(t)＝αtrace(t-1)+βs(t)计算神经元在当前时刻的活跃度；其中，α、β为权重系数；s(t)为t时刻神经元的发放值；trace(t)为神经元在t时刻的活跃度，trace(t-1)为神经元在t时刻的前一时刻的活跃度。

也就是说，神经元在t时刻的活跃度由神经元在t时刻的前一时刻的活跃度和神经元在t时刻的发放值共同确定，α的取值决定在神经元在t时刻的前一时刻的活跃度对神经元在t时刻的活跃度的影响程度，β的取值决定了神经元在t时刻的发放值对神经元在t时刻的活跃度的影响程度,α、β可以都是小于1的值。

图3a为神经元的发放值随时间变化的坐标示意图，其中，横坐标t表示时刻，纵坐标firing表示神经元的发放值。

参照图3a，神经元分别在t4时刻、t5时刻、t6时刻进行了发放(发放值为1)，其余时刻沉默(或者说发放值为0)。

图3b为神经元的活跃度随时间变化的坐标示意图，其中，横坐标t表示时刻，纵坐标trace表示神经元的活跃度。

参照图3b，在t4时刻之前的时刻神经元一直沉默，即神经元在t4时刻之前的活跃度一直为0，t4时刻神经元进行了发放(如发放值为1)，根据公式trace(t4)＝αtrace(t4-1)+βs(t4)＝0+β＝β。

在t4时刻到t5时刻之间，神经元一直沉默(即发放值为0)，trace(t4+1)＝αtrace(t4)+βs(t4+1)＝αtrace(t4)+0＝αtrace(t4)，要小于trace(t4)，同理可得，trace(t4+2)要小于trace(t4+1)，……trace(t5-1)要小于trace(t5-2)，即在t4时刻到t5时刻之间，神经元的活跃度是不断减少的。

在t5时刻，神经元进行了发放，根据公式trace(t5)＝αtrace(t5-1)+βs(t5)＝αtrace(t5-1)+β，神经元的活跃度在t5时刻得到提升。

在t5时刻到t6时刻之间，神经元一直沉默，trace(t5+1)＝αtrace(t5)+βs(t5+1)＝αtrace(t5)+0＝αtrace(t5)，要小于trace(t5)，同理可得，trace(t5+2)要小于trace(t5+1)，……trace(t6-1)要小于trace(t6-2)，即在t5时刻到t6时刻之间，神经元的活跃度也是不断减少的。

在t6时刻神经元进行了发放，神经元的活跃度相比于t6-1时刻得到了提升。

S202、在神经元当前时刻为稀疏神经元，且神经元在当前时刻之前时刻为非稀疏神经元的情况下，将神经元的权重信息从众核系统的片上存储空间转移至众核系统外的外加存储空间，并将神经元的权重信息在外加存储空间的地址信息存储在众核系统的片上存储空间，以使众核系统基于地址信息获取神经元的权重信息。

神经元在当前时刻之前时刻为非稀疏神经元，则说明神经元的权重信息存储在众核系统的片上存储空间，若神经元在当前时刻依然被确定为非稀疏神经元，神经元的权重信息依然需要被存储在众核系统的片上存储空间，因此并不需要对神经元的权重信息进行处理。

若神经元在当前时刻被确定为稀疏神经元，需要将神经元的权重信息从众核系统的片上存储空间转移至众核系统外的外加存储空间。

在将神经元的权重信息存储至众核系统外的外加存储空间后，还需要将该神经元的权重信息在外加存储空间的地址信息存储在众核系统的片上存储空间，以便众核系统在需要的时候基于地址信息获取神经元的权重信息。

其中，地址信息可以是该神经元的权重信息在外加存储空间的起始地址以及权重信息所占的长度，也就是说，众核系统可以从起始地址开始读取权重信息所占的长度的信息获取权重信息。

众核系统基于地址信息获取神经元的权重信息的过程可以参照图4，当神经元为稀疏神经元，如图4中带箭头的实线所示，神经元对应的处理核的计算单元在计算出神经元的发放值之后，使用存储在其对应的片上存储空间的权重信息的地址信息，通过众核系统外的调度器，访问众核系统外的外加存储空间，读取该神经元对应的权重信息，并从权重信息中确定每个后继神经元对应的连接权重值，并将对应的连接权重值以及该神经元的发放值发送给后继神经元对应的处理核(即图4中小正方形对应的处理核)。

在一些实施例中，由于在神经元为稀疏神经元的情况下，神经元的权重信息包括权重索引信息以及有效权重信息；在神经元为非稀疏神经元的情况下，神经元的权重信息包括该神经元与其后继神经元的连接权重值。

因此，由于该神经元在当前时刻之前时刻为非稀疏神经元，其权重信息为该神经元与其后继神经元的连接权重值，在将权重信息转移至众核系统外的外加存储空间之前，需要根据神经元与其后继神经元的连接权重值获取该神经元的权重索引信息以及有效权重信息，然后将该神经元的权重索引信息以及有效权重信息存储在众核系统外的外加存储空间，将该神经元的权重索引信息以及有效权重信息在外加存储空间的地址信息存储在众核系统的片上存储空间。

S203、在神经元当前时刻为非稀疏神经元，且神经元在当前时刻之前时刻为非稀疏神经元的情况下，将神经元的权重信息从众核系统外的外加存储空间转移至神经元的后继神经元对应的片上存储空间，以使后继神经元基于神经元的权重信息进行相应处理。

同理可得，神经元在当前时刻之前时刻为稀疏神经元，则说明神经元的权重信息存储在众核系统外的外加存储空间，若神经元在当前时刻依然被确定为稀疏神经元，神经元的权重信息依然需要被存储在众核系统外的外加存储空间，因此并不需要对神经元的权重信息进行处理。

若神经元在当前时刻被确定为非稀疏神经元，则需要将神经元的权重信息从众核系统外的外加存储空间转移至该神经元的后继神经元对应的片上存储空间。

如在该神经元的权重信息为该神经元与每个后继神经元的连接权重值的情况下，将该神经元与每个后继神经元的连接权重值存储在对应的后继神经元对应的片上存储空间，这样神经元对应的处理核的计算单元就可以如图4中带箭头的虚线所示，在计算出神经元的发放值之后，由于后继神经元与该神经元的连接权重值保存在后继神经元对应的片上存储空间，因此计算单元可以直接将该神经元的发放值发送给后继神经元对应的处理核(即图4中小正方形对应的处理核)，供后继神经元根据该神经元的发放值以及连接权重值来计算自己的输入电流值。

在一些实施例中，在神经元为稀疏神经元的情况下，神经元的权重信息包括权重索引信息以及有效权重信息；在神经元为非稀疏神经元的情况下，神经元的权重信息包括该神经元与其后继神经元的连接权重值。

因此，由于该神经元在当前时刻之前时刻为稀疏神经元，其权重信息为该神经元的权重索引信息以及有效权重信息，在将权重信息转移至后继神经元对应的片上存储空间之前，需要根据该神经元的权重索引信息以及有效权重信息获取该神经元与其后继神经元的连接权重值，然后将该神经元与每个后继神经元的连接权重值存储在对应的后继神经元对应的片上存储空间。

图5为本公开实施例提供的一种神经网络神经元信息存储装置的组成框图。

参照图5，本公开实施例提供了一种神经网络神经元信息存储装置500，其中，该神经网络为加载在众核系统的神经网络，神经网络的稀疏神经元的权重信息存储在众核系统外的外加存储空间，神经网络的非稀疏神经元的权重信息存储在众核系统的片上存储空间，则神经网络神经元信息存储装置500包括：

判断模块501，用于根据神经网络的神经元的近期发放活跃度确定神经元当前时刻为稀疏神经元或非稀疏神经元；

第一执行模块502，用于在神经元当前时刻为稀疏神经元，且神经元在当前时刻之前时刻为非稀疏神经元的情况下，将神经元的权重信息从众核系统的片上存储空间转移至众核系统外的外加存储空间；

第二执行模块503，用于在神经元当前时刻为非稀疏神经元，且神经元在当前时刻之前时刻为稀疏神经元的情况下，将神经元的权重信息从众核系统外的外加存储空间转移至众核系统的片上存储空间。

图6为本公开实施例提供的一种众核系统的组成框图。

参照图6，本公开实施例提供了一种众核系统，该众核系统包括多个处理核601以及片上网络602，其中，多个处理核601均与片上网络602连接，片上网络602用于交互多个处理核间的数据和外部数据。

其中，一个或多个处理核601中存储有一个或多个指令，一个或多个指令被一个或多个处理核601执行，以使一个或多个处理核601能够执行上述的神经网络神经元信息存储方法。

此外，本公开实施例还提供了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序在被处理核执行时实现上述的神经网络神经元信息存储方法。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

本文已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其他实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。

Claims (11)

1.一种神经网络神经元信息存储方法，其中，所述神经网络为加载在众核系统的神经网络，所述神经网络的稀疏神经元的权重信息存储在所述众核系统外的外加存储空间，所述神经网络的非稀疏神经元的权重信息存储在所述众核系统的片上存储空间，所述神经网络神经元信息存储方法包括：

根据所述神经网络的神经元的近期发放活跃度确定所述神经元当前时刻为稀疏神经元或非稀疏神经元；

在所述神经元当前时刻为稀疏神经元，且所述神经元在当前时刻之前时刻为非稀疏神经元的情况下，将所述神经元的权重信息从所述众核系统的片上存储空间转移至所述众核系统外的外加存储空间；

在所述神经元当前时刻为非稀疏神经元，且所述神经元在当前时刻之前时刻为稀疏神经元的情况下，将所述神经元的权重信息从所述众核系统外的外加存储空间转移至所述众核系统的片上存储空间。

2.根据权利要求1所述的方法，其中，所述将所述神经元的权重信息从所述众核系统的片上存储空间转移至所述众核系统外的外加存储空间，包括：

将所述神经元的权重信息从所述众核系统的片上存储空间转移至所述众核系统外的外加存储空间，并将所述神经元的权重信息在外加存储空间的地址信息存储在所述众核系统的片上存储空间，以使所述众核系统基于所述地址信息获取所述神经元的权重信息。

3.根据权利要求1所述的方法，其中，所述将所述神经元的权重信息从所述众核系统外的外加存储空间转移至所述众核系统的片上存储空间，包括：

将所述神经元的权重信息从所述众核系统外的外加存储空间转移至所述神经元的后继神经元对应的片上存储空间，以使所述后继神经元基于所述神经元的权重信息进行相应处理。

4.根据权利要求1所述的方法，其中，所述将所述神经元的权重信息从所述众核系统的片上存储空间转移至所述众核系统外的外加存储空间，包括：

根据所述神经元的权重信息获取所述神经元的权重索引信息以及有效权重信息；

其中，所述神经元的权重信息包括所述神经元与其后继神经元的连接权重值；所述权重索引信息包括至少一个标识信息，每个标识信息对应所述神经元的一个后继神经元，用于表示该后继神经元与所述神经元的连接权重值是否为零；所述有效权重信息包括有效权重值，每个有效权重值为所述神经元与一个后继神经元不为零的连接权重值；

将所述神经元的权重索引信息以及有效权重信息存储在所述众核系统外的外加存储空间。

5.根据权利要求1所述的方法，其中，所述将所述神经元的权重信息从所述众核系统外的外加存储空间转移至所述众核系统的片上存储空间，包括：

根据所述神经元的权重信息获取所述神经元与其后继神经元的连接权重值；

其中，所述神经元的权重信息包括所述神经元的权重索引信息以及有效权重信息，所述权重索引信息包括至少一个标识信息，每个标识信息对应所述神经元的一个后继神经元，用于表示该后继神经元与所述神经元的连接权重值是否为零；所述有效权重信息包括有效权重值，每个有效权重值为所述神经元与一个后继神经元不为零的连接权重值；

将所述神经元与每个后继神经元的连接权重值存储至该后继神经元对应的片上存储空间。

6.根据权利要求1所述的方法，其中，所述神经元的近期发放活跃度包括所述神经元在当前时刻之前的预定时间段的发放频率、所述神经元在当前时刻之前的预定时间段的发放频率的变化量以及所述神经元在当前时刻的活跃度中至少一者。

7.根据权利要求6所述的方法，其中，所述神经元在当前时刻的活跃度通过所述神经元在前一时刻的活跃度和所述神经元在当前时刻的发放值确定。

8.根据权利要求1所述的方法，其中，所述根据所述神经网络的神经元的近期发放活跃度确定所述神经元当前时刻为稀疏神经元或非稀疏神经元，包括：

每隔预定时间根据所述神经网络的神经元的近期发放活跃度确定所述神经元当前时刻为稀疏神经元或非稀疏神经元。

9.一种神经网络神经元信息存储装置，所述神经网络为加载在众核系统的神经网络，所述神经网络的稀疏神经元的权重信息存储在所述众核系统外的外加存储空间，所述神经网络的非稀疏神经元的权重信息存储在所述众核系统的片上存储空间，所述神经网络神经元信息存储装置包括：

判断模块，用于根据所述神经网络的神经元的近期发放活跃度确定所述神经元当前时刻为稀疏神经元或非稀疏神经元；

第一执行模块，用于在所述神经元当前时刻为稀疏神经元，且所述神经元在当前时刻之前时刻为非稀疏神经元的情况下，将所述神经元的权重信息从所述众核系统的片上存储空间转移至所述众核系统外的外加存储空间；

第二执行模块，用于在所述神经元当前时刻为非稀疏神经元，且所述神经元在当前时刻之前时刻为稀疏神经元的情况下，将所述神经元的权重信息从所述众核系统外的外加存储空间转移至所述众核系统的片上存储空间。

10.一种众核系统，包括：

多个处理核；以及

片上网络，被配置为交互所述多个处理核间的数据和外部数据；

一个或多个所述处理核中存储有一个或多个指令，一个或多个所述指令被一个或多个所述处理核执行，以使一个或多个所述处理核能够执行权利要求1-8中任一项所述的神经网络神经元信息存储方法。

11.一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序在被处理核执行时实现如权利要求1-8中任一项所述的神经网络神经元信息存储方法。

Images