CN108182473A - 基于类脑脉冲神经网络的全尺度分布式全脑模拟系统 - Google Patents

Abstract

本发明涉及类脑神经网络领域，提出了一种基于类脑脉冲神经网络的全尺度分布式全脑模拟系统，旨在解决在类脑模拟中缺乏多种尺度和多种规模建模方法，以及建模和模拟耦合的问题。该系统的具体实施方式包括：用户建模层单元、模型层单元、中间抽象层单元和模拟层单元，在用户建模层单元，用户可以利用建模脚本语言，基于全脑模型建模。在模型层单元，系统保存内置模型和用户构建模型，并转换成中间抽象。在中间抽象层单元，系统组合中间抽象并转换成运行时格式。在模拟层单元，系统读取运行时格式模拟运行，并与用户实时互动。该发明实现了在不同的尺度下对多种尺度的神经网络模型的建模和模拟，并与硬件设计融合，提高了类脑模型的可移植性。

Description

基于类脑脉冲神经网络的全尺度分布式全脑模拟系统

技术领域

本发明涉及全脑神经网络模拟技术领域，具体涉及一种基于类脑脉冲神经网络的全尺度分布式全脑模拟系统。

背景技术

传统的人工智能系统只是在特定的行为上对人脑智能进行的模拟，实现人脑特定行为的算法和系统不具备任何的通用性，因此，虽然形成了很多智能的专用系统，但是难以推广到其他领域使用。迄今为止，只有人的大脑具备通用的智能能力。大脑处理和整合来自于分散式数据源的信息与知识，并产生综合的决策。大脑中各类神经元和不同功能的神经环路在认知任务中协同，自组织地构建动态的问题求解通路，并发挥各自独特的作用解决问题，对不同问题具有高度的自适应性。

因此，受大脑启发，构建全神经网络的自组织类脑认知计算模型，是实现通用智能的一种重要途径。而类脑模拟系统作为构建认知计算模型的基础平台，是发展类脑通用智能的必然要求。类脑模拟系统的构建有利于推动类脑认知功能模拟研究，实现通用智能系统，填补学术界和工业界在该方面的研究空白；有利于中国信息技术企业的发展，特别是类脑计算相关技术的产业化。

类脑模拟中，需要在不同的尺度(如蛋白质尺度、突触尺度、神经元尺度、神经微环路尺度、脑区尺度、全脑尺度和行为尺度等)进行建模，现有的智能神经网络系统往往专注于特定尺度，不能够实现多种尺度的神经网络建模、模拟和融合；当前对类脑神经网络进行模拟的多种方式中，往往基于特定的硬件设计(如GPU、FPGA和类脑芯片等)进行，类脑模型与硬件环境耦合，可移植性较差，难以根据不同硬件配置调整模型计算分配。

发明内容

为了解决现有技术中的上述问题，即为解决类脑模拟中无法实现多种尺度的神经网络建模、模拟和融合，类脑模型与硬件环境耦合，可移植性较差，难以根据不同硬件配置调整模型计算分配的问题，本发明采用以下技术方案以解决上述问题：

本申请提供了一种基于类脑脉冲神经网络的全尺度分布式全脑模拟系统，该系统包括：用户建模层单元、模型层单元、中间抽象层单元和模拟层单元，上述用户建模层单元，配置为提供建模脚本语言和多个内置模型，以使用户根据上述建模脚本语言和上述内置模型构建脉冲神经网络模型；上述模型层单元，配置为保存多个上述内置模型和上述脉冲神经网络模型，并将上述脉冲神经网络模型转换为中间抽象；上述中间抽象层单元，配置为组合各模型的中间抽象，并转换为运行时格式；上述模拟层单元，配置为读取上述运行时格式，在用户定义的硬件环境模拟运行。

在一些示例中，上述建模脚本语言采用递归式结构，每个利用上述建模脚本语言建模的文件夹包括config.cfg、vtxes.cfg和edges.cfg三个文本文件，用于描述当前尺度网络模型的网络结构。

在一些示例中，上述模型层内置模型包括预设的全脑模型和功能网络模型，上述全脑模型为兴奋性/抑制性神经元的全尺度的类脑脉冲神经网络模型；上述功能网络模型为下列任一模型：基于NEF的记忆网络模型、基于NEF的数字推理网络性和基于ESN的判别网络模型。

在一些示例中，上述全脑模型包括猴脑全脑模型和小鼠全脑模型，上述猴脑全脑模型为包含兴奋性/抑制性神经元的全尺度的类脑脉冲神经网络模型，采用通过猴脑全脑介观连接图谱获得的猴脑全脑微观尺度连接图谱；上述小鼠全脑模型为包含兴奋性神/抑制性神经元的全尺度类脑脉冲神经网络模型，采用通过小鼠全脑介观连接图谱获得的小鼠全脑微观尺度连接图谱。

在一些示例中，上述中间抽象层包括核心抽象-神经网络模型，上述核心抽象-神经网络模型通过如下公式实现上述全脑模型与硬件环境解耦合：

bcm(s)＝<Vs,Es,IFs,OFs,WAs,OAs>

其中，bcm(s)为神经网络模型，Vs＝{vk|k＝1,2,...,N}表示节点集合，Es＝{ek|k＝1,2,...,M}表示节点间的连接，是输入域，是输出域，WAs:IFs→OFs，表示模型工作算法，OAs:<Vs,Es>→<Vs,Es>，表示模型组织算法。

在一些示例中，上述模拟层单元包括并行系统编程模型和认知功能模拟平台，上述并行系统编程模型，配置用于实现从中间抽象到运行时格式的转化；上述认知功能模拟平台，配置用于实现类脑模型的计算模拟。

在一些示例中，上述并行系统编程模型包括一个稀疏数据图和两类独立的点编程模块，上述稀疏数据图和点编程模块可在计算节点上分布执行；上述稀疏数据图用于编码和记录上述核心抽象-神经网络模型的稀疏计算结构和状态。

在一些示例中，上述认知功能模拟平台包括BCM Master模块、BCM Server模块和VTX Peer模块，上述BCM Master模块，配置用于维护上述BCM Server的状态、实现模型快照、记录工作状态、控制在集群环境中的超级步、分配任务和调度任务到所有的BCM Server节点；上述BCM Server模块，配置用于存储bcm模型的V，E和R，并执行上述点编程模块；上述VTX Peer模块，配置用于在上述稀疏数据图分布到各个上述BCM Serve模块r之后，被调用以执行节点任务。

在一些示例中，上述认知功能模拟平台包括ZooKeeper服务和RabbitMQ服务，上述ZooKeeper服务用于实现上述BCM Server模块和上述VTX Peers模块的同步，以及上述VTXPeers模块的容错；上述RabbitMQ服务用于实现信息的实时输入输出、状态保存/分析和调试。

基于本申请提供的基于类脑脉冲神经网络的全尺度分布式全脑模拟系统，用户通过在用户建模层单元利用建模脚本语言和多个内置模型构建脉冲神经网络模型，在模型层单元将该脉冲神经网络模型转换为中间抽象，在中间抽象层组合各个模型的中间抽象，并转换为运行时格式，在模拟层单元运行模拟，从而可以在各个尺度对不同尺度的神经网络模型进行建模和模拟，并能够根据硬件性能设置模型计算分配方法进行高效模拟，实现模拟与用户实时互动，便于实现用户自定义应用，如远程机器人/无人机控制等。

附图说明

图1是本申请基于类脑脉冲神经网络的全尺度分布式全脑模拟系统的实施例的示例性系统图；

图2是建模脚本语言的示例；

图3是根据本申请的基于类脑脉冲神经网络的全尺度分布式全脑模拟系统实施例中猴脑全脑模型的连接图谱示意图；

图4是模拟层单元认知功能模块的结构示意图；

图5是用户基于本系统进行全脑模型模拟的示例性流程示意图。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了本申请的基于类脑脉冲神经网络的全尺度分布式全脑模拟系统的实施例的示例性系统图。

如图1所示，系统包括用户建模层单元、模型层单元、中间抽象层单元和模拟层单元，每一层单元包括多个功能模块。上述用户建模层单元，配置为提供建模脚本语言和多个内置模型，以使用户根据上述建模脚本语言和上述内置模型构建脉冲神经网络模型；上述模型层单元，配置为保存多个上述内置模型和上述脉冲神经网络模型，并将上述脉冲神经网络模型转换为中间抽象；上述中间抽象层单元，配置为组合各模型的中间抽象，并转换为运行时格式；上述模拟层单元，配置为读取上述运行时格式，在用户定义的硬件环境模拟运行。

在本实施例中，上述内置模型可以包括全脑模型和各类功能网络模型。其中，上述全脑模型可以为猕猴全脑模型，上述猕猴全脑模型为基于神经科学、认知科学和人工智能科学的类脑脉冲神经网络模型，为全尺度的脉冲神经网络模型。上述功能模型可以为表示各个尺度的脉冲神经网络模型，如，蛋白质尺度模型、突触尺度模型、神经元尺度模型、神经微环路尺度模型、脑区尺度模型、全脑尺度模型和行为尺度模型等。上述内置模型可以预先保存于上述模型层单元中。

在上述用户建模层单元，基于用户图形界面和脚本运行界面，用户可以根据猕猴全脑模型和其它的上述内置模型，利用上述建模脚本语言构建脉冲神经网络模型。上述模型层单元保存上述用户构建的脉冲神经网络模型，将上述用户构建的脉冲神经网络模型作为用户模型。利用脚本分析模块将用户所构建的脉冲神经网络模型转换成中间抽象。根据用户的设置，上述中间抽象层单元将上述中间抽象转换成运行时格式。上述模拟层单元进行模拟运行，在模拟运行期间，可根据用户设置与用户程序(如机器人、无人机控制程序等)进行实时互动。根据运行数据，基于后续的分析程序实现运行结果的分析。

具体地，上述建模脚本语言采用递归式结构，在每个利用上述建模脚本语言建模的文件夹包括config.cfg、vtxes.cfg和edges.cfg三个文本文件，用于描述当前尺度的网络模型的网络结构。图2示出了建模脚本语言的示例，上述文本文件config.cfg、文本文件vtxes.cfg和文本文件edges.cfg分别描述网络模型的配置、网络节点和网络节点间的连接情况。进一步地，为描述更细尺度的网络结构，上述文件夹还可以包括2个可选的子文件夹edges和vtxes。

上述全脑模型包括猴脑全脑模型和小鼠全脑模型，上述猴脑全脑模型为包含兴奋性/抑制性神经元的全尺度的类脑脉冲神经网络模型，采用通过猴脑全脑介观连接图谱获得的猴脑全脑微观尺度连接图谱；上述小鼠全脑模型为包含兴奋性神/抑制性神经元的全尺度类脑脉冲神经网络模型，采用通过小鼠全脑介观连接图谱获得的小鼠全脑微观尺度连接图谱。

图3所示为基于猴脑全脑模型的连接图谱，是一种1:5比例的、包含10亿个神经元、2万亿个突触和383个脑区及其亚区的、采用类脑脉冲神经网络模型的猴脑全脑模拟系统的全脑尺度连接图谱。上述猴脑全脑模型在脑区之间的长程链接、神经元之间的突触连接比例等方面与生物脑比较，可在毫秒级别观测执行认知任务时不同模拟脑区神经元的放电活动等生物脑实验结论。用户可通过建模脚本语言使用该猴脑全脑模型(网络规模可根据需要进行缩放)构建脉冲神经网络模型。

上述小鼠全脑模型模型是一种包含兴奋性神/抑制性神经元、采用类脑脉冲神经网络模型的全尺度的小鼠全脑模型，是一种包含6390万个兴奋性神经元、710万个抑制性神经元、采用类脑脉冲神经网络模型、包含213个脑区的全尺度的全脑模型。

在本实施例中，上述中间抽象层单元将各类模型转换为中间抽象，这里，上述中间抽象层单元组合上述脉冲神经网络模型和各内置模型的中间抽象，并将其转换成运行时格式，便于并行/分布运行。在上述中间抽象层单元包括核心抽象-神经网络模型，上述核心抽象-神经网络模型通过如下公式实现上述全脑模型与硬件环境解耦合：bcm(s)＝<Vs,Es,IFs,OFs,WAs,Oas>。其中，s为尺度，Vs＝{vi|i＝1,2,...,N}表示节点集合，Es＝{ek|k＝1,2,...,M}表示节点间的连接，是输入域，是输出域，WAs:IFs→OFs，表示模型工作算法，OAs:<Vs,Es>→<Vs,Es>，表示模型组织算法。

具体地，上述中间抽象层单元将特定尺度的模型定义为一个六元组：bcm(s)＝<Vs,Es,IFs,OFs,WAs,Oas>。在上述六元组中，Vs＝{vi|i＝1,2,...,N}表示节点集合。根据尺度s的不同，节点vi(1≤i≤N)可表示不同的含义。例如，在蛋白质尺度，vi可表示神经元隔室，所有节点vi的集合表示一个神经元；在神经微环路尺度，vi可表示脉冲神经元，所有节点vi的集合表示一个神经功能微柱或神经功能柱；在宏观尺度，vi可表示一个脑区，所有节点vi的集合表示一个全脑模型。Es＝{ei|i＝1,2,...,M}表示节点间的连接，根据节点的不同，连接的含义也不同，因此，ei(1≤i≤N)可以表示隔室连接、神经元突触、脑区连接等等。是输入域；是输出域。WAs:IFs→OFs，表示模型工作算法。OAs:<Vs,Es>→<Vs,Es>，表示模型组织算法。进一步地，通过特定尺度神经网络概念模型的组合，多尺度的神经网络概念模型可表示为：bcm＝<V,E,R,IF,OF,WA,OA>。其中，V＝{bcmk|k＝1,2,...,N}表示介观尺度神经计算模型集合。bcmi(1≤i≤N)可以是某一尺度脑神经计算模型，也可是多个脑神经计算模型的组合模型。E＝{ek|k＝1,2,...,M}表示V中各模型的连接，主要是各模型IF和OF的连接关系。R＝{rk|k＝1,2,...,N}表示V中各模型的层次结构，ri(1≤i≤N)表示模型的层次连接。是输入域；是输出域。WA:IF→OF，表示模型工作算法。OA:<V,E>→<V,E>，表示模型组织算法。

在本实施例中，上述模拟层单元包括并行系统编程模型和认知功能模拟平台，上述并行系统编程模型，配置用于实现从中间抽象到运行时格式的转化；上述认知功能模拟平台，配置用于实现类脑模型的计算模拟。

上述并行系统编程模型采用扩展的有向无环编程模型(Directed AcyclicGraph，DAG)作为并行抽象模型，实现神经网络概念模型的编码。上述并行系统编程模型包括一个稀疏数据图(G＝<V；E>)和两类独立的点编程模块(Qw和Qa)。稀疏数据图和点编程模块可在计算节点上分布执行。稀疏数据图用于编码和记录神经网络概念模型的稀疏计算结构和状态。例如，一个节点可编码一个混合神经网络或是一个神经元等，一个边可编码脑区间的连接或是突触连接等。两类点编程模块Qw和Qa均采用GAS模型。模型将每个模块分成3部分，分别为Gather、Apply和Scatter。点编程模块用于编码神经网络概念模型的计算过程。

上述认知功能模块包括BCM Master模块、BCM Server模块和VTX Peer模块。如图4所示，上述BCM Master模块是单点主控节点，上述BCM Server模块为多个计算节点，上述BCM Master模块主要负责维护BCM Server模块的状态、实现模型快照、记录工作状态、控制在集群环境中的超级步、分配任务和调度任务到所有的BCM Server节点。上述BCM Server模块，配置用于存储bcm模型的V，E和R，并执行上述点编程模块。由于系统将用于大规模的神经网络模拟(每次模拟存储TB级的数据)，因此，模拟的稀疏数据图存储于各BCM Server模块。上述VTX Peer模块，配置用于在上述稀疏数据图分布到各个上述BCM Serve模块之后，被调用以执行节点任务。具体地，在系统初始化时，上述BCM Server模块需向BCMMaster模块进行注册，并且在系统运行的时间段内，定期向BCM Master模块发送心跳信息以证明自己可用。当稀疏数据图分布到各个BCM Server模块之后，上述VTX Peers模块被调用，执行具体节点任务。

上述认知功能模拟平台包括ZooKeeper服务和RabbitMQ服务，上述ZooKeeper服务为分布式锁服务，用于实现上述BCM Server模块和上述VTX Peers模块的同步，以及上述VTX Peers模块的容错；上述RabbitMQ服务为分布式通信服务，用于实现信息的实时输入输出、状态保存/分析和调试。

在本实施例中，上述计算模拟包括同步和异步两种执行模式。在同步执行模式中，上述Gather、Apply和Scatter按顺序执行。在异步执行方式中，Apply对节点状态的改变立即对其它节点可见。

上述模拟层模拟计算包括时间驱动和事件驱动，上述时间驱动为每个时间标记均更新所有的神经元和突触；上述事件驱动为仅有获得输入的神经元或突触才进行更新。

用户通过在上述Scatter设置接口，供用户设置模拟方法。对于时间驱动方法，需在点编程模块的Scatter部分进行设置，保证在每个时间标记所有神经元均接收到输入消息。对于事件驱动方法，同样在Scatter部分进行设置，保证在每个时间标记所有具有活跃边的节点均接收到消息。

在模拟层单元进行模拟过程中，采用消息队列RabbitMQ来实现用户与模拟平台的实时交互，以及模拟的单步执行。使用一个专用模块来实现从消息队列接收消息，并通过消息类型控制模拟的执行。通过将神经网络快照保存在硬件存储上来实现容错，快照和存储的周期均可配置。此外，系统也可配置保存特定神经元和突触状态。

在一些可选的实现方式中，设置互动接口，实现模拟的互动，用户根据互动接口开发互动模块，这里，系统提供多种例程供用户开发互动模块。

作为示例，如图5所示，图5中示出了用户基于本系统进行全脑模型模拟的流程示意图。

用户首先构造用户模型S1，用户基于全脑模型中的猴脑模型S01和系统其它预设模型S02利用建模脚本语言构建脉冲神经网络模型作为用户模型。系统在模型层单元保存用户模型U0，并将用户模型转换成中间抽象S2。根据用户设置U2，系统将中间抽象S2转换成运行时格式S3；用户设置U2设置用户模型和各类模型分布以及模拟硬件。系统根据S3结果进行模拟运行S4。模拟运行期间，用户可根据模拟硬件实时互动设置U3。根据用户实时互动设置，上述模型转换为的运行时格式与用户程序(如机器人、无人机控制程序等)进行实时互动U4。系统提供分析程序S5实现运行结果的分析。

本申请上述实施例所提供的系统，在用户建模层单元用户根据模型层单元所提供的建模脚本语言和多个内置模型构建脉冲神经网络模型，上述模型层单元架构该脉冲神经网络模型转换为中间抽象，中间抽象层组合各个模型的中间抽象，并转换为运行时格式，在模拟层单元运行模拟。实现了对更大规模类脑网络的模拟。因将用户建模层单元和模拟层单元分离，增加了模型的可移植性，并且在模拟层单元能够根据硬件性能设置模型计算分配方法进行高效模拟；实现模拟与用户实时互动，便于实现用户自定义应用如远程机器人/无人机控制等。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (9)

1.一种基于类脑脉冲神经网络的全尺度分布式全脑模拟系统，其特征在于，所述系统包括：用户建模层单元、模型层单元、中间抽象层单元和模拟层单元，

所述用户建模层单元，配置为提供建模脚本语言和多个内置模型，以使用户根据所述建模脚本语言和所述内置模型构建脉冲神经网络模型；

所述模型层单元，配置为保存多个所述内置模型和所述脉冲神经网络模型，并将所述脉冲神经网络模型转换为中间抽象；

所述中间抽象层单元，配置为组合各模型的中间抽象，并转换为运行时格式；

所述模拟层单元，配置为读取所述运行时格式，在用户定义的硬件环境模拟运行。

2.根据权利要求1所述的基于类脑脉冲神经网络的全尺度分布式全脑模拟系统，其特征在于，所述建模脚本语言采用递归式结构，每个利用所述建模脚本语言建模的文件夹包括config.cfg、vtxes.cfg和edges.cfg三个文本文件，用于描述当前尺度网络模型的网络结构。

3.根据权利要求1所述的基于类脑脉冲神经网络的全尺度分布式全脑模拟系统，其特征在于，所述内置模型包括预设的全脑模型和功能网络模型，

所述全脑模型为兴奋性/抑制性神经元的全尺度的类脑脉冲神经网络模型；

所述功能网络模型为下列任一模型：基于NEF的记忆网络模型、基于NEF的数字推理网络性和基于ESN的判别网络模型。

4.根据权利要求3所述的基于类脑脉冲神经网络的全尺度分布式全脑模拟系统，其特征在于，所述全脑模型包括猴脑全脑模型和小鼠全脑模型，

所述猴脑全脑模型为包含兴奋性/抑制性神经元的全尺度的模型，采用由猴脑全脑介观连接图谱获得的微观尺度连接图谱；

所述小鼠全脑模型为包含兴奋性神/抑制性神经元的全尺度的类脑脉冲神经网络模型，采用由小鼠全脑介观连接图谱获得的小鼠全脑微观尺度连接图谱。

5.根据权利要求1所述的基于类脑脉冲神经网络的全尺度分布式全脑模拟系统，其特征在于，所述中间抽象层包括核心抽象-神经网络模型，所述核心抽象-神经网络模型通过如下公式实现所述全脑模型与硬件环境解耦合：

bcm(s)＝<Vs,Es,IFs,OFs,WAs,Oas>

其中，bcm(s)为神经网络模型，Vs＝{vk|k＝1,2,...,N}表示节点集合，Es＝{ek|k＝1,2,...,M}表示节点间的连接，是输入域，是输出域，WAs:IFs→OFs，表示模型工作算法，OAs:<Vs,Es>→<Vs,Es>，表示模型组织算法。

6.根据权利要求1所述的基于类脑脉冲神经网络的全尺度分布式全脑模拟系统，其特征在于，所述模拟层单元包括并行系统编程模型和认知功能模拟平台，

所述并行系统编程模型，配置用于实现从中间抽象到运行时格式的转化；

所述认知功能模拟平台，配置用于实现类脑模型的计算模拟。

7.根据权利要求6所述的基于类脑脉冲神经网络的全尺度分布式全脑模拟系统，其特征在于，所述并行系统编程模型包括一个稀疏数据图和两类独立的点编程模块，所述稀疏数据图和点编程模块可在计算节点上分布执行；

所述稀疏数据图用于编码和记录所述核心抽象-神经网络模型的稀疏计算结构和状态。

8.根据权利要求6所述的基于类脑脉冲神经网络的全尺度分布式全脑模拟系统，其特征在于，所述认知功能模拟平台包括BCM Master模块、BCM Server模块和VTX Peer模块，

所述BCM Master模块，配置用于维护所述BCM Server的状态、实现模型快照、记录工作状态、控制在集群环境中的超级步、分配任务和调度任务到所有的BCM Server节点；

所述BCM Server模块，配置用于存储bcm模型的V，E和R，并执行所述点编程模块；

所述VTX Peer模块，配置用于在所述稀疏数据图分布到各个所述BCM Serve模块r之后，被调用以执行节点任务。

9.根据权利要求6所述的基于类脑脉冲神经网络的全尺度分布式全脑模拟系统，其特征在于，所述认知功能模拟平台包括ZooKeeper服务和RabbitMQ服务，

所述ZooKeeper服务用于实现所述BCM Server模块和所述VTX Peers模块的同步，以及所述VTX Peers模块的容错；

所述RabbitMQ服务用于实现信息的实时输入输出、状态保存/分析和调试。