CN106372721B - 大规模神经网络的3d可视化方法 - Google Patents

Abstract

大规模神经网络的3D可视化方法涉及大规模神经网络的仿真模拟领域。它将大规模神经网络化解为多层神经网络；层与层之间的链接关系用3D带箭头的曲线进行表示，所有链接曲线不重叠；不同层神经元之间的链接一对多的形式立体展现，可进行3D动态表示；所有神经元的脉冲活动能够在3D空间中的进行完整动态展示。大脑是由大量神经细胞通过链接构成的一个超复杂的3D网络体，神经元的链接规模非常庞大、信息流的传导非常复杂，本发明解决的技术问题正是大规模神经网络仿真模拟中的可视化问题。

Description

大规模神经网络的3D可视化方法

技术领域

本发明涉及大规模神经网络的仿真模拟领域，尤其针对大规模仿生神经网络的3D可视化。

背景技术

大规模神经网络的仿真模拟技术是脑科学与类脑人工智能研究领域中的重要技术之一。大脑是由大量神经细胞通过链接构成的一个超复杂的3D网络体，大脑中的绝大部分神经细胞具有脉冲发放特性，也是大脑活动的基础。大脑在进行信息加工时要进行局部神经元的信息传递也要进行跨层跨区域传递；既要实现自下而上的信息处理，也要实现自上而下的控制调节。大脑中神经元的数量众多，且每个神经元都可能与多个神经元通过突触链接，可能一对百、一对千甚至更多。因此神经元的链接规模非常庞大、信息流的传导非常复杂。

将输入信号在大脑中如何处理这一过程通过3D可视化出来是实现大规模神经网络的仿真模拟面临的一大挑战，也是大脑仿真模拟所必须的观测手段。

发明内容

本发明提出了一种大规模神经网络的3D可视化方法，有效解决在大规模神经网络仿真模拟中的可视化问题。

为了解决这一问题，本发明分以下四个方面：

a)将大规模神经网络分解为多层神经网络；

b)层与层之间的链接关系用3D带箭头的曲线表示；

c)不同层神经元之间的链接可由用户选择得到3D动态表示；

d)所有神经元的脉冲活动在3D空间中进行完整动态展示

根据本发明的第一个方面，采用如下方法：

在构建网络时，模拟人脑生理结构进行分层架构，将大规模神经网络分解为多层神经网络，主要分为Sensory层、Spiking层和NonSpiking层三种类型，根据网络功能的不同可构建不同的多层网络，使用快捷键和鼠标完成整个3D网络的旋转和移动。

根据本发明的第二个方面，采用如下方法：

层与层链接显示时，在每个层的上方和下方分别用有向弧线来标示向前或向后的链接，层与层之间的链接具有属性角∠a，其表示标示弧线与水平线的夹角，∠a与两个层之间的距离正相关，取值范围是0～45°，同一层与多层链接时，通过∠a控制所有线不重合，保证网络的透视性。

根据本发明的第三个方面，采用如下方法：

通过本发明的第一个方面，将大规模网络分解为多层网络，不同层间神经元的链接通过一对多的形式立体展现，整个链接呈放射状；根据大脑生理链接情况，支持对链接分布情况进行设置，并提供正态分布、均匀分布等几种链接强度。通过快捷键和鼠标点击任何一层的格点可以选取此格点神经元，显示其与其他层神经元的链接情况，并通过不同颜色区分输出链接和接收链接，如果是输出链接则从距离当前层和突触后神经元层(PostLayer)比例为9:1的位置开始发散，如果是接收链接则从距离突触前神经元层(PreLayer)和当前层比例为3:7的位置开始收敛。

根据本发明的第四个方面，采用如下方法：

3D网络的每个格点代表一个神经元，所有神经元的脉冲活动强弱可以通过格点的颜色差别来表示，并且通过快捷键和鼠标可选取所需观察的神经元，观察和测量其活动细节，包括神经元放电频率、放电波形、该神经元所在层、层内所处的格点位置等。

本发明所涉及到的显示过程均通过GPU直接实现，无需回传给CPU，从而保证计算和显示速度，能够轻松构造一个3D可交互的大规模网络显示窗，实时进行3D交互式可视化，并直观地看到网络的链接情况和电活动的整体情况。

附图说明

图1为大规模神经网络的3D可视化结构示意图

图2为多层神经网络的3D表示示意图

图3为神经网络层与层之间链接显示3D示意图

图4为神经元的链接显示3D示意图

图5为神经元的电活动显示3D示意图

图6为某选取神经元的电活动图

具体实施方式

下面将结合本发明中的附图和具体实施方案对本发明的技术方案进行详细描述。

图1为大规模神经网络的3D可视化结构示意图，分为上下两部分。上部分是3D显示部分，将整个神经网络分解为多层表示(图2)；可实时显示层与层之间的连接情况(图3)；神经元之间的链接情况(图4)；可选择神经元，观察其脉冲活动(图5和图6)。下部分是具体层的2D辅助显示。

图2为多层神经网络的3D表示示意图，将大规模神经网络分解为多层神经网络来表示。大规模神经网络的仿真模拟时，本发明将网络层分为Sensory层、Spiking层和NonSpiking层三类。Sensory层可以接受外部刺激(如图像、光照等)，相当于视网膜的视杆细胞层。Spiking层是指含有Spiking神经元的层，Spiking神经元一定具有经典Na和K离子通道，确保Spiking的产生。NonSpiking层是指不含经典Na和K离子通道神经元的层。用户可根据人脑生理结构选择不同类别的层构建神经网络，神经网络的层数由网络功能、神经网络规模等决定；新建的每层都具有属性值，包括层名、层的3D位置(由其X-坐标唯一确定)、层的大小。

多层网络支持3D转动和移动，其中转动用鼠标即可完成，旋转中心是坐标原点，移动通过Shift键和鼠标左键即可完成；

图3为神经网络层与层之间链接显示3D示意图，层与层之间的链接通过有向弧线来标示，其中每个层的上方用带有箭头的红色弧线表示向前的链接；每个层的下方用带有箭头的红色弧线表示向后的链接。其中自下而上的信息传递过程可以通过向前的链接来表示，自上而下的信息反馈控制过程可以通过向后的链接来表示。

层与层之间的链接具有属性角∠a，∠a与两个层之间的距离正相关，∠a的取值范围是0～45°。如果整个网络中相连两层之间距离不超过450个单位长度，则每100个单位长度对应10°。如果整个网络中相连两层之间距离大于450个单位长度，则根据距离对角度进行等比例调整，确保最大的角度小于等于45°。

当一层与其他多层有链接时，通过∠a的大小控制层间链接不重叠，保证很好的透视性。

图4为神经元的链接显示3D示意图，在仿生神经网络构建中，神经元的链接方式非常重要。通过本发明的第一个方面，将大规模网络分解为多层网络，每一层网络的神经元代表同一类，不同层间神经元的链接通过一对多的形式立体展现。

通常一个突触前神经元(PreNeuron)会链接到多个突触后神经元(PostNeuron)上，这可以看作是一种从一个点到一个区域的投射，本发明采用一个字符串来描述这样的投射，例如：“E；0；0；2；2；0”这个字符串代表中心为(0，0)，长短轴分别为2、2，旋转角度为0的一个椭圆的投射。投射描述了链接的范围，并不含链接强度信息，链接强度信息可以通过权重分布参数进行调节，如果所有强度都一致，可用均匀分布，用字符“U”表示，如果中间比边缘要强，可用正态分布，用字符串“N；1.5”表示，其中1.5是分布的标准差。在3D显示窗口中，Ctrl键和鼠标左键点击PreLayer上的格点，即可看到PreNeuron到PostLayer的链接区域，链接采用红色，表示其为输出链接；Ctrl键和鼠标左键点击PostLayer上的格点，即可看到PostNeuron到PreLayer的链接区域，链接采用蓝色，表示其为接收链接。如果是输出链接则链接从距离当前层和PostLayer比例为9:1的位置开始发散，如果是接收链接则链接从距离PreLayer和当前层比例为3:7的位置开始收敛。

图5为神经元的电活动显示3D示意图，3D可视化网络的每个格点代表一个神经元，格点的绿色强弱代表神经元放电频率的高低。频率是在时间域的一种平均统计概念，时间分仿真时间和物理时间，其中物理时间是指我们平常所指的时间，也可以称为生物时间，仿真时间是指计算机花费的时间。神经元的电活动3D显示中，格点上显示的绿色强度是这个神经元在40ms的生物时间内的放电频率。如果频率超过固定数值F则会达到最亮，在0和F之间亮度是线性变化的。如果该网络层是感知层，则根据感知神经元的活动强度从弱到强用从黑到白的方式来表示。本发明根据实际大脑神经元的一般放电频率选择F数值为90Hz，此数值可变动。

通过Shift键结合Ctrl键和鼠标左键点击3D层上的格点，可选取每一层的神经元，选取后的3D格点用黄色标记，选取后可观察和测量选取神经元的电活动细节。

图6为选取神经元的电活动图。

本发明所涉及到的可视化过程均通过OpenGL与CUDA交互、GPU直接显示，无需回传给CPU，从而保证计算和显示速度，使得在超大规模的神经网络中能够轻松构造成一个3D可交互的大规模网络显示窗，实时进行3D交互式可视化，并能够直观地看到网络的链接情况和电活动的整体情况。

Claims (4)

1.大规模神经网络的3D可视化方法，其特征在于包括：将大规模神经网络化解为多层神经网络(1)，层与层之间的链接关系用3D带箭头的曲线表示(2)，不同层神经元之间的链接进行3D动态表示(3)；所有神经元的脉冲活动在3D空间中进行完整动态展示(4)；

所述(2)层与层链接显示时，在每个层的上方和下方分别用3D带箭头的曲线来标示向前或向后的链接，层与层之间的链接具有属性角∠a，其表示标示弧线与水平线的夹角，∠a与两个层之间的距离正相关，取值范围是0～45°，同一层与多层链接时，通过∠a控制所有线不重合，保证网络的透视性。

2.根据权利要求1所述的大规模神经网络的3D可视化方法，其特征在于，所述属性角，其计算方法是：如果整个网络中最远的相连两层之间距离不超过450个单位长度，则每100个单位长度对应10°；如果整个网络中最远的相连两层之间距离大于450个单位长度，则根据距离对角度进行等比例调整，确保最大的角度小于等于45°。

3.根据权利要求1所述的大规模神经网络的3D可视化方法，其特征在于，所述(3)将不同层间神经元的链接通过一对多的投射形式立体展现，整个链接呈放射状，根据大脑生理链接情况，支持对链接分布情况进行设置，并提供包括正态分布、均匀分布一种或几种链接强度；通过快捷键和鼠标点击任何一层的格点选取此格点神经元，显示其与其他层神经元的链接情况，并通过不同颜色区分输出链接和接收链接，如果是输出链接则从距离当前层和突触后神经元层比例为9:1的位置开始发散，如果是接收链接则从距离突触前神经元层和当前层比例为3:7的位置开始收敛。

4.根据权利要求1所述的大规模神经网络的3D可视化方法，其特征在于，所述(4)3D网络的每个格点代表一个神经元，所有神经元的脉冲活动强弱通过格点的颜色差别来表示，并且通过快捷键和鼠标选取所需观察的神经元，观察和测量其活动细节，包括神经元放电频率、放电波形、该神经元所在层、层内所处的格点位置。