CN113628318A

CN113628318A - 一种基于光线追踪的分布式实时神经元渲染方法和系统

Info

Publication number: CN113628318A
Application number: CN202110816782.6A
Authority: CN
Inventors: 马雷; 曹岗; 黄铁军
Original assignee: Beijing Zhiyuan Artificial Intelligence Research Institute
Current assignee: Beijing Zhiyuan Artificial Intelligence Research Institute
Priority date: 2021-07-20
Filing date: 2021-07-20
Publication date: 2021-11-09
Anticipated expiration: 2041-07-20
Also published as: CN113628318B

Abstract

本发明公开了一种基于光线追踪的分布式实时神经元渲染方法和系统。该方法包括：接收神经元模拟系统实时输出的神经元模拟数据；将所述神经元模拟数据转换为隐式几何结构；对所述隐式几何结构进行动态划分，并将划分后的隐式几何结构数据分别提交至不同的图形处理节点；利用所述图形处理节点分别进行光线追踪计算，完成对所述隐式几何结构的渲染；将计算结果进行汇总，生成最终渲染结果。本发明的技术方案实现了神经元的实时渲染技术框架，缩短了模型重建时间，并且节约了显存资源消耗，为大规模神经元系统的搭建提供了基础支持。

Description

一种基于光线追踪的分布式实时神经元渲染方法和系统

技术领域

本发明涉及可视化技术领域，尤其涉及一种基于光线追踪的分布式实时神经元渲染方法和系统。

背景技术

随着脑神经科学的发展，神经元网络的可视化是至关重要的。为更好地开发逼近生物真实的高效神经形态计算系统，仿真研究分析、理解神经环路的真实工作原理，进而得到精确逆向工程大脑皮层神经元回路，必须实现神经元网络过程的高质量可视化。生物学家可以通过模拟大脑神经元的实时交互系统，探索更符合物理结构的神经元系统，启发对神经元系统三维结构的深刻理解。同时，实时的交互系统可以提供一个对神经元模拟数据的实时展示，揭示神经元数据的实时状态，为真实模拟大脑状态提供基础支持。

大脑通常由复杂密集的神经元集群组成，单个神经元通过树突、胞体和轴突接受和处理信息，神经元之间则按照特定结构通过密集的突触连接进行通信实现信息交换，因而神经元是彼此交叉纠缠的状态。而图元是绘制画面最基本的元素。因此，表示神经元的图元之间相交关系的判断是实现可视化必须解决的问题。

传统的三维可视化技术使用三角片作为图元建模，而上千个神经元通常在皮层中虽然仅占有几毫米的立体空间，但需要超过上亿个三角片来表示，处理难度极大，不仅效率低下，而且容易导致大量空间表示错误和视觉混乱，无法满足神经元可视化的需求。而对于传统的光栅化渲染方案，存在显存占用过高，无法有效处理多光源，软阴影，反射和环境光遮蔽等问题，使得生成物理真实的渲染图像困难重重。

并且，现有技术中已有的神经元系统渲染框架通常是将神经元模拟系统与神经元渲染系统进行人为分割，首先由神经元模拟系统计算模拟数据，并且将计算好的数据结果导出并存储在本地硬盘上，之后由神经元渲染系统读取硬盘上的数据，并提交图形处理器进行实时渲染。这种方式使得无法实时展示神经元系统的模拟数据，亦无法满足实时展示神经系统活动的需求。

最后，由于神经元系统的复杂性，往往需要同时处理海量数据，例如人类大脑存在上百亿的神经元节点，传统的单节点处理方式已经无法满足其计算量和存储量需求，需要探索支持更大规模神经元数据渲染的方案。

发明内容

为了解决现有技术中存在的问题，本发明提供了如下技术方案。

本发明一方面提供了一种基于光线追踪的分布式实时神经元渲染方法，包括：

接收神经元模拟系统实时输出的神经元模拟数据；

将所述神经元模拟数据转换为隐式几何结构；

对所述隐式几何结构进行动态划分，并将划分后的隐式几何结构数据分别提交至不同的图形处理节点；

利用所述图形处理节点分别进行光线追踪计算，完成对所述隐式几何结构的渲染；

将计算结果进行汇总，生成最终渲染结果。

优选地，所述神经元模拟数据包括细胞体和突触的位置信息以及电位信息。

优选地，所述将神经元模拟数据转换为隐式几何结构数据包括：

实时解析所述细胞体和突触的位置信息，

获取每个神经元结构中包含的多个样本点，将相互连接的两个样本点进行组合，生成基本隐式几何图形；

基于所述电位信息确定渲染材质，将所确定的渲染材质应用于所述基本隐式几何图形，得到隐式几何体。

优选地，所述对所述隐式几何结构进行动态划分，并将划分后的隐式几何结构数据分别提交至不同的图形处理节点包括：

划分世界空间，得到多个子空间，每个子空间中根据隐式几何体的空间位置进行聚类；

将每个子空间下的隐式几何体的数据传递给一个图形处理节点；

在每一图形处理节点中创建单独的层次包围盒BVH。

优选地，所述利用所述图形处理节点分别进行光线追踪计算，完成对所述隐式几何结构的渲染包括：

对用于呈现的屏幕范围进行划分，得到多个屏幕分块；

按照所述屏幕分块发射追踪光线；

将所述追踪光线分发到不同的图形处理节点。

优选地，所述将追踪光线分发到不同的图形处理节点包括：

对于每一条追踪光线执行路径模拟；

估计所述追踪光线的路径所经过的子空间；

根据所述所经过的子空间，将所述追踪光线分发到相应的图形处理节点

本发明另一方面提供了一种基于光线追踪的分布式实时神经元渲染系统，包括：

接收单元，用于接收神经元模拟系统实时输出的神经元模拟数据；

转换单元，用于将所述神经元模拟数据转换为隐式几何结构；

划分单元，用于对所述隐式几何结构进行动态划分，并将划分后的隐式几何结构数据分别提交至不同的图形处理节点；

渲染单元，用于利用所述图形处理节点分别进行光线追踪计算，完成对所述隐式几何结构的渲染；

汇总单元，用于将计算结果进行汇总，生成最终渲染结果。

优选地，所述转换单元，进一步包括：

解析单元，用于实时解析所述神经元模拟数据中包含的细胞体和突触的位置信息，

组合单元，用于获取每个神经元结构中包含的多个样本点，将相互连接的两个样本点进行组合，生成基本隐式几何图形；

确定单元，用于基于所述神经元模拟数据中包含的电位信息确定渲染材质，将所确定的渲染材质应用于所述基本隐式几何图形，得到隐式几何体。

本发明第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述多条指令可被处理器读取并执行如上述第一方面所述的方法。

本发明第四方面提供了一种电子设备，包括处理器和存储器，所述存储器存储有多条指令，所述处理器用于读取所述指令并执行如上述第一方面所述的方法。

本发明的有益效果是：

本发明的渲染方法和系统实现了大规模神经元的实时渲染技术框架。通过使用隐式几何结构表示几何体，避免使用三角面进行神经元建模，既省略了大量的模型重建时间，又极大地节省了显存资源的消耗，为大规模神经元系统的搭建提供了基础支持。同时本发明使用基于光线追踪的渲染方法，可以生成更加真实的渲染结果图。最后本发明基于分布式的图形处理器渲染架构，使得实时地渲染大规模神经元系统成为现实，相比于传统方案，可以表征的神经元在数量级上呈现显著提高，并且同规模下的渲染效率在数量级上也有显著提高。

附图说明

图1为本发明所述的基于光线追踪的实时神经元渲染方法的流程图。

图2为本发明的示例性类柱体隐式几何结构的示意图。

图3为本发明所述的基于光线追踪的实时神经元渲染系统的模块图。

具体实施方式

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案做详细的说明。

本发明提供的方法可以在如下的终端环境中实施，该终端可以包括一个或多个如下部件：处理器、存储器和显示屏。其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现下述实施例所述的方法。

处理器可以包括一个或者多个处理核心。处理器利用各种接口和线路连接整个终端内的各个部分，通过运行或执行存储在存储器内的指令、程序、代码集或指令集，以及调用存储在存储器内的数据，执行终端的各种功能和处理数据。

存储器可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。存储器可用于存储指令、程序、代码、代码集或指令。

显示屏用于显示各个应用程序的用户界面。

除此之外，本领域技术人员可以理解，上述终端的结构并不构成对终端的限定，终端可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，终端中还包括射频电路、输入单元、传感器、音频电路、电源等部件，在此不再赘述。

针对传统方法存在的不足，本发明提出了一种分布式的基于光线追踪的实时神经元渲染系统和方法。与单机环境的渲染不同，本发明在分布式系统上进行渲染，并且实时从神经元模拟系统获得数据并处理，将其转换为隐式几何结构。最后，将处理之后的几何数据并行提交给分布式系统的多个图形处理器，使用光线追踪算法直接渲染所述隐式几何体。在分布式渲染系统中，首先对空间几何结构进行动态划分，按照系统的显存容量，将空间几何结构数据进行动态分发，使得整个系统可以支持超大规模的几何存储容量。同时分布式渲染系统对屏幕进行划分，按照屏幕分块发射追踪光线，每条光线根据分布式系统计算资源的使用情况不同，而被分发到不同的图形处理器上进行光线追踪计算，最后将所有光线进行汇总，生成最终渲染结果。

实施例一

如图1所示，本发明实施例提供了一种基于光线追踪的分布式实时神经元渲染方法，包括：

步骤101、接收神经元模拟系统实时输出的神经元模拟数据；

具体地，步骤101的输入为由神经元模拟系统实时输出的神经元模拟数据。在优选的实施例中，所述神经元模拟数据包括细胞体和突触的位置信息以及电位信息。

步骤102、将所述神经元模拟数据转换为隐式几何结构；

在接收神经元模拟系统输出的神经元模拟数据之后，在步骤102，实时解析神经元模拟数据，得到细胞体和突触的位置信息。

在所述步骤102中，采用一种实时处理神经元形态学数据以及电生理数据的方法，使用隐式几何信息表示神经细胞的拓扑结构，并使用材质信息表示细胞的各种电生理信号。

由于神经元细胞的电生理信号可能会绑定不同的材质信息，例如对光线的吸收率，反射率等，因此本发明使用基于物理的渲染材质。在将所述神经元模拟数据转换为隐式几何结构时，对于每一个神经元结构同时包含多个样本点的情况，将相互连接的两个样本点组成一组，生成基本的隐式几何图形，基于电位信息确定渲染材质，从而得到隐式几何体。

举例而言，对于两个样本点p_i(x_i，y_i，z_i)和p_i-1(x_i-1，y_i-1，z_i-1)，其中i是神经元编号，连接两个样本点生成类柱体隐式几何结构。如图2所示，转换得到的每个隐式几何体由三部分构成：顶部球体，底部球体，中间形状体，表示为：

[p_t，p_b，r_t，r_b，shapefunction]

其中p_t是根据一个样本点p_i生成的顶部球体三维坐标，p_b是根据另一个样本点p_i-1生成的底部球体三维坐标，r_t是顶部球体半径，r_b是底部球体半径，shapefunction是描述连接两个球体之间的曲面，用来塑造更加丰富多样的三维几何体。

隐式几何结构虽然从直观上难以看出所表示的具体形状，但判断某个点是否在该几何体上的过程具有非常低的复杂度。由于本发明采用了隐式几何体，从而避免了使用三角网格的光栅化方案而引起的大量的模型重建时间，同时节省了显存资源的消耗。

步骤103、对所述隐式几何结构进行动态划分，并将划分后的隐式几何结构数据分别提交至不同的图形处理节点；

在得到神经元数据的隐式几何表示后，在分布式提交系统中，将数据分发给不同的图形处理器。

具体地，分布式系统的主处理单元将接收到的流式数据进行编号，并根据当前分布式系统的显存容量将流式分发到不同的计算节点。分布式系统的每一个节点接收一部分流式数据，并通过节点中央处理器提交给该节点的图形处理器单元，完成将隐式几何数据传输至分布式节点的计算单元的过程。

基于上述分布式的图形处理渲染架构，本发明能够实现大规模神经元的实时渲染系统，显著提高了可表征的神经元的数量级以及同规模下的渲染效率。

在上述步骤103中，本发明进一步根据几何体3D空间结构层次结构进行分布式划分。

首先，对世界空间进行划分，得到多个子空间，在每个子空间中根据神经元几何数据即隐式几何体的空间位置进行聚类。

然后，将该子空间下的神经元几何数据传递给同一个分布式计算节点，对于每一个节点创建单独的层次包围盒(Bounding Volume Hierarchies)，记作BVH，每个分布式计算节点使用独立的BVH执行计算。

步骤104、利用所述图形处理节点分别进行光线追踪计算，完成对所述隐式几何结构的渲染；

不同的图形处理节点可能具有不同的运算能力。根据图形处理节点的运算能力以及屏幕像素大小，将屏幕在XY方向上进行分块，每一分块包含屏幕一部分的像素。经过划分之后，相邻的像素通常位于相同的分块区域。由于在步骤103中对世界空间进行了划分，因此可以将不同的空间部分分发到不同的计算节点上。

首先在CPU端进行屏幕划分计算，对于任意的射线R0，首先通过其空间和方向信息，执行一次CPU的路径模拟，在空间划分的高层划分中，预先判断光线路径可能经过的世界空间分块，根据光线R0的路径可能经过的世界空间分块，将对应的屏幕射线族分发到相应的计算节点上。然后在所分发的计算节点上进行光线追踪，通过光线追踪算法直接渲染所述隐式几何体。

由于将每条光线根据分布式系统计算资源的使用情况不同而分发到不同的图形处理器上，因此上述过程实现了多个计算节点的负载均衡，提高了光线追踪的并行运算效率，节省渲染时间。

步骤105、将计算结果进行汇总，生成最终渲染结果。

具体地，使用基于物理的着色方案(Physically Based Shading,PBR)和多重重要性采样(MIS)进行渲染。在得到所有节点的光线追踪计算结果之后，将所有光线进行收集，生成最终的渲染结果。

可以看出，本发明提出了一种适用于大规模神经元系统的渲染方法，实现了大规模神经元的实时渲染技术框架，为大规模神经元系统的搭建提供了基础支持。同时本发明使用基于光线追踪的渲染方法，可以生成更加真实的渲染结果图。

实施例二

如图3所示，本发明的另一方面还涉及与前述方法流程对应一致的功能装置，即本发明实施例还提供了一种基于光线追踪的分布式实时神经元渲染系统，包括：

接收单元201，用于接收神经元模拟系统实时输出的神经元模拟数据；

转换单元202，用于将所述神经元模拟数据转换为隐式几何结构；

划分单元203，用于对所述隐式几何结构进行动态划分，并将划分后的隐式几何结构数据分别提交至不同的图形处理节点；

渲染单元204，用于利用所述图形处理节点分别进行光线追踪计算，完成对所述隐式几何结构的渲染；

汇总单元205，用于将计算结果进行汇总，生成最终渲染结果。

在优选的实施例中，所述转换单元202，进一步包括：

解析单元，用于实时解析所述神经元模拟数据中包含的细胞体和突触的位置信息；

在优选的实施例中，所述划分单元203，进一步包括：

子空间划分单元，用于划分世界空间，得到多个子空间，每个子空间中根据隐式几何体的空间位置进行聚类；

传递单元，用于将每个子空间下的隐式几何体的数据传递给一个图形处理节点；

创建单元，用于在每一图形处理节点中创建单独的层次包围盒BVH。

在优选的实施例中，所述渲染单元204，进一步包括：

屏幕划分单元，用于对用于呈现的屏幕范围进行划分，得到多个屏幕分块；

发射单元，用于按照所述屏幕分块发射追踪光线；

分发单元，用于将所述追踪光线分发到不同的图形处理节点。

在优选的实施例中，所述分发单元，进一步包括：

模拟子单元，用于对于每一条追踪光线执行路径模拟；

估计子单元，用于估计所述追踪光线的路径所经过的子空间；

分发子单元，用于根据所述所经过的子空间，将所述追踪光线分发到相应的图形处理节点。

除此之外，本领域技术人员可以理解，上述单元并不构成对基于光线追踪的分布式实时神经元渲染系统的限定，上述系统可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。

实施例三

本发明还提供了一种存储介质，存储有多条指令，所述指令用于实现如实施例一所述的方法。

实施例四

本发明还提供了一种电子设备，包括处理器和与所述处理器连接的存储器，所述存储器存储有多条指令，所述指令可被所述处理器加载并执行，以使所述处理器能够执行如实施例一所述的方法。

尽管已描述了本发明的优选实施例，但本领域技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims

1.一种基于光线追踪的分布式实时神经元渲染方法，其特征在于，包括：

接收神经元模拟系统实时输出的神经元模拟数据；

将所述神经元模拟数据转换为隐式几何结构；

将计算结果进行汇总，生成最终渲染结果。

2.根据权利要求1所述的方法，其特征在于，所述神经元模拟数据包括细胞体和突触的位置信息以及电位信息。

3.根据权利要求2所述的方法，其特征在于，所述将神经元模拟数据转换为隐式几何结构数据包括：

实时解析所述细胞体和突触的位置信息，

4.根据权利要求1所述的方法，其特征在于，所述对所述隐式几何结构进行动态划分，并将划分后的隐式几何结构数据分别提交至不同的图形处理节点包括：

在每一图形处理节点中创建单独的层次包围盒BVH。

5.根据权利要求1所述的方法，其特征在于，所述利用所述图形处理节点分别进行光线追踪计算，完成对所述隐式几何结构的渲染包括：

对用于呈现的屏幕范围进行划分，得到多个屏幕分块；

按照所述屏幕分块发射追踪光线；

将所述追踪光线分发到不同的图形处理节点。

6.根据权利要求5所述的方法，其特征在于，所述将追踪光线分发到不同的图形处理节点包括：

对于每一条追踪光线执行路径模拟；

估计所述追踪光线的路径所经过的子空间；

根据所述所经过的子空间，将所述追踪光线分发到相应的图形处理节点。

7.一种基于光线追踪的分布式实时神经元渲染系统，其特征在于，包括：

汇总单元，用于将计算结果进行汇总，生成最终渲染结果。

8.根据权利要求7所述的系统，其特征在于，所述转换单元，进一步包括：

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述多条指令可被处理器读取并执行根据权利要求1至6任一项所述的方法。

10.一种电子设备，其特征在于，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1至6任一项所述的方法步骤。