CN110543940B - 基于层次存储的神经回路体数据处理方法、系统及介质 - Google Patents

基于层次存储的神经回路体数据处理方法、系统及介质 Download PDF

Info

Publication number
CN110543940B
CN110543940B CN201910808054.3A CN201910808054A CN110543940B CN 110543940 B CN110543940 B CN 110543940B CN 201910808054 A CN201910808054 A CN 201910808054A CN 110543940 B CN110543940 B CN 110543940B
Authority
CN
China
Prior art keywords
data block
solid state
state disk
data
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910808054.3A
Other languages
English (en)
Other versions
CN110543940A (zh
Inventor
邹丹
朱小谦
王文珂
陆丽娜
赵飞
王得志
肖汶斌
程兴华
包长春
夏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN201910808054.3A priority Critical patent/CN110543940B/zh
Publication of CN110543940A publication Critical patent/CN110543940A/zh
Application granted granted Critical
Publication of CN110543940B publication Critical patent/CN110543940B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于层次存储的神经回路体数据处理方法、系统及介质，本发明数据分块处理方法根据计算节点配置将输入图像数据进行分块，根据计算节点数量对神经元进行聚类和任务分配，各计算节点独立执行神经回路追踪任务，在计算过程中，按数据预取规则从磁盘阵列或本地固态盘将数据块读入内存，按数据替换规则将数据块从内存写入磁盘阵列或本地固态盘，直至分配的任务全部处理完毕。本发明能够有效处理十TB量级的超大规模图像数据，具有处理速度快、扩展性强的特点，能够部署在分布式计算平台，实现灵活且支持参数配置，易于移植与推广。

Description

基于层次存储的神经回路体数据处理方法、系统及介质
技术领域
本发明涉及神经回路精细结构的解析方法的大规模图像处理，具体涉及一种基于层次存储的神经回路体数据处理方法、系统及介质，用于在分布式多核计算平台上实现神经回路体数据分析过程中超大规模图像数据的分块处理。
背景技术
神经回路信息是理解脑功能和脑疾病机制的关键，如何实现神经回路大数据的自动追踪，是脑科学等神经领域研究所面临的关键科学问题之一。神经元定位是神经回路数据解析的关键，通过对神经回路体数据进行分析得到精确的神经元胞体位置，是后续定量分析的基础。
随着观测技术的不断进步，高精度神经回路图像数据集的数据规模迅速增大，特别是光学分子标记和显微成像技术的巨大进步，使得高分辨率获取全脑数据成为现实。由于灵长类动物大脑体积较大，按照当前显微光学切片断层成像系统(Micro-opticalSectioning Tomography，MOST)和荧光显微光学切片断层成像系统(fluorescence Micro-optical Sectioning Tomography，fMOST)成像技术计算，进行各向1微米分辨率的成像，会产生数十TB图像数据，包括数万个图层。传统的神经回路体数据处理方法需要将体数据从磁盘阵列全部载入内存，然而现有的计算节点内存容量只能达到TB量级，无法处理十TB量级的图像数据。如何有效处理包含数万个图层的十TB级图像数据，在神经回路分析的图像数据处理方面是巨大的挑战，已成为制约能否将获取的数据转化为知识的瓶颈问题。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于层次存储的神经回路体数据处理方法、系统及介质，本发明能够有效处理十TB量级的超大规模图像数据，具有处理速度快、可扩展性强的特点，能够部署在分布式计算平台，实现灵活且支持参数配置，易于移植与推广。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于层次存储的神经回路体数据处理方法，实施步骤包括：
1)根据计算节点配置将输入图像数据进行分块，根据计算节点数量对神经元进行聚类并对计算节点进行神经元聚类结果的任务分配；
2)各计算节点进行变量和存储空间分配及初始化，将各计算节点的首个任务对应的数据块从磁盘阵列分别加载到各计算节点内存；
3)各计算节点启动多进程并通过各进程独立执行神经回路追踪任务，且在计算过程中按数据预取规则从存储设备中将数据块读入内存、按数据替换规则将数据块从内存写入存储设备直至分配的任务全部处理完毕。
可选地，步骤1)中根据计算节点配置将输入图像数据进行分块的详细步骤包括：获取计算节点的内存容量szMem，根据计算节点的内存容量szMem以及下式计算出图像数据的分块尺寸szBlk；获取图像数据在x方向的像素数xDim、y方向的像素数yDim、z方向的图层数zDim，将输入的图像数据映射为最大尺寸szBlk*szBlk*szBlk的分块立方体集合，每个数据块具有唯一的坐标(bx,by,bz)，其中bx、by、bz为正整数；如果满足xDim<szBlk，则x方向分块尺寸xScale的值为xDim，否则x方向分块尺寸xScale的值为szBlk，x方向分块数量xNum的值为
Figure BDA0002184232820000021
如果满足yDim<szBlk，则y方向分块尺寸yScale的值为yDim，否则y方向分块尺寸yScale的值为szBlk，y方向分块数量yNum的值为
Figure BDA0002184232820000022
如果满足zDim<szBlk，则z方向分块尺寸zScale的值为zDim，否则z方向分块尺寸zScale的值为szBlk，z方向分块数量zNum的值为
Figure BDA0002184232820000023
最终确定分块总数量bNum的值为xNum*yNum*zNum，x、y和z方向分别从1开始依次编号。
可选地，步骤1)中根据计算节点数量对神经元进行聚类并对计算节点进行神经元聚类结果的任务分配的详细步骤包括：获取计算节点个数nNode，计算节点编号为1…nNode，使用指定的聚类算法将输入的神经元集合按照空间坐标分为nNode个簇，每个簇内的神经元的空间位置相对集中，每个簇对应的计算任务分配到一个计算节点，使得每个计算节点负责一个簇内所有的神经元的回路追踪计算。
可选地，步骤2)的详细步骤包括：
2.1)各个计算节点声明规模为3*3*3的指针变量三维数组blkPtr，对于该数组内每个指针变量blkPtr[i][j][k]分配内存空间容量为szBlk3，其中i、j、k为正整数且1≤i,j,k≤3，szBlk表示将输入图像数据进行分块得到的图像数据的分块尺寸。
2.2)各个计算节点计算本节点所对应的神经元集合中首个神经元的数据块位置，对于坐标为(x,y,z)的神经元，其所在的数据块坐标(bx,by,bz)中各个方向坐标值均为将对应神经元的相同方向的坐标值除以该方向的分块尺寸再进行上取整得到；各个计算节点将首个神经元对应的坐标为(bx,by,bz)的数据块和邻近的26个数据块按照指定的映射关系分别从磁盘阵列载入blkPtr指针所指向的本地内存空间。
可选地，步骤3)中各计算节点启动多进程并通过各进程独立执行神经回路追踪任务的详细步骤包括：
3.1)使用指定算法以当前神经元为起点，开始进行神经回路追踪计算；
3.2)在计算过程中，当处理像素的坐标(x',y',z')超出坐标(bx,by,bz)的数据块的边界时，跳转执行下一步以进行数据块置换；
3.3)计算当前处理像素所属数据块坐标(bx',by',bz')，计算数据块坐标位移(dx,dy,dz)，其中dx＝bx'-bx，dy＝by'-by，dz＝bz'-bz，由于像素处理的连续性，当前处理像素必然位于坐标(bx,by,bz)的数据块的邻接数据块，因此dx、dy和dz取值为0或1或-1，且坐标(bx',by',bz')的数据块已经载入内存，可以直接开始像素计算；
3.4)以坐标(bx',by',bz')的数据块作为中心，即将内存数据块中心块坐标更新为(bx+dx,by+dy,bz+dz)；
3.5)进行数据块写出操作：遍历blkPtr指针索引数组，对于blkPtr[i][j][k]，如果指针不为空并且满足条件1时，按照指定的映射关系，将符合条件1的指针对应的数据块从内存写出存储设备；条件1的表达式如下：
i-dx＞3 or i-dx＜1 or j-dy＞3 or j-dy＜1 or k-dz＞3 or k-dz＜1
上式中，(dx,dy,dz)为数据块坐标位移，i、j、k为三维数组blkPtr的指针变量blkPtr[i][j][k]中的循环变量，其中i、j、k为正整数且取值均为1～3之间；
3.6)进行数据块指针更新操作：遍历blkPtr指针索引数组，对于blkPtr[i][j][k]，满足条件2时，目标数据块已经在内存中，直接进行数据块指针更新：blkPtr[i][j][k]＝blkPtr[i+dxj+dyk+dz；不满足条件2时，按照指定的映射关系获取应载入的数据块坐标(bx,by,bz)并将对应的数据块加载到内存；其中，条件2的表达式如下：
1≤i+dx≤3 and 1≤j+dy≤3 and 1≤k+dz≤3
上式中，(dx,dy,dz)为数据块坐标位移，i、j、k为三维数组blkPtr的指针变量blkPtr[i][j][k]中的循环变量，其中i、j、k为正整数且取值均为1～3之间。
可选地，步骤3)之前还包括计算固态盘最大可存储的数据块个数nSSD的步骤，详细步骤包括：获取计算节点固态盘容量szSSD，设置固态盘当前数据块计数器变量cSSD为0，计算固态盘最大可存储的数据块个数nSSD，声明固态盘数据块位置队列qSSD并初始化为空，队列内存储的元素类型为四元组(bx,by,bz,bpos)，其中(bx,by,bz)为数据块坐标，bpos为数据块在固态盘上的存储位置；步骤3.5)中将符合条件1的指针对应的数据块从内存写出存储设备的详细步骤包括：如果固态盘当前数据块计数器变量cSSD小于固态盘最大可存储的数据块个数nSSD成立则表示固态盘有空余存储空间，将数据块写入固态盘，并更新固态盘当前数据块计数器变量cSSD的值使其在原值的基础上加1，将数据块坐标(bx,by,bz)和文件位置bpos加入固态盘数据块位置队列qSSD尾部；如果固态盘当前数据块计数器变量cSSD等于固态盘最大可存储的数据块个数nSSD成立则表示固态盘存储空间已满，将固态盘中存入时间最早的数据块迁移到磁盘，所述固态盘中存入时间最早的数据块为固态盘数据块位置队列qSSD头部的数据块，并将该数据块信息从固态盘数据块位置队列qSSD删除，然后再将当前数据块写入固态盘，并将数据块坐标(bx,by,bz)和数据块在固态盘上的存储位置bpos加入固态盘数据块位置队列qSSD尾部；步骤3.6)中将对应的数据块加载到内存具体是指如果数据块坐标存在于固态盘数据块位置队列qSSD，则根据对应的数据块在固态盘上的存储位置bpos，从固态盘将对应的数据块加载到内存，否则从磁盘将指针对应的数据块加载到内存。
可选地，步骤3.2)中处理像素的坐标(x',y',z')超出坐标(bx,by,bz)的数据块的边界具体是指满足下述函数表达式中的任意一项：
Figure BDA0002184232820000041
Figure BDA0002184232820000042
Figure BDA0002184232820000043
上式中，(x',y',z')为处理像素的坐标，(bx,by,bz)为所在的数据块坐标，xScale为z方向分块尺寸，yScale为z方向分块尺寸，zScale为z方向分块尺寸。
此外，本发明还提供一种基于层次存储的神经回路体数据处理系统，包括：
调度管理节点，用于根据计算节点配置将输入图像数据进行分块，根据计算节点数量对神经元进行聚类并对计算节点进行神经元聚类结果的任务分配；
计算节点，用于进行变量和存储空间分配及初始化，将各计算节点的首个任务对应的数据块从磁盘阵列分别加载到各计算节点内存；启动多进程并通过各进程独立执行神经回路追踪任务，且在计算过程中按数据预取规则从存储设备中将数据块读入内存、按数据替换规则将数据块从内存写入存储设备直至分配的任务全部处理完毕。
此外，本发明还提供一种基于层次存储的神经回路体数据处理系统，包括计算机设备，该计算机设备被编程或配置以执行所述基于层次存储的神经回路体数据处理方法的步骤，或者该计算机设备的存储介质上存储有被编程或配置以执行所述基于层次存储的神经回路体数据处理方法的计算机程序。
此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质上存储有被编程或配置以执行所述基于层次存储的神经回路体数据处理方法的计算机程序。
和现有技术相比，本发明具有下述优点：本发明采用分块方法进行神经回路体数据处理，能够处理十TB量级的超大规模图像数据，计算速度快、易于在分布式多核计算平台上并行计算且可扩展性强；通过采用SSD作为数据缓存，提高了热点数据块的读取速度；数据I/O与数据计算并行进行，有效的隐藏了数据传输延迟。本发明实现灵活且支持参数配置，具备处理速度快、程序执行时间短、易于移植与推广的优点。
附图说明
图1为本发明实施例方法的基本流程示意图。
图2为本发明实施例方法的数据块坐标和blkPtr指针索引的映射关系。
图3为本发明实施例方法的示例数据块坐标和blkPtr指针索引的映射关系。
具体实施方式
下文将以配备20个计算节点的分布式计算集群作为计算平台的示例，其中每个计算节点配置双路十二核2.4GHz CPU，内存容量为128GB，每个计算节点配置SSD容量为1TB，共享磁盘阵列容量为100TB，对本发明基于层次存储的神经回路体数据处理方法、系统及介质进行进一步的详细说明。输入数据由10000张分辨率为20000×40000的单图层图像序列组成，每个像素为2个字节，数据总量为16TB。
如图1所示，本实施例基于层次存储的神经回路体数据处理方法的步骤包括：
1)根据计算节点配置将输入图像数据进行分块，根据计算节点数量对神经元进行聚类并对计算节点进行神经元聚类结果的任务分配；
2)各计算节点进行变量和存储空间分配及初始化，将各计算节点的首个任务对应的数据块从磁盘阵列分别加载到各计算节点内存；
3)各计算节点启动多进程并通过各进程独立执行神经回路追踪任务，且在计算过程中按数据预取规则从存储设备中将数据块读入内存、按数据替换规则将数据块从内存写入存储设备直至分配的任务全部处理完毕。
本实施例中，步骤1)中根据计算节点配置将输入图像数据进行分块的详细步骤包括：获取计算节点的内存容量szMem，根据计算节点的内存容量szMem以及下式计算出图像数据的分块尺寸szBlk；获取图像数据在x方向的像素数xDim、y方向的像素数yDim、z方向的图层数zDim，将输入的图像数据映射为最大尺寸szBlk*szBlk*szBlk的分块立方体集合，每个数据块具有唯一的坐标(bx,by,bz)，其中bx、by、bz为正整数；如果满足xDim<szBlk，则x方向分块尺寸xScale的值为xDim，否则x方向分块尺寸xScale的值为szBlk，x方向分块数量xNum的值为
Figure BDA0002184232820000051
如果满足yDim<szBlk，则y方向分块尺寸yScale的值为yDim，否则y方向分块尺寸yScale的值为szBlk，y方向分块数量yNum的值为
Figure BDA0002184232820000053
如果满足zDim<szBlk，则z方向分块尺寸zScale的值为zDim，否则z方向分块尺寸zScale的值为szBlk，z方向分块数量zNum的值为
Figure BDA0002184232820000052
最终确定分块总数量bNum的值为xNum*yNum*zNum，x、y和z方向分别从1开始依次编号。
本实施例中，获取计算节点内存容量szMem＝128GB，图像数据的分块尺寸szBlk的计算方法为：
Figure BDA0002184232820000061
因此，获取图像数据在x、y方向的像素数xDim＝20000，yDim＝40000，以及在z方向的图层数zDim＝10000，将输入的图像数据映射为最大尺寸szBlk*szBlk*szBlk＝1000*1000*1000的分块立方体集合，每个数据块具有唯一的坐标(bx,by,bz)，其中bx、by、bz为正整数。
由于20000>1000，x方向分块尺寸xScale＝1000，分块数量
Figure BDA0002184232820000064
由于40000>1000，y方向分块尺寸yScale＝1000，分块数量
Figure BDA0002184232820000063
由于10000>1000，z方向分块尺寸zScale＝1000，分块数量
Figure BDA0002184232820000062
分块总数量bNum＝xNum*yNum*zNum＝20*40*10＝8000，x、y和z方向分别从1开始依次编号。
本实施例中，步骤1)中根据计算节点数量对神经元进行聚类并对计算节点进行神经元聚类结果的任务分配的详细步骤包括：获取计算节点个数nNode，计算节点编号为1…nNode，使用指定的聚类算法将输入的神经元集合按照空间坐标分为nNode个簇，每个簇内的神经元的空间位置相对集中，每个簇对应的计算任务分配到一个计算节点，使得每个计算节点负责一个簇内所有的神经元的回路追踪计算。具体地，本实施例中获取计算节点个数nNode＝20，计算节点编号为1…20，使用K-means聚类算法，将输入的神经元集合按照空间坐标分为20个簇，每个簇内的神经元的空间位置相对集中，每个簇对应的计算任务分配到一个计算节点，即每个计算节点负责一个簇内所有的神经元的回路追踪计算。本实施例中，前述指定的聚类算法具体采用K-means聚类算法，此外也可以根据需要采用其他聚类算法。
本实施例中，步骤2)的详细步骤包括：
2.1)各个计算节点声明规模为3*3*3的指针变量三维数组blkPtr，对于该数组内每个指针变量blkPtr[i][j][k]分配内存空间容量为szBlk3，其中i、j、k为正整数且1≤i,j,k≤3，szBlk表示将输入图像数据进行分块得到的图像数据的分块尺寸。
2.2)各个计算节点计算本节点所对应的神经元集合中首个神经元的数据块位置，对于坐标为(x,y,z)的神经元，其所在的数据块坐标(bx,by,bz)中各个方向坐标值均为将对应神经元的相同方向的坐标值除以该方向的分块尺寸再进行上取整得到；各个计算节点将首个神经元对应的坐标为(bx,by,bz)的数据块和邻近的26个数据块按照指定的映射关系分别从磁盘阵列载入blkPtr指针所指向的本地内存空间。
本实施例中，步骤2.1)中数组内每个指针变量blkPtr[i][j][k]分配内存空间容量为2*10003Byte＝2GB，步骤2.2)中各个计算节点计算本节点所对应的神经元集合中首个神经元的数据块位置，以坐标为(10011,25432,1039)的神经元为例，其所在的数据块坐标(bx,by,bz)的计算方法为：
Figure BDA0002184232820000071
Figure BDA0002184232820000072
Figure BDA0002184232820000073
各个计算节点将首个神经元对应坐标为(bx,by,bz)的数据块和邻近26个数据块分别从磁盘阵列载入blkPtr指针指向的本地内存空间，具体映射关系如图2所示。对于上述神经元所在的坐标为(11,26,2)的数据块，载入的数据块坐标和blkPtr指针索引的映射关系如图3所示。
本实施例中，步骤3)中各计算节点启动多进程并通过各进程独立执行神经回路追踪任务的详细步骤包括：
3.1)使用指定算法以当前神经元为起点，开始进行神经回路追踪计算；本实施例中，进行神经回路追踪计算的指定算法采用NeuroTree算法，此外也可以根据需要采用其他可实现神经回路追踪计算的算法；
3.2)在计算过程中，当处理像素的坐标(x',y',z')超出坐标(bx,by,bz)的数据块的边界时，跳转执行下一步以进行数据块置换；
3.3)计算当前处理像素所属数据块坐标(bx',by',bz')，计算数据块坐标位移(dx,dy,dz)，其中dx＝bx'-bx，dy＝by'-by，dz＝bz'-bz，由于像素处理的连续性，当前处理像素必然位于坐标(bx,by,bz)的数据块的邻接数据块，因此dx、dy和dz取值为0或1或-1，且坐标(bx',by',bz')的数据块已经载入内存，可以直接开始像素计算；
3.4)以坐标(bx',by',bz')的数据块作为中心，即将内存数据块中心块坐标更新为(bx+dx,by+dy,bz+dz)；
3.5)进行数据块写出操作：遍历blkPtr指针索引数组，对于blkPtr[i][j][k]，如果指针不为空并且满足条件1时，按照指定的映射关系，将符合条件1的指针对应的数据块从内存写出存储设备；条件1的表达式如下：
i-dx＞3 or i-dx＜1 or j-dy＞3 or j-dy＜1 or k-dz＞3 or k-dz＜1
上式中，(dx,dy,dz)为数据块坐标位移，i、j、k为三维数组blkPtr的指针变量blkPtr[i][j][k]中的循环变量，其中i、j、k为正整数且取值均为1～3之间；
3.6)进行数据块指针更新操作：遍历blkPtr指针索引数组，对于blkPtr[i][j][k]，满足条件2时，目标数据块已经在内存中，直接进行数据块指针更新：blkPtr[i][j][k]＝blkPtr[i+dxj+dyk+dz；不满足条件2时，按照指定的映射关系获取应载入的数据块坐标(bx,by,bz)并将对应的数据块加载到内存；其中，条件2的表达式如下：
1≤i+dx≤3 and 1≤j+dy≤3 and 1≤k+dz≤3
上式中，(dx,dy,dz)为数据块坐标位移，i、j、k为三维数组blkPtr的指针变量blkPtr[i][j][k]中的循环变量，其中i、j、k为正整数且取值均为1～3之间。
本实施例中，步骤3.2)中处理像素的坐标(x',y',z')超出坐标(bx,by,bz)的数据块的边界具体是指满足下述函数表达式中的任意一项：
Figure BDA0002184232820000081
Figure BDA0002184232820000082
Figure BDA0002184232820000083
上式中，(x',y',z')为处理像素的坐标，(bx,by,bz)为所在的数据块坐标，xScale为x方向分块尺寸，yScale为y方向分块尺寸，zScale为z方向分块尺寸。由于本实施例中xScale，yScale，zScale均为1000，上式可表示为：
Figure BDA0002184232820000084
Figure BDA0002184232820000085
Figure BDA0002184232820000086
步骤3.3)～3.6)为进行数据置换(内存、存储设备之间)的步骤，为了提高内存、存储设备之间数据置换的性能，本实施例中还通过SSD(固态盘)进行加速。步骤3)之前还包括计算固态盘最大可存储的数据块个数nSSD的步骤，详细步骤包括：获取计算节点固态盘容量szSSD，设置固态盘当前数据块计数器变量cSSD为0，计算固态盘最大可存储的数据块个数nSSD，声明固态盘数据块位置队列qSSD并初始化为空，队列内存储的元素类型为四元组(bx,by,bz,bpos)，其中(bx,by,bz)为数据块坐标，bpos为数据块在固态盘上的存储位置；本实施例中获取计算节点固态盘容量szSSD＝1TB＝1*1012Byte，每个像素为16位，对应2个字节，相应的nByte＝2。设置固态盘当前数据块计数器变量cSSD为0，计算固态盘最大可存储的数据块个数nSSD，计算方法为：
Figure BDA0002184232820000087
在完成初始化后，后续的通过SSD(固态盘)进行加速的步骤包括：
其一、步骤3.5)中将符合条件1的指针对应的数据块从内存写出存储设备的详细步骤包括：如果cSSD<nSSD成立则表示固态盘有空余存储空间，将数据块写入固态盘，并更新cSSD＝cSSD+1，将数据块坐标(bx,by,bz)和文件位置bpos加入固态盘数据块位置队列qSSD尾部；如果cSSD＝nSSD成立则表示固态盘存储空间已满，将SSD中存入时间最早的数据块迁移到磁盘，所述固态盘中存入时间最早的数据块为固态盘数据块位置队列qSSD头部的数据块，并将该数据块信息从固态盘数据块位置队列qSSD删除，然后再将当前数据块写入固态盘，并将数据块坐标(bx,by,bz)和文件位置bpos加入固态盘数据块位置队列qSSD尾部；
其二、步骤3.6)中将对应的数据块加载到内存具体是指如果数据块坐标存在于固态盘数据块位置队列qSSD，则根据对应的数据块文件位置bpos，从固态盘将对应的数据块加载到内存，否则从磁盘将指针对应的数据块加载到内存。
综上所述，本实施例基于层次存储的神经回路体数据处理方法使用分布式多核计算平台，采用分块处理的方式，基于层次存储进行神经回路体数据处理。本实施例基于层次存储的神经回路体数据处理方法可以处理十TB级数据，具有良好的适应性和扩展性。
此外，本实施例还提供一种基于层次存储的神经回路体数据处理系统，包括：
调度管理节点，用于根据计算节点配置将输入图像数据进行分块，根据计算节点数量对神经元进行聚类并对计算节点进行神经元聚类结果的任务分配；
计算节点，用于进行变量和存储空间分配及初始化，将各计算节点的首个任务对应的数据块从磁盘阵列分别加载到各计算节点内存；启动多进程并通过各进程独立执行神经回路追踪任务，且在计算过程中按数据预取规则从存储设备中将数据块读入内存、按数据替换规则将数据块从内存写入存储设备直至分配的任务全部处理完毕。
需要说明的是，调度管理节点、计算节点是逻辑层面的节点划分方式，两者既可以采用不同的物理计算机节点实现，也可以采用相同的物理计算机节点实现。
此外，本实施例还提供一种基于层次存储的神经回路体数据处理系统，包括计算机设备，该计算机设备被编程或配置以执行本实施例前述基于层次存储的神经回路体数据处理方法的步骤，或者该计算机设备的存储介质上存储有被编程或配置以执行本实施例前述基于层次存储的神经回路体数据处理方法的计算机程序。
此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有被编程或配置以执行本实施例前述基于层次存储的神经回路体数据处理方法的计算机程序。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于层次存储的神经回路体数据处理方法，其特征在于实施步骤包括：
1)根据计算节点配置将输入图像数据进行分块，根据计算节点数量对神经元进行聚类并对计算节点进行神经元聚类结果的任务分配；所述根据计算节点数量对神经元进行聚类并对计算节点进行神经元聚类结果的任务分配的详细步骤包括：获取计算节点个数nNode，计算节点编号为1...nNode，使用指定的聚类算法将输入的神经元集合按照空间坐标分为nNode个簇，每个簇内的神经元的空间位置相对集中，每个簇对应的计算任务分配到一个计算节点，使得每个计算节点负责一个簇内所有的神经元的回路追踪计算；
2)各计算节点进行变量和存储空间分配及初始化，将各计算节点的首个任务对应的数据块从磁盘阵列分别加载到各计算节点内存；
3)各计算节点启动多进程并通过各进程独立执行神经回路追踪任务，且在计算过程中按数据预取规则从存储设备中将数据块读入内存、按数据替换规则将数据块从内存写入存储设备直至分配的任务全部处理完毕；
步骤3)中各计算节点启动多进程并通过各进程独立执行神经回路追踪任务的详细步骤包括：
3.1)使用指定算法以当前神经元为起点，开始进行神经回路追踪计算；
3.2)在计算过程中，当处理像素的坐标(x′，y′，z′)超出坐标(bx，by，bz)的数据块的边界时，跳转执行下一步以进行数据块置换；
3.3)计算当前处理像素所属数据块坐标(bx′，by′，bz′)，计算数据块坐标位移(dx，dy，dz)，其中dx＝bx′-bx，dy＝by′-by，dz＝bz′-bz，由于像素处理的连续性，当前处理像素必然位于坐标(bx，by，bz)的数据块的邻接数据块，因此dx、dy和dz取值为0或1或-1，且坐标(bx′，by′，bz′)的数据块已经载入内存，可以直接开始像素计算；
3.4)以坐标(bx′，by′，bz′)的数据块作为中心，即将内存数据块中心块坐标更新为(bx+dx，by+dy，bz+dz)；
3.5)进行数据块写出操作：遍历blkPtr指针索引数组，对于blkPtr[i][j][k]，如果指针不为空并且满足条件1时，按照指定的映射关系，将符合条件1的指针对应的数据块从内存写出存储设备；条件1的表达式如下：
i-dx＞3 or i-dx＜1 or j-dy＞3 or j-dy＜1 or k-dz＞3 or k-dz＜1
上式中，(dx，dy，dz)为数据块坐标位移，i、j、k为三维数组blkPtr的指针变量blkPtr[i][j][k]中的循环变量，其中i、j、k为正整数且取值均为1～3之间；
3.6)进行数据块指针更新操作：遍历blkPtr指针索引数组，对于blkPtr[i][j][k]，满足条件2时，目标数据块已经在内存中，直接进行数据块指针更新：blkPtr[i][j][k]＝blkPtr[i+ dx][j+dy][k+dz]；不满足条件2时，按照指定的映射关系获取应载入的数据块坐标(bx，by，bz)并将对应的数据块加载到内存；其中，条件2的表达式如下：
1≤i+dx≤3 and 1≤j+dy≤3 and 1≤k+dz≤3
上式中，(dx，dy，dz)为数据块坐标位移，i、j、k为三维数组blkPtr的指针变量blkPtr[i][j][k]中的循环变量，其中i、j、k为正整数且取值均为1～3之间；
步骤3)之前还包括计算固态盘最大可存储的数据块个数nSSD的步骤，详细步骤包括：获取计算节点固态盘容量szSSD，设置固态盘当前数据块计数器变量cSSD为0，计算固态盘最大可存储的数据块个数nSSD，声明固态盘数据块位置队列qSSD并初始化为空，队列内存储的元素类型为四元组(bx，by，bz，bpos)，其中(bx，by，bz)为数据块坐标，bpos为数据块在固态盘上的存储位置；
步骤3.5)中将符合条件1的指针对应的数据块从内存写出存储设备的详细步骤包括：如果固态盘当前数据块计数器变量cSSD小于固态盘最大可存储的数据块个数nSSD成立则表示固态盘有空余存储空间，将数据块写入固态盘，并更新固态盘当前数据块计数器变量cSSD的值使其在原值的基础上加1，将数据块坐标(bx，by，bz)和文件位置bpos加入固态盘数据块位置队列qSSD尾部；如果固态盘当前数据块计数器变量cSSD等于固态盘最大可存储的数据块个数nSSD成立则表示固态盘存储空间已满，将固态盘中存入时间最早的数据块迁移到磁盘，所述固态盘中存入时间最早的数据块为固态盘数据块位置队列qSSD头部的数据块，并将该数据块信息从固态盘数据块位置队列qSSD删除，然后再将当前数据块写入固态盘，并将数据块坐标(bx，by，bz)和数据块在固态盘上的存储位置bpos加入固态盘数据块位置队列qSSD尾部；步骤3.6)中将对应的数据块加载到内存具体是指如果数据块坐标存在于固态盘数据块位置队列qSSD，则根据对应的数据块在固态盘上的存储位置bpos，从固态盘将对应的数据块加载到内存，否则从磁盘将指针对应的数据块加载到内存。
2.根据权利要求1所述基于层次存储的神经回路体数据处理方法，其特征在于，步骤1)中根据计算节点配置将输入图像数据进行分块的详细步骤包括：获取计算节点的内存容量szMem，根据计算节点的内存容量szMem以及下式计算出图像数据的分块尺寸szBlk；获取图像数据在x方向的像素数xDim、y方向的像素数yDim、z方向的图层数zDim，将输入的图像数据映射为最大尺寸szBlk*szBlk*szBlk的分块立方体集合，每个数据块具有唯一的坐标(bx，by，bz)，其中bx、by、bz为正整数；如果满足xDim＜szBlk，则x方向分块尺寸xScale的值为xDim，否则x方向分块尺寸xScale的值为szBlk，x方向分块数量xNum的值为
Figure FDA0003718912950000021
如果满足yDim＜szBlk，则y方向分块尺寸yScale的值为yDim，否则y方向分块尺寸yScale的值为szBlk，y方向分块数量yNum的值为
Figure FDA0003718912950000022
如果满足zDim＜szBlk，则z方向分块尺寸zScale的值为zDim，否则z方向分块尺寸zScale的值为szBlk，z方向分块数量zNum的值为
Figure FDA0003718912950000031
最终确定分块总数量bNum的值为xNum*yNum*zNum，x、y和z方向分别从1开始依次编号。
3.根据权利要求1所述基于层次存储的神经回路体数据处理方法，其特征在于，步骤2)的详细步骤包括：
2.1)各个计算节点声明规模为3*3*3的指针变量三维数组blkPtr，对于该数组内每个指针变量blkPtr[i][j][k]分配内存空间容量为szBlk3，其中i、j、k为正整数且1≤i，j，k≤3，szBlk表示将输入图像数据进行分块得到的图像数据的分块尺寸；
2.2)各个计算节点计算本节点所对应的神经元集合中首个神经元的数据块位置，对于坐标为(x，y，z)的神经元，其所在的数据块坐标(bx，by，bz)中各个方向坐标值均为将对应神经元的相同方向的坐标值除以该方向的分块尺寸再进行上取整得到；各个计算节点将首个神经元对应的坐标为(bx，by，bz)的数据块和邻近的26个数据块按照指定的映射关系分别从磁盘阵列载入blkPtr指针所指向的本地内存空间。
4.根据权利要求1所述基于层次存储的神经回路体数据处理方法，其特征在于，步骤3.2)中处理像素的坐标(x′，y′，z′)超出坐标(bx，by，bz)的数据块的边界具体是指满足下述函数表达式中的任意一项：
Figure FDA0003718912950000032
Figure FDA0003718912950000033
Figure FDA0003718912950000034
上式中，(x′，y′，z′)为处理像素的坐标，(bx，by，bz)为所在的数据块坐标，xScale为z方向分块尺寸，yScale为z方向分块尺寸，zScale为z方向分块尺寸。
5.一种基于层次存储的神经回路体数据处理系统，其特征在于包括：
调度管理节点，用于根据计算节点配置将输入图像数据进行分块，根据计算节点数量对神经元进行聚类并对计算节点进行神经元聚类结果的任务分配；所述根据计算节点数量对神经元进行聚类并对计算节点进行神经元聚类结果的任务分配的详细步骤包括：获取计算节点个数nNode，计算节点编号为1...nNode，使用指定的聚类算法将输入的神经元集合按照空间坐标分为nNode个簇，每个簇内的神经元的空间位置相对集中，每个簇对应的计算任务分配到一个计算节点，使得每个计算节点负责一个簇内所有的神经元的回路追踪计算；
计算节点，用于进行变量和存储空间分配及初始化，将各计算节点的首个任务对应的数据块从磁盘阵列分别加载到各计算节点内存；启动多进程并通过各进程独立执行神经回路追踪任务，且在计算过程中按数据预取规则从存储设备中将数据块读入内存、按数据替换规则将数据块从内存写入存储设备直至分配的任务全部处理完毕；且各计算节点启动多进程并通过各进程独立执行神经回路追踪任务的详细步骤包括：
3.1)使用指定算法以当前神经元为起点，开始进行神经回路追踪计算；
3.2)在计算过程中，当处理像素的坐标(x′，y′，z′)超出坐标(bx，by，bz)的数据块的边界时，跳转执行下一步以进行数据块置换；
3.3)计算当前处理像素所属数据块坐标(bx′，by′，bz′)，计算数据块坐标位移(dx，dy，dz)，其中dx＝bx′-bx，dy＝by′-by，dz＝bz′-bz，由于像素处理的连续性，当前处理像素必然位于坐标(bx，by，bz)的数据块的邻接数据块，因此dx、dy和dz取值为0或1或-1，且坐标(bx′，by′，bz′)的数据块已经载入内存，可以直接开始像素计算；
3.4)以坐标(bx′，by′，bz′)的数据块作为中心，即将内存数据块中心块坐标更新为(bx+dx，by+dy，bz+dz)；
3.5)进行数据块写出操作：遍历blkPtr指针索引数组，对于blkPtr[i][j][k]，如果指针不为空并且满足条件1时，按照指定的映射关系，将符合条件1的指针对应的数据块从内存写出存储设备；条件1的表达式如下：
i-dx＞3 or i-dx＜1 or j-dy＞3 or j-dy＜1 or k-dz＞3 or k-dz＜1
上式中，(dx，dy，dz)为数据块坐标位移，i、j、k为三维数组blkPtr的指针变量blkPtr[i][j][k]中的循环变量，其中i、j、k为正整数且取值均为1～3之间；
3.6)进行数据块指针更新操作：遍历blkPtr指针索引数组，对于blkPtr[i][j][k]，满足条件2时，目标数据块已经在内存中，直接进行数据块指针更新：blkPtr[i][j][k]＝blkPtr[i+dxj+dyk+dz；不满足条件2时，按照指定的映射关系获取应载入的数据块坐标(bx，by，bz)并将对应的数据块加载到内存；其中，条件2的表达式如下：
1≤i+dx≤3 and 1≤j+dy≤3 and 1≤k+dz≤3
上式中，(dx，dy，dz)为数据块坐标位移，i、j、k为三维数组blkPtr的指针变量blkPtr[i][j][k]中的循环变量，其中i、j、k为正整数且取值均为1～3之间；
步骤3)之前还包括计算固态盘最大可存储的数据块个数nSSD的步骤，详细步骤包括：获取计算节点固态盘容量szSSD，设置固态盘当前数据块计数器变量cSSD为0，计算固态盘最大可存储的数据块个数nSSD，声明固态盘数据块位置队列qSSD并初始化为空，队列内存储的元素类型为四元组(bx，by，bz，bpos)，其中(bx，by，bz)为数据块坐标，bpos为数据块在固态盘上的存储位置；
步骤3.5)中将符合条件1的指针对应的数据块从内存写出存储设备的详细步骤包括：如果固态盘当前数据块计数器变量cSSD小于固态盘最大可存储的数据块个数nSSD成立则表示固态盘有空余存储空间，将数据块写入固态盘，并更新固态盘当前数据块计数器变量cSSD的值使其在原值的基础上加1，将数据块坐标(bx，by，bz)和文件位置bpos加入固态盘数据块位置队列qSSD尾部；如果固态盘当前数据块计数器变量cSSD等于固态盘最大可存储的数据块个数nSSD成立则表示固态盘存储空间已满，将固态盘中存入时间最早的数据块迁移到磁盘，所述固态盘中存入时间最早的数据块为固态盘数据块位置队列qSSD头部的数据块，并将该数据块信息从固态盘数据块位置队列qSSD删除，然后再将当前数据块写入固态盘，并将数据块坐标(bx，by，bz)和数据块在固态盘上的存储位置bpos加入固态盘数据块位置队列qSSD尾部；步骤3.6)中将对应的数据块加载到内存具体是指如果数据块坐标存在于固态盘数据块位置队列qSSD，则根据对应的数据块在固态盘上的存储位置bpos，从固态盘将对应的数据块加载到内存，否则从磁盘将指针对应的数据块加载到内存。
6.一种基于层次存储的神经回路体数据处理系统，包括计算机设备，其特征在于，该计算机设备被编程或配置以执行权利要求1～4中任意一项所述基于层次存储的神经回路体数据处理方法的步骤，或者该计算机设备的存储介质上存储有被编程或配置以执行权利要求1～4中任意一项所述基于层次存储的神经回路体数据处理方法的计算机程序。
7.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有被编程或配置以执行权利要求1～4中任意一项所述基于层次存储的神经回路体数据处理方法的计算机程序。
CN201910808054.3A 2019-08-29 2019-08-29 基于层次存储的神经回路体数据处理方法、系统及介质 Active CN110543940B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910808054.3A CN110543940B (zh) 2019-08-29 2019-08-29 基于层次存储的神经回路体数据处理方法、系统及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910808054.3A CN110543940B (zh) 2019-08-29 2019-08-29 基于层次存储的神经回路体数据处理方法、系统及介质

Publications (2)

Publication Number Publication Date
CN110543940A CN110543940A (zh) 2019-12-06
CN110543940B true CN110543940B (zh) 2022-09-23

Family

ID=68712344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910808054.3A Active CN110543940B (zh) 2019-08-29 2019-08-29 基于层次存储的神经回路体数据处理方法、系统及介质

Country Status (1)

Country Link
CN (1) CN110543940B (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103425772B (zh) * 2013-08-13 2016-08-10 东北大学 一种具有多维信息的海量数据查询方法
CN104731968B (zh) * 2015-04-08 2018-06-19 河海大学 一种单机的大规模数据集的聚类挖掘方法
CN110135569B (zh) * 2019-04-11 2021-09-21 中国人民解放军国防科技大学 一种异构平台神经元定位三级流水并行方法、系统及介质

Also Published As

Publication number Publication date
CN110543940A (zh) 2019-12-06

Similar Documents

Publication Publication Date Title
US10657617B1 (en) Method and apparatus for memory access management for data processing
CN110135569B (zh) 一种异构平台神经元定位三级流水并行方法、系统及介质
CN103218309B (zh) 多级指令高速缓存预取的方法、系统与设备
KR102028252B1 (ko) 자율 메모리 아키텍처
US9959054B1 (en) Log cleaning and tiering in a log-based data storage system
CN113190515B (zh) 基于异构并行计算的城市级海量点云坐标转换方法
KR101747966B1 (ko) 자율 서브시스템 아키텍처
JP2010033561A (ja) マルチプロセッサ・システム上でデータ・セットを区分化およびソートするための方法および装置
JP2017188096A (ja) 重複除去メモリモジュール及びそのメモリ重複除去方法
EP2286347A2 (en) System and method for parallelizing and accelerating learning machine training and classification using a massively parallel accelerator
CN112835627A (zh) 用于单指令多线程或单指令多数据类型处理器的近似最近邻域搜索
CN103365943A (zh) 数据库处理设备、数据库处理方法以及记录介质
KR102604740B1 (ko) 병렬 컴퓨팅을 위한 키-밸류 기반 시스템 및 병렬화된 애플리케이션을 동작하는 방법
CN106484532B (zh) 面向sph流体模拟的gpgpu并行计算方法
CN113469354A (zh) 受存储器限制的神经网络训练
CN114117150B (zh) 一种基于gpu的图分析算法通用优化方法
CN106971369B (zh) 一种基于gpu的地形可视域分析的数据调度与分发方法
CN110543940B (zh) 基于层次存储的神经回路体数据处理方法、系统及介质
Park et al. SnuQS: scaling quantum circuit simulation using storage devices
Wen et al. Scalable and fast SVM regression using modern hardware
JPWO2011058657A1 (ja) 並列計算装置、並列計算方法、および並列計算プログラム
CN116382599B (zh) 一种面向分布式集群的任务执行方法、装置、介质及设备
CN111445503B (zh) 基于gpu集群上并行编程模型的金字塔互信息图像配准方法
Barrientos et al. Range query processing in a multi-GPU environment
CN110162483B (zh) 静态内存碎片整理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant