CN113240620A - 基于点标记的高度黏连和多尺寸脑神经元自动分割方法 - Google Patents

Abstract

本发明公开了一种基于点标记的高度黏连和多尺寸脑神经元自动分割方法，首先建立数据库，将数据库随机分为训练集和测试集，并标记神经元质心位置；并进行预处理，得到归一化的训练集图像和测试集图像，神经元质心概率图作为训练集真值图和测试集真值图；然后构建并行多感受野卷积神经网络，预测神经元质心概率，检测神经元质心，最后分割神经元。本发明解决了现有技术中存在的无法在全脑中分割高密度和多尺寸神经元的问题。

Description

基于点标记的高度黏连和多尺寸脑神经元自动分割方法

技术领域

本发明属于计算机科学与生物医学技术领域，具体涉及一种基于点标记 的高度黏连和多尺寸脑神经元自动分割方法。

背景技术

神经元精确分割对定量分析高分辨脑显微图像中的神经元的数量、形态、 分布等信息非常重要。目前，金标准-体视学方法被神经科学专家用于估计 感兴趣的解剖区域中神经元的数量。但是，这种手动操作耗时耗力，其准确 性还受复杂的大脑结构、专家的主观经验等多个因素影响。因此，人们迫切 需要一种可以自动的精确分割神经元的方法。目前，国内外学者对于细胞分 割问题已经做了大量的研究工作，提出了许多自动分割细胞的方法。但是， 由于①神经元染色强度不一致，类内差异性较大，类间差异性较小；②部分 解剖区域中存在高度黏连的神经元；③全脑神经元尺寸变化大等，导致阈值 分割、数学形态学方法、基于凹点检测的方法、区域增长方法、分水岭算法、 主动轮廓模型等传统的无监督方法很容易过分割大尺寸神经元，漏检小尺寸 神经元。相反，有监督学习方法可以端到端高效地捕获神经元特征，提高分 割精度。近年来，深度学习(U-net、U-net++、FCRN、multiscale CNN等) 被广泛用于生物医学图像处理中，可以有效地解决尺寸变化不大、部分黏连 的神经元的自动分割问题。但是，由于这些网络结构采用尺寸较为固定的感 受野和单一的损失函数，因此，对于全脑中高度黏连和多尺寸的神经元分割 仍有一定的局限性。此外，拥有大量的神经元实例分割标记是应用深度学习 方法获得高精度分割结果的前提。在神经科学中最具挑战的解剖区域之一— 海马体子区域齿状回中，上万个神经元相互黏连，目前并没有其实例标记数 据，而且即使专家也难以对其进行实例标记。因此，本发明基于点标记的深 度学习方法能够很好地解决上面的问题，自动分割全脑中高度黏连和多尺寸 的神经元。

发明内容

本发明的目的是提供一种基于点标记的高度黏连和多尺寸脑神经元自 动分割方法，解决了现有技术中存在的无法在全脑中分割高密度和多尺寸神 经元的问题。

本发明所采用的技术方案是，一种基于点标记的高度黏连和多尺寸脑神 经元自动分割方法，具体按照以下步骤实施：

步骤1、建立数据库，将数据库随机分为训练集和测试集，并标记神经 元质心位置；

步骤2、对步骤1建立的训练集和测试集进行预处理，得到归一化的训 练集图像和测试集图像；

步骤3、对步骤1标记的神经元质心位置图进行预处理，得到神经元质 心概率图作为训练集真值图和测试集真值图；

步骤4、构建并行多感受野卷积神经网络：采用步骤2的训练集图像和 步骤3的训练集真值图分别作为并行多感受野卷积神经网络的输入和输出， 训练、更新网络参数，从而得到并行多感受野卷积神经网络的模型；

步骤5、预测神经元质心概率：将步骤2的测试集图像送入步骤4训练 好的并行多感受野卷积神经网络模型的输入端，并行多感受野卷积神经网络 模型的输出结果即为预测的测试集中神经元质心的概率图；

步骤6、检测神经元质心：根据步骤5的神经元质心的概率图，对图中 的每个像素，提取概率大于0的像素，并去噪，计算去噪后图像的连通分量， 连通分量的重心即为本发明得到的神经元的质心；

步骤7、分割神经元：基于步骤6得到的神经元质心，应用主动轮廓模 型得到神经元分割结果。

本发明的特点还在于，

步骤1具体如下：

从数据库M张图像中随机选取N张图像作为训练集，使用剩余M-N张 图像作为测试集，数据库由猕猴大脑的第91张冠状切片的显微图像构成， 在M张图像中每个神经元中心位置即质心处手动标记一个圆盘用于识别每 个神经元，所述步骤1中标记的圆盘半径为5像素。

步骤2具体如下：

对步骤1建立的数据库图像进行预处理，得到归一化的图像I：

I(x,y)＝(0.299×R(x,y)+0.587×G(x,y)+0.114×B(x,y))/255 (2)

式中，I(x,y)为图像I中像素(x,y)的归一化值，其范围为0-1。步骤1的数 据库图像为彩色图像，由R、G、B分量构成，R(x,y)为像素(x,y)在R分量中的 灰度级，G(x,y)为像素(x,y)在G分量中的灰度级，B(x,y)为像素(x,y)在B分量 中的灰度级；

所述步骤3具体如下：

对步骤1专家标记的神经元质心位置图使用σ＝3的高斯滤波器进行预处 理，得到神经元质心概率图作为训练集真值图。

步骤4具体如下：

步骤4.1、构建并行多感受野编码器网络；

步骤4.2、构建并行多感受野解码器网络；

步骤4.3、将步骤2的训练集图像作为步骤4.1中构建的并行多感受野编 码器网络的输入端，将步骤3的训练集真值图作为步骤4.2中构建的并行多 感受野解码器网络的输出端，使用反向传播和随机梯度下降法，计算并行多 感受野卷积神经网络中4条路径的损失函数和，根据最小化交叉熵原理，训 练、更新网络参数，直至训练次数达到Q次停止，得到并行多感受野卷积神 经网络模型。

步骤4.1中并行多感受野编码器网络由卷积、ReLU和下采样即最大池 化层构成的6个运算模块：L11、L21、L31、L41、L51、L61组成，具体如 下：

步骤4.1.1、在运算模块L11中，构建并行的拥有3个感受野的多尺度 网络提取神经元特征，具体如下：

步骤a1.使用大小为1×1像素的64个卷积核对步骤2的训练集图像执 行一次卷积操作，作为第一个尺度

得到特征图f^m×n×d，m和n代表特征 图的长和宽，d代表特征图的维数，步骤a1的特征图尺寸为f^512×512×64；

步骤a2.使用大小为3×3像素的64个卷积核对步骤2的训练集图像执 行一次卷积操作，为第二个尺度

得到特征图f^512×512×64；

步骤a3.使用大小为3×3像素的64个卷积核对步骤2的训练集图像执 行两次连续的卷积操作，作为第三个尺度

得到特征图f^512×512×64；

步骤4.1.2、将运算模块L11中得到的三个尺度

的特征 图级联在一起，然后使用大小为1×1像素的卷积核执行一次卷积运算降维， 得到特征图f^{512 ×512×64}，至此，得到3个大小不同的感受野，感受野尺寸分别 为1×1像素、3×3像素和5×5像素；

步骤4.1.3、对步骤4.1.2得到的特征图f^512×512×64执行一次最大池化操作， 得到特征图f^256×256×64；

步骤4.1.4、在运算模块L21中，构建并行的拥有3个感受野的多尺度 网络提取神经元特征，具体如下：

步骤b1.使用大小为1×1像素的128个卷积核对步骤4.1.3得到的特征 图执行一次卷积操作，作为第一个尺度

得到特征图f^{256×256×128}；

步骤b2.使用大小为3×3像素的128个卷积核对步骤4.1.3得到的特征 图执行一次卷积操作，作为第二个尺度

得到特征图f^{256×256×128}；

步骤b3.使用大小为3×3像素的128个卷积核对步骤4.1.3得到的特征 图执行两次连续的卷积操作，作为第三个尺度

得到特征图f^{256×256×128}；

步骤4.1.5、将运算模块L21得到中的三个尺度

的特征 图级联在一起，然后使用大小为1×1像素的卷积核执行一次卷积运算降维， 得到特征图f^{256 ×256×128}，至此，得到7个大小不同的感受野，感受野尺寸分别 为2×2像素、4×4像素、6×6像素、8×8像素、10×10像素、12×12像素和 14×14像素；

步骤4.1.6、对步骤4.1.5得到的特征图执行一次最大池化操作，得到特 征图f^{128 ×128×128}；

步骤4.1.7、在运算模块L31中，使用大小为3×3像素的256个卷积核 对步骤4.1.6得到的特征图执行两次卷积运算，加强较大尺寸神经元质心细 节特征的提取，得到特征图f^{128×128×256}，至此，得到7个大小不同的感受野， 感受野尺寸分别为20×20像素、22×22像素、24×24像素、26×26像素、28×28 像素、30×30像素和32×32像素；

步骤4.1.8、对步骤4.1.7得到的特征图执行一次最大池化操作，得到特 征图f^{64 ×64×256}；

步骤4.1.9、在运算模块L41中，使用大小为3×3像素的512个卷积核 对步骤4.1.8得到的特征图执行两次卷积运算，加强更大尺寸神经元质心细 节特征的提取，得到特征图f^64×64×512，至此，得到7个大小不同的感受野， 感受野尺寸分别为56×56像素、58×58像素、60×60像素、62×62像素、64×64 像素、66×66像素和68×68像素；

步骤4.1.10、对步骤4.1.9得到的特征图执行一次最大池化操作，得到特 征图f^{32 ×32×512}；

步骤4.1.11、在运算模块L51中，使用大小为3×3像素的1024个卷积 核对步骤4.1.10得到的特征图执行两次卷积运算，加强更大尺寸神经元质心 细节特征的提取，得到特征图f^32×32×1024，至此，得到7个大小不同的感受野， 感受野尺寸分别为128×128像素、130×130像素、132×132像素、134×134 像素、136×136像素、138×138像素和140×140像素；

步骤4.1.12、对步骤4.1.11得到的特征图执行一次最大池化操作，得到 特征图f^{16 ×16×1024}；

步骤4.1.13、在运算模块L61中，使用大小为3×3像素的2048个卷积 核，对步骤4.1.12得到的特征图执行两次卷积运算，加强最大尺寸神经元质 心细节特征的提取，得到特征图f^16×16×2048，至此，得到7个大小不同的感受 野，感受野尺寸分别为272×272像素、274×274像素、276×276像素、278×278 像素、280×280像素、282×282像素和284×284像素。

步骤4.2中并行多感受野解码器网络由4组对应编码器网络的上采样、 卷积和ReLU层组成，具体如下：

c1.并行多感受野解码器路径1为L31→L22→L13，具体步骤如下：

步骤4.2.c1.1、对步骤4.1.7的结果执行一次上采样，使用大小为3×3像 素的128个卷积核执行一次卷积操作，得到特征图f^{256×256×128}；

步骤4.2.c1.2、在运算模块L22中，将步骤4.1.5的结果和步骤4.2.c1.1 的结果级联在一起，然后使用大小为3×3像素的128个卷积核执行两次卷积 操作，得到特征图f^{256 ×256×128}；

步骤4.2.c1.3、对步骤4.2.c1.2的结果执行一次上采样，使用大小为3×3 像素的64个卷积核执行一次卷积操作，得到特征图f^512×512×64；

步骤4.2.c1.4、在运算模块L13中，将步骤4.1.2的结果和步骤4.2.c1.3 的结果级联在一起，然后使用大小为3×3像素的64个卷积核执行两次卷积 操作，得到特征图f^{512 ×512×64}，得到的特征图的尺寸恢复为步骤2的训练集图 像的尺寸512×512，此时，特征图的维数为64；

步骤4.2.c1.5、采用内核大小为3×3像素的2个卷积核对步骤4.2.c1.4 的结果执行一次卷积操作，得到特征图f^512×512×2，2对应于步骤1的真值图中 的2个类别，神经元质心和非质心；

步骤4.2.c1.6、对步骤4.2.c1.5的结果应用sigmoid激活函数，得到神经 元的质心概率图p₁ ^512×512，为步骤2的训练集图像中每个像素为神经元质心 的概率，概率越大，该像素为神经元质心的可能性越大；

c2.并行多感受野解码器路径2为L41→L32→L23→L14，具体步骤如 下：

步骤4.2.c2.1、对步骤4.1.9的结果执行一次上采样，使用大小为3×3像 素的256个卷积核执行一次卷积操作，得到特征图f^{128×128×256}；

步骤4.2.c2.2、在运算模块L32中，将步骤4.1.7的结果和步骤4.2.c2.1 的结果级联在一起，然后使用大小为3×3像素的256个卷积核执行两次卷积 操作，得到特征图f^{128 ×128×256}；

步骤4.2.c2.3、对步骤4.2.c2.2的结果执行一次上采样，使用大小为3×3 像素的128个卷积核执行一次卷积操作，得到特征图f^{256×256×128}；

步骤4.2.c2.4、在运算模块L23中，将步骤4.1.5的结果和步骤4.2.c2.3 的结果级联在一起，然后使用大小为3×3像素的128个卷积核执行两次卷积 操作，得到特征图f^{256 ×256×128}；

步骤4.2.c2.5、对步骤4.2.c2.5的结果执行一次上采样，使用大小为3×3 像素的64个卷积核执行一次卷积操作，得到特征图f^512×512×64；

步骤4.2.c2.6、在运算模块L14中，将步骤4.1.2的结果和步骤4.2.c2.5 的结果级联在一起，然后使用大小为3×3像素的64个卷积核执行两次卷积 操作，得到特征图f^{512 ×512×64}，得到的特征图的尺寸恢复为步骤2的训练集图 像的尺寸512×512，此时，特征图的维数为64；

步骤4.2.c2.7采用内核大小为3×3像素的2个卷积核对步骤4.2.c2.6的 结果执行一次卷积操作，得到特征图f^512×512×2，2对应于步骤1的真值图中的 2个类别，神经元质心和非质心；

步骤4.2.c2.8、对步骤4.2.c2.7的结果应用sigmoid激活函数，得到神经 元的质心概率图p₂ ^512×512，为步骤2的训练集图像中每个像素为神经元质心 的概率，概率越大，该像素为神经元质心的可能性越大；

c3.并行多感受野解码器路径3为L51→L42→L33→L24→L15，具体步 骤如下：

步骤4.2.c3.1、对步骤4.1.11的结果执行一次上采样，使用大小为3×3 像素的512个卷积核执行一次卷积操作，得到特征图f^64×64×512；

步骤4.2.c3.2、在运算模块L42中，将步骤4.1.9的结果和步骤4.2.c3.1 的结果级联在一起，然后使用大小为3×3像素的512个卷积核执行两次卷积 操作，得到特征图f^{64 ×64×512}；

步骤4.2.c3.3、对步骤4.2.c3.2的结果执行一次上采样，使用大小为3×3 像素的256个卷积核执行一次卷积操作，得到特征图f^{128×128×256}；

步骤4.2.c3.4、在运算模块L33中，将步骤4.1.7的结果和步骤4.2.c3.3 的结果级联在一起，然后使用大小为3×3像素的256个卷积核执行两次卷积 操作，得到特征图f^{128 ×128×256}；

步骤4.2.c3.5、对步骤4.2.c3.4的结果执行一次上采样，使用大小为3×3 像素的128个卷积核执行一次卷积操作，得到特征图f^{256×256×128}；

步骤4.2.c3.6、在运算模块L24中，将步骤4.1.5的结果和步骤4.2.c3.5 的结果级联在一起，然后使用大小为3×3像素的128个卷积核执行两次卷积 操作，得到特征图f^{256 ×256×128}；

步骤4.2.c3.7、对步骤4.2.c3.6的结果执行一次上采样，使用大小为3×3 像素的64个卷积核执行一次卷积操作，得到特征图f^512×512×64；

步骤4.2.c3.8、在运算模块L15中，将步骤4.1.2的结果和步骤4.2.c3.7 的结果级联在一起，然后使用大小为3×3像素的64个卷积核执行两次卷积 操作，得到特征图f^{512 ×512×64}，得到的特征图的尺寸恢复为步骤2的训练集图 像的尺寸512×512，此时，特征图的维数为64；

步骤4.2.c3.9采用内核大小为3×3像素的2个卷积核对步骤4.2.c3.8的 结果执行一次卷积操作，得到特征图f^512×512×2，2对应于步骤1的真值图中的 2个类别，神经元质心和非质心；

步骤4.2.c3.10、对步骤4.2.c3.9的结果应用sigmoid激活函数，得到神 经元的质心概率图p₃ ^512×512，为步骤2的训练集图像中每个像素为神经元质 心的概率，概率越大，该像素为神经元质心的可能性越大；

c4.并行多感受野解码器路径4为L61→L52→L43→L34→L25→L16， 具体步骤如下：

步骤4.2.c4.1、对步骤4.1.13的结果执行一次上采样，使用大小为3×3 像素的1024个卷积核执行一次卷积操作，得到特征图f^32×32×1024；

步骤4.2.c4.2、在运算模块L52中，将步骤4.1.11的结果和步骤4.2.c4.1 的结果级联在一起，然后使用大小为3×3像素的1024个卷积核执行两次卷 积操作，得到特征图f^{32 ×32×1024}；

步骤4.2.c4.3、对步骤4.2.c4.2的结果执行一次上采样，使用大小为3×3 像素的512个卷积核执行一次卷积操作，得到特征图f^64×64×512；

步骤4.2.c4.4、在运算模块L43中，将步骤4.1.9的结果和步骤4.2.c4.3 的结果级联在一起，然后使用大小为3×3像素的512个卷积核执行两次卷积 操作，得到特征图f^{64 ×64×512}；

步骤4.2.c4.5、对步骤4.2.c4.4的结果执行一次上采样，使用大小为3×3 像素的256个卷积核得到特征图f^{128×128×256}；

步骤4.2.c4.6、在运算模块L34中，将步骤4.1.7的结果和步骤4.2.c4.5 的结果级联在一起，然后使用大小为3×3像素的256个卷积核执行两次卷积 操作，得到特征图f^{128 ×128×256}；

步骤4.2.c4.7、对步骤4.2.c4.6的结果执行一次上采样，使用大小为3×3 像素的128个卷积核执行一次卷积操作，得到特征图f^{256×256×128}；

步骤4.2.c4.8、在运算模块L25中，将步骤4.1.5的结果和步骤4.2.c4.7 的结果级联在一起，然后使用大小为3×3像素的128个卷积核执行两次卷积 操作，得到特征图f^{256 ×256×128}；

步骤4.2.c4.9、对步骤4.2.c4.8的结果执行一次上采样，使用大小为3×3 像素的64个卷积核执行一次卷积操作，得到特征图f^512×512×64；

步骤4.2.c4.10、在运算模块L16中，将步骤4.1.2的结果和步骤4.2.c4.9 的结果级联在一起，然后使用大小为3×3像素的64个卷积核执行两次卷积 操作，得到特征图f^{512 ×512×64}，得到的特征图的尺寸恢复为步骤2的训练集图 像的尺寸512×512，此时，特征图的维数为64；

步骤4.2.c4.11、采用内核大小为3×3像素的2个卷积核对步骤4.2.c4.10 的结果执行一次卷积操作，得到特征图f^512×512×2，2对应于步骤1的真值图中 的2个类别，神经元质心和非质心；

步骤4.2.c4.12、对步骤4.2.c4.11的结果应用sigmoid激活函数，得到神 经元的质心概率图p₄ ^512×512，为步骤2的训练集图像中每个像素为神经元质 心的概率，概率越大，该像素为神经元质心的可能性越大；

至此，并行多感受野解码器网络的4组路径构建完成。

步骤4.3具体如下：

对步骤2的训练集图像应用并行多感受野卷积神经网络，将学习率设置 为10^(-4)，选择Adam作为优化器，损失函数计算方式为：

式中，

为损失函数，y_i,n为专家标记的标签，p_i,n为第i条路经上第n 个像素的预测概率值，N为一幅图像中的像素总个数；

使用反向传播和随机梯度下降法训练、更新网络参数，直至训练次数达 到Q次停止，至此，得到所有网络参数，即并行多感受野卷积神经网络模型。

步骤5具体如下：

将所述步骤2的测试集送入所述步骤4训练好的并行多感受野卷积神经 网络模型的输入端，该网络得到的输出结果为步骤4.2构建的4条路径输出 的平均值，即公式(3)除以4的结果，作为预测的测试集中神经元质心的 概率图。

步骤6中依次应用腐蚀、重建和闭运算在内的形态学算法进行去噪，腐 蚀运算所使用的结构元素选择半径为5像素的平面圆盘。

步骤7具体如下：

将步骤6得到的神经元质心作为种子点，为每个种子点初始化一个半径 为5像素的圆盘，以圆盘轮廓作为初始轮廓，然后应用主动轮廓模型得到神 经元分割结果。

本发明的有益效果是，一种基于点标记的高度黏连和多尺寸脑神经元自 动分割方法，研究的猕猴大脑包含了神经科学领域所研究的具有挑战的解剖 区域(尾状核、屏状核、大脑皮质、海马体、壳、下托、丘脑等)；在猕猴 全脑显微图像中构建数据集，手动标注该数据集中神经元质心的位置，将经 过高斯滤波器处理后的神经元质心图像作为真值图，为深度学习在神经科学 领域中的应用扩充了数据库；构建的并行多感受野卷积神经网络，可以自动、 有效、准确地检测高度黏连和多尺寸的神经元质心；应用形态学和区域生长 方法能准确地确定神经元质心并实现神经元的精确分割；构建的并行多感受 野卷积神经网络，便于直接应用训练好的模型处理新的图像，能有效的缩短 全脑显微图像中神经元的分割时间。

附图说明

图1是本发明的流程示意图；

图2是本发明构建的并行多感受野卷积神经网络结构；

图3(a)为本发明实验使用图像，图像中的深色区域代表神经元，其特 征为神经元中心位置颜色较暗，从神经元的中心位置到其边界，颜色逐渐变 亮；图3(b)为本发明使用实验图像的真值图，取值为0至1，代表图像中 各个像素为神经元质心的概率；

图4(a1)为尾状核区域的图像,图像中半径为5像素的白色圆盘代表专 家手动标记的神经元质心；图4(a2)为屏状核区域的图像；图4(a3)为 大脑皮质区域的图像；图4(a4)为海马体子区域CA1的图像；图4(a5) 为海马体子区域CA3的图像；图4(a6)为海马体子区域齿状回的图像；图 4(a7)为壳区域的图像；图4(a8)为下托区域的图像；图4(a9)为丘脑 区域的图像；图4(b1)为在图4(a1)中得到的神经元分割结果，图像中 白色和黑色的像素分别代表应用本发明得到的神经元质心和神经元轮廓；图 4(b2)为在图4(a2)中得到的神经元分割结果；图4(b3)为在图4(a3) 中得到的神经元分割结果。图4(b4)为在图4(a4)中得到的神经元分割 结果；图4(b5)为在图4(a5)中得到的神经元分割结果；图4(b6)为在 图4(a6)中得到的神经元分割结果；图4(b7)为在图4(a7)中得到的神 经元分割结果；图4(b8)为在图4(a8)中得到的神经元分割结果；图4 (b9)为在图4(a9)中得到的神经元分割结果。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明所使用的数据库来自于合作单位法国原子能和替代能源署(CEA) 提供的猕猴脑组织显微图像。本发明采用第91张脑冠状切片的组织显微图 像(约145GB)中7200张图像(每张图像大小为512×512像素)。

本发明一种基于点标记的高度黏连和多尺寸脑神经元自动分割方法，流 程图如图1所示，具体按照以下步骤实施：

步骤1、建立数据库，将数据库随机分为训练集和测试集，并标记神经 元质心位置；

步骤1具体如下：

从数据库M张图像中随机选取N张图像作为训练集，使用剩余M-N张 图像作为测试集，数据库由猕猴大脑的第91张冠状切片的显微图像构成， 在M张图像中每个神经元中心位置即质心处手动标记一个圆盘用于识别每 个神经元，所述步骤1中标记的圆盘半径为5像素。图3(a)为本发明实验 使用图像，图像中的深色区域代表神经元，其特征为神经元中心位置颜色较 暗，从神经元的中心位置到其边界，颜色逐渐变亮；图3(b)为本发明使用 实验图像的真值图，取值为0至1，代表图像中各个像素为神经元质心的概 率；

步骤2、对步骤1建立的训练集和测试集进行预处理，得到归一化的训 练集图像和测试集图像；

步骤2具体如下：

对步骤1建立的数据库图像进行预处理，得到归一化的图像I：

I(x,y)＝(0.299×R(x,y)+0.587×G(x,y)+0.114×B(x,y))/255 (2)

式中，I(x,y)为图像I中像素(x,y)的归一化值，其范围为0-1。步骤1的数 据库图像为彩色图像，由R、G、B分量构成，R(x,y)为像素(x,y)在R分量中的 灰度级，G(x,y)为像素(x,y)在G分量中的灰度级，B(x,y)为像素(x,y)在B分量 中的灰度级；

步骤3、对步骤1标记的神经元质心位置图进行预处理，得到神经元质 心概率图作为训练集真值图和测试集真值图；

所述步骤3具体如下：

对步骤1专家标记的神经元质心位置图使用σ＝3的高斯滤波器进行预处 理，得到神经元质心概率图作为训练集真值图。

图2是本发明构建的并行多感受野卷积神经网络结构，conv代表卷积运 算，ReLU代表激活函数，max pool代表最大池化运算，up代表上采样运算， concatenation代表级联操作。

步骤4、构建并行多感受野卷积神经网络：采用步骤2的训练集图像和 步骤3的训练集真值图分别作为并行多感受野卷积神经网络的输入和输出， 训练、更新网络参数，从而得到并行多感受野卷积神经网络的模型；

步骤4具体如下：

步骤4.1、构建并行多感受野编码器网络；

步骤4.2、构建并行多感受野解码器网络；

步骤4.3、将步骤2的训练集图像作为步骤4.1中构建的并行多感受野编 码器网络的输入端，将步骤3的训练集真值图作为步骤4.2中构建的并行多 感受野解码器网络的输出端，使用反向传播和随机梯度下降法，计算并行多 感受野卷积神经网络中4条路径的损失函数和，根据最小化交叉熵原理，训 练、更新网络参数，直至训练次数达到Q次停止，得到并行多感受野卷积神 经网络模型。

步骤4.1中并行多感受野编码器网络由卷积、ReLU和下采样即最大池 化层构成的6个运算模块：L11、L21、L31、L41、L51、L61组成，具体如 下：

步骤4.1.1、在运算模块L11中，构建并行的拥有3个感受野的多尺度 网络提取神经元特征，具体如下：

步骤a1.使用大小为1×1像素的64个卷积核对步骤2的训练集图像执 行一次卷积操作，作为第一个尺度

得到特征图f^m×n×d，m和n代表特征 图的长和宽，d代表特征图的维数，步骤a1的特征图尺寸为f^512×512×64；

步骤a2.使用大小为3×3像素的64个卷积核对步骤2的训练集图像执 行一次卷积操作，为第二个尺度

得到特征图f^512×512×64；

步骤a3.使用大小为3×3像素的64个卷积核对步骤2的训练集图像执 行两次连续的卷积操作，作为第三个尺度

得到特征图f^512×512×64；

步骤4.1.2、将运算模块L11中得到的三个尺度

的特征 图级联在一起，然后使用大小为1×1像素的卷积核执行一次卷积运算降维， 得到特征图f^{512 ×512×64}，至此，得到3个大小不同的感受野，感受野尺寸分别 为1×1像素、3×3像素和5×5像素；

步骤4.1.3、对步骤4.1.2得到的特征图f^512×512×64执行一次最大池化操作， 得到特征图f^256×256×64；

步骤4.1.4、在运算模块L21中，构建并行的拥有3个感受野的多尺度 网络提取神经元特征，具体如下：

步骤b1.使用大小为1×1像素的128个卷积核对步骤4.1.3得到的特征 图执行一次卷积操作，作为第一个尺度

得到特征图f^{256×256×128}；

步骤b2.使用大小为3×3像素的128个卷积核对步骤4.1.3得到的特征 图执行一次卷积操作，作为第二个尺度

得到特征图f^{256×256×128}；

步骤b3.使用大小为3×3像素的128个卷积核对步骤4.1.3得到的特征 图执行两次连续的卷积操作，作为第三个尺度

得到特征图f^{256×256×128}；

步骤4.1.5、将运算模块L21得到中的三个尺度

的特征 图级联在一起，然后使用大小为1×1像素的卷积核执行一次卷积运算降维， 得到特征图f^{256 ×256×128}，至此，得到7个大小不同的感受野，感受野尺寸分别 为2×2像素、4×4像素、6×6像素、8×8像素、10×10像素、12×12像素和 14×14像素；

步骤4.1.6、对步骤4.1.5得到的特征图执行一次最大池化操作，得到特 征图f^{128 ×128×128}；

步骤4.1.7、在运算模块L31中，使用大小为3×3像素的256个卷积核 对步骤4.1.6得到的特征图执行两次卷积运算，加强较大尺寸神经元质心细 节特征的提取，得到特征图f^{128×128×256}，至此，得到7个大小不同的感受野， 感受野尺寸分别为20×20像素、22×22像素、24×24像素、26×26像素、28×28 像素、30×30像素和32×32像素；

步骤4.1.8、对步骤4.1.7得到的特征图执行一次最大池化操作，得到特 征图f^{64 ×64×256}；

步骤4.1.9、在运算模块L41中，使用大小为3×3像素的512个卷积核 对步骤4.1.8得到的特征图执行两次卷积运算，加强更大尺寸神经元质心细 节特征的提取，得到特征图f^64×64×512，至此，得到7个大小不同的感受野， 感受野尺寸分别为56×56像素、58×58像素、60×60像素、62×62像素、64×64 像素、66×66像素和68×68像素；

步骤4.1.10、对步骤4.1.9得到的特征图执行一次最大池化操作，得到特 征图f^{32 ×32×512}；

步骤4.1.11、在运算模块L51中，使用大小为3×3像素的1024个卷积 核对步骤4.1.10得到的特征图执行两次卷积运算，加强更大尺寸神经元质心 细节特征的提取，得到特征图f^32×32×1024，至此，得到7个大小不同的感受野， 感受野尺寸分别为128×128像素、130×130像素、132×132像素、134×134 像素、136×136像素、138×138像素和140×140像素；

步骤4.1.12、对步骤4.1.11得到的特征图执行一次最大池化操作，得到 特征图f^{16 ×16×1024}；

步骤4.1.13、在运算模块L61中，使用大小为3×3像素的2048个卷积 核，对步骤4.1.12得到的特征图执行两次卷积运算，加强最大尺寸神经元质 心细节特征的提取，得到特征图f^16×16×2048，至此，得到7个大小不同的感受 野，感受野尺寸分别为272×272像素、274×274像素、276×276像素、278×278 像素、280×280像素、282×282像素和284×284像素，这种在不同尺寸的感 受野内提取神经元特征信息的结构对于提取多尺寸神经元质心的细节特征 以及高密度解剖区域中神经元的检测有非常显著的优势。

步骤4.2中并行多感受野解码器网络由4组对应编码器网络的上采样、 卷积和ReLU层组成，具体如下：

c1.并行多感受野解码器路径1为L31→L22→L13，具体步骤如下：

步骤4.2.c1.1、对步骤4.1.7的结果执行一次上采样，使用大小为3×3像 素的128个卷积核执行一次卷积操作，得到特征图f^{256×256×128}；

步骤4.2.c1.2、在运算模块L22中，将步骤4.1.5的结果和步骤4.2.c1.1 的结果级联在一起，然后使用大小为3×3像素的128个卷积核执行两次卷积 操作，得到特征图f^{256 ×256×128}；

步骤4.2.c1.3、对步骤4.2.c1.2的结果执行一次上采样，使用大小为3×3 像素的64个卷积核执行一次卷积操作，得到特征图f^512×512×64；

步骤4.2.c1.4、在运算模块L13中，将步骤4.1.2的结果和步骤4.2.c1.3 的结果级联在一起，然后使用大小为3×3像素的64个卷积核执行两次卷积 操作，得到特征图f^{512 ×512×64}，得到的特征图的尺寸恢复为步骤2的训练集图 像的尺寸512×512，此时，特征图的维数为64；

步骤4.2.c1.5、采用内核大小为3×3像素的2个卷积核对步骤4.2.c1.4 的结果执行一次卷积操作，得到特征图f^512×512×2，2对应于步骤1的真值图中 的2个类别，神经元质心和非质心；

步骤4.2.c1.6、对步骤4.2.c1.5的结果应用sigmoid激活函数，得到神经 元的质心概率图p₁ ^512×512，为步骤2的训练集图像中每个像素为神经元质心 的概率，概率越大，该像素为神经元质心的可能性越大；

c2.并行多感受野解码器路径2为L41→L32→L23→L14，具体步骤如 下：

步骤4.2.c2.1、对步骤4.1.9的结果执行一次上采样，使用大小为3×3像 素的256个卷积核执行一次卷积操作，得到特征图f^{128×128×256}；

步骤4.2.c2.2、在运算模块L32中，将步骤4.1.7的结果和步骤4.2.c2.1 的结果级联在一起，然后使用大小为3×3像素的256个卷积核执行两次卷积 操作，得到特征图f^{128 ×128×256}；

步骤4.2.c2.3、对步骤4.2.c2.2的结果执行一次上采样，使用大小为3×3 像素的128个卷积核执行一次卷积操作，得到特征图f^{256×256×128}；

步骤4.2.c2.4、在运算模块L23中，将步骤4.1.5的结果和步骤4.2.c2.3 的结果级联在一起，然后使用大小为3×3像素的128个卷积核执行两次卷积 操作，得到特征图f^{256 ×256×128}；

步骤4.2.c2.5、对步骤4.2.c2.5的结果执行一次上采样，使用大小为3×3 像素的64个卷积核执行一次卷积操作，得到特征图f^512×512×64；

步骤4.2.c2.6、在运算模块L14中，将步骤4.1.2的结果和步骤4.2.c2.5 的结果级联在一起，然后使用大小为3×3像素的64个卷积核执行两次卷积 操作，得到特征图f^{512 ×512×64}，得到的特征图的尺寸恢复为步骤2的训练集图 像的尺寸512×512，此时，特征图的维数为64；

步骤4.2.c2.7采用内核大小为3×3像素的2个卷积核对步骤4.2.c2.6的 结果执行一次卷积操作，得到特征图f^512×512×2，2对应于步骤1的真值图中的 2个类别，神经元质心和非质心；

步骤4.2.c2.8、对步骤4.2.c2.7的结果应用sigmoid激活函数，得到神经 元的质心概率图p₂ ^512×512，为步骤2的训练集图像中每个像素为神经元质心 的概率，概率越大，该像素为神经元质心的可能性越大；

c3.并行多感受野解码器路径3为L51→L42→L33→L24→L15，具体步 骤如下：

步骤4.2.c3.1、对步骤4.1.11的结果执行一次上采样，使用大小为3×3 像素的512个卷积核执行一次卷积操作，得到特征图f^64×64×512；

步骤4.2.c3.2、在运算模块L42中，将步骤4.1.9的结果和步骤4.2.c3.1 的结果级联在一起，然后使用大小为3×3像素的512个卷积核执行两次卷积 操作，得到特征图f^{64 ×64×512}；

步骤4.2.c3.3、对步骤4.2.c3.2的结果执行一次上采样，使用大小为3×3 像素的256个卷积核执行一次卷积操作，得到特征图f^{128×128×256}；

步骤4.2.c3.4、在运算模块L33中，将步骤4.1.7的结果和步骤4.2.c3.3 的结果级联在一起，然后使用大小为3×3像素的256个卷积核执行两次卷积 操作，得到特征图f^{128 ×128×256}；

步骤4.2.c3.5、对步骤4.2.c3.4的结果执行一次上采样，使用大小为3×3 像素的128个卷积核执行一次卷积操作，得到特征图f^{256×256×128}；

步骤4.2.c3.6、在运算模块L24中，将步骤4.1.5的结果和步骤4.2.c3.5 的结果级联在一起，然后使用大小为3×3像素的128个卷积核执行两次卷积 操作，得到特征图f^{256 ×256×128}；

步骤4.2.c3.7、对步骤4.2.c3.6的结果执行一次上采样，使用大小为3×3 像素的64个卷积核执行一次卷积操作，得到特征图f^512×512×64；

步骤4.2.c3.8、在运算模块L15中，将步骤4.1.2的结果和步骤4.2.c3.7 的结果级联在一起，然后使用大小为3×3像素的64个卷积核执行两次卷积 操作，得到特征图f^{512 ×512×64}，得到的特征图的尺寸恢复为步骤2的训练集图 像的尺寸512×512，此时，特征图的维数为64；

步骤4.2.c3.9采用内核大小为3×3像素的2个卷积核对步骤4.2.c3.8的 结果执行一次卷积操作，得到特征图f^512×512×2，2对应于步骤1的真值图中的 2个类别，神经元质心和非质心；

步骤4.2.c3.10、对步骤4.2.c3.9的结果应用sigmoid激活函数，得到神 经元的质心概率图p₃ ^512×512，为步骤2的训练集图像中每个像素为神经元质 心的概率，概率越大，该像素为神经元质心的可能性越大；

c4.并行多感受野解码器路径4为L61→L52→L43→L34→L25→L16， 具体步骤如下：

步骤4.2.c4.1、对步骤4.1.13的结果执行一次上采样，使用大小为3×3 像素的1024个卷积核执行一次卷积操作，得到特征图f^32×32×1024；

步骤4.2.c4.2、在运算模块L52中，将步骤4.1.11的结果和步骤4.2.c4.1 的结果级联在一起，然后使用大小为3×3像素的1024个卷积核执行两次卷 积操作，得到特征图f^{32 ×32×1024}；

步骤4.2.c4.3、对步骤4.2.c4.2的结果执行一次上采样，使用大小为3×3 像素的512个卷积核执行一次卷积操作，得到特征图f^64×64×512；

步骤4.2.c4.4、在运算模块L43中，将步骤4.1.9的结果和步骤4.2.c4.3 的结果级联在一起，然后使用大小为3×3像素的512个卷积核执行两次卷积 操作，得到特征图f^{64 ×64×512}；

步骤4.2.c4.5、对步骤4.2.c4.4的结果执行一次上采样，使用大小为3×3 像素的256个卷积核得到特征图f^{128×128×256}；

步骤4.2.c4.6、在运算模块L34中，将步骤4.1.7的结果和步骤4.2.c4.5 的结果级联在一起，然后使用大小为3×3像素的256个卷积核执行两次卷积 操作，得到特征图f^{128 ×128×256}；

步骤4.2.c4.7、对步骤4.2.c4.6的结果执行一次上采样，使用大小为3×3 像素的128个卷积核执行一次卷积操作，得到特征图f^{256×256×128}；

步骤4.2.c4.8、在运算模块L25中，将步骤4.1.5的结果和步骤4.2.c4.7 的结果级联在一起，然后使用大小为3×3像素的128个卷积核执行两次卷积 操作，得到特征图f^{256 ×256×128}；

步骤4.2.c4.9、对步骤4.2.c4.8的结果执行一次上采样，使用大小为3×3 像素的64个卷积核执行一次卷积操作，得到特征图f^512×512×64；

步骤4.2.c4.10、在运算模块L16中，将步骤4.1.2的结果和步骤4.2.c4.9 的结果级联在一起，然后使用大小为3×3像素的64个卷积核执行两次卷积 操作，得到特征图f^{512 ×512×64}，得到的特征图的尺寸恢复为步骤2的训练集图 像的尺寸512×512，此时，特征图的维数为64；

步骤4.2.c4.11、采用内核大小为3×3像素的2个卷积核对步骤4.2.c4.10 的结果执行一次卷积操作，得到特征图f^512×512×2，2对应于步骤1的真值图中 的2个类别，神经元质心和非质心；

步骤4.2.c4.12、对步骤4.2.c4.11的结果应用sigmoid激活函数，得到神 经元的质心概率图p₄ ^512×512，为步骤2的训练集图像中每个像素为神经元质 心的概率，概率越大，该像素为神经元质心的可能性越大；

至此，并行多感受野解码器网络的4组路径构建完成。

步骤4.3具体如下：

对步骤2的训练集图像应用并行多感受野卷积神经网络，将学习率设置 为10^(-4)，选择Adam作为优化器，损失函数计算方式为：

式中，

为损失函数，y_i,n为专家标记的标签，p_i,n为第i条路经上第n 个像素的预测概率值，N为一幅图像中的像素总个数；

使用反向传播和随机梯度下降法训练、更新网络参数，直至训练次数达 到Q次停止，至此，得到所有网络参数，即并行多感受野卷积神经网络模型。

步骤5、预测神经元质心概率：将步骤2的测试集图像送入步骤4训练 好的并行多感受野卷积神经网络模型的输入端，并行多感受野卷积神经网络 模型的输出结果即为预测的测试集中神经元质心的概率图；

步骤5具体如下：

将所述步骤2的测试集送入所述步骤4训练好的并行多感受野卷积神经 网络模型的输入端，该网络得到的输出结果为步骤4.2构建的4条路径输出 的平均值，即公式(3)除以4的结果，作为预测的测试集中神经元质心的 概率图。

步骤6、检测神经元质心：根据步骤5的神经元质心的概率图，对图中 的每个像素，提取概率大于0的像素，并去噪，计算去噪后图像的连通分量， 连通分量的重心即为本发明得到的神经元的质心；

步骤6中依次应用腐蚀、重建和闭运算在内的形态学算法进行去噪，腐 蚀运算所使用的结构元素选择半径为5像素的平面圆盘。

步骤7、分割神经元：基于步骤6得到的神经元质心，应用主动轮廓模 型得到神经元分割结果。

步骤7具体如下：

将步骤6得到的神经元质心作为种子点，为每个种子点初始化一个半径 为5像素的圆盘，以圆盘轮廓作为初始轮廓，然后应用主动轮廓模型得到神 经元分割结果。

图4为本发明用在不同解剖区域的典型图像中得到的神经元分割结果。 其中，图4(a1)-(a9)为原始彩色图像的灰度图。半径为5像素的圆盘表示专家 手工标记的神经元质心。图4(a1)-(a9)分别为屏状核、大脑皮质、海马体子区 域CA1、海马体子区域CA3、海马体子区域齿状回、壳、下托、丘脑等解剖 区域的的图像。图4(b1)-(b9)分别为应用本发明在图4(a1)-(a9)中得到的神经 元分割结果，半径为5像素的白色圆盘代表应用本发明得到的神经元质心， 黑色像素代表应用本发明得到的神经元轮廓。

本发明构建的基于点标记的高度黏连和多尺寸脑神经元自动分割网络 使用测试集的神经元质心位置验证其分割结果的准确性。将步骤2的测试集 图像送入神经网络，利用训练好的并行多感受野卷积神经网络模型得到神经 元质心概率图，结合步骤7得到的测试集对应的神经元分割结果，验证本发 明的性能。计算在本发明得到的每个神经元中，专家标记的神经元的数量， 如果只有一个专家标记的神经元，即为完全正确分割；如果没有专家标记的 神经元，即为过分割；如果有多余1个的专家标记的神经元，即为欠分割。 采用Recall(R)、Precision(P)、F值(公式1)来评估本发明的性能。

R＝N_t/N_e；P＝N_t/N_a；F＝2R×P/(R+P) (1)

式中，N_t是通过本发明正确分割的神经元数量(即为完全正确分割的神 经元数量和欠分割对应的本发明得到的神经元数量的和)，N_a是通过本发明 分割的神经元数量，N_e是专家标记的神经元质心的数量。F值越大，自动分 割方法的性能越好。如表1，本发明应用在测试集上得到的平均F值和标准 差均小于参考方法得到的结果。

表1.对测试集应用U-net、U-net++、FCRN、Multiscale CNN、本发明得到的 平均F值和标准差

方法	平均F值±标准差
		U-net[1]	0.7298±0.0830
U-net++[2]	0.7554±0.1112
		FCRN[3]	0.8564±0.0411
Multiscale CNN[4]	0.8070±0.0924
		本发明	0.8694±0.0377

从表1可以看出，应用本发明分割神经元得到的平均F值最小，与U-net、 U-net++、FCRN、Multicale CNN相比，神经元正确分割率分别提高了19.1％、 15.1％、1.4％和7.7％。此外，应用本发明分割神经元得到的F值的标准差也 最小，证明对于不同解剖区域、不同密度、不同尺寸的神经元组织显微图像， 本发明比其他四种参考方法更鲁棒。

参考方法：

[1]T.Falk et al.,―U-Net:deep learning for cell counting,detection,and morphometry,”Nat.Methods,vol.16,no.1,pp.67–70,2019,doi: 10.1038/s41592-018-0261-2.

[2]Z.Zhou,M.M.R.Siddiquee,N.Tajbakhsh,and J.Liang,―UNet++:Redesigning Skip Connections to Exploit Multiscale Features in ImageSegmentation,”IEEE Trans.Med.Imaging,vol.39,no.6,pp.1856–1867,Jun. 2020,doi:10.1109/TMI.2019.2959609.

[3]W.Xie,J.A.Noble,and A.Zisserman,―Microscopy cell counting anddetection with fully convolutional regression networks,”Comput.MethodsBiomech.Biomed.Eng.Imaging Vis.,vol.6,no.3,pp.283–292,2016.

[4]Z.You et al.,―Automated Detection Of Highly Aggregated Neurons InMicroscopic Images Of Macaque Brain,”in2020 IEEE International Conference onImage Processing(ICIP),Oct.2020,pp.315–319,doi: 10.1109/ICIP40778.2020.9190747.

Claims (10)

1.一种基于点标记的高度黏连和多尺寸脑神经元自动分割方法，其特征在于，具体按照以下步骤实施：

步骤1、建立数据库，将数据库随机分为训练集和测试集，并标记神经元质心位置；

步骤2、对步骤1建立的训练集和测试集进行预处理，得到归一化的训练集图像和测试集图像；

步骤3、对步骤1标记的神经元质心位置图进行预处理，得到神经元质心概率图作为训练集真值图和测试集真值图；

步骤4、构建并行多感受野卷积神经网络：采用步骤2的训练集图像和步骤3的训练集真值图分别作为并行多感受野卷积神经网络的输入和输出，训练、更新网络参数，从而得到并行多感受野卷积神经网络的模型；

步骤5、预测神经元质心概率：将步骤2的测试集图像送入步骤4训练好的并行多感受野卷积神经网络模型的输入端，并行多感受野卷积神经网络模型的输出结果即为预测的测试集中神经元质心的概率图；

步骤6、检测神经元质心：根据步骤5的神经元质心的概率图，对图中的每个像素，提取概率大于0的像素，并去噪，计算去噪后图像的连通分量，连通分量的重心即为本发明得到的神经元的质心；

步骤7、分割神经元：基于步骤6得到的神经元质心，应用主动轮廓模型得到神经元分割结果。

2.根据权利要求1所述的一种基于点标记的高度黏连和多尺寸脑神经元自动分割方法，其特征在于，所述步骤1具体如下：

从数据库M张图像中随机选取N张图像作为训练集，使用剩余M-N张图像作为测试集，数据库由猕猴大脑的第91张冠状切片的显微图像构成，在M张图像中每个神经元中心位置即质心处手动标记一个圆盘用于识别每个神经元，所述步骤1中标记的圆盘半径为5像素。

3.根据权利要求2所述的一种基于点标记的高度黏连和多尺寸脑神经元自动分割方法，其特征在于，所述步骤2具体如下：

对步骤1建立的数据库图像进行预处理，得到归一化的图像I：

I(x,y)＝(0.299×R(x,y)+0.587×G(x,y)+0.114×B(x,y))/255 (2)

式中，I(x,y)为图像I中像素(x,y)的归一化值，其范围为0-1，步骤1的数据库图像为彩色图像，由R、G、B分量构成，R(x,y)为像素(x,y)在R分量中的灰度级，G(x,y)为像素(x,y)在G分量中的灰度级，B(x,y)为像素(x,y)在B分量中的灰度级；

所述步骤3具体如下：

对步骤1专家标记的神经元质心位置图使用σ＝3的高斯滤波器进行预处理，得到神经元质心概率图作为训练集真值图。

4.根据权利要求3所述的一种基于点标记的高度黏连和多尺寸脑神经元自动分割方法，其特征在于，所述步骤4具体如下：

步骤4.1、构建并行多感受野编码器网络；

步骤4.2、构建并行多感受野解码器网络；

步骤4.3、将步骤2的训练集图像作为步骤4.1中构建的并行多感受野编码器网络的输入端，将步骤3的训练集真值图作为步骤4.2中构建的并行多感受野解码器网络的输出端，使用反向传播和随机梯度下降法，计算并行多感受野卷积神经网络中4条路径的损失函数和，根据最小化交叉熵原理，训练、更新网络参数，直至训练次数达到Q次停止，得到并行多感受野卷积神经网络模型。

5.根据权利要求4所述的一种基于点标记的高度黏连和多尺寸脑神经元自动分割方法，其特征在于，所述步骤4.1中并行多感受野编码器网络由卷积、ReLU和下采样即最大池化层构成的6个运算模块：L11、L21、L31、L41、L51、L61组成，具体如下：

步骤4.1.1、在运算模块L11中，构建并行的拥有3个感受野的多尺度网络提取神经元特征，具体如下：

步骤a1.使用大小为1×1像素的64个卷积核对步骤2的训练集图像执行一次卷积操作，作为第一个尺度

得到特征图f^m×n×d，m和n代表特征图的长和宽，d代表特征图的维数，步骤a1的特征图尺寸为f^512×512×64；

步骤a2.使用大小为3×3像素的64个卷积核对步骤2的训练集图像执行一次卷积操作，为第二个尺度

得到特征图f^512×512×64；

步骤a3.使用大小为3×3像素的64个卷积核对步骤2的训练集图像执行两次连续的卷积操作，作为第三个尺度

得到特征图f^512×512×64；

步骤4.1.2、将运算模块L11中得到的三个尺度

的特征图级联在一起，然后使用大小为1×1像素的卷积核执行一次卷积运算降维，得到特征图f^512×512×64，至此，得到3个大小不同的感受野，感受野尺寸分别为1×1像素、3×3像素和5×5像素；

步骤4.1.3、对步骤4.1.2得到的特征图f^512×512×64执行一次最大池化操作，得到特征图f^256×256×64；

步骤4.1.4、在运算模块L21中，构建并行的拥有3个感受野的多尺度网络提取神经元特征，具体如下：

步骤b1.使用大小为1×1像素的128个卷积核对步骤4.1.3得到的特征图执行一次卷积操作，作为第一个尺度

得到特征图f^{256×256×128}；

步骤b2.使用大小为3×3像素的128个卷积核对步骤4.1.3得到的特征图执行一次卷积操作，作为第二个尺度

得到特征图f^{256×256×128}；

步骤b3.使用大小为3×3像素的128个卷积核对步骤4.1.3得到的特征图执行两次连续的卷积操作，作为第三个尺度

得到特征图f^{256×256×128}；

步骤4.1.5、将运算模块L21得到中的三个尺度

的特征图级联在一起，然后使用大小为1×1像素的卷积核执行一次卷积运算降维，得到特征图f^{256×256×128}，至此，得到7个大小不同的感受野，感受野尺寸分别为2×2像素、4×4像素、6×6像素、8×8像素、10×10像素、12×12像素和14×14像素；

步骤4.1.6、对步骤4.1.5得到的特征图执行一次最大池化操作，得到特征图f^{128 ×128×128}；

步骤4.1.7、在运算模块L31中，使用大小为3×3像素的256个卷积核对步骤4.1.6得到的特征图执行两次卷积运算，加强较大尺寸神经元质心细节特征的提取，得到特征图f^{128 ×128×256}，至此，得到7个大小不同的感受野，感受野尺寸分别为20×20像素、22×22像素、24×24像素、26×26像素、28×28像素、30×30像素和32×32像素；

步骤4.1.8、对步骤4.1.7得到的特征图执行一次最大池化操作，得到特征图f^64×64×256；

步骤4.1.9、在运算模块L41中，使用大小为3×3像素的512个卷积核对步骤4.1.8得到的特征图执行两次卷积运算，加强更大尺寸神经元质心细节特征的提取，得到特征图f^{64 ×64×512}，至此，得到7个大小不同的感受野，感受野尺寸分别为56×56像素、58×58像素、60×60像素、62×62像素、64×64像素、66×66像素和68×68像素；

步骤4.1.10、对步骤4.1.9得到的特征图执行一次最大池化操作，得到特征图f^32×32×512；

步骤4.1.11、在运算模块L51中，使用大小为3×3像素的1024个卷积核对步骤4.1.10得到的特征图执行两次卷积运算，加强更大尺寸神经元质心细节特征的提取，得到特征图f^{32 ×32×1024}，至此，得到7个大小不同的感受野，感受野尺寸分别为128×128像素、130×130像素、132×132像素、134×134像素、136×136像素、138×138像素和140×140像素；

步骤4.1.12、对步骤4.1.11得到的特征图执行一次最大池化操作，得到特征图f^{16 ×16×1024}；

步骤4.1.13、在运算模块L61中，使用大小为3×3像素的2048个卷积核，对步骤4.1.12得到的特征图执行两次卷积运算，加强最大尺寸神经元质心细节特征的提取，得到特征图f^16×16×2048，至此，得到7个大小不同的感受野，感受野尺寸分别为272×272像素、274×274像素、276×276像素、278×278像素、280×280像素、282×282像素和284×284像素。

6.根据权利要求5所述的一种基于点标记的高度黏连和多尺寸脑神经元自动分割方法，其特征在于，所述步骤4.2中并行多感受野解码器网络由4组对应编码器网络的上采样、卷积和ReLU层组成，具体如下：

c1.并行多感受野解码器路径1为L31→L22→L13，具体步骤如下：

步骤4.2.c1.1、对步骤4.1.7的结果执行一次上采样，使用大小为3×3像素的128个卷积核执行一次卷积操作，得到特征图f^{256×256×128}；

步骤4.2.c1.2、在运算模块L22中，将步骤4.1.5的结果和步骤4.2.c1.1的结果级联在一起，然后使用大小为3×3像素的128个卷积核执行两次卷积操作，得到特征图f^{256×256×128}；

步骤4.2.c1.3、对步骤4.2.c1.2的结果执行一次上采样，使用大小为3×3像素的64个卷积核执行一次卷积操作，得到特征图f^512×512×64；

步骤4.2.c1.4、在运算模块L13中，将步骤4.1.2的结果和步骤4.2.c1.3的结果级联在一起，然后使用大小为3×3像素的64个卷积核执行两次卷积操作，得到特征图f^512×512×64，得到的特征图的尺寸恢复为步骤2的训练集图像的尺寸512×512，此时，特征图的维数为64；

步骤4.2.c1.5、采用内核大小为3×3像素的2个卷积核对步骤4.2.c1.4的结果执行一次卷积操作，得到特征图f^512×512×2，2对应于步骤1的真值图中的2个类别，神经元质心和非质心；

步骤4.2.c1.6、对步骤4.2.c1.5的结果应用sigmoid激活函数，得到神经元的质心概率图p1^512×512，为步骤2的训练集图像中每个像素为神经元质心的概率，概率越大，该像素为神经元质心的可能性越大；

c2.并行多感受野解码器路径2为L41→L32→L23→L14，具体步骤如下：

步骤4.2.c2.1、对步骤4.1.9的结果执行一次上采样，使用大小为3×3像素的256个卷积核执行一次卷积操作，得到特征图f^{128×128×256}；

步骤4.2.c2.2、在运算模块L32中，将步骤4.1.7的结果和步骤4.2.c2.1的结果级联在一起，然后使用大小为3×3像素的256个卷积核执行两次卷积操作，得到特征图f^{128×128×256}；

步骤4.2.c2.3、对步骤4.2.c2.2的结果执行一次上采样，使用大小为3×3像素的128个卷积核执行一次卷积操作，得到特征图f^{256×256×128}；

步骤4.2.c2.4、在运算模块L23中，将步骤4.1.5的结果和步骤4.2.c2.3的结果级联在一起，然后使用大小为3×3像素的128个卷积核执行两次卷积操作，得到特征图f^{256×256×128}；

步骤4.2.c2.5、对步骤4.2.c2.5的结果执行一次上采样，使用大小为3×3像素的64个卷积核执行一次卷积操作，得到特征图f^512×512×64；

步骤4.2.c2.6、在运算模块L14中，将步骤4.1.2的结果和步骤4.2.c2.5的结果级联在一起，然后使用大小为3×3像素的64个卷积核执行两次卷积操作，得到特征图f^512×512×64，得到的特征图的尺寸恢复为步骤2的训练集图像的尺寸512×512，此时，特征图的维数为64；

步骤4.2.c2.7采用内核大小为3×3像素的2个卷积核对步骤4.2.c2.6的结果执行一次卷积操作，得到特征图f^512×512×2，2对应于步骤1的真值图中的2个类别，神经元质心和非质心；

步骤4.2.c2.8、对步骤4.2.c2.7的结果应用sigmoid激活函数，得到神经元的质心概率图p₂ ^512×512，为步骤2的训练集图像中每个像素为神经元质心的概率，概率越大，该像素为神经元质心的可能性越大；

c3.并行多感受野解码器路径3为L51→L42→L33→L24→L15，具体步骤如下：

步骤4.2.c3.1、对步骤4.1.11的结果执行一次上采样，使用大小为3×3像素的512个卷积核执行一次卷积操作，得到特征图f^64×64×512；

步骤4.2.c3.2、在运算模块L42中，将步骤4.1.9的结果和步骤4.2.c3.1的结果级联在一起，然后使用大小为3×3像素的512个卷积核执行两次卷积操作，得到特征图f^64×64×512；

步骤4.2.c3.3、对步骤4.2.c3.2的结果执行一次上采样，使用大小为3×3像素的256个卷积核执行一次卷积操作，得到特征图f^{128×128×256}；

步骤4.2.c3.4、在运算模块L33中，将步骤4.1.7的结果和步骤4.2.c3.3的结果级联在一起，然后使用大小为3×3像素的256个卷积核执行两次卷积操作，得到特征图f^{128×128×256}；

步骤4.2.c3.5、对步骤4.2.c3.4的结果执行一次上采样，使用大小为3×3像素的128个卷积核执行一次卷积操作，得到特征图f^{256×256×128}；

步骤4.2.c3.6、在运算模块L24中，将步骤4.1.5的结果和步骤4.2.c3.5的结果级联在一起，然后使用大小为3×3像素的128个卷积核执行两次卷积操作，得到特征图f^{256×256×128}；

步骤4.2.c3.7、对步骤4.2.c3.6的结果执行一次上采样，使用大小为3×3像素的64个卷积核执行一次卷积操作，得到特征图f^512×512×64；

步骤4.2.c3.8、在运算模块L15中，将步骤4.1.2的结果和步骤4.2.c3.7的结果级联在一起，然后使用大小为3×3像素的64个卷积核执行两次卷积操作，得到特征图f^512×512×64，得到的特征图的尺寸恢复为步骤2的训练集图像的尺寸512×512，此时，特征图的维数为64；

步骤4.2.c3.9采用内核大小为3×3像素的2个卷积核对步骤4.2.c3.8的结果执行一次卷积操作，得到特征图f^512×512×2，2对应于步骤1的真值图中的2个类别，神经元质心和非质心；

步骤4.2.c3.10、对步骤4.2.c3.9的结果应用sigmoid激活函数，得到神经元的质心概率图p₃ ^512×512，为步骤2的训练集图像中每个像素为神经元质心的概率，概率越大，该像素为神经元质心的可能性越大；

c4.并行多感受野解码器路径4为L61→L52→L43→L34→L25→L16，具体步骤如下：

步骤4.2.c4.1、对步骤4.1.13的结果执行一次上采样，使用大小为3×3像素的1024个卷积核执行一次卷积操作，得到特征图f^32×32×1024；

步骤4.2.c4.2、在运算模块L52中，将步骤4.1.11的结果和步骤4.2.c4.1的结果级联在一起，然后使用大小为3×3像素的1024个卷积核执行两次卷积操作，得到特征图f^32×32×1024；

步骤4.2.c4.3、对步骤4.2.c4.2的结果执行一次上采样，使用大小为3×3像素的512个卷积核执行一次卷积操作，得到特征图f^64×64×512；

步骤4.2.c4.4、在运算模块L43中，将步骤4.1.9的结果和步骤4.2.c4.3的结果级联在一起，然后使用大小为3×3像素的512个卷积核执行两次卷积操作，得到特征图f^64×64×512；

步骤4.2.c4.5、对步骤4.2.c4.4的结果执行一次上采样，使用大小为3×3像素的256个卷积核得到特征图f^{128×128×256}；

步骤4.2.c4.6、在运算模块L34中，将步骤4.1.7的结果和步骤4.2.c4.5的结果级联在一起，然后使用大小为3×3像素的256个卷积核执行两次卷积操作，得到特征图f^{128×128×256}；

步骤4.2.c4.7、对步骤4.2.c4.6的结果执行一次上采样，使用大小为3×3像素的128个卷积核执行一次卷积操作，得到特征图f^{256×256×128}；

步骤4.2.c4.8、在运算模块L25中，将步骤4.1.5的结果和步骤4.2.c4.7的结果级联在一起，然后使用大小为3×3像素的128个卷积核执行两次卷积操作，得到特征图f^{256×256×128}；

步骤4.2.c4.9、对步骤4.2.c4.8的结果执行一次上采样，使用大小为3×3像素的64个卷积核执行一次卷积操作，得到特征图f^512×512×64；

步骤4.2.c4.10、在运算模块L16中，将步骤4.1.2的结果和步骤4.2.c4.9的结果级联在一起，然后使用大小为3×3像素的64个卷积核执行两次卷积操作，得到特征图f^512×512×64，得到的特征图的尺寸恢复为步骤2的训练集图像的尺寸512×512，此时，特征图的维数为64；

步骤4.2.c4.11、采用内核大小为3×3像素的2个卷积核对步骤4.2.c4.10的结果执行一次卷积操作，得到特征图f^512×512×2，2对应于步骤1的真值图中的2个类别，神经元质心和非质心；

步骤4.2.c4.12、对步骤4.2.c4.11的结果应用sigmoid激活函数，得到神经元的质心概率图p₄ ^512×512，为步骤2的训练集图像中每个像素为神经元质心的概率，概率越大，该像素为神经元质心的可能性越大；

至此，并行多感受野解码器网络的4组路径构建完成。

7.根据权利要求6所述的一种基于点标记的高度黏连和多尺寸脑神经元自动分割方法，其特征在于，所述步骤4.3具体如下：

对步骤2的训练集图像应用并行多感受野卷积神经网络，将学习率设置为10^(-4)，选择Adam作为优化器，损失函数计算方式为：

式中，

为损失函数，y_i,n为专家标记的标签，p_i,n为第i条路经上第n个像素的预测概率值，N为一幅图像中的像素总个数；

使用反向传播和随机梯度下降法训练、更新网络参数，直至训练次数达到Q次停止，至此，得到所有网络参数，即并行多感受野卷积神经网络模型。

8.根据权利要求7所述的一种基于点标记的高度黏连和多尺寸脑神经元自动分割方法，其特征在于，所述步骤5具体如下：

将所述步骤2的测试集送入所述步骤4训练好的并行多感受野卷积神经网络模型的输入端，该网络得到的输出结果为步骤4.2构建的4条路径输出的平均值，即公式(3)除以4的结果，作为预测的测试集中神经元质心的概率图。

9.根据权利要求8所述的一种基于点标记的高度黏连和多尺寸脑神经元自动分割方法，其特征在于，所述步骤6中依次应用腐蚀、重建和闭运算在内的形态学算法进行去噪，腐蚀运算所使用的结构元素选择半径为5像素的平面圆盘。

10.根据权利要求9所述的一种基于点标记的高度黏连和多尺寸脑神经元自动分割方法，其特征在于，所述步骤7具体如下：

将步骤6得到的神经元质心作为种子点，为每个种子点初始化一个半径为5像素的圆盘，以圆盘轮廓作为初始轮廓，然后应用主动轮廓模型得到神经元分割结果。

Images