CN113743280A - 一种脑神经元电子显微镜图像卷分割方法、装置以及存储介质 - Google Patents
一种脑神经元电子显微镜图像卷分割方法、装置以及存储介质 Download PDFInfo
- Publication number
- CN113743280A CN113743280A CN202111004134.7A CN202111004134A CN113743280A CN 113743280 A CN113743280 A CN 113743280A CN 202111004134 A CN202111004134 A CN 202111004134A CN 113743280 A CN113743280 A CN 113743280A
- Authority
- CN
- China
- Prior art keywords
- image volume
- network
- brain neuron
- feature set
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000002569 neuron Anatomy 0.000 title claims abstract description 214
- 210000004556 brain Anatomy 0.000 title claims abstract description 204
- 230000011218 segmentation Effects 0.000 title claims abstract description 165
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000001000 micrograph Methods 0.000 title claims abstract description 22
- 238000012549 training Methods 0.000 claims abstract description 87
- 238000003062 neural network model Methods 0.000 claims abstract description 64
- 238000012360 testing method Methods 0.000 claims abstract description 31
- 230000002490 cerebral effect Effects 0.000 claims abstract 2
- 230000006870 function Effects 0.000 claims description 26
- 230000004927 fusion Effects 0.000 claims description 23
- 238000005457 optimization Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000000295 complement effect Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000000137 annealing Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Neurology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种脑神经元电子显微镜图像卷分割方法、装置以及存储介质，方法包括：分别对各个原始脑神经元图像卷的数据扩充得到脑神经元图像卷数据集，随机划分脑神经元图像卷数据集得到脑神经元图像卷训练集和脑神经元图像卷测试集，构建双路分割神经网络模型，通过脑神经元图像卷训练集的分割结果以及原始脑神经元图像卷对双路分割神经网络模型的参数优化得到优化后的双路分割神经网络模型。本发明能够捕捉到精细细节和准确边缘，提升了收敛速度以及抗噪性能，解决了在检测脑神经元小结构时性能不佳，并且无法精确分割边界区域的问题，并拓展了双路分割神经网络的应用范围。
Description
技术领域
本发明主要涉及图像分析技术领域，具体涉及一种脑神经元电子显微镜图像卷分割方法、装置以及存储介质。
背景技术
自动重建神经元的三维形态一直是神经科学领域最具挑战性的问题之一，使用电子显微镜采集到的脑神经元图像数据的分辨率是纳米级别的，且数据规模庞大。以顺序分割2D切片的方式对这些大规模神经元图像进行目标分割是非常繁琐的，分割效率也很低，因为相邻的切片之间有着大量的冗余特征信息。基于2D切片形式的神经元图像分割一般只是考虑图像的空间特征，很少有效地利用到相邻切片图像间的时序关联特征。将这些神经元图像3D体采用有效的方式进行完全注释以创建大量和丰富的训练数据集，对基于机器学习方式的神经元图像分割来说是必不可少的数据预处理环节。
近年来，最先进的生物医学图像分割方法是基于深度学习的卷积神经网络，卷积神经网络提取的数据特征质量高，可以有效地表示图像和感兴趣的区域。相比较于传统机器学习方法采用人工提取特征，深度学习技术从图像中自动提取特征。在计算机视觉和医学图像分析中，大多数用于语义分割的体系结构都是基于编码器-解码器架构的网络或其变体。其中Unet是目前较为常用的一种，由于较强的可拓展性、卓越的特征表达、鲁棒的学习能力，已经在2D和3D生物医学图像数据分割方面表现出了优异的性能。Unet及其变体所具有的多尺度结构，使得该网络可以有效地预测大目标区域，同时具有非常高的计算及统计效率。
Unet及其变体网络主要专注于学习高阶特征，很少去关注低阶特征的信息，然而低阶特征对于检测小结构确是至关重要的。因而，基于编码器-解码器架构的方法在检测小结构时性能不佳，并且无法精确分割边界区域，尽管可以通过跳跃连接将低阶特征传送到输出层，但分割性能依然得不到有效的提升。
发明内容
本发明所要解决的技术问题是针对现有技术的不足，提供一种脑神经元电子显微镜图像卷分割方法、装置以及存储介质。
本发明解决上述技术问题的技术方案如下：一种脑神经元电子显微镜图像卷分割方法，包括如下步骤：
导入多个原始脑神经元图像卷，并分别对各个所述原始脑神经元图像卷进行数据扩充，并集合扩充后的脑神经元图像卷得到脑神经元图像卷数据集；
随机划分所述脑神经元图像卷数据集，得到脑神经元图像卷训练集和脑神经元图像卷测试集；
构建双路分割神经网络模型，所述双路分割神经网络模型用于图像卷分割处理，所述双路分割神经网络模型包括模型前端和模型后端，
所述模型前端包括第一网络、第二网络和第三网络，所述第一网络用于学习所述脑神经元图像卷训练集的低阶特征，所述第二网络用于学习所述脑神经元图像卷训练集的高阶特征，所述第三网络用于将所述第一网络的低阶特征结果和所述第二网络的高阶特征结果进行互补，得到第一目标特征集和第二目标特征集，所述模型后端用于将所述第一目标特征集和所述第二目标特征集进行特征区域融合，得到所述脑神经元图像卷训练集的分割结果；
通过所述脑神经元图像卷训练集的分割结果以及与所述脑神经元图像卷训练集对应的所述原始脑神经元图像卷对所述双路分割神经网络模型进行参数优化，得到优化后的双路分割神经网络模型；
通过所述优化后的双路分割神经网络模型对所述脑神经元图像卷测试集进行图像卷的分割，得到所述脑神经元图像卷测试集的分割结果。
本发明解决上述技术问题的另一技术方案如下：一种脑神经元电子显微镜图像卷分割装置，包括：
图像卷扩充模块，用于导入多个原始脑神经元图像卷，并分别对各个所述原始脑神经元图像卷进行数据扩充，并集合扩充后的脑神经元图像卷得到脑神经元图像卷数据集；
数据集划分模块，用于随机划分所述脑神经元图像卷数据集，得到脑神经元图像卷训练集和脑神经元图像卷测试集；
模型构建模块，用于构建双路分割神经网络模型，所述双路分割神经网络模型用于图像卷分割处理，所述双路分割神经网络模型包括模型前端和模型后端，所述模型前端包括第一网络、第二网络和第三网络，所述第一网络用于学习所述脑神经元图像卷训练集的低阶特征，所述第二网络用于学习所述脑神经元图像卷训练集的高阶特征，所述第三网络用于将所述第一网络的低阶特征结果和所述第二网络的高阶特征结果进行互补，得到第一目标特征集和第二目标特征集，所述模型后端用于将所述第一目标特征集和所述第二目标特征集进行特征区域融合，得到所述脑神经元图像卷训练集的分割结果；
参数优化模块，用于通过所述脑神经元图像卷训练集的分割结果以及与所述脑神经元图像卷训练集对应的所述原始脑神经元图像卷对所述双路分割神经网络模型进行参数优化，得到优化后的双路分割神经网络模型；
分割结果获得模块，用于通过所述优化后的双路分割神经网络模型对所述脑神经元图像卷测试集进行图像卷的分割，得到所述脑神经元图像卷测试集的分割结果。
本发明解决上述技术问题的另一技术方案如下：一种脑神经元电子显微镜图像卷分割装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如上所述的脑神经元电子显微镜图像卷分割方法。
本发明解决上述技术问题的另一技术方案如下：一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的脑神经元电子显微镜图像卷分割方法。
本发明的有益效果是：通过随机划分所述脑神经元图像卷数据集，并构建双路分割神经网络模型，通过脑神经元图像卷训练集的分割结果以及原始脑神经元图像卷对双路分割神经网络模型的参数优化得到优化后的双路分割神经网络模型，通过优化后的双路分割神经网络模型对脑神经元图像卷测试集的图像卷分割得到脑神经元图像卷测试集的分割结果，能够捕捉到精细细节和准确边缘，提升了收敛速度以及抗噪性能，解决了在检测脑神经元小结构时性能不佳，并且无法精确分割边界区域的问题，并拓展了双路分割神经网络的应用范围。
附图说明
图1为本发明实施例提供的一种脑神经元电子显微镜图像卷分割方法的流程示意图；
图2为本发明实施例提供的输入分割网络的原始脑神经元图像卷示意图；
图3为本发明实施例提供的脑神经元图像卷测试集的分割结果中随机选取的某个神经元的分割结果示意图；
图4为本发明实施例提供的一种脑神经元电子显微镜图像卷分割装置的模块框图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
图1为本发明实施例提供的一种脑神经元电子显微镜图像卷分割方法的流程示意图。
如图1至3所示，一种脑神经元电子显微镜图像卷分割方法，包括如下步骤：
导入多个原始脑神经元图像卷，并分别对各个所述原始脑神经元图像卷进行数据扩充，并集合扩充后的脑神经元图像卷得到脑神经元图像卷数据集；
随机划分所述脑神经元图像卷数据集，得到脑神经元图像卷训练集和脑神经元图像卷测试集；
构建双路分割神经网络模型，所述双路分割神经网络模型用于图像卷分割处理，所述双路分割神经网络模型包括模型前端和模型后端，
所述模型前端包括第一网络、第二网络和第三网络，所述第一网络用于学习所述脑神经元图像卷训练集的低阶特征，所述第二网络用于学习所述脑神经元图像卷训练集的高阶特征，所述第三网络用于将所述第一网络的低阶特征结果和所述第二网络的高阶特征结果进行互补，得到第一目标特征集和第二目标特征集，所述模型后端用于将所述第一目标特征集和所述第二目标特征集进行特征区域融合，得到所述脑神经元图像卷训练集的分割结果；
通过所述脑神经元图像卷训练集的分割结果以及与所述脑神经元图像卷训练集对应的所述原始脑神经元图像卷对所述双路分割神经网络模型进行参数优化，得到优化后的双路分割神经网络模型；
通过所述优化后的双路分割神经网络模型对所述脑神经元图像卷测试集进行图像卷的分割，得到所述脑神经元图像卷测试集的分割结果。
应理解地，所述脑神经元图像卷是本领域专用名词，其中，图像卷是一种图像数据。
应理解地，将数据集Ioa＝(xoa,yoa)(即所述原始脑神经元图像卷)随机抽取一半作为训练集(即所述脑神经元图像卷训练集)，余下一半作为测试集(即所述脑神经元图像卷测试集)。
应理解地，基于原始的脑神经元图像卷数据集Io＝(xo,yo)(即多个所述原始脑神经元图像卷)，其中xo表示目标区域集，yo表示目标区域标签集。将目标区域数据集xo进行不同程度的位移、旋转、形变和透视变换，以此产生更多的训练用的目标区域和其对应标签。把经过数据增广操作后的神经元目标区域及其标签表示为数据集Ioa＝(xoa,yoa)(即所述透视变换后脑神经元图像卷)，同时将所有目标区域图像xoa归一化到128×128大小。
应理解地，位移、旋转、形变和透视变换均可通过现有算法实现。
具体地，如图2和3所示，使用测试集(即所述脑神经元图像卷测试集)验证本发明构建的双路神经网络分割结果的有效性。将测试集图像卷(即所述脑神经元图像卷测试集)送入所述优化后的双路分割神经网络模型，利用训练好的神经网络模型(即所述优化后的双路分割神经网络模型)得到分割结果图(即所述脑神经元图像卷测试集的分割结果)。
应理解地，本发明基于超完备表示的卷积架构，设计了一种新的脑神经元图像卷分割体系结构，将输入图像投射到更高的维度，如此来限制学习网络深层感受野尺寸的增加。该网络架构具有两路分支：一路分支是基于欠完备卷积架构的3D-Unet(即所述第二网络)，用于学习输入图像的高阶特征；另外一路分支是基于超完备卷积架构的3D-Unet(即所述第一网络)，用于学习捕捉输入图像的精细结构和准确的边缘。
应理解地，所述模型前端包括基于超完备卷积架构的3D-Unet(OC-Unet)(即所述第一网络)、基于欠完备卷积架构的3D-Unet(UC-Unet)(即所述第二网络)和交叉残差特征模块(CRFB)(即所述第三网络)，其中，基于欠完备卷积架构的3D-Unet(UC-Unet)(即所述第二网络)，采用的结构是基于“编码器—解码器”的卷积网络架构，其作用是学习图像的高阶特征以捕捉高阶形状信息；基于超完备卷积架构的3D-Unet(OC-Unet)，采用的结构是基于“编码器—解码器”的卷积网络架构，其作用是学习图像的低阶特征以提取目标边界的精细细节以及更深层的小结构；所述第三网络利用交叉残差融合策略，有效地将UC-Unet和OC-Unet网络学习到的特征以多尺度形式结合起来。
应理解地，使用超完备卷积架构建立深度卷积网络，将输入图像投射到更高的维度，从而限制网络深层感受野尺寸的增加，使得能够捕捉到神经元目标的精细细节和准确边缘，和基于欠完备卷积架构的3D-Unet学习到的目标高阶特征形成互补，使得本发明提出的分割网络需要学习的超参数更少，收敛速度更快；且双路神经网络(即所述双路分割神经网络模型)采用的“编码器-解码器”形式的网络架构具有较好的可拓展性，可以替换为其他合适的神经网络模块，从而拓展了双路分割神经网络的应用范围。
上述实施例中，通过随机划分所述脑神经元图像卷数据集，并构建双路分割神经网络模型，通过脑神经元图像卷训练集的分割结果以及原始脑神经元图像卷对双路分割神经网络模型的参数优化得到优化后的双路分割神经网络模型，通过优化后的双路分割神经网络模型对脑神经元图像卷测试集的图像卷分割得到脑神经元图像卷测试集的分割结果，能够捕捉到精细细节和准确边缘，提升了收敛速度以及抗噪性能，解决了在检测脑神经元小结构时性能不佳，并且无法精确分割边界区域的问题，并拓展了双路分割神经网络的应用范围。
可选地，作为本发明的一个实施例，所述第一网络包括第一网络编码器和第一网络译码器，所述第二网络包括第二网络编码器和第二网络译码器，所述第一网络编码器包括多个顺序排列的第一卷积网络，所述第二网络编码器包括多个顺序排列的第二卷积网络，
所述第一网络用于学习所述脑神经元图像卷训练集的低阶特征，所述第二网络用于学习所述脑神经元图像卷训练集的高阶特征，所述第三网络用于将所述第一网络的低阶特征结果和所述第二网络的高阶特征结果进行互补，得到第一目标特征集和第二目标特征集的过程包括：
S311：通过首个所述第一卷积网络提取所述脑神经元图像卷训练集中各个所述脑神经元图像卷的特征，并集合提取的所有特征得到第一初始特征集；
S312：通过首个所述第二卷积网络提取所述脑神经元图像卷训练集中各个所述脑神经元图像卷的特征，并集合提取的所有特征得到第二初始特征集；
S313：通过首个所述第二卷积网络提取所述第一初始特征集中各个所述第一初始特征的特征，并集合提取的所有特征得到第三初始特征集；
S314：通过首个所述第一卷积网络提取所述第二初始特征集中各个所述第二初始特征的特征，并集合提取的所有特征得到第四初始特征集；
S315：通过第一式对所述第二初始特征集和所述第三初始特征集进行第五初始特征集的计算，得到第五初始特征集，所述第一式为：
F′U＝RU+FO，
其中，F′U为第五初始特征集，RU为第三初始特征集，FO为第二初始特征集；
S316：通过第二式对所述第一初始特征集和所述第四初始特征集进行第六初始特征集的计算，得到第六初始特征集，所述第二式为：
F′O＝RO+FU，
其中，F′O为第六初始特征集，RO为第四初始特征集，FU为第一初始特征集；
S317：将所述第五初始特征集作为下一个第一卷积网络的脑神经元图像卷训练集，并执行S311，得到下一个第一卷积网络的第一初始特征集；
S318：将所述第六初始特征集作为下一个第二卷积网络的脑神经元图像卷训练集，并返回S312，直至通过所有的第一卷积网络，从而得到最后一个第一卷积网络的第五初始特征集和最后一个第二卷积网络的第六初始特征集。
应理解地，所述第一卷积网络与所述第二卷积网络的数量是一一对应的，故也可以直至通过所有的第二卷积网络，从而得到最后一个第一卷积网络的第五初始特征集和最后一个第二卷积网络的第六初始特征集。
应理解地，网络编码器和解码器的每一层均使用CRFB结合各自的特征，从两个网络中学习得出互补的特征，从而进一步提高了单个网络学习特征的质量。F′U＝RU+FO，F′O＝RO+FU分别表示CRFB输出的两个互补特征(即所述第五初始特征集和所述第六初始特征集)，分别输入到UC-Unet和OC-Unet网络的下一层卷积模块，其中，FU表示UC-Unet网络卷积模块输出的特征映射(即所述第一初始特征集)，RU表示交叉残差特征(即所述第三初始特征集)；FO表示OC-Unet网络卷积模块输出的特征映射(即所述第二初始特征集)，RO表示交叉残差特征(即所述第四初始特征集)。
上述实施例中，通过学习脑神经元图像卷训练集的低阶特征和学习脑神经元图像卷训练集的高阶特征，并将第一网络的低阶特征结果和第二网络的高阶特征结果进行互补得到第一目标特征集和第二目标特征集，能够捕捉到精细细节和准确边缘，提升了收敛速度以及抗噪性能，并拓展了双路分割神经网络的应用范围。
可选地，作为本发明的一个实施例，所述第一网络译码器包括多个顺序排列的第二卷积网络，所述第二网络译码器包括多个顺序排列的第一卷积网络，
所述第一网络用于学习所述脑神经元图像卷训练集的低阶特征，所述第二网络用于学习所述脑神经元图像卷训练集的高阶特征，所述第三网络用于将所述第一网络的低阶特征结果和所述第二网络的高阶特征结果进行互补，得到第一目标特征集和第二目标特征集的过程包括：
S321：将所述最后一个第一卷积网络的第五初始特征集作为第七初始特征集，并将所述最后一个第二卷积网络的第六初始特征集作为第八初始特征集；
S322：通过首个所述第二卷积网络提取所述第七初始特征集中各个所述第七初始特征的特征，并集合提取的所有特征得到第三目标特征集；
S323：通过首个所述第一卷积网络提取所述第八初始特征集中各个所述第八初始特征的特征，并集合提取的所有特征得到第四目标特征集；
S324：通过首个所述第一卷积网络提取所述第三目标特征集中各个所述第三目标特征的特征，并集合提取的所有特征得到第五目标特征集；
S325：通过首个所述第二卷积网络提取所述第四目标特征集中各个所述第四目标特征的特征，并集合提取的所有特征得到第六目标特征集；
S326：通过第三式对所述第四目标特征集和所述第五目标特征集进行第七目标特征集的计算，得到第七目标特征集，所述第三式为：
F′U1＝RU1+FO1，
其中，F′U1为第七目标特征集，RU1为第五目标特征集，FO1为第四目标特征集；
S327：通过第四式对所述第三目标特征集和所述第六目标特征集进行第八目标特征集的计算，得到第八目标特征集，所述第四式为：
F′O1＝RO1+FU1，
其中，F′O1为第八目标特征集，RO1为第六目标特征集，FU1为第三目标特征集；
S328：将所述第七目标特征集作为下一个第二卷积网络的第七初始特征集，并将所述第八目标特征集作为下一个第一卷积网络的第八初始特征集，并返回S322，直至通过所有的第二卷积网络，并将最后一个第二卷积网络的第七目标特征集作为所述第一目标特征集，并将最后一个第一卷积网络的第八目标特征集作为所述第二目标特征集。
应理解地，所述第二卷积网络与所述第一卷积网络的数量是一一对应的，故也可以直至通过所有的第一卷积网络，并将最后一个第二卷积网络的第七目标特征集作为所述第一目标特征集，并将最后一个第一卷积网络的第八目标特征集作为所述第二目标特征集。
上述实施例中，通过学习脑神经元图像卷训练集的低阶特征和学习脑神经元图像卷训练集的高阶特征，并将第一网络的低阶特征结果和第二网络的高阶特征结果进行互补得到第一目标特征集和第二目标特征集，提高了单个网络学习特征的质量，能够捕捉到精细细节和准确边缘，提升了收敛速度以及抗噪性能。
可选地，作为本发明的一个实施例，所述模型后端包括3D卷积网络、残差区域生成网络和区域融合网络，所述3D卷积网络的核大小为1x1x1，
所述模型后端用于将所述第一目标特征集和所述第二目标特征集进行特征区域融合，得到所述脑神经元图像卷训练集的分割结果的过程包括：
分别将所述第一目标特征集中的第一目标特征与所述第二目标特征集中的第二目标特征进行特征相加，并集合所有特征相加后的目标特征得到特征相加后的特征集；
通过所述3D卷积网络对所述特征相加后的特征集进行初步的特征分割，得到初步分割结果；
通过所述残差区域生成网络对所述初步分割结果进行残差区域的构建，得到多个残差区域；
通过所述区域融合网络对多个所述残差区域进行区域融合，得到所述脑神经元图像卷训练集的分割结果。
应理解地，特征相加即得到融合的特征。
应理解地，UC-Unet和OC-Unet网络最后一层输出的特征相加后，然后经过这个核大小为1x1x1的三维卷积运算后得到最后的预测(即所述初步分割结果)。该模块的输出将作为后续处理步骤的输入。
上述实施例中，将第一目标特征集和第二目标特征集的特征区域融合得到脑神经元图像卷训练集的分割结果，提高了单个网络学习特征的质量，能够捕捉到精细细节和准确边缘，提升了收敛速度以及抗噪性能。
可选地，作为本发明的一个实施例，所述通过所述脑神经元图像卷训练集的分割结果以及与所述脑神经元图像卷训练集对应的所述原始脑神经元图像卷对所述双路分割神经网络模型进行参数优化，得到优化后的双路分割神经网络模型的过程包括：
S41：通过第五式对所述脑神经元图像卷训练集对应的原始脑神经元图像卷以及所述脑神经元图像卷训练集的分割结果进行交叉熵损失值的计算，得到交叉熵损失值，所述第五式为：
其中，w，h分别为原始脑神经元图像卷中每一个切片的二维大小，l为原始脑神经元图像卷中切片的总数量，p(x,y,z)为原始脑神经元图像卷，
为所述脑神经元图像卷训练集的分割结果，
为交叉熵损失值；
S42：判断所述交叉熵损失值是否大于或等于预设损失值时，若否，则执行S43；若是，则将所述双路分割神经网络模型作为优化后的双路分割神经网络模型；
S43：利用Adam优化器对所述双路分割神经网络模型进行第一次参数优化，得到初步优化后的双路分割神经网络模型；
S44：利用反向传播算法和随机梯度下降算法对所述初步优化后的双路分割神经网络模型进行第二次参数更新，得到优化后的双路分割神经网络模型。
具体地，采用输入的3D脑神经元图像卷与输出的分割区域之间的交叉熵损失来训练本发明所构建的双路分割神经网络。该交叉熵损失表示为：
其中w，h分别表示图像卷(即所述原始脑神经元图像卷)中每一个切片的二维大小，l则表示图像卷(即所述原始脑神经元图像)中切片的总数量，p(x,y,z)表示输入的图像卷(即所述原始脑神经元图像)，
表示输出的分割区域(即所述脑神经元图像卷训练集的分割结果)。训练过程中将批次大小设置为1，学习率设置为0.001，选择Adam优化器执行优化，使用反向传播和随机梯度下降法最小化交叉熵损失函数，训练、更新网络参数，得到优化后的双路分割神经网络模型。
应理解地，Adam优化器是2014年12月，Kingma和Lei Ba两位学者提出了Adam优化器，结合AdaGrad和RMSProp两种优化算法的优点。对梯度的一阶矩估计(First MomentEstimation，即梯度的均值)和二阶矩估计(SecondMoment Estimation，即梯度的未中心化的方差)进行综合考虑，计算出更新步长。
其主要包含以下几个显著的优点：1.实现简单，计算高效，对内存需求少；2.参数的更新不受梯度的伸缩变换影响；3.超参数具有很好的解释性，且通常无需调整或仅需很少的微调；4.更新的步长能够被限制在大致的范围内(初始学习率)；5.能自然地实现步长退火过程(自动调整学习率)；6.很适合应用于大规模的数据及参数的场景；7.适用于不稳定目标函数；8.适用于梯度稀疏或梯度存在很大噪声的问题，故综合Adam在很多情况下算作默认工作性能比较优秀的优化器。
上述实施例中，通过脑神经元图像卷训练集的分割结果以及原始脑神经元图像卷对双路分割神经网络模型的参数优化得到优化后的双路分割神经网络模型，提高了单个网络学习特征的质量，能够捕捉到精细细节和准确边缘，提升了收敛速度以及抗噪性能。
可选地，作为本发明的一个实施例，所述第一卷积网络包括顺序串接的3D卷积层、最大池化层以及ReLU层，所述第二卷积网络包括顺序串接的3D卷积层、双线性上采样层和ReLU层。
应理解地，所述ReLU层是对上一层的输出结果做非线性映射，所述双线性上采样层是对上一层的输出结果还原到卷积操作前的特征图大小。
具体地，所述最大池化层对该卷积块的输入特征集进行下采样，从而确保编码器将输入图像投影到较低的空间维度。编码器中卷积层和最大池化层的结合，使编码器深层滤波器的感受野得以增大。随着感受野的增加，更深的层聚焦于高阶特征，因此无法提取低阶特征用于分割小的掩模或精细的边缘。在该不完备网络中，最大池化层的池化系数和池化过滤器步长这两个变量对网络感受野大小的变化影响最大，在本发明中这两个参数均设置为2，假设卷积滤波器的初始感受野大小为k×k×k，因此对于编码器的第i层感受野大小为23(i-1)×k×k×k。
具体地，编码器中的双线性上采样层可以将输入图像投影到更高的空间维度。通过合理设置卷积滤波器的核大小和上采样系数，这种编码器形式就会限制感受野的增加，使得深层网络学会自动提取目标的细节和边缘特征，从而可以有效地分割小的掩模。在本发明中上采样层的系数设置为2，上采样层与最大池化层的工作机理相反，因此假设卷积滤波器的初始感受野大小为k×k×k，因此对于编码器的第i层感受野大小为
上述实施例中，第一卷积网络包括顺序串接的3D卷积层、最大池化层以及ReLU层，第二卷积网络包括顺序串接的3D卷积层、双线性上采样层和ReLU层，使得深层网络学会自动提取目标的细节和边缘特征，从而有效地分割小的掩模。
可选地，作为本发明的一个实施例，所述初步分割结果包括多个区域边界点以及各个所述区域边界点对应的邻域点，所述通过所述残差区域生成网络对所述初步分割结果进行残差区域的构建，得到多个残差区域的过程包括：
通过第六式分别对各个所述区域边界点以及与所述区域边界点对应的邻域点进行局部密度的计算，得到与各个所述区域边界点对应的局部密度，所述第六式为：
其中，
其中，ei为区域边界点xi的局部密度，xi为第i个区域边界点，xj为区域边界点xi对应的邻域点，eij为区域边界点xi和邻域点xj之间的残差，N为邻域大小，||·||为欧几里得距离运算；
按照降序的排列方式对多个所述局部密度进行排序，得到多个排序后的局部密度；
筛选多个所述排序后的局部密度的中间值，筛选得到残差截止参数；
通过第七式分别对各个所述区域边界点、与各个所述区域边界点对应的邻域点以及所述残差截止参数进行最近邻域点集合的计算，得到与各个所述区域边界点对应的最近邻域点集合，所述第七式为：
ngh＝{xj|||xi-xj||<Cd}，
其中，ngh为区域边界点xi对应的最近邻域点集合，Cd为残差截止参数，xi为第i个区域边界点，xj为区域边界点xi对应的邻域点；
分别对各个所述区域边界点以及与各个所述区域边界点对应的最近邻域点集合进行填充，得到与各个所述区域边界点对应的链接结构集合；
通过第八式分别对与各个所述区域边界点对应的最近邻域点集合以及与各个所述区域边界点对应的链接结构集合进行残差区域的计算，得到与各个所述区域边界点对应的残差区域，所述第八式为：
ebl＝ngh∪adl，
其中，ebl为区域边界点xi对应的残差区域，ngh为区域边界点xi对应的最近邻域点集合，adl为区域边界点xi对应的链接结构集合。
应理解地，残差区域生成通过计算区域的局部密度，通过最优的参数设置，将高密度的连接区域合并成单个集群，噪声作为比阈值密度低的数据点进行检测。这使得融合空间存在噪声的情况下也能很好地检测出任意形状的区域，方法的抗噪性能更加优良。
应理解地，在不采用决策图启发的情况下，首先采用残差计算方法估计输出特征图的局部密度，然后将生成的残差集合用于形成残差区域，最后进一步处理以识别残差区域的聚类质心。
具体地，在生成的特征图(即所述初步分割结果)的基础上，可以在不采用决策图启发的情况下，首先估计各个特征区域的局部密度，具体就是计算每个区域边界点xi和其邻域点xj之间的残差
其中||·||表示欧几里得距离运算，N表示邻域大小，则区域边界点xi的局部密度表示为
并将ei按降序排序；接着定义一个残差截止参数cd，将区域边界点xi的最近邻域点集合表示为ngh＝{xj|||xi-xj||<Cd}；最后连接区域边界点xi与其最近邻域点，形成链接结构集adl，则生成的得到残差区域可表示为ebl＝ngh∪adl。
上述实施例中，通过残差区域生成网络对初步分割结果的残差区域构建得到多个残差区域，提高了抗噪性能，进一步处理以识别残差区域的聚类质心。
可选地，作为本发明的一个实施例，所述通过所述区域融合网络对多个所述残差区域进行区域融合，得到所述脑神经元图像卷训练集的分割结果的过程包括：
S341：通过多个所述残差区域构建区域近邻图，并集合所有的残差区域得到残差区域集合；
S342：通过第九式对所述区域近邻图以及所述残差区域集合进行评分函数集合的计算，得到评分函数集合，所述评分函数集合中的评分函数与所述残差区域集合中的残差区域一一对应，所述第九式为：
G＝(V,E,f)，
其中，G为区域近邻图，V为残差区域集合，E为相邻区域之间的连接边，
f为评分函数集合，f:
S343：当所述评分函数集合中的评分函数小于预设评分阈值时，则对所述评分函数对应的残差区域进行合并，并返回S341，直至所述评分函数集合中所有的评分函数均大于或等于所述预设评分阈值，则将所述残差区域集合作为所述脑神经元图像卷训练集的分割结果。
应理解地，基于区域近邻图的区域融合，进一步将识别出聚类质心的残差区域表示为一个区域近邻图，利用边缘分数衡量相邻区域的相似性，分数越小的边缘在分数高的边缘之前越早被合并。
具体地，进一步将得到的残差区域(即所述多个残差区域)表示为一个无向区域近邻图(UN-RAG)。该区域近邻图表示为G＝(V,E,f)，其中V表示残差区域集，
表示相邻区域之间的连接边，f:
表示边的评分函数(即所述评分函数集合)，用于评估相邻区域之间的相似程度，得分越小的边在得分高的边之前越早被合并。UN-RAG首先通过找到图中得分最低的边，然后合并它，接着重新计算受合并影响的边的分数并不断迭代，直到得分最低边的分数达到预定义的阈值(即所述预设评分阈值)来获得最后的分割。
上述实施例中，通过区域融合网络对多个残差区域的区域融合得到脑神经元图像卷训练集的分割结果，能够捕捉到精细细节和准确边缘，提升了收敛速度以及抗噪性能，并拓展了双路分割神经网络的应用范围。
图4为本发明实施例提供的一种脑神经元电子显微镜图像卷分割装置的模块框图。
可选地，作为本发明的另一个实施例，如图4所示，一种脑神经元电子显微镜图像卷分割装置，包括：
图像卷扩充模块，用于导入多个原始脑神经元图像卷，并分别对各个所述原始脑神经元图像卷进行数据扩充，并集合扩充后的脑神经元图像卷得到脑神经元图像卷数据集；
数据集划分模块，用于随机划分所述脑神经元图像卷数据集，得到脑神经元图像卷训练集和脑神经元图像卷测试集；
模型构建模块，用于构建双路分割神经网络模型，所述双路分割神经网络模型用于图像卷分割处理，所述双路分割神经网络模型包括模型前端和模型后端，所述模型前端包括第一网络、第二网络和第三网络，所述第一网络用于学习所述脑神经元图像卷训练集的低阶特征，所述第二网络用于学习所述脑神经元图像卷训练集的高阶特征，所述第三网络用于将所述第一网络的低阶特征结果和所述第二网络的高阶特征结果进行互补，得到第一目标特征集和第二目标特征集，所述模型后端用于将所述第一目标特征集和所述第二目标特征集进行特征区域融合，得到所述脑神经元图像卷训练集的分割结果；
参数优化模块，用于通过所述脑神经元图像卷训练集的分割结果以及与所述脑神经元图像卷训练集对应的所述原始脑神经元图像卷对所述双路分割神经网络模型进行参数优化，得到优化后的双路分割神经网络模型；
分割结果获得模块，用于通过所述优化后的双路分割神经网络模型对所述脑神经元图像卷测试集进行图像卷的分割，得到所述脑神经元图像卷测试集的分割结果。
可选地，本发明的另一个实施例提供一种脑神经元电子显微镜图像卷分割装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如上所述的脑神经元电子显微镜图像卷分割方法。该装置可为计算机等装置。
可选地，本发明的另一个实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的脑神经元电子显微镜图像卷分割方法。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种脑神经元电子显微镜图像卷分割方法，其特征在于，包括如下步骤：
导入多个原始脑神经元图像卷，并分别对各个所述原始脑神经元图像卷进行数据扩充，并集合扩充后的脑神经元图像卷得到脑神经元图像卷数据集；
随机划分所述脑神经元图像卷数据集，得到脑神经元图像卷训练集和脑神经元图像卷测试集；
构建双路分割神经网络模型，所述双路分割神经网络模型用于图像卷分割处理，所述双路分割神经网络模型包括模型前端和模型后端，
所述模型前端包括第一网络、第二网络和第三网络，所述第一网络用于学习所述脑神经元图像卷训练集的低阶特征，所述第二网络用于学习所述脑神经元图像卷训练集的高阶特征，所述第三网络用于将所述第一网络的低阶特征结果和所述第二网络的高阶特征结果进行互补，得到第一目标特征集和第二目标特征集，所述模型后端用于将所述第一目标特征集和所述第二目标特征集进行特征区域融合，得到所述脑神经元图像卷训练集的分割结果；
通过所述脑神经元图像卷训练集的分割结果以及与所述脑神经元图像卷训练集对应的所述原始脑神经元图像卷对所述双路分割神经网络模型进行参数优化，得到优化后的双路分割神经网络模型；
通过所述优化后的双路分割神经网络模型对所述脑神经元图像卷测试集进行图像卷的分割，得到所述脑神经元图像卷测试集的分割结果。
2.根据权利要求1所述的脑神经元电子显微镜图像卷分割方法，其特征在于，所述第一网络包括第一网络编码器和第一网络译码器，所述第二网络包括第二网络编码器和第二网络译码器，所述第一网络编码器包括多个顺序排列的第一卷积网络，所述第二网络编码器包括多个顺序排列的第二卷积网络，
所述第一网络用于学习所述脑神经元图像卷训练集的低阶特征，所述第二网络用于学习所述脑神经元图像卷训练集的高阶特征，所述第三网络用于将所述第一网络的低阶特征结果和所述第二网络的高阶特征结果进行互补，得到第一目标特征集和第二目标特征集的过程包括：
S311：通过首个所述第一卷积网络提取所述脑神经元图像卷训练集中各个所述脑神经元图像卷的特征，并集合提取的所有特征得到第一初始特征集；
S312：通过首个所述第二卷积网络提取所述脑神经元图像卷训练集中各个所述脑神经元图像卷的特征，并集合提取的所有特征得到第二初始特征集；
S313：通过首个所述第二卷积网络提取所述第一初始特征集中各个所述第一初始特征的特征，并集合提取的所有特征得到第三初始特征集；
S314：通过首个所述第一卷积网络提取所述第二初始特征集中各个所述第二初始特征的特征，并集合提取的所有特征得到第四初始特征集；
S315：通过第一式对所述第二初始特征集和所述第三初始特征集进行第五初始特征集的计算，得到第五初始特征集，所述第一式为：
F′U＝RU+FO，
其中，F′U为第五初始特征集，RU为第三初始特征集，FO为第二初始特征集；
S316：通过第二式对所述第一初始特征集和所述第四初始特征集进行第六初始特征集的计算，得到第六初始特征集，所述第二式为：
F′O＝RO+FU，
其中，F′O为第六初始特征集，RO为第四初始特征集，FU为第一初始特征集；
S317：将所述第五初始特征集作为下一个第一卷积网络的脑神经元图像卷训练集，并执行S311，得到下一个第一卷积网络的第一初始特征集；
S318：将所述第六初始特征集作为下一个第二卷积网络的脑神经元图像卷训练集，并返回S312，直至通过所有的第一卷积网络，从而得到最后一个第一卷积网络的第五初始特征集和最后一个第二卷积网络的第六初始特征集。
3.根据权利要求2所述的脑神经元电子显微镜图像卷分割方法，其特征在于，所述第一网络译码器包括多个顺序排列的第二卷积网络，所述第二网络译码器包括多个顺序排列的第一卷积网络，
所述第一网络用于学习所述脑神经元图像卷训练集的低阶特征，所述第二网络用于学习所述脑神经元图像卷训练集的高阶特征，所述第三网络用于将所述第一网络的低阶特征结果和所述第二网络的高阶特征结果进行互补，得到第一目标特征集和第二目标特征集的过程包括：
S321：将所述最后一个第一卷积网络的第五初始特征集作为第七初始特征集，并将所述最后一个第二卷积网络的第六初始特征集作为第八初始特征集；
S322：通过首个所述第二卷积网络提取所述第七初始特征集中各个所述第七初始特征的特征，并集合提取的所有特征得到第三目标特征集；
S323：通过首个所述第一卷积网络提取所述第八初始特征集中各个所述第八初始特征的特征，并集合提取的所有特征得到第四目标特征集；
S324：通过首个所述第一卷积网络提取所述第三目标特征集中各个所述第三目标特征的特征，并集合提取的所有特征得到第五目标特征集；
S325：通过首个所述第二卷积网络提取所述第四目标特征集中各个所述第四目标特征的特征，并集合提取的所有特征得到第六目标特征集；
S326：通过第三式对所述第四目标特征集和所述第五目标特征集进行第七目标特征集的计算，得到第七目标特征集，所述第三式为：
F′U1＝RU1+FO1，
其中，F′U1为第七目标特征集，RU1为第五目标特征集，FO1为第四目标特征集；
S327：通过第四式对所述第三目标特征集和所述第六目标特征集进行第八目标特征集的计算，得到第八目标特征集，所述第四式为：
F′O1＝RO1+FU1，
其中，F′O1为第八目标特征集，RO1为第六目标特征集，FU1为第三目标特征集；
S328：将所述第七目标特征集作为下一个第二卷积网络的第七初始特征集，并将所述第八目标特征集作为下一个第一卷积网络的第八初始特征集，并返回S322，直至通过所有的第二卷积网络，并将最后一个第二卷积网络的第七目标特征集作为所述第一目标特征集，并将最后一个第一卷积网络的第八目标特征集作为所述第二目标特征集。
4.根据权利要求3所述的脑神经元电子显微镜图像卷分割方法，其特征在于，所述模型后端包括3D卷积网络、残差区域生成网络和区域融合网络，所述3D卷积网络的核大小为1x1x1，
所述模型后端用于将所述第一目标特征集和所述第二目标特征集进行特征区域融合，得到所述脑神经元图像卷训练集的分割结果的过程包括：
分别将所述第一目标特征集中的第一目标特征与所述第二目标特征集中的第二目标特征进行特征相加，并集合所有特征相加后的目标特征得到特征相加后的特征集；
通过所述3D卷积网络对所述特征相加后的特征集进行初步的特征分割，得到初步分割结果；
通过所述残差区域生成网络对所述初步分割结果进行残差区域的构建，得到多个残差区域；
通过所述区域融合网络对多个所述残差区域进行区域融合，得到所述脑神经元图像卷训练集的分割结果。
5.根据权利要求1所述的脑神经元电子显微镜图像卷分割方法，其特征在于，所述通过所述脑神经元图像卷训练集的分割结果以及与所述脑神经元图像卷训练集对应的所述原始脑神经元图像卷对所述双路分割神经网络模型进行参数优化，得到优化后的双路分割神经网络模型的过程包括：
S41：通过第五式对所述脑神经元图像卷训练集对应的原始脑神经元图像卷以及所述脑神经元图像卷训练集的分割结果进行交叉熵损失值的计算，得到交叉熵损失值，所述第五式为：
其中，w，h分别为原始脑神经元图像卷中每一个切片的二维大小，l为原始脑神经元图像卷中切片的总数量，p(x,y,z)为原始脑神经元图像卷，
为所述脑神经元图像卷训练集的分割结果，
为交叉熵损失值；
S42：判断所述交叉熵损失值是否大于或等于预设损失值时，若否，则执行S43；若是，则将所述双路分割神经网络模型作为优化后的双路分割神经网络模型；
S43：利用Adam优化器对所述双路分割神经网络模型进行第一次参数优化，得到初步优化后的双路分割神经网络模型；
S44：利用反向传播算法和随机梯度下降算法对所述初步优化后的双路分割神经网络模型进行第二次参数更新，得到优化后的双路分割神经网络模型。
6.根据权利要求2或3所述的脑神经元电子显微镜图像卷分割方法，其特征在于，所述第一卷积网络包括顺序串接的3D卷积层、最大池化层以及ReLU层，所述第二卷积网络包括顺序串接的3D卷积层、双线性上采样层和ReLU层。
7.根据权利要求4所述的脑神经元电子显微镜图像卷分割方法，其特征在于，所述初步分割结果包括多个区域边界点以及各个所述区域边界点对应的邻域点，所述通过所述残差区域生成网络对所述初步分割结果进行残差区域的构建，得到多个残差区域的过程包括：
通过第六式分别对各个所述区域边界点以及与所述区域边界点对应的邻域点进行局部密度的计算，得到与各个所述区域边界点对应的局部密度，所述第六式为：
其中，
其中，ei为区域边界点xi的局部密度，xi为第i个区域边界点，xj为区域边界点xi对应的邻域点，eij为区域边界点xi和邻域点xj之间的残差，N为邻域大小，||·||为欧几里得距离运算；
按照降序的排列方式对多个所述局部密度进行排序，得到多个排序后的局部密度；
筛选多个所述排序后的局部密度的中间值，筛选得到残差截止参数；
通过第七式分别对各个所述区域边界点、与各个所述区域边界点对应的邻域点以及所述残差截止参数进行最近邻域点集合的计算，得到与各个所述区域边界点对应的最近邻域点集合，所述第七式为：
ngh＝{xj|||xi-xj||<Cd}，
其中，ngh为区域边界点xi对应的最近邻域点集合，Cd为残差截止参数，xi为第i个区域边界点，xj为区域边界点xi对应的邻域点；
分别对各个所述区域边界点以及与各个所述区域边界点对应的最近邻域点集合进行填充，得到与各个所述区域边界点对应的链接结构集合；
通过第八式分别对与各个所述区域边界点对应的最近邻域点集合以及与各个所述区域边界点对应的链接结构集合进行残差区域的计算，得到与各个所述区域边界点对应的残差区域，所述第八式为：
ebl＝ngh∪adl，
其中，ebl为区域边界点xi对应的残差区域，ngh为区域边界点xi对应的最近邻域点集合，adl为区域边界点xi对应的链接结构集合。
8.根据权利要求7所述的脑神经元电子显微镜图像卷分割方法，其特征在于，所述通过所述区域融合网络对多个所述残差区域进行区域融合，得到所述脑神经元图像卷训练集的分割结果的过程包括：
S341：通过多个所述残差区域构建区域近邻图，并集合所有的残差区域得到残差区域集合；
S342：通过第九式对所述区域近邻图以及所述残差区域集合进行评分函数集合的计算，得到评分函数集合，所述评分函数集合中的评分函数与所述残差区域集合中的残差区域一一对应，所述第九式为：
G＝(V,E,f)，
其中，G为区域近邻图，V为残差区域集合，E为相邻区域之间的连接边，
f为评分函数集合，
S343：当所述评分函数集合中的评分函数小于预设评分阈值时，则对所述评分函数对应的残差区域进行合并，并返回S341，直至所述评分函数集合中所有的评分函数均大于或等于所述预设评分阈值，则将所述残差区域集合作为所述脑神经元图像卷训练集的分割结果。
9.一种脑神经元电子显微镜图像卷分割装置，其特征在于，包括：
图像卷扩充模块，用于导入多个原始脑神经元图像卷，并分别对各个所述原始脑神经元图像卷进行数据扩充，并集合扩充后的脑神经元图像卷得到脑神经元图像卷数据集；
数据集划分模块，用于随机划分所述脑神经元图像卷数据集，得到脑神经元图像卷训练集和脑神经元图像卷测试集；
模型构建模块，用于构建双路分割神经网络模型，所述双路分割神经网络模型用于图像卷分割处理，所述双路分割神经网络模型包括模型前端和模型后端，所述模型前端包括第一网络、第二网络和第三网络，所述第一网络用于学习所述脑神经元图像卷训练集的低阶特征，所述第二网络用于学习所述脑神经元图像卷训练集的高阶特征，所述第三网络用于将所述第一网络的低阶特征结果和所述第二网络的高阶特征结果进行互补，得到第一目标特征集和第二目标特征集，所述模型后端用于将所述第一目标特征集和所述第二目标特征集进行特征区域融合，得到所述脑神经元图像卷训练集的分割结果；
参数优化模块，用于通过所述脑神经元图像卷训练集的分割结果以及与所述脑神经元图像卷训练集对应的所述原始脑神经元图像卷对所述双路分割神经网络模型进行参数优化，得到优化后的双路分割神经网络模型；
分割结果获得模块，用于通过所述优化后的双路分割神经网络模型对所述脑神经元图像卷测试集进行图像卷的分割，得到所述脑神经元图像卷测试集的分割结果。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，当所述计算机程序被处理器执行时，实现如权利要求1至8任一项所述的脑神经元电子显微镜图像卷分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111004134.7A CN113743280B (zh) | 2021-08-30 | 2021-08-30 | 一种脑神经元电子显微镜图像卷分割方法、装置以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111004134.7A CN113743280B (zh) | 2021-08-30 | 2021-08-30 | 一种脑神经元电子显微镜图像卷分割方法、装置以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113743280A true CN113743280A (zh) | 2021-12-03 |
| CN113743280B CN113743280B (zh) | 2024-03-01 |
Family
ID=78733824
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111004134.7A Active CN113743280B (zh) | 2021-08-30 | 2021-08-30 | 一种脑神经元电子显微镜图像卷分割方法、装置以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113743280B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114468977A (zh) * | 2022-01-21 | 2022-05-13 | 深圳市眼科医院 | 一种眼科视力检查数据收集分析方法、系统及计算机存储介质 |
| CN116012385A (zh) * | 2023-03-28 | 2023-04-25 | 同心智医科技(北京)有限公司 | Mr灌注图像的脑缺血分割方法、装置及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190080456A1 (en) * | 2017-09-12 | 2019-03-14 | Shenzhen Keya Medical Technology Corporation | Method and system for performing segmentation of image having a sparsely distributed object |
| CN109886986A (zh) * | 2019-01-23 | 2019-06-14 | 北京航空航天大学 | 一种基于多分支卷积神经网络的皮肤镜图像分割方法 |
| CN111145188A (zh) * | 2019-12-25 | 2020-05-12 | 西安电子科技大学 | 一种基于ResNet与UNet模型的图像分割方法 |
| CN111209810A (zh) * | 2018-12-26 | 2020-05-29 | 浙江大学 | 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构 |
| CN112598080A (zh) * | 2020-12-30 | 2021-04-02 | 广州大学华软软件学院 | 一种基于注意力的宽度图卷积神经网络模型及其训练方法 |
-
2021
- 2021-08-30 CN CN202111004134.7A patent/CN113743280B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190080456A1 (en) * | 2017-09-12 | 2019-03-14 | Shenzhen Keya Medical Technology Corporation | Method and system for performing segmentation of image having a sparsely distributed object |
| CN111209810A (zh) * | 2018-12-26 | 2020-05-29 | 浙江大学 | 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构 |
| CN109886986A (zh) * | 2019-01-23 | 2019-06-14 | 北京航空航天大学 | 一种基于多分支卷积神经网络的皮肤镜图像分割方法 |
| CN111145188A (zh) * | 2019-12-25 | 2020-05-12 | 西安电子科技大学 | 一种基于ResNet与UNet模型的图像分割方法 |
| CN112598080A (zh) * | 2020-12-30 | 2021-04-02 | 广州大学华软软件学院 | 一种基于注意力的宽度图卷积神经网络模型及其训练方法 |
Non-Patent Citations (1)
| Title |
|---|
| 艾玲梅;叶雪娜;: "基于循环卷积神经网络的目标检测与分类", 计算机技术与发展, no. 02 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114468977A (zh) * | 2022-01-21 | 2022-05-13 | 深圳市眼科医院 | 一种眼科视力检查数据收集分析方法、系统及计算机存储介质 |
| CN114468977B (zh) * | 2022-01-21 | 2023-03-28 | 深圳市眼科医院 | 一种眼科视力检查数据收集分析方法、系统及计算机存储介质 |
| CN116012385A (zh) * | 2023-03-28 | 2023-04-25 | 同心智医科技(北京)有限公司 | Mr灌注图像的脑缺血分割方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113743280B (zh) | 2024-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110503630B (zh) | 一种基于三维深度学习模型的脑出血分类、定位与预测方法 | |
| CN109410204B (zh) | 一种基于cam的皮质白内障图像处理及增强方法 | |
| CN111862009B (zh) | 一种眼底oct图像的分类方法及计算机可读存储介质 | |
| CN113743280B (zh) | 一种脑神经元电子显微镜图像卷分割方法、装置以及存储介质 | |
| CN111612008A (zh) | 基于卷积网络的图像分割方法 | |
| CN113693563B (zh) | 一种基于超图注意力网络的脑功能网络分类方法 | |
| CN108921047B (zh) | 一种基于跨层融合的多模型投票均值动作识别方法 | |
| CN107918772B (zh) | 基于压缩感知理论和gcForest的目标跟踪方法 | |
| CN106503672A (zh) | 一种老年人异常行为的识别方法 | |
| CN115841607A (zh) | 一种基于图注意力网络的脑网络结构和相似度的联合学习方法 | |
| Zhang et al. | A novel denoising method for CT images based on U-net and multi-attention | |
| CN113066054B (zh) | 一种用于计算机辅助诊断的宫颈oct图像特征可视化方法 | |
| Zheng et al. | Pneumoconiosis identification in chest X-ray films with CNN-based transfer learning | |
| CN114049935A (zh) | 一种基于多卷积神经网络的her2图像分类系统 | |
| CN114241564A (zh) | 一种基于类间差异强化网络的人脸表情识别方法 | |
| Wang et al. | SURVS: A Swin-Unet and game theory-based unsupervised segmentation method for retinal vessel | |
| CN113744209A (zh) | 基于多尺度残差U-net网络的心脏分割方法 | |
| CN110929731B (zh) | 一种基于探路者智能搜索算法的医疗影像处理方法及装置 | |
| CN117649657A (zh) | 基于改进Mask R-CNN的骨髓细胞检测系统 | |
| CN110570450B (zh) | 一种基于级联的上下文感知框架的目标跟踪方法 | |
| CN111667469A (zh) | 肺部疾病分类方法、装置及设备 | |
| Das et al. | Optimization based feature generation for handwritten odia-numeral recognition | |
| CN114764788B (zh) | 一种颅内动脉狭窄检测方法及系统 | |
| CN116797817A (zh) | 基于自监督图卷积模型的自闭症疾病预测技术 | |
| CN115909016A (zh) | 基于GCN分析fMRI图像的系统、方法、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |