CN113450364B - 一种基于三维通量模型的树状结构中心线提取方法 - Google Patents

一种基于三维通量模型的树状结构中心线提取方法 Download PDF

Info

Publication number
CN113450364B
CN113450364B CN202110728463.XA CN202110728463A CN113450364B CN 113450364 B CN113450364 B CN 113450364B CN 202110728463 A CN202110728463 A CN 202110728463A CN 113450364 B CN113450364 B CN 113450364B
Authority
CN
China
Prior art keywords
flux
dimensional
stage
voxel
center line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110728463.XA
Other languages
English (en)
Other versions
CN113450364A (zh
Inventor
刘敏
樊家旺
王烜
汪嘉正
王耀南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202110728463.XA priority Critical patent/CN113450364B/zh
Publication of CN113450364A publication Critical patent/CN113450364A/zh
Application granted granted Critical
Publication of CN113450364B publication Critical patent/CN113450364B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30172—Centreline of tubular or elongated structure

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明具体涉及一种基于三维通量模型的树状结构中心线提取方法，包括：构建数据集，将原图随机采样生成子图；使用3D Tubular Flux模型，计算前景点的空间距离和方向信息，生成其相对于中心线的位置信息编码通量特征，作为监督信息；使用三维卷积神经网络进行特征学习，生成结构信息通量特征，使用CBAM加强通道的探索，使用CSP模块减少其计算量；使用轻量级U‑Net网络进行自适应的中心线预测，并生成双通道概率图；空间加权平均策略处理双通道概率图，生成更加精细的中心线；求三维卷积神经网络加权均方误差损失与轻量级U‑Net网络Dice损失并求和，然后将其联合训练。本发明实现了端到端的树状结构中心线提取方法，从而准确高效的完成树状结构中心线提取。

Description

一种基于三维通量模型的树状结构中心线提取方法
技术领域
本发明涉及计算机视觉领域，具体涉及一种基于三维通量模型的树状结构中心线提取方法。
背景技术
近年来，神经元等树状结构数字化形态重建已成为神经科学领域的研究热点。从显微图像重建(追踪)树状结构对于建立大脑回路的连接、进行定量研究以及促进对大脑机制的理解至关重要。因此，在过去十几年里，人们提出了许多自动神经元重建的方法，而神经元重建问题可以从根本上表述为中心线提取、直径估计和拓扑连接。其中提取中心线(骨架)是管状结构应用的关键部分，它提供了物体的简明表示，揭示了物体局部的对称性和连通性。而中心线的准确性将直接影响后续模块的性能，如神经元直径估计，并最终影响神经元重建的质量。
然而，神经元等树状结构图像存在着形态结构复杂、图像质量差、噪声大和纹理破碎等问题，现有技术中的神经纤维中心线提取方法很难找到完整准确的神经纤维中心线，通常会在结果中导致中心线提取不完整，缺少分支，过早终止和闭合分支中的拓扑等错误。使得现有的树状结构中心线提取方法很难实现高效率高精度的树状结构中心线提取。
因此，需要一种基于三维通量模型的树状结构中心线提取方法，来解决现有技术中的问题。
发明内容
本发明提供一种基于三维通量模型的树状结构中心线提取方法，能够处理图像质量较差的复杂树状结构，提取出准确可靠的中心线，并避免了冗余特征的提取，简化了拓扑连接，有利于获得稳健、真实的中心线提取结果，而且代替了传统的恢复中心线的方法，实现了端到端的树状结构中心线提取方法。从而准确高效的完成树状结构中心线提取，解决现有技术中存在的问题。
一种基于三维通量模型的树状结构中心线提取方法，包括如下步骤：
S1，构建数据集，将原始图片按照随机采样的原则生成子图；
S2，在所述数据集上使用三维通量(3D Tubular Flux)模型，计算每一个前景点的空间距离和方向信息，生成每个点相对于中心线的位置信息编码通量特征，作为下一步中一阶段特征生成网络的监督信息；
S3，使用三维卷积神经网络进行特征学习，生成包含树状结构信息的通量特征，在所述三维卷积神经网络内部使用CBAM注意力机制来加强通道的探索，强化学习能力，并使用CSP模块减少所述三维卷积神经网络的计算量；将该阶段记为一阶段；
S4，使用轻量级U-Net网络对S3中所述包含树状结构信息的通量特征进行自适应的中心线预测，并判断每个体素属于中心线的概率，生成双通道概率图；将该阶段记为二阶段；
S5，使用空间加权平均策略处理S4中所述的双通道概率图，来抑制多体素的宽度，生成更加精细的中心线；
S6，求一阶段中三维卷积神经网络加权均方误差损失与二阶段中轻量级U-Net网络Dice损失并求和，然后将一阶段网络和二阶段网络联合训练，实现联合优化。
本发明使用一个端到端的深度学习方法提取树状结构中心线，与网络自学特征相比，通量特征作为一种先验知识，显式地利用了中心线周围的上下文距离和方向分布信息，能够处理图像质量较差的复杂树状结构，提取出准确的中心线。并避免了冗余特征的提取，简化了拓扑连接，有利于获得稳健、真实的中心线提取结果，从而准确高效的完成树状结构中心线提取，解决现有技术中存在的问题。
进一步的，所述S1中，数据集的数据大小为512×512×41—2048×2048×150体素。
进一步的，所述S1还包括：按照随机采样的原则生成子图时，随机获取专家标记的体素点作为子图中心点，在原图中生成大小为128×128×32的子图。
所述数据集来源于BigNeuron项目中收集的BigNeuron数据集和扩展的鼠全脑子图数据集(Extended-WMBS)。
进一步的，所述S2中，生成位置信息编码通量特征包括如下步骤：
S2.1，首先从S1中获取子图，给定中心线和半径r，将图像分为两个部分，包括半径内部的前景区域IR和其余的背景区域IB，其中IR由相互连接的小管状柱体构成，而IB由其他无关结构构成；
S2.2，随后找到与每一个体素点P∈IR最近的中心线上的点O，所述两点之间的通量记为
Figure BDA0003138430250000021
背景区域的通量为0；
S2.3，通过球坐标来定义通量的几何位置和空间属性，三维通量矢量由长度ρ∈[0，r]、方位角θ∈[0，2π)和极角
Figure BDA0003138430250000022
三个属性描述，由公式为：
Figure BDA0003138430250000031
其中ux、uy、uz分别是x、y和z轴上的单位向量，P⊥是体素点P在XOY平面上的投影，方位角θ和极角
Figure BDA0003138430250000032
表示了神经纤维与中心之间的方向信息，ρ反映了每个体素点相对于中心线的距离分布；
S2.4，然后通过距离变换得到描述体素强度沿半径方向变化趋势Dw。
进一步的，所述Dw的计算公式为：
Figure BDA0003138430250000033
其中a和dM是常数，控制着体素点到中心线点像素强度的下降速率，随着长度变量ρ的变小，距离变换函数的值和斜率均变小，与神经元信号强度的分布一致，并且令z＝ea-1，确保距离变换的结果Dw∈[0，1]。
进一步的，所述S3中，一阶段中生成树状结构信息通量特征包括如下步骤：
S3.1，将S1中所述子图输入三维卷积神经网络，并以S2中位置信息编码通量特征作为监督信息，进行3×3×3的卷积运算，然后用CSP模块提取浅层特征；
S3.2，在使用CBAM模块和CSP模块处理之后，进行四次下采样操作，提取更深层次的信息；每次所述下采样操作均通过步长为2的卷积实现，所述三维卷积神经网络包括编码器和解码器跳跃连接的结构；
S3.3，然后进行反卷积操作，使用核大小为4×4×4，步长为2的卷积进行上采样操作；在每次上采样操作后，从编码器提取的特征被重组以经过3×3×3的卷积运算，然后将其1×1×1滤波器处理；每次所述卷积和反卷积操作之后，进行归一化操作和校正线性单元(RELU)处理。
其中CBAM模块是轻量级的注意力模块，在每一次下采样后进行集成，通过探索通道间的关系，强调了特征图上的空间位置，帮助网络自适应的捕捉重要信息，然后生成下一层的组合特征图。CSP模块可以帮助网络减少计算量、降低训练难度，它首先沿着通道将其输入分成两部分。接下来，这两个部分并行处理输入数据。第一部分包括1×1×1卷积运算，另一部分由两个1×1×1卷积运算组成，中间有N个剩余块。最后，将两个部分连接起来，并进行1×1×1的卷积运算。在这种结构中，CSP保留了残差块重用特征的优点，并且避免了过度的梯度信息复制。
进一步的，所述S4中还包括如下步骤：
S4.1，将S3中所述树状结构信息通量特征输入S4中所述轻量级U-Net网络，进行四次下采样和四次上采样，所述上采样和下采样分别有四层，每层包括一次卷积运算，
S4.2，然后使用体素级的非线性函数Softmax，预测出每个体素属于中心线的概率，输出双通道概率图。
采用这样的方法，实现了端到端的中心线提取任务。
进一步的，所述S5还包括如下步骤：
S5.1，首先，使用阈值σ激活预测响应，构成激活的体素坐标集C，然后在半径γ内的集合C中估计每个点周围的像素强度分布，通过计算体素点在区域内的像素强度给点赋予权重，最后利用这些点的空间平均值生成精细的中心线。
进一步的，所述S6还包括如下步骤：
S6.1，使用加权均方误差函数L1求取所述一阶段中三维卷积神经网络加权均方误差损失，公式为：
Figure BDA0003138430250000041
其中，
Figure BDA0003138430250000042
是预测的三通道响应，包括P点的距离变换
Figure BDA0003138430250000043
方位角
Figure BDA0003138430250000044
和极角
Figure BDA0003138430250000045
F(p)是标准值，权重w(p)由整个数据集设置的而不是单个图像，w(p)计算公式为：
Figure BDA0003138430250000046
其中NR、NB分别表示前景区域IR和背景区域IB的体素数量；
S6.2，使用Dice损失函数L2求取二阶段中轻量级U-Net网络Dice损失，公式为：
Figure BDA0003138430250000047
其中
Figure BDA0003138430250000048
表示第二阶段网络输出的结果，yi是标准值；
S6.3，对S6.1和S6.2中的损失进行求和Loss＝L1+L2，然后将两个阶段进行联合训练。
本发明的有益效果如下：
1.本发明提出了3D Tubular Flux模型，对树状结构进行有效的描述，将每个体素点相对于中心线的位置信息编码为通量特征，揭示了树状结构的上下文空间分布，有利于定位每个神经纤维的中心线，消除无关结构的干扰，能够处理图像质量较差的复杂树状结构，提取出准确可靠的中心线。
2.本发明将通量特征作为监督信息，避免了冗余特征的提取，简化了拓扑连接，有利于获得稳健、真实的中心线提取结果。
3.本发明代替了传统方法，提出了端到端的树状结构中心线提取方法，从而准确高效的完成树状结构中心线提取。
4.本发明是一种通用的树状结构中心线提取方法，可以完成不同类型数据的中心线取。
附图说明
图1为本发明中树状结构中心线提取方法的流程图；
图2为本发明中的三维通量模型3D Tubular Flux示意图；
图3为本发明中的距离变换示意图；
图4为本发明中一阶段网络结构示意图；
图5为本发明中CSP模块示意图；
图6为本发明中二阶段网络结构示意图。
具体实施方式
显然，下面所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
如图1-图6所示，一种基于三维通量模型的树状结构中心线提取方法，包括如下步骤：
S1，构建数据集，将原始图片按照随机采样的原则生成子图；
S2，在所述数据集上使用三维通量(3D Tubular Flux)模型，计算每一个前景点的空间距离和方向信息，生成每个点相对于中心线的位置信息编码通量特征，作为下一步中一阶段特征生成网络的监督信息；
S3，使用三维卷积神经网络进行特征学习，生成包含树状结构信息的通量特征，在所述三维卷积神经网络内部使用CBAM注意力机制来加强通道的探索，强化学习能力，并使用CSP模块减少所述三维卷积神经网络的计算量；将该阶段记为一阶段；
S4，使用轻量级U-Net网络对S3中所述包含树状结构信息的通量特征进行自适应的中心线预测，并判断每个体素属于中心线的概率，生成双通道概率图；将该阶段记为二阶段；
S5，使用空间加权平均策略处理S4中所述的双通道概率图，来抑制多体素的宽度，生成更加精细的中心线；
S6，求一阶段中三维卷积神经网络加权均方误差损失与二阶段中轻量级U-Net网络Dice损失并求和，然后将一阶段网络和二阶段网络联合训练，实现联合优化。
本发明使用一个端到端的深度学习方法提取树状结构中心线，与网络自学特征相比，通量特征作为一种先验知识，显式地利用了中心线周围的上下文距离和方向分布信息，能够处理图像质量较差的复杂树状结构，提取出准确的中心线。并避免了冗余特征的提取，简化了拓扑连接，有利于获得稳健、真实的中心线提取结果，从而准确高效的完成树状结构中心线提取，解决现有技术中存在的问题。
所述S1中，数据集的数据大小为512×512×41—2048×2048×150体素。
所述S1还包括：按照随机采样的原则生成子图时，随机获取专家标记的体素点作为子图中心点，在原图中生成大小为128×128×32的子图。
所述数据集来源于BigNeuron项目中收集的BigNeuron数据集和扩展的鼠全脑子图数据集(Extended-WMBS)。
所述S2中，生成位置信息编码通量特征包括如下步骤：
S2.1，首先从S1中获取子图，给定中心线和半径r，将图像分为两个部分，包括半径内部的前景区域IR和其余的背景区域IB，其中IR由相互连接的小管状柱体构成，而IB由其他无关结构构成；
S2.2，随后找到与每一个体素点P∈IR最近的中心线上的点O，所述两点之间的通量记为
Figure BDA0003138430250000061
背景区域的通量为0；
S2.3，通过球坐标来定义通量的几何位置和空间属性，三维通量矢量由长度ρ∈[0，r]、方位角θ∈[0，2π)和极角
Figure BDA0003138430250000062
三个属性描述，由公式为：
Figure BDA0003138430250000071
其中ux、uy、uz分别是x、y和z轴上的单位向量，P⊥是体素点P在XOY平面上的投影，方位角θ和极角
Figure BDA0003138430250000072
表示了神经纤维与中心之间的方向信息，ρ反映了每个体素点相对于中心线的距离分布；
S2.4，然后通过距离变换得到描述体素强度沿半径方向变化趋势Dw。
所述Dw的计算公式为：
Figure BDA0003138430250000073
其中a和dM是常数，控制着体素点到中心线点像素强度的下降速率，随着长度变量ρ的变小，距离变换函数的值和斜率均变小，并且令z＝ea-1，确保距离变换的结果Dw∈[0，1]。
所述S3中，一阶段中生成树状结构信息通量特征包括如下步骤：
S3.1，将S1中所述子图输入三维卷积神经网络，并以S2中位置信息编码通量特征作为监督信息，进行3×3×3的卷积运算，然后用CSP模块提取浅层特征；
S3.2，在使用CBAM模块和CSP模块处理之后，进行四次下采样操作，提取更深层次的信息；每次所述下采样操作均通过步长为2的卷积实现，所述三维卷积神经网络包括编码器和解码器跳跃连接的结构；
S3.3，然后进行反卷积操作，使用核大小为4×4×4，步长为2的卷积进行上采样操作；在每次上采样操作后，从编码器提取的特征被重组以经过3×3×3的卷积运算，然后将其1×1×1滤波器处理；每次所述卷积和反卷积操作之后，进行归一化操作和校正线性单元(RELU)处理。
其中CBAM模块是轻量级的注意力模块，在每一次下采样后进行集成，通过探索通道间的关系，强调了特征图上的空间位置，帮助网络自适应的捕捉重要信息，然后生成下一层的组合特征图。CSP模块可以帮助网络减少计算量、降低训练难度，它首先沿着通道将其输入分成两部分。接下来，这两个部分并行处理输入数据。第一部分包括1×1×1卷积运算，另一部分由两个1×1×1卷积运算组成，中间有N个剩余块。最后，将两个部分连接起来，并进行1×1×1的卷积运算。在这种结构中，CSP保留了残差块重用特征的优点，并且避免了过度的梯度信息复制。
所述S4中还包括如下步骤：
S4.1，将S3中所述树状结构信息通量特征输入S4中所述轻量级U-Net网络，进行四次下采样和四次上采样，所述上采样和下采样分别有四层，每层包括一次卷积运算，
S4.2，然后使用体素级的非线性函数Softmax，预测出每个体素属于中心线的概率，输出双通道概率图。
采用这样的方法，实现了端到端的中心线提取任务。
所述S5还包括如下步骤：
S5.1，首先，使用阈值σ激活预测响应，构成激活的体素坐标集C，然后在半径γ内的集合C中估计每个点周围的像素强度分布，通过计算体素点在区域内的像素强度给点赋予权重，最后利用这些点的空间平均值生成精细的中心线。
所述S6还包括如下步骤：
S6.1，使用加权均方误差函数L1求取所述一阶段中三维卷积神经网络加权均方误差损失，公式为：
Figure BDA0003138430250000081
其中，
Figure BDA0003138430250000082
是预测的三通道响应，包括P点的距离变换
Figure BDA0003138430250000083
方位角
Figure BDA0003138430250000084
和极角
Figure BDA0003138430250000085
F(p)是标准值，权重w(p)由整个数据集设置的而不是单个图像，w(p)计算公式为：
Figure BDA0003138430250000086
其中NR、NB分别表示前景区域IR和背景区域IB的体素数量；
S6.2，使用Dice损失函数L2求取二阶段中轻量级U-Net网络Dice损失，公式为：
Figure BDA0003138430250000087
其中
Figure BDA0003138430250000088
表示第二阶段网络输出的结果，yi是标准值；
S6.3，对S6.1和S6.2中的损失进行求和Loss＝L1+L2，然后将两个阶段进行联合训练。
本发明的有益效果如下：
1.本发明提出了3D Tubular Flux模型，对树状结构进行有效的描述，将每个体素点相对于中心线的位置信息编码为通量特征，揭示了树状结构的上下文空间分布，有利于定位每个神经纤维的中心线，消除无关结构的干扰，能够处理图像质量较差的复杂树状结构，提取出准确可靠的中心线。
2.本发明将通量特征作为监督信息，避免了冗余特征的提取，简化了拓扑连接，有利于获得稳健、真实的中心线提取结果。
3.本发明代替了传统方法，提出了端到端的树状结构中心线提取方法，从而准确高效的完成树状结构中心线提取。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (8)

1.一种基于三维通量模型的树状结构中心线提取方法，其特征在于，包括如下步骤：
S1，构建数据集，将原始图片按照随机采样的原则生成子图；
S2，在所述数据集上使用三维通量模型，计算每一个前景点的空间距离和方向信息，生成每个点相对于中心线的位置信息编码通量特征，作为下一步中一阶段特征生成网络的监督信息；
生成位置信息编码通量特征包括如下步骤：
S2.1，首先从S1中获取子图，给定中心线和半径r，将图像分为两个部分，包括半径内部的前景区域IR和其余的背景区域IB，其中IR由相互连接的小管状柱体构成，而IB由其他无关结构构成；
S2.2，随后找到与每一个体素点P∈IR最近的中心线上的点O，所述两点之间的通量记为
Figure FDA0003556829890000011
背景区域的通量为0；
S2.3，通过球坐标来定义通量的几何位置和空间属性，三维通量矢量由长度ρ∈[0，r]、方位角θ∈[0，2π)和极角
Figure FDA0003556829890000012
三个属性描述，由公式为：
Figure FDA0003556829890000013
其中ux、uy、uz分别是x、y和z轴上的单位向量，P⊥是体素点P在XOY平面上的投影，方位角θ和极角
Figure FDA0003556829890000014
表示了神经纤维与中心之间的方向信息，ρ反映了每个体素点相对于中心线的距离分布；
S2.4，然后通过距离变换得到描述体素强度沿半径方向变化趋势Dw；
S3，使用三维卷积神经网络进行特征学习，生成包含树状结构信息的通量特征，在所述三维卷积神经网络内部使用CBAM注意力机制来加强通道的探索，强化学习能力，并使用CSP模块减少所述三维卷积神经网络的计算量；将该阶段记为一阶段；
CSP模块首先沿着通道将其输入分成两部分；接下来，这两个部分并行处理输入数据；第一部分包括1×1×1卷积运算，另一部分由两个1×1×1卷积运算组成，中间有N个剩余块；最后，将两个部分连接起来，并进行1×1×1的卷积运算；
S4，使用轻量级U-Net网络对S3中所述包含树状结构信息的通量特征进行自适应的中心线预测，并判断每个体素属于中心线的概率，生成双通道概率图；将该阶段记为二阶段；
S5，使用空间加权平均策略处理S4中所述的双通道概率图，来抑制多体素的宽度，生成更加精细的中心线；
S6，求一阶段中三维卷积神经网络加权均方误差损失与二阶段中轻量级U-Net网络Dice损失并求和，然后将一阶段网络和二阶段网络联合训练，实现联合优化。
2.根据权利要求1所述的一种基于三维通量模型的树状结构中心线提取方法，其特征在于，所述S1中，数据集的数据大小为512×512×41—2048×2048×150体素。
3.根据权利要求1所述的一种基于三维通量模型的树状结构中心线提取方法，其特征在于，所述S1还包括：按照随机采样的原则生成子图时，随机获取专家标记的体素点作为子图中心点，在原图中生成大小为128×128×32的子图。
4.根据权利要求1所述的一种基于三维通量模型的树状结构中心线提取方法，其特征在于，所述Dw的计算公式为：
Figure FDA0003556829890000021
其中a和dM是常数，控制着体素点到中心线点像素强度的下降速率，随着长度变量ρ的变小，距离变换函数的值和斜率均变小，并且令z＝ea-1，确保距离变换的结果Dw∈[0，1]。
5.根据权利要求1所述的一种基于三维通量模型的树状结构中心线提取方法，其特征在于，所述S3中，一阶段中生成树状结构信息的通量特征包括如下步骤：
S3.1，将S1中所述子图输入三维卷积神经网络，并以S2中位置信息编码通量特征作为监督信息，进行3×3×3的卷积运算，然后用CSP模块提取浅层特征；
S3.2，在使用CBAM模块和CSP模块处理之后，进行四次下采样操作，提取更深层次的信息；每次所述下采样操作均通过步长为2的卷积实现，所述三维卷积神经网络包括编码器和解码器跳跃连接的结构；
S3.3，然后进行反卷积操作，使用核大小为4×4×4，步长为2的卷积进行上采样操作；在每次上采样操作后，从编码器提取的特征被重组以经过3×3×3的卷积运算，然后将其进行1×1×1滤波器处理；每次所述卷积和反卷积操作之后，进行归一化操作和校正线性单元处理。
6.根据权利要求1所述的一种基于三维通量模型的树状结构中心线提取方法，其特征在于，所述S4中还包括如下步骤：
S4.1，将S3中所述树状结构信息通量特征输入S4中所述轻量级U-Net网络，进行四次下采样和四次上采样，所述上采样和下采样分别有四层，每层包括一次卷积运算，
S4.2，然后使用体素级的非线性函数Softmax，预测出每个体素属于中心线的概率，输出双通道概率图。
7.根据权利要求1所述的一种基于三维通量模型的树状结构中心线提取方法，其特征在于，所述S5还包括如下步骤：
S5.1，首先，使用阈值σ激活预测响应，构成激活的体素坐标集C，然后在半径γ内的集合C中估计每个点周围的像素强度分布，通过计算体素点在区域内的像素强度给点赋予权重，最后利用这些点的空间平均值生成精细的中心线。
8.根据权利要求1所述的一种基于三维通量模型的树状结构中心线提取方法，其特征在于，所述S6还包括如下步骤：
S6.1，使用加权均方误差函数L1求取所述一阶段中三维卷积神经网络加权均方误差损失，公式为：
Figure FDA0003556829890000031
其中，
Figure FDA0003556829890000032
是预测的三通道响应，包括P点的距离变换
Figure FDA0003556829890000033
方位角
Figure FDA0003556829890000034
和极角
Figure FDA0003556829890000035
F(p)是标准值，权重w(p)由整个数据集设置，w(p)计算公式为：
Figure FDA0003556829890000036
其中NR、NB分别表示前景区域IR和背景区域IB的体素数量；
S6.2，使用Dice损失函数L2求取二阶段中轻量级U-Net网络Dice损失，公式为：
Figure FDA0003556829890000037
其中
Figure FDA0003556829890000038
表示第二阶段网络输出的结果，yi是标准值；
S6.3，对S6.1和S6.2中的损失进行求和Loss＝L1+L2，然后将两个阶段进行联合训练。
CN202110728463.XA 2021-06-29 2021-06-29 一种基于三维通量模型的树状结构中心线提取方法 Active CN113450364B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110728463.XA CN113450364B (zh) 2021-06-29 2021-06-29 一种基于三维通量模型的树状结构中心线提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110728463.XA CN113450364B (zh) 2021-06-29 2021-06-29 一种基于三维通量模型的树状结构中心线提取方法

Publications (2)

Publication Number Publication Date
CN113450364A CN113450364A (zh) 2021-09-28
CN113450364B true CN113450364B (zh) 2022-05-13

Family

ID=77814001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110728463.XA Active CN113450364B (zh) 2021-06-29 2021-06-29 一种基于三维通量模型的树状结构中心线提取方法

Country Status (1)

Country Link
CN (1) CN113450364B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452992B (zh) * 2023-05-18 2024-02-02 山东省人工智能研究院 一种最小路径管状结构中心线的提取方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012040077A1 (en) * 2010-09-20 2012-03-29 Soma Access Systems, Llc Virtual image formation method for an ultrasound device
CN105741251A (zh) * 2016-03-17 2016-07-06 中南大学 一种肝脏cta序列图像的血管分割方法
CN107274389A (zh) * 2017-05-25 2017-10-20 中国科学院苏州生物医学工程技术研究所 基于ct三维序列图像的股骨和髋臼解剖参数获取方法
JP2020058627A (ja) * 2018-10-10 2020-04-16 株式会社ニコン 画像処理方法、画像処理装置、画像処理プログラム、及び血管径算出装置
CN111563902A (zh) * 2020-04-23 2020-08-21 华南理工大学 一种基于三维卷积神经网络的肺叶分割方法及系统
CN111612743A (zh) * 2020-04-24 2020-09-01 杭州电子科技大学 一种基于ct图像的冠状动脉中心线提取方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012040077A1 (en) * 2010-09-20 2012-03-29 Soma Access Systems, Llc Virtual image formation method for an ultrasound device
CN105741251A (zh) * 2016-03-17 2016-07-06 中南大学 一种肝脏cta序列图像的血管分割方法
CN107274389A (zh) * 2017-05-25 2017-10-20 中国科学院苏州生物医学工程技术研究所 基于ct三维序列图像的股骨和髋臼解剖参数获取方法
JP2020058627A (ja) * 2018-10-10 2020-04-16 株式会社ニコン 画像処理方法、画像処理装置、画像処理プログラム、及び血管径算出装置
CN111563902A (zh) * 2020-04-23 2020-08-21 华南理工大学 一种基于三维卷积神经网络的肺叶分割方法及系统
CN111612743A (zh) * 2020-04-24 2020-09-01 杭州电子科技大学 一种基于ct图像的冠状动脉中心线提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
3D Neuron Microscopy Image Segmentation via the Ray-Shooting Model and a DC-BLSTM Network;Yi Jiang.et.;《IEEE TRANSACTIONS ON MEDICAL IMAGING》;20200930;第40卷(第1期);第26-37页 *
斑马鱼胚胎图像神经元检测算法研究;许晓燕;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20101015(第10期);第I138-696页 *

Also Published As

Publication number Publication date
CN113450364A (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
CN110782462B (zh) 一种基于双流特征融合的语义分割方法
CN109410307B (zh) 一种场景点云语义分割方法
CN113033570B (zh) 一种改进空洞卷积和多层次特征信息融合的图像语义分割方法
CN112861729B (zh) 一种基于伪深度图引导的实时深度补全方法
CN110443842A (zh) 基于视角融合的深度图预测方法
CN110674704A (zh) 一种基于多尺度扩张卷积网络的人群密度估计方法及装置
CN112686119B (zh) 基于自注意力生成对抗网络的车牌运动模糊图像处理方法
CN104657986B (zh) 一种基于子空间融合和一致性约束的准稠密匹配扩展方法
CN112489050A (zh) 一种基于特征迁移的半监督实例分割算法
CN114758337A (zh) 一种语义实例重建方法、装置、设备及介质
CN112509021A (zh) 一种基于注意力机制的视差优化方法
CN115631513B (zh) 基于Transformer的多尺度行人重识别方法
CN112329801A (zh) 一种卷积神经网络非局部信息构建方法
CN113240683A (zh) 基于注意力机制的轻量化语义分割模型构建方法
CN112163990B (zh) 360度图像的显著性预测方法及系统
CN114882524A (zh) 一种基于全卷积神经网络的单目三维手势估计方法
CN114092824A (zh) 结合密集注意力和并行上采样的遥感图像道路分割方法
CN117315169A (zh) 基于深度学习多视密集匹配的实景三维模型重建方法和系统
CN113450364B (zh) 一种基于三维通量模型的树状结构中心线提取方法
CN118212127A (zh) 一种基于未配准的物理指导生成式对抗高光谱超分辨率方法
CN115830375A (zh) 点云分类方法及装置
CN117237623B (zh) 一种无人机遥感图像语义分割方法及系统
CN111274901B (zh) 一种基于深度门控递归单元的手势深度图像连续检测方法
CN116958541A (zh) 一种基于全尺度跳跃连接u型结构的图像分割方法
CN113808006B (zh) 一种基于二维图像重建三维网格模型的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant