CN111260667B - 一种结合空间引导的神经纤维瘤分割方法 - Google Patents
一种结合空间引导的神经纤维瘤分割方法 Download PDFInfo
- Publication number
- CN111260667B CN111260667B CN202010063601.2A CN202010063601A CN111260667B CN 111260667 B CN111260667 B CN 111260667B CN 202010063601 A CN202010063601 A CN 202010063601A CN 111260667 B CN111260667 B CN 111260667B
- Authority
- CN
- China
- Prior art keywords
- network
- data
- guidance
- space
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 51
- 208000009905 Neurofibromatoses Diseases 0.000 title claims abstract description 21
- 201000004931 neurofibromatosis Diseases 0.000 title claims abstract description 20
- 238000012549 training Methods 0.000 claims abstract description 40
- 238000012360 testing method Methods 0.000 claims abstract description 23
- 230000003993 interaction Effects 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims abstract description 5
- 238000012937 correction Methods 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 claims description 21
- 238000010606 normalization Methods 0.000 claims description 19
- 238000012952 Resampling Methods 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 12
- 238000005520 cutting process Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 8
- 238000004088 simulation Methods 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 5
- 230000003416 augmentation Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 230000005489 elastic deformation Effects 0.000 claims description 3
- 238000005304 joining Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012805 post-processing Methods 0.000 claims description 3
- 238000005728 strengthening Methods 0.000 claims description 3
- 125000004122 cyclic group Chemical group 0.000 claims 1
- 230000002708 enhancing effect Effects 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 abstract description 8
- 201000004404 Neurofibroma Diseases 0.000 abstract description 2
- 206010028980 Neoplasm Diseases 0.000 description 13
- 238000002595 magnetic resonance imaging Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000000155 isotopic effect Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 208000026350 Inborn Genetic disease Diseases 0.000 description 1
- 208000005890 Neuroma Diseases 0.000 description 1
- 206010073338 Optic glioma Diseases 0.000 description 1
- 206010035226 Plasma cell myeloma Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 208000016361 genetic disease Diseases 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000007917 intracranial administration Methods 0.000 description 1
- 239000008267 milk Substances 0.000 description 1
- 210000004080 milk Anatomy 0.000 description 1
- 235000013336 milk Nutrition 0.000 description 1
- 201000000050 myeloid neoplasm Diseases 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 208000008511 optic nerve glioma Diseases 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
一种结合空间引导的神经纤维瘤分割方法，以nnU‑Net为主干网络，加入空间引导分支，将用户交互信息集成到网络中，使得网络能在自动分割的基础上，经过用户交互得到更好的分割。首先对原始图像进行数据预处理，然后训练时根据标签计算空间引导以一定概率传入网络。推理时先进行自动分割，然后用户点击假阳和假阴区域，产生引导标签，根据标签产生空间引导，与测试样本一起传入网络进行预测，循环推理，直到用户满意为止。本发明结合深度神经网络和空间引导，既可以完成自动分割，也可以接受用户引导修正分割，在神经纤维瘤上取得较好的分割结果。
Description
技术领域
本发明涉及图像处理领域及深度学习领域，特别涉及肿瘤半自动分割网络的搭建以及训练推理方法，属于基于深度学习的医学影像分析领域。
背景技术
神经纤维瘤病是一种常染色体的显性遗传病，主要症状为皮肤牛奶咖啡斑和周围多发性神经纤维瘤，患病率为十万分之三，常见病症遍布全身，有颅内听神经瘤，脊髓瘤，视神经胶质瘤等，如不及时治疗，会恶化引发严重的并发症。基于MRI等医学影像精确分析肿瘤体积、形状等信息，能辅助医生制定治疗方案。传统上，医学影像需要放射医师一片一片地标注器官和肿瘤区域，这十分耗时，而且不同医师判别准则也有差异。因此，计算机辅助肿瘤分割成为了一个强烈需求。相较于器官分割，神经纤维瘤分割的难度有：1)不同样本之间肿瘤形状、大小、位置、数量差异极大；2)很多肿瘤边界不清晰，限制了许多基于边缘分割的方法；3)不同MRI扫描的采样协议各不相同，清晰度、对比度也有差异，各向异性大，z轴方向间距变化大。
为了准确找到每个肿瘤，往往需要借助医生的勾画，而传统半自动方法往往需要医生对于每个肿瘤给出一定量的信息，甚至需要大量繁琐的用户标注，而且分割结果也不太平滑。近年来，基于深度神经网络的全自动医学影像分割方法取得了突破，其中nnU-Net（一种基于U-Net的自适应医学图像分割框架）可以对于任何给定的医学数据集进行分析，自适应搭建模型，进行训练分割。但是神经纤维瘤有着分布范围遍及全身、数量多、结构复杂多变、边界模糊等难题，基于深度神经网络的方法表现欠佳，往往出现大量的假阳（FalsePositive, FP）和假阴（False Negative, FN）区域，查全率（Recall）也比较低。
发明内容
为了克服全自动与半自动分割方法在神经纤维瘤分割问题上难度大、效率低下、准确率低等不足，本发明基于nnU-Net框架，结合空间引导，提出一种新的深度交互网络模型，通过模拟交互训练，不仅可以自动给出分割结果，还能接受用户的勾画来修正输出结果。
本发明所采用的技术方案是：
一种结合空间引导的神经纤维瘤分割方法，包括以下步骤：
步骤一，基于nnU-Net的数据集分析策略，对训练样本图像及标签进行数据预处理，包括裁剪，数据集分析，重采样和归一化；
步骤二，根据步骤一数据集分析得到的网络超参数构建网络实例，以nnU-Net为主干网络并增加空间引导分支(Spatial Guide Branch)；
步骤三，基于块的训练(Patch-based Training)，由训练标签生成空间引导模拟用户交互信息，空间引导随机置零，让网络不仅能学会响应引导信息，也能在无引导下自动分割；
步骤四，首先对测试数据预处理，其次空间引导分支传入零张量，进行自动推理。然后用户对于假阳和假阴区域进行点击，生成空间引导，与测试数据一同传入网络，再次得到分割结果，循环此操作，直到用户满意为止；
优选的，所述步骤一中，对原始数据预处理的过程为：
步骤1.1 裁剪：将MRI数据集非零区域裁剪出来，减少数据尺寸大小；
步骤1.2 数据集分析：分析训练样本体素间距（Voxel Spacing），前景及背景类对应坐标、体素量、连通类信息等来确定重采样与归一化的超参数。通过给定资源（GPU显存，默认12G）和数据信息自适应计算合理的网络超参数，如下采样次数，卷积核尺寸，池化核尺寸，块大小（Patch size），批大小（Batch size）等；
步骤1.3 重采样：由于数据可能来自不同机构的不同设备，因此体素间距不统一，需要进行重采样。根据步骤1.2分析确定体素间距等信息，对数据进行重采样，若体素间距各向同性（Isotropic），则用三次样条插值；若体素间距各向异性（Anisotropic），为了防止插值伪影（Interpolation Artifact），则改为xy平面内用三次样条插值，z方向用近邻插值，对应的标签用线性插值；
步骤1.4 归一化：MRI数据集对于每个样本非零区域进行Z-score归一化，公式为：，其中/>为该样本均值，/>为该样本标准差。
优选的，所述步骤二中，网络结构如下：
步骤2.1空间引导分支是一系列池化、卷积、归一化、非线性操作排列，此处卷积核为1，输入大小为1x块大小，每个非线性输出为n x feature size的空间引导张量，其中n和feature size分别是所对应主干网络每个阶段的卷积层数量和卷积层输出张量大小；
步骤2.2 主干网络是nnU-Net，输入为图像通道x块大小的样本块，输出为类别数x块大小的张量，经过Softmax映射之后再二值化得到独热编码（One-hot Encoding）的分割结果；
步骤2.3 加入空间引导。除了nnU-Net编码器的第一阶段和最后一阶段，对于其他阶段的每个卷积、归一化、非线性层，将空间引导直接加到归一化输出上。
优选的，所述步骤三中，神经网络基于块的训练的过程为：
步骤3.1 随机分5折验证；
步骤3.2 数据读取及批（Batch）制作：设置过采样率为1/3，即规定每个批至少有1/3的样本有前景类。随机取n（Batch Size）个图像，按照块大小（Patch Size）在数据上随机裁下数据和对应标签，作适当的填充；对于后1/3的图像强制裁前景类，随机选一个前景点为中心裁下来，若无前景类，则随机裁；
步骤3.3 对数据进行放缩变换，弹性形变，旋转变换，Gamma校正，按各轴镜像翻转等数据增强。如果块大小各边长差距过大即各向异性，则将3D样本转化为2D（把数据的某根轴与通道合并）进行数据增强，然后再转化回3D数据送入网络；
步骤3.4使用数据增强之后的标签计算生成空间引导，模拟用户交互；
步骤3.5损失函数定义为交叉熵损失与Dice损失之和，表达式为：
其中，，/>是网络的Softmax输出，/>是独热编码的标签，/>为类别，/>为某一批（batch）的体素全体；
步骤3.6 在线验证度量：定义为前景类全局Dice的平均值：
。
优选的，所述步骤四中，自动与半自动推理过程为：
步骤4.1 对测试数据预处理；先裁剪，然后用训练数据的超参数进行重采样和归一化；
步骤4.2 基于块的推理（Patch-based Inference）。对于每个测试数据，采用滑窗方式推理，从顶点开始截取一个块大小（Patch Size）数据进行推理，接着移动进行下一块推理，这样有助于推理信息的增强；
步骤4.3 测试时数据增强（Test Time Augmentation，TTA）。对于每个块（Patch）关于xyz轴镜像翻转8次推理得到的Softmax求平均，作为这个块的推理输出；
步骤4.4 加入用户引导；首先是不提供空间引导网络进行自动分割，即空间引导分支传入一个零张量，得到粗分割结果，根据用户需要进行后处理，保留最大前景连通类去掉背景误分割；对于粗分割的结果，用户只需要在假阳和假阴区域点击，则根据用户交互生成一张空间引导标签，并根据空间引导标签可以生成空间引导张量，传入模型，进行再次推理。直到用户满意为止。
本发明结合了空间引导进行神经纤维瘤的分割，通过模拟交互训练使网络不仅能给出较好的自动分割结果，而且允许用户交互对分割进行修正。与现有方法相比，其有益效果在于：
1. 经过模拟交互训练的网络，在推理中可以加入用户勾画信息，使之相比普通全自动肿瘤分割方法，在肿瘤分割结果上Dice和查全率都能提高。
2. 网络经过训练仍具有极好的全自动分割效果，给出一个合理的粗分割，用户只需要在此基础上进行点击微调，相比于传统半自动分割，这样可以大幅减轻使用者的勾画负担；其次，神经网络的预测结果相比传统半自动方法更平滑。
附图说明
图1 是分割方法的流程图。
图2 是数据预处理的示意图。
图3是网络结构的示意图。
图4 是网络训练过程示意图。
图5 是推理过程示意图。
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1-图5，一种结合空间引导的神经纤维瘤分割方法，包括以下步骤：
步骤一，本步骤基于nnU-Net的数据集分析策略，对训练样本图像及标签进行数据预处理，包括裁剪，数据集分析，重采样和归一化；
步骤二，根据第一步数据集分析得到的网络超参数构建网络实例，以nnU-Net为主干网络并增加空间引导分支(Spatial Guide Branch)；
步骤三，基于块的训练(Patch-based Training)，由训练标签生成空间引导模拟用户交互信息，空间引导随机置零，让网络不仅能学会响应引导信息，也能在无引导下自动分割；
步骤四，首先对测试数据预处理，其次空间引导分支传入零张量，进行自动推理。然后用户对于假阳和假阴区域进行点击，生成空间引导，与测试数据一同传入网络，再次得到分割结果，循环此操作，直到用户满意为止；
进一步，所述步骤一中，对原始数据预处理的过程如图2所示，具体为：
步骤1.1将MRI数据集非零区域裁剪出来；
步骤1.2 数据集分析。分析训练样本体素间距（Voxel Spacing），前景及背景类对应坐标、体素量、连通类信息等来确定重采样与归一化的超参数。通过给定资源（GPU显存，默认12G）和数据信息自适应计算合理的网络超参数，如下采样次数，卷积核尺寸，池化核尺寸，块大小（Patch size），批大小（Batch size）等；
步骤1.3 重采样。根据步骤1.2分析确定体素间距等信息，对数据进行重采样，若体素间距各向同性（Isotropic），则用三次样条插值；若体素间距各向异性（Anisotropic），即z轴间距比上xy平面间距大于3，为了防止插值伪影（Interpolation Artifact），则改为xy平面内用三次样条插值，z方向用近邻插值，对应的标签用线性插值；
步骤1.4 归一化。MRI数据集对于每个样本非零区域进行Z-score归一化，公式为：，其中/>为该样本均值，/>为该样本标准差。
所述步骤二中，网络结构如图3所示，具体为：
步骤2.1空间引导分支是一系列池化、卷积、归一化、非线性操作排列，此处卷积核为1，输入大小为1x块大小，每个非线性输出的大小为n x feature size的空间引导张量，其中n和feature size分别是所对应主干网络每个阶段的卷积层数量和卷积层输出张量大小；
步骤2.2 主干网络是nnU-Net，输入大小为图像通道x块大小的样本块，输出为类别数x块大小的张量，经过Softmax映射之后再二值化得到独热编码（One-hot Encoding）的分割；
步骤2.3 加入空间引导。除了nnU-Net编码器的第一阶段和最后一阶段，对于其他阶段的每个卷积、归一化、非线性层，我们将空间引导直接加到归一化输出上。
空间引导输入的计算如下：
假设用户点击了下而且全是正引导，对于图像每个体素点/>的空间引导可以定义为：
其中，为第/>个点击的坐标，/>为椭球半径这里可以取为一个定值/>，z轴的体素间距一般比较大，因此可以设/>，/>建议取3～5，/>为体素/>的坐标。
同理，个负引导定义为：
则体素处总的空间引导可以定义为：
显然，空间引导取值。
所述步骤三中，神经网络基于块的训练的过程如图4所示，具体过程如下：
步骤3.1 随机分5折验证；
步骤3.2 数据读取及批（Batch）制作：设置过采样率为1/3，即规定每个批至少有1/3的样本有前景类。具体操作为，随机取n（Batch Size）个图像，按照块大小（Patch Size）在数据上随机裁下数据和对应标签，作适当的填充。对于后1/3的图像强制裁前景类，随机选一个前景点为中心裁下来，若无前景类，则随机裁；
步骤3.3 数据增强，包括放缩变换，弹性形变，旋转变换，Gamma校正，按各轴镜像等操作。如果块大小（Patch Size）各边长差距过大即各向异性，则数据增强只能将3D样本转化为2D（把数据的某根轴与通道合并）进行数据增强，然后再转化回3D数据送入网络；
步骤3.4 空间引导。训练时使用数据增强之后的标签计算生成空间引导，模拟用户交互，具体操作为：对于每个标签找连通类，每个连通类寻找中心，中心的坐标定义为连通类坐标的中位数。
步骤3.5训练损失函数定义为交叉熵损失与Dice损失之和，表达式为：
其中，，/>是网络的Softmax输出，/>是独热编码的标签，/>为类别，/>为某一批（batch）的体素全体；
步骤3.6 在线验证度量。定义为前景类全局Dice（Global Dice）的平均值：
其中，第类的Global Dice定义为：/>，/>是独热编码的预测结果，/>是One-hot编码的标签，/>为体素全体。
所述步骤四中，自动与半自动推理过程如图5所示，其过程为：
步骤4.1 对测试数据预处理：首先裁剪；其次重采样和归一化用的是训练数据的超参数；
步骤4.2 基于块的推理（Patch-based Inference）：对于每个测试数据，采用滑窗方式推理，从顶点开始截取一个块大小（Patch Size）数据进行推理，接着移动进行下一块推理；
步骤4.3 测试时数据增强（Test Time Augmentation，TTA）：对于每个块（Patch）关于xyz轴镜像翻转8次推理得到的Softmax求平均，作为这个块的推理输出；
步骤4.4 加入用户引导：首先是不提供空间引导网络进行自动分割，即空间引导分支传入一个零张量，得到粗分割结果，根据用户需要进行后处理，保留最大前景连通类去掉背景误分割；对于粗分割的结果，用户只需要在假阳和假阴区域点击，则根据用户交互生成一张空间引导标签，并根据空间引导标签可以生成空间引导张量，传入模型，进行再次推理。直到用户满意为止。
以下为本发明在具体使用过程中的一个应用举例：本案例中使用的神经纤维瘤MRI影像只有一个前景类，即肿瘤。总共125例样本，选取80例样本作为训练集，20例验证集，25例样本作为测试集，重采样的体素间距为(10.0,1.5,1.5)，样本大小的中位数为。下面具体介绍模型的构造、训练和测试过程。
步骤一，构造过程，分割网络的结构如图3所示，具体构建过程为：
步骤1.1 分割网络主要包含主干基础网络和空间引导分路两大部分，本实施例中，主干基础网络选择了nnU-Net的三维全分辨率（3D Fullres）网络，根据数据集的分析，产生的网络结构超参数为：
编码部分：一共8个阶段，每个阶段2个卷积层，每个卷积层为卷积、归一化、非线性结构，其中归一化采用实例归一化（Instance Normalization），非线性函数采用LeakyReLu；输入块大小（Patch Size）为；7次下采样，通过每阶段（除了第一阶段）控制第一层卷积的步长（Stride）来实现，具体参数为(1,2,1), (1,2,1), (1,2,2),(1,2,2), (1,2,2), (1,2,2), (2,2,2)；8个阶段的卷积核为(1,3,3), (1,3,3), (1,1,3), (1,1,3), (3,3,3), (3,3,3), (3,3,3), (3,3,3)；
解码部分：使用反卷积上采样，每次上采样后接着2个卷积层；
空间引导分支：使用连续6个池化、卷积、归一化、非线性结构，其中池化采用平均池化，卷积采用(1,1,1)卷积核，归一化采用实例归一化，非线性函数采用LeakyReLu，每个非线性的输出直接加到主干网络2～7阶段的每个卷积、归一化、非线性层的归一化的输出上；
步骤二，神经网络模型训练过程如图4所示，具体训练过程如下：
步骤2.1 卷积核所有参数权重权重正则化方式为L2正则，偏置值初始化为0；
步骤2.2 本实例采用Python语言编程，利用PyTorch框架搭建网络。模型采用基于块的训练的方式，通过批随机梯度下降法进行训练。训练集生成器每批样本数批大小（Batch Size）均为2，其余配置不变；
步骤三，神经网络自动与半自动推理过程如图5，具体如下：
步骤3.1 载入模型，将预处理完毕的影像测试集样本和零张量输入模型，得到自动分割结果；
步骤3.2 用户根据分割结果，对假阳和假阴区域进行点击，生成引导标签，根据引导标签生成空间引导，和测试样本一起再次传入网络，进行预测；重复此步，直到用户满意为止；
经过上述步骤的操作，即可实现用于神经纤维瘤的神经网络的构建、训练与测试。
本发明通过采用了基于nnU-Net框架，结合空间引导，提出一种新的深度交互网络模型，通过模拟交互训练，不仅可以自动给出分割结果，还能接受用户的勾画来修正输出结果；相较于现在的全自动肿瘤分割方法，在肿瘤分割结果上Dice和查全率达到了有效的提高； 相比于传统半自动分割，该方法用户只需要这样可以大幅减轻使用者的勾画负担；用户只需要在假阳和假阴区域点击即可，操作方便，可以完成自动分割，也可以接受用户引导修正分割，在神经纤维瘤上取得较好结果。
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例，用于解释本发明，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种结合空间引导的神经纤维瘤分割方法，其特征在于：所述方法包括以下步骤：
步骤一，本步骤基于nnU-Net的数据集分析策略，对训练样本图像及标签进行数据预处理；
步骤二，根据第一步数据预处理得到的网络超参数构建网络实例，以nnU-Net为主干网络并增加空间引导分支(Spatial Guide Branch)；
步骤三，基于块的训练(Patch-based Training)，由训练标签生成空间引导模拟用户交互信息，空间引导随机置零，让网络不仅能学会响应引导信息，也能在无引导下自动分割；
步骤四，根据测试数据进行自动推理以及结合空间引导的半全自动推理；
所述步骤二中，网络结构如下：
步骤2.1空间引导分支是一系列池化、卷积、归一化、非线性操作排列，此处卷积核为1，输入大小为1X块大小，每个非线性输出为nxfeature size的空间引导张量，其中n和feature size分别是所对应主干网络每个阶段的卷积层数量和卷积层输出张量大小；
步骤2.2 主干网络是nnU-Net，输入大小为图像通道x块大小的样本块，输出为类别数x块大小的张量，经过Softmax映射之后再二值化得到独热编码（One-hot Encoding）的分割；
步骤2.3在构建主干网络的过程中，将编码部分分为8个阶段，每个阶段2个卷积层，每个卷积层为卷积、归一化、非线性结构，将空间引导直接加到主干网络编码部分的2～7阶段的每个卷积、归一化、非线性层的归一化输出上。
2.根据权利要求1所述的一种结合空间引导的神经纤维瘤分割方法，其特征在于：所述的步骤一中数据预处理包括裁剪，数据集分析，重采样，归一化。
3.根据权利要求1所述的一种结合空间引导的神经纤维瘤分割方法，其特征在于：所述步骤三中，基于块的训练过程为：
步骤3.1 随机分5折验证；
步骤3.2 数据读取及批（Batch）制作：设置过采样率1/3，即规定每个批至少有1/3的样本有前景类；
步骤3.3 数据增强；
步骤3.4 空间引导；训练时使用数据增强之后的标签计算生成空间引导，模拟用户交互；步骤3.5训练损失函数定义为交叉熵损失与Dice损失之和，表达式为：
其中，，u是网络的Softmax输出，v是独热编码的标签，k为类别，I为某一批（batch）的体素全体；
步骤3.6 在线验证度量：定义为前景类全局Dice（Global Dice）的平均值：
。
4.根据权利要求3所述的一种结合空间引导的神经纤维瘤分割方法，其特征在于：所述的步骤3.2中具体操作为随机取n（Batch Size）个图像，按照块大小在数据上随机裁下数据和对应标签，作适当的填充；对于后1/3的图像强制裁前景类，随机选一个前景点为中心裁下来，若无前景类，则随机裁。
5.根据权利要求3所述的一种结合空间引导的神经纤维瘤分割方法，其特征在于：所述的步骤3.3中数据增强包括对数据进行放缩变换，弹性形变，旋转变换，Gamma校正，按各轴镜像翻转。
6.根据权利要求3所述的一种结合空间引导的神经纤维瘤分割方法，其特征在于：所述的步骤3.3中如果块大小各边长差距过大即各向异性，则将3D样本转化为2D，把数据的某根轴与通道合并进行数据增强，然后再转化回3D数据送入网络。
7.根据权利要求1所述的一种结合空间引导的神经纤维瘤分割方法，其特征在于：所述步骤四中，自动与半全自动推理过程为：
步骤4.1 对测试数据预处理：首先裁剪；其次重采样和归一化用的是训练数据的超参数；
步骤4.2进行自动推理；首先是不提供空间引导网络进行自动分割，即空间引导分支传入一个零张量，得到粗分割结果，根据用户需要进行后处理，保留最大前景连通类去掉背景误分割；
步骤4.3加入用户引导：对于粗分割的结果，用户只需要在假阳和假阴区域点击，则根据用户交互生成一张空间引导标签，并根据空间引导标签可以生成空间引导张量，传入网络，进行再次推理；并进行循环处理；直至最终结果。
8.根据权利要求7所述的一种结合空间引导的神经纤维瘤分割方法，其特征在于，所述的推理过程中包括基于块的推理（Patch-based Inference）：对于每个测试数据，采用滑窗方式推理，从顶点开始截取一个块大小（Patch Size）数据进行推理，接着移动 在进行下一块推理，这样有助于推理信息的增强。
9.根据权利要求7所述的一种结合空间引导的神经纤维瘤分割方法，其特征在于，所述的推理过程中需要对测试数据增强（Test Time Augmentation，TTA）：对于每个块（Patch）关于xyz轴镜像翻转8次推理得到的Softmax求平均，作为这个块的推理输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010063601.2A CN111260667B (zh) | 2020-01-20 | 2020-01-20 | 一种结合空间引导的神经纤维瘤分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010063601.2A CN111260667B (zh) | 2020-01-20 | 2020-01-20 | 一种结合空间引导的神经纤维瘤分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111260667A CN111260667A (zh) | 2020-06-09 |
| CN111260667B true CN111260667B (zh) | 2023-08-04 |
Family
ID=70947063
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010063601.2A Active CN111260667B (zh) | 2020-01-20 | 2020-01-20 | 一种结合空间引导的神经纤维瘤分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111260667B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112102336A (zh) * | 2020-09-16 | 2020-12-18 | 湖南大学 | 一种基于用户交互与深度神经网络的图像分割方法 |
| CN112634284B (zh) * | 2020-12-22 | 2022-03-25 | 上海体素信息科技有限公司 | 基于权重图损失的分阶段神经网络ct器官分割方法及系统 |
| CN113870284A (zh) * | 2021-09-29 | 2021-12-31 | 柏意慧心(杭州)网络科技有限公司 | 用于对医学影像进行分割的方法、设备和介质 |
| CN114004836B (zh) * | 2022-01-04 | 2022-04-01 | 中科曙光南京研究院有限公司 | 一种基于深度学习的自适应生物医学影像分割方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104537676A (zh) * | 2015-01-12 | 2015-04-22 | 南京大学 | 一种基于在线学习的渐进式图像分割方法 |
| CN108038862A (zh) * | 2017-12-11 | 2018-05-15 | 深圳市图智能科技有限公司 | 一种交互式医学图像智能分割建模方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102651128B (zh) * | 2011-02-24 | 2014-10-01 | 南京大学 | 一种基于采样的图像集分割方法 |
| CN102831614B (zh) * | 2012-09-10 | 2014-08-20 | 西安电子科技大学 | 基于交互式字典迁移的序列医学图像快速分割方法 |
| CN103996206B (zh) * | 2014-02-24 | 2017-01-11 | 航天恒星科技有限公司 | 一种基于GraphCut的复杂背景遥感图像中交互式目标提取方法 |
| US9710880B2 (en) * | 2014-07-03 | 2017-07-18 | Siemens Product Lifecycle Management Software Inc. | User-guided shape morphing in bone segmentation for medical imaging |
| US9959486B2 (en) * | 2014-10-20 | 2018-05-01 | Siemens Healthcare Gmbh | Voxel-level machine learning with or without cloud-based support in medical imaging |
| GB201709672D0 (en) * | 2017-06-16 | 2017-08-02 | Ucl Business Plc | A system and computer-implemented method for segmenting an image |
| CN108345890B (zh) * | 2018-03-01 | 2022-10-28 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置和相关设备 |
-
2020
- 2020-01-20 CN CN202010063601.2A patent/CN111260667B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104537676A (zh) * | 2015-01-12 | 2015-04-22 | 南京大学 | 一种基于在线学习的渐进式图像分割方法 |
| CN108038862A (zh) * | 2017-12-11 | 2018-05-15 | 深圳市图智能科技有限公司 | 一种交互式医学图像智能分割建模方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111260667A (zh) | 2020-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111260667B (zh) | 一种结合空间引导的神经纤维瘤分割方法 | |
| Wyatt et al. | Anoddpm: Anomaly detection with denoising diffusion probabilistic models using simplex noise | |
| CN113077471B (zh) | 一种基于u型网络的医学图像分割方法 | |
| CN111798462B (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
| US20200320685A1 (en) | Automated classification and taxonomy of 3d teeth data using deep learning methods | |
| CN108921851B (zh) | 一种基于3d对抗网络的医学ct图像分割方法 | |
| RU2571523C2 (ru) | Вероятностная оптимизация сегментации, основанной на модели | |
| CN109003267B (zh) | 从3d图像自动检测目标对象的计算机实现方法和系统 | |
| CN111369574B (zh) | 一种胸腔器官的分割方法及装置 | |
| CN111429502B (zh) | 用于生成对象的中心线的方法和系统以及计算机可读介质 | |
| JP2023540910A (ja) | 病変検出のための共同訓練を伴う接続機械学習モデル | |
| CN111696126B (zh) | 一种基于多视角的多任务肝脏肿瘤图像分割方法 | |
| CN111899165A (zh) | 一种基于功能模块的多任务图像重建卷积网络模型 | |
| CN115578404B (zh) | 一种基于深度学习的肝脏肿瘤图像增强和分割的方法 | |
| CN111260705A (zh) | 一种基于深度卷积神经网络的前列腺mr图像多任务配准方法 | |
| CN114897780A (zh) | 一种基于mip序列的肠系膜上动脉血管重建方法 | |
| CN111127487B (zh) | 一种实时多组织医学图像的分割方法 | |
| CN114742802B (zh) | 基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法 | |
| Sun et al. | Hierarchical amortized training for memory-efficient high resolution 3D GAN | |
| CN113256657B (zh) | 一种高效医学图像分割方法及系统、终端、介质 | |
| CN117237196A (zh) | 基于隐式神经表征的脑部mri超分辨率重建方法及系统 | |
| CN116309806A (zh) | 一种基于CSAI-Grid RCNN的甲状腺超声图像感兴趣区域定位方法 | |
| CN113379770B (zh) | 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置 | |
| CN114418989A (zh) | 口腔医学影像的牙齿分割方法、装置、设备及存储介质 | |
| CN115937083A (zh) | 一种融合先验信息的前列腺磁共振图像区域分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Yan Danfang Inventor after: Zhang Xubin Inventor after: Zhang Jianwei Inventor after: Yan Senxiang Inventor after: Chen Wei Inventor before: Yan Danfang Inventor before: Zhang Xubin Inventor before: Zhang Jianwei Inventor before: Yan Senxiang |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |