CN113129325A - 基于权重优化的白质束自动分割方法 - Google Patents

基于权重优化的白质束自动分割方法 Download PDF

Info

Publication number
CN113129325A
CN113129325A CN202110511555.2A CN202110511555A CN113129325A CN 113129325 A CN113129325 A CN 113129325A CN 202110511555 A CN202110511555 A CN 202110511555A CN 113129325 A CN113129325 A CN 113129325A
Authority
CN
China
Prior art keywords
white matter
segmentation
matter tracts
tracts
tract
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110511555.2A
Other languages
English (en)
Inventor
叶初阳
刘婉
刘志文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202110511555.2A priority Critical patent/CN113129325A/zh
Publication of CN113129325A publication Critical patent/CN113129325A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了基于权重优化的白质束自动分割方法，步骤一、对白质束分割数据集中的训练集的各类白质束的体积进行排序，获取体积小且分割效果差的白质束；步骤二、对白质束分割网络的目标函数中的各类白质束的损失重新分配权重：对于体积小且分割效果差的白质束，设置权重均为w，其余类别白质束的权重均为1；步骤三、基于步骤二所获得的目标函数，利用训练集和验证集训练网络获得白质束分割网络模型；本发明能够对现有的白质束自动分割方法进行改进，使得体积较小、分割效果较差的白质束获得较好的分割效果。

Description

基于权重优化的白质束自动分割方法
技术领域
本发明属于弥散磁共振图像中白质束分割的技术领域，具体涉及基于权重优化的白质束自动分割方法。
背景技术
基于弥散磁共振成像(Diffusion Magnetic Resonance Imaging,dMRI))的白质纤维束分割方法能够为大脑连接的研究和分析提供关键的工具。随着深度学习的广泛应用，白质纤维束分割方法获得了进一步的发展。其中基于体积分割策略的白质束自动分割方法能够在不进行纤维示踪成像的情况下，直接对深度神经网络的输入进行处理，获得多种白质束的分割结果。
大脑中白质束的种类较多，且分布的区域和范围不同。因此在获取的图像中，不同类别的白质束占据的体素数目差异较大，导致网络训练时各类白质束体积大小严重不均衡，分割性能也因此具有较大差异。虽然已有的以经典的U-net网络为主体框架的体积白质束分割方法在分割性能上获得了明显的提升，但在训练过程中没有考虑到类别不均衡，对各类白质束等同对待，即在训练时采用相同的损失权重，导致体积较小的白质束的分割性能较差。
发明内容
有鉴于此，本发明提供了基于权重优化的白质束自动分割方法，能够对现有的白质束自动分割方法进行改进，使得体积较小、分割效果较差的白质束获得较好的分割效果。
实现本发明的技术方案如下：
基于权重优化的白质束自动分割方法，包括以下步骤：
步骤一、对白质束分割数据集中的训练集的各类白质束的体积进行排序，获取体积小且分割效果差的白质束；
步骤二、对白质束分割网络的目标函数中的各类白质束的损失重新分配权重：对于体积小且分割效果差的白质束，设置权重均为w，其余类别白质束的权重均为1；
步骤三、基于步骤二所获得的目标函数，利用训练集和验证集训练网络获得白质束分割网络模型。
进一步地，步骤二获得的目标函数为：
Figure BDA0003060475900000021
其中，N为每次迭代输入峰值的总体素数目，C为白质束总类别数，yij和pij分别为体素i的第j类白质束的标签和预测概率，wj为第j类白质束的权重。
进一步地，w＝5。
进一步地，体积小且分割效果差的白质束为：FX_left、FX_right、CA、UF_left、UF_right、ST_FO_left和ST_FO_right这7类白质束。
进一步地，采用Dice系数作为分割效果的量化评估标准。
有益效果：
本发明通过增加部分体积较小且分割效果较差的白质束的损失权重，提升网络训练过程中对这部分白质束的关注度。
本发明方法的白质束权重优化策略能够有效提升由于数据不均衡导致的分割效果较差的部分白质束的性能，提升其Dice系数，进而提升白质束分割的整体效果。
附图说明
图1为本发明方法流程图。
图2为本发明实施例训练集中各类白质束的体积相对比例示意图。
图3为本发明基本方法TractSeg和自适应白质束选择法(M＝5)在各类白质束上的Dice系数。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本发明提供了基于权重优化的白质束自动分割方法，如图1所示，首先对数据集中不同类别白质纤维束的体积进行统计，显示训练数据集中白质束体积的极度不均衡问题，获取体积较小的白质束类别。然后，通过对体积较小的白质束及其对应的分割效果进行对比分析，选择出需要进行权重优化的白质束类，并为选择的白质束赋予较高的损失权重。此外，本发明还提出了一种自适应的方法来选择白质束。在网络训练的中间过程，本发明对不同白质束的分割效果进行比较，并利用Dice系数作为评估标准，选择Dice最低的若干白质束作为损失权重优化的对象。通过重新设置损失权重，网络整体的损失函数得到改进，调整了网络训练过程中对不同白质束的关注度。
实施例：
环境配置及数据集准备
1)环境配置
本发明采用python3编程语言和支持GPU加速的pytorch库。首先下载并安装ubuntu16.04系统并安装与GPU加速相关的cuda和cudnn；安装anconda3，创建虚拟环境，并在该虚拟环境下安装gpu版的pytorch及其他必要的第三方库，如numpy、nibabel等。此外，还需要安装FSL和Mrtrix3以用于峰值数据生成。本发明所使用的代码以开源代码TractSeg为基础，对该代码进行下载并安装，下载网址为：https://github.com/MIC-DKFZ/TractSeg。
2)数据集准备
数据集下载：本发明使用公开数据集HCP105，下载并保存，至HCP105文件夹，下载网址为：https://doi.org/10.5281/zenodo.1154877。该文件夹包含105个被试者数据子文件夹。子文件夹根据被试者的编号subject_index命名，如“613538”。每个子文件夹中包含data.nii.gz,nodif_brain_mask.nii.gz，bvals，bvecs等文件。此外，还需要下载该数据集的.trk文件，保存至Label文件夹。
生成峰值图像及标签：利用HCP105文件夹中被试者的data.nii.gz数据和TractSeg/bin/TractSeg程序生成纤维取向分布函数峰值数据，并保存为Data/subject_index/peak.nii.gz；利用TractSeg中的trk_2_binary.py程序和Label文件夹下的.trk文件，合成与峰值数据对应的标签，并保存为Data/subject_index/bundle_masks_72.nii.gz。
峰值及标签预处理：利用HCP105/subject_index/nodif_brain_mask.nii.gz文件和数据预处理程序preprocessing.py和依次去除Data文件夹中峰值和标签的非脑区域，并保存至Data_prep文件夹，用于网络的训练。
第一步 白质束的选择
本发明采用TractSeg作为基本方法，该方法的网络框架由一个2D U-Net和DeepSupervison构成。网络输入为预处理后的峰值图像，输出为72类白质纤维束的分割结果。其原有训练目标函数Loss为二值交叉熵：
Figure BDA0003060475900000041
其中，N为每次迭代输入峰值的总体素数目，C为白质束总类别数。yij和pij分别为体素i的第j类白质束的标签和预测概率。不同白质束的损失权重均默认为1。
1)白质束体积统计
本发明共采用了100个被试的峰值和标签数据，得到白质束分割数据集，并等比例划分成五份，其中用于训练、验证及测试的数据比例为3:1:1。其中训练数据集包含60个被试。本发明关注的白质束的中英文全称及英文缩写对照如表3所示，其中AF、ATR等31类白质束在左脑和右脑均有分布。左脑或右脑的白质束通过在其英文缩写后加‘_left’或‘_right’进行区分，如‘AF_left’、AF_right’。
编写程序Tract_SampleNum.py计算出所有训练被试中含有第j个白质束的体素总数Sample_Numj，即第j个白质束的体积，并利用各白质束的体积和平均体积计算体积相对比例Sample_Propj:
Figure BDA0003060475900000051
并将体积相对比例从大到小进行排序，如图2所示。
2)预定义法选择白质束
根据白质束体积相对比例以及基本方法TractSeg在各种白质束上的分割效果，可以选择出体积较小且分割效果较差的白质束。在体积最小的12个白质束中，FX_left、FX_right和CA三种白质束的体积最小、分割效果也最差，成对的白质束UF_left、UF_right、ST_FO_left和ST_FO_right的分割效果也较差。如表2所示，针对这7种白质束，设置进行权重优化的白质束的数目为M(M取值3、5或7)，以探究进行权重优化的白质束数目对网络训练的影响。
3)自适应法选择白质束
为了让网络根据训练中间过程中各类白质束的分割效果自动选择优化的白质束，在每次迭代中，本发明首先计算出各类白质束的Dice系数：
Figure BDA0003060475900000061
用以评估分割结果，其中y为各类白质束的标签，
Figure BDA0003060475900000062
为各类白质束的二值预测结果。
Figure BDA0003060475900000063
由预测概率p进行二值化获得，即当预测值大于阈值T＝0.5时取值为1，小于阈值时取值为0。随后，对各类白质束的Dice系数进行排序(从小到大)，对Dice系数最小的M种(M取值3、5或7)白质束重新设置权重。
第二步 目标函数的设计
针对上述步骤2)或者3)中选择出的特定白质束，本发明方法对原有目标函数(公式(1))进行优化，为选择出的白质束统一分配较高的权重w，则优化后的目标函数为：
Figure BDA0003060475900000064
其中wj为第j类白质束的权重，对于要优化的白质束设置wj＝w，其余白质束设置wj＝1。
第三步网络训练测试及实验结果
1)网络训练测试
网络训练：利用TractSeg/bin/ExpRunner程序和Data_prep文件夹中的峰值peaks.nii.gz和标签bundle_masks_72.nii.gz对网络进行训练，获得模型weights.npz。网络输入的空间尺寸为W×H×D＝144×144×144。网络的训练代数epoch＝300，batchsize＝56。网络训练采用了Adamx优化算法，初始学习率为0.001。选择出的白质纤维束的损失权重w＝5。
网络测试：根据分割过程编写测试程序Test.py，在该程序中将测试过程的batchsize设为1、对峰值的三个方向分别进行处理后对预测概率求平均并进行二值化(阈值T＝0.5)、将Dice作为分割效果的量化评估标准；利用Test.py和最优模型weights.npz进行测试，获得不同白质束的Dice系数及整体平均Dice系数。
2)实验结果
两种进行权重优化白质束选择的方法以及基本方法TractSeg在所有白质束上的平均Dice系数如表1所示。由表1可知，对于不同的优化白质束数目M(M＝3，5和7)，对于预定义法和自适应法两种方法的平均Dice系数均高于基本方法TractSeg。对于预定义白质束选择法，当M＝7时，平均Dice系数最高。对于自适应白质束选择法，当M＝5时，平均Dice系数最高。
对于利用预定义法选择白质束的方法，当设置M＝3，选择FX_left、FX_right和CA进行权重优化；当设置M＝5，选择FX_left、FX_right、CA、UF_left和UF_right进行优化；当设置M＝7，对M＝5时选择的5类白质束、ST_FO_left和ST_FO_right进行优化。表2为基本方法及进行权重优化后的各类白质束的Dice系数。由表2可知，对于进行权重优化的白质束，其Dice系数均高于基本方法，其他白质束的Dice系数与基本方法相当。这说明进行权重优化能有效提升在相应白质束上的分割效果。
图3为基本方法TractSeg及自适应白质束选择法(M＝5)在各类白质束上的Dice系数。由图3可知，对于分割效果较好(Dice系数较高)的白质束，本发明提出的方法与基本方法TractSeg获得的Dice系数相当。而对于分割效果较差(Dice系数较低)的白质束，本发明提出的白质束权重优化方法能够有效提升其分割效果，尤其是对于原本分割效果最差的FX_left,FX_right和CA三种白质束，Dice系数的提升非常显著。
表1不同方法获得的平均Dice系数
Figure BDA0003060475900000081
表2基本方法TractSeg和预定义白质束选择法的部分白质束的Dice系数
Figure BDA0003060475900000082
表3本发明关注的白质束的中英文全称及英文缩写对照
中文全称 英文全称 英文缩写 存在于左脑和右
弓状束 Arcuate Fascicle AF √
丘脑前辐射 Anterior Thalamic Radiation ATR √
前连合 Commissure Anterior CA
胼胝体 Corpus Callosum CC
胼胝体喙部 Corpus Callosum Rostrum CC1
胼胝体膝部 Corpus Callosum Genu CC2
胼胝体喙体 Corpus Callosum Rostral body CC3
胼胝体前中体 Corpus Callosum Anterior midbody CC4
胼胝体后中体 Corpus Callosum Posterior midbody CC5
胼胝体峡部 Corpus Callosum Isthmus CC6
胼胝体压部 Corpus Callosum Splenium CC7
扣带束 Cingulum CG √
皮质脊髓束 Corticospinal Tract CST √
中纵束 Middle Longitudinal Fascicle MLF √
额桥束 Fronto-pontine Tract FPT √
穹窿 Fornix FX √
小脑下脚 Inferior Cerebellar Peduncle ICP √
枕额下束 Inferior Occipito-frontal Fascicle IFO √
下纵束 Inferior Longitudinal Fascicle ILF √
小脑中脚 Middle Cerebellar Peduncle MCP
视辐射 Optic Radiation OR √
顶枕桥 Parieto-occipital Pontine POPT √
小脑上脚 Superior Cerebellar Peduncle SCP √
上纵束Ⅰ Superior Longitudinal Fascicle I SLF I √
上纵束II Superior Longitudinal Fascicle II SLF II √
上纵束III Superior Longitudinal Fascicle III SLF III √
丘脑上辐射 Superior Thalamic Radiation STR √
钩束 Uncinate Fascicle UF √
丘脑前额叶束 Thalamo-prefrontal Tract T_PREF √
丘脑前运动束 Thalamo-premotor Tract T_PREM √
丘脑前中心束 Thalamo-precentral Tract T_PREC √
丘脑后中央束 Thalamo-postcentral Tract T_POSTC √
丘脑顶叶束 Thalamo-parietal Tract T_PAR √
丘脑枕束 Thalamo-occipital Tract T_OCC √
纹状体额眶束 Striato-fronto-orbital Tract ST_FO √
纹状体前额叶束 Striato-prefrontal Tract ST_PREF √
纹状体前运动束 Striato-premotor Tract ST_PREM √
纹状体前中心束 Striato-precentral Tract ST_PREC √
纹状体后中央束 Striato-postcentral Tract ST_POSTC √
纹状体顶叶束 Striato-parietal Tract ST_PAR √
纹状体枕束 Striato-occipital Tract ST_OCC √
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.基于权重优化的白质束自动分割方法，其特征在于，包括以下步骤：
步骤一、对白质束分割数据集中的训练集的各类白质束的体积进行排序，获取体积小且分割效果差的白质束；
步骤二、对白质束分割网络的目标函数中的各类白质束的损失重新分配权重：对于体积小且分割效果差的白质束，设置权重均为w，其余类别白质束的权重均为1；
步骤三、基于步骤二所获得的目标函数，利用训练集和验证集训练网络获得白质束分割网络模型。
2.如权利要求1所述的基于权重优化的白质束自动分割方法，其特征在于，步骤二获得的目标函数为：
Figure FDA0003060475890000011
其中，N为每次迭代输入峰值的总体素数目，C为白质束总类别数，yij和pij分别为体素i的第j类白质束的标签和预测概率，wj为第j类白质束的权重。
3.如权利要求1或2所述的基于权重优化的白质束自动分割方法，其特征在于，w＝5。
4.如权利要求1所述的基于权重优化的白质束自动分割方法，其特征在于，体积小且分割效果差的白质束为：FX_left、FX_right、CA、UF_left、UF_right、ST_FO_left和ST_FO_right这7类白质束。
5.如权利要求1所述的基于权重优化的白质束自动分割方法，其特征在于，采用Dice系数作为分割效果的量化评估标准。
CN202110511555.2A 2021-05-11 2021-05-11 基于权重优化的白质束自动分割方法 Pending CN113129325A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110511555.2A CN113129325A (zh) 2021-05-11 2021-05-11 基于权重优化的白质束自动分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110511555.2A CN113129325A (zh) 2021-05-11 2021-05-11 基于权重优化的白质束自动分割方法

Publications (1)

Publication Number Publication Date
CN113129325A true CN113129325A (zh) 2021-07-16

Family

ID=76781590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110511555.2A Pending CN113129325A (zh) 2021-05-11 2021-05-11 基于权重优化的白质束自动分割方法

Country Status (1)

Country Link
CN (1) CN113129325A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937223A (zh) * 2023-01-06 2023-04-07 北京理工大学 一种单样本新类别白质束分割方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145939A (zh) * 2018-07-02 2019-01-04 南京师范大学 一种小目标敏感的双通道卷积神经网络语义分割方法
CN112163449A (zh) * 2020-08-21 2021-01-01 同济大学 一种轻量化的多分支特征跨层融合图像语义分割方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145939A (zh) * 2018-07-02 2019-01-04 南京师范大学 一种小目标敏感的双通道卷积神经网络语义分割方法
CN112163449A (zh) * 2020-08-21 2021-01-01 同济大学 一种轻量化的多分支特征跨层融合图像语义分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JAKOB WASSERTHAL等: "TractSeg - Fast and accurate white matter tract segmentation", 《NEUROIMAGE》 *
王伊雪: "基于卷积神经网络的人脸简笔画生成技术", 《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937223A (zh) * 2023-01-06 2023-04-07 北京理工大学 一种单样本新类别白质束分割方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN110135494A (zh) 基于最大信息系数和基尼指标的特征选择方法
Brownlee Clonal selection theory & clonalg-the clonal selection classification algorithm (csca)
WO2013025970A1 (en) Classification trees on gpgpu compute engines
WO2019229119A1 (en) Deep anomaly detection
CN108846338A (zh) 基于面向对象随机森林的极化特征选择及分类方法
CN113129325A (zh) 基于权重优化的白质束自动分割方法
CN109871901A (zh) 一种基于混合采样和机器学习的不平衡数据分类方法
Shabrina et al. Deep learning models for automatic identification of plant-parasitic nematode
EP4211657A2 (en) Biological image transformation using machine-learning models
CN108921935A (zh) 一种基于加速高斯混合模型的空间目标重建方法
Agematsu et al. Reconstruction of the multielement apparatus of the earliest Triassic conodont, Hindeodus parvus, using synchrotron radiation X-ray micro-tomography
Minarno et al. Cnn based autoencoder application in breast cancer image retrieval
Pérez et al. Search by triplet: An efficient local track reconstruction algorithm for parallel architectures
Akbar et al. Optimizing alexnet using swarm intelligence for cervical cancer classification
Pagliardini et al. Faster causal attention over large sequences through sparse flash attention
Kushwaha et al. Deep learning-based model for breast cancer histopathology image classification
Šemberová et al. Morphological and environmental differentiation as prezygotic reproductive barriers between parapatric and allopatric Campanula rotundifolia agg. cytotypes
CN109993208A (zh) 一种有噪声图像的聚类处理方法
CN108509840A (zh) 基于量子记忆优化机制的高光谱遥感图像波段选择方法
Pappas et al. Legendre shape descriptors and shape group determination of specimens in the Cymbella cistula species complex
CN113096142B (zh) 基于联合嵌入空间的白质神经束自动分割方法
CN112070742B (zh) 基于自适应感受野3d空间注意力的脑影像分类装置
Zhong et al. Auto-encoded latent representations of white matter streamlines
CN115937223B (zh) 一种单样本新类别白质束分割方法、装置、设备及介质
Pagliardini et al. Fast attention over long sequences with dynamic sparse flash attention

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210716