CN113298813B - 一种基于t1加权磁共振图像的脑结构分割系统 - Google Patents
一种基于t1加权磁共振图像的脑结构分割系统 Download PDFInfo
- Publication number
- CN113298813B CN113298813B CN202110495637.2A CN202110495637A CN113298813B CN 113298813 B CN113298813 B CN 113298813B CN 202110495637 A CN202110495637 A CN 202110495637A CN 113298813 B CN113298813 B CN 113298813B
- Authority
- CN
- China
- Prior art keywords
- segmentation
- module
- image
- skull
- brain structure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种基于T1加权磁共振图像的脑结构分割系统,其系统包括:图像预处理模块、脑结构分割模块、后处理模块和分割结果展示模块。在深度学习模型的基础上,结合提出的洋葱式后处理算法,有效解决了头骨和侧脑室难以精准分割的问题。提出的后处理方法可以识别误分为灰质或白质的头骨部分和识别误分为背景的侧脑室部分,并修正分割结果。此外,本发明基于现代的软件技术设计并构建一个具有良好用户体验的图形界面。本发明的方法及系统可以为临床实践提供一个方便对大脑结构进行量化分析的工具,辅助医生诊断,减轻负担并提高诊断效率。
Description
技术领域
本发明涉及脑图像处理领域,更具体地,涉及一种基于T1加权磁共振图像的脑结构分割系统。
背景技术
针对大脑结构的自动分割的现有技术方案主要有两种思路,第一种是利用传统方法,如隐马尔科夫随机场等,对脑部结构进行分割;第二种是基于深度学习的脑部结构分割方法,通过训练深度学习模型,学习图像与分割标注间的对应关系并分割脑部结构。
已有技术一是利用当前像素与周围领域像素间的相互信息作为先验知识,并结合隐马尔科夫随机场(Hidden Markov Random Field,HMRF)模型与最大期望值(Expectation-Maximization,EM)算法对图像进行建模,并分割脑部结构。该技术主要基于局部信息进行分割,利用像素点周围的领域像素信息对图像进行建模,容易受到图像采集时的噪声影响。同时,HMRF模型引入了空间信息,计算速度较慢。
已有技术二主要基于UNet等深度学习分割模型,需要先对磁共振图像进行脑部结构的手动分割,然后通过输入磁共振图像及其对应分割标签,学习两者之间的对应关系,训练完成后对大脑进行分割。技术二的深度学习分割模型通常需要较大的训练集来进行优化,但标注成本高,目前可用的标注数据集有限,模型易产生过拟合,导致分割结果一般。
发明内容
为了克服现有技术的不足,本发明首先提出一种基于T1加权磁共振图像的脑结构分割系统。
为了实现上述目的,本发明的技术方案为:
一种基于T1加权磁共振图像的脑结构分割系统,具体包括以下模块:图像预处理模块,脑结构分割模块,后处理模块和分割结果展示模块,
图像预处理模块:对采集的T1加权图像进行预处理,判断图像是否在MNI空间,如不在MNI空间则先进行刚性变换对齐到MNI空间;
脑结构分割模块:基于nnUNet框架训练分割模型对图像预处理模块的输出图像进行分割;
后处理模块:采用洋葱式后处理方法,利用脑结构空间分布位置的先验知识对分割结果进行修正;
分割结果展示模块:对分割修正图像进行展示,此模块采用前后端分离设计,后端使用Flask服务器框架和Celery异步任务框架搭建,前端与后端两者通过Socket协议进行通信;
在获得最终分割结果后,此模块将分割结果重叠在原图像上,并进行可视化显示。
与现有技术相比,本发明的有益效果为:
本发明结合经典的UNet分割模型和后处理方法,有效解决了头骨和侧脑室难以精准分割的问题,该后处理方法可有效识别误分为灰质或白质的头骨部分和识别误分为背景的侧脑室部分并修正分割结果。同时,本发明也提供具有良好用户体验的图形界面,可简化操作流程,方便医生使用,可有效辅助临床上对大脑结构的量化分析。
附图说明
图1是本发明提出的脑结构分割系统实现过程图。
图2是本发明所提出的脑结构分割步骤示意图。
图3是脑结构分割示意图。
图4是后处理方法流程示意图。
图5是用户图形界面图。
具体实施方式
附图仅用于示例性说明,不能理解为对本专利的限制;为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;
对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对本发明的技术方案做进一步的说明。
本发明提出了一种基于T1加权磁共振图像的脑结构分割系统,大脑结构的分割对于临床上的量化分析具有重要意义,可以给医生一些数据分析信息,进而为辅助医生诊断脑部是否有疾病提供一个参考。对大脑结构的自动分割可避免手动分割费时费力的缺点,简化医生的分析流程,提高诊断效率。目前已有不少研究针对大脑结构的自动分割,且有开源的工具包可供使用。然而,这些工具包多采用传统的图像处理方法,分割效果一般,所提供的图形界面复杂,上手较慢。
本发明结合深度学习方法与后处理方法对大脑进行自动分割,解决了深度学习方法分割不够精准的问题,同时,也提供简洁的图形界面用于操作和分割结果显示,操作简单,方便医生使用。本发明中的分割系统的具体实现过程如图1所示。
本发明提供了一种基于T1加权磁共振图像的脑结构分割系统,可以有效解决头骨和侧脑室难以精准分割的问题,其中提出的后处理方式可以识别误分为灰质或白质的头骨部分和识别误分为背景的侧脑室部分,并修正分割结果。此外,本发明还提供了一个具有良好用户体验的图形界面,简化操作流程,方便医生使用。
本发明的具体模块依次包括,图像预处理模块、脑结构分割模块,后处理模块和分割结果展示模块:
图像预处理模块是采集T1加权磁共振图像并进行预处理,如果该图像未对齐到MNI空间则再进行刚性转换。脑结构分割模块是使用训练好的脑结构分割模型进行初步分割,后处理模块是使用分割后处理方法对分割结果进行优化,修正错误的分割结果。分割结果展示模块是将最终的分割结果重叠在原图像上并进行可视化展示。
本发明的4个模块具体如图2所示。
图像预处理模块:
对采集的T1加权图像进行偏置场校正和滤波去噪等处理。如果图像不在MNI空间则再进行刚性变换对齐到MNI空间。然后,对图像进行截断处理,减轻图像极大值和极小值的影响,再用高斯标准化对图像进行处理。
脑结构分割模块:
本发明基于经典的nnUNet模型构建脑结构分割模型,使用上述预处理方法处理公开数据集PREDICT-HD,并结合nnUNet框架训练分割模型,该框架可以自动选择模型的超参数并进行优化,使用nnUNet模型就可以取得与最先进的算法相近的效果。
后处理模块:
由于头骨和灰白质的强度相似,上述模型容易将部分头骨识别为灰质或白质。与此类似,侧脑室和背景强度相似,部分侧脑室容易被识别为背景。为解决此问题,本发明提出了洋葱式后处理方法,利用脑结构空间分布位置的先验知识对分割结果进行修正(头骨、脑脊液、灰质、白质和侧脑室由外到内一层层包裹就像一个洋葱)。
分割结果展示模块:
此模块采用前后端分离设计,后端使用Flask服务器框架和Celery异步任务框架搭建,前端则采用Bootstrap框架和JavaScript语言编写,两者通过Socket协议进行通信。本发明使用Docker技术对上述多个模块进行封装,方便用户安装部署。
在获得最终分割结果后,此模块将分割结果重叠在原图像上,并使用网页进行可视化,用户可以调整不同切面的不同位置对图像进行浏览,也可下载分割结果。
结合流程图(图1)对脑结构分割的方法进行说明:
S1:对图片进行刚性变换,对齐到MNI空间上;
S2:对图片进行分割;
S3:对图片分割结果进行后处理;
S4:将图片最终分割结果叠加在原图片上并进行展示。
针对S1进行说明:
(1)采用FAST算法对采集的T1加权图像进行偏置场校正,并用高斯滤波去噪。如果图像没有对齐到MNI空间则再做刚性变换对齐到MNI空间。
(2)取图像像素值的最大值和最小值间范围的99.5%对图像进行截断处理,并用高斯标准化进行处理。
针对S2进行说明:
基于Isensee等人提出的nnUNet框架,本发明构建了基于UNet的分割模型,输入用上述预处理模块处理的PREDICT-HD脑部图像进行训练,自动搜索模型的最优超参数,训练完成后保存模型参数。然后,使用上述预处理采集的T1加权图像输入训练好的模型并输出该图像的分割结果。如图3所示,本发明初步将侧脑室、白质、灰质、脑脊液和头骨等结构分割出来。
针对S3进行说明:
本发明基于脑结构空间分布位置的先验知识提出了洋葱式后处理方法(头骨、脑脊液、灰质、白质和侧脑室由外到内一层层包裹,像一个洋葱),并用于修正初步的分割结果。如图4所示,I表示大脑初步分割结果,S、C、G、W和L分别表示头骨、脑脊液、灰质、白质和侧脑室的分割结果,F表示求掩膜函数,L表示求最大连通域函数。
主要对头骨和侧脑室的分割结果进行修正,修正的具体步骤如下:
首先用I的掩膜减去头骨和脑脊液部分,得到掩膜M备用,M包括灰质、白质和误分为灰、白质的头骨部分。接着用G减去G的最大连通域,再减去此部分与M共有的部分,得到误分为灰质的头骨部分G2S。同时,求得误分为白质的头骨部分W2S。再将C加上M并减去两者的最大连通域得到误分为脑脊液的头骨部分C2S。将S加上G2S、W2S和C2S三个头骨部分得到最终头骨分割结果S*。用M与背景共有部分加上L得到最终侧脑室分割结果L*。
针对S4进行说明:
此模块主要提供一个网页界面用于用户操作和脑部结构分割结果展示,该模块由前后端组成,并通过Socket协议进行通信。前端使用Bootstrap框架和JavaScript语言编写,如图5,该界面主要分为模型选择、MNI空间确认、上传和可视化等部分。后端则使用Flask服务器框架和Celery异步任务框架进行搭建,Flask用于接收并分发任务到任务队列,Celery负责执行任务队列里的分割任务并向前端返回分割结果。另外,本发明使用Docker技术封装所有模块,方便用户安装部署。
用户图形界面的操作具体如下:首先选择分割模型(有头骨模型或无头骨模型,两个模型区别在于输入图像是否需去骨),然后确认是否已对齐到MNI空间,上传文件,等后端处理完显示分割结果,最后用户选择不同切面的不同位置浏览分割结果并下载结果。
显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。
Claims (3)
1.一种基于T1加权磁共振图像的脑结构分割系统,其特征在于:具体包括以下模块:图像预处理模块,脑结构分割模块,后处理模块和分割结果展示模块,
图像预处理模块:对采集的T1加权图像进行预处理,判断图像是否在MNI空间,如不在MNI空间则先进行刚性变换对齐到MNI空间;
脑结构分割模块:基于nnUNet框架训练分割模型对图像预处理模块的输出图像进行分割;
后处理模块:采用洋葱式后处理方法,利用脑结构空间分布位置的先验知识对分割结果进行修正;
分割结果展示模块:对分割修正图像进行展示,此模块采用前后端分离设计,后端使用Flask服务器框架和Celery异步任务框架搭建,前端与后端两者通过Socket协议进行通信;
在获得最终分割结果后,此模块将分割结果重叠在原图像上,并进行可视化显示;
图像预处理模块中采用FAST算法对采集的T1加权图像进行偏置场校正,并用高斯滤波去噪,判断去噪图像是否对齐到MNI空间;
图像预处理模块处理的是T1加权图像;
脑结构分割模块分割的脑部结构包括侧脑室、白质、灰质、脑脊液和头骨;
后处理模块的实现过程为:基于脑结构空间分布位置的先验知识提出了洋葱式后处理方法,已知头骨、脑脊液、灰质、白质和侧脑室由外到内一层层包裹,像一个洋葱,用于修正初步的分割结果;
I表示大脑初步分割结果,S、C、G、W和L分别表示头骨、脑脊液、灰质、白质和侧脑室的分割结果;
对头骨和侧脑室的分割结果进行修正,修正的具体步骤如下:
首先用I的掩膜减去头骨和脑脊液部分,得到掩膜M备用,M包括灰质、白质和误分为灰、白质的头骨部分,接着用G减去G的最大连通域,再减去此部分与M共有的部分,得到误分为灰质的头骨部分G2S,同时,求得误分为白质的头骨部分W2S,再将C加上M并减去两者的最大连通域得到误分为脑脊液的头骨部分C2S,将S加上G2S、W2S和C2S三个头骨部分得到最终头骨分割结果S*,用M与背景共有部分加上L得到最终侧脑室分割结果L*。
2.根据权利要求1所述的脑结构分割系统,其特征在于:分割结果展示模块中Flask用于接收并分发任务到任务队列,Celery负责执行任务队列里的分割任务并向前端返回分割结果。
3.根据权利要求1-2任一项所述的脑结构分割系统,其特征在于:图像预处理模块,脑结构分割模块,后处理模块和分割结果展示模块各模块均采用Docker技术封装。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110495637.2A CN113298813B (zh) | 2021-05-07 | 2021-05-07 | 一种基于t1加权磁共振图像的脑结构分割系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110495637.2A CN113298813B (zh) | 2021-05-07 | 2021-05-07 | 一种基于t1加权磁共振图像的脑结构分割系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113298813A CN113298813A (zh) | 2021-08-24 |
CN113298813B true CN113298813B (zh) | 2022-11-25 |
Family
ID=77320974
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110495637.2A Active CN113298813B (zh) | 2021-05-07 | 2021-05-07 | 一种基于t1加权磁共振图像的脑结构分割系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113298813B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116205915B (zh) * | 2023-04-28 | 2023-07-14 | 北京航空航天大学 | 一种基于掩码的大脑年龄评估方法、系统及电子设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108765447A (zh) * | 2018-04-26 | 2018-11-06 | 深圳博脑医疗科技有限公司 | 一种图像分割方法、图像分割装置及电子设备 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10169685B2 (en) * | 2014-07-07 | 2019-01-01 | The Regents Of The University Of California | Automatic segmentation and quantitative parameterization of brain tumors in MRI |
CN109064443B (zh) * | 2018-06-22 | 2021-07-16 | 哈尔滨工业大学 | 一种基于腹部超声图像的多模型器官分割方法 |
CN111563903B (zh) * | 2020-04-26 | 2021-05-28 | 北京航空航天大学 | 一种基于深度学习的mri全脑组织分割方法及系统 |
CN111681230A (zh) * | 2020-06-10 | 2020-09-18 | 华中科技大学同济医学院附属同济医院 | 脑白质高信号评分系统及其评分方法 |
-
2021
- 2021-05-07 CN CN202110495637.2A patent/CN113298813B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108765447A (zh) * | 2018-04-26 | 2018-11-06 | 深圳博脑医疗科技有限公司 | 一种图像分割方法、图像分割装置及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113298813A (zh) | 2021-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111932561A (zh) | 基于集成知识蒸馏的实时肠镜影像分割方法及装置 | |
CN108022251B (zh) | 一种管状结构的中心线的提取方法及系统 | |
CN110415230B (zh) | 一种基于深度学习的ct切片图像语义分割系统及方法 | |
CN112966684A (zh) | 一种注意力机制下的协同学习文字识别方法 | |
CN107392125A (zh) | 智能模型的训练方法/系统、计算机可读存储介质及终端 | |
CN112001928B (zh) | 一种视网膜血管分割方法及系统 | |
JP2015522200A (ja) | 人顔特徴点の位置決め方法、装置及び記憶媒体 | |
TW202042181A (zh) | 深度模型訓練方法及裝置、電子設備及儲存介質 | |
CN113298813B (zh) | 一种基于t1加权磁共振图像的脑结构分割系统 | |
CN106339984A (zh) | 基于k均值驱动卷积神经网络的分布式图像超分辨方法 | |
CN110838140A (zh) | 基于混合监督学习的超声和核磁图像配准融合方法及装置 | |
CN107590821A (zh) | 一种基于轨迹优化的目标跟踪方法及系统 | |
CN116309571B (zh) | 一种基于半监督学习的三维脑血管分割方法和装置 | |
CN112102259A (zh) | 一种基于边界引导深度学习的图像分割算法 | |
CN111444847A (zh) | 一种交通标志检测识别方法、系统、装置及存储介质 | |
CN109919216B (zh) | 一种用于计算机辅助诊断前列腺癌的对抗学习方法 | |
CN115861250B (zh) | 自适应数据集的半监督医学图像器官分割方法及系统 | |
CN117253071B (zh) | 基于多级伪标签增强的半监督目标检测方法及系统 | |
CN117649657A (zh) | 基于改进Mask R-CNN的骨髓细胞检测系统 | |
CN114612669B (zh) | 一种医学图像炎症坏死占比的计算方法及装置 | |
CN113450363B (zh) | 一种基于标签校正的元学习细胞核分割系统及方法 | |
CN114419015A (zh) | 一种基于多模态配准的脑功能融合分析方法 | |
CN114419061A (zh) | 一种肺部动静脉血管分割方法及系统 | |
JP2023038060A (ja) | ラベル生成方法、モデル生成方法、ラベル生成装置、ラベル生成プログラム、モデル生成装置、及びモデル生成プログラム | |
Kalaivani et al. | A Deep Ensemble Model for Automated Multiclass Classification Using Dermoscopy Images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |