CN112634273A - 一种基于深度神经网络的脑转移瘤分割系统及其构建方法 - Google Patents
一种基于深度神经网络的脑转移瘤分割系统及其构建方法 Download PDFInfo
- Publication number
- CN112634273A CN112634273A CN202110261890.1A CN202110261890A CN112634273A CN 112634273 A CN112634273 A CN 112634273A CN 202110261890 A CN202110261890 A CN 202110261890A CN 112634273 A CN112634273 A CN 112634273A
- Authority
- CN
- China
- Prior art keywords
- module
- model
- neural network
- image data
- mri image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 45
- 230000011218 segmentation Effects 0.000 title claims abstract description 26
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 25
- 206010027476 Metastases Diseases 0.000 title claims abstract description 21
- 230000009401 metastasis Effects 0.000 title claims abstract description 21
- 238000010276 construction Methods 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 40
- 238000003062 neural network model Methods 0.000 claims abstract description 28
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000013434 data augmentation Methods 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 4
- 230000004927 fusion Effects 0.000 claims description 33
- 238000005070 sampling Methods 0.000 claims description 22
- 210000002569 neuron Anatomy 0.000 claims description 17
- 230000001186 cumulative effect Effects 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000012360 testing method Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 238000012163 sequencing technique Methods 0.000 claims description 9
- 238000005315 distribution function Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 4
- 210000003625 skull Anatomy 0.000 claims description 4
- 241000287196 Asthenes Species 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 239000004576 sand Substances 0.000 claims description 3
- 238000005303 weighing Methods 0.000 claims description 3
- 206010028980 Neoplasm Diseases 0.000 abstract description 12
- 238000003709 image segmentation Methods 0.000 abstract description 4
- 238000002719 stereotactic radiosurgery Methods 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 3
- 210000000920 organ at risk Anatomy 0.000 description 3
- 238000001959 radiotherapy Methods 0.000 description 3
- 230000009885 systemic effect Effects 0.000 description 3
- 208000003174 Brain Neoplasms Diseases 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000007917 intracranial administration Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 210000001519 tissue Anatomy 0.000 description 2
- 206010059282 Metastases to central nervous system Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 238000007428 craniotomy Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000005865 ionizing radiation Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007106 neurocognition Effects 0.000 description 1
- 210000003446 pia mater Anatomy 0.000 description 1
- 238000009097 single-agent therapy Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度神经网络的脑转移瘤分割系统及其构建方法,涉及图像分割领域,包括数据预处理模块、模型构建模块及模型训练模块;所述数据预处理模块用于消除MRI图像数据中的无关因素,使用精确直方图匹配算法进行处理用于避免不同的来源数据间存在的差异,使用数据增广的方法来获取一个更加鲁棒的模型构建模块;所述模型构建模块用于通过设计的深度神经网络模型从输入MRI图像数据中提取抽象特征;模型训练模块用于在构建完深度神经网络模型后,对模型构建模块中构建的模型进行训练,找到一组合适的权值,使得深度神经网络模型对目标函数最小。相对于现有技术本发明提供了一种比较成熟的脑转移瘤靶区自动勾画系统。
Description
技术领域
本发明涉及图像分割领域,具体的涉及一种基于深度神经网络的脑转移瘤分割系统及其构建方法。
背景技术
脑转移瘤是原发于中枢神经系统以外,通过不同途径播散进入脑组织的肿瘤,是目前成人最常见的颅内肿瘤,是全身性肿瘤致残致死的主要原因。其发病率正随着全身肿瘤治疗的进展和肿瘤总生存期的延长而不断增长。全脑放射治疗(WBRT)来是治疗脑转移瘤的主要手段之一,降低脑转移瘤的死亡率,改善了生存质量,但其显著的降低患者神经认知功能。近年来,越来越多的证据支持使用立体定向放射外科(SRS),外科(SRS)作为单一疗法得到了广泛的应用,且神经认知副作用最少。全脑放疗(WBRT)通常只适用于非常弥漫性疾病或没有可靠的全身药物的软脑膜病变。
立体定向放射外科(SRS)是应用离子射线通过精确靶点照射来治疗颅内疾病的一种无创不开颅的治疗方法。患者在接受SRS治疗之前,需拍摄磁共振图像(MagneticResonance Imaging, MRI),再由专业医生精确勾画出患者的靶区,实现摧毁癌细胞的同时,尽可能减少正常组织或器官受到的辐射影响。靶区指肿瘤所在区域和潜在的受侵组织,基于患者的MRI影像,准确勾画出患者靶区的边界,这一过程在伽玛刀治疗中称为靶区勾画。靶区勾画是放疗的关键一步,靶区勾画范围太大将使正常器官受到辐射影响,而勾画范围过小将无法实现癌症的有效治疗。但是目前暂未有比较成熟的脑转移瘤靶区自动勾画系统。
发明内容
本发明的目的在于:针对上述存在的问题,本发明提供了一种基于深度神经网络自动分割MRI上脑转移瘤靶区,提供一种基于深度神经网络的脑转移瘤分割系统及其构建方法。
本发明采用的技术方案如下:
一种基于深度神经网络的脑转移瘤分割系统,包括数据预处理模块、模型构建模块及模型训练模块;
所述数据预处理模块对脑部MRI图像数据进行脑部区域提取以消除MRI图像数据中的无关因素;使用精确直方图匹配算法进行处理脑部MRI图像以避免不同的来源数据间存在的差异;使用数据增广的方法扩充训练样本的多样性,来获取一个更加鲁棒的模型构建模块;
所述模型构建模块用于通过设计的深度神经网络模型从输入MRI图像数据中提取抽象特征,并根据提取到的抽象特征进行预测;
模型训练模块用于在构建完深度神经网络模型后,对模型构建模块中构建的模型进行训练,找到一组合适的权值,使得深度神经网络模型对目标函数最小。
其中,神经网络由神经元以及神经元之间的连接组成,神经网络分为输入层、隐藏层和输出层。而深度神经网络通过多个隐藏层从输入图像中提取抽象特征,并由输出层根据提取到的特征进行预测。深度神经网络与浅层神经网络相比,“深度”体现在隐层数量更多,连接方式更加灵活和复杂,具有更强大的非线性表达能力,能从输入图像中提取到更本质特征,从而实现更高精度的预测。
优选地,所述模型构建模块设计的深度神经网络模型包括编码模块、融合模块、解码模块三个模块;
所述编码模块的编码器由一系列的下采样模块构成,下采样模块之间使用2x2最大池化层连接,池化层用于提取MRI图像数据的特征,同时每个下采样模块都与同级和下级的特征融合模块之间存在特征图的传输,使多层次特征能够得到很好的融合;
由于图像分割一个重点就是如何融合各层次特征,本算法使用一个专门的融合模块实现特征的融合;本发明所述融合模块包括多个特征融合模块,特征融合模块是由五个卷积模块构成,卷积模块与卷积模块之间存在着捷径连接,从上往下每一级卷积模块都存在着与多个下级卷积模块的捷径连接;特征融合模块至少有一个外部输入;特征融合模块可能存在1,2,3,4,5个外部输入,可以按照外部输入的数量从上自下来决定这五个输入是否都存在值,这样可以让高纬度特征经历更多卷积模块,使之与低纬度特征更好地融合。
所述解码模块用于将特征恢复到原始输入的大小,并在像素级为输入图像进行归类;解码模块的上采样模块包括三个卷积模块串联而成,上采样模块间是由多个向上取样层连接成,解码模块的输入来自特征融合模块融合的多层次特征,从而使模型收敛。
优选的,所述编码器的下采样模块是由一个1x1卷积层加三个空洞卷积层构成的,最后输出是由三个空洞卷积层的输出合并而成。1x1卷积主要用于调整特征图的通道数,三个空洞卷积能够帮助在不同尺度下提取图像的特征,使得最后输出的合并特征图语义信息更加丰富。
本发明的第二个目的是提供一种基于深度神经网络的脑转移瘤分割系统的构建方法,包括如下步骤:
步骤1:数据预处理:包括脑部区域提取、对比度统一及数据增广;
步骤2:模型构建:包括构建编码模块、构建融合模块及构建解码模块;
步骤3:模型训练:包括前向计算、权值更新及模型测试。
优选地,所述数据预处理包括以下步骤:
由于不同设备及采集参数不同,不同站点得到的原始脑部图像存在差异;不同站点常见的采集大小为512x512或256x256;以大小为512x512的图像举例,脑部区域通常占原图中的大小比例为50%-75%。步骤一:脑部区域提取:首先读入MRI图像数据的序列,使用骨骼的窗宽窗位转换MRI图像数据数组;遍历所有序列的MRI图像数据,对每张MRI图像数据使用阈值法提取包含头骨的最小矩形,记录最小矩形左上角和右下角的坐标;遍历完成后,取序列中提取到的所有最小矩形中面积最大的矩形,然后将面积最大的矩形的短边长度两边扩展,使得短边长度等于长边,得到一个正方形,使用所述正方形坐标提取所有序列的MRI图像数据中所有帧的有效区域;最后将得到的有效区域使用三次立方插值法统一尺寸到Nx256x256;
步骤二:对比度统一:采用精确直方图匹配算法通过制定所需的图像的直方图来改善原图像的对比度;
步骤三:数据增广:在使用模型训练数据前,对输入的经过步骤一和步骤二处理后的MRI图像数据根据窗位进行归一化操作,并进行随机翻转、平移、旋转,扩充训练样本的多样性,从而使模型学习到具有更强鲁棒性的特征,缓解模型的过拟合现象。
优选地,步骤一中脑部图像序列用NxWxH表示,其中N表示当前序列中图像的帧数,W表示宽度,H表示图像高度。
优选地,所述对比度统一的具体的方法包括:首先通过计算标准图像(由医生选择指定的一张标准的脑部MRI图像与输入MRI图像数据的累计直方图,然后通过S找两个累积直方图距离最近的点来获得每个灰度级之间的映射关系,计算公式如下:
其中,S是指标准图像与输入MRI图像在对比度统一后的累计直方图,T(r)为输入
MRI图像数据r的累计直方图,L为256,指的是MRI图像数据r的概率密度分布函数,w
为MRI图像数据r的灰度值,G(z)为输入MRI图像数据z的累计直方图,指的是MRI图像
数据z的概率密度分布函数, t为MRI图像数据z的灰度值,指的是MRI图像数据z和
MRI图像数据x的之间像素的映射,要使得T(r)与G(z)之间的差值最小化;
其次,为了将同一个灰度级的像素点区分开来,精确直方图匹配算法使用向量运
算符来代替单纯使用每个像素点的像素值作为排序的标准;
向量运算符是通过某一种核来把一个像素点周围的点都纳入到计算,来获得一个新的值来
代表该像素点,在不改变像素点原来相对排序关系的基础上,通过不断增加向量运算符核
的大小,最终可以获得一个所有像素点都能互相区别的排序关系,具体核定义如下:
优选的,所述模型训练包括如下具体步骤:
步骤1:前向计算:对一个L层的前馈神经网络,设其训练样本集合为,其中,R为实数域,m为单个样本的维度,n为训练样本的个数,那么第个样本可表示为;设第层的第个神经元到层的第个神经元连接权值记为,那么第层到层的连接权值矩阵;设第层上神经元的激活函数为,从输入层到输出层,不断进行前向计算,其过程为:
步骤2:权值更新:深度神经网络模型采用交叉熵作为分类或分割任务的目标函数,其定义如下:
步骤3:模型测试:在深度神经网络模型训练完成之后,评价指标定量地评价模型在测试集上的识别效果,评价指标包括TPVF、PPV、DSC,其定义如下:
中VS与VG 分别代表模型预测的正样本像素数目与真实正样本像素数目;TPVF代表
所有真实的正样本像素中有多少被预测正确,PPV代表所有预测的正样本像素中有多少是
真实的正样本,DSC则是一种同时权衡了和PPV的指标。
与现有的技术相比本发明的有益效果是:
1)本发明由深度神经网络模型自动分割脑部MRI中的靶区和危及器官;模型训练完成后,仅需输入患者、CT图像,模型即可自动输出靶区以及危及器官的分割结果,该过程不需要人工提取特征或设定参数;
2)本发明的深度神经网络模型一经训练完成,能够在数分钟内将患者的靶区和危及器官快速分割出来,有效地提高了医生的诊断效率;
3)本发明的模型将分割任务划分成三个模块:编码,融合,解码;对于同类型任务具有指导意义;
4)本发明的编码模块使用多尺度的空洞卷积,可以提取图像多个视野尺度的特征,使得模型具有更强的鲁棒性;
5)本发明的融合模块使用多个残缺模块,使得模型各个维度特征融合更加快速,加快了模型的收敛速度。
附图说明
图1为本发明的深度神经网络分割模型;
图2为本发明的下采样模块;
图3为本发明的特征融合模块;
图4为本发明的上采样模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明,即所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
针对现有技术目前暂未有比较成熟的脑转移瘤靶区自动勾画系统;本发明提供一种基于深度神经网络的脑转移瘤分割系统,包括数据预处理模块、模型构建模块及模型训练模块;
所述数据预处理模块对脑部MRI图像数据进行脑部区域提取以消除MRI图像数据中的无关因素;使用精确直方图匹配算法进行处理脑部MRI图像以避免不同的来源数据间存在的差异;使用数据增广的方法扩充训练样本的多样性,来获取一个更加鲁棒的模型构建模块;
所述模型构建模块用于通过设计的深度神经网络模型从输入MRI图像数据中提取抽象特征,并根据提取到的抽象特征进行预测;本发明中设计的深度神经网络模型包括三个模块,如图1所示;
模型训练模块用于在构建完深度神经网络模型后,对模型构建模块中构建的模型进行训练,找到一组合适的权值,使得深度神经网络模型对目标函数最小。
其中,所述数据预处理包括以下步骤:
步骤一:脑部区域提取:首先读入MRI图像数据的序列,使用骨骼的窗宽窗位转换MRI图像数据数组;遍历所有序列的MRI图像数据,对每张MRI图像数据使用阈值法提取包含头骨的最小矩形,记录最小矩形左上角和右下角的坐标;遍历完成后,取序列中提取到的所有最小矩形中面积最大的矩形,然后将面积最大的矩形的短边长度两边扩展,使得短边长度等于长边,得到一个正方形,使用所述正方形坐标提取所有序列的MRI图像数据中所有帧的有效区域;最后将得到的有效区域使用三次立方插值法统一尺寸到Nx256x256;
步骤二:对比度统一:采用精确直方图匹配算法通过制定所需的图像的直方图来改善原图像的对比度;
步骤三:数据增广:在使用模型训练数据前,对输入的经过步骤一和步骤二处理后的MRI图像数据根据窗位进行归一化操作,并进行随机翻转、平移、旋转,扩充训练样本的多样性,从而使模型学习到具有更强鲁棒性的特征,缓解模型的过拟合现象。
其中,步骤一中脑部图像序列用NxWxH表示,其中N表示当前序列中图像的帧数,W表示宽度,H表示图像高度。
进一步地,所述对比度统一的具体的方法包括:首先通过计算标准图像与输入MRI图像数据的累计直方图,然后通过S找两个累积直方图距离最近的点来获得每个灰度级之间的映射关系,计算公式如下:
其中,S是指标准图像与输入MRI图像在对比度统一后的累计直方图,T(r)为输入
MRI图像数据r的累计直方图,L为256,指的是MRI图像数据r的概率密度分布函数,w
为MRI图像数据r的灰度值,G(z)为输入MRI图像数据z的累计直方图,指的是MRI图像
数据z的概率密度分布函数, t为MRI图像数据z的灰度值,指的是MRI图像数据z和
MRI图像数据x的之间像素的映射,要使得T(r)与G(z)之间的差值最小化;
其次,为了将同一个灰度级的像素点区分开来,精确直方图匹配算法使用向量运
算符来代替单纯使用每个像素点的像素值作为排序的标准;
向量运算符是通过某一种核来把一个像素点周围的点都纳入到计算,来获得一个新的值来
代表该像素点,在不改变像素点原来相对排序关系的基础上,通过不断增加向量运算符核
的大小,最终可以获得一个所有像素点都能互相区别的排序关系,具体核定义如下:
其中,所述模型构建模块设计的深度神经网络模型包括编码模块、融合模块、解码模块三个模块;
所述编码模块的编码器由一系列的下采样模块构成,下采样模块之间使用2x2最大池化层连接,池化层用于提取MRI图像数据的特征,同时每个下采样模块都与同级和下级的特征融合模块之前存在特征图的传输,使多层次特征能够得到很好的融合;
所述融合模块包括多个特征融合模块,如图3所示,特征融合模块是由五个卷积模块构成,卷积模块与卷积模块之间存在着捷径(skip)连接,从上往下每一级卷积模块都存在着与多个下级卷积模块的捷径(skip)连接;特征融合模块至少有一个外部输入;特征融合模块可能存在1,2,3,4,5个外部输入,可以按照外部输入的数量从上自下来决定这五个输入是否都存在值,这样可以让高纬度特征经历更多卷积模块,使之与低纬度特征更好地融合。
所述解码模块用于将特征恢复到原始输入的大小,并在像素级为输入图像进行归类;解码模块的上采样模块(如图4所示)包括三个卷积模块串联而成,上采样模块间是由多个向上取样层连接成,解码模块的输入来自特征融合模块融合的多层次特征,从而使模型的收敛。
进一步地,所述编码器的下采样模块(如图2所示)是由一个1x1卷积层加三个空洞卷积层构成的,最后输出是由三个空洞卷积层的输出合并而成。1x1卷积主要用于调整特征图的通道数,三个空洞卷积能够帮助我们在不同尺度下提取图像的特征,使得最后输出的合并特征图语义信息更加丰富。
其中,所述模型训练包括如下具体步骤:
步骤1:前向计算:对一个L层的前馈神经网络,设其训练样本集合为,其中,R为实数域,m为单个样本的维度,n为训练样本的个数,那么第个样本可表示为;设第层的第个神经元到层的第个神经元连接权值记为,那么第层到层的连接权值矩阵;设第层上神经元的激活函数为,从输入层到输出层,不断进行前向计算,其过程为:
步骤2:权值更新:深度神经网络模型采用交叉熵作为分类或分割任务的目标函数,其定义如下:
步骤3:模型测试:在深度神经网络模型训练完成之后,评价指标定量地评价模型在测试集上的识别效果,评价指标包括TPVF、PPV、DSC,其定义如下:
中VS与VG 分别代表模型预测的正样本像素数目与真实正样本像素数目;TPVF代表
所有真实的正样本像素中有多少被预测正确,PPV代表所有预测的正样本像素中有多少是
真实的正样本,DSC则是一种同时权衡了和PPV的指标。
为了更好地阐述本发明技术方案的特点,以下将结合具体实例对本发明的技术方案进行说明。
1. 首先对输入的512x512的MRI数据进行预处理:
1)脑部区域提取:首先读入MRI图像数据的序列,使用骨骼的窗宽窗位转换MRI图像数据数组;遍历所有序列的MRI图像数据,对每张MRI图像数据使用阈值法提取包含头骨的最小矩形,记录最小矩形左上角和右下角的坐标;遍历完成后,取序列中提取到的所有最小矩形中面积最大的矩形,然后将面积最大的矩形的短边长度两边扩展,使得短边长度等于长边,得到一个正方形,使用所述正方形坐标提取所有序列的MRI图像数据中所有帧的有效区域;最后将得到的有效区域使用三次立方插值法统一尺寸到256x256;
2)对比度统一:采用精确直方图匹配算法通过制定所需的图像的直方图来改善原图像的对比度;
3):数据增广:在使用模型训练数据前,对输入的MRI图像数据根据窗位进行归一化操作,并进行随机翻转、平移、旋转,扩充训练样本的多样性,从而使模型学习到具有更强鲁棒性的特征,缓解模型的过拟合现象。
2. 将预处理好的数据输入网络模型进行训练
1)首先通过编码模块对输入图像的特征进行编码。图像在编码过程中经过了5个下采样模块,每个下采样模块是由一个1x1卷积层加三个空洞卷积层构成的,最后网络的输出是由三个空洞卷积层(3x3 rate=6,3x3 rate=12,3x3 rate=18)的输出合并而成,1x1卷积主要用于调整特征图的通道数,三个空洞卷积能够帮助我们在不同尺度下提取图像的特征,使得最后编码出的特征图语义信息更加丰富。
2)为了融合不同维度的特征,编码好后的图像特征图将会被输入到融合模块中。在本发明中,特征融合模块(如图3所示)是由五个卷积模块构成,模块与模块之间存在着捷径(skip)连接,从上往下每一级卷积模块都存在着与多个下级模块的捷径(skip)连接。该模块可以有五个外部输入,就如同图2所示,特征融合模块存在1,2,3,4,5个外部输入。这样的结构可以让高纬度特征经历更多卷积模块,使之与低纬度特征更好地融合。
3)解码特征,重构分割结果。对于融合好的特征,本发明采用了五个上采样模块来对特征进行尺寸上的还原,每个上采样模块(如图4所示)主要三个卷积模块串联而成。上采样模块间是由多个向上取样层连接成,该模块的输入来自特征融合模块融合的多层次特征,这种特征能够有效地帮助模型的收敛。
3. 测试模型效果
在深度神经网络模型训练完成之后,需要定量地评价模型在测试集上的识别效果。所述图像分割性能指标包括TPVF、PPV、DSC;本实施例中TPVF为0.8091, PPV为0.9119,DSC为0.8574。
4. 模型系统使用
将步骤1中预处理完成后的图像输入到对应的分割网络当中,得到脑肿瘤靶区及危机器官的分割结果。
以上所述实施例仅表达了本申请的具体实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请保护范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请技术方案构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。
Claims (8)
1.一种基于深度神经网络的脑转移瘤分割系统,其特征在于,包括数据预处理模块、模型构建模块及模型训练模块;
所述数据预处理模块对脑部MRI图像数据进行脑部区域提取以消除MRI图像数据中的无关因素;使用精确直方图匹配算法进行处理脑部MRI图像以避免不同的来源数据间存在的差异;使用数据增广的方法扩充训练样本的多样性;
所述模型构建模块用于通过设计的深度神经网络模型从输入MRI图像数据中提取抽象特征;
模型训练模块用于在构建完深度神经网络模型后,对模型构建模块中构建的模型进行训练,找到一组合适的权值,使得深度神经网络模型对目标函数最小。
2.根据权利要求1所述的一种基于深度神经网络的脑转移瘤分割系统,其特征在于,所述模型构建模块设计的深度神经网络模型包括编码模块、融合模块、解码模块三个模块;
所述编码模块的编码器由一系列的下采样模块构成,下采样模块之间使用2x2最大池化层连接,池化层用于提取MRI图像数据的特征,同时每个下采样模块都与同级和下级的特征融合模块之间存在特征图的传输,使多层次特征能够得到很好的融合;
所述融合模块包括多个特征融合模块,特征融合模块是由五个卷积模块构成,卷积模块与卷积模块之间存在着捷径连接,从上往下每一级卷积模块都存在着与多个下级卷积模块的捷径连接;特征融合模块至少有一个外部输入;
所述解码模块用于将特征恢复到原始输入的大小,并在像素级为输入图像进行归类;解码模块的上采样模块包括三个卷积模块串联而成,上采样模块间是由多个向上取样层连接成,解码模块的输入来自特征融合模块融合的多层次特征,从而使模型收敛。
3.根据权利要求2所述的一种基于深度神经网络的脑转移瘤分割系统,其特征在于,所述编码器的下采样模块是由一个1x1卷积层加三个空洞卷积层构成的,最后输出是由三个空洞卷积层的输出合并而成。
4.一种基于深度神经网络的脑转移瘤分割系统的构建方法,其特征在于,包括如下步骤:
步骤1:数据预处理:包括脑部区域提取、对比度统一及数据增广;
步骤2:模型构建:包括构建编码模块、构建融合模块及构建解码模块;
步骤3:模型训练:包括前向计算、权值更新及模型测试。
5.根据权利要求4所述的一种基于深度神经网络的脑转移瘤分割系统的构建方法,其特征在于,所述数据预处理具体包括以下步骤:
步骤一:脑部区域提取:首先读入MRI图像数据的序列,使用骨骼的窗宽窗位转换MRI图像数据数组;遍历所有序列的MRI图像数据,对每张MRI图像数据使用阈值法提取包含头骨的最小矩形,记录最小矩形左上角和右下角的坐标;遍历完成后,取序列中提取到的所有最小矩形中面积最大的矩形,然后将面积最大的矩形的短边长度两边扩展,使得短边长度等于长边,得到一个正方形,使用所述正方形坐标提取所有序列的MRI图像数据中所有帧的有效区域;最后将得到的有效区域使用三次立方插值法统一尺寸到Nx256x256;
步骤二:对比度统一:采用精确直方图匹配算法通过制定所需的图像的直方图来改善原图像的对比度;
步骤三:数据增广:在使用模型训练数据前,对输入的经过步骤一和步骤二处理后的MRI图像数据根据窗位进行归一化操作,并进行随机翻转、平移、旋转,扩充训练样本的多样性,从而使模型学习到具有更强鲁棒性的特征,缓解模型的过拟合现象。
6.根据权利要求5所述的一种基于深度神经网络的脑转移瘤分割系统的构建方法,其特征在于,步骤一中脑部的MRI图像数据用NxWxH表示,其中N表示当前序列中图像的帧数,W表示宽度,H表示图像高度。
7.根据权利要求5所述的一种基于深度神经网络的脑转移瘤分割系统的构建方法,其特征在于,所述对比度统一的具体的方法包括:首先通过计算标准图像与输入MRI图像数据的累计直方图,然后通过S找两个累积直方图距离最近的点来获得每个灰度级之间的映射关系,计算公式如下:
其中,S是指标准图像与输入MRI图像在对比度统一后的累计直方图,T(r)为输入MRI图
像数据r的累计直方图,L为256,指的是MRI图像数据r的概率密度分布函数,w为MRI
图像数据r的灰度值,G(z)为输入MRI图像数据z的累计直方图,指的是MRI图像数据z
的概率密度分布函数, t为MRI图像数据z的灰度值,指的是MRI图像数据z和MRI图像
数据x的之间像素的映射,要使得T(r)与G(z)之间的差值最小化;
其次,为了将同一个灰度级的像素点区分开来,精确直方图匹配算法使用向量运算符来代替单纯使用每个像素点的像素值作为排序的标准;向量
运算符是通过某一种核来把一个像素点周围的点都纳入到计算,来获得一个新的值来代表
该像素点,在不改变像素点原来相对排序关系的基础上,通过不断增加向量运算符核的大
小,最终可以获得一个所有像素点都能互相区别的排序关系,具体核定义如下:
8.根据权利要求4所述的一种基于深度神经网络的脑转移瘤分割系统的构建方法,其特征在于,所述模型训练包括如下具体步骤:
步骤1:前向计算:对一个L层的前馈神经网络,设其训练样本集合为,其中,R为实数域,m为单个样本的维度,n为训练样本的个数,那么第个样本可表示为;设第层的第个神经元到层的第个神经元连接权值记为,那么第层到层的连接权值矩阵;设第层上神经元的激活函数为,从输入层到输出层,不断进行前向计算,其过程为:
步骤2:权值更新:深度神经网络模型采用交叉熵作为分类或分割任务的目标函数,其定义如下:
步骤3:模型测试:在深度神经网络模型训练完成之后,评价指标定量地评价模型在测试集上的识别效果,评价指标包括TPVF、PPV、DSC,其定义如下:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110261890.1A CN112634273B (zh) | 2021-03-10 | 2021-03-10 | 一种基于深度神经网络的脑转移瘤分割系统及其构建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110261890.1A CN112634273B (zh) | 2021-03-10 | 2021-03-10 | 一种基于深度神经网络的脑转移瘤分割系统及其构建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112634273A true CN112634273A (zh) | 2021-04-09 |
CN112634273B CN112634273B (zh) | 2021-08-13 |
Family
ID=75297684
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110261890.1A Active CN112634273B (zh) | 2021-03-10 | 2021-03-10 | 一种基于深度神经网络的脑转移瘤分割系统及其构建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112634273B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113706695A (zh) * | 2021-09-01 | 2021-11-26 | 杭州柳叶刀机器人有限公司 | 深度学习进行3d股骨头建模的系统及方法、存储介质 |
CN113744272A (zh) * | 2021-11-08 | 2021-12-03 | 四川大学 | 一种基于深度神经网络的脑动脉自动勾画方法 |
CN113744271A (zh) * | 2021-11-08 | 2021-12-03 | 四川大学 | 基于神经网络的视神经自动分割和受压迫程度测算方法 |
CN115018836A (zh) * | 2022-08-08 | 2022-09-06 | 四川大学 | 一种癫痫病灶自动分割与预测方法、系统及设备 |
Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130329973A1 (en) * | 2012-06-06 | 2013-12-12 | The Regents Of The University Of Michigan | Subvolume identification for prediction of treatment outcome |
CN103985114A (zh) * | 2014-03-21 | 2014-08-13 | 南京大学 | 一种监控视频人物前景分割与分类的方法 |
CN104537632A (zh) * | 2014-12-26 | 2015-04-22 | 武汉大学 | 基于边缘提取的红外图像直方图增强方法 |
CN104751457A (zh) * | 2015-03-19 | 2015-07-01 | 浙江德尚韵兴图像科技有限公司 | 一种新的基于变分能量的肝脏分割方法 |
CN105139444A (zh) * | 2015-07-31 | 2015-12-09 | 四川大学 | 基于岩心二维颗粒图像的三维颗粒结构重建方法 |
CN105447879A (zh) * | 2015-12-15 | 2016-03-30 | 上海联影医疗科技有限公司 | 乳房图像中检测胸肌的方法及装置 |
CN109389587A (zh) * | 2018-09-26 | 2019-02-26 | 上海联影智能医疗科技有限公司 | 一种医学图像分析系统、装置及存储介质 |
CN109472298A (zh) * | 2018-10-19 | 2019-03-15 | 天津大学 | 用于小尺度目标检测的深度双向特征金字塔增强网络 |
CN110689083A (zh) * | 2019-09-30 | 2020-01-14 | 苏州大学 | 一种上下文金字塔融合网络及图像分割方法 |
CN110751111A (zh) * | 2019-10-24 | 2020-02-04 | 成都大成均图科技有限公司 | 基于高阶空间信息全局自动感知的道路提取方法和系统 |
CN111126202A (zh) * | 2019-12-12 | 2020-05-08 | 天津大学 | 基于空洞特征金字塔网络的光学遥感图像目标检测方法 |
CN111192245A (zh) * | 2019-12-26 | 2020-05-22 | 河南工业大学 | 一种基于U-Net网络的脑肿瘤分割网络及分割方法 |
CN111639704A (zh) * | 2020-05-28 | 2020-09-08 | 深圳壹账通智能科技有限公司 | 目标识别方法、装置及计算机可读存储介质 |
CN111784704A (zh) * | 2020-06-24 | 2020-10-16 | 中国人民解放军空军军医大学 | Mri髋关节炎症分割与分类自动定量分级序贯方法 |
CN111862096A (zh) * | 2020-09-23 | 2020-10-30 | 平安科技(深圳)有限公司 | 图像分割方法、装置、电子设备及存储介质 |
CN112102339A (zh) * | 2020-09-21 | 2020-12-18 | 四川大学 | 一种基于图集配准的全身骨显像骨骼分割方法 |
CN112270660A (zh) * | 2020-09-30 | 2021-01-26 | 四川大学 | 基于深度神经网络的鼻咽癌放疗靶区自动分割方法 |
CN112308092A (zh) * | 2020-11-20 | 2021-02-02 | 福州大学 | 一种基于多尺度注意力机制的轻量型车牌检测与识别方法 |
CN112465820A (zh) * | 2020-12-22 | 2021-03-09 | 中国科学院合肥物质科学研究院 | 基于语义分割的融合全局上下文信息的水稻病害检测方法 |
-
2021
- 2021-03-10 CN CN202110261890.1A patent/CN112634273B/zh active Active
Patent Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130329973A1 (en) * | 2012-06-06 | 2013-12-12 | The Regents Of The University Of Michigan | Subvolume identification for prediction of treatment outcome |
CN103985114A (zh) * | 2014-03-21 | 2014-08-13 | 南京大学 | 一种监控视频人物前景分割与分类的方法 |
CN104537632A (zh) * | 2014-12-26 | 2015-04-22 | 武汉大学 | 基于边缘提取的红外图像直方图增强方法 |
CN104751457A (zh) * | 2015-03-19 | 2015-07-01 | 浙江德尚韵兴图像科技有限公司 | 一种新的基于变分能量的肝脏分割方法 |
CN105139444A (zh) * | 2015-07-31 | 2015-12-09 | 四川大学 | 基于岩心二维颗粒图像的三维颗粒结构重建方法 |
CN105447879A (zh) * | 2015-12-15 | 2016-03-30 | 上海联影医疗科技有限公司 | 乳房图像中检测胸肌的方法及装置 |
CN109389587A (zh) * | 2018-09-26 | 2019-02-26 | 上海联影智能医疗科技有限公司 | 一种医学图像分析系统、装置及存储介质 |
CN109472298A (zh) * | 2018-10-19 | 2019-03-15 | 天津大学 | 用于小尺度目标检测的深度双向特征金字塔增强网络 |
CN110689083A (zh) * | 2019-09-30 | 2020-01-14 | 苏州大学 | 一种上下文金字塔融合网络及图像分割方法 |
CN110751111A (zh) * | 2019-10-24 | 2020-02-04 | 成都大成均图科技有限公司 | 基于高阶空间信息全局自动感知的道路提取方法和系统 |
CN111126202A (zh) * | 2019-12-12 | 2020-05-08 | 天津大学 | 基于空洞特征金字塔网络的光学遥感图像目标检测方法 |
CN111192245A (zh) * | 2019-12-26 | 2020-05-22 | 河南工业大学 | 一种基于U-Net网络的脑肿瘤分割网络及分割方法 |
CN111639704A (zh) * | 2020-05-28 | 2020-09-08 | 深圳壹账通智能科技有限公司 | 目标识别方法、装置及计算机可读存储介质 |
CN111784704A (zh) * | 2020-06-24 | 2020-10-16 | 中国人民解放军空军军医大学 | Mri髋关节炎症分割与分类自动定量分级序贯方法 |
CN112102339A (zh) * | 2020-09-21 | 2020-12-18 | 四川大学 | 一种基于图集配准的全身骨显像骨骼分割方法 |
CN111862096A (zh) * | 2020-09-23 | 2020-10-30 | 平安科技(深圳)有限公司 | 图像分割方法、装置、电子设备及存储介质 |
CN112270660A (zh) * | 2020-09-30 | 2021-01-26 | 四川大学 | 基于深度神经网络的鼻咽癌放疗靶区自动分割方法 |
CN112308092A (zh) * | 2020-11-20 | 2021-02-02 | 福州大学 | 一种基于多尺度注意力机制的轻量型车牌检测与识别方法 |
CN112465820A (zh) * | 2020-12-22 | 2021-03-09 | 中国科学院合肥物质科学研究院 | 基于语义分割的融合全局上下文信息的水稻病害检测方法 |
Non-Patent Citations (10)
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113706695A (zh) * | 2021-09-01 | 2021-11-26 | 杭州柳叶刀机器人有限公司 | 深度学习进行3d股骨头建模的系统及方法、存储介质 |
CN113706695B (zh) * | 2021-09-01 | 2023-06-23 | 杭州柳叶刀机器人有限公司 | 深度学习进行3d股骨头建模的系统及方法、存储介质 |
CN113744272A (zh) * | 2021-11-08 | 2021-12-03 | 四川大学 | 一种基于深度神经网络的脑动脉自动勾画方法 |
CN113744271A (zh) * | 2021-11-08 | 2021-12-03 | 四川大学 | 基于神经网络的视神经自动分割和受压迫程度测算方法 |
CN113744271B (zh) * | 2021-11-08 | 2022-02-11 | 四川大学 | 基于神经网络的视神经自动分割和受压迫程度测算方法 |
CN115018836A (zh) * | 2022-08-08 | 2022-09-06 | 四川大学 | 一种癫痫病灶自动分割与预测方法、系统及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN112634273B (zh) | 2021-08-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112634273B (zh) | 一种基于深度神经网络的脑转移瘤分割系统及其构建方法 | |
CN109598727B (zh) | 一种基于深度神经网络的ct图像肺实质三维语义分割方法 | |
CN112270660B (zh) | 基于深度神经网络的鼻咽癌放疗靶区自动分割方法 | |
CN112184658B (zh) | 用于非小细胞肺癌预后生存预测的方法、介质及电子设备 | |
CN110930416B (zh) | 一种基于u型网络的mri图像前列腺分割方法 | |
EP3480786A1 (en) | Medical image object detection with dense feature pyramid network architecture in machine learning | |
US20220092789A1 (en) | Automatic pancreas ct segmentation method based on a saliency-aware densely connected dilated convolutional neural network | |
CN109584209B (zh) | 血管壁斑块识别设备、系统、方法及存储介质 | |
CN112270666A (zh) | 基于深度卷积神经网络的非小细胞肺癌病理切片识别方法 | |
CN109300136B (zh) | 一种基于卷积神经网络的危及器官自动分割方法 | |
CN115496771A (zh) | 一种基于脑部三维mri图像设计的脑肿瘤分割方法 | |
CN112700461B (zh) | 一种肺结节检测和表征类别识别的系统 | |
Khumancha et al. | Lung cancer detection from computed tomography (CT) scans using convolutional neural network | |
CN114565761A (zh) | 一种基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法 | |
CN112598613A (zh) | 一种用于肺癌智能诊断的基于深度图像分割和识别的测定方法 | |
CN112712532B (zh) | 基于瓶颈结构的多尺度DC-CUNets的肝脏肿瘤分割方法 | |
CN114022491B (zh) | 基于改进空间金字塔模型的小数据集食管癌肿瘤靶区影像自动勾画方法 | |
CN115131280A (zh) | 一种融合注意力机制的改进YOLO v4肺结节检测方法 | |
CN114048806A (zh) | 一种基于细粒度深度学习的阿尔兹海默症辅助诊断模型分类方法 | |
CN114445328A (zh) | 基于改进Faster R-CNN的医学影像脑肿瘤检测方法与系统 | |
CN115619706A (zh) | 一种基于深度学习的肺结节检测方法 | |
CN112190250B (zh) | 垂体瘤影像分类方法、系统及电子设备 | |
CN115100306A (zh) | 针对胰腺区域的四维锥束ct成像方法和装置 | |
Shimanto et al. | Brain tumor detection and classification by SVM algorithm and performance analysis through CNN approach | |
Shakoor | Lung tumour detection by fusing extended local binary patterns and weighted orientation of difference from computed tomography |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |