CN112634273B - 一种基于深度神经网络的脑转移瘤分割系统及其构建方法 - Google Patents

一种基于深度神经网络的脑转移瘤分割系统及其构建方法 Download PDF

Info

Publication number
CN112634273B
CN112634273B CN202110261890.1A CN202110261890A CN112634273B CN 112634273 B CN112634273 B CN 112634273B CN 202110261890 A CN202110261890 A CN 202110261890A CN 112634273 B CN112634273 B CN 112634273B
Authority
CN
China
Prior art keywords
module
model
image data
mri image
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110261890.1A
Other languages
English (en)
Other versions
CN112634273A (zh
Inventor
王晓宇
章毅
陈兢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202110261890.1A priority Critical patent/CN112634273B/zh
Publication of CN112634273A publication Critical patent/CN112634273A/zh
Application granted granted Critical
Publication of CN112634273B publication Critical patent/CN112634273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度神经网络的脑转移瘤分割系统及其构建方法，涉及图像分割领域，包括数据预处理模块、模型构建模块及模型训练模块；所述数据预处理模块用于消除MRI图像数据中的无关因素，使用精确直方图匹配算法进行处理用于避免不同的来源数据间存在的差异，使用数据增广的方法来获取一个更加鲁棒的模型构建模块；所述模型构建模块用于通过设计的深度神经网络模型从输入MRI图像数据中提取抽象特征；模型训练模块用于在构建完深度神经网络模型后，对模型构建模块中构建的模型进行训练，找到一组合适的权值，使得深度神经网络模型对目标函数最小。相对于现有技术本发明提供了一种比较成熟的脑转移瘤靶区自动勾画系统。

Description

一种基于深度神经网络的脑转移瘤分割系统及其构建方法
技术领域
本发明涉及图像分割领域，具体的涉及一种基于深度神经网络的脑转移瘤分割系统及其构建方法。
背景技术
脑转移瘤是原发于中枢神经系统以外，通过不同途径播散进入脑组织的肿瘤，是目前成人最常见的颅内肿瘤，是全身性肿瘤致残致死的主要原因。其发病率正随着全身肿瘤治疗的进展和肿瘤总生存期的延长而不断增长。全脑放射治疗(WBRT)来是治疗脑转移瘤的主要手段之一，降低脑转移瘤的死亡率，改善了生存质量，但其显著的降低患者神经认知功能。近年来，越来越多的证据支持使用立体定向放射外科(SRS)，外科(SRS)作为单一疗法得到了广泛的应用，且神经认知副作用最少。全脑放疗(WBRT)通常只适用于非常弥漫性疾病或没有可靠的全身药物的软脑膜病变。
立体定向放射外科(SRS)是应用离子射线通过精确靶点照射来治疗颅内疾病的一种无创不开颅的治疗方法。患者在接受SRS治疗之前，需拍摄磁共振图像（MagneticResonance Imaging, MRI），再由专业医生精确勾画出患者的靶区，实现摧毁癌细胞的同时，尽可能减少正常组织或器官受到的辐射影响。靶区指肿瘤所在区域和潜在的受侵组织，基于患者的MRI影像，准确勾画出患者靶区的边界，这一过程在伽玛刀治疗中称为靶区勾画。靶区勾画是放疗的关键一步，靶区勾画范围太大将使正常器官受到辐射影响，而勾画范围过小将无法实现癌症的有效治疗。但是目前暂未有比较成熟的脑转移瘤靶区自动勾画系统。
发明内容
本发明的目的在于：针对上述存在的问题，本发明提供了一种基于深度神经网络自动分割MRI上脑转移瘤靶区，提供一种基于深度神经网络的脑转移瘤分割系统及其构建方法。
本发明采用的技术方案如下：
一种基于深度神经网络的脑转移瘤分割系统，包括数据预处理模块、模型构建模块及模型训练模块；
所述数据预处理模块对脑部MRI图像数据进行脑部区域提取以消除MRI图像数据中的无关因素；使用精确直方图匹配算法进行处理脑部MRI图像以避免不同的来源数据间存在的差异；使用数据增广的方法扩充训练样本的多样性，来获取一个更加鲁棒的模型构建模块；
所述模型构建模块用于通过设计的深度神经网络模型从输入MRI图像数据中提取抽象特征，并根据提取到的抽象特征进行预测；
模型训练模块用于在构建完深度神经网络模型后，对模型构建模块中构建的模型进行训练，找到一组合适的权值，使得深度神经网络模型对目标函数最小。
其中，神经网络由神经元以及神经元之间的连接组成，神经网络分为输入层、隐藏层和输出层。而深度神经网络通过多个隐藏层从输入图像中提取抽象特征，并由输出层根据提取到的特征进行预测。深度神经网络与浅层神经网络相比，“深度”体现在隐层数量更多，连接方式更加灵活和复杂，具有更强大的非线性表达能力，能从输入图像中提取到更本质特征，从而实现更高精度的预测。
优选地，所述模型构建模块设计的深度神经网络模型包括编码模块、融合模块、解码模块三个模块；
所述编码模块的编码器由一系列的下采样模块构成，下采样模块之间使用2x2最大池化层连接，池化层用于提取MRI图像数据的特征，同时每个下采样模块都与同级和下级的特征融合模块之间存在特征图的传输，使多层次特征能够得到很好的融合；
由于图像分割一个重点就是如何融合各层次特征，本算法使用一个专门的融合模块实现特征的融合；本发明所述融合模块包括多个特征融合模块，特征融合模块是由五个卷积模块构成，卷积模块与卷积模块之间存在着捷径连接，从上往下每一级卷积模块都存在着与多个下级卷积模块的捷径连接；特征融合模块至少有一个外部输入；特征融合模块可能存在1，2，3，4，5个外部输入，可以按照外部输入的数量从上自下来决定这五个输入是否都存在值，这样可以让高纬度特征经历更多卷积模块，使之与低纬度特征更好地融合。
所述解码模块用于将特征恢复到原始输入的大小，并在像素级为输入图像进行归类；解码模块的上采样模块包括三个卷积模块串联而成，上采样模块间是由多个向上取样层连接成，解码模块的输入来自特征融合模块融合的多层次特征，从而使模型收敛。
优选的，所述编码器的下采样模块是由一个1x1卷积层加三个空洞卷积层构成的，最后输出是由三个空洞卷积层的输出合并而成。1x1卷积主要用于调整特征图的通道数，三个空洞卷积能够帮助在不同尺度下提取图像的特征，使得最后输出的合并特征图语义信息更加丰富。
本发明的第二个目的是提供一种基于深度神经网络的脑转移瘤分割系统的构建方法，包括如下步骤：
步骤1：数据预处理：包括脑部区域提取、对比度统一及数据增广；
步骤2：模型构建：包括构建编码模块、构建融合模块及构建解码模块；
步骤3：模型训练：包括前向计算、权值更新及模型测试。
优选地，所述数据预处理包括以下步骤：
由于不同设备及采集参数不同，不同站点得到的原始脑部图像存在差异；不同站点常见的采集大小为512x512或256x256；以大小为512x512的图像举例，脑部区域通常占原图中的大小比例为50%-75%。步骤一：脑部区域提取：首先读入MRI图像数据的序列，使用骨骼的窗宽窗位转换MRI图像数据数组；遍历所有序列的MRI图像数据，对每张MRI图像数据使用阈值法提取包含头骨的最小矩形，记录最小矩形左上角和右下角的坐标；遍历完成后，取序列中提取到的所有最小矩形中面积最大的矩形，然后将面积最大的矩形的短边长度两边扩展，使得短边长度等于长边，得到一个正方形，使用所述正方形坐标提取所有序列的MRI图像数据中所有帧的有效区域；最后将得到的有效区域使用三次立方插值法统一尺寸到Nx256x256；
步骤二：对比度统一：采用精确直方图匹配算法通过制定所需的图像的直方图来改善原图像的对比度；
步骤三：数据增广：在使用模型训练数据前，对输入的经过步骤一和步骤二处理后的MRI图像数据根据窗位进行归一化操作，并进行随机翻转、平移、旋转，扩充训练样本的多样性，从而使模型学习到具有更强鲁棒性的特征，缓解模型的过拟合现象。
优选地，步骤一中脑部图像序列用NxWxH表示，其中N表示当前序列中图像的帧数，W表示宽度，H表示图像高度。
优选地，所述对比度统一的具体的方法包括：首先通过计算标准图像（由医生选择指定的一张标准的脑部MRI图像与输入MRI图像数据的累计直方图，然后通过S找两个累积直方图距离最近的点来获得每个灰度级之间的映射关系，计算公式如下：
Figure 778607DEST_PATH_IMAGE001
Figure 899009DEST_PATH_IMAGE002
Figure 491796DEST_PATH_IMAGE003
其中，S是指标准图像与输入MRI图像在对比度统一后的累计直方图，T(r)为输入 MRI图像数据r的累计直方图，L为256，
Figure 90267DEST_PATH_IMAGE004
指的是MRI图像数据r的概率密度分布函数，w为 MRI图像数据r的灰度值，G(z)为输入MRI图像数据z的累计直方图，
Figure 717689DEST_PATH_IMAGE005
指的是MRI图像数据 z的概率密度分布函数， t为MRI图像数据z的灰度值，
Figure 930364DEST_PATH_IMAGE006
指的是MRI图像数据z和MRI图像 数据x的之间像素的映射，
Figure 823496DEST_PATH_IMAGE006
要使得T(r)与G(z)之间的差值最小化；
其次，为了将同一个灰度级的像素点区分开来，精确直方图匹配算法使用向量运 算符
Figure 287976DEST_PATH_IMAGE007
来代替单纯使用每个像素点的像素值作为排序的标准；向量运算 符是通过某一种核来把一个像素点周围的点都纳入到计算，来获得一个新的值来代表该像 素点，在不改变像素点原来相对排序关系的基础上，通过不断增加向量运算符核的大小，最 终可以获得一个所有像素点都能互相区别的排序关系，具体核定义如下：
Figure 910849DEST_PATH_IMAGE008
Figure 107475DEST_PATH_IMAGE009
Figure 314335DEST_PATH_IMAGE010
Figure 892426DEST_PATH_IMAGE011
Figure 150232DEST_PATH_IMAGE012
Figure 173552DEST_PATH_IMAGE013
。
优选的，所述模型训练包括如下具体步骤：
步骤1：前向计算：对一个L层的前馈神经网络，设其训练样本集合为
Figure 775697DEST_PATH_IMAGE014
，其中，R为实数域，m为单个样本的维度，n为训练样本的个数,那么第
Figure 768929DEST_PATH_IMAGE015
个样本可表示为
Figure 615663DEST_PATH_IMAGE016
；设第
Figure 311349DEST_PATH_IMAGE017
层的第
Figure 633745DEST_PATH_IMAGE018
个神经元到
Figure 666555DEST_PATH_IMAGE019
层的第
Figure 23587DEST_PATH_IMAGE020
个神经元连接权值记为
Figure 998496DEST_PATH_IMAGE021
，那么第
Figure 168708DEST_PATH_IMAGE017
层到
Figure 379110DEST_PATH_IMAGE019
层的连接权值矩阵
Figure 934856DEST_PATH_IMAGE022
；设第
Figure 831399DEST_PATH_IMAGE017
层上神经元的激活函数为
Figure 862809DEST_PATH_IMAGE023
，从输入层到输出层，不断进行前向计算，其过程为：
Figure 486688DEST_PATH_IMAGE024
其中，
Figure 178832DEST_PATH_IMAGE025
表示第
Figure 620178DEST_PATH_IMAGE017
层神经元对于第
Figure 14250DEST_PATH_IMAGE015
个样本的激活值；那么网络输出层神经元的激活值为：
Figure 192553DEST_PATH_IMAGE026
步骤2：权值更新：深度神经网络模型采用交叉熵作为分类或分割任务的目标函数，其定义如下：
Figure 847525DEST_PATH_IMAGE027
其中，
Figure 335138DEST_PATH_IMAGE028
与
Figure 830886DEST_PATH_IMAGE029
分别代表网络最后一层的输出与标签；深度神经网络模型通过求目标函数J对于权值的梯度，并迭代采用梯度下降算法，即可不断减小目标函数的值，从而找到一组合适的权值；梯度下降算法如下：
Figure 311415DEST_PATH_IMAGE030
其中
Figure 961839DEST_PATH_IMAGE031
代表的是学习率常数；
步骤3：模型测试：在深度神经网络模型训练完成之后，评价指标定量地评价模型在测试集上的识别效果，评价指标包括TPVF、PPV、DSC，其定义如下：
Figure 980873DEST_PATH_IMAGE032
Figure 598805DEST_PATH_IMAGE033
Figure 368178DEST_PATH_IMAGE034
中VS与VG 分别代表模型预测的正样本像素数目与真实正样本像素数目；TPVF代表 所有真实的正样本像素中有多少被预测正确，PPV代表所有预测的正样本像素中有多少是 真实的正样本，DSC则是一种同时权衡了
Figure 764786DEST_PATH_IMAGE035
和PPV的指标。
与现有的技术相比本发明的有益效果是：
1）本发明由深度神经网络模型自动分割脑部MRI中的靶区和危及器官；模型训练完成后，仅需输入患者、CT图像，模型即可自动输出靶区以及危及器官的分割结果，该过程不需要人工提取特征或设定参数；
2）本发明的深度神经网络模型一经训练完成，能够在数分钟内将患者的靶区和危及器官快速分割出来，有效地提高了医生的诊断效率；
3）本发明的模型将分割任务划分成三个模块：编码，融合，解码；对于同类型任务具有指导意义；
4）本发明的编码模块使用多尺度的空洞卷积，可以提取图像多个视野尺度的特征，使得模型具有更强的鲁棒性；
5）本发明的融合模块使用多个残缺模块，使得模型各个维度特征融合更加快速，加快了模型的收敛速度。
附图说明
图1为本发明的深度神经网络分割模型；
图2为本发明的下采样模块；
图3为本发明的特征融合模块；
图4为本发明的上采样模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
针对现有技术目前暂未有比较成熟的脑转移瘤靶区自动勾画系统；本发明提供一种基于深度神经网络的脑转移瘤分割系统，包括数据预处理模块、模型构建模块及模型训练模块；
所述数据预处理模块对脑部MRI图像数据进行脑部区域提取以消除MRI图像数据中的无关因素；使用精确直方图匹配算法进行处理脑部MRI图像以避免不同的来源数据间存在的差异；使用数据增广的方法扩充训练样本的多样性，来获取一个更加鲁棒的模型构建模块；
所述模型构建模块用于通过设计的深度神经网络模型从输入MRI图像数据中提取抽象特征，并根据提取到的抽象特征进行预测；本发明中设计的深度神经网络模型包括三个模块，如图1所示；
模型训练模块用于在构建完深度神经网络模型后，对模型构建模块中构建的模型进行训练，找到一组合适的权值，使得深度神经网络模型对目标函数最小。
其中，所述数据预处理包括以下步骤：
步骤一：脑部区域提取：首先读入MRI图像数据的序列，使用骨骼的窗宽窗位转换MRI图像数据数组；遍历所有序列的MRI图像数据，对每张MRI图像数据使用阈值法提取包含头骨的最小矩形，记录最小矩形左上角和右下角的坐标；遍历完成后，取序列中提取到的所有最小矩形中面积最大的矩形，然后将面积最大的矩形的短边长度两边扩展，使得短边长度等于长边，得到一个正方形，使用所述正方形坐标提取所有序列的MRI图像数据中所有帧的有效区域；最后将得到的有效区域使用三次立方插值法统一尺寸到Nx256x256；
步骤二：对比度统一：采用精确直方图匹配算法通过制定所需的图像的直方图来改善原图像的对比度；
步骤三：数据增广：在使用模型训练数据前，对输入的经过步骤一和步骤二处理后的MRI图像数据根据窗位进行归一化操作，并进行随机翻转、平移、旋转，扩充训练样本的多样性，从而使模型学习到具有更强鲁棒性的特征，缓解模型的过拟合现象。
其中，步骤一中脑部图像序列用NxWxH表示，其中N表示当前序列中图像的帧数，W表示宽度，H表示图像高度。
进一步地，所述对比度统一的具体的方法包括：首先通过计算标准图像与输入MRI图像数据的累计直方图，然后通过S找两个累积直方图距离最近的点来获得每个灰度级之间的映射关系，计算公式如下：
Figure 577891DEST_PATH_IMAGE001
Figure 168272DEST_PATH_IMAGE002
Figure 367434DEST_PATH_IMAGE003
其中，S是指标准图像与输入MRI图像在对比度统一后的累计直方图，T(r)为输入 MRI图像数据r的累计直方图，L为256，
Figure 976139DEST_PATH_IMAGE004
指的是MRI图像数据r的概率密度分布函数，w为 MRI图像数据r的灰度值，G(z)为输入MRI图像数据z的累计直方图，
Figure 976456DEST_PATH_IMAGE005
指的是MRI图像数据 z的概率密度分布函数， t为MRI图像数据z的灰度值，
Figure 414653DEST_PATH_IMAGE006
指的是MRI图像数据z和MRI图像 数据x的之间像素的映射，
Figure 306254DEST_PATH_IMAGE006
要使得T(r)与G(z)之间的差值最小化；
其次，为了将同一个灰度级的像素点区分开来，精确直方图匹配算法使用向量运 算符
Figure 520198DEST_PATH_IMAGE007
来代替单纯使用每个像素点的像素值作为排序的标准；向量运 算符是通过某一种核来把一个像素点周围的点都纳入到计算，来获得一个新的值来代表该 像素点，在不改变像素点原来相对排序关系的基础上，通过不断增加向量运算符核的大小， 最终可以获得一个所有像素点都能互相区别的排序关系，具体核定义如下：
Figure 583094DEST_PATH_IMAGE008
Figure 131756DEST_PATH_IMAGE009
Figure 46623DEST_PATH_IMAGE010
Figure 928122DEST_PATH_IMAGE011
Figure 489816DEST_PATH_IMAGE012
Figure 932298DEST_PATH_IMAGE013
。
其中，所述模型构建模块设计的深度神经网络模型包括编码模块、融合模块、解码模块三个模块；
所述编码模块的编码器由一系列的下采样模块构成，下采样模块之间使用2x2最大池化层连接，池化层用于提取MRI图像数据的特征，同时每个下采样模块都与同级和下级的特征融合模块之前存在特征图的传输，使多层次特征能够得到很好的融合；
所述融合模块包括多个特征融合模块，如图3所示，特征融合模块是由五个卷积模块构成，卷积模块与卷积模块之间存在着捷径（skip）连接，从上往下每一级卷积模块都存在着与多个下级卷积模块的捷径（skip）连接；特征融合模块至少有一个外部输入；特征融合模块可能存在1,2,3,4,5个外部输入，可以按照外部输入的数量从上自下来决定这五个输入是否都存在值，这样可以让高纬度特征经历更多卷积模块，使之与低纬度特征更好地融合。
所述解码模块用于将特征恢复到原始输入的大小，并在像素级为输入图像进行归类；解码模块的上采样模块（如图4所示）包括三个卷积模块串联而成，上采样模块间是由多个向上取样层连接成，解码模块的输入来自特征融合模块融合的多层次特征，从而使模型的收敛。
进一步地，所述编码器的下采样模块（如图2所示）是由一个1x1卷积层加三个空洞卷积层构成的，最后输出是由三个空洞卷积层的输出合并而成。1x1卷积主要用于调整特征图的通道数，三个空洞卷积能够帮助我们在不同尺度下提取图像的特征，使得最后输出的合并特征图语义信息更加丰富。
其中，所述模型训练包括如下具体步骤：
步骤1：前向计算：对一个L层的前馈神经网络，设其训练样本集合为
Figure 385276DEST_PATH_IMAGE014
，其中，R为实数域，m为单个样本的维度，n为训练样本的个数,那么第
Figure 477209DEST_PATH_IMAGE015
个样本可表示为
Figure 239497DEST_PATH_IMAGE016
；设第
Figure 405162DEST_PATH_IMAGE017
层的第
Figure 927410DEST_PATH_IMAGE018
个神经元到
Figure 219720DEST_PATH_IMAGE019
层的第
Figure 795320DEST_PATH_IMAGE020
个神经元连接权值记为
Figure 556603DEST_PATH_IMAGE021
，那么第
Figure 7175DEST_PATH_IMAGE017
层到
Figure 921036DEST_PATH_IMAGE019
层的连接权值矩阵
Figure 431652DEST_PATH_IMAGE022
；设第
Figure 571908DEST_PATH_IMAGE017
层上神经元的激活函数为
Figure 435959DEST_PATH_IMAGE023
，从输入层到输出层，不断进行前向计算，其过程为：
Figure 437282DEST_PATH_IMAGE024
其中，
Figure 354685DEST_PATH_IMAGE025
表示第
Figure 90560DEST_PATH_IMAGE017
层神经元对于第
Figure 882935DEST_PATH_IMAGE015
个样本的激活值；那么网络输出层神经元的激活值为：
Figure 240229DEST_PATH_IMAGE026
步骤2：权值更新：深度神经网络模型采用交叉熵作为分类或分割任务的目标函数，其定义如下：
Figure 968014DEST_PATH_IMAGE027
其中，
Figure 50239DEST_PATH_IMAGE028
与
Figure 741246DEST_PATH_IMAGE029
分别代表网络最后一层的输出与标签；深度神经网络模型通过求目标函数J对于权值的梯度，并迭代采用梯度下降算法，即可不断减小目标函数的值，从而找到一组合适的权值；梯度下降算法如下：
Figure 733473DEST_PATH_IMAGE030
其中
Figure 491213DEST_PATH_IMAGE031
代表的是学习率常数；
步骤3：模型测试：在深度神经网络模型训练完成之后，评价指标定量地评价模型在测试集上的识别效果，评价指标包括TPVF、PPV、DSC，其定义如下：
Figure 409535DEST_PATH_IMAGE032
Figure 153501DEST_PATH_IMAGE033
Figure 249501DEST_PATH_IMAGE034
中VS与VG 分别代表模型预测的正样本像素数目与真实正样本像素数目；TPVF代表 所有真实的正样本像素中有多少被预测正确，PPV代表所有预测的正样本像素中有多少是 真实的正样本，DSC则是一种同时权衡了
Figure 679608DEST_PATH_IMAGE035
和PPV的指标。
为了更好地阐述本发明技术方案的特点，以下将结合具体实例对本发明的技术方案进行说明。
1. 首先对输入的512x512的MRI数据进行预处理：
1）脑部区域提取：首先读入MRI图像数据的序列，使用骨骼的窗宽窗位转换MRI图像数据数组；遍历所有序列的MRI图像数据，对每张MRI图像数据使用阈值法提取包含头骨的最小矩形，记录最小矩形左上角和右下角的坐标；遍历完成后，取序列中提取到的所有最小矩形中面积最大的矩形，然后将面积最大的矩形的短边长度两边扩展，使得短边长度等于长边，得到一个正方形，使用所述正方形坐标提取所有序列的MRI图像数据中所有帧的有效区域；最后将得到的有效区域使用三次立方插值法统一尺寸到256x256；
2）对比度统一：采用精确直方图匹配算法通过制定所需的图像的直方图来改善原图像的对比度；
3）：数据增广：在使用模型训练数据前，对输入的MRI图像数据根据窗位进行归一化操作，并进行随机翻转、平移、旋转，扩充训练样本的多样性，从而使模型学习到具有更强鲁棒性的特征，缓解模型的过拟合现象。
2. 将预处理好的数据输入网络模型进行训练
1）首先通过编码模块对输入图像的特征进行编码。图像在编码过程中经过了5个下采样模块，每个下采样模块是由一个1x1卷积层加三个空洞卷积层构成的，最后网络的输出是由三个空洞卷积层（3x3 rate=6，3x3 rate=12，3x3 rate=18）的输出合并而成，1x1卷积主要用于调整特征图的通道数，三个空洞卷积能够帮助我们在不同尺度下提取图像的特征，使得最后编码出的特征图语义信息更加丰富。
2）为了融合不同维度的特征，编码好后的图像特征图将会被输入到融合模块中。在本发明中，特征融合模块（如图3所示）是由五个卷积模块构成，模块与模块之间存在着捷径（skip）连接，从上往下每一级卷积模块都存在着与多个下级模块的捷径（skip）连接。该模块可以有五个外部输入，就如同图2所示，特征融合模块存在1,2,3,4,5个外部输入。这样的结构可以让高纬度特征经历更多卷积模块，使之与低纬度特征更好地融合。
3）解码特征，重构分割结果。对于融合好的特征，本发明采用了五个上采样模块来对特征进行尺寸上的还原，每个上采样模块（如图4所示）主要三个卷积模块串联而成。上采样模块间是由多个向上取样层连接成，该模块的输入来自特征融合模块融合的多层次特征，这种特征能够有效地帮助模型的收敛。
3. 测试模型效果
在深度神经网络模型训练完成之后，需要定量地评价模型在测试集上的识别效果。所述图像分割性能指标包括TPVF、PPV、DSC；本实施例中TPVF为0.8091， PPV为0.9119，DSC为0.8574。
4. 模型系统使用
将步骤1中预处理完成后的图像输入到对应的分割网络当中，得到脑肿瘤靶区及危机器官的分割结果。
以上所述实施例仅表达了本申请的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请技术方案构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。

Claims (6)

1.一种基于深度神经网络的脑转移瘤分割系统，其特征在于，包括数据预处理模块、模型构建模块及模型训练模块；
所述数据预处理模块对脑部MRI图像数据进行脑部区域提取以消除MRI图像数据中的无关因素；使用精确直方图匹配算法进行处理脑部MRI图像以避免不同的来源数据间存在的差异；使用数据增广的方法扩充训练样本的多样性；
所述模型构建模块用于通过设计的深度神经网络模型从输入MRI图像数据中提取抽象特征；模型训练模块用于在构建完深度神经网络模型后，对模型构建模块中构建的模型进行训练，找到一组合适的权值，使得深度神经网络模型对目标函数最小；
所述模型构建模块设计的深度神经网络模型包括编码模块、融合模块、解码模块三个模块；
所述编码模块的编码器由一系列的下采样模块构成，下采样模块之间使用2x2最大池化层连接，池化层用于提取MRI图像数据的特征，同时每个下采样模块都与同级和下级的特征融合模块之间存在特征图的传输，使多层次特征能够得到很好的融合；
所述融合模块包括多个特征融合模块，特征融合模块是由五个卷积模块构成，卷积模块与卷积模块之间存在着捷径连接，从上往下每一级卷积模块都存在着与多个下级卷积模块的捷径连接；特征融合模块至少有一个外部输入；
所述解码模块用于将特征恢复到原始输入的大小，并在像素级为输入图像进行归类；解码模块的上采样模块包括三个卷积模块串联而成，上采样模块间是由多个向上取样层连接成，解码模块的输入来自特征融合模块融合的多层次特征，从而使模型收敛；
所述数据预处理模块还用于对MRI图像数据进行对比度统一、精确直方图匹配算法处理：其中对比度统一的具体方法包括：首先通过计算标准图像与输入MRI图像数据的累计直方图，然后通过S找到两个累计直方图距离最近的点来获得每个灰度级之间的映射关系，计算公式如下：
Figure FDA0003102047260000011
Figure FDA0003102047260000012
Figure FDA0003102047260000013
其中，S是指标准图像与输入MRI图像在对比度统一后的累计直方图，T(r)为输入MRI图像数据r的累计直方图，L为256，pr(w)指的是MRI图像数据r的概率密度分布函数，w为MRI图像数据r的灰度值，G(z)为输入MRI图像数据z的累计直方图，pz(t)指的是MRI图像数据z的概率密度分布函数，t为MRI图像数据z的灰度值，z(x)指的是MRI图像数据z和MRI图像数据x的之间像素的映射，z(x)要使得T(r)与G(z)之间的差值最小化；
其次，为了将同一个灰度级的像素点区分开来，精确直方图匹配算法使用向量运算符φ＝{φ1，φ2，φ3，φ4，φ5，φ6}来代替单纯使用每个像素点的像素值作为排序的标准；向量运算符是通过某一种核来把一个像素点周围的点都纳入到计算，来获得一个新的值来代表该像素点，在不改变像素点原来相对排序关系的基础上，通过不断增加向量运算符核的大小，最终可以获得一个所有像素点都能互相区别的排序关系，具体核定义如下：
Φ1＝[1]
Figure FDA0003102047260000021
Figure FDA0003102047260000022
Figure FDA0003102047260000023
Figure FDA0003102047260000024
Figure FDA0003102047260000025
2.根据权利要求1所述的一种基于深度神经网络的脑转移瘤分割系统，其特征在于，所述编码器的下采样模块是由一个1x1卷积层加三个空洞卷积层构成的，最后输出是由三个空洞卷积层的输出合并而成。
3.一种如权利要求1-2中任一所述的基于深度神经网络的脑转移瘤分割系统的构建方法，其特征在于，包括如下步骤：
步骤1：数据预处理：包括脑部区域提取、对比度统一及数据增广；
步骤2：模型构建：包括构建编码模块、构建融合模块及构建解码模块；
步骤3：模型训练：包括前向计算、权值更新及模型测试。
4.根据权利要求3所述的一种基于深度神经网络的脑转移瘤分割系统的构建方法，其特征在于，所述数据预处理具体包括以下步骤：
步骤一：脑部区域提取：首先读入MRI图像数据的序列，使用骨骼的窗宽窗位转换MRI图像数据数组；遍历所有序列的MRI图像数据，对每张MRI图像数据使用阈值法提取包含头骨的最小矩形，记录最小矩形左上角和右下角的坐标；遍历完成后，取序列中提取到的所有最小矩形中面积最大的矩形，然后将面积最大的矩形的短边长度两边扩展，使得短边长度等于长边，得到一个正方形，使用所述正方形坐标提取所有序列的MRI图像数据中所有帧的有效区域；最后将得到的有效区域使用三次立方插值法统一尺寸到Nx256x256；
步骤二：对比度统一：采用精确直方图匹配算法通过制定所需的图像的直方图来改善原图像的对比度；
步骤三：数据增广：在使用模型训练数据前，对输入的经过步骤一和步骤二处理后的MRI图像数据根据窗位进行归一化操作，并进行随机翻转、平移、旋转，扩充训练样本的多样性，从而使模型学习到具有更强鲁棒性的特征，缓解模型的过拟合现象。
5.根据权利要求4所述的一种基于深度神经网络的脑转移瘤分割系统的构建方法，其特征在于，步骤一中脑部的MRI图像数据用NxWxH表示，其中N表示当前序列中图像的帧数，W表示宽度，H表示图像高度。
6.根据权利要求3所述的一种基于深度神经网络的脑转移瘤分割系统的构建方法，其特征在于，所述模型训练包括如下具体步骤：
步骤1：前向计算：对一个L层的前馈神经网络，设其训练样本集合为X∈Rm×n，其中，R为实数域，m为单个样本的维度，n为训练样本的个数,那么第i个样本可表示为Xi；设第l层的第j个神经元到l+1层的第k个神经元连接权值记为
Figure FDA0003102047260000031
那么第l层到l+1层的连接权值矩阵W(l)；设第l层上神经元的激活函数为f(·)，从输入层到输出层，不断进行前向计算，其过程为：
Figure FDA0003102047260000041
其中，ai l表示第l层神经元对于第i个样本的激活值；那么网络输出层神经元的激活值为：ai L＝f(L-1)(W(L-1)·f(L-2)(W(L-2)…ai 0))
步骤2：权值更新：深度神经网络模型采用交叉熵作为分类或分割任务的目标函数，其定义如下：
Figure FDA0003102047260000042
其中，
Figure FDA0003102047260000043
与di分别代表网络最后一层的输出与标签；深度神经网络模型通过求目标函数J对于权值的梯度，并迭代采用梯度下降算法，即可不断减小目标函数的值，从而找到一组合适的权值；梯度下降算法如下：
Figure FDA0003102047260000044
其中α代表的是学习率常数；
步骤3：模型测试：在深度神经网络模型训练完成之后，评价指标定量地评价模型在测试集上的识别效果，评价指标包括TPVF、PPV、DSC，其定义如下：
Figure FDA0003102047260000045
Figure FDA0003102047260000046
Figure FDA0003102047260000047
中VS与VG分别代表模型预测的正样本像素数目与真实正样本像素数目；TPVF代表所有真实的正样本像素中有多少被预测正确，PPV代表所有预测的正样本像素中有多少是真实的正样本，DSC则是一种同时权衡了TPVF和PPV的指标。
CN202110261890.1A 2021-03-10 2021-03-10 一种基于深度神经网络的脑转移瘤分割系统及其构建方法 Active CN112634273B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110261890.1A CN112634273B (zh) 2021-03-10 2021-03-10 一种基于深度神经网络的脑转移瘤分割系统及其构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110261890.1A CN112634273B (zh) 2021-03-10 2021-03-10 一种基于深度神经网络的脑转移瘤分割系统及其构建方法

Publications (2)

Publication Number Publication Date
CN112634273A CN112634273A (zh) 2021-04-09
CN112634273B true CN112634273B (zh) 2021-08-13

Family

ID=75297684

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110261890.1A Active CN112634273B (zh) 2021-03-10 2021-03-10 一种基于深度神经网络的脑转移瘤分割系统及其构建方法

Country Status (1)

Country Link
CN (1) CN112634273B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113706695B (zh) * 2021-09-01 2023-06-23 杭州柳叶刀机器人有限公司 深度学习进行3d股骨头建模的系统及方法、存储介质
CN113744272B (zh) * 2021-11-08 2022-01-28 四川大学 一种基于深度神经网络的脑动脉自动勾画方法
CN113744271B (zh) * 2021-11-08 2022-02-11 四川大学 基于神经网络的视神经自动分割和受压迫程度测算方法
CN115018836A (zh) * 2022-08-08 2022-09-06 四川大学 一种癫痫病灶自动分割与预测方法、系统及设备

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9370304B2 (en) * 2012-06-06 2016-06-21 The Regents Of The University Of Michigan Subvolume identification for prediction of treatment outcome
CN103985114B (zh) * 2014-03-21 2016-08-24 南京大学 一种监控视频人物前景分割与分类的方法
CN104537632B (zh) * 2014-12-26 2017-07-11 武汉大学 基于边缘提取的红外图像直方图增强方法
CN104751457B (zh) * 2015-03-19 2017-12-22 浙江德尚韵兴图像科技有限公司 一种新的基于变分能量的肝脏分割方法
CN105139444B (zh) * 2015-07-31 2018-03-09 四川大学 基于岩心二维颗粒图像的三维颗粒结构重建方法
CN105447879B (zh) * 2015-12-15 2018-04-03 上海联影医疗科技有限公司 乳房图像中检测胸肌的方法及装置
CN109389587B (zh) * 2018-09-26 2021-07-16 上海联影智能医疗科技有限公司 一种医学图像分析系统、装置及存储介质
CN109472298B (zh) * 2018-10-19 2021-06-01 天津大学 用于小尺度目标检测的深度双向特征金字塔增强网络
CN110689083B (zh) * 2019-09-30 2022-04-12 苏州大学 一种上下文金字塔融合网络及图像分割方法
CN110751111B (zh) * 2019-10-24 2021-04-27 成都大成均图科技有限公司 基于高阶空间信息全局自动感知的道路提取方法和系统
CN111126202B (zh) * 2019-12-12 2022-03-04 天津大学 基于空洞特征金字塔网络的光学遥感图像目标检测方法
CN111192245B (zh) * 2019-12-26 2023-04-07 河南工业大学 一种基于U-Net网络的脑肿瘤分割网络及分割方法
CN111639704A (zh) * 2020-05-28 2020-09-08 深圳壹账通智能科技有限公司 目标识别方法、装置及计算机可读存储介质
CN111784704B (zh) * 2020-06-24 2023-11-24 中国人民解放军空军军医大学 Mri髋关节炎症分割与分类自动定量分级序贯方法
CN112102339B (zh) * 2020-09-21 2023-07-07 四川大学 一种基于图集配准的全身骨显像骨骼分割方法
CN111862096B (zh) * 2020-09-23 2021-06-18 平安科技（深圳）有限公司 图像分割方法、装置、电子设备及存储介质
CN112270660B (zh) * 2020-09-30 2022-09-09 四川大学 基于深度神经网络的鼻咽癌放疗靶区自动分割方法
CN112308092B (zh) * 2020-11-20 2023-02-28 福州大学 一种基于多尺度注意力机制的轻量型车牌检测与识别方法
CN112465820A (zh) * 2020-12-22 2021-03-09 中国科学院合肥物质科学研究院 基于语义分割的融合全局上下文信息的水稻病害检测方法

Also Published As

Publication number Publication date
CN112634273A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN112634273B (zh) 一种基于深度神经网络的脑转移瘤分割系统及其构建方法
CN109598727B (zh) 一种基于深度神经网络的ct图像肺实质三维语义分割方法
CN112270660B (zh) 基于深度神经网络的鼻咽癌放疗靶区自动分割方法
CN112184658B (zh) 用于非小细胞肺癌预后生存预测的方法、介质及电子设备
CN110930416B (zh) 一种基于u型网络的mri图像前列腺分割方法
CN106408001B (zh) 基于深度核哈希的感兴趣区域快速检测方法
CN112270666A (zh) 基于深度卷积神经网络的非小细胞肺癌病理切片识别方法
CN108629785B (zh) 基于自步学习的三维磁共振胰腺图像分割方法
CN112700461B (zh) 一种肺结节检测和表征类别识别的系统
CN115496771A (zh) 一种基于脑部三维mri图像设计的脑肿瘤分割方法
Khumancha et al. Lung cancer detection from computed tomography (CT) scans using convolutional neural network
Arif et al. Automated detection of nonmelanoma skin cancer based on deep convolutional neural network
Popescu et al. Retinal blood vessel segmentation using pix2pix gan
CN112598613A (zh) 一种用于肺癌智能诊断的基于深度图像分割和识别的测定方法
CN114596317A (zh) 一种基于深度学习的ct影像全心脏分割方法
Jabber et al. An intelligent system for classification of brain tumours with GLCM and back propagation neural network
Akkar et al. Diagnosis of lung cancer disease based on back-propagation artificial neural network algorithm
CN113539402B (zh) 多模态影像自动勾画模型迁移方法
CN112802036A (zh) 一种三维医学图像靶区分割的方法、系统和装置
CN116091412A (zh) 一种从pet/ct图像中分割肿瘤的方法
CN115797308A (zh) 一种基于dce-mri的乳腺肿瘤分割方法
CN115526898A (zh) 一种医学影像分割方法
CN115100306A (zh) 针对胰腺区域的四维锥束ct成像方法和装置
CN112190250B (zh) 垂体瘤影像分类方法、系统及电子设备
CN115131280A (zh) 一种融合注意力机制的改进YOLO v4肺结节检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant