CN115115628B - 一种基于三维精细化残差网络的腔隙性脑梗死识别系统 - Google Patents

一种基于三维精细化残差网络的腔隙性脑梗死识别系统 Download PDF

Info

Publication number
CN115115628B
CN115115628B CN202211036544.4A CN202211036544A CN115115628B CN 115115628 B CN115115628 B CN 115115628B CN 202211036544 A CN202211036544 A CN 202211036544A CN 115115628 B CN115115628 B CN 115115628B
Authority
CN
China
Prior art keywords
residual error
network
module
lacunar infarction
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211036544.4A
Other languages
English (en)
Other versions
CN115115628A (zh
Inventor
宋林
杜怡峰
刘治
陶可猛
魏艳军
王佳丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Provincial Hospital Affiliated to Shandong First Medical University
Original Assignee
Shandong Provincial Hospital Affiliated to Shandong First Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Provincial Hospital Affiliated to Shandong First Medical University filed Critical Shandong Provincial Hospital Affiliated to Shandong First Medical University
Priority to CN202211036544.4A priority Critical patent/CN115115628B/zh
Publication of CN115115628A publication Critical patent/CN115115628A/zh
Application granted granted Critical
Publication of CN115115628B publication Critical patent/CN115115628B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及计算机辅助医疗技术领域，公开了一种基于三维精细化残差网络的腔隙性脑梗死识别系统，包括：图像获取模块，用于获取脑磁共振T1成像模式的图像；腔隙性脑梗死识别模块，用于基于预先训练的腔隙性脑梗死识别模型，对所述图像进行腔隙性脑梗死识别；其中，所述腔隙性脑梗死识别模型基于三维精细化残差网络训练得到，所述三维精细化残差网络包括依次连接的多个卷积层、全局平均池化层、多个残差模块和全连接网络。本发明基于三维精细化残差网络构建腔隙性脑梗死识别模型，能够实现腔隙性脑梗死的自动分割、识别和提取，辅助医生做出诊断。

Description

一种基于三维精细化残差网络的腔隙性脑梗死识别系统
技术领域
本发明属于计算机辅助医疗技术领域，尤其涉及一种基于三维精细化残差网络的腔隙性脑梗死识别系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
腔隙性脑梗死占缺血性脑梗死的20%-30%，其病灶是一种直径为3-15mm的圆形或者卵圆形的位于皮层下由液体填充的小腔，称为腔隙（Lacune），它是脑小血管疾病最常见的影像学表现之一。腔隙性脑梗死灶较小，通常无或仅表现为轻微的神经功能缺损症状，常常被忽视而导致漏诊，延误患者治疗，影响其预后。而且其导致的患者临床特征具有显著的异态性，腔隙的部位、数量的差异对患者的神经功能缺损症状以及症状的严重程度所产生的影响不尽相同。为了腔隙性脑梗死的早期干预和二级预防，针对腔隙性梗死灶的准确诊断就显的尤为重要。研究表明，导致腔隙梗死灶发生的主要原因是大脑半球、脑干深部的小的深穿动脉管壁出现病变，此类动脉直径在100-400μm之间，并且没有分支和终支吻合支，向大脑半球的深部区域提供血液供应。因而腔隙多分布于此类动脉的供血区，常见部位为豆状核、丘脑、脑桥、基底核、内囊、尾状核等。由于其特殊的病理过程，腔隙在磁共振Fliar序列图像上往往呈现出中间部位与脑脊液相似的低信号，周围有平滑高信号的圆形或类圆形的病灶。在腔隙的肉眼识别过程中，其极易与血管周围间隙相混淆。但与腔隙不同的是，血管周围间隙在T2加权像或者FLAIR图像上没有围绕病灶的高信号圈（病灶跨越白质高信号区的情况除外，这时就需要依靠依靠二者形态的差异，对其作出区分）。
通常腔隙性脑梗死灶会以CT图像或磁共振图像的形式呈现给医务人员，相较于CT图像，磁共振图像更清晰，检出率更高。目前先进的磁共振成像技术主要有3D-T1加权成像、T2加权成像、流体衰减翻转恢复（FLAIR）成像。这三种成像方法，虽然改善了人类识别腔隙的性能，但是值得注意的是由人工来识别腔隙不但会有主观性，而且会耗费大量的人力和时间。
随着现代科学技术特别是深度学习技术的进步，半自动的腔隙性脑梗死灶识别技术得到了飞速的发展，并且越来越成为现代临床医学诊断与医疗的有力工具。尽管腔隙性脑梗死灶识别技术在磁共振成像领域取得的了巨大的成功，但是，受到机理和材料技术等限制，由现行的医学影像设备成像结合医生识别来确定腔隙性脑梗死灶的方法在许多方面不尽如意，例如磁共振成像的空间分辨率不够高，腔隙灶易与血管周围间隙混淆等，加之医生之间的阅片水平存在差距，这就导致了由肉眼观察所确定的病灶存在一定几率的误判。
发明内容
为克服上述现有技术的不足，本发明提供了一种基于三维精细化残差网络的腔隙性脑梗死识别系统，基于三维精细化残差网络构建腔隙性脑梗死识别模型，能够实现腔隙性脑梗死的自动分割、识别和提取，辅助医生做出诊断。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
一种基于三维精细化残差网络的腔隙性脑梗死识别系统，包括：
图像获取模块，用于获取脑磁共振T1成像模式的图像；
腔隙性脑梗死识别模块，用于基于预先训练的腔隙性脑梗死识别模型，对所述图像进行腔隙性脑梗死识别；其中，所述腔隙性脑梗死识别模型基于三维精细化残差网络训练得到，所述三维精细化残差网络包括依次连接的多个卷积层、全局平均池化层、多个残差模块和全连接网络。
进一步地，所述残差模块的输入分为两路，一路连接n个卷积层，另一路连接n-1个卷积层，且两路的输出相融合作为所述残差模块的输出，其中，n大于1。
进一步地，每个所述卷积层后均连接批归一化和Relu激活函数。
进一步地，所述三维精细化残差网络中，所述多个残差模块依次连接，且在前的残差模块均包括两个输出端，一个输出端连接至下一个残差模块，另一个输出端连接至通道注意力支路，最后一个残差模块以前一个残差模块和通道注意力支路的输出作为输入。
进一步地，所述三维精细化残差网络包括四个依次连接的残差模块和三个依次连接的通道注意力模块，第一残差模块和第二残差模块的另一个输出端均连接至第一通道注意力模块，第三残差模块的另一个输出端均连接至第二通道注意力模块，第三通道注意力模块的输出端连接至第四残差模块。
进一步地，所述通道注意力模块包括依次连接的拼接层、全局池化层、第一卷积层、Relu函数、第二卷积层和sigmoid激活函数，且所述sigmoid激活函数的输出与拼接层的输出融合作为所述通道注意力模块的输出。
进一步地，所述全连接网络为三层全连接网络，第一层包括200个神经元，第二层包括100个神经元，第三层包括2个神经元。
进一步地，所述全连接网络连接Tversky损失函数。
进一步地，所述腔隙性脑梗死识别模型的训练方法包括：
获取多组带标签的脑磁共振T1加权图像，分别将T1加权图像和标签转换为矩阵数据，形成多组训练数据；
根据所述多组训练数据，基于三维精细化残差网络训练得到腔隙性脑梗死识别模型。
进一步地，将每组T1加权图像和标签转换为矩阵数据后，还结合标签相应的矩阵数据，确定该组T1加权图像中腔隙区域开始和结束的切片，分别向外扩展多个切片图像，得到一组训练数据。
以上一个或多个技术方案存在以下有益效果：
为增加腔隙与血管周围间隙的区分度，本申请基于三维精细化残差网络进行腔隙性脑梗死的识别，所述三维精细化残差网络的开始加入全局平均池化提取上下文语义信息，使得提取的信息具有一致性，全局平均池化层后连接由残差模块组成的多尺度残差网络，兼顾了空间细节和语义信息，从而能够更全面的捕获图像特征，为后续的分割提供保障，最后通过全连接网络实现分类，提高了分类精度。
在多尺度残差网络基础上，为了对低级阶段到高级阶段的空间细节和语义信息进行融合，增加了通道注意力模块，避免了图片分辨率消失的问题，达到更精确的分割。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例中所述三维精细化残差网络架构图；
图2为本发明实施例中所述三维精细化残差网络中残差模块的结构图；
图3为本发明实施例中所述三维精细化残差网络中通道注意力模块的结构图；
图4为基于本发明实施例中所述系统进行腔隙性脑梗死识别的精确率（precision）曲线图；
图5为基于本发明实施例中所述系统进行腔隙性脑梗死识别的准确率（accuracy）曲线图；
图6为基于本发明实施例中所述系统进行腔隙性脑梗死识别的Dice指标曲线图；
图7为基于本发明实施例中所述系统进行腔隙性脑梗死识别的预测标签图和真实的标签。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
为了实现腔隙性脑梗死识别的准确性和实时性，本实施例提供了一种基于三维精细化残差网络的腔隙性脑梗死识别系统，包括：
图像获取模块，用于获取脑磁共振T1成像模式的图像，又称T1加权图像。
通过磁共振扫描仪采集被测对象的脑部MR图像，MR图像具有多个成像参数，即MR图像具有反映T1弛豫时间的T1值、反映T2弛豫时间的T2值以及反映质子密度的弛豫时间值等。MR图像若主要反映的是组织间T1值差别，则为T1加权图像（T1 Weighted Image,T1WI）；若主要反映的是组织间T2值差别，则为T2加权图像（T2 Weighted Image, T2WI）；若主要反映的是组织间质子密度弛豫时间差别，则为质子密度加权图像(ProtonDensityWeighted Image，PDWI)。本实施例采用T1加权图像。
所述T1加权图像为三维数据，包括多个二维切片图像，在进行腔隙性脑梗死识别之前，首先进行预处理，将所述T1加权图像转换为矩阵数据。
腔隙性脑梗死识别模块，用于基于预先训练的腔隙性脑梗死识别模型，对所述图像进行腔隙性脑梗死识别。
所述腔隙性脑梗死识别模型的训练方法包括：
步骤1：对所述图像进行预处理，剔除了一些无关背景，并考虑了体素周围10张图片的上下文语义信息。
所述步骤1具体包括：
步骤1.1：获取多组带标签的脑磁共振T1加权图像，分别将T1加权图像和标签转换为矩阵数据。所述T1加权图像为三维数据，包括多个二维切片图像，每个二维图像均可通过二维矩阵表示，多个二维图像组成的三维数据通过三维矩阵表示，具体地，分别获取多个二维切片图像和标签数据，并转换为矩阵数据。其中，标签矩阵数据中，分别用0和1表示背景和脑部区域的腔隙灶。本实施例借助Python语言实现。
步骤1.2：对于每组带标签的脑磁共振T1加权图像，均进行以下预处理，获取多组训练数据：将每组T1加权图像和标签转换为矩阵数据后，还结合标签相应的矩阵数据，确定该组T1加权图像中腔隙区域开始和结束的切片，分别向外扩展多个切片图像，得到一组训练数据。
结合所述标签相应的矩阵数据，识别出具有标签1的相应切片；然后查找带有标签1的二维矩阵索引位置，分别记为start_image和end_image，分别用于表示三维图片含有标签的开始的切片位置和结束的切片位置。按照标签开始和结束的位置信息，将三维数据图片进行截取，保留我们需要的脑部区域，另外，我们在含有标签的基础上向外扩张了10张图像。
通过上述预处理，一方面通过标签的识别剔除了无关背景，另一方面，为了提高后续模型对腔隙的区分能力，考虑了腔隙区域体素周围多幅图像作为上下文语义信息。
再进行了上述处理之后，还进行了训练数据的扩增，包括随机裁剪、随机翻转和尺度变换等方式。
每个腔隙尺寸大小大约在5-10立方mm，在一幅图中，含有腔隙的标签的数量在2到15个数量之内，其他的均为无关的背景信息。首先，对于腔隙样本，在其z轴方向上，我们选取含有腔隙的样本，之后，在含有腔隙样本的基础之上开始和结尾处再扩张10张图片。最后，我们将所有的得到的腔隙样本随机裁剪为0.6乘0.6乘0.6立方毫米大小，然后将得到的腔隙使用随机翻转和尺度变换增强六倍，得到4000多个腔隙。
步骤2：根据所述多组训练数据，基于三维精细化残差网络训练得到腔隙性脑梗死识别模型。
其中，如图1所示，所述三维精细化残差网络包括依次连接的多个卷积层、全局平均池化层、多个残差模块（ResNet）和全连接网络，其中，所述多个残差模块依次连接，在前的残差模块均包括两个输出端，一个输出端连接至下一个残差模块，另一个输出端连接至通道注意力支路，最后一个残差模块以前一个残差模块和通道注意力支路的输出作为输入。具体地，所述残差模块的数量记为N，所述通道注意力支路包括N-1个通道注意力模块，第一通道注意力模块以第一残差模块和第二残差模块的输出作为输入，第二通道注意力模块以第三残差模块和第一通道注意力模块的输出作为输入，……，第i通道注意力模块以第i+1残差模块和第i-1通道注意力模块的输出作为输入，2≤i≤N-2，第N-1通道注意力模块以第N-2通道注意力模块的输出为输入，输出端连接至第N残差模块，所述第N残差模块连接至全连接网络。
残差网络是对数据进行二分类的有效方法，采用残差网络中的残差模块作为分割的主干网络，另外为了增加网络的全局信息，例如分割标签的边缘和纹理，在网络开始，加入全局平均池化，来提取上下文语义信息，使得提取的信息具有一致性。除此之外，为了提高腔隙的分割效果，还加入了通道注意力模块。通过全局平均池化和卷积结合能够提取到全局的上下文语义信息，由低级残差模块的提取到的特征图和高级阶段的提取的特征图做融合并生成对应的权重去更新各支路上的特征信息，能够增强腔隙和背景之间的区别。
所述多个残差模块不同的阶段具有不同的分割能力，在低级阶段，网络具有更高的空间细节信息和小的感受野，而在高级阶段，网络具有大的感受野和更高的语义信息，根据这个特点，本实施例使用通道注意力模块将低级阶段的信息融合到高级阶段，以防止图片分辨率消失的问题，达到更精确的分割。本实施例中，综合精度和实时性，选取了四个残差模块作为特征提取的主干网络，同时使用精细化网络，帮助主干网络对于腔隙的特征通道赋予多的权重，对于背景信息的特征赋予低的权重。具体地，所述三维精细化残差网络包括四个依次连接的残差模块和三个依次连接的通道注意力模块。第一残差模块具有两个输出端，一个输出端连接至第二残差模块，另一个输出端连接至第一通道注意力模块；第二残差模块具有两个输出端，一个输出端连接至第三残差模块，另一个输出端连接至第一通道注意力模块，第一通道注意力模块的输出端连接至第二通道注意力模块；第三残差模块具有两个输出端，一个输出端连接至第四残差模块，另一个输出端连接至第二通道注意力模块，第二通道注意力模块的输出端连接至第三通道注意力模块，第三通道注意力模块的输出端连接至第四残差模块。第四残差模块的输出端与全连接网络连接。
如图2所示，所述残差模块也包括主干网络和分支网络，所述主干网络包括依次连接的多个卷积层，所述分支网络也包括多个依次连接的卷积层，且分支网络中卷积层的数量比主干网络少一个。所述残差模块的输入分别连接主干网络和分支网络，所述主干网络和分支网络的输出的结合记为所述残差模块的输出。通过堆叠卷积层，来提取更加主要的特征。每个所述卷积层后均连接批归一化和Relu激活函数，批归一化的作用是为了防止网络训练不稳定，出现梯度爆炸的问题，而Relu激活函数则是提高网络的非线性和拟合能力。此外，所述残差模块中还增加了跳跃连接结构，跳跃连接主要的功能是将前面的特征整合到主路径中。本实施例中，所述残差模块的主干网络包括两个卷积层，分支网络包括一个卷积层。
由于所使用的原数据少，会造成网络过拟合，为了防止网络过拟合，我们在每一个残差模块后面加入了0.5倍的随机失活。加入批归一化（BN）是为了防止网络训练过程中不收敛的问题。
如图3所示，所述通道注意力模块包括依次连接的拼接层（concat）、全局池化层（Global pool）、第一卷积层（conv）、Relu函数、第二卷积层（conv）和sigmoid激活函数，且所述sigmoid激活函数的输出与拼接层的输出融合作为所述通道注意力模块的输出。
所述全连接网络为三层全连接网络，第一层包括200个神经元，第二层包括100个神经元，第三层也即输出层，包括2个神经元，所述输出层输出的输出即为腔隙的分数值。
为了弥补正负样本的均衡性，本实施例中全连接网络采用Tversky loss损失函数，对于脑腔隙数据集，里面的背景比我们关注的对象多200倍，为此，我们在数据预处理方面，剔除了一些无关背景，并考虑了体素周围10张图片的上下文语义信息。虽然取得了一定的效果，但是召回率的值依然达不到理想的效果。如果不平衡标签和背景，在学习的工程中，很有可能陷入局部极小值。为了弥补正负样本的均衡性，所以我们使用了Tversky loss损失函数，对于脑腔隙数据集，里面的背景比我们关注的对象多200倍，为此，我们在数据预处理方面，剔除了一些无关背景，并考虑了体素周围10张图片的上下文语义信息。虽然取得了一定的效果，但是召回率的值依然达不到理想的效果。如果不平衡标签和背景，在学习的工程中，很有可能陷入局部极小值。损失函数公式如下所示：
Figure DEST_PATH_IMAGE001
其中，A代表预测，B代表真实标签，
Figure 463696DEST_PATH_IMAGE002
代表FP（假阳性），
Figure DEST_PATH_IMAGE003
代表FN（假阴性），α、β是分别控制假阴性和假阳性的系数。由此，通过调节α、β可以控制假阳性和假阴性的比例，通过调节α、β的大小能够调整网络的泛化性能。
在训练得到模型之后，我们使用五折交叉验证来训练、验证和测试该模型。通过五折交叉验证，能够确保所有的数据都被测试了一次。然后将测试的结果取平均。训练过程中，初始学习率设置为0.001，选用的优化器为Adam。我们在验证集上测试我们的模型并评估模型。
为了体现实验的效果，我们选取Dice、精确率（precision）和准确率（accuracy）作为评估指标。
如图4，横坐标表示迭代次数，纵坐标表示精确率（precision）（%），实线表示仅采用多个残差模块级联，网络分别训练到500步、1000步、1500步、2000步、2500步和3000步，每一步输入两个图片，验证得出的精确率。虚线表示采用多个残差模块和多个通道注意力模块（CAB），然后网络每训练500步，每步输入2张图片验证出来的精确率。从图中可以看出，从图中可以看出，未加入CAB模块和加入CAB模块之后，精度区分不大，这也意味着，模型在预测对的情况下和真实的腔隙数量相比来说精确率差别不大。
如图5所示，横坐标表示迭代次数，纵坐标表示准确率（accuracy）（%），实线表示仅采用多个残差模块级联，网络分别训练到500步、1000步、1500步、2000步、2500步和3000步，每一步输入两个图片，验证得出的准确率。虚线表示虚线表示采用多个残差模块和多个通道注意力模块（CAB），然后网络每训练500步，每步输入2张图片验证出来的准确率。可以看出，随着迭代次数的增加，加入通道注意力模块相比仅采用残差模块，精度优势越来越明显。在保证了迭代次数的基础上，加入通道注意力模块之后，准确率由75%提升到了80%。通过分析，造成20%错误率的主要因素在于正例样本太少并且样本体积小，而类似非腔隙的背景比例占比较多。
如图6所示，横坐标表示迭代次数，纵坐标表示相似度（Dice）（%），实线表示仅采用多个残差模块级联，网络分别训练到500步、1000步、1500步、2000步、2500步和3000步，每一步输入两个图片，验证得出的准确率。虚线表示虚线表示采用多个残差模块和多个通道注意力模块（CAB），然后网络每训练500步，每步输入2张图片验证出来的相似度。相似度表示计算预测为腔隙的集合和真实腔隙之间的相似度，在迭代3000次的时候，加入通道注意力模块后的dice值为72%，相对于未加通道注意力模块的精度有明显提升。这也验证了，加入通道注意力模块的重要性。并且可以看出，当网络训练到1800步时，预测与真实的腔隙的相似度相同，而当大于1800步时，加入CAB模块的网络相比不加CAB模块精度上升的更多。在网络训练的初期，初始化参数保持一致，通过学习了大量的数据之后，模型会不断的拟合我们需要分割的对象，通道注意力所分配的概率参数在损失函数监督之下不断的优化。
我们的网络在少量数据集之下，训练出来的模型，极少数图片会出现过拟合的情况，导致真实标签的数量和真实标签的数量不一致。另外，一般情况下，病变的腔隙数量要远远低于非病变的腔隙数量，所以为了提高dice指标，解决类别不平衡的问题，我们使用Tversky损失函数，以解决类别不平衡的问题，在精度和dice之间找到更好的平衡。通过调节α、β的大小来调整网络的泛化性能，在这个实验当中，我们设置α=0.3，β=0.7。
如图7所示，圆形标出的是真实标签，正方形标出的是预测的腔隙。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (8)

1.一种基于三维精细化残差网络的腔隙性脑梗死识别系统，其特征在于，包括：
图像获取模块，用于获取脑磁共振T1成像模式的图像；
腔隙性脑梗死识别模块，用于基于预先训练的腔隙性脑梗死识别模型，对所述图像进行腔隙性脑梗死识别；其中，所述腔隙性脑梗死识别模型基于三维精细化残差网络训练得到，所述三维精细化残差网络包括依次连接的多个卷积层、全局平均池化层、多个残差模块和全连接网络；
所述三维精细化残差网络包括四个依次连接的残差模块和三个依次连接的通道注意力模块，第一残差模块和第二残差模块的另一个输出端均连接至第一通道注意力模块，第三残差模块的另一个输出端均连接至第二通道注意力模块，第三通道注意力模块的输出端连接至第四残差模块。
2.如权利要求1所述的基于三维精细化残差网络的腔隙性脑梗死识别系统，其特征在于，所述残差模块的输入分为两路，一路连接n个卷积层，另一路连接n-1个卷积层，且两路的输出相融合作为所述残差模块的输出，其中，n大于1。
3.如权利要求2所述的基于三维精细化残差网络的腔隙性脑梗死识别系统，其特征在于，每个所述卷积层后均连接批归一化和Relu激活函数。
4.如权利要求1所述的基于三维精细化残差网络的腔隙性脑梗死识别系统，其特征在于，所述通道注意力模块包括依次连接的拼接层、全局池化层、第一卷积层、Relu函数、第二卷积层和sigmoid激活函数，且所述sigmoid激活函数的输出与拼接层的输出融合作为所述通道注意力模块的输出。
5.如权利要求1所述的基于三维精细化残差网络的腔隙性脑梗死识别系统，其特征在于，所述全连接网络为三层全连接网络，第一层包括200个神经元，第二层包括100个神经元，第三层包括2个神经元。
6.如权利要求5所述的基于三维精细化残差网络的腔隙性脑梗死识别系统，其特征在于，所述全连接网络连接Tversky损失函数。
7.如权利要求1所述的基于三维精细化残差网络的腔隙性脑梗死识别系统，其特征在于，所述腔隙性脑梗死识别模型的训练方法包括：
获取多组带标签的脑磁共振T1加权图像，分别将T1加权图像和标签转换为矩阵数据，形成多组训练数据；
根据所述多组训练数据，基于三维精细化残差网络训练得到腔隙性脑梗死识别模型。
8.如权利要求7所述的基于三维精细化残差网络的腔隙性脑梗死识别系统，其特征在于，将每组T1加权图像和标签转换为矩阵数据后，还结合标签相应的矩阵数据，确定该组T1加权图像中腔隙区域开始和结束的切片，分别向外扩展多个切片图像，得到一组训练数据。
CN202211036544.4A 2022-08-29 2022-08-29 一种基于三维精细化残差网络的腔隙性脑梗死识别系统 Active CN115115628B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211036544.4A CN115115628B (zh) 2022-08-29 2022-08-29 一种基于三维精细化残差网络的腔隙性脑梗死识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211036544.4A CN115115628B (zh) 2022-08-29 2022-08-29 一种基于三维精细化残差网络的腔隙性脑梗死识别系统

Publications (2)

Publication Number Publication Date
CN115115628A CN115115628A (zh) 2022-09-27
CN115115628B true CN115115628B (zh) 2022-11-22

Family

ID=83335802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211036544.4A Active CN115115628B (zh) 2022-08-29 2022-08-29 一种基于三维精细化残差网络的腔隙性脑梗死识别系统

Country Status (1)

Country Link
CN (1) CN115115628B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309800A (zh) * 2019-07-05 2019-10-08 中国科学技术大学 一种林火烟雾探测方法及装置
CN110910377A (zh) * 2019-11-28 2020-03-24 哈尔滨工程大学 一种基于神经网络的脑梗死mri图像识别方法
CN111179171A (zh) * 2019-12-24 2020-05-19 苏州天必佑科技有限公司 基于残差模块和注意力机制的图像超分辨率重建方法
CN111445443A (zh) * 2020-03-11 2020-07-24 北京深睿博联科技有限责任公司 早急性脑梗死检测方法和装置
CN112037171A (zh) * 2020-07-30 2020-12-04 西安电子科技大学 基于多模态特征融合的多任务mri脑瘤图像分割方法
CN112102266A (zh) * 2020-08-31 2020-12-18 清华大学 基于注意力机制的脑梗死医学影像分类模型的训练方法
CN113012138A (zh) * 2021-03-26 2021-06-22 华南理工大学 一种甲黑线皮肤镜图像分析方法及系统
CN114119637A (zh) * 2021-11-29 2022-03-01 大连大学 基于多尺度融合和拆分注意力的脑白质高信号分割方法
WO2022100495A1 (zh) * 2020-11-11 2022-05-19 上海健康医学院 一种磨玻璃样肺结节自动分割方法及计算机设备
EP4020322A1 (en) * 2019-09-23 2022-06-29 Quibim, S.L. Method and system for the automatic segmentation of white matter hyperintensities in brain magnetic resonance images

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3591572B1 (en) * 2018-07-06 2021-09-01 Tata Consultancy Services Limited Method and system for automatic chromosome classification
CN111612739B (zh) * 2020-04-16 2023-11-03 杭州电子科技大学 一种基于深度学习的脑梗死分类方法
CN114202550A (zh) * 2021-11-24 2022-03-18 重庆邮电大学 一种基于RAPNet网络的脑肿瘤MRI图像三维分割方法
CN114494127A (zh) * 2021-12-23 2022-05-13 山东师范大学 基于通道注意力深度学习的医学图像分类系统
CN114748055A (zh) * 2022-03-22 2022-07-15 中国科学院深圳先进技术研究院 三维卷积模型、脑龄识别方法、装置、计算机设备及介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110309800A (zh) * 2019-07-05 2019-10-08 中国科学技术大学 一种林火烟雾探测方法及装置
EP4020322A1 (en) * 2019-09-23 2022-06-29 Quibim, S.L. Method and system for the automatic segmentation of white matter hyperintensities in brain magnetic resonance images
CN110910377A (zh) * 2019-11-28 2020-03-24 哈尔滨工程大学 一种基于神经网络的脑梗死mri图像识别方法
CN111179171A (zh) * 2019-12-24 2020-05-19 苏州天必佑科技有限公司 基于残差模块和注意力机制的图像超分辨率重建方法
CN111445443A (zh) * 2020-03-11 2020-07-24 北京深睿博联科技有限责任公司 早急性脑梗死检测方法和装置
CN112037171A (zh) * 2020-07-30 2020-12-04 西安电子科技大学 基于多模态特征融合的多任务mri脑瘤图像分割方法
CN112102266A (zh) * 2020-08-31 2020-12-18 清华大学 基于注意力机制的脑梗死医学影像分类模型的训练方法
WO2022100495A1 (zh) * 2020-11-11 2022-05-19 上海健康医学院 一种磨玻璃样肺结节自动分割方法及计算机设备
CN113012138A (zh) * 2021-03-26 2021-06-22 华南理工大学 一种甲黑线皮肤镜图像分析方法及系统
CN114119637A (zh) * 2021-11-29 2022-03-01 大连大学 基于多尺度融合和拆分注意力的脑白质高信号分割方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Learning a Deep CNN Denoising Approach Using Anatomical Prior Information Implemented With Attention Mechanism for Low-Dose CT Imaging on Clinical Patient Data From Multiple Anatomical Sites;Zhenxing Huang 等;《IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS》;20210930;第25卷(第9期);第3416-3427页 *
Learning a Discriminative Feature Network for Semantic Segmentation;Changqian Yu 等;《2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition》;20181231;第1857-1866页 *
基于深度学习的肝脏肿瘤分割方法研究;姚天;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20220315;第2022年卷(第03期);第1-4章 *
基于深度学习的肝脏肿瘤图像分割方法研究;莫春梅;《万方数据库》;20220812;第1-67页 *
基于精细化残差U-Net的新生儿局灶性脑白质损伤分割模型;刘亚龙 等;《计算机应用》;20191210;第39卷(第12期);第3456-3461页 *
基于高效通道注意力的 UNet 肺结节 CT 图像分割;万黎明 等;《广西师范大学学报(自然科学版)》;20220531;第40卷(第3期);第66-75页 *

Also Published As

Publication number Publication date
CN115115628A (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
CN112446891B (zh) 基于U-Net网络脑胶质瘤的医学图像分割方法
Li et al. Differential diagnosis for pancreatic cysts in CT scans using densely-connected convolutional networks
CN112037171B (zh) 基于多模态特征融合的多任务mri脑瘤图像分割方法
CN111179237A (zh) 一种肝脏以及肝脏肿瘤的图像分割方法和装置
CN112381846B (zh) 一种基于非对称网络的超声甲状腺结节分割方法
Rezaei et al. Conditional generative refinement adversarial networks for unbalanced medical image semantic segmentation
CN114171197B (zh) 一种乳腺癌her2状态的预测方法及相关设备
CN114782350A (zh) 一种基于注意力机制的多模态特征融合的mri脑瘤图像分割方法
Chen et al. Generative adversarial network based cerebrovascular segmentation for time-of-flight magnetic resonance angiography image
Standvoss et al. Cerebral microbleed detection in traumatic brain injury patients using 3D convolutional neural networks
CN115409859A (zh) 冠状动脉血管图像分割方法及装置、存储介质和终端
CN115063592A (zh) 一种基于多尺度的全扫描病理特征融合提取方法及系统
CN115311193A (zh) 一种基于双重注意力机制的异常脑图像分割方法及系统
CN115115628B (zh) 一种基于三维精细化残差网络的腔隙性脑梗死识别系统
CN116228731A (zh) 一种多对比学习冠状动脉高危斑块检测方法、系统及终端
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
CN113191413B (zh) 基于中央凹残差网络的前列腺多模mr图像分类方法和系统
CN115908299A (zh) 基于医学影像的生存期预测方法、装置、设备及介质
Mansour et al. Kidney segmentations using cnn models
CN115131628A (zh) 一种基于分型辅助信息的乳腺图像分类方法及设备
CN114612656A (zh) 基于改进ResU-Net神经网络的MRI图像分割方法及系统
Das et al. Attention-UNet architectures with pretrained backbones for multi-class cardiac MR image segmentation
Ibrahim et al. Liver Multi-class Tumour Segmentation and Detection Based on Hyperion Pre-trained Models.
CN113674291A (zh) 一种全类型主动脉夹层真假腔图像分割方法及系统
CN115631302A (zh) 确定血管中心线真伪以及截断位置的方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant