CN112884766B - 基于卷积神经网络的mri图像处理方法、装置及相关设备 - Google Patents

基于卷积神经网络的mri图像处理方法、装置及相关设备 Download PDF

Info

Publication number
CN112884766B
CN112884766B CN202110321565.XA CN202110321565A CN112884766B CN 112884766 B CN112884766 B CN 112884766B CN 202110321565 A CN202110321565 A CN 202110321565A CN 112884766 B CN112884766 B CN 112884766B
Authority
CN
China
Prior art keywords
image
blood flow
cerebral blood
segmentation
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110321565.XA
Other languages
English (en)
Other versions
CN112884766A (zh
Inventor
黄建军
邓宇桐
康莉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202110321565.XA priority Critical patent/CN112884766B/zh
Publication of CN112884766A publication Critical patent/CN112884766A/zh
Application granted granted Critical
Publication of CN112884766B publication Critical patent/CN112884766B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明实施例公开了一种基于卷积神经网络的MRI图像处理方法、装置及相关设备。该方法包括对不同模态的MRI图像，并分别对MRI图像进行标准化处理，得到脑部的脑血流量图像和灰质图像；对脑血流量图像的目标区域进行标注，得到脑血流量图像对应的标签图像；对脑血流量图像、标签图像以及灰质图像进行归一化处理，并按z轴分解成2D图像序列；对脑血流量图像的2D图像序列进行水平翻转得到翻转图像序列，将翻转图像序列、翻转图像序列对应的脑血流量图像的2D图像序列以及灰质图像对应的2D图像序列按颜色通道进行合成，得到多通道图像序列；通过卷积神经网络对多通道图像序列进行图像分割，得到最终分割图像。该方法提高分割图像的分割准确率。

Description

基于卷积神经网络的MRI图像处理方法、装置及相关设备
技术领域
本发明涉及图像分割技术领域，尤其涉及一种基于卷积神经网络的MRI图像处理方法、装置及相关设备。
背景技术
当前的医疗工作以及临床试验中，MRI图像(Magnetic Resonance Imaging，磁共振成像)的应用十分普及，人工神经网络也在MRI图像的处理方面得到普遍应用。一般使用MRI图像的意义在于定位特定区域，由相关精密仪器，利用光学、声波等各种成像原理，对人体的器官组织进行影像化，便于对人体器官组织的状态作出判断。
现有的MRI图像已经逐渐从平面趋向于3D立体，从单模态趋向于多模态。由人工神经网络处理得到3DMRI图像的计算量较大，效率较低；并且人工神经网络处理得到的2DMRI图像也不能很好的连接医学图像上下层之间的连续性。
发明内容
本发明实施例提供了一种基于卷积神经网络的MRI图像处理方法、装置及相关设备，旨在解决现有技术中3DMRI图像分割出来的目标区域图像质量较差的问题。
第一方面，本发明实施例提供了一种基于卷积神经网络的MRI图像处理方法，其包括：
读取脑部不同模态的MRI图像，并分别对所述MRI图像进行标准化处理，得到脑部的脑血流量图像和灰质图像，所述MRI图像包括3D格式的功能MRI图像和结构MRI图像；
对所述脑血流量图像的目标区域进行标注，得到所述脑血流量图像对应的标签图像；
对所述脑血流量图像、标签图像以及灰质图像进行归一化处理，并按z轴分解成2D图像序列；
对所述脑血流量图像的2D图像序列进行水平翻转得到翻转图像序列，将所述翻转图像序列、所述翻转图像序列对应的脑血流量图像的2D图像序列以及所述灰质图像对应的2D图像序列按颜色通道进行合成，得到多通道图像序列；
将所述多通道图像序列及标签图像输入至初始残差Unet子网络进行网络训练，得到目标残差Unet子网络，将待分割的目标多通道图像序列输入所述目标残差Unet子网络进行图像分割，得到多张初步分割图像，将多张所述初步分割图像输入至预训练的BiCLSTM子网络进行前后时序特征处理，得到多张最终分割图像。
第二方面，本发明实施例提供了一种基于卷积神经网络的MRI图像处理装置，其包括：
读取模块，用于读取脑部不同模态的MRI图像，并分别对所述MRI图像进行标准化处理，得到脑部的脑血流量图像和灰质图像，所述MRI图像包括3D格式的功能MRI图像和结构MRI图像；
标注模块，用于对所述脑血流量图像的病变区域进行标注，得到所述脑血流量图像对应的标签图像；
分解模块，用于对所述脑血流量图像、标签图像以及灰质图像进行归一化处理，并按z轴分解成2D图像序列；
合成模块，用于对所述脑血流量图像的2D图像序列进行水平翻转得到翻转图像序列，将所述翻转图像序列的2D图像序列、所述翻转图像序列对应的脑血流量图像的2D图像序列以及所述灰质图像对应的2D图像序列按颜色通道进行合成，得到多通道图像序列；
分割模块，用于将所述多通道图像序列及标签图像输入至初始残差Unet子网络进行网络训练，得到目标残差Unet子网络，将待分割的目标多通道图像序列输入所述目标残差Unet子网络进行图像分割，得到多张初步分割图像，将多张所述初步分割图像输入至预训练的BiCLSTM子网络进行前后时序特征处理，得到多张最终分割图像。
第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于卷积神经网络的MRI图像处理方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于卷积神经网络的MRI图像处理方法。
本发明实施例提供了一种基于卷积神经网络的MRI图像处理方法、装置及相关设备。该方法包括读取脑部不同模态的MRI图像，并分别对所述MRI图像进行标准化处理，得到脑部的脑血流量图像和灰质图像；对所述脑血流量图像的目标区域进行标注，得到所述脑血流量图像对应的标签图像；对所述脑血流量图像、标签图像以及灰质图像进行归一化处理，并按z轴分解成2D图像序列；对所述脑血流量图像的2D图像序列进行水平翻转得到翻转图像序列，将所述翻转图像序列、所述翻转图像序列对应的脑血流量图像的2D图像序列以及所述灰质图像对应的2D图像序列按颜色通道进行合成，得到多通道图像序列；将所述多通道图像序列及标签图像输入至初始残差Unet子网络进行网络训练，得到目标残差Unet子网络，将待分割的目标多通道图像序列输入所述目标残差Unet子网络进行图像分割，得到多张初步分割图像，将多张所述初步分割图像输入至预训练的BiCLSTM子网络进行前后时序特征处理，得到多张最终分割图像。该方法提取不同模态的MRI图像特征进行合成，得到多通道图像序列，基于卷积神经网络对多通道图像序列进行图像切割及优化，提高分割图像的分割准确率。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于卷积神经网络的MRI图像处理方法的流程示意图；
图2为本发明实施例提供的基于卷积神经网络的MRI图像处理方法步骤S150的子流程示意图；
图3为本发明实施例提供的基于卷积神经网络的MRI图像处理装置的示意性框图；
图4为本发明实施例提供的基于卷积神经网络的MRI图像处理装置中残差Unet子网络的结构示意图；
图5为本发明实施例提供的基于卷积神经网络的MRI图像处理装置中残差模块的结构示意图；
图6为本发明实施例提供的基于卷积神经网络的MRI图像处理装置中增亮模块的处理流程示意图；
图7为本发明实施例提供的基于卷积神经网络的MRI图像处理装置中增亮模块的图像处理示意图；
图8为本发明实施例提供的基于卷积神经网络的MRI图像处理装置中分割模块的图像处理示意图；
图9为本发明实施例提供的基于卷积神经网络的MRI图像处理装置中BiCLSTM子网络的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1所示，图1为本发明实施例提供的基于卷积神经网络的MRI图像处理方法的流程示意图，该方法包括步骤S110～S150。
步骤S110、读取脑部不同模态的MRI图像，并分别对所述MRI图像进行标准化处理，得到脑部的脑血流量图像和灰质图像，所述MRI图像包括3D格式的功能MRI图像和结构MRI图像；
本实施例中，获取脑部的MRI图像，MRI图像包括功能MRI图像(Arterial SpinLabeling functional MRI，ASL功能MRI图像，动脉自旋标记功能磁共振成像)以及结构MRI图像(T1结构磁共振成像)。利用支持3D格式扫描的MRI仪器扫描功能MRI图像和结构MRI图像，得到3D格式的脑血流量图像和结构MRI图像。应用核磁共振分析软件SPM(统计参数图)对脑血流量图像进行标准化处理。标准化处理包括图像配准处理、空间标准化处理、平滑处理和去除脑外噪声处理。应用核磁共振分析软件SPM中的VBM(基于体素形态学)方法对结构MRI图像进行分割处理和空间标准化处理，然后分割出结构MRI图像中的灰质部分进行平滑和去除脑外噪声处理，得到灰质图像。
进一步的，针对脑血流量图像进行配准处理是由于磁共振数据在采集过程中因客观条件限制，被试对象难免发生位移，有些功能MRI图像在扫描初期存在较大的震动，因此对功能MRI图像和结构MRI图像进行配准处理，使功能MRI图像和结构MRI图像在同一坐标系下。此外，由于每个个体的脑部组织和结构因年龄、性别、颅骨形状等诸多不同，存在形态学上的差异，无法直接进行信号强弱的比较，因此将脑血流量图像置于统一的标准模板之后，可以通过标准解剖空间的坐标来定位差异所在的区域，便于后续的图像处理和网络学习。针对脑血流量图像进行平滑是加强信号的低频部分，抑制高频部分，而功能MRI图像成像时所使用的动脉自旋标记的信号主要是低频信号，所以经过平滑滤波后可以提高信噪比。最后对功能MRI图像进行去除脑外噪声处理，去除无关信息，减少无关信息的干扰。
进一步的，对结构MRI图像进行分割和空间标准化是将结构MRI图像置于统一的标准模板，分割出图像中表示脑部灰质、白质和脑脊液的三个独立图像。灰质部分是脑部中枢神经系统中大量神经元聚集的部位，能有效地反应脑部的异常状态。而平滑处理和去除脑外噪声处理与脑血流量图像一样，此处不再赘述。
步骤S120、对所述脑血流量图像的目标区域进行标注，得到所述脑血流量图像对应的标签图像；
本实施例中，为了训练卷积神经网络，对脑血流量图像中的目标区域进行标注，制作出脑血流量的标签图像。其中，目标区域根据实际情况确定，一般选择脑血流量异常的区域。
步骤S130、对所述脑血流量图像、标签图像以及灰质图像进行归一化处理，并按z轴分解成2D图像序列；
本实施例中，为了便于图像合成，对脑血流量图像、标签图像以及灰质图像进行归一化处理，接着对归一化处理后的脑血流量图像、标签图像以及灰质图像按z轴分解成2D图像序列，达到将3D格式的脑血流量图像、标签图像以及灰质图像转换成2D图像序列。
步骤S140、对所述脑血流量图像的2D图像序列进行水平翻转得到翻转图像序列，将所述翻转图像序列、所述翻转图像序列对应的脑血流量图像的2D图像序列以及所述灰质图像对应的2D图像序列按颜色通道进行合成，得到多通道图像序列；
本实施例中，为了提升图像特征，对脑血流量图像的2D图像序列进行水平翻转，得到翻转图像序列；将翻转图像序列、翻转图像序列对应的脑血流量图像的2D图像序列以及每张灰质图像对应的2D图像序列按颜色通道进行对应合成，得到多张多通道图像，多张多通道图像组成多通道图像序列。其中，由于脑血流量图像是从功能MRI图像中提取的，灰质图像是从结构MRI图像中提取的，因此合成得到的多通道图像具有两种模态的图像特征。
步骤S150、将所述多通道图像序列及标签图像输入至初始残差Unet子网络进行网络训练，得到目标残差Unet子网络，将待分割的目标多通道图像序列输入所述目标残差Unet子网络进行图像分割，得到多张初步分割图像，将多张所述初步分割图像输入至预训练的BiCLSTM子网络进行前后时序特征处理，得到多张最终分割图像。
本实施例中，Unet网络结构包括两个对称部分：前面一部分网络与普通卷积网络相同，使用了卷积和池化下采样，能够抓住图像中像素间的关系；后面部分网络则是与前面基本对称，使用的是卷积和上采样，以达到输出图像分割的目的，能够应用于MRI图像的分割。本实施例中采用的卷积神经网络包括残差Unet子网络(残差Unet网络)和BiCLSTM子网络(BiCLSTM网络)，其中如图4所示为卷积神经网络中的残差Unet子网络的结构示意图，其中残差Unet子网络的结构即是在Unet网络结构中每个下采样或上采样之后连接一个残差模块。如图5所示为残差模块的结构示意图。首先将多通道图像序列及标签图像输入至初始残差Unet子网络进行网络训练，得到目标残差Unet子网络。训练好的目标残差Unet子网络能够分割出目标区域的分割图像。因此，将待分割的目标多通道图像序列输入目标残差Unet子网络进行图像分割，得到多张初步分割图像。进一步的，为了使初步分割图像质量更高，将多张初步分割图像输入至预训练的BiCLSTM子网络进行前后时序特征处理，得到多张最终分割图像。其中，BiCLSTM子网络是一种循环卷积时间递归神经网络。
在一实施例中，如图2所示，步骤S150包括：
步骤S151、将所述多通道图像序列输入所述初始残差Unet子网络，得到训练分割图像；
步骤S152、计算所述训练分割图像和标签图像的图像损失，并基于所述图像损失更新所述初始残差Unet子网络的网络参数，得到所述目标残差Unet子网络。
本实施例中，将多通道图像序列及标签图像输入至初始残差Unet子网络进行网络训练，得到目标残差Unet子网络，具体包括：将多通道图像序列输入初始残差Unet子网络，得到训练分割图像；根据损失函数计算训练分割图像和标签图像的图像损失，并基于图像损失更新初始残差Unet子网络的网络参数，得到目标残差Unet子网络。
该方法提取不同模态的MRI图像特征进行合成，得到多通道图像序列，基于卷积神经网络对多通道图像序列进行图像切割及优化，提高切割图像的图像质量。
本发明实施例还提供一种基于卷积神经网络的MRI图像处理装置，该基于卷积神经网络的MRI图像处理装置用于执行前述基于卷积神经网络的MRI图像处理方法的任一实施例。具体地，请参阅图3，图3是本发明实施例提供的基于卷积神经网络的MRI图像处理装置的示意性框图。该基于卷积神经网络的MRI图像处理装置100可以配置于服务器中。
如图3所示，基于卷积神经网络的MRI图像处理装置100包括读取模块110、标注模块120、分解模块130、合成模块140、分割模块150。
读取模块110，用于读取脑部不同模态的MRI图像，并分别对所述MRI图像进行标准化处理，得到脑部的脑血流量图像和灰质图像，所述MRI图像包括3D格式的功能MRI图像和结构MRI图像；
标注模块120，用于对所述脑血流量图像的病变区域进行标注，得到所述脑血流量图像对应的标签图像；
分解模块130，用于对所述脑血流量图像、标签图像以及灰质图像进行归一化处理，并按z轴分解成2D图像序列；
合成模块140，用于对所述脑血流量图像的2D图像序列进行水平翻转得到翻转图像序列，将所述翻转图像序列的2D图像序列、所述翻转图像序列对应的脑血流量图像的2D图像序列以及所述灰质图像对应的2D图像序列按颜色通道进行合成，得到多通道图像序列；
分割模块150，用于将所述多通道图像序列及标签图像输入至初始残差Unet子网络进行网络训练，得到目标残差Unet子网络，将待分割的目标多通道图像序列输入所述目标残差Unet子网络进行图像分割，得到多张初步分割图像，将多张所述初步分割图像输入至预训练的BiCLSTM子网络进行前后时序特征处理，得到多张最终分割图像。
在一实施例中，MRI图像处理装置100包括：
扩增模块，用于对所述脑血流量图像、标签图像和灰质图像进行数据扩增处理，得到数量均相同的脑血流量图像、标签图像和灰质图像。
本实施例中，为了避免数据量较少出现过拟合现象，设置扩增模块，用于对脑血流量图像、标签图像和灰质图像进行数据扩增处理，得到数量均相同的脑血流量图像、标签图像和灰质图像。其中，由于每张脑血流量图像都有对应的标签图像、灰质图像，因此，脑血流量图像扩增，对应的也需要扩增标签图像和灰质图像。具体是通过旋转、翻转脑血流量图像达到数据扩增效果。
在一实施例中，MRI图像处理装置100包括：
增亮模块，用于在所述分解模块之前，对所述脑血流量图像进行局部增亮处理，得到局部增亮的所述脑血流量图像。
本实施例中，在分解模块对脑血流量图像、标签图像以及灰质图像进行归一化处理，并按z轴分解成2D图像序列之前，对脑血流量图像进行局部增亮处理，提高脑血流量图像中局部区域的特征，同时也扩增了数据量。由于增亮处理中可能存在脑血流量图像数据量增加，因此，也需要对应扩增标签图像和灰质图像。
在一实施例中，增亮模块包括：
提取单元，用于对所述脑血流量图像进行局部图像提取，得到局部图像；
增亮单元，用于将所述局部图像与所述脑血流量图像进行加权叠加，得到局部增亮的所述脑血流量图像。
本实施例中，如图6至7所示，利用自动解剖标记(AAL)模板从脑血流量图像提取出一个或多个脑区的图像，得到局部图像；将局部图像与该局部图像对应的脑血流量图像进行加权叠加，得到局部增亮的脑血流量图像。其中，局部图像与脑血流量图像进行加权叠加之前，需进行平滑处理。
在一实施例中，分割模块包括：
训练分割单元，用于将所述多通道图像序列输入所述初始残差Unet子网络，得到训练分割图像；
计算单元，用于计算所述训练分割图像和标签图像的图像损失，并基于所述图像损失更新所述初始残差Unet子网络的网络参数，得到目标残差Unet子网络。
本实施例中，为了使残差Unet子网络能够输出理想的分割图像，通过分割单元将多通道图像序列以及标签图像输入初始残差Unet子网络，初始残差Unet子网络根据多通道图像序列中的每张多通道图像分别进行下采样处理、上采样处理以及残差处理，得到训练分割图像；接着由计算单元根据损失函数计算训练分割图像与标签图像之间的图像损失，基于图像损失更新初始残差Unet子网络的网络参数，得到目标残差Unet子网络。
此外，在残差Unet子网络中的每个下采样单元或上采样单元之后均引入残差模块，使得残差Unet子网络能够保留不同下采样单元丢失的信息，在进行重新学习丢失的信息时也不会增加额外的参数与操作。
在一实施例中，分割模块包括：
初步分割单元，用于利用所述目标残差Unet子网络对所述多通道图像序列进行图像分割，得到多张初步分割图像；
最终分割单元，用于将多张所述初步分割图像输入所述BiCLSTM子网络中的前向CLSTM模块和后向CLSTM模块，分别得到前向分割特征和后向分割特征，将所述前向分割特征和后向分割特征进行对应拼接，得到多张所述最终分割图像。
本实施例中，为了对多通道图像序列进行图像分割，设置搭载有残差Unet子网络的初步分割单元，通过残差Unet子网络对多通道图像进行图像分割，得到多张初步分割图像。为了提高分割图像的质量，设置搭载BiCLSTM子网络的最终分割单元，通过BiCLSTM子网络的前向CLSTM模块和后向CLSTM模块对多张初步分割图像进行特征提取，得到多通道图像序列中每张多通道图像的前向分割图像和后向分割特征，将每张多通道图像的前向分割特征和后向分割图像进行对应拼接，得到多张最终分割图像。其中，多通道图像序列经过残差Unet子网络和BiCLSTM子网络处理后的图像如图8所示。
进一步的，如图9所示为BiCLSTM子网络结构示意图，xt-1，xt，xt+1表示三张相邻的初步分割图像，箭头表示图像间信息传递的方向，两列传递方向相反的CLSTM单元组成一个BiCLSTM子网络。对于当前初步分割图像xt，两列CLSTM分别提取xt-1和xt+1的特征传递到当前初步分割图像，将前向特征和后向特征合并为yt作为xt的时空特征并传输至下一层(yt+1)。
此外，选取Dice相似性系数(Dice similarity coefficient，DSC)和平均对称表面距离(Average Symmetric Surface Distance，ASSD)来评价检测结果。DSC计算的是两个分割图像与MRI图像中目标区域的相似程度，A代表人工标注目标区域的标签图像，B代表卷积神经网络分割的标签图像，其定义为：
Figure BDA0002993075210000101
值域为[0，1]，检测得越准确越接近1。ASSD指标越小，代表分割精度越高。A代表人工标注目标区域的标签图像的点，B代表卷积神经网络分割的标签图像的点，其定义为：/>
Figure BDA0002993075210000102
Figure BDA0002993075210000103
其中ASD(Average Surface Distance)是平均表面距离，d(a,b)为A，B点的欧式距离。通过测试，从测试集的MRI图像中随机选择10000个像素，其中5000个选择标签图像中的标注为“1”的像素，另外5000个选择标注为“0”的像素，在这10000个像素上计算分割图像的分割准确率。通过在共16张测试图像进行10次随机选择及计算，平均分割准确率为0.9251。
如表1为将MRI图像处理成多通道图像计算DSC和ASSD的结果，表2为卷积神经网络处理分割图像计算DSC和ASSD的结果。根据测试，使用本申请的方法或装置将MRI图像成多通道图像使分割图像的DSC系数提高0.2067，使用本申请的方法或装置的卷积神经网络使分割图像的DSC系数提高0.0832，并且在图像像素水平上估计准确率为92.51％，说明可以作为从MRI图像中切割目标区域的一种方法。
对称对比 数据扩增 DSC均值(标准差) ASSD均值(标准差)
× × 0.4896(0.3291) 8.7836(6.1352)
√ × 0.6377(0.1763) 5.1815(4.4457)
√ √ 0.6963(0.1631) 3.4936(4.1731)
表1
算法名称 DSC均值(标准差) ASSD均值(标准差)
Unet 0.6963(0.1631) 3.4936(4.1731)
残差Unet 0.7280(0.1496) 2.4408(2.9376)
残差Unet+BiLSTM 0.7795(0.1311) 2.1627(1.8603)
表2
本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上所述的基于卷积神经网络的MRI图像处理方法。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如上所述的基于基于卷积神经网络的MRI图像处理方法。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (4)

1.一种基于卷积神经网络的MRI图像处理方法，其特征在于，包括：
读取脑部不同模态的MRI图像，并分别对所述MRI图像进行标准化处理，得到脑部的脑血流量图像和灰质图像，所述MRI图像包括3D格式的功能MRI图像和结构MRI图像；
对所述脑血流量图像的目标区域进行标注，得到所述脑血流量图像对应的标签图像；
对所述脑血流量图像、标签图像以及灰质图像进行归一化处理，并按z轴分解成2D图像序列；
对所述脑血流量图像的2D图像序列进行水平翻转得到翻转图像序列，将所述翻转图像序列、所述翻转图像序列对应的脑血流量图像的2D图像序列以及所述灰质图像对应的2D图像序列按颜色通道进行合成，得到多通道图像序列；
将所述多通道图像序列及标签图像输入至初始残差Unet子网络进行网络训练，得到目标残差Unet子网络，将待分割的目标多通道图像序列输入所述目标残差Unet子网络进行图像分割，得到多张初步分割图像，将多张所述初步分割图像输入至预训练的BiCLSTM子网络进行前后时序特征处理，得到多张最终分割图像；
所述将所述多通道图像序列及标签图像输入至初始残差Unet子网络进行网络训练，得到目标残差Unet子网络，包括：
将所述多通道图像序列输入所述初始残差Unet子网络，得到训练分割图像；
计算所述训练分割图像和标签图像的图像损失，并基于所述图像损失更新所述初始残差Unet子网络的网络参数，得到所述目标残差Unet子网络；
所述基于卷积神经网络的MRI图像处理方法，还包括：
对所述脑血流量图像、标签图像和灰质图像进行数据扩增处理，得到数量均相同的脑血流量图像、标签图像和灰质图像；
在所述对所述脑血流量图像、标签图像以及灰质图像进行归一化处理，并按z轴分解成2D图像序列之前，包括：
对所述脑血流量图像进行局部增亮处理，得到局部增亮的所述脑血流量图像；
所述对所述脑血流量图像进行局部增亮处理，得到局部增亮的所述脑血流量图像，包括：
对所述脑血流量图像进行局部图像提取，得到局部图像；
将所述局部图像与所述脑血流量图像进行加权叠加，得到局部增亮的所述脑血流量图像；
所述将所述多通道图像序列及标签图像输入至初始残差Unet子网络进行网络训练，得到目标残差Unet子网络，将待分割的目标多通道图像序列输入所述目标残差Unet子网络进行图像分割，得到多张初步分割图像，将多张所述初步分割图像输入至预训练的BiCLSTM子网络进行前后时序特征处理，得到多张最终分割图像，包括：
利用所述目标残差Unet子网络对所述多通道图像序列进行图像分割，得到多张初步分割图像；
将多张所述初步分割图像输入所述BiCLSTM子网络中的前向CLSTM模块和后向CLSTM模块，分别得到前向分割特征和后向分割特征，将所述前向分割特征和后向分割特征进行对应拼接，得到多张所述最终分割图像。
2.一种基于卷积神经网络的MRI图像处理装置，其特征在于，包括：
读取模块，用于读取脑部不同模态的MRI图像，并分别对所述MRI图像进行标准化处理，得到脑部的脑血流量图像和灰质图像，所述MRI图像包括3D格式的功能MRI图像和结构MRI图像；
标注模块，用于对所述脑血流量图像的病变区域进行标注，得到所述脑血流量图像对应的标签图像；
分解模块，用于对所述脑血流量图像、标签图像以及灰质图像进行归一化处理，并按z轴分解成2D图像序列；
合成模块，用于对所述脑血流量图像的2D图像序列进行水平翻转得到翻转图像序列，将所述翻转图像序列的2D图像序列、所述翻转图像序列对应的脑血流量图像的2D图像序列以及所述灰质图像对应的2D图像序列按颜色通道进行合成，得到多通道图像序列；
分割模块，用于将所述多通道图像序列及标签图像输入至初始残差Unet子网络进行网络训练，得到目标残差Unet子网络，将待分割的目标多通道图像序列输入所述目标残差Unet子网络进行图像分割，得到多张初步分割图像，将多张所述初步分割图像输入至预训练的BiCLSTM子网络进行前后时序特征处理，得到多张最终分割图像；
所述分割模块包括：
训练分割单元，用于将所述多通道图像序列输入所述初始残差Unet子网络，得到训练分割图像；
计算单元，用于计算所述训练分割图像和标签图像的图像损失，并基于所述图像损失更新所述初始残差Unet子网络的网络参数，得到目标残差Unet子网络；
所述MRI图像处理装置还包括：
扩增模块，用于对所述脑血流量图像、标签图像和灰质图像进行数据扩增处理，得到数量均相同的脑血流量图像、标签图像和灰质图像；
所述MRI图像处理装置还包括：
增亮模块，用于在所述分解模块之前，对所述脑血流量图像进行局部增亮处理，得到局部增亮的所述脑血流量图像；
所述增亮模块包括：
提取单元，用于对所述脑血流量图像进行局部图像提取，得到局部图像；
增亮单元，用于将所述局部图像与所述脑血流量图像进行加权叠加，得到局部增亮的所述脑血流量图像；
所述分割模块包括：
初步分割单元，用于利用所述目标残差Unet子网络对所述多通道图像序列进行图像分割，得到多张初步分割图像；
最终分割单元，用于将多张所述初步分割图像输入所述BiCLSTM子网络中的前向CLSTM模块和后向CLSTM模块，分别得到前向分割特征和后向分割特征，将所述前向分割特征和后向分割特征进行对应拼接，得到多张所述最终分割图像。
3.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1所述的基于卷积神经网络的MRI图像处理方法。
4.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1所述的基于卷积神经网络的MRI图像处理方法。
CN202110321565.XA 2021-03-25 2021-03-25 基于卷积神经网络的mri图像处理方法、装置及相关设备 Active CN112884766B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110321565.XA CN112884766B (zh) 2021-03-25 2021-03-25 基于卷积神经网络的mri图像处理方法、装置及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110321565.XA CN112884766B (zh) 2021-03-25 2021-03-25 基于卷积神经网络的mri图像处理方法、装置及相关设备

Publications (2)

Publication Number Publication Date
CN112884766A CN112884766A (zh) 2021-06-01
CN112884766B true CN112884766B (zh) 2023-07-14

Family

ID=76042342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110321565.XA Active CN112884766B (zh) 2021-03-25 2021-03-25 基于卷积神经网络的mri图像处理方法、装置及相关设备

Country Status (1)

Country Link
CN (1) CN112884766B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101262564A (zh) * 2007-03-09 2008-09-10 索尼株式会社 图像处理装置、成像装置、图像处理方法和计算机程序

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003017833A1 (en) * 2001-08-31 2003-03-06 Jong-Won Park Method and apparatus for a medical image processing system
GB201709672D0 (en) * 2017-06-16 2017-08-02 Ucl Business Plc A system and computer-implemented method for segmenting an image
CN109741343B (zh) * 2018-12-28 2020-12-01 浙江工业大学 一种基于3D-Unet和图论分割的T1WI-fMRI图像肿瘤协同分割方法
CN110414481A (zh) * 2019-08-09 2019-11-05 华东师范大学 一种基于Unet和LSTM的3D医学影像识别和分割方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101262564A (zh) * 2007-03-09 2008-09-10 索尼株式会社 图像处理装置、成像装置、图像处理方法和计算机程序

Also Published As

Publication number Publication date
CN112884766A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN110232383B (zh) 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统
US9980704B2 (en) Non-invasive image analysis techniques for diagnosing diseases
CN110506278B (zh) 隐空间中的目标检测
CN110613483B (zh) 一种基于机器学习检测胎儿颅脑异常的系统
CN113239755B (zh) 一种基于空谱融合深度学习的医学高光谱图像分类方法
CN110782434B (zh) 一种脑结核mri图像病灶智能标记定位装置
CN111178369B (zh) 一种医学影像的识别方法及系统、电子设备、存储介质
CN113140035B (zh) 一种基于多模态影像融合技术的人脑血管全自动重建方法、装置
CN111292307A (zh) 一种消化系统胆囊结石识别方法及定位方法
CN106780728A (zh) 一种基于医学影像的单个器官拆分方法及系统
CN111402277B (zh) 一种医学影像的物体外轮廓分割方法及装置
CN112102351A (zh) 医学图像分析方法、装置、电子设备及可读存储介质
CN112884766B (zh) 基于卷积神经网络的mri图像处理方法、装置及相关设备
CN116580033B (zh) 一种基于图像块相似性匹配的多模态医学图像配准方法
CN111227833B (zh) 一种基于广义线性模型的机器学习的术前定位方法
Patel et al. Medical image enhancement using histogram processing and feature extraction for cancer classification
CN116309647B (zh) 颅脑病灶图像分割模型构建方法、图像分割方法及设备
CN116977351A (zh) 一种基于脑ct图像的交互式血肿分割和分析方法及系统
Ullah et al. Histogram equalization based enhancement and mr brain image skull stripping using mathematical morphology
CN115841472A (zh) 大脑中动脉高密度征识别方法、装置、设备及存储介质
CN115861332A (zh) 一种基于神经网络的脑影像分割方法及装置
CN115137342A (zh) 基于深度学习的图像采集医学系统和方法
Muthu et al. Morphological operations in medical image pre-processing
CN117831757B (zh) 基于病理ct多模态先验知识引导的肺癌诊断方法及系统
Du et al. An improved region growing method for scalp and skull extraction based on mathematical morphology operations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant