CN113052934A - 基于卷积神经网络的核磁共振图像运动伪影校正 - Google Patents

基于卷积神经网络的核磁共振图像运动伪影校正 Download PDF

Info

Publication number
CN113052934A
CN113052934A CN202110280924.1A CN202110280924A CN113052934A CN 113052934 A CN113052934 A CN 113052934A CN 202110280924 A CN202110280924 A CN 202110280924A CN 113052934 A CN113052934 A CN 113052934A
Authority
CN
China
Prior art keywords
magnetic resonance
nuclear magnetic
convolutional neural
neural network
motion artifact
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110280924.1A
Other languages
English (en)
Inventor
刘之洋
赵彬
吴虹
刘国华
丁数学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nankai University
Original Assignee
Nankai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nankai University filed Critical Nankai University
Priority to CN202110280924.1A priority Critical patent/CN113052934A/zh
Publication of CN113052934A publication Critical patent/CN113052934A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种基于卷积神经网络的运动伪影校正方法。包括步骤：将数据集按一定比例随机分为训练集、验证集和测试集；设计一个可以进行端到端训练的卷积神经网络；由Kaiming网络参数初始化方法初始化卷积神经网络；向初始化后的卷积神经网络中输入带运动伪影的核磁共振图像，在输出端与不带运动伪影的核磁共振图像计算损失并反向更新网络梯度；在测试集上对训练好的网络进行评估，并输出对应的测试结果。本发明将减少核磁共振图像在拍摄过程中对于传统辅助手段的依赖，同时提高被拍摄者的舒适度。此外，在训练数据集丰富的情况下，本发明可以适用于不同型号的核磁共振图像设备，相较于传统的运动伪影校正方法具有更高的通用性。

Description

基于卷积神经网络的核磁共振图像运动伪影校正
技术领域
本发明涉及核磁共振图像运动伪影校正技术领域，具体是一种基于卷积神经网络的核磁共振图像运动伪影校正方法。
背景技术
运动伪影是核磁共振图像采集中一种常见的影响图像质量的伪影形式，其中大概10％～42％的脑部检查会带来运动伪影，而这些运动伪影为医生的诊断带来了较多的干扰。造成该类伪影的主要原因有：非自愿的周期运动，例如心脏和呼吸活动；打喷嚏、咳嗽、打哈欠和吞咽、眨眼等突然不自主运动；由于身体不舒服带来的有意识运动等。由于核磁共振图像的运动伪影有时不可避免，为了使医生在诊断过程中尽可能免受运动伪影带来的影响，对其进行校正是必要的。
当前，相关研究人员针对核磁共振图像运动伪影的问题已经提出了很多方法，其中包括使用软垫和头部固定器固定以限制头部运动，快速的单脉冲序列以冻结头部运动，对运动敏感度较低的非笛卡尔K空间采集策略，通过在图像空间或K空间中实时测量头部姿态来指导数据采集等。由于在核磁共振图像采集过程中，其运动伪影的影响因素较为复杂，对于该问题目前还没有简单有效的通用解决方法。此外，上述提到的运动伪影校正方法的可用性在核磁共振图像设备制造商之间有所不同，这将阻碍它们在临床中的应用。
基于卷积神经网络的方法在图像处理的诸多任务中表现出了优异的效果。在医学图像领域，基于卷积神经网络的方法也已用于减少大脑成像中的运动伪影和吉布斯伪影，减少肝脏成像中的呼吸运动和模糊等。但是这些方法缺乏泛化能力，并可能带来新的伪影，例如图像对比度的损失，边缘的过度增强以及减少小解剖结构的显著程度。因此，开发更通用的算法以获得更好的图像质量是必要的。
发明内容
本发明提出一种基于卷积神经网络的核磁共振图像运动伪影校正方法，该方法利用无运动伪影的核磁共振图像及其对应的有运动伪影的核磁共振图像进行端到端的训练以对其运动伪影进行校正。本方法采用的技术方案包含以下步骤：
步骤1：将数据集按一定比例随机分为训练集、验证集和测试集；
步骤2：设计一个可以进行端到端训练的卷积神经网络；
步骤3：由Kaiming网络参数初始化方法初始化步骤2的卷积神经网络；
步骤4：向初始化后的卷积神经网络中输入带运动伪影的核磁共振图像，在输出端与不带运动伪影的核磁共振图像计算损失并反向更新网络梯度；
步骤5：在测试集上对步骤4得到的算法进行评估，并输出对应的测试结果；
进一步地，在步骤2中，为了关注对运动伪影校正有主要作用的特征，该网络嵌入了空间注意力模块和通道注意力模块，并在网络连接中使用残差连接和密集连接。
本发明提出的基于卷积神经网络的核磁共振图像运动伪影校正方法，相对于传统核磁共振图像运动伪影校正方法有以下优点：
(1)本发明针对核磁共振图像运动伪影问题，提出一种基于卷积神经网络的运动伪影自动化校正方法，这将减少核磁共振图像在拍摄过程中对于传统辅助手段的依赖，同时提高被拍摄者的舒适度。
(2)本发明提出的核磁共振图像运动伪影校正方法，在训练数据集丰富的情况下，可以适用于不同型号的核磁共振图像设备，相较于传统的运动伪影校正方法具有更高的通用性。
附图说明
图1为本发明提出的基于卷积神经网络的运动伪影校正网络示意图。
图2为特征提取模块示意图。
图3为注意力残差模块示意图。
具体实施方式
结合附图及实施例，对本发明所述的方法作详细阐述。
基于卷积神经网络的运动伪影校正网络示意图如图1所示。该方法总的流程如下：首先将带运动伪影的核磁共振图像作为输入网络，在输出端与不带运动伪影的核磁共振图像计算损失并反向更新网络梯度。该网络由四个结构相同的特征提取模块对输入的带运动伪影的核磁共振图像进行特征提取，每个模块由前向后以密集连接的方式进行特征合并。每个特征提取模块的骨干网络以U-net为基础，并对其结构进行了调整以适应我们的任务需求，具体结构如图2所示。为了充分关注对校正运动伪影有主要作用的特征，本发明将调整好的网络中的卷积模块和复制剪切连结替换为带注意力机制的残差模块。该注意力机制采用通道和空间注意力协同作用，首先将输入特征经过通道注意力模块以赋予对任务贡献大的特征更多的权重，接着将经过通道加权后的特征输入空间注意力模块以获得在空间维度上的加权特征。
步骤1：将数据集按一定比例随机分为训练集、验证集和测试集；
该数据集使用的是解剖结构清晰的核磁共振图像的T1序列，每个图像都有多个切片组成，每个切片是带运动伪影和不带运动伪影的组合。
步骤2：设计一个可以进行端到端训练的卷积神经网络；
为了更好地对运动伪影进行校正，该网络嵌入了通道注意力模块和空间注意力模块，同时在网络连接上使用残差连接和密集连接。
步骤3：由Kaiming网络参数初始化方法初始化步骤2的卷积神经网络；
使用Kaiming网络参数初始化方法对网络中的卷积核，批归一化中的参数进行初始化以便于网络的训练从一个合理的初始值开始，从而加速收敛过程。
步骤4：向初始化后的卷积神经网络中输入带运动伪影的核磁共振图像，在输出端与不带运动伪影的核磁共振图像计算损失并反向更新网络梯度；
为了便于神经网络的训练，输入网络的带运动伪影的核磁共振图像和输出端用于计算损失函数的不带运动伪影的核磁共振图像分别进行归一化处理，归一化处理的形式为
Figure BDA0002978355450000031
其中xi是核磁共振图像X的第i个切片，min(·)和max(·)分别表示X的最小值和最大值。
在计算损失函数时，损失函数使用的是多尺度结构性损失和l1范数损失之和，该函数组合可以兼顾图像的结构、对比度、亮度和颜色等图像特征，其形式为
Figure BDA0002978355450000032
其中α为贡献系数，用于平衡两个损失对任务的贡献；
Figure BDA0002978355450000033
为多尺度结构性损失函数；
Figure BDA0002978355450000034
为高斯系数；
Figure BDA0002978355450000035
为l1范数损失。
步骤5：在测试集上对步骤4得到的算法进行评估，并输出对应的测试结果；
为了测试步骤4所得网络的泛化能力，使用测试集对其进行验证。本发明使用峰值信噪比(Peak Signal to Noise Ratio,PSNR)和结构相似性(Structural Similarity,SSIM)作为评价指标。PSNR是一种评价图像的客观标准，经常作为信号重建质量的测量方法，用于度量峰值信号和背景噪音之间的平均能量之比，其单位为dB，数值越大表示失真越小。给定一组图像I和图像O，其PSNR为
Figure BDA0002978355450000036
其中MSE为两张图像的均方误差，MAXI为I的最大像素值。
由于PSNR是基于对应像素点间的误差对图像质量进行评价，并未考虑到人眼的视觉特性，即人眼对空间频率较低的对比差异敏感度较高，人眼对亮度对比差异的敏感度较色度高，人眼对一个区域的感知结果会受到其周围邻近区域的影响，导致经常出现评价结果与人的主观感受不一致的情况。SSIM作为一种全参考的图像质量评价指标，分别从亮度、对比度和结构三个方面度量图像的相似性，能从总体上与人的视觉感受保持一致。SSIM的定义如下
Figure BDA0002978355450000037
其中μI和
Figure BDA0002978355450000038
分别为I的均值和方差；μO和
Figure BDA0002978355450000039
分别为O的均值和方差；σIO为I和O的协方差；c1＝(k1L)2，c2＝(k2L)2，k1和k2为固定值，分别为0.01和0.03；L为像素值的范围。

Claims (6)

1.一种基于卷积神经网络的核磁共振图像运动伪影校正方法，其特征在于，使用有运动伪影的核磁共振图像及其对应的无运动伪影的核磁共振图像进行端到端的训练以校正运动伪影，具体包括以下步骤：
1)将数据集按一定比例随机分为训练集、验证集和测试集；；
2)设计一个可以进行端到端训练的卷积神经网络；
3)由Kaiming网络参数初始化方法初始化2)的卷积神经网络；；
4)向初始化后的卷积神经网络中输入带运动伪影的核磁共振图像，在输出端与不带运动伪影的核磁共振图像计算损失并反向更新网络梯度；
5)在测试集上对步骤4)得到的算法进行评估，并输出对应的测试结果。
2.如权利要求1所述的基于卷积神经网络的核磁共振图像运动伪影校正方法，其特征在于，按6：2：2的比例随机划分数据为训练集、验证集和测试集。
3.如权利要求1所述的基于卷积神经网络的核磁共振图像运动伪影校正方法，其特征在于，设计一个可以进行端到端训练的卷积神经网路，该网络嵌入了通道注意力模块和空间注意力模块，同时在网络连接上使用残差连接和密集连接。
4.如权利要求1所述的基于卷积神经网络的核磁共振图像运动伪影校正方法，其特征在于，使用Kaiming网络参数初始化方法初始化2)的卷积神经网络。
5.如权利要求1所述的基于卷积神经网络的核磁共振图像运动伪影校正方法，其特征在于，使用多尺度结构性损失和l1范数损失之和计算损失值。
6.如权利要求1所述的基于卷积神经网络的核磁共振图像运动伪影校正方法，其特征在于，在测试集上对最终训练好的网络进行测试，采用的评价指标包括峰值信噪比(PeakSignal to Noise Ratio,PSNR)和结构相似性(Structural Similarity,SSIM)。
CN202110280924.1A 2021-03-16 2021-03-16 基于卷积神经网络的核磁共振图像运动伪影校正 Pending CN113052934A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110280924.1A CN113052934A (zh) 2021-03-16 2021-03-16 基于卷积神经网络的核磁共振图像运动伪影校正

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110280924.1A CN113052934A (zh) 2021-03-16 2021-03-16 基于卷积神经网络的核磁共振图像运动伪影校正

Publications (1)

Publication Number Publication Date
CN113052934A true CN113052934A (zh) 2021-06-29

Family

ID=76512632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110280924.1A Pending CN113052934A (zh) 2021-03-16 2021-03-16 基于卷积神经网络的核磁共振图像运动伪影校正

Country Status (1)

Country Link
CN (1) CN113052934A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711433A (zh) * 2018-11-30 2019-05-03 东南大学 一种基于元学习的细粒度分类方法
CN110060315A (zh) * 2019-04-22 2019-07-26 深圳安科高技术股份有限公司 一种基于人工智能的图像运动伪影消除方法及系统
CN110197208A (zh) * 2019-05-14 2019-09-03 江苏理工学院 一种纺织品瑕疵智能检测分类方法及装置
CN111861914A (zh) * 2020-07-07 2020-10-30 天津大学 基于深度神经网络的低照度彩色偏振图像增强方法
CN112070690A (zh) * 2020-08-25 2020-12-11 西安理工大学 基于卷积神经网络双分支注意力生成的单幅图像去雨方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711433A (zh) * 2018-11-30 2019-05-03 东南大学 一种基于元学习的细粒度分类方法
CN110060315A (zh) * 2019-04-22 2019-07-26 深圳安科高技术股份有限公司 一种基于人工智能的图像运动伪影消除方法及系统
CN110197208A (zh) * 2019-05-14 2019-09-03 江苏理工学院 一种纺织品瑕疵智能检测分类方法及装置
CN111861914A (zh) * 2020-07-07 2020-10-30 天津大学 基于深度神经网络的低照度彩色偏振图像增强方法
CN112070690A (zh) * 2020-08-25 2020-12-11 西安理工大学 基于卷积神经网络双分支注意力生成的单幅图像去雨方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张墨华: ""基于先验学习的图像复原技术研究"", 《中国博士学位论文全文数据库（信息科技缉）》 *

Similar Documents

Publication Publication Date Title
Guo et al. Unsupervised denoising of optical coherence tomography images with nonlocal-generative adversarial network
CN110827216A (zh) 图像去噪的多生成器生成对抗网络学习方法
CN111429379B (zh) 一种基于自监督学习的低剂量ct图像去噪方法及系统
CN107016676B (zh) 一种基于pcnn的视网膜血管图像分割方法和系统
Sahnoun et al. A comparative study of MRI contrast enhancement techniques based on Traditional Gamma Correction and Adaptive Gamma Correction: Case of multiple sclerosis pathology
CN111292338A (zh) 一种从眼底oct图像中分割脉络膜新生血管的方法及系统
CN111598964B (zh) 一种基于空间自适应网络的定量磁化率图像重建方法
CN107292858B (zh) 一种基于低秩分解和稀疏表示的多模态医学图像融合方法
CN106530236B (zh) 一种医学图像处理方法及系统
CN109377472B (zh) 一种眼底图像质量评价方法
Despotovic et al. Brain volume segmentation in newborn infants using multi-modal MRI with a low inter-slice resolution
CN113706409A (zh) 基于人工智能的cbct图像增强方法、装置和存储介质
Pezzotti et al. An adaptive intelligence algorithm for undersampled knee mri reconstruction: Application to the 2019 fastmri challenge
CN104766304B (zh) 一种基于多序列医学图像的血管配准方法
Panda et al. A 3D wide residual network with perceptual loss for brain MRI image denoising
Bansal et al. A proposed approach for biomedical image denoising using PCA_NLM
Kulcsár et al. Robust processing of images sequences produced by an adaptive optics retinal camera
CN113762522A (zh) 机器学习模型的训练方法、装置和图像的重建方法、装置
CN116645283A (zh) 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法
CN113052934A (zh) 基于卷积神经网络的核磁共振图像运动伪影校正
CN112102234A (zh) 基于目标检测神经网络的耳硬化病灶检测及诊断系统
CN116894783A (zh) 基于时变约束的对抗生成网络模型的金属伪影去除方法
CN116402954A (zh) 一种基于深度学习的脊柱三维结构的重建方法
CN115205315A (zh) 一种眼科体征保持的眼底图像增强方法
CN112837807A (zh) 一种t2dm脑衰老认知障碍早期智能高精度辅诊方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210629