CN113744234A - 一种基于gan的多模态脑部图像配准方法 - Google Patents
一种基于gan的多模态脑部图像配准方法 Download PDFInfo
- Publication number
- CN113744234A CN113744234A CN202111006976.6A CN202111006976A CN113744234A CN 113744234 A CN113744234 A CN 113744234A CN 202111006976 A CN202111006976 A CN 202111006976A CN 113744234 A CN113744234 A CN 113744234A
- Authority
- CN
- China
- Prior art keywords
- image
- registration
- images
- information
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 210000004556 brain Anatomy 0.000 title claims abstract description 12
- 238000003384 imaging method Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 10
- 210000003625 skull Anatomy 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 2
- 238000012952 Resampling Methods 0.000 claims description 2
- 238000002474 experimental method Methods 0.000 claims description 2
- 238000011160 research Methods 0.000 claims 1
- 238000000926 separation method Methods 0.000 claims 1
- 210000000056 organ Anatomy 0.000 abstract description 4
- 238000012360 testing method Methods 0.000 abstract description 4
- 238000003745 diagnosis Methods 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000013507 mapping Methods 0.000 abstract description 3
- 238000005457 optimization Methods 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 abstract 1
- 238000006243 chemical reaction Methods 0.000 abstract 1
- 239000003814 drug Substances 0.000 abstract 1
- 238000011478 gradient descent method Methods 0.000 abstract 1
- 238000011524 similarity measure Methods 0.000 abstract 1
- 238000011176 pooling Methods 0.000 description 7
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 238000005070 sampling Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241001436679 Adama Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 230000009982 effect on human Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000001605 fetal effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000004884 grey matter Anatomy 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 210000004885 white matter Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/60—Rotation of a whole image or part thereof
-
- G06T5/70—
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
随着影像技术的发展，各种成像设备的出现为现代医学的进步作出了巨大的贡献，但由于成像原理的限制，单一模态的影像技术通常只能提供单一且有限的信息，因此为了提高诊断的准确性和治疗的有效性，医生往往需要融合不同模态图像的信息以了解病变组织或器官的综合信息。为了实现对脑部图像进行的高效、快速配准，便于医生进行治疗，提出了一种基于基于生成对抗网络的配准方法。在生成器中采用U‑Net的编码器‑解码器结构，编码器获取浮动图像到固定图像的变换参数，解码器恢复特征图尺寸，通过在相似度测度上使用基于归一化互信息的医学图像配准，以梯度下降法作为图像配准的优化算法，分别在CT单模态和CT‑MRI多模态序列图像中分别进行试验，对比使用原始的归一化互信息计算方法与改进的归一化互信息方法得到的配准结果。本发明能够通过自动学习同一数据集之间的映射联系，增强模型的泛化能力。本发明能实现精确、快速的配准。
Description
技术领域
本发明属于医学图像处理技术领域，具体涉及到一种用于脑部图像配准的方法。
背景技术
医学图像作为解剖区域内部结构和内部功能的视觉表征，向人们传递着至关重要的信息，是医生进行疾病观察、诊断和治疗的重要依据。但是不同的成像设备有着不同的优缺点，例如超声成像低成本，快捷作用，是目前一些疾病普查和孕妇胎检的主要手段，但是超声图像噪声明显，成像部位和深度都有很大的局限性；MRI 对人体组织中水含量的变化非常敏感，对人体软组织有很好的成像效果，但容易受金属的影响，而且扫描时间较长，伪影较多；CT 对于人体器官中的血管，以及器官的解剖结构成像清晰，分辨率高，但是有辐射危害，对于孕妇和小孩并不适用；PET 则是用来分析人体器官的功能信息（如新陈代谢等），对于疾病的早期诊断有着极高的敏感性，但成像质量较低，远不如CT，MRI 那么清晰。所以急需一种将这些图像融合到一起便于医生去观察的方法，使医生判断准确工作效率更高。
医学图像配准（Registration）是指通过一系列的空间变换使两幅图像达到空间位置匹配的过程，主要应用于临床治疗中的病灶检测、疾病诊断、手术规划、手术导航、疗效评估等方面。目前，在临床诊断的过程中一般由经验丰富的专家根据现有的临床医学知识、个人经验和空间想象力进行人工配准。人工配准的方法不仅耗时费力，而且配准的结果因人而异具有很强的主观性。医生在长时间工作的情况下也会因为疲劳而导致较大的误差。因此，利用现代计算机代替人工配准的技术，不仅可以节约更多的医疗资源，还可以实现更加实时、准确、高效的图像配准，挽救更多患者的生命。
传统非刚性医学图像配准方法主要分为基于特征和基于灰度两大类。基于特征的配准方法包括特征提取（点特征、线特征、面特征、边缘）、特征匹配、形变位移场参数估计、图像变换四个步骤。基于特征的非刚性医学图像配准计算量小、运算速度快，但通常特征点选取过程繁琐需要人工操作缺乏自动性， 操作者水平差异直接影响特征点选取的准确性。
当前，医学图像配准的主要应用领域为：疾病诊断和监测，手术导航，放射治疗。
发明内容
由于在传统的医学图像配准中。存在速度慢，准确度低的情况。提供一种使用生成对抗网络自动准确配准脑部图像的方法。
本发明通过以下技术方案实现：一种基于生成对抗网络脑部图像配准方法。通过在生成器上使用U型卷积网络的编码解码网络结构提取的抽象特征并进行细节的恢复，得到与固定图像相似的图像。判别网络将生成模型得出的图像与固定图像一同输入深度卷积网络，判别网路进行判别。通过生成模型和判别模型的相互抗衡调节网络参数权重，二者达到平衡时网络使整体网络收敛。
（1）数据预处理：
a.首先利用磁共振数据处理软件 FreeSurfer对原始图像进行了颅骨剥离和重采样。recon-all 是 FreeSurfer 的核心命令之一，它包含 30多个子处理命令，用于完成FreeSurfer 皮质重建的部分或全部过程。本文利用该命令对原始数据进行头骨去除、颈部去除、强度归一化、灰质白质分割等处理，从而获取brainmask.mgz 和 aseg.mgz 数据特征提取。
b.为了对神经网络的输入图像进行规范化，本文对颅骨分离和重采样后的图像进行了裁剪，以保证所有的图像尺寸相同。通过视觉观察寻找三维图像的中心，并以此中心向外扩展至所有感兴趣区域全部包含在图像内，图像尺寸最终被统一为 110×182×210。
c.为了避免这些成像因素所造成的灰度差异，同时提高神经网络的训练速度，需要对裁剪后的灰度图像体素值做了归一化的处理，即将体素值缩放到了 0-1 之间。
d.同时需要将研究目标为寻找浮动图像与固定图像之间的非线性变换，实现医学图像的可变形配准，因而在配准之前对所有的图像数据进行了仿射对齐。整个数据预处理如图1。
（2）构建生成网络：卷积层均为3x3大小的卷积核，池化层均为2x2的最大池化。网络的下采样过程通过逐步的卷积池化操作扩大感受野，提取输入图像的抽象信息，上采样过程通过up pooling操作将抽象特征恢复成与输入图片相同分辨率的图像，并通过skipconnection操作结合下采样各层信息和上采样的输入信息来还原细节信息，逐步还原图像精度。在U-net的基础上又加入了residual connection，如图1所示，防止出现梯度消失或梯度爆炸的问题，引入残差后的映射对输出的变化更敏感，也使网络更容易学习。
（3）构建判别网络：判别网络结构全部采用卷积层操作，用较深的网络结构和较小的卷积核，来保证感受视野，减少卷积层的参数。先将样本输入到一个3x3的卷积层，其后紧接BN（BatchNormalization）层和Relu（Rectified Linear Unit）层，对卷积后的像素进行归一化和非线性激活处理。池化层kernel size均为2x2，stride为2的max-pooling，小的池化核能够带来更细节的信息捕获，在图像任务上max-pooling的效果更好，更加容易捕捉图像上的变化，带来更大的局部信息差异性
（4）本实验在Pycharm中进行，使用ABIDE，OASIS，ADHD200数据集，随机选取其中的220个数据进行训练，65个数据集进行测试 ，我们将图像裁剪并缩小到112×128×96的输入大小，通过20000次迭代，，间断训练以上两个过程，调整网络参数，直到网络收敛，训练结束。
本发明通过使用生成对抗网络，使得生成网络产生的变形场更加接近真实的变形场，使用迁移特征使得网络的配准速更快，网络学习到数据之间映射关系，使得网络能具备很强的泛化能力，也使得网络能实现高效、快速的脑部图像配准。
附图说明
图1为配准的结果图；实验结果表明，本发明使用的基于U-net-GAN的脑部磁共振图像配准方法，能够有效的实现脑部图像快速、准确的配准。
图2为数据预处理过程图。
图3为配准的整个流程图。
具体实施方式
为了验证本发明在基于GAN脑部图像配准性能，我们选用ABIDE，OASIS，ADHD200数据集进行训练、验证和测试。
步骤一：对大脑图像数据进行预处理，使用Pycharm软件，采用图像旋转，平移变换进行图像增强，图像去噪，颅骨剥离和重采样，对比度增强的方法进行图像归一化处理。
步骤二:在Pycharm软件中训练GAN网络，batch_size为1，learning_rate为2e-4，采用Adama优化器，动能为0.5进行优化，训练迭代20000次，以11：1的划分训练集和验证集，间断训练以上两个过程，调整网络参数，直到网络收敛，训练结束。
步骤三:采用ABIDE，OASIS，ADHD200数据集的测试集对GAN网络进行测试，实验结果采用重合度系数（Dice）进行评价。
Claims (1)
1.本发明公布了一种用于脑部图像配准方法，包括以下步骤：
(1)数据预处理：
a.首先利用磁共振数据处理软件 FreeSurfer对原始图像进行了颅骨剥离和重采样;recon-all 是 FreeSurfer 的核心命令之一，它包含 30多个子处理命令，用于完成FreeSurfer 皮质重建的部分或全部过程;本文利用该命令对原始数据进行头骨去除、颈部去除、强度归一化、灰质白质分割等处理，从而获取brainmask.mgz 和 aseg.mgz 数据特征提取;
b.为了对神经网络的输入图像进行规范化，本文对颅骨分离和重采样后的图像进行了裁剪，以保证所有的图像尺寸相同;通过视觉观察寻找三维图像的中心，并以此中心向外扩展至所有感兴趣区域全部包含在图像内，图像尺寸最终被统一为 110×182×210;
c.为了避免这些成像因素所造成的灰度差异，同时提高神经网络的训练速度，需要对裁剪后的灰度图像体素值做了归一化的处理，即将体素值缩放到了 0-1 之间;
d. 同时需要将研究目标为寻找浮动图像与固定图像之间的非线性变换，实现医学图像的可变形配准，因而在配准之前对所有的图像数据进行了仿射对齐;整个数据预处理如图1；
（2）特征提取：首先通过生成器里边的U-Net 的编码器-解码器结构对数据的特征进行提取，使用提取到的具有全局空间信息的特征来训练网络模型，在训练过程中不断调整模型参数；
（3）本实验在Pycharm中进行，使用ABIDE，OASIS，ADHD200数据集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111006976.6A CN113744234A (zh) | 2021-08-30 | 2021-08-30 | 一种基于gan的多模态脑部图像配准方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111006976.6A CN113744234A (zh) | 2021-08-30 | 2021-08-30 | 一种基于gan的多模态脑部图像配准方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113744234A true CN113744234A (zh) | 2021-12-03 |
Family
ID=78734048
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111006976.6A Pending CN113744234A (zh) | 2021-08-30 | 2021-08-30 | 一种基于gan的多模态脑部图像配准方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113744234A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114359360A (zh) * | 2022-03-17 | 2022-04-15 | 成都信息工程大学 | 一种基于对抗的双向一致性约束医学图像配准算法 |
-
2021
- 2021-08-30 CN CN202111006976.6A patent/CN113744234A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114359360A (zh) * | 2022-03-17 | 2022-04-15 | 成都信息工程大学 | 一种基于对抗的双向一致性约束医学图像配准算法 |
| CN114359360B (zh) * | 2022-03-17 | 2022-06-10 | 成都信息工程大学 | 一种基于对抗的双向一致性约束医学图像配准算法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6947759B2 (ja) | 解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションするシステム及び方法 | |
| CN110930367B (zh) | 多模态超声影像分类方法以及乳腺癌诊断装置 | |
| CN112529894B (zh) | 一种基于深度学习网络的甲状腺结节的诊断方法 | |
| EP3046478B1 (en) | Image analysis techniques for diagnosing diseases | |
| CN111243042A (zh) | 基于深度学习的超声甲状腺结节良恶性特征可视化的方法 | |
| CN110853111A (zh) | 医学影像处理系统、模型训练方法及训练装置 | |
| CN113781640A (zh) | 基于弱监督学习的三维人脸重建模型建立方法及其应用 | |
| KR20200082660A (ko) | 머신러닝 기반 병리 진단 방법 및 장치 | |
| CN113679426A (zh) | 超声图处理系统 | |
| Lyu et al. | Dual-task ultrasound spine transverse vertebrae segmentation network with contour regularization | |
| CN111820948B (zh) | 胎儿生长参数测量方法、系统及超声设备 | |
| CN115830016A (zh) | 医学图像配准模型训练方法及设备 | |
| Wang et al. | Deep learning based fetal middle cerebral artery segmentation in large-scale ultrasound images | |
| CN113744234A (zh) | 一种基于gan的多模态脑部图像配准方法 | |
| CN113633315A (zh) | 采用超声图处理系统的超声图处理方法 | |
| CN113436155B (zh) | 基于深度学习的超声臂丛神经图像识别方法 | |
| WO2023133929A1 (zh) | 一种基于超声的人体组织对称性检测分析方法 | |
| CN115035207A (zh) | 胎儿颅脑标准切面生成方法、装置和超声成像显示系统 | |
| CN114937044A (zh) | 一种轻量化图像分割方法、装置及存储介质 | |
| Malinda et al. | Lumbar vertebrae synthetic segmentation in computed tomography images using hybrid deep generative adversarial networks | |
| CN112102327A (zh) | 一种图像处理方法、装置及计算机可读存储介质 | |
| Memon et al. | Image pre-processing for differential diagnosis of multiple sclerosis using brain MRI | |
| Ye et al. | Ultrasonic image segmentation method based on improved fully convolution network | |
| CN115148341B (zh) | 一种基于体位识别的ai结构勾画方法及系统 | |
| Mithila et al. | U-net Based Autonomous Fetal Segmentation From 2D and 3D Ultrasound Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |