CN111080588A - 基于多尺度神经网络的快速胎儿mr图像大脑提取方法 - Google Patents
基于多尺度神经网络的快速胎儿mr图像大脑提取方法 Download PDFInfo
- Publication number
- CN111080588A CN111080588A CN201911229981.6A CN201911229981A CN111080588A CN 111080588 A CN111080588 A CN 111080588A CN 201911229981 A CN201911229981 A CN 201911229981A CN 111080588 A CN111080588 A CN 111080588A
- Authority
- CN
- China
- Prior art keywords
- image
- scale
- features
- convolution
- brain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 41
- 230000001605 fetal effect Effects 0.000 title claims abstract description 38
- 238000000605 extraction Methods 0.000 title claims abstract description 31
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 21
- 210000003754 fetus Anatomy 0.000 claims abstract description 20
- 238000013507 mapping Methods 0.000 claims description 33
- 238000011176 pooling Methods 0.000 claims description 10
- 230000004927 fusion Effects 0.000 claims description 7
- 238000000034 method Methods 0.000 abstract description 15
- 230000000694 effects Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000029058 respiratory gaseous exchange Effects 0.000 description 3
- 210000001015 abdomen Anatomy 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004641 brain development Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多尺度神经网络的快速胎儿MR图像大脑提取方法，属于医学图像技术领域，该方法包括以下步骤：多尺度学习胎儿MR图像特征；使用通道注意力模型融合胎儿MR图像多尺度特征；基于多尺度特征对胎儿MR图像进行大脑提取；本发明使用全卷积网络对含有胎儿大脑的MR图像进行快速提取，并使用通道注意力方式对提取的多尺度特征进行融合，进而得到精准的胎儿大脑提取结果。
Description
技术领域
本发明属于医学图像技术领域，特别涉及一种基于多尺度神经网络的快速胎儿MR图像大脑提取方法。
背景技术
随着信息化时代的迅速发展，机器学习、深度学习方法受到了越来越多的关注。机器学习方法通过对数据的学习，学习到数据的分布，从而对数据进行分类。特别是近五年基于卷积神经网络的深度学习方法广泛应用于医学图像分割、组织定位、疾病辅助诊断等方面。
卷积神经网络能够学习到数据、任务驱动的图像特征，从而更好的对图像进行特征表示。尤其是端到端全卷积神经网络能够快速的对图像进行提取、定位、分割。全卷积神经网络只包含全卷积层。因此全卷积神经网络参数较少，进而使得全卷积神经网络的速度很快。近年来，注意力模型广泛应用于神经网络中，使得深度学习网络得到的特征能够更好的融合。
对孕妇腹部进行扫描能够获得胎儿的发展状况。其中胎儿MR图像能够有效的反映胎儿大脑的发育状况，为胎儿大脑发育畸形诊断提供图像数据。但是，胎儿MR图像受到孕妇呼吸以及胎动等影响，成像效果与成人或者婴儿相比较差。而且为了减小上述原因的影响，胎儿大脑MR扫描通常为快速扫描，使得MR图像层厚较大。
发明内容
本发明提供一种基于多尺度神经网络的快速胎儿MR图像大脑提取方法，以解决现有技术中胎儿大脑MR扫描时，孕妇呼吸、胎动引起的成像效果较差、扫描层厚较大的问题。
为实现上述目的，本发明采用的技术方案为：
一种基于多尺度神经网络的快速胎儿MR图像大脑提取方法，包括以下步骤：
步骤一、多尺度学习胎儿MR图像特征；
步骤二、使用通道注意力模型融合胎儿MR图像多尺度特征；
步骤三、基于多尺度特征对胎儿MR图像进行大脑提取。
进一步的，所述步骤一中，多尺度学习胎儿MR图像特征，针对胎儿MR图像层厚较厚的特点，卷积核分别为3×3×3和3×3×1的两个卷积以及3×3×3和3×3×1的平均池化层对胎儿图像进行特征提取。
进一步的，所述步骤二中，用于融合胎儿MR图像多尺度特征的通道注意力模型，由于特征映射的每个通道以及特征映射之间重要程度有所不同，人工定义融合权重困难，因此使用通道注意力模型计算特征映射通道的重要性，进而自动的融合多尺度图像特征。
进一步的，所述步骤三中，基于多尺度特征的胎儿MR图像大脑提取，使用全卷积网络学习到的特征，通过反卷积、跳链接和卷积操作对胎儿大脑进行提取。
进一步的，输入的特征映射，在第一层分别使用两个卷积核为1×1×1的卷积获得新的特征映射，同时在第一层使用核大小为3×3×3和3×3×1，步长为1的平均池化提取局部特征；在第二层中，卷积结果分别做核大小为3×3×3和3×3×1的卷积操作，同时使用1×1×1的卷积对池化结果进行卷积操作；得到四个尺度的特征映射。
进一步的，四个尺度的特征映射进行通道级联，然后使用全局平均池化获得图像的全局特征，再使用一个1×1×1的卷积和Sigmoid映射单元获得一个权重向量，最后将通道级联的特征与权重向量按通道方向相乘，得到融合特征映射。
进一步的，使用3×3×3的反卷积核得到高分辨率的特征映射，并通过跳链接将高分辨率的特征映射和步骤一种所提取的多尺度特征级联，然后使用3×3×3的卷积得到新的特征映射，最后使用1×1×1的卷积和Sigmoid映射单元得到婴儿大脑的概率图，通过最大后验准则得到最终的提取大脑图像。
与现有技术相比，本发明具有以下有益效果：
本发明使用全卷积网络学习到的特征，通过反卷积操作对胎儿大脑进行提取，本发明提供的方法能够更加快速准确的对胎儿MR图像进行大脑提取。
附图说明
图1是本发明中网络结构示意图；
图2是本发明中多尺度特征提取模块示意图；
图3是本发明中基于通道注意力特征融合模块示意图；
图4是本发明中基于多尺度神经网络的快速胎儿MR图像大脑提取方法结果示意图。
具体实施方式
下面结合实施例对本发明作更进一步的说明。
本具体实施方式中实验数据均来自孕妇腹部MR扫描的真实数据集。
如图1所示，本发明提到的基于多尺度神经网络的快速胎儿MR图像大脑提取方法的网络结构，如下所述：
本发明中提出的网络模型，为端到端的模型。输入为MR图像，输出为提取的大脑结果。在网络的编码过程中，首先使用多尺度特征提取模块对输入图像进行多尺度特征提取，然后使用基于注意力特征融合模块对提取的多尺度特征进行特征融合。然后使用一个核为2×2×2，步长为1的最大池化获得图像更高级的纹理特征。然后重复上述过程获得更高级别的纹理特征。在网络的解码过程中，首先使用反卷积获得更高分辨率的特征映射，由于编码过程中池化操作，使得特征映射损失了图像一定的空间信息，这里采用跳链接的方式将反卷积的特征映射和含有高分辨率空间特征的特征映射级联起来。然后紧跟两个卷积核为3×3×3的卷积获得新的特征映射。然后重复上述过程，得到与输入图像维度相同的特征映射。上述卷积和反卷积操作后都紧跟一个ReLU单元和批归一化。最终使用卷积核为1×1×1的卷积通过Sigmoid非线性映射获得最终的分割结果。
如图2所示，本发明提到的多尺度特征提取模块，具体结构如下所述：
对于输入的特征映射，在第一层分别使用两个卷积核为1×1×1的卷积获得新的特征映射。为了获取图像的局部特征，同时在第一层使用核大小为3×3×3和3×3×1，步长为1的平均池化提取局部特征。在第二层中，对卷积结果分别做核大小为3×3×3和3×3×1的卷积操作，同时使用1×1×1的卷积对池化结果进行卷积操作。通过该过程，获得了四个尺度的特征映射。
如图3所示，本发明提到的基于通道注意力特征融合模块，具体结构如下所述：
对于多尺度特征提取模块提取的四个特征映射，首先对其进行通道级联，然后使用全局平均池化获得图像的全局特征，然后使用一个1×1×1的卷积和Sigmoid映射单元获得一个权重向量，最后将通道级联的特征与权重向量按通道方向相乘，得到融合的特征。
本发明方法在采集的孕妇腹部MR图像数据集上进行验证。如图4所示，采用本发明提出方法得到的结果示意图。可以看出本方法的大脑提取精度很高。在120张扫描图像上的结果显示，本发明的Dice指数能够达到0.95。同时本发明提取速度很快，处理一张MR图像的速度为0.7秒左右。
本发明使用全卷积网络对含有胎儿大脑的MR图像进行快速提取，采用一种多尺度特征提取方法，并使用通道注意力方式对提取的多尺度特征进行融合，进而得到精准的分割结果。
胎儿MR图像能够有效的反映胎儿大脑的发育状况，为胎儿大脑发育畸形诊断提供图像数据。但是，胎儿MR图像受到孕妇呼吸以及胎动等因素影响成像效果与成人或婴儿相比较差。而且为了减轻上述原因的影响，胎儿大脑MR扫描通常为快速扫描，使得MR图像层厚较大。于是，本发明提供一种新的基于多尺度神经网络的快速胎儿MR图像大脑提取方法，使用全卷积网络对含有胎儿大脑的MR图像进行快速提取。同时，针对上述问题，开发出一种多尺度特征提取方法，并使用通道注意力方式对提取的多尺度特征进行融合，进而得到精准的胎儿大脑提取结果。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (7)
1.一种基于多尺度神经网络的快速胎儿MR图像大脑提取方法，其特征在于，包括以下步骤：
步骤一、多尺度学习胎儿MR图像特征；
步骤二、使用通道注意力模型融合胎儿MR图像多尺度特征；
步骤三、基于多尺度特征对胎儿MR图像进行大脑提取。
2.根据权利要求1所述的基于多尺度神经网络的快速胎儿MR图像大脑提取方法，其特征在于：所述步骤一中，多尺度学习胎儿MR图像特征，卷积核分别为3×3×3和3×3×1的两个卷积以及3×3×3和3×3×1的平均池化层对胎儿图像进行特征提取。
3.根据权利要求1所述的基于多尺度神经网络的快速胎儿MR图像大脑提取方法，其特征在于：所述步骤二中，使用通道注意力模型融合胎儿MR图像多尺度特征；，使用通道注意力模型计算特征映射通道的重要性，进而自动的融合多尺度图像特征。
4.根据权利要求1所述的基于多尺度神经网络的快速胎儿MR图像大脑提取方法，其特征在于：所述步骤三中，基于多尺度特征对胎儿MR图像进行大脑提取，使用全卷积网络学习到的特征，通过反卷积、跳链接和卷积操作对胎儿大脑进行提取。
5.根据权利要求1所述的基于多尺度神经网络的快速胎儿MR图像大脑提取方法，其特征在于：输入的特征映射，在第一层分别使用两个卷积核为1×1×1的卷积获得新的特征映射，同时在第一层使用核大小为3×3×3和3×3×1，步长为1的平均池化提取局部特征；在第二层中，卷积结果分别做核大小为3×3×3和3×3×1的卷积操作，同时使用1×1×1的卷积对池化结果进行卷积操作；得到四个尺度的特征映射。
6.根据权利要求3所述的基于多尺度神经网络的快速胎儿MR图像大脑提取方法，其特征在于：四个尺度的特征映射进行通道级联，然后使用全局平均池化获得图像的全局特征，再使用一个1×1×1的卷积和Sigmoid映射单元获得一个权重向量，最后将通道级联的特征与权重向量按通道方向相乘，得到融合特征映射。
7.根据权利要求4所述的基于多尺度神经网络的快速胎儿MR图像大脑提取方法，其特征在于：使用3×3×3的反卷积核得到高分辨率的特征映射，并通过跳链接将高分辨率的特征映射和步骤一种所提取的多尺度特征级联，然后使用3×3×3的卷积得到新的特征映射，最后使用1×1×1的卷积和Sigmoid映射单元得到婴儿大脑的概率图，通过最大后验准则得到最终的提取大脑图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911229981.6A CN111080588A (zh) | 2019-12-04 | 2019-12-04 | 基于多尺度神经网络的快速胎儿mr图像大脑提取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911229981.6A CN111080588A (zh) | 2019-12-04 | 2019-12-04 | 基于多尺度神经网络的快速胎儿mr图像大脑提取方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111080588A true CN111080588A (zh) | 2020-04-28 |
Family
ID=70312882
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911229981.6A Pending CN111080588A (zh) | 2019-12-04 | 2019-12-04 | 基于多尺度神经网络的快速胎儿mr图像大脑提取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111080588A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113723340A (zh) * | 2021-09-08 | 2021-11-30 | 湖北理工学院 | 一种多尺度注意力的深度非线性因子化方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108830855A (zh) * | 2018-04-02 | 2018-11-16 | 华南理工大学 | 一种基于多尺度低层特征融合的全卷积网络语义分割方法 |
| CN109635882A (zh) * | 2019-01-23 | 2019-04-16 | 福州大学 | 一种基于多尺度卷积特征提取和融合的显著物体检测方法 |
| CN109671086A (zh) * | 2018-12-19 | 2019-04-23 | 深圳大学 | 一种基于三维超声的胎儿头部全自动分割方法 |
| CN110136145A (zh) * | 2019-05-17 | 2019-08-16 | 东北大学 | 基于多通道可分离卷积神经网络的mr脑部图像分割方法 |
| CN110415170A (zh) * | 2019-06-24 | 2019-11-05 | 武汉大学 | 一种基于多尺度注意力卷积神经网络的图像超分辨率方法 |
-
2019
- 2019-12-04 CN CN201911229981.6A patent/CN111080588A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108830855A (zh) * | 2018-04-02 | 2018-11-16 | 华南理工大学 | 一种基于多尺度低层特征融合的全卷积网络语义分割方法 |
| CN109671086A (zh) * | 2018-12-19 | 2019-04-23 | 深圳大学 | 一种基于三维超声的胎儿头部全自动分割方法 |
| CN109635882A (zh) * | 2019-01-23 | 2019-04-16 | 福州大学 | 一种基于多尺度卷积特征提取和融合的显著物体检测方法 |
| CN110136145A (zh) * | 2019-05-17 | 2019-08-16 | 东北大学 | 基于多通道可分离卷积神经网络的mr脑部图像分割方法 |
| CN110415170A (zh) * | 2019-06-24 | 2019-11-05 | 武汉大学 | 一种基于多尺度注意力卷积神经网络的图像超分辨率方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113723340A (zh) * | 2021-09-08 | 2021-11-30 | 湖北理工学院 | 一种多尺度注意力的深度非线性因子化方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110111313B (zh) | 基于深度学习的医学图像检测方法及相关设备 | |
| CN107610194B (zh) | 基于多尺度融合cnn的磁共振图像超分辨率重建方法 | |
| CN112017198B (zh) | 基于自注意力机制多尺度特征的右心室分割方法及装置 | |
| CN107369160B (zh) | 一种oct图像中脉络膜新生血管分割算法 | |
| CN111291825B (zh) | 病灶分类模型训练方法、装置、计算机设备和存储介质 | |
| CN108335303B (zh) | 一种应用于手掌x光片的多尺度手掌骨骼分割方法 | |
| CN107766874B (zh) | 一种超声容积生物学参数的测量方法及测量系统 | |
| CN110363760B (zh) | 用于识别医学图像的计算机系统 | |
| CN110930416A (zh) | 一种基于u型网络的mri图像前列腺分割方法 | |
| CN111553892B (zh) | 基于深度学习的肺结节分割计算方法、装置及系统 | |
| CN114758137B (zh) | 超声图像分割方法、装置及计算机可读存储介质 | |
| CN113223005B (zh) | 一种甲状腺结节自动分割及分级的智能系统 | |
| CN111369574B (zh) | 一种胸腔器官的分割方法及装置 | |
| CN111091575B (zh) | 一种基于强化学习方法的医学图像分割方法 | |
| CN110930378A (zh) | 基于低数据需求的肺气肿影像处理方法及系统 | |
| CN112017161A (zh) | 一种基于中心点回归的肺结节检测方法和检测装置 | |
| CN110827283B (zh) | 基于卷积神经网络的头颈血管分割方法及装置 | |
| CN116433654A (zh) | 一种改进的U-Net网络实现脊柱整体分割方法 | |
| Liu et al. | Automated classification and measurement of fetal ultrasound images with attention feature pyramid network | |
| CN113269774B (zh) | 一种mri图像的帕金森病分类及标注病灶区域的方法 | |
| CN114581459A (zh) | 一种基于改进性3D U-Net模型的学前儿童肺部影像感兴趣区域分割方法 | |
| CN111080588A (zh) | 基于多尺度神经网络的快速胎儿mr图像大脑提取方法 | |
| CN117649657A (zh) | 基于改进Mask R-CNN的骨髓细胞检测系统 | |
| CN118541728A (zh) | 图像生成装置、方法及程序、以及学习装置及学习数据 | |
| CN113327221B (zh) | 融合roi区域的图像合成方法、装置、电子设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200428 |