CN112711910B - 一种基于机器学习-电磁反演的高空间分辨率脑成像方法 - Google Patents
一种基于机器学习-电磁反演的高空间分辨率脑成像方法 Download PDFInfo
- Publication number
- CN112711910B CN112711910B CN202011612156.7A CN202011612156A CN112711910B CN 112711910 B CN112711910 B CN 112711910B CN 202011612156 A CN202011612156 A CN 202011612156A CN 112711910 B CN112711910 B CN 112711910B
- Authority
- CN
- China
- Prior art keywords
- network
- training
- bpnns
- net
- brain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000002610 neuroimaging Methods 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 126
- 210000004556 brain Anatomy 0.000 claims abstract description 73
- 238000012360 testing method Methods 0.000 claims abstract description 45
- 210000005013 brain tissue Anatomy 0.000 claims abstract description 35
- 238000009826 distribution Methods 0.000 claims abstract description 23
- 238000003384 imaging method Methods 0.000 claims abstract description 10
- 230000002708 enhancing effect Effects 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 8
- 239000013598 vector Substances 0.000 claims description 24
- 230000006870 function Effects 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 9
- 230000008602 contraction Effects 0.000 claims description 6
- 238000005520 cutting process Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 2
- 238000003325 tomography Methods 0.000 abstract description 6
- 238000002591 computed tomography Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 8
- 230000002159 abnormal effect Effects 0.000 description 7
- 230000002547 anomalous effect Effects 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 238000002600 positron emission tomography Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- INGWEZCOABYORO-UHFFFAOYSA-N 2-(furan-2-yl)-7-methyl-1h-1,8-naphthyridin-4-one Chemical compound N=1C2=NC(C)=CC=C2C(O)=CC=1C1=CC=CO1 INGWEZCOABYORO-UHFFFAOYSA-N 0.000 description 1
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 230000008344 brain blood flow Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 108010002255 deoxyhemoglobin Proteins 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000000537 electroencephalography Methods 0.000 description 1
- 230000005672 electromagnetic field Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000005865 ionizing radiation Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000000700 radioactive tracer Substances 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Evolutionary Biology (AREA)
- Pathology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Bioinformatics & Computational Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明提供一种基于机器学习‑电磁反演的高空间分辨率脑成像方法，包括以下步骤：建立反演模型，根据高空间分辨率的脑电特性分布，建立SJ‑BPNNs网络和U‑Net网络结合的反演模型，所述SJ‑BPNNs网络将测量到的散射场转化为脑电特性的三维图像，再利用U‑Net网络增强三维图像的成像质量；依据人脑先验信息的脑成像训练策略来建立学习样本数据集；所述训练策略包括：在给定范围内对人脑模型进行不同因子的缩放；根据不同的组织，在给定的范围内随机设置不同训练样本的脑组织电学特性；利用学习样本集对SJ‑BPNNs网络进行训练和验证；再将SJ‑BPNNs输出的三维图像处理成二维图像输入到U‑Net中训练和测试；本发明提供的方法能够实现高效、准确地重建三维高空间分辨率的人脑电性层析成像。
Description
技术领域
本发明电磁反演方法领域，特别是指一种基于机器学习-电磁反演的高空间分辨率脑成像方法。
背景技术
临床上常见的脑成像技术主要有计算机断层扫描(CT)、磁共振成像(MRI)、正电子发射断层扫描(PET)和功能性磁共振成像(fMRI)。计算机断层扫描(CT)是一种常规的、高空间分辨率的诊断方法，利用x射线或γ射线观察大脑结构，但它具有电离辐射，对人脑存在一些安全问题。磁共振成像(MRI)虽然具有高空间分辨率和高对比度，但由于其仪器成本高，诊断对患者来说成本较高。与计算机断层扫描(CT)、磁共振成像(MRI)等脑结构图不同，正电子发射断层扫描(PET)和功能性磁共振成像(fMRI)属于脑功能图，正电子发射断层扫描(PET)使用半衰期较短的正电子作为示踪剂记录脑的代谢活动，功能性磁共振成像(fMRI)使用脑内的脱氧血红蛋白作为对照绘制脑血流图。两者在空间分辨率和成本上都有局限性。
电学性质层析成像(EPT)利用接收器探测到的电磁场来表征散射体的电学性质(包括介电常数和电导率)。该方法有许多优点穿透性强，对比度高，操作方便。但高对比度的三维高空间分辨率人脑电性层析成像(EPT)是传统的确定性或随机优化方法的难点问题。若要保证高空间分辨率的要求，大规模的反演问题将消耗大量的计算资源，这是个人计算机或工作站无法承受的负担。
发明内容
本发明的主要目的在于克服现有技术中的上述缺陷，提出一种基于机器学习-电磁反演的高空间分辨率脑成像方法，解决利用传统的反演方法求解三维高空间分辨率的电性层析成像(EPT)反演成本高的难题，并且能够实现高效、准确地重建三维高空间分辨率的人脑电性层析成像。
本发明采用如下技术方案：
一种基于机器学习-电磁反演的高空间分辨率脑成像方法，具体包括以下步骤：
建立反演模型，根据高空间分辨率的脑电特性分布，建立SJ-BPNNs网络和U-Net网络结合的反演模型，所述SJ-BPNNs网络将测量到的散射场转化为脑电特性的三维图像，再利用U-Net网络增强三维图像的成像质量；
依据人脑先验信息的脑成像训练策略来建立学习样本数据集；所述训练策略包括：在给定范围内对人脑模型进行不同因子的缩放；根据不同的组织，在给定的范围内随机设置不同训练样本的脑组织电学特性；
利用学习样本集对SJ-BPNNs网络进行训练和验证；再将SJ-BPNNs输出的三维图像处理成二维图像输入到U-Net中训练和测试。
具体地，所述建立SJ-BPNNs网络和U-Net网络结合的反演模型，具体包括：
搭建SJ-BPNNs网络：SJ-BPNNs网络包括三层:输入层、隐含层和输出层；训练样本的输入为测量散射场的列向量xj＝[x1j,x1j…xmj]T∈Cm，输出是电特性分布列向量oj＝[o1j,o1j…xN1×N2×N3]T∈R1×(N1×N2×N3)，其中m为输入层的输入维数，N1×N2×N3为输出维数，C为复数集，R为实数集；
SJ-BPNNs网络将输出均匀地划分为N个子集，N为整数，使输出的子集连接到隐含层，对于第n个子集，输出
为：
其中，n＝1,2,...,N,j＝1,2,...,P,P是训练样本的总集合数，
和
分别为输入层和隐含层之间的L×m权矩阵和L×1阈值向量，L为每个子集中隐含层网络的节点数，
和
分别为隐含层和输出层之间的F×L权矩阵和F×1阈值向量，gl和gs分别为隐含层的线性激活函数和输出层的tan-sigmoid激活函数，分别表示为:gl(x)＝x；
具体地，所述建立SJ-BPNNs网络和U-Net网络结合的反演模型，还包括：
搭建U-Net网络：U-Net包括收缩路径和扩展路径，输入U-Net网络的二维图像，所述二维图像是SJ-BPNNs网络将测量到的散射场转化为脑电特性的三维图像切成XY、YZ和XZ平面的二维图像，其中YZ和XZ用于训练U-Net，XY用于测试训练完的U-Net。
具体地，所述依据人脑先验信息的脑成像训练策略来建立学习样本数据集；所述训练策略包括：在给定范围内对人脑模型进行不同因子的缩放；根据不同的组织，在给定的范围内随机设置不同训练样本的脑组织电学特性，具体包括：
将不同的人脑纳入训练过程，在给定范围内对人脑模型进行不同因子的缩放；根据不同的组织，在给定的范围内随机设置不同训练样本的脑组织电学特性，使训练策略对不同的个体具有通用性；
在训练样本中对人脑组织进行变形，变形的大小按照正态分布；
在训练样本中，随机分布不同大小和电特性的球形散射体。
本发明另一方面提供一种基于机器学习-电磁反演的高空间分辨率脑成像装置，具体包括：
反演模型建立模块：用于建立反演模型，根据高空间分辨率的脑电特性分布，建立SJ-BPNNs网络和U-Net网络结合的反演模型，所述SJ-BPNNs网络将测量到的散点场转化为脑电特性的三维图像，再利用U-Net网络增强三维图像的成像质量；
样本数据集建立模块：依据人脑先验信息的脑成像训练策略来建立学习样本数据集；所述训练策略包括：在给定范围内对人脑模型进行不同因子的缩放；根据不同的组织，在给定的范围内随机设置不同训练样本的脑组织电学特性；
训练测试模块：利用学习样本集对SJ-BPNNs网络进行训练和验证；再将SJ-BPNNs输出的三维图像处理成二维图像输入到U-Net中训练和测试。
具体地，所述反演模型建立模块，建立SJ-BPNNs网络和U-Net网络结合的反演模型，具体包括：
搭建SJ-BPNNs网络：SJ-BPNNs网络包括三层:输入层、隐含层和输出层；训练样本的输入为测量散射场的列向量xj＝[x1j,x1j…xmj]T∈Cm，输出是电特性分布列向量oj＝[o1j,o1j…xN1×N2×N3]T∈R1×(N1×N2×N3)，其中m为输入层的输入维数，N1×N2×N3为输出维数，C为复数集，R为实数集；；
SJ-BPNNs网络将输出均匀地划分为N个子集，N为整数，使输出的子集连接到隐含层，对于第n个子集，输出
为：
其中，n＝1,2,...,N,j＝1,2,...,P,P是训练样本的总集合数，
和
分别为输入层和隐含层之间的L×m权矩阵和L×1阈值向量，L为每个子集中隐含层网络的节点数，
和
分别为隐含层和输出层之间的F×L权矩阵和F×1阈值向量，gl和gs分别为隐含层的线性激活函数和输出层的tan-sigmoid激活函数，分别表示为:gl(x)＝x；
具体地，所述反演模型建立模块，建立SJ-BPNNs网络和U-Net网络结合的反演模型，还包括：
搭建U-net网络：U-Net包括收缩路径和扩展路径，输入U-Net网络的二维图像，所述二维图像是SJ-BPNNs网络将测量到的散点场转化为脑电特性的三维图像切成XY、YZ和XZ平面的二维图像，其中YZ和XZ用于训练U-Net，XY用于测试训练完的U-Net。
具体地，所述样本数据集建立模块，依据人脑先验信息的脑成像训练策略来建立学习样本数据集；所述训练策略包括：在给定范围内对人脑模型进行不同因子的缩放；根据不同的组织，在给定的范围内随机设置不同训练样本的脑组织电学特性，具体包括：
将不同的人脑纳入训练过程，在给定范围内对人脑模型进行不同因子的缩放；根据不同的组织，在给定的范围内随机设置不同训练样本的脑组织电学特性，使训练策略对不同的个体具有通用性；
在训练样本中对人脑组织进行变形，变形的大小按照正态分布；
在训练样本中，随机分布不同大小和电特性的球形散射体。
本发明再一方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述基于机器学习-电磁反演的高空间分辨率脑成像方法的步骤。
由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：
(1)本发明提出的基于机器学习-电磁反演的高空间分辨率脑成像方法，首先建立反演模型，根据高空间分辨率的脑电特性分布，建立SJ-BPNNs网络和U-Net网络结合的反演模型，SJ-BPNNs网络将测量到的散射场转化为脑电特性的三维图像，再利用U-Net网络增强三维图像的成像质量；依据人脑先验信息的脑成像训练策略来建立学习样本数据集；所述训练策略包括：在给定范围内对人脑模型进行不同因子的缩放；根据不同的组织，在给定的范围内随机设置不同训练样本的脑组织电学特性；利用学习样本集对SJ-BPNNs网络进行训练和测试；再将SJ-BPNNs输出的三维图像处理成二维图像输入到U-Net中训练和测试；本发明提出的方法比传统方法极大地减少了计算内存和测试时间，且在测试过程中对正常的人脑和有一个异常散射体的人脑模型都加入了不同信噪比的高斯白噪声，发现本发明模型误差和数据误差均保持在相同的水平，证明了本发明所提出的方法在不同情况下的效果是稳定的。
附图说明
图1为本发明实施例SJ-BPNNs网络的结构图；
图2为本发明实施例U-Net网络的体系结构图；
图3为本发明实施例考虑人类脑组织缩放变形和异常情况的脑成像训练策略示意图；
图4为本发明实施例2-D脑切片模型设置与脑成像训练策略示意图；
图5为人类大脑模型的发射器/接收器的分布和外部形状示意图；
图6为正常人脑的真实值的XY切片和本发明提出的方法对正常人脑进行电导率重建的XY切片图；其中(a)为真实值；(b)为SJ-BPNNs重构的初步电导率；(c)U-Net重构优化电导率；
图7为真实值和用本发明提出的方法得到的重建电导率的三维切片图；(a)真实值；(b)SJ-BPNNs重构的初步电导率；(c)U-Net重构优化电导率；
图8为利用受高斯白噪声污染的实测场，用SJ-BPNNs重建导电率的XY切片图；(a)信噪比＝40dB；(b)信噪比＝30dB；(c)信噪比＝20dB；(d)信噪比＝10dB；
图9为用U-Net优化的XY电导率切片；(a)信噪比＝40dB；(b)信噪比＝30dB；(c)信噪比＝20dB；(d)信噪比＝10dB；
图10为接收器的散射磁场与总磁场之比；
图11为在三种异常散射体情况下的真实值和用所提出的方法得到了重建电导率的XY切片；(a)(c)(e)分别为测试1、2和3的真实值；(b)(d)(f)分别为试验1、2和3所提出的方法重构电导率；
图12为所提出的方法用于测试1被高斯白噪声污染重建电导率的XY切片；(a)信噪比＝40dB；(b)信噪比＝30dB；(c)信噪比＝20dB；(d)信噪比＝10dB；
图13为所提出的方法用于测试2被高斯白噪声污染重建电导率的XY切片；(a)信噪比＝40dB；(b)信噪比＝30dB；(c)信噪比＝20dB；(d)信噪比＝10dB；
图14为所提出的方法用于测试3被高斯白噪声污染重建电导率的XY切片；(a)信噪比＝40dB；(b)信噪比＝30dB；(c)信噪比＝20dB；(d)信噪比＝10dB。
以下结合附图和具体实施例对本发明作进一步详述。
具体实施方式
以下通过具体实施方式对本发明作进一步的描述。
本发明提供的一种基于机器学习-电磁反演的高空间分辨率脑成像方法流程图，具体包括：
S101：建立反演模型，根据高空间分辨率的脑电特性分布，建立SJ-BPNNs网络和U-Net网络结合的反演模型，所述SJ-BPNNs网络将测量到的散射场转化为脑电特性的三维图像，再利用U-Net网络增强三维图像的成像质量；
如图1为SJ-BPNNs网络的结构图，搭建SJ-BPNNs网络：SJ-BPNNs网络包括三层:输入层、隐含层和输出层；训练样本的输入为测量散射场的列向量xj＝[x1j,x1j…xmj]T∈Cm，输出是电特性分布列向量oj＝[o1j,o1j…xN1×N2×N3]T∈R1×(N1×N2×N3)，其中m为输入层的输入维数，N1×N2×N3为输出维数，C为复数集，R为实数集；
SJ-BPNNs网络将输出均匀地划分为N个子集，N为整数，使输出的子集连接到隐含层，对于第n个子集，输出
为：
其中，n＝1,2,...,N,j＝1,2,...,P,P是训练样本的总集合数，
和
分别为输入层和隐含层之间的L×m权矩阵和L×1阈值向量，L为每个子集中隐含层网络的节点数，
和
分别为隐含层和输出层之间的F×L权矩阵和F×1阈值向量，gl和gs分别为隐含层的线性激活函数和输出层的tan-sigmoid激活函数，分别表示为:gl(x)＝x；
如图2为U-Net网络结构图，搭建U-Net网络：U-Net包括收缩路径和扩展路径，输入U-Net网络的二维图像，所述二维图像是SJ-BPNNs网络将测量到的散射场转化为脑电特性的三维图像切成XY、YZ和XZ平面的二维图像，其中YZ和XZ用于训练U-Net，XY用于测试训练完的U-Net。
S102：依据人脑先验信息的脑成像训练策略来建立学习样本数据集；所述训练策略包括：在给定范围内对人脑模型进行不同因子的缩放；根据不同的组织，在给定的范围内随机设置不同训练样本的脑组织电学特性；脑成像训练策略示意图如图3所示。
首先，考虑到不同的人脑在结构和电性能上是相似的，可以纳入训练过程中。然后，在给定范围内对人脑模型进行不同因子的缩放；根据不同的组织，在给定的范围内随机设置不同训练样本的脑组织电学特性，使训练策略对不同的个体具有通用性。
考虑到人脑组织可能存在的个体差异，在一些训练样本中对人脑组织进行了变形，变形的大小按照正态分布。
为了重建脑部肿瘤、出血或损伤等异常情况，在一些训练样本中，随机分布不同大小和电特性的球形散射体。根据训练策略，设置的人脑模型如图4所示。
S103：利用学习样本集对SJ-BPNNs网络进行训练和验证；再将SJ-BPNNs输出的三维图像处理成二维图像输入到U-Net中训练和测试。
在测试过程中，在考虑人脑先验信息的脑成像训练策略的基础上，建立一个经济的训练数据集，经过测试，建立了一个拥有300个样本的数据集，既考虑了准确性又考虑了效率。其中，分别使用255和45个样本对SJ-BPNNs进行训练和验证。然后，再将SJ-BPNNs输出的三维图像处理成二维图像输入到U-Net中训练和测试，增强初步图像的成像质量。
利用NEVA电磁学建立了虚拟人脑模型。下表1列出了人脑模型的16个不同组织，在1KHZ时相应的电性能。从下表可以看出，电性能比空气大得多，所以人脑的EPT是一个高对比度反演问题，用MoM很难解决这个问题。脑组织的切向损失很大，因此大脑的介电常数可能看起来比电导率小。因此，正演问题将考虑脑组织的相对介电常数和电导率，而SJ-BPNNs和U-Net只输出电导率。
表1人脑模型的16个不同组织及在1KHZ时相应的电性能
发射器/接收器围绕着人脑模型，其分布如图5所示。将60×59＝33540个散射磁场的测量结果输入到SJ-BPNNs。在图5中，还可以观察到人脑模型的外部形态。
基于训练策略，将人脑模型按不同因素进行缩放，其范围为[0.9,1.1]；不同训练样本中人脑组织的电学性质随机设置不同放大倍数的电学性质，范围为[0.8,1.2]。将球散射体的半径随机设为4mm、7mm和10mm，将球散射体的相对介电常数和电导率随机设为3.00×104和2.00S/m,4.00×104和2.50S/m，或5.00×104和3.00S/m。
正演问题的计算区域为一个0.6×0.6×0.6m3立方箱，外边界考虑了空气和吸收边界条件。为了得到清晰可辩的脑电导率分布，采用最大尺寸为3mm的四面体网格对人脑计算域进行离散，得到3274793个单元。采用自由度为2510400的二阶基函数混合有限元法求解该问题代价较大，因此采用一阶基函数混合有限元法求解正演问题，其自由度为4364652。
重构的成像区域减小为0.24×0.24×0.24m3立方方盒，并将方盒分成256×256×256个体素，因此未知量(也就是SJ-BPNNs的输出和U-Net的输入输出)为16777256。在SJ-BPNNs的每个子集中，采用试错法将输出个数设置为10，这样可以方便地求解每个子集的网络，保证重构精度。经过测试，当每个子集的隐含层节点数接近于每个子集输出数的2倍时，可以保证效率和准确性，避免过拟合。因此，在该反演问题中，将每个子集隐含层的节点数设为25。相应的，在SJ-BPNNs的每个子集中，
和
的维数分别为25×3540、25×1、10×25、10×1。SJ-BPNNs不需要求解庞大的网络，只需要在每个子集并行计算较小的网络，减少了计算负担，提高了效率。
U-Net将256×256×256的三维图像分割成256×256的二维图像进行训练和测试，使U-Net所消耗的运行时间分别减少为1小时训练和约2分钟测试。
为量化所提方法的性能，定义L2范数下的模型误差和数据误差为
其中，σR和σT分别是散射体的重构电导和真实电导；
为输入到训练网络的实测散射磁场，
为通过重构电导率计算得到的散射磁场；所有的正演、反演问题都在一台20核CPU、512gb RAM和Nvidia Geforce RTX 2080ti GPU上完成。
下面通过具体的实例验证本发明提出的方法：
第一个验证案例是一个正常人的大脑。首先，将测量到的散射磁场输入到训练好的SJ-BPNNs中。在2-D薄片和3-D薄片上绘制的电导率输出，如图6(b)和图7(b)所示。虽然人脑的结构比较复杂，但是重建脑的大小、位置、形状和电导率与真实值能很好地吻合，如图6(a)和图7(a)所示。对应的模型误差为10.14％，数据误差为3.00％。
在SJ-BPNNs的重构结果中仍然存在一些噪声和伪影。因此，将SJ-BPNNs输出的初步图像输入到训练好的U-Net中进行优化。从图6(c)和图7(c)可以看出，很好地消除了图6(b)和图7(b)中的噪声，结果更接近真实值，模型误差和数据误差分别减小到7.20％和0.86％。
为了评估该方法对噪声的鲁棒性，在测量的散射磁场中加入高斯白噪声。分别用-10dB、-20dB、-30dB和-40dB加性高斯白噪声对该方法进行了测试。如图8所示，其中(a)信噪比＝40dB，(b)信噪比＝30dB，(c)信噪比＝20dB，(d)信噪比＝10dB，SJ-BPNNs重构电导率输出中的噪声随着信噪比的降低而增大。特别是当信噪比为10dB时，噪声污染了整个图像，重建电导率值远远大于真实值。然而，人类大脑的形状也是能区分的。为了去除噪声，将初步图像输入到训练好的U-Net中。如图9所示，其中(a)信噪比＝40dB，(b)信噪比＝30dB，(c)信噪比＝20dB，(d)信噪比＝10dB，对初始图像中的大部分噪声进行滤波，得到的噪声结果与图9的无噪声结果相近。下表2列出了所提方法在无噪声和有噪声情况下的模型误差和数据误差。随着信噪比的降低，模型误差和数据误差都在增大，但均在可接受的范围内。虽然该方法没有选择数据误差作为目标函数，但无噪声情况下足够低的模型误差可以使相应的数据误差足够低。在存在噪声的情况下，随机噪声对数据误差的影响和较高的模型误差比无噪声情况要大。
表2在无噪声和有噪声情况下的模型误差和数据误差
| SNR(dB) | Noise-free | 40 | 30 | 20 | 10 |
| Model Misfit(％) | 7.20 | 27.57 | 28.16 | 33.31 | 38.75 |
| Data Misfit(％) | 0.86 | 12.83 | 12.84 | 15.84 | 29.14 |
在低频电磁问题中，散射场比总场小得多。接收机散射磁场与总磁场的比值如图10所示。可见，如果不能很好地对接收机探测到的一次场进行抵消，得到准确的散射场，噪声过大的低频反演问题将难以重建。
第二个验证案例是存在一些异常散射体的大脑。建立了三个测试来验证所提出的方法也适用于这种情况。测试1、2和3在人脑中有一个半径分别为4mm、7mm和10mm的球形异常小散射体。另外，图11(a)(c)(e)中三个异常散射体的位置和电导率都不同。如图11(b)(d)(f)所示，用本方法重构的异常散射体可以很容易地区分出来，即使是测试#1中最小的散射体，异常散射体的位置、形状、大小和传导率也接近于真实值。三种检验的模型失配分别为8.89％、8.55％和10.55％；三种检验的数据失配分别为1.61％、0.89％和0.71％。并结合实例对该方法的抗噪性进行了评价。同样，在测试1、测试2、测试3的实测散射磁场中加入四个不同信噪比的高斯白噪声。其中，图12为所提出的方法用于测试1被高斯白噪声污染重建电导率的XY切片；(a)信噪比＝40dB；(b)信噪比＝30dB；(c)信噪比＝20dB；(d)信噪比＝10dB；图13为所提出的方法用于测试2被高斯白噪声污染重建电导率的XY切片，(a)信噪比＝40dB，(b)信噪比＝30dB，(c)信噪比＝20dB，(d)信噪比＝10dB；图14为所提出的方法用于测试3被高斯白噪声污染重建电导率的XY切片，(a)信噪比＝40dB，(b)信噪比＝30dB，(c)信噪比＝20dB，(d)信噪比＝10dB；图12、图13、图14的结果验证了所提方法能有效地去除图像中的噪声，且能较容易地识别出异常散射体。在不同噪声环境下，本案例中所提方法的模型失配和数据失配情况。在相同的噪声环境下，三种检验的模型失配和数据失配均保持在相同的水平，证明了所提出的方法在不同情况下是稳定的。
本发明可以替代对患者来说成本较高的磁共振成像(MRI)，对人脑存在一些安全问题的计算机断层扫描(CT)，以及在空间分辨率和成本上都有局限性的正电子发射断层扫描(PET)和功能性磁共振成像(fMRI)。同时解决了利用传统的反演方法求解三维高空间分辨率的电性层析成像(EPT)反演成本高的难题。传统的BPNNs训练需要512GB以上的计算内存。但利用GPU加速训练过程，SJ-BPNNs大约需要89GB的计算内存和6小时的CPU时间来学习。经过训练，计算内存和测试时间可以进一步减少到19GB和半小时。U-Net将256×256×256的三维图像分割成256×256的二维图像进行训练和测试，使U-Net所消耗的运行时间分别减少为1小时训练和约2分钟测试。
本发明另一方面提供一种基于机器学习-电磁反演的高空间分辨率脑成像装置，具体包括：
反演模型建立模块：用于建立反演模型，根据高空间分辨率的脑电特性分布，建立SJ-BPNNs网络和U-Net网络结合的反演模型，所述SJ-BPNNs网络将测量到的散点场转化为脑电特性的三维图像，再利用U-Net网络增强三维图像的成像质量；
样本数据集建立模块：依据人脑先验信息的脑成像训练策略来建立学习样本数据集；所述训练策略包括：在给定范围内对人脑模型进行不同因子的缩放；根据不同的组织，在给定的范围内随机设置不同训练样本的脑组织电学特性；
训练测试模块：利用学习样本集对SJ-BPNNs网络进行训练和验证；再将SJ-BPNNs输出的三维图像处理成二维图像输入到U-Net中训练和测试。
具体地，所述反演模型建立模块，建立SJ-BPNNs网络和U-Net网络结合的反演模型，具体包括：
搭建SJ-BPNNs网络：SJ-BPNNs网络包括三层:输入层、隐含层和输出层；训练样本的输入为测量散射场的列向量xj＝[x1j,x1j…xmj]T∈Cm，输出是电特性分布列向量oj＝[o1j,o1j…xN1×N2×N3]T∈R1×(N1×N2×N3)，其中m为输入层的输入维数，N1×N2×N3为输出维数，C为复数集，R为实数集；
SJ-BPNNs网络将输出均匀地划分为N个子集，N为整数，使输出的子集连接到隐含层，对于第n个子集，输出
为：
其中，n＝1,2,...,N,j＝1,2,...,P,P是训练样本的总集合数，
和
分别为输入层和隐含层之间的L×m权矩阵和L×1阈值向量，L为每个子集中隐含层网络的节点数，
和
分别为隐含层和输出层之间的F×L权矩阵和F×1阈值向量，gl和gs分别为隐含层的线性激活函数和输出层的tan-sigmoid激活函数，分别表示为:
具体地，所述反演模型建立模块，建立SJ-BPNNs网络和U-Net网络结合的反演模型，还包括：
搭建U-net网络：U-Net包括收缩路径和扩展路径，输入U-Net网络的二维图像，所述二维图像是SJ-BPNNs网络将测量到的散点场转化为脑电特性的三维图像切成XY、YZ和XZ平面的二维图像，其中YZ和XZ用于训练U-Net，XY用于测试训练完的U-Net。
具体地，所述样本数据集建立模块，依据人脑先验信息的脑成像训练策略来建立学习样本数据集；所述训练策略包括：在给定范围内对人脑模型进行不同因子的缩放；根据不同的组织，在给定的范围内随机设置不同训练样本的脑组织电学特性，具体包括：
将不同的人脑纳入训练过程，在给定范围内对人脑模型进行不同因子的缩放；根据不同的组织，在给定的范围内随机设置不同训练样本的脑组织电学特性，使训练策略对不同的个体具有通用性；
在训练样本中对人脑组织进行变形，变形的大小按照正态分布；
在训练样本中，随机分布不同大小和电特性的球形散射体。
在上述测试中可见，本发明在无有噪声不同情况下的正常人脑和带有异常散射体的人脑的重建效果都是稳定的。本发明提供了能够高效、准确地重建三维高空间分辨率的人脑电性层析成像的方法。
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。
Claims (5)
1.一种基于机器学习-电磁反演的高空间分辨率脑成像方法，其特征在于，具体包括以下步骤：
建立反演模型，根据高空间分辨率的脑电特性分布，建立SJ-BPNNs网络和U-Net网络结合的反演模型，所述SJ-BPNNs网络将测量到的散射场转化为脑电特性的三维图像，再利用U-Net网络增强三维图像的成像质量；
依据人脑先验信息的脑成像训练策略来建立学习样本数据集；所述训练策略包括：在给定范围内对人脑模型进行不同因子的缩放；根据不同的组织，在给定的范围内随机设置不同训练样本的脑组织电学特性；
利用学习样本集对SJ-BPNNs网络进行训练和验证；再将SJ-BPNNs输出的三维图像处理成二维图像输入到U-Net中训练和测试；
所述建立SJ-BPNNs网络和U-Net网络结合的反演模型，具体包括：
搭建SJ-BPNNs网络：SJ-BPNNs网络包括三层:输入层、隐含层和输出层；训练样本的输入为测量散射场的列向量xj＝[x1j,x2j…xmj]T∈Cm，输出是电特性分布列向量oj＝[o1j,o2j…xN1×N2×N3j]T∈R1×(N1×N2×N3)，其中m为输入层的输入维数，N1×N2×N3为输出维数，C为复数集，R为实数集；
SJ-BPNNs网络将输出均匀地划分为N个子集，N为整数，使输出的子集连接到隐含层，对于第n个子集，输出
为：
其中，n＝1,2,...,N,j＝1,2,...,P,P是训练样本的总集合数，
和
分别为输入层和隐含层之间的L×m权矩阵和L×1阈值向量，L为每个子集中隐含层网络的节点数，
和
分别为隐含层和输出层之间的F×L权矩阵和F×1阈值向量，gl和gs分别为隐含层的线性激活函数和输出层的tan-sigmoid激活函数，分别表示为:
所述建立SJ-BPNNs网络和U-Net网络结合的反演模型，还包括：
搭建U-Net网络：U-Net包括收缩路径和扩展路径，输入U-Net网络的二维图像，所述二维图像是SJ-BPNNs网络将测量到的散射场转化为脑电特性的三维图像切成XY、YZ和XZ平面的二维图像，其中YZ和XZ用于训练U-Net，XY用于测试训练完的U-Net。
2.根据权利要求1所述的一种基于机器学习-电磁反演的高空间分辨率脑成像方法，其特征在于，所述依据人脑先验信息的脑成像训练策略来建立学习样本数据集；所述训练策略包括：在给定范围内对人脑模型进行不同因子的缩放；根据不同的组织，在给定的范围内随机设置不同训练样本的脑组织电学特性，具体包括：
将不同的人脑纳入训练过程，在给定范围内对人脑模型进行不同因子的缩放；根据不同的组织，在给定的范围内随机设置不同训练样本的脑组织电学特性，使训练策略对不同的个体具有通用性；
在训练样本中对人脑组织进行变形，变形的大小按照正态分布；
在训练样本中，随机分布不同大小和电特性的球形散射体。
3.一种基于机器学习-电磁反演的高空间分辨率脑成像装置，其特征在于，具体包括：
反演模型建立模块：用于建立反演模型，根据高空间分辨率的脑电特性分布，建立SJ-BPNNs网络和U-Net网络结合的反演模型，所述SJ-BPNNs网络将测量到的散点场转化为脑电特性的三维图像，再利用U-Net网络增强三维图像的成像质量；
样本数据集建立模块：依据人脑先验信息的脑成像训练策略来建立学习样本数据集；所述训练策略包括：在给定范围内对人脑模型进行不同因子的缩放；根据不同的组织，在给定的范围内随机设置不同训练样本的脑组织电学特性；
训练测试模块：利用学习样本集对SJ-BPNNs网络进行训练和验证；再将SJ-BPNNs输出的三维图像处理成二维图像输入到U-Net中训练和测试；
所述反演模型建立模块，建立SJ-BPNNs网络和U-Net网络结合的反演模型，具体包括：
搭建SJ-BPNNs网络：SJ-BPNNs网络包括三层:输入层、隐含层和输出层；训练样本的输入为测量散射场的列向量xj＝[x1j,x2j…xmj]T∈Cm，输出是电特性分布列向量oj＝[o1j,o2j…xN1×N2×N3j]T∈R1×(N1×N2×N3)，其中m为输入层的输入维数，N1×N2×N3为输出维数，C为复数集，R为实数集；
SJ-BPNNs网络将输出均匀地划分为N个子集，N为整数，使输出的子集连接到隐含层，对于第n个子集，输出
为：
其中，n＝1,2,...,N,j＝1,2,...,P,P是训练样本的总集合数，
和
分别为输入层和隐含层之间的L×m权矩阵和L×1阈值向量，L为每个子集中隐含层网络的节点数，
和
分别为隐含层和输出层之间的F×L权矩阵和F×1阈值向量，gl和gs分别为隐含层的线性激活函数和输出层的tan-sigmoid激活函数，分别表示为:
所述反演模型建立模块，建立SJ-BPNNs网络和U-Net网络结合的反演模型，还包括：
搭建U-net网络：U-Net包括收缩路径和扩展路径，输入U-Net网络的二维图像，所述二维图像是SJ-BPNNs网络将测量到的散点场转化为脑电特性的三维图像切成XY、YZ和XZ平面的二维图像，其中YZ和XZ用于训练U-Net，XY用于测试训练完的U-Net。
4.根据权利要求3所述的一种基于机器学习-电磁反演的高空间分辨率脑成像装置，其特征在于，所述样本数据集建立模块，依据人脑先验信息的脑成像训练策略来建立学习样本数据集；所述训练策略包括：在给定范围内对人脑模型进行不同因子的缩放；根据不同的组织，在给定的范围内随机设置不同训练样本的脑组织电学特性，具体包括：
将不同的人脑纳入训练过程，在给定范围内对人脑模型进行不同因子的缩放；根据不同的组织，在给定的范围内随机设置不同训练样本的脑组织电学特性，使训练策略对不同的个体具有通用性；
在训练样本中对人脑组织进行变形，变形的大小按照正态分布；
在训练样本中，随机分布不同大小和电特性的球形散射体。
5.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至2任意一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011612156.7A CN112711910B (zh) | 2020-12-30 | 2020-12-30 | 一种基于机器学习-电磁反演的高空间分辨率脑成像方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011612156.7A CN112711910B (zh) | 2020-12-30 | 2020-12-30 | 一种基于机器学习-电磁反演的高空间分辨率脑成像方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112711910A CN112711910A (zh) | 2021-04-27 |
| CN112711910B true CN112711910B (zh) | 2022-05-17 |
Family
ID=75547334
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011612156.7A Expired - Fee Related CN112711910B (zh) | 2020-12-30 | 2020-12-30 | 一种基于机器学习-电磁反演的高空间分辨率脑成像方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112711910B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110968826A (zh) * | 2019-10-11 | 2020-04-07 | 重庆大学 | 一种基于空间映射技术的大地电磁深度神经网络反演方法 |
| CN111126591A (zh) * | 2019-10-11 | 2020-05-08 | 重庆大学 | 一种基于空间约束技术的大地电磁深度神经网络反演方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10891778B2 (en) * | 2018-01-10 | 2021-01-12 | The Board Of Trustees Of The University Of Illinois | Apparatus and method for producing three-dimensional models from magnetic resonance imaging |
-
2020
- 2020-12-30 CN CN202011612156.7A patent/CN112711910B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110968826A (zh) * | 2019-10-11 | 2020-04-07 | 重庆大学 | 一种基于空间映射技术的大地电磁深度神经网络反演方法 |
| CN111126591A (zh) * | 2019-10-11 | 2020-05-08 | 重庆大学 | 一种基于空间约束技术的大地电磁深度神经网络反演方法 |
Non-Patent Citations (1)
| Title |
|---|
| "深度学习技术在条纹投影三维成像中的应用";冯世杰 等;《红外与激光工程》;20200331;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112711910A (zh) | 2021-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Neira et al. | High-resolution microwave breast imaging using a 3-D inverse scattering algorithm with a variable-strength spatial prior constraint | |
| Kim et al. | A performance comparison of convolutional neural network‐based image denoising methods: The effect of loss functions on low‐dose CT images | |
| Gao et al. | Sensitivity of the distorted born iterative method to the initial guess in microwave breast imaging | |
| Burfeindt et al. | Beamforming-enhanced inverse scattering for microwave breast imaging | |
| Van Sloun et al. | Compressed sensing for ultrasound computed tomography | |
| Scapaticci et al. | Wavelet-based adaptive multiresolution inversion for quantitative microwave imaging of breast tissues | |
| CN111436936B (zh) | 基于mri的ct图像重建方法 | |
| Kim et al. | A convolutional neural network‐based model observer for breast CT images | |
| CN110175957A (zh) | 多能量ct基材料物质分解方法 | |
| Ambrosanio et al. | Microwave breast imaging via neural networks for almost real-time applications | |
| Gurney-Champion et al. | A convolutional neural network for contouring metastatic lymph nodes on diffusion-weighted magnetic resonance images for assessment of radiotherapy response | |
| Benhaddou et al. | Anisotropic functional Laplace deconvolution | |
| Narendra et al. | Phaseless Gauss-Newton inversion for microwave imaging | |
| CN112711910B (zh) | 一种基于机器学习-电磁反演的高空间分辨率脑成像方法 | |
| Rose et al. | Investigating simulation‐based metrics for characterizing linear iterative reconstruction in digital breast tomosynthesis | |
| EP3424020A2 (en) | Optimization-based reconstruction with an image-total-variation constraint in pet | |
| CN113538693B (zh) | 一种基于深度学习的微波乳腺图像重建方法 | |
| Zheng et al. | Improving spatial adaptivity of nonlocal means in low‐dosed CT imaging using pointwise fractal dimension | |
| Petrov | Shearlet-Based Adaptive Noise Reduction in T Images. | |
| Peterlik et al. | Regularized image reconstruction for ultrasound attenuation transmission tomography | |
| Bakic et al. | Comparison of 3D and 2D breast density estimation from synthetic ultrasound tomography images and digital mammograms of anthropomorphic software breast phantoms | |
| Shea et al. | Contrast-enhanced microwave breast imaging | |
| Sun et al. | Variational Bayesian blind restoration reconstruction based on shear wave transform for low-dose medical CT image | |
| CN112634385A (zh) | 一种基于深度拉普拉斯网络的快速磁共振成像方法 | |
| ElNakieb et al. | Towards personalized autism diagnosis: Promising results |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220517 |