CN109870729B - 基于离散余弦变换的深度神经网络磁共振信号消噪方法 - Google Patents
基于离散余弦变换的深度神经网络磁共振信号消噪方法 Download PDFInfo
- Publication number
- CN109870729B CN109870729B CN201910098593.2A CN201910098593A CN109870729B CN 109870729 B CN109870729 B CN 109870729B CN 201910098593 A CN201910098593 A CN 201910098593A CN 109870729 B CN109870729 B CN 109870729B
- Authority
- CN
- China
- Prior art keywords
- dnn
- rbm
- magnetic resonance
- hidden layer
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明属于核磁共振数据处理领域,具体涉及一种基于离散余弦变换的深度神经网络磁共振信号消噪方法,首先采用离散余弦变换对含噪信号和仿真信号进行变换作为深度神经网络的输入和理想出,然后采用无监督学习的方式对深度神经网络进行逐层贪婪预训练,实现网络权值初始化,再利用误差反向传播法微调全局参数,最后将测试集输入训练好的深度神经网络,对网络输出反归一化后作逆离散余弦变换,得到消噪后的核磁共振信号。该方法能够实现由含噪信号到干净信号的非线性映射,对核磁共振信号中所有类型的噪声实现“一次性”消除;能够适应各种复杂多变的探测环境和噪声干扰,显著提高信噪比,提高后续反演解释提取参数的准确性;且离散余弦变换和受限玻尔兹曼机预训练的引入,极大地缩短了深度神经网络的训练时间,提高了深度神经网络的训练效率,使深度神经网络消除核磁共振噪声方法具有实用性。
Description
技术领域
本发明属于核磁共振数据处理领域,具体涉及一种基于离散余弦变换的深度神经网络磁共振信号消噪方法。
背景技术
核磁共振地下水探测方法(Magnetic Resonance Sounding,MRS)作为一种能够定性定量探测地下水的地球物理方法,近年来从理论研究到仪器研制,得到了快速的发展。但是由于MRS信号极其微弱,导致高灵敏度的仪器受周围环境中噪声干扰严重,不能准确提取MRS信号,制约了MRS方法的广泛应用。影响MRS信号质量的噪声主要有尖峰噪声、工频噪声和随机噪声三类。目前国际上主要采用的MRS信号消噪方法是针对不同类型的噪声分别进行消除,其流程为1)去尖峰噪声;2)去工频噪声;3)平均叠加去随机噪声(AhmadA.Behroozmand,Kristina Keating,Esben Auken.A Review of the Principles andApplications of the NMR Technique for Near-Surface Characterization.Surveysin Geophysics,2015(36):27–85),过程复杂且需要具有核磁共振专业领域知识的人进行操作。
发明内容
本发明所要解决的技术问题在于提供一种基于离散余弦变换的深度神经网络磁共振信号消噪方法,解决现有消噪方法中过程复杂的问题,对核磁共振信号中所有类型的噪声实现“一次性”消除。
本发明是这样实现的,
一种基于离散余弦变换的深度神经网络磁共振信号消噪方法,该方法包括:
步骤A、在仿真核磁共振信号E(t)中加入空采核磁共振噪声,作离散余弦变换(Discrete Cosine Transform,DCT),获得神经网络的训练样本集X=[X1,X2,...,XM]和测试数据集T=[T1,T2,...,TN];
步骤C、设置深度神经网络结构(Deep Nueral Network,DNN),以受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)训练方式并将归一化处理后的训练样本集作为可见向量输入到RBM中,对DNN进行预训练,得到DNN的初始化网络权值和偏置向量;
步骤D、利用反向传播算法,将原训练数据集与RBM训练输出的类标签组成新的训练集作为DNN的输入,对仿真核磁共振信号E(t)作DCT变换和均值归一化,作为DNN的理想输出Y,将步骤C中训练得到的网络权值和偏置向量作为DNN的初始化参数,有监督地对DNN进行全局训练,微调DNN网络权值参数;
步骤E、将测试数据集输入训练完毕的DNN,对DNN输出反归一化后,作离散余弦反变换,得到消噪后的核磁共振时域信号。
进一步地,所述步骤A包括以下步骤:
A2、对Ns组含噪核磁共振信号作DCT变换为式(1):
其中,x(k)为离散信号序列,xl为信号长度,m=0,1,2,...,xl-1,
DCT反变化表示为式(2)
A3、将步骤A2得到的Ns组含噪核磁共振信号C(m)的70%作为训练样本集X=[X1,X2,...,XM],30%作为测试数据集T=[T1,T2,...,TN],M和N分别为训练集和测试集的样本数。
进一步地,所述步骤B均值归一化的具体方法为:
进一步地,所述步骤C具体包括:
C1、设置DNN隐藏层层数L和每层所含神经单元个数;
C2、将DNN的输入层和第一层隐藏层作为第一个RBM网络的可见层和隐藏层进行训练,可见层含神经元nv个,隐藏层含神经元nh个;
C4、利用基于K步吉布斯抽样的对比散度算法获得各参数梯度的近似;
C5、根据步骤C4获得的各参数梯度的近似,并利用随机梯度上升法更新RBM网络参数;
C6、用DNN的第一层隐藏层和第二层隐藏层作为第二个RBM网络的可见层和隐藏层,第一个RBM网络的输出P(hj=1|v)作为第二个RBM网络的输入,重复步骤C2~C5,直至获得所有RBM的参数。
进一步地,所述C4利用基于K步吉布斯抽样的对比散度算法(ContrastiveDivergence,CD)获得各参数梯度的近似包括:
进一步地,步骤C5中,由C4步骤计算的可见层的输出,利用随机梯度上升法更新RBM网络参数:
进一步地,步骤D包括以下步骤:
D1、将步骤C中训练得到的网络权值和偏置向量作为DNN的初始化参数,第L层隐藏层和输出层之间为全连接网络,随机初始化其权重矩阵WL+1和偏置向量bL+1;
D2、计算DNN中各隐藏层输出为:
其中线性整流函数ReLU(t)=max(0,t)为各隐藏层的激活函数;
计算DNN输出为:
D4、根据步骤D3计算的代价函数对各参数的偏导,用梯度下降法更新DNN全局参数:
l=1,2,...,L+1,β为学习速率。
本发明与现有技术相比,有益效果在于:
本发明对核磁共振测深中信号和噪声的先验知识没有要求,不需要对核磁共振信号中的噪声类型进行具体划分,首先采用离散余弦变换对含噪信号和仿真信号进行变换作为深度神经网络的输入和理想输出,然后采用无监督学习的方式对深度神经网络进行逐层贪婪预训练,实现网络权值初始化,再利用误差反向传播法微调全局参数,最后将测试集输入训练好的深度神经网络,对网络输出反归一化后作离散余弦反变换,得到消噪后的核磁共振信号。该方法能够实现由含噪信号到干净信号的非线性映射,对核磁共振信号中所有类型的噪声实现“一次性”消除;能够适应各种复杂多变的探测环境和噪声干扰,显著提高信噪比,提高后续反演解释提取参数的准确性;且离散余弦变换和RBM预训练的引入,极大地缩短了深度神经网络的训练时间,提高了深度神经网络的训练效率。
附图说明
图1为基于离散余弦变换的深度神经网络消除核磁共振噪声方法流程图;
图2为RBM逐层贪婪预训练示意图;
图3为深度神经网络DNN训练过程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
参见图1所示,一种基于离散余弦变换的深度神经网络磁共振信号消噪方法,包括以下步骤:
A、在仿真核磁共振信号中加入空采核磁共振噪声,作离散余弦变换(DiscreteCosine Transform,DCT),获得神经网络的训练数据集和测试数据集;
B、对训练数据集和测试数据集作均值归一化处理;
C、设置深度神经网络结构(Deep Nueral Network,DNN),以受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)训练方式以RBM训练方式并将归一化处理后的训练数据集为可见向量输入到RBM中对DNN进行预训练,得到DNN的初始化网络权值;
D、利用反向传播算法,有监督地对DNN进行全局训练,微调DNN网络权值参数;
E、将测试数据集输入训练完毕的DNN,对DNN输出反归一化后,作离散余弦反变换,得到消噪后的核磁共振时域信号。
所述步骤A包括以下步骤:
A2、对Ns组含噪核磁共振信号作DCT变换表示为:
其中,x(k)为离散信号序列,xl为信号长度,m=0,1,2,...,xl-1,
逆DCT变换表示为:
A3、将步骤A2得到的Ns组含噪核磁共振信号C(m)的70%作为训练样本集X=[X1,X2,...,XM],30%作为测试数据集T=[T1,T2,...,TN],M和N分别为训练集和测试集的样本数。
步骤B均值归一化的具体方法为:
所述步骤C具体包括以下步骤,训练过程如图2示意图所示:
C1、设置DNN隐藏层层数L和每层所含神经单元个数;
C2、将DNN的输入层和第一层隐藏层作为第一个RBM网络的可见层和隐藏层进行训练,可见层含神经元nv个,隐藏层含神经元nh个;
C4、对步骤C3处理后的RBM,利用基于K步吉布斯抽样的对比散度(ContrastiveDivergence,CD)算法获得各参数梯度的近似,具体为:
C5、根据步骤C4获得的各参数梯度的近似,利用随机梯度上升法更新RBM网络参数:
C6、用DNN的第一层隐藏层和第二层隐藏层作为第二个RBM网络的可见层和隐藏层,第一个RBM网络的输出P(hj=1|v)作为第二个RBM网络的输入,重复步骤C2~C5,直至获得所有RBM的参数。
所述步骤D包括以下步骤,训练过程参见图3示意图所示:
D1、将原训练样本集与RBM训练输出的类标签组成新的训练集作为DNN的输入对仿真核磁共振信号E(t)作DCT变换和均值归一化,作为DNN的理想输出Y。将步骤C中训练得到的网络权值和偏置向量作为DNN的初始化参数,第L层隐藏层和输出层之间为全连接网络,随机初始化其权重矩阵WL+1和偏置向量bL+1;
D2、计算DNN中各隐藏层输出
其中线性整流函数ReLU(t)=max(0,t)为各隐藏层的激活函数,
计算DNN输出
D4、根据步骤D3计算的代价函数对各参数的偏导,用梯度下降法更新DNN全局参数:
实施例
基于离散余弦变换的深度神经网络磁共振信号消噪方法,包括以下步骤:
A、在仿真核磁共振信号中加入空采核磁共振噪声,作离散余弦变换DCT,获得神经网络的训练数据集和测试数据集;
B、对训练数据集和测试数据集作均值归一化处理;
C、设置深度神经网络结构,以RBM训练方式对DNN进行预训练,得到DNN的初始化网络权值;
D、利用反向传播算法,有监督地对DNN进行全局训练,微调DNN网络权值参数;
E、将测试数据集输入训练完毕的DNN,对DNN输出反归一化后,作离散余弦反变换,得到消噪后的核磁共振时域信号。
所述步骤A包括以下步骤:
A2、对步骤a中1000组含噪核磁共振信号作DCT:
其中,x(k)为离散信号序列,xl=6400为信号长度,m=0,1,2,...,xl-1,
逆DCT定义为
A3、将步骤A2得到的1000组含噪核磁共振信号C(m)的70%作为训练样本集X=[X1,X2,...,X700],30%作为测试数据集T=[T1,T2,...,T300]。
步骤B均值归一化的具体操作方法为:
步骤C对DNN进行逐层贪婪预训练参见图2所示,包括以下步骤:
C1、设置DNN隐藏层层数L=3,各隐藏层所含神经单元个数为1024个;
C2、将DNN的输入层和第一层隐藏层作为第一个RBM网络的可见层和隐藏层进行训练,可见层含神经元nv=6400个,隐藏层含神经元nh=1024个;
C3、初始化RBM可见层与隐藏层之间的权重矩阵为来自正态分布N(0,0.01)的随机数,可见层偏置向量和隐藏层偏置向量设置为0,学习速率α设置为0.05。将训练样本集作为可见向量v(0)输入到第一个RBM中;
C4、利用基于K步吉布斯抽样的对比散度(Contrastive Divergence,CD)算法获得各参数梯度的近似。
C5、利用随机梯度上升法更新RBM网络参数:
C6、用DNN的第一层隐藏层和第二层隐藏层作为第二个RBM网络的可见层和隐藏层,第一个RBM网络的输出P(hj=1|v)作为第二个RBM网络的输入,重复步骤C2~C5,直至获得所有RBM的参数。
所述步骤D包括以下步骤,其训练步骤参见图3所示:
D1、将原训练样本集与RBM训练输出的类标签组成新的训练集作为DNN的输入对仿真核磁共振信号E(t)作DCT变换和均值归一化,作为DNN的理想输出Y。将步骤C中训练得到的网络权值和偏置向量作为DNN的初始化参数,第3层隐藏层和输出层之间为全连接网络,随机初始化其权重矩阵W4为来自正态分布N(0,0.01)的随机数,偏置向量b4为0;
D2、计算DNN中各隐藏层输出
其中线性整流函数ReLU(t)=max(0,t)为各隐藏层的激活函数。
D4、利用梯度下降法更新DNN全局参数:
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于离散余弦变换的深度神经网络磁共振信号消噪方法,其特征在于,该方法包括:
步骤A、在仿真核磁共振信号E(t)中加入空采核磁共振噪声,作离散余弦变换,获得神经网络的训练样本集X=[X1,X2,...,XM]和测试数据集T=[T1,T2,...,TN];
步骤C、设置深度神经网络结构,以受限玻尔兹曼机训练方式并将归一化处理后的训练样本集作为可见向量输入到RBM中,对DNN进行预训练,得到DNN的初始化网络权值和偏置向量;
步骤D、利用反向传播算法,将原训练样本集与RBM训练输出的类标签组成新的训练样本集作为DNN的输入,对仿真核磁共振信号E(t)作DCT变换和均值归一化,作为DNN的理想输出Y,将步骤C中训练得到的网络权值和偏置向量作为DNN的初始化参数,有监督地对DNN进行全局训练,微调DNN网络权值参数;
步骤E、将测试数据集输入训练完毕的DNN,对DNN输出反归一化后,作离散余弦反变换,得到消噪后的核磁共振时域信号。
4.按照权利要求1所述的方法,其特征在于,所述步骤C具体包括:
C1、设置DNN隐藏层层数L和每层所含神经单元个数;
C2、将DNN的输入层和第一层隐藏层作为第一个RBM网络的可见层和隐藏层进行训练,可见层含神经元nv个,隐藏层含神经元nh个;
C4、利用基于K步吉布斯抽样的对比散度算法获得各参数梯度的近似;
C5、根据步骤C4获得的各参数梯度的近似,并利用随机梯度上升法更新RBM网络参数;
C6、用DNN的第一层隐藏层和第二层隐藏层作为第二个RBM网络的可见层和隐藏层,第一个RBM网络的输出P(hj=1|v)作为第二个RBM网络的输入,重复步骤C2~C5,直至获得所有RBM的参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910098593.2A CN109870729B (zh) | 2019-01-31 | 2019-01-31 | 基于离散余弦变换的深度神经网络磁共振信号消噪方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910098593.2A CN109870729B (zh) | 2019-01-31 | 2019-01-31 | 基于离散余弦变换的深度神经网络磁共振信号消噪方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109870729A CN109870729A (zh) | 2019-06-11 |
CN109870729B true CN109870729B (zh) | 2020-01-24 |
Family
ID=66918404
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910098593.2A Active CN109870729B (zh) | 2019-01-31 | 2019-01-31 | 基于离散余弦变换的深度神经网络磁共振信号消噪方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109870729B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110460600B (zh) * | 2019-08-13 | 2021-09-03 | 南京理工大学 | 可抵御生成对抗网络攻击的联合深度学习方法 |
CN111898734B (zh) * | 2020-07-10 | 2023-06-23 | 中国科学院精密测量科学与技术创新研究院 | 一种基于mlp的nmr弛豫时间反演方法 |
CN111860273B (zh) * | 2020-07-14 | 2022-07-05 | 吉林大学 | 基于卷积神经网络的磁共振地下水探测噪声抑制方法 |
CN112198556A (zh) * | 2020-09-16 | 2021-01-08 | 南方科技大学 | 信号处理方法、装置、终端设备及存储介质 |
CN111983705A (zh) * | 2020-09-30 | 2020-11-24 | 吉林大学 | 基于神经网络的地空时间域电磁系统噪声抑制方法 |
CN113361557A (zh) * | 2020-12-21 | 2021-09-07 | 南京仁智网络科技有限公司 | 基于振动数据的井工煤矿灭火控制的神经网络的训练方法 |
CN113743682B (zh) * | 2021-11-03 | 2022-02-18 | 中国科学院精密测量科学与技术创新研究院 | 一种基于有监督深度神经网络的nmr弛豫时间反演方法 |
CN117872487A (zh) * | 2024-03-08 | 2024-04-12 | 吉林大学 | 一种适用于油田原油渗漏检测的磁共振移动探测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104123722A (zh) * | 2014-07-08 | 2014-10-29 | 东北大学 | 一种核磁图像超分辨率的系统及方法 |
CN106725476A (zh) * | 2016-11-24 | 2017-05-31 | 太原理工大学 | 基于卷积神经网络的多发性硬化病灶检测及分类方法 |
CN107644401A (zh) * | 2017-08-11 | 2018-01-30 | 西安电子科技大学 | 基于深度神经网络的乘性噪声去除方法 |
CN109100813A (zh) * | 2018-08-14 | 2018-12-28 | 吉林大学 | 一种基于协同滤波消除地面核磁共振数据中尖峰噪声的方法 |
US10260319B2 (en) * | 2016-02-08 | 2019-04-16 | Rs Energy Group Topco, Inc. | Method for estimating oil/gas production using statistical learning models |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030078739A1 (en) * | 2001-10-05 | 2003-04-24 | Surromed, Inc. | Feature list extraction from data sets such as spectra |
US7835872B2 (en) * | 2007-02-16 | 2010-11-16 | Florida State University Research Foundation | Robust deconvolution of complex mixtures by covariance spectroscopy |
-
2019
- 2019-01-31 CN CN201910098593.2A patent/CN109870729B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104123722A (zh) * | 2014-07-08 | 2014-10-29 | 东北大学 | 一种核磁图像超分辨率的系统及方法 |
US10260319B2 (en) * | 2016-02-08 | 2019-04-16 | Rs Energy Group Topco, Inc. | Method for estimating oil/gas production using statistical learning models |
CN106725476A (zh) * | 2016-11-24 | 2017-05-31 | 太原理工大学 | 基于卷积神经网络的多发性硬化病灶检测及分类方法 |
CN107644401A (zh) * | 2017-08-11 | 2018-01-30 | 西安电子科技大学 | 基于深度神经网络的乘性噪声去除方法 |
CN109100813A (zh) * | 2018-08-14 | 2018-12-28 | 吉林大学 | 一种基于协同滤波消除地面核磁共振数据中尖峰噪声的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109870729A (zh) | 2019-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109870729B (zh) | 基于离散余弦变换的深度神经网络磁共振信号消噪方法 | |
CN107633486B (zh) | 基于三维全卷积神经网络的结构磁共振图像去噪方法 | |
CN109993280B (zh) | 一种基于深度学习的水下声源定位方法 | |
CN109190464B (zh) | 一种变工况下基于迁移学习的机械故障智能诊断方法 | |
CN113094993B (zh) | 基于自编码神经网络的调制信号去噪方法 | |
CN111860273A (zh) | 基于卷积神经网络的磁共振地下水探测噪声抑制方法 | |
CN113887502B (zh) | 一种通信辐射源时频特征提取与个体识别方法及系统 | |
CN113642484B (zh) | 一种基于bp神经网络的大地电磁信号噪声压制方法及系统 | |
Li et al. | Signal denoising with random refined orthogonal matching pursuit | |
CN113780242A (zh) | 一种基于模型迁移学习的跨场景水声目标分类方法 | |
CN113627375A (zh) | 一种行星齿轮故障诊断方法、系统、存储介质及计算设备 | |
CN114863938A (zh) | 一种基于注意力残差和特征融合的鸟语识别方法和系统 | |
CN114428234A (zh) | 基于gan和自注意力的雷达高分辨距离像降噪识别方法 | |
Deng et al. | Impulse feature extraction method for machinery fault detection using fusion sparse coding and online dictionary learning | |
CN114545494A (zh) | 基于稀疏约束的无监督地震数据重建方法及装置 | |
CN108108666B (zh) | 一种基于小波分析和时频单源检测的混合矩阵估计方法 | |
CN113435276A (zh) | 一种基于对抗残差网络的水声目标识别方法 | |
Meng et al. | Noisy training for deep neural networks | |
CN111798531A (zh) | 一种应用于植株监测的图像深度卷积压缩感知重构方法 | |
CN111104876A (zh) | 一种基于神经网络的红外光谱反卷积方法 | |
Yu et al. | On-line harmonic signal denoising from the measurement with non-stationary and non-Gaussian noise | |
Yang et al. | A neural network method for nonconvex optimization and its application on parameter retrieval | |
Li et al. | A deep learning prediction model based on extreme-point symmetric mode decomposition and cluster analysis | |
CN113420870A (zh) | 用于水声目标识别的U-Net结构生成对抗网络及方法 | |
CN108734191B (zh) | 深度学习应用于压缩感知重建的数据训练方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |