CN109870729A - 基于离散余弦变换的深度神经网络磁共振信号消噪方法 - Google Patents

Abstract

本发明属于核磁共振数据处理领域，具体涉及一种基于离散余弦变换的深度神经网络磁共振信号消噪方法，首先采用离散余弦变换对含噪信号和仿真信号进行变换作为深度神经网络的输入和理想出，然后采用无监督学习的方式对深度神经网络进行逐层贪婪预训练，实现网络权值初始化，再利用误差反向传播法微调全局参数，最后将测试集输入训练好的深度神经网络，对网络输出反归一化后作逆离散余弦变换，得到消噪后的核磁共振信号。该方法能够实现由含噪信号到干净信号的非线性映射，对核磁共振信号中所有类型的噪声实现“一次性”消除；能够适应各种复杂多变的探测环境和噪声干扰，显著提高信噪比，提高后续反演解释提取参数的准确性；且离散余弦变换和受限玻尔兹曼机预训练的引入，极大地缩短了深度神经网络的训练时间，提高了深度神经网络的训练效率，使深度神经网络消除核磁共振噪声方法具有实用性。

Description

基于离散余弦变换的深度神经网络磁共振信号消噪方法

技术领域

本发明属于核磁共振数据处理领域，具体涉及一种基于离散余弦变换的深度神经网络磁共振信号消噪方法。

背景技术

核磁共振地下水探测方法(Magnetic Resonance Sounding，MRS)作为一种能够定性定量探测地下水的地球物理方法，近年来从理论研究到仪器研制，得到了快速的发展。但是由于MRS信号极其微弱，导致高灵敏度的仪器受周围环境中噪声干扰严重，不能准确提取MRS信号，制约了MRS方法的广泛应用。影响MRS信号质量的噪声主要有尖峰噪声、工频噪声和随机噪声三类。目前国际上主要采用的MRS信号消噪方法是针对不同类型的噪声分别进行消除，其流程为1)去尖峰噪声；2)去工频噪声；3)平均叠加去随机噪声(AhmadA.Behroozmand,Kristina Keating,Esben Auken.A Review of the Principles andApplications of the NMR Technique for Near-Surface Characterization.Surveysin Geophysics,2015(36):27–85)，过程复杂且需要具有核磁共振专业领域知识的人进行操作。

发明内容

本发明所要解决的技术问题在于提供一种基于离散余弦变换的深度神经网络磁共振信号消噪方法，解决现有消噪方法中过程复杂的问题，对核磁共振信号中所有类型的噪声实现“一次性”消除。

本发明是这样实现的，

一种基于离散余弦变换的深度神经网络磁共振信号消噪方法，该方法包括：

步骤A、在仿真核磁共振信号E(t)中加入空采核磁共振噪声，作离散余弦变换(Discrete Cosine Transform，DCT)，获得神经网络的训练样本集X＝[X₁,X₂,...,X_M]和测试数据集T＝[T₁,T₂,...,T_N]；

步骤B、对训练样本集和测试数据集作均值归一化处理得到和

步骤C、设置深度神经网络结构(Deep Nueral Network，DNN)，以受限玻尔兹曼机(Restricted Boltzmann Machine，RBM)训练方式并将归一化处理后的训练样本集作为可见向量输入到RBM中，对DNN进行预训练，得到DNN的初始化网络权值和偏置向量；

步骤D、利用反向传播算法，将原训练数据集与RBM训练输出的类标签组成新的训练集作为DNN的输入，对仿真核磁共振信号E(t)作DCT变换和均值归一化，作为DNN的理想输出Y，将步骤C中训练得到的网络权值和偏置向量作为DNN的初始化参数，有监督地对DNN进行全局训练，微调DNN网络权值参数；

步骤E、将测试数据集输入训练完毕的DNN，对DNN输出反归一化后，作离散余弦反变换，得到消噪后的核磁共振时域信号。

进一步地，所述步骤A包括以下步骤：

A1、空采核磁共振噪声Ns组，加入仿真核磁共振信号

A2、对Ns组含噪核磁共振信号作DCT变换为式(1)：

其中，x(k)为离散信号序列，x_l为信号长度，m＝0,1,2,...,x_l-1，

DCT反变化表示为式(2)

其中k＝0,1,2,...,x_l-1 (2)

A3、将步骤A2得到的Ns组含噪核磁共振信号C(m)的70％作为训练样本集X＝[X₁,X₂,...,X_M]，30％作为测试数据集T＝[T₁,T₂,...,T_N]，M和N分别为训练集和测试集的样本数。

进一步地，所述步骤B均值归一化的具体方法为：

计算数据集的训练样本平均值用代替X_p对训练样本集进行均值归一化得到测试样本集作同样变换得到

进一步地，所述步骤C具体包括：

C1、设置DNN隐藏层层数L和每层所含神经单元个数；

C2、将DNN的输入层和第一层隐藏层作为第一个RBM网络的可见层和隐藏层进行训练，可见层含神经元n_v个，隐藏层含神经元n_h个；

C3、初始化RBM网络参数集合θ＝{W,a,b}和学习速率α，其中为RBM可见层与隐藏层之间的权重矩阵，是可见层偏置向量，是隐藏层偏置向量，将归一化的训练样本集作为可见向量v⁽⁰⁾输入到RBM中；

C4、利用基于K步吉布斯抽样的对比散度算法获得各参数梯度的近似；

C5、根据步骤C4获得的各参数梯度的近似，并利用随机梯度上升法更新RBM网络参数；

C6、用DNN的第一层隐藏层和第二层隐藏层作为第二个RBM网络的可见层和隐藏层，第一个RBM网络的输出P(h_j＝1|v)作为第二个RBM网络的输入，重复步骤C2～C5，直至获得所有RBM的参数。

进一步地，所述C4利用基于K步吉布斯抽样的对比散度算法(ContrastiveDivergence，CD)获得各参数梯度的近似包括：

对r＝0,1,...,K-1，计算RBM隐藏层输出其中是RBM网络的激活函数，i＝1,2,...,n_v，j＝1,2,...,n_h；

根据条件概率分布采样

将作为RBM网络隐藏层输入，RBM可见层输出为

根据条件概率分布采样

进一步地，步骤C5中，由C4步骤计算的可见层的输出，利用随机梯度上升法更新RBM网络参数：

其中，概率是由C4步骤计算的RBM第一次隐藏层输出，概率是由C4步骤计算的最后一次隐藏层输出。

进一步地，步骤D包括以下步骤：

D1、将步骤C中训练得到的网络权值和偏置向量作为DNN的初始化参数，第L层隐藏层和输出层之间为全连接网络，随机初始化其权重矩阵W^L+1和偏置向量b^L+1；

D2、计算DNN中各隐藏层输出为：

其中线性整流函数ReLU(t)＝max(0,t)为各隐藏层的激活函数；

计算DNN输出为：

D3、利用步骤D2中计算的DNN实际输出计算DNN的代价函数其中δ¹，…，δ^L+1为正则化项；

D4、根据步骤D3计算的代价函数对各参数的偏导，用梯度下降法更新DNN全局参数：

l＝1,2,...,L+1，β为学习速率。

本发明与现有技术相比，有益效果在于：

本发明对核磁共振测深中信号和噪声的先验知识没有要求，不需要对核磁共振信号中的噪声类型进行具体划分，首先采用离散余弦变换对含噪信号和仿真信号进行变换作为深度神经网络的输入和理想输出，然后采用无监督学习的方式对深度神经网络进行逐层贪婪预训练，实现网络权值初始化，再利用误差反向传播法微调全局参数，最后将测试集输入训练好的深度神经网络，对网络输出反归一化后作离散余弦反变换，得到消噪后的核磁共振信号。该方法能够实现由含噪信号到干净信号的非线性映射，对核磁共振信号中所有类型的噪声实现“一次性”消除；能够适应各种复杂多变的探测环境和噪声干扰，显著提高信噪比，提高后续反演解释提取参数的准确性；且离散余弦变换和RBM预训练的引入，极大地缩短了深度神经网络的训练时间，提高了深度神经网络的训练效率。

附图说明

图1为基于离散余弦变换的深度神经网络消除核磁共振噪声方法流程图；

图2为RBM逐层贪婪预训练示意图；

图3为深度神经网络DNN训练过程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参见图1所示，一种基于离散余弦变换的深度神经网络磁共振信号消噪方法，包括以下步骤：

A、在仿真核磁共振信号中加入空采核磁共振噪声，作离散余弦变换(DiscreteCosine Transform，DCT)，获得神经网络的训练数据集和测试数据集；

B、对训练数据集和测试数据集作均值归一化处理；

C、设置深度神经网络结构(Deep Nueral Network，DNN)，以受限玻尔兹曼机(Restricted Boltzmann Machine，RBM)训练方式以RBM训练方式并将归一化处理后的训练数据集为可见向量输入到RBM中对DNN进行预训练，得到DNN的初始化网络权值；

D、利用反向传播算法，有监督地对DNN进行全局训练，微调DNN网络权值参数；

E、将测试数据集输入训练完毕的DNN，对DNN输出反归一化后，作离散余弦反变换，得到消噪后的核磁共振时域信号。

所述步骤A包括以下步骤：

A1、空采核磁共振噪声Ns组，加入仿真核磁共振信号其中E₀为初始振幅E₀＝200nV，为弛豫时间，为初始相位；

A2、对Ns组含噪核磁共振信号作DCT变换表示为：

其中，x(k)为离散信号序列，x_l为信号长度，m＝0,1,2,...,x_l-1，

逆DCT变换表示为：

其中k＝0,1,2,...,x_l-1 (2)

A3、将步骤A2得到的Ns组含噪核磁共振信号C(m)的70％作为训练样本集X＝[X₁,X₂,...,X_M]，30％作为测试数据集T＝[T₁,T₂,...,T_N]，M和N分别为训练集和测试集的样本数。

步骤B均值归一化的具体方法为：

计算训练样本集X＝[X₁,X₂,...,X_M]平均值用代替X_p对训练样本集进行均值归一化得到测试集作同样变换得到

所述步骤C具体包括以下步骤，训练过程如图2示意图所示：

C1、设置DNN隐藏层层数L和每层所含神经单元个数；

C2、将DNN的输入层和第一层隐藏层作为第一个RBM网络的可见层和隐藏层进行训练，可见层含神经元n_v个，隐藏层含神经元n_h个；

C3、初始化RBM网络参数集合θ＝{W,a,b}和学习速率α，其中为RBM可见层与隐藏层之间的权重矩阵，是可见层偏置向量，是隐藏层偏置向量，将训练样本集作为可见向量v⁽⁰⁾输入到RBM中；

C4、对步骤C3处理后的RBM，利用基于K步吉布斯抽样的对比散度(ContrastiveDivergence，CD)算法获得各参数梯度的近似，具体为：

对r＝0,1,...,K-1，计算RBM隐藏层输出其中是RBM网络的激活函数，i＝1,2,...,n_v，j＝1,2,...,n_h；

根据条件概率分布采样

将作为RBM网络隐藏层输入，则RBM可见层输出

根据条件概率分布采样

C5、根据步骤C4获得的各参数梯度的近似，利用随机梯度上升法更新RBM网络参数：

其中，概率是由C4步骤计算的RBM第一次隐藏层输出，概率是由C4步骤计算的最后一次隐藏层输出。

C6、用DNN的第一层隐藏层和第二层隐藏层作为第二个RBM网络的可见层和隐藏层，第一个RBM网络的输出P(h_j＝1|v)作为第二个RBM网络的输入，重复步骤C2～C5，直至获得所有RBM的参数。

所述步骤D包括以下步骤，训练过程参见图3示意图所示：

D1、将原训练样本集与RBM训练输出的类标签组成新的训练集作为DNN的输入对仿真核磁共振信号E(t)作DCT变换和均值归一化，作为DNN的理想输出Y。将步骤C中训练得到的网络权值和偏置向量作为DNN的初始化参数，第L层隐藏层和输出层之间为全连接网络，随机初始化其权重矩阵W^L+1和偏置向量b^L+1；

D2、计算DNN中各隐藏层输出

其中线性整流函数ReLU(t)＝max(0,t)为各隐藏层的激活函数，

计算DNN输出

D3、利用步骤D2中计算的DNN实际输出计算DNN的代价函数δ1，…，δ^L+1为正则化项；

D4、根据步骤D3计算的代价函数对各参数的偏导，用梯度下降法更新DNN全局参数：

l＝1,2,...,L+1，β为学习速率。

实施例

基于离散余弦变换的深度神经网络磁共振信号消噪方法，包括以下步骤：

A、在仿真核磁共振信号中加入空采核磁共振噪声，作离散余弦变换DCT，获得神经网络的训练数据集和测试数据集；

B、对训练数据集和测试数据集作均值归一化处理；

C、设置深度神经网络结构，以RBM训练方式对DNN进行预训练，得到DNN的初始化网络权值；

D、利用反向传播算法，有监督地对DNN进行全局训练，微调DNN网络权值参数；

E、将测试数据集输入训练完毕的DNN，对DNN输出反归一化后，作离散余弦反变换，得到消噪后的核磁共振时域信号。

所述步骤A包括以下步骤：

A1、空采核磁共振噪声1000组，采样频率为25000Hz，采样时间为256ms。加入仿真核磁共振信号其中初始振幅E₀＝200nV，弛豫时间初始相位

A2、对步骤a中1000组含噪核磁共振信号作DCT：

其中，x(k)为离散信号序列，x_l＝6400为信号长度，m＝0,1,2,...,x_l-1，

逆DCT定义为

其中k＝0,1,2,...,x_l-1

A3、将步骤A2得到的1000组含噪核磁共振信号C(m)的70％作为训练样本集X＝[X₁,X₂,...,X₇₀₀]，30％作为测试数据集T＝[T₁,T₂,...,T₃₀₀]。

步骤B均值归一化的具体操作方法为：

计算训练样本平均值用代替X_p对训练样本集进行均值归一化得到测试集作同样变换得到

步骤C对DNN进行逐层贪婪预训练参见图2所示，包括以下步骤：

C1、设置DNN隐藏层层数L＝3，各隐藏层所含神经单元个数为1024个；

C2、将DNN的输入层和第一层隐藏层作为第一个RBM网络的可见层和隐藏层进行训练，可见层含神经元n_v＝6400个，隐藏层含神经元n_h＝1024个；

C3、初始化RBM可见层与隐藏层之间的权重矩阵为来自正态分布N(0,0.01)的随机数，可见层偏置向量和隐藏层偏置向量设置为0，学习速率α设置为0.05。将训练样本集作为可见向量v⁽⁰⁾输入到第一个RBM中；

C4、利用基于K步吉布斯抽样的对比散度(Contrastive Divergence，CD)算法获得各参数梯度的近似。

对r＝0,1,...,K-1，计算RBM隐藏层输出其中是RBM网络的激活函数，i＝1,2,...,n_v，j＝1,2,...,n_h；

根据条件概率分布采样

将作为RBM网络隐藏层输入，则RBM可见层输出

根据条件概率分布采样

C5、利用随机梯度上升法更新RBM网络参数：

C6、用DNN的第一层隐藏层和第二层隐藏层作为第二个RBM网络的可见层和隐藏层，第一个RBM网络的输出P(h_j＝1|v)作为第二个RBM网络的输入，重复步骤C2～C5，直至获得所有RBM的参数。

所述步骤D包括以下步骤，其训练步骤参见图3所示：

D1、将原训练样本集与RBM训练输出的类标签组成新的训练集作为DNN的输入对仿真核磁共振信号E(t)作DCT变换和均值归一化，作为DNN的理想输出Y。将步骤C中训练得到的网络权值和偏置向量作为DNN的初始化参数，第3层隐藏层和输出层之间为全连接网络，随机初始化其权重矩阵W⁴为来自正态分布N(0,0.01)的随机数，偏置向量b⁴为0；

D2、计算DNN中各隐藏层输出

其中线性整流函数ReLU(t)＝max(0,t)为各隐藏层的激活函数。

计算DNN输出

D3、计算DNN的代价函数δ¹，…，δ⁴为正则化项；

D4、利用梯度下降法更新DNN全局参数：

l＝1,2,3,4，β为微调时DNN学习速率，设置为0.2。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于离散余弦变换的深度神经网络磁共振信号消噪方法，其特征在于，该方法包括：

步骤A、在仿真核磁共振信号E(t)中加入空采核磁共振噪声，作离散余弦变换，获得神经网络的训练样本集X＝[X₁,X₂,...,X_M]和测试数据集T＝[T₁,T₂,...,T_N]；

步骤B、对训练样本集和测试数据集作均值归一化处理得到和

步骤C、设置深度神经网络结构，以受限玻尔兹曼机训练方式并将归一化处理后的训练样本集作为可见向量输入到RBM中，对DNN进行预训练，得到DNN的初始化网络权值和偏置向量；

步骤D、利用反向传播算法，将原训练数据集与RBM训练输出的类标签组成新的训练集作为DNN的输入，对仿真核磁共振信号E(t)作DCT变换和均值归一化，作为DNN的理想输出Y，将步骤C中训练得到的网络权值和偏置向量作为DNN的初始化参数，有监督地对DNN进行全局训练，微调DNN网络权值参数；

步骤E、将测试数据集输入训练完毕的DNN，对DNN输出反归一化后，作离散余弦反变换，得到消噪后的核磁共振时域信号。

2.按照权利要求1所述的方法，其特征在于，所述步骤A包括以下步骤：

A1、空采核磁共振噪声Ns组，加入仿真核磁共振信号

A2、对Ns组含噪核磁共振信号作DCT变换为式(1)：

其中，x(k)为离散信号序列，x_l为信号长度，m＝0,1,2,...,x_l-1，

DCT反变化表示为式(2)

其中k＝0,1,2,...,x_l-1 (2)

A3、将步骤A2得到的Ns组含噪核磁共振信号C(m)的70％作为训练样本集X＝[X₁,X₂,...,X_M]，30％作为测试数据集T＝[T₁,T₂,...,T_N]，M和N分别为训练集和测试集的样本数。

3.按照权利要求1所述的方法，其特征在于，所述步骤B均值归一化的具体方法为：

计算数据集的训练样本平均值用代替X_p对训练样本集进行均值归一化得到测试样本集作同样变换得到

4.按照权利要求1所述的方法，其特征在于，所述步骤C具体包括：

C1、设置DNN隐藏层层数L和每层所含神经单元个数；

C2、将DNN的输入层和第一层隐藏层作为第一个RBM网络的可见层和隐藏层进行训练，可见层含神经元n_v个，隐藏层含神经元n_h个；

C3、初始化RBM网络参数集合θ＝{W,a,b}和学习速率α，其中为RBM可见层与隐藏层之间的权重矩阵，是可见层偏置向量，是隐藏层偏置向量，将归一化的训练样本集作为可见向量v⁽⁰⁾输入到RBM中；

C4、利用基于K步吉布斯抽样的对比散度算法获得各参数梯度的近似；

C5、根据步骤C4获得的各参数梯度的近似，并利用随机梯度上升法更新RBM网络参数；

C6、用DNN的第一层隐藏层和第二层隐藏层作为第二个RBM网络的可见层和隐藏层，第一个RBM网络的输出P(h_j＝1|v)作为第二个RBM网络的输入，重复步骤C2～C5，直至获得所有RBM的参数。

5.按照权利要求4所述的方法，其特征在于，所述C4利用基于K步吉布斯抽样的对比散度算法获得各参数梯度的近似包括：

对r＝0,1,...,K-1，计算RBM隐藏层输出其中是RBM网络的激活函数，i＝1,2,...,n_v，j＝1,2,...,n_h；

根据条件概率分布采样

将作为RBM网络隐藏层输入，RBM可见层输出为

根据条件概率分布采样

6.按照权利要求5所述的方法，其特征在于，步骤C5中，由C4步骤计算的可见层的输出，利用随机梯度上升法更新RBM网络参数：

其中，概率是由C4步骤计算的RBM第一次隐藏层输出，概率是由C4步骤计算的最后一次隐藏层输出。

7.按照权利要求1所述的方法，其特征在于，步骤D包括以下步骤：

D1、将步骤C中训练得到的网络权值和偏置向量作为DNN的初始化参数，第L层隐藏层和输出层之间为全连接网络，随机初始化其权重矩阵W^L+1和偏置向量b^L+1；

D2、计算DNN中各隐藏层输出为：

其中线性整流函数ReLU(t)＝max(0,t)为各隐藏层的激活函数；

计算DNN输出为：

D3、利用步骤D2中计算的DNN实际输出计算DNN的代价函数其中δ¹，…，δ^L+1为正则化项；

D4、根据步骤D3计算的代价函数对各参数的偏导，用梯度下降法更新DNN全局参数：

l＝1,2,...,L+1，β为学习速率。