CN108765511A - 基于深度学习的超声图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的超声图像超分辨率重建方法，用于解决超声图像分辨率低的问题。该方法主要是：首先采用Krishnan的稀疏正则化盲复原算法对超声图像进行预处理，然后利用预处理后的超声图像作为样本库训练神经网络的权值，最后利用FSRCNN实现超声图像的超分辨率重建。

Description

基于深度学习的超声图像超分辨率重建方法

技术领域

本发明属于超声成像领域，涉及超声图像超分辨率重建方法，特别适用于需要利用高质量超声图像进行医学诊断的场合。

背景技术

国内外许多研究小组尝试通过超分辨率技术来提高超声图像的质量。

S Vedula等人研究表明，利用卷积神经网络(CNN)能够将从人体的CT图像模拟的超声射频数据来重建CT质量的超声图像。

Zhou Z.等人提出了一种多尺度CNN模型来提高平面波成像的质量。为了进一步提高CNN的收敛速度和鲁棒性，在随机并行梯度下降优化的迭代过程中增加了一个反馈系统。实验表明，与原始图像相比，所提出的方法在峰值信噪比(PSNR)方面提高了52％。

2014年，Dong等人提出用于一般自然图像超分辨率重建的CNN模型SRCNN。该模型分为特征提取、非线性映射和超分辨率重建三层，实现低分辨率图像块与高分辨率图像块之间端到端的映射。但是该算法计算复杂度较高。2016年，Dong等人在SRCNN的基础上改进出一种沙漏型的卷积神经网络模型FSRCNN，该模型对图像的重建质量与SRCNN不相上下，但速度更快。然而，SRCNN并不能直接用来实现超声图像的超分辨率重建。Fergus团队在图像复原领域有卓越的成果，特别是Krishnan提出的稀疏正则化盲复原算法，该算法在自然图像上有较好的复原结果。但是该算法是针对空间移不变的退化图像。

超声图像是空间移变的退化图像，通过对超声图像分块，本专利采用Krishnan的稀疏正则化盲复原算法快速提高超声图像的质量到约7dB水平，然后优化特征提取层卷积核个数、特征提取层卷积核的大小和解卷积层卷积核的大小，把高质量的超声图像作为样本库训练神经网络的权值，利用FSRCNN实现了高质量的超声图像超分辨率重建。

发明内容

本专利以超声图像为研究对象，提出了一种基于深度学习的超声图像超分辨率重建方法，首先采用Krishnan的稀疏正则化盲复原算法对超声图像进行预处理，然后把预处理后的超声图像作为样本库训练神经网络的权值，最后利用FSRCNN实现超声图像超分辨率重建。

一种基于深度学习的超声图像超分辨率重建方法，

S1，获取超声图像；

S2，超声图像预处理；

S21，设置参数；

S22，对超声图像按行分块；

S23，采用Krishnan的稀疏正则化盲复原算法复原图像；

S3，神经网络权值训练；

S31，设置网络结构参数；

S32，模型训练；

S33，形成网络；

S4，重建超声图像。

进一步限定，所述S1中获取超声图像具体包括：

S1，获取超声图像：从超声诊断仪采集一定数量的超声图像。

进一步限定，所述S21中设置参数具体包括：

S21，设置参数：设置正则参数λ、超声图像模糊核正则项参数θ、模糊核大小及迭代次数等。

进一步限定，所述S22中对超声图像按行分块具体包括：

S22，对超声图像按行分块：将所述S1中获取的低分辨率超声图像G按照行分成N块，得到p_i(i＝1：N)。

进一步限定，所述S23中采用Krishnan的稀疏正则化盲复原算法复原图像具体包括：

S23，采用Krishnan的稀疏正则化盲复原算法复原图像：以高斯函数作为第一个图像块p₁的模糊核初始值k₀，采用Krishnan的算法进行盲复原，得到第一个图像块盲复原后的图像f₁和第一个图像块的模糊核k₁；对第i个图像块p_i(i＝2：N)，以k_i-1作为初始值，采用Krishnan的算法进行盲复原，得到第i个图像块盲复原后的图像f_i和第i个图像块的模糊核k_i；对得到的f_i(i＝1：N)进行拼接，得到盲复原后的图像F。

进一步限定，所述S31中设置网络结构参数具体包括：

S31，设置网络结构参数：特征提取层的卷积核个数、卷积核大小以及解卷积层的卷积核大小等。

进一步限定，所述S32中模型训练具体包括：

S32，模型训练：将经所述S2预处理后的超声图像{F_i，i＝1：N}作为训练集，生成Caffe可以运行的数据类型hdf5格式文件；在描述模型结构的prototxt文件中修改模型训练的全局参数；对网络训练50万次；提取caffemodel文件中各变量的权值，生成可供测试调用的mat文件。

进一步限定，所述S33中形成网络具体包括：

S33，形成网络：形成可供调用的网络FSRCNN。

进一步限定，所述S4中重建超声图像具体包括：

S4，重建超声图像：调用所述S32中生成的mat文件，利用所述S33中形成的FSRCNN，对超声图像F进行超分辨率重建。

本发明的有益效果为：通过采用Krishnan的算法对超声图像进行预处理，然后利用预处理后的超声图像作为样本库训练神经网络的权值，最后利用FSRCNN实现超声图像超分辨率重建。

具体实施方式

附图说明：

图1为本发明的流程示意图。

图2为超声图像退化/复原模型。

图3为超声图像分块示意图。

图4为超声图像预处理算法流程图。

图5为FSRCNN网络结构。

图6为超声图像超分辨重建算法流程图。

图7为原始图像。

图8为采用Krishnan的稀疏正则化盲复原算法复原的图像。

图9为重建的超分辨率图像。

如图1所示，一种基于深度学习的超声图像超分辨率重建方法，包括如下步骤：

S1，获取超声图像；

S2，超声图像预处理；

S21，设置参数：设置正则参数λ、超声图像模糊核正则项参数θ和模糊核大小；

S22，对超声图像按行分块：将所述S1中获取的低分辨率超声图像G按照行分成N块，得到p_i(i＝1：N)；

S23，采用Krishnan的稀疏正则化盲复原算法盲复原：以高斯函数作为第一个图像块p₁的模糊核初始值k₀，采用Krishnan的算法进行盲复原，得到第一个图像块盲复原后的图像f₁和第一个图像块的模糊核k₁；对第i个图像块p_i(i＝2：N)，以k_i-1作为初始值，采用Krishnan的算法进行盲复原，得到第i个图像块盲复原后的图像f_i和第i个图像块的模糊核k_i；对得到的f_i(i＝1：N)进行拼接，得到盲复原后的图像F；

S3，神经网络权值训练；

S31，设置网络结构参数：设置特征提取层的卷积核个数、卷积核大小以及解卷积层的卷积核大小；

S32，模型训练：将经所述S2预处理后的超声图像{F_i，i＝1：N}作为训练集，生成Caffe可以运行的数据类型hdf5格式文件；在描述模型结构的prototxt文件中修改模型训练的全局参数；对网络训练50万次；提取caffemodel文件中各变量的权值，生成可供测试调用的mat文件；

S33，形成网络：形成可供调用的训练好的网络FSRCNN；

S4，重建超声图像：调用所述S32中生成的mat文件，利用所述S33中形成的FSRCNN，对超声图像F进行超分辨率重建。

具体原理如下：

Hundt认为低分辨率超声图像退化是由人体组织反射函数(Tissue ReflectionFunction,TRF)与系统点扩散函数(Point Spread Function,PSF)卷积后累加噪声形成的。超声成像系统的TRF是指在成像区域内人体组织反射体与散射体的分布，系统PSF视为点源分布对于激励信号的响应函数。因此，超声成像系统的退化模型与(1)式类似：

B为成像设备获得的低分辨率超声图像，I为组织反射函数，K为超声成像系统的点扩散函数，N是噪声。超声图像退化和复原模型如图2所示。

因为现有的医学超声成像设备无法获取清晰度高的超声图像，所以我们没有条件对高分辨率的医学超声图像的先验信息进行统计分析。但是根据自然图像的统计特性的相关研究，可知自然的梯度分布服从重尾分布，满足超拉普拉斯分布。同时，观察临床医学的B超图像可知，医学超声图像中像素为0的点远远多于像素值为非0的点。因此，从经验上来讲清晰度高的B超图像同样满足稀疏这一特性，所以使用Krishnan的稀疏正则化盲复原算法盲复原算法来复原医学超声图像具有可行性。

1、算法参数设定

为了获得一组适用于医学超声图像的参数，我们仍然使用Field II仿真的超声图像进行试验，找到一组针对超声复原效果最好的参数，正则参数λ值为18，模糊核正则项参数θ为0.06，模糊核大小设为17和迭代次数为21等。虽然在我们的处理过程中对超声图像的处理是分段进行的，为了简便运算，我们在每个子图像段中采用同一参数组合。

2、超声图像分块

一般认为所获得B超图像是由组织反射函数与超声成像系统点扩散函数卷积得到的。然而，在大多数实际情况下，散射体并不是组织的唯一组成部分。由于在超声成像过程中存在聚焦、散射效应、色散衰减和相位不均等问题，超声成像系统的点扩散函数具有空间移变性。PSF的空间移变性是指PSF随着空间位置的改变而改变，因此，认为造成超声图像退化的PSF是全局的假设是不合理的。另一方面，在实践中，从给定的超声图像中提取一个区域的操作可实现性高，因此将系统点扩散函数的移变性考虑在内的超声图像分块处理具有必要性和可行性。现有的大部分复原超声图像的算法为了简化PSF估计过程，选择忽略PSF的空间移变性。这样的做法虽然减小了计算量，但是想要获得分辨率更高的医学超声图像，很有必要考虑PSF的空间移变性。考虑超声图像点扩散函数移变性时，通常对超声图像进行分块处理。如图3所示为超声图像分块示意图。

选择纵向对图像进行分块，是基于以下两点原因：首先，在给定深度的PSF的横向变化主要是由于换能器孔径的空间脉冲响应对目标横向位置具有依赖性。事实上，这是由换能器中心轴旁的阵元接收与发射信号的方向与中心轴上阵元接收和发射信号的方向不一致造成的。为了使得PSF沿着横向方向近似偏移不变，大多数现代扫描仪通过数字波束合成技术来控制合成波束的宽度。数字波束合成技术包括动态聚焦技术、幅度变迹技术和动态孔径技术等，通过这些技术使得其空间脉冲响应在给定深度处保持大致相同。第二个原因与现实可操作性有关。因为超声图像在横向的样本数量无法确定，可能会沿着轴向方向延伸数千个样本，而沿着垂直方向的样本只有几百个(或通常甚至更少)样本，所以横向分割几乎是不可能的。因此，我们在建立超声图像退化模型时，其PSF的空间移变性是针对纵向变化的。与一般数字图像空间移变的情况不同，医学超声图像纵向相邻的图像块具有相似的PSF。所以选取的分块方式能够对两次估计结果取平均值，更符合医学超声成像的特点。

3、采用Krishnan的稀疏正则化算法盲复原

Krishnan算法包含两个部分：模糊核估计和非盲复原，该算法虽然包含非盲复原算法，但是当点扩散函数已知时，图像复原问题不再是病态问题，对其进行求解相对简单，现有的非盲复原算法能够恢复出分辨率较高的清晰图像。重点讨论图像复原过程中点扩散函数的估计，主要是针对解卷积过程，所以暂时不考虑噪声项。在估计PSF和非盲复原前首先对图像进行了预处理，复原算法中对图像的所有处理都是在高频区域内实现，通过使用离散滤波器▽_x＝[1,-1]，▽_y＝[1,-1]^T与退化图像B卷积获得高频图像B＝[▽_xB,▽_yB]。为了解决PSF尺寸较大时收敛较慢的问题，Krishnan采用了金字塔模型进行求解。金字塔模型中，下一次迭代时模糊图像和PSF的初始值都是由上一次求解的解通过双线性插值获得的。另外，算法中所有参数是事先设定的，参数包括：正则参数λ、模糊核正则项参数θ、模糊核大小和迭代次数等。

图像盲解卷积是一个典型的不适定问题，解决不适定问题时通常采用正则化的方法。图像恢复中的正则化方法是用一组与原不适定问题相“近似”的适定问题的解去逼近原问题的解，并将图像的先验信息作为正则项，将图像处理的不适定问题转化成适定问题，从而使原问题具有唯一稳定解。从概率的角度来看，从式(1)中恢复出清晰图像和点扩散函数的图像相当于求解最大后验概率P(I,K|B)。通过最小二乘法得到概率模型下的图像盲复原模型如下：

在上式中||·||₂表示矩阵的2范数。比如，||A||₂表示矩阵A的共轭转置矩阵与矩阵A的积的最大特征值的平方根值。λ为A^TA的最大特征根。

Krishnan使用L₁/L₂正则项对式(2)中的图像先验信息进行约束并且加上模糊核的L₁范数约束项，提出PSF空间不变的图像复原正则化模型为如下形式：

上式中，第一项为图像复原模型的最小二乘形式，第二项为清晰图像的L₁/L₂约束项，其代表图像重建过程中尺度不变的稀疏性。为了减小模糊核的噪声，添加了模糊核的L₁范数约束项。对K的约束(K≥0，∑_iK_i＝1)遵循模糊核形成的物理规律。

式(3)具有高度非凸性。解决该问题通常是先初始化I和K，然后交替迭代更新。为了在每个未知数更新时进度保持一致并尽可能避免局部最小值，每次更新只执行2次迭代。我们将求解I和K的过程分别称为I子问题和K子问题。

①I子问题

在求解I时，将模糊核K视为已知，则优化函数(3)式变换为如下形式：

上式中因为有所以是一个非凸问题。如果将分母固定为上一次迭代后的值，则该问题变成凸L₁正则化问题。众所周知，在压缩感知中解决L₁正则化问题的快速算法通常采用迭代收缩阈值算法(Iterative Shrinkage-thresholdingAlgorithm,ISTA)，该算法是一种通用求解线性逆问题的快速算法。ISTA算法非常简单，因为仅涉及矩阵乘法和分量收缩操作，所以运行速度快。通过将(4)式中第二项分母||I||₂固定为上一次迭代的值，则式(4)变换成如下形式：

使用迭代阈值收缩算法的更新方程为：

为收缩算子：

T_α(x)_j＝max(|x_j|-α,0)sign(x_j) (7)

综上，在求解I时将ISTA作为更新I算法的内部迭代，外部迭代通过更新分母||I||₂来实现。更新I之后，我们更新模糊核K。

②K子问题

估计模糊核时将图像变量I视为常量，此时更新方程(4)如下:

上式求解使用无约束的加权迭代最小二乘(Iterative Reweight Least Square,IRLS)，然后将结果K投影到约束条件(将负数元素设置为0，并重新归一化)。使用IRLS求解模糊核的优化函数如下：

其中i为对角矩阵的行号，N表示模糊核列数，权重Ψ是从上一次迭代K^(n-1)中获得的，更新公式为K的更新公式为：

K⁽ⁿ⁾＝Q_nI^T(IQ_nI^T)^-1B (10)

其中Q_n为对角矩阵，其对角线元素为在迭代期间，只进行1次IRLS迭代。

一旦估计出精度较高的模糊核K，我们可以使用各种非盲去卷积方法从退化图像B中恢复出清晰图像。最简单的算法是采用RL算法，但是RL算法对模糊核的误差比较敏感，从而产生振铃效应。在复原时Krishnan并没有采用L₁/L₂正则项进行复原，因为非盲复原卷积问题不再具有病态性，快速非盲复原算法使用L_p正则项算法性能好，并且运算速度快。因此，采用快速非盲复原算法来获得清晰图像，该算法运行速度快，并且对模糊核的误差鲁棒性较强。该算法采用超拉普拉斯模型拟合图像梯度作为正则项，其正则化复原模型为：

上式中，i为像素下标，j为滤波器标号，表示滤波器。是基于超拉普拉斯的正则项，表示滤波器f_j与清晰图像I卷积后得到的清晰图像的梯度。

求解式(11)的最优化问题过程中，正则项使得问题成为非凸问题。我们采用半二次惩罚方法来优化此非凸问题，该方法是通过引入辅助变量来求解非线性模型。在每个像素处引入辅助变量和(一起记为w)。将移出惩罚项，得到如下新的代价函数：

其中β是一个在正则化过程变化的权值，β描述了辅助变量w与真实值F_i ^jI之间的差异，其值将在算法迭代过程中从小到大逐渐增加，以达到优化的目的，β→∞时，(11)和(12)同解。对于一个给定的β，最小化式(12)可以过程分两步交替进行：给定w，求解I；给定I，求解w。

求解I问题时，如果从上一次迭代中给一个固定w，则方程(12)是关于x的二次方程，解(12)对应的拉格朗日方程，对其求导并令其值等于0可得：

其中K是由k组成的分块循环矩阵，假设在循环边界条件下，利用二维快速傅里叶变换，可得I在频域内的最优解为:

其中，*表示复共轭，表示按分量逐位相乘，除法也是按分量逐位相除。

求解w问题时，给定I，寻求w的最优解由2N个的独立的如下形式的一维问题构成：

其中，对于固定的α，方程(16)中的w仅依赖β和v两个变量，我们可以通过制造一个离线查找表来求得近似解。在求解式(16)时，我们对每一个β，给v在[-0.6,0.6]之间取1000个不同的值。β的取值范围为[1,256]，是的整数幂，v的取值范围为[-0.6,0.6]。这样就可以针对不同的α值查找表来获得式(16)的解。

对于α的一些特定值，对非零w，令方程(16)对w求偏导，并让其等于0，则可以得出w优化问题的精确解析解。当α＝1/2时，其偏导方程为：

当α＝2/3，同样令对w的偏导为零可得：

对于式(16)和式(18)，可以使用数值方法求解。其解要么是0，要么是其对应的多项式方程的根。最后形成的超声图像预处理算法流程图如图4所示。

在超声图像预处理中，我们将超声成像系统的PSF移变特性考虑在内，对图像分块处理。首先我们使用估计PSF的算法估计每个图像块的PSF，然后使用非盲复原算法对每个子图像进行复原，最后将复原后的子图像块按照顺序融合拼接从而得到全局的复原图像。得到预处理后的超声图像，我们就可以进行基于深度学习的超声图像超分辨率重建。

4、基于深度学习的超声图像超分辨率重建

首先介绍快速超分辨率卷积神经网络(Fast super-resolution ConvolutionNeural Networks,FSRCNN)，该网络的结构形如沙漏状，如图5所示。

FSRCNN由五部分组成：特征提取层，降维层，非线性映射层，扩展层和解卷积层。前面四层为卷积层，最后一层是解卷积层，为了方便理解，将卷积层记为Conv(f_i,n_i,c_i)，解卷积层记作DeConv(f_i,n_i,c_i)，其中变量f_i，n_i，c_i分别为卷积核大小，卷积核数量和通道数。下面详细介绍每一层的具体操作。

特征提取层。输入图像经过一组滤波器的卷积操作后，每个输入图像块被表示成高维特征向量。FSRCNN采用f_i＝5的卷积核作为第一层卷积核。实验只对图像的Y通道进行训练，所以取c₁＝1。因此本文只需要确定卷积核的个数n₁。从另外一个角度看来，n₁可以被看作是低分辨率特征图的维度，本文把它设为变量d。那么本文可以把第一层表示为Conv(5,d,1)。

降维层。FSRCNN在特征提取层之后增加了一个降维层来降低低分辨率特征向量维度d，同时固定卷积核大小f₂＝1，此时滤波器的作用类似于对低分辨特征向量线性组合。取降维层卷积核个数n₂＝s(这里的s远小于d)，那么低分辨率特征向量维度从d降为s，这样就大大减少了参数的数量，这里的s是第二个变量。第二层可以表示成Conv(1,s,d)。

非线性映射层。在FSRCNN结构中，当非线性映射层卷积核的大小被设置成5×5时，图像重建效果明显优于卷积核大小为1×1的非线性映射层网络。但是如果增加网络的深度，那么非线性映射层的计算复杂度将会增大。为了平衡重建图像质量和网络训练复杂度之间的矛盾，最后取非线性映射层的卷积核大小为3×3。非线性映射层的层数m为另外一个变量，该变量直接影响到重建图像质量和模型训练的计算复杂度。非线性映射层可以被表示为m×Conv(3,3,s)。

扩展层。扩展层可以看做是降维层的一个逆处理，为了和降维层保持一致，扩展层的卷积核大小同样被设置成1×1，卷积核的数量保持和特征提取层卷积核数量一致。降维层记作Conv(1,s,d)，那么扩展层就可以记作Conv(1,d,s)。

反卷积层。最后一层是反卷积层，该层使用一组反卷积滤波器将之前的特征图像合成放大生成最后的重建图像。对于卷积层来讲，如果卷积核以步长为k的间距对图像做卷积操作，那么输出图像为输入图像的1/k倍。相反地，如果改变输入和输出的位置，那么输出图像将会是输入图像的k倍。根据该特点，可以通过反卷积层将输出图像放大到固定的倍数。反卷积层可以表示成DeConv(9,1,d)。

在FSRCNN结构中，使用随机线性纠正单元(PReLU)作为激活函数PReLU，一般式为：

f(x_i)＝max(x_i,0)+a_imin(0,x_i) (19)

这里的x_i表示第i通道激活函数的输入信号，在PReLU中，定义式里面的系数a_i是一个可学习的参数。

在使用PReLU作为激活函数的时候，保留x大于0区域的信息，与此同时函数在x小于0部分，可以通过保留可学习参数a_i来保留某些有用的信息，从而提高图像的重建质量。

将以上五个部分结合起来，就形成了FSRCNN模型，可以表示为：Conv(5,d,1)–PReLU–Conv(1,s,d)–PReLU–m×Conv(3,s,s)–PReLU–Conv(1,d,s)–PReLU–DeConv(9,1,d)。整个结构中有d，s，m这三个变量，它们分别表示低分辨率特征块向量维度，降维层卷积核的数量和非线性映射层的层数。该结构在提高网络训练速度的同时也提高了重建图像的质量。为了简单起见，将快速卷积神经网络记作FSRCNN(d,s,m)。该结构的计算复杂度为：O{(25d+sd+9ms²+ds+81d)S_LR}＝O{(9ms²+2ds+106d)S_LR}。这里没有把PReLU的参数a_i考虑在内。整个FSRCNN的结构像沙漏一样，具有对称性。实验证明这种结构的卷积神经网络对图像的重建更为高效。

采用均方误差(MSE)作为整个卷积神经网络的损失函数，该函数最后的表达式如下：

上式中的和Xⁱ分别表示训练过程中第i层低分辨率和高分辨的子块图像，表示低分辨图像块经过FSRCNN结构的输出，参数θ表示整个卷积神经网络需要优化的参数，所有参数都采用随机梯度下降法来迭代和优化。

为了确定d，s，m这三个变量的值，选取d＝48、56，s＝12、16以及m＝2、3、4进行试验，因此可以产生12种不同参数的网络。比较不同的网络对图像的重建效果，最后得出当d＝56，s＝12，m＝4时的FSRCNN对测试图像的重建效果最好。

首先FSRCNN结构中的相关参数设置为：特征提取层卷积核个数为56个，特征提取层卷积核的大小为3×3和解卷积层卷积核的大小为9×9。使用经过预处理的超声图像作为训练集，图像库包含足够的特征。对训练集图像进行0°，90°，180°，270°旋转以增加训练集图像的丰富性，以步长14将以上训练集图像分割成33×33大小的子图像。训练时，将彩色图像RGB通道转成YCbCr空间，仅对图像的Y通道进行超分辨率重建。生成Caffe可以运行的数据类型以hdf5文件格式保存。设置描述模型结构的prototxt文件中相关变量如，设置特征提取层卷积核个数为56个，特征提取层卷积核的大小为3×3和解卷积层卷积核的大小为9×9。根据实际情况修改模型训练的全局参数。接着在终端运行网络训练的命令，按照预定好的次数对网络训练。最后提取caffemodel文件中各变量的权值，生成可供测试调用的mat文件，就可以调用训练好的网络对超声图像进行重建。最终形成的超声图像超分辨重建算法如图6所示。

具体实施步骤：

第一步，从超声诊断仪采集超声图像。

第二步，设置正则参数λ、模糊核正则项参数θ、模糊核大小和迭代次数等。

第三步，按如图3所示的分块方法对超声图像分块，将其纵向分割成15个图像块，每块图像块大小为64*512。

第四步，以高斯函数作为第一个图像块p₁的模糊核初始值k₀，采用Krishnan的算法进行盲复原，得到第一个图像块盲复原后的图像f₁和第一个图像块的模糊核k₁；对第i个图像块p_i(i＝2：N)，以k_i-1作为初始值，采用Krishnan的算法进行盲复原，得到第i个图像块盲复原后的图像f_i和第i个图像块的模糊核k_i；对得到的f_i(i＝1：N)进行拼接，得到盲复原后的图像F。

第五步，设置特征提取层卷积核个数，特征提取层卷积核的大小和解卷积层卷积核的大小等。

第六步，将预处理后的超声图像{F_i，i＝1：N}作为训练集，图像库包含足够的特征。对训练集图像进行0°，90°，180°，270°旋转以增加训练集图像的丰富性，以步长14将以上训练集图像分割成33×33大小的子图像。训练时，将彩色图像RGB通道转成YCbCr空间，仅对图像的Y通道进行超分辨率重建。生成Caffe可以运行的数据类型hdf5格式文件；为了减少其他因素对实验结果的影响，保持全局参数等其他条件一致。将prototxt文件中的相关变量设置为：test_interval表示每迭代500次以后进行一次测试；base_lr表示全局学习率，设为0.001；max_iter表示最大迭代次数，即训练500000次以后结束；snapshot表示每训练1000次保存一次权值，即保存一个caffemodel文件；solver_mode表示训练模式，这里选用GPU模式运行；batch_size表示每批以128张子图进行迭代。对网络训练50万次；提取caffemodel文件中各变量的权值，生成可供测试调用的mat文件。就可以调用训练好的FSRCNN网络对超声图像进行重建。

对于实验人员来说，不需要理解Krishnan的算法的原理和FSRCNN网络，只需要采用以下步骤就可使用基于深度学习的超声图像超分辨率重建系统：

(1)从超声诊断仪采集超声图像，设置正则参数λ、模糊核正则项参数θ、模糊核大小、迭代次数、特征提取层卷积核个数，特征提取层卷积核的大小和解卷积层卷积核的大小等参数；

(2)将这些参数和模糊图像输入系统，通过重建系统得到超分辨率图像。

从超声诊断仪采集50幅超声图像，以一幅图为例。如图7所示为成年人的颈动脉超声原始图像，设置正则参数λ为18、模糊核正则项参数θ为0.06、模糊核大小为17、迭代次数为21、特征提取层卷积核个数为56个，特征提取层卷积核的大小为3×3和解卷积层卷积核的大小为9×9等参数。

通过专利的超声图像预处理得到的结果如图8所示，利用FSRCNN实现超分辨率重建结果如图9所示，图像的纹理更加清晰，质量明显提高。

Claims (5)

1.一种基于深度学习的超声图像超分辨率重建方法，其特征在于：

S1，获取超声图像；

S2，超声图像预处理；

S21，设置参数；

S22，对超声图像按行分块；

S23，采用Krishnan的稀疏正则化盲复原算法复原图像；

S3，神经网络权值训练；

S31，设置网络结构参数；

S32，模型训练；

S33，形成网络；

S4，重建超声图像。

2.根据权利要求1所述的一种基于深度学习的超声图像超分辨率重建方法，其特征在于：

所述S1中获取超声图像具体包括：

S1，获取超声图像：从超声诊断仪采集一定数量的超声图像。

3.根据权利要求2所述的一种基于深度学习的超声图像超分辨率重建方法，其特征在于：

所述S21中设置参数具体包括：

S21，设置参数：设置正则参数λ、超声图像模糊核正则项参数θ和模糊核大小。

所述S22中对超声图像按行分块具体包括：

S22，对超声图像按行分块：将所述S1中获取的低分辨率超声图像G按照行分成N块，得到p_i(i＝1：N)。

所述S23中采用Krishnan的稀疏正则化盲复原算法复原图像具体包括：

S23，采用Krishnan的稀疏正则化盲复原算法复原图像：以高斯函数作为第一个图像块p₁的模糊核初始值k₀，采用Krishnan的算法进行盲复原，得到第一个图像块盲复原后的图像f₁和第一个图像块的模糊核k₁；对第i个图像块p_i(i＝2：N)，以k_i-1作为初始值，采用Krishnan的算法进行盲复原，得到第i个图像块盲复原后的图像f_i和第i个图像块的模糊核k_i；对得到的f_i(i＝1：N)进行拼接，得到盲复原后的图像F。

4.根据权利要求3所述的一种基于深度学习的超声图像超分辨率重建方法，其特征在于：

所述S31中设置网络结构参数具体包括：

S31，设置网络结构参数：设置特征提取层的卷积核个数、卷积核大小以及解卷积层的卷积核大小。

所述S32中模型训练具体包括：

S32，模型训练：将经所述S2预处理后的超声图像{F_i，i＝1：N}作为训练集，生成Caffe可以运行的数据类型hdf5格式文件；在描述模型结构的prototxt文件中修改模型训练的全局参数；对网络训练50万次；提取caffemodel文件中各变量的权值，生成可供测试调用的mat文件。

所述S33中形成网络具体包括：

S33，形成网络：形成可供调用的训练好的网络FSRCNN。

5.根据权利要求4所述的一种基于深度学习的超声图像超分辨率重建方法，其特征在于：

所述S4中重建超声图像具体包括：

S4，重建超声图像：调用所述S32中生成的mat文件，利用所述S33中形成的FSRCNN，对超声图像F进行超分辨率重建。