CN108765511B - 基于深度学习的超声图像超分辨率重建方法 - Google Patents

基于深度学习的超声图像超分辨率重建方法 Download PDF

Info

Publication number
CN108765511B
CN108765511B CN201810541238.3A CN201810541238A CN108765511B CN 108765511 B CN108765511 B CN 108765511B CN 201810541238 A CN201810541238 A CN 201810541238A CN 108765511 B CN108765511 B CN 108765511B
Authority
CN
China
Prior art keywords
image
fsrcnn
ultrasonic image
ultrasonic
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810541238.3A
Other languages
English (en)
Other versions
CN108765511A (zh
Inventor
刘丹平
毛莞丁
胡小波
党普泽
林萌
陈林烽
胡学斌
谭晓衡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201810541238.3A priority Critical patent/CN108765511B/zh
Publication of CN108765511A publication Critical patent/CN108765511A/zh
Application granted granted Critical
Publication of CN108765511B publication Critical patent/CN108765511B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4053Super resolution, i.e. output image resolution higher than sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Abstract

一种基于深度学习的超声图像超分辨率重建方法,包括以下步骤:采用Krishnan的稀疏正则化盲复原算法对超声图像B进行预处理;利用预处理后的超声图像F建立数据集训练FSRCNN的权值;利用新的FSRCNN实现超声图像的超分辨率重建。

Description

基于深度学习的超声图像超分辨率重建方法
技术领域
本发明属于超声成像领域,涉及超声图像超分辨率重建方法,特别适用于需要利用高质量的超声图像进行医学诊断的场合。
背景技术
当前国内外许多研究小组正尝试通过超分辨率技术来提高超声图像的质量。
S VeDula等人研究表明,利用卷积神经网络(CNN)能够将以人体的CT图像模拟超声射频数据来重建具有CT质量的超声图像,但是该方法可操作性太差。
2014年,Dong等人提出了SRCNN用于一般自然图像超分辨率重建,但该算法计算复杂度较高。2016年,Dong等人对SRCNN进行改进,提出了出一种沙漏型的卷积神经网络模型FSRCNN,该方法对图像重建质量与SRCNN不相上下,但速度更快。但是这两种方法都不能直接用来完成超声图像的超分辨率重建。
Fergus团队在图像复原领域成绩卓越,特别是2009年Krishnan提出的稀疏正则化盲复原算法,该算法对自然图像有较好的复原结果,但是该算法仅适用于空间移不变的退化图像。
超声图像是空间移变的退化图像,本专利通过对超声图像分块,采Krishnan的稀疏正则化盲复原算法快速提高超声图像的质量,然后以高质量的超声图像建立了数据集库,利用该数据集重新训练了FSRCNN的权值,构造了新的FSRCNN,利用新的FSRCNN实现了超声图像超分辨率重建。
发明内容
一种基于深度学习的超声图像超分辨率重建方法,其特征在于:
S1,超声图像的预处理;
S11,设置复原参数;
S12,采集超声图像;
S13,超声图像分块;
S14,分块图像复原;
S15,对复原后的分块图像进行拼接;
S2,构建超声图像的FSRCNN;
S21,建立超声图像数据集;
S22,训练FSRCNN;
S23,构建新的FSRCNN;
S3,实现超声图像的超分辨率重建;
S31,采集一幅超声图像B;
S32,输入新的FSRCNN;
S33,新的FSRCNN输出结果。
所述S1中超声图像的预处理,具体包括:
S11,设置复原参数:设置正则参数λ、超声图像模糊核正则项参数θ、模糊核大小和迭代次数;
S12,采集超声图像;从一般医学超声诊断仪上采集2000幅超声图像B;
S13,超声图像分块;将所述S12中采集的超声图像B按纵向分成N块,得到分块图像Pi(i=1:N);
S14,分块图像复原,具体包括:
对于分块图像Pi(i=1:N),首先以高斯函数作为第一个分块图像P1的模糊核初始值k0,采用Krishnan的稀疏正则化盲复原算法进行复原,得到第一个分块图像f1及其模糊核k1,然后对第i个分块图像Pi(i=2:N),以ki-1作为初始值,采用Krishnan的稀疏正则化盲复原算法进行复原,得到分块图像fi(i=2:N)及其模糊核ki(i=2:N);
S15,对复原后的分块图像进行拼接:将所述S14中得到的复原后的分块图像fi(i=1:N)按照原来的顺序进行拼接,得到预处理后图像F。
所述S2中构建超声图像的FSRCNN,具体包括:
S21,建立超声图像数据集:将所述S1预处理后的2000幅超声图像F作为FSRCNN的训练集,将其转化为hdf5格式的文件;
S22,训练FSRCNN,具体包括:
调整低分辨率特征块向量维度D,降维层卷积核的数量s和非线性映射层的层数m;对FSRCNN训练50万次以上,产生各变量的权值{Wdmn}并存储于caffemodel文件,生成mat文件;
S23,构建新的FSRCNN:运行S22所述的mat文件,将FSRCNN原来的权值更换为新的权值,构建适合于超声图像的FSRCNN。
所述S3中实现超声图像的超分辨率重建,具体包括:
S31,采集一幅超声图像B;从一般超声诊断仪上采集一幅超声图像B;
S32,对B进行所述S1的超声图像的预处理得到F;
S33,输入新的FSRCNN;将F输入新的FSRCNN;
S34,新的FSRCNN输出结果;新的FSRCNN输出一幅超分辨率的超声图像G。
附图说明
图1为本专利的流程图。
图2为超声图像退化/复原模型。
图3为超声图像分块示意图。
图4为FSRCNN网络结构。
图5为超声仪采集的成年人的颈动脉图像。
图6为预处理后的超声图像。
图7为利用FSRCNN实现的超分辨率重建结果。
具体实施方式
下面结合基本原理、实例和附图对本专利作进一步说明。
1.超声图像的预处理
HunDt认为低分辨率超声图像退化是由人体组织反射函数(Tissue ReflectionFunction,TRF)与系统点扩散函数(Point SpreaD Function,PSF)卷积后累加噪声形成的。超声成像系统的TRF是指在成像区域内人体组织反射体与散射体的分布,系统PSF视为点源分布对于激励信号的响应函数。因此,超声成像系统的退化模型与(1)式类似:
Figure GDA0004008382430000031
其中,B为成像设备获得的低分辨率超声图像,I为组织反射函数,K为超声成像系统的PSF,N是噪声。超声图像退化和复原模型如图2所示。
超声图像与自然图像的统计特性相似,梯度分布具有重尾分布特性,满足超拉普拉斯分布。同时,观察临床医学的B超图像可知,医学超声图像中像素为0的点远远多于像素值为
非0的点,B超图像同样满足稀疏这一特性,所以可以采用Krishnan的稀疏正则化盲复原医学超声图像。
(1)算法参数设定
为了获得一组适用于医学超声图像的参数,使用FielD II仿真的超声图像进行试验,找到一组针对超声复原效果最好的参数,正则参数λ值为18,模糊核正则项参数θ为0.06,模糊核大小设为17和迭代次数为21等。虽然在处理过程中对超声图像的处理是分段进行的,为了简便运算,在每个子图像段中采用同一组参数。
(2)超声图像分块
一般认为所获得B超图像是由组织反射函数与超声成像系统点扩散函数卷积得到的。然而,在大多数实际情况下,散射体并不是组织的唯一组成部分。由于在超声成像过程中存在聚焦、散射效应、色散衰减和相位不均等问题,超声成像系统的PSF具有空间移变性。PSF的空间移变性是指PSF随着空间位置的改变而改变。因此,认为造成超声图像退化的PSF是全局的假设是不合理的。另一方面,在实践中,从给定的超声图像中提取一个图像块的操作易于实现。考虑超声成像PSF移变性时,需要对超声图像进行分块处理,如图3所示为超声图像分块示意图。
对超声图像选择纵向分块是基于以下两点原因:首先,现代扫描仪通过数字波束合成技术来控制合成波束的宽度。数字波束合成技术包括动态聚焦技术、幅度变迹技术和动态孔径技术等,通过这些技术使得其空间脉冲响应在给定深度处保持大致相同;其次与现实可操作性有关。因为超声图像在横向的样本数量无法确定,可能会沿着轴向方向延伸数千个样本,而沿着垂直方向的样本只有几百个(通常甚至更少)样本。另外,医学超声图像纵向相邻的图像块具有相似的PSF。
(3)Krishnan的稀疏正则化盲复原算法
Krishnan算法包含模糊核估计和非盲复原两个部分。在估计PSF和非盲复原前,通过使用离散滤波器
Figure GDA0004008382430000041
与退化图像B卷积获得高频图像
Figure GDA0004008382430000042
为了解决PSF尺寸较大时收敛较慢的问题,Krishnan采用了金字塔模型进行求解。金字塔模型中,下一次迭代时模糊图像和PSF的初始值都是由上一次求解的解通过双线性插值获得的。另外,算法中所有参数是事先设定的,参数包括:正则参数λ、模糊核正则项参数θ、模糊核大小和迭代次数等。
图像盲解卷积是一个典型的不适定问题,解决不适定问题时通常采用正则化的方法。图像恢复中的正则化方法是用一组与原不适定问题相“近似”的适定问题的解去逼近原问题的解,并将图像的先验信息作为正则项,将图像处理的不适定问题转化成适定问题,从而使原问题具有唯一稳定解。从概率的角度来看,从式(1)中恢复出清晰图像和点扩散函数的图像相当于求解最大后验概率P(I,K|B)。通过最小二乘法得到概率模型下的图像盲复原模型如下:
Figure GDA0004008382430000051
在上式中||·||2表示矩阵的2范数。比如,||A||2表示矩阵A的共轭转置矩阵与矩阵A的积的最大特征值的平方根值。
Figure GDA0004008382430000052
λ为ATA的最大特征根。
Krishnan使用L1/L2正则项对式(2)中的图像先验信息进行约束并且加上模糊核的L1范数约束项,提出PSF空间不变的图像复原正则化模型为如下:
Figure GDA0004008382430000053
上式中,第一项为图像复原模型的最小二乘形式,第二项为清晰图像的L1/L2约束项,其代表图像重建过程中尺度不变的稀疏性。为了减小模糊核的噪声,添加了模糊核的L1范数约束项。对K的约束(K≥0,∑iKi=1)遵循模糊核形成的物理规律。
式(3)具有高度非凸性。解决该问题通常是先初始化I和K,然后交替迭代更新。为了在每个未知数更新时进度保持一致并尽可能避免局部最小值,每次更新只执行2次迭代。将求解I和K的过程分别称为I子问题和K子问题。
1)I子问题
在求解I时,将模糊核K视为已知,则优化函数(3)式变换为如下形式:
Figure GDA0004008382430000054
上式中因为有
Figure GDA0004008382430000055
所以是一个非凸问题。如果将分母固定为上一次迭代后的值,则该问题变成凸L1正则化问题。众所周知,在压缩感知中解决L1正则化问题的快速算法通常采用迭代收缩阈值算法(Iterative Shrinkage-thresholDing Algorithm,ISTA),该算法是一种通用求解线性逆问题的快速算法。ISTA算法非常简单,因为仅涉及矩阵乘法和分量收缩操作,所以运行速度快。通过将(4)式中第二项分母||I||2固定为上一次迭代的值,则式(4)变换成如下形式:
Figure GDA0004008382430000056
使用迭代阈值收缩算法的更新方程为:
Figure GDA0004008382430000061
Figure GDA0004008382430000062
为收缩算子:/>
Tα(x)j=max(|xj|-α,0)sign(xj) (7)
综上,在求解I时将ISTA作为更新I算法的内部迭代,外部迭代通过更新分母||I||2来实现。更新I之后,更新模糊核K。
2)K子问题
估计模糊核时将图像变量I视为常量,此时更新方程(4)如下:
Figure GDA0004008382430000063
上式求解使用无约束的加权迭代最小二乘(Iterative Reweight Least Square,IRLS),然后将结果K投影到约束条件(将负数元素设置为0,并重新归一化)。使用IRLS求解模糊核的优化函数如下:
Figure GDA0004008382430000064
其中,i为对角矩阵的行号,N表示模糊核列数,权重Ψ是从上一次迭代K(n-1)中获得的,更新公式为
Figure GDA0004008382430000065
K的更新公式为:
K(n)=QnIT(IQnIT)-1B (10)
其中,Qn为对角矩阵,其对角线元素为
Figure GDA0004008382430000066
在迭代期间,只进行1次IRLS迭代。
一旦估计出精度较高的模糊核K,可以使用各种非盲去卷积方法从退化图像B中恢复出清晰图像。在复原时Krishnan并没有采用L1/L2正则项进行复原,因为非盲复原卷积问题不再具有病态性,使用Lp正则项算法性能好,并且运算速度快。该算法采用超拉普拉斯模型
Figure GDA0004008382430000067
拟合图像梯度作为正则项,其正则化复原模型为:
Figure GDA0004008382430000068
上式中,i为像素下标,j为滤波器标号,表示滤波器。
Figure GDA0004008382430000071
是基于超拉普拉斯的正则项,表示滤波器fj与清晰图像I卷积后得到的清晰图像的梯度。
求解式(11)的最优化问题过程中,
Figure GDA0004008382430000072
正则项使得问题成为非凸问题。采用半二次惩罚方法来优化此非凸问题,该方法是通过引入辅助变量来求解非线性模型。在每个像素处引入辅助变量/>
Figure GDA0004008382430000073
和/>
Figure GDA0004008382430000074
(一起记为w)。将/>
Figure GDA0004008382430000075
移出惩罚项,得到如下新的代价函数:
Figure GDA0004008382430000076
其中,
Figure GDA0004008382430000077
β是一个在正则化过程变化的权值,β描述了辅助变量w与真实值Fi jI之间的差异,其值将在算法迭代过程中从小到大逐渐增加,以达到优化的目的,β→∞时,(11)和(12)同解。对于一个给定的β,最小化式(12)可以过程分两步交替进行:给定w,求解I;给定I,求解w。
求解I问题时,如果从上一次迭代中给一个固定w,则方程(12)是关于x的二次方程,解(12)对应的拉格朗日方程,对其求导并令其值等于0可得:
Figure GDA0004008382430000078
Figure GDA0004008382430000079
其中
Figure GDA00040083824300000710
K是由k组成的分块循环矩阵,假设在循环边界条件下,利用二维快速傅里叶变换,可得I在频域内的最优解为:
Figure GDA00040083824300000711
其中,*表示复共轭,
Figure GDA00040083824300000714
表示按分量逐位相乘,除法也是按分量逐位相除。
求解w问题时,给定I,寻求w的最优解由2N个的独立的如下形式的一维问题构成:
Figure GDA00040083824300000712
其中,
Figure GDA00040083824300000713
对于固定的α,方程(16)中的w仅依赖β和v两个变量,可以通过制
造一个离线查找表来求得近似解。在求解式(16)时,对每一个β,给v在[-0.6,0.6]之间取1000个不同的值。β的取值范围为[1,256],是
Figure GDA0004008382430000081
的整数幂,v的取值范围为[-0.6,0.6]。这样就可以针对不同的α值查找表来获得式(16)的解。
对于α的一些特定值,对非零w,令方程(16)对w求偏导,并让其等于0,则可以得出w优化问题的精确解析解。当α=1/2时,其偏导方程为:
Figure GDA0004008382430000082
当α=2/3,同样令对w的偏导为零可得:
Figure GDA0004008382430000083
对于式(16)和式(18),可以使用数值方法求解。其解要么是0,要么是其对应的多项式方程的根。最后形成的超声图像预处理算法流程图如图1所示。
在超声图像预处理中,将超声成像系统的PSF移变特性考虑在内,对图像分块处理。首先使用估计PSF的算法估计每个分块图像的PSF,然后使用非盲复原算法对每个子图像进行复原,最后将复原后的分块图像按照顺序融合拼接从而得到全局的复原图像。得到预处理后的超声图像,就可以进行基于深度学习的超声图像超分辨率重建。
2.基于深度学习的超声图像超分辨率重建
(1)FSRCNN
快速超分辨率卷积神经网络(Fast super-resolution Convolution NeuralNetworks,FSRCNN)的结构形如沙漏状,如图4所示,它由特征提取层、降维层、非线性映射层、扩展层和解卷积层五部分组成。前面四层为卷积层,最后一层是解卷积层。将卷积层记为Conv(fi,ni,ci),解卷积层记作DeConv(fi,ni,ci),其中变量fi,ni,ci分别为卷积核大小,卷积核数量和通道数。下面介绍每一层的具体操作。
1)特征提取层
输入图像经过一组滤波器的卷积操作后,每个输入图像块被表示成高维特征向量。FSRCNN采用fi=5的卷积核作为第一层卷积核。实验只对图像的Y通道进行训练,所以取c1=1。
因此本专利只需要确定卷积核的个数n1。从另外一个角度看来,n1可以被看作是低分辨率特征图的维度,把它设为变量d。可以把第一层表示为Conv(5,d,1)。
2)降维层
FSRCNN在特征提取层之后增加了一个降维层来降低低分辨率特征向量维度D,同时固定卷积核大小f2=1,此时滤波器的作用类似于对低分辨特征向量线性组合。取降维层卷积核个数n2=s(这里的s远小于d),那么低分辨率特征向量维度从d降为s,这样就大大减少了参数的数量,这里的s是第二个变量。第二层可以表示成Conv(1,s,d)。
3)非线性映射层
在FSRCNN结构中,当非线性映射层卷积核的大小被设置成5×5时,图像重建效果明显优于卷积核大小为1×1的非线性映射层网络。但是如果增加网络的深度,那么非线性映射层的计算复杂度将会增大。为了平衡重建图像质量和网络训练复杂度之间的矛盾,最后取非线性映射层的卷积核大小为3×3。非线性映射层的层数m为另外一个变量,该变量直接影响到重建图像质量和模型训练的计算复杂度。非线性映射层可以被表示为m×Conv(3,3,s)。
4)扩展层
扩展层可以看作是降维层的一个逆处理,为了和降维层保持一致,扩展层的卷积核大小同样被设置成1×1,卷积核的数量保持和特征提取层卷积核数量一致。降维层记作Conv(1,s,d),那么扩展层就可以记作Conv(1,d,s)。
5)反卷积层
反卷积层使用一组反卷积滤波器将之前的特征图像合成放大生成最后的重建图像。对于卷积层来讲,如果卷积核以步长为k的间距对图像做卷积操作,那么输出图像为输入图像的1/k倍。相反地,如果改变输入和输出的位置,那么输出图像将会是输入图像的k倍。根据该特点,可以通过反卷积层将输出图像放大到固定的倍数。反卷积层可以表示成DeConv(9,1,d)。
在FSRCNN结构中,使用随机线性纠正单元(PReLU)作为激活函数,一般式为:
f(xi)=max(xi,0)+ai min(0,xi) (19)
这里的xi表示第i通道激活函数的输入信号,在PReLU中,定义式里面的系数ai是一个可学习的参数。
在使用PReLU作为激活函数时,保留x大于0区域的信息,与此同时函数在x小于0部分,可以通过保留可学习参数ai来保留某些有用的信息,从而提高图像的重建质量。
(2)FSRCNN模型
将以上五个部分结合起来,就形成了FSRCNN模型,可以表示为:Conv(5,d,1)–PReLU–Conv(1,s,d)–PReLU–m×Conv(3,s,s)–PReLU–Conv(1,d,s)–PReLU–DeConv(9,1,d)。整个结构中有d,s,m这三个变量,它们分别表示低分辨率特征块向量维度,降维层卷积核
的数量和非线性映射层的层数。该结构在提高网络训练速度的同时也提高了重建图像的质量。整个FSRCNN的结构像沙漏一样,具有对称性。实验证明这种结构的卷积神经网络对图像的重建更为高效。
采用均方误差(MSE)作为整个卷积神经网络的损失函数,该函数最后的表达式如下:
Figure GDA0004008382430000101
上式中的Ys i和Xi分别表示训练过程中第i层低分辨率和高分辨的子块图像,F(Ys i;θ)表示低分辨图像块经过FSRCNN结构的输出,参数θ表示整个卷积神经网络需要优化的参数,所有参数都采用随机梯度下降法来迭代和优化。
为了确定d、s和m这三个变量的值,选取d=48、56,s=12、16以及m=2、3、4进行试验,因此可以产生12种不同参数的网络。比较不同的网络对图像的重建效果,最后得出当d=56,s=12,m=4时的FSRCNN对测试图像的重建效果最好。
首先FSRCNN结构中的相关参数设置为:特征提取层卷积核个数为56个,特征提取层卷积核的大小为3×3和解卷积层卷积核的大小为9×9。使用经过预处理的超声图像作为训练集,图像库包含足够的特征。对训练集图像进行0°,90°,180°,270°旋转以增加训练集图像的丰富性,以步长14将以上训练集图像分割成33×33大小的子图像。训练时,将彩色图像RGB通道转成YCbCr空间,仅对图像的Y通道进行超分辨率重建。生成Caffe可以运行的数据类型以hDf5文件格式保存。设置描述模型结构的prototxt文件中相关变量如,设置特征提取层卷积核个数为56个,特征提取层卷积核的大小为3×3和解卷积层卷积核的大小为9×9。根据实际情况修改模型训练的全局参数。接着在终端运行网络训练的命令,按照预定好的次数对网络训练。最后提取caffemoDel文件中各变量的权值ωd,m,n,生成可供测试调用的mat文件,就可以调用训练好的FSRCNN对超声图像进行重建。最终构造的超声图像超分辨重建FSRCNN模型如图4所示。
3.具体实施步骤
具体实施按照以下步骤进行:
第一步,从超声诊断仪采集超声图像B。
第二步,设置正则参数λ、模糊核正则项参数θ、模糊核大小和迭代次数等。
第三步,按如图3所示的分块方法对超声图像分块,将其纵向分割成15个图像块,每块图像块大小为64*512。
第四步,以高斯函数作为第一个分块图像P1的模糊核初始值k0,采用Krishnan的稀疏正则化盲复原算法进行盲复原,得到第一个图像块盲复原后的图像f1和第一个分块图像的模糊核k1;对第i个分块图像Pi(i=2:N),以ki-1作为初始值,采用Krishnan的稀疏正则化盲复原算法进行盲复原,得到第i个图像块盲复原后的图像fi和第i个分块图像的模糊核ki;对得到的分块图像fi(i=1:N)进行拼接,得到盲复原后的图像F。
第五步,设置特征提取层卷积核个数,特征提取层卷积核的大小和解卷积层卷积核的大小等。
第六步,将预处理后的超声图像{Fi,i=1:2000}作为训练集,训练集包含足够的特征。对训练集图像进行0°,90°,180°,270°旋转以增加训练集图像的丰富性,以步长14将以上训练集图像分割成33×33大小的子图像。训练时,将彩色图像RGB通道转成YCbCr空间,仅对图像的Y通道进行超分辨率重建。生成Caffe可以运行的数据类型hDf5格式文件;为了减少其他因素对实验结果的影响,保持全局参数等其他条件一致。将prototxt文件中的相关变量设置为:test_interval表示每迭代500次以后进行一次测试;base_lr表示全局学习率,设为0.001;max_iter表示最大迭代次数,即训练500000次以后结束;snapshot表示每训练1000次保存一次权值ωd,m,n,即保存一个caffemoDel文件;solver_moDe表示训练模式,这里选用GPU模式运行;batch_size表示每批以128张子图进行迭代。对网络训练50万次;提取caffemoDel文件中各变量的权值,生成可供测试调用的mat文件,就可以调用训练好的FSRCNN网络对超声图像进行重建。
对于实验人员来说,不需要理解Krishnan的稀疏正则化盲复原算法的原理和FSRCNN,只需要采用以下步骤就可使用基于深度学习的超声图像超分辨率重建系统:
(1)从超声诊断仪采集超声图像,设置正则参数λ、模糊核正则项参数θ、模糊核大小、迭代次数、特征提取层卷积核个数,特征提取层卷积核的大小和解卷积层卷积核的大小等参数;
(2)将这些参数和模糊图像输入系统,通过本专利重建系统得到超分辨率图像。
从超声诊断仪采集一幅图为例。如图5所示为成年人的颈动脉超声原始图像,设置正则参数λ为18、模糊核正则项参数θ为0.06、模糊核大小为17、迭代次数为21、特征提取层卷积核个数为56个,特征提取层卷积核的大小为3×3和解卷积层卷积核的大小为9×9等参数。
通过专利的超声图像预处理得到的结果如图6所示,利用FSRCNN实现超分辨率重建结果如图7所示,图像的纹理更加清晰,质量明显提高。

Claims (4)

1.一种基于深度学习的超声图像超分辨率重建方法,其特征在于:
S1,超声图像的预处理;
S11,设置复原参数;
S12,采集超声图像;
S13,超声图像分块;
S14,分块图像复原;
S15,对复原后的分块图像进行拼接;
S2,构建超声图像的FSRCNN;
S21,建立超声图像数据集;
S22,训练FSRCNN;
S23,构建新的FSRCNN;
S3,实现超声图像的超分辨率重建;
S31,采集一幅超声图像B;
S32,输入新的FSRCNN;
S33,新的FSRCNN输出结果。
2.根据权利要求1所述的一种基于深度学习的超声图像超分辨率重建方法,其特征在于:
所述S1中超声图像的预处理,具体包括:
S11,设置复原参数:设置正则参数λ、超声图像模糊核正则项参数θ、模糊核大小和迭代次数;
S12,采集超声图像;从一般超声诊断仪上采集2000幅超声图像B;
S13,超声图像分块;将所述S12中采集的超声图像B按纵向分成N块,得到Pi(i=1:N);
S14,分块图像复原,具体包括:
对于分块图像Pi(i=1:N),以高斯函数作为第一个图像块P1的模糊核初始值k0,采用Krishnan的稀疏正则化盲复原算法进行复原,得到第一个分块图像f1及其模糊核k1;对第i个分块图像Pi(i=2:N),以ki-1作为初始值,采用Krishnan的稀疏正则化盲复原算法进行复原,得到分块图像fi(i=2:N)及其模糊核ki(i=2:N);
S15,对复原后的分块图像进行拼接:将所述S14中得到的复原后的分块图像fi(i=1:N)按照原来的顺序进行拼接,得到预处理后图像F。
3.根据权利要求1所述的一种基于深度学习的超声图像超分辨率重建方法,其特征在于:
所述S2中构建超声图像的FSRCNN,具体包括:
S21,建立超声图像数据集:将所述S1预处理后的2000幅超声图像F作为FSRCNN的训练集,将其转化为hdf5格式的文件;
S22,训练FSRCNN,具体包括:
调整低分辨率特征块向量维度D,降维层卷积核的数量s和非线性映射层的层数m;对FSRCNN训练50万次以上,产生各变量的权值{Wdmn}并存储于caffemodel文件,生成mat文件;
S23,构建新的FSRCNN:运行S22所述的mat文件,将FSRCNN原来的权值更换为新的权值,构建适合于超声图像的FSRCNN。
4.根据权利要求1所述的一种基于深度学习的超声图像超分辨率重建方法,其特征在于:
所述S3中实现超声图像的超分辨率重建,具体包括:
S31,采集一幅超声图像B;从一般超声诊断仪上采集一幅超声图像B;
S32,对B进行所述S1的超声图像的预处理得到F;
S33,输入新的FSRCNN;将采集的超声图像B直接输入新的FSRCNN;
S34,新的FSRCNN输出结果;新的FSRCNN输出一幅超分辨率的超声图像G。
CN201810541238.3A 2018-05-30 2018-05-30 基于深度学习的超声图像超分辨率重建方法 Active CN108765511B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810541238.3A CN108765511B (zh) 2018-05-30 2018-05-30 基于深度学习的超声图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810541238.3A CN108765511B (zh) 2018-05-30 2018-05-30 基于深度学习的超声图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN108765511A CN108765511A (zh) 2018-11-06
CN108765511B true CN108765511B (zh) 2023-03-24

Family

ID=64004607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810541238.3A Active CN108765511B (zh) 2018-05-30 2018-05-30 基于深度学习的超声图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN108765511B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109709547A (zh) * 2019-01-21 2019-05-03 电子科技大学 一种实波束扫描雷达加速超分辨成像方法
CN110136066B (zh) * 2019-05-23 2023-02-24 北京百度网讯科技有限公司 面向视频的超分辨率方法、装置、设备和存储介质
CN110264415B (zh) * 2019-05-24 2020-06-12 北京爱诺斯科技有限公司 一种消除抖动模糊的图像处理方法
CN112116526A (zh) * 2019-06-19 2020-12-22 中国石油化工股份有限公司 基于深度卷积神经网络的火炬烟雾图像的超分辨率方法
CN110310229B (zh) * 2019-06-28 2023-04-18 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、终端设备及可读存储介质
CN112183158B (zh) * 2019-07-03 2023-07-21 九阳股份有限公司 一种谷物烹饪设备的谷物种类识别方法和谷物烹饪设备
CN111222546B (zh) * 2019-12-27 2023-04-07 中国科学院计算技术研究所 一种多尺度融合的食品图像分类模型训练及图像分类方法
CN111161386A (zh) * 2019-12-30 2020-05-15 无锡触典科技有限公司 超声图像的渲染方法、装置及超声设备
CN113570508A (zh) * 2020-04-29 2021-10-29 上海耕岩智能科技有限公司 图像修复方法及装置、存储介质、终端
CN113011366A (zh) * 2021-03-31 2021-06-22 北京京东乾石科技有限公司 用于提高人脸识别精度的方法、装置、电子设备和介质
CN114897717B (zh) * 2022-04-25 2023-06-27 电子科技大学 一种用于太阳图像复原的多帧校正盲解卷积方法
CN114660605B (zh) * 2022-05-17 2022-12-27 湖南师范大学 一种机器学习的sar成像处理方法、装置及可读存储介质
CN114926468B (zh) * 2022-07-22 2022-12-06 深圳华声医疗技术股份有限公司 超声图像质量控制方法、超声设备及存储介质
CN115601242B (zh) * 2022-12-13 2023-04-18 电子科技大学 一种适用于硬件部署的轻量级图像超分辨率重建方法
CN117045279B (zh) * 2023-09-22 2024-03-29 哈尔滨工业大学 一种基于点扩散函数参数优化的掌上超声成像方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951928A (zh) * 2017-04-05 2017-07-14 广东工业大学 一种甲状腺乳头状癌的超声图像识别方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9934554B2 (en) * 2010-11-15 2018-04-03 Indian Institute Of Technology Ultrasound imaging method/technique for speckle reduction/suppression in an improved ultra sound imaging system
CN105374020B (zh) * 2015-12-17 2018-04-17 深圳职业技术学院 一种快速高分辨率的超声成像检测方法
CN106952228B (zh) * 2017-03-10 2020-05-22 北京工业大学 基于图像非局部自相似性的单幅图像的超分辨率重建方法
CN107358576A (zh) * 2017-06-24 2017-11-17 天津大学 基于卷积神经网络的深度图超分辨率重建方法
CN107610049B (zh) * 2017-08-21 2021-01-05 华侨大学 基于稀疏正则化技术和加权引导滤波的图像超分辨率方法
CN107784628B (zh) * 2017-10-18 2021-03-19 南京大学 一种基于重建优化和深度神经网络的超分辨率实现方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106951928A (zh) * 2017-04-05 2017-07-14 广东工业大学 一种甲状腺乳头状癌的超声图像识别方法及装置

Also Published As

Publication number Publication date
CN108765511A (zh) 2018-11-06

Similar Documents

Publication Publication Date Title
CN108765511B (zh) 基于深度学习的超声图像超分辨率重建方法
CN108090871B (zh) 一种基于卷积神经网络的多对比度磁共振图像重建方法
Zhang et al. High-quality image restoration using low-rank patch regularization and global structure sparsity
CN110443768B (zh) 基于多重一致性约束的单帧图像超分辨率重建方法
CN114119444B (zh) 一种基于深度神经网络的多源遥感图像融合方法
RU2626184C2 (ru) Способ, устройство и система для реконструкции магнитно-резонансного изображения
Dong et al. Super-resolution with nonlocal regularized sparse representation
CN108492270B (zh) 一种基于模糊核估计和变分重构的超分辨率方法
CN104751420A (zh) 一种基于稀疏表示和多目标优化的盲复原方法
CN108257108A (zh) 一种超分辨率图像重建方法及系统
CN111487573B (zh) 一种用于磁共振欠采样成像的强化型残差级联网络模型
Liu et al. Multi-filters guided low-rank tensor coding for image inpainting
KR102398365B1 (ko) 학습 가능한 공간-스펙트럴 변환 기법 기반의 딥러닝 영상 분해 및 압축 센싱 방법
Sagel et al. Sub-dip: Optimization on a subspace with deep image prior regularization and application to superresolution
Su et al. Graph neural net using analytical graph filters and topology optimization for image denoising
Viswanath et al. Image restoration by combined order regularization with optimal spatial adaptation
Moeller et al. Image denoising—old and new
CN109559357A (zh) 一种基于小波包阈值的图像块压缩感知重构方法
CN115619675A (zh) 基于图像融合与超分辨率的单图像阴影去除网络及其方法
CN115239836A (zh) 一种基于端到端神经网络的极端稀疏视角ct重建方法
Yan et al. Nonlocal elastica model for sparse reconstruction
Pasha et al. Efficient edge-preserving methods for dynamic inverse problems
Ahmed et al. Dynamic imaging using deep bilinear unsupervised learning (deblur)
Grohs et al. A shearlet-based fast thresholded Landweber algorithm for deconvolution
CN116452425B (zh) 图像超分辨率重建方法、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant