CN108734658B - 一种高分辨率图像的重建方法及系统 - Google Patents
一种高分辨率图像的重建方法及系统 Download PDFInfo
- Publication number
- CN108734658B CN108734658B CN201810471844.2A CN201810471844A CN108734658B CN 108734658 B CN108734658 B CN 108734658B CN 201810471844 A CN201810471844 A CN 201810471844A CN 108734658 B CN108734658 B CN 108734658B
- Authority
- CN
- China
- Prior art keywords
- sub
- variable
- formula
- regularization
- total variation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 107
- 238000013507 mapping Methods 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims description 55
- 238000004364 calculation method Methods 0.000 claims description 40
- 238000010276 construction Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 23
- 230000008569 process Effects 0.000 description 16
- 238000012804 iterative process Methods 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000003044 adaptive effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 241000255777 Lepidoptera Species 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供一种高分辨率图像的重建方法及系统。方法包括:根据待重建图像、全变分正则项和分数阶全变分正则项构建目标图像的约束函数;根据待重建图像的平滑纹理特征确定分数阶;根据约束函数对目标图像进行近端映射获得去躁函数并利用变量分裂法和算子分裂法获得去躁函数对应的第一子公式和第二子公式;利用偏差原理获得全变分正则项对应的第一正则化参数和分数阶全变分正则项对应的第二正则化参数;根据第一正则化参数计算获得第一子公式中的第一子变量,根据第二正则化参数计算获得第二子公式中的第二子变量;根据第一子变量和第二子变量重建获得所述目标图像。所述系统用于执行所述方法。本发明实施例提高了重建的高分辨率图像的质量。
Description
技术领域
本发明涉及图像处理技术领域,具体而言,涉及一种高分辨率图像的重建方法及系统。
背景技术
高分辨率图像(High-Resolution,HR)在遥感、医学成像、视频监控等实际应用中有很重要的作用,因为它能提供很多关键的信息。然而目前的图像分辨率不能满足日益增长的应用需求。因此,提升图像分辨率的研究十分必要。单幅图像超分辨率重建是用图像处理的知识将低分辨率图像转化成高分辨率图像的一种有效方法。
数学上,由于低分辨率图像的数量不足,单幅图像超分辨重建是一个病态性逆问题,对于该问题,可以通过附加先验知识、添加正则项来解决。最近,全变分(TotalVariation,TV)正则项广泛的应用于超分辨率图像重建。但是全变分不能很好的恢复图像的纹理等细微细节,而且重建出的图像容易出现阶梯效应。为了解决这个问题,在全变分中引入分数阶微分,也就是分数阶全变分(Fractional Order Total Variation,FOTV)。与整数阶微分全变分不同,分数阶全变分使用了更多的邻近像素信息。
最近,研究人员又提出了许多将FOTV和其他稀疏项,如全变分或者小波,结合起来的方法,用于进一步提升重建图像的质量。然而这些方法的实施又两个困难:(1)FOTV中导数的分数阶α需要选择的很合适,有研究表明FOTV的性能取决于分数阶的选择。当1<α<2时,α越大,图像的纹理特征保留的越好。然而,当α接近2时,纹理由于过度增强会变成噪声。因此,α需要根据图像的局部特征自适应的设定在1-2。(2)用多个正则项约束图像来建立超分辨率重建模型,需要提前设定正则化参数。虽然已经有很多自适应设定正则化参数的方法,如偏差原理,广义交叉验证法,L曲线法,无偏估计风险预测法,优化最小化法,变分贝叶斯法等,但是由于重建模型的复杂性,这些方法难以直接应用。所以自适应调节重建模型中的正则化参数具有挑战性。如果α和正则化参数设定有问题那么重建出来的高分辨率的质量也相应比较低。
发明内容
有鉴于此,本发明实施例的目的在于提供一种高分辨率图像的重建方法及系统,以解决上述技术问题。
第一方面,本发明实施例提供了一种高分辨率图像的重建方法,包括:
根据待重建图像、全变分正则项和分数阶全变分正则项构建目标图像的约束函数,所述待重建图像的分辨率低于所述目标图像的分辨率;
根据所述待重建图像的平滑纹理特征确定所述分数阶全变分正则项中的分数阶;
根据所述约束函数对所述目标图像进行近端映射获得去躁函数,并利用变量分裂法和算子分裂法获得所述去躁函数对应的第一子公式和第二子公式,所述第一子公式包括所述全变分正则项,所述第二子公式包括所述分数阶全变分正则项;
利用偏差原理计算获得所述全变分正则项对应的第一正则化参数和所述分数阶全变分正则项对应的第二正则化参数;
根据所述第一正则化参数计算获得所述第一子公式中的第一子变量,根据所述第二正则化参数计算获得所述第二子公式中的第二子变量;
根据所述第一子变量和所述第二子变量重建获得所述目标图像。
进一步地,所述约束函数为:
其中,为所述待重建图像和期望目标图像之间的保真度;μ1为所述第一正则化参数;μ2为所述第二正则化参数;||DX||1为所述全变分正则项,DXi,j=(DhXi,j,DυXi,j)是像素X(i,j)在水平方向和竖直方向上的离散梯度;||DαX||1为所述分数阶全变分正则项, 是分数阶离散梯度,其中 是广义二项式系数,Γ(u)是伽马函数的表达式。
进一步地,所述去躁函数为:
其中,U是X的近端映射,在第k次迭代中,根据U(k+1)=X(k)+γHT(Y-HX(k))对U进行更新,γ是步长参数;
相应的,所述利用变量分裂法和算子分裂法获得所述去躁函数对应的第一子公式和第二子公式,包括:
利用所述变量分裂法将X分为第一子变量X1和第二子变量X2;
利用所述算子分裂法将所述去躁函数分裂为所述第一子公式和所述第二子公式;其中,
进一步地,所述利用偏差原理获得所述全变分正则项对应的第一正则化参数和所述分数阶全变分正则项对应的第二正则化参数,包括:
其中,为第k次迭代中的第一正则化参数,为第k次迭代中的第二正则化参数,γ是步长参数,β1为第一惩罚项,β2为第二惩罚项,Z为引入的第一辅助变量,且Z=DX1,U(k+1)为X的近端映射,Q(k+1)为引入的第二辅助变量,且Q=DαX2,和均为拉格朗日乘子。
进一步地,所述根据所述第一正则化参数计算获得所述第一子公式中的第一子变量,包括:
进一步地,所述根据所述第二正则化参数计算获得所述第二子公式中的第二子变量,包括:
进一步地,所述根据所述第一子变量和所述第二子变量获得所述目标图像,包括:
第二方面,本发明实施例提供了一种高分辨率图像的重建系统,包括:
构建模块,用于根据待重建图像、全变分正则项和分数阶全变分正则项构建目标图像的约束函数,所述待重建图像的分辨率低于所述目标图像的分辨率;
分数阶确定模块,用于根据所述待重建图像的平滑纹理特征确定所述分数阶全变分正则项中的分数阶;
第一计算模块,用于根据所述约束函数对所述目标图像进行近端映射获得去躁函数,并利用变量分裂法和算子分裂法获得所述去躁函数对应的第一子公式和第二子公式,所述第一子公式包括所述全变分正则项,所述第二子公式包括所述分数阶全变分正则项;
第二计算模块,用于利用偏差原理计算获得所述全变分正则项对应的第一正则化参数和所述分数阶全变分正则项对应的第二正则化参数;
第三计算模块,用于根据所述第一正则化参数计算获得所述第一子公式中的第一子变量,根据所述第二正则化参数计算获得所述第二子公式中的第二子变量;
重建模块,用于根据所述第一子变量和所述第二子变量重建获得所述目标图像。
第三方面,本发明实施例提供一种电子设备,包括:处理器、存储器和总线,其中,
所述处理器和所述存储器通过所述总线完成相互间的通信;
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行第一方面所述的方法。
第四方面,本发明实施例提供一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行第一方面所述的方法。
本发明实施例通过待重建图像的平滑纹理特征确定所述分数阶全变分正则项中的分数阶,利用偏差原理计算获得全变分正则项对应的第一正则化参数和分数阶全变分正则项对应的第二正则化参数,从而提高了重建的高分辨率图像的质量。
本发明的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种高分辨率图像的重建方法流程示意图;
图2为本发明实施例提供的幅频特性图;
图3为本发明实施例提供的一种高分辨率图像的重建系统结构示意图;
图4为本发明实施例提供的效果对比图;
图5(a)为本发明实施例提供的α值不同对应的PSNR值示意图;
图5(b)为本发明实施例提供的α值不同对应的SSIM值示意图;
图6(a)为本发明实施例提供的叶子的μ1在迭代过程中的取值示意图;
图6(b)为本发明实施例提供的叶子的μ2在迭代过程中的取值示意图;
图6(c)为本发明实施例提供的蝴蝶的μ1在迭代过程中的取值示意图;
图6(d)为本发明实施例提供的蝴蝶的μ2在迭代过程中的取值示意图;
图7为本发明实施例提供的电子设备的结构框图。
具体实施方式
下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
图1为本发明实施例提供的一种高分辨率图像的重建方法流程示意图,如图1所示,所述方法,包括:
步骤101:根据待重建图像、全变分正则项和分数阶全变分正则项构建目标图像的约束函数,所述待重建图像的分辨率低于所述目标图像的分辨率;
在具体的实施过程中,从高分辨率图像到低分辨率图像的退化过程用观测模型表述为:
Y=HX+ε(1)
在将待重建图像由低分辨率重建为高分辨率的目标图像时,目标图像X的解存在很多个,为了要使最终的解接近于最真实的X,需要对X进行正则化约束,根据待重建图像、全变分正则项和分数阶全变分正则项构建目标图像的约束函数。应当说明的是,待重建图像的分辨率要低于目标图像的分辨率。
步骤102:根据所述待重建图像的平滑纹理特征确定所述分数阶全变分正则项中的分数阶;
在具体的实施过程中,对分数阶微分的幅频特性进行分析,图2为本发明实施例提供的幅频特性图,如图2所示,通过对狄拉克δ函数分数阶导数的频率响应分析,可以看出分数阶微分中的α能够提升高频分量。在信号高频部分,α值越大,信号的高频分量越强,α越小,信号的低频分量越强。一般,图像具有不同的结构特征,如果对整幅图像使用相同阶次的FOTV约束,FOTV就不能很好的恢复图像的纹理。所以,我们要根据不同的结构特征选择适当的α值。α即为分数阶全变分正则项中的分数阶。
为了选择FOTV中合适的α值,我们需要检测图像的低频分量和高频分量,然后对不同的分量设置不同的α值。
首先,我们用到纹理检测函数g(i,j),计算公式如下:
其中ζ是平衡均质区域和纹理区域比重的常数,Δ(i,j)是每个像素点的几何矩阵:
的最大特征值,其中,向量u=(u1,u2,u3,u4,u5,u6)包含图像不同方向的纹理信息,计算如下:
其中DhhX,DυυX,DhυX分别是X的二阶导数,在均质区域,由于u的每个分量都接近0,随着Δ趋近于0,g趋近于1;在纹理区域,由于至少存在一个很大的u的分量,随着Δ趋向无穷大,g会趋向于0。
根据公式(2)中g的值,我们把FOTV中α设为:
α(i,j)=2-g(i,j) (5)
由此,α取值在1到2之间。对于高频(纹理)分量,设置α的值接近2,对于低频(均质)分量,设置α的值接近1。
步骤103:根据所述约束函数对所述目标图像进行近端映射获得去躁函数,并利用变量分裂法和算子分裂法获得所述去躁函数对应的第一子公式和第二子公式,所述第一子公式包括所述全变分正则项,所述第二子公式包括所述分数阶全变分正则项;
在具体的实施过程中,为了能够降低正则化参数计算难度,本发明实施例将分解为两个简单的子问题,每个子问题中只包含一个正则项,然后分别解决这两个子问题即可。
首先,对约束函数转化为一个去躁问题,即将约束函数中的目标图像进行近端映射,从而获得去躁函数,然后利用变量分裂法将变量分裂为两个子变量,再利用算子分裂法将去躁函数分裂为第一子公式和第二子公式,其中,第一子公式中包括全变分正则项,第二子公式包括分数阶全变分正则项。全变分正则项中包含第一正则化参数,分数阶全变分正则项中包含有第二正则项参数。
步骤104:利用偏差原理计算获得所述全变分正则项对应的第一正则化参数和所述分数阶全变分正则项对应的第二正则化参数;
在具体的实施过程中,为了能自适应的调节第一正则化参数,分别通过偏差原理进行计算全变分正则项对应的第一正则化参数和分数阶全变分正则项对应的第二正则化参数。
步骤105:根据所述第一正则化参数计算获得所述第一子公式中的第一子变量,根据所述第二正则化参数计算获得所述第二子公式中的第二子变量;
在具体的实施过程中,将第一正则化参数代入到第一子公式中,计算获得第一子公式对应的第一子变量;同样的,将第二正则化参数代入到第二子公式中计算获得第二子公式对应的第二子变量。
步骤106:根据所述第一子变量和所述第二子变量重建获得所述目标图像。
在具体的实施过程中,在计算获得到第一子变量和第二子变量后,根据第一子变量和第二子变量进行重建,获得目标图像。
本发明实施例通过待重建图像的平滑纹理特征确定所述分数阶全变分正则项中的分数阶,利用偏差原理计算获得全变分正则项对应的第一正则化参数和分数阶全变分正则项对应的第二正则化参数,从而提高了重建的高分辨率图像的质量。
在上述实施例的基础上,所述约束函数为:
其中,||·||2是范数,是保真项,表示待重建图像和期望目标图像之间的保真度;μ1为所述第一正则化参数;μ2为所述第二正则化参数;||DX||1为所述全变分正则项,DXi,j=(DhXi,j,DυXi,j)是像素X(i,j)在水平方向和竖直方向上的离散梯度;||DαX||1为所述分数阶全变分正则项,是分数阶离散梯度,其中 是广义二项式系数,Γ(u)是伽马函数的表达式。
在上述实施例的基础上,所述去躁函数为:
其中,U是X的近端映射,在第k次迭代中,根据U(k+1)=X(k)+γHT(Y-HX(k))对U进行更新,γ是步长参数;
相应的,所述利用变量分裂法和算子分裂法获得所述去躁函数对应的第一子公式和第二子公式,包括:
利用所述变量分裂法将X分为第一子变量X1和第二子变量X2;
利用所述算子分裂法将所述去躁函数分裂为所述第一子公式和所述第二子公式;其中,
在具体的实施过程中,把复杂的问题(2)分解为两个简单的子问题,每个子问题只包含一个正则项,所以,我们可以逐一地解决这两个问题。
首先,我们把问题(2)转化成一个去噪问题:
其中,U是X的近端映射,在第k次迭代中,U的更新方法如下:
U(k+1)=X(k)+γHT(Y-HX(k)) (8)
其中,(·)T是转置运算符,γ是步长参数。
其次,为了自适应的调节μ1和μ2,用变量分裂法把X分成第一子变量X1和第二子变量X2,应当说明的是,(X=X1+X2),再用算子分裂法把去躁函数分成第一子公式(9)和第二子公式(10):
由于μ1和μ2分别在两个子问题中,我们可以很容易的独立估计μ1和μ2,然后逐一地解决两个子问题。
最后,在第k+1次迭代中,我们估计(7)式中的X(k+1)为:
其中,X1和X2分别是(9)式和(10)式的解。
本发明实施例通过将计算正则化参数的复杂问题转化为两个子问题,大大降低了计算的复杂度,并且能够获得较为准确的正则化参数,从而得到质量较高的目标图像。
在上述实施例的基础上,所述利用偏差原理获得所述全变分正则项对应的第一正则化参数和所述分数阶全变分正则项对应的第二正则化参数,包括:
其中,为第k次迭代中的第一正则化参数,为第k次迭代中的第二正则化参数,γ是步长参数,β1为第一惩罚项,β2为第二惩罚项,Z为引入的第一辅助变量,且Z=DX1,U(k+1)为X的近端映射,Q(k+1)为引入的第二辅助变量,且Q=DαX2,和均为拉格朗日乘子。
在具体的实施过程中,要想求解第一子公式中X1和第二子公式中X2,首先要获得第一子公式中的第一正则化参数,和第二子公式中的第二正则化参数。
其中,第一正则化参数的计算方法为:为了能自适应的调节正则化参数,我们使用偏差原则,使μ1满足:
其中,c2=τσ2N2是上界,τ是预定义的常数,σ是噪声的标准差。由于图像的噪声通常与图像的最高子带中的小波系数有关,所以第k+1次迭代中我们可以通过下式估算σ:
其中,(WU(k+1))HH是最高子带中U(k+1)的小波系数,|·|是绝对值运算符。
如果
那么可以简单的设置
得到第k次迭代中μ1的解为:
同理,我们也使用偏差原则选择μ2,如果
那么可以简单的设置
在第k次迭代中求解μ2:
应当说明的是,为第k次迭代中的第一正则化参数,为第k次迭代中的第二正则化参数,γ是步长参数,β1为第一惩罚项,β2为第二惩罚项,Z为引入的第一辅助变量,且Z=DX1,U(k+1)为X的近端映射,Q(k+1)为引入的第二辅助变量,且Q=DαX2,和均为拉格朗日乘子。
本发明实施例通过将计算正则化参数的复杂问题转化为两个子问题,大大降低了计算的复杂度,并且能够获得较为准确的正则化参数,从而得到质量较高的目标图像。
在上述实施例的基础上,所述根据所述第一正则化参数计算获得所述第一子公式中的第一子变量,包括:
在具体的实施过程中,我们使用交替方向乘子法(Alternating DirectionMethod of Multipliers,ADMM)来求解(9)式的解X1。通过引入一个辅助变量Z,无约束的问题(9)可以转化为:
然后,采用惩罚的方法添加关于辅助变量的惩罚项,从而将有约束的问题转化为无约束的问题,其增广拉格朗日方程为:
其中β1是惩罚项,λ1是拉格朗日乘子,第k次迭代的更新公式如下:
每次迭代分别优化Z和X1。
对于Z的优化问题,我们通过固定的X1得到Z:
根据0·(0/0)=0规定使用二维收缩法求解(26),表达式为
对于X1的优化问题,我们通过固定的Z得到X1:
注意到问题(28)对于X1是二次的,我们可以得到它的封闭解为:
其中,μ1将自适应的计算见上述实施例,本发明实施例对此不再赘述。
在上述实施例的基础上,所述根据所述第二正则化参数计算获得所述第二子公式中的第二子变量,包括:
在具体的实施过程中,用和求解第一子变量的方法计算第二子变量,引入辅助变量Q后,改写(12)式为:
然后,(30)式的增广拉格朗日函数为:
其中β2是惩罚项,λ2是拉格朗日乘子,第k次迭代的更新公式如下:
每次迭代分别优化Q和X2。
对于Q的优化问题,我们通过固定的X2得到Q:
根据0·(0/0)=0规定使用二维收缩法求解(33),表达式为:
对于子问题X2,同样的,我们通过固定的Q得到X2:
(35)式的解为:
至此,我们分别通过(29)和(36)迭代的计算解X1和X2,并通过(11)得到(6)中的X。
本发明实施例通过待重建图像的平滑纹理特征确定所述分数阶全变分正则项中的分数阶,利用偏差原理计算获得全变分正则项对应的第一正则化参数和分数阶全变分正则项对应的第二正则化参数,从而提高了重建的高分辨率图像的质量。
在上述实施例的基础上,所述根据所述第一子变量和所述第二子变量获得所述目标图像,包括:
在具体的实施过程中,在将第一子变量和第二子变量计算获得后,根据公式(6)即可重建获得目标图像。
本发明实施例通过待重建图像的平滑纹理特征确定所述分数阶全变分正则项中的分数阶,利用偏差原理计算获得全变分正则项对应的第一正则化参数和分数阶全变分正则项对应的第二正则化参数,从而提高了重建的高分辨率图像的质量。
图3为本发明实施例提供的一种高分辨率图像的重建系统结构示意图,如图3所示,所述系统,包括:构建模块301、分数阶确定模块302、第一计算模块303、第二计算模块304、第三计算模块305和重建模块306,其中,
构建模块301用于根据待重建图像、全变分正则项和分数阶全变分正则项构建目标图像的约束函数,所述待重建图像的分辨率低于所述目标图像的分辨率;
分数阶确定模块302用于根据所述待重建图像的平滑纹理特征确定所述分数阶全变分正则项中的分数阶;
第一计算模块303用于根据所述约束函数对所述目标图像进行近端映射获得去躁函数,并利用变量分裂法和算子分裂法获得所述去躁函数对应的第一子公式和第二子公式,所述第一子公式包括所述全变分正则项,所述第二子公式包括所述分数阶全变分正则项;
第二计算模块304用于利用偏差原理计算获得所述全变分正则项对应的第一正则化参数和所述分数阶全变分正则项对应的第二正则化参数;
第三计算模块305用于根据所述第一正则化参数计算获得所述第一子公式中的第一子变量,根据所述第二正则化参数计算获得所述第二子公式中的第二子变量;
重建模块306用于根据所述第一子变量和所述第二子变量重建获得所述目标图像。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法中的对应过程,在此不再过多赘述。
本发明实施例通过待重建图像的平滑纹理特征确定所述分数阶全变分正则项中的分数阶,利用偏差原理计算获得全变分正则项对应的第一正则化参数和分数阶全变分正则项对应的第二正则化参数,从而提高了重建的高分辨率图像的质量。
现在我们总结自适应重建HR图像的整个流程。根据初始HR图像X(0)计算出分数阶参数后,可以迭代的实现超分辨率重建,如算法1所示。为了有效的实现该算法,我们把FOTV的正则化参数α分成10个值:
小于阈值ε,则迭代完成。
算法1:自适应设定正则化参数
输入:给定一副LR图像Y;
·用传统插值法计算X(0);
·根据(2)和(5)计算整幅图像FOTV正则化的α;
·设置γ,β1,β2,K,ε;
for k=0,1,2,…K do
根据(8)计算U(k+1);根据(27)计算Z(k+1);
if(14)成立,then
else
end if
根据(34)计算Q(k+1);
if(19)成立,then
else
end if
iferr(k)≤ε,then
break;
end if
endfor
输出:重建得到的HR图像X。
本次实验中,我们比较了所提出的方法和其他一些现有的HR重建方法:Bicubic,ASDS,SRCNN,SISR,SCN。Bicubic采用双三次插值法重建图像,ASDS采用自适应稀疏域选择和自适应正则化法,SRCNN和SCN都采用深度学习的方法,SISR采用网络学习和局部回归学习法。为了公平的进行比较,我们从他们的网站下载代码,并按照他们的实验设置的关键参数。对于SRCNN,SISR和SCN,我们直接使用它们的训练结果。对于ASDR,由于计算量太大,我们设置其最大迭代次数为300,对于本文提出的方法,把一些参数设为固定值:
γ=4,β1=β2=1,ζ=5×10-2,K=200。
首先,我们用一个尺度参数σ=1.6的7×7高斯核模糊生成的LR图像,并使用叶子,蝴蝶和植物作为例子来展示重建的HR图像。为了便于比较,我们放大展示了感兴趣区域(ROI),即评价标准图中红框所示部分,重建的全尺寸图像显示在图像的左下角。每幅图像中,与其他方法相比,我们提出的方法重建的图像具有更多的细节信息并且边界更清晰。
接下来,我们用7×7的平均核改变模糊算子来生成LR图像,并在上述实验中重建HR图像。可以看出,本发明实施例提供的方法比其他方法能获得更好的重建效果。
此外,我们计算了用6种方法重建的所有HR图像的PSNR和SSIM值,图4为本发明实施例提供的效果对比图,如图4所示,可以看出,所提出的方法能够比其他方法获得更好的PSNR和SSIM值。
实际上FOTV的分数阶α可以提升重建HR图像的质量。本发明实施例通过比较自适应α和固定α来测试所提方法的效果。在[1.0,2.0]的范围内,以0.1为步长设置一组固定α,并应用在全图像中来重建HR图像。本次试验中,用尺度参数σ=1.6的7×7高斯核模糊LR图像。图5(a)为本发明实施例提供的α值不同对应的PSNR值示意图,由图5(a)可以看出,对于不同的图像,固定α并不能得到期望的PSNR值,而我们提出的自适应方法(柱状图中最右边的一个)能够获得最优的PSNR值,因为α是根据图像纹理选择的。同时,图5(b)为本发明实施例提供的α值不同对应的SSIM值示意图,如图5(b)所示,在大多数情况下,我们提出的自适应方法能够获得更好的SSIM。
本文在优化重建过程中,自适应地调节两个正则化参数μ1和μ2。为了测试μ1和μ2在所提方法中的稳定性,我们以叶子和蝴蝶为例,画出μ1和μ2在迭代过程中的取值的图像,图6(a)为本发明实施例提供的叶子的μ1在迭代过程中的取值示意图,图6(b)为本发明实施例提供的叶子的μ2在迭代过程中的取值示意图,图6(c)为本发明实施例提供的蝴蝶的μ1在迭代过程中的取值示意图,图6(d)为本发明实施例提供的蝴蝶的μ2在迭代过程中的取值示意图。容易看出,随着迭代次数的增加,μ1和μ2逐渐收敛,不同图像具有不同的μ1和μ2,并且可以根据不同图像的特征自适应的调整μ1和μ2。
请参照图7,图7为本发明实施例提供的电子设备的结构框图。电子设备可以包括重建系统701、存储器702、存储控制器703、处理器704、外设接口705、输入输出单元706、音频单元707、显示单元708。
所述存储器702、存储控制器703、处理器704、外设接口705、输入输出单元706、音频单元707、显示单元708各元件相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述重建系统701包括至少一个可以软件或固件(firmware)的形式存储于所述存储器702中或固化在重建系统701的操作系统(operating system,OS)中的软件功能模块。所述处理器704用于执行存储器702中存储的可执行模块,例如重建系统701包括的软件功能模块或计算机程序。
其中,存储器702可以是,但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。其中,存储器702用于存储程序,所述处理器704在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流过程定义的服务器所执行的方法可以应用于处理器704中,或者由处理器704实现。
处理器704可以是一种集成电路芯片,具有信号的处理能力。上述的处理器704可以是通用处理器,包括中央处理器(Central Processing Unit,简称CPU)、网络处理器(Network Processor,简称NP)等;还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器704也可以是任何常规的处理器等。
所述外设接口705将各种输入/输出装置耦合至处理器704以及存储器702。在一些实施例中,外设接口705,处理器704以及存储控制器703可以在单个芯片中实现。在其他一些实例中,他们可以分别由独立的芯片实现。
输入输出单元706用于提供给用户输入数据实现用户与所述服务器(或本地终端)的交互。所述输入输出单元706可以是,但不限于,鼠标和键盘等。
音频单元707向用户提供音频接口,其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。
显示单元708在所述电子设备与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中,所述显示单元708可以是液晶显示器或触控显示器。若为触控显示器,其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作,并将该感应到的触控操作交由处理器704进行计算和处理。
所述外设接口705将各种输入/输入装置耦合至处理器704以及存储器702。在一些实施例中,外设接口705,处理器704以及存储控制器703可以在单个芯片中实现。在其他一些实例中,他们可以分别由独立的芯片实现。
输入输出单元706用于提供给用户输入数据实现用户与处理终端的交互。所述输入输出单元706可以是,但不限于,鼠标和键盘等。
可以理解,图7所示的结构仅为示意,所述电子设备还可包括比图7中所示更多或者更少的组件,或者具有与图7所示不同的配置。图7中所示的各组件可以采用硬件、软件或其组合实现。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (9)
1.一种高分辨率图像的重建方法,其特征在于,包括:
根据待重建图像、全变分正则项和分数阶全变分正则项构建目标图像的约束函数,所述待重建图像的分辨率低于所述目标图像的分辨率;
根据所述待重建图像的平滑纹理特征确定所述分数阶全变分正则项中的分数阶;
根据所述约束函数对所述目标图像进行近端映射获得去躁函数,并利用变量分裂法和算子分裂法获得所述去躁函数对应的第一子公式和第二子公式,所述第一子公式包括所述全变分正则项,所述第二子公式包括所述分数阶全变分正则项;
利用偏差原理计算获得所述全变分正则项对应的第一正则化参数和所述分数阶全变分正则项对应的第二正则化参数;
根据所述第一正则化参数计算获得所述第一子公式中的第一子变量,根据所述第二正则化参数计算获得所述第二子公式中的第二子变量;
根据所述第一子变量和所述第二子变量重建获得所述目标图像;
所述约束函数为:
7.一种高分辨率图像的重建系统,其特征在于,包括:
构建模块,用于根据待重建图像、全变分正则项和分数阶全变分正则项构建目标图像的约束函数,所述待重建图像的分辨率低于所述目标图像的分辨率;
分数阶确定模块,用于根据所述待重建图像的平滑纹理特征确定所述分数阶全变分正则项中的分数阶;
第一计算模块,用于根据所述约束函数对所述目标图像进行近端映射获得去躁函数,并利用变量分裂法和算子分裂法获得所述去躁函数对应的第一子公式和第二子公式,所述第一子公式包括所述全变分正则项,所述第二子公式包括所述分数阶全变分正则项;
第二计算模块,用于利用偏差原理计算获得所述全变分正则项对应的第一正则化参数和所述分数阶全变分正则项对应的第二正则化参数;
第三计算模块,用于根据所述第一正则化参数计算获得所述第一子公式中的第一子变量,根据所述第二正则化参数计算获得所述第二子公式中的第二子变量;
重建模块,用于根据所述第一子变量和所述第二子变量重建获得所述目标图像;
所述约束函数为:
8.一种电子设备,其特征在于,包括:处理器、存储器和总线,其中,
所述处理器和所述存储器通过所述总线完成相互间的通信;
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如权利要求1-6任一项所述的方法。
9.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行如权利要求1-6任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810471844.2A CN108734658B (zh) | 2018-05-16 | 2018-05-16 | 一种高分辨率图像的重建方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810471844.2A CN108734658B (zh) | 2018-05-16 | 2018-05-16 | 一种高分辨率图像的重建方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108734658A CN108734658A (zh) | 2018-11-02 |
CN108734658B true CN108734658B (zh) | 2020-05-12 |
Family
ID=63937479
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810471844.2A Expired - Fee Related CN108734658B (zh) | 2018-05-16 | 2018-05-16 | 一种高分辨率图像的重建方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108734658B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111284157B (zh) * | 2018-12-10 | 2023-05-30 | 蒲亦非 | 一种基于分数阶隐写技术的商品包装防伪印刷及验证方法 |
CN110766628B (zh) * | 2019-10-16 | 2020-12-11 | 哈尔滨工程大学 | 一种基于多波段自适应正则化迭代的目标边缘反演方法 |
CN113627555A (zh) * | 2021-08-18 | 2021-11-09 | 广东电网有限责任公司 | 一种图像分类的实现方法、装置、设备和介质 |
CN117057606B (zh) * | 2023-08-15 | 2024-08-16 | 广州地铁设计研究院股份有限公司 | 风险预测模型训练方法、风险预测方法及相关设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007095312A3 (en) * | 2006-02-13 | 2008-12-04 | Univ Chicago | Image reconstruction from limited or incomplete data |
CN102222320A (zh) * | 2011-05-24 | 2011-10-19 | 西安电子科技大学 | 基于全变分迭代反向投影的单帧图像空间分辨率增强方法 |
CN104268914A (zh) * | 2014-10-24 | 2015-01-07 | 山东师范大学 | 一种4d-ct不同时相序列图像的重建方法 |
CN104809461A (zh) * | 2015-05-08 | 2015-07-29 | 内蒙古科技大学 | 结合序列图像超分辨率重建的车牌识别方法及系统 |
CN105894550A (zh) * | 2016-03-31 | 2016-08-24 | 浙江大学 | 一种基于tv和稀疏约束的动态pet图像和示踪动力学参数同步重建方法 |
CN106530258A (zh) * | 2016-11-22 | 2017-03-22 | 哈尔滨工业大学 | 基于高阶全变分正则化的快速迭代磁共振图像重建方法 |
CN107358653A (zh) * | 2017-08-15 | 2017-11-17 | 北京数字精准医疗科技有限公司 | 成像重建方法及装置 |
-
2018
- 2018-05-16 CN CN201810471844.2A patent/CN108734658B/zh not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007095312A3 (en) * | 2006-02-13 | 2008-12-04 | Univ Chicago | Image reconstruction from limited or incomplete data |
CN102222320A (zh) * | 2011-05-24 | 2011-10-19 | 西安电子科技大学 | 基于全变分迭代反向投影的单帧图像空间分辨率增强方法 |
CN104268914A (zh) * | 2014-10-24 | 2015-01-07 | 山东师范大学 | 一种4d-ct不同时相序列图像的重建方法 |
CN104809461A (zh) * | 2015-05-08 | 2015-07-29 | 内蒙古科技大学 | 结合序列图像超分辨率重建的车牌识别方法及系统 |
CN105894550A (zh) * | 2016-03-31 | 2016-08-24 | 浙江大学 | 一种基于tv和稀疏约束的动态pet图像和示踪动力学参数同步重建方法 |
CN106530258A (zh) * | 2016-11-22 | 2017-03-22 | 哈尔滨工业大学 | 基于高阶全变分正则化的快速迭代磁共振图像重建方法 |
CN107358653A (zh) * | 2017-08-15 | 2017-11-17 | 北京数字精准医疗科技有限公司 | 成像重建方法及装置 |
Non-Patent Citations (1)
Title |
---|
基于分数阶全变分正则化的超分辨率图像重建;刘亚男 等;《计算机科学》;20160531;第43卷(第5期);274-278,307 * |
Also Published As
Publication number | Publication date |
---|---|
CN108734658A (zh) | 2018-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108734658B (zh) | 一种高分辨率图像的重建方法及系统 | |
Osher et al. | Low dimensional manifold model for image processing | |
Ding et al. | Low-rank tensor completion using matrix factorization based on tensor train rank and total variation | |
Huang et al. | Majorization–minimization generalized Krylov subspace methods for ℓ p–ℓ q optimization applied to image restoration | |
Salmon et al. | Poisson noise reduction with non-local PCA | |
Buccini et al. | An ℓ^ 2-ℓ^ q ℓ 2-ℓ q Regularization Method for Large Discrete Ill-Posed Problems | |
Zhang et al. | A fractional diffusion-wave equation with non-local regularization for image denoising | |
Zhao et al. | Nonconvex optimization for robust tensor completion from grossly sparse observations | |
Buccini et al. | Modulus-based iterative methods for constrained ℓp–ℓq minimization | |
Buccini et al. | An ℓp-ℓq minimization method with cross-validation for the restoration of impulse noise contaminated images | |
Kang et al. | Total generalized variation based denoising models for ultrasound images | |
Buccini et al. | Generalized cross validation for ℓ p-ℓ q minimization | |
Shi et al. | Generalization of the weighted nonlocal laplacian in low dimensional manifold model | |
Wang et al. | A cartoon-plus-texture image decomposition model for blind deconvolution | |
CN107180418A (zh) | 一种基于Tetrolet变换的遥感图像增强方法及装置 | |
Xu et al. | Image block compressive sensing reconstruction via group-based sparse representation and nonlocal total variation | |
Li et al. | A novel weighted anisotropic total variational model for image applications | |
Ma et al. | Image deblurring via total variation based structured sparse model selection | |
Chen et al. | Asymmetry total variation and framelet regularized nonconvex low-rank tensor completion | |
Buccini et al. | Linearized Krylov subspace Bregman iteration with nonnegativity constraint | |
Ren et al. | A nonconvex and nonsmooth anisotropic total variation model for image noise and blur removal | |
Ma et al. | Spatially dependent regularization parameter selection for total generalized variation-based image denoising | |
Wang et al. | Image super-resolution using non-local Gaussian process regression | |
Lv et al. | Convex blind image deconvolution with inverse filtering | |
Zhu et al. | Image restoration by a mixed high‐order total variation and L1 regularization model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200512 |
|
CF01 | Termination of patent right due to non-payment of annual fee |