发明内容
有鉴于此,本申请的主要目的在于提供一种多视角压缩感知图像的重建方法,能够克服传统方法在性能上的不足,在相同的采样率下可以获得更高质量的图像重建效果。
为达到上述目的,本申请采用如下技术方案:
一种多视角压缩感知图像的重建方法,包括:
a、接收同一物体各视角图像的独立测量值,并独立重建各个视角图像;
b、对于任一视角图像,在与其相邻视角图像的重建图像和当前重建的所述任一视角图像之间,进行基于块的视差估计DE和视差补偿DC操作,获取所述任一视角图像的预测值Si和视差图Di;
c、根据所述任一视角图像的独立测量值yi和当前的所述预测值Si,计算 和 并根据计算得到的当前所述和所述相邻视角图像的重建图像,利用当前的所述视差图Di更新所述预测值Si,重新执行步骤c,直到满足预设的内循环终止条件再执行步骤d;其中,yi为所述任一视角图像Ii的独立测量值,Φ为测量矩阵,Ei为所述任一视角图像的残差变量,在第一次执行步骤c时Ei取Ii-Si,在后续执行步骤c时Ei取当前的β和λ是预设的第二和第三权衡因子,γ=λμ/β,μ是预设的第一权衡因子,Ψ是正交变换基;
d、返回步骤b,直到达到预设的外循环终止条件,将当前重建的所述任一视角图像作为所述任一视角图像的重建结果。
较佳地,所述计算 包括:
计算 根据该计算结果和GI=λ||ΨIi||1求解
所述计算 包括:计算 ,根据该计算结果和GE=γ||ΨEi||1计算
其中, A=ΦΨ-1,ui=ΨEi,Ψ是由9/7小波变换进行5层分解产生的正交变换基,μ=1。
较佳地,所述内循环终止条件为:内循环迭代次数达到预设的内循环上限时,终止内循环;或者,αi的相对变化值小于预设的门限值时,终止内循环;其中,代表第k次迭代下αi的更新值。
较佳地,所述外循环终止条件为:外循环迭代次数达到预设的外循环上限时,终止外循环。
较佳地,所述内循环上限为150。
较佳地,所述外循环上限为3。
较佳地,所述相邻视角图像的重建图像为该视角图像的当前重建图像。
较佳地,
步骤b中对于任一视角图像和所述相邻视角图像,获取预测值和视差图后执行步骤c;
在步骤c的每次迭代处理中,对任一视角图像和所述相邻视角图像,分别计算重建图像并更新相应的预测值后再重新执行步骤c。
由上述技术方案可见,本申请中,在接收端接收各视角图像的测量值后独立重建各视角图像;在已重建图像之间进行基于块的DE和DC操作,获得每个视角的预测图像;然后,对利用预测图像和测量值为每个视角建立的联合重建问题进行求解,确定各视角最终的重建图像。其中,建立的联合重建问题不仅考虑视角图像与预测图像间的残差在变换域的稀疏特性,还进一步考虑视角图像本身在变换域的稀疏特性。同时,在求解联合重建问题时,将其分解为视角重建图像与残差图像的交替迭代问题,通过多次迭代进行求解。通过上述方式,不仅利用了不同视角图像之间的相关性,还有效利用了单一视角图像本身的空域特性,进行视角图像的重建,有效提高了图像重建的性能和效果。
具体实施方式
为了使本申请的目的、技术手段和优点更加清楚明白,以下结合附图对本申请做进一步详细说明。
为解决现有技术中存在的问题,本发明提出一种全新的多视角压缩感知图像的重建方法,即在接收端利用不同视角图像的相关性和同一视角图像本身的空域特性建立联合重建问题,并将建立的联合重建问题分解为视角重建图像与残差图像的交替迭代再求解的方法。首先采用传统方法求解TV范数最小化问题,独立重建图像。其次,在已重建图像之间进行基于块的DE和DC操作,获得每个视角的预测图像。接下来,对利用预测图像和测量值为每个视角建立的联合重建问题,分解为视角重建图像与残差图像的交替迭代问题,进行迭代求解;在每次迭代的最后,进行预测图像的更新,并利用更新后的预测图像进行下一次迭代。在每次迭代的过程中,视角重建图像和残差图像的目标函数均被拆分成连续不可微凸函数部分和可微凸函数部分,利用迭代收缩方法求解;若达到内循环终止条件,则结束联合重建问题的迭代求解过程;若达到外循环迭代次数上限,则结束本发明的重建流程。
下面通过具体实施例说明本申请的具体实现。图1为本申请所采用的联合重建方法的具体流程图。如图1所示,该方法包括以下步骤:
步骤100:接收各个视角图像的独立测量值,并对各个视角图像进行独立重建。
具体地,发送端对各视角图像进行独立测量,接收端接收独立测量值并进行独立重建。其中,对各视角图像进行独立重建可以采用现有的多种方式,例如采用TV范数最小化进行独立重建,即求解TV范数最小化问题如下:
其中,Ii代表第i个视角图像,i为视角序号;Φ是测量矩阵,在本实例中采用结构化随机矩阵(Structurally Random Matrices,SRM);yi代表第i个视角图像的测量值。SRM为现有技术,TV范数最小化问题已有许多求解方法,在本实例中采用现有的TVAL3(TV minimization by Augmented Lagrangian and Alternatingdirection Algorithms)方法求解。
在独立重建各个视角图像后,对每个视角图像执行下述步骤进行相应视角图像的重建。这里,以对第i个视角图像进行重建为例进行说明。
以下通过迭代过程对单视角图像进行重建,以优化重建结果。
步骤101:设n=1。
这里,n代表外循环的迭代次数,初始值为1。
步骤102:在已重建的多视角图像和之间进行基于块的DE/DC操作,获取第i个视角图像的预测值Si和视差图Di。
基于块的DE/DC方法为现有技术,其中为第i个视角图像的相邻视角图像Ij的重建视角图像。为了获得精确的预测结果,在本实例中采取1/4像素精度的全搜索方法,分块大小选择为16×16,搜索范围设定为32。
在每一次外循环的迭代中,视差图Di保持不变,从而尽量简化处理;预测值Si在每次内循环的迭代后进行更新,以保证视角图像的重建更加准确。
步骤103:设k=1。
这里,k代表内循环的迭代次数,初始值为1。
步骤104:根据第i个视角图像的独立测量值yi和当前预测值Si,建立联合重建问题并求解,更新第i个视角图像的重建图像。
具体地,根据第i个视角图像的目标重建图像Ii与其当前预测值Si,建立联合重建问题如下:
其中,μ是预设的第一权衡因子,用于平衡两类L1范数Ψ是正交变换基。由上式可以看出,本申请中建立的联合重建问题中,不仅将目标重建图像与当前预测值的残差变换到变换域,从而利用了残差在变换域的稀疏特性进行图像重建,同时将目标重建图像本身也变换到变换域,利用了重建图像本身在变换域的稀疏特性进行图像重建,从而充分利用图像本身的空域特性,能够进一步提高图像重建质量。
在本实施例中,为了获得最佳重建效果,μ取经验值为1,Ψ由9/7小波变换进行5层分解产生。
为求解式(1),将式(1)所示的联合重建问题进行化简,等效于求解下述问题:
s.t.yi=ΦIi,Ei=Ii-Si
进一步地,把上述约束优化问题转化为无约束优化问题如下:
其中,所述Ei为第i个视角图像的残差变量;β和λ是预设的第二权衡因子和第三权衡因子,在本实例中分别取经验值为1和0.4。
更进一步地,可以将上述无约束优化问题分解为I问题(即视角重建问题)与E问题(即残差重建问题)2个子问题,I问题为:
E问题为:
其中,γ=λμ/β。在上述I问题中,Ei取值为之前一次E问题的迭代更新结果;在上述E问题中,Ii取值为I问题的当前迭代更新结果。在首次迭代中,Ei取值为Ii-Si。
本实施例中,将I问题和E问题均将目标函数均拆分成连续不可微凸函数部分和可微凸函数部分,再利用迭代收缩方法求解。具体地,将I问题的目标函数拆分成FI和GI两部分,其中:
GI=λ||ΨIi||1
将E问题的目标函数拆分为FE和GE两部分,其中:
GE=γ||ΨEi||1
在求解I问题的解时,计算FI的梯度,并采用迭代收缩公式计算I问题的解。
其中,FI的梯度值计算如下:
其中,αi=ΨIi,A=ΦΨ-1。迭代收缩公式为现有技术,在此不再赘述。
在求解E问题的解时,计算FE的梯度,并采用迭代收缩公式计算E问题的解。
其中,FE的梯度值计算如下:
其中,ui=ΨEi。
步骤105:在步骤104得到的重建视角图像和当前的间,利用当前的视差图Di进行基于块的DC操作,更新第i个视角图像的预测值Si。
通过上述步骤104-105完成一次内循环迭代,用于进行一次第i个视角图像的重建和相应预测值的更新。在本次内循环迭代中,视角图像的重建是根据测量值和前一次预测值进行的,并在完成视角图像重建后,利用重建后的图像再更新测量值,如此反复进行内循环迭代,从而完善在视差图不变基础上的视角图像的重建。
步骤106:判断是否满足内循环迭代终止条件,若内循环迭代终止条件满足,则进入步骤107;否则将k自加返回步骤104。
当下述任一条件满足时,内循环迭代终止条件满足:
A、迭代次数n到达内循环上限NIn。NIn可以根据实际需求设定,基于复杂度和算法性能的权衡考虑,在本实例中NIn取值为150;
B、αi的相对变化值过小,即:其中代表第k次迭代下αi的更新值,τ是门限值,τ的具体取值可以根据实际需求设定,基于复杂度和算法性能的权衡考虑,在本实例中取值为10-5。
步骤107:判断外循环终止条件是否满足,若是,则将第i个视角图像的当前重建图像作为重建结果进行保存并结束本流程,否则,将n自加并执行步骤102。
通过上述步骤102-106完成一次外循环的迭代过程。在单次外循环迭代过程中,第i个视角图像的视差图保持不变。在下一次外循环的迭代初始,将根据上次外循环的视角图像重建结果,更新视差图。考虑到基于块的DE操作较为复杂,本申请中通过内循环和外循环的双重循环方式,实现视差图和预测值的更新,从而一方面能够使视角图像的重建图像逐渐逼近原始视角图像,另一方面尽量降低处理的复杂度。
在步骤107中,外循环终止条件可以根据实际需求设置,例如,可以设置外循环门限NOut,当外循环迭代次数n达到外循环门限NOut后,认为外循环终止条件满足。基于复杂度和算法性能的权衡考虑,本实施例中NOut取值为3。
至此,即完成了本实施例中的多视角压缩感知图像的重建方法。
在上述图1所示的流程中,以对第i个视角图像进行重建为例进行的说明。其中,在步骤102和步骤105中,都需要利用与第i个视角图像的相邻视角图像Ij的重建图像进行处理。该重建图像可以是Ii+1的独立重建图像,或者,为进一步提高重建效果,优选地,该重建图像可以是Ij的当前最新的重建图像。例如,可以在步骤102中对于第i个视角图像和Ij均获取预测值和视差图后,再对视角图像Ii和Ij进行内循环迭代,在完成视角图像Ii和Ij的一次内循环迭代后,再进行这两个视角图像的下一次内循环迭代;并且,在步骤102和105处理中所利用的重建图像是Ij的当前最新的重建图像。
需要进一步说明的是,本申请中的多视角压缩感知图像的重建方法只适用于基于压缩感知的,发送端对各路图像进行独立测量的图像编码技术。
为说明本申请重建方法的性能,在Matlab平台中进行仿真,分别采用图1所述实施例中的重建方法与现有独立重建方法对多视角CS图像进行重建。在独立重建方法中,针对每个视角图像,采用TVAL3算法独立求解TV范数最小化问题。采用的多视角测试图像为“Baby”,“Bowling”,“Monopoly”,“Rock”和“Plastic”;图像尺寸为620×555,选用视角0和视角1进行测试。
表1~表5展示了在不同的采样率下,5个测试图像的重建结果PSNR比较。从表中可以观察到,对于所有测试图像,本申请方法的性能都比独立重建方法更好,在高采样率下各视角图像的预测值更为准确。由于本申请合理利用了视点间相关性和视角图像内的空域特性,所以与独立重建方法相比,在高采样率下的PSNR增益明显高于低采样率的情况。例如,对于Monopoly图像而言,在采样率达到0.5时,PSNR增益上升至3.96dB。
表1测试图像“Baby”重建结果比较
|
视角0 |
视角1 |
视角0 |
视角1 |
0.1 |
29.75 |
29.60 |
30.15 |
30.11 |
0.2 |
32.82 |
33.03 |
33.87 |
34.02 |
0.3 |
36.06 |
35.63 |
37.50 |
37.46 |
0.4 |
38.72 |
38.83 |
40.97 |
41.08 |
0.5 |
41.43 |
41.53 |
44.14 |
44.27 |
表2测试图像“Bowling”重建结果比较
表3测试图像“Monopoly”重建结果比较
表4测试图像“Plastic”重建结果比较
表5测试图像“Rock”重建结果比较
图2和图3给出了在采样率为0.3的情况下,Baby和Monopoly测试图像的重建结果主观质量比较。具体地,图2a为测试图像“Baby”的视角1图像在采样率为0.3的情况下,通过独立重建方法进行重建后的结果,PSNR为35.63dB;图2b为测试图像“Baby”的视角1图像在采样率为0.3的情况下,通过本申请实施例的方法进行重建后的结果,PSNR为37.46dB;图3a为测试图像“Monopoly”的视角1图像在采样率为0.3的情况下,通过独立重建方法进行重建后的结果,PSNR为33.56dB;图3b为测试图像“Monopoly”的视角1图像在采样率为0.3的情况下,通过本申请实施例的方法进行重建后的结果,PSNR为35.85dB。
从图2a和图3a中可以看出,独立重建方法的结果中,产生了较多不规则噪点,图像边缘模糊;从图2b和图3b可以看出,采用本实施例中的重建方法,有明显的主观质量提升,边缘和细节信息更为清晰。
总之,采用本申请所述的方法,能够充分利用不同视角图像间的相关性和单视角图像本身的空域特性,克服传统独立重建方法的不足,大幅度提升重建图像质量。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。