CN108765288A - 一种基于边缘保持的pocs图像超分辨重建方法 - Google Patents

Abstract

本发明公开了一种基于边缘保持的POCS图像超分辨重建方法，包含图像边缘提取、判断像素点是否为边缘像素、根据判断结果改进PSF、根据相应PSF进行迭代修正等四个基本步骤，具体为：对任意一帧低分辨率图像进行双线性插值操作，得到目标高分辨率图像的初始参考帧；对该初始帧进行边缘提取，得到其边缘图像；对检测到的边缘像素，根据夹角大小的不同而采用不同的PSF；选取相应的PSF，模拟低分辨率图像的生成过程，由高分辨初始帧计算出低分辨率图像的像素值，计算该像素值与相应原有序列低分辨率图像像素值之间的残差，根据残差对高分辨初始帧做出修正。本发明使得重建的高分辨率图像清晰度相较于原有低分辨率图像有了明显的提升，且图像边缘保持效果良好。

Description

一种基于边缘保持的POCS图像超分辨重建方法

技术领域

本发明属于图像超分辨重建领域，具体涉及一种基于边缘保持的凸集投影(POCS，projection on convex set)图像超分辨重建方法。

背景技术

CCD和CMOS图像传感器广泛的被用来获取数字图像，提高图像分辨率最直接的方法是提高成像装置的分辨力，但是受传感器阵列排列密度的限制，提高传感器的空间分辨率越来越难。解决这一问题的一个实用而有效的方法就是图像的超分辨率重建技术。

对同一场景进行多次采样，可以得到该场景的多幅序列图像。受到图像分辨率的限制，序列图像中的单一一帧难以完全表述该场景中的细节信息，而多幅序列图像中含有更多丰富的互补信息。序列图像的超分辨率重建技术是指，利用多幅序列图像之间的互补信息，通过相关算法对序列低分辨率图像进行处理，重建出一幅包含更多细节信息的高分辨率图像。

POCS算法是图像超分辨率重建的重要方法之一。此方法中，超分辨率解空间是由先验知识信息定义的凸约束集合，这些约束集合表征了超分辨率重建图像的一些期望性质，如支撑域有界性、正定性、能量有限性等。POCS算法将各种丰富的先验知识，作为图像重建的约束条件，每个约束条件对应于整个成象空间中的一个含有理想高分辨率图像的凸集。这些凸集的交集中的任何一点都被认为是可以接受的图像重建结果。

图像的边缘是图像的最基本特征，边缘点是指图像中周围像素灰度有阶跃变化或屋顶变化的那些像素点，即灰度值导数较大或极大的地方。基于点扩散函数(PSF)的图像修正过程是POCS算法的核心，也是重建结果边缘保持不良产生的原因。在用POCS算法重建的高分辨率图像的深浅区域分界线附近，深色一侧像素的颜色变得更深，浅色一侧像素的颜色变得更浅。产生这种现象的原因是在高分辨初始帧的深色区域图像边缘上，其PSF作用范围内会有浅色像素，因此，这类像素的估计值将会大于实际值，在根据残差对高分辨初始帧进行修正时，会导致深色区域边缘像素颜色变得更深。

本发明提出一种基于边缘保持的POCS图像超分辨重建方法。该方法的创新性在于当进行序列低分辨率图像迭代优化前，先对高分辨率初始帧进行边缘检测，对检测到的边缘像素，求取边缘与水平方向的夹角，根据夹角大小的不同而采用不同的PSF，使重建出的高分辨率图像清晰度明显提升的同时，达到良好的边缘保持效果。

发明内容

本发明提供了一种可行性高、效果明显的基于边缘保持的POCS图像超分辨重建方法，利用序列低分辨率图像之间的互补信息，可成功重建出一幅目标高分辨率图像。

本发明的具体技术方案如下：

一种基于边缘保持的POCS图像超分辨重建方法，该方法包括如下步骤：

步骤1：对任意一帧低分辨率图像进行双线性插值操作，得到目标高分辨率图像的初始参考帧；对该初始参考帧进行边缘提取，得到其边缘图像；

步骤2：选取一帧低分辨率图像，逐一对该低分辨率图像中每个像素点进行处理，即找到相应像素点在高分辨率初始参考帧中PSF作用窗口的中心坐标，判断中心坐标处的像素是否为边缘像素；

步骤3：根据步骤2的判断结果，如果是边缘像素，则计算该像素点处的边缘与水平方向的夹角，并根据夹角的大小推导出新的PSF；如果不是边缘像素，则不改变原有的PSF；

步骤4：根据步骤3的结果，选取相应的PSF，模拟低分辨率图像的生成过程，由高分辨初始帧估计计算出低分辨率图像的像素值，并计算该像素值与相应原有序列低分辨率图像像素值之间的残差，根据残差对高分辨初始帧做出修正；

步骤5：在步骤4完成后，判断是否已经完成了每一帧序列低分辨率图像的每个像素点的处理，若已完成，则重建过程结束；根据具体问题的实际需求，设置合适的总迭代循环次数，在每一次迭代中依次对每一帧序列低分辨率图像应用步骤2至步骤4，最终得到目标高分辨率图像。

进一步地，所述步骤1通过边缘检测算子进行边缘提取，所述边缘检测算子包括Sobel算子、Roberts算子或Canny算子中的一种或几种。

进一步地，所述步骤3中的PSF是由具体成像系统决定的，高斯模型为：

上式中，X₀和Y₀为点扩散函数的中心点坐标，S_h表示支撑域。

进一步地，根据检测到的图像边缘方向，PSF的高斯模型优选为：

上式中，β₁和β₂分别是PSF模板水平方向与垂直方向的权重系数，G_X和G_y分别表示水平方向与垂直方向梯度，检测到的图像边缘与水平方向的夹角θ为：

θ＝arctan(G_y/G_X)。

进一步地，所述步骤4的具体步骤如下：

用f_ref(s，t)表示当前高分辨率初始参考帧，g_l(i，j)表示当前序列低分辨率图像的一帧；逐一对当前低分辨率图像的像素点进行处理，若g_l(i，j)中某像素(i₀，j₀)映射到高分辨率参考帧的PSF作用窗口中心坐标为(s₀，t₀)，则该像素的估计值由下式计算可得；

该灰度估计值与原有低分辨率图像(i₀，j₀)处的像素值残差为：

r_l(i₀，j₀)＝g_l(i₀，j₀)-f(s₀，t₀)

若残差r_l(i₀，j₀)的绝对值大于指定阈值σ₀，则对当前高分辨率图像PSF作用窗口中的像素值进行修正，具体修正方法如下式所示：

本发明的有益效果是：

第一，应用本发明提供的方法，可成功由序列低分辨率图像重建出一幅高分辨率图像，该高分辨率图像清晰度相较于原有低分辨率图像有了明显的提升；

第二，本发明提供的方法考虑图像边缘重建的特殊性，对边缘处的图像进行特殊处理，使重建图像边缘保持效果良好。

附图说明

图1是本发明的流程示意图。

图2是应用本发明提供的方法重建出的高分辨率图像前后对比图，a)原始低分辨率图像；b)重建的高分辨率图像。

具体实施方式

以下结合图1对本发明方法原理进行详细说明。

步骤1：对任意一帧序列低分辨率图像进行双线性插值操作，使其达到所期望的空间分辨率，作为目标高分辨率图像的初始参考帧。

对该初始帧进行边缘提取，得到其边缘图像。图像的边缘提取方法有多种，常用的边缘检测算子有Sobel算子、Roberts算子、Canny算子等。在实际应用中，可根据图像的自身特性，依据各种算子的优缺点，选择合适的算子进行边缘提取。本发明涉及边缘提取部分，采用Canny算子对高分辨初始帧进行边缘提取。

步骤2：选取一帧低分辨率图像，逐一对该低分辨率图像中每个像素点进行处理，即找到相应像素点在高分辨率初始帧中PSF作用窗口的中心坐标，根据步骤1中边缘提取的结果，判断中心坐标处的像素是否为边缘像素。

步骤3：根据步骤2的判断结果，如果是边缘像素，则计算该像素点处的边缘与水平方向的夹角，并根据夹角的大小推导出新的PSF；如果不是边缘像素，则不改变原有的PSF。

PSF是由具体成像系统决定的，通常可采用最常见的高斯模型：

上式中，X₀和Y₀为点扩散函数的中心点坐标，S_h表示支撑域。

当检测到的图像边缘趋近于水平方向时，则希望PSF模板水平方向所占权重更大；当检测到的图像边缘趋近于垂直方向时，则希望PSF模板垂直方向所占权重更大。因此，可对PSF做出如下改进：

上式中β₁和β₂分别是PSF模板水平方向与垂直方向的权重系数。

对于检测到的边缘，本发明使用Sobel模板计算其与水平方向的夹角。用G_X和G_y分别表示水平方向与垂直方向梯度，则检测到的图像边缘与水平方向的夹角θ为：

θ＝arctan(G_y/G_X) (3)

根据以上分析，本发明所设计的改进PSF，其参数β₁和β₂可随着夹角θ的变化而变化，即当θ＝0时，β₁＝1且β₂＝0；随着θ的增大，β₁随之减小而β₂随之增大；当0＝90°时，β₁＝0且β₂＝1。因此，可定义θ与β₁、β₂之间的关系如下：

β₁＝(π-2θ)/π，β₂＝2θ/π (4)

把式(4)带入式(2)即可得：

式(5)即为改进的PSF。本发明的创新性在于通过式(5)，可以使边缘处像素的PSF模板水平方向权重系数β₁和垂直方向权重系数β₂随着边缘与水平方向的夹角θ的不同而自适应调整，从而增强重建高分辨率图像的边缘保持能力。

对于检测到的边缘像素，应用上述改进的PSF，进行后续操作。若检测到非边缘像素，则不改变原有PSF，进行后续操作。

步骤4：根据步骤3的结果，选取相应的PSF，模拟由高分辨率图像生成低分辨率图像的过程，由高分辨初始帧估计计算出一帧低分辨率图像的像素值，并计算该估计像素值与相应原有序列低分辨率图像像素值之间的残差，根据残差对高分辨初始帧做出修正。

用f_ref(s，t)表示当前高分辨率初始参考帧，g_l(i，j)表示当前序列低分辨率图像的一帧。逐一对当前低分辨率图像的像素点进行处理。若g_l(i，j)中某像素(i₀，j₀)映射到高分辨率参考帧的PSF作用窗口中心坐标为(s₀，t₀)，则该像素的估计值由

计算可得。于是，该灰度估计值与原有低分辨率图像(i₀，j₀)处的像素值残差为：

r_l(i₀，j₀)＝g_l(i₀，j₀)-f(s₀，t₀) (7)

对序列低分辨率图像每一个像素点进行处理时，计算获得的残差r_l(i₀，j₀)的绝对值必须限制在预先设置的边界内。若残差r_l(i₀，j₀)的绝对值大于指定阈值σ₀，则对当前高分辨率图像PSF作用窗口中的像素值进行修正，具体修正方法如式(8)所示：

由式(8)计算所得的f_ref(s，t)即为目标高分辨率图像。在实际应用中，根据具体问题的实际需求，可设置合适的总迭代循环次数，在每一次迭代中依次对每一帧序列低分辨率图像应用步骤2至步骤4，多次迭代优化，最终可得到所需的目标高分辨率图像。

本发明实验选取4帧分辨率为256×256的序列低分辨率图像，重建的高分辨率图像是序列低分辨率图像分辨率的2倍，即512×512。

图2是应用本发明提供的方法重建出的高分辨率图像前后对比图。

由实验结果可以得出：第一，应用本发明提供的方法，成功的由4帧序列低分辨图像重建出了一幅高分辨率图像，该高分辨率图像清晰度相较于原有低分辨率图像有了明显的提升；第二，本发明提供的方法考虑到图像边缘部位重建的特殊性，对图像边缘依据本发明提供的方法进行了特殊处理，使重建获得的高分辨率图像边缘保持效果良好。在图像边缘附近，灰度值变化率较大，计算整幅图像的平均梯度，可用于表征整幅图像以及图像边缘的相对清晰程度。本实验的结果显示，使用本发明提供的基于边缘保持的POCS图像超分辨重建方法，相较于传统的POCS重建方法，可将图像的平均梯度由3.97提高到4.22，提升比率为6.30％，充分证明了本算法的有效性。

Claims (7)

1.一种基于边缘保持的POCS图像超分辨重建方法，其特征在于，基本步骤包括：

步骤1：图像边缘提取；

步骤2：判断像素点是否为边缘像素；

步骤3：根据判断结果改进点扩散函数；

步骤4：根据相应PSF进行迭代修正。

2.如权利要求1所述的一种基于边缘保持的POCS图像超分辨重建方法，其特征在于，具体步骤包括：

步骤1：对任意一帧低分辨率图像进行双线性插值操作，得到目标高分辨率图像的初始参考帧；对该初始参考帧进行边缘提取，得到其边缘图像；

步骤2：选取一帧低分辨率图像，逐一对该低分辨率图像中每个像素点进行处理，即找到相应像素点在高分辨率初始参考帧中PSF作用窗口的中心坐标，判断中心坐标处的像素是否为边缘像素；

步骤3：根据步骤2的判断结果，如果是边缘像素，则计算该像素点处的边缘与水平方向的夹角，并根据夹角的大小推导出新的PSF；如果不是边缘像素，则不改变原有的PSF；

步骤4：根据步骤3的结果，选取相应的PSF，模拟低分辨率图像的生成过程，由高分辨初始帧计算出低分辨率图像的像素值，并计算该像素值与相应原有序列低分辨率图像像素值之间的残差，根据残差对高分辨初始帧做出修正；直到每一帧序列低分辨率图像的每个像素点的处理，则重建过程结束。

3.如权利要求2所述的一种基于边缘保持的POCS图像超分辨重建方法，其特征在于，设置合适的总迭代循环次数，重复步骤2至步骤4，得到目标高分辨率图像。

4.如权利要求2所述的一种基于边缘保持的POCS图像超分辨重建方法，

其特征在于，所述步骤1通过边缘检测算子进行边缘提取，所述边缘检测算子包括Sobel算子、Roberts算子或Canny算子中的一种或几种。

5.如权利要求2所述的一种基于边缘保持的POCS图像超分辨重建方法，其特征在于，所述步骤3中的PSF是由具体成像系统决定的，高斯模型为：

上式中，X₀和Y₀为点扩散函数的中心点坐标，S_h表示支撑域。

6.如权利要求2所述的一种基于边缘保持的POCS图像超分辨重建方法，其特征在于，根据检测到的图像边缘方向，PSF的高斯模型优选为：

上式中，β₁和β₂分别是PSF模板水平方向与垂直方向的权重系数，G_x和G_y分别表示水平方向与垂直方向梯度，检测到的图像边缘与水平方向的夹角θ为：

θ＝arctan(G_y/G_x)。

7.如权利要求2所述的一种基于边缘保持的POCS图像超分辨重建方法，其特征在于，所述步骤4的具体步骤如下：

用f_ref(s，t)表示当前高分辨率初始参考帧，g_l(i，j)表示当前序列低分辨率图像的一帧；逐一对当前低分辨率图像的像素点进行处理，若g_l(i，j)中某像素(i₀，j₀)映射到高分辨率参考帧的PSF作用窗口中心坐标为(s₀，t₀)，则该像素的估计值由下式计算可得；

该灰度估计值与原有低分辨率图像(i₀，j₀)处的像素值残差为：

r_l(i₀，j₀)＝g_l(i₀，j₀)-f(s₀，t₀)

若残差r_l(i₀，j₀)的绝对值大于指定阈值σ₀，则对当前高分辨率图像PSF作用窗口中的像素值进行修正，具体修正方法如下式所示：