CN108765288B - 一种基于边缘保持的pocs图像超分辨重建方法 - Google Patents

一种基于边缘保持的pocs图像超分辨重建方法 Download PDF

Info

Publication number
CN108765288B
CN108765288B CN201810513242.9A CN201810513242A CN108765288B CN 108765288 B CN108765288 B CN 108765288B CN 201810513242 A CN201810513242 A CN 201810513242A CN 108765288 B CN108765288 B CN 108765288B
Authority
CN
China
Prior art keywords
resolution
image
edge
pixel
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810513242.9A
Other languages
English (en)
Other versions
CN108765288A (zh
Inventor
郭宝峰
房垚鑫
谷雨
左燕
陈华杰
郭云飞
彭冬亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201810513242.9A priority Critical patent/CN108765288B/zh
Publication of CN108765288A publication Critical patent/CN108765288A/zh
Application granted granted Critical
Publication of CN108765288B publication Critical patent/CN108765288B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于边缘保持的POCS图像超分辨重建方法，包含图像边缘提取、判断像素点是否为边缘像素、根据判断结果改进PSF、根据相应PSF进行迭代修正等四个基本步骤，具体为：对任意一帧低分辨率图像进行双线性插值操作，得到目标高分辨率图像的初始参考帧；对该初始帧进行边缘提取，得到其边缘图像；对检测到的边缘像素，根据夹角大小的不同而采用不同的PSF；选取相应的PSF，模拟低分辨率图像的生成过程，由高分辨初始帧计算出低分辨率图像的像素值，计算该像素值与相应原有序列低分辨率图像像素值之间的残差，根据残差对高分辨初始帧做出修正。本发明使得重建的高分辨率图像清晰度相较于原有低分辨率图像有了明显的提升，且图像边缘保持效果良好。

Description

一种基于边缘保持的POCS图像超分辨重建方法
技术领域
本发明属于图像超分辨重建领域，具体涉及一种基于边缘保持的凸集投影(POCS，projection on convex set)图像超分辨重建方法。
背景技术
CCD和CMOS图像传感器广泛的被用来获取数字图像，提高图像分辨率最直接的方法是提高成像装置的分辨力，但是受传感器阵列排列密度的限制，提高传感器的空间分辨率越来越难。解决这一问题的一个实用而有效的方法就是图像的超分辨率重建技术。
对同一场景进行多次采样，可以得到该场景的多幅序列图像。受到图像分辨率的限制，序列图像中的单一一帧难以完全表述该场景中的细节信息，而多幅序列图像中含有更多丰富的互补信息。序列图像的超分辨率重建技术是指，利用多幅序列图像之间的互补信息，通过相关算法对序列低分辨率图像进行处理，重建出一幅包含更多细节信息的高分辨率图像。
POCS算法是图像超分辨率重建的重要方法之一。此方法中，超分辨率解空间是由先验知识信息定义的凸约束集合，这些约束集合表征了超分辨率重建图像的一些期望性质，如支撑域有界性、正定性、能量有限性等。POCS算法将各种丰富的先验知识，作为图像重建的约束条件，每个约束条件对应于整个成象空间中的一个含有理想高分辨率图像的凸集。这些凸集的交集中的任何一点都被认为是可以接受的图像重建结果。
图像的边缘是图像的最基本特征，边缘点是指图像中周围像素灰度有阶跃变化或屋顶变化的那些像素点，即灰度值导数较大或极大的地方。基于点扩散函数(PSF)的图像修正过程是POCS算法的核心，也是重建结果边缘保持不良产生的原因。在用POCS算法重建的高分辨率图像的深浅区域分界线附近，深色一侧像素的颜色变得更深，浅色一侧像素的颜色变得更浅。产生这种现象的原因是在高分辨初始帧的深色区域图像边缘上，其PSF作用范围内会有浅色像素，因此，这类像素的估计值将会大于实际值，在根据残差对高分辨初始帧进行修正时，会导致深色区域边缘像素颜色变得更深。
本发明提出一种基于边缘保持的POCS图像超分辨重建方法。该方法的创新性在于当进行序列低分辨率图像迭代优化前，先对高分辨率初始帧进行边缘检测，对检测到的边缘像素，求取边缘与水平方向的夹角，根据夹角大小的不同而采用不同的PSF，使重建出的高分辨率图像清晰度明显提升的同时，达到良好的边缘保持效果。
发明内容
本发明提供了一种可行性高、效果明显的基于边缘保持的POCS图像超分辨重建方法，利用序列低分辨率图像之间的互补信息，可成功重建出一幅目标高分辨率图像。
本发明的具体技术方案如下：
一种基于边缘保持的POCS图像超分辨重建方法，该方法包括如下步骤：
步骤1：对任意一帧低分辨率图像进行双线性插值操作，得到目标高分辨率图像的初始参考帧；对该初始参考帧进行边缘提取，得到其边缘图像；
步骤2：选取一帧低分辨率图像，逐一对该低分辨率图像中每个像素点进行处理，即找到相应像素点在高分辨率初始参考帧中PSF作用窗口的中心坐标，判断中心坐标处的像素是否为边缘像素；
步骤3：根据步骤2的判断结果，如果是边缘像素，则计算该像素点处的边缘与水平方向的夹角，并根据夹角的大小推导出新的PSF；如果不是边缘像素，则不改变原有的PSF；
步骤4：根据步骤3的结果，选取相应的PSF，模拟低分辨率图像的生成过程，由高分辨初始帧估计计算出低分辨率图像的像素值，并计算该像素值与相应原有序列低分辨率图像像素值之间的残差，根据残差对高分辨初始帧做出修正；
步骤5：在步骤4完成后，判断是否已经完成了每一帧序列低分辨率图像的每个像素点的处理，若已完成，则重建过程结束；根据具体问题的实际需求，设置合适的总迭代循环次数，在每一次迭代中依次对每一帧序列低分辨率图像应用步骤2至步骤4，最终得到目标高分辨率图像。
进一步地，所述步骤1通过边缘检测算子进行边缘提取，所述边缘检测算子包括Sobel算子、Roberts算子或Canny算子中的一种或几种。
进一步地，所述步骤3中的PSF是由具体成像系统决定的，高斯模型为：
Figure BDA0001673205710000031
上式中，X0和Y0为点扩散函数的中心点坐标，Sh表示支撑域。
进一步地，根据检测到的图像边缘方向，PSF的高斯模型优选为：
Figure BDA0001673205710000032
上式中，β1和β2分别是PSF模板水平方向与垂直方向的权重系数，GX和Gy分别表示水平方向与垂直方向梯度，检测到的图像边缘与水平方向的夹角θ为：
θ＝arctan(Gy/GX)。
进一步地，所述步骤4的具体步骤如下：
用fref(s，t)表示当前高分辨率初始参考帧，gl(i，j)表示当前序列低分辨率图像的一帧；逐一对当前低分辨率图像的像素点进行处理，若gl(i，j)中某像素(i0，j0)映射到高分辨率参考帧的PSF作用窗口中心坐标为(s0，t0)，则该像素的估计值由下式计算可得；
Figure BDA0001673205710000033
该灰度估计值与原有低分辨率图像(i0，j0)处的像素值残差为：
rl(i0，j0)＝gl(i0，j0)-f(s0，t0)
若残差rl(i0，j0)的绝对值大于指定阈值σ0，则对当前高分辨率图像PSF作用窗口中的像素值进行修正，具体修正方法如下式所示：
Figure BDA0001673205710000041
本发明的有益效果是：
第一，应用本发明提供的方法，可成功由序列低分辨率图像重建出一幅高分辨率图像，该高分辨率图像清晰度相较于原有低分辨率图像有了明显的提升；
第二，本发明提供的方法考虑图像边缘重建的特殊性，对边缘处的图像进行特殊处理，使重建图像边缘保持效果良好。
附图说明
图1是本发明的流程示意图。
图2是应用本发明提供的方法重建出的高分辨率图像前后对比图，a)原始低分辨率图像；b)重建的高分辨率图像。
具体实施方式
以下结合图1对本发明方法原理进行详细说明。
步骤1：对任意一帧序列低分辨率图像进行双线性插值操作，使其达到所期望的空间分辨率，作为目标高分辨率图像的初始参考帧。
对该初始帧进行边缘提取，得到其边缘图像。图像的边缘提取方法有多种，常用的边缘检测算子有Sobel算子、Roberts算子、Canny算子等。在实际应用中，可根据图像的自身特性，依据各种算子的优缺点，选择合适的算子进行边缘提取。本发明涉及边缘提取部分，采用Canny算子对高分辨初始帧进行边缘提取。
步骤2：选取一帧低分辨率图像，逐一对该低分辨率图像中每个像素点进行处理，即找到相应像素点在高分辨率初始帧中PSF作用窗口的中心坐标，根据步骤1中边缘提取的结果，判断中心坐标处的像素是否为边缘像素。
步骤3：根据步骤2的判断结果，如果是边缘像素，则计算该像素点处的边缘与水平方向的夹角，并根据夹角的大小推导出新的PSF；如果不是边缘像素，则不改变原有的PSF。
PSF是由具体成像系统决定的，通常可采用最常见的高斯模型：
Figure BDA0001673205710000051
上式中，X0和Y0为点扩散函数的中心点坐标，Sh表示支撑域。
当检测到的图像边缘趋近于水平方向时，则希望PSF模板水平方向所占权重更大；当检测到的图像边缘趋近于垂直方向时，则希望PSF模板垂直方向所占权重更大。因此，可对PSF做出如下改进：
Figure BDA0001673205710000052
上式中β1和β2分别是PSF模板水平方向与垂直方向的权重系数。
对于检测到的边缘，本发明使用Sobel模板计算其与水平方向的夹角。用GX和Gy分别表示水平方向与垂直方向梯度，则检测到的图像边缘与水平方向的夹角θ为：
θ＝arctan(Gy/GX) (3)
根据以上分析，本发明所设计的改进PSF，其参数β1和β2可随着夹角θ的变化而变化，即当θ＝0时，β1＝1且β2＝0；随着θ的增大，β1随之减小而β2随之增大；当0＝90°时，β1＝0且β2＝1。因此，可定义θ与β1、β2之间的关系如下：
β1＝(π-2θ)/π，β2＝2θ/π (4)
把式(4)带入式(2)即可得：
Figure BDA0001673205710000061
式(5)即为改进的PSF。本发明的创新性在于通过式(5)，可以使边缘处像素的PSF模板水平方向权重系数β1和垂直方向权重系数β2随着边缘与水平方向的夹角θ的不同而自适应调整，从而增强重建高分辨率图像的边缘保持能力。
对于检测到的边缘像素，应用上述改进的PSF，进行后续操作。若检测到非边缘像素，则不改变原有PSF，进行后续操作。
步骤4：根据步骤3的结果，选取相应的PSF，模拟由高分辨率图像生成低分辨率图像的过程，由高分辨初始帧估计计算出一帧低分辨率图像的像素值，并计算该估计像素值与相应原有序列低分辨率图像像素值之间的残差，根据残差对高分辨初始帧做出修正。
用fref(s，t)表示当前高分辨率初始参考帧，gl(i，j)表示当前序列低分辨率图像的一帧。逐一对当前低分辨率图像的像素点进行处理。若gl(i，j)中某像素(i0，j0)映射到高分辨率参考帧的PSF作用窗口中心坐标为(s0，t0)，则该像素的估计值由
Figure BDA0001673205710000062
计算可得。于是，该灰度估计值与原有低分辨率图像(i0，j0)处的像素值残差为：
rl(i0，j0)＝gl(i0，j0)-f(s0，t0) (7)
对序列低分辨率图像每一个像素点进行处理时，计算获得的残差rl(i0，j0)的绝对值必须限制在预先设置的边界内。若残差rl(i0，j0)的绝对值大于指定阈值σ0，则对当前高分辨率图像PSF作用窗口中的像素值进行修正，具体修正方法如式(8)所示：
Figure BDA0001673205710000071
由式(8)计算所得的fref(s，t)即为目标高分辨率图像。在实际应用中，根据具体问题的实际需求，可设置合适的总迭代循环次数，在每一次迭代中依次对每一帧序列低分辨率图像应用步骤2至步骤4，多次迭代优化，最终可得到所需的目标高分辨率图像。
本发明实验选取4帧分辨率为256×256的序列低分辨率图像，重建的高分辨率图像是序列低分辨率图像分辨率的2倍，即512×512。
图2是应用本发明提供的方法重建出的高分辨率图像前后对比图。
由实验结果可以得出：第一，应用本发明提供的方法，成功的由4帧序列低分辨图像重建出了一幅高分辨率图像，该高分辨率图像清晰度相较于原有低分辨率图像有了明显的提升；第二，本发明提供的方法考虑到图像边缘部位重建的特殊性，对图像边缘依据本发明提供的方法进行了特殊处理，使重建获得的高分辨率图像边缘保持效果良好。在图像边缘附近，灰度值变化率较大，计算整幅图像的平均梯度，可用于表征整幅图像以及图像边缘的相对清晰程度。本实验的结果显示，使用本发明提供的基于边缘保持的POCS图像超分辨重建方法，相较于传统的POCS重建方法，可将图像的平均梯度由3.97提高到4.22，提升比率为6.30％，充分证明了本算法的有效性。

Claims (4)

1.一种基于边缘保持的POCS图像超分辨重建方法，其特征在于，基本步骤包括：
步骤1：图像边缘提取：对任意一帧低分辨率图像进行双线性插值操作，得到目标高分辨率图像的初始参考帧；对该初始参考帧进行边缘提取，得到其边缘图像；
步骤2：判断像素点是否为边缘像素：选取一帧低分辨率图像，逐一对该低分辨率图像中每个像素点进行处理，即找到相应像素点在高分辨率初始参考帧中PSF作用窗口的中心坐标，判断中心坐标处的像素是否为边缘像素；
步骤3：根据判断结果改进点扩散函数：根据步骤2的判断结果，如果是边缘像素，则计算该像素点处的边缘与水平方向的夹角，并根据夹角的大小推导出新的PSF；如果不是边缘像素，则不改变原有的PSF；步骤3中的PSF是由具体成像系统决定的，高斯模型为：
Figure FDA0003591713140000011
上式中，X0和Y0为点扩散函数的中心点坐标，Sh表示支撑域；β1和β2分别是PSF模板水平方向与垂直方向的权重系数，GX和Gy分别表示水平方向与垂直方向梯度，检测到的图像边缘与水平方向的夹角θ为：
θ＝arctan(Gy/GX)；
其中，β1＝(π-2θ)/π，β2＝2θ/π；
步骤4：根据相应PSF进行迭代修正：根据步骤3的结果，选取相应的PSF，模拟低分辨率图像的生成过程，由高分辨初始帧计算出低分辨率图像的像素值，并计算该像素值与相应原有序列低分辨率图像像素值之间的残差，根据残差对高分辨初始帧做出修正；直到每一帧序列低分辨率图像的每个像素点的处理，则重建过程结束；
步骤4的具体步骤如下：
用fref(s，t)表示当前高分辨率初始参考帧，gl(i，j)表示当前序列低分辨率图像的一帧；逐一对当前低分辨率图像的像素点进行处理，若gl(i，j)中某像素(i0，j0)映射到高分辨率参考帧的PSF作用窗口中心坐标为(s0，t0)，则该像素的估计值由下式计算可得；
Figure FDA0003591713140000021
该灰度估计值与原有低分辨率图像(i0，j0)处的像素值残差为：
rl(i0，j0)＝gl(i0，j0)-f(s0，t0)
若残差rl(i0，j0)的绝对值大于指定阈值σ0，则对当前高分辨率图像PSF作用窗口中的像素值进行修正，具体修正方法如下式所示：
Figure FDA0003591713140000022
2.如权利要求1所述的一种基于边缘保持的POCS图像超分辨重建方法，其特征在于，设置合适的总迭代循环次数，重复步骤2至步骤4，得到目标高分辨率图像。
3.如权利要求1所述的一种基于边缘保持的POCS图像超分辨重建方法，其特征在于，步骤1通过边缘检测算子进行边缘提取，所述边缘检测算子选用Canny算子。
4.如权利要求1所述的一种基于边缘保持的POCS图像超分辨重建方法，其特征在于，根据检测到的图像边缘方向，PSF的高斯模型为：
Figure FDA0003591713140000023
CN201810513242.9A 2018-05-25 2018-05-25 一种基于边缘保持的pocs图像超分辨重建方法 Expired - Fee Related CN108765288B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810513242.9A CN108765288B (zh) 2018-05-25 2018-05-25 一种基于边缘保持的pocs图像超分辨重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810513242.9A CN108765288B (zh) 2018-05-25 2018-05-25 一种基于边缘保持的pocs图像超分辨重建方法

Publications (2)

Publication Number Publication Date
CN108765288A CN108765288A (zh) 2018-11-06
CN108765288B true CN108765288B (zh) 2022-05-31

Family

ID=64005941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810513242.9A Expired - Fee Related CN108765288B (zh) 2018-05-25 2018-05-25 一种基于边缘保持的pocs图像超分辨重建方法

Country Status (1)

Country Link
CN (1) CN108765288B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110599400B (zh) * 2019-08-19 2022-10-04 西安理工大学 一种基于epi的光场图像超分辨的方法
CN111246081B (zh) * 2019-12-23 2021-03-23 中国科学院长春光学精密机械与物理研究所 一种高分辨率图像模拟低分辨率相机成像的方法
CN113506212B (zh) * 2021-05-21 2023-05-23 大连海事大学 一种改进的基于pocs的高光谱图像超分辨率重建方法
CN116740115B (zh) * 2023-08-14 2023-11-17 国网电商科技有限公司 图像边缘检测方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136734A (zh) * 2013-02-27 2013-06-05 北京工业大学 POCS超分辨率图像重建时边缘Halo效应的抑制方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5949201B2 (ja) * 2012-06-20 2016-07-06 富士通株式会社 画像処理装置及びプログラム
CN104091314B (zh) * 2014-07-22 2017-02-01 西北工业大学 基于边缘预测和稀疏比值正则约束的湍流退化图像盲复原方法
CN107292819A (zh) * 2017-05-10 2017-10-24 重庆邮电大学 一种基于边缘细节保护的红外图像超分辨率重建方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103136734A (zh) * 2013-02-27 2013-06-05 北京工业大学 POCS超分辨率图像重建时边缘Halo效应的抑制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
序列图像的POCS超分辨率重建方法;肖创柏等;《北京工业大学学报》;20090115(第01期);114-119 *

Also Published As

Publication number Publication date
CN108765288A (zh) 2018-11-06

Similar Documents

Publication Publication Date Title
CN108765288B (zh) 一种基于边缘保持的pocs图像超分辨重建方法
CN107025632B (zh) 一种图像超分辨率重建方法及系统
CN107578392B (zh) 一种基于残余插值的卷积神经网络去马赛克方法
Zeng et al. A robust multiframe super-resolution algorithm based on half-quadratic estimation with modified BTV regularization
CN108416754B (zh) 一种自动去除鬼影的多曝光图像融合方法
CN104331863B (zh) 一种图像滤波去噪方法
CN106169173B (zh) 一种图像插值方法
CN109886906B (zh) 一种细节敏感的实时弱光视频增强方法和系统
CN109658361B (zh) 一种顾及运动估计误差的运动场景超分辨率重建方法
CN107292819A (zh) 一种基于边缘细节保护的红外图像超分辨率重建方法
CN110599402A (zh) 一种基于多特征稀疏表示的图像超分辨率重建方法
CN108154482A (zh) 基于暗通道先验和多方向加权tv的图像盲去模糊方法
Jia et al. Real-time content adaptive contrast enhancement for see-through fog and rain
CN106023097B (zh) 一种基于迭代法的流场图像预处理方法
CN110930324A (zh) 一种模糊星图复原方法
CN106920213B (zh) 一种高分辨率图像的获取方法及系统
CN106600539B (zh) 一种基于局部跨尺度自回归模型的单幅图像超分辨率方法
Choi et al. Motion-blur-free camera system splitting exposure time
CN106296626B (zh) 一种基于梯度融合的夜间视频增强方法
JP2005518689A (ja) ノイズレベルを推定する装置および方法、当該装置を含むノイズリダクションシステムおよび符号化システム
CN109636735B (zh) 一种基于时空一致性约束的快速视频去雾方法
Sadaka et al. Efficient super-resolution driven by saliency selectivity
CN116167945A (zh) 一种图像修复方法、装置、电子设备及存储介质
CN115965552A (zh) 用于低信噪比图像序列的频空时域联合去噪与恢复系统
Mohan Adaptive super-resolution image reconstruction with lorentzian error norm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220531