CN105279741A - 基于图割算法的图像超分辨率重建方法及系统 - Google Patents

基于图割算法的图像超分辨率重建方法及系统 Download PDF

Info

Publication number
CN105279741A
CN105279741A CN201510790664.7A CN201510790664A CN105279741A CN 105279741 A CN105279741 A CN 105279741A CN 201510790664 A CN201510790664 A CN 201510790664A CN 105279741 A CN105279741 A CN 105279741A
Authority
CN
China
Prior art keywords
resolution
image
low
definition picture
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510790664.7A
Other languages
English (en)
Inventor
张东晓
蔡国榕
吴云东
陈水利
梁宗旗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jimei University
Original Assignee
Jimei University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jimei University filed Critical Jimei University
Priority to CN201510790664.7A priority Critical patent/CN105279741A/zh
Publication of CN105279741A publication Critical patent/CN105279741A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种基于图割算法的图像超分辨率重建方法及系统,包括如下步骤:S1、输入低分辨率图像序列g,确定几何变换T,确定点扩散函数H;S2、预估高分辨率图像;S3、模拟高分辨率源图像的退化过程,根据预估的高分辨率图像,构造似然函数;S4、根据似然函数确定能量函数,通过图割算法对其进行极小化求解,得到高分辨率图像。通过预估高分辨率图像,然后对其进行反卷积,提高了重建效果和重建速度;同时以逐像素的方式进行重建,便于并行化处理,易于推广到在GPU上实现并行运算。

Description

基于图割算法的图像超分辨率重建方法及系统
技术领域
本发明涉及图像处理领域,尤其涉及一种基于图割算法的图像超分辨率重建方法及系统。
背景技术
图像的超分辨率重建是在现有硬件条件下,利用软件的方法提升图像分辨率的一种技术。这一技术旨在利用低分辨率图像之间的冗余信息或者图像内的自相似信息,重建一帧或多帧高分辨率图像。在诸如车牌识别、嫌疑人跟踪等领域,使人们通过所重建的高分辨率图像能够辨识某些在低分辨率图像中原本无法辨识的细节信息;在诸如影视、娱乐等领域,使人们能够感受到更加逼真、细腻的画面,提升视觉效果。
图像的分辨率是指成像系统对图像细节的分辨能力,它是衡量图像质量的重要指标之一。高分辨率图像能够提供丰富的细节信息,随着经济、科技、文明的不断进步,高分辨率图像的需求在医学、安全、娱乐等各个领域越来越大。如何提升图像的分辨率便成为各视频和图像采集设备的生产和研发厂商关心的问题。提高分辨率最直接的方法是增加数字图像采集系统的硬件分辨率,主要从提升图像传感器分辨率和镜头分辨率两个方面着手考虑。但是,硬件方法存在技术上的瓶颈,而且成本昂贵,难以普及应用。于是如何从软件角度提升图像的分辨率便成为各研发厂商以及学术领域关心的热点话题。用软件方法提升图像分辨率的方法称为超分辨率重建技术,其利用低分辨图像之间可能存在的互补信息,重建一副或多幅高分辨率图像。
超分辨率重建技术最早出现于20世纪60年代,但是受限于相关理论和方法的不完善,其初期发展较为缓慢,这一时期的研究工作主要集中在将一些经典方法,如插值、正则化、最小二乘法等用于该技术的尝试和探索,这些重建效果往往不是很理想。近期随着图割算法、稀疏表示、深度学习等理论、方法的提出和发展,超分辨率重建技术在这些新理论和新方法的影响下,取得了极大的进步,这些新方法和新理论与超分辨率重建技术的结合显著地提升了重建效果和重建速度。但大多数现有重建方法只在重建倍数较小时才能取得良好的效果,当重建倍数提升到4×4,即所重建的高分辨率图像的高度和宽度均是低分辨率图像的4倍或更高的时候,重建效果和重建速度明显降低。
发明内容
本发明所要解决的技术问题是:解决高倍数重建时,效果和速度下降明显的问题
为了解决上述技术问题,本发明采用的技术方案为:一种基于图割算法的图像超分辨率重建方法,包括如下步骤:
S1、输入低分辨率图像序列g,确定几何变换T,确定点扩散函数H;
S2、预估高分辨率图像具体包括:
S21、根据公式pk"=DTkp计算每个高分辨率像素p在每帧低分辨率图像中的投影,其中D为降采样算子,Tk为第k帧低分辨率图像的几何变换;
S22、根据投影计算每帧低分辨率图像中低分辨率像素的贡献度,对于投影区外的低分辨率像素,贡献度为0,对于投影区内的低分辨率像素,离高分辨率像素的投影pk"越近,贡献越高;所述贡献度根据函数计算,其中为高斯函数,pk'为第k帧低分辨率图像中的低分辨率像素,ρ为投影区半径;
S23、根据公式对低分辨率像素的灰度值加权求和,得到预估的高分辨率图像。
S3、模拟高分辨率源图像的退化过程,根据预估的高分辨率图像,构造似然函数;
S4、根据似然函数确定能量函数,通过图割算法对其进行极小化求解,得到高分辨率图像。
本发明还涉及一种图像超分辨率重建系统,包括:
获取模块,用于输入低分辨率图像序列g,确定几何变换T,确定点扩散函数H;
预估模块,用于预估高分辨率图像具体用于:
根据公式pk"=DTkp计算每个高分辨率像素p在每帧低分辨率图像中的投影,其中D为降采样算子,Tk为第k帧低分辨率图像的几何变换;
根据投影计算每帧低分辨率图像中低分辨率像素的贡献度,对于投影区外的低分辨率像素,贡献度为0,对于投影区内的低分辨率像素,离高分辨率像素的投影pk"越近,贡献越高;所述贡献度根据函数计算,其中为高斯函数,pk'为第k帧低分辨率图像中的低分辨率像素,ρ为投影区半径;
根据公式对低分辨率像素的灰度值加权求和,得到预估的高分辨率图像。
构造模块,用于模拟高分辨率源图像的退化过程,根据预估的高分辨率图像,构造似然函数;
求解模块,用于根据似然函数确定能量函数,通过图割算法对其进行极小化求解,得到高分辨率图像。
本发明的有益效果在于:通过预估高分辨率图像,然后对其进行反卷积,提高了重建效果和重建速度;在预估高分辨率图像过程中,考虑了低分辨率像素对重建贡献的差异性,引入高斯函数确定贡献度;同时以逐像素的方式进行重建,便于并行化处理,易于推广到在GPU上实现并行运算。
附图说明
图1为本发明实施例一的方法流程图;
图2为本发明实施例一预估高分辨率图像示意图;
图3为本发明实施例一贡献度函数在不同高斯函数标准差下的三维图形;
图4为本发明实施例一的领域关系及模糊核;
图5为本发明实施例二的系统结构图;
图6为莉娜图;
图7为轮船图;
图8为摄影师图;
图9为莉娜图的SSIM指数图;
图10为莉娜图的PSNR指标图;
图11为轮船图的SSIM指数图;
图12为轮船图的PSNR指标图;
图13为摄影师图的SSIM指数图;
图14为摄影师图的PSNR指标图;
图15为本发明实施例四的示意图一;
图16为本发明实施例四的示意图二;
图17为本发明实施例四的示意图三;
图18为本发明实施例五的拍摄场景;
图19为本发明实施例五的自拍低分辨图像;
图20为本发明实施例五重建结果示意图。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果,以下结合实施方式并配合附图详予说明。
本发明最关键的构思在于:先预估高分辨率图像,在反卷积过程中,充分利用预估的高分辨率图像,对邻域像素的灰度值做了合理的近似,使能量函数变为图割算法要求的标准形式;在预估高分辨率图像过程中,考虑了低分辨率像素对重建贡献的差异性,引入高斯函数确定贡献度。
请参阅图1,一种基于图割算法的图像超分辨率重建方法,包括如下步骤:
S1、输入低分辨率图像序列g,确定几何变换T,确定点扩散函数H;
S2、预估高分辨率图像具体包括:
S21、根据公式pk"=DTkp计算每个高分辨率像素p在每帧低分辨率图像中的投影,其中D为降采样算子,Tk为第k帧低分辨率图像的几何变换;
S22、根据投影计算每帧低分辨率图像中低分辨率像素的贡献度,对于投影区外的低分辨率像素,贡献度为0,对于投影区内的低分辨率像素,离高分辨率像素的投影pk"越近,贡献越高;所述贡献度根据函数计算,其中为高斯函数,pk'为第k帧低分辨率图像中的低分辨率像素,ρ为投影区半径;
S23、根据公式对低分辨率像素的灰度值加权求和,得到预估的高分辨率图像。
S3、模拟高分辨率源图像的退化过程,根据预估的高分辨率图像,构造似然函数;
S4、根据似然函数确定能量函数,通过图割算法对其进行极小化求解,得到高分辨率图像。
从上述描述可知,本发明的有益效果在于:通过预估高分辨率图像,提高了重建效果和重建速度;且考虑了低分辨率像素对重建贡献的差异性,引入高斯函数确定贡献度。
进一步地,所述步骤S3,具体包括:
S31、模拟成像过程,根据图像退化模型gk=DHTf+ηk构造似然函数其中D为降采样算子,f为高分辨率源图像,p为高分辨率像素,ηk为成像过程中的噪声;
S32、根据点扩散函数H,确定模糊核h;
S33、根据模糊核更新似然函数:其中ωpp为模糊核的中心权重,ωpq为模糊核的边缘权重,Np为高分辨率像素p的领域。
进一步地,所述步骤S4,具体包括:
S41、根据预估高分辨率图像对f(q)近似,即得到满足图割算法要求的数据项
S42、在数据项中引入先验项λ∑p,q∈NVp,q(f(p),f(q)),得到能量函数 其中Vp,q(f(p),(q))=min(Θ,|f(p)-f(q)|),Θ是阈值;
S43、使用图割算法对能量函数极小化,得到高分辨率图像。
由上述描述可知,充分利用预估的高分辨率图像,对邻域像素的灰度值做了合理的近似,使能量函数变为图割算法要求的标准形式。
本发明还涉及一种图像超分辨率重建系统,包括:
获取模块,用于输入低分辨率图像序列g,确定几何变换T,确定点扩散函数H;
预估模块,用于预估高分辨率图像具体用于:
根据公式pk"=DTkp计算每个高分辨率像素p在每帧低分辨率图像中的投影,其中D为降采样算子,Tk为第k帧低分辨率图像的几何变换;
根据投影计算每帧低分辨率图像中低分辨率像素的贡献度,对于投影区外的低分辨率像素,贡献度为0,对于投影区内的低分辨率像素,离高分辨率像素的投影pk"越近,贡献越高;所述贡献度根据函数计算,其中为高斯函数,pk'为第k帧低分辨率图像中的低分辨率像素,ρ为投影区半径;
根据公式对低分辨率像素的灰度值加权求和,得到预估的高分辨率图像。
构造模块,用于模拟高分辨率源图像的退化过程,根据预估的高分辨率图像,构造似然函数;
求解模块,用于根据似然函数确定能量函数,通过图割算法对其进行极小化求解,得到高分辨率图像。
进一步地,所述构造模块具体用于:
模拟高分辨率源图像的退化过程,根据图像退化模型gk=DHTf+ηk和预估的高分辨率图像构造似然函数其中D为降采样算子,f为高分辨率源图像,p为高分辨率像素,ηk为成像过程中的噪声;
根据点扩散函数H,确定模糊核h;
根据模糊核更新似然函数:其中ωpp为模糊核的中心权重,ωpq为模糊核的边缘权重,Np为高分辨率像素p的领域。
进一步地,所述求解模块具体用于:
根据预估高分辨率图像对f(q)近似,即得到满足图割算法要求的数据项
在数据项中引入先验项λ∑p,q∈NVp,q(f(p),f(q)),得到能量函数其中Vp,q(f(p),f(q))=min(Θ,|f(p)-f(q)|),Θ是阈值;
使用图割算法对能量函数极小化,得到高分辨率图像。
实施例一
请参照图1,本发明的实施例一为:一种基于图割算法的图像超分辨率重建方法,包括如下步骤:
S1、输入低分辨率图像序列g,确定几何变换T,所述几何变换T可根据现有配准算法得到;根据相机的参数,确定点扩散函数H。
S2、预估高分辨率图像
根据公式pk"=DTkp计算每个高分辨率像素p在每帧低分辨率图像中的投影,其中D为降采样算子,由重建倍数决定,Tk为第k帧低分辨率图像的几何变换;
根据投影计算每帧低分辨率图像中低分辨率像素的贡献度,对于投影区外的低分辨率像素,贡献度为0,对于投影区内的低分辨率像素,离高分辨率像素的投影pk"越近,贡献越高;所述贡献度根据函数计算,其中为高斯函数,pk'为第k帧低分辨率图像中的低分辨率像素,ρ为投影区半径;
根据公式对低分辨率像素的灰度值加权求和,得到预估的高分辨率图像。
如图2所示,图示中给出高分辨率像素p在低分辨率图像中投影可能的位置关系。p在每帧低分辨率图像中的投影都有一个贡献区域,区域的半径为ρ,落在该区域的低分辨率像素对高分辨率像素p的重建有贡献,该区域之外的低分辨率像素对p的重建没有贡献。贡献的大小取决于低分辨率像素离投影的距离:距离越大贡献越小,距离越小贡献越大。图示中,第s帧低分辨率图像gs中的低分辨率像素对p的重建没有贡献,低分辨率图像gr和gt中分别有一个低分辨率像素对p的重建有贡献,但是gt中像素的贡献更大。
图3所示为当贡献区域半径为0.4时,贡献度函数分别在高斯函数标准差为0.1、0.2、0.3下的三维图形。
S3、模拟高分辨率源图像的退化过程,根据预估的高分辨率图像,构造似然函数;
模拟高分辨率源图像的退化过程,根据图像退化模型gk=DHTf+ηk和预估的高分辨率图像构造似然函数其中D为降采样算子,f为高分辨率源图像,p为高分辨率像素,ηk为成像过程中的噪声;
根据S1中的点扩散函数H,确定模糊核h;
根据模糊核更新似然函数:其中ωpp为模糊核的中心权重,ωpq为模糊核的边缘权重,Np为高分辨率像素p的领域。
图4中的(a)为3*3的领域关系,(b)为模糊核示意图。
S4、根据似然函数确定能量函数,通过图割算法对其进行极小化求解,得到高分辨率图像。
根据预估高分辨率图像对f(q)近似,即得到满足图割算法要求的数据项
在数据项中引入先验项λ∑p,q∈NVp,q(f(p),f(q)),得到能量函数其中Vp,q(f(p),f(q))=min(Θ,|f(p)-f(q)|),Θ是阈值,由经验确定,可人为设定;
所述先验项也可称为平滑项,使一个领域关系内,像素值相差不要过大。例如,对于Vp,q(f(p),f(q)),在一个3*3的领域关系内,中心点的像素值分别与8个边缘点的像素值相减,取其绝对值,分别和阈值相比,若阈值较小,则取阈值,反之则取绝对值,
使用图割算法对能量函数极小化,得到高分辨率图像。
实施例二
请参照图5,一种用于实现上述方法的图像超分辨率重建系统,包括获取模块、预估模块、构造模块和求解模块。
所述获取模块,用于输入低分辨率图像序列g,确定几何变换T;根据相机的参数,确定点扩散函数H;
所述预估模块,用于预估高分辨率图像
具体用于:根据公式pk"=DTkp计算每个高分辨率像素p在每帧低分辨率图像中的投影,其中D为降采样算子,Tk为第k帧低分辨率图像的几何变换;
根据投影计算每帧低分辨率图像中低分辨率像素的贡献度,对于投影区外的低分辨率像素,贡献度为0,对于投影区内的低分辨率像素,离高分辨率像素的投影pk"越近,贡献越高;所述贡献度根据函数计算,其中为高斯函数,pk'为第k帧低分辨率图像中的低分辨率像素,ρ为投影区半径;
根据公式对低分辨率像素的灰度值加权求和,得到预估的高分辨率图像。
所述构造模块,用于模拟高分辨率源图像的退化过程,根据预估的高分辨率图像,构造似然函数;
具体用于:模拟高分辨率源图像的退化过程,根据图像退化模型gk=DHTf+ηk和预估的高分辨率图像构造似然函数其中D为降采样算子,f为高分辨率源图像,p为高分辨率像素,ηk为成像过程中的噪声;
根据点扩散函数H,确定模糊核h;
根据模糊核更新似然函数:其中ωpp为模糊核的中心权重,ωpq为模糊核的边缘权重,Np为高分辨率像素p的领域。
所述求解模块,用于根据似然函数确定能量函数,通过图割算法对其进行极小化求解,得到高分辨率图像。
具体用于:根据预估高分辨率图像对f(q)近似,即得到满足图割算法要求的数据项
在数据项中引入先验项λ∑p,q∈NVp,q(f(p),f(q)),得到能量函数其中Vp,q(f(p),f(q))=min(Θ,|f(p)-f(q)|),Θ是阈值;
使用图割算法对能量函数极小化,得到高分辨率图像。
实施例三
请参照图6-14,本实施例用于验证高斯点扩散函数对该技术的影响。
图6-8所示为高分辨率源图,尺寸为256×256,分别为莉娜图、轮船图和摄影师图;将这些高分辨率源图分别按照S31中所述的退化模型进行退化,宽、高都为源图的四分之一,随机产生32个几何变换,从而随机产生32帧低分辨率图像,在灰度值归一到0-1的情况下,加入标准差为0.001的高斯白噪声。退化过程中选用高斯函数模拟成像设备的点扩散函数,其标准差为0.4。
分别将每组32帧的低分辨率图像作为输入,按照实施例一所述的方法,得到相应的高分辨率图像。
为了考察该技术对点扩散函数错误估计的鲁棒性,在重建时将高斯点扩散函数的标准差设置为0,0.1,…,0.9,然后将重建效果分别与源图进行比较。比较时采用两种定量的方式:计算它们的SSIM指数和PSNR指标,这两种指标越大说明重建效果越好。
图9和图10分别为莉娜图的SSIM指数和PSNR指标;图11和图12分别为轮船图的SSIM指数和PSNR指标;图13和图14分别为摄影师图的SSIM指数和PSNR指标。从结果来看,对于这三种图像来说,不管是SSIM指数还是PSNR指标,它们都在标准差是0.4的时候达到最大,也就是说,重建过程中的高斯点扩散函数与退化时的点扩散函数完全一致时,重建效果最好,这一点反映出本技术的可靠性。此外,从图9-14中每幅图左侧较平缓可以看出,本技术在高斯点扩散函数的标准差小于0.6时具有很好的鲁棒性。
本实施例说明本发明对高斯点扩散函数的错误估计具有一定的鲁棒性。
实施例四
请参照图15-17,本实施例同样用于验证高斯点扩散函数对该技术的影响。
图15-17所示的第一张图为512×512的高分辨率源图,图中左下角为局部放大图;将这些高分辨率源图分别按照S31中所述的退化模型进行退化,随机产生32个几何变换,从而随机产生32帧128×128的低分辨率图像,在灰度值归一到0-1的情况下,加入标准差为0.001的高斯白噪声。为了显示方便,将32帧低分辨率图像随机挑出16帧按照4×4的方式排列,分别如图15-17的第二张图所示;退化过程中选用高斯函数模拟成像设备的点扩散函数,其标准差为0.4。
分别将每组32帧的低分辨率图像作为输入,按照实施例一所述的方法,得到相应的高分辨率图像,如图15-17的第四张图所示。为了对比重建结果与低分辨率图像,将低分辨率图像序列的第一帧,即参考帧进行插值,放大到与重建结果相同的尺寸,如图15-17的第三张图所示。
从图15-17的第三张图来看,低分辨率图像基本无法分辨细节信息,比如飞机中的编号和logo完全看不清楚,另外两幅图中的数字也无法辨认。从图15-17的第四张图,即重建结果来看,可以重建出很多低分辨率图像中原本丢失的细节信息,而且与高分辨率源图比较,也会发现重建结果基本与源图接近。
本实施例也说明本发明对高斯点扩散函数的错误估计具有一定的鲁棒性。
实施例五
请参照图18-20,本实施例也用于验证高斯点扩散函数对该技术的影响,但本实施例以相机拍摄的方式产生低分辨率图像。
拍摄时使用佳能600d机身,佳能EF-S18-55mmISII镜头。拍摄参数设置为:快门速度1/100秒,光圈值f3.5,iso200,18mm广角,物距约120mm,无闪光,画质设置为S3,即图像尺寸480×720,拍摄氛围设置为单色黑白。拍摄方式位三脚架拍摄,相机上下移动最大幅度约20mm,旋转角度最大幅度约10度。对准包含如图18所示的场景进行拍摄,对拍摄的32张尺寸为480×720的图像分别进行裁剪,截取一部分尺寸为100×200作为低分辨率图像序列,其中6帧如图19所示.
将拍摄到的32帧的低分辨率图像作为输入,按照实施例一所述的方法,得到相应的高分辨率图像,如图20中的下图所示;为了对比低分辨率图像与重建结果,将低分辨率图像序列的第一帧,即参考帧进行插值,放大到与重建结果相同的尺寸,如图20中的上图所示。
对比图20中两幅图像,可以看出原本在低分辨率图像中无法分辨的细节信息,在重建结果中可以较清楚的分辨出来。比如《点击拓扑学》、《数字图像处理》及《MATLAB编程》等书名,在低分辨率图像中完全看不清楚,而在重建结果中可以清楚地辨识出来。
本实施例说明本发明有较好的重建效果。
综上所述,本发明提供的一种基于图割算法的图像超分辨率重建方法及系统,通过预估高分辨率图像,然后对其进行反卷积,提高了重建效果和重建速度;在预估高分辨率图像过程中,考虑了低分辨率像素对重建贡献的差异性,引入高斯函数确定贡献度;同时以逐像素的方式进行重建,便于并行化处理,易于推广到在GPU上实现并行运算。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等同变换,或直接或间接运用在相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种基于图割算法的图像超分辨率重建方法,其特征在于:包括如下步骤:
S1、输入低分辨率图像序列g,确定几何变换T,确定点扩散函数H;
S2、预估高分辨率图像具体包括:
S21、根据公式pk"=DTkp计算每个高分辨率像素p在每帧低分辨率图像中的投影,其中D为降采样算子,Tk为第k帧低分辨率图像的几何变换;
S22、根据投影计算每帧低分辨率图像中低分辨率像素的贡献度,对于投影区外的低分辨率像素,贡献度为0,对于投影区内的低分辨率像素,离高分辨率像素的投影pk"越近,贡献越高;所述贡献度根据函数计算,其中为高斯函数,pk'为第k帧低分辨率图像中的低分辨率像素,ρ为投影区半径;
S23、根据公式对低分辨率像素的灰度值加权求和,得到预估的高分辨率图像;
S3、模拟高分辨率源图像的退化过程,根据预估的高分辨率图像,构造似然函数;
S4、根据似然函数确定能量函数,通过图割算法对其进行极小化求解,得到高分辨率图像。
2.根据权利要求1所述的基于图割算法的图像超分辨率重建方法,其特征在于:所述步骤S3,具体包括:
S31、模拟源高分辨率图像的退化过程,根据图像退化模型gk=DHTf+ηk和预估的高分辨率图像构造似然函数其中D为降采样算子,f为高分辨率源图像,p为高分辨率像素,ηk为成像过程中的噪声;
S32、根据点扩散函数H,确定模糊核h;
S33、根据模糊核更新似然函数:其中ωpp为模糊核的中心权重,ωpq为模糊核的边缘权重,Np为高分辨率像素p的领域。
3.根据权利要求1所述的基于图割算法的图像超分辨率重建方法,其特征在于:所述步骤S4,具体包括:
S41、根据预估高分辨率图像对f(q)近似,即得到满足图割算法要求的数据项 ( ω p p f ( p ) + Σ q ∈ N p ω p q f ^ ( q ) - f ^ ( p ) ) 2 ;
S42、在数据项中引入先验项λ∑p,q∈NVp,q(f(p),f(q)),得到能量函数 ( ω p p f ( p ) + Σ q ∈ N p ω p q f ^ ( q ) - f ^ ( p ) ) 2 + λΣ p , q ∈ N V p , q ( f ( p ) , f ( q ) ) , 其中Vp,q(f(p),f(q))=min(Θ,|f(p)-f(q)|),Θ是阈值;
S43、使用图割算法对能量函数极小化,得到高分辨率图像。
4.一种基于图割算法的图像超分辨率重建系统,其特征在于:包括:
获取模块,用于输入低分辨率图像序列g,确定几何变换T,确定点扩散函数H;
预估模块,用于预估高分辨率图像具体用于:
根据公式pk"=DTkp计算每个高分辨率像素p在每帧低分辨率图像中的投影,其中D为降采样算子,Tk为第k帧低分辨率图像的几何变换;
根据投影计算每帧低分辨率图像中低分辨率像素的贡献度,对于投影区外的低分辨率像素,贡献度为0,对于投影区内的低分辨率像素,离高分辨率像素的投影pk"越近,贡献越高;所述贡献度根据函数计算,其中为高斯函数,pk'为第k帧低分辨率图像中的低分辨率像素,ρ为投影区半径;
根据公式对低分辨率像素的灰度值加权求和,得到预估的高分辨率图像;
构造模块,用于模拟高分辨率源图像的退化过程,根据预估的高分辨率图像,构造似然函数;
求解模块,用于根据似然函数确定能量函数,通过图割算法对其进行极小化求解,得到高分辨率图像。
5.根据权利要求4所述的图像超分辨率重建系统,其特征在于:所述构造模块具体用于:
模拟高分辨率源图像的退化过程,根据图像退化模型gk=DHTf+ηk和预估的高分辨率图像构造似然函数其中D为降采样算子,f为高分辨率源图像,p为高分辨率像素,ηk为成像过程中的噪声;
根据点扩散函数H,确定模糊核h;
根据模糊核更新似然函数:其中ωpp为模糊核的中心权重,ωpq为模糊核的边缘权重,Np为高分辨率像素p的领域。
6.根据权利要求4所述的图像超分辨率重建系统,其特征在于:所述求解模块具体用于:
根据预估高分辨率图像对f(q)近似,即得到满足图割算法要求的数据项 ( ω p p f ( p ) + Σ q ∈ N p ω p q f ^ ( q ) - f ^ ( p ) ) 2 ;
在数据项中引入先验项λ∑p,q∈NVp,q(f(p),f(q)),得到能量函数 ( ω p p f ( p ) + Σ q ∈ N p ω p q f ^ ( q ) - f ^ ( p ) ) 2 + λΣ p , q ∈ N V p , q ( f ( p ) , f ( q ) ) , 其中Vp,q(f(p),f(q))=min(Θ,|f(p)-f(q)|),Θ是阈值;
使用图割算法对能量函数极小化,得到高分辨率图像。
CN201510790664.7A 2015-11-17 2015-11-17 基于图割算法的图像超分辨率重建方法及系统 Pending CN105279741A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510790664.7A CN105279741A (zh) 2015-11-17 2015-11-17 基于图割算法的图像超分辨率重建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510790664.7A CN105279741A (zh) 2015-11-17 2015-11-17 基于图割算法的图像超分辨率重建方法及系统

Publications (1)

Publication Number Publication Date
CN105279741A true CN105279741A (zh) 2016-01-27

Family

ID=55148694

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510790664.7A Pending CN105279741A (zh) 2015-11-17 2015-11-17 基于图割算法的图像超分辨率重建方法及系统

Country Status (1)

Country Link
CN (1) CN105279741A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105869117A (zh) * 2016-03-28 2016-08-17 上海交通大学 一种针对深度学习超分辨率技术的gpu加速方法
CN106296581A (zh) * 2016-07-21 2017-01-04 南方医科大学 基于图割的肺4d‑ct图像超分辨率重建方法
CN107038685A (zh) * 2017-04-12 2017-08-11 重庆大学 一种基于多幅离焦图像的超分辨率图像重构方法
CN108615222A (zh) * 2018-04-17 2018-10-02 中国矿业大学 一种基于多对多连接的深度卷积网络图像超分辨率系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DONGXIAO ZHANG等: "Novel Graph Cuts Method for Multi-Frame Super-Resolution", 《HTTP://IEEEXPLORE.IEEE.ORG/DOCUMENT/7244230/》 *
UMA MUDENAGUDI等: "Space-Time Super-Resolution Using Graph-Cut Optimization", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
张东晓等: "基于α-expansion的超分辨率图像重建", 《中国科技论文》 *
张东晓等: "基于亚像素位移的超分辨率图像重建算法", 《自动化学报》 *
鲁林等: "一种MRF-MAP框架下的图像超分辨率重建方法", 《厦门大学学报(自然科学版)》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105869117A (zh) * 2016-03-28 2016-08-17 上海交通大学 一种针对深度学习超分辨率技术的gpu加速方法
CN106296581A (zh) * 2016-07-21 2017-01-04 南方医科大学 基于图割的肺4d‑ct图像超分辨率重建方法
CN106296581B (zh) * 2016-07-21 2019-06-11 南方医科大学 基于图割的肺4d-ct图像超分辨率重建方法
CN107038685A (zh) * 2017-04-12 2017-08-11 重庆大学 一种基于多幅离焦图像的超分辨率图像重构方法
CN107038685B (zh) * 2017-04-12 2019-07-12 重庆大学 一种基于多幅离焦图像的超分辨率图像重构方法
CN108615222A (zh) * 2018-04-17 2018-10-02 中国矿业大学 一种基于多对多连接的深度卷积网络图像超分辨率系统

Similar Documents

Publication Publication Date Title
Engin et al. Cycle-dehaze: Enhanced cyclegan for single image dehazing
Wan et al. CoRRN: Cooperative reflection removal network
Cheng et al. Inpainting for remotely sensed images with a multichannel nonlocal total variation model
Fan et al. A generic deep architecture for single image reflection removal and image smoothing
Choi et al. Referenceless prediction of perceptual fog density and perceptual image defogging
Fang et al. A variational approach for pan-sharpening
Zhang et al. Framebreak: Dramatic image extrapolation by guided shift-maps
Mac Aodha et al. Patch based synthesis for single depth image super-resolution
CN105960657B (zh) 使用卷积神经网络的面部超分辨率
CN102006425B (zh) 一种基于多摄像机的视频实时拼接方法
Matzen et al. Nyc3dcars: A dataset of 3d vehicles in geographic context
CN100530239C (zh) 基于特征匹配与跟踪的视频稳定方法
Yang et al. Depth recovery using an adaptive color-guided auto-regressive model
CN102982520B (zh) 一种基于轮廓先验的鲁棒性人脸超分辨率处理方法
CN105069746A (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统
Jeon et al. Reconstruction-based pairwise depth dataset for depth image enhancement using CNN
CN105279741A (zh) 基于图割算法的图像超分辨率重建方法及系统
CN105138987A (zh) 一种基于聚合通道特征和运动估计的车辆检测方法
CN103971354A (zh) 低分辨率红外图像重建高分辨率红外图像的方法
Singh et al. Visibility enhancement and dehazing: Research contribution challenges and direction
Hua et al. Background extraction using random walk image fusion
CN103310482B (zh) 一种三维重建方法及系统
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
CN108154488B (zh) 一种基于显著图像块分析的图像运动模糊去除方法
Tseng et al. Depth image super-resolution via multi-frame registration and deep learning

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160127

RJ01 Rejection of invention patent application after publication