CN106780342A - 基于稀疏域重构的单帧图像超分辨重建方法及装置 - Google Patents

基于稀疏域重构的单帧图像超分辨重建方法及装置 Download PDF

Info

Publication number
CN106780342A
CN106780342A CN201611237470.5A CN201611237470A CN106780342A CN 106780342 A CN106780342 A CN 106780342A CN 201611237470 A CN201611237470 A CN 201611237470A CN 106780342 A CN106780342 A CN 106780342A
Authority
CN
China
Prior art keywords
resolution
low
sparse
coefficient
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611237470.5A
Other languages
English (en)
Inventor
李冀翔
许神贤
周明忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL China Star Optoelectronics Technology Co Ltd
Original Assignee
Shenzhen China Star Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen China Star Optoelectronics Technology Co Ltd filed Critical Shenzhen China Star Optoelectronics Technology Co Ltd
Priority to CN201611237470.5A priority Critical patent/CN106780342A/zh
Priority to PCT/CN2017/071334 priority patent/WO2018120329A1/zh
Priority to US15/504,503 priority patent/US20180225807A1/en
Publication of CN106780342A publication Critical patent/CN106780342A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4053Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T3/4076Super resolution, i.e. output image resolution higher than sensor resolution by iteratively correcting the provisional high resolution image using the original low-resolution image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4053Super resolution, i.e. output image resolution higher than sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4007Interpolation-based scaling, e.g. bilinear interpolation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20152Watershed segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction

Abstract

本发明涉及一种基于稀疏域重构的单帧图像超分辨重建方法及装置,主要解决现有技术中存在的不能够根据图像的先验知识选择合适的插值函数获得高质量的重建图像的技术问题。本发明通过采用实例映射学习的第一范式,将稀疏域上低分辨率特征Bl到稀疏域上高分辨率特征Bh的映射M与稀疏域上高分辨率特征Bh到高分辨率特征YS的映射进行联合训练,将映射误差和重构误差平摊到映射算子M、重构的高分辨率字典Φh以及重构的高分辨率稀疏系数Bh,避免具体一项因为误差较大影响重构质量,较好的解决了该问题,可用于图形处理中。

Description

基于稀疏域重构的单帧图像超分辨重建方法及装置
技术领域
本发明涉及图形处理领域,特别涉及一种基于稀疏域重构的单帧图像超分辨重建方法及装置。
背景技术
图像作为人类记载客观世界信息的载体,在工业生产和日常生活中具有重要作用,然而受成像系统设备状况、成像环境和有限网络数据传输带宽等条件的限制,成像过程往往存在运动模糊、下采样和噪声污染等退化过程,以至于实际获得的图像分辨率低、细节纹理丢失、主观视觉效果差。为了获得纹理清晰且细节丰富的高分辨率图像,最直接有效的方法就是通过改善制造工艺,来提高传感器设备和光学成像系统的物理分辨率级别,然而高昂的价格和复杂的改进流程严重限制了这类技术的发展前景。为此,我们需要一种价格低廉、效果突出的重建方法来提升图像的分辨率,在无需额外硬件支持的情况下最大程度地减弱模糊和噪声等外界环境的干扰,在现有工艺制造水平的条件下获取高质量、高品质的图像。图像超分辨率重建是指用一幅或者多幅低分辨率图像,通过信号处理技术来获得一幅清晰的高分辨率图像的技术。该技术能有效克服成像设备固有分辨率的不足,突破成像环境的限制,在不改变现有成像系统的前提下,能以最低的成本获取高于成像系统物理分辨率的高质量图像。该技术具有非常广泛的应用前景,是低质量智能安全监控系统中人脸检测与识别技术、智能机器人关键技术,也是推动智能显示技术发展的源动力。
现有技术是基于插值的方法。该方法首先根据放大倍数确定重建图像上对应低分辨率图像的像素值,然后利用确定的插值核函数或者自适应的插值核函数估计重建图像网格上的未知像素值。此类方法简单高效并且计算复杂度低,但是难以根据图像的先验知识选择合适的插值函数获得高质量的重建图像,其本质原因是基于插值的方法相比较低分辨率图像而言并没有增加重建图像的信息量。因此,提供一种可以根据图像的先验知识选择合适的插值函数获得高质量的重建图像的基于稀疏域重构的单帧图像超分辨重建算法是很有必要的。
发明内容
本发明所要解决的技术问题是现有技术中存在的不能根据图像的先验知识选择合适的插值函数获得高质量的重建图像的技术问题,本发明提供一种可以根据图像的先验知识选择合适的插值函数获得高质量的重建图像的重建算法。
为解决上述技术问题,本发明采用的技术方案如下:
一种基于稀疏域重构的单帧图像超分辨重建方法,所述方法包括:
(1)训练阶段:
所述训练阶段是在训练数据集上学习低分辨率图像得到对应的高分辨率图像的映射模型,包括:
(A)根据低分辨率图形建立低分辨率特征集,根据高分辨率图形建立高分辨率特征集;
(B)根据K-SVD方法求解低分辨率特征对应的字典和稀疏编码系数;
(C)建立稀疏域重构优化目标方程式;
(D)根据二次约束二次规划算法、稀疏编码算法及岭回归算法交替优化,迭代求解,变化量小于阈值时停止;得到高分辨率字典,高分辨率稀疏编码系数及稀疏映射矩阵;
(2)合成阶段:
所述合成阶段是将学习到的映射模型应用于输入的低分辨率图像上,合成出高分辨率图像,包括:
(a)自分辨率图形进行提取特征;
(b)将所述低分辨率特征在所述训练阶段得到的字典上用OMP算法得到稀疏编码系数;
(c)将所述训练阶段得到的低分辨率编码系数应用于高分辨率字典上,从而合成高分辨率特征;
(d)融合高分辨率特征得到高分辨率图像。
上述方案中,为优化,进一步地,所述步骤(1)中步骤(A)包括:
选择高分辨率图像数据库作为图像训练集低分辨率图像集为
水平方向一阶梯度GX、竖直方向一阶梯度GY、水平方向二阶梯度LX、竖直方向二阶梯度LY,分别为:
GX=[1,0,-1],GY=[1,0,-1]T
将低分辨率图像训练集分别与水平方向的一阶梯度GX、竖直方向的一阶梯度GY、水平方向的二阶梯度LX、竖直方向的二阶梯度LY进行卷积运算,获得原始的低分辨率特征训练集
将原始低分辨率特征训练集ZS使用PCA方法进行维度约简后,获得投影矩阵Vpca和低分辨率特征训练集
其中为第p幅高分辨率图像,Ns为高分辨率图像的数量,为第p幅低分辨率图像,Ns为低分辨率图像的数量;T为转置运算;为第i项原始低分辨率特征,Nsn为原始低分辨率特征的数量;为第i项的低分辨率特征,Nsn为低分辨率特征的数量。
进一步地,所述步骤(1)中步骤(B)包括:
将所述高分辨率图像训练集与对应的低分辨率图像训练集相减获得高频图像集
以单位矩阵作为算子模板,与高频图像集ES进行卷积运算,获得高分辨率特征训练集
根据K-SVD算法求解低分辨率特征XS对应的低分辨率字典Φl和稀疏编码系数Bl
其中ep为第p幅高频图像,Ns为高频图像的数量;为第i项的高分辨率特征,Nsn为高分辨特征的数量;λl为l1范数优化的正则项系数,||·||F为F范数,||·||1为1范数。
进一步地,所述步骤(1)中步骤(C)包括:
根据高分辨率特征训练集YS和低分辨率特征编码系数Bl求解出高分辨率字典的初始值Φh0
假设低分辨率特征和对应的高分辨率特征分别在低分辨率字典上和高分辨率字典上具有相同的编码系数,根据最小平方误差,得出:
对高分辨率特征的稀疏为项和稀疏域的映射模型建立初始优化目标公式:
高分辨率特征的稀疏为误差项ED为:
将稀疏域映射误差项EM为:
得到稀疏域重构的优化目标公式为:
其中,Bl为低分辨率特征编码系数,YS为高分辨率特征训练集,T为矩阵的转置运算,(·)-1为矩阵求逆运算;YS是高分辨率特征训练集,Φh是高分辨率字典,Bh是高分辨率特征编码系数,Bl是低分辨率特征编码系数,M是低分辨率特征编码系数到高分辨率特征系数的映射矩阵,ED是高分辨率特征的稀疏为误差项,EM是稀疏域映射误差项,α是映射误差项系数;β是l1范数优化正则项系数;γ是映射矩阵正则项系数;为高分辨率字典Φh的第i项原子。
进一步地,所述步骤(1)中步骤(D)包括:
根据所述稀疏域重构的优化目标公式和高分辨率字典的初始值Φh0,迭代求解高分辨率字典Φh、高分辨率特征编码系数Bh、低分辨率特征编码系数到高分辨率特征编码系数的映射矩阵M,
高分辨率特征编码系数Bh及映射矩阵M为固定值,根据二次约束二次规划方法求解高分辨率字典Φh,得到:
通过进行稀疏编码,求解高分辨率特征编码系数Bh
根据岭回归优化方法,求解第t次迭代的映射矩阵M(t)
依次优化,直到相邻两次稀疏域重构的优化目标值的变化量小于阈值时得到高分辨率字典Φh,高分辨率稀疏编码系数Bh及稀疏映射矩阵M;
其中,Φh0作为高分辨率字典的迭代初始值,高分辨率特征编码系数的迭代初始值设为Bh0=Bl,映射矩阵的迭代初始值设为M0=E,E为单位矩阵,为高分辨率特征的增广矩阵,YS为高分辨率特征训练集,为高分辨率字典的增广矩阵:α是稀疏域映射误差项系数,取值为0.1,β是L1范数优化正则项系数,取值为0.01;μ为迭代的步长,α是稀疏域映射误差项系数,γ是映射矩阵正则项系数。
进一步地,所述步骤(2)中步骤(a)包括:
根据低分辨率图像,对低分辨率图像做同训练阶段的处理得到低分辨率测试特征XR
进一步地,所述步骤(2)中步骤(b)包括:
将所述低分辨率测试特征XR在训练阶段得到的低分辨率字典Φl上用正交匹配追踪算法进行编码,得到低分辨率测试特征编码系数B'l
进一步地,所述步骤(2)中步骤(c)包括:
将低分辨率测试特征编码系数B'l与步骤(1)中的映射矩阵M做投影运算,得到高分辨率测试特征编码系数B'h
将训练阶段得到的高分辨率字典Φh与高分辨率测试特征编码系数B'h做乘法运算,得到高分辨率测试特征YR
本发明还公开一种基于稀疏域重构的单帧图像超分辨重建方法的装置,包括依次连接的提取模块,用于数值计算的运算模块,存储模块及图形输出模块;
所述提取模块用于提取图像特征;
所述存储模块用于存放数据,包括单片机及SD卡,所述单片机连接SD卡,用于控制SD卡进行读写操作;
所述SD卡用于存储、传递数据;
所述图形输出模块用于输出图像,并与输入图像进行对比,包括液晶显示器及打印机。
进一步地,所述提取模块包括依次连接的边缘检测模块,噪声滤除模块及图形分割模块;
所述边缘检测模块用于检测图像边缘特征;
所述噪声滤除模块用于滤除图像特征中的噪点;
所述图像分割模块用于将图像进行分割。
本发明通过采用实例映射学习的第一范式,将稀疏域上低分辨率特征Bl到稀疏域上高分辨率特征Bh的映射M与稀疏域上高分辨率特征Bh到高分辨率特征YS的映射进行联合训练,将映射误差和重构误差平摊到映射算子M、重构的高分辨率字典Φh以及重构的高分辨率稀疏系数Bh,避免具体一项因为误差较大影响重构质量,因此较准确地描述了低分辨率特征到高分辨率特征的映射。
本发明的有益效果:
效果一,提高了描述了低分辨率特征到高分辨率特征的映射的准确度;
效果二,减小影响重构质量的误差值;
效果三,可以根据图像的先验知识选择合适的插值函数获得高质量的重建图像。
附图说明
图1本发明所述方法训练阶段的示意图;
图2本发明所述方法训练阶段的流程图;
图3本发明所述方法合成阶段的示意图;
图4本发明所述方法合成阶段的流程图;
图5本发明所述装置的结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
图1本发明所述方法训练阶段的示意图。图2本发明所述方法训练阶段的流程图。图3本发明所述方法合成阶段的示意图。图4本发明所述方法合成阶段的流程图。图5本发明所述装置的结构框图。
实施例1
本实施例提供图5所示的装置,包括依次连接的提取模块,运算模块,存储模块及图形输出模块;所述运算模块用于数值计算,所述提取模块用于提取图像特征;所述存储模块用于存放数据,包括80C51式通用型单片机及SD卡,所述单片机连接SD卡,用于控制SD卡进行读写操作;所述SD卡用于存储、传递数据;所述图形输出模块用于输出图像,并与输入图像进行对比,包括液晶显示器及打印机。所述提取模块包括依次连接的边缘检测模块,噪声滤除模块及图形分割模块;所述边缘检测模块用于检测图像边缘特征;所述噪声滤除模块用于滤除图像特征中的噪点;所述图像分割模块用于将图像进行分割。
装置应用于本实施例方法,方法分为训练阶段和合成阶段。其中算法训练阶段框架如图1和图2所示:
选择具有复杂纹理和几何边缘的高分辨率图像数据库作为图像训练集其中表示第p幅高分辨率图像,Ns表示高分辨率图像的数量。为其对应的低分辨率图像集,其中表示第p幅低分辨率图像,Ns表示低分辨率图像的数量。根据低分辨率图像训练集构建低分辨率特征训练集XS,定义水平方向一阶梯度GX、竖直方向一阶梯度GY、水平方向二阶梯度LX、竖直方向二阶梯度LY的算子模板分别为:
GX=[1,0,-1],GY=[1,0,-1]T
其中T表示转置运算,将低分辨率图像训练集分别与水平方向的一阶梯度GX、竖直方向的一阶梯度GY、水平方向的二阶梯度LX、竖直方向的二阶梯度LY的算子模板进行卷积运算,获得原始的低分辨率特征训练集其中表示第i项原始低分辨率特征,Nsn表示原始低分辨率特征的数量。将原始低分辨率特征训练集ZS使用PCA进行维度约简后,获得投影矩阵Vpca和低分辨率特征训练集 表示第i项的低分辨率特征,Nsn表示低分辨率特征的数量。接下来,将高分辨率图像训练集与对应的低分辨率图像训练集相减获得高频图像集其中ep表示第p幅高频图像,Ns表示高频图像的数量;以单位矩阵作为算子模板,与高频图像集ES进行卷积运算,获得高分辨率特征训练集其中表示第i项的高分辨率特征,Nsn表示高分辨特征的数量。根据K-SVD算法求解低分辨率特征XS对应的低分辨率字典Φl和稀疏编码系数Bl
其中,λl表示l1范数优化的正则项系数,||·||F表示F范数,||·||1表示1范数。根据高分辨率特征训练集YS和低分辨率特征编码系数Bl求解出高分辨率字典的初始值Φh0,可以先假设低分辨率特征和对应的高分辨率特征分别在低分辨率字典上和高分辨率字典上具有相同的编码系数,即Bh=Bl,则有编码关系Φh0Bl=YS,根据最小平方误差可得式(3)所示:
其中,Bl表示低分辨率特征编码系数,YS表示高分辨率特征训练集,T表示矩阵的转置运算,(·)-1表示矩阵求逆运算。
接下来通过建立稀疏域重构的优化目标公式进行迭代,首先对高分辨率特征的稀疏表示项和稀疏域的映射模型建立初始优化目标公式:
其中,YS是高分辨率特征训练集,Φh是高分辨率字典,Bh是高分辨率特征编码系数,Bl是低分辨率特征编码系数,M是低分辨率特征编码系数到高分辨率特征系数的映射矩阵,ED是高分辨率特征的稀疏表示误差项,EM是稀疏域映射误差项,α是映射误差项系数。将高分辨率特征的稀疏表示误差项ED进一步表示为式(5)所示:
其中,β是l1范数优化正则项系数;将稀疏域映射误差项EM进一步表示为
其中γ是映射矩阵正则项系数;
为最终的稀疏域重构的优化目标公式;
其中,表示高分辨率字典Φh的第i项原子。根据稀疏域重构的优化目标公式和高分辨率字典的初始值Φh0,迭代求解高分辨率字典Φh、高分辨率特征编码系数Bh、低分辨率特征编码系数到高分辨率特征编码系数的映射矩阵M,具体地以得到的Φh0作为高分辨率字典的迭代初始值,将高分辨率特征编码系数的迭代初始值设为Bh0=Bl,将映射矩阵的迭代初始值设为M0=E,其中E表示单位矩阵;固定高分辨率特征编码系数Bh和映射矩阵M,使其保持不变,使用二次约束二次规划方法求解高分辨率字典Φh,得到:
固定映射矩阵M和高分辨率字典Φh,进行稀疏编码
求解高辨率特征编码系数Bh。其中,表示高分辨率特征的增广矩阵,YS表示高分辨率特征训练集,表示高分辨率字典的增广矩阵:
其中,α是稀疏域映射误差项系数,取值为0.1,β是L1范数优化正则项系数,取值为0.01;固定高分辨率字典Φh和高分辨率特征编码系数Bh,使其保持不变,使用岭回归优化方法求解第t次迭代的映射矩阵M(t)
其中,μ表示迭代的步长,α是稀疏域映射误差项系数,γ是映射矩阵正则项系数。
通过依次优化迭代直到相邻两次稀疏域重构的优化目标值的变化量小于阈值时停止,得到最终的Φh、Bh和M;从而完成基于稀疏域重构的超分辨率算法的训练过程。
发明合成阶段框架如图3和图4所示:
对于输入的低分辨率图像,对图像做同训练阶段的处理得到低分辨率测试特征XR,将低分辨率测试特征XR在训练阶段得到的低分辨率字典Φl上用正交匹配追踪算法进行编码,得到低分辨率测试特征编码系数B'l,将低分辨率测试特征编码系数B'l与训练阶段得到中的映射矩阵M做投影运算,得到高分辨率测试特征编码系数B'h,将训练阶段得到的高分辨率字典Φh与高分辨率测试特征编码系数B'h做乘法运算,得到高分辨率测试特征YR,最后将特征融合得到高分辨率图像。至此,该实施例的所有步骤完成。
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的技术人员能够理解本发明,但是本发明不仅限于具体实施方式的范围,对本技术领域的普通技术人员而言,只要各种变化只要在所附的权利要求限定和确定的本发明精神和范围内,一切利用本发明构思的发明创造均在保护之列。

Claims (10)

1.一种基于稀疏域重构的单帧图像超分辨重建方法,其特征在于:所述方法包括:
(1)训练阶段:
所述训练阶段是在训练数据集上学习低分辨率图像得到对应的高分辨率图像的映射模型,包括:
(A)根据低分辨率图形建立低分辨率特征集,根据高分辨率图形建立高分辨率特征集;
(B)根据K-SVD方法求解低分辨率特征对应的字典和稀疏编码系数;
(C)建立稀疏域重构优化目标方程式;
(D)根据二次约束二次规划算法、稀疏编码算法及岭回归算法交替优化,迭代求解,变化量小于阈值时停止;得到高分辨率字典,高分辨率稀疏编码系数及稀疏映射矩阵;
(2)合成阶段:
所述合成阶段是将学习到的映射模型应用于输入的低分辨率图像上,合成出高分辨率图像,包括:
(a)自分辨率图形进行提取特征;
(b)将所述低分辨率特征在所述训练阶段得到的字典上用OMP算法得到稀疏编码系数;
(c)将所述训练阶段得到的低分辨率编码系数应用于高分辨率字典上,从而合成高分辨率特征;
(d)融合高分辨率特征得到高分辨率图像。
2.根据权利要求1所述的基于稀疏域重构的单帧图像超分辨重建方法,其特征在于:所述步骤(1)中步骤(A)包括:
选择高分辨率图像数据库作为图像训练集低分辨率图像集为
水平方向一阶梯度GX、竖直方向一阶梯度GY、水平方向二阶梯度LX、竖直方向二阶梯度LY,分别为:
GX=[1,0,-1],GY=[1,0,-1]T
L X = 1 2 [ 1 , 0 , - 2 , 0 , - 1 ] , L Y = 1 2 [ 1 , 0 , - 2 , 0 , - 1 ] T
将低分辨率图像训练集分别与水平方向的一阶梯度GX、竖直方向的一阶梯度GY、水平方向的二阶梯度LX、竖直方向的二阶梯度LY进行卷积运算,获得原始的低分辨率特征训练集
将原始低分辨率特征训练集ZS使用PCA方法进行维度约简后,获得投影矩阵Vpca和低分辨率特征训练集
其中为第p幅高分辨率图像,Ns为高分辨率图像的数量,为第p幅低分辨率图像,Ns为低分辨率图像的数量;T为转置运算;为第i项原始低分辨率特征,Nsn为原始低分辨率特征的数量;为第i项的低分辨率特征,Nsn为低分辨率特征的数量。
3.根据权利要求1所述的基于稀疏域重构的单帧图像超分辨重建方法,其特征在于:所述步骤(1)中步骤(B)包括:
将所述高分辨率图像训练集与对应的低分辨率图像训练集相减获得高频图像集
以单位矩阵作为算子模板,与高频图像集ES进行卷积运算,获得高分辨率特征训练集
根据K-SVD算法求解低分辨率特征XS对应的低分辨率字典Φl和稀疏编码系数Bl
( Φ l , B l ) = argmin { Φ l , B l } | | X S - Φ l B l | | F 2 + λ l | | B l | | 1
其中ep为第p幅高频图像,Ns为高频图像的数量;为第i项的高分辨率特征,Nsn为高分辨特征的数量;λl为l1范数优化的正则项系数,||·||F为F范数,||·||1为1范数。
4.根据权利要求1所述的基于稀疏域重构的单帧图像超分辨重建方法,其特征在于:所述步骤(1)中步骤(C)包括:
根据高分辨率特征训练集YS和低分辨率特征编码系数Bl求解出高分辨率字典的初始值Φh0
假设低分辨率特征和对应的高分辨率特征分别在低分辨率字典上和高分辨率字典上具有相同的编码系数,根据最小平方误差,得出:
Φ h 0 = Y S B l T ( B l B l T ) - 1
对高分辨率特征的稀疏为项和稀疏域的映射模型建立初始优化目标公式:
min { Φ h , B h , M } E D ( Y S , Φ h , B h ) + α · E M ( B h , MB l )
高分辨率特征的稀疏为误差项ED为:
E D ( Y S , Φ h , B h ) = | | Y S - Φ h B h | | F 2 + β | | B h | | 1
将稀疏域映射误差项EM为:
E M ( B h , MB l ) = | | B h - MB l | | F 2 + γ α | | M | | F 2
得到稀疏域重构的优化目标公式为:
其中,Bl为低分辨率特征编码系数,YS为高分辨率特征训练集,T为矩阵的转置运算,(·)-1为矩阵求逆运算;YS是高分辨率特征训练集,Φh是高分辨率字典,Bh是高分辨率特征编码系数,Bl是低分辨率特征编码系数,M是低分辨率特征编码系数到高分辨率特征系数的映射矩阵,ED是高分辨率特征的稀疏为误差项,EM是稀疏域映射误差项,α是映射误差项系数;β是l1范数优化正则项系数;γ是映射矩阵正则项系数;为高分辨率字典Φh的第i项原子。
5.根据权利要求1所述的基于稀疏域重构的单帧图像超分辨重建方法,其特征在于:所述步骤(1)中步骤(D)包括:
根据所述稀疏域重构的优化目标公式和高分辨率字典的初始值Φh0,迭代求解高分辨率字典Φh、高分辨率特征编码系数Bh、低分辨率特征编码系数到高分辨率特征编码系数的映射矩阵M,
高分辨率特征编码系数Bh及映射矩阵M为固定值,根据二次约束二次规划方法求解高分辨率字典Φh,得到:
通过进行稀疏编码,求解高分辨率特征编码系数Bh
Y ~ = Y S α MB l , Φ ~ h = Φ h α · E
根据岭回归优化方法,求解第t次迭代的映射矩阵M(t)
M ( t ) = ( 1 - μ ) M ( t - 1 ) + μB h B l T ( B l B l T + γ α I ) - 1
依次优化,直到相邻两次稀疏域重构的优化目标值的变化量小于阈值时得到高分辨率字典Φh,高分辨率稀疏编码系数Bh及稀疏映射矩阵M;
其中,Φh0作为高分辨率字典的迭代初始值,高分辨率特征编码系数的迭代初始值设为Bh0=Bl,映射矩阵的迭代初始值设为M0=E,E为单位矩阵,为高分辨率特征的增广矩阵,YS为高分辨率特征训练集,为高分辨率字典的增广矩阵:α是稀疏域映射误差项系数,取值为0.1,β是L1范数优化正则项系数,取值为0.01;μ为迭代的步长,α是稀疏域映射误差项系数,γ是映射矩阵正则项系数。
6.根据权利要求1所述的基于稀疏域重构的单帧图像超分辨重建方法,其特征在于:所述步骤(2)中步骤(a)包括:
根据低分辨率图像,对低分辨率图像做同训练阶段的处理得到低分辨率测试特征XR
7.根据权利要求1所述的基于稀疏域重构的单帧图像超分辨重建方法,其特征在于:所述步骤(2)中步骤(b)包括:
将所述低分辨率测试特征XR在训练阶段得到的低分辨率字典Φl上用正交匹配追踪算法进行编码,得到低分辨率测试特征编码系数B′l
8.根据权利要求1所述的基于稀疏域重构的单帧图像超分辨重建方法,其特征在于:所述步骤(2)中步骤(c)包括:
将低分辨率测试特征编码系数B′l与步骤(1)中的映射矩阵M做投影运算,得到高分辨率测试特征编码系数B′h
将训练阶段得到的高分辨率字典Φh与高分辨率测试特征编码系数B′h做乘法运算,得到高分辨率测试特征YR
9.一种用于基于稀疏域重构的单帧图像超分辨重建方法的装置,其特征在于:所述装置包括依次连接的提取模块,用于数值计算的运算模块,存储模块及图形输出模块;
所述提取模块用于提取图像特征;
所述存储模块用于存放数据,包括单片机及SD卡,所述单片机连接SD卡,用于控制SD卡进行读写操作;
所述SD卡用于存储、传递数据;
所述图形输出模块用于输出图像,并与输入图像进行对比,包括液晶显示器及打印机。
10.根据权利要求9所述的用于基于稀疏域重构的单帧图像超分辨重建方法的装置,其特征在于:
所述提取模块包括依次连接的边缘检测模块,噪声滤除模块及图形分割模块;
所述边缘检测模块用于检测图像边缘特征;
所述噪声滤除模块用于滤除图像特征中的噪点;
所述图像分割模块用于将图像进行分割。
CN201611237470.5A 2016-12-28 2016-12-28 基于稀疏域重构的单帧图像超分辨重建方法及装置 Pending CN106780342A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201611237470.5A CN106780342A (zh) 2016-12-28 2016-12-28 基于稀疏域重构的单帧图像超分辨重建方法及装置
PCT/CN2017/071334 WO2018120329A1 (zh) 2016-12-28 2017-01-17 基于稀疏域重构的单帧图像超分辨重建方法及装置
US15/504,503 US20180225807A1 (en) 2016-12-28 2017-01-17 Single-frame super-resolution reconstruction method and device based on sparse domain reconstruction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611237470.5A CN106780342A (zh) 2016-12-28 2016-12-28 基于稀疏域重构的单帧图像超分辨重建方法及装置

Publications (1)

Publication Number Publication Date
CN106780342A true CN106780342A (zh) 2017-05-31

Family

ID=58925056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611237470.5A Pending CN106780342A (zh) 2016-12-28 2016-12-28 基于稀疏域重构的单帧图像超分辨重建方法及装置

Country Status (3)

Country Link
US (1) US20180225807A1 (zh)
CN (1) CN106780342A (zh)
WO (1) WO2018120329A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341776A (zh) * 2017-06-21 2017-11-10 北京工业大学 基于稀疏编码与组合映射的单帧超分辨率重建方法
CN107680146A (zh) * 2017-09-13 2018-02-09 深圳先进技术研究院 Pet图像的重建方法、装置、设备及存储介质
CN108364255A (zh) * 2018-01-16 2018-08-03 辽宁师范大学 基于稀疏表示和偏微分模型的遥感图像放大方法
CN108830792A (zh) * 2018-05-09 2018-11-16 浙江师范大学 一种利用多类字典的图像超分辨率方法
CN108830791A (zh) * 2018-05-09 2018-11-16 浙江师范大学 基于自身样例和稀疏表示的图像超分辨率方法
CN108898568A (zh) * 2018-04-25 2018-11-27 西北大学 图像合成方法与装置
CN109741254A (zh) * 2018-12-12 2019-05-10 深圳先进技术研究院 字典训练及图像超分辨重建方法、系统、设备及存储介质
CN111932462A (zh) * 2020-08-18 2020-11-13 Oppo(重庆)智能科技有限公司 图像降质模型的训练方法、装置和电子设备、存储介质
CN112734763A (zh) * 2021-01-29 2021-04-30 西安理工大学 基于卷积与k-svd字典联合稀疏编码的图像分解方法
CN113139918A (zh) * 2021-04-23 2021-07-20 大连大学 一种基于决策灰狼优化字典学习的图像重构方法
CN116205806A (zh) * 2023-01-28 2023-06-02 荣耀终端有限公司 一种图像增强方法及电子设备

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
CN108108652B (zh) * 2017-03-29 2021-11-26 广东工业大学 一种基于字典学习的跨视角人体行为识别方法及装置
CN109308683A (zh) * 2018-07-23 2019-02-05 华南理工大学 一种柔性集成电路基板图像超分辨率重建的方法
CN109064403B (zh) * 2018-08-10 2022-11-01 安徽师范大学 基于分类耦合字典稀疏表示的指纹图像超分辨率方法
CN109360148B (zh) * 2018-09-05 2023-11-07 北京悦图遥感科技发展有限公司 基于混合随机降采样的遥感影像超分辨率重构方法和装置
CN109446870A (zh) * 2018-09-07 2019-03-08 佛山市顺德区中山大学研究院 一种基于cnn的qr码寻像图形缺陷恢复方法
CN109345453B (zh) * 2018-09-12 2022-12-27 中南民族大学 利用标准化组稀疏规则化的图像超分辨率重构系统及方法
CN109886869B (zh) * 2018-10-15 2022-12-20 武汉工程大学 一种基于上下文信息的非线性拓展的人脸幻构方法
CN109447905B (zh) * 2018-11-06 2022-11-18 大连海事大学 基于判别字典的海上图像超分辨率重建方法
CN109490840B (zh) * 2018-11-22 2022-05-31 中国人民解放军海军航空大学 基于改进稀疏自编码模型的雷达目标hrrp的降噪和重构方法
CN109671019B (zh) * 2018-12-14 2022-11-01 武汉大学 一种基于多目标优化算法和稀疏表达的遥感影像亚像元制图方法
CN109741263B (zh) * 2019-01-11 2019-10-11 四川大学 基于自适应联合约束的遥感图像超分辨率重建方法
CN110020986B (zh) * 2019-02-18 2022-12-30 西安电子科技大学 基于欧氏子空间群两重映射的单帧图像超分辨率重建方法
CN109949223B (zh) * 2019-02-25 2023-06-20 天津大学 基于反卷积稠密连接的图像超分辨率重构方法
CN110097499B (zh) * 2019-03-14 2023-05-05 西安电子科技大学 基于谱混合核高斯过程回归的单帧图像超分辨率重建方法
CN110136060B (zh) * 2019-04-24 2023-03-24 西安电子科技大学 基于浅层密集连接网络的图像超分辨率重建方法
CN110147782B (zh) * 2019-05-29 2023-06-13 苏州大学 一种基于投影字典对学习的人脸识别方法及装置
CN112150354B (zh) * 2019-06-26 2021-08-24 四川大学 联合轮廓增强与去噪统计先验的单幅图像超分辨率方法
CN110443754B (zh) * 2019-08-06 2022-09-13 安徽大学 一种数字图像分辨率提升的方法
CN110544215B (zh) * 2019-08-23 2023-07-21 淮阴工学院 一种基于各向异性稀疏梯度的交通监控图像去雨方法
CN110619603B (zh) * 2019-08-29 2023-11-10 浙江师范大学 一种优化稀疏系数的单幅图像超分辨率方法
CN110675317B (zh) * 2019-09-10 2022-12-06 中国人民解放军国防科技大学 基于学习和自适应三边滤波正则化的超分辨率重建方法
CN110675318B (zh) * 2019-09-10 2023-01-03 中国人民解放军国防科技大学 一种基于主结构分离的稀疏表示图像超分辨率重建方法
CN110852950B (zh) * 2019-11-08 2023-04-07 中国科学院微小卫星创新研究院 基于稀疏表示和图像融合的高光谱图像超分辨率重建方法
CN110826467B (zh) * 2019-11-22 2023-09-29 中南大学湘雅三医院 一种电子显微镜图像重建系统及其方法
CN111080516B (zh) * 2019-11-26 2023-04-28 广东石油化工学院 基于自样例增强的超分辨率图像重建方法
CN111275620B (zh) * 2020-01-17 2023-08-01 金华青鸟计算机信息技术有限公司 一种基于Stacking集成学习的图像超分辨方法
CN113160046B (zh) * 2020-01-23 2023-12-26 百度在线网络技术(北京)有限公司 深度图像超分辨率方法、训练方法及装置、设备、介质
CN113496468B (zh) * 2020-03-20 2023-07-04 北京航空航天大学 深度图像的修复方法、装置和存储介质
CN111582048B (zh) * 2020-04-16 2022-09-23 昆明理工大学 基于字典学习和稀疏表示的欠采样信号高分辨率重构方法
CN111696042B (zh) * 2020-06-04 2023-06-27 四川轻化工大学 基于样本学习的图像超分辨重建方法
CN111865325B (zh) * 2020-07-10 2023-03-17 山东云海国创云计算装备产业创新中心有限公司 一种压缩感知信号重构方法、装置及相关设备
CN111967331B (zh) * 2020-07-20 2023-07-21 华南理工大学 基于融合特征和字典学习的人脸表示攻击检测方法及系统
CN112200718A (zh) * 2020-09-18 2021-01-08 郑州航空工业管理学院 基于ncsr和多传感器的红外图像超分辨率方法
CN112163998A (zh) * 2020-09-24 2021-01-01 肇庆市博士芯电子科技有限公司 一种匹配自然降质条件的单图像超分辨率分析方法
CN112163616B (zh) * 2020-09-25 2022-04-22 电子科技大学 一种局部稀疏约束变换rcs序列特征提取方法
CN112529777A (zh) * 2020-10-30 2021-03-19 肇庆市博士芯电子科技有限公司 基于多模态学习卷积稀疏编码网络的图像超分辨率分析方法
CN112308086B (zh) * 2020-11-02 2023-07-18 金陵科技学院 基于非线性降维与智能寻优的四轴抗干扰无人机系统
CN112565887B (zh) * 2020-11-27 2023-06-20 紫光展锐(重庆)科技有限公司 一种视频处理方法、装置、终端及存储介质
CN112580473A (zh) * 2020-12-11 2021-03-30 北京工业大学 一种融合运动特征的视频超分辨率重构方法
CN112652000A (zh) * 2020-12-30 2021-04-13 南京航空航天大学 一种针对图像小尺度运动方向判定的方法
CN112819945B (zh) * 2021-01-26 2022-10-04 北京航空航天大学 一种基于稀疏视点视频的流体重建方法
CN112785662B (zh) * 2021-01-28 2023-07-25 北京理工大学重庆创新中心 一种基于低分辨率先验信息的自适应编码方法
CN112819909B (zh) * 2021-01-28 2023-07-25 北京理工大学重庆创新中心 基于低分辨率先验光谱图像区域分割的自适应编码方法
CN112927138B (zh) * 2021-03-19 2023-09-19 重庆邮电大学 一种基于即插即用的磁共振成像超分辨重建系统及方法
CN113034641B (zh) * 2021-03-29 2022-11-08 安徽工程大学 一种基于小波多尺度卷积特征编码的稀疏角度ct重建方法
CN113139903B (zh) * 2021-04-27 2023-08-04 西安交通大学 一种基于压缩感知理论提高红外光谱分辨率方法
CN113450252A (zh) * 2021-05-11 2021-09-28 点智芯科技(北京)有限公司 一种超像素分割单映矩阵聚类图像拼接方法
CN113222822B (zh) * 2021-06-02 2023-01-24 西安电子科技大学 基于多尺度变换的高光谱图像超分辨率重建方法
CN113628109B (zh) * 2021-07-16 2023-11-28 上海交通大学 基于可学习字典的人脸五官超分辨率方法和系统、介质
CN113724351B (zh) * 2021-08-24 2023-12-01 南方医科大学 一种光声图像衰减校正方法
CN113781304B (zh) * 2021-09-08 2023-10-13 福州大学 基于单张图像超分辨率的轻量级网络模型及处理方法
CN114612453B (zh) * 2022-03-18 2024-03-26 西北工业大学 基于深度学习和稀疏表示模型的基建表面缺陷检测方法
CN114820326A (zh) * 2022-05-25 2022-07-29 厦门大学 基于可调节核稀疏化的高效单帧图像超分方法
CN114841223B (zh) * 2022-07-04 2022-09-20 北京理工大学 一种基于深度学习的微波成像方法和系统
CN115797184B (zh) * 2023-02-09 2023-06-30 天地信息网络研究院(安徽)有限公司 一种地表水体超分辨率提取方法
CN116091322B (zh) * 2023-04-12 2023-06-16 山东科技大学 超分辨率图像重建方法和计算机设备
CN116452466B (zh) * 2023-06-14 2023-10-20 荣耀终端有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN116563412B (zh) * 2023-06-26 2023-10-20 中国科学院自动化研究所 基于稀疏系统矩阵的mpi图像重建方法、系统及设备
CN116879862B (zh) * 2023-09-08 2023-12-01 西安电子科技大学 基于分层稀疏迭代的单快拍稀疏阵空间角度超分辨方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156875A (zh) * 2011-03-25 2011-08-17 西安电子科技大学 基于多任务ksvd字典学习的图像超分辨率重构方法
CN103077505A (zh) * 2013-01-25 2013-05-01 西安电子科技大学 基于字典学习和结构聚类的图像超分辨率重建方法
CN103226818A (zh) * 2013-04-25 2013-07-31 武汉大学 基于流形正则稀疏支撑回归的单帧图像超分辨率重建方法
CN103366347A (zh) * 2013-07-16 2013-10-23 苏州新视线文化科技发展有限公司 基于稀疏表示的图像超分辨率重建方法
CN103617607A (zh) * 2013-11-28 2014-03-05 天津大学 一种单幅图像超分辨率重建方法
CN105631807A (zh) * 2015-12-21 2016-06-01 西安电子科技大学 基于稀疏域选取的单帧图像超分辨重建方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110157600A1 (en) * 2009-12-30 2011-06-30 USA as represented by the Administrator of the Optical wave-front recovery for active and adaptive imaging control
CN102930518B (zh) * 2012-06-13 2015-06-24 上海汇纳信息科技股份有限公司 基于改进的稀疏表示的图像超分辨率方法
CN103390266B (zh) * 2013-07-31 2016-05-18 广东威创视讯科技股份有限公司 一种图像超分辨率方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102156875A (zh) * 2011-03-25 2011-08-17 西安电子科技大学 基于多任务ksvd字典学习的图像超分辨率重构方法
CN103077505A (zh) * 2013-01-25 2013-05-01 西安电子科技大学 基于字典学习和结构聚类的图像超分辨率重建方法
CN103226818A (zh) * 2013-04-25 2013-07-31 武汉大学 基于流形正则稀疏支撑回归的单帧图像超分辨率重建方法
CN103366347A (zh) * 2013-07-16 2013-10-23 苏州新视线文化科技发展有限公司 基于稀疏表示的图像超分辨率重建方法
CN103617607A (zh) * 2013-11-28 2014-03-05 天津大学 一种单幅图像超分辨率重建方法
CN105631807A (zh) * 2015-12-21 2016-06-01 西安电子科技大学 基于稀疏域选取的单帧图像超分辨重建方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107341776A (zh) * 2017-06-21 2017-11-10 北京工业大学 基于稀疏编码与组合映射的单帧超分辨率重建方法
CN107680146A (zh) * 2017-09-13 2018-02-09 深圳先进技术研究院 Pet图像的重建方法、装置、设备及存储介质
CN108364255A (zh) * 2018-01-16 2018-08-03 辽宁师范大学 基于稀疏表示和偏微分模型的遥感图像放大方法
CN108898568A (zh) * 2018-04-25 2018-11-27 西北大学 图像合成方法与装置
CN108830792A (zh) * 2018-05-09 2018-11-16 浙江师范大学 一种利用多类字典的图像超分辨率方法
CN108830791A (zh) * 2018-05-09 2018-11-16 浙江师范大学 基于自身样例和稀疏表示的图像超分辨率方法
CN108830792B (zh) * 2018-05-09 2022-03-11 浙江师范大学 一种利用多类字典的图像超分辨率方法
CN108830791B (zh) * 2018-05-09 2022-05-06 浙江师范大学 基于自身样例和稀疏表示的图像超分辨率方法
CN109741254B (zh) * 2018-12-12 2022-09-27 深圳先进技术研究院 字典训练及图像超分辨重建方法、系统、设备及存储介质
CN109741254A (zh) * 2018-12-12 2019-05-10 深圳先进技术研究院 字典训练及图像超分辨重建方法、系统、设备及存储介质
CN111932462A (zh) * 2020-08-18 2020-11-13 Oppo(重庆)智能科技有限公司 图像降质模型的训练方法、装置和电子设备、存储介质
CN111932462B (zh) * 2020-08-18 2023-01-03 Oppo(重庆)智能科技有限公司 图像降质模型的训练方法、装置和电子设备、存储介质
CN112734763A (zh) * 2021-01-29 2021-04-30 西安理工大学 基于卷积与k-svd字典联合稀疏编码的图像分解方法
CN112734763B (zh) * 2021-01-29 2022-09-16 西安理工大学 基于卷积与k-svd字典联合稀疏编码的图像分解方法
CN113139918A (zh) * 2021-04-23 2021-07-20 大连大学 一种基于决策灰狼优化字典学习的图像重构方法
CN113139918B (zh) * 2021-04-23 2023-11-10 大连大学 一种基于决策灰狼优化字典学习的图像重构方法
CN116205806A (zh) * 2023-01-28 2023-06-02 荣耀终端有限公司 一种图像增强方法及电子设备
CN116205806B (zh) * 2023-01-28 2023-09-19 荣耀终端有限公司 一种图像增强方法及电子设备

Also Published As

Publication number Publication date
US20180225807A1 (en) 2018-08-09
WO2018120329A1 (zh) 2018-07-05

Similar Documents

Publication Publication Date Title
CN106780342A (zh) 基于稀疏域重构的单帧图像超分辨重建方法及装置
CN105631807B (zh) 基于稀疏域选取的单帧图像超分辨重建方法
Wen et al. Transform learning for magnetic resonance image reconstruction: From model-based learning to building neural networks
CN104050653B (zh) 基于非负结构稀疏的高光谱图像超分辨率方法
CN105046672B (zh) 一种图像超分辨率重建方法
CN106157244A (zh) 一种基于稀疏表示的QR Code图像超分辨重建方法
CN106952228A (zh) 基于图像非局部自相似性的单幅图像的超分辨率重建方法
CN107993194B (zh) 一种基于平稳小波变换的超分辨率重建方法
CN105405098A (zh) 一种基于稀疏表示和自适应滤波的图像超分辨率重建方法
CN111402138A (zh) 一种基于多尺度特征提取融合的监督卷积神经网络的图像超分辨率重建方法
CN112991483B (zh) 一种非局部低秩约束的自校准并行磁共振成像重构方法
CN111161271A (zh) 一种超声图像分割方法
CN106169174A (zh) 一种图像放大方法
CN106327422A (zh) 一种图像风格化重建方法及装置
CN106097253A (zh) 一种基于块旋转和清晰度的单幅图像超分辨率重建方法
CN104091364B (zh) 单幅图像超分辨重建方法
CN103390266B (zh) 一种图像超分辨率方法和装置
CN108765293A (zh) 一种基于稀疏表示的磁共振图像重建方法及系统
CN109559278A (zh) 基于多特征学习的超分辨图像重建方法及系统
CN112241938B (zh) 基于光滑塔克分解与高阶张量汉克化的图像修复方法
CN105931181A (zh) 基于非耦合映射关系的影像超分辨率重建方法及系统
CN114022363A (zh) 图像超分辨率重建方法、装置以及计算机可读存储介质
Li et al. Clustering based multiple branches deep networks for single image super-resolution
Xia et al. A multi-scale network with the encoder-decoder structure for CMR segmentation
CN103236049B (zh) 基于序列相似性插值的部分k空间图像重构方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170531