CN110020986B - 基于欧氏子空间群两重映射的单帧图像超分辨率重建方法 - Google Patents

基于欧氏子空间群两重映射的单帧图像超分辨率重建方法 Download PDF

Info

Publication number
CN110020986B
CN110020986B CN201910123585.9A CN201910123585A CN110020986B CN 110020986 B CN110020986 B CN 110020986B CN 201910123585 A CN201910123585 A CN 201910123585A CN 110020986 B CN110020986 B CN 110020986B
Authority
CN
China
Prior art keywords
resolution
image
low
training set
euclidean
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910123585.9A
Other languages
English (en)
Other versions
CN110020986A (zh
Inventor
宁贝佳
闫闯
来浩坤
赵建鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201910123585.9A priority Critical patent/CN110020986B/zh
Publication of CN110020986A publication Critical patent/CN110020986A/zh
Application granted granted Critical
Publication of CN110020986B publication Critical patent/CN110020986B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像处理技术领域,公开了一种基于欧氏子空间群两重映射的单帧图像超分辨率重建方法;首先,利用自然图像生成初始样本训练集,并对其进行精简和分类得到筛选样本训练集;然后,对筛选样本训练集提取特征,生成特征训练集,并对其聚类形成欧氏子空间群;利用线性回归模型依次在欧氏子空间群的每一个局部子空间内计算出由低分辨率图像块到高分辨率图像块的第一重映射系数;对欧氏子空间群中的每一个低分辨率图像块应用第一重映射系数重建出待选高分辨率图像块,计算出由待选高分辨率图像块到真实高分辨率图像块的第二重映射系数;最后,由测试图像生成测试样本集,应用两重映射系数,输出高分辨率重建图像。本发明的算法软件及硬件成本低廉;独立及移动图像处理平台同样适用。

Description

基于欧氏子空间群两重映射的单帧图像超分辨率重建方法
技术领域
本发明属于图像处理技术领域,尤其涉及一种基于欧氏子空间群两重映射的单帧图像超分辨率重建方法。
背景技术
在信息时代,图像作为信息的一种重要载体,受到的关注越来越多。图像的分辨率越高,所能提供的信息就越丰富。然而在实际应用中,由于受到成像系统的物理条件以及客观环境的影响,成像过程中往往受到运动模糊、下采样和噪声等因素的影响,往往使得最终得到图像的分辨率不能满足需求。为了解决这一矛盾,图像超分辨率重建算法应运而生;该算法是指利用同一场景的单帧或者多帧低分辨率图像,通过软件算法估计出高分辨率图像,获得更多的图像细节信息,提高图像的效果。
目前,图像超分辨率重建算法大致可分为三类:基于插值的方法、基于重建的方法和基于学习的方法。
基于插值的方法是超分辨率研究中最简单和直观的方法,其基本原理是利用低分辨率图像中相邻的几个已知像素输入到固定的插值核函数中,通过简单的数学运算,求得未知的高分辨率图像网格中的像素。这种方法输入数据少,计算原理简单,实现方法便捷,因此得到广泛应用。然而当图像放大倍数较大,如3倍及以上时,基于插值的方法就显示出性能方面的不足。其原因是该方法采用固定的插值核函数,就是假定了已知像素与未知像素之间的数学关系,当图像放大倍数较大时,实际的像素间关系不再满足假定的线性关系或者其它比较简单的数学函数,如高斯函数;这就导致了放大的图像与真实图像有明显的差异。另一方面,基于插值的方法不考虑输入低分辨率图像的不同特征,用同样的插值核函数处理所有的输入低分辨率图像,从而导致放大图像的质量不高。可见,采用不合适的对应关系以及不考虑输入图像的特征都有可能导致重建效果不理想。
基于重建的图像超分辨率重建方法的出发点是假定高分辨率场景经过一系列已知的降质过程,如几何形变、光学模糊、运动模糊、下采样以及噪声叠加,最终形成低分辨率图像。这一过程通常称为成像过程(在数学上称为正向问题)。在此假设基础上,基于重建的图像超分辨率重建方法利用已有的低分辨率图像,把先前假定已知的降质过程作为图像的先验知识,用于恢复出高分辨率图像,并使之尽量接近原始高分辨率场景。由低分辨率图像恢复出高分辨率图像的过程在数学原理上可以归结为对逆问题的求解,而那些先验知识可以作为求解过程的正则项。原理上讲,逆问题的求解过程是一个不适定问题,其难点在于逆问题的解可能不存在、即使存在也不一定唯一、而且解不具有稳定性。这些困难则以不同的形式在图像超分辨率重建过程中体现出来,如重建算法的迭代过程不易收敛、重建过程有一对多的现象、甚至结果图像受实验环境影响而时好时坏等等。可见,这些来源于逆问题求解过程的固有困难,是基于重建的图像超分辨率重建方法的症结所在。更好的方法是放弃假定降质模型,而从现有图像数据中找寻更真实的降质过程的数学描述。
基于学习的图像超分辨率重建方法的基本思路是在训练集中的图像块数据中找寻高、低分辨率图像块间的共生先验或者映射函数(这个过程称为学习);然后将学习到的映射函数应用到低分辨率输入图像来重建高分辨率输出图像。通常,这类方法的训练集由大量自然图像分割得到的图像块构成,其特征分布直接影响到映射函数的学习;简单而言,平滑图像块的数量在总体图像块中占的比重较大,而且重复出现的概率比较高;而非平滑的图像块的数量在总体图像块中占比重较小,重复出现概率较低,但是类型较多。而图像超分辨率重建的关键是对非平滑区域的恢复,其效果直接影响重建结果的评价指标。目前学习类方法中比较常见的包括:稀疏表示法、邻域嵌入法和局部回归法等。首先,这些方法普遍存在的一个缺陷是没有建立一个数学标准用于区分平滑图像块和非平滑图像块。从原理上讲,学习类方法需要对一组符合相同类型分布的图像块数据进行拟合,找到最合适(即残差最小)的数学描述,如高斯模型及相关参数。然而,如果将分布类型差别比较大的数据归为一类而学习,则学习到的模型及参数不能准确反映数据特征,即数据与模型不匹配,或者学习得到了错误的映射关系,这将影响高分辨率图像重建的效果。因此,应对这一缺陷的更好的方法是引入图像块特征分类,即将训练集中的图像块按照特征进行精细划分,以保证的学习到的模型及其参数能准确反映图像特征,为高分辨率图像重建提供准确的数学描述。其次,当前的学习类方法仅学习局部图像块间的映射,缺乏图像的整体性考虑。例如,稀疏表示法,(对应现有算法1:J.Yang,J.Wright,T.S.Huang,and Y.Ma,“Image super-resolution via sparse representation,”IEEE Trans.Image Process.,vol.19,no.11,pp.2861–2873,Nov.2010和现有算法2:R.Zeyde,M.Elad,and M.Protter,“On singleimage scale-up using sparse-representations,”inProc.7th Int.Conf.CurvesSurf.,2010,pp.711–730,原理与算法1相同,在稀疏表示系数的搜索速度上进行了改进),假设高、低分辨率图像块拥有相同的稀疏表示系数,构建出稀疏完备字典。对图像块引入最优的局部稀疏表示模型,并将相邻的、相互重叠的图像块误差作为正则项,重建出高分辨率图像。但由于仅考虑局部特征,使得重建出的高分辨率图像的边缘容易出现人工痕迹。邻域嵌入法,(对应现有算法3:M.Bevilacqua,A.Roumy,C.Guillemot,and M.L.Alberi-Morel,“Low-complexity single-image super-resolution based on nonnegative neighborembedding,”in Proc.Brit.Mach.Vis.Conf.,Sep.2012)假设在局部区域上高、低分辨率图像块有着相同的流型结构。因此低分辨率图像块可以由其相邻低分辨率图像块加权表示;同样利用这些加权系数,高分辨率图像块也可以由其相邻高分辨率图像块加权重建出来。但由于仅使用相邻图像块的特征,使得重建出的高分辨率图像在特征变化缓慢的区域失真严重。局部回归法,(对应现有算法4:R.Timofte,V.De and L.Van Gool,“Anchoredneighborhood regression for fast example-based super-resolution,”IEEEInt.Conf.Comp.Vis.,Sydney,Australia,Dec.2013,pp.1920-1927),假定局部图像块间存在一定的映射关系,通过学习,估计出映射关系的数学描述,进而重建出高分辨率图像。这种方法同样地注重局部特征,忽略全局特征,因而在特征骤变区域容易产生过拟合,导致重建效果下降。综合上述4种算法的不足,可以看出高、低分辨率图像块间的关系比较复杂,仅仅依靠局部特征的训练或学习是不够的;更好的方法是,既要考虑局部图像块间的关系也要考虑训练集整体上关系,甚至考虑图像块间一对多的情形,进而学习更复杂的映射关系。
另外,近些年来基于深度学习的方法开始出现,此类算法尽管在理论上得到较好的重建效果,但是付出的代价也非常高昂。由于算法需要的数据量是常规的基于学习的方法无法比拟的,因而训练时间非常长,而且算法参数冗长且不易控制,同时算法运行需要大量的硬件存储器;另一方面,为了缩短训练时间,算法被移植到高性能硬件平台上运行,随之付出的代价是图形图像处理专用平台的昂贵价格。可见基于深度学习的算法仅在理论上取得较好效果,其实际应用非常受限。
综上所述,现有技术存在的问题是:现有模型没有对训练集中的图像块进行划分,可能出现不合适的特征匹配;现有模型对高、低分辨率图像间映射关系的描述过于简单,可能影响超分辨率重建图像细节的辨识度,降低重建质量。因此,需要一种新的模型来更好地表示图像块,尤其要区分图像块的特征,并充分利用图像块的局部特征和全局特征,进而学习从低分辨率图像到高分辨率图像间更精确的映射关系,最终重建出更好的图像。
发明内容
针对现有技术存在的问题,本发明提供了一种基于欧氏子空间群两重映射的单帧图像超分辨率重建方法。
本发明是这样实现的,一种基于欧氏子空间群两重映射的单帧图像超分辨率重建方法,所述基于欧氏子空间群两重映射的单帧图像超分辨率重建方法包括:
首先,利用自然图像生成初始样本训练集,并对其进行精简和分类得到筛选样本训练集;
其次,对筛选样本训练集提取特征,生成特征训练集,并对其聚类形成欧氏子空间群;
然后,利用线性回归模型依次在欧氏子空间群的每一个局部子空间内计算出由低分辨率图像块到高分辨率图像块的第一重映射系数;
再次,对欧氏子空间群中的每一个低分辨率图像块应用第一重映射系数重建出待选高分辨率图像块,利用多变量线性回归模型计算出由待选高分辨率图像块到真实高分辨率图像块的第二重映射系数;
最后,由测试图像生成测试样本集,依次应用两重映射系数,输出高分辨率重建图像。
进一步,所述基于欧氏子空间群两重映射的单帧图像超分辨率重建方法具体包括以下步骤:
步骤一,构建初始样本训练集T:超分辨率重建倍数为NSR=3,对高分辨率图像下采样为原始大小的1/NSR得到低分辨率图像,使用双立方插值把低分辨率图像放大NSR倍得到插值图像,并与高分辨率图像构成训练集图像对;对训练集图像对取a×a的图像块对,构建初始样本训练集
Figure BDA0001972816690000051
其中xi表示低分辨率图像的图像块,yi表示高分辨率图像的图像块,N为初始样本训练集中包含的图像块对的个数,a=5表示图像块的大小;
步骤二,对初始样本训练集T进行精简和分类得到筛选样本训练集T′:
(1)对初始样本训练集T,挑选低分辨率图像块xi,公式为:
{xi|STD(xi)≥δ,xi∈T};
其中δ=3表示设定的阈值,STD(xi)表示图像块xi的标准差,计算公式如下:
Figure BDA0001972816690000052
其中xi(l)表示低分辨率图像块xi按照行列顺序从上到下,从左到右选取的第l个像素点的像素值;
(2)对(1)中挑选出来的低分辨率图像块xi,计算其曲率
Figure BDA0001972816690000063
公式如下:
Figure BDA0001972816690000064
其中|·|表示取绝对值运算;gηη和gεε分别由:
Figure BDA0001972816690000061
Figure BDA0001972816690000065
计算得到,其中gu和gv分别表示图像块xi的两类一阶梯度,guu、gvv和guv分别表示图像块xi的三类二阶梯度;
(3)对(1)中挑选出来的低分辨率图像块xi,分成T′S、T′M和T′E三类,公式为:
Figure BDA0001972816690000062
其中阈值α=0.5和β=1.5的选取原则满足:T′S中的图像块个数占挑选出的图像块总数的50%,T′M中的图像块个数占挑选出的图像块总数的30%,T′E中的图像块个数占挑选出的图像块总数的20%;
(4)根据T′S、T′M和T′E三类中的低分辨率图像块,找到其对应位置上的高分辨率图像块,最终构成筛选样本训练集T′={T′S,T′M,T′E};
步骤三,对筛选样本训练集T′提取特征得到特征训练集F;
步骤四,对特征训练集F进行聚类,并与筛选样本训练集T′共同构成欧氏子空间群C;
步骤五,利用欧氏子空间群C计算出基于欧氏子空间群的第一重映射系数W1
步骤六,利用欧氏子空间群C和第一重映射系数W1计算出基于欧氏子空间群的第二重映射系数W2
(1)由低分辨率图像块的欧氏子空间群CXS中所有低分辨率图像块重建出待选的高分辨率图像块;首先对CXS中任一低分辨率图像块xsi进行向量化操作,然后在低分辨率特征的欧氏子空间群CFS中找到其对应的特征向量,接着求特征向量到CFS中所有聚类中心的欧氏距离,保留欧氏距离最小的前k=6个值,记录k个相应的聚类中心及其所在的子空间,找到子空间对应的第一重映射系数W1S中的wsj,j=1,..,k,由公式:
y′j=wsjxsi,j=1,...,k;
计算出k个向量化的待选高分辨率图像块;对CXS中每一个低分辨率图像块重复同样的操作,得到各自对应的向量化的待选高分辨率图像块;
(2)构建待选高分辨率图像块到高分辨率图像块的映射关系;待选高分辨率图像块y′j到高分辨率图像块y的映射关系符合多变量线性回归模型:
y=W2Sy′j,j=1,...,k;
其中W2S为适用于子空间群CXS的映射系数,计算公式如下:
Figure BDA0001972816690000071
其中(·)-1表示矩阵求逆,(·)T表示矩阵转置,常数
Figure BDA0001972816690000072
是设定的正则化参数,取值范围为(0,1),I是单位阵,矩阵Y的每一个列向量是子空间群CYS中的向量化的高分辨率图像块,矩阵Y′的每一个列向量是与子空间群CYS中的向量化的高分辨率图像块对应的k个向量化的待选高分辨率图像块;
(3)除CXS与CYS外,对另外二组对应的子空间群,CXM与CYM以及CXE与CYE,按照与(1)和(2)相同的原理,分别求得另外两组映射系数W2M及W2E;最后将三组子空间群建立的映射系数合在一起,构成基于欧氏子空间群的第二重映射系数W2={W2S,W2M,W2E};
步骤七,由低分辨率输入图像构建低分辨率测试样本集XD
(1)输入待处理的低分辨率彩色图像,将其从RGB图像转换为YCbCr图像,分别得到亮度图像、蓝色色度图像和红色色度图像;
(2)设定超分辨率重建倍数为NSR,利用双立方插值法将亮度图像放大NSR倍得到插值图像;
(3)将插值图像按从上到下、从左到右的顺序分成相互重叠的、大小为a×a的图像块,将图像块组合成低分辨率测试样本集
Figure BDA0001972816690000081
其中xd表示低分辨率测试样本集XD中的第d个图像块,Nt表示图像块的总数;
步骤八,根据第一重映射系数W1和第二重映射系数W2,输出高分辨率重建图像YHR
(1)构建低分辨率输入特征集;对于低分辨率测试样本集XD中的所有图像块,按照与步骤三的(1)相同的原理提取其特征,构建对应的低分辨率输入特征集
Figure BDA0001972816690000082
其中
Figure BDA0001972816690000083
表示低分辨率测试样本集第d个图像块对应的低分辨率输入特征,Nt表示低分辨率输入特征的总数;
(2)利用第一重映射系数W1重建出待选的高分辨率图像块;具体步骤如下:
1)按照与步骤二的(2)相同的原理,计算低分辨率测试样本集XD中任意一个图像块xd的曲率;再根据与步骤二的(3)中相同的原理,由阈值α和β判断其所属类别;
2)按照与步骤六的(1)相同的原理,根据所属类别计算低分辨率输入特征
Figure BDA0001972816690000084
与对应的低分辨率特征的欧氏子空间群CF中所有聚类中心的欧氏距离,保留欧氏距离最小的前k个值,记录k个相应的聚类中心及其所在的子空间,找到子空间对应的第一重映射系数W1中的wj,由如下公式:
y′j=wjxd,j=1,...,k;
求得k个向量化的待选高分辨率图像块;
(3)利用对应的第二重映射系数W2,通过公式:
y=W2y′j,j=1,..,k;
将k个向量化的待选高分辨率图像块融合成一个向量化的高分辨率重建图像块y;
(4)对低分辨率测试样本集XD中所有的图像块,重复(2)和(3),得到所有向量化的高分辨率重建图像块,并将其恢复成a×a的图像块,然后按照其在插值图像上的位置拼接起来,重叠区域像素取平均值,得到高分辨率重建亮度图像;
(5)将步骤七的(1)中输入的蓝色色度图像和红色色度图像分别插值法放大NSR倍,与高分辨率重建亮度图像一起从YCbCr图像转换为RGB图像,得到彩色的高分辨率重建图像。
进一步,所述步骤三的对筛选样本训练集T′提取特征得到特征训练集F具体包括:
(1)对筛选样本训练集T′中所有低分辨率图像块提取特征fi,公式为:
Figure BDA0001972816690000091
其中:
Figure BDA0001972816690000092
Figure BDA0001972816690000093
Figure BDA0001972816690000094
其中x(i,j)表示低分辨率图像块的像素值;最终根据筛选样本训练集T′={T′S,T′M,T′E}构成对应的特征训练集F={FS,FM,FE}。
进一步,所述步骤四的对特征训练集F进行聚类,并与筛选样本训练集T′共同构成欧氏子空间群C具体包括:
(1)对特征训练集F,利用K-Means聚类算法进行聚类,得到低分辨率特征的欧氏子空间群CF={CFS={cfsj,cfscj},CFM={cfmj,cfmcj},CFE={cfej,cfecj}};其中cfsj,cfmj和cfej分别表示低分辨率特征的欧氏子空间群CFS,CFM和CFE的第j个子空间,cfecj,cfmcj和cfecj分别为对应的聚类中心;
(2)利用筛选样本训练集T′中与欧氏子空间群CF对应的低分辨率图像块构建低分辨率图像块的欧氏子空间群CX={CXS,CXM,CXE};
(3)根据低分辨率的欧氏子空间群CX,挑选样本训练集T′中对应的高分辨率图像块构建高分辨率图像块的欧氏子空间群CY={CYS,CYM,CYE};
(4)合成欧氏子空间群C={CF,CX,CY}。
进一步,所述步骤五的利用欧氏子空间群C计算出基于欧氏子空间群的第一重映射系数W1具体包括:
(1)构建子空间内低分辨率图像块到高分辨率图像块的映射关系;低分辨率图像块的欧氏子空间群CXS中第j个子空间cxsj中任一低分辨率图像块xsi到对应高分辨率图像块的欧氏子空间群CYS中第j个子空间cysj中的高分辨率图像块ysi的映射关系符合线性回归模型,即:
ysi=wsjxsi
其中wsj为适用于子空间cxsj的映射系数,计算公式如下:
Figure BDA0001972816690000102
其中(·)-1表示矩阵求逆,(·)T表示矩阵转置,常数
Figure BDA0001972816690000101
是设定的正则化参数,取值范围为(0,1),I是单位阵,矩阵cxsj的每一个列向量是子空间cxsj中的向量化的图像块,矩阵cysj的每一个列向量是子空间cysj中的向量化的图像块;对子空间群CXS与CYS中所有的子空间分别求映射系数,最终得到W1S={wsj};
(2)除CXS与CYS外,对另外二组对应的子空间群,CXM与CYM以及CXE与CYE按照与(1)相同的原理,分别求得由CXM到CYM及由CXE到CYE的映射系数W1M={wmj}及W1E={wej};最后将三组子空间群建立的映射系数合在一起,构成基于欧氏子空间群的第一重映射系数W1={W1S,W1M,W1E}。
本发明的另一目的在于提供一种应用所述于欧氏子空间群两重映射的单帧图像超分辨率重建方法的视频监控图像处理系统。
本发明的另一目的在于提供一种应用所述于欧氏子空间群两重映射的单帧图像超分辨率重建方法的高清影像图像处理系统。
本发明的另一目的在于提供一种应用所述于欧氏子空间群两重映射的单帧图像超分辨率重建方法的无人机图像处理系统。
本发明的另一目的在于提供一种应用所述于欧氏子空间群两重映射的单帧图像超分辨率重建方法的遥感图像处理系统。
本发明的另一目的在于提供一种应用所述于欧氏子空间群两重映射的单帧图像超分辨率重建方法的医学图像处理系统。
综上所述,本发明的优点及积极效果为:与现有的超分辨率技术相比,本发明具有以下优点:
第一,本发明通过对训练集精简和分类,降低了其冗余度,使得后续模型的训练更有针对性,更为高效;通过对欧氏子空间群建立两重映射关系,使得最终得到的高分辨率输出图像块更为准确。
第二,本发明与现有的其它图像超分辨率算法相比,在纹理区域上有更丰富的重建细节信息,在视觉感知上更接近原始高分辨率图像。
第三,本发明可以应用在视频监控、高清影像、无人机成像、遥感及医学图像处理等领域。图8所示是采用图像超分辨率重建方法的视频监控图像处理系统框图。该系统可以用于道路交通的车牌识别和管理。车牌作为区分汽车的重要标志,在道路交通方面意义重大。然而由于其自身面积小,加上汽车运动、光照等因素的影响,使得监控摄像头拍下的车牌图像往往比较模糊,无法辨识。而利用图像超分辨率重建算法可以提升车牌的分辨率,提高车牌的辨识度,进而获得更多的车牌信息。图9是基于智能手机平台的采用图像超分辨率重建方法的高清影像处理系统框图。随着智能手机应用范围不断推广,用户对于手机拍照的要求也越来越高;但受限于手机硬件规模和成像条件,拍摄的图像会出现不同程度的模糊,影响使用效果。通过图像超分辨率重建算法可以减轻图像模糊的影响,增加图像的细节,改善用户的体验。如图10是采用图像超分辨率重建方法的无人机图像处理系统框图。由于受到飞行环境的影响,无人机在航拍过程中会出现机身不稳定的情况,会使拍摄的图像或视频产生运动模糊。而引入图像超分辨率重建算法,可以恢复更多的图像细节,提升图像或视频的分辨率。如图11是采用图像超分辨率重建方法的遥感图像处理系统框图。遥感成像设备在工作时会受到诸如大气扰动、运动不稳等各种因素的影响,使成像结果模糊,导致目标不易辨识。而利用图像超分辨率重建算法可以针对感兴趣区域进行超分辨率重建,增强细节,提升目标辨识度。如图12是采用图像超分辨率重建方法的医学图像处理系统框图。医学图像中病变区域往往细小且不易察觉。因此可以利用图像超分辨率重建算法来提高医学图像分辨率,增加细节信息,协助医生对判读图像,提高诊断准确率,减小误诊。综上所述,在以上方面应用本发明可以获得有益效果。
附图说明
图1是本发明实施例提供的基于欧氏子空间群两重映射的单帧图像超分辨率重建方法流程简图。
图2是本发明实施例提供的基于欧氏子空间群两重映射的单帧图像超分辨率重建方法实现逻辑框图。
图3是本发明实施例提供的涉及的子空间关系图。
图4是本发明实施例提供的以图像butterfly为例,本发明算法与现有4种算法的实验结果对比图。
图5是本发明实施例提供的以图像zebra为例,本发明算法与现有4种算法的实验结果对比图。
图6是本发明实施例提供的以图像tiger为例,本发明算法与现有4种算法的实验结果对比图。
图7是本发明参数k与重建图像质量的关系曲线图。
图8是本发明实施例提供的采用图像超分辨率重建方法的视频监控图像处理系统框图。
图9是本发明实施例提供的采用图像超分辨率重建方法的高清影像图像处理系统框图。
图10是本发明实施例提供的采用图像超分辨率重建方法的无人机图像处理系统框图。
图11是本发明实施例提供的采用图像超分辨率重建方法的遥感图像处理系统框图。
图12是本发明实施例提供的采用图像超分辨率重建方法的医学图像处理系统框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对现有技术可能出现不合适的特征匹配,从而产生振铃或者噪声伪迹,影响最终超分辨率重建图像细节的辨识度,降低重建质量,实用性差的缺点,本发明基于欧氏子空间群两重映射的单帧图像超分辨率重建算法,以减少振铃或者噪声轨迹,恢复更多的高频细节信息,提高重建图像的质量。同时,算法软件及硬件成本低廉,即使在中低水平的硬件平台上也可运行;独立及移动图像处理平台同样适用。
下面结合附图对本发明的应用原理作详细的描述。
如图1所示,本发明实施例提供的基于欧氏子空间群两重映射的单帧图像超分辨率重建方法包括以下步骤:
S101:利用自然图像生成初始样本训练集,并对其进行精简和分类得到筛选样本训练集;
S102:对筛选样本训练集提取特征,生成特征训练集,并对其聚类形成欧氏子空间群;
S103:利用线性回归模型依次在欧氏子空间群的每一个局部子空间内计算出由低分辨率图像块到高分辨率图像块的第一重映射系数;
S104:对欧氏子空间群中的每一个低分辨率图像块应用第一重映射系数重建出待选高分辨率图像块,利用多变量线性回归模型计算出由待选高分辨率图像块到真实高分辨率图像块的第二重映射系数;
S105:由测试图像生成测试样本集,依次应用两重映射系数,输出高分辨率重建图像。
下面结合附图对本发明的应用原理作进一步的描述。
如图2所示,本发明实施例提供的基于欧氏子空间群两重映射的单帧图像超分辨率重建方法具体包括以下步骤:
步骤一,构建初始样本训练集T:
设定超分辨率重建倍数为NSR=3,对高分辨率图像下采样为原始大小的1/NSR得到低分辨率图像,然后使用双立方插值把低分辨率图像放大NSR倍得到插值图像,并与高分辨率图像构成训练集图像对;对训练集图像对取a×a的图像块对,构建初始样本训练集
Figure BDA0001972816690000141
其中xi表示低分辨率图像的图像块,yi表示高分辨率图像的图像块,N为初始样本训练集中包含的图像块对的个数,a=5表示图像块的大小。
步骤二,对初始样本训练集T进行精简和分类得到筛选样本训练集T′:
(1)对初始样本训练集T,挑选低分辨率图像块xi,公式为:
{xi|STD(xi)≥δ,xi∈T-;
其中δ=3表示设定的阈值,STD(xi)表示图像块xi的标准差,计算公式如下:
Figure BDA0001972816690000142
其中xi(l)表示低分辨率图像块xi按照行列顺序从上到下,从左到右选取的第l个像素点的像素值。
(2)对(1)中挑选出来的低分辨率图像块xi,计算其曲率
Figure BDA0001972816690000143
公式如下:
Figure BDA0001972816690000151
其中|·|表示取绝对值运算;gηη和gεε分别由:
Figure BDA0001972816690000152
Figure BDA0001972816690000153
计算得到,其中gu和gv分别表示图像块xi的两类一阶梯度,guu、gvv和guv分别表示图像块xi的三类二阶梯度。
(3)对(1)中挑选出来的低分辨率图像块xi,分成T′S、T′M和T′E三类,公式为:
Figure BDA0001972816690000154
其中阈值α=0.5和β=1.5的选取原则满足:T′S中的图像块个数占挑选出的图像块总数的50%,T′M中的图像块个数占挑选出的图像块总数的30%,T′E中的图像块个数占挑选出的图像块总数的20%。
(4)根据T′S、T′M和T′E三类中的低分辨率图像块,找到其对应位置上的高分辨率图像块,最终构成筛选样本训练集T′={T′S,T′M,T′E}。
步骤三,对筛选样本训练集T′提取特征得到特征训练集F:
(1)对筛选样本训练集T′中所有低分辨率图像块提取特征fi,公式为:
Figure BDA0001972816690000155
其中:
Figure BDA0001972816690000156
Figure BDA0001972816690000161
Figure BDA0001972816690000162
其中x(i,j)表示低分辨率图像块的像素值;最终根据筛选样本训练集T′={T′S,T′M,T′E}构成对应的特征训练集F={FS,FM,FE}。
步骤四,对特征训练集F进行聚类,并与筛选样本训练集T′共同构成欧氏子空间群C:
(1)对特征训练集F,利用K-Means聚类算法进行聚类,得到低分辨率特征的欧氏子空间群CF={CFS={cfsj,cfscj},CFM={cfmj,cfmcj},CFE={cfej,cfecj}};其中cfsj,cfmj和cfej分别表示低分辨率特征的欧氏子空间群CFS,CFM和CFE的第j个子空间,cfscj,cfmcj和cfecj分别为对应的聚类中心;
(2)利用筛选样本训练集T′中与欧氏子空间群CF对应的低分辨率图像块构建低分辨率图像块的欧氏子空间群CX={CXS,CXM,CXE};
(3)根据低分辨率的欧氏子空间群CX,挑选样本训练集T′中对应的高分辨率图像块构建高分辨率图像块的欧氏子空间群CY={CYS,CYM,CYE};
(4)合成欧氏子空间群C={CF,CX,CY}。
步骤五,利用欧氏子空间群C计算出基于欧氏子空间群的第一重映射系数W1
(1)构建子空间内低分辨率图像块到高分辨率图像块的映射关系(第一重映射关系)。假设低分辨率图像块的欧氏子空间群CXS中第j个子空间cxsj中任一低分辨率图像块xsi到对应高分辨率图像块的欧氏子空间群CYS中第j个子空间cysj中的高分辨率图像块ysi的映射关系符合线性回归模型,即:
ysi=wsjxsi
其中wsj为适用于子空间cxsj的映射系数,计算公式如下:
Figure BDA0001972816690000172
其中(·)-1表示矩阵求逆,(·)T表示矩阵转置,常数
Figure BDA0001972816690000171
是设定的正则化参数(取值范围为(0,1)),I是单位阵,矩阵cxsj的每一个列向量是子空间cxsj中的向量化的图像块,矩阵cysj的每一个列向量是子空间cysj中的向量化的图像块。对子空间群CXS与CYS中所有的子空间分别求映射系数,最终得到W1S={wsj}
(2)除CXS与CYS外,对另外二组对应的子空间群,CXM与CYM以及CXE与CYE按照与(1)相同的原理,分别求得由CXM到CYM及由CXE到CYE的映射系数W1M={wmj}及W1E={wej};最后将三组子空间群建立的映射系数合在一起,构成基于欧氏子空间群的第一重映射系数W1={W1S,W1M,W1E}。
步骤六,利用欧氏子空间群C和第一重映射系数W1计算出基于欧氏子空间群的第二重映射系数W2
(1)由低分辨率图像块的欧氏子空间群CXS中所有低分辨率图像块重建出待选的高分辨率图像块。首先对CXS中任一低分辨率图像块xsi进行向量化操作,然后在低分辨率特征的欧氏子空间群CFS中找到其对应的特征向量,接着求特征向量到CFS中所有聚类中心的欧氏距离,保留欧氏距离最小的前k=6个值,记录k个相应的聚类中心及其所在的子空间,找到子空间对应的第一重映射系数W1S中的wsj,j=1,..,k,由公式:
y′j=wsjxsi,j=1,...,k;
计算出k个向量化的待选高分辨率图像块。对CXS中每一个低分辨率图像块重复同样的操作,得到各自对应的向量化的待选高分辨率图像块;
(2)构建待选高分辨率图像块到高分辨率图像块的映射关系(第二重映射关系)。假设待选高分辨率图像块y′j到高分辨率图像块y的映射关系符合多变量线性回归模型:
y=W2Sy′j,j=1,…,k;
其中W2S为适用于子空间群CXS的映射系数,计算公式如下:
Figure BDA0001972816690000184
其中(·)-1表示矩阵求逆,(·)T表示矩阵转置,常数
Figure BDA0001972816690000181
是设定的正则化参数(取值范围为(0,1)),I是单位阵,矩阵Y的每一个列向量是子空间群CYS中的向量化的高分辨率图像块,矩阵Y′的每一个列向量是与子空间群CYS中的向量化的高分辨率图像块对应的k个向量化的待选高分辨率图像块;
(3)除CXS与CYS外,对另外二组对应的子空间群,CXM与CYM以及CXE与CYE,按照与(1)和(2)相同的原理,分别求得另外两组映射系数W2M及W2E;最后将三组子空间群建立的映射系数合在一起,构成基于欧氏子空间群的第二重映射系数W2={W2S,W2M,W2E}。
步骤七,由低分辨率输入图像构建低分辨率测试样本集XD
(1)输入待处理的低分辨率彩色图像,将其从RGB图像转换为YCbCr图像,分别得到亮度图像、蓝色色度图像和红色色度图像;
(2)设定超分辨率重建倍数为NSR,利用双立方插值法将亮度图像放大NSR倍得到插值图像;
(3)将插值图像按从上到下、从左到右的顺序分成相互重叠的、大小为a×a的图像块,将这些图像块组合成低分辨率测试样本集
Figure BDA0001972816690000182
其中xd表示低分辨率测试样本集XD中的第d个图像块,Nt表示图像块的总数。
步骤八,根据第一重映射系数W1和第二重映射系数W2,输出高分辨率重建图像YHR
(1)构建低分辨率输入特征集。对于低分辨率测试样本集XD中的所有图像块,按照与步骤三的(1)相同的原理提取其特征,构建对应的低分辨率输入特征集
Figure BDA0001972816690000183
其中
Figure BDA0001972816690000185
表示低分辨率测试样本集第d个图像块对应的低分辨率输入特征,Nt表示低分辨率输入特征的总数;
(2)利用第一重映射系数W1重建出待选的高分辨率图像块。具体步骤如下:
1)按照与步骤二的(2)相同的原理,计算低分辨率测试样本集XD中任意一个图像块xd的曲率;再根据与步骤二的(3)中相同的原理,由阈值α和β判断其所属类别。
2)按照与步骤六的(1)相同的原理,根据所属类别计算低分辨率输入特征
Figure BDA0001972816690000191
与对应的低分辨率特征的欧氏子空间群CF(可能是CFS、CFM或CFE)中所有聚类中心的欧氏距离,保留欧氏距离最小的前k个值,记录k个相应的聚类中心及其所在的子空间,找到子空间对应的第一重映射系数W1中的wj,由如下公式:
y′j=wjxd,j=1,...,k;
求得k个向量化的待选高分辨率图像块。
(3)利用对应的第二重映射系数W2,通过公式:
y=W2y′j,j=1,...,k;
将k个向量化的待选高分辨率图像块融合成一个向量化的高分辨率重建图像块y;
(4)对低分辨率测试样本集XD中所有的图像块,重复(2)和(3),得到所有向量化的高分辨率重建图像块,并将其恢复成a×a的图像块,然后按照其在插值图像上的位置拼接起来,重叠区域像素取平均值,得到高分辨率重建亮度图像;
(5)将步骤七的(1)中输入的蓝色色度图像和红色色度图像分别插值法放大NSR倍,与高分辨率重建亮度图像一起从YCbCr图像转换为RGB图像,得到彩色的高分辨率重建图像。
下面结合仿真对本发明的应用效果作详细的描述。
(1)仿真条件
本发明的实验是在CPU为Intel i5-3230M2.60GHz,内存为8G,操作系统为Win10,仿真平台为MATLAB 2017a上进行。
仿真实验中,将本发明算法与现有的ScSR,Zeyde,NE-based,ANR共4种算法进行对比分析,其中:
算法1:ScSR对应参考文献为J.Yang,J.Wright,T.S.Huang,and Y.Ma,“Imagesuper-resolution via sparse representation,”IEEE Trans.Image Process.,vol.19,no.11,pp.2861–2873,Nov.2010.
算法2:Zeyde对应参考文献为R.Zeyde,M.Elad,and M.Protter,“On singleimage scale-up using sparse-representations,”in Proc.7th Int.Conf.CurvesSurf.,2010,pp.711–730.
算法3:NE-based对应参考文献为M.Bevilacqua,A.Roumy,C.Guillemot,andM.L.Alberi-Morel,“Low-complexity single-image super-resolutionbased onnonnegative neighbor embedding,”inProc.Brit.Mach.Vis.Conf.,Sep.2012.
算法4:ANR对应参考文献为R.Timofte,V.De and L.Van Gool,“Anchoredneighborhood regression for fast example-based super-resolution,”IEEEInt.Conf.Comp.Vis.,Sydney,Australia,Dec.2013,pp.1920-1927.
(2)仿真内容
实验1,用本发明算法和上述现有的4种算法对butterfly图像进行仿真测试,结果如图4。其中,图4(a)是ScSR超分辨率重建的结果;图4(b)是Zeyde超分辨率重建的结果;图4(c)是NE-based超分辨率重建的结果;图4(d)是ANR超分辨率重建的结果;图4(e)是本发明超分辨率重建的结果;图4(f)是真实的高分辨率图像。
图4的仿真结果说明其它方法在一定程度上能恢复高分辨率图像中缺失的像素,丰富图像的纹理细节,但这些方法恢复出的纹理细节都比较模糊,而4(e)则明显有更好的恢复效果。对比可知,本发明的超分辨率结果不仅边缘清晰,而且细节保持更好,与真实的高分辨率图像更为接近。
实验二,用本发明算法和上述现有的4种算法对tiger图像进行仿真测试,结果如图5。其中,图5(a)是ScSR超分辨率重建的结果;图5(b)是Zeyde超分辨率重建的结果;图5(c)是NE-based超分辨率重建的结果;图5(d)是ANR超分辨率重建的结果;图5(e)是本发明超分辨率重建的结果;图5(f)是真实的高分辨率图像。
图5的仿真结果表明,其它方法对老虎身上的条纹均有一定的失真现象,本发明对老虎身上的条纹相比其他方法有更好的重建效果,与真实的高分辨率图像更为接近。
实验三,用本发明算法和上述现有的4种算法对zebra图像进行仿真测试,结果如图6。其中,图6(a)是ScSR超分辨率重建的结果;图6(b)是Zeyde超分辨率重建的结果;图6(c)是NE-based超分辨率重建的结果;图6(d)是ANR超分辨率重建的结果;图6(e)是本发明超分辨率重建的结果;图6(f)是真实的高分辨率图像。
图6的仿真结果表明,其它方法在斑马脸部纹理区域的水彩等人工伪迹更为突出,本发明对斑马脸部左侧的纹理相比其他方法有更好的重建效果,与真实的高分辨率图像更为接近。
客观评价方面,采用峰值信噪比(Peak Signal Noise Ratio,PSNR)作为评价标准。PSNR的单位为dB,PSNR越大,说明重建图像与真实图像越接近。
表1.本发明算法和四种对比算法对图像重建得到的PSNR(放大倍数NSR为3)
图像 ScSR Zeyde NE-based ANR 本发明
butterfly 25.6 25.9 25.6 25.9 27.6
tiger 27.1 27.2 27.1 27.2 27.5
zebra 28.0 28.5 28.1 28.4 29.0
从表1可见,客观评价方面,本发明算法的PSNR均高于前四种算法,说明本发明算法的重建出的图像更好,与真实图像更为接近。
表2.本发明算法和四种对比算法对图像butterfly重建的时间(放大倍数NSR为3,时间单位为秒)
算法 ScSR Zeyde NE-based ANR 本发明
时间 32.2 1.2 10.0 0.3 1.0
从表2可见,本发明算法的重建时间也比较短的,可以作为近似实时的超分辨率重建算法。
图7是对本发明的参数k与重建图像质量的关系曲线图。参数k,即低分辨率图像块对应的待选高分辨率图像块的个数。k值过小,可能导致最后重建出的高分辨率图像块的细节信息不够;而k值过大,可能会引入不相关信息,导致重建出的高分辨率图像块含有人工痕迹。由此可见,k值的选取是图像超分辨率重建算法的重要参数。通过一系列的实验并进行数据分析,得到参数k与重建图像质量的关系曲线,如图7所示。从图7可以看出,k的最佳取值为6。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于欧氏子空间群两重映射的单帧图像超分辨率重建方法,其特征在于,所述基于欧氏子空间群两重映射的单帧图像超分辨率重建方法包括:
首先,利用自然图像生成初始样本训练集,并对其进行精简和分类得到筛选样本训练集;
其次,对筛选样本训练集提取特征,生成特征训练集,并对其聚类形成欧氏子空间群;
然后,利用线性回归模型依次在欧氏子空间群的每一个局部子空间内计算出由低分辨率图像块到高分辨率图像块的第一重映射系数;
再次,对欧氏子空间群中的每一个低分辨率图像块应用第一重映射系数重建出待选高分辨率图像块,利用多变量线性回归模型计算出由待选高分辨率图像块到真实高分辨率图像块的第二重映射系数;
最后,由测试图像生成测试样本集,依次应用两重映射系数,输出高分辨率重建图像。
2.如权利要求1所述的基于欧氏子空间群两重映射的单帧图像超分辨率重建方法,其特征在于,所述基于欧氏子空间群两重映射的单帧图像超分辨率重建方法具体包括以下步骤:
步骤一,构建初始样本训练集T:超分辨率重建倍数为NSR=3,对高分辨率图像下采样为原始大小的1/NSR得到低分辨率图像,使用双立方插值把低分辨率图像放大NSR倍得到插值图像,并与高分辨率图像构成训练集图像对;对训练集图像对取a×a的图像块对,构建初始样本训练集
Figure FDA0001972816680000011
其中xi表示低分辨率图像的图像块,yi表示高分辨率图像的图像块,N为初始样本训练集中包含的图像块对的个数,a=5表示图像块的大小;
步骤二,对初始样本训练集T进行精简和分类得到筛选样本训练集T′:
(1)对初始样本训练集T,挑选低分辨率图像块xi,公式为:
{xi|STD(xi)≥δ,xi∈T};
其中δ=3表示设定的阈值,STD(xi)表示图像块xi的标准差,计算公式如下:
Figure FDA0001972816680000021
其中xi(l)表示低分辨率图像块xi按照行列顺序从上到下,从左到右选取的第l个像素点的像素值;
(2)对(1)中挑选出来的低分辨率图像块xi,计算其曲率
Figure FDA0001972816680000022
公式如下:
Figure FDA0001972816680000023
其中|·|表示取绝对值运算;gηη和gεε分别由:
Figure FDA0001972816680000024
Figure FDA0001972816680000025
计算得到,其中gu和gv分别表示图像块xi的两类一阶梯度,guu、gvv和guv分别表示图像块xi的三类二阶梯度;
(3)对(1)中挑选出来的低分辨率图像块xi,分成T′S、T′M和T′E三类,公式为:
Figure FDA0001972816680000026
其中阈值α=0.5和β=1.5的选取原则满足:T′S中的图像块个数占挑选出的图像块总数的50%,T′M中的图像块个数占挑选出的图像块总数的30%,T′E中的图像块个数占挑选出的图像块总数的20%;
(4)根据T′S、T′M和T′E三类中的低分辨率图像块,找到其对应位置上的高分辨率图像块,最终构成筛选样本训练集T′={T′S,T′M,T′E};
步骤三,对筛选样本训练集T′提取特征得到特征训练集F;
步骤四,对特征训练集F进行聚类,并与筛选样本训练集T′共同构成欧氏子空间群C;
步骤五,利用欧氏子空间群C计算出基于欧氏子空间群的第一重映射系数W1
步骤六,利用欧氏子空间群C和第一重映射系数W1计算出基于欧氏子空间群的第二重映射系数W2
(1)由低分辨率图像块的欧氏子空间群CXS中所有低分辨率图像块重建出待选的高分辨率图像块;首先对CXS中任一低分辨率图像块xsi进行向量化操作,然后在低分辨率特征的欧氏子空间群CFS中找到其对应的特征向量,接着求特征向量到CFS中所有聚类中心的欧氏距离,保留欧氏距离最小的前k=6个值,记录k个相应的聚类中心及其所在的子空间,找到子空间对应的第一重映射系数W1S中的wsj,j=1,..,k,由公式:
y′j=wsjxsi,j=1,...,k;
计算出k个向量化的待选高分辨率图像块;对CXS中每一个低分辨率图像块重复同样的操作,得到各自对应的向量化的待选高分辨率图像块;
(2)构建待选高分辨率图像块到高分辨率图像块的映射关系;待选高分辨率图像块y′j到高分辨率图像块y的映射关系符合多变量线性回归模型:
y=W2Sy′j,j=1,...,k;
其中W2S为适用于子空间群CXS的映射系数,计算公式如下:
Figure FDA0001972816680000031
其中(·)-1表示矩阵求逆,(·)T表示矩阵转置,常数
Figure FDA0001972816680000032
是设定的正则化参数,取值范围为(0,1),I是单位阵,矩阵Y的每一个列向量是子空间群CYS中的向量化的高分辨率图像块,矩阵Y′的每一个列向量是与子空间群CYS中的向量化的高分辨率图像块对应的k个向量化的待选高分辨率图像块;
(3)除CXS与CYS外,对另外二组对应的子空间群,CXM与CYM以及CXE与CYE,按照与(1)和(2)相同的原理,分别求得另外两组映射系数W2M及W2E;最后将三组子空间群建立的映射系数合在一起,构成基于欧氏子空间群的第二重映射系数W2={W2S,W2M,W2E};
步骤七,由低分辨率输入图像构建低分辨率测试样本集XD
(1)输入待处理的低分辨率彩色图像,将其从RGB图像转换为YCbCr图像,分别得到亮度图像、蓝色色度图像和红色色度图像;
(2)设定超分辨率重建倍数为XSR,利用双立方插值法将亮度图像放大NSR倍得到插值图像;
(3)将插值图像按从上到下、从左到右的顺序分成相互重叠的、大小为a×a的图像块,将图像块组合成低分辨率测试样本集
Figure FDA0001972816680000041
其中xd表示低分辨率测试样本集XD中的第d个图像块,Nt表示图像块的总数;
步骤八,根据第一重映射系数W1和第二重映射系数W2,输出高分辨率重建图像YHR
(1)构建低分辨率输入特征集;对于低分辨率测试样本集XD中的所有图像块,按照与步骤三的(1)相同的原理提取其特征,构建对应的低分辨率输入特征集
Figure FDA0001972816680000042
其中
Figure FDA0001972816680000043
表示低分辨率测试样本集第d个图像块对应的低分辨率输入特征,Nt表示低分辨率输入特征的总数;
(2)利用第一重映射系数W1重建出待选的高分辨率图像块;具体步骤如下:
1)按照与步骤二的(2)相同的原理,计算低分辨率测试样本集XD中任意一个图像块xd的曲率;再根据与步骤二的(3)中相同的原理,由阈值α和β判断其所属类别;
2)按照与步骤六的(1)相同的原理,根据所属类别计算低分辨率输入特征
Figure FDA0001972816680000044
与对应的低分辨率特征的欧氏子空间群CF中所有聚类中心的欧氏距离,保留欧氏距离最小的前k个值,记录k个相应的聚类中心及其所在的子空间,找到子空间对应的第一重映射系数W1中的wj,由如下公式:
y′j=wjxd,j=1,...,k;
求得k个向量化的待选高分辨率图像块;
(3)利用对应的第二重映射系数W2,通过公式:
y=W2y′j,j=1,..,k;
将k个向量化的待选高分辨率图像块融合成一个向量化的高分辨率重建图像块y;
(4)对低分辨率测试样本集XD中所有的图像块,重复(2)和(3),得到所有向量化的高分辨率重建图像块,并将其恢复成a×a的图像块,然后按照其在插值图像上的位置拼接起来,重叠区域像素取平均值,得到高分辨率重建亮度图像;
(5)将步骤七的(1)中输入的蓝色色度图像和红色色度图像分别插值法放大NSR倍,与高分辨率重建亮度图像一起从YCbCr图像转换为RGB图像,得到彩色的高分辨率重建图像。
3.如权利要求2所述的基于欧氏子空间群两重映射的单帧图像超分辨率重建方法,其特征在于,所述步骤三的对筛选样本训练集T′提取特征得到特征训练集F具体包括:
(1)对筛选样本训练集T′中所有低分辨率图像块提取特征fi,公式为:
Figure FDA0001972816680000051
其中:
Figure FDA0001972816680000052
Figure FDA0001972816680000053
Figure FDA0001972816680000054
其中x(i,j)表示低分辨率图像块的像素值;最终根据筛选样本训练集T′={T′S,T′M,T′E}构成对应的特征训练集F={FS,FM,FE}。
4.如权利要求2所述的基于欧氏子空间群两重映射的单帧图像超分辨率重建方法,其特征在于,所述步骤四的对特征训练集F进行聚类,并与筛选样本训练集T′共同构成欧氏子空间群C具体包括:
(1)对特征训练集F,利用K-Means聚类算法进行聚类,得到低分辨率特征的欧氏子空间群CF={CFS={cfsj,cfscj},CFM={cfmj,cfmcj},CFE={cfej,cfecj}};其中cfsj,cfmj和cfej分别表示低分辨率特征的欧氏子空间群CFS,CFM和CFE的第j个子空间,cfscj,cfmcj和cfecj分别为对应的聚类中心;
(2)利用筛选样本训练集T′中与欧氏子空间群CF对应的低分辨率图像块构建低分辨率图像块的欧氏子空间群CX={CXS,CXM,CXE};
(3)根据低分辨率的欧氏子空间群CX,挑选样本训练集T′中对应的高分辨率图像块构建高分辨率图像块的欧氏子空间群CY={CYS,CYM,CYE};
(4)合成欧氏子空间群C={CF,CX,CY}。
5.如权利要求2所述的基于欧氏子空间群两重映射的单帧图像超分辨率重建方法,其特征在于,所述步骤五的利用欧氏子空间群C计算出基于欧氏子空间群的第一重映射系数W1具体包括:
(1)构建子空间内低分辨率图像块到高分辨率图像块的映射关系;低分辨率图像块的欧氏子空间群CXS中第j个子空间cxsj中任一低分辨率图像块xsi到对应高分辨率图像块的欧氏子空间群CYS中第j个子空间cysj中的高分辨率图像块ysi的映射关系符合线性回归模型,即:
ysi=wsjxsi
其中wsj为适用于子空间cxsj的映射系数,计算公式如下:
Figure FDA0001972816680000061
其中(·)-1表示矩阵求逆,(·)T表示矩阵转置,常数
Figure FDA0001972816680000062
是设定的正则化参数,取值范围为(0,1),I是单位阵,矩阵cxsj的每一个列向量是子空间cxsj中的向量化的图像块,矩阵cysj的每一个列向量是子空间cysj中的向量化的图像块;对子空间群CXS与CYS中所有的子空间分别求映射系数,最终得到W1S={wsj};
(2)除CXS与CYS外,对另外二组对应的子空间群,CXM与CYM以及CXE与CYE按照与(1)相同的原理,分别求得由CXM到CYM及由CXE到CYE的映射系数W1M={wmj}及W1E={wej};最后将三组子空间群建立的映射系数合在一起,构成基于欧氏子空间群的第一重映射系数W1={W1S,W1M,W1E}。
6.一种应用权利要求1~5任意一项所述基 于欧氏子空间群两重映射的单帧图像超分辨率重建方法的视频监控图像处理系统。
7.一种应用权利要求1~5任意一项所述基 于欧氏子空间群两重映射的单帧图像超分辨率重建方法的高清影像图像处理系统。
8.一种应用权利要求1~5任意一项所述基 于欧氏子空间群两重映射的单帧图像超分辨率重建方法的无人机图像处理系统。
9.一种应用权利要求1~5任意一项所述基 于欧氏子空间群两重映射的单帧图像超分辨率重建方法的遥感图像处理系统。
10.一种应用权利要求1~5任意一项所述基 于欧氏子空间群两重映射的单帧图像超分辨率重建方法的医学图像处理系统。
CN201910123585.9A 2019-02-18 2019-02-18 基于欧氏子空间群两重映射的单帧图像超分辨率重建方法 Active CN110020986B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910123585.9A CN110020986B (zh) 2019-02-18 2019-02-18 基于欧氏子空间群两重映射的单帧图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910123585.9A CN110020986B (zh) 2019-02-18 2019-02-18 基于欧氏子空间群两重映射的单帧图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN110020986A CN110020986A (zh) 2019-07-16
CN110020986B true CN110020986B (zh) 2022-12-30

Family

ID=67189009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910123585.9A Active CN110020986B (zh) 2019-02-18 2019-02-18 基于欧氏子空间群两重映射的单帧图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN110020986B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429350B (zh) * 2020-03-24 2023-02-24 安徽工业大学 一种手机拍照快速超分辨处理方法
CN114723604B (zh) * 2022-02-21 2023-02-10 福建八萃网络科技有限公司 一种基于样本数据集优化的视频超分辨率方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631807A (zh) * 2015-12-21 2016-06-01 西安电子科技大学 基于稀疏域选取的单帧图像超分辨重建方法
WO2018120329A1 (zh) * 2016-12-28 2018-07-05 深圳市华星光电技术有限公司 基于稀疏域重构的单帧图像超分辨重建方法及装置
CN108764368A (zh) * 2018-06-07 2018-11-06 西安邮电大学 一种基于矩阵映射的图像超分辨率重建方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105631807A (zh) * 2015-12-21 2016-06-01 西安电子科技大学 基于稀疏域选取的单帧图像超分辨重建方法
WO2018120329A1 (zh) * 2016-12-28 2018-07-05 深圳市华星光电技术有限公司 基于稀疏域重构的单帧图像超分辨重建方法及装置
CN108764368A (zh) * 2018-06-07 2018-11-06 西安邮电大学 一种基于矩阵映射的图像超分辨率重建方法

Also Published As

Publication number Publication date
CN110020986A (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
CN109886121B (zh) 一种遮挡鲁棒的人脸关键点定位方法
Li et al. A closed-form solution to photorealistic image stylization
Zhao et al. Pixelated semantic colorization
Jiang et al. Noise robust face image super-resolution through smooth sparse representation
CN111401384B (zh) 一种变电设备缺陷图像匹配方法
Wang et al. Deep networks for image super-resolution with sparse prior
CN111340738B (zh) 一种基于多尺度渐进融合的图像去雨方法
Sandeep et al. Single image super-resolution using a joint GMM method
CN115496928B (zh) 基于多重特征匹配的多模态图像特征匹配方法
Yao et al. Adaptive rational fractal interpolation function for image super-resolution via local fractal analysis
CN114444565B (zh) 一种图像篡改检测方法、终端设备及存储介质
CN107977661A (zh) 基于全卷积神经网络与低秩稀疏分解的感兴趣区域检测方法
Karaca et al. An interpolation-based texture and pattern preserving algorithm for inpainting color images
Zhang et al. Multi-focus image fusion based on non-negative sparse representation and patch-level consistency rectification
Cao et al. New architecture of deep recursive convolution networks for super-resolution
CN110020986B (zh) 基于欧氏子空间群两重映射的单帧图像超分辨率重建方法
CN115063318A (zh) 自适应频率分解的低光照图像增强方法与相关设备
Ko et al. Continuously masked transformer for image inpainting
Zhang et al. Remote sensing image generation based on attention mechanism and vae-msgan for roi extraction
CN115033721A (zh) 基于大数据的图像检索方法
Li et al. AEMS: an attention enhancement network of modules stacking for lowlight image enhancement
CN108550111B (zh) 一种基于多级字典学习的残差实例回归超分辨重建方法
Vijayalakshmi K et al. Copy-paste forgery detection using deep learning with error level analysis
Hu et al. Hierarchical discrepancy learning for image restoration quality assessment
Hussain et al. Image denoising to enhance character recognition using deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant