CN106780333B - 一种图像超分辨率重建方法 - Google Patents

一种图像超分辨率重建方法 Download PDF

Info

Publication number
CN106780333B
CN106780333B CN201611153801.7A CN201611153801A CN106780333B CN 106780333 B CN106780333 B CN 106780333B CN 201611153801 A CN201611153801 A CN 201611153801A CN 106780333 B CN106780333 B CN 106780333B
Authority
CN
China
Prior art keywords
resolution
low
training image
image block
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611153801.7A
Other languages
English (en)
Other versions
CN106780333A (zh
Inventor
李冀翔
许神贤
周明忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL Huaxing Photoelectric Technology Co Ltd
Original Assignee
Shenzhen China Star Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen China Star Optoelectronics Technology Co Ltd filed Critical Shenzhen China Star Optoelectronics Technology Co Ltd
Priority to CN201611153801.7A priority Critical patent/CN106780333B/zh
Publication of CN106780333A publication Critical patent/CN106780333A/zh
Application granted granted Critical
Publication of CN106780333B publication Critical patent/CN106780333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种图像超分辨率重建方法,其包括以下步骤:将低分辨特征空间和高分辨特征空间构造成多个成对设置的低分辨特征子空间和高分辨特征子空间;在成对设置的低分辨特征子空间和高分辨特征子空间之间建立线性映射关系;根据线性映射关系将低分辨率重构图像重构成高分辨率重构图像。采用本发明图像超分辨率重建方法能够快速的获得高质量的高分辨率图像。

Description

一种图像超分辨率重建方法
技术领域
本发明涉及图像处理领域,特别涉及一种图像超分辨率重建方法。
背景技术
在获取高分辨率图像时,提高成像系统的物理分辨率是最直接有效的手段,然而对成像系统的物理分辨率的升级需要精密的制造技术和高成本的元器件。因此在大多情况下,会采用图像处理技术如图像超分辨率重建将低分辨率图像转化为高分辨率图像。
然而现有的图像超分辨率重建技术中,有些技术保证了高质量的高分辨率图像,但存在计算复杂耗时耗内存的问题;还有些技术计算简单快速,但无法保证能够得到高质量的图像。
发明内容
本发明提供一种图像超分辨率重建方法,以实现将低分辨率图像快速转化为高质量的高分辨率图像的目的。
为实现上述目的,本发明提出一种图像超分辨率重建方法,其包括以下步骤:将低分辨特征空间和高分辨特征空间构造成多个成对设置的低分辨特征子空间和高分辨特征子空间;在成对设置的低分辨特征子空间和高分辨特征子空间之间建立线性映射关系;根据线性映射关系将低分辨率重构图像重构成高分辨率重构图像。
其中,根据线性映射关系将低分辨率重构图像重构成高分辨率重构图像的步骤包括:从低分辨率重构图像提取出低分辨率重构图像块的低分辨率重构图像块特征;确定低分辨率重构图像块特征所对应的低分辨特征子空间;根据确定低分辨特征子空间的线性映射关系将低分辨率重构图像块特征映射成高分辨率重构图像块特征;将高分辨率重构图像块特征添加到低分辨率重构图像块中。
其中,将低分辨特征空间和高分辨特征空间构造成多个成对设置的低分辨特征子空间和高分辨特征子空间的步骤包括:获取低分辨训练图像集与高分辨训练图像集,其中低分辨训练图像集中包括至少一低分辨训练图像,高分辨训练图像集中包括与低分辨训练图像成对设置的高分辨训练图像;从低分辨训练图像和高分辨训练图像中提取成对设置的低分辨训练图像块和高分辨训练图像块的低分辨训练图像块特征和高分辨训练图像块特征,进而形成低分辨训练图像块特征集和高分辨训练图像块特征集;将低分辨训练图像块特征集聚类成多个低分辨训练图像块特征子集;根据多个低分辨训练图像块特征子集将高分辨训练图像块特征集对应的划分成多个高分辨训练图像块特征子集。
其中,获取低分辨训练图像集与高分辨训练图像集的步骤包括:获取高分辨训练图像集;对高分辨训练图像集中的高分辨率训练图像进行n倍下采样;通过插值方式对n倍下采样后的高分辨率训练图像进行n倍上采样,进而形成低分辨训练图像集中的低分辨训练图像,其中n为大于或等于2的正整数。
其中,从低分辨训练图像和高分辨训练图像中提取成对设置的低分辨训练图像块和高分辨训练图像块的低分辨训练图像块特征和高分辨训练图像块特征的步骤包括:将高分辨训练图像与低分辨训练图像进行相减;在相减后的图像上进行提取与低分辨训练图像块对应的图像块并作为高分辨训练图像块特征。
其中,将低分辨训练图像块特征集聚类成多个低分辨训练图像块特征子集的步骤包括:利用主分成分析算法对低分辨训练图像块特征集进行维数约简,再利用k-means聚类算法将约简后的低分辨训练图像块特征集聚类成多个低分辨训练图像块特征子集,并获取每个低分辨训练图像块特征子集所对应的聚类中心。
其中,在成对设置的低分辨特征子空间和高分辨特征子空间之间分别建立线性映射关系的步骤包括:根据成对设置的低分辨训练图像块特征子集和高分辨图像块特征子集形成成对设置的低分辨子字典和高分辨子字典;利用成对设置的低分辨子字典和高分辨子字典形成线性映射矩阵。
其中,根据成对设置的低分辨训练图像块特征子集和高分辨图像块特征子集形成成对设置的低分辨子字典和高分辨子字典的步骤包括:根据低分辨训练图像块特征子集形成低分辨子字典以及对应的多个表示系数;在假定成对设置的低分辨子字典和高分辨子字典采用相同的表示系数的情况下,根据多个表示系数形成高分辨子字典。
其中,利用成对设置的低分辨子字典和高分辨子字典形成线性映射矩阵的步骤包括:利用脊回归算法根据低分辨子字典和高分辨子字典形成线性映射矩阵。
其中,根据线性映射关系将低分辨率重构图像重构成高分辨率重构图像的步骤包括:根据高分辨率重构图像和低分辨率重构图像的分辨率倍数通过插值方式对低分辨率重构图像进行上采样;从上采样后的低分辨率重构图像提取低分辨率重构图像块的低分辨率重构图像块特征;确定低分辨率重构图像块特征所对应的低分辨训练图像块特征子集;根据低分辨训练图像块特征子集的线性映射矩阵将低分辨率重构图像块特征映射成高分辨率重构图像块特征;将高分辨率重构图像块特征添加到低分辨率重构图像块中;根据添加后的低分辨率重构图像块形成高分辨率重构图像。
本发明图像超分辨率重建方法包括以下步骤:将低分辨特征空间和高分辨特征空间构造成多个成对设置的低分辨特征子空间和高分辨特征子空间;在成对设置的低分辨特征子空间和高分辨特征子空间之间建立线性映射关系;根据线性映射关系将低分辨率重构图像重构成高分辨率重构图像。本发明图像超分辨率重建方法中建立起多对低分辨率特征子空间和高分辨率特征子空间不同的线性映射关系,然后根据该多对线性映射关系将低分辨率重构图像重构成高分辨率重构图像,此重构过程中采用以特征来区分的多对线性映射关系,能够更准确的实现高分辨率重构图像的重构,以得到高质量的高分辨率图像。
附图说明
图1是本发明图像超分辨率重建方法一实施方式的流程示意图。
具体实施方式
为使本领域的技术人员更好地理解本发明的技术方案,下面结合附图和具体实施方式对发明所提供的一种图像超分辨率重建方法做进一步详细描述。
请参阅图1,图1是本发明图像超分辨率重建方法一实施方式的流程示意图。本实施方式图像超分辨率重建方法包括以下步骤:
S1:将低分辨特征空间和高分辨特征空间构造成多个成对设置的低分辨特征子空间和高分辨特征子空间。
本步骤中将特征空间划分为多个特征子空间,并且使低分辨特征子空间与高分辨特征子空间一一对应。其中,特征空间也可看作是一个包含多种图像特征的集合,对该集合中的图像特征进行划分,得到多个图像特征的子集即特征子空间。
本步骤S1中将特征空间划分为一一对应的特征子空间后,进行步骤S2,以获得一一对应的特征子空间之间的对应关系。
S2:在成对设置的低分辨特征子空间和高分辨特征子空间之间建立线性映射关系。
本步骤S2中在多个成对的低分辨特征子空间及高分辨特征子空间之间建立起线性映射关系,得到多个线性映射关系。所建立的线性映射关系即表示低分辨特征子空间可通过该线性映射关系映射到高分辨特征子空间。基于本步骤中所建立的线性映射关系,进行步骤S3的操作。
S3:根据线性映射关系将低分辨率重构图像重构成高分辨率重构图像。
本步骤S3最终得到高分辨率重构图像,实现了本发明图像超分辨率重建方法的最终目的,即获得高质量的高分辨率图像。根据步骤S2中的多个线性映射关系,将低分辨率重构图像重构成高分辨率重构图像,在此过程中,低分辨率重构图像中有多个图像特征,找到图像特征对应的特征子空间,即可依据对应的线性映射关系将低分辨率重构图像重构成高分辨率重构图像。
本实施方式首先建立以特征划分的多个线性映射关系,即步骤S1和S2,相当于机器学习过程;然后根据多个线性映射关系对低分辨率重构图像进行重构,即步骤S3,相当于图像处理过程。由于多个线性映射关系根据特征进行划分,因此能够对低分辨率重构图像的各个图像特征分别进行重构,得到更为准确的高质量高分辨重构图像。
本实施方式的上述步骤S1-S3为图像超分辨率重建方法的基本步骤,在其他不同实施方式中,可使用不同的方法来实现上述步骤S1-S3,下面对每个步骤如何实现作进一步描述。
一、对于步骤S1:将低分辨特征空间和高分辨特征空间构造成多个成对设置的低分辨特征子空间和高分辨特征子空间。
其具体包括以下步骤S11-S14。
S11:获取低分辨训练图像集与高分辨训练图像集。
所获取的低分辨训练图像集可看作步骤S1中的低分辨特征空间,高分辨训练图像集可看作高分辨特征空间。其中,低分辨训练图像集包括至少一低分辨训练图像,高分辨训练图像集包括与低分辨训练图像成对设置的高分辨训练图像。
具体来说,为了得到成对的高分辨训练图像和低分辨训练图像,本实施方式中是通过对高分辨训练图像进行处理得到与其对应的低分辨训练图像,过程如下。
S111:获取高分辨训练图像集。
S112:对高分辨训练图像集中的高分辨训练图像进行n倍下采样。
本步骤S112中n倍下采样即将高分辨训练图像缩小n倍,将其处理得到低分辨图像。例如将分辨率为100×100的高分辨训练图像进行4倍下采样,得到分辨率为50×50的低分辨图像。由于在后面的步骤S2中需要计算得到低分辨特征子空间与高分辨特征子空间之间的线性映射关系,因此为了方便计算,需对低分辨图像进行处理,得到与高分辨训练图像同样纬度的低分辨训练图像。本实施方式中采用下述步骤S113。
S113:通过插值方式对n倍下采样后的高分辨训练图像进行n倍上采样,进而形成低分辨训练图像集中的低分辨训练图像,
n倍下采样后的高分辨训练图像即得到的低分辨图像,采用插值方式对低分辨图像进行n倍上采样,即放大n倍。例如对分辨率为50×50的低分辨图像进行n倍上采样,得到100×100的低分辨训练图像。上述n为大于或等于2的正整数。
在上述步骤S112、S113中,对高分辨训练图像进行处理时,可将其看作一个矩阵,例如对分辨率为100×100的高分辨图像进行4倍下采样,即舍弃100×100的矩阵中的某些数值,以得到50×50的矩阵,然后采用插值方式对50×50的矩阵进行4倍上采样,即在矩阵中的空白处插入某个值,得到100×100的矩阵。
步骤S111中的高分辨训练图像与步骤S113所得到的低分辨训练图像虽然具有相同的分辨率,但经过步骤S112和步骤S113的处理,低分辨训练图像相对高分辨训练图像已失去了高分辨训练图像的部分特征。由此获得成对的低分辨训练图像和高分辨训练图像。然后进入步骤S12进行特征提取。
S12:从低分辨训练图像和高分辨训练图像中提取成对设置的低分辨训练图像块和高分辨训练图像块的低分辨训练图像块特征和高分辨训练图像块特征,进而形成低分辨训练图像块特征集和高分辨训练图像块特征集。
步骤S11中已获取了成对的低分辨训练图像和高分辨训练图像,因此在本步骤S12中首先提取低分辨训练图像块的低分辨训练图像块特征,然后对应提取高分辨训练图像块的高分辨训练图像块特征。
本步骤S12中低分辨训练图像块特征的提取过程主要包括划分图像块和提取特征两个步骤。在进行图像块划分前,可过滤掉低分辨训练图像在步骤S113的n倍上采样中通过插值方式形成的像素。然后进行图像块划分,例如对于100×100的低分辨训练图像,将其分为10×10的低分辨训练图像块,若块与块之间不重叠,则可分为100个低分辨训练图像块,若块与块之间重叠,则可将其分为数量大于100的低分辨训练图像块。本实施方式中采用块与块之间部分重叠的划分方式。
对划分好的低分辨训练图像块进行特征提取,可提取其梯度特征。例如定义水平方向一阶梯度GX、竖直方向一阶梯度GY,水平方向二阶梯度LX、竖直方向二阶梯度LY的算子,然后将低分辨训练图像块分别与水平方向一阶梯度、竖直方向一阶梯度、水平方向二阶梯度、竖直方向二阶梯度做卷积运算,得到低分辨训练图像块特征。
其中,可定义:
GX=[1,0,0,0,-1],GY=[1,0,0,0,-1]T
LX=1/2[1,0,0,0,-2,0,0,0,1],LY=1/2[1,0,0,0,-2,0,0,0,1]T
对所有的低分辨训练图像块进行特征提取后得到低分辨训练图像块特征集。
在完成低分辨训练图像块特征的提取后,可采用同样的方式进行高分辨训练图像块特征的提取。例如,在同样的位置对高分辨训练图像进行划分,得到高分辨训练图像块;采用同样的算子来获取高分辨训练图像块的梯度特征,从而获得高分辨训练图像块特征集。
本实施方式中采取另一种方式提取高分辨训练图像块特征:首先将高分辨训练图像与低分辨训练图像进行相减,该过程是为了剔除高分辨训练图像中的低分辨特征;然后在相减的图像上提取与低分辨训练图像块对应的图像块作为高分辨训练图像块特征,从而获得高分辨训练图像块特征集。
上述步骤S11中以提到将所获取的低分辨训练图像集看作步骤S1中的低分辨特征空间,高分辨训练图像集看作高分辨特征空间。在对步骤S1进行理解时,也可将本步骤S12中的低分辨训练图像块特征集看作步骤S1中的低分辨特征空间,低分辨训练图像块特征集看作高分辨特征空间。
S13:将低分辨训练图像块特征集聚类成多个低分辨训练图像块特征子集。
本步骤S13中所得到的低分辨训练图像块特征子集即步骤S1中构造成的低分辨特征子空间。本实施方式中利用主成分分析算法(PCA)对低分辨训练图像块特征集进行维数约简,再利用k-means聚类算法将约简后的低分辨训练图像块特征集聚类成多个低分辨训练图像块特征子集,并获取每个低分辨训练图像块特征子集所对应的聚类中心即锚点。
S14:根据多个低分辨训练图像块特征子集将高分辨训练图像块特征集对应的划分成多个高分辨训练图像块特征子集。
本步骤S14中划分得到的高分辨训练图像块特征子集即步骤S1中构造成的高分辨特征子空间。本实施方式中步骤S13与步骤S14具有很大的相关性,对于这两个步骤,在实际运算时,首先将高分辨训练图像块特征与低分辨训练图像块特征串联后一起进行维数约简;然后利用k-means对约简后的低分辨训练图像块特征集聚类成多个低分辨训练图像块特征子集,并获取每个低分辨训练图像块特征子集所对应的聚类中心;最后根据聚类中心同样对维数约简后的高分辨训练图像块特征进行分类,得到多个高分辨训练图像块特征子集。
二、对于步骤S2:在成对设置的低分辨特征子空间和高分辨特征子空间之间建立线性映射关系。
其主要包括以下步骤S21、S22。
S21:根据成对设置的低分辨训练图像块特征子集和高分辨图像块特征子集形成成对设置的低分辨子字典和高分辨子字典。
假设:
低分辨训练图像块特征子集为X={xi}i∈Ω,其对应有一个聚类中心即锚点c,高分辨训练图像块特征子集为Y={yi}i∈Ω,低分辨子字典为Bl,高分辨子字典为Bh,表示系数:A={ai}i∈Ω。其中,Ω为特征子集的索引集。
低分辨子字典为能够表示低分辨训练图像特征子集的特征向量,即低分辨子字典Bl乘以表示系数A={ai}i∈Ω近似于低分辨训练图像块特征子集X={xi}i∈Ω
假设低分辨子字典与高分辨子字典具有相同的表示系数,因此高分辨子字典能够表示高分辨训练图像特征子集的特征向量,即高分辨子字典Bh乘以系数A={ai}i∈Ω近似于高分辨训练图像块特征子集Y={yi}i∈Ω
相应,获得最优的低分辨子字典和高分辨子字典以及表示系数的问题可表示为如下最小化问题:
Figure BDA0001180270530000091
Figure BDA0001180270530000092
上述最小化问题求解后,得到的最优子字典和最优表示系数相乘后最接近于图像块特征子集。
该最小化问题为复杂的双级优化问题,可通过交替迭代的方法近似求解。本实施方式中先求解低分辨子字典,然后根据低分辨子字典的表示系数求解高分辨子字典,即首先进行步骤S211。
S211:根据低分辨训练图像块特征子集形成低分辨率子字典以及对应的多个表示系数。
本步骤S211即对以下公式(1)进行求解。
Figure BDA0001180270530000093
首先假设Bl已知,对公式(1)进行求解得到:
Figure BDA0001180270530000094
将公式(2)带入公式(1)中,得到如下关于求解Bl的最小化问题:
Figure BDA0001180270530000095
进一步简化公式(3),假设Bl为正交,则可将公式(3)简化为以下问题:
Figure BDA0001180270530000096
对于公式(4)的求解,实质即求解X的主成分,因此可以通过主成分分析算法对低分辨训练图像块特征子集X={xi}i∈Ω中的低分辨训练图像块特征xi进行主成分求解,并将得到的基向量作为低分辨子字典Bl的原子。
然后,将低分辨训练图像块特征进一步投影至低分辨子字典来获取表示系数:
Figure BDA0001180270530000101
S212:在假定成对设置的低分辨子字典和高分辨子字典采用相同的表示系数的情况下,根据多个表示系数形成高分辨子字典。
由于低分辨子字典和高分辨子字典具有相同的表示系数,高分辨子字典为:
Figure BDA0001180270530000102
通过最小二乘法根据多个表示系数形成高分辨子字典,即利用最小二乘法计算公式(6)由,得到:
Bh=YAT(AAT)-1 (7)
在得到低分辨子字典和高分辨子字典后进行到步骤S22。
S22:利用成对设置的低分辨子字典和高分辨子字典形成线性映射矩阵。
首先假设输入低分辨特征x,通过聚类中心(锚点)找到与低分辨特征x对应的低分辨子字典,乘以该低分辨子字典和高分辨子字典之间的线性映射矩阵F后,输出高分辨特征y。本步骤S22即利用步骤S21中求得的低分辨子字典和高分辨子字典来形成线性映射矩阵F。
本实施方式中利用脊回归算法根据低分辨子字典和高分辨子字典形成线性映射矩阵。
Figure BDA0001180270530000103
上述公式(8)中
Figure BDA0001180270530000106
为与x最相似的锚点ck对应的第k个低分辨子字典,λ表示平衡重构误差的正则项的常数。对公式(8)进行求解得到:
Figure BDA0001180270530000104
输出的高分辨特征:
Figure BDA0001180270530000105
因此可得到第k个成对的低分辨子字典与高分辨子字典之间的线性映射矩阵:
Figure BDA0001180270530000111
采用同样的方法得到成对设置的低分辨子字典和高分辨子字典之间的线性映射矩阵,即获得低分辨图像块特征子集和高分辨图像块特征子集之间的线性映射矩阵,该线性映射矩阵即步骤S2中所说的线性映射关系,由于本实施方式中将图像块看作矩阵进行计算,因此得到的线性映射关系为矩阵形式。
三、对于S3:根据线性映射关系将低分辨率重构图像重构成高分辨率重构图像。
本步骤S3为在步骤S1和S2获得线性映射关系后,通过线性映射关系对低分辨率重构图像进行重构,得到高分辨率重构图像。本步骤S3相当于图像处理阶段,步骤S1、S2相当于机器学习阶段,因此本步骤S3中的对图像的操作均对应于步骤S1和S2中的操作,以保证图像处理的准确性。本步骤S3主要包括以下步骤S31-S34。
S31:从低分辨率重构图像提取低分辨率重构图像块的低分辨率重构图像块特征。
对应于步骤S1中的图像块特征的提取过程即步骤S11、S12,首先根据高分辨率重构图像和低分辨率重构图像的分辨倍数通过插值方式对低分辨率重构图像进行上采样,使低分辨率重构图像与高分辨率重构图像处于同于纬度。
然后,从上采样后的低分辨率重构图像提取低分辨率重构图像块的低分辨率重构图像块特征。可以类似于步骤S12,在低分辨率重构图像块特征的提取过程中,过滤掉低分辨率重构图像在上采样中通过插值方式形成的像素;可采用步骤S12中的算子对低分辨率重构图像块中的梯度特征进行提取。
S32:确定低分辨率重构图像块特征所对应的低分辨特征子空间。
对应于步骤S13,首先利用主成分分析法对低分辨率重构图像块特征进行维数约简;然后再确定维数约简后的低分辨率重构图像块特征所对应的低分辨训练图像块特征子集。
在确定对应的低分辨训练图像块特征子集的过程中,通过计算低分辨率重构图像块特征与多个低分辨率训练图像块特征子集的聚类中心的最邻近解来确定低分辨率重构图像块特征所对应的低分辨训练图像块特征子集。
S33:根据确定低分辨特征子空间的线性映射关系将低分辨率重构图像块特征映射成高分辨率重构图像块特征。
具体到本实施方式,即根据低分辨训练图像块特征子集的线性映射矩阵将低分辨率重构图像块特征映射成高分辨率重构图像块特征。
S34:将高分辨率重构图像块特征添加到低分辨率重构图像块中。
S35:根据添加后的低分辨率重构图像块形成高分辨率重构图像,即将添加后的低分辨率重构图像块重新组合形成高分辨率重构图像。
以上即本实施方式图像超分辨率重建方法的所有步骤。在本实施方式中利用步骤S1和S2进行机器学习,得到低分辨特征子空间和高分辨特征子空间之间的线性映射关系,然后在步骤S3中进行图像处理,基于线性映射关系,将低分辨率重构图像重构成高质量的高分辨率重构图像。
在使用本实施方式图像超分辨率重建方法时,可对多种形式的图像进行处理,并不局限于RGB图像。例如,由于人类视觉系统对亮度更为敏感,因此在对低分辨重构图像进行处理时,重点对其亮度进行处理。
在步骤S31中,将上采样后的低分辨率重构图像从RGB颜色空间转化成YCbCr颜色空间下的亮度图像、蓝色图像和红色图像。然后从亮度图像中提取低分辨率重构图像块的低分辨率重构图像块特征。
相应的在步骤S1、S2机器学习的过程中,低分辨训练图像和高分辨训练图像也分别为YCbCr颜色空间下的亮度图像。
在经过步骤S32-S34得到添加后的低分辨率重构图像块后,在步骤S35中根据添加后的低分辨率重构图像块重构亮度图像,并进一步将重构后的亮度图像与蓝色图像和红色图像从YCbCr颜色空间转换回RGB颜色空间,得到处理后的高分辨率重构图像。
以上所述仅为本发明的实施方式,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种图像超分辨率重建方法,其特征在于,所述方法包括以下步骤:
将低分辨特征空间和高分辨特征空间构造成多个成对设置的低分辨特征子空间和高分辨特征子空间;
在成对设置的所述低分辨特征子空间和所述高分辨特征子空间之间建立线性映射关系;
根据所述线性映射关系将低分辨率重构图像重构成高分辨率重构图像;
所述将低分辨特征空间和高分辨特征空间构造成多个成对设置的低分辨特征子空间和高分辨特征子空间的步骤包括:
获取低分辨训练图像集与高分辨训练图像集,其中所述低分辨训练图像集中包括至少一低分辨训练图像,所述高分辨训练图像集中包括与所述低分辨训练图像成对设置的高分辨训练图像;
从所述低分辨训练图像和所述高分辨训练图像中提取成对设置的低分辨训练图像块和高分辨训练图像块的低分辨训练图像块特征和高分辨训练图像块特征,进而形成低分辨训练图像块特征集和高分辨训练图像块特征集;
将所述低分辨训练图像块特征集聚类成多个低分辨训练图像块特征子集;
根据所述多个低分辨训练图像块特征子集将所述高分辨训练图像块特征集对应的划分成多个高分辨训练图像块特征子集;
所述在成对设置的所述低分辨特征子空间和所述高分辨特征子空间之间分别建立线性映射关系的步骤包括:
根据成对设置的所述低分辨训练图像块特征子集和所述高分辨图像块特征子集形成成对设置的低分辨子字典和高分辨子字典;
利用脊回归算法根据成对设置的所述低分辨子字典和所述高分辨子字典形成线性映射矩阵;
所述根据成对设置的所述低分辨训练图像块特征子集和所述高分辨图像块特征子集形成成对设置的低分辨子字典和高分辨子字典的步骤包括:
根据所述低分辨训练图像块特征子集形成所述低分辨子字典以及对应的多个表示系数;
在假定成对设置的所述低分辨子字典和所述高分辨子字典采用相同的表示系数的情况下,根据所述多个表示系数形成所述高分辨子字典。
2.根据权利要求1所述的方法,其特征在于,所述根据所述线性映射关系将低分辨率重构图像重构成高分辨率重构图像的步骤包括:
从所述低分辨率重构图像提取出低分辨率重构图像块的低分辨率重构图像块特征;
确定所述低分辨率重构图像块特征所对应的所述低分辨特征子空间;
根据确定所述低分辨特征子空间的所述线性映射关系将所述低分辨率重构图像块特征映射成高分辨率重构图像块特征;
将所述高分辨率重构图像块特征添加到所述低分辨率重构图像块中。
3.根据权利要求1所述的方法,其特征在于,所述获取低分辨训练图像集与高分辨训练图像集的步骤包括:
获取所述高分辨训练图像集;
对所述高分辨训练图像集中的高分辨率训练图像进行n倍下采样;
通过插值方式对所述n倍下采样后的高分辨率训练图像进行n倍上采样,进而形成所述低分辨训练图像集中的低分辨训练图像,其中n为大于或等于2的正整数。
4.根据权利要求1所述的方法,其特征在于,所述从所述低分辨训练图像和所述高分辨训练图像中提取成对设置的低分辨训练图像块和高分辨训练图像块的低分辨训练图像块特征和高分辨训练图像块特征的步骤包括:
将所述高分辨训练图像与所述低分辨训练图像进行相减;
在相减后的图像上进行提取与所述低分辨训练图像块对应的图像块并作为所述高分辨训练图像块特征。
5.根据权利要求1所述的方法,其特征在于,所述将所述低分辨训练图像块特征集聚类成多个低分辨训练图像块特征子集的步骤包括:
利用主分成分析算法对所述低分辨训练图像块特征集进行维数约简,再利用k-means聚类算法将约简后的所述低分辨训练图像块特征集聚类成多个所述低分辨训练图像块特征子集,并获取每个所述低分辨训练图像块特征子集所对应的聚类中心。
6.根据权利要求1所述的方法,其特征在于,所述根据所述线性映射关系将低分辨率重构图像重构成高分辨率重构图像的步骤包括:
根据所述高分辨率重构图像和所述低分辨率重构图像的分辨率倍数通过插值方式对所述低分辨率重构图像进行上采样;
从上采样后的所述低分辨率重构图像提取低分辨率重构图像块的低分辨率重构图像块特征;
确定所述低分辨率重构图像块特征所对应的所述低分辨训练图像块特征子集;
根据所述低分辨训练图像块特征子集的线性映射矩阵将所述低分辨率重构图像块特征映射成高分辨率重构图像块特征;
将所述高分辨率重构图像块特征添加到所述低分辨率重构图像块中;
根据添加后的所述低分辨率重构图像块形成所述高分辨率重构图像。
CN201611153801.7A 2016-12-14 2016-12-14 一种图像超分辨率重建方法 Active CN106780333B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611153801.7A CN106780333B (zh) 2016-12-14 2016-12-14 一种图像超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611153801.7A CN106780333B (zh) 2016-12-14 2016-12-14 一种图像超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN106780333A CN106780333A (zh) 2017-05-31
CN106780333B true CN106780333B (zh) 2020-10-02

Family

ID=58888199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611153801.7A Active CN106780333B (zh) 2016-12-14 2016-12-14 一种图像超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN106780333B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610052A (zh) * 2017-09-22 2018-01-19 维沃移动通信有限公司 一种超分辨率重建方法及移动终端
CN109978809B (zh) * 2017-12-26 2022-02-22 同方威视技术股份有限公司 图像处理方法、装置及计算机可读存储介质
CN108335265B (zh) * 2018-02-06 2021-05-07 上海通途半导体科技有限公司 一种基于样本学习的快速图像超分辨率重建方法及装置
US10685428B2 (en) 2018-11-09 2020-06-16 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Systems and methods for super-resolution synthesis based on weighted results from a random forest classifier

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104778671A (zh) * 2015-04-21 2015-07-15 重庆大学 一种基于sae和稀疏表示的图像超分辨率方法
CN104899830A (zh) * 2015-05-29 2015-09-09 清华大学深圳研究生院 一种图像超分辨方法
CN105405098A (zh) * 2015-10-29 2016-03-16 西北工业大学 一种基于稀疏表示和自适应滤波的图像超分辨率重建方法
CN105631807A (zh) * 2015-12-21 2016-06-01 西安电子科技大学 基于稀疏域选取的单帧图像超分辨重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104778671A (zh) * 2015-04-21 2015-07-15 重庆大学 一种基于sae和稀疏表示的图像超分辨率方法
CN104899830A (zh) * 2015-05-29 2015-09-09 清华大学深圳研究生院 一种图像超分辨方法
CN105405098A (zh) * 2015-10-29 2016-03-16 西北工业大学 一种基于稀疏表示和自适应滤波的图像超分辨率重建方法
CN105631807A (zh) * 2015-12-21 2016-06-01 西安电子科技大学 基于稀疏域选取的单帧图像超分辨重建方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《CCR: Clustering and Collaborative Representation for Fast Single Image Super-Resolution》;Yongbing Zhang等;《IEEE Transactions on Multimedia》;20151223;第18卷(第3期);第405-417页 *
《基于PCA子字典学习的图像超分辨率重建》;首照宇等;《计算机工程与设计》;20151130;第36卷(第11期);第3025-3029页 *
《快速超分辨率重建方法研究与实现》;刘超;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140915(第9期);第I138-1152页 *

Also Published As

Publication number Publication date
CN106780333A (zh) 2017-05-31

Similar Documents

Publication Publication Date Title
CN108734659B (zh) 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法
CN106780333B (zh) 一种图像超分辨率重建方法
US10776904B2 (en) Method and apparatus for processing image
US10614337B2 (en) Information processing apparatus and information processing method
An et al. Face image super-resolution using 2D CCA
US9454807B2 (en) Methods and systems for denoising images
US9171226B2 (en) Image matching using subspace-based discrete transform encoded local binary patterns
US9619755B2 (en) Method for estimating parameters of a graph spectral filter using training data
CN106920214B (zh) 空间目标图像超分辨率重建方法
WO2021147095A1 (en) Deep residual network for color filter array image denoising
WO2021003594A1 (en) Systems and methods for multispectral image demosaicking using deep panchromatic image guided residual interpolation
CN111174912B (zh) 一种快照型解色散模糊的高光谱成像方法
CN109255358B (zh) 一种基于视觉显著性和深度图的3d图像质量评价方法
CN105513033B (zh) 一种非局部联合稀疏表示的超分辨率重建方法
CN104657962B (zh) 基于级联线性回归的图像超分辨重建方法
CN105550989B (zh) 基于非局部高斯过程回归的图像超分辨方法
KR20170022736A (ko) 딕셔너리 학습 기반 해상도 향상 장치 및 방법
Zhao et al. A novel infrared image super-resolution method based on sparse representation
Chen et al. Nonlinear neighbor embedding for single image super-resolution via kernel mapping
CN108921801B (zh) 用于生成图像的方法和装置
CN111881920B (zh) 一种大分辨率图像的网络适配方法及神经网络训练装置
CN107220934B (zh) 图像重建方法及装置
CN107845064B (zh) 基于主动采样和高斯混合模型的图像超分辨重建方法
WO2017070841A1 (zh) 图像处理方法和装置
CN113870130A (zh) 基于三维全变分和Tucker分解的低秩张量补全方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: No.9-2 Tangming Avenue, Guangming New District, Shenzhen City, Guangdong Province

Patentee after: TCL Huaxing Photoelectric Technology Co.,Ltd.

Address before: No.9-2 Tangming Avenue, Guangming New District, Shenzhen City, Guangdong Province

Patentee before: Shenzhen China Star Optoelectronics Technology Co.,Ltd.