CN103390266B - 一种图像超分辨率方法和装置 - Google Patents
一种图像超分辨率方法和装置 Download PDFInfo
- Publication number
- CN103390266B CN103390266B CN201310330425.4A CN201310330425A CN103390266B CN 103390266 B CN103390266 B CN 103390266B CN 201310330425 A CN201310330425 A CN 201310330425A CN 103390266 B CN103390266 B CN 103390266B
- Authority
- CN
- China
- Prior art keywords
- resolution
- image
- sample
- resolution image
- dictionary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本发明实施例公开了一种图像超分辨率方法和装置，用于提供一种新的方法对低分辨率的图像进行图像超分辨率处理。本发明实施例方法包括：根据输入的低分辨率图像生成高分辨率图像样本和中分辨率图像样本；根据所述高分辨率图像样本和所述中分辨率图像样本进行字典训练以获得高分辨率特征字典和中分辨率特征字典；根据所述低分辨率图像生成中分辨率图像；根据所述高分辨率特征字典和所述中分辨率特征字典对所述中分辨率图像进行图像超分辨率处理以获得高分辨率图像。通过实施本发明方案，能够降低设备的硬件成本，减少图像超分辨过程中的重构误差，从而提高图像超分辨率的重构质量。
Description
技术领域
本发明涉及数字图像处理技术领域，尤其涉及一种图像超分辨率方法和装置。
背景技术
在数字照相机和数字摄像机的应用中，传统的图像放大方法采用了双三次样条Bicubic等插值方法，具有放大速度快的优点，但是，放大的图像存在模糊、块效应等缺陷。为了获得清晰的放大图像，数字图像处理领域中采用图像超分辨率的方法。图像超分辨率是指由一幅低分辨率图像或图像序列恢复出高分辨率图像。
目前，图像超分辨率方法主要包括基于插值的方法、基于重建的方法和基于样本训练的方法。其中，基于样本训练的图像超分辨率方法因具有较好的效果，在视频监控、遥感图像、医学成像与生物信息识别等领域有重要应用。基于样本训练的方法为：建立一个本地图像样本训练库，用于存放大量训练样本图像，在样本训练阶段，对本地的大量训练样本图像使用机器学习方法，建立高分辨率样本图像的高频细节信息与低分辨率样本图像之间的关系。在超分辨率重构阶段，使用样本训练阶段建立的高频细节信息与低分辨率样本图像的关系，预测输入的低分辨率图像的高频细节信息，并叠加到该低分辨率图像中，从而获得高分辨率重构图像。
但是，在上述技术方案中，建立本地图像样本训练库需要使用容量相当的存储空间，增加了设备的硬件成本；而且，其高分辨率图像的初始估计方法所使用的Bicubic插值方法插值效果较差，导致后续的超分辨率过程中存在不可避免的较大的重构误差，因此上述图像超分辨率方法的重构质量较差。
发明内容
在鉴于此，本发明实施例提供了一种图像超分辨率方法和装置，用于提供一种新的方法对低分辨率的图像进行图像超分辨率处理，通过实施本发明方案，能够降低设备的硬件成本，减少图像超分辨过程中的重构误差，从而提高图像超分辨率的重构质量。
一种图像超分辨率方法，包括：
根据输入的低分辨率图像生成高分辨率图像样本和中分辨率图像样本；
根据所述高分辨率图像样本和所述中分辨率图像样本进行字典训练以获得高分辨率特征字典和中分辨率特征字典；
根据所述低分辨率图像生成中分辨率图像；
根据所述高分辨率特征字典和所述中分辨率特征字典对所述中分辨率图像进行图像超分辨率处理以获得高分辨率图像。
一种图像超分辨率装置，包括：
样本生成单元，用于根据输入的低分辨率图像生成高分辨率图像样本和中分辨率图像样本；
字典训练单元，用于根据所述高分辨率图像样本和所述中分辨率图像样本进行字典训练以获得高分辨率特征字典和中分辨率特征字典；
中分辨率图像单元，用于根据所述低分辨率图像生成中分辨率图像；
处理单元，用于根据所述高分辨率特征字典和所述中分辨率特征字典对所述中分辨率图像进行图像超分辨率处理以获得高分辨率图像。
从以上技术方案可以看出，本发明实施例具有以下优点：
使用输入的低分辨率图像作为训练样本的生成依据，从而不需要再设置本地训练样本库，节省了系统的硬件成本。而且，使用本实施例方法进行字典训练和超分辨率重构，能够减少图像超分辨过程中的重构误差，从而提高图像超分辨率的重构质量。
附图说明
图1为本发明第一实施例的图像超分辨率方法流程图；
图2为本发明第二实施例的图像超分辨率方法流程图；
图3为图像位移示意图；
图4为本发明第三实施例的图像超分辨率装置结构图；
图5为本发明第四实施例的图像超分辨率装置结构图。
具体实施方式
本发明实施例提供了一种图像超分辨率方法，用于提供一种新的方法对低分辨率的图像进行图像超分辨率处理，通过实施本发明方案，能够降低设备的硬件成本，减少图像超分辨过程中的重构误差，从而提高图像超分辨率的重构质量。本发明实施例还提供与该方法相关的装置，以下将分别对其进行详细说明。
本发明第一实施例将对一种图像超分辨率方法进行详细说明，本实施例所述的图像超分辨率方法具体流程请参见图1，包括步骤：
101、根据输入的低分辨率图像生成高分辨率图像样本和中分辨率图像样本。
在本实施例中，只需要一幅低分辨率图像作为输入图像，在本步骤中，根据输入的低分辨率图像生成高分辨率图像样本和中分辨率图像样本。其中，所述高分辨率图像样本包含若干根据所述低分辨图像生成的高分辨率图像，所述中分辨率图像样本包含若干根据所述低分辨图像生成的中分辨率图像，在本实施例中，不对高分辨率图像样本和中分辨率图像样本中的图像数量和生成方法进行具体限定。
优选地，所述中分辨率图像样本具体可以根据所述高分辨率图像样本生成，生成方法可以为现有技术所使用的方法。
102、根据所述高分辨率图像样本和所述中分辨率图像样本进行字典训练以获得高分辨率特征字典和中分辨率特征字典。
特征字典是信号处理领域的术语。在信号的字典表示理论中信号可以表示为特征字典中多个原子的线性组合的形式。本发明的图像超分辨率方法包括前后两个阶段：字典训练阶段和超分辨率重构阶段。步骤101～102为字典训练阶段，步骤103～104为超分辨率重构阶段。
字典训练，是指对大量的样本信号数据求解最优的特征字典，使到信号可以用特征字典中的原子的线性组合来估计的方法。在本实施例中，最优的特征字典要求信号估计的误差最小。
在本步骤中，根据所述高分辨率图像样本和所述中分辨率图像样本进行字典训练以获得高分辨率特征字典和中分辨率特征字典，一种具体方法可以为：将所述高分辨率图像样本减去所述中分辨率图像样本，并抽取块组成第二高分辨率特征向量矩阵，抽取所述中分辨率图像样本的特征块并进行PCA降维以获得第二中分辨率特征向量矩阵，分别对所述第二高分辨率特征向量矩阵和所述第二中分辨率特征向量矩阵进行字典训练以获得高分辨率字典和中分辨率字典。
以下，即为超分辨率重构阶段。
103、根据所述低分辨率图像生成中分辨率图像。
在本步骤中，输入图像仍为上述的低分辨率图像。其中，所述中分辨率图像的分辨率高于所述低分辨率图像的分辨率，在本实施例中，所述中分辨率图像的生成方法可以为：使用IBP算法和所述低分辨率图像对所述插值放大图像进行初步超分辨率重构以获得中分辨率图像。
104、根据所述高分辨率特征字典和所述中分辨率特征字典对所述中分辨率图像进行图像超分辨率处理以获得高分辨率图像。
一种具体方法可以为：抽取所述中分辨率图像的特征块并进行PCA降维以获得第一中分辨率特征向量矩阵，使用正交匹配追踪OMP算法和所述中分辨率特征字典对所述第一中分辨率特征向量进行稀疏编码计算以获得稀疏表示系数，将所述稀疏表示系数和所述高分辨率特征字典相乘以获得第一高分辨率特征向量矩阵，对所述中分辨率图像抽取块组成中分辨率图像向量矩阵，将所述中分辨率图像向量矩阵与所述第一高分辨率特征向量矩阵相加以获得高分辨率图像向量矩阵，根据所述高分辨率图像向量矩阵生成高分辨率图像。
在本实施例中，使用输入的低分辨率图像作为训练样本的生成依据，从而不需要再设置本地训练样本库，节省了系统的硬件成本。
本发明第二实施例将对第一实施例所述的图像超分辨率方法进行补充说明，本实施例所述的方法具体流程请参见图2，包括步骤：
201、抽取低分辨率图像的位移区域以获得位移图像样本。
在本实施例中，只需要一幅低分辨率图像作为输入图像。
在本步骤中，抽取低分辨率图像的位移区域产生多个相互间存在位移的图像样本，并以此作为位移图像样本。在本实施例中，不对位移图像样本中图像的数量作具体限定。
例如，请参见图3，原图像的左上角的像素点作为起点，坐标设为(1，1)，现将起点分别移动至(1，3)、(1，5)、(3，1)、(3，3)、(3，5)、(5，1)、(5，3)、(5，5)八个点，作为对应八个位移图像的起点，从而获取八个位移图像。
202、旋转所述低分辨率图像和所述位移图像样本以获得旋转图像样本。
其中，所述高分辨率图像样本包括所述低分辨率图像、所述位移图像样本和所述旋转图像样本。在本实施例中，不对旋转图像样本中图像的数量作具体限定。
步骤201～202具体为生成高分辨率图像样本的过程。
203、使用双三次样条插值Bicubic算法对所述高分辨率图像样本进行S倍下采样以获得低分辨率图像样本。
204、使用Lanczos3算法对所述低分辨率图像样本进行S倍插值以获得与所述高分辨率图像样本尺寸相同的插值放大图像样本。
205、使用迭代逆投影IBP算法和所述低分辨率图像样本对所述插值放大图像样本进行初步超分辨率重构以获得中分辨率图像样本。
步骤203～205具体为生成中分辨率图像样本的过程。
206、将所述高分辨率图像样本减去所述中分辨率图像样本，并抽取块组成第二高分辨率特征向量矩阵。
207、抽取所述中分辨率图像样本的特征块并进行PCA降维以获得第二中分辨率特征向量矩阵。
208、分别对所述第二高分辨率特征向量矩阵和所述第二中分辨率特征向量矩阵进行字典训练以获得高分辨率字典和中分辨率字典。
步骤206～208具体为根据所述高分辨率图像样本和所述中分辨率图像样本进行字典训练以获得高分辨率特征字典和中分辨率特征字典的过程。本发明的图像超分辨率方法包括前后两个阶段：字典训练阶段和超分辨率重构阶段。步骤201～208为字典训练阶段，步骤209～216为超分辨率重构阶段。以下，将对超分辨率重构阶段进行介绍。
209、使用Lanczos3算法对所述低分辨率图像进行S倍插值以获得插值放大图像。
210、使用IBP算法和所述低分辨率图像对所述插值放大图像进行初步超分辨率重构以获得中分辨率图像。
步骤209～210具体为根据所述低分辨率图像生成中分辨率图像的过程。
211、抽取所述中分辨率图像的特征块并进行PCA降维以获得第一中分辨率特征向量矩阵。
212、使用正交匹配追踪OMP算法和所述中分辨率特征字典对所述第一中分辨率特征向量进行稀疏编码计算以获得稀疏表示系数。
213、将所述稀疏表示系数和所述高分辨率特征字典相乘以获得第一高分辨率特征向量矩阵。
214、对所述中分辨率图像抽取块组成中分辨率图像向量矩阵。
215、将所述中分辨率图像向量矩阵与所述第一高分辨率特征向量矩阵相加以获得高分辨率图像向量矩阵。
216、根据所述高分辨率图像向量矩阵生成高分辨率图像。
步骤211～216具体为根据所述高分辨率特征字典和所述中分辨率特征字典对所述中分辨率图像进行图像超分辨率处理以获得高分辨率图像的过程。
根据本实施例的方法，介绍一个具体应用实例：
字典训练阶段：
输入的一幅低分辨率图像为x，首先抽取x的位移区域产生多个与x有相对位移的图像组成位移图像样本。然后对低分辨率图像x和位移图像样本进行多次旋转，获得旋转图像样本，低分辨率图像x、位移图像样本和旋转图像样本统称为高分辨率图像样本Sh。对高分辨率图像样本Sh使用Bicubic算法进行S倍下采样，得到低分辨率图像样本，再使用Lanczos3算法对低分辨率图像样本进行S倍插值，得到与高分辨率图像样本相同尺寸的插值放大图像样本。接着使用低分辨率图像样本对插值放大图像样本使用IBP算法进行初步的超分辨率重构，IBP迭代次数为10～15次，得到较清晰的图像样本，称为中分辨率图像样本Sm。将高分辨率图像样本Sh减去相应的中分辨率图像样本Sm，得到高分辨率特征样本Fh。对中分辨率图像样本Sm进行特征提取，得到中分辨率特征样本Fm。对高分辨率特征样本Fh和中分辨率特征样本Fm从左到右从上到下有重叠地抽取尺寸为(2S)×(2S)的块，得到高分辨率特征向量矩阵Pfh和中分辨率特征向量矩阵Pfm，对中分辨率特征向量矩阵Pfm进行PCA降维，得到降维后的中分辨率特征向量矩阵P′fm。最后得到高分辨率特征向量矩阵Pfh和降维后的中分辨率特征向量矩阵P′fm，即{Pfh，P′fm}。
对高分辨率特征向量矩阵Pfh和降维后的中分辨率特征向量矩阵P′fm使用K-奇异值分解算法(K-SVD)字典训练方法进行字典训练，最后得到一个高分辨率特征字典Dh和一个中分辨率特征字典Dm，即{Dh，Dm}。
超分辨率重构阶段：
首先，对输入的低分辨率图像x使用Lanczos3方法进行S倍插值放大，再使用IBP(IterativeBack-Projection)迭代逆投影算法进行初步的超分辨率重构，IBP迭代次数为10～15次，得到较清晰的放大图像，称为中分辨率图像xm。然后对中分辨率图像xm进行特征提取，得到中分辨率特征图像fm。对中分辨率图像xm和中分辨率特征图像fm有从左到右从上到下重叠地抽取尺寸为(2S)×(2S)的块，分别得到中分辨率图像向量矩阵和中分辨率特征向量矩阵再对进行PCA降维，得到降维后的中分辨率特征向量矩阵
对中分辨率特征向量矩阵使用快速的OMP正交匹配追踪算法和中分辨率特征字典Dm进行稀疏编码计算，得到稀疏表示系数矩阵Z。将高分辨率特征字典Dh与稀疏表示系数矩阵Z相乘，得到相应的高分辨率特征向量矩阵高分辨率特征向量矩阵加上中分辨率图像块得到高分辨率图像向量矩阵即
将高分辨率图像向量矩阵放到原来图像的位置，对于块与块之间的重叠部分进行求平均处理，最后得到高分辨率图像。
在本实施例中，使用输入的低分辨率图像作为训练样本的生成依据，从而不需要再设置本地训练样本库，节省了系统的硬件成本。而且，使用本实施例方法进行字典训练和超分辨率重构，能够减少图像超分辨过程中的重构误差，从而提高图像超分辨率的重构质量。
本发明第三实施例将对一种图像超分辨率装置进行详细说明，本实施例所述的图像超分辨率装置具体结构请参见图4，包括：
样本生成单元401、字典训练单元402、中分辨率图像单元403和处理单元404。其中，样本生成单元401、字典训练单元402、中分辨率图像单元403和处理单元404依次连接。
样本生成单元401，用于根据输入的低分辨率图像生成高分辨率图像样本和中分辨率图像样本。
在本实施例中，只需要一幅低分辨率图像作为输入图像，样本生成单元401根据输入的低分辨率图像生成高分辨率图像样本和中分辨率图像样本。其中，所述高分辨率图像样本包含若干根据所述低分辨图像生成的高分辨率图像，所述中分辨率图像样本包含若干根据所述低分辨图像生成的中分辨率图像，在本实施例中，不对高分辨率图像样本和中分辨率图像样本中的图像数量和生成方法进行具体限定。
字典训练单元402，用于根据所述高分辨率图像样本和所述中分辨率图像样本进行字典训练以获得高分辨率特征字典和中分辨率特征字典。
特征字典是信号处理领域的术语。在信号的字典表示理论中信号可以表示为特征字典中多个原子的线性组合的形式。本发明的图像超分辨率方法包括前后两个阶段：字典训练阶段和超分辨率重构阶段。样本生成单元401和字典训练单元402执行字典训练阶段，中分辨率图像单元403和处理单元404执行超分辨率重构阶段。
字典训练，是指对大量的样本信号数据求解最优的特征字典，使到信号可以用特征字典中的原子的线性组合来估计的方法。在本实施例中，最优的特征字典要求信号估计的误差最小。
字典训练单元402根据所述高分辨率图像样本和所述中分辨率图像样本进行字典训练以获得高分辨率特征字典和中分辨率特征字典，一种具体方法可以为：将所述高分辨率图像样本减去所述中分辨率图像样本，并抽取块组成第二高分辨率特征向量矩阵，抽取所述中分辨率图像样本的特征块并进行PCA降维以获得第二中分辨率特征向量矩阵，分别对所述第二高分辨率特征向量矩阵和所述第二中分辨率特征向量矩阵进行字典训练以获得高分辨率字典和中分辨率字典。
中分辨率图像单元403，用于根据所述低分辨率图像生成中分辨率图像。
输入图像仍为上述的低分辨率图像。其中，所述中分辨率图像的分辨率高于所述低分辨率图像的分辨率，在本实施例中，所述中分辨率图像单元403生成中分辨率图像的方法可以为：使用IBP算法和所述低分辨率图像对所述插值放大图像进行初步超分辨率重构以获得中分辨率图像。
处理单元404，用于根据所述高分辨率特征字典和所述中分辨率特征字典对所述中分辨率图像进行图像超分辨率处理以获得高分辨率图像。
一种具体方法可以为：抽取所述中分辨率图像的特征块并进行PCA降维以获得第一中分辨率特征向量矩阵，使用正交匹配追踪OMP算法和所述中分辨率特征字典对所述第一中分辨率特征向量进行稀疏编码计算以获得稀疏表示系数，将所述稀疏表示系数和所述高分辨率特征字典相乘以获得第一高分辨率特征向量矩阵，对所述中分辨率图像抽取块组成中分辨率图像向量矩阵，将所述中分辨率图像向量矩阵与所述第一高分辨率特征向量矩阵相加以获得高分辨率图像向量矩阵，根据所述高分辨率图像向量矩阵生成高分辨率图像。
在本实施例中，使用输入的低分辨率图像作为训练样本的生成依据，从而不需要再设置本地训练样本库，节省了系统的硬件成本。
本发明第四实施例将对第三实施例所述的一种图像超分辨率装置进行补充说明，本实施例所述的图像超分辨率装置具体结构请参见图5，包括：
样本生成单元501、字典训练单元502、中分辨率图像单元503和处理单元504。其中，样本生成单元501、字典训练单元502、中分辨率图像单元503和处理单元504依次连接。
样本生成单元501，用于根据输入的低分辨率图像生成高分辨率图像样本和中分辨率图像样本。
所述样本生成单元501包括：
位移样本子单元5011，用于抽取所述低分辨率图像的位移区域以获得位移图像样本。
在本实施例中，只需要一幅低分辨率图像作为输入图像。
位移样本子单元5011抽取低分辨率图像的位移区域产生多个相互间存在位移的图像样本，并以此作为位移图像样本。在本实施例中，不对位移图像样本中图像的数量作具体限定。
例如，请参见图3，原图像的左上角的像素点作为起点，坐标设为(1，1)，现将起点分别移动至(1，3)、(1，5)、(3，1)、(3，3)、(3，5)、(5，1)、(5，3)、(5，5)八个点，作为对应八个位移图像的起点，从而获取八个位移图像。
旋转样本子单元5012，用于旋转所述低分辨率图像和所述位移图像样本以获得旋转图像样本。
其中，所述高分辨率图像样本包括所述低分辨率图像、所述位移图像样本和所述旋转图像样本。在本实施例中，不对旋转图像样本中图像的数量作具体限定。
所述样本生成单元501还包括：
低分辨率样本子单元5013，用于使用双三次样条插值Bicubic算法对所述高分辨率图像样本进行S倍下采样以获得低分辨率图像样本。
插值放大样本子单元5014，用于使用Lanczos3算法对所述低分辨率图像样本进行S倍插值以获得与所述高分辨率图像样本尺寸相同的插值放大图像样本。
中分辨率样本子单元5015，用于使用迭代逆投影IBP算法和所述低分辨率图像样本对所述插值放大图像样本进行初步超分辨率重构以获得中分辨率图像样本。
字典训练单元502，用于根据所述高分辨率图像样本和所述中分辨率图像样本进行字典训练以获得高分辨率特征字典和中分辨率特征字典。
所述字典训练单元502包括：
第二高分辨率特征子单元5021，用于将所述高分辨率图像样本减去所述中分辨率图像样本，并抽取块组成第二高分辨率特征向量矩阵。
第二中分辨率特征子单元5022，用于抽取所述中分辨率图像样本的特征块并进行PCA降维以获得第二中分辨率特征向量矩阵。
高分辨率字典子单元5023，用于对所述第二高分辨率特征向量矩阵进行字典训练以获得高分辨率字典。
中分辨率字典子单元5024，用于对所述第二中分辨率特征向量矩阵进行字典训练以获得中分辨率字典。
中分辨率图像单元503，用于根据所述低分辨率图像生成中分辨率图像。
所述中分辨图像单元503包括：
插值放大图像子单元5031，用于使用Lanczos3算法对所述低分辨率图像进行S倍插值以获得插值放大图像。
中分辨率图像子单元5032，用于使用IBP算法和所述低分辨率图像对所述插值放大图像进行初步超分辨率重构以获得中分辨率图像。
处理单元，用于根据所述高分辨率特征字典和所述中分辨率特征字典对所述中分辨率图像进行图像超分辨率处理以获得高分辨率图像。
所述处理单元504包括：
第一中分辨率特征子单元5041，用于抽取所述中分辨率图像的特征块并进行PCA降维以获得第一中分辨率特征向量矩阵。
稀疏表示系数子单元5042，用于使用正交匹配追踪OMP算法和所述中分辨率特征字典对所述第一中分辨率特征向量进行稀疏编码计算以获得稀疏表示系数。
第一高分辨率特征子单元5043，用于将所述稀疏表示系数和所述高分辨率特征字典相乘以获得第一高分辨率特征向量矩阵。
中分辨率图像子单元5044，用于对所述中分辨率图像抽取块组成中分辨率图像向量矩阵。
高分辨率图像子单元5045，用于将所述中分辨率图像向量矩阵与所述第一高分辨率特征向量矩阵相加以获得高分辨率图像向量矩阵。
高分辨率图像生成子单元5046，用于根据所述高分辨率图像向量矩阵生成高分辨率图像。
在本实施例中，使用输入的低分辨率图像作为训练样本的生成依据，从而不需要再设置本地训练样本库，节省了系统的硬件成本。而且，使用本实施例方法进行字典训练和超分辨率重构，能够减少图像超分辨过程中的重构误差，从而提高图像超分辨率的重构质量。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上对本发明所提供的一种图像超分辨率方法和装置进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种图像超分辨率方法，其特征在于，包括：
根据输入的低分辨率图像生成高分辨率图像样本和中分辨率图像样本；
根据所述高分辨率图像样本和所述中分辨率图像样本进行字典训练以获得高分辨率特征字典和中分辨率特征字典；
根据所述低分辨率图像生成中分辨率图像；
根据所述高分辨率特征字典和所述中分辨率特征字典对所述中分辨率图像进行图像超分辨率处理以获得高分辨率图像；
所述方法包括：将所述高分辨率图像样本减去所述中分辨率图像样本，并抽取块组成第二高分辨率特征向量矩阵，抽取所述中分辨率图像样本的特征块并进行PCA降维以获得第二中分辨率特征向量矩阵，分别对所述第二高分辨率特征向量矩阵和所述第二中分辨率特征向量矩阵进行字典训练以获得高分辨率字典和中分辨率字典。
2.根据权利要求1所述的方法，其特征在于，根据所述低分辨率图像生成所述高分辨率图像样本包括：
抽取所述低分辨率图像的位移区域以获得位移图像样本；
旋转所述低分辨率图像和所述位移图像样本以获得旋转图像样本；
其中，所述高分辨率图像样本包括所述低分辨率图像、所述位移图像样本和所述旋转图像样本。
3.根据权利要求2所述的方法，其特征在于，生成所述中分辨率图像样本包括：
使用双三次样条插值Bicubic算法对所述高分辨率图像样本进行S倍下采样以获得低分辨率图像样本；
使用Lanczos3算法对所述低分辨率图像样本进行S倍插值以获得与所述高分辨率图像样本尺寸相同的插值放大图像样本；
使用迭代逆投影IBP算法和所述低分辨率图像样本对所述插值放大图像样本进行初步超分辨率重构以获得中分辨率图像样本。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述根据所述低分辨率图像生成中分辨率图像包括：
使用Lanczos3算法对所述低分辨率图像进行S倍插值以获得插值放大图像；
使用IBP算法和所述低分辨率图像对所述插值放大图像进行初步超分辨率重构以获得中分辨率图像。
5.一种图像超分辨率装置，其特征在于，包括：
样本生成单元，用于根据输入的低分辨率图像生成高分辨率图像样本和中分辨率图像样本；
字典训练单元，用于根据所述高分辨率图像样本和所述中分辨率图像样本进行字典训练以获得高分辨率特征字典和中分辨率特征字典；
中分辨率图像单元，用于根据所述低分辨率图像生成中分辨率图像；
处理单元，用于根据所述高分辨率特征字典和所述中分辨率特征字典对所述中分辨率图像进行图像超分辨率处理以获得高分辨率图像；
所述装置包括：将所述高分辨率图像样本减去所述中分辨率图像样本，并抽取块组成第二高分辨率特征向量矩阵，抽取所述中分辨率图像样本的特征块并进行PCA降维以获得第二中分辨率特征向量矩阵，分别对所述第二高分辨率特征向量矩阵和所述第二中分辨率特征向量矩阵进行字典训练以获得高分辨率字典和中分辨率字典。
6.根据权利要求5所述的装置，其特征在于，所述样本生成单元包括：
位移样本子单元，用于抽取所述低分辨率图像的位移区域以获得位移图像样本；
旋转样本子单元，用于旋转所述低分辨率图像和所述位移图像样本以获得旋转图像样本；
其中，所述高分辨率图像样本包括所述低分辨率图像、所述位移图像样本和所述旋转图像样本。
7.根据权利要求6所述的装置，其特征在于，所述样本生成单元还包括：
低分辨率样本子单元，用于使用双三次样条插值Bicubic算法对所述高分辨率图像样本进行S倍下采样以获得低分辨率图像样本；
插值放大样本子单元，用于使用Lanczos3算法对所述低分辨率图像样本进行S倍插值以获得与所述高分辨率图像样本尺寸相同的插值放大图像样本；
中分辨率样本子单元，用于使用迭代逆投影IBP算法和所述低分辨率图像样本对所述插值放大图像样本进行初步超分辨率重构以获得中分辨率图像样本。
8.根据权利要求5至7任一项所述的装置，其特征在于，所述中分辨图像单元包括：
插值放大图像子单元，用于使用Lanczos3算法对所述低分辨率图像进行S倍插值以获得插值放大图像；
中分辨率图像子单元，用于使用IBP算法和所述低分辨率图像对所述插值放大图像进行初步超分辨率重构以获得中分辨率图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310330425.4A CN103390266B (zh) | 2013-07-31 | 2013-07-31 | 一种图像超分辨率方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310330425.4A CN103390266B (zh) | 2013-07-31 | 2013-07-31 | 一种图像超分辨率方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103390266A CN103390266A (zh) | 2013-11-13 |
| CN103390266B true CN103390266B (zh) | 2016-05-18 |
Family
ID=49534528
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310330425.4A Expired - Fee Related CN103390266B (zh) | 2013-07-31 | 2013-07-31 | 一种图像超分辨率方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103390266B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103839242A (zh) * | 2014-01-15 | 2014-06-04 | 中国科学院电子学研究所 | 一种基于高维索引的图像快速超分辨率增强方法 |
| EP3166070B1 (en) * | 2015-11-09 | 2021-01-06 | InterDigital CE Patent Holdings | Method for upscaling noisy images, and apparatus for upscaling noisy images |
| CN106600553B (zh) * | 2016-12-15 | 2019-12-17 | 华中科技大学 | 一种基于卷积神经网络的dem超分辨率方法 |
| CN106780342A (zh) * | 2016-12-28 | 2017-05-31 | 深圳市华星光电技术有限公司 | 基于稀疏域重构的单帧图像超分辨重建方法及装置 |
| CN108932697B (zh) | 2017-05-26 | 2020-01-17 | 杭州海康威视数字技术股份有限公司 | 一种失真图像的去失真方法、装置及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102006477A (zh) * | 2010-11-25 | 2011-04-06 | 中兴通讯股份有限公司 | 图像传输方法及系统 |
| CN102968766A (zh) * | 2012-11-23 | 2013-03-13 | 上海交通大学 | 基于字典数据库的自适应图像超分辨率重构方法 |
| CN103136728A (zh) * | 2012-12-14 | 2013-06-05 | 西安电子科技大学 | 基于字典学习和非局部总变差的图像超分辨方法 |
| CN103150713A (zh) * | 2013-01-29 | 2013-06-12 | 南京理工大学 | 利用图像块分类稀疏表示与自适应聚合的图像超分辨方法 |
-
2013
- 2013-07-31 CN CN201310330425.4A patent/CN103390266B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102006477A (zh) * | 2010-11-25 | 2011-04-06 | 中兴通讯股份有限公司 | 图像传输方法及系统 |
| CN102968766A (zh) * | 2012-11-23 | 2013-03-13 | 上海交通大学 | 基于字典数据库的自适应图像超分辨率重构方法 |
| CN103136728A (zh) * | 2012-12-14 | 2013-06-05 | 西安电子科技大学 | 基于字典学习和非局部总变差的图像超分辨方法 |
| CN103150713A (zh) * | 2013-01-29 | 2013-06-12 | 南京理工大学 | 利用图像块分类稀疏表示与自适应聚合的图像超分辨方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103390266A (zh) | 2013-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Shan et al. | Fast image/video upsampling | |
| Tai et al. | Super resolution using edge prior and single image detail synthesis | |
| Liu et al. | Exemplar-based image inpainting using multiscale graph cuts | |
| Aelterman et al. | Augmented Lagrangian based reconstruction of non-uniformly sub-Nyquist sampled MRI data | |
| CN103390266B (zh) | 一种图像超分辨率方法和装置 | |
| de Leeuw Den Bouter et al. | Deep learning-based single image super-resolution for low-field MR brain images | |
| CN101719266B (zh) | 一种基于仿射变换的正面人脸图像超分辨率重建方法 | |
| CN104899835A (zh) | 基于盲模糊估计与锚定空间映射的图像超分辨处理方法 | |
| CN103473797B (zh) | 基于压缩感知采样数据修正的空域可缩小图像重构方法 | |
| CN108257108A (zh) | 一种超分辨率图像重建方法及系统 | |
| Lu et al. | Two-stage self-supervised cycle-consistency network for reconstruction of thin-slice MR images | |
| Mikaeli et al. | Single-image super-resolution via patch-based and group-based local smoothness modeling | |
| CN104091364B (zh) | 单幅图像超分辨重建方法 | |
| Neumayer et al. | Regularization of inverse problems via time discrete geodesics in image spaces | |
| CN106558021A (zh) | 基于超分辨率技术的视频增强方法 | |
| Lu et al. | Rician noise removal via a learned dictionary | |
| Puy et al. | Robust image reconstruction from multiview measurements | |
| CN110895790A (zh) | 基于后验降质信息估计的场景图像超分辨方法 | |
| Huang et al. | Efficient and Effective Total Variation Image Super‐Resolution: A Preconditioned Operator Splitting Approach | |
| Hua et al. | Image super resolution using fractal coding and residual network | |
| CN102579045B (zh) | 磁共振超欠采样k数据的稀疏化成像方法 | |
| Zhang et al. | Efficient synthesis of gradient solid textures | |
| Fu et al. | Correction of ring artifacts with Swin-Conv-U-Net for x-ray computed tomography | |
| Ye et al. | Cascade Multiscale Swin-Conv Network for Fast MRI Reconstruction | |
| Wang et al. | Multi-level temporal information sharing transformer-based feature reuse network for cardiac MRI reconstruction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: Kezhu road high tech Industrial Development Zone, Guangzhou city of Guangdong Province, No. 233 510670 Patentee after: VTRON GROUP Co.,Ltd. Address before: 510663 Guangzhou province high tech Industrial Development Zone, Guangdong, Cai road, No. 6, No. Patentee before: VTRON TECHNOLOGIES Ltd. |
|
| CP03 | Change of name, title or address | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160518 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |