CN108335265A - 一种基于样本学习的快速图像超分辨率重建方法及装置 - Google Patents

一种基于样本学习的快速图像超分辨率重建方法及装置 Download PDF

Info

Publication number
CN108335265A
CN108335265A CN201810116735.9A CN201810116735A CN108335265A CN 108335265 A CN108335265 A CN 108335265A CN 201810116735 A CN201810116735 A CN 201810116735A CN 108335265 A CN108335265 A CN 108335265A
Authority
CN
China
Prior art keywords
resolution
image
low
sample
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810116735.9A
Other languages
English (en)
Other versions
CN108335265B (zh
Inventor
陈涛
王洪剑
林江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI TONGTU SEMICONDUCTOR TECHNOLOGY Co Ltd
Original Assignee
SHANGHAI TONGTU SEMICONDUCTOR TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI TONGTU SEMICONDUCTOR TECHNOLOGY Co Ltd filed Critical SHANGHAI TONGTU SEMICONDUCTOR TECHNOLOGY Co Ltd
Priority to CN201810116735.9A priority Critical patent/CN108335265B/zh
Publication of CN108335265A publication Critical patent/CN108335265A/zh
Application granted granted Critical
Publication of CN108335265B publication Critical patent/CN108335265B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于样本学习的快速图像超分辨率重建方法及装置，所述方法包括如下步骤：步骤S1，通过多幅包含有完全相同内容的高、低分辨率图像获取训练样本进行模型训练，以获得对应多个图像块尺寸的层次聚类树和回归矩阵；步骤S2，利用训练得到的对应多图像块的聚类树和回归矩阵，对低分辨率图像进行自适应多图像块的局部线性回归，从而获得高质量的重构高分辨率图像，通过本发明，既能较好地在图像中增加新的高频信息，同时还能较快地重构高分辨率图像。

Description

一种基于样本学习的快速图像超分辨率重建方法及装置
技术领域
本发明涉及数字图像处理、机器学习以及人工智能领域，特别是涉及一种利用样本学习、对低分辨率图像快速进行放大以获得高质量高分辨率图像的快速图像超分辨率重建方法及装置。
背景技术
图像作为人类感知世界的重要信息形式，其内容的丰富和细节，直接决定这人类感受到内容的详细程度。当图像单位尺度上的像素密度越高，则图像越清晰,其表达的细节能力越强，人类感知的信息越丰富，这也就是高分辨率图像。图像的超分辨率重建已经在很多方面有了相应的研究如遥感图像，卫星成像领域，医学图像领域，和一些高清晰显示领域等等。
一种提高图像的分辨率的方法主要靠改进传感器制造工艺来减小像元尺寸，或者增加单位面积内的像元数量。但是减少像素元会减少像元能够接受的电磁能量，从而会造成容易受噪声干扰，导致图像质量不高。而增加集成电路板的尺寸会导致电容增加。这易造成电容难以转移电荷，使得其应用领域减少。另一类方法是采用信号处理技术对单帧或多帧低分辨率图像进行重建，得到高分辨率图像，也就是图像处理领域的超分辨率重建技术。
图像的超分辨率重建是指利用信号处理和计算机软件的方法消除由于成像系统聚焦不准、运动模糊以及非理想采样等因素引起的图像质量退化，从而得到高分辨率的清晰图像。
传统的图像超分辨率重建方法主要有以下两种：
一、采用基于插值的方法，主要是通过构造光滑曲线或者曲面的插值函数来产生高分辨率图像。目前常用的插值方法包括最近邻域插值法、双线性插值法和双三次插值法，基于边缘信息的图像非线性插值方法等。该些插值方法直观和简单，但是往往导致细节模糊，不能增加高频信息；
二、基于学习的超分辨率方法能从大量的训练样本集中获取先验知识作为超分辨率的依据，能产生新的高频细节，但速度太慢。
发明内容
为克服上述现有技术存在的不足，本发明之目的在于提供一种基于样本学习的快速图像超分辨率重建方法及装置，以达到既能较好地在图像中增加新的高频信息，同时还能较快地重构高分辨率图像的目的。
为达上述及其它目的，本发明提出一种基于样本学习的快速图像超分辨率重建方法，包括如下步骤：
步骤S1，通过多幅包含有完全相同内容的高、低分辨率图像获取训练样本进行模型训练，以获得对应多个图像块尺寸的层次聚类树和回归矩阵；
步骤S2，利用训练得到的对应多图像块的聚类树和回归矩阵，对低分辨率图像进行自适应多图像块的局部线性回归，从而获得高质量的重构高分辨率图像。
优选地，步骤S1进一步包括：
步骤S100，通过多幅包含有完全相同内容的高、低分辨率图像获取训练样本；
步骤S101，对获取的低分辨率图像块，进行均值归零和模值作归一处理，作为聚类的特征；
步骤S102，基于低分辨率图像块特征，对低分辨率图像块进行由下而上的二叉树分层聚类；
步骤S103，对于聚类树最底层的2L类中的每个类别，利用此类中高低分辨率样本计算回归矩阵；
步骤S104，对于最底层的每个类别，利用回归矩阵由低分辨率图像块生成高分辨图像，并与高分辨率样本图像块进行比较，计算出此类别重构高分辨率图像的重构质量评价指标；
步骤S105，设置不同的图像块大小，选择不同或者相同的训练样本，重复步骤S100-S104。
优选地，于步骤S100中，获取多幅包含有完全相同内容的高、低分辨率图像，对每张低分辨率图像通过滑动窗口的方法提取低分辨率图像块，在对应图像高分辨率图像中提取与低分辨率图像块位置对应的高分辨率图像块。
优选地，于步骤S100中，所述多幅包含有完全相同内容的高、低分辨率图像的获取方法如下：
先选取高质量的高分辨率图像；
然后对高分辨图像先下采样再上采样，得到与高分辨率图像同样尺寸的低分辨率图像。
优选地，步骤S102进一步包括：
将低分辨率图像块样本分成2L类，L≥1，并保存每个类别的中心点；
对2L个类进行两两合并，得到2L-1类，如此进而分别可以得到2L-2,......,21类，计算两类中心点间的距离，对所有类别中距离最小的两类进行组合，并反复迭代这一过程。
优选地，于步骤S103中，对于聚类树最底层的2L类中的每个类别，利用此类中高低分辨率样本的计算回归矩阵Sr，计算公式如下：
其中，λ≥0是正则化因子，I是单位矩阵，Y是由此类中高分辨率样本图像列向量沿行方向堆叠而成的矩阵，是低分辨率样本图像列向量沿行方向堆叠而成的矩阵，是均值归一化后的低分辨率图像列向量堆叠而成的矩阵。
优选地，步骤S2进一步包括：
步骤S200，对输入低分辨率图像上采样得到目标图像大小的低分辨率图像；
步骤S201，将低分辨率图像分割成待重构的低分辨率图像块；
步骤S202，将分割后的图像块进行特征提取，作为特征向量；
步骤S203，将图像块特征向量与训练过程得到的二叉分层聚类树的类中心点进行比较，判断属于最底层的2L类中的哪一类；
步骤S204，对图像块进行重构；
步骤S205，将所有高分辨率图像块按低分辨率图像块对应位置叠加后取平均值，作为与当前块大小对应的重构高分辨率图像；
步骤S206，设置不同的图像块大小，重复步骤S200-S205；
步骤S207，进行重构图像的混合，得到最终的重构高分辨率图像。
优选地，步骤S204进一步包括：
假设低分辨率图像块列向量为它的均值为重构的高分辨图像yr如下计算：
其中，Sr为重构回归矩阵；
将重构的图像按列沿行方向重排成n*n图像块，并将此类别的重构质量指标值设置为图像块每个元素的重构质量指标值。
优选地，步骤S207进一步包括：
基于重构质量指标图像，计算出重构图像的混合权重；
根据混合权重对不同块大小重构的高分辨率图像进行混合，得到最终的重构高分辨率图像。
为达到上述目的，本发明还提供一种基于样本学习的快速图像超分辨率重建装置，包括：
模型训练单元，用于通过多幅包含有完全相同内容的高、低分辨率图像获取训练样本进行模型训练，以获得对应多个图像块尺寸的层次聚类树和回归矩阵；
分辨率重构单元，用于利用训练得到的对应多图像块的聚类树和回归矩阵，对低分辨率图像进行自适应多图像块的局部线性回归，从而获得高质量的重构高分辨率图像。
现有技术相比，本发明一种基于样本学习的快速图像超分辨率重建方法及装置通过模型训练单元获得对应多个图像块尺寸的层次聚类树和回归矩阵，通过分辨率重构单元利用训练得到的对应多图像块的聚类树和回归矩阵，对低分辨率图像进行自适应多图像块的局部线性回归，从而获得高质量的重构高分辨率图像，实现了既能较好地在图像中增加新的高频信息，同时还能较快地重构高分辨率图像的目的，本发明提出的自适应多图像块的图像放大，能够较好地重构不同尺度的细节，本发明提出的基于二叉树的层次聚类方法，能快速地进行图像分类，进而进行图像重构。
附图说明
图1为本发明一种基于样本学习的快速图像超分辨率重建方法的步骤流程图；
图2为本发明具体实施例中步骤S1的细部流程图；
图3为本发明具体实施例中二叉树分层聚类示意图；
图4为本发明具体实施例中步骤S2的细部流程图；
图5为本发明一种基于样本学习的快速图像超分辨率重建装置的系统架构图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
图1为本发明一种基于样本学习的快速图像超分辨率重建方法的步骤流程图。如图1所示，本发明一种基于样本学习的快速图像超分辨率重建方法，包括如下步骤：
步骤S1，通过多幅包含有完全相同内容的高、低分辨率图像获取训练样本进行模型训练，以获得对应多个图像块尺寸的层次聚类树和回归矩阵。
具体地，如图2所示，步骤S1进一步包括：
步骤S100，获取训练样本。在本发明具体实施例中，获取多幅包含有完全相同内容的高、低分辨率图像，对每张低分辨率图像通过滑动窗口的方法提取低分辨率图像块，在对应图像高分辨率图像中提取与低分辨率图像块位置对应的高分辨率图像块。
由于实际上往往无法同时获得同一场景的高分辨率图像和对应的低分辨率图像，本发明采取模拟方式得到。具体地，先选取高质量的高分辨率图像，比如可选取64幅大小为256×256的高分辨率图像，高分辨率图像的选择原则是：图像细节锐利，图像边缘清晰，没受噪声污染，包含不同亮度和不同对比度的细节和边缘；然后对高分辨图像先下采样再上采样，得到与高分辨率图像同样尺寸的低分辨率图像，上下采样的方法可以是双线性、三次样条、迭代后向投影(IBP，iterative back-projection)等。
一般地，训练时上下采样的倍率是多样的，不仅仅包括需要放大的倍数，如果需要放大的倍数是2倍，则训练时采样倍率包括2倍，3倍，1.5倍，2.5倍等。
步骤S101,对获取的低分辨率图像块，进行均值归零和模值归一化处理，作为聚类的特征。具体地，对训练样本中的每个低分辨率图像块(块大小为n*n，n≥2，比如块大小为6*6)按列叠加，重排成n*n个元素的列向量y～，它的均值为先均值归零：
然后对进行模值归一化：
步骤S102，基于低分辨率图像块特征，对低分辨率图像块进行由下而上的二叉树分层聚类。如图3所示，步骤S102具体步骤如下：
首先，将低分辨率图像块样本分成2L(L≥1)类，并保存每个类别的中心点；这里L可以取值12，即将样本分成4096类，聚类的方法可以是K均值，均值漂移(Mean Shift)等，本发明不以此为限；
然后，对2L个类进行两两合并，得到2L-1类，如此进而分别可以得到2L-2,......,21类，计算两类中心点间的距离，对所有类别中距离最小的两类进行组合，即合并距离最小的两类，并反复迭代这一过程。
聚类包括类合并时，特征向量之间的距离如下计算：
其中，＜a,b＞表示特征向量a与b的向量内积，|·|表示绝对值,||·||向量模值。dist(a,b)取值范围为[0,1],特征向量越相似，其值越接近1.
步骤S103，对于聚类树最底层的2L类中的每个类别，利用此类中高低分辨率样本计算回归矩阵。
具体地，对于聚类树最底层的2L类中的每个类别，利用此类中高低分辨率样本的计算回归矩阵Sr，具体计算公式如下：
其中，λ≥0是正则化因子，I是单位矩阵，Y是由此类中高分辨率样本图像列向量沿行方向堆叠而成的矩阵，是低分辨率样本图像列向量沿行方向堆叠而成的矩阵，是均值归一化后的低分辨率图像列向量堆叠而成的矩阵。
当图像值范围为[0,1]时，λ可以取值10-4，假如选取的图像块大小为6*6，样本个数为M(M≥1000)，则矩阵Y大小为36*M，回归矩阵Sr的大小为36*36。
步骤S104，对于最底层的每个类别，利用回归矩阵由低分辨率图像块生成高分辨图像，并与高分辨率样本图像块进行比较，计算出此类别重构高分辨率图像的重构质量评价指标。
具体地，对于训练好的聚类树结构，最底层有2L类。对于最底层的每个类别，利用回归矩阵由低分辨率图像块生成高分辨图像，并与高分辨率样本图像块进行比较，计算出此类别重构高分辨率图像的重构质量评价指标。
低分辨率图像列向量为它的均值为重构的高分辨图像yr如下计算：
重构质量通过重构的高分辨图像yr与高分辨图像样本y的差异来评价。具体的评价指标可以是PSNR(Peak Signal to Noise Ratio，峰值信噪比)，SSIM(StructuralSimilarity index，结构相似性)等。对于PSNR，具体如下计算：
其中，n＝0如果图像范围为[0,1],yr与y之间的MSE如下计算：
此类别中所有重构的高分辨率图像的PSNR的平均值即为此类的重构质量评价指标。
步骤S105，设置不同的图像块大小，选择不同或者相同的训练样本，重复步骤S100-S104。
步骤S2，利用训练得到的对应多图像块的聚类树和回归矩阵，对低分辨率图像进行自适应多图像块的局部线性回归，从而获得高质量的重构高分辨率图像。
具体地，如图4所示，步骤S2进一步包括：
步骤S200，对输入低分辨率图像上采样得到目标图像大小的低分辨率图像。上下采样的方法可以是双线性、三次样条、迭代后向投影(IBP，iterative back-projection)等。对于2倍图像超分辨率，就要对输入低分辨率图像2倍上采样，放大方法可以是三次样条。
步骤S201，将低分辨率图像分割成待重构的低分辨率图像块。具体地，将低分辨率图像通过重叠滑动窗口的方法分割成待重构的低分辨率图像块。
步骤S202，将分割后的图像块进行特征提取，作为特征向量。具体地，将分割后的图像块进行如步骤S101的均值归零和模值归一化处理，作为特征向量。
步骤S203，将图像块特征向量与训练过程得到的二叉分层聚类树的类中心点进行比较，判断属于最底层的2L类中的哪一类。
具体地，分类过程由上而下逐层进行。先计算特征向量与树最顶端的两个类中心点的距离，从而判断属于第1层中的哪一类。然后，再与第1层选中的类的两个子类(树的第2层)的类中心点进行比较，得到属于第2层两个子类中的哪一个。如此类推，直到得出属于最底层的2L个类(树的第L层)中的哪一类。
步骤S204，对图像块进行重构。
具体地，假设低分辨率图像块列向量为它的均值为重构的高分辨图像yr如下计算：
其中，Sr为重构回归矩阵。
然后将重构的图像(为列向量)按列沿行方向重排成n*n图像块，并将此类别的重构质量指标值(步骤S104计算获得，保存在聚类树)设置为图像块每个元素的重构质量指标值。
步骤S205，将所有高分辨率图像块按低分辨率图像块对应位置叠加后取平均值，作为与当前块大小对应的重构高分辨率图像。
同样地，高分辨率图像块所对应的重构质量指标值也进行叠加平均，得到逐像素点的重构质量指标值。
步骤S206，设置不同的图像块大小，重复步骤S200-S205，得到不同图像块大小重构的高分辨率图像，以及相应的重构质量指标图像。本步骤与训练过程一样，图像块大小可以为4*4，6*6,8*8等。
步骤S207，进行重构图像的混合。步骤S207进一步包括：
基于重构质量指标图像，计算出重构图像的混合权重；
根据混合权重对不同块大小重构的高分辨率图像进行混合，得到最终的重构高分辨率图像。
具体地，基于PSNR的评价指标，先如下计算重构图像的混合权重：
wi_bld＝min(1,b+k*max(0,PSNRi-x))， (7)
其中,x≥0，较佳地，可以设置为35，b∈[0,1]，较佳地，可以设置为0.25，k≥0，较佳地，可以设置为0.2。
由图像块大小4*4、6*6、8*8重构而来的高分辨率图像分别为Ir0、Ir1、Ir2，对应的混合权重分别为w0_bld、w1_bld、w2_bld，最终的重构高分辨率图像Irb如下计算：
图5为本发明一种基于样本学习的快速图像超分辨率重建装置的系统架构图。如图5所示，本发明一种基于样本学习的快速图像超分辨率重建装置，包括：
模型训练单元50，用于通过多幅包含有完全相同内容的高、低分辨率图像获取训练样本进行模型训练，以获得对应多个图像块尺寸的层次聚类树和回归矩阵。
具体地，模型训练单元50进一步包括：
训练样本获取单元501，用于获取训练样本。在本发明具体实施例中，训练样本获取单元501通过获取多幅包含有完全相同内容的高、低分辨率图像，对每张低分辨率图像通过滑动窗口的方法提取低分辨率图像块，在对应图像高分辨率图像中提取与低分辨率图像块位置对应的高分辨率图像块。
由于实际上往往无法同时获得同一场景的高分辨率图像和对应的低分辨率图像，本发明采取模拟方式得到。具体地，训练样本获取单元501先选取高质量的高分辨率图像，比如可选取64幅大小为256×256的高分辨率图像，高分辨率图像的选择原则是：图像细节锐利，图像边缘清晰，没受噪声污染，包含不同亮度和不同对比度的细节和边缘；然后对高分辨图像先下采样再上采样，得到与高分辨率图像同样尺寸的低分辨率图像，上下采样的方法可以是双线性、三次样条、迭代后向投影(IBP，iterative back-projection)等。
第一特征提取单元502，用于对获取的低分辨率图像块，进行均值归零和模值作归一处理，作为聚类的特征。具体地，第一特征提取单元502对训练样本中的每个低分辨率图像块(块大小为n*n，n≥2，比如块大小为6*6)按列叠加，重排成n*n个元素的列向量y～，先均值归零，然后对y～0进行模值归一化。
二叉树分层聚类503，用于基于低分辨率图像块特征，对低分辨率图像块进行由下而上的二叉树分层聚类。二叉树分层聚类503具体用于：
将低分辨率图像块样本分成2L(L≥1)类，并保存每个类别的中心点；这里L可以取值12，即将样本分成4096类，聚类的方法可以是K均值，均值漂移(MeanShift)等，本发明不以此为限；
然后，对2L个类进行两两合并，得到2L-1类，如此进而分别可以得到2L-2,......,21类，计算两类中心点间的距离，对所有类别中距离最小的两类进行组合，并反复迭代这一过程。
回归矩阵计算单元504，用于对聚类树最底层的2L类中的每个类别，利用此类中高低分辨率样本计算回归矩阵。
重构指标计算单元505，用于对最底层的每个类别，利用回归矩阵由低分辨率图像块生成高分辨图像，并与高分辨率样本图像块进行比较，计算出此类别重构高分辨率图像的重构质量评价指标。
具体地，对于训练好的聚类树结构，最底层有2L类。对于最底层的每个类别，利用回归矩阵由低分辨率图像块生成高分辨图像，并与高分辨率样本图像块进行比较，计算出此类别重构高分辨率图像的重构质量评价指标。
多尺寸块训练单元506，用于设置不同的图像块大小，选择不同或者相同的训练样本，并重复其他各单元。
分辨率重构单元51，用于利用训练得到的对应多图像块的聚类树和回归矩阵，对低分辨率图像进行自适应多图像块的局部线性回归，从而获得高质量的重构高分辨率图像。
具体地，分辨率重构单元51进一步包括：
图像预处理单元510，用于对输入低分辨率图像上采样得到目标图像大小的低分辨率图像。上下采样的方法可以是双线性、三次样条、迭代后向投影(IBP，iterative back-projection)等。对于2倍图像超分辨率，就要对输入低分辨率图像2倍上采样，放大方法可以是三次样条。
图像分块单元511，用于将低分辨率图像分割成待重构的低分辨率图像块。具体地，图像分块单元511将低分辨率图像通过重叠滑动窗口的方法分割成待重构的低分辨率图像块。
第二特征提取单元512，用于将分割后的图像块进行特征提取，作为特征向量。具体地，将分割后的图像块进行如第一特征提取单元502的均值归零和模值归一处理，作为特征向量。
图像分类单元513，用于将图像块特征向量与训练过程得到的二叉分层聚类树的类中心点进行比较，判断属于最底层的2L类中的哪一类。
具体地，图像分类单元513的分类过程由上而下逐层进行。先计算特征向量与树最顶端的两个类中心点的距离，从而判断属于第1层中的哪一类。然后，再与第1层选中的类的两个子类(树的第2层)的类中心点进行比较，得到属于第2层两个子类中的哪一个。如此类推，直到得出属于最底层的2L个类(树的第L层)中的哪一类。
图像块重构单元514，用于对图像块进行重构。图像块重构单元514具体用于：
假设低分辨率图像块列向量为它的均值为重构的高分辨图像yr如下计算：
其中，Sr为重构回归矩阵。
将重构的图像(为列向量)按列沿行方向重排成n*n图像块，并将此类别的重构质量指标值(重构指标计算单元505获得，保存在聚类树)设置为图像块每个元素的重构质量指标值。
重构块叠加单元515，用于将所有高分辨率图像块按低分辨率图像块对应位置叠加后取平均值，为与当前块大小对应的重构高分辨率图像。
同样地，高分辨率图像块所对应的重构质量指标值也进行叠加平均，得到逐像素点的重构质量指标值。
多尺寸块重构单元516，用于设置不同的图像块大小，重复图像预处理单元510-重构块叠加单元515，得到不同图像块大小重构的高分辨率图像，以及相应的重构质量指标图像。多尺寸块重构单元516与训练过程的多尺寸块训练单元406一样，图像块大小可以为4*4，6*6,8*8等。
重构图像混合单元517，用于进行重构图像的混合。重构图像混合单元517具体用于：
基于重构质量指标图像，计算出重构图像的混合权重；
根据混合权重对不同块大小重构的高分辨率图像进行混合，得到最终的重构高分辨率图像。
综上所述，本发明一种基于样本学习的快速图像超分辨率重建方法及装置通过模型训练单元获得对应多个图像块尺寸的层次聚类树和回归矩阵，通过分辨率重构单元利用训练得到的对应多图像块的聚类树和回归矩阵，对低分辨率图像进行自适应多图像块的局部线性回归，从而获得高质量的重构高分辨率图像，实现了既能较好地在图像中增加新的高频信息，同时还能较快地重构高分辨率图像的目的，本发明提出的自适应多图像块的图像放大，能够较好地重构不同尺度的细节，本发明提出的基于二叉树的层次聚类方法，能快速地进行图像分类，进而进行图像重构。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种基于样本学习的快速图像超分辨率重建方法，包括如下步骤：
步骤S1，通过多幅包含有完全相同内容的高、低分辨率图像获取训练样本进行模型训练，以获得对应多个图像块尺寸的层次聚类树和回归矩阵；
步骤S2，利用训练得到的对应多个图像块的层次聚类树和回归矩阵，对低分辨率图像进行自适应多图像块的局部线性回归，从而获得高质量的重构高分辨率图像。
2.如权利要求1所述的一种基于样本学习的快速图像超分辨率重建方法，其特征在于，步骤S1进一步包括：
步骤S100，通过多幅包含有完全相同内容的高、低分辨率图像获取训练样本；
步骤S101，对获取的低分辨率图像块，进行均值归零和模值归一化处理，作为聚类的特征；
步骤S102，基于低分辨率图像块特征，对低分辨率图像块进行由下而上的二叉树分层聚类；
步骤S103，对于聚类树最底层的2L类中的每个类别，利用此类中高低分辨率样本计算回归矩阵；
步骤S104，对于最底层的每个类别，利用回归矩阵由低分辨率图像块生成高分辨图像，并与高分辨率样本图像块进行比较，计算出此类别重构高分辨率图像的重构质量评价指标；
步骤S105，设置不同的图像块大小，选择不同或者相同的训练样本，重复步骤S100-S104。
3.如权利要求2所述的一种基于样本学习的快速图像超分辨率重建方法，其特征在于：于步骤S100中，获取多幅包含有完全相同内容的高、低分辨率图像，对每张低分辨率图像通过滑动窗口的方法提取低分辨率图像块，在对应图像高分辨率图像中提取与低分辨率图像块位置对应的高分辨率图像块。
4.如权利要求3所述的一种基于样本学习的快速图像超分辨率重建方法，其特征在于，于步骤S100中，所述多幅包含有完全相同内容的高、低分辨率图像的获取方法如下：
先选取高质量的高分辨率图像；
然后对高分辨图像先下采样再上采样，得到与高分辨率图像同样尺寸的低分辨率图像。
5.如权利要求2所述的一种基于样本学习的快速图像超分辨率重建方法，其特征在于，步骤S102进一步包括：
将低分辨率图像块样本分成2L类，L≥1，并保存每个类别的中心点；
对2L个类进行两两合并，得到2L-1类，如此进而分别可以得到2L-2,......,21类，计算两类中心点间的距离，对所有类别中距离最小的两类进行组合，并反复迭代这一过程。
6.如权利要求2所述的一种基于样本学习的快速图像超分辨率重建方法，其特征在于，于步骤S103中，对于聚类树最底层的2L类中的每个类别，利用此类中高低分辨率样本的计算回归矩阵Sr，计算公式如下：
其中，λ≥0是正则化因子，I是单位矩阵，Y是由此类中高分辨率样本图像列向量沿行方向堆叠而成的矩阵，是低分辨率样本图像列向量沿行方向堆叠而成的矩阵，是均值归一化后的低分辨率图像列向量堆叠而成的矩阵。
7.如权利要求2所述的一种基于样本学习的快速图像超分辨率重建方法，其特征在于，步骤S2进一步包括：
步骤S200，对输入低分辨率图像上采样得到目标图像大小的低分辨率图像；
步骤S201，将低分辨率图像分割成待重构的低分辨率图像块；
步骤S202，将分割后的图像块进行特征提取，作为特征向量；
步骤S203，将图像块特征向量与训练过程得到的二叉分层聚类树的类中心点进行比较，判断属于最底层的2L类中的哪一类；
步骤S204，对图像块进行重构；
步骤S205，将所有高分辨率图像块按低分辨率图像块对应位置叠加后取平均值，为与当前块大小对应的重构高分辨率图像；
步骤S206，设置不同的图像块大小，重复步骤S200-S205；
步骤S207，进行重构图像的混合，得到最终的重构高分辨率图像。
8.如权利要求7所述的一种基于样本学习的快速图像超分辨率重建方法，其特征在于，步骤S204进一步包括：
假设低分辨率图像块列向量为其均值为重构的高分辨图像yr如下计算：
其中，Sr为重构回归矩阵；
将重构的图像按列沿行方向重排成n*n图像块，并将此类别的重构质量指标值设置为图像块每个元素的重构质量指标值。
9.如权利要求7所述的一种基于样本学习的快速图像超分辨率重建方法，其特征在于，步骤S207进一步包括：
基于重构质量指标图像，计算出重构图像的混合权重；
根据混合权重对不同块大小重构的高分辨率图像进行混合，得到最终的重构高分辨率图像。
10.一种基于样本学习的快速图像超分辨率重建装置，包括：
模型训练单元，用于通过多幅包含有完全相同内容的高、低分辨率图像获取训练样本进行模型训练，以获得对应多个图像块尺寸的层次聚类树和回归矩阵；
分辨率重构单元，用于利用训练得到的对应多图像块的聚类树和回归矩阵，对低分辨率图像进行自适应多图像块的局部线性回归，从而获得高质量的重构高分辨率图像。
CN201810116735.9A 2018-02-06 2018-02-06 一种基于样本学习的快速图像超分辨率重建方法及装置 Active CN108335265B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810116735.9A CN108335265B (zh) 2018-02-06 2018-02-06 一种基于样本学习的快速图像超分辨率重建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810116735.9A CN108335265B (zh) 2018-02-06 2018-02-06 一种基于样本学习的快速图像超分辨率重建方法及装置

Publications (2)

Publication Number Publication Date
CN108335265A true CN108335265A (zh) 2018-07-27
CN108335265B CN108335265B (zh) 2021-05-07

Family

ID=62928329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810116735.9A Active CN108335265B (zh) 2018-02-06 2018-02-06 一种基于样本学习的快速图像超分辨率重建方法及装置

Country Status (1)

Country Link
CN (1) CN108335265B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109564677A (zh) * 2018-11-09 2019-04-02 香港应用科技研究院有限公司 基于随机森林分类器加权结果的超分辨率合成系统和方法
CN110084752A (zh) * 2019-05-06 2019-08-02 电子科技大学 一种基于边缘方向和k均值聚类的图像超分辨重建方法
CN111741307A (zh) * 2020-06-09 2020-10-02 绍兴图信科技有限公司 基于矢量量化压缩和线性回归预测的图像压缩方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872472A (zh) * 2010-06-02 2010-10-27 中国科学院自动化研究所 一种基于样本学习的人脸图像超分辨率重建方法
CN105405098A (zh) * 2015-10-29 2016-03-16 西北工业大学 一种基于稀疏表示和自适应滤波的图像超分辨率重建方法
US9589323B1 (en) * 2015-08-14 2017-03-07 Sharp Laboratories Of America, Inc. Super resolution image enhancement technique
CN106780333A (zh) * 2016-12-14 2017-05-31 深圳市华星光电技术有限公司 一种图像超分辨率重建方法
CN106846254A (zh) * 2017-02-15 2017-06-13 深圳创维－Rgb电子有限公司 一种基于云端自主学习的图像缩放方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872472A (zh) * 2010-06-02 2010-10-27 中国科学院自动化研究所 一种基于样本学习的人脸图像超分辨率重建方法
US9589323B1 (en) * 2015-08-14 2017-03-07 Sharp Laboratories Of America, Inc. Super resolution image enhancement technique
CN105405098A (zh) * 2015-10-29 2016-03-16 西北工业大学 一种基于稀疏表示和自适应滤波的图像超分辨率重建方法
CN106780333A (zh) * 2016-12-14 2017-05-31 深圳市华星光电技术有限公司 一种图像超分辨率重建方法
CN106846254A (zh) * 2017-02-15 2017-06-13 深圳创维－Rgb电子有限公司 一种基于云端自主学习的图像缩放方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YONGBING ZHANG 等: "Clustering and Collaborative Representation for Fast Single Image Super-Resolution", 《IEEE TRANSACTIONS ON MULTIMEDIA》 *
刘超: "快速超分辨率重建方法研究与实现", 《中国优秀硕士学位论文全文数据库》 *
司丹丹: "基于边界优先的图像超分辨率重建", 《中国优秀硕士学位论文全文数据库》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109564677A (zh) * 2018-11-09 2019-04-02 香港应用科技研究院有限公司 基于随机森林分类器加权结果的超分辨率合成系统和方法
CN109564677B (zh) * 2018-11-09 2022-09-27 香港应用科技研究院有限公司 基于随机森林分类器加权结果的超分辨率合成系统和方法
CN110084752A (zh) * 2019-05-06 2019-08-02 电子科技大学 一种基于边缘方向和k均值聚类的图像超分辨重建方法
CN111741307A (zh) * 2020-06-09 2020-10-02 绍兴图信科技有限公司 基于矢量量化压缩和线性回归预测的图像压缩方法
CN111741307B (zh) * 2020-06-09 2023-06-06 绍兴图信科技有限公司 基于矢量量化压缩和线性回归预测的图像压缩方法

Also Published As

Publication number Publication date
CN108335265B (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
CN107194872B (zh) 基于内容感知深度学习网络的遥感图像超分辨率重建方法
Engin et al. Cycle-dehaze: Enhanced cyclegan for single image dehazing
Hu et al. Meta-SR: A magnification-arbitrary network for super-resolution
CN108734659B (zh) 一种基于多尺度标签的亚像素卷积图像超分辨率重建方法
Li et al. Joint example-based depth map super-resolution
CN109741256A (zh) 基于稀疏表示和深度学习的图像超分辨率重建方法
CN109389556A (zh) 一种多尺度空洞卷积神经网络超分辨率重构方法及装置
CN110570353A (zh) 密集连接生成对抗网络单幅图像超分辨率重建方法
CN108765291A (zh) 基于稠密神经网络和双参数损失函数的超分辨率重建方法
CN107452010A (zh) 一种自动抠图算法和装置
Li et al. A two-channel convolutional neural network for image super-resolution
CN102930518B (zh) 基于改进的稀疏表示的图像超分辨率方法
CN110634147A (zh) 基于双边引导上采样的图像抠图方法
CN108335265A (zh) 一种基于样本学习的快速图像超分辨率重建方法及装置
CN104809461A (zh) 结合序列图像超分辨率重建的车牌识别方法及系统
CN103413286A (zh) 一种基于学习的高动态范围与高分辨率图像联合重建方法
CN105957124B (zh) 具有重复场景元素的自然图像颜色编辑方法及装置
CN105825477A (zh) 基于多字典学习与非局部信息融合的遥感图像超分辨率重建方法
CN107256571A (zh) 一种基于深度学习与自适应差分盒的分形维数估计方法
Liu et al. Dual learning-based graph neural network for remote sensing image super-resolution
CN110288524A (zh) 基于增强型上采样和辨别融合机制的深度学习超分辨率方法
CN108876716A (zh) 超分辨率重建方法及装置
CN110211193A (zh) 三维ct层间图像插值修复与超分辨处理方法及装置
Dun et al. Kernel-attended residual network for single image super-resolution
Shi et al. Fast and lightweight image super-resolution based on dense residuals two-channel network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant