CN111340697B - 一种基于聚类回归的图像超分辨方法 - Google Patents

一种基于聚类回归的图像超分辨方法 Download PDF

Info

Publication number
CN111340697B
CN111340697B CN202010094638.1A CN202010094638A CN111340697B CN 111340697 B CN111340697 B CN 111340697B CN 202010094638 A CN202010094638 A CN 202010094638A CN 111340697 B CN111340697 B CN 111340697B
Authority
CN
China
Prior art keywords
image
resolution
pixels
regression
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010094638.1A
Other languages
English (en)
Other versions
CN111340697A (zh
Inventor
张凯兵
崔琛
李敏奇
景军锋
刘薇
卢健
陈小改
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Wanzhida Technology Co ltd
Zhejiang Xinwei Electronic Technology Co ltd
Original Assignee
Zhejiang Xinwei Electronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Xinwei Electronic Technology Co ltd filed Critical Zhejiang Xinwei Electronic Technology Co ltd
Priority to CN202010094638.1A priority Critical patent/CN111340697B/zh
Publication of CN111340697A publication Critical patent/CN111340697A/zh
Application granted granted Critical
Publication of CN111340697B publication Critical patent/CN111340697B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于聚类回归的图像超分辨方法，具体按照以下步骤实施：步骤1、选取低分辨图像中能够反映像素相似结构的信息特征；步骤2、利用超像素分割算法将步骤1选取的信息特征进行聚类分割，将图像分割成K类；步骤3、分别学习步骤2得到的K类的每个类的字典；步骤4、确定最优基向量；步骤5、基于步骤4选出的最优基向量，通过非局部字典回归模型来估计高分辨像素；步骤6、将步骤5估计的高分辨像素回归转化成全局优化统一的正则项；步骤7、迭代优化高分辨图像，并输出该图像。本发明通过学习低分辨率图像一组局部字典的结构规律，使图像的细节和边缘更加清晰，再通过正则化项解决超分辨重建问题。

Description

一种基于聚类回归的图像超分辨方法
技术领域
本发明属于计算机视觉技术领域，涉及一种基于聚类回归的图像超分辨方法。
背景技术
图像超分辨重建是计算机视觉领域最重要的研究课题之一。目前，受设备有限的成像能力和复杂的成像环境等因素的影响，得到的图像质量通常较差，不能满足实际应用中高分辨应用要求。在过去的几十年中，人们提出了许多不同的超分辨图像重建方法。根据重建的原理不同大体可以分为以下三种类型：基于插值的图像超分辨算法、基于重构的图像超分辨算法和基于实例学习的图像超分辨算法。
基于插值的图像超分辨算法是最早提出的算法，也是原理最简单，计算复杂度最低的重建算法。该类算法主要利用图像区域内的已知像素，通过固定的基函数或插值核估计出高分辨网络中的未知像素。常见的插值方法有最近邻插值、双线性插值、双三次插值。尽管插值的方法简单、高效，便于使用。但对于图像边缘部分，插值后锯齿现象明显，生成的图像通常满足不了实际应用要求。
基于重构的图像超分辨算法是通过图像的退化模型来约束高分辨 (High-Resolution，简称HR)、低分辨(Low-Resolution，简称LR)之间的一致性进而估计出高分辨率图像。图像退化模型如图1所示。由于一幅低分辨率图像可以对应于多幅高分辨率图像，因此图像超分辨重建问题是一个病态问题。从正则化的理论角度来说，图像退化模型是一个高复杂度模型。单从退化模型得到的解是不稳定，故需要借助图像的先验正则实现超分辨问题的稳定解。早期，研究者主要从频域着手，消除频谱重叠。频域方法的主要优点是理论简单，便于并行实现。但在处理实际中更加复杂的退化模型时能力有限，而且很难使用空域中的先验知识实现正则化求解，不利于实际应用。为了克服这些困难，摆脱频域算法的局限，人们提出了许多基于空域的算法。代表性的方法有：非均匀插值法、最大似然法(Maximum Likelihood,ML)、凸集投影法(Projection Onto Convex Sets,POCS)、最大后验法(Maximum A Posteriori，MAP)、迭代方向投影法(Iterative back-projection,IBP)。基于重建的方法运用了先验知识来正则化重建过程，没有使用样本图像通过训练得到先验，所以这类方法的优点是简单、计算量低，但无法处理自然图像中复杂图像结构。
基于学习的图像超分辨方法主要借助于机器学习技术，通过学习低分辨率图像与高分辨图像的映射关系，并将这种关系应用于给定的低分辨率图像来实现高分辨率图像重建。基于学习的图像超分辨重建过程如图2所示。根据超分辨重建过程中实例样本使用方式和学习算法的不同，基于学习的图像超分辨方法大体可以分为基于编码的方法和基于回归的方法。基于编码的方法利用高低分辨率图像之间的关系，实现低分辨率与高分辨率图像之间的映射。代表性方法有k-NN(k–Nearest Neighbor)、基于流形学习方法以及稀疏编码的方法。由于基于k-NN和基于流行学习的超分辨算法结构简单，但是对每个输入的图像块，都需要搜索大规模的训练集执行相似性匹配，因此计算时间复杂度和空间复杂度均较高，算法一般无法在实际中应用。基于稀疏表示的方法通过学习低分辨与高分辨图像块的超完备字典，通过求解基于l0或l1范数正则化最小二乘优化问题建立低分辨与高分率之间的关系，该类算法能显著降低计算时间复杂度和空间复杂度。但是，在字典规模较大时，计算时间复杂度仍然较高，距离实际应用还存在很大的差距。基于回归的方法直接在低分辨率图像特征空间与高分辨像素之间的映射。该类算法的性能依赖于支持向量的个数和质量。支持向量个数太多计算时间复杂度就会升高，而较少的支持向量个数会导致重建质量下降。
发明内容
本发明的目的是提供一种基于聚类回归的图像超分辨方法，解决了现有技术中存在的基于重构的图像超分辨算法中难以恢复图像中高频信息的问题。
本发明所采用的技术方案是，一种基于聚类回归的图像超分辨方法，具体按照以下步骤实施：
步骤1、选取低分辨图像中能够反映像素相似结构的信息特征；
步骤2、利用超像素分割算法将步骤1选取的信息特征进行聚类分割，将图像分割成K类；
步骤3、分别学习步骤2得到的K类的每个类的字典；
步骤4、确定最优基向量；
步骤5、基于步骤4选出的最优基向量，通过非局部字典回归模型来估计高分辨像素；
步骤6、将步骤5估计的高分辨像素回归转化成全局优化统一的正则项；
步骤7、迭代优化高分辨图像，并输出该图像。
本发明的特点还在于：
步骤1具体为：选取归一化的像素强度特征来表示相似像素或者图像块，具体为，提取一个以每个像素为中心的5×5图像块，并将其归一化为单位范数，减轻相似图像块之间的差异，所有的特征向量组合成如下的并集：
上式中xi表示与图像X中第i个图像块的特征向量，K表示类别数量，Ωk代表第k类的索引。
步骤2具体按照以下步骤实施：
步骤2.1、初始化聚类中心，设图像中有N个像素点，分割成K个相同尺寸的像素，则每个像素的大小为N/K，相邻聚类中心的距离为
步骤2.2、相似度衡量，对每个像素点分别计算与之距离最近聚类中心的相似度，将最相似的聚类中心标签赋予该像素点，相似度计算方法如公式(2)所示：
上式中dc代表颜色距离，ds代表空间距离，S代表类内最大空间距离，m 代表平衡参数，D表示为两个像素的相似度，其中D越大说明两个像素越相似；
步骤2.3、迭代优化，对步骤2.2不断迭代直至收敛。
步骤3具体为：设F(k)＝{xi|i∈Ωk}是代表第k类图像块的数据矩阵，通过低分辨图像的稀疏表达式求解最优字典，如公式(3)所示，
上式中B(k)是第k类的局部字典，αi是xi稀疏系数；
通过固定(3)中的两个变量其中一个，从而对方程式进行最小化求解，设公式(3)中的B(k)已知，用解析式来估计αi，形式如下：
αi＝(B(k)TB(k))-1B(k)Txi (4)
解出αi后将其代入公式(3)中，再来求解B(k)，形式如下：
为了使上述公式(5)的问题更容易处理，将公式(5)转化为以下形式：
上式中I为单位矩阵，||·||F表示为Frobenius范数，利用主成份分析，即PrincipalComponent Analysis,PCA，的算法求解公式(6)，得到的标准正交基向量作为B(k)的原子，xi的稀疏表示系数αi通过下列式子求解：
αi＝B(k)Txi (7)
步骤4具体为：由于直接使用在局部字典学习阶段学习得到的基向量表示局部字典相关像素存在过拟合风险，为了得到最优基向量，选择数据矩阵 F(k)最大奇异值对应的基向量，通过公式(8)确定最优基向量：
上式中s1≥s2≥s3……≥sM≥0是矩阵F(k)的奇异值，p是每个图像块的像素个数，q是一个常数，σ是图像中噪声的标准差；通过公式(8)从局部字典中选择出若干基向量，来表示该类的矢量化图像块。
步骤5具体为，非局部字典回归模型如公式(9)所示：
上式中，SN(i)是代表具有xi类似像素的索引集，Ri是从图像X中提取以 xi为中心相邻d×d像素的运算符，代表的是与RjX相关的第k个局部字典，/>是由自适应的结构核构造的相似权重矩阵，具体形式如下：
上式中，是二维空间xi和xj像素之间的相似性，矩阵Ci表示xi处纵向和水平方向的对称梯度协方差，hk是一个平滑参数，wij表示xi处的相似邻域像素与xj处相似邻域像素之间的相似权重，具体形式如下：
上式中，hn是控制加权计算中指数表达式衰减的全局滤波参数，G是一个高斯核为距离图像块中心近的像素分配更大的权重；
通过对公式(9)求解，可以得到回归系数具体形式如下：
在得到后，可以对高分辨图像块进行重建表示为/>在Xi处估计的高分辨像素可以被表示为：
c是一个25维的向量，其中心元素为1其它全为0。
步骤6具体为，将公式(13)重新表示为：
上式中，Ω表示X的整个图像区域，ai代表回归加权系数的列向量，该列向量通过公式(9)得到，vi代表的是一个列向量，它通过字典顺序将索引集中包含的相似块的像素叠加起来，为了便于优化，进一步将公式(14)转化为以下形式：
上式中，I是一个单位矩阵，A的形式如下：
通过公式(14)到(15)的转化，得到正则项R(X)，形式如下：
将R(X)带入到公式(18)中可以得到数据成本函数(19)，具体形式如下:
上式中，X和y表示高分辨图像和对应的低分辨率图像，D表示模糊运算，H表示下采样矩阵，
通过梯度下降算法的迭代更新可以得到一个局部最优解具体形式如下：
上式中，t是迭代次数，τ是步长，公式(20)数据成本函数的梯度表示为：
步骤7具体为，通过公式(20)和(21)不断更新高分辨图像，每更新一次迭代次数增加一次，直到X(t+1)和X(t)的均方根误差小于预设的阈值或者迭代次数大于预设次数，则输出高分辨图像。
本发明的有益效果是：本发明一种基于聚类回归的图像超分辨方法通过学习低分辨率图像一组局部字典的结构规律，使图像的细节和边缘更加清晰，并利用相似的结构将基于局部字典回归扩展到基于非局部字典回归的正则化项，所设计的正则化项能更好地解决超分辨重建问题。
附图说明
图1是图像退化模型图；
图2是基于字典学习的图像超分辨重建过程图；
图3是本发明一种基于聚类回归的图像超分辨方法的流程图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种基于聚类回归的图像超分辨方法，主要包括三个阶段：局部字典学习阶段，非局部字典回归阶段和最大后验优化阶段，如图1所示，具体按照以下步骤实施：
一.局部字典学习阶段
首先使用超像素分割的结构聚类将低分辨图像分割成若干结构相似的区域，然后通过成分分析技术得到每个聚类相应的字典，具体按照以下步骤实施：
步骤1,选取归一化的像素强度特征来表示相似像素或者图像块，提取以每个像素为中心的5×5图像块，然后将其归一化为单位范数，并将所有的特征向量组合成如下并集。
上式中xi表示图像X的第i个特征，K表示类别的数量，Ωk代表第k的类的索引，这里将类别个数设置为4，即K＝4。
步骤2,利用超像素分割算法将步骤1选取的信息特征进行聚类分割，将图像分割成K类，具体步骤如下：
a)初始化聚类中心，假设图中有N个像素点，预分割成K个相同尺寸的像素，那么每个像素的大小为N/K，则相邻聚类中心的距离近似为
b)相似度衡量，对于每个像素点分别计算与之距离最近聚类中心的相似度，将最相似的聚类中心标签赋予该像素点，相似度计算方法如下：
上式中dc代表颜色距离，ds代表空间距离，S代表类内最大空间距离， m代表平衡参数，D表示为两个像素的相似度，D越大说明两个像素越相似，将平衡参数m设置为10。
c)迭代优化，将上述过程迭代20次，输出聚类结果。
步骤3,分别学习步骤2得到的K类的每个类的字典，具体如下：
(a)设F(k)＝{xi|i∈Ωk}是代表第k类图像块的数据矩阵，将图像分割成K 个类，然后分别学习每个类的字典，通过以下公式找到最优字典。
上式中B(k)是第k类的局部字典，αi是稀疏系数向量用于线性组合几个字典原子来表示xi。由于B(k)和αi都是未知的，可以通过先固定B(k)用上述解析式估计αi，得到αi的形式如下：
αi＝(B(k)TB(k))-1B(k)Txi (4)
(b)将解出αi后将其带入公式(2)中，再来求解B(k)，解出B(k)为：
(c)为了更容易处理上述公式(5)，倾向于局部字典B(k)为正交，利用主成份分析(PCA)的算法找到一组正交基向量作为B(k)的原子，公式(4)变为以下形式：
上式中I为单位矩阵，||·||F为Frobenius范数，利用主成份分析算法求解公式(6)，得到的标准正交基向量作为B(k)的原子。
二.非局部字典回归阶段
利用学习到的局部字典，通过集成结构自适应核和非局部自相似性，将每个高分辨像素视为基于非局部字典的回归结果，从而获得对预期高分辨像素的可靠估计，具体按照以下步骤实施：
步骤1,由于直接使用在局部字典学习阶段得到的基向量来表示局部字典相关像素存在过拟合风险，为了得到最优基向量，选择数据矩阵F(k)最大奇异值的基向量，通过以下公式确定最优的基向量：
上式中s1≥s2≥s3……≥sM≥0是矩阵F(k)的奇异值，p是每个图像块的像素数，q是一个常数，σ是图像中噪声的标准差。这里将将参数p设置为25，σ设置为15，q设置为5，通过公式(7)来选择较小的基向量组成的字典表示图像块。
步骤2，(a)通过非局部字典回归模型来估计高分辨像素，非局部字典回归模型如下：
上述公式中的Ri是一个从图像X中提取以xi为中心相邻的d×d像素运算符，代表的是与RjX相关的第k个局部字典，SN(i)是代表具有xi类似像素的索引集，/>是由自适应结构核构造的相似权重矩阵，具体形式如下：
上式中表示的是二维空间xi和xj像素之间的相似性，矩阵Ci表示xi处纵向和水平方向的对称梯度协方差，hk是一个平滑参数，这里将hk设置为2.5， wij表示xi处的相似邻域像素与xj处相似邻域像素之间的相似权重，具体形式如下：
上式中hn是一个控制指数表达式衰减的全局滤波参数，G是一个高斯核为距离图像块中心近的像素分配更大的权重。
通过对公式(8)求解，可以得到回归系数具体形式如下：
(b)解出回归系数后，可以对高分辨(HR)图像块进行重建表示为/>在Xi处估计的高分辨像素可以被表示为：
上式中c是一个25维的向量，其中心元素为1其它全为0，即[0…0 1 0…0]T。
三.最大后验优化阶段
首先将像素回归转化所需的高分辨图像的正则化项，然后使用梯度下降算法实现超分辨估计，具体按照以下步骤实施：
步骤1，为了将像素回归转化成全局优化统一的正则项，公式(12)重新被表示为以下形式：
上式中Ω表示X的整个图像区域，ai代表回归加权系数的列向量，该列向量通过公式(8)得到。vi代表的是一个列向量，按字典顺序将索引集SN(i) 中指定的相似块中的所有像素堆叠起来。为了便于优化，可以将公式(13)转化为以下形式：
上式中I是一个单位矩阵，A的形式如下:
步骤2，将公式(13)转换为(14),可以得到正则项R(X),形式如下：
步骤3,(a)将正则项R(X)代入到公式(17)中，可以得到数据成本函数(18)
上式中X和y表示高分辨图像和对应的低分辨率图像，D表示模糊运算， H表示下采样矩阵。
(b)通过梯度下降算法的迭代更新可以得到一个局部最优解形式如下:
上式中t是迭代次数，τ是步长,公式(19)数据成本函数的梯度可表示为:
将参数τ设置为1.25，参数ξ设置为0.05。
步骤4，通过公式(19)和(20)更新高分辨率图像X(t+1)，直到X(t+1)和X(t)均方根误差E0小于5×10-6或者迭代次数t大于1000次，输出预测的高分辨图像。
本发明一种基于聚类回归的图像超分辨方法通过构造一个有效的先验正则项实现高分辨图像重建。为了解决以往基于重构的图像超分辨算法中难以恢复图像中高频信息的问题，本发明提出了一种通过输入低分辨图像学习一组局部字典和非局部相似性结构的新图像超分辨算法，通过图像上结构区域不同，将图像分割成不同的类别，然后训练每个类得到一个单独的字典，学习到局部字典，利用学到的字典和相似性信息，将期望的高分辨图像中每个高分辨像素用非局部字典回归的加权平均来表示，该回归集成了局部结构正则性和非局部相似性，进而将所提出的非局部字典回归模型转化为基于最大后验概率超分辨框架的正则项，通过迭代优化求解，该方法可以有效地增强图像的细节和边缘信息，具有很大的应用前景。

Claims (6)

1.一种基于聚类回归的图像超分辨方法，其特征在于，具体按照以下步骤实施：
步骤1、选取低分辨图像中能够反映像素相似结构的信息特征；
步骤2、利用超像素分割算法将步骤1选取的信息特征进行聚类分割，将图像分割成K类；
步骤3、分别学习步骤2得到的K类的每个类的字典；
步骤4、确定最优基向量；
步骤5、基于步骤4选出的最优基向量，通过非局部字典回归模型来估计高分辨像素；
所述步骤5具体为，非局部字典回归模型如公式(9)所示：
上式中，SN(i)是代表具有xi类似像素的索引集，Ri是从图像X中提取以xi为中心相邻d×d像素的运算符，代表的是与RjX相关的第k个局部字典，/>是由自适应的结构核构造的相似权重矩阵，具体形式如下：
上式中，是二维空间xi和xj像素之间的相似性，矩阵Ci表示xi处纵向和水平方向的对称梯度协方差，hk是一个平滑参数，wij表示xi处的相似邻域像素与xj处相似邻域像素之间的相似权重，具体形式如下：
上式中，hn是控制加权计算中指数表达式衰减的全局滤波参数，G是一个高斯核为距离图像块中心近的像素分配更大的权重；
通过对公式(9)求解，可以得到回归系数具体形式如下：
在得到后，可以对高分辨图像块进行重建表示为/>在Xi处估计的高分辨像素可以被表示为：
c是一个25维的向量，其中心元素为1其它全为0；
步骤6、将步骤5估计的高分辨像素回归转化成全局优化统一的正则项；
所述步骤6具体为，将公式(13)重新表示为：
上式中，Ω表示X的整个图像区域，ai代表回归加权系数的列向量，该列向量通过公式(9)得到，vi代表的是一个列向量，它通过字典顺序将索引集中包含的相似块的像素叠加起来，为了便于优化，进一步将公式(14)转化为以下形式：
上式中，I是一个单位矩阵，A的形式如下：
通过公式(14)到(15)的转化，得到正则项R(X)，形式如下：
将R(X)带入到公式(18)中可以得到数据成本函数(19)，具体形式如下:
上式中，X和y表示高分辨图像和对应的低分辨率图像，D表示模糊运算，H表示下采样矩阵，
通过梯度下降算法的迭代更新可以得到一个局部最优解具体形式如下：
上式中，t是迭代次数，τ是步长，公式(20)数据成本函数的梯度表示为：
步骤7、迭代优化高分辨图像，并输出该图像。
2.根据权利要求1所述的一种基于聚类回归的图像超分辨方法，其特征在于，所述步骤1具体为：选取归一化的像素强度特征来表示相似像素或者图像块，具体为，提取一个以每个像素为中心的5×5图像块，并将其归一化为单位范数，减轻相似图像块之间的差异，所有的特征向量组合成如下的并集：
上式中xi表示与图像X中第i个图像块的特征向量，K表示类别数量，Ωk代表第k类的索引。
3.根据权利要求1所述的一种基于聚类回归的图像超分辨方法，其特征在于，所述步骤2具体按照以下步骤实施：
步骤2.1、初始化聚类中心，设图像中有N个像素点，分割成K个相同尺寸的像素，则每个像素的大小为N/K，相邻聚类中心的距离为
步骤2.2、相似度衡量，对每个像素点分别计算与之距离最近聚类中心的相似度，将最相似的聚类中心标签赋予该像素点，相似度计算方法如公式(2)所示：
上式中dc代表颜色距离，ds代表空间距离，S代表类内最大空间距离，m代表平衡参数，D表示为两个像素的相似度，其中D越大说明两个像素越相似；
步骤2.3、迭代优化，对步骤2.2不断迭代直至收敛。
4.根据权利要求1所述的一种基于聚类回归的图像超分辨方法，其特征在于，所述步骤3具体为：设F(k)＝{xi|i∈Ωk}是代表第k类图像块的数据矩阵，通过低分辨图像的稀疏表达式求解最优字典，如公式(3)所示，
上式中B(k)是第k类的局部字典，αi是xi稀疏系数；
通过固定(3)中的两个变量其中一个，从而对方程式进行最小化求解，设公式(3)中的B(k)已知，用解析式来估计αi，形式如下：
解出αi后将其代入公式(3)中，再来求解B(k)，形式如下：
为了使上述公式(5)的问题更容易处理，将公式(5)转化为以下形式：
s.t. B(k)B(k)T＝I (6)
上式中I为单位矩阵，||·||F表示为Frobenius范数，利用主成份分析，即PrincipalComponent Analysis,PCA，的算法求解公式(6)，得到的标准正交基向量作为B(k)的原子，xi的稀疏表示系数αi通过下列式子求解：
αi＝B(k)Txi (7)。
5.根据权利要求1所述的一种基于聚类回归的图像超分辨方法，其特征在于，所述步骤4具体为：由于直接使用在局部字典学习阶段学习得到的基向量表示局部字典相关像素存在过拟合风险，为了得到最优基向量，选择数据矩阵F(k)最大奇异值对应的基向量，通过公式(8)确定最优基向量：
上式中s1≥s2≥s3……≥sM≥0是矩阵F(k)的奇异值，p是每个图像块的像素个数，q是一个常数，σ是图像中噪声的标准差；通过公式(8)从局部字典中选择出若干基向量，来表示该类的矢量化图像块。
6.根据权利要求1所述的一种基于聚类回归的图像超分辨方法，其特征在于，所述步骤7具体为，通过公式(20)和(21)不断更新高分辨图像，每更新一次迭代次数增加一次，直到X(t+1)和X(t)的均方根误差小于预设的阈值或者迭代次数大于预设次数，则输出高分辨图像。
CN202010094638.1A 2020-02-16 2020-02-16 一种基于聚类回归的图像超分辨方法 Active CN111340697B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010094638.1A CN111340697B (zh) 2020-02-16 2020-02-16 一种基于聚类回归的图像超分辨方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010094638.1A CN111340697B (zh) 2020-02-16 2020-02-16 一种基于聚类回归的图像超分辨方法

Publications (2)

Publication Number Publication Date
CN111340697A CN111340697A (zh) 2020-06-26
CN111340697B true CN111340697B (zh) 2023-08-25

Family

ID=71186280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010094638.1A Active CN111340697B (zh) 2020-02-16 2020-02-16 一种基于聚类回归的图像超分辨方法

Country Status (1)

Country Link
CN (1) CN111340697B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200718A (zh) * 2020-09-18 2021-01-08 郑州航空工业管理学院 基于ncsr和多传感器的红外图像超分辨率方法
CN112348013A (zh) * 2020-10-27 2021-02-09 上海眼控科技股份有限公司 目标检测方法、装置、计算机设备和可读存储介质
CN113409192A (zh) * 2021-06-17 2021-09-17 Oppo广东移动通信有限公司 超分辨率芯片、超分辨率算法的更新方法和电子设备
CN115311484B (zh) * 2022-10-12 2023-01-17 南通虎神金属制品有限公司 一种焊缝数据的优化聚类分割方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103295197A (zh) * 2013-05-21 2013-09-11 西安电子科技大学 基于字典学习和双边正则的图像超分辨率重建方法
CN103295196A (zh) * 2013-05-21 2013-09-11 西安电子科技大学 基于非局部字典学习和双正则项的图像超分辨率重建方法
CN106558022A (zh) * 2016-11-30 2017-04-05 重庆大学 一种基于边缘差异约束的单幅图像超分辨率重建方法
CN109766863A (zh) * 2019-01-18 2019-05-17 南京邮电大学 一种基于局部和稀疏非局部正则的人脸图像超分辨率方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9824468B2 (en) * 2015-09-29 2017-11-21 General Electric Company Dictionary learning based image reconstruction

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103295197A (zh) * 2013-05-21 2013-09-11 西安电子科技大学 基于字典学习和双边正则的图像超分辨率重建方法
CN103295196A (zh) * 2013-05-21 2013-09-11 西安电子科技大学 基于非局部字典学习和双正则项的图像超分辨率重建方法
CN106558022A (zh) * 2016-11-30 2017-04-05 重庆大学 一种基于边缘差异约束的单幅图像超分辨率重建方法
CN109766863A (zh) * 2019-01-18 2019-05-17 南京邮电大学 一种基于局部和稀疏非局部正则的人脸图像超分辨率方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李云红 ; 王珍 ; 张凯兵 ; 章为川 ; 闫亚娣 ; .基于学习的图像超分辨重建方法综述.计算机工程与应用.2018,(15),全文. *

Also Published As

Publication number Publication date
CN111340697A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN111340697B (zh) 一种基于聚类回归的图像超分辨方法
Dian et al. Regularizing hyperspectral and multispectral image fusion by CNN denoiser
US11537873B2 (en) Processing method and system for convolutional neural network, and storage medium
CN109064396B (zh) 一种基于深度成分学习网络的单幅图像超分辨率重建方法
CN106952228B (zh) 基于图像非局部自相似性的单幅图像的超分辨率重建方法
Zhang et al. CCR: Clustering and collaborative representation for fast single image super-resolution
Lu et al. Geometry constrained sparse coding for single image super-resolution
Mrázek et al. On robust estimation and smoothing with spatial and tonal kernels
Ren et al. Single image super-resolution using local geometric duality and non-local similarity
Sandeep et al. Single image super-resolution using a joint GMM method
Ghorai et al. Multiple pyramids based image inpainting using local patch statistics and steering kernel feature
Li et al. Carn: Convolutional anchored regression network for fast and accurate single image super-resolution
Kato et al. Multi-frame image super resolution based on sparse coding
Li et al. Example-based image super-resolution with class-specific predictors
Li et al. A self-learning image super-resolution method via sparse representation and non-local similarity
Mikaeli et al. Single-image super-resolution via patch-based and group-based local smoothness modeling
CN109741258B (zh) 基于重建的图像超分辨率方法
CN109741358B (zh) 基于自适应超图学习的超像素分割方法
Liu et al. Image super-resolution via hierarchical and collaborative sparse representation
CN111932472B (zh) 一种基于软聚类的图像保边滤波方法
CN117392065A (zh) 一种云边协同太阳能板覆灰状况自主评估方法
CN110264482B (zh) 基于中智集变换矩阵因子分解的活动轮廓分割方法
CN108520210A (zh) 基于小波变换和局部线性嵌入的人脸识别方法
CN115880199A (zh) 一种长波红外高光谱与多光谱图像融合方法、系统及介质
CN115661612A (zh) 一种基于元迁移学习的通用气候数据降尺度方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230720

Address after: Room 207, 2nd Floor, Building 3, No. 7 Wenzhong Road, Taozhu Street, Zhuji City, Shaoxing City, Zhejiang Province, 311800

Applicant after: Zhejiang Xinwei Electronic Technology Co.,Ltd.

Address before: 518000 1002, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province

Applicant before: Shenzhen Wanzhida Technology Co.,Ltd.

Effective date of registration: 20230720

Address after: 518000 1002, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province

Applicant after: Shenzhen Wanzhida Technology Co.,Ltd.

Address before: 710048 Shaanxi province Xi'an Beilin District Jinhua Road No. 19

Applicant before: XI'AN POLYTECHNIC University

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant