CN104992407B - 一种图像超分辨方法 - Google Patents
一种图像超分辨方法 Download PDFInfo
- Publication number
- CN104992407B CN104992407B CN201510338958.6A CN201510338958A CN104992407B CN 104992407 B CN104992407 B CN 104992407B CN 201510338958 A CN201510338958 A CN 201510338958A CN 104992407 B CN104992407 B CN 104992407B
- Authority
- CN
- China
- Prior art keywords
- mrow
- resolution
- low
- msub
- msubsup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 239000011159 matrix material Substances 0.000 claims abstract description 22
- 238000013507 mapping Methods 0.000 claims abstract description 18
- 238000005070 sampling Methods 0.000 claims abstract description 4
- 239000012141 concentrate Substances 0.000 claims abstract 2
- 239000000284 extract Substances 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 6
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 4
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 238000012549 training Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
本发明公开了一种图像超分辨方法，包括如下步骤：第一步：从图像数据集中得到高分辨率图像，通过缩小倍数下采样得低分辨率图像，从高分辨率与低分辨率的图像对中提取高、低分辨率特征对，在低分辨率特征空间进行聚类，得到多个低分辨率聚类中心；第二步：利用所述高、低分辨率特征对，以及所述低分辨率聚类中心，计算高、低分辨率近邻集合，以及映射矩阵集合；第三步：对于每一个低分辨率特征，选择所述低分辨率聚类中心里面与其最接近的聚类中心，再用相应的映射矩阵恢复出高分辨率特征；将所有重构的高分辨特征加上包含低分辨率图像的图像块得到相应的高分辨率图像块，将所有高分辨图像块融合成一张高分辨图像。
Description
技术领域
本发明涉及计算机视觉和图像处理领域，特别是涉及一种图像超分辨方法。
背景技术
图像超分辨属于计算机视觉和图像处理领域，是一个经典的图像处理问题，有着重要的学术和工业研究价值。图像超分辨的目标就是，由给定的低分辨率图像，重构出它相应的高分辨率图像，使得在重构误差尽可能小的情况下，视觉效果尽可能的好。目前主流的图像超分辨方法可以分为三大类：基于插值的方法；基于重构的方法；基于学习的方法。
基于插值的方法，是一类基本的超分辨方法，其处理过程通常会使用局部协方差系数，固定功能核或者自适应结构核，因其简单快速的特点而被广泛使用。但是，很多情况下，这类方法产生的结果会随着放大倍数的增大而产生视觉伪影，比如：锯齿效应和模糊效应。基于重构的方法，假设低分辨图像是由高分辨率图像经过几种退化因素得到的，比如：降采样和模糊化。这类方法在超分辨过程中强调重构约束的重要性，因而，其得到的高分辨率图像往往有着过于平滑和不自然的边缘以及在图像边缘附近产生振铃效应。基于学习的方法，因为利用机器学习技术从训练集中学习到了大量先验知识，因而获得了更好的结果。但是，这类方法通常需要求解基于L0范数或者L1范数的最优化问题，其处理速度是很慢的。
以上背景技术内容的公开仅用于辅助理解本发明的发明构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明(主要)目的在于提出一种图像超分辨方法，以解决上述现有技术存在的处理速度慢的技术问题。
为此，本发明提出一种图像超分辨方法，包括如下步骤：第一步：从图像数据集中得到高分辨率图像，通过缩小倍数下采样得低分辨率图像，从高分辨率与低分辨率的图像对中提取高、低分辨率特征对，在低分辨率特征空间进行聚类，得到多个低分辨率聚类中心；第二步：利用所述高、低分辨率特征对，以及所述低分辨率聚类中心，计算高、低分辨率近邻集合，以及映射矩阵集合；第三步：对于每一个低分辨率特征，选择所述低分辨率聚类中心里面与其最接近的聚类中心，再用相应的映射矩阵恢复出高分辨率特征；将所有重构的高分辨特征加上包含低分辨率图像的图像块得到相应的高分辨率图像块，将所有高分辨图像块融合成一张高分辨图像。
第三步中：利用所述第一步中聚类时得到的统计特性，对所有聚类中心，按照其元素个数降序排列；超分辨的时候，只取前面多个聚类中心。
所述第一步中的在低分辨率特征空间聚类包括如下步骤：使用插值算法，从所述高分辨率图像中得到低分辨率图像，再将所述低分辨率图像集合利用插值算法上采样至与对应高分辨率图像的尺寸一样；从所述高分辨率图像中提取高分辨率图像块集合与特征集合，在所述所述高分辨率图像中的相应位置提取出低分辨率图像块集合与特征集合；提取所述低分辨率特征集合后，对其进行聚类。
所述第二步具体包括：利用所述高、低分辨率特征对，将所述低分辨率特征对聚类，得到多个低聚类中心，对于任意低分辨率聚类中心，先找到多个最近邻的中心，进而得到该多个中心对应的元素所组成的低分辨率特征集合，再寻找其近邻集合；得到低分辨率聚类中心和高、低分辨率近邻集合后利用这些变量进一步求得从低分辨率特征映射到高分辨率特征的映射矩阵。
所述第三步中选择所述低分辨率聚类中心里面与其最接近的聚类中心通过计算低分辨率特征与聚类中心的欧式距离获得。
本发明与现有技术对比的有益效果包括：本专利申请提出了一种基于聚类和协同表示的图像超分辨方法；利用本专利申请能够在聚类时不仅能够确定聚类中心，而且能够得到各个聚类中心的统计特性，为进一步加快超分辨速度提供可能。
附图说明
图1是本发明实施例的流程图。
具体实施方式
下面结合具体实施方式并对照附图对本发明作进一步详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
参照以下附图，将描述非限制性和非排他性的实施例，其中相同的附图标记表示相同的部件，除非另外特别说明。
本领域技术人员将认识到，对以上描述做出众多变通是可能的，所以实施例仅是用来描述一个或多个特定实施方式。
本专利申请针对单张低分辨率的图像，提出了一种基于聚类和协同表示的图像超分辨方法。从已有的高质量图像中提取训练样本集合，在此训练样本上进行聚类，得到低分辨率聚类中心。由低分辨率聚类中心，以及高、低分辨率样本，考虑数据的局部几何特性，得到每一个低分辨率聚类中心对应的高、低分辨率近邻集合，再利用协同表示理论，计算出从低分辨率特征到高分辨率特征的映射矩阵，此为训练阶段；对于输入的低分辨率图像，提取相互重叠的图像块与特征，求与低分辨率特征最近的低分辨率聚类中心，从而得到其相应的映射矩阵，映射矩阵与低分辨率特征相乘就可重构出高分辨特征，高分辨图像特征加上低分辨率图像块，就得到高分辨率图像块。最后，将重构后的图像块融合到一起，得到高分辨率深度图，此为超分辨率阶段。利用在低分辨率特征空间聚类时得到的统计特性，选取部分出现概率最大的聚类中心，作为超分辨率时的搜索空间，从而进一步加快速度，此为超分辨加速过程。该方法在低分辨率特征聚类的过程中不仅得到聚类中心，也得到了相应的统计特性，为后面的加速提供依据。同时，在组织近邻的时候，考虑数据的局部几何特性，恢复效果更好。从而更准确地恢复高分辨率图像的高频信息，得到更高质量的高分辨率图像。
如图1所示，本专利申请提出一种基于聚类和协同表示的图像超分辨方法，包括如下步骤：
A1：从自然图像公共数据集(如Image Net数据集)中得到高分辨率图像将其下采样得低分辨率图像缩小倍数为s，从高分辨率与低分辨率的图像对中提取高、低分辨率特征对和在低分辨率特征空间进行聚类，得到K1个聚类中心{ci}；
A2：通过增大图像块之间的重叠区域以及对图像进行多尺度变换，提取数量更多的高、低分辨率特征对和以及A1中的低分辨率聚类中心{ci}，计算高、低分辨率近邻集合和以及映射矩阵集合{Fk}；
A3：输入一张低分辨率图像IL，从中提取低分辨率图像块和特征每一个低分辨率特征选择低分辨率聚类中心里面与其最接近的聚类中心ck，再用相应的映射矩阵Fk恢复出高分辨率特征将所有重构的高分辨特征加上包含低频信息的图像块得到相应的高分辨率图像块将所有高分辨图像块融合成一张高分辨图像IH。
A4：利用A1中聚类时得到的统计特性，对所有聚类中心，按照其元素个数降序排列。超分辨的时候，只取前K'个聚类中心。从而，节省搜索时间以及存储空间，进一步加快速度。
在具体的实施方案中，可按下面方式操作。
A1：对于训练阶段低分辨率特征空间聚类，具体指a)先使用插值算法，从高分辨率图像集合中得到低分辨率图像集合再将这些低分辨率图像集合利用插值算法上采样至于对应高分辨率图像的尺寸一样；b)从中提取高分辨率图像块集合与特征集合在中的相应位置提取出低分辨率图像块集合与特征集合其中，高分辨率特征yH为：
yH＝pH-pL, (1)
低分辨率特征yL为：
yL＝[f1*pL；f2*pL；f3*pL；f4*pL], (2)
其中，f1和f2是水平与垂直方向的梯度高通滤波器，f3和f4是水平与垂直方向拉普拉斯高通滤波器，符号*表示卷积操作。
提取低分辨率特征集合后，对其进行聚类，并且按照各个聚类中元素个数的多少进行降序排列，进而得到K1个聚类中心具体求解b)中聚类问题的算法可采用K-means聚类算法等，本专利申请涵盖的范围不限于所例举的方法。
A2：对于训练阶段中高、低分辨率近邻集合以及映射矩阵的计算。通过增大图像块之间的重叠区域以及对图像进行多尺度变换，提取数量更多的高、低分辨率特征对和先将聚类，得到K2个聚类中心对于任意低分辨率聚类中心ck，先在中找到d个最近邻的中心，进而得到该d个中心对应的元素所组成的低分辨率特征集合再按照以下规则从中寻找其max近邻集合NL.i：
其中，max是一个阈值，用来控制NL.i中元素的个数，NN(Nearest Neighbor)表示最近邻,max NN表示中距离聚类中心ck最近的NN个近邻。符号| |表示集合中元素的个数。把相应位置的提取出来组成高分辨率近邻集合NH.i。
得到低分辨率聚类中心和高、低分辨率近邻集合后，假定一个低分辨率特征yL，与其最近的低分辨率聚类中心和近邻集合分别是ck和NL,k，为了得到重构高分辨率特征yH所需要的系数x，先求解下列最优化目标函数：
其中，表示求解x，使得目标函数取值最小；表示L2范数的平方；λ为大于零的参数；该问题存在解析解，具体形式为：
其中，()T表示矩阵的装置，()-1表示矩阵的逆；那么相应的高分辨率特征可由下列式子求得：
上述式子的大部分是与输入的yL无关的，因而可以离线计算出来，即为映射矩阵：
因此，对于每个低分辨率聚类中心，都能求得其相应的映射矩阵。具体求解上述最优化问题可采用协同表示方法等，本专利申请涵盖的范围不限于所例举的方法。
A3：在超分辨率阶段，对于任意输入的低分辨率图像IL，从中提取低分辨率图像块和特征对每一个低分辨率特征选择低分辨率聚类中心里面与其最接近的聚类中心ck，再用相应的映射矩阵Fk恢复出高分辨率特征将所有重构的高分辨特征加上包含低频信息的图像块得到相应的高分辨率图像块将所有高分辨图像块融合成一张高分辨图像IH。具体计算低分辨率特征与聚类中心的距离，可采用欧式距离等，本专利申请涵盖的范围不限于所例举的方法。
A4：在超分辨率加速阶段。利用A1中聚类时得到的统计特性，即：每个聚类的元素个数不相同。对所有聚类中心，按照其元素个数降序排列。超分辨的时候，只取前K'个聚类中心，这些聚类中心虽然数目较少，但是，其对应的元素之和确是非常大的。对于每一个输入的低分辨率特征，只需从该K'个聚类中心里面寻找最近邻的中心，节省了搜索时间以及存储空间，进一步加快了速度。
本专利申请提出了一种基于聚类和协同表示的图像超分辨方法。利用本专利申请求解基于L2范数的最优化模型以加快速度，利用学习到的统计特性，减少超分辨过程的搜索区域，进一步加快速度，组织近邻的时候，考虑数据的局部几何特性，更准确地恢复高分辨率图像的高频信息，得到更高质量的高分辨率图像。
本专利申请提出了一种基于聚类和协同表示的图像超分辨方法；利用本专利申请能够在聚类时不仅能够确定聚类中心，而且能够得到各个聚类中心的统计特性，为进一步加快超分辨速度提供可能，同时利用协同表示理论，使得绝大部分计算得以离线进行，故而加快超分辨速度，在组织近邻时，又对搜索空间聚类，利用了数据的局部几何特性，从而更准确地恢复高分辨率图像的高频信息，得到更高质量的高分辨率图像。
尽管已经描述和叙述了被看作本发明的示范实施例，本领域技术人员将会明白，可以对其作出各种改变和替换，而不会脱离本发明的精神。另外，可以做出许多修改以将特定情况适配到本发明的教义，而不会脱离在此描述的本发明中心概念。所以，本发明不受限于在此披露的特定实施例，但本发明可能还包括属于本发明范围的所有实施例及其等同物。
Claims (4)
1.一种图像超分辨方法，其特征在于包括如下步骤：
第一步：从图像数据集中得到高分辨率图像，通过缩小倍数下采样得低分辨率图像，从高分辨率与低分辨率的图像对中提取高、低分辨率特征对，在低分辨率特征空间进行聚类，得到多个低分辨率聚类中心；
第二步：利用所述高、低分辨率特征对，以及所述低分辨率聚类中心，计算高、低分辨率近邻集合，以及映射矩阵集合；
第二步具体包括：通过增大图像块之间的重叠区域以及对图像进行多尺度变换，提取数量更多的高、低分辨率特征对和先将聚类，得到K2个聚类中心对于任意低分辨率聚类中心ck，先在中找到d个最近邻的中心，进而得到该d个中心对应的元素所组成的低分辨率特征集合再按照以下规则从中寻找其max近邻集合NL.i：
<mrow>
<msub>
<mi>N</mi>
<mrow>
<mi>L</mi>
<mo>,</mo>
<mi>i</mi>
</mrow>
</msub>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msubsup>
<mi>Y</mi>
<mrow>
<mi>L</mi>
<mi>w</mi>
</mrow>
<mi>i</mi>
</msubsup>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
<mo>&GreaterEqual;</mo>
<mo>|</mo>
<msubsup>
<mi>Y</mi>
<mrow>
<mi>L</mi>
<mi>w</mi>
</mrow>
<mi>i</mi>
</msubsup>
<mo>|</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>max</mi>
<mi>N</mi>
<mi>N</mi>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
<mi>m</mi>
<mi>a</mi>
<mi>x</mi>
<mo><</mo>
<mo>|</mo>
<msubsup>
<mi>Y</mi>
<mrow>
<mi>L</mi>
<mi>w</mi>
</mrow>
<mi>i</mi>
</msubsup>
<mo>|</mo>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，max是一个阈值，用来控制NL.i中元素的个数，NN表示最近邻,max NN表示中距离聚类中心ck最近的NN个近邻；符号||表示集合中元素的个数；把相应位置的提取出来组成高分辨率近邻集合NH.i；
得到低分辨率聚类中心和高、低分辨率近邻集合后，假定一个低分辨率特征yL，与其最近的低分辨率聚类中心和近邻集合分别是ck和NL,k，为了得到重构高分辨率特征yH所需要的系数x，先求解下列最优化目标函数：
<mrow>
<munder>
<mrow>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
</mrow>
<mi>x</mi>
</munder>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>y</mi>
<mi>L</mi>
</msub>
<mo>-</mo>
<msub>
<mi>N</mi>
<mrow>
<mi>L</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
</msub>
<mi>x</mi>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mi>&lambda;</mi>
<mo>|</mo>
<mo>|</mo>
<mi>x</mi>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>,</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，表示求解x，使得目标函数取值最小；表示L2范数的平方；λ为大于零的参数；解析解为：
<mrow>
<mi>x</mi>
<mo>=</mo>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>N</mi>
<mrow>
<mi>L</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
<mi>T</mi>
</msubsup>
<msub>
<mi>N</mi>
<mrow>
<mi>L</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
</msub>
<mo>+</mo>
<mi>&lambda;</mi>
<mi>I</mi>
<mo>)</mo>
</mrow>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<msubsup>
<mi>N</mi>
<mrow>
<mi>L</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
<mi>T</mi>
</msubsup>
<msub>
<mi>y</mi>
<mi>L</mi>
</msub>
<mo>.</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，()T表示矩阵的装置，()-1表示矩阵的逆；相应的高分辨率特征由下列式子求得：
<mrow>
<msub>
<mi>y</mi>
<mi>H</mi>
</msub>
<mo>=</mo>
<msub>
<mi>N</mi>
<mrow>
<mi>H</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
</msub>
<mi>x</mi>
<mo>=</mo>
<msub>
<mi>N</mi>
<mrow>
<mi>H</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
</msub>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>N</mi>
<mrow>
<mi>L</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
<mi>T</mi>
</msubsup>
<msub>
<mi>N</mi>
<mrow>
<mi>L</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
</msub>
<mo>+</mo>
<mi>&lambda;</mi>
<mi>I</mi>
<mo>)</mo>
</mrow>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<msubsup>
<mi>N</mi>
<mrow>
<mi>L</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
<mi>T</mi>
</msubsup>
<msub>
<mi>y</mi>
<mi>L</mi>
</msub>
<mo>,</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
映射矩阵为：
<mrow>
<msub>
<mi>F</mi>
<mi>k</mi>
</msub>
<mo>=</mo>
<msub>
<mi>N</mi>
<mrow>
<mi>H</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
</msub>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>N</mi>
<mrow>
<mi>L</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
<mi>T</mi>
</msubsup>
<msub>
<mi>N</mi>
<mrow>
<mi>L</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
</msub>
<mo>+</mo>
<mi>&lambda;</mi>
<mi>I</mi>
<mo>)</mo>
</mrow>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
<msubsup>
<mi>N</mi>
<mrow>
<mi>L</mi>
<mo>,</mo>
<mi>k</mi>
</mrow>
<mi>T</mi>
</msubsup>
<mo>.</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
对于每个低分辨率聚类中心，求得其相应的映射矩阵；
第三步：对于每一个低分辨率特征，选择所述低分辨率聚类中心里面与其最接近的聚类中心，再用相应的映射矩阵恢复出高分辨率特征；将所有重构的高分辨特征加上包含低分辨率图像的图像块得到相应的高分辨率图像块，将所有高分辨图像块融合成一张高分辨图像。
2.如权利要求1所述的图像超分辨方法，其特征在于：所述第三步中：利用所述第一步中聚类时得到的统计特性，对所有聚类中心，按照其元素个数降序排列；超分辨的时候，只取前面多个聚类中心。
3.如权利要求1所述的图像超分辨方法，其特征在于：所述第一步中的在低分辨率特征空间聚类包括如下步骤：使用插值算法，从所述高分辨率图像中得到低分辨率图像，再将所述低分辨率图像集合利用插值算法上采样至与对应高分辨率图像的尺寸一样；从所述高分辨率图像中提取高分辨率图像块集合与特征集合，在所述所述高分辨率图像中的相应位置提取出低分辨率图像块集合与特征集合；提取所述低分辨率特征集合后，对其进行聚类。
4.如权利要求1所述的图像超分辨方法，其特征在于：所述第三步中选择所述低分辨率聚类中心里面与其最接近的聚类中心通过计算低分辨率特征与聚类中心的欧式距离获得。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510338958.6A CN104992407B (zh) | 2015-06-17 | 2015-06-17 | 一种图像超分辨方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510338958.6A CN104992407B (zh) | 2015-06-17 | 2015-06-17 | 一种图像超分辨方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104992407A CN104992407A (zh) | 2015-10-21 |
| CN104992407B true CN104992407B (zh) | 2018-03-16 |
Family
ID=54304215
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510338958.6A Active CN104992407B (zh) | 2015-06-17 | 2015-06-17 | 一种图像超分辨方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104992407B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105787899A (zh) * | 2016-03-03 | 2016-07-20 | 河海大学 | 一种基于自适应回归的快速图像超分辨方法 |
| CN106339984B (zh) * | 2016-08-27 | 2019-09-13 | 中国石油大学(华东) | 基于k均值驱动卷积神经网络的分布式图像超分辨方法 |
| CN106327428B (zh) * | 2016-08-31 | 2019-12-10 | 深圳大学 | 一种基于迁移学习的图像超分辨率方法及系统 |
| CN110084752B (zh) * | 2019-05-06 | 2023-04-21 | 电子科技大学 | 一种基于边缘方向和k均值聚类的图像超分辨重建方法 |
| CN115082319B (zh) * | 2022-07-22 | 2022-11-25 | 平安银行股份有限公司 | 一种超分辨率图像的构建方法、计算机设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101976435A (zh) * | 2010-10-07 | 2011-02-16 | 西安电子科技大学 | 基于对偶约束的联合学习超分辨方法 |
| CN102831581A (zh) * | 2012-07-27 | 2012-12-19 | 中山大学 | 一种超分辨率图像重构的方法 |
| CN102902961A (zh) * | 2012-09-21 | 2013-01-30 | 武汉大学 | 基于k近邻稀疏编码均值约束的人脸超分辨率处理方法 |
| CN103530863A (zh) * | 2013-10-30 | 2014-01-22 | 广东威创视讯科技股份有限公司 | 一种多级重构的图像超分辨率方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101874482B1 (ko) * | 2012-10-16 | 2018-07-05 | 삼성전자주식회사 | 깊이 영상으로부터 고해상도 3차원 영상을 복원하는 장치 및 방법 |
-
2015
- 2015-06-17 CN CN201510338958.6A patent/CN104992407B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101976435A (zh) * | 2010-10-07 | 2011-02-16 | 西安电子科技大学 | 基于对偶约束的联合学习超分辨方法 |
| CN102831581A (zh) * | 2012-07-27 | 2012-12-19 | 中山大学 | 一种超分辨率图像重构的方法 |
| CN102902961A (zh) * | 2012-09-21 | 2013-01-30 | 武汉大学 | 基于k近邻稀疏编码均值约束的人脸超分辨率处理方法 |
| CN103530863A (zh) * | 2013-10-30 | 2014-01-22 | 广东威创视讯科技股份有限公司 | 一种多级重构的图像超分辨率方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104992407A (zh) | 2015-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104899830B (zh) | 一种图像超分辨方法 | |
| CN104992407B (zh) | 一种图像超分辨方法 | |
| CN110428428B (zh) | 一种图像语义分割方法、电子设备和可读存储介质 | |
| CN105976318A (zh) | 一种图像超分辨率重建方法 | |
| CN110136062B (zh) | 一种联合语义分割的超分辨率重建方法 | |
| US9865036B1 (en) | Image super resolution via spare representation of multi-class sequential and joint dictionaries | |
| CN112700392A (zh) | 一种视频超分辨率处理方法、设备及存储介质 | |
| CN105488776B (zh) | 超分辨率图像重建方法和装置 | |
| CN106204447A (zh) | 基于总变差分和卷积神经网络的超分辨率重建方法 | |
| US20210065337A1 (en) | Method and image processing device for image super resolution, image enhancement, and convolutional neural network model training | |
| CN106339984B (zh) | 基于k均值驱动卷积神经网络的分布式图像超分辨方法 | |
| CN111696033B (zh) | 基于角点引导级联沙漏网络结构学习的真实图像超分辨率模型及方法 | |
| Gendy et al. | Lightweight image super-resolution based on deep learning: State-of-the-art and future directions | |
| CN106097253A (zh) | 一种基于块旋转和清晰度的单幅图像超分辨率重建方法 | |
| CN111626927A (zh) | 采用视差约束的双目图像超分辨率方法、系统及装置 | |
| CN113744136A (zh) | 基于通道约束多特征融合的图像超分辨率重建方法和系统 | |
| CN116645328A (zh) | 一种高精度轴承套圈表面缺陷智能检测方法 | |
| Xu et al. | AutoSegNet: An automated neural network for image segmentation | |
| CN109146792A (zh) | 基于深度学习的芯片图像超分辨率重建方法 | |
| CN109272450A (zh) | 一种基于卷积神经网络的图像超分方法 | |
| CN115880157B (zh) | 一种k空间金字塔特征融合的立体图像超分辨率重建方法 | |
| CN104063855A (zh) | 一种基于分类字典库的超分辨率图像重构方法及装置 | |
| CN111681168A (zh) | 一种基于并行残差网络的低分辨率细胞超分辨率重建方法 | |
| CN116188273A (zh) | 一种基于不确定性导向的双模态可分离图像超分辨率方法 | |
| CN113554655B (zh) | 基于多特征增强的光学遥感图像分割方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |