CN107203969A - 一种中间尺度约束的高倍率图像超分辨率重建方法 - Google Patents
一种中间尺度约束的高倍率图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN107203969A CN107203969A CN201710444725.3A CN201710444725A CN107203969A CN 107203969 A CN107203969 A CN 107203969A CN 201710444725 A CN201710444725 A CN 201710444725A CN 107203969 A CN107203969 A CN 107203969A
- Authority
- CN
- China
- Prior art keywords
- msub
- resolution
- mrow
- image
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000005070 sampling Methods 0.000 claims abstract description 12
- 238000000354 decomposition reaction Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 8
- 230000003321 amplification Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 5
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2136—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on sparsity criteria, e.g. with an overcomplete basis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种中间尺度约束的高倍率图像超分辨率重建方法，引入中间尺度图像的先验约束，构建高‑中‑低分辨率联合字典学习模型，训练高‑中‑低分辨率三元组字典；采用简单的上采样算法生成中间尺度图像，将输入的低分辨率图像进行中间尺度约束下的联合稀疏分解，获得稀疏表示系数；基于高分辨率字典合成超分辨率结果图像。本发明方法在基本不增加运算量的前提下，有效改善了高倍率超分辨率重建的图像保真度和清晰度。
Description
技术领域
本发明属于图像处理技术领域，涉及一种图像超分辨率重建方法，具体涉及一种中间尺度约束的高倍率图像超分辨率重建方法。
技术背景
图像超分辨率重建是一种图像空间分辨率增强的方法，利用信号处理的方法将低分辨率图像的分辨率提高并重建出高质量的清晰图像。超分辨率重建技术为提高图像空间分辨率提供了一种成本低廉、切实有效的解决途径，在航天遥感、视频监控、手机视频等领域具有广泛的应用前景。
很多实际应用场合，如遥感卫星对地观测，出于细致辨识的需要，需要对低分辨率观测图像进行高倍率超分辨率。当前流行的基于学习的超分辨率方法尽管在低倍率放大时取得了显著的效果，但用于高倍率放大，其效果将模糊不清。究其原因在于，基于字典学习的超分辨率方法假设高分辨率图像和对应的低分辨率图像共享同一流形空间，从而将低分辨率图像上训练的字典表达系数用于重建高分辨率图像。在超分辨率倍数不太大时，高低维空间的流形一致性假设基本成立，因而能够给出较好的重建效果；但当放大倍数较大时，也即高倍率放大情况下，高低维流形一致性被削弱，仍然沿用训练的低分辨率表达系数对高分辨率图像进行重建，将存在较大的模型误差，导致重建结果图像模糊不清，失去了使用价值。
图像超分辨率重建是一个典型的病态逆问题求解过程，对低分辨率观测图像的先验知识掌握越多，越有助于改善问题的正定性。在高倍率重建的情况下，输入图像和目标重建结果图像的分辨率悬殊过大，引起解空间膨胀是造成问题求解困难的主要原因。如果存在一种可资利用的介于二者之间的中间分辨率图像，或中间尺度图像，用这个中间尺度图像作为低分辨率向甚高分辨率转换的过渡，将能提高解的精度，最终提高重建图像的保真度和清晰度。如同低分辨率图像的高分辨率版本现实中不存在一样(否则无需超分辨率重建)，中间尺度的图像一般也不会存在。但是，采用现有的方法可以人为生成低分辨率图像的中间尺度版本，而且，由于中间尺度图像与输入图像分辨率的差距小于目标图像分辨率的差距，故生成图像的质量可满足要求。
发明内容
为了解决上述技术问题，本发明提供了一种中间尺度约束的高倍率图像超分辨率重建方法。
本发明所采用的技术方案是：一种中间尺度约束的高倍率图像超分辨率重建方法，其特征在于，包括以下步骤：
步骤1：获取若干高分辨率图像样本，制作高-中-低分辨率的训练图像块样本集{Sh,Sm,Sl}；其中，Sh表示高分辨率图像块集合，Sm表示中等分辨率图像块集合，Sl表示低分辨率图像块集合；
步骤2：建立联合稀疏表达模型，利用训练图像块样本集{Sh,Sm,Sl}训练高-中-低分辨率联合字典{Dh,Dm,Dl}；其中，Dh、Dm、Dl分别代表高分辨率字典、中等分辨率字典、低分辨率字典；
步骤3：运用图像上采样算法，对输入的低分辨率图像进行插值放大，生成中间尺度图像；
步骤4：通过中间尺度图像约束的低分辨率图像稀疏分解，获得低分辨率图像块的稀疏域表达系数；
步骤5：利用训练得到的高分辨率字典Dh和低分辨率图像块的稀疏域表达系数，重建最终的高分辨率图像。
与现有的图像超分辨率方法相比，本发明具有以下优点和积极效果：
(1)本发明通过引入中间尺度图像改善超分辨率病态逆问题的正定性，提高了解的精度，从而提升了超分辨率重建的保真度，为图像的高倍率超分辨率重建提供了可行的思路；
(2)本发明新建立了一种高-中-低分辨率联合字典学习模型，具有一定的普适推广价值，在超分辨率以外的问题中也能发挥作用；
(3)由于中间尺度图像的生成可借助简单的插值方法完成，因此，本方法基本上不增加计算量。
附图说明
图1：本发明实施例的流程图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图1，本发明提供的一种中间尺度约束的高倍率图像超分辨率重建方法，包括以下步骤：
步骤1：获取若干高分辨率图像样本，制作高-中-低分辨率的训练图像块样本集{Sh,Sm,Sl}；其中，Sh表示高分辨率图像块集合，Sm表示中等分辨率图像块集合，Sl表示低分辨率图像块集合；
其中制作高-中-低分辨率的训练图像块样本集{Sh,Sm,Sl}，其具体实现包括以下子步骤：
步骤1.1：将每幅高分辨率图像的长宽下采样倍得到中等分辨率图像、下采样k倍得到低分辨率图像；其中，k表示图像长宽的超分辨率放大倍数，k≥4；
步骤1.2：将高分辨率图像、中等分辨率图像、低分辨率图像均裁剪成正方形的图像块，收集所有的图像块，构成高-中-低分辨率的训练图像块样本集{Sh,Sm,Sl}。
步骤2：建立联合稀疏表达模型，利用训练图像块样本集{Sh,Sm,Sl}训练高-中-低分辨率联合字典{Dh,Dm,Dl}；其中，Dh、Dm、Dl分别代表高分辨率字典、中等分辨率字典、低分辨率字典；
具体实现过程是：
令xh、xm、xl分别代表输入的高分辨率图像块、中等分辨率图像块、低分辨率图像块；w为输入图像块在字典上的稀疏表达系数，L、M、N分别表示高分辨率图像块、中等分辨率图像块、低分辨率图像块的维度；
则通过给定的{Sh,Sm,Sl}训练字典{Dh,Dm,Dl}的过程转化为如下的优化问题：
变换形式，上式等价于：
其中
采用交叉迭代优化求解上述凸优化问题，即固定w求解D，然后在下一轮迭代中固定D求解w，如此交替迭代更新,直到收敛为最优解。
步骤3：运用图像上采样算法，对输入的低分辨率图像进行插值放大，生成中间尺度图像；
本实施例运用经典的Bicubic上采样算法生成中间尺度图像，且上采样倍数为
步骤4：通过中间尺度图像约束的低分辨率图像稀疏分解，获得低分辨率图像块的稀疏域表达系数；
其中低分辨率图像稀疏分解，具体实现过程如下：
将输入的低分辨率图像和生成的中间尺度图像切分成正方形块，低分辨率图像块的尺寸设定为5×5像素，保证块与块之间有1～2个像素的重叠，利用训练的中等分辨率字典、低分辨率字典，逐个图像块执行稀疏投影分解，获取每块的稀疏表达系数；
单个图像块的联合稀疏分解模型建立如下：
若xl、xm分别表示输入的低分辨率图像块、中等分辨率图像块，Dl、Dm为相应的低分辨率字典、中等分辨率字典，则稀疏投影分解的优化问题表示为：
w为代求取的稀疏表达系数，γ为中间尺度图像的误差权重；
上式变形为：
其中
步骤5：利用训练得到的高分辨率字典Dh和低分辨率图像块的稀疏域表达系数，重建最终的高分辨率图像；
具体实现包括以下子步骤：
步骤5.1：利用训练得到的高分辨率字典Dh和低分辨率图像块的稀疏域表达系数，通过字典原子的线性合成得到重建的高分辨率图像块，即xh＝Dhw；其中，w为输入图像块在字典上的稀疏表达系数；
步骤5.2：待所有高分辨率图像块都重建完成后，将其按原有位置拼接成完整的图像，然后对重叠的边缘部分进行平滑滤波，去掉缝结效应。
本发明采用简单的插值方法(也可以是复杂的超分辨率方法，但增加了运算复杂度)来产生中间尺度图像，得到中间尺度图像后，将其纳入低分辨率图像的稀疏字典学习模型，构建中-低分辨率的联合稀疏表达模型，作为重建误差项约束低分辨率图像的字典稀疏投影分解。相应地，为适应高-中-低分辨率联合字典学习的需要，将现有的高-低分辨率耦合字典学习模型扩展到高-中-低三元组联合学习模型。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (6)
1.一种中间尺度约束的高倍率图像超分辨率重建方法，其特征在于，包括以下步骤：
步骤1：获取若干高分辨率图像样本，制作高-中-低分辨率的训练图像块样本集{Sh,Sm,Sl}；其中，Sh表示高分辨率图像块集合，Sm表示中等分辨率图像块集合，Sl表示低分辨率图像块集合；
步骤2：建立联合稀疏表达模型，利用训练图像块样本集{Sh,Sm,Sl}训练高-中-低分辨率联合字典{Dh,Dm,Dl}；其中，Dh、Dm、Dl分别代表高分辨率字典、中等分辨率字典、低分辨率字典；
步骤3：运用图像上采样算法，对输入的低分辨率图像进行插值放大，生成中间尺度图像；
步骤4：通过中间尺度图像约束的低分辨率图像稀疏分解，获得低分辨率图像块的稀疏域表达系数；
步骤5：利用训练得到的高分辨率字典Dh和低分辨率图像块的稀疏域表达系数，重建最终的高分辨率图像。
2.根据权利要求1所述的中间尺度约束的高倍率图像超分辨率重建方法，其特征在于，步骤1中所述制作高-中-低分辨率的训练图像块样本集{Sh,Sm,Sl}，其具体实现包括以下子步骤：
步骤1.1：将每幅高分辨率图像的长宽下采样倍得到中等分辨率图像、下采样k倍得到低分辨率图像；其中，k表示图像长宽的超分辨率放大倍数，k≥4；
步骤1.2：将高分辨率图像、中等分辨率图像、低分辨率图像均裁剪成正方形的图像块，收集所有的图像块，构成高-中-低分辨率的训练图像块样本集{Sh,Sm,Sl}。
3.根据权利要求1所述的中间尺度约束的高倍率图像超分辨率重建方法，其特征在于，步骤2的具体实现过程是：
令xh、xm、xl分别代表输入的高分辨率图像块、中等分辨率图像块、低分辨率图像块；w为输入图像块在字典上的稀疏表达系数，L、M、N分别表示高分辨率图像块、中等分辨率图像块、低分辨率图像块的维度；
则通过给定的{Sh,Sm,Sl}训练字典{Dh,Dm,Dl}的过程转化为如下的优化问题：
<mrow>
<msub>
<mi>min</mi>
<mrow>
<mo>{</mo>
<msub>
<mi>D</mi>
<mi>h</mi>
</msub>
<mo>,</mo>
<msub>
<mi>D</mi>
<mi>m</mi>
</msub>
<mo>,</mo>
<msub>
<mi>D</mi>
<mi>l</mi>
</msub>
<mo>,</mo>
<mi>w</mi>
<mo>&rsqb;</mo>
</mrow>
</msub>
<mo>{</mo>
<mfrac>
<mn>1</mn>
<mi>L</mi>
</mfrac>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>x</mi>
<mi>h</mi>
</msub>
<mo>-</mo>
<msub>
<mi>D</mi>
<mi>h</mi>
</msub>
<mi>w</mi>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mfrac>
<mn>1</mn>
<mi>M</mi>
</mfrac>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>x</mi>
<mi>m</mi>
</msub>
<mo>-</mo>
<msub>
<mi>D</mi>
<mi>m</mi>
</msub>
<mi>w</mi>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>D</mi>
<mn>1</mn>
</msub>
<mi>w</mi>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mi>&lambda;</mi>
<mo>(</mo>
<mfrac>
<mn>1</mn>
<mi>L</mi>
</mfrac>
<mo>+</mo>
<mfrac>
<mn>1</mn>
<mi>M</mi>
</mfrac>
<mo>+</mo>
</mrow>
<mrow>
<mfrac>
<mn>1</mn>
<mi>N</mi>
</mfrac>
<mo>)</mo>
<mo>|</mo>
<mo>|</mo>
<mi>w</mi>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>1</mn>
</msub>
<mo>}</mo>
<mo>;</mo>
</mrow>
变换形式，上式等价于：
<mrow>
<msub>
<mi>min</mi>
<mrow>
<mo>{</mo>
<msub>
<mi>D</mi>
<mi>h</mi>
</msub>
<mo>,</mo>
<msub>
<mi>D</mi>
<mi>m</mi>
</msub>
<mo>,</mo>
<msub>
<mi>D</mi>
<mi>l</mi>
</msub>
<mo>,</mo>
<mi>w</mi>
<mo>}</mo>
</mrow>
</msub>
<mo>{</mo>
<mo>|</mo>
<mo>|</mo>
<mi>X</mi>
<mo>-</mo>
<mi>D</mi>
<mi>w</mi>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mover>
<mi>&lambda;</mi>
<mo>^</mo>
</mover>
<mo>|</mo>
<mo>|</mo>
<mi>w</mi>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>1</mn>
</msub>
<mo>}</mo>
<mo>;</mo>
</mrow>
其中
<mrow>
<mi>X</mi>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mfrac>
<mn>1</mn>
<msqrt>
<mi>L</mi>
</msqrt>
</mfrac>
<msub>
<mi>x</mi>
<mi>h</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mfrac>
<mn>1</mn>
<msqrt>
<mi>M</mi>
</msqrt>
</mfrac>
<msub>
<mi>x</mi>
<mi>m</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mfrac>
<mn>1</mn>
<msqrt>
<mi>N</mi>
</msqrt>
</mfrac>
<msub>
<mi>x</mi>
<mi>l</mi>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
<mi>D</mi>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<mrow>
<mfrac>
<mn>1</mn>
<msqrt>
<mi>L</mi>
</msqrt>
</mfrac>
<msub>
<mi>D</mi>
<mi>h</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mfrac>
<mn>1</mn>
<msqrt>
<mi>M</mi>
</msqrt>
</mfrac>
<msub>
<mi>D</mi>
<mi>m</mi>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mfrac>
<mn>1</mn>
<msqrt>
<mi>N</mi>
</msqrt>
</mfrac>
<msub>
<mi>D</mi>
<mi>l</mi>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>;</mo>
</mrow>
采用交叉迭代优化求解上述凸优化问题，即固定w求解D，然后在下一轮迭代中固定D求解w，如此交替迭代更新,直到收敛为最优解。
4.根据权利要求1所述的中间尺度约束的高倍率图像超分辨率重建方法，其特征在于：步骤3中，运用Bicubic上采样算法生成中间尺度图像，且上采样倍数为其中，k表示图像长宽的超分辨率放大倍数，k≥4。
5.根据权利要求1所述的中间尺度约束的高倍率图像超分辨率重建方法，其特征在于，步骤4中所述低分辨率图像稀疏分解，具体实现过程如下：
将输入的低分辨率图像和生成的中间尺度图像切分成正方形块，低分辨率图像块的尺寸设定为5×5像素，保证块与块之间有1～2个像素的重叠，利用训练的中等分辨率字典、低分辨率字典，逐个图像块执行稀疏投影分解，获取每块的稀疏表达系数；
单个图像块的联合稀疏分解模型建立如下：
若xl、xm分别表示输入的低分辨率图像块、中等分辨率图像块，Dl、Dm为相应的低分辨率字典、中等分辨率字典，则稀疏投影分解的优化问题表示为：
<mrow>
<msub>
<mi>min</mi>
<mi>w</mi>
</msub>
<mo>{</mo>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>x</mi>
<mi>l</mi>
</msub>
<mo>-</mo>
<msub>
<mi>D</mi>
<mi>l</mi>
</msub>
<mi>w</mi>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mi>&gamma;</mi>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>x</mi>
<mi>m</mi>
</msub>
<mo>-</mo>
<msub>
<mi>D</mi>
<mi>m</mi>
</msub>
<mi>w</mi>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mi>&lambda;</mi>
<mo>|</mo>
<mo>|</mo>
<mi>w</mi>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>1</mn>
</msub>
<mo>}</mo>
<mo>;</mo>
</mrow>
w为代求取的稀疏表达系数，γ为中间尺度图像的误差权重；
上式变形为：
<mrow>
<msub>
<mi>min</mi>
<mi>w</mi>
</msub>
<mo>{</mo>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>X</mi>
<mi>c</mi>
</msub>
<mo>-</mo>
<msub>
<mi>D</mi>
<mi>c</mi>
</msub>
<mi>w</mi>
<mo>|</mo>
<msubsup>
<mo>|</mo>
<mn>2</mn>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<mi>&lambda;</mi>
<mo>|</mo>
<mo>|</mo>
<mi>w</mi>
<mo>|</mo>
<msub>
<mo>|</mo>
<mn>1</mn>
</msub>
<mo>}</mo>
<mo>;</mo>
</mrow>
其中
<mrow>
<msub>
<mi>X</mi>
<mi>c</mi>
</msub>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>x</mi>
<mn>1</mn>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msqrt>
<mi>&gamma;</mi>
</msqrt>
<msub>
<mi>x</mi>
<mi>m</mi>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>,</mo>
<msub>
<mi>D</mi>
<mi>c</mi>
</msub>
<mo>=</mo>
<mfenced open = "[" close = "]">
<mtable>
<mtr>
<mtd>
<msub>
<mi>D</mi>
<mi>l</mi>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msqrt>
<mi>&gamma;</mi>
</msqrt>
<msub>
<mi>D</mi>
<mi>m</mi>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>.</mo>
</mrow>
6.根据权利要求1-5任意一项所述的中间尺度约束的高倍率图像超分辨率重建方法，其特征在于，步骤5中所述的重建最终的高分辨率图像，具体实现包括以下子步骤：
步骤5.1：利用训练得到的高分辨率字典Dh和低分辨率图像块的稀疏域表达系数，通过字典原子的线性合成得到重建的高分辨率图像块，即xh＝Dhw；其中，w为输入图像块在字典上的稀疏表达系数；
步骤5.2：待所有高分辨率图像块都重建完成后，将其按原有位置拼接成完整的图像，然后对重叠的边缘部分进行平滑滤波，去掉缝结效应。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710444725.3A CN107203969B (zh) | 2017-06-13 | 2017-06-13 | 一种中间尺度约束的高倍率图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710444725.3A CN107203969B (zh) | 2017-06-13 | 2017-06-13 | 一种中间尺度约束的高倍率图像超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107203969A true CN107203969A (zh) | 2017-09-26 |
| CN107203969B CN107203969B (zh) | 2019-06-25 |
Family
ID=59907622
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710444725.3A Active CN107203969B (zh) | 2017-06-13 | 2017-06-13 | 一种中间尺度约束的高倍率图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107203969B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107818546A (zh) * | 2017-11-01 | 2018-03-20 | 淮海工学院 | 一种基于稀疏表示的正电子发射断层图像超分辨率重建方法 |
| CN108289222A (zh) * | 2018-01-26 | 2018-07-17 | 嘉兴学院 | 一种基于结构相似度映射字典学习的无参考图像质量评价方法 |
| CN109345444A (zh) * | 2018-08-30 | 2019-02-15 | 浙江工业大学 | 深度感知增强的超分辨率立体图像构建方法 |
| CN110490806A (zh) * | 2019-08-19 | 2019-11-22 | 福州大学 | 一种原子力显微镜超分辨率图像重构的方法及系统 |
| CN110930304A (zh) * | 2018-09-20 | 2020-03-27 | 东华大学 | 基于全尺度质量总和的图像集超分辨率自适应阈值选取方法 |
| CN111461990A (zh) * | 2020-04-03 | 2020-07-28 | 华中科技大学 | 一种基于深度学习分步实现超分辨成像的方法 |
| CN112330846A (zh) * | 2019-07-31 | 2021-02-05 | 比亚迪股份有限公司 | 车辆控制的方法、装置、存储介质及电子设备和车辆 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105844590A (zh) * | 2016-03-23 | 2016-08-10 | 武汉理工大学 | 基于稀疏表示的图像超分辨率重建方法及系统 |
| CN105931179A (zh) * | 2016-04-08 | 2016-09-07 | 武汉大学 | 一种联合稀疏表示与深度学习的图像超分辨率方法及系统 |
| CN106204667A (zh) * | 2016-07-01 | 2016-12-07 | 山东大学 | 一种解决图像超分辨率重建中的相似度保留问题的稀疏编码方法 |
-
2017
- 2017-06-13 CN CN201710444725.3A patent/CN107203969B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105844590A (zh) * | 2016-03-23 | 2016-08-10 | 武汉理工大学 | 基于稀疏表示的图像超分辨率重建方法及系统 |
| CN105931179A (zh) * | 2016-04-08 | 2016-09-07 | 武汉大学 | 一种联合稀疏表示与深度学习的图像超分辨率方法及系统 |
| CN106204667A (zh) * | 2016-07-01 | 2016-12-07 | 山东大学 | 一种解决图像超分辨率重建中的相似度保留问题的稀疏编码方法 |
Non-Patent Citations (1)
| Title |
|---|
| 杨存强 等: "基于图像块迭代和稀疏表示的超分辨率图像重建算法", 《计算机应用》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107818546A (zh) * | 2017-11-01 | 2018-03-20 | 淮海工学院 | 一种基于稀疏表示的正电子发射断层图像超分辨率重建方法 |
| CN108289222A (zh) * | 2018-01-26 | 2018-07-17 | 嘉兴学院 | 一种基于结构相似度映射字典学习的无参考图像质量评价方法 |
| CN108289222B (zh) * | 2018-01-26 | 2020-01-14 | 嘉兴学院 | 一种基于结构相似度映射字典学习的无参考图像质量评价方法 |
| CN109345444A (zh) * | 2018-08-30 | 2019-02-15 | 浙江工业大学 | 深度感知增强的超分辨率立体图像构建方法 |
| CN109345444B (zh) * | 2018-08-30 | 2023-05-23 | 浙江工业大学 | 深度感知增强的超分辨率立体图像构建方法 |
| CN110930304A (zh) * | 2018-09-20 | 2020-03-27 | 东华大学 | 基于全尺度质量总和的图像集超分辨率自适应阈值选取方法 |
| CN110930304B (zh) * | 2018-09-20 | 2023-06-02 | 东华大学 | 基于全尺度质量总和的图像集超分辨率自适应阈值选取方法 |
| CN112330846A (zh) * | 2019-07-31 | 2021-02-05 | 比亚迪股份有限公司 | 车辆控制的方法、装置、存储介质及电子设备和车辆 |
| CN110490806A (zh) * | 2019-08-19 | 2019-11-22 | 福州大学 | 一种原子力显微镜超分辨率图像重构的方法及系统 |
| CN110490806B (zh) * | 2019-08-19 | 2021-07-27 | 福州大学 | 一种原子力显微镜超分辨率图像重构的方法及系统 |
| CN111461990A (zh) * | 2020-04-03 | 2020-07-28 | 华中科技大学 | 一种基于深度学习分步实现超分辨成像的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107203969B (zh) | 2019-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107203969A (zh) | 一种中间尺度约束的高倍率图像超分辨率重建方法 | |
| US10019642B1 (en) | Image upsampling system, training method thereof and image upsampling method | |
| CN104766273B (zh) | 一种基于压缩感知理论的红外图像超分辨率重建方法 | |
| CN108550115B (zh) | 一种图像超分辨率重建方法 | |
| Patel et al. | A review on different image interpolation techniques for image enhancement | |
| CN106991648A (zh) | 一种基于小波变换和卷积神经网络的图像超分辨率重建方法 | |
| CN101719266B (zh) | 一种基于仿射变换的正面人脸图像超分辨率重建方法 | |
| CN105631807A (zh) | 基于稀疏域选取的单帧图像超分辨重建方法 | |
| CN102473290A (zh) | 对比度增强 | |
| CN109636721A (zh) | 基于对抗学习和注意力机制的视频超分辨率方法 | |
| CN107784628A (zh) | 一种基于重建优化和深度神经网络的超分辨率实现方法 | |
| CN107689036A (zh) | 一种基于深度双边学习的实时图像增强方法 | |
| CN104766272B (zh) | 一种基于亚像素偏移模型的图像超分辨率重建方法 | |
| CN105427243A (zh) | 基于自适应插值核学习的视频超分辨率重建方法 | |
| CN108257108A (zh) | 一种超分辨率图像重建方法及系统 | |
| CN117237197B (zh) | 基于交叉注意力机制的图像超分辨率方法及装置 | |
| CN104299193B (zh) | 一种基于高频和中频信息的图像超分辨率重建方法 | |
| He et al. | Remote sensing image super-resolution using deep–shallow cascaded convolutional neural networks | |
| López-Tapia et al. | A single video super-resolution GAN for multiple downsampling operators based on pseudo-inverse image formation models | |
| CN104915935B (zh) | 基于非线性压缩感知与字典学习的压缩光谱成像方法 | |
| CN104200439B (zh) | 基于自适应滤波和正则约束的图像超分辨方法 | |
| CN115272082A (zh) | 模型训练、视频质量提升方法、装置和计算机设备 | |
| CN110047038B (zh) | 一种基于层级递进网络的单图像超分辨重建方法 | |
| Obmann et al. | Deep synthesis network for regularizing inverse problems | |
| CN113379606B (zh) | 一种基于预训练生成模型的人脸超分辨方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |