CN108932709A - 多幅图像超分辨率重建的方法 - Google Patents
多幅图像超分辨率重建的方法 Download PDFInfo
- Publication number
- CN108932709A CN108932709A CN201810753758.0A CN201810753758A CN108932709A CN 108932709 A CN108932709 A CN 108932709A CN 201810753758 A CN201810753758 A CN 201810753758A CN 108932709 A CN108932709 A CN 108932709A
- Authority
- CN
- China
- Prior art keywords
- image
- super
- pixel
- resolution
- resolution rebuilding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000013139 quantization Methods 0.000 claims abstract description 4
- 238000005070 sampling Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 2
- 238000005457 optimization Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002939 conjugate gradient method Methods 0.000 description 1
- 230000007850 degeneration Effects 0.000 description 1
- 230000003412 degenerative effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种多幅图像超分辨率重建的方法，包括以下步骤：步骤1、将低分辨率图像S1和S2作为超分辨率重建的输入图像；步骤2、进行上采样；步骤S3、逐像素裁剪，得到矢量化图像；步骤S4、生成矢量化的训练样本S’K；步骤S5、利用训练样本SK训练分析字典Ω；步骤S6、逐像素裁剪s’1图像作为超分辨率重建的初始图像；步骤S7、利用以下表达式对初始图像进行图像超分辨率重建；求取梯度下降方向；步骤S8、直到求解的最终值的残差满足系统设定值时停止计算，此时得到最佳像素资料的图像块，输出。本发明不需要借用外部数据，简单易行，效果较好，其利用分析稀疏正则化的思想，采用分析稀疏先验的方法进行优化求解，大大降低了算法的运算复杂度，提高了运算速度。
Description
技术领域
本发明涉及分辨率重建领域。更具体地说，本发明涉及一种多幅图像超分辨率重建的方法。
背景技术
在实际应用中，受成像系统物理分辨率限制，以及场景变化与天气条件等诸多因素的影响，实际成像过程中往往存在光学与运动模糊、欠采样和噪声等退化因素，导致成像系统只能得到质量较差、分辨率较低的图像或图像序列，通常满足不了实际的应用要求，这给后续的图像处理、分析和理解带来诸多困难，不利于人们正确地认识客观世界及其规律。解决这一问题一个实用而有效的方法就是图像超分辨重建技术，其不需要昂贵的图像获取设备，只需要通过计算机软件的处理就能够获得更高分辨率的图像。但是，传统的方法运算复杂，运算速度慢。
发明内容
本发明提供一种多幅图像超分辨率重建的方法，不需要借用外部数据，简单易行，效果较好，其利用分析稀疏正则化的思想，采用分析稀疏先验的方法进行优化求解，大大降低了算法的运算复杂度，提高了运算速度。
为了实现以上目的，本发明提供一种多幅图像超分辨率重建的方法，包括以下步骤：
步骤1、将低分辨率图像S1和S2作为超分辨率重建的输入图像；
步骤2、分别对输入图像S1和S2进行上采样，得到上采样图像s’1，s’2，其尺寸与期待超分辨率重建的尺寸大小一致；
步骤S3、逐像素的对上采样图像s’1，s’2裁剪，然后分别对裁剪得到的图像块进行列化操作形成矢量化矩阵，得到多种矢量化图像；
步骤S4、对多种矢量化图像进行随机混合，生成矢量化的训练样本S’K；
步骤S5、利用训练样本S’K训练，得到分析字典Ω；
步骤S6、逐像素裁剪s’1图像作为超分辨率重建的初始图像；
步骤S7、利用以下表达式对初始图像进行图像超分辨率重建；
求取梯度下降方向；
其中，Ω表示分析字典，s表示待求图像块，g表示分析稀疏项，其用表示，M表示图像退化矩阵，y表示观测变量；
步骤S8：根据求得的梯度下降方向对步骤S7中的表达式进行优化求解，直至求解的最终值的残差满足系统设定值时停止计算，此时得到最优值，即最佳像素资料的图像块，输出，得到超分辨率图像。
优选的是，所述的多幅图像超分辨率重建的方法，所述步骤S3中，逐像素的对上采样图像s’1，s’2裁剪，具体为：按照8×8的尺寸逐像素的对上采样图像s’1，s’2裁剪。
优选的是，所述的多幅图像超分辨率重建的方法，所述步骤S5中，采用共轭梯度的方法利用训练样本S’K训练分析字典Ω。
优选的是，所述的多幅图像超分辨率重建的方法，所述步骤S7中，采用分析稀疏先验的方法对初始图像进行图像超分辨率重建。
本发明至少包括以下有益效果：本发明涉及两个不同分辨率图像的超分辨率重建；可以实现最大分辨率差异在20倍左右图像的融合重建。特别实用于遥感图像的多幅影像的超分辨率重建以及一般自然图像的超分辨率重建。可以实现图像分辨率的大幅提升；该模型优化求解比较简单，并且运算量相对比较小。本专利利用分析稀疏正则化的思想，采用分析稀疏先验的方法进行优化求解，大大降低了算法的运算复杂度，提高了运算速度。
本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
图1为本发明多幅图像超分辨率重建的方法的流程示意图。
具体实施方式
下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。
如图1所示，本发明提供一种多幅图像超分辨率重建的方法，包括以下步骤：步骤1、将低分辨率图像S1和S2作为超分辨率重建的输入图像；步骤2、分别对输入图像S1和S2进行上采样，得到上采样图像s’1，s’2，其尺寸与期待超分辨率重建的尺寸大小一致；步骤 S3、逐像素的对上采样图像s’1，s’2裁剪，然后分别对裁剪得到的图像块进行列化操作形成矢量化矩阵，得到多种矢量化图像；步骤S4、对多种矢量化图像进行随机混合，生成矢量化的训练样本S’K；步骤S5、利用训练样本S’K训练，得到分析字典Ω；步骤S6、逐像素裁剪s’1图像作为超分辨率重建的初始图像；步骤S7、利用以下表达式对初始图像进行图像超分辨率重建；求取梯度下降方向；其中，Ω表示分析字典，s表示待求图像块，g表示分析稀疏项，其用表示，M表示图像退化矩阵，y表示观测变量；步骤S8：根据求得的梯度下降方向对步骤S7中的表达式进行优化求解，直至求解的最终值的残差满足系统设定值时停止计算，此时得到最优值，即最佳像素资料的图像块，输出，得到超分辨率图像。
本发明涉及两个不同分辨率图像的超分辨率重建；可以实现最大分辨率差异在20倍左右图像的融合重建。特别实用于遥感图像的多幅影像的超分辨率重建以及一般自然图像的超分辨率重建。可以实现图像分辨率的大幅提升。1、首先对现有的数据1和图像数据 2建立分析稀疏字典训练的训练样本。2、然后，基于图像辨率退化模型对影像数据进行超分辨率重建。
本发明的分辨率重建方法是基于高分辨率影像向低分辨率图像的退化过程进行，采用线性模型逆问题的求解方法对多幅低分辨率图像超分辨率重建。该模型优化求解比较简单，并且运算量相对比较小。本专利利用分析稀疏正则化的思想，采用分析稀疏先验的方法进行优化求解，大大降低了算法的运算复杂度，提高了运算速度。另外，传统的方法忽略了影像光谱域相邻像素之间的相关关系，从而导致重建结果出现一定的光谱畸变。为避免该问题，模型退化过程中联合考虑光谱一致性约束以及空间一致性的约束，从而使求解结果达到最优的目标。
本专利出的分析稀疏超分辨率重建算法采用共轭梯度的方法进行求解。每次迭代都对融合的结果进行更新，经过优化求解的方式得到最终的求解结果。
另一种实施方案中，所述的多幅图像超分辨率重建的方法，所述步骤3中，逐像素的对上采样图像s’1，s’2裁剪，具体为：按照8×8的尺寸逐像素的对上采样图像s’1，s’2裁剪。
另一种实施方案中，所述的多幅图像超分辨率重建的方法，所述步骤S5中，采用共轭梯度的方法利用训练样本S’K训练分析字典Ω。
另一种实施方案中，所述的多幅图像超分辨率重建的方法，所述步骤S7中，采用分析稀疏先验的方法对初始图像进行图像超分辨率重建。
尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节和这里示出与描述的图例。
Claims (4)
1.一种多幅图像超分辨率重建的方法，其特征在于，包括以下步骤：
步骤1、将低分辨率图像S1和S2作为超分辨率重建的输入图像；
步骤2、分别对输入图像S1和S2进行上采样，得到上采样图像s’1，s’2，其尺寸与期待超分辨率重建的尺寸大小一致；
步骤S3、逐像素的对上采样图像s’1，s’2裁剪，然后分别对裁剪得到的图像块进行列化操作形成矢量化矩阵，得到多种矢量化图像；
步骤S4、对多种矢量化图像进行随机混合，生成矢量化的训练样本S’K；
步骤S5、利用训练样本S’K训练，得到分析字典Ω；
步骤S6、逐像素裁剪s’1图像作为超分辨率重建的初始图像；
步骤S7、利用以下表达式对初始图像进行图像超分辨率重建；
求取梯度下降方向；
其中，Ω表示分析字典，s表示待求图像块，g表示分析稀疏项，其用表示，M表示图像退化矩阵，y表示观测变量；
步骤S8：根据求得的梯度下降方向对步骤S7中的表达式进行优化求解，直至求解的最终值的残差满足系统设定值时停止计算，此时得到最优值，即最佳像素资料的图像块，输出，得到超分辨率图像。
2.如权利要求1所述的多幅图像超分辨率重建的方法，其特征在于，所述步骤S3中，逐像素的对上采样图像s’1，s’2裁剪，具体为：按照8×8的尺寸逐像素的对上采样图像s’1，s’2裁剪。
3.如权利要求1所述的多幅图像超分辨率重建的方法，其特征在于，所述步骤S5中，采用共轭梯度的方法利用训练样本S’K训练分析字典Ω。
4.如权利要求1所述的多幅图像超分辨率重建的方法，其特征在于，所述步骤S7中，采用分析稀疏先验的方法对初始图像进行图像超分辨率重建。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810753758.0A CN108932709A (zh) | 2018-07-10 | 2018-07-10 | 多幅图像超分辨率重建的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810753758.0A CN108932709A (zh) | 2018-07-10 | 2018-07-10 | 多幅图像超分辨率重建的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108932709A true CN108932709A (zh) | 2018-12-04 |
Family
ID=64447247
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810753758.0A Pending CN108932709A (zh) | 2018-07-10 | 2018-07-10 | 多幅图像超分辨率重建的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108932709A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112037136A (zh) * | 2020-09-18 | 2020-12-04 | 中国科学院国家天文台南京天文光学技术研究所 | 基于孔径调制的超分辨率成像方法 |
-
2018
- 2018-07-10 CN CN201810753758.0A patent/CN108932709A/zh active Pending
Non-Patent Citations (2)
| Title |
|---|
| 肖亮等: "《基于图像先验建模的超分辨增强理论与算法》", 31 July 2017, 国防工业出版社 * |
| 韩昌: "基于联合稀疏分析模型的遥感图像融合研究", 《万方学位论文数据库》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112037136A (zh) * | 2020-09-18 | 2020-12-04 | 中国科学院国家天文台南京天文光学技术研究所 | 基于孔径调制的超分辨率成像方法 |
| CN112037136B (zh) * | 2020-09-18 | 2023-12-26 | 中国科学院国家天文台南京天文光学技术研究所 | 基于孔径调制的超分辨率成像方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhao et al. | Hierarchical regression network for spectral reconstruction from RGB images | |
| Wang et al. | Hyperreconnet: Joint coded aperture optimization and image reconstruction for compressive hyperspectral imaging | |
| CN111369440B (zh) | 模型训练、图像超分辨处理方法、装置、终端及存储介质 | |
| Lu et al. | Single image super-resolution based on a modified U-net with mixed gradient loss | |
| Li et al. | Video superresolution via motion compensation and deep residual learning | |
| CN108537733B (zh) | 基于多路径深度卷积神经网络的超分辨率重建方法 | |
| Chen et al. | MICU: Image super-resolution via multi-level information compensation and U-net | |
| Yang et al. | Coupled dictionary training for image super-resolution | |
| Kim et al. | Deep residual network with enhanced upscaling module for super-resolution | |
| CN109146787B (zh) | 一种基于插值的双相机光谱成像系统的实时重建方法 | |
| US20120045118A1 (en) | Image resizing for web-based image search | |
| Chen et al. | Single image super-resolution using deep CNN with dense skip connections and inception-resnet | |
| CN112837224A (zh) | 一种基于卷积神经网络的超分辨率图像重建方法 | |
| Kuang et al. | Image super-resolution with densely connected convolutional networks | |
| CN109785279B (zh) | 一种基于深度学习的图像融合重建方法 | |
| CN110148103A (zh) | 基于联合优化的高光谱和多光谱图像融合方法、计算机可读存储介质、电子设备 | |
| CN101950415A (zh) | 一种基于形状语义模型约束的人脸超分辨率处理方法 | |
| EP4028984A1 (en) | Methods and systems for super resolution for infra-red imagery | |
| Yang et al. | Image super-resolution reconstruction based on improved Dirac residual network | |
| Li et al. | Dual-streams edge driven encoder-decoder network for image super-resolution | |
| Hua et al. | Dynamic scene deblurring with continuous cross-layer attention transmission | |
| Gong et al. | Guided depth upsampling via a cosparse analysis model | |
| CN108932709A (zh) | 多幅图像超分辨率重建的方法 | |
| Liu et al. | Hyperspectral image super-resolution employing nonlocal block and hybrid multiscale three-dimensional convolution | |
| Mehmood | Deep learning based super resolution of aerial and satellite imagery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181204 |
|
| RJ01 | Rejection of invention patent application after publication |