CN110211084A - 一种基于权重小波变换的图像多分辨率重建方法 - Google Patents
一种基于权重小波变换的图像多分辨率重建方法 Download PDFInfo
- Publication number
- CN110211084A CN110211084A CN201910518091.0A CN201910518091A CN110211084A CN 110211084 A CN110211084 A CN 110211084A CN 201910518091 A CN201910518091 A CN 201910518091A CN 110211084 A CN110211084 A CN 110211084A
- Authority
- CN
- China
- Prior art keywords
- image
- weight
- frequency subgraph
- wavelet
- inverse transformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000009466 transformation Effects 0.000 title claims abstract description 46
- 238000012935 Averaging Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 10
- 230000003044 adaptive effect Effects 0.000 abstract description 2
- 230000000007 visual effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于权重小波变换的图像多分辨率重建方法，利用小波变换的多分辨率特性，将低分辨率图像分解成低频子图和高频子图，并根据高、低频子图各自的图像特征分别利用非均匀插值和改进的快速插值法进行图像重建，最后利用基于平均梯度的权重小波逆变换对高、低频子图的重建图像进行小波逆变换，得到最终的高分辨率图像；本发明利用改进的快速插值方法进行高频子图的超分辨率，利用高斯卷积核对图像的“空洞”信息进行估计填充，对不同方向的高频信息具有较好的处理效果；同时使用基于平均梯度的权重小波逆变换对高、低频子图的重建图像进行小波逆变换，可以自适应的对图像的细节信息进行增强，使重建图像信息丰富度高、细节突出。
Description
技术领域
本发明涉及图像处理技术领域，具体而言，尤其涉及一种基于权重小波变换的图像多分辨率重建方法。
背景技术
近年来，空间图像超分辨率重建技术一直是学界的研究热点，其中多帧图像超分辨率重建技术是通过对多幅具有互补信息的低分辨图像进行处理，重建得到一幅高分辨率图像，在安全、监控、计算机视觉、军事侦查、医学成像等领域有重要的应用价值。
小波变换具有多分辨率分析功能和逐步分解等特性，能够在图像重建过程中全面利用图像的信息，使得超分辨率重建后的图像信息丰富且细节清晰，在图像超分辨率重建中有广泛的应用。陈等.使用小波变换与FPGA实现了每秒30帧1024×1024图像的处理速度。张等.提出一种基于凸集投影法和复数小波包域的遥感图像上采样算法，实验证明，该方法对在遥感图像的高频细节部分重建和去模糊降噪方面，都有较好效果。孙等.将小波变换能够提取图像高频信息的特点与深度网络优异的图像重建性能相结合，提出一种结合小波变换与深度网络的图像超分辨率方法,能够良好地恢复图像细节。唐等.提出一种结合DWT和SWT的小波方法(D-S)，利用由SWT得到的高频频带来修正DWT得到的高频频带，并通过逆离散小波变换(IDWT)组合修正的高频频带和输入图像，得到高分辨率图像。张等.提出了在小波域内实现图像的超分辨率复原的方法，利用低分辨率图像序列、超分辨率图像和观测模型在不同尺度和方向上的特性，使超分辨率复原结果能够达到自适应边缘保持的目的。Shin等.提出一种结合离散小波变换(DWT)与基于实例的超分辨率技术，该方法通过搜索与输入的低分辨率图像的子带中的片段匹配的高频片来估计高频子带中的系数，实验表明该方法具有去模糊和细节增强作用。
发明内容
由于小波变换具有多分辨率分析功能和逐步分解等特性，本文提出一种基于小波变换的图像多分辨率重建的超分辨率方法，利用小波变换的多分辨率特性，将低分辨率图像分解成低频子图和高频子图，并根据高、低频子图各自的图像特征分别利用非均匀插值和改进的快速插值法进行图像重建，最后利用基于平均梯度的权重小波逆变换对高、低频子图的重建图像进行小波逆变换，得到最终的高分辨率图像。
本发明采用的技术手段如下：
一种基于权重小波变换的图像多分辨率重建方法，包括以下步骤：
步骤S1：获取多张源图像，对源图像进行小波变换，得到低频子图LA和高频子图HV、HH、HD；
步骤S2：利用非均匀插值方法对步骤S1中的低频子图LA进行多帧超分辨率重建，重建得到高分辨率图像HLA；
步骤S3：利用改进的快速插值方法对步骤S1中的高频子图HV、HH、HD进行多帧超分辨率重建，重建得到对应的高分辨率图像HHV，HHH，HHD；
步骤S4：利用基于平均梯度的权重小波逆变换对高、低频子图的重建图像HLA，HHV，HHH，HHD进行小波逆变换，得到最终的高分辨率图像。
进一步地，所述步骤S3中基于改进的快速插值方法具体步骤如下：
步骤S31：分别将对步骤S1中的高频子图HV、HH、HD进行图像配准，得到三组对应的配准参数W1、W2、W3；
步骤S32：利用步骤S31中的配准参数W1、W2、W3对分别对高频子图进行映射插值，得到对应的初始估计图H01、H02、H03；
步骤S33：使用高斯卷积核作为模板对步骤S32中的初始估计图H01、H02、H03进行迭代卷积，得到高分辨率图像HHV，HHH，HHD。
进一步地，所述步骤S4中基于平均梯度的权重小波逆变换具体步骤如下：
步骤S41：分别计算步骤S3中的高频子图重建图像HHV，HHH，HHD的平均梯度▽GHH、▽GHV和▽GHD，图像平均梯度▽G公式如下：
其中，f表示图像的像素值，(i，j)是像素的坐标，M和N代表图像的行数和列数；
步骤S42：利用步骤S41得到的图像平均梯度▽GHH、▽GHV和▽GHD，计算图像HHV，HHH，HHD的权重因子αHH、αHV和αHD，权重因子的计算公式如下：
步骤S43：利用步骤S42中的权重因子αLH、αHL、αHH和高、低频子图的重建图像HLA，HHV，HHH，HHD进行基于平均梯度的权重小波逆变换，得到最后的高分辨率图像H，基于平均梯度的权重小波逆变换公式如下：
H＝ISWT(HLL,αHHHHH,αHVHHV,αHDHHD)
其中，ISWT代表平稳小波逆变换。
较现有技术相比，本发明具有以下优点：
1、为了解决均匀分布卷积模板在图像重构过程中，使对角线高频信息模糊的现象，使用适用性更强的高斯卷积模板，从此对各方向的高频信息都有良好的重建效果。
2、在传统小波逆变换基础上提出使用基于图像平均梯度的权重小波逆变换，可以根据图像不同方向细节信息的强弱自适用的对图像高频信息进行增强，使重建图像信息丰富、细节凸显。
基于上述理由本发明可在图像处理等领域广泛推广。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的流程示意图。
图2为本发明与其他算法针对仿真图像的超分辨率重建效果对比图。
图3为本发明与其他算法针对实拍图像的超分辨率重建效果对比图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例
为了验证本发明超分辨率重建的效果，选取仿真图像和实拍图像作为测试集，同时与Bicubic、IBP、POCS、MAP、L1-SAR、D-S算法的实验结果从主观角度和客观角度对算法的重建效果对比分析。具体步骤和原理如下：
如图1所示，本发明提供了一种基于权重小波变换的图像多分辨率重建方法，包括以下步骤：
步骤S1：获取多张源图像，对源图像进行小波变换，得到低频子图LA和高频子图HV、HH、HD；
步骤S2：利用非均匀插值方法对步骤S1中的低频子图LA进行多帧超分辨率重建，重建得到高分辨率图像HLA；
步骤S3：利用改进的快速插值方法对步骤S1中的高频子图HV、HH、HD进行多帧超分辨率重建，重建得到对应的高分辨率图像HHV，HHH，HHD；
步骤S3中基于改进的快速插值方法重建过程，包括以下步骤：
步骤S31：分别将对步骤S1中的高频子图HL、LH、HH进行图像配准，得到三组对应的配准参数W1、W2、W3；
步骤S32：利用步骤S31中的配准参数W1、W2、W3对分别对高频子图进行映射插值，得到对应的初始估计图H01、H02、H03；
步骤S33：使用高斯卷积核作为模板对步骤S32中的初始估计图H01、H02、H03进行迭代卷积，得到高分辨率图像HHV，HHH，HHD。
步骤S4：利用基于平均梯度的权重小波逆变换对高、低频子图的重建图像HLA，HHV，HHH，HHD进行小波逆变换，得到最终的高分辨率图像。
步骤S4中基于平均梯度的权重小波逆变换的重建过程，包括以下步骤：
步骤S41：分别计算步骤S3中的高频子图重建图像HHV，HHH，HHD的平均梯度▽GHH、▽GHV和▽GHD，图像平均梯度▽G公式如下：
其中，f表示图像的像素值，(i，j)是像素的坐标，M和N代表图像的行数和列数；
步骤S42：利用步骤S41得到的图像平均梯度▽GLH、▽GHL和▽GHH，计算图像HHV，HHH，HHD的权重因子αHH、αHV和αHD，权重因子的计算公式如下：
步骤S43：利用步骤S42中的权重因子αLH、αHL、αHH和高、低频子图的重建图像HLA，HHV，HHH，HHD进行基于平均梯度的权重小波逆变换，得到最后的高分辨率图像H，基于平均梯度的权重小波逆变换公式如下：
H＝ISWT(HLL,αHHHHH,αHVHHV,αHDHHD)
其中，ISWT代表平稳小波逆变换。
作为本发明优选的实施方式，如图2所示，本发明中的超分辨率重建算法与其他算法针对仿真图像的超分辨率重建效果对比图，从图2中可以看出，与原低分辨率图像相比，重构高分辨率图像具有更高的清晰度，图像中可以凸显更多的细节信息。本文方法重构的高分辨率图像，不仅图像信息增多，还增强了局部细节，具有更好的视觉效果。
如图3所示，本发明中的超分辨率重建算法与其他算法针对实拍图像的超分辨率重建效果对比图，从图3中可以看出Bicubic重建图像边缘模糊，视觉效果与原图相似，重构效果一般；其它重构高分辨率图像中可以看清更细的线条和更小的数字，图像的分辨率有所提升；其中本文方法与其他方法相比，重构图像的模糊程度低，细节更凸显，视觉效果更好。
本实施例从平均梯度、信息熵和清晰度三种客观指标对不同算法的实验结果进行对比；从表1数据可知，Bicubic、IBP、POCS、MAP、L1-SAR、D-S和本文方法的平均梯度、信息熵及清晰度均大于原始低分辨率图像，说明重构图像在信息丰富度和清晰度上都有了提升；而本文方法的三个评价指标均高于其他方法。
从表2数据可知，对于信息熵，POCS方法值最大为6.9589，本文方法排第二为6.9133；针对清晰度，MAP方法值最大为8.4835，本文方法为8.4048；针对平均梯度，本文方法值最大为8.2047。所以客观指标也说明本文方法相对其他重构方法具有良好的适用性，可以得到信息丰富、细节凸显和视觉效果较好的高分辨率图像。
表1不同方法针对仿真图像的重建图像客观评价参数
表2不同方法针对实拍图像的重建图像客观评价参数
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。
Claims (3)
1.一种基于权重小波变换的图像多分辨率重建方法，其特征在于，包括以下步骤：
步骤S1：获取多张源图像，对源图像进行小波变换，得到低频子图LA和高频子图HV、HH、HD；
步骤S2：利用非均匀插值方法对步骤S1中的低频子图LA进行多帧超分辨率重建，重建得到高分辨率图像HLA；
步骤S3：利用改进的快速插值方法对步骤S1中的高频子图HV、HH、HD进行多帧超分辨率重建，重建得到对应的高分辨率图像HHV，HHH，HHD；
步骤S4：利用基于平均梯度的权重小波逆变换对高、低频子图的重建图像HLA，HHV，HHH，HHD进行小波逆变换，得到最终的高分辨率图像。
2.根据权利要求1所述的基于权重小波变换的图像多分辨率重建方法，其特征在于，所述步骤S3中基于改进的快速插值方法具体步骤如下：
步骤S31：分别将对步骤S1中的高频子图HV、HH、HD进行图像配准，得到三组对应的配准参数W1、W2、W3；
步骤S32：利用步骤S31中的配准参数W1、W2、W3对分别对高频子图进行映射插值，得到对应的初始估计图H01、H02、H03；
步骤S33：使用高斯卷积核作为模板对步骤S32中的初始估计图H01、H02、H03进行迭代卷积，得到高分辨率图像HHV，HHH，HHD。
3.根据权利要求1所述的基于权重小波变换的图像多分辨率重建方法，其特征在于，所述步骤S4中基于平均梯度的权重小波逆变换具体步骤如下：
步骤S41：分别计算步骤S3中的高频子图重建图像HHV，HHH，HHD的平均梯度和图像平均梯度公式如下：
其中，f表示图像的像素值，(i，j)是像素的坐标，M和N代表图像的行数和列数；
步骤S42：利用步骤S41得到的图像平均梯度和计算图像HHV，HHH，HHD的权重因子αLH、αHL和αHH，权重因子的计算公式如下：
步骤S43：利用步骤S42中的权重因子αLH、αHL和αHH和高、低频子图的重建图像HLA，HHV，HHH，HHD进行基于平均梯度的权重小波逆变换，得到最后的高分辨率图像H，基于平均梯度的权重小波逆变换公式如下：
H＝ISWT(HLL,αHHHHH,αHVHHV,αHDHHD)
其中，ISWT代表平稳小波逆变换。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910518091.0A CN110211084B (zh) | 2019-06-14 | 2019-06-14 | 一种基于权重小波变换的图像多分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910518091.0A CN110211084B (zh) | 2019-06-14 | 2019-06-14 | 一种基于权重小波变换的图像多分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110211084A true CN110211084A (zh) | 2019-09-06 |
| CN110211084B CN110211084B (zh) | 2022-10-04 |
Family
ID=67792821
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910518091.0A Active CN110211084B (zh) | 2019-06-14 | 2019-06-14 | 一种基于权重小波变换的图像多分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110211084B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111383177A (zh) * | 2020-03-23 | 2020-07-07 | 中国科学院金属研究所 | 一种激光超声可视化图像分辨率提升方法 |
| CN116091322A (zh) * | 2023-04-12 | 2023-05-09 | 山东科技大学 | 超分辨率图像重建方法和计算机设备 |
| CN117132510A (zh) * | 2023-10-24 | 2023-11-28 | 临沂安保服务集团有限公司 | 一种基于图像处理的监控图像增强方法及系统 |
| CN117274064A (zh) * | 2023-11-15 | 2023-12-22 | 中国科学技术大学 | 一种图像超分辨率方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003021530A2 (en) * | 2001-08-28 | 2003-03-13 | Visioprime Ltd | Image enhancement and data loss recovery using wavelet transforms |
| CN107767342A (zh) * | 2017-11-09 | 2018-03-06 | 中南林业科技大学 | 基于积分平差模型的小波变换超分辨率图像重建方法 |
-
2019
- 2019-06-14 CN CN201910518091.0A patent/CN110211084B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003021530A2 (en) * | 2001-08-28 | 2003-03-13 | Visioprime Ltd | Image enhancement and data loss recovery using wavelet transforms |
| CN107767342A (zh) * | 2017-11-09 | 2018-03-06 | 中南林业科技大学 | 基于积分平差模型的小波变换超分辨率图像重建方法 |
Non-Patent Citations (2)
| Title |
|---|
| 周靖鸿等: "改进的二维小波超分辨率重建方法", 《测绘通报》 * |
| 袁媛等: "基于小波变换的图像超分辨率增强算法", 《实验科学与技术》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111383177A (zh) * | 2020-03-23 | 2020-07-07 | 中国科学院金属研究所 | 一种激光超声可视化图像分辨率提升方法 |
| CN111383177B (zh) * | 2020-03-23 | 2024-04-16 | 中国科学院金属研究所 | 一种激光超声可视化图像分辨率提升方法 |
| CN116091322A (zh) * | 2023-04-12 | 2023-05-09 | 山东科技大学 | 超分辨率图像重建方法和计算机设备 |
| CN117132510A (zh) * | 2023-10-24 | 2023-11-28 | 临沂安保服务集团有限公司 | 一种基于图像处理的监控图像增强方法及系统 |
| CN117132510B (zh) * | 2023-10-24 | 2024-01-26 | 临沂安保服务集团有限公司 | 一种基于图像处理的监控图像增强方法及系统 |
| CN117274064A (zh) * | 2023-11-15 | 2023-12-22 | 中国科学技术大学 | 一种图像超分辨率方法 |
| CN117274064B (zh) * | 2023-11-15 | 2024-04-02 | 中国科学技术大学 | 一种图像超分辨率方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110211084B (zh) | 2022-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110211084A (zh) | 一种基于权重小波变换的图像多分辨率重建方法 | |
| CN106683067B (zh) | 一种基于残差子图像的深度学习超分辨率重建方法 | |
| Zhang et al. | Image restoration using joint statistical modeling in a space-transform domain | |
| Varghese et al. | Video denoising based on a spatiotemporal Gaussian scale mixture model | |
| CN107895345B (zh) | 一种提高人脸图像分辨率的方法和装置 | |
| CN104008539B (zh) | 基于多尺度几何分析的图像超分辨率重建方法 | |
| CN110889895B (zh) | 一种融合单帧重建网络的人脸视频超分辨率重建方法 | |
| Suetake et al. | Image super-resolution based on local self-similarity | |
| CN111598778A (zh) | 一种绝缘子图像超分辨率重建方法 | |
| CN110363704B (zh) | 融合形态及色彩的图像超分辨率重建模型构建及重建方法 | |
| CN108765320B (zh) | 基于多级小波卷积神经网络的图像复原系统 | |
| CN109447903B (zh) | 一种半参考型超分辨率重构图像质量评价模型的建立方法 | |
| CN110322404B (zh) | 一种图像增强方法及系统 | |
| CN112669214B (zh) | 一种基于交替方向乘子算法的模糊图像超分辨率重建方法 | |
| CN112001843A (zh) | 一种基于深度学习的红外图像超分辨率重建方法 | |
| Witwit et al. | Global motion based video super-resolution reconstruction using discrete wavelet transform | |
| CN106254720B (zh) | 一种基于联合正则化的视频超分辨率重建方法 | |
| CN111754399A (zh) | 基于梯度的保持几何结构的图像超分辨率方法 | |
| KR20100097858A (ko) | 예제 기반 신경회로망을 이용한 고해상도 영상 확대 | |
| Naik et al. | Satellite image resolution enhancement using DTCWT and DTCWT based fusion | |
| Fuentes-Hurtado et al. | MID3A: microscopy image denoising meets differentiable data augmentation | |
| CN107767342B (zh) | 一种基于积分平差模型的小波变换超分辨率图像重建方法 | |
| Panda et al. | An efficient image interpolation using edge-error based sharpening | |
| Sun et al. | A novel multi-focus image fusion algorithm based on NSST-FRFT | |
| Sravya et al. | Image fusion on multi focused images using NSCT |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |