CN115861081A - 一种基于阶梯型多级小波网络的图像超分辨率重建方法 - Google Patents
一种基于阶梯型多级小波网络的图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN115861081A CN115861081A CN202310165216.2A CN202310165216A CN115861081A CN 115861081 A CN115861081 A CN 115861081A CN 202310165216 A CN202310165216 A CN 202310165216A CN 115861081 A CN115861081 A CN 115861081A
- Authority
- CN
- China
- Prior art keywords
- representing
- image
- level
- super
- resolution reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000004590 computer program Methods 0.000 claims description 6
- 238000003062 neural network model Methods 0.000 abstract description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Landscapes
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像处理技术领域,公开了一种基于阶梯型多级小波网络的图像超分辨率重建方法,包括:获取低分辨率合成孔径雷达图像,根据阶梯型多级小波网络得到特征图像,将所述特征图像输入至图像超分辨率重建网络,得到超分辨率重建结果图像。本发明没有单纯在空间域上对合成孔径雷达图像采用深度神经网络模型进行超分辨率重建,通过搭建一个阶梯式多级小波网络,能够在对合成孔径雷达图像进行超分辨率重建时,提取图像的多尺度频域特征,从而在结果图像中包含丰富的纹理特征。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种基于阶梯型多级小波网络的图像超分辨率重建方法。
背景技术
合成孔径雷达图像提供了重要的地面观察信息,但由于成像系统的限制,空间分辨率有所降低,较低的分辨率限制了应用,因此有必要使用超分辨率技术来提高合成孔径雷达图像的空间分辨率,近年来,一些基于深度学习的合成孔径雷达图像超分辨率重建技术得以提出。
但是,现存的方法一般以全卷积构成深度神经网络模型,从而在图像的空间域上进行超分辨率重建,这样在超分辨率重建时难以对合成孔径雷达图像的高频特征和低频特征有所不同侧重。
发明内容
本发明的目的在于克服上述一种或多种现有的技术问题,提供一种基于阶梯型多级小波网络的图像超分辨率重建方法。
为实现上述目的,本发明提供的一种基于阶梯型多级小波网络的图像超分辨率重建方法,包括:
获取低分辨率合成孔径雷达图像;
根据阶梯型多级小波网络得到特征图像;
将所述特征图像输入至图像超分辨率重建网络,得到超分辨率重建结果图像。
根据本发明的一个方面,对所述低分辨率合成孔径雷达图像进行预处理,得到输入至所述阶梯型多级小波网络的第一输入特征、第二输入特征、第三输入特征和第四输入特征,其中公式为,
根据本发明的一个方面,所述阶梯型多级小波网络包含一级分支、二级分支、三级分支和四级分支,将所述第一输入特征输入至所述一级分支得到第一输出特征,其中公式为,
根据本发明的一个方面,对所述第二输入特征进行卷积处理,得到所述二级分支的中间特征,其中公式为,
叠加所述第一输出特征和所述二级分支的中间特征后输入至所述二级分支中,得到第二输出特征,其中公式为,
根据本发明的一个方面,对所述第三输入特征进行卷积处理,得到所述三级分支的中间特征,其中公式为,
叠加所述第二输出特征和所述三级分支的中间特征后输入至所述三级分支中,得到第三输出特征,其中公式为,
根据本发明的一个方面,对所述第四输入特征进行卷积处理,得到所述四级分支的中间特征,其中公式为,
叠加所述第三输出特征和所述四级分支的中间特征后输入至所述四级分支中,得到第四输出特征,其中公式为,
根据本发明的一个方面,所述阶梯型多级小波网络还包含输出分支,将所述第四输出特征输入至所述输出分支中,得到所述特征图像,其中公式为,
根据本发明的一个方面,使用超分辨率重建损失对所述图像超分辨率重建网络进行训练,其中公式为,
为实现上述目的,本发明提供一种基于阶梯型多级小波网络的图像超分辨率重建系统,包括:
低分辨率合成孔径雷达图像获取模块:获取低分辨率合成孔径雷达图像;
特征图像获取模块:根据阶梯型多级小波网络得到特征图像;
超分辨率重建结果图像获取模块:将所述特征图像输入至图像超分辨率重建网络,得到超分辨率重建结果图像。
为实现上述目的,本发明提供一种电子设备,包括处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序,计算机程序被处理器执行时实现上述针对一种基于阶梯型多级小波网络的图像超分辨率重建方法。
基于此,本发明的有益效果在于:
本发明没有单纯在空间域上对合成孔径雷达图像采用深度神经网络模型进行超分辨率重建。通过搭建一个阶梯式多级小波网络,能够在对合成孔径雷达图像进行超分辨率重建时,提取图像的多尺度频域特征,从而在结果图像中包含丰富的纹理特征。
附图说明
图1示意性表示根据本发明的一种基于阶梯型多级小波网络的图像超分辨率重建方法的流程图;
图2示意性表示根据本发明的一种基于阶梯型多级小波网络的图像超分辨率重建方法的阶梯型多级小波网络的流程图;
图3示意性表示根据本发明的一种基于阶梯型多级小波网络的图像超分辨率重建系统的流程图。
具体实施方式
现在将参照示例性实施例来论述本发明的内容,应当理解,论述的实施例仅是为了使得本领域普通技术人员能够更好地理解且因此实现本发明的内容,而不是暗示对本发明的范围的任何限制。
如本文中所使用的,术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。术语“基于”要被解读为“至少部分地基于”,术语“一个实施例”和“一种实施例”要被解读为“至少一个实施例”。
图1示意性表示根据本发明的一种基于阶梯型多级小波网络的图像超分辨率重建方法的流程图,如图1所示,本发明的一种基于阶梯型多级小波网络的图像超分辨率重建方法,包括:
获取低分辨率合成孔径雷达图像;
根据阶梯型多级小波网络得到特征图像;
将所述特征图像输入至图像超分辨率重建网络,得到超分辨率重建结果图像。
根据本发明的一个实施方式,对所述低分辨率合成孔径雷达图像进行预处理,得到输入至所述阶梯型多级小波网络的第一输入特征、第二输入特征、第三输入特征和第四输入特征,其中公式为,
根据本发明的一个实施方式,图2示意性表示根据本发明的一种基于阶梯型多级小波网络的图像超分辨率重建方法的阶梯型多级小波网络的流程图,如图2所示,所述阶梯型多级小波网络包含一级分支、二级分支、三级分支和四级分支,将所述第一输入特征输入至所述一级分支得到第一输出特征,其中公式为,
根据本发明的一个实施方式,对所述第二输入特征进行卷积处理,得到所述二级分支的中间特征,其中公式为,
叠加所述第一输出特征和所述二级分支的中间特征后输入至所述二级分支中,得到第二输出特征,其中公式为,
根据本发明的一个实施方式,对所述第三输入特征进行卷积处理,得到所述三级分支的中间特征,其中公式为,
叠加所述第二输出特征和所述三级分支的中间特征后输入至所述三级分支中,得到第三输出特征,其中公式为,
根据本发明的一个实施方式,对所述第四输入特征进行卷积处理,得到所述四级分支的中间特征,其中公式为,
叠加所述第三输出特征和所述四级分支的中间特征后输入至所述四级分支中,得到第四输出特征,其中公式为,
根据本发明的一个实施方式,所述阶梯型多级小波网络还包含输出分支,将所述第四输出特征输入至所述输出分支中,得到所述特征图像,其中公式为,
根据本发明的一个实施方式,使用超分辨率重建损失对所述图像超分辨率重建网络进行训练,其中公式为,
不仅如此,为实现上述发明目的,本发明还提供一种基于阶梯型多级小波网络的图像超分辨率重建系统,图3示意性表示根据本发明的一种基于阶梯型多级小波网络的图像超分辨率重建系统的流程图,如图3所示,根据本发明的一种基于阶梯型多级小波网络的图像超分辨率重建系统,该系统包括:
低分辨率合成孔径雷达图像获取模块:获取低分辨率合成孔径雷达图像;
特征图像获取模块:根据阶梯型多级小波网络得到特征图像;
超分辨率重建结果图像获取模块:将所述特征图像输入至图像超分辨率重建网络,得到超分辨率重建结果图像。
根据本发明的一个实施方式,对所述低分辨率合成孔径雷达图像进行预处理,得到输入至所述阶梯型多级小波网络的第一输入特征、第二输入特征、第三输入特征和第四输入特征,其中公式为,
根据本发明的一个实施方式,图2示意性表示根据本发明的一种基于阶梯型多级小波网络的图像超分辨率重建方法的阶梯型多级小波网络的流程图,如图2所示,所述阶梯型多级小波网络包含一级分支、二级分支、三级分支和四级分支,将所述第一输入特征输入至所述一级分支得到第一输出特征,其中公式为,
根据本发明的一个实施方式,对所述第二输入特征进行卷积处理,得到所述二级分支的中间特征,其中公式为,
叠加所述第一输出特征和所述二级分支的中间特征后输入至所述二级分支中,得到第二输出特征,其中公式为,
根据本发明的一个实施方式,对所述第三输入特征进行卷积处理,得到所述三级分支的中间特征,其中公式为,
叠加所述第二输出特征和所述三级分支的中间特征后输入至所述三级分支中,得到第三输出特征,其中公式为,
根据本发明的一个实施方式,对所述第四输入特征进行卷积处理,得到所述四级分支的中间特征,其中公式为,
叠加所述第三输出特征和所述四级分支的中间特征后输入至所述四级分支中,得到第四输出特征,其中公式为,
根据本发明的一个实施方式,所述阶梯型多级小波网络还包含输出分支,将所述第四输出特征输入至所述输出分支中,得到所述特征图像,其中公式为,
根据本发明的一个实施方式,使用超分辨率重建损失对所述图像超分辨率重建网络进行训练,其中公式为,
为实现上述发明目的,本发明还提供一种电子设备,该电子设备包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,计算机程序被处理器执行时实现上述一种基于阶梯型多级小波网络的图像超分辨率重建方法。
基于此,本发明的有益效果在于,本发明没有单纯在空间域上对合成孔径雷达图像采用深度神经网络模型进行超分辨率重建,通过搭建一个阶梯式多级小波网络,能够在对合成孔径雷达图像进行超分辨率重建时,提取图像的多尺度频域特征,从而在结果图像中包含丰富的纹理特征。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的模块及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置和设备的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。
另外,在本发明实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例节能信号发送/接收的方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
应理解,本发明的发明内容及实施例中各步骤的序号的大小并不绝对意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
Claims (10)
1.一种基于阶梯型多级小波网络的图像超分辨率重建方法,其特征在于,包括:
获取低分辨率合成孔径雷达图像;
根据阶梯型多级小波网络得到特征图像;
将所述特征图像输入至图像超分辨率重建网络,得到超分辨率重建结果图像。
4.根据权利要求3所述的一种基于阶梯型多级小波网络的图像超分辨率重建方法,其特征在于,对所述第二输入特征进行卷积处理,得到所述二级分支的中间特征,其中公式为,
叠加所述第一输出特征和所述二级分支的中间特征后输入至所述二级分支中,得到第二输出特征,其中公式为,
5.根据权利要求4所述的一种基于阶梯型多级小波网络的图像超分辨率重建方法,其特征在于,对所述第三输入特征进行卷积处理,得到所述三级分支的中间特征,其中公式为,
叠加所述第二输出特征和所述三级分支的中间特征后输入至所述三级分支中,得到第三输出特征,其中公式为,
9.一种基于阶梯型多级小波网络的图像超分辨率重建系统,其特征在于,包括:
低分辨率合成孔径雷达图像获取模块:获取低分辨率合成孔径雷达图像;
特征图像获取模块:根据阶梯型多级小波网络得到特征图像;
超分辨率重建结果图像获取模块:将所述特征图像输入至图像超分辨率重建网络,得到超分辨率重建结果图像。
10.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至8中任一项所述的一种基于阶梯型多级小波网络的图像超分辨率重建方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310165216.2A CN115861081B (zh) | 2023-02-27 | 2023-02-27 | 一种基于阶梯型多级小波网络的图像超分辨率重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310165216.2A CN115861081B (zh) | 2023-02-27 | 2023-02-27 | 一种基于阶梯型多级小波网络的图像超分辨率重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115861081A true CN115861081A (zh) | 2023-03-28 |
CN115861081B CN115861081B (zh) | 2023-05-23 |
Family
ID=85658878
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310165216.2A Active CN115861081B (zh) | 2023-02-27 | 2023-02-27 | 一种基于阶梯型多级小波网络的图像超分辨率重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115861081B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103870836A (zh) * | 2014-01-10 | 2014-06-18 | 浙江工业大学 | 基于凸集投影超分辨率重构的合成孔径雷达图像目标识别方法 |
CN106991648A (zh) * | 2017-04-10 | 2017-07-28 | 中国石油大学(华东) | 一种基于小波变换和卷积神经网络的图像超分辨率重建方法 |
CN109509160A (zh) * | 2018-11-28 | 2019-03-22 | 长沙理工大学 | 一种利用逐层迭代超分辨率的分层次遥感图像融合方法 |
CN109636716A (zh) * | 2018-10-29 | 2019-04-16 | 昆明理工大学 | 一种基于小波系数学习的图像超分辨率重建方法 |
CN111612695A (zh) * | 2020-05-19 | 2020-09-01 | 华侨大学 | 一种低分辨率人脸图像超分辨重建方法 |
CN111932460A (zh) * | 2020-08-10 | 2020-11-13 | 北京大学深圳医院 | Mr图像超分辨率重建方法、装置、计算机设备及存储介质 |
CN112465701A (zh) * | 2020-11-26 | 2021-03-09 | 上海健康医学院 | 显微图像的深度学习超分辨率重建方法、介质及电子设备 |
US20210342974A1 (en) * | 2020-04-29 | 2021-11-04 | Adobe Inc. | Texture hallucination for large-scale image super-resolution |
CN114140359A (zh) * | 2021-12-08 | 2022-03-04 | 中国科学技术大学 | 一种基于渐进式跨尺度神经网络的遥感图像融合锐化方法 |
CN115063297A (zh) * | 2022-06-30 | 2022-09-16 | 中国人民解放军战略支援部队信息工程大学 | 基于参数重构的图像超分辨率重建方法及系统 |
-
2023
- 2023-02-27 CN CN202310165216.2A patent/CN115861081B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103870836A (zh) * | 2014-01-10 | 2014-06-18 | 浙江工业大学 | 基于凸集投影超分辨率重构的合成孔径雷达图像目标识别方法 |
CN106991648A (zh) * | 2017-04-10 | 2017-07-28 | 中国石油大学(华东) | 一种基于小波变换和卷积神经网络的图像超分辨率重建方法 |
CN109636716A (zh) * | 2018-10-29 | 2019-04-16 | 昆明理工大学 | 一种基于小波系数学习的图像超分辨率重建方法 |
CN109509160A (zh) * | 2018-11-28 | 2019-03-22 | 长沙理工大学 | 一种利用逐层迭代超分辨率的分层次遥感图像融合方法 |
US20210342974A1 (en) * | 2020-04-29 | 2021-11-04 | Adobe Inc. | Texture hallucination for large-scale image super-resolution |
CN111612695A (zh) * | 2020-05-19 | 2020-09-01 | 华侨大学 | 一种低分辨率人脸图像超分辨重建方法 |
CN111932460A (zh) * | 2020-08-10 | 2020-11-13 | 北京大学深圳医院 | Mr图像超分辨率重建方法、装置、计算机设备及存储介质 |
CN112465701A (zh) * | 2020-11-26 | 2021-03-09 | 上海健康医学院 | 显微图像的深度学习超分辨率重建方法、介质及电子设备 |
CN114140359A (zh) * | 2021-12-08 | 2022-03-04 | 中国科学技术大学 | 一种基于渐进式跨尺度神经网络的遥感图像融合锐化方法 |
CN115063297A (zh) * | 2022-06-30 | 2022-09-16 | 中国人民解放军战略支援部队信息工程大学 | 基于参数重构的图像超分辨率重建方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN115861081B (zh) | 2023-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111899163A (zh) | 生成对抗网络中单图像超分辨率的有效结构保持 | |
CN109214989B (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
Hayat | Super-resolution via deep learning | |
Cheong et al. | Deep CNN-based super-resolution using external and internal examples | |
KR102359474B1 (ko) | 뉴럴 네트워크를 이용한 결측 영상 데이터 대체 방법 및 그 장치 | |
CN111932460A (zh) | Mr图像超分辨率重建方法、装置、计算机设备及存储介质 | |
CN115456918B (zh) | 一种基于小波高频通道合成的图像去噪方法及装置 | |
CN115937794B (zh) | 小目标对象检测方法、装置、电子设备及存储介质 | |
Feng et al. | Guided filter‐based multi‐scale super‐resolution reconstruction | |
Zuo et al. | MIG-net: Multi-scale network alternatively guided by intensity and gradient features for depth map super-resolution | |
Wu et al. | A novel perceptual loss function for single image super-resolution | |
Liu et al. | Facial image inpainting using multi-level generative network | |
CN116310452B (zh) | 一种多视图聚类方法及系统 | |
CN115861081A (zh) | 一种基于阶梯型多级小波网络的图像超分辨率重建方法 | |
CN116188272B (zh) | 适用于多模糊核的两阶段深度网络图像超分辨率重建方法 | |
CN115688234A (zh) | 一种基于条件卷积的建筑布局生成方法、装置及介质 | |
Rashid et al. | Single MR image super-resolution using generative adversarial network | |
CN116385454A (zh) | 一种基于多阶段聚合的医学图像分割方法 | |
CN116188273A (zh) | 一种基于不确定性导向的双模态可分离图像超分辨率方法 | |
Zhang et al. | A Wavelet-based asymmetric convolution network for single image super-resolution | |
CN115546351A (zh) | 一种基于卷积网络的合成孔径雷达图像着色方法 | |
CN113344784B (zh) | 通过潜在空间正则化对监督式生成对抗网络进行优化 | |
CN114529564A (zh) | 一种基于上下文信息的轻量级婴儿脑组织图像分割方法 | |
Khandelwal et al. | W-VDSR: wavelet-based secure image transmission using machine learning VDSR neural network | |
Aarizou et al. | Self-similarity single image super-resolution based on blur kernel estimation for texture reconstruction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |