CN110111257A - 一种基于特征通道自适应加权的超分辨图像重建方法 - Google Patents
一种基于特征通道自适应加权的超分辨图像重建方法 Download PDFInfo
- Publication number
- CN110111257A CN110111257A CN201910378335.XA CN201910378335A CN110111257A CN 110111257 A CN110111257 A CN 110111257A CN 201910378335 A CN201910378335 A CN 201910378335A CN 110111257 A CN110111257 A CN 110111257A
- Authority
- CN
- China
- Prior art keywords
- network
- edsr
- ise
- model
- resolution image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 22
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 23
- 230000005284 excitation Effects 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims abstract description 11
- 230000006835 compression Effects 0.000 claims abstract description 6
- 238000007906 compression Methods 0.000 claims abstract description 6
- 238000003780 insertion Methods 0.000 claims abstract description 6
- 230000037431 insertion Effects 0.000 claims abstract description 6
- 238000012545 processing Methods 0.000 claims description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 4
- 230000003321 amplification Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 4
- 101100379081 Emericella variicolor andC gene Proteins 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 2
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像重建领域,特别是涉及一种基于特征通道自适应加权的超分辨图像重建方法。一种基于特征通道自适应加权的超分辨图像重建方法,包括以下步骤:(1)改进压缩激励网络SE的激励函数,得到ISE模块;(2)简化现有的EDSR网络;(3)将ISE模型嵌入到简化的EDSR网络,得到ISE‑EDSR模型;(4)用训练样本训练ISE‑EDSR模型。本发明的优点有:训练难度低;自适应学习特征通道权重;避免网络中间层输出值过低的问题;超分辨率重建后的图像峰值信噪比高。
Description
技术领域
本发明属于图像重建领域,特别是涉及一种基于特征通道自适应加权的超分辨图像重建方法。
背景技术
超分辨率图像重建是指使用信号处理或者图像处理算法,将低分辨率图像转变成高分辨率图像的技术。更具体地说,是把单幅或者多幅混淆、退化的低分辨率图像恢复为高分辨率图像的技术。根据所用低分辨率图像的数量,可以将超分辨图像重建技术分为基于单幅图像的和基于多幅图像的重建方法。其中,单幅图像的超分辨率重建技术广泛应用于医学图像处理、视频监控、刑侦分析、图像打印、卫星成像等计算机视觉领域。
近年来,基于卷积神经网络CNN的超分辨率图像重建技术方兴未艾。主要的网络模型包括密集残差网络和强化的针对单一图像超分辨率的深度残差网络EDSR。这些网络模型同等对待各特征通道,从而影响了重构的图像质量。现有的研究表明:区别对待各特征通道,有助于提高图像重建的精度。
为了从单幅低分辨率图像更加准确地重建出超分辨率图像,本发明将改进的压缩激励网络ISE嵌入简化的EDSR模型,提出一种新的超分辨率图像重建方法。该方法能够差别对待的各个深度特征通道,提高图像的重建精度。
发明内容
本发明的目的在于提出一种基于特征通道自适应加权的超分辨图像重建方法。
本发明的目的是这样实现的:
一种基于特征通道自适应加权的超分辨图像重建方法,包括以下步骤:
(1)改进压缩激励网络SE的激励函数,得到ISE模块;
(2)简化现有的EDSR网络;
(3)将ISE模型嵌入到简化的EDSR网络,得到ISE-EDSR模型;
(4)用训练样本训练ISE-EDSR模型。
所述的改进压缩激励网络SE的激励函数是在原始SE网络的基础上,利用下式将输入层和输出层进行残差连接,实现网络通道权重自适应学习;
E(y)=(σ(W2δ(W1y))×0.8+σ(y)×0.2)×2
其中,y为SE网络的输入向量,E(y)为网络的通道权重,σ和δ分别表示Sigmoid函数和ReLU函数,W1和W2是单隐层神经网络的权值且C为通道个数。
所述的简化现有的EDSR网络主要是减少EDSR网络的残差块个数和卷积核数量。
所述的将ISE模型嵌入到简化的EDSR网络,得到ISE-EDSR模型具体为:在浅层提取块、残差深层提取块和放大块的每个卷积层后嵌入ISE模块,得到基于通道自适应加权的超分辨图像重建模型。
所述的用训练样本训练ISE-EDSR模型具体为:使用DIV2K数据集对模型进行训练,对训练图像进行90度、180度、270度旋转、水平翻转和0均值处理,将增强后的训练图像4倍下采样后,与原始高分辨率图像一起构成训练样本对集合,通过训练得到最终的超分辨图像重建网络模型。
本发明的有益效果在于:
1)训练难度低;
2)自适应学习特征通道权重;
3)避免网络中间层输出值过低的问题;
4)超分辨率重建后的图像峰值信噪比高。
附图说明
图1为本发明ISE模块结构;
图2(a)为基于特征通道自适应加权的超分辨图像重建模型,图2(b)为残差块网络结构,图2(c)为放大块网络结构。
具体实施方式
下面结合附图对本发明进一步详细说明。
本发明所提出的超分辨图像重建技术的具体实现步骤如下:
步骤1,改进现有的SE结构,得到ISE模块。
如图1所示,在原始SE网络的基础上,利用下式将输入层和输出层进行残差连接,实现网络通道权重自适应学习。
E(y)=(σ(W2δ(W1y))×0.8+σ(y)×0.2)×2
其中,y为SE网络的输入向量,E(y)为网络的通道权重,σ和δ分别表示Sigmoid函数和ReLU函数,W1和W2是单隐层神经网络的权值且C为通道个数。
步骤2,简化EDSR网络。
简化的EDSR网络模型相对轻量,简化结构如表1所示,其他网络参数与原EDSR网络模型一致。
表1 简化EDSR网络模型结构差异对比
步骤3,将ISE模块嵌入到简化的EDSR网络。
如图2(a)所示,在浅层提取块、残差深层提取块和放大块的每个卷积层后嵌入ISE模块,得到基于通道自适应加权的超分辨图像重建模型。其中,残差块和放大块网络结构分别如图2(b)和图2(c)所示。
步骤4,训练本发明提出的基于特征通道自适应加权的超分辨图像重建模型。
使用DIV2K数据集对模型进行训练,对训练图像进行90度、180度、270度旋转、水平翻转和0均值处理。将增强后的训练图像4倍下采样后,与原始高分辨率图像一起构成训练样本对集合,通过训练得到最终的超分辨图像重建网络模型。
将Set5、Set14、BSD100和Urban100作为测试集测试本发明所提出的超分辨率重建模型。实验结果如表2所示。由此可见:本发明提出的方法可以提高网络的峰值信噪比,从而能够提高超分辨图像重构的精度。
表2 实验结果
Claims (5)
1.一种基于特征通道自适应加权的超分辨图像重建方法,其特征在于,包括以下步骤:
(1)改进压缩激励网络SE的激励函数,得到ISE模块;
(2)简化现有的EDSR网络;
(3)将ISE模型嵌入到简化的EDSR网络,得到ISE-EDSR模型;
(4)用训练样本训练ISE-EDSR模型。
2.根据权利要求1所述的一种基于特征通道自适应加权的超分辨图像重建方法,其特征在于:所述的改进压缩激励网络SE的激励函数是在原始SE网络的基础上,利用下式将输入层和输出层进行残差连接,实现网络通道权重自适应学习;
E(y)=(σ(W2δ(W1y))×0.8+σ(y)×0.2)×2
其中,y为SE网络的输入向量,E(y)为网络的通道权重,σ和δ分别表示Sigmoid函数和ReLU函数,w1和w2是单隐层神经网络的权值且C为通道个数。
3.根据权利要求1所述的一种基于特征通道自适应加权的超分辨图像重建方法,其特征在于:所述的简化现有的EDSR网络主要是减少EDSR网络的残差块个数和卷积核数量。
4.根据权利要求1所述的一种基于特征通道自适应加权的超分辨图像重建方法,其特征在于:将ISE模型嵌入到简化的EDSR网络,得到ISE-EDSR模型具体为:在浅层提取块、残差深层提取块和放大块的每个卷积层后嵌入ISE模块,得到基于通道自适应加权的超分辨图像重建模型。
5.根据权利要求1所述的一种基于特征通道自适应加权的超分辨图像重建方法,其特征在于,所述的用训练样本训练ISE-EDSR模型具体为:使用DIV2K数据集对模型进行训练,对训练图像进行90度、180度、270度旋转、水平翻转和0均值处理,将增强后的训练图像4倍下采样后,与原始高分辨率图像一起构成训练样本对集合,通过训练得到最终的超分辨图像重建网络模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910378335.XA CN110111257B (zh) | 2019-05-08 | 2019-05-08 | 一种基于特征通道自适应加权的超分辨图像重建方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910378335.XA CN110111257B (zh) | 2019-05-08 | 2019-05-08 | 一种基于特征通道自适应加权的超分辨图像重建方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110111257A true CN110111257A (zh) | 2019-08-09 |
CN110111257B CN110111257B (zh) | 2023-01-03 |
Family
ID=67488663
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910378335.XA Active CN110111257B (zh) | 2019-05-08 | 2019-05-08 | 一种基于特征通道自适应加权的超分辨图像重建方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110111257B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111127320A (zh) * | 2019-12-23 | 2020-05-08 | 哈尔滨工业大学(威海) | 基于深度学习的光声图像超分辨重建方法及装置 |
CN111932462A (zh) * | 2020-08-18 | 2020-11-13 | Oppo(重庆)智能科技有限公司 | 图像降质模型的训练方法、装置和电子设备、存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07212368A (ja) * | 1994-01-25 | 1995-08-11 | Matsushita Electric Ind Co Ltd | アクセス制御方式 |
CN101325556A (zh) * | 2008-06-23 | 2008-12-17 | 南京大学 | 一种无线网络中基于网络编码的多路径路由方法 |
WO2009062138A1 (en) * | 2007-11-08 | 2009-05-14 | Virginia Tech Intellectual Properties, Inc. | Thiolated paclitaxels for reaction with gold nanoparticles as drug delivery agents |
CN108647775A (zh) * | 2018-04-25 | 2018-10-12 | 陕西师范大学 | 基于全卷积神经网络单张图像的超分辨率图像重建方法 |
CN108734660A (zh) * | 2018-05-25 | 2018-11-02 | 上海通途半导体科技有限公司 | 一种基于深度学习的图像超分辨率重建方法及装置 |
CN108830813A (zh) * | 2018-06-12 | 2018-11-16 | 福建帝视信息科技有限公司 | 一种基于知识蒸馏的图像超分辨率增强方法 |
CN109118432A (zh) * | 2018-09-26 | 2019-01-01 | 福建帝视信息科技有限公司 | 一种基于快速循环卷积网络的图像超分辨率重建方法 |
CN109146784A (zh) * | 2018-07-27 | 2019-01-04 | 徐州工程学院 | 一种基于多尺度生成对抗网络的图像超分辨率重建方法 |
CN109191378A (zh) * | 2018-07-25 | 2019-01-11 | 成都信息工程大学 | 基于ergan网络单幅图像超分辨重建方法 |
CN109522855A (zh) * | 2018-11-23 | 2019-03-26 | 广州广电银通金融电子科技有限公司 | 结合ResNet和SENet的低分辨率行人检测方法、系统及存储介质 |
-
2019
- 2019-05-08 CN CN201910378335.XA patent/CN110111257B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07212368A (ja) * | 1994-01-25 | 1995-08-11 | Matsushita Electric Ind Co Ltd | アクセス制御方式 |
WO2009062138A1 (en) * | 2007-11-08 | 2009-05-14 | Virginia Tech Intellectual Properties, Inc. | Thiolated paclitaxels for reaction with gold nanoparticles as drug delivery agents |
CN101325556A (zh) * | 2008-06-23 | 2008-12-17 | 南京大学 | 一种无线网络中基于网络编码的多路径路由方法 |
CN108647775A (zh) * | 2018-04-25 | 2018-10-12 | 陕西师范大学 | 基于全卷积神经网络单张图像的超分辨率图像重建方法 |
CN108734660A (zh) * | 2018-05-25 | 2018-11-02 | 上海通途半导体科技有限公司 | 一种基于深度学习的图像超分辨率重建方法及装置 |
CN108830813A (zh) * | 2018-06-12 | 2018-11-16 | 福建帝视信息科技有限公司 | 一种基于知识蒸馏的图像超分辨率增强方法 |
CN109191378A (zh) * | 2018-07-25 | 2019-01-11 | 成都信息工程大学 | 基于ergan网络单幅图像超分辨重建方法 |
CN109146784A (zh) * | 2018-07-27 | 2019-01-04 | 徐州工程学院 | 一种基于多尺度生成对抗网络的图像超分辨率重建方法 |
CN109118432A (zh) * | 2018-09-26 | 2019-01-01 | 福建帝视信息科技有限公司 | 一种基于快速循环卷积网络的图像超分辨率重建方法 |
CN109522855A (zh) * | 2018-11-23 | 2019-03-26 | 广州广电银通金融电子科技有限公司 | 结合ResNet和SENet的低分辨率行人检测方法、系统及存储介质 |
Non-Patent Citations (3)
Title |
---|
BEE LIM等: ""Enhanced Deep Residual Networks for Single Image Super-Resolution"", 《 2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW)》 * |
JIE HU等: ""Squeeze-and-Excitation Networks"", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE ( VOLUME: 42, ISSUE: 8, AUG. 1 2020)》 * |
高飞等: "基于深度学习的超分辨率重建算法改进", 《电子设计工程》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111127320A (zh) * | 2019-12-23 | 2020-05-08 | 哈尔滨工业大学(威海) | 基于深度学习的光声图像超分辨重建方法及装置 |
CN111127320B (zh) * | 2019-12-23 | 2023-08-04 | 哈尔滨工业大学(威海) | 基于深度学习的光声图像超分辨重建方法及装置 |
CN111932462A (zh) * | 2020-08-18 | 2020-11-13 | Oppo(重庆)智能科技有限公司 | 图像降质模型的训练方法、装置和电子设备、存储介质 |
CN111932462B (zh) * | 2020-08-18 | 2023-01-03 | Oppo(重庆)智能科技有限公司 | 图像降质模型的训练方法、装置和电子设备、存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110111257B (zh) | 2023-01-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113362223B (zh) | 基于注意力机制和双通道网络的图像超分辨率重建方法 | |
CN111062872B (zh) | 一种基于边缘检测的图像超分辨率重建方法及系统 | |
CN111583109B (zh) | 基于生成对抗网络的图像超分辨率方法 | |
CN110033410B (zh) | 图像重建模型训练方法、图像超分辨率重建方法及装置 | |
CN109886870B (zh) | 基于双通道神经网络的遥感图像融合方法 | |
CN111127374B (zh) | 一种基于多尺度密集网络的Pan-sharpening方法 | |
CN111612790B (zh) | 一种基于t型注意力结构的医学图像分割方法 | |
CN103208102B (zh) | 一种基于稀疏表示的遥感图像融合方法 | |
CN112001847A (zh) | 相对生成对抗超分辨率重建模型生成高质量图像的方法 | |
CN106204489B (zh) | 结合深度学习与梯度转换的单幅图像超分辨率重建方法 | |
CN110443768B (zh) | 基于多重一致性约束的单帧图像超分辨率重建方法 | |
CN110119780A (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
CN110415172B (zh) | 一种面向混合分辨率码流中人脸区域的超分辨率重建方法 | |
CN108830813A (zh) | 一种基于知识蒸馏的图像超分辨率增强方法 | |
CN113379601B (zh) | 基于降质变分自编码器的真实世界图像超分辨方法及系统 | |
CN107240066A (zh) | 基于浅层和深层卷积神经网络的图像超分辨率重建算法 | |
CN111080567A (zh) | 基于多尺度动态卷积神经网络的遥感图像融合方法及系统 | |
CN110473142B (zh) | 基于深度学习的单幅图像超分辨率重建方法 | |
CN109118432A (zh) | 一种基于快速循环卷积网络的图像超分辨率重建方法 | |
Xiao et al. | A dual-UNet with multistage details injection for hyperspectral image fusion | |
CN111951164B (zh) | 一种图像超分辨率重建网络结构及图像重建效果分析方法 | |
CN112949636B (zh) | 一种车牌超分辨率识别方法、系统及计算机可读介质 | |
CN112699844B (zh) | 一种基于多尺度残差层级密连接网络的图像超分辨率方法 | |
CN112288626B (zh) | 一种基于双路径深度融合的人脸幻构方法及系统 | |
CN110136060A (zh) | 基于浅层密集连接网络的图像超分辨率重建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |