CN111507899A - 融合弱纹理信息的子母神经网络图像超分辨率重建方法 - Google Patents
融合弱纹理信息的子母神经网络图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN111507899A CN111507899A CN202010222700.0A CN202010222700A CN111507899A CN 111507899 A CN111507899 A CN 111507899A CN 202010222700 A CN202010222700 A CN 202010222700A CN 111507899 A CN111507899 A CN 111507899A
- Authority
- CN
- China
- Prior art keywords
- model
- image
- resolution
- network
- weak
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 52
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000005520 cutting process Methods 0.000 claims description 10
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 6
- 125000004122 cyclic group Chemical group 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 5
- 230000001902 propagating effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 101100365548 Caenorhabditis elegans set-14 gene Proteins 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种融合弱纹理信息的子母神经网络图像超分辨率重建方法，首先为了弥补普通超分辨率重建后的图像与高分辨率清晰图像之间的差异，使两者像素值相减，得到网络训练不到的弱纹理信息，并以能够得到弱纹理信息为目标，采用Sobel算子增强这些弱纹理信息，进一步训练一种弱纹理预测模型；得到单通道的弱纹理图像后，与低分辨率图像合并维度，形成多维低分辨率图像，从而更好地完成融合弱纹理信息的超分模型的训练，得到效果更好的高分辨率图像，对于一些具有弱纹理信息的图片，可以保证其细小纹理的清晰度，达到更好的超分辨率重建的效果。
Description
技术领域
本发明涉及一种图像超分辨率重建方法，尤其是一种融合弱纹理信息的子母神经网络图像超分辨率重建方法。
背景技术
近年来，随着摄像机、相机、手机摄像等各类视觉采集设备的普及，各种类型图像进入到人们的生产与生活中。然后，由于采集环境、传输带宽等限制，采集到的部分图像并不足够清晰，给人们的观赏以及视觉分析任务带来了不便。为此，研究人们提出了两大类解决方案，一类是提高摄像头的清晰度、设备的存储空间及带宽等硬件环境，但是需要时间与大量的资金；另一种是利用超分辨率重建方法，在现有的低质量图像上进行计算，模拟出高质量的图像。因无需更新现有硬件设备，且除了军事、医疗诊断等特定领域外，亦能够接受模拟的清晰，也能够应用于视觉分析任务当中，性价比较高。
随着深度学习技术在图像处理领域的不断发展，深度学习、神经网络在图像超分辨率重建任务上发挥了重要的作用。基于深度学习的超分辨率重建方法是采用端到端的神经网络训练完成的，在进行超分辨率重建上对比传统算法有了很大的提高，但是网络学习的能力有限，无法恢复图像的所有细节，尤其是恢复弱纹理信息的能力尚有待提高。
发明内容
本发明是为了解决现有技术所存在的上述技术问题，提供一种融合弱纹理信息的子母神经网络图像超分辨率重建方法。
本发明的技术解决方案是：一种融合弱纹理信息的子母神经网络图像超分辨率重建方法，按照如下步骤进行：
01部分，使用DIV2K数据集900张自然图像，训练RCAN网络，得到弱纹理信息数据集，具体步骤如下：
步骤 C011：将DIV2K数据集900张图像裁剪为缩小2倍的低分辨率数据集，记为LR_x2；所述DIV2K数据集记为HR；
步骤 C012：将LR_x2和HR中对应的600对自然图像作为训练集，300对自然图像作为验证集，训练RCAN网络，所述RCAN网络结构中采用了2个残差组，2个残差块，经过200次迭代更新后得到模型RCAN_model.pt文件，保存验证集的300张超分辨率重建之后的图像，记为SR_x2；
步骤C013：将HR和SR_x2中相对应的300张图像像素值对应相减，得到图像之间的差分图，记作Diff_x2数据集，再将Diff_x2数据集通过Sobel算子增强边缘，得到单通道的弱纹理信息图，记为Diff_edge_x2数据集；将SR_x2数据集通过Sobel算子增强边缘，得到单通道的边缘图记为SR_edge_x2数据集；
02部分，训练子网络-弱纹理预测模型，为母网络-融合弱纹理信息的超分模型提供数据，具体步骤如下：
步骤C021：将SR_edge_x2数据集中的300张边缘图像切块并输进子网络，块的大小为48*48像素，所切的块记为SRx2_edge_Pi，
；
步骤C022：开始训练
，M=16000对应的线性关系模型，记为SubNet Model，约定变量epoch_edge为子网络循环训练的次数，初始为0；
步骤C023：子网络结构第一部分是一个卷积层，记为Conv_E1，其中包括64个3*3大小的滤波器；第二部分包含分别记为RG_ E 1、RG_ E 2的2个残差组和一个卷积层Conv_E2以及一个长跳跃连接，每一个残差组中包含2个带有通道注意机制的残差块和一个短跳连接；第三部分也是由一个卷积层组成，记为Conv_E3，其中包括1个3*3大小的滤波器；最终得到预测的弱纹理信息图像集，记为Weak_texture _x2；
步骤C024：通过L1 Loss计算方法求取Weak_texture_x2和Diff_edge_x2图像集相应的损失函数值，记为loss_edge，置epoch_edge=epoch_edge+1；当epoch_edge 达到150次，网络停止训练，保存训练模型SubNet_model.pt文件；否则将loss_edge值反向传播，通过ADAM优化算法重新更新参数，再一次进入步骤C022和C023，循环重复训练；
03部分，使用BSD500数据集的500张自然图像，利用子网络训练得到的弱纹理预测模型训练母网络，得到融合弱纹理信息的超分模型，具体步骤如下：
步骤 C031：将BSD500数据集的500张自然图像裁剪为缩小2倍的低分辨率数据集，记为LR_B500_x2，将BSD500数据集记为HR_B500；
步骤C032：将LR_B500_x2数据集中的低分辨率图像切块，块的大小为48*48像素，所切的块记为LR_B500x2_Pi，
；
步骤C033：构建两个新的模型，结构分别与RCAN网络和子网络结构一致，分别记为RCAN_Model和SubNet _Model*，将RCAN_model.pt模型和SubNet_model.pt模型分别导入RCAN_Model和SubNet _Model*中，并且固定这两个模型的参数不再更新；
步骤C034：开始训练母网络
，M=16000对应的线性关系模型，即融合弱纹理信息的超分模型，记为WeakT_Model，约定变量epoch为双残差网络循环训练的次数，初始化为0；
步骤C0341：将低分辨率图像块LR_B500x2_Pi输入待训练的母网络；
步骤C0342：首先进入RCAN_Model模型，得到较清晰的高分辨率图像块，记为SR1_x2_Pi, 将SR1_x2_Pi通过Sobel算子增强边缘，得到单通道的弱纹理信息图像块，记为SR1_edge_x2_Pi；将SR1_edge_x2_Pi进入SubNet _Model*模型，得到弱纹理信息图像块，记为SR1_ Weak_texture _x2_Pi；将SR1_ Weak_texture _x2_Pi缩小为原来的2倍后与3通道低分辨率图像块LR_B500x2_Pi融合，形成四通道图像块，记为LR4C_x2_ Pi;
步骤C0343：将融合弱纹理信息的低分辨率的四通道图像块LR4C_x2_ Pi输入WeakT_Model模型中；
步骤C0344：首先进入弱纹理特征提取层，记为Weak_texture1层；Weak_texture1层由一个卷积层Conv_W1组成，其中包括64个3*3大小的滤波器；其次，进入深层弱纹理特征提取层，记为Deep_Weak_texture2层；Deep_Weak_texture2层中包含分别记为RG_W1，RG_W2的2个残差组和一个卷积层Conv_W2以及一个长跳跃连接；每一个残差组中包含2个带有通道注意机制的残差块和一个短跳连接；最后，进入弱纹理重构层，记为Weak_texture3层；Weak_texture3层由一个上采样层Upsample和卷积层Conv_W3组成，其中包括3个3*3大小的滤波器；最终得到高分辨率的3通道图像集，记为SR3C_x2；
步骤C035：通过L1 Loss计算方法求取SR3C_x2和HR_B500图像集相应的损失函数值，记为loss，置epoch =epoch +1；当epoch 达到200次后，网络停止训练，保存训练模型WeakT_model.pt文件；否则将loss值反向传播，通过ADAM优化算法重新更新参数，再一次进入步骤C033，循环重复训练；
04部分，将030部分中得到的超分模型网络模型WeakT_model.pt文件导入到测试代码中，将弱纹理低分辨率图像输入训练好的融合弱纹理信息的超分模型中，得到清晰图像并保存结果。
本发明为了弥补普通超分辨率重建后的图像与高分辨率清晰图像之间的差异，使两者像素值相减，得到网络训练不到的弱纹理信息，并且以能够得到弱纹理信息为目标，采用Sobel算子增强这些弱纹理信息，进一步训练一种弱纹理预测模型（子网络）；得到单通道的弱纹理图像后，与低分辨率3通道图像合并维度，形成4维低分辨率图像，从而更好地完成融合弱纹理信息的超分模型（母网络）的训练，得到效果更好的高分辨率3通道图像。尤其是对于一些具有弱纹理信息的图片，可以保证其细小纹理的清晰度，达到更好的超分辨率重建的效果。
附图说明
图1 是本发明实施例RCAN网络架构图。
图2 是本发明实施例子网络（弱纹理预测模型）架构图。
图3 是本发明实施例母网络（融合弱纹理信息的超分模型）架构图。
具体实施方式
本发明的一种融合弱纹理信息的子母神经网络图像超分辨率重建方法，按照如下步骤进行：
01部分，如图1所示：使用DIV2K数据集900张自然图像，训练RCAN网络，得到弱纹理信息数据集，为训练子母网络做准备，具体步骤如下：
步骤 C011：将DIV2K数据集900张图像裁剪为缩小2倍的低分辨率数据集，记为LR_x2；所述DIV2K数据集记为HR；
步骤 C012：将LR_x2和HR中对应的600对自然图像作为训练集，300对自然图像作为验证集，训练RCAN网络，所述RCAN网络结构中采用了2个残差组，2个残差块，其它结构均与现有RCAN网络结构相同，经过200次迭代更新后得到模型RCAN_model.pt文件，保存验证集的300张超分辨率重建之后的图像，记为SR_x2；
步骤C013：将HR和SR_x2中相对应的300张图像像素值对应相减，得到图像之间的差分图，记作Diff_x2数据集，再将Diff_x2数据集通过Sobel算子增强边缘，得到单通道的弱纹理信息图，记为Diff_edge_x2数据集；将SR_x2数据集通过Sobel算子增强边缘，得到单通道的边缘图记为SR_edge_x2数据集；
02部分，如图2所示：训练子网络-弱纹理预测模型，为母网络-融合弱纹理信息的超分模型提供数据，具体步骤如下：
步骤C021：将SR_edge_x2数据集中的300张边缘图像切块并输进子网络，块的大小为48*48像素，所切的块记为SRx2_edge_Pi，
；
步骤C022：开始训练
，M=16000对应的线性关系模型，记为SubNet Model，约定变量epoch_edge为子网络循环训练的次数，初始为0；
步骤C023：子网络结构第一部分是一个卷积层，记为Conv_E1，其中包括64个3*3大小的滤波器；第二部分包含分别记为RG_ E 1、RG_ E 2的2个残差组和一个卷积层Conv_E2以及一个长跳跃连接，每一个残差组中包含2个带有通道注意机制的残差块和一个短跳连接；第三部分也是由一个卷积层组成，记为Conv_E3，其中包括1个3*3大小的滤波器；最终得到预测的弱纹理信息图像集，记为Weak_texture _x2；
步骤C024：通过L1 Loss计算方法求取Weak_texture_x2和Diff_edge_x2图像集相应的损失函数值，记为loss_edge，置epoch_edge=epoch_edge+1；当epoch_edge 达到150次后，loss_edge接近收敛，网络停止训练，保存训练模型SubNet_model.pt文件；否则将loss_edge值反向传播，通过ADAM优化算法重新更新参数，再一次进入步骤C022和C023，循环重复训练；
03部分，如图3所示：使用BSD500数据集的500张自然图像，利用子网络训练得到的弱纹理预测模型训练母网络，得到融合弱纹理信息的超分模型，具体步骤如下：
步骤 C031：将BSD500数据集的500张自然图像裁剪为缩小2倍的低分辨率数据集，记为LR_B500_x2，将BSD500数据集记为HR_B500；
步骤C032：将LR_B500_x2数据集中的低分辨率图像切块，块的大小为48*48像素，所切的块分别记为LR_B500x2_Pi，
；
步骤C033：在训练母网络之前，构建两个新的模型，结构分别与RCAN网络和子网络结构一致，分别记为RCAN_Model和SubNet _Model*，将RCAN_model.pt模型和SubNet_model.pt模型分别导入RCAN_Model和SubNet _Model*中，并且固定这两个模型的参数不再更新；
步骤C034：开始训练母网络
，M=16000对应的线性关系模型，即融合弱纹理信息的超分模型，记为WeakT_Model，约定变量epoch为双残差网络循环训练的次数，初始化为0；
步骤C0341：将低分辨率图像块LR_B500x2_Pi输入待训练的母网络；
步骤C0342：首先进入RCAN_Model模型，得到较清晰的高分辨率图像块，记为SR1_x2_Pi, 将SR1_x2_Pi通过Sobel算子增强边缘，得到单通道的弱纹理信息图像块，记为SR1_edge_x2_Pi；将SR1_edge_x2_Pi进入SubNet _Model*模型，得到弱纹理信息图像块，记为SR1_ Weak_texture _x2_Pi；将SR1_ Weak_texture _x2_Pi缩小为原来的2倍后与3通道低分辨率图像块LR_B500x2_Pi融合，形成四通道图像块，记为LR4C_x2_ Pi;
步骤C0343：将融合弱纹理信息的低分辨率的四通道图像块LR4C_x2_ Pi输入WeakT_Model模型中；
步骤C0344：首先进入弱纹理特征提取层，记为Weak_texture1层；Weak_texture1层由一个卷积层Conv_W1组成，其中包括64个3*3大小的滤波器；其次，进入深层弱纹理特征提取层，记为Deep_Weak_texture2层；Deep_Weak_texture2层中包含分别记为RG_W1，RG_W2的2个残差组和一个卷积层Conv_W2以及一个长跳跃连接；每一个残差组中包含2个带有通道注意机制的残差块和一个短跳连接；最后，进入弱纹理重构层，记为Weak_texture3层；Weak_texture3层由一个上采样层Upsample和卷积层Conv_W3组成，其中包括3个3*3大小的滤波器；最终得到高分辨率的3通道图像集，记为SR3C_x2；
步骤C035：通过L1 Loss计算方法求取SR3C_x2和HR_B500图像集相应的损失函数值，记为loss，置epoch =epoch +1；当epoch 达到200次后，网络停止训练，保存训练模型WeakT_model.pt文件；否则将loss值反向传播，通过ADAM优化算法重新更新参数，再一次进入步骤C033，循环重复训练；
04部分，将030部分中得到的超分模型网络模型WeakT_model.pt文件导入到测试代码中，将set5，set14和Urban100测试集分别裁剪为缩小2倍的低分辨率图像输入训练好的融合弱纹理信息的超分模型中进行测试，并保存结果。
本发明实施例所得清晰图像峰值信噪比（PSNR）和结构相似性（SSIM）与现有技术算法对照如下表。
在以上对比算法中，其他算法都是论文中测试的数据。
Claims (1)
1.一种融合弱纹理信息的子母神经网络图像超分辨率重建方法，其特征在
于按照如下步骤进行：
01部分，使用DIV2K数据集900张自然图像，训练RCAN网络，得到弱纹理信息数据集，具体步骤如下：
步骤 C011：将DIV2K数据集900张图像裁剪为缩小2倍的低分辨率数据集，记为LR_x2；所述DIV2K数据集记为HR；
步骤 C012：将LR_x2和HR中对应的600对自然图像作为训练集，300对自然图像作为验证集，训练RCAN网络，所述RCAN网络结构采用了2个残差组，2个残差块，经过200次迭代更新后得到模型RCAN_model.pt文件，保存验证集的300张超分辨率重建之后的图像，记为SR_x2；
步骤C013：将HR和SR_x2中相对应的300张图像像素值对应相减，得到图像之间的差分图，记作Diff_x2数据集，再将Diff_x2数据集通过Sobel算子增强边缘，得到单通道的弱纹理信息图，记为Diff_edge_x2数据集；将SR_x2数据集通过Sobel算子增强边缘，得到单通道的边缘图记为SR_edge_x2数据集；
02部分，训练子网络-弱纹理预测模型，为母网络-融合弱纹理信息的超分模型提供数据，具体步骤如下：
步骤C021：将SR_edge_x2数据集中的300张边缘图像切块并输进子网络，块的大小为48*48像素，所切的块记为SRx2_edge_Pi，
；
步骤C022：开始训练
，M=16000对应的线性关系模型，记为SubNet Model，约定变量epoch_edge为子网络循环训练的次数，初始为0；
步骤C023：子网络结构第一部分是一个卷积层，记为Conv_E1，其中包括64个3*3大小的滤波器；第二部分包含分别记为RG_ E 1、RG_ E 2的2个残差组和一个卷积层Conv_E2以及一个长跳跃连接，每一个残差组中包含2个带有通道注意机制的残差块和一个短跳连接；第三部分也是由一个卷积层组成，记为Conv_E3，其中包括1个3*3大小的滤波器；最终得到预测的弱纹理信息图像集，记为Weak_texture _x2；
步骤C024：通过L1 Loss计算方法求取Weak_texture_x2和Diff_edge_x2图像集相应的损失函数值，记为loss_edge，置epoch_edge=epoch_edge+1；当epoch_edge 达到150次，网络停止训练，保存训练模型SubNet_model.pt文件；否则将loss_edge值反向传播，通过ADAM优化算法重新更新参数，再一次进入步骤C022和C023，循环重复训练；
03部分，使用BSD500数据集的500张自然图像，利用子网络训练得到的弱纹理预测模型训练母网络，得到融合弱纹理信息的超分模型，具体步骤如下：
步骤 C031：将BSD500数据集的500张自然图像裁剪为缩小2倍的低分辨率数据集，记为LR_B500_x2，将BSD500数据集记为HR_B500；
步骤C032：将LR_B500_x2数据集中的低分辨率图像切块，块的大小为48*48像素，所切的块分别记为LR_B500x2_Pi，
；
步骤C033：构建两个新的模型，结构分别与RCAN网络和子网络结构一致，分别记为RCAN_Model和SubNet _Model*，将RCAN_model.pt模型和SubNet_model.pt模型分别导入RCAN_Model和SubNet _Model*中，并且固定这两个模型的参数不再更新；
步骤C034：开始训练母网络
，M=16000对应的线性关系模型，即融合弱纹理信息的超分模型，记为WeakT_Model，约定变量epoch为双残差网络循环训练的次数，初始化为0；
步骤C0341：将低分辨率图像块LR_B500x2_Pi输入待训练的母网络；
步骤C0342：首先进入RCAN_Model模型，得到较清晰的高分辨率图像块，记为SR1_x2_Pi,将SR1_x2_Pi通过Sobel算子增强边缘，得到单通道的弱纹理信息图像块，记为SR1_edge_x2_Pi；将SR1_edge_x2_Pi进入SubNet _Model*模型，得到弱纹理信息图像块，记为SR1_Weak_texture _x2_Pi；将SR1_ Weak_texture _x2_Pi缩小为原来的2倍后与3通道低分辨率图像块LR_B500x2_Pi融合，形成四通道图像块，记为LR4C_x2_ Pi;
步骤C0343：将融合弱纹理信息的低分辨率的四通道图像块LR4C_x2_ Pi输入WeakT_Model模型中；
步骤C0344：首先进入弱纹理特征提取层，记为Weak_texture1层；Weak_texture1层由一个卷积层Conv_W1组成，其中包括64个3*3大小的滤波器；其次，进入深层弱纹理特征提取层，记为Deep_Weak_texture2层；Deep_Weak_texture2层中包含分别记为RG_W1，RG_W2的2个残差组和一个卷积层Conv_W2以及一个长跳跃连接；每一个残差组中包含2个带有通道注意机制的残差块和一个短跳连接；最后，进入弱纹理重构层，记为Weak_texture3层；Weak_texture3层由一个上采样层Upsample和卷积层Conv_W3组成，其中包括3个3*3大小的滤波器；最终得到高分辨率的3通道图像集，记为SR3C_x2；
步骤C035：通过L1 Loss计算方法求取SR3C_x2和HR_B500图像集相应的损失函数值，记为loss，置epoch =epoch +1；当epoch 达到200次后，网络停止训练，保存训练模型WeakT_model.pt文件；否则将loss值反向传播，通过ADAM优化算法重新更新参数，再一次进入步骤C033，循环重复训练；
04部分，将030部分中得到的超分模型网络模型WeakT_model.pt文件导入到测试代码中，将弱纹理低分辨率图像输入训练好的融合弱纹理信息的超分模型中，得到清晰图像并保存结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010222700.0A CN111507899B (zh) | 2020-03-26 | 2020-03-26 | 融合弱纹理信息的子母神经网络图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010222700.0A CN111507899B (zh) | 2020-03-26 | 2020-03-26 | 融合弱纹理信息的子母神经网络图像超分辨率重建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111507899A true CN111507899A (zh) | 2020-08-07 |
| CN111507899B CN111507899B (zh) | 2023-07-11 |
Family
ID=71864686
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010222700.0A Active CN111507899B (zh) | 2020-03-26 | 2020-03-26 | 融合弱纹理信息的子母神经网络图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111507899B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015180053A1 (zh) * | 2014-05-28 | 2015-12-03 | 北京大学深圳研究生院 | 一种快速超分辨率图像重建方法和装置 |
| RU2652722C1 (ru) * | 2017-05-03 | 2018-04-28 | Самсунг Электроникс Ко., Лтд. | Обработка данных для сверхразрешения |
| CN108765291A (zh) * | 2018-05-29 | 2018-11-06 | 天津大学 | 基于稠密神经网络和双参数损失函数的超分辨率重建方法 |
| CN109767386A (zh) * | 2018-12-22 | 2019-05-17 | 昆明理工大学 | 一种基于深度学习的快速图像超分辨率重建方法 |
-
2020
- 2020-03-26 CN CN202010222700.0A patent/CN111507899B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015180053A1 (zh) * | 2014-05-28 | 2015-12-03 | 北京大学深圳研究生院 | 一种快速超分辨率图像重建方法和装置 |
| RU2652722C1 (ru) * | 2017-05-03 | 2018-04-28 | Самсунг Электроникс Ко., Лтд. | Обработка данных для сверхразрешения |
| CN108765291A (zh) * | 2018-05-29 | 2018-11-06 | 天津大学 | 基于稠密神经网络和双参数损失函数的超分辨率重建方法 |
| CN109767386A (zh) * | 2018-12-22 | 2019-05-17 | 昆明理工大学 | 一种基于深度学习的快速图像超分辨率重建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111507899B (zh) | 2023-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE112018005149T5 (de) | Punktwolkenkomprimierung | |
| CN111353948B (zh) | 一种图像降噪方法、装置及设备 | |
| CN109584170B (zh) | 基于卷积神经网络的水下图像复原方法 | |
| DE202016009102U1 (de) | Verbesserung visueller Daten mittels gestufter Faltungen | |
| DE112015007134T5 (de) | Verfahren und Gerät zur synchronen Bildanzeige | |
| CN109785252B (zh) | 基于多尺度残差密集网络夜间图像增强方法 | |
| CN103562958A (zh) | 尺度无关图 | |
| CN112419151A (zh) | 图像退化处理方法、装置、存储介质及电子设备 | |
| CN111985281A (zh) | 图像生成模型的生成方法、装置及图像生成方法、装置 | |
| CN103339921A (zh) | 恢复图像的颜色和非颜色相关的完整性的系统和方法 | |
| CN110610467A (zh) | 一种基于深度学习的多帧视频去压缩噪声方法 | |
| Fan et al. | Global sensing and measurements reuse for image compressed sensing | |
| CN112489103B (zh) | 一种高分辨率深度图获取方法及系统 | |
| Amaranageswarao et al. | Residual learning based densely connected deep dilated network for joint deblocking and super resolution | |
| CN109194942A (zh) | 一种裸眼3d视频播放方法、终端和服务器 | |
| CN109741253A (zh) | 无人机图传视频近景远景切换技术 | |
| WO2023231535A1 (zh) | 一种黑白图像引导的彩色raw图像联合去噪去马赛克方法 | |
| Simone et al. | Omnidirectional video communications: new challenges for the quality assessment community | |
| CN110383836A (zh) | 编码装置、编码方法、解码装置和解码方法 | |
| CN111507899A (zh) | 融合弱纹理信息的子母神经网络图像超分辨率重建方法 | |
| CN108596831B (zh) | 一种基于AdaBoost实例回归的超分辨率重建方法 | |
| Liang et al. | Multi-scale and multi-patch transformer for sandstorm image enhancement | |
| KR20210153229A (ko) | 고해상도 강도 이미지 생성 방법 및 장치 | |
| CN113837935A (zh) | 基于增强注意力网络的压缩图像超分辨率重建方法 | |
| CN115496819B (zh) | 一种基于能量集中特性的快速编码光谱成像方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231120 Address after: Room 2401, 2402, 2403, 2407, 24/F, Building B, No. 6, Yiyang Road, Qixianling, High-tech Industrial Park, Dalian, Liaoning, 116000 Patentee after: Dalian Houren Technology Co.,Ltd. Address before: No. 116500, Shahekou Road, Dalian City, Liaoning Province Patentee before: LIAONING NORMAL University |