CN114663307B - 基于不确定性网络的集成图像去噪系统 - Google Patents

基于不确定性网络的集成图像去噪系统 Download PDF

Info

Publication number
CN114663307B
CN114663307B CN202210283318.XA CN202210283318A CN114663307B CN 114663307 B CN114663307 B CN 114663307B CN 202210283318 A CN202210283318 A CN 202210283318A CN 114663307 B CN114663307 B CN 114663307B
Authority
CN
China
Prior art keywords
convolution
layer
dropout
denoising
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210283318.XA
Other languages
English (en)
Other versions
CN114663307A (zh
Inventor
张宏志
左旺孟
刘鹏举
王竞晖
汪彧之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202210283318.XA priority Critical patent/CN114663307B/zh
Publication of CN114663307A publication Critical patent/CN114663307A/zh
Application granted granted Critical
Publication of CN114663307B publication Critical patent/CN114663307B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

基于不确定性网络的集成图像去噪系统，属于图像复原技术领域。本发明针对现有图像去噪方法泛化性弱和不能直接利用已有去噪算法模型造成浪费的问题。包括C个训练好的已知去噪模型、不确定性得分估计网络、SoftMax权重计算器和求和单元；C个训练好的已知去噪模型用于分别对噪声图像进行去噪操作获得去噪后图像；不确定性得分估计网络用于分别对每一幅去噪后图像与噪声图像进行评估，获得C个不确定性方差分布图和C个去噪分数分布图；SoftMax权重计算器用于将C个去噪分数分布图逐像素转化为对应的预测权重分布图；求和单元用于将每一个预测权重分布图与对应去噪后图像相乘的结果进行相加，获得最终去噪图像。本发明实现了对不同去噪结果的逐像素融合。

Description

基于不确定性网络的集成图像去噪系统
技术领域
本发明涉及基于不确定性网络的集成图像去噪系统，属于图像复原技术领域。
背景技术
手机、照相机等移动拍照设备已经走进千家万户，成为人们生活中必不可少的一部分。然而受设备本身原因(如摄像头自身硬件参数、光圈设置大小等)和自然环境原因(低光照等)影响，采集的图像将不可避免的产生噪声；同时，受存储空间和网络带宽等限制，图像也会进行有损压缩等操作，这进一步引入了更多的噪声。
图像噪声严重影响了人们对美好生活的视觉感受，对目标跟踪、目标检测、行人识别、人脸识别等一系列人工智能应用也存在负面影响。因此，采用图像去噪算法提升图像画质作为不可或缺一项重要环节。当前，已经存在大量的已经训练好的去噪算法模型，这些模型往往过拟合于某个或者某些数据集，无法泛化到其他数据集或者图像采集设备。同时，为了适应特定数据集或者图像采集设备，研究者或研发人员会针对性地采集数据进行重新训练，浪费了已有的训练模型。
发明内容
针对现有图像去噪方法泛化性弱和不能直接利用已有去噪算法模型造成浪费的问题，本发明提供一种基于不确定性网络的集成图像去噪系统。
本发明的一种基于不确定性网络的集成图像去噪系统，包括C个训练好的已知去噪模型、不确定性得分估计网络、SoftMax权重计算器和求和单元；C为正整数；
C个训练好的已知去噪模型用于分别对噪声图像进行去噪操作获得去噪后图像；
不确定性得分估计网络用于分别对每一幅去噪后图像与噪声图像进行评估，获得C个不确定性方差分布图和C个去噪分数分布图；所述不确定性方差分布图用于实现所述训练好的已知去噪模型的再训练过程；
SoftMax权重计算器用于将C个去噪分数分布图逐像素转化为对应的预测权重分布图；
求和单元用于将每一个预测权重分布图与对应去噪后图像相乘的结果进行相加，获得最终去噪图像。
作为优选，所述不确定性得分估计网络包括编码器、池化下变换器、解码器和上变换器；
所述编码器与池化下变换器相互配合用于对每一对去噪后图像与噪声图像进行处理，获得编码特征；
解码器和上变换器相互配合用于对编码特征和跳跃式传递的编码器在编码过程中获得的部分卷积层输出特征进行处理，获得C个不确定性方差分布图和C个去噪分数分布图。
作为优选，所述编码器包含N个卷积层，N≥2；M个dropout层，M≥1；池化下变换器包括L个池化层，L≥2。
作为优选，设定噪声图像和去噪后图像的像素均为m×n；
N＝8，对应卷积层E1至E8；M＝8，对应dropout层M1至M8；L＝3，对应池化下变换操作L1至L3；
噪声图像和去噪后图像链接后获得链接后图像；
卷积层E1和dropout层M1以噪声图像为参考，依次对链接后图像进行编码第一卷积操作、编码第一激活操作和编码第一dropout操作；
卷积层E2和dropout层M2依次对dropout层M1的输出进行编码第二卷积操作、编码第二激活操作和编码第二dropout操作；
池化下变换操作L1对dropout层M2的输出进行第一次池化下采样操作；
卷积层E3和dropout层M3依次对第一次池化下采样操作的输出进行编码第三卷积操作、编码第三激活操作和编码第三dropout操作；
卷积层E4和dropout层M4依次对dropout层M3的输出进行编码第四卷积操作、编码第四激活操作和编码第四dropout操作；
池化下变换操作L2对dropout层M4的输出进行第二次池化下采样操作；
卷积层E5和dropout层M5依次对第二次池化下采样操作的输出进行编码第五卷积操作、编码第五激活操作和编码第五dropout操作；
卷积层E6和dropout层M6依次对dropout层M5的输出进行编码第六卷积操作、编码第六激活操作和编码第六dropout操作；
池化下变换操作L3对dropout层M6的输出进行第三次池化下采样操作；
卷积层E7和dropout层M7依次对第三次池化下采样操作的输出进行编码第七卷积操作、编码第七激活操作和编码第七dropout操作；
卷积层E8和dropout层M8依次对dropout层M7的输出进行编码第八卷积操作、编码第八激活操作和编码第八dropout操作，获得编码特征；
其中编码第一卷积操作为32个3×3×6、步长为1的卷积操作；
编码第二卷积操作为32个3×3×32、步长为1的卷积操作；
编码第一到第二卷积操作对象分辨率大小为m×n；
编码第三卷积操作为64个3×3×32、步长为1的卷积操作；
编码第四卷积操作为64个3×3×64、步长为1的卷积操作；
编码第三到第四卷积操作对象分辨率大小为m/2×n/2；
编码第五卷积操作为128个3×3×64、步长为1的卷积操作；
编码第六卷积操作为128个3×3×128、步长为1的卷积操作；
编码第五到第六卷积操作对象分辨率大小为m/4×n/4；
编码第七卷积操作为256个3×3×128、步长为1的卷积操作；
编码第八卷积操作为256个3×3×256、步长为1的卷积操作；
编码第七到第八卷积操作对象分辨率大小为m/8×n/8；
编码第一激活操作至第八激活操作均采用ReLU函数。
作为优选，解码器包含N+1个卷积层；上变换器包括P个上变换层，P≥2。
作为优选，解码器包括卷积层S1至S9，dropout层Q1至Q7；P＝3，对应上变换操作P1到P3；
卷积层S1和dropout层Q1依次对编码特征进行解码第一卷积操作、解码第一激活操作和解码第一dropout操作；
卷积层S2和dropout层Q2依次对dropout层Q1的输出进行解码第二卷积操作、解码第二激活操作和解码第二dropout操作；
上变换操作P1对dropout层Q2的输出进行第一次上变换操作；
卷积层S3和dropout层Q3依次对第一次上变换操作输出与dropout层M6输出的块加特征和进行解码第三卷积操作、解码第三激活操作和解码第三dropout操作；
卷积层S4和dropout层Q4依次对dropout层Q3的输出进行解码第四卷积操作、解码第四激活操作和解码第四dropout操作；
上变换操作P2对dropout层Q4的输出进行第二次上变换操作；
卷积层S5和dropout层Q5依次对第二次上变换操作输出与dropout层M4输出的块加特征和进行解码第五卷积操作、解码第五激活操作和解码第五dropout操作；
卷积层S6和dropout层Q6依次对dropout层Q5的输出进行解码第六卷积操作、解码第六激活操作和解码第六dropout操作；
上变换操作P3对dropout层Q6的输出进行第三次上变换操作；
卷积层S7和dropout层Q7依次对第三次上变换操作输出与dropout层M2输出的块加特征和进行解码第七卷积操作、解码第七激活操作和解码第七dropout操作；
卷积层S8对dropout层Q7的输出进行解码第八卷积操作，获得去噪分数分布图；
卷积层S9对dropout层Q7的输出进行解码第九卷积操作，获得不确定性方差分布图；
解码第一卷积操作为256个3×3×256、步长为1的卷积操作；
解码第二卷积操作为512个3×3×256、步长为1的卷积操作；
解码第一到第二卷积操作对象分辨率大小为m/8×n/8；
解码第三卷积操作为128个3×3×128、步长为1的卷积操作；
解码第四卷积操作为256个3×3×128、步长为1的卷积操作；
解码第三到第四卷积操作对象分辨率大小为m/4×n/4；
解码第五卷积操作为64个3×3×64、步长为1的卷积操作；
解码第六卷积操作为128个3×3×64、步长为1的卷积操作；
解码第五到第六卷积操作对象分辨率大小为m/2×n/2；
解码第七卷积操作为32个3×3×32、步长为1的卷积操作；
解码第八卷积操作为3个3×3×32、步长为1的卷积操作；
解码第九卷积操作为3个3×3×32、步长为1的卷积操作；
解码第七到第九卷积操作对象分辨率大小为m×n；
解码第一激活操作至解码第七激活操作均采用ReLU函数。
作为优选，池化下变换器的池化层采用均值池化或最大池化。
作为优选，上变换器的上变换层至少包括PixelShuffle、逆小波变换和步长为2卷积操作中的一种操作。
作为优选，对训练好的已知去噪模型的再训练过程通过似然损失和加和损失来约束权重，确定损失函数；
损失函数
Figure BDA0003558931180000041
为：
Figure BDA0003558931180000042
式中
Figure BDA0003558931180000043
为似然损失，/>
Figure BDA0003558931180000044
为加和损失，λ0为权重参数；
似然损失
Figure BDA0003558931180000045
为：
Figure BDA0003558931180000046
F为用于训练过程的样本对数量，f＝1，2，3，……，F；c＝1，2，3，……，C；
Figure BDA0003558931180000047
为不确定性方差分布图，/>
Figure BDA0003558931180000051
是第c个已知去噪模型对应的预测权重分布图，wc是第c个已知去噪模型的真实权重分布图，λTV为全变分项的权重参数，T V为全变分项；
加和损失
Figure BDA0003558931180000052
为：
Figure BDA0003558931180000053
式中zc为第c个已知去噪模型获得的去噪后图像，x为噪声图像对应的高清原图像。
作为优选，对训练好的已知去噪模型的再训练过程采用Adam优化算法进行端对端的训练。
本发明的有益效果：本发明系统能够有效利用已有的去噪模型算法。将去噪模型算法得到的图像和噪声图像本身作为系统的输入，经不确定性得分估计网络的编码器进行逐级提取特征后，再经解码器逐级解码特征和进行上变换回复操作。最终输出当前去噪图像的分数分布图和不确定性方差分布图。其中不确定方差分布图只在训练中使用。如果当前有C个去噪算法，将重复上述操作C次，得到C个分数分布图，经SoftMax处理后得到权重图像，然后加和去噪图像*权重分布图得到最终集成去噪结果。
本发明首次提出了使用不确定网络和估计权重分布图方式实现不同去噪算法的集成，泛化性强。与现有去噪集成系统相比，本发明所述的基于不确定性网络的集成图像去噪系统能够充分利用模型和数据中存在的不确定性，得到准确的权重参数；同时通过预测权重分布图的形式，即逐像素的预测权重参数，实现了不同去噪结果逐像素的融合方法，有效解决了空间变异性噪声。
附图说明
图1是本发明所述基于不确定性网络的集成图像去噪系统的流程示意图；
图2是不确定性得分估计网络的网络结构示意图；图中Noisy Input表示噪声图像，Denoised c表示去噪后图像c；Concat表示将两张图像链接；Convolution表示卷积操作，Relu表示ReLU函数的激活操作，Dropout表示dropout操作，Maxpooling表示池化下变换操作，Upsampling Conv表示上变换操作，Sum Skip-connection表示跳跃式传递的加和操作；Sc表示去噪分数分布图，σ表示不确定性方差分布图；
图3是具体实施例中采用的噪声图像；
图4是已知去噪模型1的去噪后图像；
图5是已知去噪模型2的去噪后图像；
图6是已知去噪模型3的去噪后图像；
图7是采用本发明系统获得的最终去噪图像。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
具体实施方式一、结合图1和图2所示，本发明提供了一种基于不确定性网络的集成图像去噪系统，包括C个训练好的已知去噪模型、不确定性得分估计网络、SoftMax权重计算器和求和单元；C为正整数；
C个训练好的已知去噪模型用于分别对噪声图像进行去噪操作获得去噪后图像；
不确定性得分估计网络用于分别对每一幅去噪后图像与噪声图像进行评估，获得C个不确定性方差分布图和C个去噪分数分布图；所述不确定性方差分布图用于实现所述训练好的已知去噪模型的再训练过程；
SoftMax权重计算器用于将C个去噪分数分布图逐像素转化为对应的预测权重分布图；
求和单元用于将每一个预测权重分布图与对应去噪后图像相乘的结果进行相加，获得最终去噪图像。
进一步，结合图2所示，所述不确定性得分估计网络包括编码器、池化下变换器、解码器和上变换器；
所述编码器与池化下变换器相互配合用于对每一对去噪后图像与噪声图像进行处理，获得编码特征；
解码器和上变换器相互配合用于对编码特征和跳跃式传递的编码器在编码过程中获得的部分卷积层输出特征进行处理，获得C个不确定性方差分布图和C个去噪分数分布图。
作为示例，结合图2所示，所述编码器包含N个卷积层，N≥2；M个dropout层，M≥1；池化下变换器包括L个池化层，L≥2。
作为示例，结合图2所示，设定噪声图像和去噪后图像的像素均为m×n；
N＝8，对应卷积层E1至E8；M＝8，对应dropout层M1至M8；L＝3，对应池化下变换操作L1至L3；
噪声图像和去噪后图像链接后获得链接后图像；
卷积层E1和dropout层M1以噪声图像为参考，依次对链接后图像进行编码第一卷积操作、编码第一激活操作和编码第一dropout操作；
卷积层E2和dropout层M2依次对dropout层M1的输出进行编码第二卷积操作、编码第二激活操作和编码第二dropout操作；
池化下变换操作L1对dropout层M2的输出进行第一次池化下采样操作；
卷积层E3和dropout层M3依次对第一次池化下采样操作的输出进行编码第三卷积操作、编码第三激活操作和编码第三dropout操作；
卷积层E4和dropout层M4依次对dropout层M3的输出进行编码第四卷积操作、编码第四激活操作和编码第四dropout操作；
池化下变换操作L2对dropout层M4的输出进行第二次池化下采样操作；
卷积层E5和dropout层M5依次对第二次池化下采样操作的输出进行编码第五卷积操作、编码第五激活操作和编码第五dropout操作；
卷积层E6和dropout层M6依次对dropout层M5的输出进行编码第六卷积操作、编码第六激活操作和编码第六dropout操作；
池化下变换操作L3对dropout层M6的输出进行第三次池化下采样操作；
卷积层E7和dropout层M7依次对第三次池化下采样操作的输出进行编码第七卷积操作、编码第七激活操作和编码第七dropout操作；
卷积层E8和dropout层M8依次对dropout层M7的输出进行编码第八卷积操作、编码第八激活操作和编码第八dropout操作，获得编码特征；
其中编码第一卷积操作为32个3×3×6、步长为1的卷积操作；
编码第二卷积操作为32个3×3×32、步长为1的卷积操作；
编码第一到第二卷积操作对象分辨率大小为m×n；
编码第三卷积操作为64个3×3×32、步长为1的卷积操作；
编码第四卷积操作为64个3×3×64、步长为1的卷积操作；
编码第三到第四卷积操作对象分辨率大小为m/2×n/2；
编码第五卷积操作为128个3×3×64、步长为1的卷积操作；
编码第六卷积操作为128个3×3×128、步长为1的卷积操作；
编码第五到第六卷积操作对象分辨率大小为m/4×n/4；
编码第七卷积操作为256个3×3×128、步长为1的卷积操作；
编码第八卷积操作为256个3×3×256、步长为1的卷积操作；
编码第七到第八卷积操作对象分辨率大小为m/8×n/8；
编码第一激活操作至第八激活操作均采用ReLU函数。
再进一步，解码器包含N+1个卷积层；上变换器包括P个上变换层，P≥2。
作为示例，结合图2所示，解码器包括卷积层S1至S9，dropout层Q1至Q7；P＝3，对应上变换操作P1到P3；
卷积层S1和dropout层Q1依次对编码特征进行解码第一卷积操作、解码第一激活操作和解码第一dropout操作；
卷积层S2和dropout层Q2依次对dropout层Q1的输出进行解码第二卷积操作、解码第二激活操作和解码第二dropout操作；
上变换操作P1对dropout层Q2的输出进行第一次上变换操作；
卷积层S3和dropout层Q3依次对第一次上变换操作输出与dropout层M6输出的块加特征和进行解码第三卷积操作、解码第三激活操作和解码第三dropout操作；
卷积层S4和dropout层Q4依次对dropout层Q3的输出进行解码第四卷积操作、解码第四激活操作和解码第四dropout操作；
上变换操作P2对dropout层Q4的输出进行第二次上变换操作；
卷积层S5和dropout层Q5依次对第二次上变换操作输出与dropout层M4输出的块加特征和进行解码第五卷积操作、解码第五激活操作和解码第五dropout操作；
卷积层S6和dropout层Q6依次对dropout层Q5的输出进行解码第六卷积操作、解码第六激活操作和解码第六dropout操作；
上变换操作P3对dropout层Q6的输出进行第三次上变换操作；
卷积层S7和dropout层Q7依次对第三次上变换操作输出与dropout层M2输出的块加特征和进行解码第七卷积操作、解码第七激活操作和解码第七dropout操作；
卷积层S8对dropout层Q7的输出进行解码第八卷积操作，获得去噪分数分布图；
卷积层S9对dropout层Q7的输出进行解码第九卷积操作，获得不确定性方差分布图；
解码器的最后一层包含两个卷积层，第一个解码器卷积层输出为去噪分数分布图，第二个解码卷积层输出为不确定性方差分布图。
解码第一卷积操作为256个3×3×256、步长为1的卷积操作；
解码第二卷积操作为512个3×3×256、步长为1的卷积操作；
解码第一到第二卷积操作对象分辨率大小为m/8×n/8；
解码第三卷积操作为128个3×3×128、步长为1的卷积操作；
解码第四卷积操作为256个3×3×128、步长为1的卷积操作；
解码第三到第四卷积操作对象分辨率大小为m/4×n/4；
解码第五卷积操作为64个3×3×64、步长为1的卷积操作；
解码第六卷积操作为128个3×3×64、步长为1的卷积操作；
解码第五到第六卷积操作对象分辨率大小为m/2×n/2；
解码第七卷积操作为32个3×3×32、步长为1的卷积操作；
解码第八卷积操作为3个3×3×32、步长为1的卷积操作；
解码第九卷积操作为3个3×3×32、步长为1的卷积操作；
解码第七到第九卷积操作对象分辨率大小为m×n；
解码第一激活操作至解码第七激活操作均采用ReLU函数。
本实施方式中，不确定性得分估计网络引入贝叶斯深度网络；链接后图像经编码器的卷积+dropout模块得到一级变换特征后，使用池化层进行下采样操作；多次下采样后得到小尺度的深度特征。小尺度特征再次经解码器的上采样操作、卷积+dropout模块以由低到高、层层转换的形式恢复到高分辨率特征后，由解码卷积层得到去噪结果得分的分布图；通过C次推理得到C个去噪结果的分布图，经SoftMax层后得到权重分布图，最终通过加和(去噪结果*权重分布图)得到最终的集成去噪图像。
进一步，池化下变换器的池化层采用均值池化或最大池化。本实施方式中，池化下变换操作的作用对象是卷积层E2的输出、卷积层E4的输出和卷积层E6的输出。
再进一步，上变换器的上变换层至少包括PixelShuffle、逆小波变换和步长为2卷积操作中的一种操作。上变换器操作包括3个个PixelShuffle层，作用对象是卷积层S2的输出、卷积层S4的输出和卷积层S6的输出。下变换器L1、L2、L3可分别使用不同池化层进行不同的下采样操作；上变换操作P1、P2、P3也可分别使用不同上采样操作。
再进一步，对训练好的已知去噪模型的再训练过程通过似然损失和加和损失来约束权重，确定损失函数；
损失函数
Figure BDA0003558931180000091
为：
Figure BDA0003558931180000092
式中
Figure BDA0003558931180000093
为似然损失，/>
Figure BDA0003558931180000094
为加和损失，λ0为权重参数；
似然损失
Figure BDA0003558931180000101
为为预测权重分布图和真实权重分布图之间的欧式距离损失、不确定性分布图的对数正则约束和全变分项三者的加和：
Figure BDA0003558931180000102
F为用于训练过程的样本对数量，f＝1，2，3，……，F；c＝1，2，3，……，C；
Figure BDA0003558931180000103
为不确定性方差分布图，/>
Figure BDA0003558931180000104
是第c个已知去噪模型对应的预测权重分布图，wc是第c个已知去噪模型的真实权重分布图，λTV为全变分项的权重参数，T V为全变分项；
加和损失
Figure BDA0003558931180000105
为去噪后图像和对应的高清原图像的欧氏距离损失：
Figure BDA0003558931180000106
式中zc为第c个已知去噪模型获得的去噪后图像，x为噪声图像对应的高清原图像。
本发明系统中，对训练好的已知去噪模型的再训练过程采用Adam优化算法进行端对端的训练。
具体实施例：结合图3至图7所示，采用本发明系统对图3所示噪声图像进行处理；将五幅图像进行对比可知，本发明系统适用于对多个去噪结果进行集成，能够有效利用不同去噪算法的优势，合成出较好的去噪结果，恢复纹理细节和提升视觉效果。
经仿真实验验证，采用本发明系统对一张512*512的RGB图像，估计一次得分约耗时40ms左右。因此证明本发明系统具有较高的得分速度。
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其它所述实施例中。

Claims (6)

1.一种基于不确定性网络的集成图像去噪系统，其特征在于，包括C个训练好的已知去噪模型、不确定性得分估计网络、SoftMax权重计算器和求和单元；C为正整数；
C个训练好的已知去噪模型用于分别对噪声图像进行去噪操作获得去噪后图像；
不确定性得分估计网络用于分别对每一幅去噪后图像与噪声图像进行评估，获得C个不确定性方差分布图和C个去噪分数分布图；所述不确定性方差分布图用于实现所述训练好的已知去噪模型的再训练过程；
SoftMax权重计算器用于将C个去噪分数分布图逐像素转化为对应的预测权重分布图；
求和单元用于将每一个预测权重分布图与对应去噪后图像相乘的结果进行相加，获得最终去噪图像；
所述不确定性得分估计网络包括编码器、池化下变换器、解码器和上变换器；
所述编码器与池化下变换器相互配合用于对每一对去噪后图像与噪声图像进行处理，获得编码特征；
解码器和上变换器相互配合用于对编码特征和跳跃式传递的编码器在编码过程中获得的部分卷积层输出特征进行处理，获得C个不确定性方差分布图和C个去噪分数分布图；
所述编码器包含N个卷积层，N≥2；M个dropout层，M≥1；池化下变换器包括L个池化层，L≥2；
设定噪声图像和去噪后图像的像素均为m×n；
N＝8，对应卷积层E1至E8；M＝8，对应dropout层M1至M8；L＝3，对应池化下变换操作L1至L3；
噪声图像和去噪后图像链接后获得链接后图像；
卷积层E1和dropout层M1以噪声图像为参考，依次对链接后图像进行编码第一卷积操作、编码第一激活操作和编码第一dropout操作；
卷积层E2和dropout层M2依次对dropout层M1的输出进行编码第二卷积操作、编码第二激活操作和编码第二dropout操作；
池化下变换操作L1对dropout层M2的输出进行第一次池化下采样操作；
卷积层E3和dropout层M3依次对第一次池化下采样操作的输出进行编码第三卷积操作、编码第三激活操作和编码第三dropout操作；
卷积层E4和dropout层M4依次对dropout层M3的输出进行编码第四卷积操作、编码第四激活操作和编码第四dropout操作；
池化下变换操作L2对dropout层M4的输出进行第二次池化下采样操作；
卷积层E5和dropout层M5依次对第二次池化下采样操作的输出进行编码第五卷积操作、编码第五激活操作和编码第五dropout操作；
卷积层E6和dropout层M6依次对dropout层M5的输出进行编码第六卷积操作、编码第六激活操作和编码第六dropout操作；
池化下变换操作L3对dropout层M6的输出进行第三次池化下采样操作；
卷积层E7和dropout层M7依次对第三次池化下采样操作的输出进行编码第七卷积操作、编码第七激活操作和编码第七dropout操作；
卷积层E8和dropout层M8依次对dropout层M7的输出进行编码第八卷积操作、编码第八激活操作和编码第八dropout操作，获得编码特征；
其中编码第一卷积操作为32个3×3×6、步长为1的卷积操作；
编码第二卷积操作为32个3×3×32、步长为1的卷积操作；
编码第一到第二卷积操作对象分辨率大小为m×n；
编码第三卷积操作为64个3×3×32、步长为1的卷积操作；
编码第四卷积操作为64个3×3×64、步长为1的卷积操作；
编码第三到第四卷积操作对象分辨率大小为m/2×n/2；
编码第五卷积操作为128个3×3×64、步长为1的卷积操作；
编码第六卷积操作为128个3×3×128、步长为1的卷积操作；
编码第五到第六卷积操作对象分辨率大小为m/4×n/4；
编码第七卷积操作为256个3×3×128、步长为1的卷积操作；
编码第八卷积操作为256个3×3×256、步长为1的卷积操作；
编码第七到第八卷积操作对象分辨率大小为m/8×n/8；
编码第一激活操作至第八激活操作均采用ReLU函数；
对训练好的已知去噪模型的再训练过程通过似然损失和加和损失来约束权重，确定损失函数；
损失函数
Figure FDA0004240522830000021
为：
Figure FDA0004240522830000022
式中
Figure FDA0004240522830000023
为似然损失，/>
Figure FDA0004240522830000024
为加和损失，λ0为权重参数；
似然损失
Figure FDA0004240522830000025
为：
Figure FDA0004240522830000031
F为用于训练过程的样本对数量，f＝1，2，3，……，F；c＝1，2，3，……，C；
Figure FDA0004240522830000032
为不确定性方差分布图，/>
Figure FDA0004240522830000033
是第c个已知去噪模型对应的预测权重分布图，wc是第c个已知去噪模型的真实权重分布图，λTV为全变分项的权重参数，T V为全变分项；
加和损失
Figure FDA0004240522830000034
为：
Figure FDA0004240522830000035
式中zc为第c个已知去噪模型获得的去噪后图像，x为噪声图像对应的高清原图像。
2.根据权利要求1所述的基于不确定性网络的集成图像去噪系统，其特征在于，
解码器包含N+1个卷积层；上变换器包括P个上变换层，P≥2。
3.根据权利要求2所述的基于不确定性网络的集成图像去噪系统，其特征在于，
解码器包括卷积层S1至S9，dropout层Q1至Q7；P＝3，对应上变换操作P1到P3；
卷积层S1和dropout层Q1依次对编码特征进行解码第一卷积操作、解码第一激活操作和解码第一dropout操作；
卷积层S2和dropout层Q2依次对dropout层Q1的输出进行解码第二卷积操作、解码第二激活操作和解码第二dropout操作；
上变换操作P1对dropout层Q2的输出进行第一次上变换操作；
卷积层S3和dropout层Q3依次对第一次上变换操作输出与dropout层M6输出的块加特征和进行解码第三卷积操作、解码第三激活操作和解码第三dropout操作；
卷积层S4和dropout层Q4依次对dropout层Q3的输出进行解码第四卷积操作、解码第四激活操作和解码第四dropout操作；
上变换操作P2对dropout层Q4的输出进行第二次上变换操作；
卷积层S5和dropout层Q5依次对第二次上变换操作输出与dropout层M4输出的块加特征和进行解码第五卷积操作、解码第五激活操作和解码第五dropout操作；
卷积层S6和dropout层Q6依次对dropout层Q5的输出进行解码第六卷积操作、解码第六激活操作和解码第六dropout操作；
上变换操作P3对dropout层Q6的输出进行第三次上变换操作；
卷积层S7和dropout层Q7依次对第三次上变换操作输出与dropout层M2输出的块加特征和进行解码第七卷积操作、解码第七激活操作和解码第七dropout操作；
卷积层S8对dropout层Q7的输出进行解码第八卷积操作，获得去噪分数分布图；
卷积层S9对dropout层Q7的输出进行解码第九卷积操作，获得不确定性方差分布图；
解码第一卷积操作为256个3×3×256、步长为1的卷积操作；
解码第二卷积操作为512个3×3×256、步长为1的卷积操作；
解码第一到第二卷积操作对象分辨率大小为m/8×n/8；
解码第三卷积操作为128个3×3×128、步长为1的卷积操作；
解码第四卷积操作为256个3×3×128、步长为1的卷积操作；
解码第三到第四卷积操作对象分辨率大小为m/4×n/4；
解码第五卷积操作为64个3×3×64、步长为1的卷积操作；
解码第六卷积操作为128个3×3×64、步长为1的卷积操作；
解码第五到第六卷积操作对象分辨率大小为m/2×n/2；
解码第七卷积操作为32个3×3×32、步长为1的卷积操作；
解码第八卷积操作为3个3×3×32、步长为1的卷积操作；
解码第九卷积操作为3个3×3×32、步长为1的卷积操作；
解码第七到第九卷积操作对象分辨率大小为m×n；
解码第一激活操作至解码第七激活操作均采用ReLU函数。
4.根据权利要求3所述的基于不确定性网络的集成图像去噪系统，其特征在于，
池化下变换器的池化层采用均值池化或最大池化。
5.根据权利要求4所述的基于不确定性网络的集成图像去噪系统，其特征在于，
上变换器的上变换层至少包括PixelShuffle、逆小波变换和步长为2卷积操作中的一种操作。
6.根据权利要求5所述的基于不确定性网络的集成图像去噪系统，其特征在于，
对训练好的已知去噪模型的再训练过程采用Adam优化算法进行端对端的训练。
CN202210283318.XA 2022-03-22 2022-03-22 基于不确定性网络的集成图像去噪系统 Active CN114663307B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210283318.XA CN114663307B (zh) 2022-03-22 2022-03-22 基于不确定性网络的集成图像去噪系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210283318.XA CN114663307B (zh) 2022-03-22 2022-03-22 基于不确定性网络的集成图像去噪系统

Publications (2)

Publication Number Publication Date
CN114663307A CN114663307A (zh) 2022-06-24
CN114663307B true CN114663307B (zh) 2023-07-04

Family

ID=82031372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210283318.XA Active CN114663307B (zh) 2022-03-22 2022-03-22 基于不确定性网络的集成图像去噪系统

Country Status (1)

Country Link
CN (1) CN114663307B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468967B (zh) * 2023-04-18 2024-04-16 北京百度网讯科技有限公司 样本图像筛选方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447990A (zh) * 2018-10-22 2019-03-08 北京旷视科技有限公司 图像语义分割方法、装置、电子设备和计算机可读介质
CN111260591A (zh) * 2020-03-12 2020-06-09 武汉大学 一种基于注意力机制的图像自适应去噪方法
CN111353958A (zh) * 2020-02-28 2020-06-30 北京东软医疗设备有限公司 图像处理方法、装置及系统
WO2021114761A1 (zh) * 2019-12-13 2021-06-17 苏州美糯爱医疗科技有限公司 一种电子听诊器的肺部啰音人工智能实时分类方法、系统、装置及可读存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10685429B2 (en) * 2017-02-22 2020-06-16 Siemens Healthcare Gmbh Denoising medical images by learning sparse image representations with a deep unfolding approach
WO2019183584A1 (en) * 2018-03-23 2019-09-26 Memorial Sloan Kettering Cancer Center Deep encoder-decoder models for reconstructing biomedical images
CN109285129A (zh) * 2018-09-06 2019-01-29 哈尔滨工业大学 基于卷积神经网络的图像真实噪声去除系统
CN110473154B (zh) * 2019-07-31 2021-11-16 西安理工大学 一种基于生成对抗网络的图像去噪方法
WO2021080158A1 (en) * 2019-10-25 2021-04-29 Samsung Electronics Co., Ltd. Image processing method, apparatus, electronic device and computer readable storage medium
CN111028163B (zh) * 2019-11-28 2024-02-27 湖北工业大学 一种基于卷积神经网络的联合图像去噪与弱光增强方法
CN111127356A (zh) * 2019-12-18 2020-05-08 清华大学深圳国际研究生院 一种图像盲去噪系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447990A (zh) * 2018-10-22 2019-03-08 北京旷视科技有限公司 图像语义分割方法、装置、电子设备和计算机可读介质
WO2021114761A1 (zh) * 2019-12-13 2021-06-17 苏州美糯爱医疗科技有限公司 一种电子听诊器的肺部啰音人工智能实时分类方法、系统、装置及可读存储介质
CN111353958A (zh) * 2020-02-28 2020-06-30 北京东软医疗设备有限公司 图像处理方法、装置及系统
CN111260591A (zh) * 2020-03-12 2020-06-09 武汉大学 一种基于注意力机制的图像自适应去噪方法

Also Published As

Publication number Publication date
CN114663307A (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
CN110363716B (zh) 一种基于条件生成对抗网络复合降质图像高质量重建方法
US11153566B1 (en) Variable bit rate generative compression method based on adversarial learning
CN111798400B (zh) 基于生成对抗网络的无参考低光照图像增强方法及系统
CN110111366B (zh) 一种基于多级损失量的端到端光流估计方法
CN111582483B (zh) 基于空间和通道联合注意力机制的无监督学习光流估计方法
CN106127688B (zh) 一种超分辨率图像重建方法及其系统
CN113066017B (zh) 一种图像增强方法、模型训练方法及设备
CN111292264A (zh) 一种基于深度学习的图像高动态范围重建方法
CN112365422B (zh) 基于深层聚合网络的不规则缺失图像修复方法及其系统
CN110796622B (zh) 一种基于串联神经网络多层特征的图像比特增强方法
CN110992414B (zh) 一种基于卷积神经网络的室内单目场景深度估计的方法
CN109635662A (zh) 一种基于卷积神经网络的道路场景语义分割方法
CN112561807B (zh) 一种基于卷积神经网络的端到端径向畸变校正方法
CN111861884A (zh) 一种基于深度学习的卫星云图超分辨率重建方法
CN116486074A (zh) 一种基于局部和全局上下文信息编码的医学图像分割方法
CN116469100A (zh) 一种基于Transformer的双波段图像语义分割方法
CN115063326B (zh) 基于图像压缩的红外夜视图像高效通讯方法
CN114663307B (zh) 基于不确定性网络的集成图像去噪系统
CN116030537A (zh) 基于多分支注意力图卷积的三维人体姿态估计方法
CN115546257A (zh) 基于wgan-gp网络与光流法的卫星云图预测方法
CN115131229A (zh) 图像降噪、滤波数据处理方法、装置和计算机设备
CN115587987A (zh) 一种蓄电池缺陷检测方法、装置、存储介质及电子设备
CN116630625A (zh) 一种基于双图推理的变电设备渗漏油分割方法
CN113538402B (zh) 一种基于密度估计的人群计数方法及系统
CN114022356A (zh) 基于小波域的河道流量水位遥感图像超分辨率方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant