CN114663307A - 基于不确定性网络的集成图像去噪系统 - Google Patents

基于不确定性网络的集成图像去噪系统 Download PDF

Info

Publication number
CN114663307A
CN114663307A CN202210283318.XA CN202210283318A CN114663307A CN 114663307 A CN114663307 A CN 114663307A CN 202210283318 A CN202210283318 A CN 202210283318A CN 114663307 A CN114663307 A CN 114663307A
Authority
CN
China
Prior art keywords
convolution
dropout
encoding
layer
denoising
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210283318.XA
Other languages
English (en)
Other versions
CN114663307B (zh
Inventor
张宏志
左旺孟
刘鹏举
王竞晖
汪彧之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202210283318.XA priority Critical patent/CN114663307B/zh
Publication of CN114663307A publication Critical patent/CN114663307A/zh
Application granted granted Critical
Publication of CN114663307B publication Critical patent/CN114663307B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

基于不确定性网络的集成图像去噪系统，属于图像复原技术领域。本发明针对现有图像去噪方法泛化性弱和不能直接利用已有去噪算法模型造成浪费的问题。包括C个训练好的已知去噪模型、不确定性得分估计网络、SoftMax权重计算器和求和单元；C个训练好的已知去噪模型用于分别对噪声图像进行去噪操作获得去噪后图像；不确定性得分估计网络用于分别对每一幅去噪后图像与噪声图像进行评估，获得C个不确定性方差分布图和C个去噪分数分布图；SoftMax权重计算器用于将C个去噪分数分布图逐像素转化为对应的预测权重分布图；求和单元用于将每一个预测权重分布图与对应去噪后图像相乘的结果进行相加，获得最终去噪图像。本发明实现了对不同去噪结果的逐像素融合。

Description

基于不确定性网络的集成图像去噪系统
技术领域
本发明涉及基于不确定性网络的集成图像去噪系统，属于图像复原技术领域。
背景技术
手机、照相机等移动拍照设备已经走进千家万户，成为人们生活中必不可少的一部分。然而受设备本身原因(如摄像头自身硬件参数、光圈设置大小等)和自然环境原因(低光照等)影响，采集的图像将不可避免的产生噪声；同时，受存储空间和网络带宽等限制，图像也会进行有损压缩等操作，这进一步引入了更多的噪声。
图像噪声严重影响了人们对美好生活的视觉感受，对目标跟踪、目标检测、行人识别、人脸识别等一系列人工智能应用也存在负面影响。因此，采用图像去噪算法提升图像画质作为不可或缺一项重要环节。当前，已经存在大量的已经训练好的去噪算法模型，这些模型往往过拟合于某个或者某些数据集，无法泛化到其他数据集或者图像采集设备。同时，为了适应特定数据集或者图像采集设备，研究者或研发人员会针对性地采集数据进行重新训练，浪费了已有的训练模型。
发明内容
针对现有图像去噪方法泛化性弱和不能直接利用已有去噪算法模型造成浪费的问题，本发明提供一种基于不确定性网络的集成图像去噪系统。
本发明的一种基于不确定性网络的集成图像去噪系统，包括C个训练好的已知去噪模型、不确定性得分估计网络、SoftMax权重计算器和求和单元；C为正整数；
C个训练好的已知去噪模型用于分别对噪声图像进行去噪操作获得去噪后图像；
不确定性得分估计网络用于分别对每一幅去噪后图像与噪声图像进行评估，获得C个不确定性方差分布图和C个去噪分数分布图；所述不确定性方差分布图用于实现所述训练好的已知去噪模型的再训练过程；
SoftMax权重计算器用于将C个去噪分数分布图逐像素转化为对应的预测权重分布图；
求和单元用于将每一个预测权重分布图与对应去噪后图像相乘的结果进行相加，获得最终去噪图像。
作为优选，所述不确定性得分估计网络包括编码器、池化下变换器、解码器和上变换器；
所述编码器与池化下变换器相互配合用于对每一对去噪后图像与噪声图像进行处理，获得编码特征；
解码器和上变换器相互配合用于对编码特征和跳跃式传递的编码器在编码过程中获得的部分卷积层输出特征进行处理，获得C个不确定性方差分布图和C个去噪分数分布图。
作为优选，所述编码器包含N个卷积层，N≥2；M个dropout层，M≥1；池化下变换器包括L个池化层，L≥2。
作为优选，设定噪声图像和去噪后图像的像素均为m×n；
N＝8，对应卷积层E1至E8；M＝8，对应dropout层M1至M8；L＝3，对应池化下变换操作L1至L3；
噪声图像和去噪后图像链接后获得链接后图像；
卷积层E1和dropout层M1以噪声图像为参考，依次对链接后图像进行编码第一卷积操作、编码第一激活操作和编码第一dropout操作；
卷积层E2和dropout层M2依次对dropout层M1的输出进行编码第二卷积操作、编码第二激活操作和编码第二dropout操作；
池化下变换操作L1对dropout层M2的输出进行第一次池化下采样操作；
卷积层E3和dropout层M3依次对第一次池化下采样操作的输出进行编码第三卷积操作、编码第三激活操作和编码第三dropout操作；
卷积层E4和dropout层M4依次对dropout层M3的输出进行编码第四卷积操作、编码第四激活操作和编码第四dropout操作；
池化下变换操作L2对dropout层M4的输出进行第二次池化下采样操作；
卷积层E5和dropout层M5依次对第二次池化下采样操作的输出进行编码第五卷积操作、编码第五激活操作和编码第五dropout操作；
卷积层E6和dropout层M6依次对dropout层M5的输出进行编码第六卷积操作、编码第六激活操作和编码第六dropout操作；
池化下变换操作L3对dropout层M6的输出进行第三次池化下采样操作；
卷积层E7和dropout层M7依次对第三次池化下采样操作的输出进行编码第七卷积操作、编码第七激活操作和编码第七dropout操作；
卷积层E8和dropout层M8依次对dropout层M7的输出进行编码第八卷积操作、编码第八激活操作和编码第八dropout操作，获得编码特征；
其中编码第一卷积操作为32个3×3×6、步长为1的卷积操作；
编码第二卷积操作为32个3×3×32、步长为1的卷积操作；
编码第一到第二卷积操作对象分辨率大小为m×n；
编码第三卷积操作为64个3×3×32、步长为1的卷积操作；
编码第四卷积操作为64个3×3×64、步长为1的卷积操作；
编码第三到第四卷积操作对象分辨率大小为m/2×n/2；
编码第五卷积操作为128个3×3×64、步长为1的卷积操作；
编码第六卷积操作为128个3×3×128、步长为1的卷积操作；
编码第五到第六卷积操作对象分辨率大小为m/4×n/4；
编码第七卷积操作为256个3×3×128、步长为1的卷积操作；
编码第八卷积操作为256个3×3×256、步长为1的卷积操作；
编码第七到第八卷积操作对象分辨率大小为m/8×n/8；
编码第一激活操作至第八激活操作均采用ReLU函数。
作为优选，解码器包含N+1个卷积层；上变换器包括P个上变换层，P≥2。
作为优选，解码器包括卷积层S1至S9，dropout层Q1至Q7；P＝3，对应上变换操作P1到P3；
卷积层S1和dropout层Q1依次对编码特征进行解码第一卷积操作、解码第一激活操作和解码第一dropout操作；
卷积层S2和dropout层Q2依次对dropout层Q1的输出进行解码第二卷积操作、解码第二激活操作和解码第二dropout操作；
上变换操作P1对dropout层Q2的输出进行第一次上变换操作；
卷积层S3和dropout层Q3依次对第一次上变换操作输出与dropout层M6输出的块加特征和进行解码第三卷积操作、解码第三激活操作和解码第三dropout操作；
卷积层S4和dropout层Q4依次对dropout层Q3的输出进行解码第四卷积操作、解码第四激活操作和解码第四dropout操作；
上变换操作P2对dropout层Q4的输出进行第二次上变换操作；
卷积层S5和dropout层Q5依次对第二次上变换操作输出与dropout层M4输出的块加特征和进行解码第五卷积操作、解码第五激活操作和解码第五dropout操作；
卷积层S6和dropout层Q6依次对dropout层Q5的输出进行解码第六卷积操作、解码第六激活操作和解码第六dropout操作；
上变换操作P3对dropout层Q6的输出进行第三次上变换操作；
卷积层S7和dropout层Q7依次对第三次上变换操作输出与dropout层M2输出的块加特征和进行解码第七卷积操作、解码第七激活操作和解码第七dropout操作；
卷积层S8对dropout层Q7的输出进行解码第八卷积操作，获得去噪分数分布图；
卷积层S9对dropout层Q7的输出进行解码第九卷积操作，获得不确定性方差分布图；
解码第一卷积操作为256个3×3×256、步长为1的卷积操作；
解码第二卷积操作为512个3×3×256、步长为1的卷积操作；
解码第一到第二卷积操作对象分辨率大小为m/8×n/8；
解码第三卷积操作为128个3×3×128、步长为1的卷积操作；
解码第四卷积操作为256个3×3×128、步长为1的卷积操作；
解码第三到第四卷积操作对象分辨率大小为m/4×n/4；
解码第五卷积操作为64个3×3×64、步长为1的卷积操作；
解码第六卷积操作为128个3×3×64、步长为1的卷积操作；
解码第五到第六卷积操作对象分辨率大小为m/2×n/2；
解码第七卷积操作为32个3×3×32、步长为1的卷积操作；
解码第八卷积操作为3个3×3×32、步长为1的卷积操作；
解码第九卷积操作为3个3×3×32、步长为1的卷积操作；
解码第七到第九卷积操作对象分辨率大小为m×n；
解码第一激活操作至解码第七激活操作均采用ReLU函数。
作为优选，池化下变换器的池化层采用均值池化或最大池化。
作为优选，上变换器的上变换层至少包括PixelShuffle、逆小波变换和步长为2卷积操作中的一种操作。
作为优选，对训练好的已知去噪模型的再训练过程通过似然损失和加和损失来约束权重，确定损失函数；
损失函数
Figure BDA0003558931180000041
为：
Figure BDA0003558931180000042
式中
Figure BDA0003558931180000043
为似然损失，
Figure BDA0003558931180000044
为加和损失，λ0为权重参数；
似然损失
Figure BDA0003558931180000045
为：
Figure BDA0003558931180000046
F为用于训练过程的样本对数量，f＝1，2，3，……，F；c＝1，2，3，……，C；
Figure BDA0003558931180000047
为不确定性方差分布图，
Figure BDA0003558931180000051
是第c个已知去噪模型对应的预测权重分布图，wc是第c个已知去噪模型的真实权重分布图，λTV为全变分项的权重参数，T V为全变分项；
加和损失
Figure BDA0003558931180000052
为：
Figure BDA0003558931180000053
式中zc为第c个已知去噪模型获得的去噪后图像，x为噪声图像对应的高清原图像。
作为优选，对训练好的已知去噪模型的再训练过程采用Adam优化算法进行端对端的训练。
本发明的有益效果：本发明系统能够有效利用已有的去噪模型算法。将去噪模型算法得到的图像和噪声图像本身作为系统的输入，经不确定性得分估计网络的编码器进行逐级提取特征后，再经解码器逐级解码特征和进行上变换回复操作。最终输出当前去噪图像的分数分布图和不确定性方差分布图。其中不确定方差分布图只在训练中使用。如果当前有C个去噪算法，将重复上述操作C次，得到C个分数分布图，经SoftMax处理后得到权重图像，然后加和去噪图像*权重分布图得到最终集成去噪结果。
本发明首次提出了使用不确定网络和估计权重分布图方式实现不同去噪算法的集成，泛化性强。与现有去噪集成系统相比，本发明所述的基于不确定性网络的集成图像去噪系统能够充分利用模型和数据中存在的不确定性，得到准确的权重参数；同时通过预测权重分布图的形式，即逐像素的预测权重参数，实现了不同去噪结果逐像素的融合方法，有效解决了空间变异性噪声。
附图说明
图1是本发明所述基于不确定性网络的集成图像去噪系统的流程示意图；
图2是不确定性得分估计网络的网络结构示意图；图中Noisy Input表示噪声图像，Denoised c表示去噪后图像c；Concat表示将两张图像链接；Convolution表示卷积操作，Relu表示ReLU函数的激活操作，Dropout表示dropout操作，Maxpooling表示池化下变换操作，Upsampling Conv表示上变换操作，Sum Skip-connection表示跳跃式传递的加和操作；Sc表示去噪分数分布图，σ表示不确定性方差分布图；
图3是具体实施例中采用的噪声图像；
图4是已知去噪模型1的去噪后图像；
图5是已知去噪模型2的去噪后图像；
图6是已知去噪模型3的去噪后图像；
图7是采用本发明系统获得的最终去噪图像。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
具体实施方式一、结合图1和图2所示，本发明提供了一种基于不确定性网络的集成图像去噪系统，包括C个训练好的已知去噪模型、不确定性得分估计网络、SoftMax权重计算器和求和单元；C为正整数；
C个训练好的已知去噪模型用于分别对噪声图像进行去噪操作获得去噪后图像；
不确定性得分估计网络用于分别对每一幅去噪后图像与噪声图像进行评估，获得C个不确定性方差分布图和C个去噪分数分布图；所述不确定性方差分布图用于实现所述训练好的已知去噪模型的再训练过程；
SoftMax权重计算器用于将C个去噪分数分布图逐像素转化为对应的预测权重分布图；
求和单元用于将每一个预测权重分布图与对应去噪后图像相乘的结果进行相加，获得最终去噪图像。
进一步，结合图2所示，所述不确定性得分估计网络包括编码器、池化下变换器、解码器和上变换器；
所述编码器与池化下变换器相互配合用于对每一对去噪后图像与噪声图像进行处理，获得编码特征；
解码器和上变换器相互配合用于对编码特征和跳跃式传递的编码器在编码过程中获得的部分卷积层输出特征进行处理，获得C个不确定性方差分布图和C个去噪分数分布图。
作为示例，结合图2所示，所述编码器包含N个卷积层，N≥2；M个dropout层，M≥1；池化下变换器包括L个池化层，L≥2。
作为示例，结合图2所示，设定噪声图像和去噪后图像的像素均为m×n；
N＝8，对应卷积层E1至E8；M＝8，对应dropout层M1至M8；L＝3，对应池化下变换操作L1至L3；
噪声图像和去噪后图像链接后获得链接后图像；
卷积层E1和dropout层M1以噪声图像为参考，依次对链接后图像进行编码第一卷积操作、编码第一激活操作和编码第一dropout操作；
卷积层E2和dropout层M2依次对dropout层M1的输出进行编码第二卷积操作、编码第二激活操作和编码第二dropout操作；
池化下变换操作L1对dropout层M2的输出进行第一次池化下采样操作；
卷积层E3和dropout层M3依次对第一次池化下采样操作的输出进行编码第三卷积操作、编码第三激活操作和编码第三dropout操作；
卷积层E4和dropout层M4依次对dropout层M3的输出进行编码第四卷积操作、编码第四激活操作和编码第四dropout操作；
池化下变换操作L2对dropout层M4的输出进行第二次池化下采样操作；
卷积层E5和dropout层M5依次对第二次池化下采样操作的输出进行编码第五卷积操作、编码第五激活操作和编码第五dropout操作；
卷积层E6和dropout层M6依次对dropout层M5的输出进行编码第六卷积操作、编码第六激活操作和编码第六dropout操作；
池化下变换操作L3对dropout层M6的输出进行第三次池化下采样操作；
卷积层E7和dropout层M7依次对第三次池化下采样操作的输出进行编码第七卷积操作、编码第七激活操作和编码第七dropout操作；
卷积层E8和dropout层M8依次对dropout层M7的输出进行编码第八卷积操作、编码第八激活操作和编码第八dropout操作，获得编码特征；
其中编码第一卷积操作为32个3×3×6、步长为1的卷积操作；
编码第二卷积操作为32个3×3×32、步长为1的卷积操作；
编码第一到第二卷积操作对象分辨率大小为m×n；
编码第三卷积操作为64个3×3×32、步长为1的卷积操作；
编码第四卷积操作为64个3×3×64、步长为1的卷积操作；
编码第三到第四卷积操作对象分辨率大小为m/2×n/2；
编码第五卷积操作为128个3×3×64、步长为1的卷积操作；
编码第六卷积操作为128个3×3×128、步长为1的卷积操作；
编码第五到第六卷积操作对象分辨率大小为m/4×n/4；
编码第七卷积操作为256个3×3×128、步长为1的卷积操作；
编码第八卷积操作为256个3×3×256、步长为1的卷积操作；
编码第七到第八卷积操作对象分辨率大小为m/8×n/8；
编码第一激活操作至第八激活操作均采用ReLU函数。
再进一步，解码器包含N+1个卷积层；上变换器包括P个上变换层，P≥2。
作为示例，结合图2所示，解码器包括卷积层S1至S9，dropout层Q1至Q7；P＝3，对应上变换操作P1到P3；
卷积层S1和dropout层Q1依次对编码特征进行解码第一卷积操作、解码第一激活操作和解码第一dropout操作；
卷积层S2和dropout层Q2依次对dropout层Q1的输出进行解码第二卷积操作、解码第二激活操作和解码第二dropout操作；
上变换操作P1对dropout层Q2的输出进行第一次上变换操作；
卷积层S3和dropout层Q3依次对第一次上变换操作输出与dropout层M6输出的块加特征和进行解码第三卷积操作、解码第三激活操作和解码第三dropout操作；
卷积层S4和dropout层Q4依次对dropout层Q3的输出进行解码第四卷积操作、解码第四激活操作和解码第四dropout操作；
上变换操作P2对dropout层Q4的输出进行第二次上变换操作；
卷积层S5和dropout层Q5依次对第二次上变换操作输出与dropout层M4输出的块加特征和进行解码第五卷积操作、解码第五激活操作和解码第五dropout操作；
卷积层S6和dropout层Q6依次对dropout层Q5的输出进行解码第六卷积操作、解码第六激活操作和解码第六dropout操作；
上变换操作P3对dropout层Q6的输出进行第三次上变换操作；
卷积层S7和dropout层Q7依次对第三次上变换操作输出与dropout层M2输出的块加特征和进行解码第七卷积操作、解码第七激活操作和解码第七dropout操作；
卷积层S8对dropout层Q7的输出进行解码第八卷积操作，获得去噪分数分布图；
卷积层S9对dropout层Q7的输出进行解码第九卷积操作，获得不确定性方差分布图；
解码器的最后一层包含两个卷积层，第一个解码器卷积层输出为去噪分数分布图，第二个解码卷积层输出为不确定性方差分布图。
解码第一卷积操作为256个3×3×256、步长为1的卷积操作；
解码第二卷积操作为512个3×3×256、步长为1的卷积操作；
解码第一到第二卷积操作对象分辨率大小为m/8×n/8；
解码第三卷积操作为128个3×3×128、步长为1的卷积操作；
解码第四卷积操作为256个3×3×128、步长为1的卷积操作；
解码第三到第四卷积操作对象分辨率大小为m/4×n/4；
解码第五卷积操作为64个3×3×64、步长为1的卷积操作；
解码第六卷积操作为128个3×3×64、步长为1的卷积操作；
解码第五到第六卷积操作对象分辨率大小为m/2×n/2；
解码第七卷积操作为32个3×3×32、步长为1的卷积操作；
解码第八卷积操作为3个3×3×32、步长为1的卷积操作；
解码第九卷积操作为3个3×3×32、步长为1的卷积操作；
解码第七到第九卷积操作对象分辨率大小为m×n；
解码第一激活操作至解码第七激活操作均采用ReLU函数。
本实施方式中，不确定性得分估计网络引入贝叶斯深度网络；链接后图像经编码器的卷积+dropout模块得到一级变换特征后，使用池化层进行下采样操作；多次下采样后得到小尺度的深度特征。小尺度特征再次经解码器的上采样操作、卷积+dropout模块以由低到高、层层转换的形式恢复到高分辨率特征后，由解码卷积层得到去噪结果得分的分布图；通过C次推理得到C个去噪结果的分布图，经SoftMax层后得到权重分布图，最终通过加和(去噪结果*权重分布图)得到最终的集成去噪图像。
进一步，池化下变换器的池化层采用均值池化或最大池化。本实施方式中，池化下变换操作的作用对象是卷积层E2的输出、卷积层E4的输出和卷积层E6的输出。
再进一步，上变换器的上变换层至少包括PixelShuffle、逆小波变换和步长为2卷积操作中的一种操作。上变换器操作包括3个个PixelShuffle层，作用对象是卷积层S2的输出、卷积层S4的输出和卷积层S6的输出。下变换器L1、L2、L3可分别使用不同池化层进行不同的下采样操作；上变换操作P1、P2、P3也可分别使用不同上采样操作。
再进一步，对训练好的已知去噪模型的再训练过程通过似然损失和加和损失来约束权重，确定损失函数；
损失函数
Figure BDA0003558931180000091
为：
Figure BDA0003558931180000092
式中
Figure BDA0003558931180000093
为似然损失，
Figure BDA0003558931180000094
为加和损失，λ0为权重参数；
似然损失
Figure BDA0003558931180000101
为为预测权重分布图和真实权重分布图之间的欧式距离损失、不确定性分布图的对数正则约束和全变分项三者的加和：
Figure BDA0003558931180000102
F为用于训练过程的样本对数量，f＝1，2，3，……，F；c＝1，2，3，……，C；
Figure BDA0003558931180000103
为不确定性方差分布图，
Figure BDA0003558931180000104
是第c个已知去噪模型对应的预测权重分布图，wc是第c个已知去噪模型的真实权重分布图，λTV为全变分项的权重参数，T V为全变分项；
加和损失
Figure BDA0003558931180000105
为去噪后图像和对应的高清原图像的欧氏距离损失：
Figure BDA0003558931180000106
式中zc为第c个已知去噪模型获得的去噪后图像，x为噪声图像对应的高清原图像。
本发明系统中，对训练好的已知去噪模型的再训练过程采用Adam优化算法进行端对端的训练。
具体实施例：结合图3至图7所示，采用本发明系统对图3所示噪声图像进行处理；将五幅图像进行对比可知，本发明系统适用于对多个去噪结果进行集成，能够有效利用不同去噪算法的优势，合成出较好的去噪结果，恢复纹理细节和提升视觉效果。
经仿真实验验证，采用本发明系统对一张512*512的RGB图像，估计一次得分约耗时40ms左右。因此证明本发明系统具有较高的得分速度。
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其它所述实施例中。

Claims (10)

1.一种基于不确定性网络的集成图像去噪系统，其特征在于，包括C个训练好的已知去噪模型、不确定性得分估计网络、SoftMax权重计算器和求和单元；C为正整数；
C个训练好的已知去噪模型用于分别对噪声图像进行去噪操作获得去噪后图像；
不确定性得分估计网络用于分别对每一幅去噪后图像与噪声图像进行评估，获得C个不确定性方差分布图和C个去噪分数分布图；所述不确定性方差分布图用于实现所述训练好的已知去噪模型的再训练过程；
SoftMax权重计算器用于将C个去噪分数分布图逐像素转化为对应的预测权重分布图；
求和单元用于将每一个预测权重分布图与对应去噪后图像相乘的结果进行相加，获得最终去噪图像。
2.根据权利要求1所述的基于不确定性网络的集成图像去噪系统，其特征在于，
所述不确定性得分估计网络包括编码器、池化下变换器、解码器和上变换器；
所述编码器与池化下变换器相互配合用于对每一对去噪后图像与噪声图像进行处理，获得编码特征；
解码器和上变换器相互配合用于对编码特征和跳跃式传递的编码器在编码过程中获得的部分卷积层输出特征进行处理，获得C个不确定性方差分布图和C个去噪分数分布图。
3.根据权利要求2所述的基于不确定性网络的集成图像去噪系统，其特征在于，
所述编码器包含N个卷积层，N≥2；M个dropout层，M≥1；池化下变换器包括L个池化层，L≥2。
4.根据权利要求3所述的基于不确定性网络的集成图像去噪系统，其特征在于，
设定噪声图像和去噪后图像的像素均为m×n；
N＝8，对应卷积层E1至E8；M＝8，对应dropout层M1至M8；L＝3，对应池化下变换操作L1至L3；
噪声图像和去噪后图像链接后获得链接后图像；
卷积层E1和dropout层M1以噪声图像为参考，依次对链接后图像进行编码第一卷积操作、编码第一激活操作和编码第一dropout操作；
卷积层E2和dropout层M2依次对dropout层M1的输出进行编码第二卷积操作、编码第二激活操作和编码第二dropout操作；
池化下变换操作L1对dropout层M2的输出进行第一次池化下采样操作；
卷积层E3和dropout层M3依次对第一次池化下采样操作的输出进行编码第三卷积操作、编码第三激活操作和编码第三dropout操作；
卷积层E4和dropout层M4依次对dropout层M3的输出进行编码第四卷积操作、编码第四激活操作和编码第四dropout操作；
池化下变换操作L2对dropout层M4的输出进行第二次池化下采样操作；
卷积层E5和dropout层M5依次对第二次池化下采样操作的输出进行编码第五卷积操作、编码第五激活操作和编码第五dropout操作；
卷积层E6和dropout层M6依次对dropout层M5的输出进行编码第六卷积操作、编码第六激活操作和编码第六dropout操作；
池化下变换操作L3对dropout层M6的输出进行第三次池化下采样操作；
卷积层E7和dropout层M7依次对第三次池化下采样操作的输出进行编码第七卷积操作、编码第七激活操作和编码第七dropout操作；
卷积层E8和dropout层M8依次对dropout层M7的输出进行编码第八卷积操作、编码第八激活操作和编码第八dropout操作，获得编码特征；
其中编码第一卷积操作为32个3×3×6、步长为1的卷积操作；
编码第二卷积操作为32个3×3×32、步长为1的卷积操作；
编码第一到第二卷积操作对象分辨率大小为m×n；
编码第三卷积操作为64个3×3×32、步长为1的卷积操作；
编码第四卷积操作为64个3×3×64、步长为1的卷积操作；
编码第三到第四卷积操作对象分辨率大小为m/2×n/2；
编码第五卷积操作为128个3×3×64、步长为1的卷积操作；
编码第六卷积操作为128个3×3×128、步长为1的卷积操作；
编码第五到第六卷积操作对象分辨率大小为m/4×n/4；
编码第七卷积操作为256个3×3×128、步长为1的卷积操作；
编码第八卷积操作为256个3×3×256、步长为1的卷积操作；
编码第七到第八卷积操作对象分辨率大小为m/8×n/8；
编码第一激活操作至第八激活操作均采用ReLU函数。
5.根据权利要求4所述的基于不确定性网络的集成图像去噪系统，其特征在于，
解码器包含N+1个卷积层；上变换器包括P个上变换层，P≥2。
6.根据权利要求5所述的基于不确定性网络的集成图像去噪系统，其特征在于，
解码器包括卷积层S1至S9，dropout层Q1至Q7；P＝3，对应上变换操作P1到P3；
卷积层S1和dropout层Q1依次对编码特征进行解码第一卷积操作、解码第一激活操作和解码第一dropout操作；
卷积层S2和dropout层Q2依次对dropout层Q1的输出进行解码第二卷积操作、解码第二激活操作和解码第二dropout操作；
上变换操作P1对dropout层Q2的输出进行第一次上变换操作；
卷积层S3和dropout层Q3依次对第一次上变换操作输出与dropout层M6输出的块加特征和进行解码第三卷积操作、解码第三激活操作和解码第三dropout操作；
卷积层S4和dropout层Q4依次对dropout层Q3的输出进行解码第四卷积操作、解码第四激活操作和解码第四dropout操作；
上变换操作P2对dropout层Q4的输出进行第二次上变换操作；
卷积层S5和dropout层Q5依次对第二次上变换操作输出与dropout层M4输出的块加特征和进行解码第五卷积操作、解码第五激活操作和解码第五dropout操作；
卷积层S6和dropout层Q6依次对dropout层Q5的输出进行解码第六卷积操作、解码第六激活操作和解码第六dropout操作；
上变换操作P3对dropout层Q6的输出进行第三次上变换操作；
卷积层S7和dropout层Q7依次对第三次上变换操作输出与dropout层M2输出的块加特征和进行解码第七卷积操作、解码第七激活操作和解码第七dropout操作；
卷积层S8对dropout层Q7的输出进行解码第八卷积操作，获得去噪分数分布图；
卷积层S9对dropout层Q7的输出进行解码第九卷积操作，获得不确定性方差分布图；
解码第一卷积操作为256个3×3×256、步长为1的卷积操作；
解码第二卷积操作为512个3×3×256、步长为1的卷积操作；
解码第一到第二卷积操作对象分辨率大小为m/8×n/8；
解码第三卷积操作为128个3×3×128、步长为1的卷积操作；
解码第四卷积操作为256个3×3×128、步长为1的卷积操作；
解码第三到第四卷积操作对象分辨率大小为m/4×n/4；
解码第五卷积操作为64个3×3×64、步长为1的卷积操作；
解码第六卷积操作为128个3×3×64、步长为1的卷积操作；
解码第五到第六卷积操作对象分辨率大小为m/2×n/2；
解码第七卷积操作为32个3×3×32、步长为1的卷积操作；
解码第八卷积操作为3个3×3×32、步长为1的卷积操作；
解码第九卷积操作为3个3×3×32、步长为1的卷积操作；
解码第七到第九卷积操作对象分辨率大小为m×n；
解码第一激活操作至解码第七激活操作均采用ReLU函数。
7.根据权利要求6所述的基于不确定性网络的集成图像去噪系统，其特征在于，
池化下变换器的池化层采用均值池化或最大池化。
8.根据权利要求7所述的基于不确定性网络的集成图像去噪系统，其特征在于，
上变换器的上变换层至少包括PixelShuffle、逆小波变换和步长为2卷积操作中的一种操作。
9.根据权利要求8所述的基于不确定性网络的集成图像去噪系统，其特征在于，
对训练好的已知去噪模型的再训练过程通过似然损失和加和损失来约束权重，确定损失函数；
损失函数
Figure FDA0003558931170000041
为：
Figure FDA0003558931170000042
式中
Figure FDA0003558931170000043
为似然损失，
Figure FDA0003558931170000044
为加和损失，λ0为权重参数；
似然损失
Figure FDA0003558931170000045
为：
Figure FDA0003558931170000046
F为用于训练过程的样本对数量，f＝1，2，3，……，F；c＝1，2，3，……，C；
Figure FDA0003558931170000047
为不确定性方差分布图，
Figure FDA0003558931170000048
是第c个已知去噪模型对应的预测权重分布图，wc是第c个已知去噪模型的真实权重分布图，λTV为全变分项的权重参数，T V为全变分项；
加和损失
Figure FDA0003558931170000049
为：
Figure FDA00035589311700000410
式中zc为第c个已知去噪模型获得的去噪后图像，x为噪声图像对应的高清原图像。
10.根据权利要求9所述的基于不确定性网络的集成图像去噪系统，其特征在于，
对训练好的已知去噪模型的再训练过程采用Adam优化算法进行端对端的训练。
CN202210283318.XA 2022-03-22 2022-03-22 基于不确定性网络的集成图像去噪系统 Active CN114663307B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210283318.XA CN114663307B (zh) 2022-03-22 2022-03-22 基于不确定性网络的集成图像去噪系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210283318.XA CN114663307B (zh) 2022-03-22 2022-03-22 基于不确定性网络的集成图像去噪系统

Publications (2)

Publication Number Publication Date
CN114663307A true CN114663307A (zh) 2022-06-24
CN114663307B CN114663307B (zh) 2023-07-04

Family

ID=82031372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210283318.XA Active CN114663307B (zh) 2022-03-22 2022-03-22 基于不确定性网络的集成图像去噪系统

Country Status (1)

Country Link
CN (1) CN114663307B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468967A (zh) * 2023-04-18 2023-07-21 北京百度网讯科技有限公司 样本图像筛选方法、装置、电子设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180240219A1 (en) * 2017-02-22 2018-08-23 Siemens Healthcare Gmbh Denoising medical images by learning sparse image representations with a deep unfolding approach
CN109285129A (zh) * 2018-09-06 2019-01-29 哈尔滨工业大学 基于卷积神经网络的图像真实噪声去除系统
CN109447990A (zh) * 2018-10-22 2019-03-08 北京旷视科技有限公司 图像语义分割方法、装置、电子设备和计算机可读介质
CN110473154A (zh) * 2019-07-31 2019-11-19 西安理工大学 一种基于生成对抗网络的图像去噪方法
CN111028163A (zh) * 2019-11-28 2020-04-17 湖北工业大学 一种基于卷积神经网络的联合图像去噪与弱光增强方法
CN111127356A (zh) * 2019-12-18 2020-05-08 清华大学深圳国际研究生院 一种图像盲去噪系统
CN111260591A (zh) * 2020-03-12 2020-06-09 武汉大学 一种基于注意力机制的图像自适应去噪方法
CN111353958A (zh) * 2020-02-28 2020-06-30 北京东软医疗设备有限公司 图像处理方法、装置及系统
US20210074036A1 (en) * 2018-03-23 2021-03-11 Memorial Sloan Kettering Cancer Center Deep encoder-decoder models for reconstructing biomedical images
US20210125313A1 (en) * 2019-10-25 2021-04-29 Samsung Electronics Co., Ltd. Image processing method, apparatus, electronic device and computer readable storage medium
WO2021114761A1 (zh) * 2019-12-13 2021-06-17 苏州美糯爱医疗科技有限公司 一种电子听诊器的肺部啰音人工智能实时分类方法、系统、装置及可读存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180240219A1 (en) * 2017-02-22 2018-08-23 Siemens Healthcare Gmbh Denoising medical images by learning sparse image representations with a deep unfolding approach
US20210074036A1 (en) * 2018-03-23 2021-03-11 Memorial Sloan Kettering Cancer Center Deep encoder-decoder models for reconstructing biomedical images
CN109285129A (zh) * 2018-09-06 2019-01-29 哈尔滨工业大学 基于卷积神经网络的图像真实噪声去除系统
CN109447990A (zh) * 2018-10-22 2019-03-08 北京旷视科技有限公司 图像语义分割方法、装置、电子设备和计算机可读介质
CN110473154A (zh) * 2019-07-31 2019-11-19 西安理工大学 一种基于生成对抗网络的图像去噪方法
US20210125313A1 (en) * 2019-10-25 2021-04-29 Samsung Electronics Co., Ltd. Image processing method, apparatus, electronic device and computer readable storage medium
CN111028163A (zh) * 2019-11-28 2020-04-17 湖北工业大学 一种基于卷积神经网络的联合图像去噪与弱光增强方法
WO2021114761A1 (zh) * 2019-12-13 2021-06-17 苏州美糯爱医疗科技有限公司 一种电子听诊器的肺部啰音人工智能实时分类方法、系统、装置及可读存储介质
CN111127356A (zh) * 2019-12-18 2020-05-08 清华大学深圳国际研究生院 一种图像盲去噪系统
CN111353958A (zh) * 2020-02-28 2020-06-30 北京东软医疗设备有限公司 图像处理方法、装置及系统
CN111260591A (zh) * 2020-03-12 2020-06-09 武汉大学 一种基于注意力机制的图像自适应去噪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭恒意;贾振堂;: "结合残差密集块的卷积神经网络图像去噪方法", no. 07 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116468967A (zh) * 2023-04-18 2023-07-21 北京百度网讯科技有限公司 样本图像筛选方法、装置、电子设备及存储介质
CN116468967B (zh) * 2023-04-18 2024-04-16 北京百度网讯科技有限公司 样本图像筛选方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN114663307B (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
CN110363716B (zh) 一种基于条件生成对抗网络复合降质图像高质量重建方法
CN111582483B (zh) 基于空间和通道联合注意力机制的无监督学习光流估计方法
CN109360171B (zh) 一种基于神经网络的视频图像实时去模糊方法
CN106127688B (zh) 一种超分辨率图像重建方法及其系统
CN110223234A (zh) 基于级联收缩扩张的深度残差网络图像超分辨率重建方法
CN111986084A (zh) 一种基于多任务融合的多相机低光照图像质量增强方法
CN109949217B (zh) 基于残差学习和隐式运动补偿的视频超分辨率重建方法
CN115035171B (zh) 基于自注意力导向特征融合的自监督单目深度估计方法
CN116030537B (zh) 基于多分支注意力图卷积的三维人体姿态估计方法
CN116486074A (zh) 一种基于局部和全局上下文信息编码的医学图像分割方法
CN116402679A (zh) 一种轻量级红外超分辨率自适应重建方法
CN117408924A (zh) 一种基于多重语义特征融合网络的低光照图像增强方法
CN114663307B (zh) 基于不确定性网络的集成图像去噪系统
CN117422653A (zh) 一种基于权重共享和迭代数据优化的低光照图像增强方法
CN113538402B (zh) 一种基于密度估计的人群计数方法及系统
CN115131229A (zh) 图像降噪、滤波数据处理方法、装置和计算机设备
CN114022356A (zh) 基于小波域的河道流量水位遥感图像超分辨率方法与系统
CN115311149A (zh) 图像去噪方法、模型、计算机可读存储介质及终端设备
Miao et al. Snapshot compressive imaging using domain-factorized deep video prior
Huang et al. Image restoration from patch-based compressed sensing measurement
CN115409697A (zh) 一种图像处理方法及相关装置
CN108550111A (zh) 一种基于多级字典学习的残差实例回归超分辨重建方法
CN112862675A (zh) 时空超分辨率的视频增强方法和系统
CN114820395B (zh) 一种基于多领域信息融合的水下图像增强方法
Cao et al. Super-resolution algorithm through neighbor embedding with new feature selection and example training

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant