CN117710240A - 一种自监督图像去噪方法、系统、装置及可读存储介质 - Google Patents
一种自监督图像去噪方法、系统、装置及可读存储介质 Download PDFInfo
- Publication number
- CN117710240A CN117710240A CN202311745585.5A CN202311745585A CN117710240A CN 117710240 A CN117710240 A CN 117710240A CN 202311745585 A CN202311745585 A CN 202311745585A CN 117710240 A CN117710240 A CN 117710240A
- Authority
- CN
- China
- Prior art keywords
- blind spot
- image
- spot network
- downsampling
- denoising
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 230000000295 complement effect Effects 0.000 claims abstract description 91
- 238000012360 testing method Methods 0.000 claims abstract description 43
- 230000008521 reorganization Effects 0.000 claims abstract description 33
- 238000012549 training Methods 0.000 claims abstract description 30
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 28
- 230000006798 recombination Effects 0.000 claims description 11
- 238000005215 recombination Methods 0.000 claims description 11
- 230000000873 masking effect Effects 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 8
- 238000010200 validation analysis Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012805 post-processing Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 2
- 238000011084 recovery Methods 0.000 abstract description 12
- 239000013589 supplement Substances 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 239000012535 impurity Substances 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明提出的一种自监督图像去噪方法、系统、装置及可读存储介质，所述方法包括：构造含噪图像的数据集；利用非对称下采样盲点网络框架构造互补盲点网络框架，并在互补盲点网络框架中设置掩码映射器分支和具有分块随机置乱的增强像素重组下采样分支；在互补盲点网络框架中，将掩码映射器分支和增强像素重组下采样分支进行组合，在盲点网络中增设判断条件参数，生成互补盲点网络；利用Adam优化器训练互补盲点网络；利用测试数据集，通过对不同下采样步长的结果进行加权平均来获得最终去噪结果。本发明能够补充盲点网络中缺失像素的信息，消除在下采样中产生的混叠伪影，平衡图像纹理区域与平坦区域之间的恢复差距，提高网络的去噪性能。
Description
技术领域
本发明涉及图像处理技术领域，更具体的说是涉及一种自监督图像去噪方法、系统、装置及可读存储介质。
背景技术
在图像的采集和传输过程中，原始图像往往被设备和传输通道引入的噪声所干扰，产生信息的失真，造成图像信号的误差，大大降低所捕获图像的质量，进而影响图像后续的处理、分析、传输和存储，从而给后续的下游任务，如图像分割，目标识别，边缘提取等带来不利影响。因此，图像去噪是低层视觉任务的一个基础研究课题，图像去噪技术在获得更高质量的数字图像方面发挥着重要作用。目前，用于解决图像去噪任务的算法可分为两类：传统的优化方法和基于深度学习的方法。
传统的图像去噪技术根据噪声信号的统计和分布特性可以分为空间域方法和变换域方法。空间域方法用于处理二维空间域中的噪声，主要有高斯滤波方法，双边滤波方法和中值滤波方法等。滤波器方法通常利用图像块的自相似特性进行去噪，通过采集某个像素周围若干像素的信息来恢复像素值。例如，高斯滤波方法是基于高斯函数的概念和性质，距离中心像素越远的像素值对新值的贡献度越小，当对图像中的像素进行加权平均处理时，靠近中心像素的邻居像素对其影响较大，而远离中心像素的像素影响较小。因此，高斯滤波可以起到平滑图像并去除部分噪声的作用，同时还能保留图像中的边缘和细节。具体来说，高斯滤波是通过一个矩阵来实现的，矩阵的值是由高斯函数计算，高斯函数在中心点处取得最大值，随着像素距离的增加而减小。矩阵的大小和参数取决于处理的图像和期望达到的效果，需要人工手动进行调整，此外，当图像噪声逐渐增大时，会出现过拟合问题，损害去噪后图像的细节，导致图像过于平滑。
随着卷积神经网络(CNN)的发展，基于深度学习的去噪算法与传统的图像去噪方法相比取得了重大进展。监督去噪方法通常依赖于具有合成的加性高斯白噪声(AWGN)的大量标记的干净噪声图像对来训练神经网络，因此面对难以收集干净图像的的真实图像集来说，监督方法的性能就大打折扣了。
常见的基于自监督学习的盲点网络(Blind-Spot Network)缓解了真实图像收集的问题，它可以实现仅从单个噪声图像中学习去噪，盲点网络的思想是利用空间邻域的像素来预测中心像素，从而避免与噪声图像本身恒等映射。然而，盲点网络排除了接受野的中心像素，从而丢失了大量中心像素的有效信息，使恢复图像的纹理细节受到破坏。总之，AWGN与真实世界噪声之间的差距以及缺乏足够的真实图像的干净噪声对来训练网络，这两点限制严重降低了监督去噪方法在真实世界图像去噪中的性能。由于真实图像是通过图像信号处理(Image Signal Processor)管道捕获的，导致现实世界的噪声通常是信号相关的和空间相关的，图像信号处理还包括许多非线性操作，这可能会使噪声分布复杂化。因此，由于摄像机内图像信号处理管道的影响，真实图像的噪声分布难以预测，对真实图像进行噪声建模是非常困难和具有挑战性的。虽然有许多自监督深度学习去噪方法优于监督方法并解决了数据收集问题，但其中一些方法在应用于真实数据集时是无效的，因为这些盲点网络是严格遵循像素级独立噪声假设的，这降低了噪声相关的真实图像去噪的上限。近年来，为了削弱噪声的像素级空间相关性，像素重组下采样(Pixel-shuffle Down-sampling)被提出，并引起了广泛关注。为了使真实图像去噪器更有效，一些网络利用了像素重组下采样操作来消除真实世界噪声中的空间相关性，将其应用到盲点网络使真实图像也能在一定程度上满足盲点网络的条件。但是这种下采样方法会对去噪图像引入不令人愉悦的伪影杂质，破坏图像的全局结构，损失图像的细节纹理，降低图像恢复质量。
发明内容
针对以上问题，本发明的目的在于提供一种自监督图像去噪方法、系统、装置及可读存储介质，能够补充盲点网络中缺失像素的信息，消除在下采样中产生的混叠伪影，平衡图像纹理区域与平坦区域之间的恢复差距，提高网络的去噪性能。
本发明为实现上述目的，通过以下技术方案实现：
第一方面，本发明公开了一种自监督图像去噪方法，包括：
构造含噪图像的数据集，数据集包括训练数据集、验证数据集和测试数据集；利用非对称下采样盲点网络框架构造互补盲点网络框架，并在互补盲点网络框架中设置掩码映射器分支和具有分块随机置乱的增强像素重组下采样分支；在互补盲点网络框架中，将掩码映射器分支和增强像素重组下采样分支进行组合，在盲点网络中增设判断条件参数，生成互补盲点网络；
利用Adam优化器训练互补盲点网络；
利用测试数据集，通过对不同下采样步长的结果进行加权平均来获得最终去噪结果，以完成互补盲点网络的测试；
采集含噪图像，并利用测试后的互补盲点网络进行去噪处理。
进一步，所述在互补盲点网络框架中设置掩码映射器分支和像素重组下采样分支，包括：
在互补盲点网络框架中设置掩码映射器分支，在掩码映射器分支中，利用全局掩码器在固定位置对含噪图像的像素设置盲点，将处理后的图像输入互补盲点网络，只通过两条不同膨胀卷积步长的特征提取路径处理，互补盲点网络的输出像素通过全局映射器映射回原始位置，得到掩码映射器分支的输出。
进一步，所述在互补盲点网络框架中设置掩码映射器分支和像素重组下采样分支，还包括：
在互补盲点网络框架中设置增强像素重组下采样分支，在增强像素重组下采样分支中，增加一个下采样后处理操作：分块随机置乱；首先将噪声图像经过像素重组下采样得到的子图像聚合成与原始图像大小相同的子图像；经过分块随机置乱操作，根据下采样的步长对图像进行分块，随机打乱下采样后的子图像位置，并输入到互补盲点网络中，经过掩蔽卷积设置盲点和与两条具有不同膨胀卷积步长的特征提取路径进行处理后，互补盲点网络的输出经过分块复原操作恢复到原始的子图像排列；经过上采样操作返回到像素的原始位置，最终得到增强像素重组下采样分支的输出。
进一步，所述在互补盲点网络框架中，将掩码映射器分支和像素重组下采样分支进行组合，生成互补盲点网络，包括：
互补盲点网络框架中，将掩码映射器分支、增强像素重组下采样分支和可选择掩蔽卷积的盲点网络进行组合，在盲点网络中增设判断条件参数，生成互补盲点网络。
进一步，所述利用Adam优化器训练互补盲点网络，包括：
将掩码映射器分支和增强像素重组下采样分支的输出互相约束作为全局优化，利用Adam优化器对互补盲点网络进行训练；
设置初始学习率为0.0001，并采用L1正则化作为训练损失约束两个分支的输出；当损失稳定后，保存网络权重，并完成训练。
进一步，所述利用测试数据集，通过对不同下采样步长的结果进行加权平均来获得最终去噪结果，以完成互补盲点网络的测试，包括：
在测试数据中，提取测试数据经过步长不同的像素重组下采样处理，并输入到互补盲点网络中设置盲点；
对相应步长分支的去噪图像进行上采样操作，将图像恢复到原始大小，得到不同步长的去噪结果；
通过将去噪结果进行加权平均得到最终复原图像。
进一步，所述构造含噪图像的数据集，包括：
获取智能手机中的图像去噪数据集；
在图像去噪数据集中选取SIDD Medium数据集中的sRGB图像，并裁剪成120×120大小，作为训练数据集；
在图像去噪数据集中选取SIDD Validation数据集中的sRGB图像，采集1280个大小为256×256的噪声图像，作为训练数据集；
在图像去噪数据集中选取SIDD Benchmark数据集，利用SIDD结果评估网站进行评估后，作为测试数据集。
第二方面，本发明还公开了一种自监督图像去噪系统，包括：
数据集构造模块，配置用于构造含噪图像的数据集，数据集包括训练数据集、验证数据集和测试数据集；
网络架构构造模块，配置用于利用非对称下采样盲点网络框架构造互补盲点网络框架，并在互补盲点网络框架中设置掩码映射器分支和具有分块随机置乱的增强像素重组下采样分支；
网络生成模块，配置用于在互补盲点网络框架中，将掩码映射器分支和增强像素重组下采样分支进行组合，在盲点网络中增设判断条件参数，生成互补盲点网络；
网络训练模块，配置用于利用Adam优化器训练互补盲点网络；
网络测试模块，配置用于利用测试数据集，通过对不同下采样步长的结果进行加权平均来获得最终去噪结果，以完成互补盲点网络的测试；
去噪处理模块，配置用于采集含噪图像，并利用测试后的互补盲点网络进行去噪处理。
第三方面，本发明还公开了一种自监督图像去噪装置，包括：
存储器，用于存储自监督图像去噪程序；
处理器，用于执行所述自监督图像去噪程序时实现如上文任一项所述自监督图像去噪方法的步骤。
第四方面，本发明还公开了一种可读存储介质，所述可读存储介质上存储有自监督图像去噪程序，所述自监督图像去噪程序被处理器执行时实现如上文任一项所述自监督图像去噪方法的步骤。
对比现有技术，本发明有益效果在于：
1、本发明通过采用不同采样方法的双分支架构让盲点网络学习到被掩蔽卷积忽略的中心像素的信息，以此保留图像的更多细节，双分支的输出通过重可见损失约束，能够互相优化，缓解了伪影杂质带来的负面效果。
2.本发明基于像素重组下采样的特点，利用图像分块随机置乱的方法，能够在像素重组下采样操作之后，将图像进行块级随机重新排列，增强像素的独立性的同时又不会产生各种伪影。
3、本发明通过对不同下采样步长结果的加权平均的方法来综合最终的恢复结果，缩小了由下采样步长不同而导致的去噪图像中平坦区域与纹理区域之间的恢复差距，以此得到最优的去噪结果。
由此可见，本发明与现有技术相比，具有突出的实质性特点和显著的进步，其实施的有益效果也是显而易见的。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本发明的方法流程图。
图2是本发明的互补盲点网络框架的结构示意图。
图3是本发明的分块随机置乱操作的原理示意图。
图4是本发明的不同下采样步长结果加权平均策略的执行过程示意图。
图5是本发明与现有去噪算法的视觉效果对比图。
图6是本发明的与现有去噪算法的PSNR和SSIM指标对比图。
图7是本发明的系统结构图。
图中，1、数据集构造模块；2、网络架构构造模块；3、网络生成模块；4、网络训练模块；5、网络测试模块；6、去噪处理模块。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1所示，本实施例提供了一种自监督图像去噪方法，包括如下步骤：
S1：构造含噪图像的数据集，数据集包括训练数据集、验证数据集和测试数据集。
在具体实施方式中，在智能手机图像去噪数据集(SIDD)中选取SIDD Medium数据集中的sRGB图像，并裁剪成120×120大小作为训练数据集，训练中不涉及任何干净图像。在去噪数据集中选取SIDD Validation数据集中的sRGB图像，包括1280个大小为256×256噪声图像，作为验证数据集。在测试阶段，在去噪数据集中选取SIDD Benchmark数据集，由于它没有提供真实图像的干净图像，因此需要将结果提交到SIDD结果评估网站评估后作为测试数据集。
S2：利用非对称下采样盲点网络框架构造互补盲点网络框架，并在互补盲点网络框架中设置掩码映射器分支和具有分块随机置乱的增强像素重组下采样分支。
在具体实施方式中，利用传统的非对称下采样盲点网络框架构造互补盲点网络框架。互补盲点网络包括两个平行分支，分别是掩码映射器分支和增强像素重组下采样分支。在掩码映射器分支中，全局掩码器只在固定位置对含噪图像的像素设置盲点，再将处理后的图像输入盲点网络，但是跳过盲点网络的掩蔽卷积，只通过两条不同膨胀卷积步长的特征提取路径处理，网络的输出通过全局映射器映射回原始位置，得到掩码映射器分支的输出。
在增强像素重组下采样分支中，加入提出的分块随机置乱操作，进一步破坏像素的空间相关性，首先将噪声图像经过像素重组下采样得到的子图像聚合到原始图像相同大小，再经过分块随机置乱操作，打乱下采样后的子图像位置，接着输入到网络中经过掩蔽卷积设置盲点和两条具有不同膨胀卷积步长的特征提取路径，网络的输出经过分块复原操作恢复到原始的子图像排列，再经过上采样操作返回到像素的原始位置，最终得到增强像素重组下采样分支的输出。
作为示例的，构造的互补盲点网络框架C-BSN的结构如图2所示。互补盲点网络框架包括两个平行分支，分别是掩码映射器分支和增强像素重组下采样分支，两个分支共享一个可选择掩蔽卷积的互补盲点网络，具体来说，盲点网络中使用掩蔽卷积是有条件的，当下采样方式是像素重组下采样且条件参数输入为True时，盲点网络则分别采用3×3和5×5中心掩码卷积对输入设置盲点。否则，掩码映射器下采样的输出用1×1卷积进行处理。盲点网络的结构还包括特征提取模块，稠密膨胀卷积模块和特征聚合模块，特征提取和聚合模块由多个1×1的卷积层和ReLU层组成，稠密膨胀卷积模块由9个膨胀卷积组成。
掩码映射器分支的具体结构可以描述为：
M(Inoisy)＝h(B(Ω(Inoisy),False)) (1)
其中，M()表示掩码映射器分支的函数，Inoisy表示输入的含噪图像，Ω()表示生成掩蔽图像的全局掩码器，用于对噪声图像进行下采样设置盲点，h()是一个全局映射器，用于将去噪后的图像再投影到原始平面，B(x，False)表示输入不经过掩蔽卷积处理的盲点网络。
像素重组下采样分支的具体结构可以描述为：
P(Inoisy)＝PD-1(BRP-1(B(BRP(PD(Inoisy)),True))) (2)
其中，P()为像素重组下采样分支的去噪函数，PD()表示像素重组下采样操作，PD-1()表示像素重组上采样操作，用于恢复图像到原始大小，BRP()表示我们发明的随机分块置乱操作，BRP-1()表示分块复原操作，用于将打乱的块放置到原始位置，B(x，True)表示具有掩蔽卷积处理的盲点网络。
由于像素重组下采样在破坏像素空间相关性的过程中，也会给去噪图像带来混叠伪影，降低了去噪性能。因此，我们针对两个分支的输出，引入一个重可见损失，用来最小化掩码映射器分支输出和像素重组下采样分支输出之间的距离。重可见损失Lre-visible可形成如下形式：
Lre-visible＝||M(Inoisy)-P(Inoisy)||1 (3)
总的损失函数如下：
Lpd＝||P(Inoisy)-Inoisy||1 (4)
Lself＝||M(Inoisy)-Inoisy||1 (5)
Ltotal＝Lpd+Lre-visible+Lself (6)
其中，Lpd表示像素重组下采样的输出与噪声图像之间的约束损失，Lself表示掩码映射器分支的输出与噪声图像之间的损失，最终的损失Ltotal是三个损失的直接相加。
由于通过传统的非对称像素重组下采样盲点网络(AP-BSN)恢复的图像会遭受缺失像素和伪影的影响，导致图像细节丢失，纹理被破坏。本方法的互补盲点网络(C-BSN)为了解决这两点限制，在保留像素重组下采样盲点网络分支的同时，增加了一个新的下采样分支，采用全局掩码器处理噪声图像，提前设置盲点，在盲点网络中不通过掩蔽卷积处理，这样既避免了大量伪影的产生又补充了掩蔽卷积抛弃的中心像素的信息，分支输出结果通过重可见损失的限制也可以促进主要去噪结果的优化，以此提高去噪质量。
此外，噪声的相关性越弱，越贴近盲点网络的像素独立性假设，盲点网络学习的效果越好，因此在传统的下采样-盲点网络分支中，本方法包含了一个新提出的下采样后处理方法，即分块随机置乱操作(BRP)，BRP的原理如图3所示，通过将下采样后的图片分块随机打乱放置来进一步增大噪声的空间相关性，既破坏了像素的空间相关性，又避免产生更多的混叠伪影
S3：在互补盲点网络框架中，将掩码映射器分支和增强像素重组下采样分支进行组合，在盲点网络中增设判断条件参数，生成互补盲点网络。
在具体实施方式中，基于非对称下采样盲点网络框架，组合掩码映射器分支、像素重组下采样分支和可选择掩蔽卷积的盲点网络作为互补盲点网络。
S4：利用Adam优化器训练互补盲点网络。
在具体实施方式中，掩码映射器分支和像素重组下采样分支的输出互相约束作为全局优化，导入训练数据集，利用Adam优化器进行训练。初始学习率为0.0001，学习率按指数衰减。采用L1正则化作为训练损失约束两个分支的输出，待损失稳定后，保存网络权重完成训练。
S5：利用测试数据集，通过对不同下采样步长的结果进行加权平均来获得最终去噪结果，以完成互补盲点网络的测试。
在具体实施方式中，将测试数据经过步长不同的像素重组下采样处理，输入到互补盲点网络中设置盲点，再对相应步长分支的去噪图像进行上采样操作，得到不同步长的去噪结果，最后将他们加权平均得到最终复原图像。
作为示例的，如图4所示，将多步长采样结果加权平均策略应用在测试阶段。具体的，分别使用步长为1，2，5的下采样步长对噪声图像进行降采样，经过互补盲点网络学习后，再用相应步长的上采样操作将图像恢复到原始大小，最后，对三个分支的输出进行加权平均，得到最终的恢复结果。不同步长结果加权平均的过程可以描述为：
式中，ys表示在像素重组下采样中步长为s的输出结果，为了最大化保留图像细节，改善混叠伪影带来的不良影响，我们将步幅分别设置为1、2、5，最终的去噪结果如下：
MPD(ys，λ1，λ2)＝λ2·[λ1Ly1+(1-λ1)·y5]+(1-λ2)y2 (8)
其中，MPD()表示得到最终输出的测试函数，y1是不进行像素重组下采样操作的去噪结果，y2是下采样步长为2的去噪结果，y5是下采样步长为5的去噪结果，超参数λ1和λ2表示不同步长结果的权重。
可见，本步骤通过不同的下采样步长对噪声图像进行处理，对得到的恢复结果进行加权平均以此获得最优输出。
在最后的测试阶段，由于不同的下采样步长对含噪图像的恢复效果不同，尤其是针对图像不同类型的区域，我们发现下采样步长越大对图像平坦区域恢复效果越好，步长越小对图像纹理区域恢复效果越好，因此本方法将不同下采样步长的结果加权平均，缩小纹理区域与平坦区域之间的恢复差距。与单一步长的下采样测试方法相比，该策略基于不同下采样步长的效果平均了图像平坦区域和纹理区域之间的恢复结果。
S6：采集含噪图像，并利用测试后的互补盲点网络进行去噪处理。
利用本方法进行图像去噪后，可发现本方法利用互补盲点网络大大降低了噪声。图5提供了本方法与现有技术的去噪视觉效果对比图。从视觉效果来看，本方法的互补盲点网络大大降低了噪声，消除了因像素重组下采样而产生的棋盘格和马赛克等杂质，缓解了混叠伪影的影响，并保留了图像的全局结构和纹理细节。
进一步，为了更好的体现出本发明的去噪效果，可通过如下对比实验进行验证：
对比实验方案：本发明与基于自监督学习的去噪网络CVF-SID和非对称下采样盲点网络的自监督去噪方法AP-BSN在SIDD数据集下进行PSNR和SSIM对比，PSNR值越高代表去噪图像的像素值与原图像的像素值差距越小，SSIM值越高说明去噪图像和原图像的结构越相似，也就代表去噪性能越强。
实验条件：测试图像为真实图像数据集SIDD。测试指标为PSNR和SSIM，本发明在训练阶段不涉及任何干净图像。
实验结果：图6提供了不同方法在SIDD数据集上的去噪性能。可以看出本发明大幅领先CVF-SID和AP-BSN。
综上，本发明通过可选择掩蔽卷积的盲点网络和重可见约束损失，在去噪过程中抑制伪影产生，从而实现对去噪结果的进一步优化。最后，在测试阶段，本发明提出全新的对不同步长的下采样结果加权平均的策略来处理输出结果，大大提高了去噪图像的质量。
参见图7所示，本发明还公开了一种自监督图像去噪系统，包括：数据集构造模块1、网络架构构造模块2、网络生成模块3、网络训练模块4、网络测试模块5和去噪处理模块6。
数据集构造模块1，配置用于构造含噪图像的数据集，数据集包括训练数据集、验证数据集和测试数据集。
网络架构构造模块2，配置用于利用非对称下采样盲点网络框架构造互补盲点网络框架，并在互补盲点网络框架中设置掩码映射器分支和具有分块随机置乱的增强像素重组下采样分支。
网络生成模块3，配置用于在互补盲点网络框架中，将掩码映射器分支和增强像素重组下采样分支进行组合，在盲点网络中增设判断条件参数，生成互补盲点网络。
网络训练模块4，配置用于利用Adam优化器训练互补盲点网络。
网络测试模块5，配置用于利用测试数据集，通过对不同下采样步长的结果进行加权平均来获得最终去噪结果，以完成互补盲点网络的测试。
去噪处理模块6，配置用于采集含噪图像，并利用测试后的互补盲点网络进行去噪处理。
本实施例的自监督图像去噪系统的具体实施方式与上述自监督图像去噪方法的具体实施方式基本一致，在此不再赘述。
本发明还公开了一种自监督图像去噪装置，包括处理器和存储器；其中，所述处理器执行所述存储器中保存的自监督图像去噪程序时实现如上文任一项所述自监督图像去噪方法的步骤。
进一步的，本实施例中的自监督图像去噪装置，还可以包括：
输入接口，用于获取外界导入的自监督图像去噪程序，并将获取到的自监督图像去噪程序保存至所述存储器中，还可以用于获取外界终端设备传输的各种指令和参数，并传输至处理器中，以便处理器利用上述各种指令和参数展开相应的处理。本实施例中，所述输入接口具体可以包括但不限于USB接口、串行接口、语音输入接口、指纹输入接口、硬盘读取接口等。
输出接口，用于将处理器产生的各种数据输出至与其相连的终端设备，以便于与输出接口相连的其他终端设备能够获取到处理器产生的各种数据。本实施例中，所述输出接口具体可以包括但不限于USB接口、串行接口等。
通讯单元，用于在自监督图像去噪装置和外部服务器之间建立远程通讯连接，以便于自监督图像去噪装置能够将镜像文件挂载到外部服务器中。本实施例中，通讯单元具体可以包括但不限于基于无线通讯技术或有线通讯技术的远程通讯单元。
键盘，用于获取用户通过实时敲击键帽而输入的各种参数数据或指令。
显示器，用于运行自监督图像去噪过程的相关信息进行实时显示。
鼠标，可以用于协助用户输入数据并简化用户的操作。
本发明还公开了一种可读存储介质，这里所说的可读存储介质包括随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动硬盘、CD-ROM或技术领域内所公知的任意其他形式的存储介质。可读存储介质中存储有自监督图像去噪程序，所述自监督图像去噪程序被处理器执行时实现如上文任一项所述自监督图像去噪方法的步骤。
综上所述，本发明能够补充盲点网络中缺失像素的信息，消除在下采样中产生的混叠伪影，平衡图像纹理区域与平坦区域之间的恢复差距，提高网络的去噪性能。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的方法而言，由于其与实施例公开的系统相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。
同理，在本发明各个实施例中的各处理单元可以集成在一个功能模块中，也可以是各个处理单元物理存在，也可以两个或两个以上处理单元集成在一个功能模块中。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的自监督图像去噪方法、系统、装置及可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (10)
1.一种自监督图像去噪方法，其特征在于，包括：
构造含噪图像的数据集，数据集包括训练数据集、验证数据集和测试数据集；利用非对称下采样盲点网络框架构造互补盲点网络框架，并在互补盲点网络框架中设置掩码映射器分支和具有分块随机置乱的增强像素重组下采样分支；
在互补盲点网络框架中，将掩码映射器分支和增强像素重组下采样分支进行组合，在盲点网络中增设判断条件参数，生成互补盲点网络；
利用Adam优化器训练互补盲点网络；
利用测试数据集，通过对不同下采样步长的结果进行加权平均来获得最终去噪结果，以完成互补盲点网络的测试；
采集含噪图像，并利用测试后的互补盲点网络进行去噪处理。
2.根据权利要求1所述的自监督图像去噪方法，其特征在于，所述在互补盲点网络框架中设置掩码映射器分支和具有分块随机置乱的增强像素重组下采样分支，包括：
在互补盲点网络框架中设置掩码映射器分支，在掩码映射器分支中，利用全局掩码器在固定位置对含噪图像的像素设置盲点，将处理后的图像输入互补盲点网络，只通过两条不同膨胀卷积步长的特征提取路径处理，互补盲点网络的输出像素通过全局映射器映射回原始位置，得到掩码映射器分支的输出。
3.根据权利要求2所述的自监督图像去噪方法，其特征在于，所述在互补盲点网络框架中设置掩码映射器分支和具有分块随机置乱的增强像素重组下采样分支，还包括：
在互补盲点网络框架中设置增强像素重组下采样分支，在增强像素重组下采样分支中，增加一个下采样后处理操作：分块随机置乱；首先将噪声图像经过像素重组下采样得到的子图像聚合成原始图像大小；经过分块随机置乱操作，根据下采样的步长对图像进行分块，随机打乱下采样后的子图像位置，并输入到互补盲点网络中，经过掩蔽卷积设置盲点和与两条具有不同膨胀卷积步长的特征提取路径进行处理后，互补盲点网络的输出经过分块复原操作恢复到原始的子图像排列；再经过上采样操作返回到像素的原始位置，最终得到增强像素重组下采样分支的输出。
4.根据权利要求3所述的自监督图像去噪方法，其特征在于，所述在互补盲点网络框架中，将掩码映射器分支和增强像素重组下采样分支进行组合，在盲点网络中增设判断条件参数，生成互补盲点网络，包括：
互补盲点网络框架中，将掩码映射器分支、增强像素重组下采样分支和可选择掩蔽卷积的盲点网络进行组合，生成互补盲点网络。
5.根据权利要求4所述的自监督图像去噪方法，其特征在于，所述利用Adam优化器训练互补盲点网络，包括：
将掩码映射器分支和像素重组下采样分支的输出互相约束作为全局优化，利用Adam优化器对互补盲点网络进行训练；
设置初始学习率为0.0001，并采用L1正则化作为训练损失约束两个分支的输出；当损失稳定后，保存网络权重，并完成训练。
6.根据权利要求5所述的自监督图像去噪方法，其特征在于，所述利用测试数据集，通过对不同下采样步长的结果进行加权平均来获得最终去噪结果，以完成互补盲点网络的测试，包括：
在测试数据中，提取测试数据经过步长不同的像素重组下采样处理，并输入到互补盲点网络中设置盲点；
对相应步长分支的去噪图像进行上采样操作，将图像恢复到原始大小，得到不同步长的去噪结果；
通过将去噪结果进行加权平均得到最终复原图像。
7.根据权利要求1所述的自监督图像去噪方法，其特征在于，所述构造含噪图像的数据集，包括：
获取智能手机中的图像去噪数据集；
在图像去噪数据集中选取SIDD Medium数据集中的sRGB图像，并裁剪成120×120大小，作为训练数据集；
在图像去噪数据集中选取SIDD Validation数据集中的sRGB图像，采集1280个大小为256×256的噪声图像，作为训练数据集；
在图像去噪数据集中选取SIDD Benchmark数据集，利用SIDD结果评估网站进行评估后，作为测试数据集。
8.一种自监督图像去噪系统，其特征在于，包括：
数据集构造模块，配置用于构造含噪图像的数据集，数据集包括训练数据集、验证数据集和测试数据集；
网络架构构造模块，配置用于利用非对称下采样盲点网络框架构造互补盲点网络框架，并在互补盲点网络框架中设置掩码映射器分支和具有分块随机置乱的增强像素重组下采样分支；
网络生成模块，配置用于在互补盲点网络框架中，将掩码映射器分支和增强像素重组下采样分支进行组合，在盲点网络中增设判断条件参数，生成互补盲点网络；
网络训练模块，配置用于利用Adam优化器训练互补盲点网络；
网络测试模块，配置用于利用测试数据集，通过对不同下采样步长的结果进行加权平均来获得最终去噪结果，以完成互补盲点网络的测试；
去噪处理模块，配置用于采集含噪图像，并利用测试后的互补盲点网络进行去噪处理。
9.一种自监督图像去噪装置，其特征在于，包括：
存储器，用于存储自监督图像去噪程序；
处理器，用于执行所述自监督图像去噪程序时实现如权利要求1至7任一项权利要求所述的自监督图像去噪方法的步骤。
10.一种可读存储介质，其特征在于：所述可读存储介质上存储有自监督图像去噪程序，所述自监督图像去噪程序被处理器执行时实现如权利要求1至7任一项权利要求所述的自监督图像去噪方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311745585.5A CN117710240B (zh) | 2023-12-15 | 2023-12-15 | 一种自监督图像去噪方法、系统、装置及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311745585.5A CN117710240B (zh) | 2023-12-15 | 2023-12-15 | 一种自监督图像去噪方法、系统、装置及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117710240A true CN117710240A (zh) | 2024-03-15 |
| CN117710240B CN117710240B (zh) | 2024-05-24 |
Family
ID=90149420
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311745585.5A Active CN117710240B (zh) | 2023-12-15 | 2023-12-15 | 一种自监督图像去噪方法、系统、装置及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117710240B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200242739A1 (en) * | 2019-01-24 | 2020-07-30 | Nvidia Corporation | Convolutional blind-spot architectures and bayesian image restoration |
| CN111640073A (zh) * | 2020-05-15 | 2020-09-08 | 哈尔滨工业大学 | 图像盲去噪系统 |
| CN115660981A (zh) * | 2022-10-24 | 2023-01-31 | 东北大学 | 图像去噪方法、装置、电子设备及计算机存储介质 |
| CN116051419A (zh) * | 2023-02-16 | 2023-05-02 | 西安电子科技大学 | 基于深度学习Relu和通道相关性注意力的图像去噪方法 |
| CN116703768A (zh) * | 2023-06-06 | 2023-09-05 | 上海齐感电子信息科技有限公司 | 盲点去噪网络模型的训练方法、装置、介质和设备 |
| CN116703772A (zh) * | 2023-06-15 | 2023-09-05 | 山东财经大学 | 一种基于自适应插值算法的图像去噪方法、系统及终端机 |
| CN116739932A (zh) * | 2023-06-19 | 2023-09-12 | 联通(上海)产业互联网有限公司 | 一种基于盲点自监督的图像去噪深度学习算法 |
| CN116862779A (zh) * | 2023-05-04 | 2023-10-10 | 北京理工大学 | 一种真实图像自监督去噪方法和系统 |
-
2023
- 2023-12-15 CN CN202311745585.5A patent/CN117710240B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200242739A1 (en) * | 2019-01-24 | 2020-07-30 | Nvidia Corporation | Convolutional blind-spot architectures and bayesian image restoration |
| CN111640073A (zh) * | 2020-05-15 | 2020-09-08 | 哈尔滨工业大学 | 图像盲去噪系统 |
| CN115660981A (zh) * | 2022-10-24 | 2023-01-31 | 东北大学 | 图像去噪方法、装置、电子设备及计算机存储介质 |
| CN116051419A (zh) * | 2023-02-16 | 2023-05-02 | 西安电子科技大学 | 基于深度学习Relu和通道相关性注意力的图像去噪方法 |
| CN116862779A (zh) * | 2023-05-04 | 2023-10-10 | 北京理工大学 | 一种真实图像自监督去噪方法和系统 |
| CN116703768A (zh) * | 2023-06-06 | 2023-09-05 | 上海齐感电子信息科技有限公司 | 盲点去噪网络模型的训练方法、装置、介质和设备 |
| CN116703772A (zh) * | 2023-06-15 | 2023-09-05 | 山东财经大学 | 一种基于自适应插值算法的图像去噪方法、系统及终端机 |
| CN116739932A (zh) * | 2023-06-19 | 2023-09-12 | 联通(上海)产业互联网有限公司 | 一种基于盲点自监督的图像去噪深度学习算法 |
Non-Patent Citations (1)
| Title |
|---|
| WOOSEOK LEE 等: "AP-BSN: Self-Supervised Denoising for Real-World Images via Asymmetric PD and Blind-Spot Network", 《ARXIV》, 24 March 2022 (2022-03-24), pages 1 - 16 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117710240B (zh) | 2024-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及系统 | |
| CN110517327B (zh) | 一种基于颜色校正和对比度拉伸的水下图像增强方法 | |
| CN111127336A (zh) | 一种基于自适应选择模块的图像信号处理方法 | |
| CN112164011B (zh) | 基于自适应残差与递归交叉注意力的运动图像去模糊方法 | |
| CN112884671B (zh) | 一种基于无监督生成对抗网络的模糊图像复原方法 | |
| CN111325692B (zh) | 画质增强方法、装置、电子设备和可读存储介质 | |
| CN107301662B (zh) | 深度图像的压缩恢复方法、装置、设备及存储介质 | |
| CN111784570A (zh) | 一种视频图像超分辨率重建方法及设备 | |
| CN111179189A (zh) | 基于生成对抗网络gan的图像处理方法、装置以及电子设备、存储介质 | |
| Liang et al. | Improved non-local iterative back-projection method for image super-resolution | |
| CN110211084B (zh) | 一种基于权重小波变换的图像多分辨率重建方法 | |
| CN112270646B (zh) | 基于残差密集跳跃网络的超分辨增强方法 | |
| CN110782397A (zh) | 一种图像处理方法、生成式对抗网络、电子设备及存储介质 | |
| Del Gallego et al. | Multiple-image super-resolution on mobile devices: an image warping approach | |
| CN114926336A (zh) | 视频超分辨率重建方法、装置、计算机设备及存储介质 | |
| CN111598790A (zh) | 基于对偶深度神经网络的高光谱遥感图像去噪方法 | |
| CN117710240B (zh) | 一种自监督图像去噪方法、系统、装置及可读存储介质 | |
| Hu et al. | A region-based video de-noising algorithm based on temporal and spatial correlations | |
| Chen et al. | An evolutionary game-theoretic approach for image interpolation | |
| Chen et al. | Multi-view Self-supervised Disentanglement for General Image Denoising | |
| Sung et al. | Color filter array demosaicking by using subband synthesis scheme | |
| CN115760638A (zh) | 一种基于深度学习的端到端去模糊超分辨率的方法 | |
| Zhu et al. | LLISP: Low-light image signal processing net via two-stage network | |
| Panda et al. | An efficient image interpolation using edge-error based sharpening | |
| Tayade et al. | Medical image denoising and enhancement using DTCWT and Wiener filter |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |