CN116977215A - 图像去雾方法、装置、设备和存储介质 - Google Patents
图像去雾方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN116977215A CN116977215A CN202310925907.8A CN202310925907A CN116977215A CN 116977215 A CN116977215 A CN 116977215A CN 202310925907 A CN202310925907 A CN 202310925907A CN 116977215 A CN116977215 A CN 116977215A
- Authority
- CN
- China
- Prior art keywords
- image
- time step
- defogging
- defogged
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 156
- 238000009792 diffusion process Methods 0.000 claims abstract description 128
- 230000008569 process Effects 0.000 claims abstract description 88
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000005540 biological transmission Effects 0.000 claims description 61
- 230000006870 function Effects 0.000 claims description 24
- 238000011156 evaluation Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 description 15
- 238000002834 transmittance Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域，提供一种图像去雾方法、装置、设备和存储介质，该方法包括：确定待去雾的图像的第一深度信息；根据第一时间步的数量对第一深度信息进行拆分，得到各个第一时间步各自对应的待去雾的图像的第二深度信息；利用训练后的扩散模型的逆向过程，根据第一时间步的数量和各个第一时间步各自对应的待去雾的图像的第二深度信息对待去雾的图像逐步进行去雾处理，得到第一目标去雾图像。本发明中将扩散模型与待去雾的图像的第一深度信息相结合，生成的第一目标去雾图像的细节特征充足，而且去雾处理的精度较高。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像去雾方法、装置、设备和存储介质。
背景技术
对遥感图像有效去雾以及恢复图像细节信息具有重要意义。
现有技术中，图像去雾技术中性能较为突出的为基于神经网络的去雾技术，基于神经网络的去雾技术主要是在合成的数据集上进行模型训练，也即通过清晰图像模拟出带雾图像，将该清晰图像和带雾图像合成得到的数据集作为去雾模型的训练数据，进而基于训练后的去雾模型进行图像去雾。因合成的数据集不能完全模拟真实世界图像中雾的分布，现有图像去雾方法的去雾精度较差。
发明内容
本发明提供一种图像去雾方法、装置、设备和存储介质，用以解决现有技术中去雾精度较差的缺陷，实现提高图像去雾的精度。
第一方面，本发明提供一种图像去雾方法，该方法包括：
确定待去雾的图像的第一深度信息；
根据第一时间步的数量对所述第一深度信息进行拆分，得到各个所述第一时间步各自对应的待去雾的图像的第二深度信息；
利用训练后的扩散模型的逆向过程，根据所述第一时间步的数量和各个所述第一时间步各自对应的待去雾的图像的第二深度信息对所述待去雾的图像逐步进行去雾处理，得到第一目标去雾图像。
可选地，所述第一深度信息包括所述待去雾图像对应的最大深度值和所述待去雾图像对应的最小深度值，所述根据第一时间步的数量对所述第一深度信息进行拆分，得到各个所述第一时间步各自对应的待去雾的图像的第二深度信息，包括：
根据所述最大深度值和所述最小深度值，确定第一差值；
根据所述第一时间步的数量和所述第一差值，得到各个所述第一时间步各自对应的待去雾的图像的第二深度信息。
可选地，所述利用训练后的扩散模型的逆向过程，根据所述第一时间步的数量和各个所述第一时间步各自对应的待去雾的图像的第二深度信息对所述待去雾的图像逐步进行去雾处理，得到第一目标去雾图像，包括：
针对每个所述第一时间步，利用训练后的扩散模型的逆向过程，根据所述第一时间步各自对应的待去雾的图像的第二深度信息和所述第一时间步的整数，得到所述第一时间步对应的第一去雾图像；其中，第k1-1个第一时间步对应的待去雾的图像为第k1个第一时间步对应的第一去雾图像；其中，k1为大于0小于N1的整数；N1表示所述第一时间步的数量；
根据各个所述第一时间步各自对应的第一去雾图像和所述第一时间步的数量，得到所述第一目标去雾图像。
可选地，所述利用训练后的扩散模型的逆向过程，根据所述第一时间步各自对应的待去雾的图像的第二深度信息和所述第一时间步的整数，得到所述第一时间步对应的第一去雾图像，包括：
利用训练后的扩散模型的逆向过程，根据所述第一时间步各自对应的待去雾的图像的第二深度信息、所述第一时间步的整数，得到所述第一时间步对应的第一透射信息和所述第一时间步对应的大气全局光的第一强度信息；
根据所述第一透射信息和所述第一强度信息，得到所述第一时间步对应的第一去雾图像。
可选地，所述扩散模型通过下述方法训练得到，包括：
获取第一样本图像；
根据第二时间步的数量对所述第一样本图像对应的第三深度信息进行拆分，得到各个所述第二时间步各自对应的第一样本图像的第四深度信息；
利用所述扩散模型的前向过程，根据所述第二时间步的数量和各个所述第二时间步各自对应的第一样本图像的第四深度信息，得到各个所述第二时间步各自对应的加雾图像；其中，第k2个时间步对应添加的噪声为根据第k2个第二时间步对应的第二透射信息和第k2个第二时间步对应的大气全局光的第二强度信息得到，其中，k2为大于0小于N2的整数；N2表示所述第二时间步的数量；
利用所述扩散模型的前向过程，根据各个所述第二时间步各自对应的加雾图像和所述第二时间步的数量，得到目标加雾图像；
利用所述扩散模型的逆向过程，根据所述第二时间步的数量和各个所述第二时间步各自对应的第一样本图像的第四深度信息，对所述目标加雾图像进行去雾处理，得到第二目标去雾图像；
利用目标损失函数监督所述扩散模型学习，迭代更新所述扩散模型的参数，得到所述训练后的扩散模型。
可选地，所述利用所述扩散模型的前向过程，根据所述第二时间步的数量和各个所述第二时间步各自对应的第一样本图像的第四深度信息，得到各个所述第二时间步各自对应的加雾图像，包括：
针对每个所述第二时间步，根据所述第二时间步对应的第一样本图像的第四深度信息和预设的随机参数，得到所述第二时间步对应的第二透射信息；
根据所述第二透射信息和所述第二时间步对应的大气全局光的第二强度信息，得到所述第二时间步对应的加雾图像，所述第二强度信息为预设的。
可选地，所述利用所述扩散模型的逆向过程，根据所述第二时间步的数量和各个所述第二时间步各自对应的第一样本图像的第四深度信息，对所述目标加雾图像进行去雾处理，得到第二目标去雾图像，包括：
针对每个所述第二时间步，根据所述第二时间步对应的第一样本图像的第四深度信息和所述第二时间步的数量，得到所述第二时间步对应的第三透射信息和所述第二时间步对应的大气全局光的第三强度信息；
根据所述第三透射信息和所述第三强度信息，得到所述第二时间步对应的第二去雾图像；
根据各个所述第二时间步各自对应的第二去雾图像和所述第二时间步的数量，得到第二目标去雾图像。
可选地，所述目标损失函数根据各个所述第二时间步各自对应的第三透射信息、各个所述第二时间步各自对应的第二透射信息、各个所述第二时间步各自对应的大气全局光的第三强度信息、各个所述第二时间步各自对应的第二强度信息得到。
可选地，所述方法还包括：
利用图像相似性评价指标SSIM和峰值信噪比PSNR中至少一项对所述扩散模型进行评价，得到目标评价结果。
第二方面，本发明还提供一种图像去雾装置，该装置包括：
确定模块，用于确定待去雾的图像的第一深度信息；根据第一时间步的数量对所述第一深度信息进行拆分，得到各个所述第一时间步各自对应的待去雾的图像的第二深度信息；
处理模块，用于利用训练后的扩散模型的逆向过程，根据所述第一时间步的数量和各个所述第一时间步各自对应的待去雾的图像的第二深度信息对所述待去雾的图像逐步进行去雾处理，得到第一目标去雾图像。
第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述图像去雾方法。
第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述图像去雾方法。
第五方面，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述图像去雾方法。
本发明提供的一种图像去雾方法、装置、设备和存储介质，通过确定待去雾的图像的第一深度信息，然后根据第一时间步的数量对第一深度信息进行拆分，得到各个第一时间步各自对应的待去雾的图像的第二深度信息，进而，利用训练后的扩散模型的逆向过程，根据第一时间步的数量和各个第一时间步各自对应的待去雾的图像的第二深度信息对所述待去雾的图像逐步进行去雾处理，得到第一目标去雾图像。本发明中因利用第一时间步的数量对待去雾的图像的第一深度信息进行拆分，进而，利用训练后的扩散模型的逆向过程，根据第一时间步的数量和各个第一时间步各自对应的待去雾的图像的第二深度信息对待去雾的图像逐步进行去雾处理，得到第一目标去雾图像，也即将扩散模型与待去雾的图像的第一深度信息相结合，生成的第一目标去雾图像的细节特征充足，而且去雾处理的精度较高。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的图像去雾方法的流程示意图之一；
图2是本发明提供的扩散模型的结构框架图；
图3是本发明提供的图像去雾方法的流程示意图之二；
图4是本发明提供的图像去雾装置的结构示意图；
图5是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”所区别的对象通常为一类，并不限定对象的个数，例如第一节点可以是一个，也可以是多个。说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”一般表示前后关联对象是一种“或”的关系。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
为了便于更加清晰地理解本发明提供的各实施例，首先对相关的应用场景进行如下介绍。
神经网络的发展使深度学习在图像去雾中得到了应用，目前基于神经网络的去雾研究性能较为突出的方法如下：
对遥感图像有效去雾以及恢复图像细节信息具有重要意义。
现有技术中，图像去雾技术中性能较为突出的为基于神经网络的去雾技术，基于神经网络的去雾技术主要是在合成的数据集上进行模型训练，也即通过清晰图像模拟出带雾图像，将该清晰图像和带雾图像合成得到的数据集作为去雾模型的训练数据，进而基于训练后的去雾模型进行图像去雾。因合成的数据集不能完全模拟真实世界图像中雾的分布，现有图像去雾方法的去雾精度较差。
基于上述不足，本发明提供一种能提高去雾精度的图像去雾的技术方案。
下面结合图1-图5描述本发明的图像去雾的技术方案。
图1是本发明提供的图像去雾方法的流程示意图之一，如图1所示，该方法包括：
步骤101、确定待去雾的图像的第一深度信息；
具体地，可以理解的是，图像的深度是指图像中目标物体到镜头的距离，像素的深度指的是图像中的像素点到镜头的距离。相应地，图像的最大深度是指图像中目标物体到镜头的最远距离，图像的最小深度是指图像中目标物体到镜头的最近距离。
本实施例中确定待去雾的图像的第一深度信息，例如确定待去雾的图像对应的图像的最大深度以及图像的最小深度，确定所述第一深度信息的依据可以是预设的数据集，该预设的数据集中包含多个图像以及对应的深度信息。
步骤102、根据第一时间步的数量对第一深度信息进行拆分，得到各个第一时间步各自对应的待去雾的图像的第二深度信息；
具体地，可理解的是，在图像去雾的处理过程中，根据雾层分布的规律，在图像深度值越大的区域，图像受雾层影响的程度就越深，相应地，图像去雾的难度就越大。相应地，在图像深度值越小的区域，图像受雾层影响的程度就越浅，相应地，图像去雾的难度相对较小。
在步骤101中确定了待去雾图像的第一深度信息后，例如确定了待去雾的图像对应的图像的最大深度以及图像的最小深度，可以根据第一时间步的数量对第一深度信息进行拆分，其中第一时间步的数量可以是提取预设的，得到各个第一时间各自对应的待去雾图像的第二深度信息，例如第k1个第一时间步对应的待去雾的图像对应的深度信息。例如，待去雾的图像对应的图像的最大深度为1、图像的最小深度为0，第一时间步的数量为N1，则第k1个第一时间步对应的待去雾的图像对应的深度信息为：
步骤103、利用训练后的扩散模型的逆向过程，根据第一时间步的数量和各个第一时间步各自对应的待去雾的图像的第二深度信息对待去雾的图像逐步进行去雾处理，得到第一目标去雾图像。
具体地，针对每个第一时间步，利用训练后的扩散模型的逆向过程，根据所述第一时间步对应的待去雾图像的第二深度信息、第一时间步的数量，对待去雾图像进行去雾处理，得到所述第一时间步对应的第一去雾图像；进一步地，基于各个第一时间步对应的第一去雾图像，可以得到待去雾图像对应的第一目标去雾图像，例如将最后一个时间步对应的第一去雾图像作为第一目标去雾图像。
本实施例提供的方法中，通过确定待去雾的图像的第一深度信息，然后根据第一时间步的数量对第一深度信息进行拆分，得到各个第一时间步各自对应的待去雾的图像的第二深度信息，进而，利用训练后的扩散模型的逆向过程，根据第一时间步的数量和各个第一时间步各自对应的待去雾的图像的第二深度信息对所述待去雾的图像逐步进行去雾处理，得到第一目标去雾图像。本发明中因利用第一时间步的数量对待去雾的图像的第一深度信息进行拆分，进而，利用训练后的扩散模型的逆向过程，根据第一时间步的数量和各个第一时间步各自对应的待去雾的图像的第二深度信息对待去雾的图像逐步进行去雾处理，得到第一目标去雾图像，也即将扩散模型与待去雾的图像的第一深度信息相结合，生成的第一目标去雾图像的细节特征充足，而且去雾处理的精度较高。
可选地，第一深度信息包括待去雾图像对应的最大深度值和待去雾图像对应的最小深度值，根据第一时间步的数量对第一深度信息进行拆分，得到各个第一时间步各自对应的待去雾的图像的第二深度信息，可以包括：
根据最大深度值和最小深度值，确定第一差值；
根据第一时间步的数量和第一差值，得到各个第一时间步各自对应的待去雾的图像的第二深度信息。
具体地，步骤102可以通过如下步骤实现：首先可以根据待去雾的图像对应的最大深度值以及最小深度值，确定第一差值，进一步地，按照预设的第一时间步的数量和第一差值将待去雾图像分为若干个区域，也就是说将整个图像空间切分成厚度均匀的块，各个第一时间步对应的待去雾图像的第二深度信息不同，也即各个第一时间步对应的待去雾图像的去雾区域不同。
进而，可以对各个第一时间步对应的待去雾图像对不同的区域采取不同的去雾处理方式，更准确地说，在图像深度更深的区域进行多次去雾步骤，以确保对雾层地完全移除并更好地恢复图像中原有信息，而图像深度较浅的区域只需要实时少量的去雾操作，可以有效避免过度处理的问题。
示例性地，各个第一时间步对应的待去雾图像的第二深度信息，可以表示如下：
其中，表示第k1个第一时间步对应的待去雾图像的第二深度信息，k1表示第k1个第一时间步，N2表示第一时间步的数量。
本实施例提供的方法中，基于预设的扩散模型的分步处理的分步数量即第一时间步的数量，可以对待去雾图像的深度信息进行拆分，进而，将拆分后得到的第二深度信息与扩散模型的时间步相结合，使得模型的去雾性能更加优异，去雾精度提升。
可选地，利用训练后的扩散模型的逆向过程，根据第一时间步的数量和各个第一时间步各自对应的待去雾的图像的第二深度信息对待去雾的图像逐步进行去雾处理，得到第一目标去雾图像，包括：
针对每个第一时间步，利用训练后的扩散模型的逆向过程，根据第一时间步各自对应的待去雾的图像的第二深度信息和第一时间步的整数，得到第一时间步对应的第一去雾图像；其中，第k1-1个第一时间步对应的待去雾的图像为第k1个第一时间步对应的第一去雾图像；其中，k1为大于0小于N1的整数；N1表示所述第一时间步的数量；
根据各个第一时间步各自对应的第一去雾图像和第一时间步的数量，得到第一目标去雾图像。
具体地，针对每个第一时间步，利用训练后的扩散模型的逆向过程，例如基于U型网络构建的降噪函数根据第一时间步对应的待去雾的图像和所述第一时间步的整数，计算得到该第一时间步对应的第一去雾图像。可以理解的是，利用扩散模型的逆向过程进行去雾处理，每一个第一时间步的输出都有对应的真实值。假设第一时间步的数量为N1，k1为大于0小于N1的整数，利用降噪函数对所述待去雾的图像逐步进行去雾处理后，可以得到N1个第一去雾图像。可理解的是，第k1-1个第一时间步对应的待去雾的图像为第k1个第一时间步对应的第一去雾图像，也即扩散模型的下一步的输出也作为模型上一步的输入。
进一步地，根据各个第一时间步各自对应的第一去雾图像和第一时间步的数量，可以得到第一目标去雾图像。例如第一时间步的数量为N1，对待去雾图像进行N1次去雾处理，也即对待去雾图像进行N1次降噪处理后，得到N1个第一时间步各自输出的第一去雾图像；可以将第1个第一时间步输出的第一去雾图像，确定为第一目标去雾图像。
本实施例提供的方法中，通过利用训练后的扩散模型的逆向过程，根据第一时间步对应的待去雾的图像的第二深度信息和第一时间步的整数，得到第一时间步对应的第一去雾图像，然后根据各个第一时间步各自对应的第一去雾图像和第一时间步的数量，得到第一目标去雾图像。本发明中因利用训练后的扩散模型的逆向过程根据第一时间步对应的待去雾的图像的第二深度信息和第一时间步的数量对待去雾图像进行逐步去雾处理，对应得到各个第一时间步各自对应的第一去雾图像，进而，将逐步处理后的最后一个时间步对应的第一去雾图像作为第一目标去雾图像，基于扩散模型对待去雾图像逐步进行去雾处理能够得到理想的清晰图像，去雾效果较好。
可选地，利用训练后的扩散模型的逆向过程，根据所述第一时间步对应的待去雾的图像的第二深度信息和所述第一时间步的整数，得到所述第一时间步对应的第一去雾图像，包括：
利用训练后的扩散模型的逆向过程，根据第一时间步对应的待去雾的图像的第二深度信息、第一时间步的整数，得到第一时间步对应的第一透射信息和第一时间步对应的大气全局光的第一强度信息；
根据第一透射信息和第一强度信息，得到第一时间步对应的第一去雾图像。
具体地，针对每个第一时间步，利用训练后的扩散模型的逆向过程对各个第一时间步各自对应的待去雾图像进行去雾处理。具体地，首先可以通过利用训练后的扩散模型的逆向过程根据第一时间步对应的待去雾的图像的第二深度信息和第一时间步的整数，得到第一时间步对应的第一透射信息和第一时间步对应的大气全局光的第一强度信息，示例性地：
可理解的是，各个第一时间步对应的待去雾的图像的第二深度信息例如为第k1个第一时间步对应的待去雾的图像的深度值，例如k1表示当前第一时间步，第一时间步的数量也即总的数量为N1，则第k1个第一时间步对应的深度值可以为
进一步地，利用训练后的扩散模型的逆向过程，也即利用降噪函数根据上述第二深度信息、和当前第一时间步的整数，估计得到当前第一时间步对应的第一透射信息和当前第一时间步对应的大气全局光的第一强度信息。例如，利用降噪函数根据第k1个第一时间步对应的待去雾的图像深度值以及第第一时间步的整数k1，估计得到第k1个第一时间步对应的第一透射信息例如第一透射率以及第k1个第一时间步对应的大气全局光的第一强度信息例如大气全局光的强度的第一模值
进一步地，可以根据第一透射信息和第一强度信息，得到第一时间步对应的第一去雾图像。例如，可以根据第k1个第一时间步对应的第一透射信息例如第一透射率第k1个第一时间步对应的大气全局光的第一强度信息例如大气全局光的强度的第一模值估计得到第k1个第一时间步对应的第一去雾图像。该过程示例如下：
其中，θ表示扩散模型的参数，表示通过扩散模型的前向过程中第k1个第一时间步对应的加雾图像(也即扩散模型的逆向过程中第k1-1个第一时间步对应的待去雾的图像)计算得到扩散模型的逆向过程中第k1-1个第一时间步对应的第一去雾图像的函数，表示扩散模型的前向过程中第k1个第一时间步对应的加雾图像(也即扩散模型的逆向过程中第k1-1个第一时间步对应的待去雾的图像)，表示扩散模型的前向过程中第k1-1个第一时间步对应的加雾图像(也即扩散模型的逆向过程中第k1-1个第一时间步对应的第一去雾图像)，表示第k1个第一时间步对应的大气全局光的强度的第一模值，也即第k1个第一时间步对应的大气全局光的强度估计值，表示第k1个第一时间步对应的第一透射率的估计值。
本实施例提供的方法中，利用训练后的扩散模型的逆向过程根据各个第一时间步对应的待去雾的图像的第二深度信息、各个第一时间步的整数，得到各个第一时间步各自对应的第一透射信息和各个第一时间步各自对应的大气全局光的第一强度信息，进而，根据各个第一时间步各自对应的第一透射信息和各个第一时间步各自对应的大气全局光的第一强度信息，得到各个第一时间步各自对应的第一去雾图像。本发明实施例中因训练后的扩散模型去除了噪声的不确定性，利用训练后的模型可以由输入至当前第一时间步的待去雾图像唯一确定当前第一时间步对应的第一去雾图像，逐步去雾后得到的第一目标去雾图像去雾精度较高。
可选地，扩散模型通过下述方法训练得到，包括：
获取第一样本图像；
根据第二时间步的数量对所述第一样本图像对应的第三深度信息进行拆分，得到各个所述第二时间步各自对应的第一样本图像的第四深度信息；
利用所述扩散模型的前向过程，根据所述第二时间步的数量和各个所述第二时间步各自对应的第一样本图像的第四深度信息，得到各个所述第二时间步各自对应的加雾图像；其中，第k2个时间步对应添加的噪声为根据第k2个第二时间步对应的第二透射信息和第k2个第二时间步对应的大气全局光的第二强度信息得到，其中，k2为大于0小于N2的整数；N2表示所述第二时间步的数量；
利用所述扩散模型的前向过程，根据各个所述第二时间步各自对应的加雾图像和所述第二时间步的数量，得到目标加雾图像；
利用所述扩散模型的逆向过程，根据所述第二时间步的数量和各个所述第二时间步各自对应的第一样本图像的第四深度信息，对所述目标加雾图像进行去雾处理，得到第二目标去雾图像；
利用目标损失函数监督所述扩散模型学习，迭代更新所述扩散模型的参数，得到所述训练后的扩散模型。
具体地，扩散模型通过下述方法训练得到：
首先，需要获取第一样本图像，其中，第一样本图像例如取自综合目标测试集(synthetic objective testing set，SOTS)或(Hybrid Subjective testing set，HSTS)中的至少一个样本图像。进一步地，确定第一样本图像对应的第三深度信息的过程与确定待去雾图像对应的第一深度信息的过程类似，此处不再赘述。
进一步地，可以根据第二时间步的数量对第一样本图像对应的第三深度信息进行拆分，得到各个第二时间步各自对应的第一样本图像的第四深度信息，对深度信息进行拆分的过程同对待去雾图像的第一深度信息的拆分步骤，此处不再赘述。
进一步地，在得到各个第二时间步各自对应的第一样本图像的第四深度信息后，可以根据第一样本图像对应的第二时间步的数量和各个第二时间步各自对应的第一样本图像的第四深度信息，得到各个第二时间步各自对应的加雾图像。具体地，利用扩散模型的前向过程，根据各个第二时间步各自对应的第一样本图像的第四深度信息和第二时间步的数量对第一样本图像逐步添加噪声，得到各个第二时间步各自对应的添加噪声后的图形，即各个第二时间步各自对应的加雾图像，其中，各个第二时间步中对应添加的噪声不同，第k2个时间步对应添加的噪声为根据第k2个第二时间步对应的第二透射信息和第k2个第二时间步对应的大气全局光的第二强度信息得到。其中，k2为大于0小于N2的整数；
进一步地，可以根据各个第二时间步各自对应的加雾图像和第二时间步的数量，得到目标加雾图像。
示例性地，例如第二时间步的数量为N2，第k2个第二时间步对应的加雾图像为将k2从1到N2更新，迭代上述过程，即可得到N2个第二时间步各自对应的加雾图像。图3是本发明提供的图像去雾方法的流程示意图之二，图3表示N2个第二时间步各自对应的加雾图像，其中，N2个第二时间步各自对应的加雾图像也即第二目标图像；
进一步地，利用模型的逆向过程对目标加雾图像进行去雾的过程如下：根据第二时间步的数量和各个第二时间步各自对应的第一样本图像的第四深度信息，对目标加雾图像进行去雾处理，得到第二目标去雾图像，其中，各个第二时间步各自对应的第一样本图像的第四深度信息可以理解为第二时间步对应的待去雾图像的深度信息，也即扩散模型的前向过程中各个第二时间步对应的加雾图像的深度信息。具体地，针对每个第二时间步，利用扩散模型的逆向过程根据第二时间步对应的第一样本图像的第四深度信息和第二时间步的数量，得到第二时间步对应的第三透射信息和第二时间步对应的大气全局光的第三强度信息，然后根据各个第二时间步对应的第三透射信息和各个第二时间步对应的大气全局光的第三强度信息，得到各个第二时间步各自对应的第二去雾图像。进而，可以根据各个第二时间步各自对应的第二去雾图像和第二时间步的数量得到第二目标去雾图像。
进一步地，可以根据各个第二时间步各自对应的第二去雾图像和第二时间步的数量，得到第二目标图像，例如第二时间步的数量为N2，得到了N2个第二时间步各自输出的第二去雾图像，可以将第1个第二时间步输出的第二去雾图像，确定为第二目标图像。
进一步地，还可以利用目标损失函数监督该扩散模型学习，迭代更新扩散模型的参数，扩散模型的参数例如θ，进而得到训练后的扩散模型。
示例性地，图2是本发明提供的扩散模型的结构框架图，如图2所示，其中，I0表示第一样本图像，Ik、Ik+1、IN分别表示第k个第二时间步对应的加雾图像、第k+1个第二时间步对应的加雾图像、第N个第二时间步对应的加雾图像；表示第k+1个第二时间步对应的第二去雾图像、表示第k个第二时间步对应的第二去雾图像。
利用扩散模型的前向过程，可以对第一样本图像进行逐步加雾，得到各个第二时间步各自对应的加雾图像。从第k个第二时间步对应的加雾图像得到第k+1个第二时间步对应的加雾图像的过程具体为：根据第k个第二时间步对应的加雾图像Ik、第k个第二时间步对应的加雾图像的深度信息、第k个第二时间步对应的第二透射率(需要说明的是，此处的第二透射率为扩散模型随机给定)，以及第k个第二时间步对应的大气全局光的第二模值(扩散模型随机给定)，得到第k+1个第二时间步对应的加雾图像；
相应地，利用扩散模型的逆向过程，可以对第二时间步各自对应的加雾图像进行去雾处理，得到第二目标去雾图像。利用扩散模型的逆向过程，可以首先得到各个第二时间步各自对应的去雾图像，从第k+1个第二时间步对应的第二去雾图像得到第k个第二时间步对应的第二去雾图像的过程具体为：根据第k+1个第二时间步对应的第二去雾图像、第k+1个第二时间步对应的深度信息，利用参数预测U-Net网络预测得到第k个第二时间步对应第三透射信息和第k个第二时间步对应的大气全局光的第三强度信息然后根据第k个第二时间步对应的第三透射信息和第k个第二时间步对应的大气全局光的第三强度信息，得到第k个第二时间步各自对应的第二去雾图像然后根据各个第二时间步各自对应的去雾图像和第二时间步的数量，可以得到目标去雾图像
本实施例提供的方法中，通过第一样本图像对所述模型进行训练，得到训练后的扩散模型，进而，还可以利用目标损失函数监督扩散模型学习，迭代更新扩散模型的参数。本实施例中训练得到的扩散模型对图像进行去雾的去雾精度较高。
可选地，利用扩散模型的前向过程，根据第二时间步的数量和各个第二时间步各自对应的第一样本图像的第四深度信息，得到各个第二时间步各自对应的加雾图像，包括：
针对每个第二时间步，根据第二时间步对应的第一样本图像的第四深度信息和预设的随机参数，得到第二时间步对应的第二透射信息；
根据第二透射信息和第二时间步对应的大气全局光的第二强度信息，得到第二时间步对应的加雾图像，第二强度信息为预设的。
具体地，利用扩散模型的前向过程得到各个第二时间步各自对应的加雾图像的过程表示如下：
其中表示由第k2-1个第二时间步对应的加雾图像得到第k2个第二时间步对应的加雾图像的函数，表示第k2个第二时间步对应的加雾图像，表示第k2-1个第二时间步对应的加雾图像，x表示第一样本图像中各个像素点的位置，表示第k2个第二时间步对应的第二透射率，A表示第k2个第二时间步对应的大气全局光的第二模值。
本实施例提供的方法中，通过根据第二时间步的数量和各个第二时间步各自对应的第一样本图像的第四深度信息，得到各个第二时间步各自对应的加雾图像，实现将图像的深度信息与模型训练相结合。
可选地，利用扩散模型的逆向过程，根据第二时间步的数量和各个第二时间步各自对应的第一样本图像的第四深度信息，对目标加雾图像进行去雾处理，得到第二目标去雾图像，包括：
针对每个第二时间步，根据第二时间步对应的第一样本图像的第四深度信息和第二时间步的数量，得到第二时间步对应的第三透射信息和第二时间步对应的大气全局光的第三强度信息；
根据第三透射信息和第三强度信息，得到第二时间步对应的第二去雾图像；
根据各个第二时间步各自对应的第二去雾图像和第二时间步的数量，得到第二目标去雾图像。
具体地，针对每个第二时间步对应的加雾图像，可以利用扩散模型的逆向过程，根据当前第二时间步的整数和当前第二时间步对应的待去雾图像的第四深度信息，得到当前第二时间步对应的第三透射信息和第二时间步对应的大气全局光的第三强度信息；进而，根据当前第二时间步对应的第三透射信息和当前第二时间步对应的大气全局光的第三强度信息，得到当前第二时间步各自对应的第二去雾图像，该过程可以由如下公式进行表示：
其中，θ表示扩散模型的参数，表示扩散模型的前向过程中第k2个第二时间步对应的加雾图像(也即扩散模型的逆向过程中第k2-1个第二时间步对应的待去雾的图像)，表示扩散模型的前向过程中第k2-1个第二时间步对应的加雾图像(也即扩散模型的逆向过程中第k2-1个第二时间步对应的第二去雾图像)，表示第k2个第二时间步对应的大气全局光的强度的第三模值，也即第k2个第二时间步对应的大气全局光的强度估计值，表示第k2个第二时间步对应的第三透射率的估计值；
进一步地，可以根据各个第二时间步各自对应的第二去雾图像和第二时间步的数量，得到第二目标去雾图像，如第二时间步的数量为N2，得到了N2个第二时间步各自输出的第二去雾图像，可以将第1个第二时间步输出的第二去雾图像，确定为第二目标图像。
本实施例提供的方法中，在模型训练过程中，利用扩散模型的逆向过程，根据各个第二时间步对应的第一样本图像的第四深度信息和第二时间步的数量，估计得到第二时间步对应的第三透射信息和第二时间大气全局光的第三强度信息，根据第三透射信息和第三强度信息，得到第二时间步对应的第二去雾图像，最后，根据各个第二时间步各自对应的第二去雾图像和第二时间步的数量，得到第二目标去雾图像。将雾层的生成过程按深度信息分解，并融合到模型训练阶段，实现自监督训练，训练得到的扩散模型去雾精度较高。
可选地，目标损失函数根据各个第二时间步各自对应的第三透射信息、各个第二时间步各自对应的第二透射信息、各个第二时间步各自对应的大气全局光的第三强度信息、各个时间步各自对应的第二强度信息得到。
具体地，目标损失函数可以表示为：
其中，Limg表示用于监督第二目标图像和第一样本图像的第一损失函数，表示用于监督各个第二时间步各自对应的第三透射信息(例如第三透射率)和各个第二时间步各自对应的第二透射信息(例如第二透射率)的第二损失函数，表示用于监督各个第二时间步各自对应的大气全局光的第三强度信息(例如大气全局光的强度的第三模值)和各个第二时间步各自对应的第二强度信息(例如大气全局光的强度的第二模值)的第三损失函数；
其中，
其中，表示第二损失函数，tk(x)表示各个第二时间步各自对应的第二透射信息(例如第二透射率)，表示各个第二时间步各自对应的第三透射信息(例如第三透射率)；
其中，表示第三损失函数，表示各个第二时间步各自对应的第二强度信息(例如大气全局光的强度的第二模值)，表示各个第二时间步各自对应的大气全局光的第三强度信息(例如大气全局光的强度的第三模值)。
本实施例提供的方法中，通过三个损失函数得到目标函数，对扩散模型去雾处理的每一步以及最终的结果进行自监督，训练得到的扩散模型性能更加优异，进行图像去雾的精度较高。
可选地，方法还包括：
利用图像相似性评价指标SSIM和峰值信噪比PSNR中至少一项对扩散模型进行评价，得到目标评价结果。
具体地，可理解的是，图像相似性评价指标SSIM是一种衡量两幅图像相似度的指标，峰值信噪比PSNR是一种评价图像的客观标准，一般是用于最大值信号和背景噪音之间的一个工程项目越大说明越好。
进一步地，本实施例中可以通过计算第一样本图像和第二目标图像之间的图像相似性评价指标，得到第一评价结果，以及计算第二目标图像对应的峰值信噪比，得到第二评价结果；然后基于第一评价结果和第二评价结果得到的目标评价结果，对所述扩散模型进行评价。
可选地，还可以基于目标评价结果对所述扩散模型的参数进行调整，得到更优性能的扩散模型，更优性能例如第一样本图像和第二目标图像之间的图像之间的图像相似性评价指标SSIM的得分更高，也即图像去雾的精度更高。
本实施例提供的方法中，通过利用图像相似性评价指标SSIM和峰值信噪比PSNR中至少一项对扩散模型进行评价，得到模型的目标评价结果；进而，可以基于目标评价结果对模型参数进行调整，得到更优性能的扩散模型，以提高图像去雾的精度。
可选地，第二透射信息为根据各个第二时间步对应的加雾图像的第四深度信息得到。
具体地，第二透射信息可以根据各个第二时间步对应的第一样本图像的第四深度信息得到，该过程可以表示如下：
其中：
其中，表示第k2个第二时间步对应的第二透射信息，表示第k2个第二时间步对应的加雾图像的第四深度信息，k2表示第k2个第二时间步，N2表示第二时间步的数量。
本实施例提供的方法中，第二透射信息为根据各个第二时间步对应的第一样本图像的第四深度信息得到，将图像深度信息与扩散模型相结合，模型去雾性能更加优异。
下面对本发明提供的图像去雾装置进行描述，下文描述的图像去雾装置与上文描述的图像去雾方法可相互对应参照。
图4是本发明提供的图像去雾装置的结构示意图，如图4所示，该装置包括：
确定模块410，用于确定待去雾的图像的第一深度信息；根据第一时间步的数量对所述第一深度信息进行拆分，得到各个所述第一时间步各自对应的待去雾的图像的第二深度信息；
处理模块420，用于利用训练后的扩散模型的逆向过程，根据所述第一时间步的数量和各个所述第一时间步各自对应的待去雾的图像的第二深度信息对所述待去雾的图像逐步进行去雾处理，得到第一目标去雾图像。
本实施例提供的装置中，通过确定模块410确定待去雾的图像的第一深度信息，然后根据第一时间步的数量对第一深度信息进行拆分，得到各个第一时间步各自对应的待去雾的图像的第二深度信息，进而，处理模块420利用训练后的扩散模型的逆向过程，根据第一时间步的数量和各个第一时间步各自对应的待去雾的图像的第二深度信息对所述待去雾的图像逐步进行去雾处理，得到第一目标去雾图像。本发明中因利用第一时间步的数量对待去雾的图像的第一深度信息进行拆分，进而，利用训练后的扩散模型的逆向过程，根据第一时间步的数量和各个第一时间步各自对应的待去雾的图像的第二深度信息对待去雾的图像逐步进行去雾处理，得到第一目标去雾图像，也即将扩散模型与待去雾的图像的第一深度信息相结合，生成的第一目标去雾图像的细节特征充足，而且去雾处理的精度较高。
可选地，所述第一深度信息包括所述待去雾图像对应的最大深度值和所述待去雾图像对应的最小深度值；
所述确定模块具体用于：
根据所述最大深度值和所述最小深度值，确定第一差值；
根据所述第一时间步的数量和所述第一差值，得到各个所述第一时间步各自对应的待去雾的图像的第二深度信息。
可选地，所述处理模块420，具体用于：
针对每个所述第一时间步，利用训练后的扩散模型的逆向过程，根据所述第一时间步各自对应的待去雾的图像的第二深度信息和所述第一时间步的整数，得到所述第一时间步对应的第一去雾图像；其中，第k1-1个第一时间步对应的待去雾的图像为第k1个第一时间步对应的第一去雾图像；其中，k1为大于0小于N1的整数；N1表示所述第一时间步的数量；
根据各个所述第一时间步各自对应的第一去雾图像和所述第一时间步的数量，得到所述第一目标去雾图像。
可选地，所述处理模块420，还用于：
利用训练后的扩散模型的逆向过程，根据所述第一时间步各自对应的待去雾的图像的第二深度信息、所述第一时间步的整数，得到所述第一时间步对应的第一透射信息和所述第一时间步对应的大气全局光的第一强度信息；
根据所述第一透射信息和所述第一强度信息，得到所述第一时间步对应的第一去雾图像。
可选地，该装置还包括训练模块；
所述训练模块，用于：
获取第一样本图像；
根据第二时间步的数量对所述第一样本图像对应的第三深度信息进行拆分，得到各个所述第二时间步各自对应的第一样本图像的第四深度信息；
利用所述扩散模型的前向过程，根据所述第二时间步的数量和各个所述第二时间步各自对应的第一样本图像的第四深度信息，得到各个所述第二时间步各自对应的加雾图像；其中，第k2个时间步对应添加的噪声为根据第k2个第二时间步对应的第二透射信息和第k2个第二时间步对应的大气全局光的第二强度信息得到，其中，k2为大于0小于N2的整数；N2表示所述第二时间步的数量；
利用所述扩散模型的前向过程，根据各个所述第二时间步各自对应的加雾图像和所述第二时间步的数量，得到目标加雾图像；
利用所述扩散模型的逆向过程，根据所述第二时间步的数量和各个所述第二时间步各自对应的第一样本图像的第四深度信息，对所述目标加雾图像进行去雾处理，得到第二目标去雾图像；
利用目标损失函数监督所述扩散模型学习，迭代更新所述扩散模型的参数，得到所述训练后的扩散模型。
可选地，所述训练模块，具体用于：
针对每个所述第二时间步，根据所述第二时间步对应的第一样本图像的第四深度信息和预设的随机参数，得到所述第二时间步对应的第二透射信息；
根据所述第二透射信息和所述第二时间步对应的大气全局光的第二强度信息，得到所述第二时间步对应的加雾图像，所述第二强度信息为预设的。
可选地，所述训练模块，具体用于：
针对每个所述第二时间步，根据所述第二时间步对应的第一样本图像的第四深度信息和所述第二时间步的数量，得到所述第二时间步对应的第三透射信息和所述第二时间步对应的大气全局光的第三强度信息；
根据所述第三透射信息和所述第三强度信息，得到所述第二时间步对应的第二去雾图像；
根据各个所述第二时间步各自对应的第二去雾图像和所述第二时间步的数量，得到第二目标去雾图像。
可选地，所述目标损失函数根据各个所述第二时间步各自对应的第三透射信息、各个所述第二时间步各自对应的第二透射信息、各个所述第二时间步各自对应的大气全局光的第三强度信息、各个所述时间步各自对应的第二强度信息得到。
可选地，该装置还包括模型评价模块；
所述模型评价模块，用于：
利用图像相似性评价指标SSIM和峰值信噪比PSNR中至少一项对所述扩散模型进行评价，得到目标评价结果。
可选地，所述第二透射信息为根据各个所述第二时间步对应的加雾图像的第四深度信息得到。
图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行图像去雾方法，该方法包括：
确定待去雾的图像的第一深度信息；
根据第一时间步的数量对所述第一深度信息进行拆分，得到各个所述第一时间步各自对应的待去雾的图像的第二深度信息；
利用训练后的扩散模型的逆向过程，根据所述第一时间步的数量和各个所述第一时间步各自对应的待去雾的图像的第二深度信息对所述待去雾的图像逐步进行去雾处理，得到第一目标去雾图像。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，计算机程序被处理器执行时，计算机能够执行上述各方法所提供的图像去雾方法，该方法包括：
确定待去雾的图像的第一深度信息；
根据第一时间步的数量对所述第一深度信息进行拆分，得到各个所述第一时间步各自对应的待去雾的图像的第二深度信息；
利用训练后的扩散模型的逆向过程，根据所述第一时间步的数量和各个所述第一时间步各自对应的待去雾的图像的第二深度信息对所述待去雾的图像逐步进行去雾处理，得到第一目标去雾图像。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的图像去雾方法，该方法包括：
确定待去雾的图像的第一深度信息；
根据第一时间步的数量对所述第一深度信息进行拆分，得到各个所述第一时间步各自对应的待去雾的图像的第二深度信息；
利用训练后的扩散模型的逆向过程，根据所述第一时间步的数量和各个所述第一时间步各自对应的待去雾的图像的第二深度信息对所述待去雾的图像逐步进行去雾处理，得到第一目标去雾图像。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (12)
1.一种图像去雾方法，其特征在于，包括：
确定待去雾的图像的第一深度信息；
根据第一时间步的数量对所述第一深度信息进行拆分，得到各个所述第一时间步各自对应的待去雾的图像的第二深度信息；
利用训练后的扩散模型的逆向过程，根据所述第一时间步的数量和各个所述第一时间步各自对应的待去雾的图像的第二深度信息对所述待去雾的图像逐步进行去雾处理，得到第一目标去雾图像。
2.根据权利要求1所述的图像去雾方法，所述第一深度信息包括所述待去雾图像对应的最大深度值和所述待去雾图像对应的最小深度值，其特征在于，所述根据第一时间步的数量对所述第一深度信息进行拆分，得到各个所述第一时间步各自对应的待去雾的图像的第二深度信息，包括：
根据所述最大深度值和所述最小深度值，确定第一差值；
根据所述第一时间步的数量和所述第一差值，得到各个所述第一时间步各自对应的待去雾的图像的第二深度信息。
3.根据权利要求1或2所述的图像去雾方法，其特征在于，所述利用训练后的扩散模型的逆向过程，根据所述第一时间步的数量和各个所述第一时间步各自对应的待去雾的图像的第二深度信息对所述待去雾的图像逐步进行去雾处理，得到第一目标去雾图像，包括：
针对每个所述第一时间步，利用训练后的扩散模型的逆向过程，根据所述第一时间步对应的待去雾的图像的第二深度信息和所述第一时间步的整数，得到所述第一时间步对应的第一去雾图像；其中，第k1-1个第一时间步对应的待去雾的图像为第k1个第一时间步对应的第一去雾图像；其中，k1为大于0小于N1的整数；N1表示所述第一时间步的数量；
根据各个所述第一时间步各自对应的第一去雾图像和所述第一时间步的数量，得到所述第一目标去雾图像。
4.根据权利要求3所述的图像去雾方法，其特征在于，所述利用训练后的扩散模型的逆向过程，根据所述第一时间步对应的待去雾的图像的第二深度信息和所述第一时间步的整数，得到所述第一时间步对应的第一去雾图像，包括：
利用训练后的扩散模型的逆向过程，根据所述第一时间步对应的待去雾的图像的第二深度信息、所述第一时间步的整数，得到所述第一时间步对应的第一透射信息和所述第一时间步对应的大气全局光的第一强度信息；
根据所述第一透射信息和所述第一强度信息，得到所述第一时间步对应的第一去雾图像。
5.根据权利要求1或2所述的图像去雾方法，其特征在于，所述扩散模型通过下述方法训练得到，包括：
获取第一样本图像；
根据第二时间步的数量对所述第一样本图像对应的第三深度信息进行拆分，得到各个所述第二时间步各自对应的第一样本图像的第四深度信息；
利用所述扩散模型的前向过程，根据所述第二时间步的数量和各个所述第二时间步各自对应的第一样本图像的第四深度信息，得到各个所述第二时间步各自对应的加雾图像；其中，第k2个时间步对应添加的噪声为根据第k2个第二时间步对应的第二透射信息和第k2个第二时间步对应的大气全局光的第二强度信息得到，其中，k2为大于0小于N2的整数；N2表示所述第二时间步的数量；
利用所述扩散模型的前向过程，根据各个所述第二时间步各自对应的加雾图像和所述第二时间步的数量，得到目标加雾图像；
利用所述扩散模型的逆向过程，根据所述第二时间步的数量和各个所述第二时间步各自对应的第一样本图像的第四深度信息，对所述目标加雾图像进行去雾处理，得到第二目标去雾图像；
利用目标损失函数监督所述扩散模型学习，迭代更新所述扩散模型的参数，得到所述训练后的扩散模型。
6.根据权利要求5所述的图像去雾方法，其特征在于，所述利用所述扩散模型的前向过程，根据所述第二时间步的数量和各个所述第二时间步各自对应的第一样本图像的第四深度信息，得到各个所述第二时间步各自对应的加雾图像，包括：
针对每个所述第二时间步，根据所述第二时间步对应的第一样本图像的第四深度信息和预设的随机参数，得到所述第二时间步对应的第二透射信息；
根据所述第二透射信息和所述第二时间步对应的大气全局光的第二强度信息，得到所述第二时间步对应的加雾图像，所述第二强度信息为预设的。
7.根据权利要求5所述的图像去雾方法，其特征在于，所述利用所述扩散模型的逆向过程，根据所述第二时间步的数量和各个所述第二时间步各自对应的第一样本图像的第四深度信息，对所述目标加雾图像进行去雾处理，得到第二目标去雾图像，包括：
针对每个所述第二时间步，根据所述第二时间步对应的第一样本图像的第四深度信息和所述第二时间步的数量，得到所述第二时间步对应的第三透射信息和所述第二时间步对应的大气全局光的第三强度信息；
根据所述第三透射信息和所述第三强度信息，得到所述第二时间步对应的第二去雾图像；
根据各个所述第二时间步各自对应的第二去雾图像和所述第二时间步的数量，得到第二目标去雾图像。
8.根据权利要求5所述的图像去雾方法，其特征在于，所述目标损失函数根据各个所述第二时间步各自对应的第三透射信息、各个所述第二时间步各自对应的第二透射信息、各个所述第二时间步各自对应的大气全局光的第三强度信息、各个所述第二时间步各自对应的第二强度信息得到。
9.根据权利要求5所述的图像去雾方法，其特征在于，所述方法还包括：
利用图像相似性评价指标SSIM和峰值信噪比PSNR中至少一项对所述扩散模型进行评价，得到目标评价结果。
10.一种图像去雾装置，其特征在于，包括：
确定模块，用于确定待去雾的图像的第一深度信息；根据第一时间步的数量对所述第一深度信息进行拆分，得到各个所述第一时间步各自对应的待去雾的图像的第二深度信息；
处理模块，用于利用训练后的扩散模型的逆向过程，根据所述第一时间步的数量和各个所述第一时间步各自对应的待去雾的图像的第二深度信息对所述待去雾的图像逐步进行去雾处理，得到第一目标去雾图像。
11.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至9任一项所述图像去雾方法。
12.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述图像去雾方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310925907.8A CN116977215B (zh) | 2023-07-26 | 2023-07-26 | 图像去雾方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310925907.8A CN116977215B (zh) | 2023-07-26 | 2023-07-26 | 图像去雾方法、装置、设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116977215A true CN116977215A (zh) | 2023-10-31 |
| CN116977215B CN116977215B (zh) | 2024-09-20 |
Family
ID=88484437
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310925907.8A Active CN116977215B (zh) | 2023-07-26 | 2023-07-26 | 图像去雾方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116977215B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117893440A (zh) * | 2024-03-15 | 2024-04-16 | 昆明理工大学 | 基于扩散模型和景深引导生成的图像去雾方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114037618A (zh) * | 2021-09-24 | 2022-02-11 | 长沙理工大学 | 基于保边滤波和平滑滤波融合的去雾方法、系统及存储介质 |
| CN114663503A (zh) * | 2020-12-08 | 2022-06-24 | 伟摩有限责任公司 | 从图像进行三维位置预测 |
| CN115393213A (zh) * | 2022-08-25 | 2022-11-25 | 广州虎牙信息科技有限公司 | 图像视角变换方法、装置、电子设备及可读存储介质 |
-
2023
- 2023-07-26 CN CN202310925907.8A patent/CN116977215B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114663503A (zh) * | 2020-12-08 | 2022-06-24 | 伟摩有限责任公司 | 从图像进行三维位置预测 |
| CN114037618A (zh) * | 2021-09-24 | 2022-02-11 | 长沙理工大学 | 基于保边滤波和平滑滤波融合的去雾方法、系统及存储介质 |
| CN115393213A (zh) * | 2022-08-25 | 2022-11-25 | 广州虎牙信息科技有限公司 | 图像视角变换方法、装置、电子设备及可读存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| KAIHAN XIAO ET AL.: "A novel dual-fusion algorithm of single image dehazing based on anisotropic diffusion and Gaussian filter", 《INTERNATIONAL JOURNAL OF COMPUTATIONAL SCIENCE AND ENGINEERING》, vol. 26, no. 1, 21 February 2023 (2023-02-21), pages 54 - 64 * |
| 王建阳: "基于卷积神经网络的图像去模糊技术研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 2, 15 February 2023 (2023-02-15), pages 1 - 69 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117893440A (zh) * | 2024-03-15 | 2024-04-16 | 昆明理工大学 | 基于扩散模型和景深引导生成的图像去雾方法 |
| CN117893440B (zh) * | 2024-03-15 | 2024-05-14 | 昆明理工大学 | 基于扩散模型和景深引导生成的图像去雾方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116977215B (zh) | 2024-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111062880B (zh) | 一种基于条件生成对抗网络的水下图像实时增强方法 | |
| CN112419184B (zh) | 一种综合局部信息和全局信息的空间注意力图像去噪方法 | |
| CN110349185B (zh) | 一种rgbt目标跟踪模型的训练方法及装置 | |
| CN109118445B (zh) | 一种基于多分支生成对抗网络的水下图像增强方法 | |
| CN108734675B (zh) | 基于混合稀疏先验模型的图像复原方法 | |
| CN116977215B (zh) | 图像去雾方法、装置、设备和存储介质 | |
| CN105282543B (zh) | 一种基于立体视觉感知的全盲立体图像质量客观评价方法 | |
| CN113962878B (zh) | 一种低能见度图像去雾模型方法 | |
| CN111179189A (zh) | 基于生成对抗网络gan的图像处理方法、装置以及电子设备、存储介质 | |
| CN113284061A (zh) | 一种基于梯度网络的水下图像增强方法 | |
| CN105335968A (zh) | 一种基于置信度传播算法的深度图提取方法及装置 | |
| CN116563110A (zh) | 基于Bicubic下采样图像空间对齐的盲图像超分辨率重建方法 | |
| CN110942034A (zh) | 用于检测多类型深度网络生成图像的方法、系统、装置 | |
| CN117808702A (zh) | 一种基于扩散模型和选通成像的图像去雾方法、系统和设备 | |
| CN118053551A (zh) | 视频生成方法及视频分析模型训练系统 | |
| CN110363288B (zh) | 一种神经网络的输入图像生成方法和系统 | |
| CN112489103A (zh) | 一种高分辨率深度图获取方法及系统 | |
| CN110728661A (zh) | 基于随机生成样本的图像畸变评价网络训练方法及装置 | |
| CN116052168A (zh) | 基于单目标域图像的跨域语义分割模型生成方法及装置 | |
| CN113191964B (zh) | 一种使用高低频分解的无监督夜间图像去雾方法 | |
| CN115456908A (zh) | 一种鲁棒的自监督图像去噪方法 | |
| CN112767267B (zh) | 基于仿真偏振带雾场景数据集的图像去雾方法 | |
| CN113888515B (zh) | 基于深度学习和人类视觉特性的双通道立体图像质量评价方法 | |
| Han et al. | NM-FlowGAN: Modeling sRGB noise with a hybrid approach based on normalizing flows and generative adversarial networks | |
| CN114863192A (zh) | 基于图片-照片融合的动车组走行部异常识别方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |