CN116579945B - 一种基于扩散模型的夜间图像复原方法 - Google Patents

Abstract

本发明提供了一种基于扩散模型的夜间图像复原方法，属于计算机视觉技术领域，采用对白天正常光图像正向加噪、反向去噪扩散处理：为了同时恢复夜间图像的清晰度，而且还能够减小高频噪声，进行端到端的夜间图像复原，本发明采用了基于扩散模型深度神经网络的夜间图像复原框架，以此最大程度地利用其去噪特性；同时，在极其黑暗、嘈杂的条件下始终如一地保留高频细节，所提出的框架不仅可应用于交通领域，也能延伸到其他真实夜间场景的图像复原领域中，提高了方法的普适性。

Description

一种基于扩散模型的夜间图像复原方法

技术领域

本发明属于计算机视觉技术领域，具体属于RGB真彩色图像复原技术。

背景技术

图像复原技术一直是计算机视觉领域的一大热点研究课题。真实世界中的夜间视频图像成像会受到噪声条件、低照度的光学模糊和其他像差的影响，从而导致视觉监测系统的准确率和精度下降，引发安全隐患和增加轨道维护运行成本。目前，夜间图像复原技术研究课题尚不成熟，且大多数夜间图像复原的研究课题，都采用了Retinex及其改进的方法，将低照度图像分解为反射光和照度，进一步利用反射光复原增强后的图像。但是这种方法容易引入大量的噪声，通常还需要复杂的后处理操作以防止复原后的图像出现重影伪影。因此，研究如何在弱光下对极端噪声进行消除和提高图像的清晰度，对夜间图像复原是十分必要的工作。

近几年，深度学习推进了计算机视觉技术的发展。其中，扩散模型在图像生成领域取得了巨大的成功。并且与传统的深度学习方法相比，扩散模型往往会取得比较优秀的成绩。类似OpenAI的DALL-E2，Google的Image，StabilityAI的Stable Diffusion等人工智能绘画技术，都是基于扩散模型来进行图像生成的。在深度学习中，去噪扩散模型定义了一个正向扩散过程，通过逐渐扰动输入数据将数据映射到噪声。然后，又通过一个可学习的、参数化的反向过程执行迭代去噪生成数据，该过程从纯随机噪声开始不断去除噪声。由于其原理就是通过去噪采样生成图像，从而也非常适合在弱光下对极端噪声的进行消除，最终达到对夜间图像复原目的。

通过对现有的专利及相关技术的检索发现，现有的与夜间图像复原有关的方法有：

(1)凌泽乐；高明；金长新.一种基于Retinex的暗图像增强方法，CN113344798A[P].2021.提出了一种基于Retinex的暗图像增强方法。该方法设计了神经网络的新型架构,解决了训练过程中梯度消失问题。同时采用双线性插值上采样方法,可以将增强后的暗图像显示更加清晰。

(2)李昊伶；朱锐；徐天怡；殷嫦藜；吴林芮.基于改进图像增强算法与生成对抗网络的夜景复原方法，CN112669242A[P].2021.提出了一种基于改进图像增强算法与生成对抗网络的夜景复原方法。该方法采集夜间图像,并利用MSRCP算法对夜间图像进行增强处理，同时判断增强处理后的夜间图像是否需要进行风格迁移。再对增强处理后的夜间图像依次进行暗通道先验去雾和清晰度处理,完成夜景复原。

(3)贾平；蒋春华；赵健；连磊；管才路；赵佳佳；杨王伟.轨道交通视频监控图像增强算法，CN112581404A[P].2021.提出了一种轨道交通视频监控图像增强算法。该方法通过一种高、低频分离的亮度调整算法，对于低频和高频图像采用各自合适的不同方法进行分别增强。

可以看出现有的夜间图像增强方法有其优点，但是也存在着不足，同时面向夜间图像复原方法较少。通过对现有文献的查阅发现，目前存在的方法存在着以下不足：(1)通过Retinex及其改进方法进行夜间图像增强，虽然提高了图像的清晰度，但是复原的图像容易引入伪影，质量较差。(2)使用亮度调整的方法，能够增加图像的细节纹理，但是同样容易引入大量高频噪声。(3)基于生成式对抗网络的图像复原方法，容易出现训练不稳定的情况，且会出现生成的图像不真实的问题。在实际情况中，由于视觉系统采集的夜间图像清晰度会对图像目标识别、安全检测等工作产生重要的影响，因此我们需要寻求一种不仅可以恢复光线充足的图像，而且可以重建对高级任务(如目标识别)有用的高频细节的方法。

发明内容

本发明的目的是提供一种基于扩散模型的夜间图像复原方法，它能有效地解决夜间图像复原的技术问题。

本发明的目的是通过以下技术方案来实现的：一种基于扩散模型的夜间图像复原方法，包括以下步骤：

步骤一、对白天正常光图像正向加噪、反向去噪扩散处理：

(1)给定分辨率为720×480像素的i对夜间弱光和白天正常光的图像，其中，白天正常光的图像定义为y_i，夜间弱光的图像定义为x_i，i的取值范围为[1000,5000]；在正向扩散过程中，通过方差取值范围为[0,1]的方差表{β₁,β₂,β₃,...,β_t}对白天正常光的图像y_i重复添加高斯噪声；在y_i中取一帧图像定义为y₀，y₀将在T个时间步长内逐渐退化成高斯噪声图像y_t，其中t定义为时间，t∈[1,T]，T＝1000；此正向扩散过程q公式化为：

其中α_t＝1-β_t，δ_t＝α₁α₂α₃...α_t，N表示高斯正态分布；通过小方差的高斯噪声α_t重复叠加步骤，y₀逐渐变成类似于标准高斯形式的高斯噪声图像y_t；

(2)在反向扩散过程中，通过逐渐去噪，从高斯噪声图像y_t中重建一帧白天正常光的图像y₀，经过中间T个时间步长恢复白天正常光的图像y₀；每个反向扩散步骤使用均值为μ_θ的神经网络p_θ写成：

其中均值μ_θ公式化为：

其中ε_θ是U-net型的神经网络p_θ估计输出的噪声；神经网络p_θ的作用是学习每个时间步长对高斯正态分布N的建模；同时，该神经网络p_θ以夜间弱光图像x₀做为条件连接到y_t，建立学习目标L如下：

L＝E_{t～[1,T],ε～N}(||ε_θ-ε_θ(x₀,y_t,t)||²) (4)

通过不断训练，减小学习目标L的值；

步骤二、优化以夜间弱光的图像为条件的反向去噪扩散过程：

首先分别将白天正常光的图像y_i和夜间弱光的图像x_i的分辨率调整为16的倍数，再按照图像维度对图像y_i和图像x_i进行网络单元格划分，每个网格单元格的像素为16×16；并通过在水平和垂直维度上以16的步长在该网格上移动，来提取所有像素为64×64的图像补丁块；最后将D定义为提取的补丁块的总数，d定义为重叠补丁位置的字典；

(1)对于反向去噪扩散采样的每个时间t的步长，使用神经网络估计输出的噪声ε_θ(x₀ ^d,y_t ^d,t)来估计所有重叠补丁块位置d∈{1,...,D}的加性高斯噪声；

(2)补丁块区域位置对应重叠的噪声ε_θ(x₀,y_t,t)进行求和后，除以重叠的次数M，得到更新后的噪声估计Ω_t；

(3)通过更新后的噪声估计Ω_t，执行反向去噪扩散过程；

步骤三、扩散模型网络的输出：

将分辨率为720×480像素的夜间弱光的图像输入已训练好的扩散模型，扩散模型网络自动输出细节清晰、低噪声和亮度提升后的复原图像。

与现有技术相比，本发明的优点和效果：

(1)该发明提出了一个基于扩散模型的夜间图像复原框架。该框架简单，高效，使用者仅需输入夜间图像，通过框架处理，自动得到亮度和细节提升的图像复原输出结果。

(2)该发明使用的扩散模型网络能够将夜间弱光图像复原为白天正常光图像，同时去噪性能较强。

(3)该发明提出的框架，能够扩展到其他相关的夜间图像增强领域，解决类似问题，具有普适性。

附图说明

图1为本发明白天正常光图像正向加噪扩散、反向去噪扩散的效果示意图。

图2为本发明夜间图像复原框架示意图。

图3为本发明中扩散模型的网络的结构图。

具体实施方式

以下结合附图实施对本发明作进一步详细描述。

一种基于扩散模型的夜间图像复原方法，包括以下步骤：

步骤一、对白天正常光图像正向加噪、反向去噪扩散处理：

(1)给定分辨率为720×480像素的i对夜间弱光和白天正常光的图像，其中，白天正常光的图像定义为y_i，夜间弱光的图像定义为x_i，i的取值范围为[1000,5000]；在正向扩散过程中，通过方差取值范围为[0,1]的方差表{β₁,β₂,β₃,...,β_t}对白天正常光的图像y_i重复添加高斯噪声；在y_i中取一帧图像定义为y₀，y₀将在T个时间步长内逐渐退化成高斯噪声图像y_t，其中t定义为时间，t∈[1,T]，T＝1000；此正向扩散过程q公式化为：

其中α_t＝1-β_t，δ_t＝α₁α₂α₃...α_t，N表示高斯正态分布；通过小方差的高斯噪声α_t重复叠加步骤，y₀逐渐变成类似于标准高斯形式的高斯噪声图像y_t；

(2)在反向扩散过程中，通过逐渐去噪，从高斯噪声图像y_t中重建一帧白天正常光的图像y₀，经过中间T个时间步长恢复白天正常光的图像y₀；每个反向扩散步骤使用均值为μ_θ的神经网络p_θ写成：

其中均值μ_θ公式化为：

其中ε_θ是U-net型的神经网络p_θ估计输出的噪声；神经网络p_θ的作用是学习每个时间步长对高斯正态分布N的建模；同时，该神经网络p_θ以夜间弱光图像x₀做为条件连接到y_t，建立学习目标L如下：

L＝E_{t～[1,T],ε～N}(||ε_θ-ε_θ(x₀,y_t,t)||²) (4)

通过不断训练，减小学习目标L的值；

步骤二、优化以夜间弱光的图像为条件的反向去噪扩散过程：

首先分别将白天正常光的图像y_i和夜间弱光的图像x_i的分辨率调整为16的倍数，再按照图像维度对图像y_i和图像x_i进行网络单元格划分，每个网格单元格的像素为16×16；并通过在水平和垂直维度上以16的步长在该网格上移动，来提取所有像素为64×64的图像补丁块；最后将D定义为提取的补丁块的总数，d定义为重叠补丁位置的字典；

(1)对于反向去噪扩散采样的每个时间t的步长，使用神经网络估计输出的噪声ε_θ(x₀ ^d,y_t ^d,t)来估计所有重叠补丁块位置d∈{1,...,D}的加性高斯噪声；

(2)补丁块区域位置对应重叠的噪声ε_θ(x₀,y_t,t)进行求和后，除以重叠的次数M，得到更新后的噪声估计Ω_t；

(3)通过更新后的噪声估计Ω_t，执行反向去噪扩散过程；

步骤三、扩散模型网络的输出：

将分辨率为720×480像素的夜间弱光的图像输入已训练好的扩散模型，扩散模型网络自动输出细节清晰、低噪声和亮度提升后的复原图像。

对本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。

Claims (1)

1.一种基于扩散模型的夜间图像复原方法，其特征包括以下步骤：

步骤一、对白天正常光图像正向加噪、反向去噪扩散处理：

(1)给定分辨率为720×480像素的i对夜间弱光和白天正常光的图像，其中，白天正常光的图像定义为y_i，夜间弱光的图像定义为x_i，i的取值范围为[1000,5000]；在正向扩散过程中，通过方差取值范围为[0,1]的方差表{β₁,β₂,β₃,...,β_t}对白天正常光的图像y_i重复添加高斯噪声；在y_i中取一帧图像定义为y₀，y₀将在T个时间步长内逐渐退化成高斯噪声图像y_t，其中t定义为时间，t∈[1,T]，T＝1000；此正向扩散过程q公式化为：

其中α_t＝1-β_t，δ_t＝α₁α₂α₃...α_t，N表示高斯正态分布；通过小方差的高斯噪声α_t重复叠加步骤，y₀逐渐变成类似于标准高斯形式的高斯噪声图像y_t；

(2)在反向扩散过程中，通过逐渐去噪，从高斯噪声图像y_t中重建一帧白天正常光的图像y₀，经过中间T个时间步长恢复白天正常光的图像y₀；每个反向扩散步骤使用均值为μ_θ的神经网络p_θ写成：

其中均值μ_θ公式化为：

其中ε_θ是U-net型的神经网络p_θ估计输出的噪声；神经网络p_θ的作用是学习每个时间步长对高斯正态分布N的建模；同时，该神经网络p_θ以夜间弱光图像x₀做为条件连接到y_t，建立学习目标L如下：

L＝E_{t～[1,T],ε～N}(||ε_θ-ε_θ(x₀,y_t,t)||²) (4)

通过不断训练，减小学习目标L的值；

步骤二、优化以夜间弱光的图像为条件的反向去噪扩散过程：

首先分别将白天正常光的图像y_i和夜间弱光的图像x_i的分辨率调整为16的倍数，再按照图像维度对图像y_i和图像x_i进行网络单元格划分，每个网格单元格的像素为16×16；并通过在水平和垂直维度上以16的步长在该网格上移动，来提取所有像素为64×64的图像补丁块；最后将D定义为提取的补丁块的总数，d定义为重叠补丁位置的字典；

(1)对于反向去噪扩散采样的每个时间t的步长，使用神经网络估计输出的噪声ε_θ(x₀ ^d,y_t ^d,t)来估计所有重叠补丁块位置d∈{1,...,D}的加性高斯噪声；

(2)补丁块区域位置对应重叠的噪声ε_θ(x₀,y_t,t)进行求和后，除以重叠的次数M，得到更新后的噪声估计Ω_t；

(3)通过更新后的噪声估计Ω_t，执行反向去噪扩散过程；

步骤三、扩散模型网络的输出：

将分辨率为720×480像素的夜间弱光的图像输入已训练好的扩散模型，扩散模型网络自动输出细节清晰、低噪声和亮度提升后的复原图像。