CN116485682B - 一种基于潜在扩散模型的图像阴影去除系统及方法 - Google Patents
一种基于潜在扩散模型的图像阴影去除系统及方法 Download PDFInfo
- Publication number
- CN116485682B CN116485682B CN202310487541.0A CN202310487541A CN116485682B CN 116485682 B CN116485682 B CN 116485682B CN 202310487541 A CN202310487541 A CN 202310487541A CN 116485682 B CN116485682 B CN 116485682B
- Authority
- CN
- China
- Prior art keywords
- image
- shadow
- noise
- low
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000009792 diffusion process Methods 0.000 title claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 23
- 230000008569 process Effects 0.000 claims description 49
- 238000012549 training Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 9
- 208000037516 chromosome inversion disease Diseases 0.000 claims description 5
- 230000001419 dependent effect Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000011161 development Methods 0.000 abstract description 5
- 238000013135 deep learning Methods 0.000 abstract description 4
- 238000010191 image analysis Methods 0.000 abstract description 3
- 238000011160 research Methods 0.000 abstract description 2
- 239000000203 mixture Substances 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种基于潜在扩散模型的图像阴影去除系统及方法，其中系统包括：图像处理模块、潜在空间模块和解码模块；所述图像处理模块用于收集待去除阴影图像，对所述待去除阴影图像进行初步处理，得到低维图像；所述潜在空间模块用于将所述低维图像进行扩散，得到噪声图像，对所述噪声图像进行去噪，得到去噪后低维图像；所述解码模块用于将所述去噪后低维图像解码并进行图像重构，得到去除阴影后图像。本申请的研究和应用可以推动深度学习、计算机视觉等领域的发展，阴影去除技术可以为更高级别的图像分析和识别提供更清晰、自然和准确的图像数据，从而推动相关技术的发展。
Description
技术领域
本申请属于计算机视觉技术领域，具体涉及一种基于潜在扩散模型的图像阴影去除系统及方法。
背景技术
阴影去除是计算机视觉和图像处理领域的一项重要技术，其背景可以追溯到早期的数字图像处理技术。随着数字摄影和图像处理技术的不断发展，阴影去除技术也得到了不断的改进和提高。阴影去除技术的应用非常广泛，包括自动驾驶、机器人导航、视频监控、数字广告、医学图像处理等领域。阴影去除是计算机视觉领域中既基本又重要的任务之一，其处理结果的好坏决定着后续任务的性能，是计算机视觉领域重要预处理阶段。近些年，深度学习理论也被用于解决阴影去除问题，这其中绝大多数都是采用GAN(GenerativeAdversarial Networks生成对抗网络)来完成图像阴影去除任务,GAN是一种强大的深度学习模型，已经在图像生成、图像修复、图像变换等许多领域得到了广泛的应用。使用GAN进行图像阴影去除也可以获得良好的结果，但是它也存在一些缺点：首先GAN通常需要大量的数据来进行训练，以获得良好的效果。对于阴影去除问题，需要大量的包含阴影和无阴影的图像数据集来进行训练，而这些数据集的准备和标注都是非常耗时和费力的。其次，GAN的训练过程非常复杂，需要同时训练两个神经网络。由于训练过程中的不稳定性，GAN很容易陷入训练不收敛、模式崩溃等问题，这可能导致生成的阴影去除结果出现不自然的纹理和失真等问题。潜在扩散模型(LDM，Latent Diffusion Models)最近在图像生成任务中表现出了显著的性能，并在图像合成等任务上取得了非常好的效果，LDM还能够产生更多样化的图像，而且它还拥有保留数据语义结构的能力，所以不会受到模式崩溃的影响。
发明内容
本申请旨在解决现有技术的不足，提出一种基于潜在扩散模型的图像阴影去除系统及方法，将原始图像转换为潜在空间的低维图像，并在潜在空间中通过对低维图像的迭代扩散操作来逐步生成去除阴影后图像。
为实现上述目的，本申请提供了如下方案：
一种基于潜在扩散模型的图像阴影去除系统，包括：图像处理模块、潜在空间模块和解码模块；
所述图像处理模块用于收集待去除阴影图像，对所述待去除阴影图像进行初步处理，得到低维图像；
所述潜在空间模块用于将所述低维图像进行扩散，得到噪声图像，对所述噪声图像进行去噪，得到去噪后低维图像；
所述解码模块用于将所述去噪后低维图像解码并进行图像重构，得到去除阴影后图像。
优选的，所述图像处理模块包括：阴影检测子模块、阴影去除子模块和低维图像生成子模块；
所述阴影检测子模块用于检测所述待去除阴影图像的阴影区域，生成阴影区域掩膜；
所述阴影去除子模块用于挖除所述待去除阴影图像中的阴影区域，得到第一图像；
所述低维图像生成子模块用于对所述第一图像进行降维，得到所述低维图像。
优选的，所述潜在空间模块包括：扩散子模块和去噪子模块；
所述扩散子模块用于在所述低维图像中添加高斯噪声，直至所述低维图像成为纯噪声图，得到所述噪声图像；
所述去噪子模块基于U-Net网络预测所述噪声图像的噪声分布，并基于所述噪声分布对所述噪声图像进行反向去噪过程，得到所述去噪后低维图像。
优选的，所述解码模块包括：解码器子模块和重构子模块；
所述解码器子模块用于将所述去噪后低维图像进行解码，得到输出图像，并对所述阴影区域掩膜做反相处理，得到反相后掩膜；
所述重构子模块用于将所述输出图像与所述反相后掩膜进行拼接得到第二图像，并将所述第二图像与第一图像进行拼接得到所述去除阴影后图像。
本申请还提供了一种基于潜在扩散模型的图像阴影去除方法，包括以下步骤：
收集待去除阴影图像，对所述待去除阴影图像进行初步处理，得到低维图像；
将所述低维图像进行扩散，得到噪声图像，对所述噪声图像进行去噪，得到去噪后低维图像；
将所述去噪后低维图像解码并进行图像重构，得到去除阴影后图像。
优选的，所述初步处理的方法包括：
检测所述待去除阴影图像的阴影区域，生成阴影区域掩膜；
基于所述阴影区域掩膜挖除所述待去除阴影图像中的阴影区域，得到第一图像；
对所述第一图像进行降维，得到所述低维图像。
优选的，所述扩散的方法包括：在所述低维图像中添加高斯噪声，直至所述低维图像成为纯噪声图，得到所述噪声图像；
所述去噪的方法包括：基于U-Net网络预测所述噪声图像的噪声分布，并基于所述噪声分布对所述噪声图像进行反向去噪过程，得到所述去噪后低维图像。
优选的，所述重构的方法包括：
将所述去噪后低维图像进行解码，得到输出图像，并对所述阴影区域掩膜做反相处理，得到反相后掩膜；
将所述输出图像与所述反相后掩膜进行拼接得到第二图像，并将所述第二图像与第一图像进行拼接得到所述去除阴影后图像。
与现有技术相比，本申请的有益效果为：
(1)本申请可以提高图像质量，使图像更加清晰、自然和易于识别，例如，交通监控、安防监控等领域可以通过阴影去除提高图像识别的准确性，减少安全隐患；
(2)本申请是一种基于深度学习的计算机视觉技术，其研究和应用可以推动深度学习、计算机视觉等领域的发展，例如，在图像处理、图像分析、图像识别等领域，阴影去除技术可以为更高级别的图像分析和识别提供更清晰、自然和准确的图像数据，从而推动相关技术的发展。
附图说明
为了更清楚地说明本申请的技术方案，下面对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的系统结构示意图；
图2为本申请实施例的U-Net网络的整体架构图；
图3为本申请实施例的方法流程示意图；
图4为本申请实施例的详细流程图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。
实施例一
在本实施例中，如图1所示，一种基于潜在扩散模型的图像阴影去除系统，包括：图像处理模块、潜在空间模块和解码模块；
图像处理模块用于收集待去除阴影图像，对待去除阴影图像进行初步处理，得到低维图像。
图像处理模块包括：阴影检测子模块、阴影去除子模块和低维图像生成子模块。阴影检测子模块用于检测待去除阴影图像的阴影区域，生成阴影区域掩膜；阴影去除子模块用于基于阴影区域掩膜挖除待去除阴影图像中的阴影区域，得到第一图像；低维图像生成子模块用于对第一图像进行降维，得到低维图像。
在本实施例中，阴影检测子模块通过FSDNet模型检测图像中的阴影区域并生成对应的阴影区域掩膜；阴影去除子模块通过阴影区域掩膜挖除图像中的阴影区域得到第一图像，第一图像大小为H×W×3，并将挖除阴影区域的第一图像输入低维图像生成子模块，由其中的变分自编码器(Variational Autoencoder，VAE)模型中的Encoder模块对挖除阴影区域后的图像进行处理，将图片信息降维到潜在空间，得到低维图像。
潜在空间模块用于将低维图像进行扩散，得到噪声图像，对噪声图像进行去噪，得到去噪后低维图像。
潜在空间模块包括：扩散子模块和去噪子模块。扩散子模块用于在低维图像中添加高斯噪声，直至低维图像成为纯噪声图像，得到噪声图像；去噪子模块基于U-Net网络预测噪声图像的噪声分布，并基于噪声分布对噪声图像进行反向去噪过程，得到去噪后低维图像。
在本实施例中，扩散子模块对于原始数据X-X0～q(X0)，总共包含t步的扩散过程，每一步都是对上一步得到的数据Xt-l按如下方式增加高斯噪音：
前像过程图像Xt只和上一时刻的图像Xt-1有关，其中，βt为高斯分布的方差超参，q表示前向扩散过程，N为正态分布。
以上加噪过程可以直接由原始图像X0得到：Xt-1
其中，at＝1-βt，。
去噪子模块基于U-Net预测噪声图像的噪声分布从而完成反向去噪过程并得到去噪后的低维图像。训练一个U-Net网络p(Xt-1|Xt)来近似q(Xt-1|Xt)，训练网络p(Xt-1|Xt)就是最小化p(Xt|Xt+1)和q(Xt|Xt+1X0)的KL散度，而q(Xt-1|Xt，X0)可以用q(Xt|Xt-1)和q(Xt|X0)来表示，因此便能根据q(Xt-1|Xt，X0)来完成反向过程。反向去噪过程的每一步具体过程：定义真实图像是x，已知像素是m⊙x，未知像素是(1-m)⊙x，去噪的过程依赖Xt，改变已知的区域(1-m)⊙xt，由于前向过程是由添加了高斯噪声的马尔可夫链定义的，因此可以在任意时间点对中间图像xt进行采样，对于未知区域和已知区域，通过以下步骤逐步实现反向去噪过程：
为上一时刻图像，m为检测生成的阴影区域掩膜，(1-m)为对阴影掩膜进行反相操作，/>为模型预测的上一时刻图像。
U-Net网络结构主要分为三部分：下采样，上采样以及跳跃连接，左边是压缩的过程，通过卷积和下采样来降低图像尺寸，提取一些浅显的特征。右边部分是解码的过程，通过卷积和上采样来获取一些深层次的特征。U-Net网络中间通过拼接的方式，将编码阶段获得的feature map同解码阶段获得的feature map结合在一起，结合深层次和浅层次的特征，所以图像只会有一些细微的损失。扩散模型需要采样几百上千步，单步的信息损失就足以造成图像模糊，所以使用U-Net网络可以较好地解决生成图像崩坏的问题。
U-Net网络训练过程如下：首先在真实图像分布q(X0)中采样出x0，也就是训练图像；在区间1...T中随机生成一个t，代表扩散次数；从标准正态分布中采样一个随机噪声∈；计算损失函数，其中的真值是采样得到的噪声∈，网络预测值是∈θ(Xt，t)；将t作为一个时间编码输入到网络中，因为在反向去噪过程中，每一次迭代的网络都是相同的，即参数共享，将t一同传进去参与训练，用t来告诉网络进行到第几次迭代。
解码模块用于将去噪后低维图像解码并进行图像重构，得到去除阴影后图像。
解码模块包括：解码器子模块和重构子模块。解码器子模块用于将去噪后低维图像进行解码，得到输出图像，并对阴影区域掩膜进行反相操作，得到反相后掩膜；重构子模块用于将输出图像与反相后掩膜进行拼接得到第二图像，并将第二图像与第一图像进行拼接得到去除阴影后图像。
实施例二
在本实施例中，如图3所示，一种基于潜在扩散模型的图像阴影去除方法，包括以下步骤：
S1.收集待去除阴影图像，对待去除阴影图像进行初步处理，得到低维图像。
检测待去除阴影图像的阴影区域，生成阴影区域掩膜；基于阴影区域掩膜挖除待去除阴影图像中的阴影区域，得到第一图像；对第一图像进行降维，得到低维图像。
在本实施例中，通过FSDNet模型检测图像中的阴影区域并生成对应的阴影区域掩膜；通过阴影区域掩膜挖除图像中的阴影区域得到第一图像，第一图像大小为H×W×3，并将挖除阴影区域的第一图像输入变分自动编码器(Variational Autoencoder，VAE)模型中的Encoder模块，对挖除阴影区域后的图像进行处理，将图片信息降维到潜在空间，得到低维图像。
S2.将低维图像进行扩散，得到噪声图像，对噪声图像进行去噪，得到去噪后低维图像。
在低维图像中添加高斯噪声，直至低维图像变为纯噪声图像，得到噪声图像；基于U-Net网络预测噪声图像的噪声分布，并基于噪声分布对噪声图像进行反向去噪过程，得到去噪后低维图像。
在本实施例中，对于原始数据X-X0～q(X0)，总共包含t步的扩散过程，每一步都是对上一步得到的数据Xt-1按如下方式增加高斯噪音：
前像过程图像Xt只和上一时刻的图像Xt-1有关，其中，βt为高斯分布的方差超参，q表示前向扩散过程，N为正态分布。
以上加噪过程可以直接由X0得到：
其中，αt＝1-βt，。
其次，基于U-Net预测噪声图像的噪声分布从而完成反向去噪过程并得到去噪后的低维图像。训练一个U-Net网络p(Xt-1|Xt)来近似q(Xt-1|Xt)，训练网络p(Xt-1|Xt)就是最小化p(Xt|Xt+1)和q(Xt|Xt+1X0)的KL散度，而q(Xt-1|Xt，X0)可以用q(Xt|Xt-1)和q(Xt|X0)来表示，因此便能根据q(xt-1|Xt，X0)来完成反向过程。反向去噪过程的每一步具体过程：定义真实图像是x，已知像素是m⊙x，未知像素是(1-m)⊙x，去噪的过程依赖Xt，改变已知的区域(1-m)⊙xt，由于前向过程是由添加了高斯噪声的马尔可夫链定义的，因此可以在任意时间点对中间图像xt进行采样，对于未知区域和已知区域，通过以下步骤逐步实现反向去噪过程：
为上一时刻图像，m为检测生成的阴影区域掩膜，(1-m)为对阴影掩膜进行反相操作，/>为模型预测的上一时刻图像。
U-Net网络结构主要分为三部分：下采样，上采样以及跳跃连接，左边是压缩的过程，通过卷积和下采样来降低图像尺寸，提取一些浅显的特征。右边部分是解码的过程，通过卷积和上采样来获取一些深层次的特征。U-Net网络中间通过拼接的方式，将编码阶段获得的feature map同解码阶段获得的feature map结合在一起，结合深层次和浅层次的特征，所以图像只会有一些细微的损失。扩散模型需要采样几百上千步，单步的信息损失就足以造成图像模糊，所以使用U-Net网络可以较好地解决生成图像崩坏的问题。
U-Net网络训练过程如下：首先在真实图像分布q(X0)中采样出X0，也就是训练图像；在区间1...T中随机生成一个t，代表扩散次数；从标准正态分布中采样一个随机噪声∈；计算损失函数，其中的真值是采样得到的噪声∈，网络预测值是∈θ(Xt，t)；将t作为一个时间编码输入到网络中，因为在反向去噪过程中，每一次迭代的网络都是相同的，即参数共享，将t一同传进去参与训练，用t来告诉网络进行到第几次迭代。
S3.将去噪后低维图像解码并进行图像重构，得到去除阴影后图像。
将去噪后低维图像进行解码，得到输出图像，并对阴影区域掩膜进行反相操作，得到反相后掩膜；将输出图像与反相后掩膜进行拼接得到第二图像，并将第二图像与第一图像进行拼接得到去除阴影后图像。
以上所述的实施例仅是对本申请优选方式进行的描述，并非对本申请的范围进行限定，在不脱离本申请设计精神的前提下，本领域普通技术人员对本申请的技术方案做出的各种变形和改进，均应落入本申请权利要求书确定的保护范围内。
Claims (2)
1.一种基于潜在扩散模型的图像阴影去除系统，其特征在于，包括：图像处理模块、潜在空间模块和解码模块；
所述图像处理模块用于收集待去除阴影图像，对所述待去除阴影图像进行初步处理，得到低维图像；
所述潜在空间模块用于将所述低维图像进行扩散，得到噪声图像，对所述噪声图像进行去噪，得到去噪后低维图像；
所述解码模块用于将所述去噪后低维图像解码并进行图像重构，得到去除阴影后图像；
所述图像处理模块包括：阴影检测子模块、阴影去除子模块和低维图像生成子模块；
所述阴影检测子模块用于检测所述待去除阴影图像的阴影区域，生成阴影区域掩膜；
所述阴影去除子模块用于挖除所述待去除阴影图像中的阴影区域，得到第一图像；
所述低维图像生成子模块用于对所述第一图像进行降维，得到所述低维图像；
所述潜在空间模块包括：扩散子模块和去噪子模块；
所述扩散子模块用于在所述低维图像中添加高斯噪声，直至所述低维图像成为纯噪声图，得到所述噪声图像；
所述去噪子模块基于U-Net网络预测所述噪声图像的噪声分布，并基于所述噪声分布对所述噪声图像进行反向去噪过程，得到所述去噪后低维图像；
扩散子模块对于原始数据X-X0～q(X0)，总共包含t步的扩散过程，每一步都是对上一步得到的数据Xt-l按如下方式增加高斯噪音：
前向过程图像Xt只和上一时刻的图像Xt-1有关，其中，βt为高斯分布的方差超参，q表示前向扩散过程，N为正态分布；
加噪过程直接由原始图像X0得到：
其中，at＝1-βt；
去噪子模块基于U-Net预测噪声图像的噪声分布从而完成反向去噪过程并得到去噪后的低维图像；训练一个U-Net网络p(Xt-1|Xt)来近似q(Xt-1|Xt)，训练网络p(Xt-1|Xt)就是最小化p(Xt|Xt+1)和q(Xt|Xt+1，X0)的KL散度，而q(Xt-1|Xt，X0)可以用q(Xt|Xt-1)和q(Xt|X0)来表示，因此便能根据q(Xt-1|Xt，X0)来完成反向过程；反向去噪过程的每一步具体过程：定义真实图像是x，已知像素是m⊙x，未知像素是(1-m)⊙x，去噪的过程依赖Xt，改变已知的区域(1-m)⊙xt，由于前向过程是由添加了高斯噪声的马尔可夫链定义的，因此可以在任意时间点对中间图像xt进行采样，对于未知区域和已知区域，通过以下步骤逐步实现反向去噪过程：
为上一时刻图像，m为检测生成的阴影区域掩膜，(1-m)为对阴影掩膜进行反相操作，/>为模型预测的上一时刻图像；
所述解码模块包括：解码器子模块和重构子模块；
所述解码器子模块用于将所述去噪后低维图像进行解码，得到输出图像，并对所述阴影区域掩膜做反相处理，得到反相后掩膜；
所述重构子模块用于将所述输出图像与所述反相后掩膜进行拼接得到第二图像，并将所述第二图像与第一图像进行拼接得到所述去除阴影后图像。
2.一种基于潜在扩散模型的图像阴影去除方法，所述去除方法应用于权利要求1所述的去除系统，其特征在于，包括以下步骤：
收集待去除阴影图像，对所述待去除阴影图像进行初步处理，得到低维图像；
将所述低维图像进行扩散，得到噪声图像，对所述噪声图像进行去噪，得到去噪后低维图像；
将所述去噪后低维图像解码并进行图像重构，得到去除阴影后图像；
所述初步处理的方法包括：
检测所述待去除阴影图像的阴影区域，生成阴影区域掩膜；
基于所述阴影区域掩膜挖除所述待去除阴影图像中的阴影区域，得到第一图像；
对所述第一图像进行降维，得到所述低维图像；
所述扩散的方法包括：在所述低维图像中添加高斯噪声，直至所述低维图像成为纯噪声图，得到所述噪声图像；
所述去噪的方法包括：基于U-Net网络预测所述噪声图像的噪声分布，并基于所述噪声分布对所述噪声图像进行反向去噪过程，得到所述去噪后低维图像；
对于原始数据X-X0～q(X0)，总共包含t步的扩散过程，每一步都是对上一步得到的数据Xt-l按如下方式增加高斯噪音：
前向过程图像Xt只和上一时刻的图像Xt-1有关，其中，βt为高斯分布的方差超参，q表示前向扩散过程，N为正态分布；
加噪过程直接由原始图像X0得到：
其中，at＝1-βt；
基于U-Net预测噪声图像的噪声分布从而完成反向去噪过程并得到去噪后的低维图像；训练一个U-Net网络p(Xt-1|Xt)来近似q(Xt-1|Xt)，训练网络p(Xt-1|Xt)就是最小化p(Xt|Xt+1)和q(Xt|Xt+1，X0)的KL散度，而q(Xt-1|Xt，X0)可以用q(Xt|Xt-1)和q(Xt|X0)来表示，因此便能根据q(Xt-1|Xt，X0)来完成反向过程；反向去噪过程的每一步具体过程：定义真实图像是x，已知像素是m⊙x，未知像素是(1-m)⊙x，去噪的过程依赖Xt，改变已知的区域(1-m)⊙xt，由于前向过程是由添加了高斯噪声的马尔可夫链定义的，因此可以在任意时间点对中间图像xt进行采样，对于未知区域和已知区域，通过以下步骤逐步实现反向去噪过程：
为上一时刻图像，m为检测生成的阴影区域掩膜，(1-m)为对阴影掩膜进行反相操作，/>为模型预测的上一时刻图像；
所述重构的方法包括：
将所述去噪后低维图像进行解码，得到输出图像，并对所述阴影区域掩膜做反相处理，得到反相后掩膜；
将所述输出图像与所述反相后掩膜进行拼接得到第二图像，并将所述第二图像与第一图像进行拼接得到所述去除阴影后图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310487541.0A CN116485682B (zh) | 2023-05-04 | 2023-05-04 | 一种基于潜在扩散模型的图像阴影去除系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310487541.0A CN116485682B (zh) | 2023-05-04 | 2023-05-04 | 一种基于潜在扩散模型的图像阴影去除系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116485682A CN116485682A (zh) | 2023-07-25 |
| CN116485682B true CN116485682B (zh) | 2024-03-15 |
Family
ID=87226730
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310487541.0A Active CN116485682B (zh) | 2023-05-04 | 2023-05-04 | 一种基于潜在扩散模型的图像阴影去除系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116485682B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117173222B (zh) * | 2023-09-01 | 2024-07-19 | 深圳扬奇医芯智能科技有限公司 | 一种基于扩散模型的配准方法及系统 |
| CN117893838B (zh) * | 2024-03-14 | 2024-07-19 | 厦门大学 | 应用扩散检测模型的目标检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112819720A (zh) * | 2021-02-02 | 2021-05-18 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN114049347A (zh) * | 2021-11-26 | 2022-02-15 | 中国石油大学(华东) | 一种基于特征增强的原油泄漏检测方法 |
| CN116012478A (zh) * | 2022-12-27 | 2023-04-25 | 哈尔滨工业大学 | 一种基于收敛型扩散模型的ct金属伪影去除方法 |
-
2023
- 2023-05-04 CN CN202310487541.0A patent/CN116485682B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112819720A (zh) * | 2021-02-02 | 2021-05-18 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN114049347A (zh) * | 2021-11-26 | 2022-02-15 | 中国石油大学(华东) | 一种基于特征增强的原油泄漏检测方法 |
| CN116012478A (zh) * | 2022-12-27 | 2023-04-25 | 哈尔滨工业大学 | 一种基于收敛型扩散模型的ct金属伪影去除方法 |
Non-Patent Citations (4)
| Title |
|---|
| Improved Denoising Diffusion Probabilistic Models;Alex Nichol et al;《Proceedings of the 38 th International Conference on Machine Learning》;第1-10页 * |
| Refusion: Enabling Large-Size Realistic Image Restoration with Latent-Space Diffusion Models;Ziwei Luo et al;《https://arxiv.org/pdf/2304.08291.pdf》;第1-9页 * |
| Ziwei Luo et al.Refusion: Enabling Large-Size Realistic Image Restoration with Latent-Space Diffusion Models.《https://arxiv.org/pdf/2304.08291.pdf》.2023,第1-9页. * |
| 基于幅度与梯度综合信息的SAR图像非线性扩散去噪方法;谢美华等;《宇航学报》(第2期);第83-87页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116485682A (zh) | 2023-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116485682B (zh) | 一种基于潜在扩散模型的图像阴影去除系统及方法 | |
| US20210166350A1 (en) | Fusion network-based method for image super-resolution and non-uniform motion deblurring | |
| CN110766632A (zh) | 基于通道注意力机制和特征金字塔的图像去噪方法 | |
| CN113066034A (zh) | 人脸图像的修复方法与装置、修复模型、介质和设备 | |
| CN116152591B (zh) | 模型训练方法、红外小目标检测方法、装置及电子设备 | |
| CN116385283A (zh) | 一种基于事件相机的图像去模糊方法及系统 | |
| CN114399814B (zh) | 一种基于深度学习的遮挡物移除和三维重建方法 | |
| CN113705575B (zh) | 一种图像分割方法、装置、设备及存储介质 | |
| Hua et al. | Dynamic scene deblurring with continuous cross-layer attention transmission | |
| Wan et al. | Progressive convolutional transformer for image restoration | |
| CN114202473A (zh) | 一种基于多尺度特征和注意力机制的图像复原方法及装置 | |
| CN117893409A (zh) | 基于光照条件约束扩散模型的人脸超分辨率重建方法及系统 | |
| CN114820423A (zh) | 一种基于显著性目标检测的自动抠图方法及其配套系统 | |
| CN117252892A (zh) | 基于轻量化视觉自注意力网络的双分支人像自动抠图模型 | |
| CN113096032A (zh) | 一种基于图像区域划分的非均匀一致模糊去除方法 | |
| Zhang et al. | Image deblurring method based on self-attention and residual wavelet transform | |
| CN117097853A (zh) | 一种基于深度学习的实时抠像方法及系统 | |
| Jiang et al. | Learning in-place residual homogeneity for single image detail enhancement | |
| CN116433516A (zh) | 一种基于注意力机制的低照度图像去噪增强方法 | |
| CN115565107A (zh) | 一种基于双流架构的视频显著性预测方法 | |
| CN115170812A (zh) | 图像去噪模型训练、降噪方法及其设备、存储介质 | |
| CN115471414A (zh) | 基于曝光成像模型和模块化深度网络的图像去雨雪方法 | |
| CN112396598B (zh) | 一种基于单阶段多任务协同学习的人像抠图方法及系统 | |
| Wang et al. | FPD Net: Feature Pyramid DehazeNet. | |
| CN113888424A (zh) | 文物历史照片色彩复原方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |