CN115880187A - 基于去噪扩散概率模型的单图像反光去除方法及相关设备 - Google Patents

基于去噪扩散概率模型的单图像反光去除方法及相关设备 Download PDF

Info

Publication number
CN115880187A
CN115880187A CN202310036140.3A CN202310036140A CN115880187A CN 115880187 A CN115880187 A CN 115880187A CN 202310036140 A CN202310036140 A CN 202310036140A CN 115880187 A CN115880187 A CN 115880187A
Authority
CN
China
Prior art keywords
image
denoising
probability model
diffusion
clean
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310036140.3A
Other languages
English (en)
Inventor
陈勇勇
陈炜昕
孟利翔
苏敬勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Harbin Institute of Technology
Original Assignee
Shenzhen Graduate School Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Harbin Institute of Technology filed Critical Shenzhen Graduate School Harbin Institute of Technology
Priority to CN202310036140.3A priority Critical patent/CN115880187A/zh
Publication of CN115880187A publication Critical patent/CN115880187A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于去噪扩散概率模型的单图像反光去除方法及相关设备，所述方法包括构建去噪扩散概率模型，并获取原始训练图像及所述原始训练图像对应的干净图像；当所述原始训练图像及所述干净图像进行训练时，输入不同的高斯噪声至所述去噪扩散概率模型，得到所述去噪扩散概率模型对所述高斯噪声拟合后得到目标噪声；基于所述目标噪声对所述原始图像进行逆向取样，得到所述原始图像的目标干净图像。本发明使用去噪扩散概率模型应用于单图像反光去除，由于去噪扩散概率模型具有保留数据语义结构的能力以及在图像细粒度方面的恢复能力更强，令反光去除后的图像恢复达到重建质量更好的效果。

Description

基于去噪扩散概率模型的单图像反光去除方法及相关设备
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于去噪扩散概率模型的单图像反光去除方法、系统、终端及存储介质。
背景技术
去噪扩散概率模型是一种受非平衡热力学启发的潜在变量模型，该模型是一条参数化的马尔科夫链，通过变分推理在有限的次数内产生与数据相匹配的样本。模型的训练主要是基于学习如何逆转扩散过程（向样本添加噪声直到样本完全被转化为高斯噪声）。由于其具有保留数据语义结构的能力，在图像生成、图像恢复等任务中表现出了显著的性能，并在图像合成等任务上超越了生成式对抗网络的性能。单图像反光去除需要从一张图像中分离出干净的图像和反光图像，有限的图像信息导致该问题是一个病态的问题。因此，目前主流的单图像反光去除算法大多引入额外的先验信息来帮助图像恢复，额外的先验信息会约束解空间的范围，从而使图像恢复达到更满意的效果。
由于单图像反光去除是一个病态的问题，现有的算法往往会引入额外的先验信息来约束解空间。常见的先验有针对梯度的稀疏先验、语义先验和深度先验等。传统方法主要使用针对梯度的稀疏先验和语义先验，针对梯度的稀疏先验主要是基于反射层与背景层有着不同的景深提出的，这种先验能够有效去除比较模糊的反射，但对于比较复杂的场景或者反射层和背景层的景深相同，这种先验往往不能起作用。而语义先验主要是为了恢复被反射污染而不能见的图像，这种方法相较于针对梯度的稀疏先验能够更有效地处理反射层和背景层景深相同的情况，但是这种方法往往将整个图像分为若干块，采取块处理的方式而不是处理整张图像，这种方法的计算度是更为复杂的并且往往容易产生额外的伪影。总的来说，由于手工设置的先验只能针对某些特定的场景，传统方法去除反射的性能往往不能与深度方法相比较。
而深度先验主要是基于端到端的神经网络，采用编码器-解码器的网络结构进行图像恢复；深度先验去除反射的性能一大部分取决于训练图像的设计，但训练图像设计的好坏直接影响去除反射的效果。基于端到端的神经网络往往恢复图像的视觉效果不如真实图像自然，而且对训练域之外的图像以及退化严重的图像恢复能力较差，因此如何使反光去除后的图像恢复达到更好的重建质量效果，是当前大环境下亟需解决的问题。
因此，现有技术还有待于改进和发展。
发明内容
本发明的主要目的在于提供一种基于去噪扩散概率模型的单图像反光去除方法及相关设备，旨在解决现有技术中无法从反射污染的图像中还原出干净的图像，从而无法达到图像恢复目的的问题。
为实现上述目的，本发明提供一种基于去噪扩散概率模型的单图像反光去除方法，所述基于去噪扩散概率模型的单图像反光去除方法包括：
构建去噪扩散概率模型，并获取原始训练图像及所述原始训练图像对应的干净图像；
当所述原始训练图像及所述干净图像进行训练时，输入不同的高斯噪声至所述去噪扩散概率模型，得到所述去噪扩散概率模型对所述高斯噪声拟合后得到的目标噪声；
基于所述目标噪声对原始图像进行逆向取样，得到所述原始图像的目标干净图像。
可选地，所述的基于去噪扩散概率模型的单图像反光去除方法，其中，所述当所述原始训练图像及所述干净图像进行训练时，输入不同的高斯噪声至所述去噪扩散概率模型，具体包括：
在所述干净图像训练过程中，对每一步训练的干净图像添加方差为
Figure 520038DEST_PATH_IMAGE001
的高斯噪声，得到第t步图像的概率分布，其中，t为自然数；
基于第t步图像的概率分布得到第t-1步图像的概率分布；
所述第t步图像的概率分布的表达式为：
Figure 224689DEST_PATH_IMAGE002
；
其中，
Figure 969791DEST_PATH_IMAGE003
为第t步的图像，/>
Figure 937747DEST_PATH_IMAGE004
为第t-1步的图像，/>
Figure 830616DEST_PATH_IMAGE005
为在已知/>
Figure 276641DEST_PATH_IMAGE004
情况下/>
Figure 204146DEST_PATH_IMAGE003
的概率分布，/>
Figure 343003DEST_PATH_IMAGE006
为高斯分布，/>
Figure 395273DEST_PATH_IMAGE007
为方差；
所述第t-1步图像的概率分布的表达式为：
Figure 707305DEST_PATH_IMAGE008
；
其中，
Figure 427000DEST_PATH_IMAGE009
为在已知/>
Figure 736758DEST_PATH_IMAGE003
和/>
Figure 338641DEST_PATH_IMAGE010
情况下/>
Figure 126468DEST_PATH_IMAGE004
的概率分布，/>
Figure 762986DEST_PATH_IMAGE010
为干净图像的原始图像，/>
Figure 243646DEST_PATH_IMAGE011
为需要优化的参数，/>
Figure 536087DEST_PATH_IMAGE012
为优化参数/>
Figure 924343DEST_PATH_IMAGE011
拟合得到的均值，/>
Figure 884209DEST_PATH_IMAGE013
为优化参数
Figure 270191DEST_PATH_IMAGE011
拟合得到的方差。
可选地，所述的基于去噪扩散概率模型的单图像反光去除方法，其中，所述基于第t步图像的概率分布得到第t-1步图像的概率分布，之后还包括：
根据变分法将所述去噪扩散概率模型的目标函数转化为第一目标函数；
所述第一目标函数的表达式为：
Figure 846666DEST_PATH_IMAGE014
；
其中，L为转化后的目标函数，
Figure 976296DEST_PATH_IMAGE015
为第t步图像所符合的图像分布。
可选地，所述的基于去噪扩散概率模型的单图像反光去除方法，其中，所述根据变分法将所述去噪扩散概率模型的目标函数转化为第一目标函数，之后还包括：
对所述第一目标函数的随机梯度下降优化的随机项进行训练，将所述第一目标函数进行变换得到变换式，所述变换式为：
Figure 790668DEST_PATH_IMAGE017
；/>
其中，
Figure 409868DEST_PATH_IMAGE018
为常数，/>
Figure 411322DEST_PATH_IMAGE019
为需要优化的带参数θ的数据项，/>
Figure 406960DEST_PATH_IMAGE020
为在已知/>
Figure 75839DEST_PATH_IMAGE021
情况下/>
Figure 803623DEST_PATH_IMAGE022
的概率分布，/>
Figure 354690DEST_PATH_IMAGE021
为倒数第二步得到的干净图像，/>
Figure 91702DEST_PATH_IMAGE022
为最后一步得到的干净图像。
可选地，所述的基于去噪扩散概率模型的单图像反光去除方法，其中，所述将所述第一目标函数进行变换得到变换式，之后还包括：
将所述变换式中的
Figure 615087DEST_PATH_IMAGE023
设置为从高斯函数导出的独立离散解码器
Figure 576090DEST_PATH_IMAGE024
，则/>
Figure 552136DEST_PATH_IMAGE025
表示为：
Figure 92839DEST_PATH_IMAGE026
；
其中，D为数据的维度大小，i为其中的一个坐标，
Figure 267469DEST_PATH_IMAGE027
为/>
Figure 602635DEST_PATH_IMAGE028
的方差；
其中，
Figure 862715DEST_PATH_IMAGE029
，/>
Figure 207109DEST_PATH_IMAGE030
，y为干净图像。
可选地，所述的基于去噪扩散概率模型的单图像反光去除方法，其中，所述基于去噪扩散概率模型的单图像反光去除方法还包括：
对所述目标函数进行简化处理得到简化目标函数，其中，所述简化目标函数的表达式为：
Figure 173928DEST_PATH_IMAGE031
；
其中，
Figure 742312DEST_PATH_IMAGE032
为每一步添加的高斯噪声，/>
Figure 692951DEST_PATH_IMAGE033
为使用神经网络预测的噪声。
可选地，所述的基于去噪扩散概率模型的单图像反光去除方法，其中，所述基于所述目标噪声对原始图像进行逆向取样，得到所述原始图像的目标干净图像，具体为：
基于所述原始图像获取一个第t步的图像，基于第t步的图像得到第t-1步的图像，并通过公式对第t-1步的图像进行迭代更新t次，得到所述原始图像的目标干净图像；
所述公式为：
Figure 309877DEST_PATH_IMAGE034
；
其中，
Figure 459099DEST_PATH_IMAGE035
为假设的变量，/>
Figure 136068DEST_PATH_IMAGE036
为前t个阶段的/>
Figure 574002DEST_PATH_IMAGE035
连乘，/>
Figure 56936DEST_PATH_IMAGE037
为第t步干净图像的方差，z为正态分布。
可选地，所述的基于去噪扩散概率模型的单图像反光去除方法，其中，所述基于去噪扩散概率模型的单图像反光去除系统包括：
模型构建模块，用于构建去噪扩散概率模型，并获取原始训练图像及所述原始训练图像对应的干净图像；
模型训练模块，用于当所述原始训练图像及所述干净图像进行训练时，输入不同的高斯噪声至所述去噪扩散概率模型，得到所述去噪扩散概率模型对所述高斯噪声拟合后得到的目标噪声；
图像还原模块，用于基于所述目标噪声对原始图像进行逆向取样，得到所述原始图像的目标干净图像。
此外，为实现上述目的，本发明还提供一种终端，其中，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于去噪扩散概率模型的单图像反光去除程序，所述基于去噪扩散概率模型的单图像反光去除程序被所述处理器执行时实现如上所述的基于去噪扩散概率模型的单图像反光去除方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于去噪扩散概率模型的单图像反光去除程序，所述基于去噪扩散概率模型的单图像反光去除程序被处理器执行时实现如上所述基于去噪扩散概率模型的单图像反光去除方法的步骤。
本发明公开了一种基于去噪扩散概率模型的单图像反光去除方法及相关设备，所述方法包括构建去噪扩散概率模型，并获取原始训练图像及所述原始训练图像对应的干净图像；当所述原始训练图像及所述干净图像进行训练时，输入不同的高斯噪声至所述去噪扩散概率模型，得到所述去噪扩散概率模型对所述高斯噪声拟合后得到目标噪声；基于所述目标噪声对所述原始图像进行逆向取样，得到所述原始图像的目标干净图像。本发明使用去噪扩散概率模型应用于单图像反光去除，由于去噪扩散概率模型具有保留数据语义结构的能力以及在图像细粒度方面的恢复能力更强，令反光去除后的图像恢复达到重建质量更好的效果。
附图说明
图1是本发明中基于去噪扩散概率模型的单图像反光去除方法的较佳实施例的流程图；
图2是本发明中基于去噪扩散概率模型的单图像反光去除方法中的训练去噪扩散概率模型的示意图；
图3是本发明中基于去噪扩散概率模型的单图像反光去除系统的较佳实施例的原理示意图；
图4为本发明终端的较佳实施例的运行环境示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明较佳实施例所述的基于去噪扩散概率模型的单图像反光去除方法，如图1所示，所述基于去噪扩散概率模型的单图像反光去除方法包括以下步骤：
步骤S10、构建去噪扩散概率模型，并获取原始训练图像及所述原始训练图像对应的干净图像。
具体地，目前基于端到端的神经网络往往恢复图像的视觉效果不如真实图像自然，而且对训练域之外的图像以及退化严重的图像恢复能力较差；故本发明使用去噪扩散概率模型进行单图像反光去除，构建去噪扩散概率模型，去噪扩散概率模型是一种受非平衡热力学启发的潜在变量模型，该模型是一条参数化的马尔科夫链，通过变分推理在有限的次数内产生与数据相匹配的样本。去噪扩散概率模型的训练主要是基于学习如何逆转扩散过程（向样本添加噪声直到样本完全被转化为高斯噪声）。由于其具有保留数据语义结构的能力，在图像生成、图像恢复等任务中表现出了显著的性能，并在图像合成等任务上超越了生成式对抗网络的性能。
步骤S20、当所述原始训练图像及所述干净图像进行训练时，输入不同的高斯噪声至所述去噪扩散概率模型，得到所述去噪扩散概率模型对所述高斯噪声拟合后得到的目标噪声。
具体地，如图2所示的训练去噪扩散概率模型的流程图，正向为扩散过程，反向为逆转扩散过程。去噪扩散概率模型的训练是对前向扩散过程中所添加的高斯噪声的拟合，一共需执行t步；给定原始图像
Figure 998347DEST_PATH_IMAGE038
以及对应的干净图像/>
Figure 111797DEST_PATH_IMAGE039
，/>
Figure 845484DEST_PATH_IMAGE039
符合分布p(y)记作/>
Figure 804213DEST_PATH_IMAGE040
；定义前向扩散过程为在t步内对前一步的/>
Figure 131289DEST_PATH_IMAGE041
添加方差为/>
Figure 946798DEST_PATH_IMAGE042
的高斯噪声，设第t步得到的图像为/>
Figure 93746DEST_PATH_IMAGE043
，则/>
Figure 121744DEST_PATH_IMAGE043
的概率分布表达式为：
Figure 100065DEST_PATH_IMAGE044
；
其中，
Figure 289738DEST_PATH_IMAGE043
为第t步的图像，/>
Figure 720719DEST_PATH_IMAGE041
为第t-1步的图像，/>
Figure 286829DEST_PATH_IMAGE045
为在已知/>
Figure 322919DEST_PATH_IMAGE041
情况下/>
Figure 745810DEST_PATH_IMAGE043
的概率分布，/>
Figure 867349DEST_PATH_IMAGE046
为高斯分布，/>
Figure 971572DEST_PATH_IMAGE042
为方差；根据前一步的扩散过程，学习如何逆转扩散过程，假设给定第t步的图像为/>
Figure 924484DEST_PATH_IMAGE043
，已知原始图像x，设第t-1步的图像/>
Figure 721539DEST_PATH_IMAGE041
概率分布表达式为：
Figure 64796DEST_PATH_IMAGE047
；其中，/>
Figure 769446DEST_PATH_IMAGE048
为在已知/>
Figure 780128DEST_PATH_IMAGE043
和x情况下/>
Figure 279242DEST_PATH_IMAGE041
的概率分布，x为干净图像的原始图像，/>
Figure 375374DEST_PATH_IMAGE049
为需要优化的参数，
Figure 821399DEST_PATH_IMAGE050
表示优化参数/>
Figure 483324DEST_PATH_IMAGE049
拟合得到的均值，/>
Figure 356603DEST_PATH_IMAGE051
表示优化参数/>
Figure 940031DEST_PATH_IMAGE049
拟合得到的方差。
进一步地，训练的目标函数是使得预测的图像y与真实的图像逼近，即
Figure 252063DEST_PATH_IMAGE052
，使用变分法将目标函数化为：
Figure 706178DEST_PATH_IMAGE053
；其中，L为转化后的目标函数，/>
Figure 15937DEST_PATH_IMAGE054
为第t步图像所符合的图像分布；为了通过使用随机梯度下降优化L的随机项进行有效的训练，将L改写为：
Figure 883399DEST_PATH_IMAGE056
；其中，/>
Figure 671226DEST_PATH_IMAGE057
表示计算两个分布的相对熵，/>
Figure 307744DEST_PATH_IMAGE058
为常数，
Figure 788404DEST_PATH_IMAGE059
为需要优化的带参数θ的数据项，/>
Figure 80845DEST_PATH_IMAGE060
为在已知/>
Figure 469101DEST_PATH_IMAGE061
情况下/>
Figure 897808DEST_PATH_IMAGE062
的概率分布，/>
Figure 814949DEST_PATH_IMAGE061
为倒数第二步得到的干净图像，/>
Figure 391424DEST_PATH_IMAGE062
为最后一步得到的干净图像。
其中，
Figure 521054DEST_PATH_IMAGE063
为需要逼近的真实的/>
Figure 335426DEST_PATH_IMAGE064
的概率分布，记作
Figure 954626DEST_PATH_IMAGE065
；其中，/>
Figure 956080DEST_PATH_IMAGE066
表示需要估计的目标概率分布的均值，/>
Figure 154980DEST_PATH_IMAGE067
表示需要估计的目标概率分布每一步添加的噪声，/>
Figure 620597DEST_PATH_IMAGE068
是标准正态分布的方差；为了表达式的精简，假设/>
Figure 348381DEST_PATH_IMAGE069
为/>
Figure 899448DEST_PATH_IMAGE070
，/>
Figure 636460DEST_PATH_IMAGE071
为前t个阶段/>
Figure 894266DEST_PATH_IMAGE069
的累乘，记为
Figure 120848DEST_PATH_IMAGE072
，/>
Figure 362474DEST_PATH_IMAGE073
，则/>
Figure 372018DEST_PATH_IMAGE066
及/>
Figure 812226DEST_PATH_IMAGE067
可以写为：
Figure 147393DEST_PATH_IMAGE074
；
Figure 610735DEST_PATH_IMAGE075
；
其中，
Figure 486287DEST_PATH_IMAGE076
能够通过以下设置得到，假设图像数据由｛0，1，…，255｝中的整数组成，线性缩放到[−1，1]。这确保了神经网络反向过程对从标准正常先验/>
Figure 984265DEST_PATH_IMAGE077
开始的一致缩放输入进行操作；为了获得离散对数似然性，将逆过程的最后一项
Figure 490332DEST_PATH_IMAGE076
设置为从高斯函数导出的独立离散解码器/>
Figure 237709DEST_PATH_IMAGE078
，其均值为/>
Figure 120214DEST_PATH_IMAGE079
，方差为/>
Figure 207119DEST_PATH_IMAGE080
，则/>
Figure 946405DEST_PATH_IMAGE081
为：
Figure 384339DEST_PATH_IMAGE082
；/>
其中，
Figure 539377DEST_PATH_IMAGE083
；
Figure 808684DEST_PATH_IMAGE084
；D表示数据的维度大小，i表示其中的一个坐标。
综上所述，可以将目标函数改写为：
Figure 656555DEST_PATH_IMAGE085
；其中，/>
Figure 581785DEST_PATH_IMAGE086
表示每一步添加的噪声，又因为：
Figure 602831DEST_PATH_IMAGE087
；
其中，
Figure 664328DEST_PATH_IMAGE088
表示使用神经网络预测的噪声，则目标函数可以简化为：
Figure 683099DEST_PATH_IMAGE089
；
进一步地，实验表明对将目标函数进一步简化为以下形式能够进行更有效地采样，即：
Figure 892364DEST_PATH_IMAGE090
；
因此，训练过程是对扩散过程中每一步所添加的噪声的拟合。将给定原始图像x以及对应的干净图像y拼接作为深度网络的输入对目标函数进行训练。
步骤S30、基于所述目标噪声对原始图像进行逆向取样，得到所述原始图像的目标干净图像。
具体地，对于给定原始图像x，随机声明一个
Figure 654783DEST_PATH_IMAGE091
，使用下式对/>
Figure 836366DEST_PATH_IMAGE041
进行迭代更新t次，此处的/>
Figure 822777DEST_PATH_IMAGE092
为步骤S20所训练得到的去噪扩散概率模型预测的噪声，如果t>1，则取/>
Figure 457020DEST_PATH_IMAGE093
，否则z=0；在迭代t次后得到的/>
Figure 23131DEST_PATH_IMAGE094
则是去除反射后得到的干净图像；
其中，公式为：
Figure 121537DEST_PATH_IMAGE095
；
本发明在于使用去噪扩散概率模型对图像进行逐步恢复，在这一基础上恢复出的图像效果更为贴近自然图像，具体表现为在图像细粒度方面的恢复能力更强，令反光去除后的图像恢复达到重建质量更好的效果。
进一步地，如图3所示，基于上述基于去噪扩散概率模型的单图像反光去除方法，本发明还相应提供了基于去噪扩散概率模型的单图像反光去除系统，所述基于去噪扩散概率模型的单图像反光去除系统包括：
模型构建模块51，用于构建去噪扩散概率模型，并获取原始训练图像及所述原始训练图像对应的干净图像；
模型训练模块52，用于当所述原始训练图像及所述干净图像进行训练时，输入不同的高斯噪声至所述去噪扩散概率模型，得到所述去噪扩散概率模型对所述高斯噪声拟合后得到的目标噪声；
图像还原模块53，用于基于所述目标噪声对原始图像进行逆向取样，得到所述原始图像的目标干净图像。
进一步地，如图4所示，基于上述基于去噪扩散概率模型的单图像反光去除方法，本发明还相应提供了一种终端，所述终端包括处理器10、存储器20及显示器30；图4仅示出了终端的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述终端的内部存储单元，例如终端的硬盘或内存。所述存储器20在另一些实施例中也可以是所述终端的外部存储设备，例如所述终端上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（SecureDigital，SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器20还可以既包括所述终端的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述终端的应用软件及各类数据，例如所述安装终端的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有基于去噪扩散概率模型的单图像反光去除程序40，该基于去噪扩散概率模型的单图像反光去除程序40可被处理器10所执行，从而实现本申请中基于去噪扩散概率模型的单图像反光去除方法。
所述处理器10在一些实施例中可以是一中央处理器（Central Processing Unit，CPU），微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述基于去噪扩散概率模型的单图像反光去除方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。所述显示器30用于显示在所述终端的信息以及用于显示可视化的用户界面。所述终端的部件10-30通过系统总线相互通信。
在一实施例中，当处理器10执行所述存储器20中基于去噪扩散概率模型的单图像反光去除程序40时实现以下步骤：
构建去噪扩散概率模型，并获取原始训练图像及所述原始训练图像对应的干净图像；
当所述原始训练图像及所述干净图像进行训练时，输入不同的高斯噪声至所述去噪扩散概率模型，得到所述去噪扩散概率模型对所述高斯噪声拟合后得到的目标噪声；
基于所述目标噪声对原始图像进行逆向取样，得到所述原始图像的目标干净图像。
其中，所述当所述原始训练图像及所述干净图像进行训练时，输入不同的高斯噪声至所述去噪扩散概率模型，具体包括：
在所述干净图像训练过程中，对每一步训练的干净图像添加方差为
Figure 216532DEST_PATH_IMAGE096
的高斯噪声，得到第t步图像的概率分布，其中，t为自然数；/>
基于第t步图像的概率分布得到第t-1步图像的概率分布；
所述第t步图像的概率分布的表达式为：
Figure 603651DEST_PATH_IMAGE002
；
其中，
Figure 770190DEST_PATH_IMAGE003
为第t步的图像，/>
Figure 395206DEST_PATH_IMAGE004
为第t-1步的图像，/>
Figure 988999DEST_PATH_IMAGE005
为在已知/>
Figure 597835DEST_PATH_IMAGE004
情况下/>
Figure 505748DEST_PATH_IMAGE003
的概率分布，/>
Figure 313167DEST_PATH_IMAGE006
为高斯分布，/>
Figure 281123DEST_PATH_IMAGE007
为方差；
所述第t-1步图像的概率分布的表达式为：
Figure 111676DEST_PATH_IMAGE008
；
其中，
Figure 620017DEST_PATH_IMAGE009
为在已知/>
Figure 219626DEST_PATH_IMAGE003
和/>
Figure 358483DEST_PATH_IMAGE010
情况下/>
Figure 738649DEST_PATH_IMAGE004
的概率分布，/>
Figure 722785DEST_PATH_IMAGE010
为干净图像的原始图像，/>
Figure 708059DEST_PATH_IMAGE011
为需要优化的参数，/>
Figure 814555DEST_PATH_IMAGE012
为优化参数/>
Figure 619700DEST_PATH_IMAGE011
拟合得到的均值，/>
Figure 469845DEST_PATH_IMAGE013
为优化参数
Figure 309625DEST_PATH_IMAGE011
拟合得到的方差。
其中，所述基于第t步图像的概率分布得到第t-1步图像的概率分布，之后还包括：
根据变分法将所述去噪扩散概率模型的目标函数转化为第一目标函数；
所述第一目标函数的表达式为：
Figure 524705DEST_PATH_IMAGE014
；
其中，L为转化后的目标函数，
Figure 613884DEST_PATH_IMAGE015
为第t步图像所符合的图像分布。
其中，所述根据变分法将所述去噪扩散概率模型的目标函数转化为第一目标函数，之后还包括：
对所述第一目标函数的随机梯度下降优化的随机项进行训练，将所述第一目标函数进行变换得到变换式，所述变换式为：
Figure 470982DEST_PATH_IMAGE097
；
其中，
Figure 899689DEST_PATH_IMAGE018
为常数，/>
Figure 347988DEST_PATH_IMAGE019
为需要优化的带参数θ的数据项，/>
Figure 393304DEST_PATH_IMAGE020
为在已知/>
Figure 522934DEST_PATH_IMAGE021
情况下/>
Figure 868465DEST_PATH_IMAGE022
的概率分布，/>
Figure 690927DEST_PATH_IMAGE021
为倒数第二步得到的干净图像，/>
Figure 957961DEST_PATH_IMAGE022
为最后一步得到的干净图像。
其中，所述将所述第一目标函数进行变换得到变换式，之后还包括：
将所述变换式中的
Figure 953598DEST_PATH_IMAGE023
设置为从高斯函数导出的独立离散解码器
Figure 91319DEST_PATH_IMAGE024
，则/>
Figure 350262DEST_PATH_IMAGE025
表示为：
Figure 901329DEST_PATH_IMAGE026
；
其中，D为数据的维度大小，i为其中的一个坐标，
Figure 372761DEST_PATH_IMAGE027
为/>
Figure 896147DEST_PATH_IMAGE028
的方差；/>
其中，
Figure 122729DEST_PATH_IMAGE029
，/>
Figure 833196DEST_PATH_IMAGE030
，y为干净图像。
其中，所述基于去噪扩散概率模型的单图像反光去除方法还包括：
对所述目标函数进行简化处理得到简化目标函数，其中，所述简化目标函数的表达式为：
Figure 373899DEST_PATH_IMAGE031
；
其中，
Figure 814107DEST_PATH_IMAGE032
为每一步添加的高斯噪声，/>
Figure 883694DEST_PATH_IMAGE033
为使用神经网络预测的噪声。
其中，所述基于所述目标噪声对原始图像进行逆向取样，得到所述原始图像的目标干净图像，具体为：
基于所述原始图像获取一个第t步的图像，基于第t步的图像得到第t-1步的图像，并通过公式对第t-1步的图像进行迭代更新t次，得到所述原始图像的目标干净图像；
所述公式为：
Figure 409354DEST_PATH_IMAGE034
；
其中，
Figure 488168DEST_PATH_IMAGE035
为假设的变量，/>
Figure 720566DEST_PATH_IMAGE036
为前t个阶段的/>
Figure 23372DEST_PATH_IMAGE035
连乘，/>
Figure 239589DEST_PATH_IMAGE037
为第t步干净图像的方差，z为正态分布。
本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于去噪扩散概率模型的单图像反光去除程序，所述基于去噪扩散概率模型的单图像反光去除程序被处理器执行时实现如上所述基于去噪扩散概率模型的单图像反光去除方法的步骤。
综上所述，本发明提供一种基于去噪扩散概率模型的单图像反光去除方法及相关设备，所述方法包括构建去噪扩散概率模型，并获取原始训练图像及所述原始训练图像对应的干净图像；当所述原始训练图像及所述干净图像进行训练时，输入不同的高斯噪声至所述去噪扩散概率模型，得到所述去噪扩散概率模型对所述高斯噪声拟合后得到目标噪声；基于所述目标噪声对所述原始图像进行逆向取样，得到所述原始图像的目标干净图像。本发明使用去噪扩散概率模型应用于单图像反光去除，由于去噪扩散概率模型具有保留数据语义结构的能力以及在图像细粒度方面的恢复能力更强，令反光去除后的图像恢复达到重建质量更好的效果。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者终端中还存在另外的相同要素。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件（如处理器，控制器等）来完成，所述的程序可存储于一计算机可读取的计算机可读存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的计算机可读存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种基于去噪扩散概率模型的单图像反光去除方法，其特征在于，所述基于去噪扩散概率模型的单图像反光去除方法包括：
构建去噪扩散概率模型，并获取原始训练图像及所述原始训练图像对应的干净图像；
当所述原始训练图像及所述干净图像进行训练时，输入不同的高斯噪声至所述去噪扩散概率模型，得到所述去噪扩散概率模型对所述高斯噪声拟合后得到的目标噪声；
基于所述目标噪声对原始图像进行逆向取样，得到所述原始图像的目标干净图像。
2.根据权利要求1所述的基于去噪扩散概率模型的单图像反光去除方法，其特征在于，所述当所述原始训练图像及所述干净图像进行训练时，输入不同的高斯噪声至所述去噪扩散概率模型，具体包括：
在所述干净图像训练过程中，对每一步训练的干净图像添加方差为
Figure 391794DEST_PATH_IMAGE001
的高斯噪声，得到第t步图像的概率分布，其中，t为自然数；
基于第t步图像的概率分布得到第t-1步图像的概率分布；
所述第t步图像的概率分布的表达式为：
Figure 541015DEST_PATH_IMAGE002
；
其中，
Figure 26441DEST_PATH_IMAGE003
为第t步的图像，/>
Figure 198796DEST_PATH_IMAGE004
为第t-1步的图像，/>
Figure 416151DEST_PATH_IMAGE005
为在已知/>
Figure 623141DEST_PATH_IMAGE004
情况下/>
Figure 267749DEST_PATH_IMAGE003
的概率分布，/>
Figure 927401DEST_PATH_IMAGE006
为高斯分布，/>
Figure 151709DEST_PATH_IMAGE007
为方差；
所述第t-1步图像的概率分布的表达式为：
Figure 275522DEST_PATH_IMAGE008
；
其中，
Figure 294294DEST_PATH_IMAGE009
为在已知/>
Figure 503558DEST_PATH_IMAGE003
和/>
Figure 265978DEST_PATH_IMAGE010
情况下/>
Figure 181982DEST_PATH_IMAGE004
的概率分布，/>
Figure 433971DEST_PATH_IMAGE010
为干净图像的原始图像，/>
Figure 333794DEST_PATH_IMAGE011
为需要优化的参数，/>
Figure 634326DEST_PATH_IMAGE012
为优化参数/>
Figure 467152DEST_PATH_IMAGE011
拟合得到的均值，/>
Figure 827726DEST_PATH_IMAGE013
为优化参数/>
Figure 11583DEST_PATH_IMAGE011
拟合得到的方差。
3.根据权利要求2所述的基于去噪扩散概率模型的单图像反光去除方法，其特征在于，所述基于第t步图像的概率分布得到第t-1步图像的概率分布，之后还包括：
根据变分法将所述去噪扩散概率模型的目标函数转化为第一目标函数；
所述第一目标函数的表达式为：
Figure 115805DEST_PATH_IMAGE014
；
其中，L为转化后的目标函数，
Figure 6401DEST_PATH_IMAGE015
为第t步图像所符合的图像分布。
4.根据权利要求3所述的基于去噪扩散概率模型的单图像反光去除方法，其特征在于，所述根据变分法将所述去噪扩散概率模型的目标函数转化为第一目标函数，之后还包括：
对所述第一目标函数的随机梯度下降优化的随机项进行训练，将所述第一目标函数进行变换得到变换式，所述变换式为：
Figure 600193DEST_PATH_IMAGE017
；/>
其中，
Figure 943450DEST_PATH_IMAGE018
为常数，/>
Figure 913680DEST_PATH_IMAGE019
为需要优化的带参数θ的数据项，/>
Figure 658782DEST_PATH_IMAGE020
为在已知/>
Figure 423476DEST_PATH_IMAGE021
情况下/>
Figure 254029DEST_PATH_IMAGE022
的概率分布，/>
Figure 700053DEST_PATH_IMAGE021
为倒数第二步得到的干净图像，/>
Figure 627558DEST_PATH_IMAGE022
为最后一步得到的干净图像。
5.根据权利要求4所述的基于去噪扩散概率模型的单图像反光去除方法，其特征在于，所述将所述第一目标函数进行变换得到变换式，之后还包括：
将所述变换式中的
Figure 500836DEST_PATH_IMAGE023
设置为从高斯函数导出的独立离散解码器
Figure 881002DEST_PATH_IMAGE024
，则/>
Figure 130718DEST_PATH_IMAGE025
表示为：
Figure 850412DEST_PATH_IMAGE026
；
其中，D为数据的维度大小，i为其中的一个坐标，
Figure 956908DEST_PATH_IMAGE027
为/>
Figure 762053DEST_PATH_IMAGE028
的方差；
其中，
Figure 815460DEST_PATH_IMAGE029
，/>
Figure 451978DEST_PATH_IMAGE030
，y为干净图像。
6.根据权利要求5所述的基于去噪扩散概率模型的单图像反光去除方法，其特征在于，所述基于去噪扩散概率模型的单图像反光去除方法还包括：
对所述目标函数进行简化处理得到简化目标函数，其中，所述简化目标函数的表达式为：
Figure 667058DEST_PATH_IMAGE031
；
其中，
Figure 756237DEST_PATH_IMAGE032
为每一步添加的高斯噪声，/>
Figure 613335DEST_PATH_IMAGE033
为使用神经网络预测的噪声。
7.根据权利要求6所述的基于去噪扩散概率模型的单图像反光去除方法，其特征在于，所述基于所述目标噪声对原始图像进行逆向取样，得到所述原始图像的目标干净图像，具体为：
基于所述原始图像获取一个第t步的图像，基于第t步的图像得到第t-1步的图像，并通过公式对第t-1步的图像进行迭代更新t次，得到所述原始图像的目标干净图像；
所述公式为：
Figure 42042DEST_PATH_IMAGE034
；
其中，
Figure 490341DEST_PATH_IMAGE035
为假设的变量，/>
Figure 270078DEST_PATH_IMAGE036
为前t个阶段的/>
Figure 665287DEST_PATH_IMAGE035
连乘，/>
Figure 10818DEST_PATH_IMAGE037
为第t步干净图像的方差，z为正态分布。
8.一种基于去噪扩散概率模型的单图像反光去除系统，其特征在于，所述基于去噪扩散概率模型的单图像反光去除系统包括：
模型构建模块，用于构建去噪扩散概率模型，并获取原始训练图像及所述原始训练图像对应的干净图像；
模型训练模块，用于当所述原始训练图像及所述干净图像进行训练时，输入不同的高斯噪声至所述去噪扩散概率模型，得到所述去噪扩散概率模型对所述高斯噪声拟合后得到的目标噪声；
图像还原模块，用于基于所述目标噪声对原始图像进行逆向取样，得到所述原始图像的目标干净图像。
9.一种终端，其特征在于，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于去噪扩散概率模型的单图像反光去除程序，所述基于去噪扩散概率模型的单图像反光去除程序被所述处理器执行时实现如权利要求1-7任一项所述基于去噪扩散概率模型的单图像反光去除方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有基于去噪扩散概率模型的单图像反光去除程序，所述基于去噪扩散概率模型的单图像反光去除程序被处理器执行时实现如权利要求1-7任一项所述基于去噪扩散概率模型的单图像反光去除方法的步骤。
CN202310036140.3A 2023-01-10 2023-01-10 基于去噪扩散概率模型的单图像反光去除方法及相关设备 Pending CN115880187A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310036140.3A CN115880187A (zh) 2023-01-10 2023-01-10 基于去噪扩散概率模型的单图像反光去除方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310036140.3A CN115880187A (zh) 2023-01-10 2023-01-10 基于去噪扩散概率模型的单图像反光去除方法及相关设备

Publications (1)

Publication Number Publication Date
CN115880187A true CN115880187A (zh) 2023-03-31

Family

ID=85758449

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310036140.3A Pending CN115880187A (zh) 2023-01-10 2023-01-10 基于去噪扩散概率模型的单图像反光去除方法及相关设备

Country Status (1)

Country Link
CN (1) CN115880187A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392464A (zh) * 2023-12-07 2024-01-12 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于多尺度去噪概率模型的图像异常检测的方法、系统
CN117437152A (zh) * 2023-12-21 2024-01-23 之江实验室 一种基于扩散模型的pet迭代重建方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7515763B1 (en) * 2004-04-29 2009-04-07 University Of Rochester Image denoising based on wavelets and multifractals for singularity detection and multiscale anisotropic diffusion
CN102708543A (zh) * 2012-04-19 2012-10-03 北京工商大学 基于盲反卷积和稀疏表示的荧光显微图像复原方法和装置
CN110648292A (zh) * 2019-09-11 2020-01-03 昆明理工大学 一种基于深度卷积网络的高噪声图像去噪方法
US20210117733A1 (en) * 2018-06-29 2021-04-22 Nec Corporation Pattern recognition apparatus, pattern recognition method, and computer-readable recording medium
CN115239593A (zh) * 2022-07-29 2022-10-25 平安科技（深圳）有限公司 图像复原方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7515763B1 (en) * 2004-04-29 2009-04-07 University Of Rochester Image denoising based on wavelets and multifractals for singularity detection and multiscale anisotropic diffusion
CN102708543A (zh) * 2012-04-19 2012-10-03 北京工商大学 基于盲反卷积和稀疏表示的荧光显微图像复原方法和装置
US20210117733A1 (en) * 2018-06-29 2021-04-22 Nec Corporation Pattern recognition apparatus, pattern recognition method, and computer-readable recording medium
CN110648292A (zh) * 2019-09-11 2020-01-03 昆明理工大学 一种基于深度卷积网络的高噪声图像去噪方法
CN115239593A (zh) * 2022-07-29 2022-10-25 平安科技（深圳）有限公司 图像复原方法、装置、电子设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117392464A (zh) * 2023-12-07 2024-01-12 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于多尺度去噪概率模型的图像异常检测的方法、系统
CN117437152A (zh) * 2023-12-21 2024-01-23 之江实验室 一种基于扩散模型的pet迭代重建方法及系统
CN117437152B (zh) * 2023-12-21 2024-04-02 之江实验室 一种基于扩散模型的pet迭代重建方法及系统

Similar Documents

Publication Publication Date Title
CN115880187A (zh) 基于去噪扩散概率模型的单图像反光去除方法及相关设备
Riegler et al. A deep primal-dual network for guided depth super-resolution
Dobrosotskaya et al. A wavelet-Laplace variational technique for image deconvolution and inpainting
US20200027012A1 (en) Systems and methods for bayesian optimization using non-linear mapping of input
Mrázek et al. On robust estimation and smoothing with spatial and tonal kernels
CN111079532A (zh) 一种基于文本自编码器的视频内容描述方法
Couturier et al. Image denoising using a deep encoder-decoder network with skip connections
Gu et al. Learned dynamic guidance for depth image reconstruction
Xu et al. Deep sparse representation based image restoration with denoising prior
CN114821432B (zh) 基于离散余弦变换的视频目标分割对抗攻击方法
CN116071601A (zh) 训练模型的方法、装置、设备和介质
Lu et al. DSP-based image real-time dehazing optimization for improved dark-channel prior algorithm
He et al. Non-local sparse regularization model with application to image denoising
US8837861B2 (en) Bayesian approach to alignment-based image hallucination
KR101700030B1 (ko) 사전 정보를 이용한 영상 물체 탐색 방법 및 이를 수행하는 장치
Xu et al. Depth map super-resolution via joint local gradient and nonlocal structural regularizations
Li et al. A mixed noise removal algorithm based on multi-fidelity modeling with nonsmooth and nonconvex regularization
Dong et al. Sparsity fine tuning in wavelet domain with application to compressive image reconstruction
CN117351299A (zh) 图像生成及模型训练方法、装置、设备和存储介质
Zhang et al. Poisson-Skellam distribution based regularization conditional random field method for photon-limited Poisson image denoising
CN112862729B (zh) 一种基于特征曲线指导的遥感图像去噪方法
CN112053362B (zh) 图像分割方法、装置、电子设备及存储介质
CN115456891A (zh) 一种基于u型动态网络的屏下相机图像复原方法
Chen et al. Blind restoration for nonuniform aerial images using nonlocal Retinex model and shearlet-based higher-order regularization
Deng Iterative learning algorithms for linear Gaussian observation models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20230331