CN112085671A - 一种背景重建方法、装置、计算设备及存储介质 - Google Patents

一种背景重建方法、装置、计算设备及存储介质 Download PDF

Info

Publication number
CN112085671A
CN112085671A CN202010839729.3A CN202010839729A CN112085671A CN 112085671 A CN112085671 A CN 112085671A CN 202010839729 A CN202010839729 A CN 202010839729A CN 112085671 A CN112085671 A CN 112085671A
Authority
CN
China
Prior art keywords
background
image
gradient
ini
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010839729.3A
Other languages
English (en)
Inventor
宋波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Moviebook Technology Corp ltd
Original Assignee
Beijing Moviebook Technology Corp ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Moviebook Technology Corp ltd filed Critical Beijing Moviebook Technology Corp ltd
Priority to CN202010839729.3A priority Critical patent/CN112085671A/zh
Publication of CN112085671A publication Critical patent/CN112085671A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种背景重建方法、装置、计算设备及存储介质。所述方法首先利用损失函数Lini训练CNN，然后在置信度图上运行K‑means聚类过程，以生成自适应阈值ξ，最后将图像I、反射强度梯度EB和背景强度梯度ER联合起来形成输入z，并将所述输入z输入到GAN模型进行背景重建。所述装置包括CNN训练模块、聚类模块和背景重建模块。所述计算设备包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现本申请所述的方法。所述存储介质，优选为非易失性可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现本发明所述的方法。

Description

一种背景重建方法、装置、计算设备及存储介质
技术领域
本申请涉及图像反射去除、实现背景恢复技术，特别是涉及一种背景重建方法及装置。
背景技术
用相机拍摄，在经过诸如玻璃的半透明材料成像时，会把无用场景的反射叠加到背景上，反射不仅会降低图像的可见度，还会影响图像的后续分析。
常用的去除图像反光的方法有如下几种：
1、基于单图像滤波的方法去除图像反光，如快速双边滤波、带通滤波，由于过度依赖于图像本身符合某种假定(如图案呈一定的规律性)，导致算法的应用面较为狭窄。
2、基于图层分解的方法去除图像反光，假定光照图的梯度直方图呈现短尾分布，而反射图呈现长尾分布，但当两个图层灰度平滑度相差不大时，该方法将无能为力。
3、通过识别照片中内容相同但光线强度深浅不同的相互错位的两个像围成的反光区域，再通过修图算法将所述照片被反光区域影响的错误图像进行修复，去除反光区域，但该方法采用图像的深浅错位来修复反光区域，仅适用与去除目标与相机之间透明物体产生的反光，通用性不强。
现有方法从中移除反射层一个或几个不确定的盲分离问题，因为需要有关背景层和反射层的先前信息来指导分离过程收敛到正确的解决方案。或者需要手动标记过程来指示图像中背景和反射梯度的位置，但是分离过程将不是自动的。
发明内容
本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。
根据本申请的一个方面，提供了一种背景重建方法，所述方法包括：
利用损失函数Lini训练CNN模型，并将待处理图像I输入到训练后的CNN模型中，其中，
Lini＝Lrec+LFR
Figure BDA0002641003000000021
Figure BDA0002641003000000022
Φi表示在ImageNet数据集预训练的VGG-19网络特征在conv(i_2)层的特征，IB是真实背景图像，λ1、λ2、λ3为超参，F1表示所述的CNN，I表示所述CNN模型的输入；
在置信图上运行K-means聚类过程，以生成自适应阈值ξ，所述置信图的表达式为：
Figure BDA0002641003000000023
其中，GI表示真实图片的梯度分布，Bini＝F1(I)，ε为常数，M为掩模，对于图像I中边缘梯度值大于1的像素，M的值为1，对于图像I中边缘梯度值小于1的像素，M的值为0；
将图像I、反射强度梯度EB和背景强度梯度ER联合起来形成输入z，并将所述输入z输入到GAN模型进行背景重建，其中，
ER＝EI·(Crf＞ξ)；EB＝EI·(Crf＜ξ)
EI为图像I中强度梯度大于1的像素的强度。
可选地，所述的GAN模型在训练过程中使用的损失函数为：
Figure BDA0002641003000000024
其中，F2指代所述的GAN模型，D是鉴别器，用于推断背景F2(I)和真实背景IB之间的相似度。
可选地，所述鉴别器D通过最小化损失函数Ladv来进行训练：
Ladv＝D(F2(z))-D(IB)。
可选地，所述的λ1、λ2、和λ3的值分别为3、0.4和3。
可选地，所述的λ4的值为0.05。
本申请的背景重建方法，通过训练CNN来区分反射向量和背景向量，通过特征降维提高抑制反射能力，使用初始背景估计结果来生成用于识别强反射和背景梯度的置信度图，然后，生成对抗网络(GAN)用于从分类的梯度重建背景图像。使用深度神经网络CNN和DAN实现两阶段反射消除方法，当反射图像包含强度梯度成分时，本申请的方法可以完全去除传统方法中常出现的反射残留物，适用于日常摄影中经常遇到具有模糊反射的图像。
根据本申请的另一个方面，提供了一种背景重建装置，所述装置包括：
CNN训练模块，其配置成利用损失函数Lini训练CNN模型，并将待处理图像I输入到训练后的CNN模型中，其中，
Lini＝Lrec+LFR
Figure BDA0002641003000000031
Figure BDA0002641003000000032
Φi表示在ImageNet数据集预训练的VGG-19网络特征在conv(i_2)层的特征，IB是真实背景图像，λ1、λ2、λ3为超参，F1表示所述的CNN，I表示所述CNN模型的输入；
聚类模块，其配置成在置信图上运行K-means聚类过程，以生成自适应阈值ξ，所述置信图的表达式为：
Figure BDA0002641003000000033
其中，GI表示真实图片的梯度分布，Bini＝F1(I)，ε为常数，M为掩模，对于图像I中边缘梯度值大于1的像素，M的值为1，对于图像I中边缘梯度值小于1的像素，M的值为0；和
背景重建模块，其配置成将图像I、反射强度梯度EB和背景强度梯度ER联合起来形成输入z，并将所述输入z输入到GAN模型进行背景重建，其中，
ER＝EI·(Crf＞ξ)；EB＝EI·(Crf＜ξ)
EI为图像I中强度梯度大于1的像素的强度。
可选地，所述的GAN模型在训练过程中使用的损失函数为：
Figure BDA0002641003000000041
其中，F2指代所述的GAN模型，D是鉴别器，用于推断背景F2(I)和真实背景IB之间的相似度。
可选地，所述鉴别器D通过最小化损失函数Ladv来进行训练：
Ladv＝D(F2(z))-D(IB)。
本申请的背景重建装置，通过训练CNN来区分反射向量和背景向量，通过特征降维提高抑制反射能力，使用初始背景估计结果来生成用于识别强反射和背景梯度的置信度图，然后，生成对抗网络(GAN)用于从分类的梯度重建背景图像。使用深度神经网络CNN和DAN实现两阶段反射消除方法，当反射图像包含强度梯度成分时，本申请的方法可以完全去除传统方法中常出现的反射残留物，适用于日常摄影中经常遇到具有模糊反射的图像。
根据本申请的第三个方面，提供了一种计算设备，所述计算设备包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现本申请所述的方法。
根据本申请的第四个方面，提供了一种存储介质，所述存储介质为计算机可读存储介质，所述计算机可读存储介质优选为非易失性可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现本申请所述的方法。
根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：
图1是根据本申请一个实施例的一种背景重建方法的示意性流程图；
图2是根据本申请一个实施例的一种背景重建装置的示意性结构框图；
图3是根据本申请一个实施例的一种计算设备的示意性结构框图；
图4是根据本申请一个实施例的一种计算机可读存储介质的示意性结构框图。
具体实施方式
本申请实施例提出的一种背景重建方法通过两个阶段去除图像反射实，现背景恢复。上述方法采用的实验数据集为VOC2012数据集，该数据集为图像识别和分类提供了一整套标准化的优秀的数据集。所述数据集共包含20类的物体，每张图片都有标注，标注的物体包括人、动物(如猫、狗、岛等)、交通工具(如车、船飞机等)、以及家具(如椅子、桌子、沙发等)等在内的20个类别，共有11530张图片。对于检测任务，VOC2012的训练样本/测试样本包含2008年-2011年的所有对应图片。其中，训练样本包含11540张图片共27450个物体。对于分割任务，训练样本包含2913张图片共6929个物体。
图1是根据本申请一个实施例的一种背景重建方法的示意性流程图。所述的一种背景重建方法一般性地可包括：
S1、利用损失函数Lini训练CNN模型，并将待处理图像I输入到训练后的CNN模型中，其中，
Lini＝Lrec+LFR
Figure BDA0002641003000000051
Figure BDA0002641003000000052
Φi表示在ImageNet数据集预训练的VGG-19网络特征在conv(i_2)层的特征，IB是真实背景图像，λ1、λ2、λ3为超参，F1表示所述的CNN，I表示所述CNN模型的输入。
步骤S1为第一阶段，初始化背景估计。
最小化感知特征距离可以生成更接近人类感知期望的图像。感知特征可以通过提取预训练网络的中间层特征来获得，例如在大数据集上训练的VGG-16，VGG-19。当一个图像I2被叠加到另一个图像I1上时，生成的图像I将包含来自I1和I2的纹理。叠加后的图像I将包含比原始图像I1或I2更多的感知特征。我们认为，一个好的反射去除过程也应该尽量减少产生的图像中的感知特征。在该方法的第一阶段，用损失函数Lini训练CNN模型。损失函数Lini中，超参λ1、λ2、λ3优选为3、0.4和3。F1表示所使用的CNN模型，因此Bini＝F1(I)给出了背景图像的初始估计。Lini由两个损失函数Lrec和LFR组成。Lrec本质上是一个损失函数，用于保存背景，它是特征距离和与真实背景像素级距离的加权和。由于用于训练网络的背景图像都是特征尖锐并清晰的，所以，Lrec实际上引导网络删除像素或图像的模糊部分的感知特征，但如果在模糊区域中存在高梯度分量，则会使网络产生混淆，会使网络将保留模糊特征，也许还有邻近的像素。为了解决这个问题，本实施例在训练CNN模型时加入一个特征降维模块LFR，LFR给出了以Bini为输入的VGG-19网络的前几层的总特征大小，它可以最小化Bini的低级感知特性。由于LFR会对所有特征进行抑制，而Lrec会尽量保留背景特征，所以，与背景特征相比，反射特征会被抑制得更多。更重要的是，对于模糊区域的高梯度分量，LFR和Lrec会让网络具有更强的去除梯度能力，虽然这是以牺牲背景层的锐度为代价的，因为背景的梯度也会略有降低。
步骤S2和步骤S3为第二阶段，背景细化。
步骤S2、在置信度图上运行K-means聚类过程，以生成自适应阈值ξ，所述置信度图的表达式为：
Figure BDA0002641003000000061
其中，GI表示真实图片的梯度分布，所述的真实图片指不包含反射的图片，Bini＝F1(I)、即步骤S1的输出，所述的梯度指强度梯度，ε为常数，M为掩模，对于图像I中边缘梯度值大于1的像素，M的值为1，对于图像I中边缘梯度值小于1的像素，M的值为0。
Bini中低层特征降维使其梯度值衰减，提供了有用的信息来识别背景和反射层的强烈梯度。背景层可以从其强度梯度重建，而具有弱梯度的平坦区域可以通过网络或优化过程容易地推断出来。本实施例考虑初始背景估计值的残差，即(I-Bini)，它主要包含反射层和衰减的背景梯度，与Bini相比，(I-Bini)中减弱的背景梯度与Bini)中的背景梯度重叠。而根据梯度无关性质，背景和反射层的强度梯度往往不相关，很少重叠。这意味着在(I-Bini)中发现强反射梯度的位置，不会在Bini中发现任何强背景梯度。基于上述分析，定义了一个确定强反射梯度的置信度图:
Figure BDA0002641003000000071
所述置信度图反映了强反射梯度在图片中的置信水平，其中，G表示的是梯度大小，ε是一个非常小的常数，M是一个掩模，对于I中边缘梯度大小大于1的像素，其值为1，否则为0。它只掩盖了I中为后续操作找到强度梯度的位置。如上所述，在GI-Bini包含强反射梯度的位置，GBini值将很小，甚至为0。因为GI是真实图片的梯度大小，那么GI-Bini梯度很大时，说明该梯度大的区域GBini值一定很小。在GI-Bini包含减弱的背景梯度的位置，GBini将拥有更大值的原始背景梯度。因此，只有反射强度梯度在Crf中才会有较高的置信值。
然后在上述置信度图上运行一个K-means聚类过程(K＝2)，生成一个自适应阈值ξ，利用ξ将Crf分成两组：反射强度梯度ER和背景强度梯度EB，分组方法如下：
ER＝EI·(Crf＞ξ)；EB＝EI·(Crf＜ξ)
其中EI为图像I中强度梯度大于1的像素的强度。
S3、将图像I、反射强度梯度EB和背景强度梯度ER联合起来形成输入z，并将所述输入z输入到GAN模型进行背景重建，所述GAN模型的输出即为不包含反射的图片，即真实图片，所述的GAN模型在训练过程中使用的损失函数为：
Figure BDA0002641003000000081
其中，F2指代所述的GAN模型，D是鉴别器，用于推断背景F2(I)和真实背景IB之间的相似度。L2是GAN的总损失函数，包含了鉴别器的损失。
与第一阶段的Lrec相似，
Figure BDA0002641003000000082
用于重构背景。因为EB和ER可能含有异常值，因此，本实施例使用一个对抗的模块-λ4D(F2(z))来生成自然图像的分布结果。通过GAN从分类的梯度中重建背景图像,其中鉴别器D用于推断背景F2(I)和真实背景IB之间的相似度。超参λ4选为0.05。当F2(I)跟随自然图像的分布时，鉴别器D的值较高。该鉴别器可以通过最小化损失函数Ladv来联合训练：
Ladv＝D(F2(z))-D(IB)。
本实施例的背景重建方法使用深度学习方法解决图像反射问题，把整个工程看成两个阶段，第一阶段识别背景区域，增强网络的反射抑制能力，生成初始的背景估计结果，第二阶段对背景细化，使用GAN从梯度的分类中重建图像。
图2是根据本申请一个实施例的一种背景重建装置的示意性结构框图。所述装置一般性地可包括：CNN训练模块1、聚类模块2和背景重建模块3。
所述的CNN训练模块1配置成利用损失函数Lini训练CNN模型，并将待处理图像I输入到训练后的CNN模型中，其中，
Lini＝Lrec+LFR
Figure BDA0002641003000000083
Figure BDA0002641003000000084
Φi表示在ImageNet数据集预训练的VGG-19网络特征在conv(i_2)层的特征，IB是真实背景图像，λ1、λ2、λ3为超参，F1表示所述的CNN，I表示所述CNN模型的输入；
CNN训练模块1作为第一阶段，初用于始化背景估计。
最小化感知特征距离可以生成更接近人类感知期望的图像。感知特征可以通过提取预训练网络的中间层特征来获得，例如在大数据集上训练的VGG-16，VGG-19。当一个图像I2被叠加到另一个图像I1上时，生成的图像I将包含来自I1和I2的纹理。叠加后的图像I将包含比原始图像I1或I2更多的感知特征。我们认为，一个好的反射去除过程也应该尽量减少产生的图像中的感知特征。在该方法的第一阶段，用损失函数Lini训练CNN模型。损失函数Lini中，超参λ1、λ2、λ3优选为3、0.4和3。F1表示所使用的CNN模型，因此Bini＝F1(I)给出了背景图像的初始估计。Lini由两个损失函数Lrec和LFR组成。Lrec用于保存背景，它是特征距离和与真实背景像素级距离的加权和。由于用于训练网络的背景图像都是特征尖锐并清晰的，所以，Lrec实际上引导网络删除像素或图像的模糊部分的感知特征，但如果在模糊区域中存在高梯度分量，则会使网络产生混淆，会使网络将保留模糊特征，也许还有邻近的像素。为了解决这个问题，本实施例在训练CNN模型时加入一个特征降维模块LFR，LFR给出了以Bini为输入的VGG-19网络的前几层的总特征大小，它可以最小化Bini的低级感知特性。由于LFR会对所有特征进行抑制，而Lrec会尽量保留背景特征，所以，与背景特征相比，反射特征会被抑制得更多。更重要的是，对于模糊区域的高梯度分量，LFR和Lrec会让网络具有更强的去除梯度能力，虽然这是以牺牲背景层的锐度为代价的，因为背景的梯度也会略有降低。
聚类模块2和背景重建模块3为第二阶段，用于对背景进行细化。
所述聚类模块2配置成在置信图上运行K-means聚类过程，以生成自适应阈值ξ，所述置信图的表达式为：
Figure BDA0002641003000000091
其中，GI表示真实图片的梯度分布，Bini＝F1(I)，ε为常数，M为掩模，对于图像I中边缘梯度值大于1的像素，M的值为1，对于图像I中边缘梯度值小于1的像素，M的值为0。
Bini中低层特征降维使其梯度值衰减，提供了有用的信息来识别背景和反射层的强烈梯度。背景层可以从其强度梯度重建，而具有弱梯度的平坦区域可以通过网络或优化过程容易地推断出来。本实施例考虑初始背景估计值的残差，即(I-Bini)，它主要包含反射层和衰减的背景梯度，与Bini相比，(I-Bini)中减弱的背景梯度与Bini)中的背景梯度重叠。而根据梯度无关性质，背景和反射层的强度梯度往往不相关，很少重叠。这意味着在(I-Bini)中发现强反射梯度的位置，不会在Bini中发现任何强背景梯度。基于上述分析，定义了一个确定强反射梯度的置信度图:
Figure BDA0002641003000000101
所述置信度图反映了强反射梯度在图片中的置信水平，其中，G表示的是梯度大小，ε是一个非常小的常数，M是一个掩模，对于I中边缘梯度大小大于1的像素，其值为1，否则为0。它只掩盖了I中为后续操作找到强度梯度的位置。如上所述，在GI-Bini包含强反射梯度的位置，GBini值将很小，甚至为0。因为GI是真实图片的梯度大小，那么GI-Bini梯度很大时，说明该梯度大的区域GBini值一定很小。在GI-Bini包含减弱的背景梯度的位置，GBini将拥有更大值的原始背景梯度。因此，只有反射强度梯度在Crf中才会有较高的置信值。
然后在上述置信度图上运行一个K-means聚类过程(K＝2)，生成一个自适应阈值ξ，利用ξ将Crf分成两组：反射强度梯度ER和背景强度梯度EB，分组方法如下：
ER＝EI·(Crf＞ξ)；EB＝EI·(Crf＜ξ)
其中EI为图像I中强度梯度大于1的像素的强度。
所述的背景重建模块3配置成将图像I、反射强度梯度EB和背景强度梯度ER联合起来形成输入z，并将所述输入z输入到GAN模型进行背景重建。所述的GAN模型在训练过程中使用的损失函数为：
Figure BDA0002641003000000102
其中，F2指代所述的GAN模型，D是鉴别器，用于推断背景F2(I)和真实背景IB之间的相似度。L2是GAN的总损失函数，包含了鉴别器的损失。
与第一阶段的Lrec相似，
Figure BDA0002641003000000103
用于重构背景。因为EB和ER可能含有异常值，因此，本实施例使用一个对抗的模块-λ4D(F2(z))来生成自然图像的分布结果。通过GAN从分类的梯度中重建背景图像,其中鉴别器D用于推断背景F2(I)和真实背景IB之间的相似度。超参λ4选为0.05。当F2(I)跟随自然图像的分布时，鉴别器D的值较高。该鉴别器可以通过最小化损失函数Ladv来联合训练：
Ladv＝D(F2(z))-D(IB)。
本实施例的背景重建装置使用深度学习方法解决图像反射问题，把整个工程看成两个阶段，第一阶段识别背景区域，增强网络的反射抑制能力，生成初始的背景估计结果，第二阶段对背景细化，使用GAN从梯度的分类中重建图像。
本申请实施例还提供了一种计算设备，参照图3，该计算设备包括存储器1120、处理器1110和存储在所述存储器1120内并能由所述处理器1110运行的计算机程序，该计算机程序存储于存储器1120中的用于程序代码的空间1130，该计算机程序在由处理器1110执行时实现用于执行任一项根据本发明的方法步骤1131。
本申请实施例还提供了一种计算机可读存储介质。参照图4，该计算机可读存储介质包括用于程序代码的存储单元，该存储单元设置有用于执行根据本发明的方法步骤的程序1131′，该程序被处理器执行。
本申请实施例还提供了一种包含指令的计算机程序产品。当该计算机程序产品在计算机上运行时，使得计算机执行根据本发明的方法步骤。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、获取其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令处理器完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质是非短暂性(英文：non-transitory)介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带(英文：magnetic tape)，软盘(英文：floppy disk)，光盘(英文：optical disc)及其任意组合。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种背景重建方法，包括：
S1、利用损失函数Lini训练CNN模型，并将待处理图像I输入到训练后的CNN模型中，其中，
Lini＝Lrec+LFR
Figure FDA0002641002990000011
Figure FDA0002641002990000012
Φi表示在ImageNet数据集预训练的VGG-19网络特征在conv(i_2)层的特征，IB是真实背景图像，λ1、λ2、λ3为超参，F1表示所述的CNN，I表示所述CNN模型的输入；
S2、在置信图上运行K-means聚类过程，以生成自适应阈值ξ，所述置信图的表达式为：
Figure FDA0002641002990000013
其中，GI表示真实图片的梯度分布，Bini＝F1(I)，ε为常数，M为掩模，对于图像I中边缘梯度值大于1的像素，M的值为1，对于图像I中边缘梯度值小于1的像素，M的值为0；
S3、将图像I、反射强度梯度EB和背景强度梯度ER联合起来形成输入z，并将所述输入z输入到GAN模型进行背景重建，其中，
ER＝EI·(Crf＞ξ)；EB＝EI·(Crf＜ξ)
EI为图像I中强度梯度大于1的像素的强度。
2.根据权利要求1所述的方法，其特征在于，所述的GAN模型在训练过程中使用的损失函数为：
Figure FDA0002641002990000014
其中，F2指代所述的GAN模型，D是鉴别器，用于推断背景F2(I)和真实背景IB之间的相似度。
3.根据权利要求2所述的方法，其特征在于，所述鉴别器D通过最小化损失函数Ladv来进行训练：
Ladv＝D(F2(z))-D(IB)。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述的λ1、λ2、和λ3的值分别为3、0.4和3。
5.根据权利要求2-4中任一项所述的方法，其特征在于，所述的λ4的值为0.05。
6.一种背景重建装置，包括：
CNN训练模块，其配置成利用损失函数Lini训练CNN模型，并将待处理图像I输入到训练后的CNN模型中，其中，
Lini＝Lrec+LFR
Figure FDA0002641002990000021
Figure FDA0002641002990000022
Φi表示在ImageNet数据集预训练的VGG-19网络特征在conv(i_2)层的特征，IB是真实背景图像，λ1、λ2、λ3为超参，F1表示所述的CNN，I表示所述CNN模型的输入；
聚类模块，其配置成在置信图上运行K-means聚类过程，以生成自适应阈值ξ，所述置信图的表达式为：
Figure FDA0002641002990000023
其中，GI表示真实图片的梯度分布，Bini＝F1(I)，ε为常数，M为掩模，对于图像I中边缘梯度值大于1的像素，M的值为1，对于图像I中边缘梯度值小于1的像素，M的值为0；和
背景重建模块，其配置成将图像I、反射强度梯度EB和背景强度梯度ER联合起来形成输入z，并将所述输入z输入到GAN模型进行背景重建，其中，ER＝EI·(Crf＞ξ)；EB＝EI·(Crf＜ξ)
EI为图像I中强度梯度大于1的像素的强度。
7.根据权利要求6所述的装置，其特征在于，所述的GAN模型在训练过程中使用的损失函数为：
Figure FDA0002641002990000031
其中，F2指代所述的GAN模型，D是鉴别器，用于推断背景F2(I)和真实背景IB之间的相似度。
8.根据权利要求7所述的装置，其特征在于，所述鉴别器D通过最小化损失函数Ladv来进行训练：
Ladv＝D(F2(z))-D(IB)。
9.一种计算设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1-5中任一项所述的方法。
10.一种存储介质，优选为非易失性可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现如权利要求1-5中任一项所述的方法。
CN202010839729.3A 2020-08-19 2020-08-19 一种背景重建方法、装置、计算设备及存储介质 Pending CN112085671A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010839729.3A CN112085671A (zh) 2020-08-19 2020-08-19 一种背景重建方法、装置、计算设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010839729.3A CN112085671A (zh) 2020-08-19 2020-08-19 一种背景重建方法、装置、计算设备及存储介质

Publications (1)

Publication Number Publication Date
CN112085671A true CN112085671A (zh) 2020-12-15

Family

ID=73729373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010839729.3A Pending CN112085671A (zh) 2020-08-19 2020-08-19 一种背景重建方法、装置、计算设备及存储介质

Country Status (1)

Country Link
CN (1) CN112085671A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113793402A (zh) * 2021-08-10 2021-12-14 北京达佳互联信息技术有限公司 图像渲染方法、装置、电子设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507910A (zh) * 2020-03-18 2020-08-07 南方电网科学研究院有限责任公司 一种单图像去反光的方法、装置及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507910A (zh) * 2020-03-18 2020-08-07 南方电网科学研究院有限责任公司 一种单图像去反光的方法、装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
T. LI等: "Single-Image Reflection Removal via a Two-Stage Background Recovery Process", 《SIGNAL PROCESSING LETTERS》, vol. 26, no. 8, pages 1237 - 1241, XP011735609, DOI: 10.1109/LSP.2019.2926828 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113793402A (zh) * 2021-08-10 2021-12-14 北京达佳互联信息技术有限公司 图像渲染方法、装置、电子设备及存储介质
CN113793402B (zh) * 2021-08-10 2023-12-26 北京达佳互联信息技术有限公司 图像渲染方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111209952B (zh) 基于改进ssd和迁移学习的水下目标检测方法
Ochotorena et al. Anisotropic guided filtering
Friedland et al. SIOX: Simple interactive object extraction in still images
CN109598231A (zh) 一种视频水印的识别方法、装置、设备及存储介质
CN111145123B (zh) 基于U-Net融合保留细节的图像去噪方法
Starovoitov et al. Texture periodicity detection: Features, properties, and comparisons
CN114066884B (zh) 视网膜血管分割方法及装置、电子设备和存储介质
CN111681198A (zh) 一种形态学属性滤波多模融合成像方法、系统及介质
CN111062426A (zh) 一种建立训练集的方法、装置、电子设备以及介质
CN112733929A (zh) 一种改进Yolo水下图像小目标和遮挡目标的检测方法
CN112927209A (zh) 一种基于cnn的显著性检测系统和方法
Tripathi Facial image noise classification and denoising using neural network
CN114841974A (zh) 一种水果内部结构无损检测方法、系统、电子设备及介质
CN114694074A (zh) 一种使用图像生成视频的方法、装置以及存储介质
CN112085671A (zh) 一种背景重建方法、装置、计算设备及存储介质
CN111881803A (zh) 一种基于改进YOLOv3的畜脸识别方法
CN116258873A (zh) 一种位置信息确定方法、对象识别模型的训练方法及装置
CN113688263B (zh) 用于搜索图像的方法、计算设备和存储介质
CN111368602A (zh) 人脸图像模糊程度评价方法、装置、可读存储介质及设备
Mr et al. Developing a novel technique to match composite sketches with images captured by unmanned aerial vehicle
Sharma et al. Solving image processing critical problems using machine learning
Zhu et al. A Two-To-One Deep Learning General Framework for Image Fusion
Wyzykowski et al. A Universal Latent Fingerprint Enhancer Using Transformers
Doshi et al. Monochromatic Image Dehazing Using Enhanced Feature Extraction Techniques in Deep Learning
CN117710295A (zh) 图像处理方法、装置、设备、介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination