CN112802076A - 反射图像生成模型及反射去除模型的训练方法 - Google Patents
反射图像生成模型及反射去除模型的训练方法 Download PDFInfo
- Publication number
- CN112802076A CN112802076A CN202110309311.6A CN202110309311A CN112802076A CN 112802076 A CN112802076 A CN 112802076A CN 202110309311 A CN202110309311 A CN 202110309311A CN 112802076 A CN112802076 A CN 112802076A
- Authority
- CN
- China
- Prior art keywords
- reflection
- image
- model
- predicted
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 158
- 238000000034 method Methods 0.000 title claims abstract description 132
- 230000015654 memory Effects 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 abstract description 12
- 230000008569 process Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 8
- 230000004927 fusion Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 5
- 102100033620 Calponin-1 Human genes 0.000 description 3
- 102100033591 Calponin-2 Human genes 0.000 description 3
- 101000945318 Homo sapiens Calponin-1 Proteins 0.000 description 3
- 101000945403 Homo sapiens Calponin-2 Proteins 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/514—Depth or shape recovery from specularities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G06T5/70—
-
- G06T5/77—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及图像处理技术领域，具体涉及反射图像生成模型及反射去除模型的训练方法，所述反射图像生成模型的训练方法包括获取任意的无反射样本图像与反射样本图像；将反射样本图像输入反射去除模型中得到预测无反射图像，并利用反射样本图像与预测无反射图像，得到预测反射层图像特征；将预测反射层图像特征与无反射样本图像输入反射图像生成模型中，得到预测反射图像；基于预测无反射图像与预测反射图像进行损失函数的计算，对反射去除模型以及反射图像生成模型进行训练，以得到目标反射图像生成模型。利用非配对的无反射样本图像与反射样本图像进行模型训练，且加入真实数据进行建模，使得反射图像生成模型具有优秀的泛化能力。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及反射图像生成模型及反射去除模型的训练方法。
背景技术
在通过镜面拍摄图像或视频时，图像往往会包含镜面反射的物体，严重影响呈现图像的质量。随着深度学习方法在图像处理方向的广泛应用，可以通过神经网络的方式对反射图像进行反射的去除，从而得到无反射图像。
在神经网络的训练过程中，需要成对的样本图像，即，反射图像与对应的无反射图像。而在真实场景中，成对的样本图像获取较为困难，一般采用各种线性或非线性的方式将无反射图像和反射层的图像进行融合，从而形成具有反射的图像。例如，一幅具有反射的图像可以表示为：
RI＝α×TL+(1-α)×RL；
上式中，RI表示具有反射现象的图像(即，反射图像)，TL表示无反射图像，RL表示反射层的图像，α表示融合系数。即，一幅有反射的图像可以表示为反射图像和背景图像通过特定的系数融合而成。
基于此，一般是采集到无反射图像之后，采用上述公式将无反射图像与反射层的图像进行融合，得到与无反射图像对应的反射图像。然而，这些简单的系数融合往往不能充分的表示真实场景复杂的成像模式，导致样本图像难以代表复杂真实的场景。
发明内容
有鉴于此，本发明实施例提供了一种反射图像生成模型及反射去除模型的训练方法，以解决通过系数融合得到的样本图像难以代表复杂真实的场景的问题。
根据第一方面，本发明实施例提供了一种反射图像生成模型的训练方法，包括：
获取任意的无反射样本图像与反射样本图像；
将所述反射样本图像输入反射去除模型中得到预测无反射图像，并利用所述反射样本图像与所述预测无反射图像，得到预测反射层图像特征；
将所述预测反射层图像特征与所述无反射样本图像输入反射图像生成模型中，得到预测反射图像；
将所述预测无反射图像以及所述预测反射图像分别输入第一鉴别器以及第二鉴别器，分别得到第一鉴别结果以及第二鉴别结果，以确定第一鉴别损失；
基于所述第一鉴别损失，对所述反射去除模型以及所述反射图像生成模型进行训练，以得到目标反射图像生成模型。
本发明实施提供的反射图像生成模型的训练方法，利用非配对的无反射样本图像与反射样本图像进行模型训练，且在训练过程中实现反射与无反射的互相转换，用于模拟真实反射场景下的图像。在训练过程中使用真实反射图像并使用对抗训练的技术进行监督，通过加入真实数据对算法最终应用的场景信息进行建模，使得该发射图像生成模型具有优秀的泛化能力，从而使得所得到的目标反射图像生成模型能够生成更真实、更大量的反射图像。
结合第一方面，在第一方面第一实施方式中，所述基于所述第一鉴别损失，对所述反射去除模型以及所述反射图像生成模型进行训练，以得到所述反射图像生成模型对应的目标反射图像生成模型，包括：
分别对所述预测无反射图像以及所述预测反射图像进行图像重建，得到重建反射图像与重建无反射图像；
基于所述重建反射图像与所述反射样本图像的差异，以及所述重建无反射图像与所述无反射样本图像的差异，确定重建损失；
基于所述重建损失以及所述第一鉴别损失，对所述反射去除模型以及所述反射图像生成模型进行训练，以得到所述目标反射图像生成模型。
本发明实施提供的反射图像生成模型的训练方法，通过重建图像确定重建损失，使得在图像风格转变的过程中尽量保持图像特征的完整性，不至于丢失更多的特征，保证的对抗训练的稳定性。
结合第一方面第一实施方式，在第一方面第二实施方式中，所述分别对所述预测无反射图像以及所述预测反射图像进行图像重建，得到重建无反射图像与重建反射图像，包括：
将所述预测反射层图像特征以及所述预测无反射图像输入所述反射图像生成模型，得到所述重建反射图像；
将所述预测反射图像输入所述反射去除模型中，得到所述重建无反射图像。
本发明实施提供的反射图像生成模型的训练方法，利用网络模型进行图像的重建，可以保证图像重建的可靠性与准确性；且网络模型的使用使得整个训练基于循环对抗的原理，简化了训练过程。
结合第一方面，或第一方面第一实施方式或第二实施方式，在第一方面第三实施方式中，所述基于所述第一鉴别损失，对所述反射去除模型以及所述反射图像生成模型进行训练，以得到目标反射图像生成模型，还包括：
对所述预测反射图像进行梯度计算，得到梯度损失；
基于所述第一鉴别损失以及所述梯度损失，对所述反射去除模型以及所述反射图像生成模型进行训练，以得到所述目标反射图像生成模型。
本发明实施提供的反射图像生成模型的训练方法，在训练过程中融合了镜面反射的基本原理，需要考虑生成图像的合理性，即反射层往往具有一定的平滑性，基于此添加了所谓的平滑损失，是一个正则化项，约束反射层特征，使其具有平滑的梯度，从而可以在一定程度上衡量一幅图像是否具有平滑的过渡。
根据第二方面，本发明实施例还提供了一种反射图像的生成方法，包括：
获取任意的无反射图像以及反射图像；
将所述无反射图像以及所述反射图像输入目标反射图像生成模型中，得到与所述无反射图像对应的目标反射图像，以形成目标图像对，所述目标反射图像生成模型是根据本发明第一方面，或第一方面任一实施方式中所述的反射图像生成模型的训练方法训练得到的。
本发明实施提供的反射图像的生成方法，利用训练得到的目标反射图像生成模型生成与无反射图像对应的目标反射图像，由于目标反射图像具有较好的泛化能力，因此所生成的目标反射图像能够模拟复杂的应用场景。
根据第三方面，本发明实施例还提供了一种反射去除模型的训练方法，包括：
获取目标图像对，所述目标图像对是根据本发明第二方面所述的反射图像的生成方法形成的；
将所述目标图像对中的目标反射图像输入反射去除模型中，得到预测目标无反射图像；
利用所述预测目标无反射图像与所述目标图像对中的无反射图像的差异，得到重构损失；
基于所述重构损失对所述反射去除模型进行训练，以得到目标反射去除模型。
本发明实施例提供的反射去除模型的训练方法，利用能够模拟复杂应用场景的目标图像对对反射去除模型进行训练，使得训练得到的目标反射去除模型能够适用于不同的应用场景，具有较好的适用性。
结合第三方面，在第三方面第一实施方式中，所述基于所述重构损失对所述反射去除模型进行训练，以得到目标反射去除模型，包括：
获取反射样本图像；
将所述反射样本图像输入所述反射去除模型中，得到预测无反射样本图像；
将所述预测无反射样本图像输入目标鉴别器中，得到第二鉴别损失；
基于所述重构损失以及所述第二鉴别损失，对所述反射去除模型进行训练，得到所述目标反射去除模型。
本发明实施例提供的反射去除模型的训练方法，在训练反射去除模型的过程中，结合真实的反射样本图像，使得该反射去除模型能够学习到足够广泛的特征，进一步保证该目标反射去除模型具有优秀的泛化能力。
根据第四方面，本发明实施例还提供了一种反射去除方法，包括：
获取待处理反射图像；
将所述待处理反射图像输入所述目标反射去除模型中，得到反射去除图像，所述目标反射去除模型是根据本发明第三方面，或第三方面第一实施方式中所述的反射去除模型的训练方法训练得到的。
本发明实施例提供的反射去除方法，利用具有优秀泛化能力的目标反射去除模型对待处理图像进行反射去除处理，可以保证所得到的反射去除图像的准确性与可靠性。
结合第四方面，在第四方面第一实施方式中，所述将所述待处理反射图像输入所述目标反射去除模型中，得到反射去除图像，包括：
提取所述待处理反射图像中的感兴趣区域；
将所述感兴趣区域输入所述目标反射去除模型中，得到所述反射去除图像。
本发明实施例提供的反射去除方法，从待处理反射图像中提取出感兴趣区域后再对其进行反射去除的处理，减少了数据处理量，提高了反射去除的效率。
根据第五方面，本发明实施例提供了一种反射图像生成模型的训练装置，包括：
第一获取模块，用于获取任意的无反射样本图像与反射样本图像；
第一预测模块，用于将所述反射样本图像输入反射去除模型中得到预测无反射图像，并利用所述反射样本图像与所述预测无反射图像，得到预测反射层图像特征；
第二预测模块，用于将所述预测反射层图像特征与所述无反射样本图像输入反射图像生成模型中，得到预测反射图像；
第一训练模块，用于基于所述预测无反射图像与所述预测反射图像进行损失函数的计算，对所述反射去除模型以及所述反射图像生成模型进行训练，以得到所述反射图像生成模型对应的目标反射图像生成模型。
本发明实施提供的反射图像生成模型的训练装置，利用非配对的无反射样本图像与反射样本图像进行模型训练，且在训练过程中实现反射与无反射的互相转换，用于模拟真实反射场景下的图像。在训练过程中使用真实反射图像并使用对抗训练的技术进行监督，通过加入真实数据对算法最终应用的场景信息进行建模，使得其具有优秀的泛化能力，从而使得所得到的目标反射图像生成模型能够生成更真实、更大量的反射图像。
根据第六方面，本发明实施例还提供了一种反射图像的生成装置，包括：
第二获取模块，用于获取任意的无反射图像以及反射图像；
生成模块，用于将所述无反射图像以及所述反射图像输入目标反射图像生成模型中，得到与所述无反射图像对应的目标反射图像，以形成目标图像对，所述目标反射图像生成模型是根据本发明第一方面，或第一方面任一实施方式中所述的反射图像生成模型的训练方法训练得到的。
本发明实施提供的反射图像的生成装置，利用训练得到的目标反射图像生成模型生成与无反射图像对应的目标反射图像，由于目标反射图像具有较好的泛化能力，因此所生成的目标反射图像能够模拟复杂的应用场景。
根据第七方面，本发明实施例还提供了一种反射去除模型的训练装置，包括：
第三获取模块，用于获取目标图像对，所述目标图像对是根据本发明第二方面所述的反射图像的生成方法形成的；
第三预测模块，用于将所述目标图像对中的目标反射图像输入反射去除模型中，得到预测目标无反射图像；
重构损失模块，用于利用所述预测目标无反射图像与所述目标图像对中的无反射图像的差异，得到重构损失；
第二训练模块，用于基于所述重构损失对所述反射去除模型进行训练，以得到目标反射去除模型。
本发明实施例提供的反射去除模型的训练装置，利用能够模拟复杂应用场景的目标图像对对反射去除模型进行训练，使得训练得到的目标反射去除模型能够适用于不同的应用场景，具有较好的适用性。
根据第八方面，本发明实施例还提供了一种反射去除装置，包括：
第四获取模块，用于获取待处理反射图像；
去除模块，用于将所述待处理反射图像输入所述目标反射去除模型中，得到反射去除图像，所述目标反射去除模型是根据本发明第三方面，或第三方面第一实施方式中所述的反射去除模型的训练方法训练得到的。
本发明实施例提供的反射去除装置，利用具有优秀泛化能力的目标反射去除模型对待处理图像进行反射去除处理，可以保证所得到的反射去除图像的准确性与可靠性。
根据第九方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的反射图像生成模型的训练方法，或者，执行第二方面所述的反射图像的生成方法，或者，执行第三方面或第三方面的任意一种实施方式中所述的反射去除模型的训练方法，或者，执行第四方面或第四方面的任意一种实施方式中所述的反射去除方法。
根据第十方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的反射图像生成模型的训练方法，或者，执行第二方面所述的反射图像的生成方法，或者，执行第三方面或第三方面的任意一种实施方式中所述的反射去除模型的训练方法，或者，执行第四方面或第四方面的任意一种实施方式中所述的反射去除方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例的反射图像生成模型的训练方法的流程图；
图2是根据本发明实施例的反射图像生成模型的训练方法的流程图；
图3是根据本发明实施例的反射图像生成模型的训练架构示意图；
图4是根据本发明实施例的反射图像的生成方法的流程图；
图5是根据本发明实施例的反射去除模型的训练方法的流程图；
图6是根据本发明实施例的反射去除模型的训练方法的流程图；
图7是根据本发明实施例的反射去除模型的训练架构示意图；
图8是根据本发明实施例的反射去除方法的流程图；
图9是根据本发明实施例的反射图像生成模型的训练装置的结构框图；
图10是根据本发明实施例的反射图像的生成装置的结构框图；
图11是根据本发明实施例的反射去除模型的训练装置的结构框图；
图12是根据本发明实施例的反射去除装置的结构框图；
图13是本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例中所述的反射图像生成模型的训练方法中，所涉及到的样本图像可以是车窗反射图像，或者是电子设备的反射图像，或者其他反射图像等等，在此对其应用场景并不做任何限制，具体可以实际需要反射去除的应用场景选用相应场景的样本图像进行模型进行训练即可。
根据本发明实施例，提供了一种反射图像生成模型的训练方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种反射图像生成模型的训练方法，可用于电子设备，如电脑、手机、平板电脑等，图1是根据本发明实施例的反射图像生成模型的训练方法的流程图，如图1所示，该流程包括如下步骤：
S11，获取任意的无反射样本图像与反射样本图像。
无反射样本图像与反射样本图像之间并无配对关系，两者之间无关联关系。无反射样本图像与反射样本图像可以是采集不同场景下的对应的场景，可以人为对采集到的图像进行分类，得到无反射样本图像与反射样本图像。
例如，可以采集多种交通场景下，各个时间段前端设备专拍的图像，将它们分为无反射样本图像与反射样本图像。
电子设备可以是获取到两种类别的样本数据集，即无反射样本图像集与反射样本图像集。在后续进行模型训练时，可以随机从两个样本数据集中分别提取出无反射样本图像与反射样本图像。其中，两种类别的样本数据集可以是事先存储在电子设备中，也可以是电子设备从其他设备中获取到的等等，在此对其并不做任何限制。
S12，将反射样本图像输入反射去除模型中得到预测无反射图像，并利用反射样本图像与预测无反射图像，得到预测反射层图像特征。
反射去除模型的输入为反射图像，输出为无反射图像，其用于对输入的反射图像进行反射去除。反射去除模型可以是基于ResNet结构的网络结构，也可以是其他网络结构，在此对其具体结构并不做任何限制。
电子设备在得到与反射样本图像对应的预测无反射图像之后，计算反射样本图像与预测无反射图像之间的差值，就可以得到预测反射层图像特征。其中，所得到的预测反射层图像特征用于后续实现无反射样本图像到预测反射图像的转换。
S13，将预测反射层图像特征与无反射样本图像输入反射图像生成模型中，得到预测反射图像。
反射图像生成模型用于将预测反射层图像特征与无反射样本图像进行融合，输出与无反射样本图像对应的预测反射图像。即，反射去除模型是为了从反射样本图像中提取出预测反射层图像特征，反射图像生成模型是为了将预测反射层图像特征与无反射图像进行融合，得到预测反射图像。
利用网络模型的方式提取出相应的反射层特征，再将其融合在无反射样本图像中，得到预测反射图像。采用深度学习的方式学习到反射样本图像中的反射层图像特征，基于此形成预测反射图像，可以保证所得到的预测反射图像的真实性。
S14，基于预测无反射图像与预测反射图像进行损失函数的计算，对反射去除模型以及反射图像生成模型进行训练，以得到目标反射图像生成模型。
电子设备可以分别对预测无反射图像以及预测反射图像进行鉴别，以确定第一鉴别损失，再利用第一鉴别损失对反射去除模型以及反射图像生成模型进行训练，对其参数进行更新；也可以在第一鉴别损失的基础上，再结合其他损失进行训练。所述的其他损失可以是重建损失，也可以是反射图像损失等等，在此对其并不做任何限制，具体可以根据实际情况进行相应的设置。
关于该步骤具体将在下文中进行详细描述。
本实施例提供的反射图像生成模型的训练方法，利用非配对的无反射样本图像与反射样本图像进行模型训练，且在训练过程中实现反射与无反射的互相转换，用于模拟真实反射场景下的图像。在训练过程中使用真实反射图像并使用对抗训练的技术进行监督，通过加入真实数据对算法最终应用的场景信息进行建模，使得其具有优秀的泛化能力，从而使得所得到的目标反射图像生成模型能够生成更真实、更大量的反射图像。
在本实施例中提供了一种反射图像生成模型的训练方法，可用于电子设备，如电脑、手机、平板电脑等，图2是根据本发明实施例的反射图像生成模型的训练方法的流程图，如图2所示，该流程包括如下步骤：
S21，获取任意的无反射样本图像与反射样本图像。
详细请参见图1所示实施例的S11，在此不再赘述。
S22，将反射样本图像输入反射去除模型中得到预测无反射图像，并利用反射样本图像与预测无反射图像，得到预测反射层图像特征。
详细请参见图1所示实施例的S12，在此不再赘述。
S23，将预测反射层图像特征与无反射样本图像输入反射图像生成模型中，得到预测反射图像。
详细请参见图1所示实施例的S13，在此不再赘述。
S24，基于预测无反射图像与预测反射图像进行损失函数的计算，对反射去除模型以及反射图像生成模型进行训练，以得到目标反射图像生成模型。
在本实施例中，以第一鉴别损失结合重建损失，对反射去除模型与反射图像生成模型进行训练为例。具体地，上述S24可以包括：
S241，将预测无反射图像以及预测反射图像分别输入第一鉴别器以及第二鉴别器，分别得到第一鉴别结果以及第二鉴别结果，以确定第一鉴别损失。
电子设备在得到预测无反射图像之后，利用第一鉴别器对其真实性进行判断，得到预测无反射图像属于无反射图像的概率，即所述的第一鉴别结果。相应地，电子设备利用第二鉴别器对预测反射图像的真实性进行判断，得到预测反射图像属于反射图像的概率，即所述的第二鉴别结果。
其中，第一鉴别器与第二鉴别器是事先训练好的判别网络，在此对其具体网络结构并不做任何限制。
电子设备可以计算第一鉴别结果与第二鉴别结果的加权和，得到第一鉴别损失；也可以计算两者的均值，得到第一鉴别损失，等等。
S242，分别对预测无反射图像以及预测反射图像进行图像重建，得到重建反射图像与重建无反射图像。
电子设备在得到预测无反射图像之后，可以对其进行反射图像的重建。其中，重建方式可以在预测无反射图像的基础上融合反射层图像特征，所述的融合可以是采用系数融合，也可以采用网络模型的方式进行融合。
相应地，电子设备在得到预测反射图像之后，也可以对其进行无反射图像的重建。其中，重建方式与预测无反射图像的重建方式类似，不同的是重建结果不同。对预测无反射图像进行图像重建后，得到重建反射图像；对预测反射图像进行图像重建后，得到重建无反射图像。
作为本实施例的一种可选实施方式，上述S242可以包括：
(1)将预测反射层图像特征以及预测无反射图像输入反射图像生成模型，得到重建反射图像。
重建反射图像的处理方式，与预测反射图像的生成方式类似，均是利用反射图像生成模型得到的。具体地，电子设备利用反射图像生成模型对预测反射层图像特征与预测无反射图像进行融合，对预测无反射图像进行重建，得到重建反射图像。
(2)将预测反射图像输入反射去除模型中，得到重建无反射图像。
相应地，与预测无反射图像的反射去除方式类似，均是利用反射去除模型对输入图像进行反射去除得到的，具体地，电子设备利用反射去除模型对预测反射图像进行反射去除，得到重建无反射图像。
利用网络模型进行图像的重建，可以保证图像重建的可靠性与准确性；且网络模型的使用使得整个训练基于循环对抗的原理，简化了训练过程。
S243，基于重建反射图像与反射样本图像的差异，以及重建无反射图像与无反射样本图像的差异，确定重建损失。
具体地，重建反射图像的形成过程为：反射样本图像输入反射去除模型得到预测无反射图像，预测无反射图像与预测反射层图像特征输入反射图像生成模型进行融合，得到重建反射图像。因此，利用重建反射图像与反射样本图像的差异，就可以表征出反射重建的损失。
重建无反射图像的形成过程为：无反射样本图像与预测反射层图像特征输入反射图像生成模型进行融合，得到预测反射图像，预测反射图像输入反射去除模型中，得到重建无反射图像。因此，利用重建无反射图像与无反射样本图像的差异，就可以表征出无反射重建的损失。
电子设备可以利用损失函数来衡量反射重建的损失与无反射重建的损失，例如，可以直接计算两个样本图像与对应的重建图像的差值，就可以得到相应的重建损失；电子设备再计算两个类别的重建损失的加权和，就可以确定出整个模型的重建损失。
S244，基于重建损失以及第一鉴别损失，对反射去除模型以及反射图像生成模型进行训练，以得到目标反射图像生成模型。
电子设备计算重建损失与第一鉴别损失的加权和，将其作为整体损失，并利用计算得到的整体损失对反射去除模型与反射图像生成模型进行训练，对两个模型的参数进行更新，得到目标反射图像生成模型。其中，所述的目标反射图像生成模型包括训练后的反射去除模型以及训练后的反射图像生成模型。
本实施例提供的反射图像生成模型的训练方法，通过重建图像确定重建损失，使得在图像风格转变的过程中尽量保持图像特征的完整性，不至于丢失更多的特征，保证的对抗训练的稳定性。
在本实施例的一些可选实施方式中，整体损失的计算中还可以再加上反射图像的梯度损失，以模拟出反射成像的物理模型。具体地，上述S24还可以包括：
(1)对预测反射图像进行梯度计算，得到梯度损失；
电子设备对第一反射生成图像生成模型输出的预测反射图像进行梯度计算，得到相应的梯度损失。
(2)基于第一鉴别损失以及梯度损失，对反射去除模型以及反射图像生成模型进行训练，以得到目标反射图像生成模型。
电子设备可以利用第一鉴别损失与梯度损失作为整体损失，也可以利用第一鉴别损失、重建损失与梯度损失作为整体损失等等，具体可以根据实际需求进行相应的设置，在此对其并不做任何限制。
在计算得到整体损失之后，再利用整体损失对反射去除模型以及反射图像生成模型进行训练，得到所述的目标反射图像生成模型。
在训练过程中融合了镜面反射的基本原理，需要考虑生成图像的合理性，即反射层往往具有一定的平滑性，基于此添加了所谓的平滑损失，是一个正则化项，约束反射层特征，使其具有平滑的梯度，从而可以在一定程度上衡量一幅图像是否具有平滑的过渡。
在本实施例的一个具体实施方式中，图3示出了目标反射图像生成模型的训练架构示意图。其中，real_A表示反射样本图像，fake_A表示预测无反射图像，reco_A表示重建反射图像，mask_A表示预测反射层图像特征，real_B表示无反射样本图像，fake_B表示预测反射图像，reco_B表示重建无反射图像；CNN1表示反射去除模型，CNN2表示反射图像生成模型；D1表示第一鉴别器，D2表示第二鉴别器。
具体地，反射样本图像real_A输入反射去除模型CNN1中进行反射去除，得到预测无反射图像fake_A；反射样本图像real_A与预测无反射图像fake_A的差值即为预测反射层图像特征mask_A；利用反射图像生成模型CNN2对预测无反射图像fake_A与预测反射层图像特征mask_A进行融合，得到重建反射图像reco_A。
利用反射图像生成模型CNN2对无反射样本图像real_B与预测反射层图像特征mask_A进行融合，得到预测反射图像fake_B；利用反射去除模型CNN1对预测反射图像fake_B进行反射去除，得到重建无反射图像reco_B。
在进行损失计算时，利用第一鉴别器D1计算预测无反射图像对应的第一鉴别损失，利用第二鉴别器D2计算预测反射图像对应得到第二鉴别损失，再利用第一鉴别损失与第二鉴别损失，计算得到鉴别损失。
进一步地，利用重建反射图像与反射样本图像的差异，得到反射重建损失；利用重建无反射图像与无反射样本图像的差异，得到无反射重建损失；再利用反射重建损失与无反射重建损失，计算得到重建损失。
再进一步地，计算预测反射图像的梯度，得到梯度损失。利用鉴别损失、重建损失以及梯度损失计算整体损失，再利用整体损失对反射去除模型、反射图像生成模型进行训练，得到目标反射图像生成模型。
具体地，本实施例提供的反射图像生成模型的训练方法是一种基于cycleGAN方法改进的数据仿真方式MaskCycleGAN，在训练过程中加入反射样本图像的约束，使得训练得到的模型更好地学习、编码发射场景的特征。上述的鉴别损失、重建损失以及提速损失可以分别采用如下损失函数计算得到：
(1)鉴别损失函数，又可以称之为GAN损失函数
(2)重构损失函数
L1＝∑||x-y||
其中，x为反射样本图像，或无反射样本图像，相应地，y为重建反射图像，或重建无反射图像。
(3)梯度损失函数，又可以称之为反射图像损失函数
Lsmooth＝∑||Sobel(rl)||
其中，rl为预测反射图像，Sobel()为梯度算子。
根据本发明实施例，提供了一种反射图像的生成方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种反射图像的生成方法，可用于电子设备，如电脑、手机、平板电脑等，图4是根据本发明实施例的反射图像的生成方法的流程图，如图4所示，该流程包括如下步骤：
S31，获取任意的无反射图像以及反射图像。
无反射图像与反射图像为非配对图像，两种之间并无关联关系。对于无反射图像与反射图像的获取方式与上述的无反射样本图像以及反射样本图像的获取方式类似，具体可以参见上述相应的描述，在此不再赘述。
S32，将无反射图像以及反射图像输入目标反射图像生成模型中，得到与无反射图像对应的目标反射图像，以形成目标图像对。
其中，所述目标反射图像生成模型是根据上述任一实施方式中所述的反射图像生成模型的训练方法训练得到的。
在目标反射图像的生成过程中，电子设备先将反射图像输入目标反射图像生成模型中的反射去除模型，对反射图像进行反射去除，以得到反射层图像特征；在将反射层图像特征与无反射图像输入到目标反射图像生成模型中的反射图像生成模型中，对两者进行融合，得到所述的目标反射图像。
电子设备在生成目标反射图像之后，将目标反射图像与无反射图像组成图像对。所述的图像对可以用于后续的目标反射去除模型的训练。
具体的推理过程与上述的训练过程类似，相关内容可以参见上文的对应描述，在此并不赘述。
需要说明的是，目标反射图像生成模型中的反射去除模型，由于是采用非配对图像训练得到的，训练过程可以认为是无监督训练，若将其直接用于后续的真实场景下的反射去除，可能会在风格转变时影像图像像素的转变，得到不真实的图像。因此，后续需要利用配对的无反射图像与目标反射图像对反射去除模型进行训练。
本实施提供的反射图像的生成方法，利用训练得到的目标反射图像生成模型生成与无反射图像对应的目标反射图像，由于目标反射图像具有较好的泛化能力，因此所生成的目标反射图像能够模拟复杂的应用场景。
根据本发明实施例，提供了一种反射去除模型的训练方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种反射去除模型的训练方法，可用于电子设备，如电脑、手机、平板电脑等，图5是根据本发明实施例的反射去除模型的训练方法的流程图，如图5所示，该流程包括如下步骤：
S41，获取目标图像对。
其中，所述目标图像对是根据上述的反射图像的生成方法形成的。
具体可以上文中关于反射图像的生成方法的描述，在此并不赘述。
S42，将目标图像对中的目标反射图像输入反射去除模型中，得到预测目标无反射图像。
电子设备在对反射去除模型进行训练时，利用配对的目标图像对进行。具体地，将目标图像对中的目标反射图像输入到反射去除模型中，该模型对目标反射图像进行反射去除，输出预测目标无反射图像。
S43，利用预测目标无反射图像与目标图像对中的无反射图像的差异，得到重构损失。
电子设备对预测目标无反射图像以及目标图像对中的无反射图像进行损失函数的计算，即可以得到重构损失，所述的重构损失用于衡量预测目标反射图像与目标物反射图像之间的差异。
S44，基于重构损失对反射去除模型进行训练，以得到目标反射去除模型。
电子设备在重构损失的基础上，对反射去除模型进行训练，即可得到目标反射去除模型。
本实施例提供的反射去除模型的训练方法，利用能够模拟复杂应用场景的目标图像对对反射去除模型进行训练，使得训练得到的目标反射去除模型能够适用于不同的应用场景，具有较好的适用性。
在本实施例中提供了一种反射去除模型的训练方法，可用于电子设备，如电脑、手机、平板电脑等，图6是根据本发明实施例的反射去除模型的训练方法的流程图，如图6所示，该流程包括如下步骤：
S51，获取目标图像对。
其中，所述目标图像对是根据上述的反射图像的生成方法形成的。
详细请参见图5所示实施例的S41的详细描述，在此并不赘述。
S52，将目标图像对中的目标反射图像输入反射去除模型中，得到预测目标无反射图像。
详细请参见图5所示实施例的S42的详细描述，在此并不赘述。
S53，利用预测目标无反射图像与目标图像对中的目标无反射图像的差异，得到重构损失。
详细请参见图5所示实施例的S43的详细描述，在此并不赘述。
S54，基于重构损失对所述反射去除模型进行训练，以得到目标反射去除模型。
在训练过程中结合真实的反射样本图像对反射去除模型进行训练，相应地，计算真实的反射样本图像对应的第二鉴别损失，并利用第二鉴别损失以及重构损失对反射去除模型进行训练。
具体地，上述S54可以包括：
S541，获取反射样本图像。
反射样本图像可以是在实际场景下采集到的反射图像，具体对其来源并不做任何限制。
S542，将反射样本图像输入反射去除模型中，得到预测无反射样本图像。
电子设备将反射样本图像输入到反射去除模型，利用反射去除模型对反射样本图像进行反射去除，得到预测无反射样本图像。
S543，将预测无反射样本图像输入目标鉴别器中，得到第二鉴别损失。
由于反射样本图像无对应的无反射图像，因此，可以利用目标鉴别器对预测无反射样本图像进行鉴别损失的计算。所述的第二鉴别损失用于衡量预测无反射样本图像属于反射图像的概率。
S544，基于重构损失以及第二鉴别损失，对反射去除模型进行训练，得到目标反射去除模型。
电子设备可以计算重构损失与第二鉴别损失的加权和，或计算两者的均值等等，在此对其并不做任何限制，只需保证电子设备利用重构损失以及第二鉴别损失对反射去除模型进行训练即可。
本实施例提供的反射去除模型的训练方法，在训练反射去除模型的过程中，结合真实的反射样本图像，使得该反射去除模型能够学习到足够广泛的特征，进一步保证该目标反射去除模型具有优秀的泛化能力。
在本实施例的一个具体实施方式中，图7示出了反射去除模型的训练架构示意图。其中，syn_A为目标图像对中的目标反射图像，syn_B为预测无反射样本图像；real_A为反射样本图像，fake_B为预测无反射样本图像；D3为目标鉴别器；CNN为反射去除模型。
当输入反射去除模型的图像为目标反射图像时，后续就利用目标无反射图像进行重构损失的计算。其中，可以采用如下损失函数，计算重构损失：
L1＝∑||x-y||
其中，x为预测无反射样本图像，y为目标无反射图像。
当输入反射去除模型的图像为反射样本图像时，后续就利用目标鉴别器进行第二鉴别损失的计算。其中，可以采用如下损失函数，计算第二鉴别损失：
具体地，使用上述实施例中形成的目标图像对使用自编码器监督学习，针对泛化能力的问题，采用半监督的学习模式，加入真实的反射样本图像，使用GAN的损失进行约束可以提高模型泛化能力。
根据本发明实施例，提供了一种反射去除方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在本实施例中提供了一种反射去除方法，可用于电子设备，如电脑、手机、平板电脑等，图8是根据本发明实施例的反射去除模型的训练方法的流程图，如图8所示，该流程包括如下步骤：
S61，获取待处理反射图像。
待处理反射图像可以是车辆图像，也可以是电子设备图像，等等，在此对其并不做任何限制。其中，待处理反射图像所属的类别与训练目标反射去除模型所采用的样本图像所属的类别相同。
S62，将待处理反射图像输入目标反射去除模型中，得到反射去除图像。
其中，所述目标反射去除模型是根据上述任一实施方式中所述的反射去除模型的训练方法训练得到的。
目标反射去除模型的输入为待处理反射图像，输出为对待处理反射图像进行反射去除后的反射去除图像。
本实施例提供的反射去除方法，利用具有优秀泛化能力的目标反射去除模型对待处理图像进行反射去除处理，可以保证所得到的反射去除图像的准确性与可靠性。
在本实施例的一些可选实施方式中，上述S62可以包括：
(1)提取待处理反射图像中的感兴趣区域。
电子设备在将待处理反射图像输入到目标反射去除模型之前，先对其进行感兴趣区域的提取。例如，当待处理反射图像为车辆图像时，所提取的感兴趣区域可以为车窗区域；当待处理反射图像为电子设备时，所提取的感兴趣区域可以为显示屏幕区域，等等。
(2)将感兴趣区域输入目标反射去除模型中，得到反射去除图像。
电子设备再将提取出的感兴趣区域输入到目标反射去除模型中，即可得到与感兴趣区域对应的反射去除图像；电子设备可以再将感兴趣区域对应的反射去除图像结合到待处理图像中，从而得到待处理图像对应的反射去除图像。
例如，对于交通场景中的车窗反射去除：首先，采集交通场景下的车辆图像，例如车卡抓拍车辆图像；在分割出图像中的车辆的车窗；将车窗图像输入到目标反射去除模型中，得到去反射的网络输出后；在后处理模块中，将反射去除图像编码为区间为0-255的合理RGB图像并输出。
从待处理图像中提取出感兴趣区域后再对其进行反射去除的处理，减少了数据处理量，提高了反射去除的效率。
在本实施例中还提供了一种反射图像生成模型的训练装置、反射图像的生成装置、反射去除模型的训练装置或反射去除装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
本实施例提供一种反射图像生成模型的训练装置，如图9所示，包括：
第一获取模块101，用于获取任意的无反射样本图像与反射样本图像；
第一预测模块102，用于将所述反射样本图像输入反射去除模型中得到预测无反射图像，并利用所述反射样本图像与所述预测无反射图像，得到预测反射层图像特征；
第二预测模块103，用于将所述预测反射层图像特征与所述无反射样本图像输入反射图像生成模型中，得到预测反射图像；
第一训练模块105，用于基于所述预测无反射图像与所述预测反射图像进行损失函数的计算，对所述反射去除模型以及所述反射图像生成模型进行训练，以得到所述反射图像生成模型对应的目标反射图像生成模型。
本实施例还提供了一种反射图像的生成装置，如图10所示，包括：
第二获取模块201，用于获取任意的无反射图像以及反射图像；
生成模块202，用于将所述无反射图像以及所述反射图像输入目标反射图像生成模型中，得到与所述无反射图像对应的目标反射图像，以形成目标图像对，所述目标反射图像生成模型是根据上述任一实施方式中所述的反射图像生成模型的训练方法训练得到的。
本实施例还提供了一种反射去除模型的训练装置，如图11所示，包括：
第三获取模块301，用于获取目标图像对，所述目标图像对是根据上述的反射图像的生成方法形成的；
第三预测模块302，用于将所述目标图像对中的目标反射图像输入反射去除模型中，得到预测目标无反射图像；
重构损失模块303，用于利用所述预测目标无反射图像与所述目标图像对中的无反射图像的差异，得到重构损失；
第二训练模块304，用于基于所述重构损失对所述反射去除模型进行训练，以得到目标反射去除模型。
本实施例还提供了一种反射去除装置，如图12所示，包括：
第四获取模块401，用于获取待处理反射图像；
去除模块402，用于将所述待处理反射图像输入所述目标反射去除模型中，得到反射去除图像，所述目标反射去除模型是根据上述任一实施方式中所述的反射去除模型的训练方法训练得到的。
本实施例中的反射图像生成模型的训练装置、反射图像的生成装置、反射去除模型的训练装置或反射去除装置是以功能单元的形式来呈现，这里的单元是指ASIC电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
本发明实施例还提供一种电子设备，具有上述图9所示的反射图像生成模型的训练装置，或图10所示的反射图像的生成装置，或图11所示的反射去除模型的训练装置，或图12所示的反射去除装置。
请参阅图13，图13是本发明可选实施例提供的一种电子设备的结构示意图，如图13所示，该电子设备可以包括：至少一个处理器501，例如CPU(Central Processing Unit，中央处理器)，至少一个通信接口503，存储器504，至少一个通信总线502。其中，通信总线502用于实现这些组件之间的连接通信。其中，通信接口503可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口503还可以包括标准的有线接口、无线接口。存储器504可以是高速RAM存储器(Random Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器504可选的还可以是至少一个位于远离前述处理器501的存储装置。其中处理器501可以结合图9-图12中任一所描述的装置，存储器504中存储应用程序，且处理器501调用存储器504中存储的程序代码，以用于执行上述任一方法步骤。
其中，通信总线502可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线502可以分为地址总线、数据总线、控制总线等。为便于表示，图13中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器504可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器504还可以包括上述种类的存储器的组合。
其中，处理器501可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。
其中，处理器501还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。
可选地，存储器504还用于存储程序指令。处理器501可以调用程序指令，实现如本申请图1和2实施例中所示的反射图像生成模型的训练方法，或图4实施例中所示的反射图像的生成方法，或图5和6实施例中所示的反射去除模型的训练方法，或图8实施例中所示的反射去除方法。
本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的反射图像生成模型的训练方法、反射图像的生成方法、反射去除模型的训练方法或反射去除方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (11)
1.一种反射图像生成模型的训练方法，其特征在于，包括：
获取任意的无反射样本图像与反射样本图像；
将所述反射样本图像输入反射去除模型中得到预测无反射图像，并利用所述反射样本图像与所述预测无反射图像，得到预测反射层图像特征；
将所述预测反射层图像特征与所述无反射样本图像输入反射图像生成模型中，得到预测反射图像；
基于所述预测无反射图像与所述预测反射图像进行损失函数的计算，对所述反射去除模型以及所述反射图像生成模型进行训练，以得到目标反射图像生成模型。
2.根据权利要求1所述的训练方法，其特征在于，所述基于所述预测无反射图像与所述预测反射图像进行损失函数的计算，对所述反射去除模型以及所述反射图像生成模型进行训练，以得到所述反射图像生成模型对应的目标反射图像生成模型，包括：
将所述预测无反射图像以及所述预测反射图像分别输入第一鉴别器以及第二鉴别器，分别得到第一鉴别结果以及第二鉴别结果，以确定第一鉴别损失；
分别对所述预测无反射图像以及所述预测反射图像进行图像重建，得到重建反射图像与重建无反射图像；
基于所述重建反射图像与所述反射样本图像的差异，以及所述重建无反射图像与所述无反射样本图像的差异，确定重建损失；
基于所述重建损失以及所述第一鉴别损失，对所述反射去除模型以及所述反射图像生成模型进行训练，以得到所述目标反射图像生成模型。
3.根据权利要求2所述的训练方法，其特征在于，所述分别对所述预测无反射图像以及所述预测反射图像进行图像重建，得到重建无反射图像与重建反射图像，包括：
将所述预测反射层图像特征以及所述预测无反射图像输入所述反射图像生成模型，得到所述重建反射图像；
将所述预测反射图像输入所述反射去除模型中，得到所述重建无反射图像。
4.根据权利要求1至3中任一项所述的训练方法，其特征在于，所述基于所述第一鉴别损失，对所述反射去除模型以及所述反射图像生成模型进行训练，以得到目标反射图像生成模型，还包括：
对所述预测反射图像进行梯度计算，得到梯度损失；
基于所述第一鉴别损失以及所述梯度损失，对所述反射去除模型以及所述反射图像生成模型进行训练，以得到所述目标反射图像生成模型。
5.一种反射图像的生成方法，其特征在于，包括：
获取任意的无反射图像以及反射图像；
将所述无反射图像以及所述反射图像输入目标反射图像生成模型中，得到与所述无反射图像对应的目标反射图像，以形成目标图像对，所述目标反射图像生成模型是根据权利要求1-4中任一项所述的反射图像生成模型的训练方法训练得到的。
6.一种反射去除模型的训练方法，其特征在于，包括：
获取目标图像对，所述目标图像对是根据权利要求5所述的反射图像的生成方法形成的；
将所述目标图像对中的目标反射图像输入反射去除模型中，得到预测目标无反射图像；
利用所述预测目标无反射图像与所述目标图像对中的无反射图像的差异，得到重构损失；
基于所述重构损失对所述反射去除模型进行训练，以得到目标反射去除模型。
7.根据权利要求6所述的训练方法，其特征在于，所述基于所述重构损失对所述反射去除模型进行训练，以得到目标反射去除模型，包括：
获取反射样本图像；
将所述反射样本图像输入所述反射去除模型中，得到预测无反射样本图像；
将所述预测无反射样本图像输入目标鉴别器中，得到第二鉴别损失；
基于所述重构损失以及所述第二鉴别损失，对所述反射去除模型进行训练，得到所述目标反射去除模型。
8.一种反射去除方法，其特征在于，包括：
获取待处理反射图像；
将所述待处理反射图像输入所述目标反射去除模型中，得到反射去除图像，所述目标反射去除模型是根据权利要求6或7所述的反射去除模型的训练方法训练得到的。
9.根据权利要求8所述的方法，其特征在于，所述将所述待处理反射图像输入所述目标反射去除模型中，得到反射去除图像，包括：
提取所述待处理反射图像中的感兴趣区域；
将所述感兴趣区域输入所述目标反射去除模型中，得到所述反射去除图像。
10.一种电子设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-4中任一项所述的反射图像生成模型的训练方法，或者，执行权利要求5所述的反射图像的生成方法，或者，执行权利要求6或7所述的反射去除模型的训练方法，或者，执行权利要求8或9所述的反射去除方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行权利要求1-4中任一项所述的反射图像生成模型的训练方法，或者，执行权利要求5所述的反射图像的生成方法，或者，执行权利要求6或7所述的反射去除模型的训练方法，或者，执行权利要求8或9所述的反射去除方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110309311.6A CN112802076A (zh) | 2021-03-23 | 2021-03-23 | 反射图像生成模型及反射去除模型的训练方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110309311.6A CN112802076A (zh) | 2021-03-23 | 2021-03-23 | 反射图像生成模型及反射去除模型的训练方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112802076A true CN112802076A (zh) | 2021-05-14 |
Family
ID=75815686
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110309311.6A Pending CN112802076A (zh) | 2021-03-23 | 2021-03-23 | 反射图像生成模型及反射去除模型的训练方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112802076A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781352A (zh) * | 2021-09-16 | 2021-12-10 | 科大讯飞股份有限公司 | 去光照方法、装置、电子设备与存储介质 |
| CN114926352A (zh) * | 2022-04-14 | 2022-08-19 | 华南理工大学 | 一种图像去反射方法、系统、装置及存储介质 |
| CN115601536A (zh) * | 2022-12-02 | 2023-01-13 | 荣耀终端有限公司（Cn） | 一种图像处理方法及电子设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110827207A (zh) * | 2019-09-17 | 2020-02-21 | 北京大学 | 一种基于协同分合学习机制的反射消除方法 |
| CN111161175A (zh) * | 2019-12-24 | 2020-05-15 | 苏州江奥光电科技有限公司 | 一种用于去除图像反射分量的方法及系统 |
| CN111507910A (zh) * | 2020-03-18 | 2020-08-07 | 南方电网科学研究院有限责任公司 | 一种单图像去反光的方法、装置及存储介质 |
-
2021
- 2021-03-23 CN CN202110309311.6A patent/CN112802076A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110827207A (zh) * | 2019-09-17 | 2020-02-21 | 北京大学 | 一种基于协同分合学习机制的反射消除方法 |
| CN111161175A (zh) * | 2019-12-24 | 2020-05-15 | 苏州江奥光电科技有限公司 | 一种用于去除图像反射分量的方法及系统 |
| CN111507910A (zh) * | 2020-03-18 | 2020-08-07 | 南方电网科学研究院有限责任公司 | 一种单图像去反光的方法、装置及存储介质 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781352A (zh) * | 2021-09-16 | 2021-12-10 | 科大讯飞股份有限公司 | 去光照方法、装置、电子设备与存储介质 |
| CN114926352A (zh) * | 2022-04-14 | 2022-08-19 | 华南理工大学 | 一种图像去反射方法、系统、装置及存储介质 |
| CN115601536A (zh) * | 2022-12-02 | 2023-01-13 | 荣耀终端有限公司（Cn） | 一种图像处理方法及电子设备 |
| CN115601536B (zh) * | 2022-12-02 | 2023-05-26 | 荣耀终端有限公司 | 一种图像处理方法及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112802076A (zh) | 反射图像生成模型及反射去除模型的训练方法 | |
| CN110929622A (zh) | 视频分类方法、模型训练方法、装置、设备及存储介质 | |
| KR102338372B1 (ko) | 영상으로부터 객체를 분할하는 방법 및 장치 | |
| CN112329702B (zh) | 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质 | |
| CN112598579A (zh) | 面向监控场景的图像超分辨率方法、装置及存储介质 | |
| CN112541864A (zh) | 一种基于多尺度生成式对抗网络模型的图像修复方法 | |
| CN113409361B (zh) | 一种多目标跟踪方法、装置、计算机及存储介质 | |
| CN110728295B (zh) | 半监督式的地貌分类模型训练和地貌图构建方法 | |
| CN110781980B (zh) | 目标检测模型的训练方法、目标检测方法及装置 | |
| CN110557521B (zh) | 视频去雨的方法、装置、设备及计算机可读存储介质 | |
| CN111079764A (zh) | 一种基于深度学习的低照度车牌图像识别方法及装置 | |
| CN112818955B (zh) | 一种图像分割方法、装置、计算机设备以及存储介质 | |
| CN112036381B (zh) | 视觉跟踪方法、视频监控方法及终端设备 | |
| KR20190125029A (ko) | 시계열 적대적인 신경망 기반의 텍스트-비디오 생성 방법 및 장치 | |
| CN114419570A (zh) | 一种点云数据识别方法、装置、电子设备及存储介质 | |
| CN114140346A (zh) | 一种图像处理方法及装置 | |
| CN115082752A (zh) | 基于弱监督的目标检测模型训练方法、装置、设备及介质 | |
| CN110942456B (zh) | 篡改图像检测方法、装置、设备及存储介质 | |
| CN116194933A (zh) | 处理系统、处理方法以及处理程序 | |
| CN111488810A (zh) | 人脸识别方法、装置、终端设备及计算机可读介质 | |
| CN113393385B (zh) | 基于多尺度融合的无监督去雨方法、系统、装置及介质 | |
| CN110942097A (zh) | 基于单像素探测器的免成像分类方法和系统 | |
| CN110570375A (zh) | 一种图像处理方法、装置、电子设置以及存储介质 | |
| CN112052823A (zh) | 目标检测方法和装置 | |
| CN113838076A (zh) | 目标图像中的对象轮廓的标注方法及装置、存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210514 |