CN115170427A - 基于弱监督学习的图像镜面高光去除方法 - Google Patents
基于弱监督学习的图像镜面高光去除方法 Download PDFInfo
- Publication number
- CN115170427A CN115170427A CN202210842928.9A CN202210842928A CN115170427A CN 115170427 A CN115170427 A CN 115170427A CN 202210842928 A CN202210842928 A CN 202210842928A CN 115170427 A CN115170427 A CN 115170427A
- Authority
- CN
- China
- Prior art keywords
- highlight
- image
- original
- removal
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000006870 function Effects 0.000 claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 49
- 239000011159 matrix material Substances 0.000 claims abstract description 22
- 230000007704 transition Effects 0.000 claims description 36
- 125000004122 cyclic group Chemical group 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 5
- 238000012545 processing Methods 0.000 description 7
- 238000000926 separation method Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- HPTJABJPZMULFH-UHFFFAOYSA-N 12-[(Cyclohexylcarbamoyl)amino]dodecanoic acid Chemical compound OC(=O)CCCCCCCCCCCNC(=O)NC1CCCCC1 HPTJABJPZMULFH-UHFFFAOYSA-N 0.000 description 1
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 1
- 235000011941 Tilia x europaea Nutrition 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004571 lime Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012113 quantitative test Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于弱监督学习的图像镜面高光去除方法，包括如下步骤：首先，利用稀疏非负矩阵分解图像的高光区域并从无高光区域裁剪出无高光图像作为训练数据；接着，将训练数据输入到以端到端方式连接的三个分别执行高光生成、高光去除和图像重建任务的联合训练模块，并使用循环生成对抗网络架构训练网络并生成最终的无高光图像。本基于弱监督学习的图像镜面高光去除方法通过联合训练高光生成、高光去除和重建模块，以循环生成对抗网络的架构完成高光去除，训练过程中后续模块的损失函数会反馈至前项模块，实现仅使用高光图像即可完成训练，并取得良好的去高光效果，相比传统算法以及现有的弱监督学习方法具有操作简单、去高光效果佳的优点。
Description
技术领域
本发明涉及图像镜面高光去除领域，尤其涉及基于弱监督学习的图像镜面高光去除方法。
背景技术
传统的高光去除方法(如Tan、Akashi和Yamamoto)在处理自然图像时性能较差，得到的图像颜色失真严重，特别是图像中存在白色区域时，这种情况更为严重。而基于深度学习的高光去除方法在处理图像时表现良好，如Shi和Fu，但Shi和Fu需要大量额外的信息来帮助训练，操作十分复杂。
发明内容
为了解决传统高光去除方法处理自然图像时失真严重的技术问题，本发明的目的在于提供基于弱监督学习的图像镜面高光去除方法。
本发明是通过以下技术方案实现的：
基于弱监督学习的图像镜面高光去除方法，包括如下步骤：
首先，利用稀疏非负矩阵分解图像的高光区域并从无高光区域裁剪出无高光图像作为训练数据；
接着，将所述训练数据输入到以端到端方式连接的三个分别执行高光生成、高光去除和图像重建任务的联合训练模块，并使用循环生成对抗网络架构训练网络并生成最终的无高光图像。
进一步地，所述利用稀疏非负矩阵分解图像的高光区域并从无高光区域裁剪出无高光图像作为训练数据，包括如下步骤：
首先，创建如下集合：
接着，将矩阵分解的内部维度设置为2，在维持l2范数不变的前提下，通过最小化l1范数求解ks(x)，得出原始图像对应的高光掩膜，利用所述高光掩膜裁剪出原高光图像，并将所述高光掩膜放入高光掩膜集，在所述高光掩膜集中随机选取一个与所述高光掩膜不重合的掩膜来获取原无高光图像；
式中，等式左边代表总像素数为n的原始图像，矩阵大小为3xn，等式右边左半部分的3x2矩阵代表漫反射和镜面反射在RGB通道上的固定参数，右半部分为包含漫反射和镜面反射系数的2xn矩阵。
进一步地，所述将训练数据输入到以端到端方式连接的三个分别执行高光生成、高光去除和图像重建任务的联合训练模块，并使用循环生成对抗网络架构训练网络并生成最终的无高光图像，包括如下步骤：
首先，高光生成模块将输入的所述原无高光图像转化为过渡高光图像，使用高光判别网络判断所述过渡高光图像的真假；
接着，高光去除模块输入所述过渡高光图像，并去除其高光部分得到对应的过渡无高光图像，使用高光去除判别网络判断所述过渡无高光图像的真假；
最后，重建模块输入原始图像、所述过渡无高光图像和所述高光掩膜的组合，使用像素损失函数得出最终的无高光图像。
进一步地，应用同一性损失函数优化所述过渡高光图像，同一性损失函数的数学表达式如下：
式中，G表示高光生成模块，E表示取期望，p表示数据分布，Ih表示原高光图像，‖G(Ih),Ih‖1表示l1范数。
进一步地，所述高光判别网络采用PatchGAN架构判断所述过渡高光图像中每个4X4区块的真假，最后所有计算结果取均值；
所述高光生成模块和所述高光判别网络基于PatchGAN的目标函数进行优化，目标函数的数学表达式如下：
式中，G表示高光生成模块，Dh表示高光判别网络，E表示取期望，p表示数据分布，If表示原无高光图像，Ih表示原高光图像，Ih～p(Ih)表示图像是从原高光图像数据分布中选出。
进一步地，应用循环一致性损失函数优化所述高光生成模块和所述高光去除模块，循环一致性损失函数的数学表达式如下：
式中，G表示高光生成模块，R表示高光去除模块，E表示取期望，p表示数据分布，If表示原无高光图像。
进一步地，应用对抗性损失函数优化所述高光去除模块与所述高光去除判别网络，对抗性损失函数的数学表达式如下：
式中，R表示高光去除模块，Df表示高光去除判别网络，E表示取期望，p表示数据分布，If表示原无高光图像，
表示过渡高光图像。
进一步地，所述重建模块的输入端包括RGB三通道和用于存储所述高光掩膜信息的高光掩膜通道,其数学表达式如下：
式中，I表示原始图像，
表示过渡无高光图像，If表示原无高光图像，M表示高光掩膜，
表示连接操作。
进一步地，像素损失函数的数学表达式如下：
式中，E表示取期望，p表示数据分布，C表示重建模块，R表示高光去除模块，G表示高光生成模块，I表示原始图像，If表示原无高光图像。
进一步地，所述重建模块还使用全局损失函数优化所述的最终无高光图像，全局损失函数的数学表达式如下：
式中，C表示重建模块，R表示高光去除模块，G表示高光生成模块，E表示取期望，p表示数据分布，
表示过渡无高光图像，Ψ为图像膨胀函数，M表示高光掩膜，I表示原始图像，n表示原始图像的像素数。
与现有技术相比，本发明具有如下优点：
本基于弱监督学习的图像镜面高光去除方法通过联合训练高光生成、高光去除和重建模块，以循环生成对抗网络的架构完成高光去除，训练过程中后续模块的损失函数会反馈至前项模块，实现仅使用高光图像即可完成训练，并取得良好的去高光效果，相比传统算法以及现有的弱监督学习方法具有操作简单、去高光效果佳的优点。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
图1是实施例公开的基于弱监督学习的图像镜面高光去除方法的流程图；
图2是定性的实验的实验结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
如图1所示，该基于弱监督学习的图像镜面高光去除方法包括如下步骤：
首先，利用稀疏非负矩阵分解图像的高光区域并从无高光区域裁剪出无高光图像作为训练数据；
接着，将训练数据输入到以端到端方式连接的三个分别执行高光生成、高光去除和图像重建任务的联合训练模块，并使用循环生成对抗网络架构训练网络并生成最终的无高光图像。
具体地，利用稀疏非负矩阵分解图像的高光区域并从无高光区域裁剪出无高光图像作为训练数据，包括如下步骤：
首先，创建如下集合：
接着，由于高光仅部分存在，因此ks(x)仅在高光区域内非0，满足稀疏性，应用稀疏非负矩阵方法将矩阵分解的内部维度设置为2，在维持l2范数不变的前提下，通过最小化l1范数求解ks(x)，得出原始图像对应的高光掩膜，利用高光掩膜裁剪出原高光图像，并将高光掩膜放入高光掩膜集，在高光掩膜集中随机选取一个与高光掩膜不重合的掩膜来获取原无高光图像；
其中，等式左边代表总像素数为n的原始图像，矩阵大小为3xn，等式右边左半部分的3x2矩阵代表漫反射和镜面反射在RGB通道上的固定参数，右半部分为包含漫反射和镜面反射系数的2xn矩阵。
通过上述操作能够从高光图像中获取大量的原高光图像和原无高光图像，两者虽不配对，但可作为训练数据。
具体地，将训练数据输入到以端到端方式连接的三个分别执行高光生成、高光去除和图像重建任务的联合训练模块，并使用循环生成对抗网络架构训练网络并生成最终的无高光图像，包括如下步骤：
首先，高光生成模块将输入的原无高光图像转化为过渡高光图像，使用高光判别网络判断过渡高光图像的真假；
具体地，高光生成模块的网络结构包括3个用于下采样的下卷积层、由9个残差网络块组成的网络主体、以及3个用于上采样及输出图像的上卷积层。该网络不包含任何池化层，而是使用步长卷积和反卷积来进行上、下采样。该网络仅输入层和输出层为内核为9x9的卷积层，其余均为内核为3x3、步长为2的卷积层，且除残差网络和输出层外，每层在卷积层后都进行了空间归一化和ReLU非线性激活操作；
具体地，高光判别网络采用PatchGAN架构判断图像中每个4X4区块的真假，最后所有计算结果取均值；
具体地，高光生成模块和高光判别网络基于PatchGAN的目标函数进行优化，目标函数的数学表达式如下：
式中，G表示高光生成模块，Dh表示高光判别网络，E表示取期望，p表示数据分布，If表示原无高光图像，Ih表示原高光图像，Ih～p(Ih)表示图像是从原高光图像数据分布中选出；
优选地，为了使高光生成模块生成的过渡高光图像更接近原高光图像，以减少高光生成模块产生的噪声。应用同一性损失函数优化过渡高光图像，具体地，同一性损失函数的数学表达式如下：
式中，G表示高光生成模块，E表示取期望，p表示数据分布，Ih表示原高光图像，‖G(Ih),Ih‖1表示
范数；
同一性损失函数能够体现高光生成模块生成的过渡高光图像与原高光图像在像素上的差异；
接着，高光去除模块输入过渡高光图像，并去除其高光部分得到对应的过渡无高光图像，使用高光去除判别网络判断过渡无高光图像的真假；
优选地，为了使高光去除模块生成的过渡无高光图像更接近原无高光图像，高光去除模块和高光生成模块遵循Cycle-GAN，应用循环一致性损失函数优化高光生成模块和高光去除模块，循环一致性损失函数的数学表达式如下：
式中，G表示高光生成模块，R表示高光去除模块，E表示取期望，p表示数据分布，If表示原无高光图像。
优选地，应用对抗性损失函数优化高光去除模块与高光去除判别网络，对抗性损失函数的数学表达式如下：
式中，R表示高光去除模块，Df表示高光去除判别网络，E表示取期望，p表示数据分布，If表示原无高光图像，
表示过渡高光图像。
最后，重建模块输入原始图像、过渡无高光图像和高光掩膜的组合，使用像素损失函数得出最终无高光图像。
具体地，重建模块的输入端包括RGB三通道和用于存储高光掩膜信息的高光掩膜通道,其数学表达式如下：
式中，I表示原始图像，
表示过渡无高光图像，If表示原无高光图像，M表示高光掩膜，
表示连接操作。
具体地，像素损失函数的数学表达式如下：
式中，E表示取期望，p表示数据分布，C表示重建模块，R表示高光去除模块，G表示高光生成模块，I表示原始图像，Ir表示上述公式中原始图像、过渡无高光图像和高光掩膜的组合，If表示原无高光图像。
由于高光区域被覆盖的信息与相邻区域具有一定的关联性，优选地，重建模块还使用全局损失函数优化最终无高光图像，全局损失函数的数学表达式如下：
式中，C表示重建模块，R表示高光去除模块，G表示高光生成模块，E表示取期望，p表示数据分布，
表示过渡无高光图像，Ψ为图像膨胀函数，M表示高光掩膜，I表示原始图像，n表示原始图像的像素数,Ir表示上述公式中原始图像、过渡无高光图像和高光掩膜的组合。
该基于弱监督学习的图像镜面高光去除方法共包含五类损失函数，具体为：对抗损失函数、循环一致性损失函数、同一性损失函数、像素损失函数和全局损失函数。其中，整体损失函数为上述五种损失函数的加权和，其数学表达式如下：
式中，ω为各损失函数的权重。
具体地，基于弱监督学习的图像镜面高光去除方法的网络主体包括生成网络和判别网络，通过解决最大最小化问题来对网络进行优化，其数学表达式如下：
为了更直接地体现该基于弱监督学习的图像镜面高光去除方法的优越性，对该基于弱监督学习的图像镜面高光去除方法以及现有的高光去除方法做了比较实验。
实验时，该基于弱监督学习的图像镜面高光去除方法使用PyTorch深度学习框架搭建网络进行实验，版本号为1.9.0，CUDA版本号为10.2，工作站配备NVIDIAGTX2080Ti显卡。使用SHIQ和LIME内的高光图像作为原始图像进行训练与测试。选用使用均值为0，标准差为0.02的高斯分布初始化模型。其中，模型总计训练100个周期，学习速率在前50个周期中固定为0.0002，在后50个周期内线性衰减至0。具体地，训练数据生成过程中，裁剪与原高光图像相同数量的原无高光图像作为网络的输入，且网络中三个模块(高光生成模块、高光去除模块和图像重建模块)均采取联合训练策略，且网络整体损失函数中ω分别设置为1、10、20、10和10。使用峰值信噪比(peaksignal-to-noise ratio,PSNR)和结构相似度(structural similarity,SSIM)作为去高光的性能指标，用于评估各方法性能。
定性的实验结果如说明书附图2所示。其中，Tan、Akashi和Yamamoto为基于单幅图像的方法，Yi为基于未配对数据的弱监督学习方法，Shi和Fu为需要配对的无高光数据、高光掩膜和镜面反射的完全监督学习方法。从说明书附图2中可以看出传统的高光去除方法(如Tan、Akashi和Yamamoto)在处理自然图像时性能较差，得到的图像颜色失真严重，特别是图像中存在白色区域时，这种情况更为严重。而基于深度学习的高光去除方法在处理图像时表现良好，如Shi和Fu，但Shi和Fu需要大量额外的信息来帮助训练，复杂程度高。而本发明提出的基于弱监督学习的图像镜面高光去除方法仅需高光图像便能取得不错的高光去除效果，相比具有更广的适用性。
为避免人眼观察的主观性对结果的判断造成干扰，我们还采用PSNR和SSIM两个指标来评估各方法的性能，定量的实验结果如表1所示：
表一各方法的定量实验结果
其中，不同的训练方法使用的数据类型也不同，其中N/A表示无需训练数据。由于发明提出的基于弱监督学习的图像镜面高光去除方法仅使用高光图像，所以也使用N/A表示。
从表1可观察到本发明提出的基于弱监督学习的图像镜面高光去除方法取得了最高的SSIM分数以及次优的PSNR分数，并且得到分数大幅领先现有的基于弱监督的学习方法。在PSNR指标上略低于Fu的完全监督类学习方法，但Fu的方法需要大量额外的数据信息，如高光图像相应的无高光和镜面反射图像，且PSNR指标无法有效反映图像视觉质量。本发明提出的基于弱监督学习的图像镜面高光去除方法在缺少无高光图像也有不错的表现，能以少量性能为代价减轻对数据集的依赖，具有更广泛的应用价值。
综上可知，本发明提出的基于弱监督学习的图像镜面高光去除方法，通过联合训练高光生成、高光去除和重建模块，以循环生成对抗网络的架构完成高光去除，训练过程中后续模块的损失函数会反馈至前项模块，实现仅使用高光图像即可完成训练，并取得良好的去高光效果，相比传统算法以及现有的弱监督学习方法具有操作简单、去高光效果佳的优点。
注：文中提出的多项现有方法请参照如下解析：
Shi：2017年Shi等人应用一种基于编码器-解码器结构的网络模型来解决高光去除问题，在训练过程中，编码器对图像高光特征进行学习，然后再经过解码器消除，训练完成后的高光去除模型有着优秀的处理速度，能够应用于来自互联网的真实图像，甚至是视频影像。
Fu：Fu等人提出了一个用于联合高光检测和去除任务的多任务网络。为了消除合成的训练样本与真实的测试图像之间的差异性，Fu创建了一个包含上万张真实图像的数据集SHIQ。
Tan：东京大学的Tan等人最早提出非颜色分割的高光去除方法，该方法仅基于图像的色度信息，而不需要图像中的几何信息。其基本思想是迭代比较输入图像与漫反射图像之间的强度对数微分。他们的方法首先归一化图像的颜色信息，然后再求解色度与光照强度的映射关系，通过其中的最大漫反射色度值便可求解出反射系数和反射分量。该方法完全使用单幅图像进行处理，而且所有操作都是局部完成的，最多只涉及两个相邻像素之间的计算，所以也适用于表面有着复杂纹理的物体，但由于计算内容量大且复杂，所需处理时间较长。
Akashi：2014年Akashi等人利用稀疏非负矩阵分解(sparse non-negativematrix factorization,NMF)求解双色反射模型。该方法通过最优化求解非负矩阵，同时进行表面颜色估计和反射分量分离，并且与利用先验条件来提升反射分量分离效果的方法不同，其无需使用先验信息，不需要对众多的超参数进行调整，能够处理漫反射颜色接近照明颜色的情形。因此，适用范围更广，去除结果更准确，鲁棒性更强。
Yamamoto：Yamamoto等人在2019年提出了一种图像增强方法，用以提升现有的高光去除方法的准确性。该方法首先利用一个现有的高光去除方法获得图像中的漫反射和镜面反射分量，然后对这两类分量应用高加重滤波器。一般情况下，分离错误的像素点在经过高加重滤波器后响应值会变得更大，可以通过这种方法来检测分离错误的图像，然后利用目标像素和参考像素之间存在的相似性，使用别的参考像素替换分离错误的结果。
Yi：Yi等人提出了一种从人脸中提取镜面反射分量的深度神经网络模型，然后反向在原场景中跟踪这些镜面反射分量来获取环境信息。由于用于高光提取的真实训练数据非常有限，所以该方法先使用合成图像对网络进行预训练，然后再使用无监督策略对网络进行微调来处理真实数据与合成数据之间不匹配而导致的性能下降问题。与仅对合成图像使用监督学习相比，无监督学习策略可以显著改善高光去除效果。随后Yi等人进一步扩展了这项工作，提出了一种基于局部颜色分布的图像表示方法，该方法能够让网络在训练过程中降低对多视图图像局部失调现象的敏感度。然后再使用无监督学习方法，使用多视图数据集进行反射分量分离。
应当理解的是，本发明中采用术语“第一”、“第二”等来描述各种信息，但这些信息不应限于这些术语，这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，“第一”信息也可以被称为“第二”信息，类似的，“第二”信息也可以被称为“第一”信息。此外，术语“圆心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
如上所述是结合具体内容提供的一种或多种实施方式，并不认定本发明的具体实施只局限于这些说明。凡与本发明的方法、结构等近似、雷同，或是对于本发明构思前提下做出若干技术推演，或替换都应当视为本发明的保护。
Claims (10)
1.基于弱监督学习的图像镜面高光去除方法，其特征在于，包括如下步骤：
首先，利用稀疏非负矩阵分解图像的高光区域并从无高光区域裁剪出无高光图像作为训练数据；
接着，将所述训练数据输入到以端到端方式连接的三个分别执行高光生成、高光去除和图像重建任务的联合训练模块，并使用循环生成对抗网络架构训练网络并生成最终的无高光图像。
2.根据权利要求1所述的基于弱监督学习的图像镜面高光去除方法，其特征在于，所述利用稀疏非负矩阵分解图像的高光区域并从无高光区域裁剪出无高光图像作为训练数据，包括如下步骤：
首先，创建如下集合：
接着，将矩阵分解的内部维度设置为2，在维持l2范数不变的前提下，通过最小化l1范数求解ks(x)，得出原始图像对应的高光掩膜，利用所述高光掩膜裁剪出原高光图像，并将所述高光掩膜放入高光掩膜集，在所述高光掩膜集中随机选取一个与所述高光掩膜不重合的掩膜来获取原无高光图像；
式中，等式左边代表总像素数为n的原始图像，矩阵大小为3xn，等式右边左半部分的3x2矩阵代表漫反射和镜面反射在RGB通道上的固定参数，右半部分为包含漫反射和镜面反射系数的2xn矩阵。
3.根据权利要求2所述的基于弱监督学习的图像镜面高光去除方法，其特征在于，所述将训练数据输入到以端到端方式连接的三个分别执行高光生成、高光去除和图像重建任务的联合训练模块，并使用循环生成对抗网络架构训练网络并生成最终的无高光图像，包括如下步骤：
首先，高光生成模块将输入的所述原无高光图像转化为过渡高光图像，使用高光判别网络判断所述过渡高光图像的真假；
接着，高光去除模块输入所述过渡高光图像，并去除其高光部分得到对应的过渡无高光图像，使用高光去除判别网络判断所述过渡无高光图像的真假；
最后，重建模块输入原始图像、所述过渡无高光图像和所述高光掩膜的组合，使用像素损失函数得出最终的无高光图像。
4.根据权利要求3所述的基于弱监督学习的图像镜面高光去除方法，其特征在于，应用同一性损失函数优化所述过渡高光图像，同一性损失函数的数学表达式如下：
式中，G表示高光生成模块，E表示取期望，p表示数据分布，Ih表示原高光图像，‖G(Ih),Ih‖1表示l1范数。
5.根据权利要求3所述的基于弱监督学习的图像镜面高光去除方法，其特征在于，所述高光判别网络采用PatchGAN架构判断所述过渡高光图像中每个4X4区块的真假，最后所有计算结果取均值；
所述高光生成模块和所述高光判别网络基于PatchGAN的目标函数进行优化，目标函数的数学表达式如下：
式中，G表示高光生成模块，Dh表示高光判别网络，E表示取期望，p表示数据分布，If表示原无高光图像，Ih表示原高光图像，Ih～p(Ih)表示图像是从原高光图像数据分布中选出。
6.根据权利要求3所述的基于弱监督学习的图像镜面高光去除方法，其特征在于，应用循环一致性损失函数优化所述高光生成模块和所述高光去除模块，循环一致性损失函数的数学表达式如下：
式中，G表示高光生成模块，R表示高光去除模块，E表示取期望，p表示数据分布，If表示原无高光图像。
7.根据权利要求3所述的基于弱监督学习的图像镜面高光去除方法，其特征在于，应用对抗性损失函数优化所述高光去除模块与所述高光去除判别网络，对抗性损失函数的数学表达式如下：
式中，R表示高光去除模块，Df表示高光去除判别网络，E表示取期望，p表示数据分布，If表示原无高光图像，
表示过渡高光图像。
8.根据权利要求3所述的基于弱监督学习的图像镜面高光去除方法，其特征在于，所述重建模块的输入端包括RGB三通道和用于存储所述高光掩膜信息的高光掩膜通道,其数学表达式如下：
式中，I表示原始图像，
表示过渡无高光图像，If表示原无高光图像，M表示高光掩膜，⊕表示连接操作。
9.根据权利要求8所述的基于弱监督学习的图像镜面高光去除方法，其特征在于，像素损失函数的数学表达式如下：
式中，E表示取期望，p表示数据分布，C表示重建模块，R表示高光去除模块，G表示高光生成模块，I表示原始图像，If表示原无高光图像。
10.根据权利要求8所述的基于弱监督学习的图像镜面高光去除方法，其特征在于，所述重建模块还使用全局损失函数优化所述的最终无高光图像，全局损失函数的数学表达式如下：
式中，C表示重建模块，R表示高光去除模块，G表示高光生成模块，E表示取期望，p表示数据分布，
表示过渡无高光图像，Ψ为图像膨胀函数，M表示高光掩膜，I表示原始图像，n表示原始图像的像素数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210842928.9A CN115170427A (zh) | 2022-07-18 | 2022-07-18 | 基于弱监督学习的图像镜面高光去除方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210842928.9A CN115170427A (zh) | 2022-07-18 | 2022-07-18 | 基于弱监督学习的图像镜面高光去除方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115170427A true CN115170427A (zh) | 2022-10-11 |
Family
ID=83494704
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210842928.9A Pending CN115170427A (zh) | 2022-07-18 | 2022-07-18 | 基于弱监督学习的图像镜面高光去除方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115170427A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116883247A (zh) * | 2023-09-06 | 2023-10-13 | 感跃医疗科技(成都)有限公司 | 一种基于Cycle-GAN的未配对CBCT图像超分辨率生成算法 |
| CN117314911A (zh) * | 2023-11-29 | 2023-12-29 | 美迪信(天津)有限责任公司 | 一种优化眼部医学图像的方法、装置和存储介质 |
| CN117474921A (zh) * | 2023-12-27 | 2024-01-30 | 中国科学院长春光学精密机械与物理研究所 | 基于镜面高光去除的抗噪光场深度测量方法、系统及介质 |
-
2022
- 2022-07-18 CN CN202210842928.9A patent/CN115170427A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116883247A (zh) * | 2023-09-06 | 2023-10-13 | 感跃医疗科技(成都)有限公司 | 一种基于Cycle-GAN的未配对CBCT图像超分辨率生成算法 |
| CN116883247B (zh) * | 2023-09-06 | 2023-11-21 | 感跃医疗科技(成都)有限公司 | 一种基于Cycle-GAN的未配对CBCT图像超分辨率生成算法 |
| CN117314911A (zh) * | 2023-11-29 | 2023-12-29 | 美迪信(天津)有限责任公司 | 一种优化眼部医学图像的方法、装置和存储介质 |
| CN117314911B (zh) * | 2023-11-29 | 2024-03-01 | 美迪信(天津)有限责任公司 | 一种优化眼部医学图像的方法、装置和存储介质 |
| CN117474921A (zh) * | 2023-12-27 | 2024-01-30 | 中国科学院长春光学精密机械与物理研究所 | 基于镜面高光去除的抗噪光场深度测量方法、系统及介质 |
| CN117474921B (zh) * | 2023-12-27 | 2024-05-07 | 中国科学院长春光学精密机械与物理研究所 | 基于镜面高光去除的抗噪光场深度测量方法、系统及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110992275B (zh) | 一种基于生成对抗网络的细化单幅图像去雨方法 | |
| CN115170427A (zh) | 基于弱监督学习的图像镜面高光去除方法 | |
| CN111625608B (zh) | 一种基于gan模型根据遥感影像生成电子地图的方法、系统 | |
| CN110084108A (zh) | 基于gan神经网络的行人重识别系统及方法 | |
| CN112651978A (zh) | 舌下微循环图像分割方法和装置、电子设备、存储介质 | |
| CN108764250B (zh) | 一种运用卷积神经网络提取本质图像的方法 | |
| CN112365556B (zh) | 一种基于感知损失和风格损失的图像扩展方法 | |
| CN111145290A (zh) | 一种图像彩色化方法、系统和计算机可读存储介质 | |
| CN112991371B (zh) | 一种基于着色溢出约束的图像自动着色方法及系统 | |
| CN113256494B (zh) | 一种文本图像超分辨率方法 | |
| CN114038006A (zh) | 一种抠图网络训练方法及抠图方法 | |
| Wu et al. | FW-GAN: Underwater image enhancement using generative adversarial network with multi-scale fusion | |
| CN115908772A (zh) | 一种基于Transformer和融合注意力机制的目标检测方法及系统 | |
| CN112419185A (zh) | 基于光场迭代的精确高反光去除方法 | |
| CN115034959A (zh) | 一种基于跨通道融合空间注意力机制的高清图像翻译方法 | |
| CN116934592A (zh) | 一种基于深度学习的图像拼接方法、系统、设备及介质 | |
| CN115713469A (zh) | 基于通道注意力和形变生成对抗网络的水下图像增强方法 | |
| CN114581789A (zh) | 一种高光谱图像分类方法及系统 | |
| CN111539434B (zh) | 基于相似度的红外弱小目标检测方法 | |
| Jolly et al. | Bringing monochrome to life: A GAN-based approach to colorizing black and white images | |
| Conrad et al. | Two-stage seamless text erasing on real-world scene images | |
| CN117451716A (zh) | 一种工业产品表面缺陷检测方法 | |
| Di et al. | FDNet: An end-to-end fusion decomposition network for infrared and visible images | |
| CN115660979A (zh) | 一种基于注意力机制的双判别器图像修复方法 | |
| CN115272527A (zh) | 基于色盘对抗网络的图像上色方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |