CN117474921B - 基于镜面高光去除的抗噪光场深度测量方法、系统及介质 - Google Patents
基于镜面高光去除的抗噪光场深度测量方法、系统及介质 Download PDFInfo
- Publication number
- CN117474921B CN117474921B CN202311821221.0A CN202311821221A CN117474921B CN 117474921 B CN117474921 B CN 117474921B CN 202311821221 A CN202311821221 A CN 202311821221A CN 117474921 B CN117474921 B CN 117474921B
- Authority
- CN
- China
- Prior art keywords
- light field
- specular
- image
- highlight
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000691 measurement method Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 65
- 238000002156 mixing Methods 0.000 claims abstract description 18
- 238000000926 separation method Methods 0.000 claims abstract description 17
- 238000001914 filtration Methods 0.000 claims abstract description 12
- 230000008447 perception Effects 0.000 claims abstract description 11
- 230000006872 improvement Effects 0.000 claims abstract description 9
- 239000002131 composite material Substances 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000000295 complement effect Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 238000010008 shearing Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 6
- 230000007547 defect Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Geometry (AREA)
- Image Processing (AREA)
Abstract
本发明涉及光场成像的技术领域，具体提供一种基于镜面高光去除的抗噪光场深度测量方法、系统及介质，其中，基于镜面高光去除的抗噪光场深度测量方法包括：获取光场原始图像；对光场原始图像进行光场参数化；光场重聚焦图像；基于剪切光场获取每一个深度标签的中心视图；采用阈值法将镜面像素分类得到候选镜面反射分量，在候选镜面反射分量中进行二次分离得到漫反射分量；利用基于场景先验驱动和改进的泊松混合方法修正所述漫反射分量，得到高光恢复的中心视图；采用噪声感知策略滤除高光恢复的中心视图及初始深度图的噪声，获得重建的最终深度图。因此，本申请一方面提升了高光去除的运行效率；另一方面能最大限度地保留光场的细节信息。
Description
技术领域
本发明涉及光场成像的技术领域，具体提供一种基于镜面高光去除的抗噪光场深度测量方法、系统及介质。
背景技术
如何获得在自然光源下拍摄的无镜面图像一直是计算机视觉研究的热点。由于传统工业相机是单视图成像，动态范围有限，拍摄的图像容易出现过曝和局部高光现象，在视觉识别和缺陷检测中会导致表面信息的丢失。因此，高光去除已成为光学检测中非常重要和有价值的工作。
目前，现有技术的高光去除分为两类，包括多重曝光和单次曝光。多重曝光是利用多视点的互补信息进行多视点立体匹配得到的，存在着计算量大、采集系统复杂的缺点。而单次曝光方式的缺点是，对于已知光源或其他场景先验的假设并不通用，采用迭代的方式处理速度慢。
发明内容
本发明为解决上述问题，提供了一种基于镜面高光去除的抗噪光场深度测量方法、系统及介质，一方面提升了高光去除的运行效率；另一方面能最大限度地保留光场的细节信息。
本发明提供的一种基于镜面高光去除的抗噪光场深度测量方法，其包括：S1.获取光场原始图像；
S2.对所述光场原始图像进行光场参数化，/>为角坐标，/>为空间坐标，输入光场/>中的每个镜面像素并基于候选深度标签/>重新映射到剪切光场/>；
S3.基于所述剪切光场获取每一个深度标签的中心视图/>，其中：
（1）
S4.基于公式（1），采用阈值法将预检测到的所述镜面像素分类得到候选镜面反射分量，在所述候选镜面反射分量中进行二次分离得到漫反射分量；
S5.利用基于场景先验驱动和改进的泊松混合方法修正所述漫反射分量，得到高光恢复的中心视图；
S6.采用多方向部分角度相干性的方法得到所述光场原始图像的初始深度图，采用噪声感知策略滤除所述高光恢复的中心视图及所述初始深度图的噪声，获得重建的最终深度图。
优选的，所述S2的映射过程具体包括：
（2）。
优选的，所述S4的基于公式（1），采用阈值法将预检测到的镜面像素分类得到候选镜面反射分量中，包括：
公式（1）中的光场中心视图的高反射表面包含漫反射和镜面反射，通过二色反射模型定义为：
（3）
其中，表示漫反射图像，/>表示镜面反射图像；
通过所述中心视图减去每个像素的最小值来生成的无镜面图像，像素/>处的公式如下：
（4）
其中，，/>表示无镜面图像；
根据公式(3)及公式(4)，所述无镜面图像和所述漫反射图像的关系式如下：
（5）
其中，是像素/>的偏移量；
基于所述无镜面图像引入偏移量得到修正无镜面图像：
（6）
其中，表示修正无镜面图像；
对应/>通道的响应，/>第/>个通道的色度计算如下：
（7）
是根据能区分高光的像素阈值确定，令/>表示所述像素阈值，其计算如下：
（8）
（9）
其中和/>是所有像素/>的平均值和标准差；/>是与图像的镜面反射程度有关；若一像素对应的所述最小/>值小于/>，则所述像素为漫反射像素；否则，所述像素为候选镜面反射分量。
优选的，所述S4的在所述候选镜面反射分量中进行二次分离得到漫反射分量中，包括：
预设与/>相似，则/>，根据公式(4)和(7)可得以下关系：
（10）
（11）
由于与恒定阈值/>有关；
实际镜面反射分量；
其中，是像素/>处的镜面反射比例，使获得的所述漫反射分量在整个图像上平滑、自然，像素/>的漫反射分量计算为：
（12）
根据公式（11)及公式(12）确定最大的高光区域并将其标记为主区域，将所述主区域扩大个像素来获得其周围区域；
在平滑颜色过渡的标准下将所述主区域和所述周围区域的平均漫反射颜色设置为相等：
（13）
其中和/>分别是第/>个通道的主区域和周围区域的平均强度，/>和/>分别是主区域和周围区域的平均镜面反射分量；当考虑/>三个通道时，通过最小二乘法计算/>值，进而根据公式(12)得到中心视图的漫反射分量/>。
优选的，所述S5包括：
预设所述中心视图作为目标图像/>，漫反射分量/>作为第一原图像，场景先验掩码（Mask）为手动分割的高光区域；
将目所述标图像中由所述场景先验掩码的补码与第一原图像/>的像素混合创建合成图像/>；
预设所述图像为第二原图像，将所述目标图像/>及使用未反转掩模执行泊松混合，以生成图像/>；
通过泊松混合将所述图像和所述图像/>合成图像/>；
所述图像为所述高光恢复的中心视图。
优选的，所述S6中的噪声感知策略包括edge-preserving filter(EPF)、graphcut(GC)、weighted median filtering(WMT)和noise-aware filter(NAF)策略中的两种或两种以上。
一种基于镜面高光去除的抗噪光场深度测量系统，其包括：第一获取模块：用于获取光场原始图像；
映射模块：用于对所述光场原始图像进行光场参数化，/>为角坐标，/>为空间坐标，输入光场/>中的每个像素并基于候选深度标签/>重新映射到剪切光场/>；
第二获取模块：用于基于所述剪切光场获取每一个深度标签的中心视图，其中：
（1）
分离模块：用于基于公式（1），采用阈值法将预检测到的镜面像素分类得到候选镜面反射分量，在所述候选镜面反射分量中进行二次分离得到漫反射分量；
修正模块：用于利用基于场景先验驱动和改进的泊松混合方法修正所述漫反射分量，得到高光恢复的中心视图；
重建模块：用于采用多方向部分角度相干性的方法得到场景的初始深度图，采用噪声感知策略滤除所述高光恢复的中心视图及所述初始深度图的噪声，获得重建的最终深度图。
一种计算机可读存储介质，其包括，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如所述的基于镜面高光去除的抗噪光场深度测量方法的步骤。
与现有技术相比，本发明能够取得如下有益效果：
基于镜面高光去除的抗噪光场深度测量方法、系统及介质，其中，基于镜面高光去除的抗噪光场深度测量方法包括：S1.获取光场原始图像；S2.对所述光场原始图像进行光场参数化，/>为角坐标，/>为空间坐标，输入光场/>中的每个镜面像素并基于候选深度标签/>重新映射到剪切光场/>；S3.基于所述剪切光场获取每一个深度标签/>的中心视图/>，其中：/>；S4.基于上述公式，采用阈值法将预检测到的所述镜面像素分类得到候选镜面反射分量，在所述候选镜面反射分量中进行二次分离得到漫反射分量；S5.利用基于场景先验驱动和改进的泊松混合方法修正所述漫反射分量，得到高光恢复的中心视图；S6.采用多方向部分角度相干性的方法得到所述光场原始图像的初始深度图，采用噪声感知策略滤除所述高光恢复的中心视图及所述初始深度图的噪声，获得重建的最终深度图。因此，本申请的基于镜面高光去除的抗噪光场深度测量方法一方面提升了高光去除的运行效率；另一方面能最大限度地保留光场的细节信息。
附图说明
图1是根据本发明实施例1提供的基于镜面高光去除的抗噪光场深度测量方法的流程图；
图2是根据本发明实施例1提供的光场参数化示例图；
图3是根据本发明实施例1提供的修正漫反射分量的流程图；
图4是根据本发明实施例2提供的基于镜面高光去除的抗噪光场深度测量系统。
其中的附图标记包括：
100-基于镜面高光去除的抗噪光场深度测量系统；10-第一获取模块；20-映射模块；30-第二获取模块；40-分离模块；50-修正模块；60-重建模块。
具体实施方式
在下文中，将参考附图描述本发明的实施例。在下面的描述中，相同的模块使用相同的附图标记表示。在相同的附图标记的情况下，它们的名称和功能也相同。因此，将不重复其详细描述。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。
实施例1
一种基于镜面高光去除的抗噪光场深度测量方法，其包括：
S1.获取光场原始图像；
S2.对所述光场原始图像进行光场参数化，/>为角坐标，/>为空间坐标，输入光场/>中的每个镜面像素并基于候选深度标签/>重新映射到剪切光场/>；
S3.基于所述剪切光场获取每一个深度标签的中心视图/>其中：
（1）
上述，需要进一步说明的是，根据光场的中心视图的特性可知，当角度坐标时，中心视图的偏移量在重聚焦过程中不随/>的变化而变化，永远保持为0。换言之，不管物点的深度如何，所有角度域图像的中心像素均来自于目标物点。
S4.基于公式（1），采用阈值法将预检测到的所述镜面像素分类得到候选镜面反射分量，在所述候选镜面反射分量中进行二次分离得到漫反射分量；
S5.利用基于场景先验驱动和改进的泊松混合方法修正所述漫反射分量，得到高光恢复的中心视图；
S6.采用多方向部分角度相干性的方法得到所述光场原始图像的初始深度图，采用噪声感知策略滤除所述高光恢复的中心视图及所述初始深度图的噪声，获得重建的最终深度图。
上述，如图1所示，本实施例的基于镜面高光去除的抗噪光场深度测量方法，首先在获取光场原始图像后，对获取到的光场原始图像进行光场重聚焦图像（即光场参数化后，输入光场中的每个镜面像素并基于候选深度标签/>重新映射到剪切光场）；随后，基于剪切光场获取每一个深度标签/>的中心视图；在二色反射模型的基础上，采用阈值法将预检测到的镜面像素分类得到候选的镜面反射分量，在候选的镜面反射分量中进行二次分离得到漫反射分量；
接着，利用基于场景先验驱动和改进的泊松混合方法来修正漫反射分量，得到高光恢复的中心视图。
采用多方向部分角度相干性的方法得到场景的初始深度图，最后采用噪声感知策略滤除高光恢复的中心视图及初始深度图的噪声，获得重建的最终深度图。
因此，本实施例的光场相机只需一次曝光即可获取多视角图像序列，相较于迭代的处理方式能大幅提升运行效率，突破了传统多次和单次曝光的瓶颈，去除镜面高光使三维重建获得更好的成像质量。传统的二色反射去除高光方法会引入黑色色块和背景颜色扭曲等视觉瑕疵，本实施例采用场景先验驱动和改进的泊松混合方法来修正这些视觉瑕疵，并且利用噪声感知优化策略去除光场（即高光恢复的中心视图及初始深度图）的场景噪声，能最大限度地保留光场的细节信息。
优选的，如图2所示，所述S2的映射过程具体包括：
（2）。
优选的，所述S4的基于公式（1），采用阈值法将预检测到的镜面像素分类得到候选镜面反射分量中，包括：
公式（1）中的光场中心视图的高反射表面包含漫反射和镜面反射，通过二色反射模型（Dichromatic Reflection Model，DRM）定义为：
（3）
其中，表示漫反射图像，/>表示镜面反射图像；
上述，是指使用基于二色反射模型的阈值分割获得候选镜面反射分量。值得说明的是，假设彩色相机以线性方式运行。
通过所述中心视图减去每个像素的最小值来生成的无镜面图像，像素/>处的公式如下：
（4）
其中，，/>表示无镜面图像；
上述，无镜面(Specular-Free，SF)图像的概念是指不包含镜面反射分量的图像。本发明通过减去每个像素的最小值来生成无镜面图像（SF）。
根据公式(3)及公式(4)，所述无镜面图像和所述漫反射图像的关系式如下：
（5）
其中，是像素/>的偏移量；
上述，偏移量的准确值在成分分离之前是未知的，但是与/>相关。可以理解的是，由公式（3）可知，/>。又由于公式（4）可知，/>，因为公式（3）中的/>与公式（4）中的/>是相等的，只是由于推导关系不同所以表达方式不同。因此，结合公式（3）和公式（4），/>，简化公式后，得到/>。在此处，/>，表示像素/>处的最小/>值减去像素/>处的镜面反射图像，得到像素/>的偏移量，即/>。
目前得到的色会比原始图像更暗，为了使无镜面图像和漫反射图像更接近，引入偏移量/>得到修正无镜面图像（Modified Specular-Free，MSF）：
基于所述无镜面图像引入偏移量得到修正无镜面图像：
（6）
其中，表示修正无镜面图像；
上述，偏移量并非一个常数，而是与像素相关。
对应/>通道的响应，/>第/>个通道的色度计算如下：
（7）
是根据能区分高光的像素阈值确定，令/>表示所述像素阈值，其计算如下：
（8）
（9）
其中和/>是所有像素/>的平均值和标准差；/>是与图像的镜面反射程度有关；若一像素对应的所述最小/>值小于/>，则所述像素为漫反射像素；否则，所述像素为候选镜面反射分量。
可以理解的是，候选镜面反射分量是具有相对较大值的像素，但是其中一些可能不包含镜面反射。在下面的计算中，将确定每个候选镜面反射分量的镜面合成。
优选的，所述S4的在所述候选镜面反射分量中进行二次分离得到漫反射分量中，包括：
预设与/>相似，则/>，根据公式(4)和(7)可得以下关系：
（10）
（11）
由于与恒定阈值/>有关；
实际镜面反射分量；
其中，是像素/>处的镜面反射比例，使获得的所述漫反射分量在整个图像上平滑、自然，像素/>的漫反射分量计算为：
（12）
上述，由于与恒定阈值/>有关，/>应该与上述镜面反射分量类似，但并不相同。更具体地说，镜面反射分量实际上/>。/>是像素/>处的镜面反射比例，能使获得的漫反射分量在整个图像上平滑、自然。
根据公式（11)及公式(12）确定最大的高光区域并将其标记为主区域，将所述主区域扩大个像素来获得其周围区域；
在平滑颜色过渡的标准下将所述主区域和所述周围区域的平均漫反射颜色设置为相等：
（13）
其中和/>分别是第/>个通道的主区域和周围区域的平均强度，/>和/>分别是主区域和周围区域的平均镜面反射分量；当考虑/>三个通道时，通过最小二乘法计算/>值，进而根据公式(12)得到中心视图的漫反射分量/>。
由于获得的可能存在黑色色块和背景颜色扭曲等视觉瑕疵，需要进一步修正这些缺陷。如图3所示，利用场景先验驱动和改进的泊松混合方法来修正漫反射分量。
优选的，所述S5包括：
预设所述中心视图作为目标图像/>，漫反射分量/>作为第一原图像，场景先验掩码（Mask）为手动分割的高光区域；
将所述目标图像中由所述场景先验掩码的补码与第一原图像/>的像素混合创建合成图像/>；
预设为第二原图像，将所述目标图像/>及使用未反转掩模执行泊松混合，以生成图像/>；
上述，在合成图像的边界上插值像素，执行以下函数最小化：
（14）
对于所有，/>，其中/>是目标图像/>的标量函数，/>是图像/>的散度，由以下最小化问题给出：
（15）
对于所有，/>，其中/>是图像/>的标量函数，/>是目标图像/>的散度，第一原图像/>中像素的强度由标量函数/>表示，并且/>是给定二进制掩码指定的未知区域的倒数。
为了最小化方程(14)，使用以下方程：
（16）
而为了最小化方程(15)，使用以下方程：
（17）
因此，合成图像中每个像素的强度由以下方程确定：
（18）
（19）
其中是当前像素的四连接域。
使用高斯消去法求解这些方程给出图像的未知区域/>中的像素的强度。等式(18)中使用图像/>标量函数的拉普拉斯算子来求出合成图像/>在未知区域/>内的强度。
如方程(18)和(19)所示，使用和/>的平衡依赖关系，分别表示第二原图像/>和目标图像/>中边界像素的强度。目标图像/>和第二原图像/>的边界像素的使用减少了合成图像/>中出现的伪影。
通过泊松混合将和/>合成图像/>；
为了解决渗色问题，使用生成的图像和/>来防止合成图像/>中源图像颜色被目标图像颜色支配。使用由以下等式给出的泊松混合步骤：
（20）
其中是通过以下等式从目标图像/>和合成图像/>生成的二值掩模：
（21）
其中是目标图像/>的强度，/>是合成图像/>的强度，/>是差异图像/>的强度。确定由以下等式给出的过滤过程的二进制掩码：
（22）
其中是通过使用中值切割算法对差异图像/>中的颜色进行量化而生成的，/>是通过实验确定的预定义阈值。/>中不需要的空洞通过形态学运算来填充，然后使用平均核来创建新的掩码/>：
（23）
其中是对称结构元素，是闭运算。其中/>是卷积过程中使用的/>算术平均核。最终的alpha掩模/>是通过大小为/>且标准差为/>的对称高斯低通滤波器创建的，如下所示：
（24）
（25）
由此，得到中心视图修正后的漫反射分量。
所述图像为所述高光恢复的中心视图。
优选的，所述S6中的噪声感知策略包括edge-preserving filter(EPF，保边滤波器)、graph cut(GC，图形切割)、weighted median filtering(WMT，加权中值滤波)和noise-aware filter(NAF，噪声滤波器)，采用上述两种或两种以上策略滤除所述高光恢复的中心视图及所述初始深度图的噪声，以获得重建的最终深度图。
需要进一步说明的是，采用多方向部分角度相干性的方法得到所述光场原始图像的初始深度图为现有技术，在此不再赘述。
实施例2
一种基于镜面高光去除的抗噪光场深度测量系统，如图4所示，其包括：
第一获取模块10：用于获取光场原始图像；
映射模块20：用于对所述光场原始图像进行光场参数化，/>为角坐标，/>为空间坐标，输入光场/>中的每个像素并基于候选深度标签/>重新映射到剪切光场/>；
第二获取模块30：用于基于所述剪切光场获取每一个深度标签的中心视图，其中：
（1）
分离模块40：用于基于公式（1），采用阈值法将预检测到的镜面像素分类得到候选镜面反射分量，在所述候选镜面反射分量中进行二次分离得到漫反射分量；
修正模块50：用于利用基于场景先验驱动和改进的泊松混合方法修正所述漫反射分量，得到高光恢复的中心视图；
重建模块60：用于采用多方向部分角度相干性的方法得到场景的初始深度图，采用噪声感知策略滤除所述高光恢复的中心视图及所述初始深度图的噪声，获得重建的最终深度图。
实施例3
一种计算机可读存储介质，其包括，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现所述的基于镜面高光去除的抗噪光场深度测量方法的步骤。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制。本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
以上本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。
Claims (8)
1.一种基于镜面高光去除的抗噪光场深度测量方法，其特征在于，包括：
S1.获取光场原始图像；
S2.对所述光场原始图像进行光场参数化，/>为角坐标，/>为空间坐标，输入光场/>中的每个镜面像素并基于候选深度标签/>重新映射到剪切光场/>；
S3.基于所述剪切光场获取每一个深度标签的中心视图/>，其中：
（1）
S4.基于公式（1），采用阈值法将预检测到的所述镜面像素分类得到候选镜面反射分量，在所述候选镜面反射分量中进行二次分离得到漫反射分量；
S5.利用基于场景先验驱动和改进的泊松混合方法修正所述漫反射分量，得到高光恢复的中心视图；
S6.采用多方向部分角度相干性的方法得到所述光场原始图像的初始深度图，采用噪声感知策略滤除所述高光恢复的中心视图及所述初始深度图的噪声，获得重建的最终深度图。
2.如权利要求1所述的基于镜面高光去除的抗噪光场深度测量方法，其特征在于，所述S2的映射过程具体包括：
（2）。
3.如权利要求2所述的基于镜面高光去除的抗噪光场深度测量方法，其特征在于，所述S4的基于公式（1），采用阈值法将预检测到的镜面像素分类得到候选镜面反射分量中，包括：
公式（1）中的光场中心视图的高反射表面包含漫反射和镜面反射，通过二色反射模型定义为：
（3）
其中，表示漫反射图像，/>表示镜面反射图像；
通过所述中心视图减去每个像素的最小值来生成无镜面图像，像素/>处的/>公式如下：
（4）
其中，，/>表示无镜面图像；
根据公式(3)及公式(4)，所述无镜面图像和所述漫反射图像的关系式如下：
（5）
其中，是像素/>的偏移量；
基于所述无镜面图像引入偏移量得到修正无镜面图像：
（6）
其中，表示修正无镜面图像；
对应/>通道的响应，/>第/>个通道的色度计算如下：
（7）
是根据能区分高光的像素阈值确定，令/>表示所述像素阈值，其计算如下：
（8）
（9）
其中和/>是所有像素/>的平均值和标准差；/>是与图像的镜面反射程度有关；若一像素对应的所述最小/>值小于/>，则所述像素为漫反射像素；否则，所述像素为候选镜面反射分量。
4.如权利要求3所述的基于镜面高光去除的抗噪光场深度测量方法，其特征在于，所述S4的在所述候选镜面反射分量中进行二次分离得到漫反射分量中，包括：
预设与/>相似，则/>，根据公式(4)和(7)可得以下关系：
（10）
（11）
由于与恒定阈值/>有关；
实际镜面反射分量；
其中，是像素/>处的镜面反射比例，使获得的所述漫反射分量在整个图像上平滑、自然，像素/>的漫反射分量计算为：
（12）
根据公式（11)及公式(12）确定最大的高光区域并将其标记为主区域，将所述主区域扩大个像素来获得其周围区域；
在平滑颜色过渡的标准下将所述主区域和所述周围区域的平均漫反射颜色设置为相等：
（13）
其中和/>分别是第/>个通道的主区域和周围区域的平均强度，/>和分别是主区域和周围区域的平均镜面反射分量；当考虑/>三个通道时，通过最小二乘法计算/>值，进而根据公式(12)得到中心视图的漫反射分量/>。
5.如权利要求4所述的基于镜面高光去除的抗噪光场深度测量方法，其特征在于，所述S5包括：
预设所述中心视图作为目标图像/>，漫反射分量/>作为第一原图像/>，场景先验掩码为手动分割的高光区域；
将所述目标图像中由所述场景先验掩码的补码与第一原图像/>的像素混合创建合成图像/>；
预设所述图像为第二原图像，将所述目标图像/>及使用未反转掩模执行泊松混合，以生成图像/>；
通过泊松混合将所述图像和所述图像/>合成图像/>；
所述图像为所述高光恢复的中心视图。
6.如权利要求5所述的基于镜面高光去除的抗噪光场深度测量方法，其特征在于，所述S6中的噪声感知策略包括保边滤波器、图形切割、加权中值滤波和噪声滤波器策略中的两种或两种以上。
7.一种基于镜面高光去除的抗噪光场深度测量系统，其特征在于，包括：第一获取模块：用于获取光场原始图像；
映射模块：用于对所述光场原始图像进行光场参数化，/>为角坐标，为空间坐标，输入光场/>中的每个像素并基于候选深度标签/>重新映射到剪切光场/>；
第二获取模块：用于基于所述剪切光场获取每一个深度标签的中心视图/>，其中：
（1）
分离模块：用于基于公式（1），采用阈值法将预检测到的镜面像素分类得到候选镜面反射分量，在所述候选镜面反射分量中进行二次分离得到漫反射分量；
修正模块：用于利用基于场景先验驱动和改进的泊松混合方法修正所述漫反射分量，得到高光恢复的中心视图；
重建模块：用于采用多方向部分角度相干性的方法得到场景的初始深度图，采用噪声感知策略滤除所述高光恢复的中心视图及所述初始深度图的噪声，获得重建的最终深度图。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的基于镜面高光去除的抗噪光场深度测量方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311821221.0A CN117474921B (zh) | 2023-12-27 | 2023-12-27 | 基于镜面高光去除的抗噪光场深度测量方法、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311821221.0A CN117474921B (zh) | 2023-12-27 | 2023-12-27 | 基于镜面高光去除的抗噪光场深度测量方法、系统及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117474921A CN117474921A (zh) | 2024-01-30 |
| CN117474921B true CN117474921B (zh) | 2024-05-07 |
Family
ID=89640062
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311821221.0A Active CN117474921B (zh) | 2023-12-27 | 2023-12-27 | 基于镜面高光去除的抗噪光场深度测量方法、系统及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117474921B (zh) |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105023249A (zh) * | 2015-06-26 | 2015-11-04 | 清华大学深圳研究生院 | 基于光场的高光图像修复方法及装置 |
| CN107103589A (zh) * | 2017-03-21 | 2017-08-29 | 深圳市未来媒体技术研究院 | 一种基于光场图像的高光区域修复方法 |
| CN107977511A (zh) * | 2017-11-30 | 2018-05-01 | 浙江传媒学院 | 一种基于深度学习的工业品外观材质高保真实时仿真算法 |
| CN111080686A (zh) * | 2019-12-16 | 2020-04-28 | 中国科学技术大学 | 用于自然场景中图像高光去除的方法 |
| CN112419185A (zh) * | 2020-11-20 | 2021-02-26 | 湖北工业大学 | 基于光场迭代的精确高反光去除方法 |
| CN112712483A (zh) * | 2021-01-14 | 2021-04-27 | 湖北工业大学 | 一种基于光场双色反射模型和全变分的高反光去除方法 |
| CN113096057A (zh) * | 2021-04-13 | 2021-07-09 | 南京大学 | 一种基于四光源光度立体法的高光消除方法 |
| CN113763528A (zh) * | 2021-09-24 | 2021-12-07 | 王彬 | 单张图像的逼真动态光照变化合成方法 |
| CN113793274A (zh) * | 2021-08-26 | 2021-12-14 | 中国科学院沈阳自动化研究所 | 一种基于色调的高光图像恢复方法 |
| CN114677295A (zh) * | 2022-03-11 | 2022-06-28 | 新疆大学 | 一种现实场景镜面高光图像增强方法、装置及存储介质 |
| CN115170427A (zh) * | 2022-07-18 | 2022-10-11 | 中山火炬职业技术学院 | 基于弱监督学习的图像镜面高光去除方法 |
| CN116977595A (zh) * | 2023-06-30 | 2023-10-31 | 北京邮电大学 | 一种基于法线优化的文物三维重建方法 |
| CN117132503A (zh) * | 2023-09-26 | 2023-11-28 | 武昌理工学院 | 一种图像局部高亮区域修复方法、系统、设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9299188B2 (en) * | 2013-08-08 | 2016-03-29 | Adobe Systems Incorporated | Automatic geometry and lighting inference for realistic image editing |
-
2023
- 2023-12-27 CN CN202311821221.0A patent/CN117474921B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105023249A (zh) * | 2015-06-26 | 2015-11-04 | 清华大学深圳研究生院 | 基于光场的高光图像修复方法及装置 |
| CN107103589A (zh) * | 2017-03-21 | 2017-08-29 | 深圳市未来媒体技术研究院 | 一种基于光场图像的高光区域修复方法 |
| WO2018171008A1 (zh) * | 2017-03-21 | 2018-09-27 | 深圳市未来媒体技术研究院 | 一种基于光场图像的高光区域修复方法 |
| CN107977511A (zh) * | 2017-11-30 | 2018-05-01 | 浙江传媒学院 | 一种基于深度学习的工业品外观材质高保真实时仿真算法 |
| CN111080686A (zh) * | 2019-12-16 | 2020-04-28 | 中国科学技术大学 | 用于自然场景中图像高光去除的方法 |
| CN112419185A (zh) * | 2020-11-20 | 2021-02-26 | 湖北工业大学 | 基于光场迭代的精确高反光去除方法 |
| CN112712483A (zh) * | 2021-01-14 | 2021-04-27 | 湖北工业大学 | 一种基于光场双色反射模型和全变分的高反光去除方法 |
| CN113096057A (zh) * | 2021-04-13 | 2021-07-09 | 南京大学 | 一种基于四光源光度立体法的高光消除方法 |
| CN113793274A (zh) * | 2021-08-26 | 2021-12-14 | 中国科学院沈阳自动化研究所 | 一种基于色调的高光图像恢复方法 |
| CN113763528A (zh) * | 2021-09-24 | 2021-12-07 | 王彬 | 单张图像的逼真动态光照变化合成方法 |
| CN114677295A (zh) * | 2022-03-11 | 2022-06-28 | 新疆大学 | 一种现实场景镜面高光图像增强方法、装置及存储介质 |
| CN115170427A (zh) * | 2022-07-18 | 2022-10-11 | 中山火炬职业技术学院 | 基于弱监督学习的图像镜面高光去除方法 |
| CN116977595A (zh) * | 2023-06-30 | 2023-10-31 | 北京邮电大学 | 一种基于法线优化的文物三维重建方法 |
| CN117132503A (zh) * | 2023-09-26 | 2023-11-28 | 武昌理工学院 | 一种图像局部高亮区域修复方法、系统、设备及存储介质 |
Non-Patent Citations (7)
| Title |
|---|
| Efficient and Robust Specular Highlight Removal;Qingxiong Yang 等;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20150630;第37卷(第6期);全文 * |
| Fast and High Quality Highlight Removal from A Single Image;Dongsheng An 等;《arXiv》;20151201;全文 * |
| 一种基于弱监督学习的图像镜面高光去除算法;郑元丰 等;《信号处理》;20230630;第39卷(第6期);全文 * |
| 光场深度估计方法的对比研究;高隽;王丽娟;张旭东;张骏;;模式识别与人工智能;20160915(09);全文 * |
| 空间约束聚类分析的零部件图像镜面高光去除方法;程升勋 等;《电子测量与仪器学报》;20220630;第36卷(第6期);全文 * |
| 自然场景下镜面高光检测与消除研究;付刚;《中国博士学位论文全文数据库 基础科学辑》;20220715(第7期);全文 * |
| 遥感图像中飞机的改进YOLOv3 实时检测算法;戴伟聪 等;《光电工程》;20181231;第45卷(第12期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117474921A (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Emberton et al. | Underwater image and video dehazing with pure haze region segmentation | |
| Xu et al. | Shadow removal from a single image | |
| Aslantas et al. | A pixel based multi-focus image fusion method | |
| JP6355346B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び記憶媒体 | |
| Peng et al. | Image haze removal using airlight white correction, local light filter, and aerial perspective prior | |
| JP4323097B2 (ja) | サンプルイメージ中のエラーを検出する方法およびシステム | |
| JP7489240B2 (ja) | 自動表面評価のためのシステム及び方法 | |
| JP2002503840A (ja) | 勾配ベースの局部輪郭線検出のための新しい知覚的しきい値決定 | |
| CN107316047A (zh) | 图像处理装置、图像处理方法以及存储介质 | |
| KR20150031241A (ko) | 이미지의 색 조화를 위한 장치 및 방법 | |
| CN113096057B (zh) | 一种基于四光源光度立体法的高光消除方法 | |
| EP2889833A1 (en) | Method and apparatus for image quality assessment | |
| CN103942756B (zh) | 一种深度图后处理滤波的方法 | |
| CN111489322A (zh) | 给静态图片加天空滤镜的方法及装置 | |
| JP2017085570A (ja) | 画像補正方法及び画像補正装置 | |
| CN117474921B (zh) | 基于镜面高光去除的抗噪光场深度测量方法、系统及介质 | |
| Srikakulapu et al. | Depth estimation from single image using defocus and texture cues | |
| JP5203159B2 (ja) | 画像処理方法、画像処理システムおよび画像処理プログラム | |
| Negru et al. | Exponential image enhancement in daytime fog conditions | |
| Wang et al. | Fast visibility restoration using a single degradation image in scattering media | |
| JP2007243987A (ja) | 画像処理方法、画像処理システムおよび画像処理プログラム | |
| CN114820340A (zh) | 基于图像处理的唇纹去除方法、系统、设备及存储介质 | |
| CN104346599B (zh) | 一种色彩边缘的检测方法及图像处理设备 | |
| CN113505622A (zh) | 一种自动识别多条码与led灯的测试系统及方法 | |
| CN113160297A (zh) | 图像深度估计方法和装置、电子设备、计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |