CN116109520A - 一种基于光线追踪算法的深度图像优化方法 - Google Patents
一种基于光线追踪算法的深度图像优化方法 Download PDFInfo
- Publication number
- CN116109520A CN116109520A CN202310357532.XA CN202310357532A CN116109520A CN 116109520 A CN116109520 A CN 116109520A CN 202310357532 A CN202310357532 A CN 202310357532A CN 116109520 A CN116109520 A CN 116109520A
- Authority
- CN
- China
- Prior art keywords
- depth image
- depth
- image
- initial
- path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000005457 optimization Methods 0.000 title claims abstract description 37
- 238000005286 illumination Methods 0.000 claims abstract description 40
- 238000002310 reflectometry Methods 0.000 claims abstract description 25
- 239000000872 buffer Substances 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 27
- 239000013598 vector Substances 0.000 claims description 24
- 238000005070 sampling Methods 0.000 claims description 19
- 238000001914 filtration Methods 0.000 claims description 14
- 230000000694 effects Effects 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 5
- 238000009877 rendering Methods 0.000 claims description 5
- 230000002146 bilateral effect Effects 0.000 claims description 4
- 230000000295 complement effect Effects 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 4
- 239000000203 mixture Substances 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000005855 radiation Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000035945 sensitivity Effects 0.000 claims description 3
- 230000002776 aggregation Effects 0.000 claims description 2
- 238000004220 aggregation Methods 0.000 claims description 2
- 230000007547 defect Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 abstract description 2
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 230000000007 visual effect Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Generation (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于光线追踪算法的深度图像优化方法，利用光线追踪算法搭建路径追踪器处理深度图像和彩色图像，从而获得几何属性；对深度图像进行预处理，再从深度样本中采集纹理及物体表面的光照反射率等信息，利用颜色缓冲区信息和彩色图像间的差获取光照参数，并用其与光照反射率等信息对法向场进行优化，对优化后的图像中未平复的噪声进行抗锯齿、反走样等操作完成对深度图像的深度优化，从而获得高质量的深度图像，加强深度图像边缘细节的细腻程度，有效解决了其他同类算法所存在的缺点，视觉效果提升显著，极大提升了对深度图像的优化效率。
Description
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于光线追踪算法的深度图像优化方法。
背景技术
深度估计(Depth Estimation)是一种计算机视觉任务，旨在从2D图像估计深度，在3D重建和语义分割等领域中，深度估计都起到了重要作用，利用光场相机等手段可获得彩色图像和初始深度图像，但由于周边环境因素影响，获得的深度图像会存在遮挡、光照角度的欠采样、边缘信息不清晰等问题，所以往往需要对深度图像进行进一步的优化。
在现有技术中，有多种针对深度图像的优化方法，比如基于极线图（EpipolarImage，EPI）对深度图像优化，该方法将问题转化为求解直线斜率问题，对噪声和空洞的处理效果比较好，但是存在效率太慢和时间复杂度高的缺点。
基于焦点堆栈的深度图像优化，该方法是基于光场重聚焦技术而衍生的，经过该方法处理后的噪音、遮挡以及边缘细节等方面性能优异，但是在一些低频区域的处理上效果较差。
使用对抗学习对深度图像进行优化，主要用于像素缺失的情况下，例如使用双边滤波进行深度图像进行优化，该方法由于无法对权重进行有效估计，而导致填充效果较差。
基于深度学习对深度图像进行优化，对无纹理区域进行处理，克服预测误差，建造光场字典进行深度估计，以及使用卷积神经网络进行深度图像的处理等等一系列深度学习的方法，但该方法具有数据集缺乏而导致训练效果不好的缺点。
发明内容
为了解决以上技术问题，本发明提供一种基于光线追踪算法的深度图像优化方法，包括以下步骤
S1、采集拍摄物体的初始深度图像和初始光场彩色图像；
S2、根据初始光场彩色图像的完整边缘信息，预处理初始深度图像，优化初始深度图像的边缘信息；
S3、根据优化后的深度图像和光场彩色图像搭建路径跟踪器，通过滤波器获得几何属性；
S4、通过路径跟踪器采集纹理信息并计算拍摄物体表面的光照反射率；
S5、对路径跟踪器中颜色缓冲区的信息进行深度分类，并通过计算颜色缓冲区信息与光场彩色图像的差值获取光照参数；
使用光栅化G缓冲器对表面反照率进行解调,过滤后重新组合直接光和间接光的初级反照率，应用色调映射；
使用颜色亮度的第一原始矩和第二原始矩
μ1i和
μ2i估计每个像素的亮度方差，判断相邻像素点之间的颜色差异是否达到阈值，按照阈值大小划分出每个表面的不同反射率区域，对不同反射率区域设置不同的记号，完成深度分类；
通过计算颜色缓冲区信息和光场彩色图像间的差值，得到光照参数，
其中，为所求的光照参数，和为光场彩色图像大小，为彩色图像像素值，为光照辐射值，为反射率，为球面谐波系数，为球谐基函数，为法线；
S6、优化深度图像法向场，将法向量和深度信息相结合，运用线性最小二乘法进行优化，消除深度图像噪声；
S7、处理优化后深度图像中未平复的噪声；
S8、获得高精度的深度图像。
本发明进一步限定的技术方案是：
进一步的，步骤S2中，对初始深度图像进行预处理包括以下步骤
S2.1、根据初始光场彩色图像的完整信息，补全初始深度图像，将初始光场彩色图像进行灰度化，计算彩色图像的灰度变化率，
其中，为点的灰度变化率，即权值；为点的灰度图像素，为灰度图中的像素点，为高斯函数的标准差；
S2.2、将计算出的权值与高斯滤波的权值相乘获得最终的权值，
其中，为在点处的最终高斯滤波权值,为光场彩色图像灰度变化率，为原始高斯滤波权值，为在点处初始深度图像的像素值,为初始深度图像灰度图的像素点，为初始光场彩色图像灰度化前的点，为灰度化后的点，为高斯函数的标准差；
S2.3、使用双边滤波算法，补全初始深度图像的边缘信息，完成对初始深度图像边缘信息的优化。
前所述的一种基于光线追踪算法的深度图像优化方法，步骤S3中，几何属性包括空间矢量、空间法线以及网格索引值，将初始光场彩色图像和初始深度图像作为输入数据输入到路径追踪器中；路径追踪器包括用于生成光线的光栅化器；无噪声G缓冲区的集合
M，用于存放中间渲染结果，以增强操作的输入数据，
M包括若干用于存储一个几何属性的G缓冲区。
前所述的一种基于光线追踪算法的深度图像优化方法，步骤S4包括以下分步骤
S4.1、对处理后的深度图像中的每个像素点进行重要性采样，根据重要性采样原则对深度图像中的高频区域和低频区域进行区分；将边缘或者颜色通道分量变化高于12的区域设为高频区域，否则设为低频区域；
S4.2、对路径空间中的路径是否可用无偏的方式进行采样进行判断，如果是，则对此路径使用重要性采样；否则，对深度样本中不能以无偏方法进行采样的路径进行空间正则化操作，完成对欠采样路径的补充采样；
每个对象都有一个未知的发射和一组材料参数，将此参数在整个对象中假定为常数，实现对每个对象的优化，路径积分公式以积分的形式表示摄像机响应测量的函数，
其中，，为所有长度的所有可能光路的统一空间；，是路径空间中从灯光到摄影机的完整路径,表示为场景流形
M上点的向量；,
I为摄像机传感器测量值,为测量贡献函数，它包括长度为
k的参数路径上所有点的反射算子乘积，
其中，为与之间的几何因子,为的双向反射分布函数，为光源的出射辐射亮度，为传感器的灵敏度；
通过软化器进行空间正则化，在突变的
n点处减小软化带宽，降低率在以下边界内：
其中，
n为积分所取样本的索引；，为指定的初始软化半径，
d表示维度，用于
d维软化；
S4.3、通过直接光照和间接光照解调出物体表面的直接反射率和间接反射率，并获取纹理信息。
前所述的一种基于光线追踪算法的深度图像优化方法，步骤S4.1中，使用标准路径跟踪和下一个事件估计来生成1个深度样本，在低频区域中，一个像素点采集一个深度样本；在高频区域中，一个像素点采集四个深度样本。
前所述的一种基于光线追踪算法的深度图像优化方法，步骤S4.3包括以下分步骤
S4.3.1、将输入图像的每个深度样本中包括空间矢量、空间法线及网格索引值在内的几何属性输入到5*5的滤波器中；
S4.3.2、将上一步骤中的几何属性在滤波器中进行累积得到集成颜色及综合力矩；
S4.3.3、接着进行方差估计，使用集成颜色及方差估计的结果驱动小波滤波器迭代；
S4.3.4、
N次迭代后利用滤波器解调纹理信息、间接光照反射率以及直接光照反射率。
前所述的一种基于光线追踪算法的深度图像优化方法，步骤S6包括以下分步骤
S6.1、利用测量的表面位置对测量的法向场中的低频偏差进行校正；
S6.2、通过线性约束和高效稀疏解算器对最终曲面位置进行优化，得到优化后的深度图像法向场后，完成深度图像的优化。
前所述的一种基于光线追踪算法的深度图像优化方法，步骤S6.1中，利用测量的表面位置对测量的法向场中的低频偏差进行校正，表面点的坐标用深度函数表示，
其中，为像素坐标，为深度函数，，为相机焦距，深度函数由深度误差和法向误差组成，
其中，控制两个误差项的权重，为深度误差，为法向误差，
Z为得到的深度最小值。
前所述的一种基于光线追踪算法的深度图像优化方法，步骤S6.2中，通过线性约束和高效稀疏解算器对最终曲面位置进行优化，通过深度函数对表面点的坐标进行表示，从而获得位置误差和法向误差之和的最小值，再使用最小二乘法进行优化，
其中,，
N为向量，为一个非零矩阵，与
N相乘后每个点对应两行的向量，
m为维度，
μ为法向向量集合，
I为法向量偏差值，完成线性约束的计算。
前所述的一种基于光线追踪算法的深度图像优化方法，步骤S7中，使用反走样、抗锯齿以及中值滤波方法对优化后深度图像中未平复的噪声进行处理。
本发明的有益效果是：
（1）本发明中，使用光线追踪算法对深度图像进行优化，光线追踪算法可以更加准确的体现光线真实的传播状态，同时也可以更好地模拟出物体表面的光照情况，通过光线追踪算法来进行光场成像的深度估计，从而获得高质量的深度图像，再经过优化就可以解决背景技术中所列其他方法的缺陷；
（2）本发明中，使用带软化器的空间正则化对欠采样的路径进行补充采样，正则化后分别输出直接光照和间接光照，使得过滤器可以独立的考虑两个组件中的局部平滑度，从而更好地重建采样较差的阴影边缘，进一步提升深度图像的优化效果；
（3）本发明中，可以处理因为环境和硬件设备等原因所造成的深度信息缺失；通过使用完整光场彩色图像对深度图像的边缘细节进行处理，从而加强深度图像边缘细节的细腻程度；将图像划分为高频区域以及低频区域后采用重要性采样进行采样，一方面使得开销进一步降低，另一方面也极大提升了对深度图像的优化效率。
附图说明
图1为本发明实施例的整体流程图；
图2为本发明实施例中渲染管道模块示意图；
图3为本发明实施例中三种个例的初始深度图像、光场彩色图像以及优化后的深度图像效果图；
图4为各方法在hci-dataset数据集上PSNR折线对比图；
图5为各方法在hci-dataset数据集上SSIM折线对比图；
图6为各方法在hci-dataset数据集上运算时间折线对比图。
具体实施方式
本实施例提供的一种基于光线追踪算法的深度图像优化方法，如图1所示，包括以下步骤
S1、采集拍摄物体的初始深度图像和初始光场彩色图像。
S2、根据初始光场彩色图像的完整边缘信息，预处理初始深度图像，优化初始深度图像的边缘信息；
S2.1、根据初始光场彩色图像的完整信息，补全初始深度图像，将初始光场彩色图像进行灰度化，计算彩色图像的灰度变化率，
其中，为点的灰度变化率，即权值；为点的灰度图像素，为灰度图中的像素点，为高斯函数的标准差；
S2.2、将计算出的权值与高斯滤波的权值相乘获得最终的权值，
其中，为在点处的最终高斯滤波权值,为光场彩色图像灰度变化率，为原始高斯滤波权值，为在点处初始深度图像的像素值,为初始深度图像灰度图的像素点，为初始光场彩色图像灰度化前的点，为灰度化后的点，为高斯函数的标准差；
S2.3、使用双边滤波算法，补全初始深度图像的边缘信息，完成对初始深度图像边缘信息的优化。
S3、根据优化后的深度图像和光场彩色图像搭建路径跟踪器，通过滤波器获得几何属性，几何属性包括空间矢量、空间法线以及网格索引值；
将初始光场彩色图像和初始深度图像作为输入数据输入到路径追踪器中；路径追踪器包括用于生成光线的光栅化器；无噪声G缓冲区的集合
M，用于存放中间渲染结果，以增强操作的输入数据，
M包括若干用于存储一个几何属性的G缓冲区。
S4、通过路径跟踪器采集纹理信息并计算拍摄物体表面的光照反射率，包括以下分步骤
S4.1、对处理后的深度图像中的每个像素点进行重要性采样，根据重要性采样原则对深度图像中的高频区域和低频区域进行区分；将边缘或者颜色通道R,G,B分量变化高于12的区域设为高频区域，否则设为低频区域；使用标准路径跟踪和下一个事件估计来生成1个深度样本，在低频区域中，一个像素点采集一个深度样本；在高频区域中，一个像素点采集四个深度样本；
S4.2、对路径空间中的路径是否可用无偏的方式进行采样进行判断，如果是，则对此路径使用重要性采样；否则，对深度样本中不能以无偏方法进行采样的路径（即路径第一次散射事件后的非扩散表面）进行空间正则化操作，使用带软化器的空间正则化方法增加二次散射事件的表面粗糙度，对之前欠采样的路径进行补充采样增加光传输的鲁棒性；
对深度样本中不能以无偏方法进行采样的路径进行空间正则化操作，完成对欠采样路径的补充采样，每个对象都有一个未知的发射和一组材料参数，将此参数在整个对象中假定为常数，实现对每个对象的优化，路径积分公式以积分的形式表示摄像机响应测量的函数，
其中，，为所有长度的所有可能光路的统一空间；，是路径空间中从灯光到摄影机的完整路径,表示为场景流形
M上点的向量；,
I为摄像机传感器测量值,为测量贡献函数，它包括长度为
k的参数路径上所有点的反射算子乘积，
其中，为与之间的几何因子,为的双向反射分布函数，为光源的出射辐射亮度，为传感器的灵敏度；
通过软化器进行空间正则化，在突变的
n点处减小软化带宽，降低率在以下边界内：
其中，
n为积分所取样本的索引；，为指定的初始软化半径，
d表示维度，用于
d维软化；
S4.3、通过直接光照和间接光照解调出物体表面的直接反射率和间接反射率，并获取纹理信息；
将输入图像的每个深度样本中包括空间矢量、空间法线及网格索引值在内的几何属性输入到5*5的滤波器中，进行累积得到集成颜色及综合力矩后进行方差估计，使用集成颜色及方差估计的结果驱动小波滤波器迭代，
N次迭代后再用滤波器解调纹理信息、间接光照反射率和直接光照反射率。
S5、对路径跟踪器中颜色缓冲区的信息进行深度分类，并通过计算颜色缓冲区信息与光场彩色图像的差值获取光照参数；
使用光栅化G缓冲器对表面反照率进行解调,过滤后重新组合直接光和间接光的初级反照率，应用色调映射；
使用颜色亮度的第一原始矩和第二原始矩
μ1i和
μ2i估计每个像素的亮度方差，判断相邻像素点之间的颜色差异是否达到阈值，按照阈值大小划分出每个表面的不同反射率区域，对不同反射率区域设置不同的记号，完成深度分类；
通过计算颜色缓冲区信息和光场彩色图像间的差值，得到光照参数，
其中，为所求的光照参数，和为光场彩色图像大小，为彩色图像像素值，为光照辐射值，为反射率，为球面谐波系数，为球谐基函数，为法线。
S6、优化深度图像法向场，将法向量和深度信息相结合，运用线性最小二乘法进行优化，消除深度图像噪声，分两个阶段添加真实细节：
S6.1、利用测量的表面位置对测量的法向场中的低频偏差进行校正，表面点的坐标用深度函数表示，
其中，为像素坐标，为深度函数，，为相机焦距，深度函数由深度误差和法向误差组成，
其中，控制两个误差项的权重，为深度误差，为法向误差，
Z为得到的深度最小值；
S6.2、通过线性约束和高效稀疏解算器对最终曲面位置进行优化，通过深度函数对表面点的坐标进行表示，从而获得位置误差和法向误差之和的最小值，误差项的方程在本实施例求解的深度值中是线性的，因此用最小二乘法求解，
其中,，
N为向量，为一个非零矩阵，与
N相乘后每个点对应两行的向量，
m为维度，
μ为法向向量集合，
I为法向量偏差值，完成线性约束的计算。
从而通过线性约束和高效稀疏解算器优化最终曲面位置，得到优化后的深度图像法向场，完成图像的深度优化。
S7、使用反走样、抗锯齿、中值滤波等方法对优化后深度图像中未平复的噪声进行处理，获得高精度的深度图像。
如图2所示，为本发明实施例中渲染管道模块示意图，首先搭建路径追踪器，主要是由光栅化器和无噪声G缓冲区集合
M组成，光栅化器用于高效生成光线，G缓冲区集合
M存储颜色、法线、网格索引值等信息；
将初始彩色图像以及预处理后的深度图像输入到路径追踪器中，使用标准路径跟踪和下一个事件估计来生成1个深度样本，判断路径空间中的路径是否能以无偏的方式进行采样，对不能以无偏方式采样的路径进行空间正则化，正则化后输出光照分别为直接光照和间接光照，从中解调出反射率后累积路径空间中的每条路径并临时存储为颜色样本，利用这些增强的颜色样本估计局部亮度方差，输入到滤波器经过
N次迭代后输出结果。
如图3所示，为本发明实施例中三种个例的初始深度图像、光场彩色图像以及优化后的深度图像效果图，图3中的(a)至(c)分别为dishes初始深度图像、dishes光场彩色图像以及经本发明优化后的dishes深度图像；图3中的(d)至(f)分别为town初始深度图像、town光场彩色图像以及经本发明优化后的town深度图像；图3中的(g)至(i)分别为pens初始深度图像、pens光场彩色图像以及经本发明优化后的pens深度图像。
利用个例的光场彩色对初始深度图像进行边缘信息补全，使得其边缘细节更加细腻，如图3中的(i)所示，并在正则化后分别输出直接光照和间接光照使得过滤器可以独立的考虑两个组件中的局部平滑度，更好地重建采样较差的阴影边缘，如图3中的(c)所示。
利用路径追踪器解调表面反射率并结合光照参数进行深度优化，去除图像噪音，并对优化后图像中未平复的噪音进行反走样、抗锯齿、中值滤波等操作实现最终的图像深度优化，经过本发明方法处理后的深度图像具有边缘细节细腻，实际效果如图3中的(c)、(f)以及(i)所示，具有噪声处理效果好等优点，且开销较少。
如表1所示，为各方法在hci-dataset数据集上的PSNR、SSIM以及运算效率值，PSNR以及SSIM是评价图像去噪效果的客观性指标，将本发明方法与当前流行的其他四种方法进行PSNR、SSIM以及运算效率三个方面的对比，本发明将图像分为高频以及低频区域，并使用重要性采样进行采样使得运算效率上相比较与其他算法至少提升20%，且经过本发明方法处理后的深度图像在PSNR与SSIM两个指标上也是领先于其他同类算法。
表1 各方法在hci-dataset数据集上的PSNR、SSIM以及运算效率值表
如图4至图6所示，为各方法在hci-dataset数据集上PSNR折线对比图、SSIM折线对比图、运算时间折线对比图，如图4所示，为各方法在hci-dataset数据集上PSNR折线对比图，可明显看出本发明方法处理后的处理在该指标上领先同类算法；如图5所示，为各方法在hci-dataset数据集上SSIM折线对比图,可明显看出本发明方法处理后的处理在该指标上领先同类算法；如图6所示，为各方法在hci-dataset数据集上运算时间折线对比图，可明显看出本发明方法运算效率上相比较与其他算法至少提升20%。
除上述实施例外，本发明还可以有其他实施方式。凡采用等同替换或等效变换形成的技术方案，均落在本发明要求的保护范围。
Claims (10)
1.一种基于光线追踪算法的深度图像优化方法，其特征在于：包括以下步骤
S1、采集拍摄物体的初始深度图像和初始光场彩色图像；
S2、根据初始光场彩色图像的完整边缘信息，预处理初始深度图像，优化初始深度图像的边缘信息；
S3、根据优化后的深度图像和光场彩色图像搭建路径跟踪器，通过滤波器获得几何属性；
S4、通过路径跟踪器采集纹理信息并计算拍摄物体表面的光照反射率；
S5、对路径跟踪器中颜色缓冲区的信息进行深度分类，并通过计算颜色缓冲区信息与光场彩色图像的差值获取光照参数；
使用光栅化G缓冲器对表面反照率进行解调,过滤后重新组合直接光和间接光的初级反照率，应用色调映射；
使用颜色亮度的第一原始矩和第二原始矩μ1i和μ2i估计每个像素的亮度方差，判断相邻像素点之间的颜色差异是否达到阈值，按照阈值大小划分出每个表面的不同反射率区域，对不同反射率区域设置不同的记号，完成深度分类；
通过计算颜色缓冲区信息和光场彩色图像间的差值，得到光照参数，
其中，为所求的光照参数，和为光场彩色图像大小，为彩色图像像素值，为光照辐射值，为反射率，为球面谐波系数，为球谐基函数，为法线；
S6、优化深度图像法向场，将法向量和深度信息相结合，运用线性最小二乘法进行优化，消除深度图像噪声；
S7、处理优化后深度图像中未平复的噪声；
S8、获得高精度的深度图像。
2.根据权利要求1所述的一种基于光线追踪算法的深度图像优化方法，其特征在于：所述步骤S2中，对初始深度图像进行预处理包括以下步骤
S2.1、根据初始光场彩色图像的完整信息，补全初始深度图像，将初始光场彩色图像进行灰度化，计算彩色图像的灰度变化率，
其中，为点的灰度变化率，即权值；为点的灰度图像素，为灰度图中的像素点，为高斯函数的标准差；
S2.2、将计算出的权值与高斯滤波的权值相乘获得最终的权值，
其中，为在点处的最终高斯滤波权值,为光场彩色图像灰度变化率，为原始高斯滤波权值，为在点处初始深度图像的像素值,为初始深度图像灰度图的像素点，为初始光场彩色图像灰度化前的点，为灰度化后的点，为高斯函数的标准差；
S2.3、使用双边滤波算法，补全初始深度图像的边缘信息，完成对初始深度图像边缘信息的优化。
3.根据权利要求1所述的一种基于光线追踪算法的深度图像优化方法，其特征在于：所述步骤S3中，几何属性包括空间矢量、空间法线以及网格索引值，将初始光场彩色图像和初始深度图像作为输入数据输入到路径追踪器中；路径追踪器包括用于生成光线的光栅化器；无噪声G缓冲区的集合M，用于存放中间渲染结果，以增强操作的输入数据，M包括若干用于存储一个几何属性的G缓冲区。
4.根据权利要求1所述的一种基于光线追踪算法的深度图像优化方法，其特征在于：所述步骤S4包括以下分步骤
S4.1、对处理后的深度图像中的每个像素点进行重要性采样，根据重要性采样原则对深度图像中的高频区域和低频区域进行区分；将边缘或者颜色通道分量变化高于12的区域设为高频区域，否则设为低频区域；
S4.2、对路径空间中的路径是否可用无偏的方式进行采样进行判断，如果是，则对此路径使用重要性采样；否则，对深度样本中不能以无偏方法进行采样的路径进行空间正则化操作，完成对欠采样路径的补充采样；
每个对象都有一个未知的发射和一组材料参数，将此参数在整个对象中假定为常数，实现对每个对象的优化，路径积分公式以积分的形式表示摄像机响应测量的函数，
其中，，为所有长度的所有可能光路的统一空间；，是路径空间中从灯光到摄影机的完整路径,表示为场景流形M上点的向量；,I为摄像机传感器测量值,为测量贡献函数，它包括长度为k的参数路径上所有点的反射算子乘积，
其中，为与之间的几何因子,为的双向反射分布函数，为光源的出射辐射亮度，为传感器的灵敏度；
通过软化器进行空间正则化，在突变的n点处减小软化带宽，降低率在以下边界内：
其中，n为积分所取样本的索引；，为指定的初始软化半径，d表示维度，用于d维软化；
S4.3、通过直接光照和间接光照解调出物体表面的直接反射率和间接反射率，并获取纹理信息。
5.根据权利要求4所述的一种基于光线追踪算法的深度图像优化方法，其特征在于：所述步骤S4.1中，使用标准路径跟踪和下一个事件估计来生成1个深度样本，在低频区域中，一个像素点采集一个深度样本；在高频区域中，一个像素点采集四个深度样本。
6.根据权利要求4所述的一种基于光线追踪算法的深度图像优化方法，其特征在于：所述步骤S4.3包括以下分步骤
S4.3.1、将输入图像的每个深度样本中包括空间矢量、空间法线及网格索引值在内的几何属性输入到5*5的滤波器中；
S4.3.2、将上一步骤中的几何属性在滤波器中进行累积得到集成颜色及综合力矩；
S4.3.3、接着进行方差估计，使用集成颜色及方差估计的结果驱动小波滤波器迭代；
S4.3.4、N次迭代后利用滤波器解调纹理信息、间接光照反射率以及直接光照反射率。
7.根据权利要求1所述的一种基于光线追踪算法的深度图像优化方法，其特征在于：所述步骤S6包括以下分步骤
S6.1、利用测量的表面位置对测量的法向场中的低频偏差进行校正；
S6.2、通过线性约束和高效稀疏解算器对最终曲面位置进行优化，得到优化后的深度图像法向场后，完成深度图像的优化。
8.根据权利要求7所述的一种基于光线追踪算法的深度图像优化方法，其特征在于：所述步骤S6.1中，利用测量的表面位置对测量的法向场中的低频偏差进行校正，表面点的坐标用深度函数表示，
其中，为像素坐标，为深度函数，，为相机焦距，深度函数由深度误差和法向误差组成，
其中，控制两个误差项的权重，为深度误差，为法向误差，Z为得到的深度最小值。
9.根据权利要求7所述的一种基于光线追踪算法的深度图像优化方法，其特征在于：所述步骤S6.2中，通过线性约束和高效稀疏解算器对最终曲面位置进行优化，通过深度函数对表面点的坐标进行表示，从而获得位置误差和法向误差之和的最小值，再使用最小二乘法进行优化，
其中,，N为向量，为一个非零矩阵，与N相乘后每个点对应两行的向量，m为维度，μ为法向向量集合，I为法向量偏差值，完成线性约束的计算。
10.根据权利要求1所述的一种基于光线追踪算法的深度图像优化方法，其特征在于：所述步骤S7中，使用反走样、抗锯齿以及中值滤波方法对优化后深度图像中未平复的噪声进行处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310357532.XA CN116109520B (zh) | 2023-04-06 | 2023-04-06 | 一种基于光线追踪算法的深度图像优化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310357532.XA CN116109520B (zh) | 2023-04-06 | 2023-04-06 | 一种基于光线追踪算法的深度图像优化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116109520A true CN116109520A (zh) | 2023-05-12 |
| CN116109520B CN116109520B (zh) | 2023-07-04 |
Family
ID=86261901
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310357532.XA Active CN116109520B (zh) | 2023-04-06 | 2023-04-06 | 一种基于光线追踪算法的深度图像优化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116109520B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116681687A (zh) * | 2023-06-20 | 2023-09-01 | 广东电网有限责任公司广州供电局 | 基于计算机视觉的导线检测方法、装置和计算机设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2012203826A1 (en) * | 2006-04-26 | 2012-07-19 | Perkinelmer Singapore Pte Ltd | Accessory for attenuated total internal reflectance (ATR) spectroscopy |
| CN106228507A (zh) * | 2016-07-11 | 2016-12-14 | 天津中科智能识别产业技术研究院有限公司 | 一种基于光场的深度图像处理方法 |
| CN114972617A (zh) * | 2022-06-22 | 2022-08-30 | 北京大学 | 一种基于可导渲染的场景光照与反射建模方法 |
-
2023
- 2023-04-06 CN CN202310357532.XA patent/CN116109520B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2012203826A1 (en) * | 2006-04-26 | 2012-07-19 | Perkinelmer Singapore Pte Ltd | Accessory for attenuated total internal reflectance (ATR) spectroscopy |
| CN106228507A (zh) * | 2016-07-11 | 2016-12-14 | 天津中科智能识别产业技术研究院有限公司 | 一种基于光场的深度图像处理方法 |
| CN114972617A (zh) * | 2022-06-22 | 2022-08-30 | 北京大学 | 一种基于可导渲染的场景光照与反射建模方法 |
Non-Patent Citations (1)
| Title |
|---|
| 秦宇: "面向三维模型的线形表达技术研究", 《中国优秀硕士论文全文数据库》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116681687A (zh) * | 2023-06-20 | 2023-09-01 | 广东电网有限责任公司广州供电局 | 基于计算机视觉的导线检测方法、装置和计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116109520B (zh) | 2023-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | A survey of restoration and enhancement for underwater images | |
| CN112132958B (zh) | 一种基于双目视觉的水下环境三维重建方法 | |
| CN110866924A (zh) | 一种线结构光中心线提取方法及存储介质 | |
| CN110348459B (zh) | 基于多尺度快速地毯覆盖法声呐图像分形特征提取方法 | |
| Dharejo et al. | A deep hybrid neural network for single image dehazing via wavelet transform | |
| Yao et al. | The Retinex-based image dehazing using a particle swarm optimization method | |
| Sahu et al. | Trends and prospects of techniques for haze removal from degraded images: A survey | |
| CN112017130B (zh) | 基于自适应各向异性全变分正则化的图像复原方法 | |
| Ebenezer et al. | Single image haze removal using conditional wasserstein generative adversarial networks | |
| Mohan et al. | SABER: a systems approach to blur estimation and reduction in x-ray imaging | |
| CN114648451A (zh) | 智能降噪 | |
| CN114549669B (zh) | 一种基于图像融合技术的彩色三维点云获取方法 | |
| Hadwiger et al. | Sparse pdf maps for non-linear multi-resolution image operations. | |
| Jiang et al. | A new nonlocal means based framework for mixed noise removal | |
| CN102810202A (zh) | 基于分数阶差分加权的图像多步残差反馈迭代滤波方法 | |
| CN111462002A (zh) | 一种基于卷积神经网络的水下图像增强与复原方法 | |
| CN117218149B (zh) | 一种基于自编码神经网络的图像重建方法及系统 | |
| CN114612315A (zh) | 一种基于多任务学习的高分辨率影像缺失区域重建方法 | |
| CN116109520B (zh) | 一种基于光线追踪算法的深度图像优化方法 | |
| Krishnan et al. | A novel underwater image enhancement technique using ResNet | |
| CN114066786A (zh) | 一种基于稀疏和滤波器的红外和可见光图像融合方法 | |
| CN116452450A (zh) | 一种基于3d卷积的偏振图像去雾方法 | |
| Guan et al. | DiffWater: Underwater image enhancement based on conditional denoising diffusion probabilistic model | |
| Li et al. | Super‐Resolution Reconstruction of Underwater Image Based on Image Sequence Generative Adversarial Network | |
| Li et al. | Dehazing-NeRF: neural radiance fields from hazy images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |