CN109862209A - 一种基于光线逆追踪技术还原井下图像的方法 - Google Patents

Abstract

本发明公开了一种基于光线逆追踪技术还原井下图像的方法，包括以下步骤：设井下摄像仪为光源发射点，向井下场景中发射光线；记录所有光线与井下物体的所有交点，计算交点中距离视点最近的一个交点；计算光线在交点处被物体反射和折射后新产生光线的方向；对上述新产生的光线分别进行跟踪；记录摄像仪处发出的强光源反射或折射三次后照射到视平面上的光线，计算该光线的光强；通过摄像仪CCD感光元件将光强转化为像素值；在最终呈现在视平面上的图像中，消除摄像仪发出的强光的像素值，得到消除强光源影响后的图像。本发明能够有效的消除强光源的干扰，还原井下图像，确保井下工作的顺利进行和操作人员的生命安全。

Description

一种基于光线逆追踪技术还原井下图像的方法

技术领域

本发明属于井下图像还原领域，特别涉及一种基于光线逆追踪技术还原井下图像的方法。

背景技术

光线追踪技术(Ray Tracing)是一种在二维(2D)屏幕上呈现三维(3D)图像的方法，在目前的游戏和计算机图形学上应用火热，能给人们带来更加逼真的效果。假设光源为一个点光源，会向四周随机发射出成千上万条光线，这些光线在触碰到不同的物体后发生反射、折射、吸收(衰弱)、荧光。光线追踪是一种来自几何光学的通用技术，它通过追踪与光学表面发生交互作用的光线，得到光线经过路径的模型。但是由于光线有千千万万条，再加上经过反射、折射、吸收、荧光后的光线，更加数不胜数，导致光线正向追踪计算量很大，因此，光线逆向追踪的方法逐渐进入人们的视线。将摄像头作为光源的发出点，仅仅计算进入视平面的那部分光线，计算量大大减小。

由于目前井下使用的防爆摄像仪多为黑白摄像机，加上煤矿井下环境特殊，全天候人工照明，加上粉尘和潮湿等因素的影响，导致井下视频有图像照度低，光照分布不均匀的特点，这种特殊情况导致了采集到的视频质量低，视频的分辨度差。当矿用摄像仪视场中出现安全矿灯等强光源时，所采集到的图像会出现炫光现象，导致视频图像质量大幅下降，有可能导致安全事故的发生。因此将光线逆追踪技术应用到井下图像还原上，提升图像的可读性，具有重要的意义。

发明内容

发明目的：针对以上问题，本发明提出一种基于光线逆追踪技术还原井下图像的方法，针对矿井下光照度低，粉尘多的条件下，突然出现的强光源会对原本的摄像画面进行干扰，导致监控画面黑白层次反差过大，无法识别摄像画面内信息的现象，运用光线逆追踪的方法，通过消除视平面内强光源的像素值，从而消除强光源对原摄像画面的干扰。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于光线逆追踪技术还原井下图像的方法，该方法包括如下步骤：

步骤一：假设井下摄像仪为光源发射点，即视点，向井下场景中发射光线；

步骤二：记录所有光线与井下物体的所有交点，计算交点中距离视点最近的一个交点；

步骤三：根据光照、物体材质以及法向方向，计算步骤二中确定的最近一个交点处的反射光线光强或折射光线光强。

步骤四：计算光线在交点处被物体反射和折射后新产生光线的方向；

步骤五：对步骤四中新产生的光线进行跟踪，并判断第三次反射光线和/或折射光线是否入射到安全矿灯正前方的视平面上，如果是，则计算第三次反射光强和/或折射光强；否则返回步骤二重新确定最近交点，重复步骤三至步骤五；

步骤六：通过摄像仪CCD感光元件将步骤五中的光强转化为像素值，摄像仪发出的光线第三次反射和/或折射后的光线入射到视平面上，在视平面上成像；

步骤七：在最终呈现在视平面上的图像中，消除摄像仪发出的强光的像素值，得到消除强光源影响后的图像。

其中，在步骤三中，计算步骤二中确定的最近一个交点处的反射光线光强或折射光线光强，方法如下：

通过公式(1)计算所述交点处的反射光线光强：

其中，I_r表示反射光线光强，I_aK_a表示环境光在交点处的影响值，I_i表示入射光光强，K_d表示镜面反射率系数，K_s表示漫反射率系数，R_d表示镜面反射率，R_s表示漫反射率，N、L、分别表示物体表面法向量、光线方向单位向量、立体角；

或者，通过公式(2)计算所述交点处的折射光线光强：

I_t＝(cosθ₂/cosθ₁)(I_i-I_r) (2)

其中，I_t表示折射光线光强，θ₁，θ₂为入射角和折射角。

其中，在步骤五中，对步骤四中新产生的光线进行跟踪，方法如下：

(1)如果光线不与任何物体相交，放弃追踪；如果交点在非透明物体上，则只计算反射光线的光强，如果交点在透明物体上，则需要计算反射光线的光强和折射光线的光强，跟踪初始光线反射或折射三次的光线；若初始光线反射或折射三次的光线射入安全矿灯正前方的视平面上，则计算它的光强，若未射入，放弃追踪，进入步骤(2)；

(2)如果该初始光线产生的所有的反射和折射光线都未射入安全矿灯正前方的视平面上，则确定初始光线与物体交点中距离视点第二个最近的交点，重复步骤(1)的步骤，如果第二个最近的交点不满足上述条件，依次对下一个最近的交点进行计算，直到找到的交点满足上述条件。

其中，在步骤七中，在最终呈现在视平面上的图像中，消除摄像仪发出的强光的像素值，得到消除强光源影响后的图像，方法如下：

在井下除了用摄像仪发出的光模拟安全矿灯的光，即光源A外，还存在其它人造灯光即光源B，同时还有环境光即非人造光源C。

第三次反射光线和/或折射光线照射在视平面上时，在视平面上的图像，可表示为下式：

P(x,y)＝R(x,y)·S(x,y)·L(x,y) (3)

其中，P(x,y)表示最终呈现在视平面上的图像，R(x,y)表示摄像仪没发出光时呈现在视平面上的图像，即光源B和光源C叠加呈现在视平面上的图像，S(x,y)表示仅有摄像仪发出光时在视平面上的成像，L(x,y)表示环境光即光源C在视平面上的成像，

设I(x,y)＝R(x,y)·S(x,y) (4)

两边取对数得ln P(x,y)＝ln I(x,y)+ln L(x,y) (5)

环境光L(x,y)可通过p(x,y)和高斯函数G(x,y)的高斯核卷积表示如下：

L(x,y)＝P(x,y)*G(x,y) (6)

其中

C表示高斯环绕尺度，λ为一个尺度，它使得∫∫G(x,y)dx dy＝1始终成立，

由式(4)、(5)和(6)可得：

ln R(x,y)＝ln P(x,y)-ln(P(x,y)*G(x,y))-ln S(x,y)

令S′(x,y)＝e^lnR(x,y)

S′(x,y)为消除强光源影响后的图像。

有益效果：与现有技术相比，本发明的技术方案具有以下有益的技术效果：

本发明利用光线逆追踪改变了对于图像处理的传统思想。传统的方法对于突然出现强光源的情况，大多采用线性变换、伽马校正、直方图均衡、反锐化掩膜、同态滤波、色调映射、暗通道算法等方法，处理效果不明显。光线逆追踪技术能够有效的消除强光源的干扰，还原原有的井下图像，确保井下工作的顺利进行和操作人员的生命安全。

附图说明

图1是单位面积向光源所张开的立体夹角的示意图；

图2是本发明的光线逆追踪反射和折射接收示意图；

图3是本发明的光线逆追踪消除强光源干扰的过程。

具体实施方式

下面结合附图和实施例对本发明的技术方案作进一步的说明。

本发明所述的一种基于光线逆追踪技术还原井下图像的方法，针对矿井下光照度低，粉尘多，湿度大的条件下，突然出现的强光源会对原本的摄像画面进行干扰，导致监控画面黑白层次反差过大，无法识别摄像画面内信息的现象，运用光线逆追踪的方法，通过消除视平面内强光源的像素值，从而消除强光源对原摄像画面的干扰。如图3所示本发明的光线逆追踪消除强光源干扰的过程，具体有以下几个步骤：

步骤一：假设井下摄像仪为光源发射点，即视点，向井下场景中发射光线，该光线强度等于安全矿灯发出光线的光强。

步骤二：记录所有光线与井下物体的所有交点，计算交点中距离视点最近的一个交点。

步骤三：根据光照、物体材质以及法向方向，计算步骤二中确定的最近一个交点处的反射光线光强或折射光线光强。

通过公式(1)计算所述交点处的反射光线光强：

其中，I_r表示反射光线光强，I_aK_a表示环境光在交点处的影响值，I_i表示入射光光强，K_d表示镜面反射率系数，K_S表示漫反射率系数，R_d表示镜面反射率，R_s表示漫反射率，N、L、分别表示物体表面法向量、光线方向单位向量、立体角，如图1所示，横轴方向表示物体表面，纵轴方向表示物体表面的法向量方向。立体角定义如下：以摄像仪为观测点，形成一个立体球面，井下物体投影到球面上的投影面积，对于观测点来说的角度。

或者，通过公式(2)计算所述交点处的折射光线光强：

I_t＝(cosθ₂/cosθ₁)(I_i-I_r) (2)

其中，I_t表示折射光线光强，θ₁，θ₂为入射角和折射角。

明暗效果仅仅由第一次相交的物体表面法向方向、材质、视点和光照方向、以及光照强度共同决定，而光线投射并不考虑第二层以及更深层次的光线，因此不具有阴影、反射、折射、荧光的效果。

步骤四：计算光线在交点处被物体反射和折射后新产生光线的方向。新产生光线的方向由入射光方向、物体表面法向以及介质共同决定。

步骤五：对步骤四中新产生的光线进行跟踪，并判断第三次反射光线和/或折射光线是否入射到安全矿灯正前方的视平面上，如果是，则计算第三次反射光强和/或折射光强；否则返回步骤二重新确定最近交点，重复步骤三至步骤五。

光线由摄像仪发出后，光线追踪如下：光线从摄像仪发出后，在场景内会与透明物体，非透明物体相交或者不与任何物体相交。

(1)如果不与任何物体相交，放弃追踪。如果交点在非透明物体上，则只计算反射光线的光强，如果交点在透明物体上，则需要计算反射光线的光强和折射光线的光强，跟踪初始光线反射或折射三次的光线。若初始光线反射或折射三次的光线射入安全矿灯正前方的视平面上，则计算它的光强，若未射入，放弃追踪，进入步骤(2)。

(2)如果该初始光线产生的所有的反射和折射光线都未射入安全矿灯正前方的视平面上，则确定初始光线与物体交点中距离视点第二个最近的交点，重复步骤(1)的步骤。如果第二个最近的交点不满足上述条件，依次对下一个最近的交点进行计算，直到找到的交点满足上述条件。

如图2所示，给出了一个计算反射光线光强和折射光强的示例，具体如下：

假设井下场景中，一个摄像仪位于视点处，光由摄像仪发出，一个透明体O₁，和一个不透明体O₂。首先从视点发出一条初始光线E，与O₁相交于P₁，产生反射光线R₁和折射光线T₁。R₁的光强因为R₁不再与其他物体相交，结束跟踪。T₁的光强I_t1＝(cosθ₂/cosθ₁)(I_i-I_r1)，其在O₁内部相交于P₂，产生反射光线R₂和折射光线T₂，R₂的光强 T₂的光强I_t2＝(cosθ₄/cosθ₃)(I_t1-I_r2)。可以继续递归下去继续对R₂跟踪，对T₂跟踪。比如，T₂与O₃交于P₃，由于O₃是不透明的，只产生反射光线R₃，R₃的光强R₃最终进入视平面。

其中，θ₁，θ₂为P₁处的入射角和反射角，θ₃，θ_＝为P₂处的入射角和反射角，表示环境光在P₁处的影响值，表示环境光在P₂处的影响值，表示环境光在P₃处的影响值，I_i表示光线E的光强，也即初始光线的入射光光强，分别表示在P₁，P₂，P₃处的镜面反射率系数，分别表示在P₁，P₂，P₃处的漫反射率系数，表示在P₁，P₂，P₃处的镜面反射率，表示在P₁，P₂，P₃处的漫反射率，N₁，N₂，N₃分别表示在P₁，P₂，P₃处物体表面的法向量，L₁，L₂，L₃分别表示初始光线E，折射光线T₁，折射光线T₂的光线方向的单位向量，分别表示在P₁，P₂，P₃处产生的立体角。

步骤六：通过摄像仪CCD感光元件将步骤五中的光强转化为像素值，摄像仪发出的光线第三次反射和/或折射后的光线入射到视平面上，在视平面上成像。

步骤七：在最终呈现在视平面上的图像中，消除摄像仪发出的强光的像素值，得到消除强光源影响后的图像，方法如下：

在井下除了用摄像仪发出的光模拟安全矿灯的光，即光源A外，还存在其他人造灯光即光源B，同时还有环境光即非人造光源C。

第三次反射光线和/或折射光线照射在视平面上时，在视平面上的图像，可表示为下式：

P(x,y)＝R(x,y)·S(x,y)·L(x,y) (3)

其中，P(x,y)表示最终呈现在视平面上的图像，R(x,y)表示摄像仪没发出光时呈现在视平面上的图像，即光源B和光源C叠加呈现在视平面上的图像，S(x,y)表示仅有摄像仪发出光时在视平面上的成像，L(x,y)表示环境光即光源C在视平面上的成像。

设I(x,y)＝R(x,y)·S(x,y) (4)

两边取对数得ln P(x,y)＝ln I(x,y)+ln L(x,y) (5)

环境光L(x,y)可通过P(x,y)和高斯函数G(x,y)的高斯核卷积表示如下：

L(x,y)＝P(x,y)*G(x,y) (6)

其中

C表示高斯环绕尺度，λ为一个尺度，它使得∫∫G(x,y)dx dy＝1始终成立，

由式(4)、(5)和(6)可得：

ln R(x,y)＝ln P(x,y)-ln(P(x,y)*G(x,y))-ln S(x,y)

令S′(x,y)＝e^lnR(x,y)

S′(x,y)为消除强光源影响后的图像。

本发明利用光线逆追踪的技术，在大大减小光线追踪的计算量的条件下，有效的降低强光源对低照度的井下摄像画面的炫光现象，从而起到还原摄像画面的效果。

Claims (4)

1.一种基于光线逆追踪技术还原井下图像的方法，其特征在于，该方法包括如下步骤：

步骤一：假设井下摄像仪为光源发射点，即视点，向井下场景中发射光线；

步骤二：记录所有光线与井下物体的所有交点，计算交点中距离视点最近的一个交点；

步骤三：根据光照、物体材质以及法向方向，计算步骤二中确定的最近一个交点处的反射光线光强或折射光线光强；

步骤四：计算光线在交点处被物体反射和折射后新产生光线的方向；

步骤五：对步骤四中新产生的光线进行跟踪，并判断第三次反射光线和/或折射光线是否入射到安全矿灯正前方的视平面上，如果是，则计算第三次反射光强和/或折射光强；否则返回步骤二重新确定最近交点，重复步骤三至步骤五；

步骤六：通过摄像仪CCD感光元件将步骤五中的光强转化为像素值，摄像仪发出的光线第三次反射和/或折射后的光线入射到视平面上，在视平面上成像；

步骤七：在最终呈现在视平面上的图像中，消除摄像仪发出的强光的像素值，得到消除强光源影响后的图像。

2.根据权利要求1所述的一种基于光线逆追踪技术还原井下图像的方法，其特征在于，在步骤三中，计算步骤二中确定的最近一个交点处的反射光线光强或折射光线光强，方法如下：

通过公式(1)计算所述交点处的反射光线光强：

其中，I_r表示反射光线光强，I_aK_a表示环境光在交点处的影响值，I_i表示入射光光强，K_d表示镜面反射率系数，K_s表示漫反射率系数，R_d表示镜面反射率，R_s表示漫反射率，N、L、分别表示物体表面法向量、光线方向单位向量、立体角；

或者，通过公式(2)计算所述交点处的折射光线光强：

I_t＝(cosθ₂/cosθ₁)(I_i-I_r) (2)

其中，I_t表示折射光线光强，θ₁，θ₂为入射角和折射角。

3.根据权利要求1或2所述的一种基于光线逆追踪技术还原井下图像的方法，其特征在于，在步骤五中，对步骤四中新产生的光线进行跟踪，方法如下：

(1)如果光线不与任何物体相交，放弃追踪；如果交点在非透明物体上，则只计算反射光线的光强，如果交点在透明物体上，则需要计算反射光线的光强和折射光线的光强，跟踪初始光线反射或折射三次的光线；若初始光线反射或折射三次的光线射入安全矿灯正前方的视平面上，则计算它的光强；若未射入，放弃追踪，进入步骤(2)；

(2)如果该初始光线产生的所有的反射和折射光线都未射入安全矿灯正前方的视平面上，则确定初始光线与物体交点中距离视点第二个最近的交点，重复步骤(1)的步骤，如果第二个最近的交点不满足上述条件，依次对下一个最近的交点进行计算，直到找到的交点满足上述条件。

4.根据权利要求1或2所述的一种基于光线逆追踪技术还原井下图像的方法，其特征在于，在步骤七中，在最终呈现在视平面上的图像中，消除摄像仪发出的强光的像素值，得到消除强光源影响后的图像，方法如下：

第三次反射光线和/或折射光线照射在视平面上时，在视平面上的图像，可表示为下式：

P(x,y)＝R(x,y)·S(x,y)·L(x,y) (3)

其中，P(x,y)表示最终呈现在视平面上的图像，R(x,y)表示摄像仪没发出光时呈现在视平面上的图像，S(x,y)表示仅有摄像仪发出光时在视平面上的成像，L(x,y)表示环境光在视平面上的成像：

设I(x,y)＝R(x,y)·S(x,y) (4)

两边取对数得lnP(x,y)＝lnI(x,y)+lnL(x,y) (5)

环境光L(x,y)可通过P(x,y)和高斯函数G(x,y)的高斯核卷积表示如下：

L(x,y)＝P(x,y)*G(x,y) (6)

其中

C表示高斯环绕尺度，λ为一个尺度，由式(4)、(5)和(6)可得：

lnR(x,y)＝lnP(x,y)-ln(P(x,y)*G(x,y))-lnS(x,y)

令S′(x,y)＝e^1nR(x,y)

S′(x,y)为消除强光源影响后的图像。