CN113706693A - 一种微光条件下偏振三维重建方法 - Google Patents

Abstract

本发明提出了一种微光条件下偏振三维重建方法。利用光子计数技术获取微光条件下目标表面的反射光偏振信息，给出初始偏振三维重建结果。接着考虑主动照明激光方向矢量提供的额外阴影约束，对初始重建结果中的法向量方位角误差进行校正，有效解决偏振重建的凹凸性模糊问题。由光子探测半经典理论可以推导出基于泊松分布的光子计数概率模型，因此在利用单光子探测器获取反射光子计数值后可利用该模型将接收光子计数值映射到实际反射光子数值，并用此结果来反映目标表面反射光偏振信息。在方位角的校正过程中则是利用目标反射光非偏振光强，激光方向矢量和目标表面法向量之前存在的联系，对不确定的方位角增加额外约束以达到校正效果。

Description

一种微光条件下偏振三维重建方法

技术领域

本发明属于物体表面三维重建领域，涉及一种微光条件下的偏振三维重建方法，适用于环境光受限的三维重建应用场景。

背景技术

三维重建是指根据单视角或者多视角二维图像重建物体三维信息的过程，该技术是计算机视觉、医学图像处理、科学计算等许多领域的共性科学问题和核心技术。

偏振三维重建方法是利用物体反射光的偏振信息对物体表面信息进行恢复。当非偏振光入射到物体表面经反射后，反射光的偏振态会按照一定规律发生改变，我们通过偏振器件和光探测器件获取这一变化，继而通过特定算法模型可以解析得到物体表面信息，可反映目标物体表面性状、分布等几何信息。但传统偏振三维重建技术仍存在一些局限，例如：(1)计算得到的表面法向量方位角存在不确定性，这使得重建结果产生凹凸性模糊；(2)在环境光强度降低到一定程度时，难以准确获取物体反射光偏振信息，从而导致重建结果误差较大；(3)计算表面法向量过程中需要的物体表面折射率数据经常是未知的。

为了解决以上局限，许多人尝试提出了有效的改进方法。Morel等人提出主动照明的方式消除方位角歧义值^[1]，但这种方法受环境以及应用场景限制较大，对于环境要求严苛，难以推广使用。Achuta Kadambi等人提出阴影恢复形状方法，光度立体法与深度图融合的方法，有效解决方位角的不确定性^[2]，但该方法中使用的Kinect相机有限的工作距离和应用环境使得这种ronghe方法的使用情景有很大的局限性。Huynh等也曾融合多光谱成像和偏振成像用于估计目标折射系数及三维信息^[3]。美国波音公司的光谱实验室研制了基于32×32像素GM-APD探测器阵列的三维成像系统^[4]。英国Heriot-Watt大学采用单光子雪崩光电二极管，利用扫描系统对目标实现三维成像^[5]。

上述文献中方法多为结合激光雷达系统进行三维成像，成本较高，而如何利用光子计数技术高灵敏度特点实现微光条件下的偏振三维重建，以及利用激光主动照明提供的光源约束有效校正表面法向量方位角的不确定性，从而解决重建结果中的凹凸性模糊问题将是本发明的关键问题。

参考文献

[1]Morel O,Meriaudeau F,Stolz C.Polarization imaging applied to 3Dreconstruction of specular metallic surfaces[J].proc spie,2005,5679:178-186.

[2]Kadambi A,Taamazyan V,Shi B,et al.Polarized 3D:High-Quality DepthSensing with Polarization Cues[C]//IEEE International Conference on ComputerVision.IEEE,2016.

[3]Robles-Kelly A,Huynh C P.Shape and Refractive Index fromPolarisation[J].Springer London,2013,10.1007/978-1-4471-4652-0(Chapter 11):241-263.

[4]Sudharsanan R,Salisbury M.Single photon counting Geiger modeInGaAs(P)/InP avalanche photodiode arrays for 3D imaging[J].Proceedings ofSPIE-The International Society for Optical Engineering,2008,6950:69500N-69500N-9.

[5]Aongus,McCarthy,Robert,et al.Long-range time-of-flight scanningsensor based on high-speed time-correlated single-photon counting[J].AppliedOptics,2009,48(32).

发明内容

本发明针对现有技术的不足，利用光子计数技术结合基于激光主动照明的偏振三维重建，提出一种微光条件下的偏振三维重建方法。光子计数技术具有灵敏度高的显著优势，将其应用于微光条件下物体反射光偏振信息的获取，这将帮助我们有效解决微光条件下的物体偏振三维重建问题。为了获取更为准确的物体偏振信息，如何降低光子计数的噪声将是关键问题。另一方面，利用激光主动照明提供的阴影约束，我们还将一定程度校正表面法向量方位角的不确定性，从而解决重建结果的凹凸性模糊问题。

本发明所采用的技术方案是：一种微光条件下的偏振三维重建方法。首先采用扫描激光作为照明光源，同时利用单光子探测器获取微光条件下的目标表面像元反射光子数，根据光子计数的概率分布特性，利用泊松分布关系将获得的光子计数值映射到光强值，从而获取目标表面偏振强度信息，进而实现初始偏振三维重建结果。然后获取激光光源方向向量，根据光源方向提供的阴影约束对初始重建结果进行方位角校正，从而得到最终三维重建结果。该方法包括以下步骤：

步骤1，通过单光子探测器获取目标物体表面反射光子数，由光子计数的概率分布特性将光子计数值映射到强度值，从而得到目标表面反射光偏振信息；

步骤2，利用步骤1中获取的目标表面反射光偏振信息，根据传统偏振三维重建算法获得初始重建结果；

步骤3，获取激光照明光源的方向向量；

步骤4，利用光源方向提供的阴影约束对初始重建结果中的目标表面法向量方位角进行校正，从而解决初始重建结果中表面凹凸性模糊问题。

进一步的，步骤1的具体实现包括以下子步骤，

步骤1.1，利用脉冲扫描激光作为照明光源，接收端利用单光子探测器在3个以上的偏振角度获取每个偏振角度下每个像元反射光子计数值；

步骤1.2，对于一次单独测量，测得光子的概率分布如(1)式所示：

其中k＝0,1,…,N为单位时间内探测次数，p(0)＝e^-m；

在(1)式基础上，对于给定的k值，实际反射光子数m的负对数似然函数Г如下(2)式所示：

Г＝(N-k)m-klog(1-e^-m) (2)

通过最大化(2)中的负对数似然函数Г，我们可以得到实际反射光子数m如(3)式所示

其中，N为探测光子计数值，m可代表每个像元实际反射光偏振强度值，从而得到目标表面不同偏振角度下反射光二维偏振强度图像。

进一步的，步骤2的具体实现包括以下子步骤；

步骤2.1，获取的偏振图像每个像素点的光强变化与偏振角度α_p以及目标表面法向量有关，根据菲涅尔公式可知，其关系满足(4)式：

其中，I_p指的是在转动偏振片时偏振图像中每个像素点光强值随偏振角度α_p的变化值，下标p表示光强值与偏振角度α_p的对应关系；将不同偏振角度对应的光强值进行余弦曲线拟合，由拟合结果可以得到各点的最大光强值I_max，最小光强值I_min和相位角

步骤2.2，由(5)式可以得到两个可能的法向量方位角

由于无法确认方位角的准确取值，具体实现过程中先粗略地取

作为法向量计算值，错误取值将在后续步骤中被校正；

步骤2.3，由2.1中得到的I_max和I_min，利用(6)式可以求到目标表面偏振度P：

已知偏振度P和物体表面折射率n时，由(7)式可以得到漫反射目标表面天顶角θ：

步骤2.4，由方位角和天顶角可以求得目标表面法向量分布；

步骤2.5，利用Frankot-Chellappa积分算法，由表面法向量积分得到表面相对深度数据，即初始偏振三维重建结果。

进一步的，步骤3中利用搭建的实验系统获取激光照明光源的方向向量，实验系统以探测点为坐标原点，反射光方向为z轴方向，平行于线偏振片表面为xOy平面建立空间坐标系，并在此坐标系中根据激光光源位置量取其在各坐标轴的标量长度s_x,s_y,s_z，

从而确定光源方向矢量

进一步的，步骤4的具体实现包括以下子步骤；

步骤4.1，获取目标表面反射光实际非偏振强度图像I_un；

步骤4.2，反射光非偏振光强度值I_un，目标表面法向量N与光源向量s存在(9)式所示的约束关系：

I_un＝N·s (9)

在步骤2中，获得的两个可能的法向量方位角提供了两种可能的法向量值N₁和N₂，这也是重建表面存在凹凸性模糊的根源，根据上面的关系式可以得到两个反射光非偏振强度的计算值I₁；

I₁＝N₁·s

I₂＝N₂·s

步骤4.3，通过对比目标反射光非偏振强度的计算值和实际值的误差，即比较|I_un-I₁|和|I_un-I₂|的值，选择其中较小的误差所对应的法向量作为更准确的法向量值，从而实现对法向量方位角的校正，解决重建结果中的凹凸性模糊问题。

与现有技术相比，本发明地优点和有益效果：本发明考虑利用光子计数技术在微光条件下获取目标反射光偏振信息，提出了一种微光条件下偏振三维重建的框架。并利用主动照明光源方向作为额外约束，对偏振重建结果中方位角的误差进行校正，有效解决了偏振重建凹凸性模糊问题。重建结果能够在微光条件下有效还原目标表面信息，具有较少凹凸性错误。

附图说明

图1是偏振三维重建算法流程图。

图2是实施例的目标物体相机拍摄实物图。

图3是实施例的目标在偏振角度为180°时的偏振图像。

图4是实施例的目标表面初始三维重建结果。

图5是实施例搭建的试验系统。

图6是实施例方位角校正区域及校正后重建结果。

图7是实施例的目标表面利用不同重建方法的结果对比图。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明做进一步的详细描述，应当理解的是，此处所描述的实施施例仅用于解释本发明，并不用于限定本发明。

本发明主要针对微光条件下的表面三维形状重建的应用需求。根据光子计数技术和偏振三维重建算法的特点，我们一定程度上解决了光子计数暗噪声问题，并提出了一种微光条件下的偏振三维重建算法。并且利用激光主动照明提供的阴影约束，对物体表面法向量方位角进行校正，用于解决三维偏振重建结果中的凹凸性模糊问题。

图2是CCD相机拍摄目标物体的实物图，图3是偏振角度为180°时利用光子计数获取的物体偏振图像。本实施例提供一种联合偏振和双目视觉的三维重建算法来重建目标物体表面的三维形状，具体包括以下步骤：

步骤1：通过单光子探测器获取目标物体表面反射光子数，由光子计数的概率分布特性将光子计数值映射到强度值，从而得到目标表面反射光偏振信息。具体实现包括以下子步骤：

步骤1.1，利用脉冲扫描激光作为照明光源，扫描振镜x轴扫面频率设置为1Hz，y轴扫描频率设置为0.01Hz，从而实现对目标进行100×100个像素点的扫描。接收端将线偏振片固定在单光子探测器前，探测器探测周期设置为10ms，旋转偏振片，从0°每隔30°采集一组光子计数值，共12组，每组包含100×100个光子计数值，其中偏振角度为180°时采集到的光子计数值如附图2所示。选取13个偏振角度的目的是减少曲线拟合过程中的误差。

步骤1.2，对于一次单独测量，测得光子的概率分布如(1)式所示：

其中k＝0,1,…,N为单位时间内探测次数，p(0)＝e^-m。

在(1)式基础上，对于给定的k值，实际反射光子数m的负对数似然函数Г如如下(2)式所示：

Г＝(N-k)m-klog(1-e^-m) (2)

通过最大化(2)中的负对数似然函数Г，我们可以得到实际反射光子数m如(3)式所示

本实施例中k＝100，N为探测光子计数值。

m可代表每个像元实际反射光偏振强度值，从而得到目标表面不同偏振角度下反射光二维偏振强度图像。如图4所示为偏振角度为180°时由图2所示探测光子值根据以上关系反演得到的实际偏振图像，其他偏振角度图像同理可得。

步骤2：利用步骤1中获取的实施例物体表面反射光偏振信息，根据传统偏振三维重建算法对目标进行初始偏振三维重建。具体实现包括以下子步骤：

步骤2.1，获取的偏振图像每个像素点的光强变化与偏振角度α_p以及目标表面法向量方位角有关，其关系满足下式：

其中，I_p指的是在转动偏振片时偏振图像中每个像素点光强值随偏振角度α_p的变化值，下标p表示光强值与偏振角度α_p的对应关系。将不同偏振角度对应的光强值进行余弦曲线拟合，由拟合结果可以得到各点的最大光强值I_max，最小光强值I_min和相位角

步骤2.2，计算具有不确定性的法向量方位角

方位角分量有两种取值：

在这里我们无法确认方位角的准确取值，实施例中我们先粗略地取

作为法向量计算值，错误取值将在后续步骤中被校正。

步骤2.3，根据目标物体表面180°偏振图像，确定前置掩膜来分离目标和背景，在已知表面折射率n的条件下，可以由拟合得到的I_max和I_min求出相应的偏振强度P和天顶角θ分布：

步骤2.4，由方位角和天顶角可以求得目标表面法向量分布；

步骤2.5，利用Frankot-Chellappa积分算法，由表面法向量积分得到表面相对深度数据，即初始偏振三维重建结果，初始重建结果如附图4所示。

步骤3：在搭建的试验系统中，如附图5所示，以探测点为坐标原点，反射光方向为z轴方向，平行于线偏振片表面为xOy平面建立空间坐标系，并在此坐标系中根据激光光源位置量取其在各坐标轴的标量长度s_x,s_y,s_z，

从而确定光源方向矢量

步骤4：利用式(9)所示光源方向提供的阴影约束对初始重建结果中的目标表面法向量方位角进行校正，从而解决初始重建结果中表面凹凸性模糊问题。具体实现包括以下子步骤：

步骤4.1，移去单光子探测器前的偏振片，利用探测器获取目标表面反射光实际非偏振强度图像I_un。

步骤4.2,反射光非偏振光强度值I_un、由步骤2.4得到的目标表面法向量N与在步骤3中得到的光源向量s存在下式所示的约束关系：

I_un＝N·s (9)

在步骤2中，获得的两个可能的法向量方位角为我们提供两种可能的法向量值N₁和N₂，这也是重建表面存在凹凸性模糊的根源。根据上面的关系式我们可以得到两个反射光非偏振强度的计算值I₁。

I₁＝N₁·s

I₂＝N₂·s

步骤4.3，通过对比目标反射光非偏振强度的计算值和实际值的误差，即比较|I_un-I₁|和|I_un-I₂|的值，选择其中较小的误差所对应的法向量作为更准确的法向量值，从而实现对法向量方位角的校正，解决重建结果中的凹凸性模糊问题。在校正过程中，对被校正的错误方位角像元位置进行标记，如附图6所示为实施例标记得到的校正区域以及校正后的重建结果。

我们还将本发明方法与其他方法的重建结果进行了比较，分别比较了LambertianSFP和Propagation方法，比较结果如附图7所示。

可以看到我们提出的方法利用光子计数技术，并结果主动照明光源提供阴影约束，有效实现了微光条件下的偏振三维重建，较好地校正了偏振初始结果的凹凸性模糊问题，得到的三维重建结果具有更准确的表面形状，且对表面的纹理特征具有较好的还原能力。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (5)

1.一种微光条件下偏振三维重建方法，其特征在于，包括如下步骤：

步骤1，通过单光子探测器获取目标物体表面反射光子数，由光子计数的概率分布特性将光子计数值映射到强度值，从而得到目标表面反射光偏振信息；

步骤2，利用步骤1中获取的目标表面反射光偏振信息，根据传统偏振三维重建算法获得初始重建结果；

步骤3，获取激光照明光源的方向向量；

步骤4，利用光源方向提供的阴影约束对初始重建结果中的目标表面法向量方位角进行校正，从而解决初始重建结果中表面凹凸性模糊问题。

2.如权利要求1所述的一种微光条件下偏振三维重建方法，其特征在于：步骤1的具体实现包括以下子步骤，

步骤1.1，利用脉冲扫描激光作为照明光源，接收端利用单光子探测器在3个以上的偏振角度获取每个偏振角度下每个像元反射光子计数值；

步骤1.2，对于一次单独测量，测得光子的概率分布如(1)式所示：

其中k＝0,1,…,N为单位时间内探测次数，p(0)＝e^-m；

在(1)式基础上，对于给定的k值，实际反射光子数m的负对数似然函数Г如下(2)式所示：

Г＝(N-k)m-klog(1-e^-m) (2)

通过最大化(2)中的负对数似然函数Г，得到实际反射光子数m如(3)式所示

其中，N为探测光子计数值，m可代表每个像元实际反射光偏振强度值，从而得到目标表面不同偏振角度下反射光二维偏振强度图像。

3.如权利要求1所述的一种微光条件下偏振三维重建方法，其特征在于：步骤2的具体实现包括以下子步骤；

步骤2.1，获取的偏振图像每个像素点的光强变化与偏振角度α_p以及目标表面法向量有关，根据菲涅尔公式可知，其关系满足(4)式：

其中，I_p指的是在转动偏振片时偏振图像中每个像素点光强值随偏振角度α_p的变化值，下标p表示光强值与偏振角度α_p的对应关系；将不同偏振角度对应的光强值进行余弦曲线拟合，由拟合结果可以得到各点的最大光强值I_max，最小光强值I_min和相位角

步骤2.2，由(5)式可以得到两个可能的法向量方位角

由于无法确认方位角的准确取值，具体实现过程中先粗略地取

作为法向量计算值，错误取值将在后续步骤中被校正；

步骤2.3，由2.1中得到的I_max和I_min，利用(6)式可以求到目标表面偏振度P：

已知偏振度P和物体表面折射率n时，由(7)式可以得到漫反射目标表面天顶角θ：

步骤2.4，由方位角和天顶角可以求得目标表面法向量分布；

步骤2.5，利用Frankot-Chellappa积分算法，由表面法向量积分得到表面相对深度数据，即初始偏振三维重建结果。

4.如权利要求3所述的一种微光条件下偏振三维重建方法，其特征在于：步骤3中利用搭建的实验系统获取激光照明光源的方向向量，实验系统以探测点为坐标原点，反射光方向为z轴方向，平行于线偏振片表面为xOy平面建立空间坐标系，并在此坐标系中根据激光光源位置量取其在各坐标轴的标量长度s_x,s_y,s_z，

从而确定光源方向矢量

5.如权利要求4所述的一种微光条件下偏振三维重建方法，其特征在于：步骤4的具体实现包括以下子步骤；

步骤4.1，获取目标表面反射光实际非偏振强度图像I_un；

步骤4.2，反射光非偏振光强度值I_un，目标表面法向量N与光源向量s存在(9)式所示的约束关系：

I_un＝N·s (9)

在步骤2中，获得的两个可能的法向量方位角提供了两种可能的法向量值N₁和N₂，这也是重建表面存在凹凸性模糊的根源，根据上面的关系式可以得到两个反射光非偏振强度的计算值I₁；

I₁＝N₁·s

I₂＝N₂·s

步骤4.3，通过对比目标反射光非偏振强度的计算值和实际值的误差，即比较|I_un-I₁|和|I_un-I₂|的值，选择其中较小的误差所对应的法向量作为更准确的法向量值，从而实现对法向量方位角的校正，解决重建结果中的凹凸性模糊问题。

Images