CN109147029A

CN109147029A - 一种单目偏振三维重建方法

Info

Publication number: CN109147029A
Application number: CN201810664105.5A
Authority: CN
Inventors: 刘飞; 邵晓鹏; 李鑫; 黄盛志; 李轩; 韩平丽
Original assignee: Xidian University
Current assignee: Xidian University
Priority date: 2018-06-25
Filing date: 2018-06-25
Publication date: 2019-01-04
Anticipated expiration: 2038-06-25
Also published as: CN109147029B

Abstract

本发明涉及一种单目偏振三维重建方法，包括以下步骤(a)获取物体的光强图像以及若干不同偏振角度的物体偏振图像；(b)根据所述物体偏振图像得到第一物体表面法线；(c)利用SFS算法，根据所述物体的光强图像得到第二物体表面法线；(d)利用所述第二物体表面法线校正所述第一物体表面法线，得到第三物体表面法线；(e)根据所述第三物体表面法线实现所述三维重建。本发明使用SFS方法得到的物体表面法线用以对由偏振信息得到的表面法线的校正，从而实现单目三维重建，降低了系统结构的复杂度，提高了运算速度。

Description

一种单目偏振三维重建方法

技术领域

本发明属于光学成像领域，具体涉及一种单目偏振三维重建方法。

背景技术

三维重建是指从反映物体的三维属性的采样数据集中构建出合理的三维自由曲面，为已存在的曲面建立模型的技术。通过三维重建技术，我们可以获取包括结构、纹理、尺度等物体的完整三维信息。随着三维重建技术在计算机视觉、虚拟显示、医疗可视化等领域的广泛应用，人们对于三维重建技术的重建结果的细节信息丰富性和系统结构的简单性的要求越来越高，然而目前的三维重建的方法往往同时满足这两个需求。目前常见的基于二维图像的三维重建的方法有双目立体视觉的三维重建方法，结构光的三维重建方法，双目偏振的三维重建方法等等。但是由于这些三维重建的方法的系统结构复杂，运算时间长，应用距离短，或者重建结果的缺乏细节信息等原因，极大的限制了三维重建的应用范围。因此需要进一步提高三维重建的重建效果，降低结构的复杂度，使更广泛的应用成为可能。

现有的三维重建技术主要是双目偏振三维重建法，该方法基于由相机得到的偏振信息和由Kinect得到的深度信息实现物体表面的三维重建。该方法的重建结果的细节信息较为丰富，在三维重建技术领域有一定的应用。请参见图1，图1为现有技术的一种双目偏振三维重建方法的流程示意图。首先根据Stokes矢量(斯托克斯矢量)的方法由不同角度的偏振图像计算得到物体表面的偏振度，之后计算得到物体表面的入射光的方位角和入射角。由于通过物体表面的偏振图像得到的入射方位角和入射角存在不确定性，所以由偏振信息得到的物体表面法线需要进行校正。因此，为了实现物体表面法线的校正，需要利用Kinect(一种深度传感器)获取的深度信息得到的物体表面法线。校正的方法就是使由偏振信息得到的物体表面法线在x轴和y轴的分量n_x和n_y的方向与由深度信息得到的方向保持一致。最后，将校正后的物体表面法线在x轴和y轴的分量进行表面积分就可以得到物体表面的三维信息。

双目偏振三维重建方法在对物体表面法线进行校正的过程中需要 Kinect深度传感器获取物体的深度信息，而Kinect深度传感器和相机是从不同角度拍摄物体，所以该方法就需要进行图像的匹配。因此，该方法在处理尺寸较大的图像时运算时间就比较长，准确度较低。此外，由于该方法需要两个成像传感器，所以系统结构就会比较复杂，成本较高。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种单目偏振三维重建方法。本发明要解决的技术问题通过以下技术方案实现：

本发明实施例提供了一种单目偏振三维重建方法，包括以下步骤：

(a)获取物体的光强图像以及若干不同偏振角度的物体偏振图像；

(b)根据所述物体偏振图像得到第一物体表面法线；

(c)利用SFS算法，根据所述物体的光强图像得到第二物体表面法线；

(d)利用所述第二物体表面法线校正所述第一物体表面法线，得到第三物体表面法线；

(e)根据所述第三物体表面法线实现所述三维重建。

在本发明的一个实施例中，步骤(a)包括：

(a1)获取所述物体的光强图像以及若干不同偏振角度的场景偏振图像；

(a2)根据所述场景偏振图像得到若干不同偏振角度的所述物体偏振图像。

在本发明的一个实施例中，步骤(b)包括：

(b1)根据所述物体偏振图像得到所述物体表面的偏振度和方位角；

(b2)根据所述偏振度得到所述物体表面入射光的入射角；

(b3)根据所述方位角和所述入射角得到所述第一物体表面法线。

在本发明的一个实施例中，步骤(d)包括：

(d1)根据所述第一物体表面法线和所述第二物体表面法线分别获得第一校正系数和第二校正系数；

(d2)根据所述第一物体表面法线、所述第一校正系数、所述第二校正系数获得所述第三物体表面法线。

在本发明的一个实施例中，步骤(d1)包括：

(d11)分别获取所述第一物体表面法线的第一x轴分量和所述第二物体表面法线的第二x轴分量；

(d12)根据所述第一x轴分量和所述第二x轴分量获得所述第一校正系数；

(d13)分别获取所述第一物体表面法线的第一y轴分量和所述第二物体表面法线的第二y轴分量；

(d14)根据所述第一y轴分量和所述第二y轴分量获得所述第二校正系数。

在本发明的一个实施例中，所述第一校正系数的计算公式为：

式中，为所述第一校正系数；n_x为所述第一x轴分量；n_sx为所述第二x轴分量。

在本发明的一个实施例中，所述第二校正系数的计算公式为：

式中，为所述第二矫正系数；n_y为所述第一y轴分量；n_sy为所述第二y轴分量。

在本发明的一个实施例中，步骤(d2)包括：

(d21)将所述第一校正系数与所述第一x轴分量相乘，得到所述第三表面法线的第三x轴分量；

(d22)将所述第二校正系数与所述第一y轴分量相乘，得到所述第三表面法线的第三y轴分量；

(d23)根据所述第三x轴分量和所述第三y轴分量得到所述第三表面法线。

在本发明的一个实施例中，步骤(e)包括：

对所述第三物体表面法线进行表面积分以实现所述三维重建。

在本发明的一个实施例中，所述若干不同偏振角度包括0°、45°、90°、 135°。

与现有技术相比，本发明的有益效果：

1.本发明通过使用SFS方法得到校正所使用的表面法线，减少了光学系统中成像传感器的个数，能够有效地降低系统结构的复杂度；

2.使用SFS方法得到的物体表面法线用以对由偏振信息的表面法线的校正，从而实现单目三维重建，避免图像匹配的过程，更快的进行三维重建，大大提高运算速度，扩大应用范围，使偏振三维重建方法在结构简单和性能较低的硬件平台的应用成为可能。

附图说明

图1为现有技术的一种双目偏振三维重建方法的流程示意图；

图2为本发明实施例提供的一种单目偏振三维重建方法的流程示意图；

图3为本发明实施例提供的一种单目偏振三维重建方法的偏振度计算的余弦曲线示意图；

图4为本发明实施例提供的一种单目偏振三维重建方法的物体表面方位角和入射角的结构示意图；

图5为本发明实施例提供的一种单目偏振三维重建方法的相机坐标系示意图；

图6为本发明实施例提供的另一种单目偏振三维重建方法的流程示意图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例一

请参见图2，图2为本发明实施例提供的一种单目偏振三维重建方法的流程示意图。

一种单目偏振三维重建方法，包括以下步骤：

(b)根据所述物体偏振图像得到第一物体表面法线；

(e)根据所述第三物体表面法线实现所述三维重建。

在本发明实施例中，利用SFS方法得到的物体表面法线校正由偏振信息得到的物体表面法线，从而实现单目三维重建，降低了系统结构的复杂度，提高了运算速度。

实施例二

请再次参见图2，本实施例在上述实施例的基础上，重点对一种单目偏振三维重建方法的具体过程进行详细描述。

(S10)获取物体的光强图像以及若干不同偏振角度的物体偏振图像。

步骤(S10)包括以下步骤：

(S101)获取所述物体的光强图像以及若干不同偏振角度的场景偏振图像。

利用成像探测器和偏振片，得到所述物体的第一偏振图像I₀、第二偏振图像I₄₅、第三偏振图像I₉₀、第四偏振图像I₁₃₅。

在自然光的环境中，利用所述成像探测器CMOS(互补金属氧化物半导体)相机采集所述物体表面的反射光，从而得到所述物体的光强图像N₀。

通过给偏振片驱动器发出信号，使偏振片分别旋转0°、45°，90°和 135°，对应地，所述成像探测器CMOS相机分别获取所述物体场景的第一偏振图像、第二偏振图像I₄₅、第三偏振图像I₉₀、第四偏振图像I₁₃₅。

(S102)利用阈值分割算法，根据所述场景偏振图像得到若干不同偏振角度的所述物体偏振图像。

利用阈值分割算法、根据所述物体场景的所述第一偏振图像I₀、所述第二偏振图像I₄₅、所述第三偏振图像I₉₀、所述第四偏振图像I₁₃₅得到所述物体的第五偏振图像I′₀、第六偏振图像I′₄₅、第七偏振图像I′₉₀、第八偏振图像I′₁₃₅。

需要说明的是，I₀、I₄₅、I₉₀、I₁₃₅、I′₀、I′₄₅、I′₉₀、I′₁₃₅分别指对应的所述第一偏振图像、所述第二偏振图像、所述第三偏振图像、所述第四偏振图像、所述第五偏振图像、所述第六偏振图像、所述第七偏振图像、所述第八偏振图像的光强。

为减少计算量，需要对获取到的物体场景的偏振图像和场景深度信息分别进行分割，将物体和背景分开同时去除背景部分，本发明实施例采用阈值分割算法将所述物体场景的偏振图像的物体和背景分割开，得到所述第五偏振图像I′₀、所述第六偏振图像I′₄₅、所述第七偏振图像I′₉₀、所述第八偏振图像I′₁₃₅。

步骤(S102)包括以下步骤：

(S1021)以所述第一偏振图像I₀为例，首先利用迭代法选取第一阈值T₁。

(a)求出所述第一偏振图像I₀的最大灰度值M_max和M_min，并令初始阈值为

(b)根据阈值T_k(k＝0,1,2,...)将图像阈值分割为目标图像(I₁≥T_k)与背景图像(I₂＜T_k)，并分别求出目标图像和背景图像的平均灰度值H₁和H₂；

(c)计算下一个阈值

(d)当T_k+1＝T_k时，停止迭代，阈值即为T_k，即T_k为所述第一阈值T₁，否则，转到步骤(b)继续迭代。

(e)重复步骤(a)～(d)，分别得到所述第二偏振图像I₄₅对应的第二阈值T₂、所述第三偏振图像I₉₀的第三阈值T₃、所述第四偏振图像I₁₃₅的第四阈值T₄。

(S1022)分别根据所述第一阈值T₁、所述第二阈值T₂、所述第三阈值 T₃、所述第四阈值T₄对所述第一偏振图像I₀、所述第二偏振图像I₄₅、所述第三偏振图像I₉₀、所述第四偏振图像I₁₃₅进行二值化阈值分割，得到所述第五偏振图像I′₀、所述第六偏振图像I′₄₅、所述第七偏振图像I′₉₀、所述第八偏振图像I′₁₃₅。

所述二值化阈值分割的公式为：

(S20)根据所述物体偏振图像得到第一物体表面法线。

步骤(S20)包括以下步骤：

(S201)根据Stokes矢量得到所述物体表面的偏振度和方位角。

Stokes(斯托克斯)矢量表示法是一种常用的偏振特性表示方法，它指一束光的偏振状态可以由四个固定参数完全描述，这组参数称为Stokes矢量。由于每个Stokes参数都是用光强来表示，因此可以通过一定的光电仪器直接进行测量。Stokes矢量可表示为：

其中，I、Q、U为线偏振的分量；V为圆偏振的分量；E_x和E_y分别为所述物体表面反射光的电场矢量在x和y轴上的分量；I_L为左旋圆偏振光强度；I_R为右旋圆偏振光的强度。

由于实际计算偏振度时，圆偏振的分量可以忽略，所以不考虑V。

利用Stokes矢量表示的偏振度P的计算公式为：

根据所述Stokes矢量分别计算出Q、U以及I的值，带入上式中，得到所述偏振度P。

在另一个具体实施例中，所述偏振度P还可以用以下方案代替。

(x1)请参见图3，图3为本发明实施例提供的一种单目偏振三维重建方法的偏振度计算的余弦曲线示意图。利用所述第五偏振图像I′₀、所述第六偏振图像I′₄₅、所述第七偏振图像I′₉₀、所述第八偏振图像I′₁₃₅使用最小二乘法拟合出光强I随偏振片旋转角度θ_pol变化的余弦曲线。

根据所述余弦曲线得到所述光强I的最大值I_max和最小值I_min。

(x2)根据所述最大值I_max和所述最小值I_min得到所述偏振度P。

所述偏振度P的公式为:

请参见图4，图4为本发明实施例提供的一种单目偏振三维重建方法的物体表面方位角和入射角的结构示意图。所述物体表面入射光的方位角和入射角θ即所述物体表面法线的极坐标和θ。

根据Stokes矢量，利用所述第五偏振图像I′₀、所述第六偏振图像I′₄₅、所述第七偏振图像I′₉₀、所述第八偏振图像I′₁₃₅计算得到所述方位角

Stokes矢量与所述方位角的关系为：

式中，Q、U为Stokes矢量中线偏振的分量。

则

式中，arctan表示反正切函数。

在一个具体实施例中，所述方位角还可以用以下方案替代。

在用余弦曲线计算所述偏振度P时，当I＝I_max时：

根据马吕斯定律可知，在光强I随偏振片旋转角度θ_pol变化的余弦曲线中，I_max所对应的θ_pol就是所述方位角

(S202)根据所述偏振度P得到所述物体表面入射光的入射角θ。

所述偏振度P和所述入射角θ的关系为：

式中，n表示物体表面的折射率，sin表示正弦函数，cos表示余弦函数。

在一个具体实施例中，所述物体表面的折射率为1.5。

(S203)根据所述方位角和所述入射角θ得到第一物体表面法线从而得到了所述第一物体表面法线在x轴的第一x轴分量以及在y轴的第一 y轴分量。

所述第一x轴分量n_x和所述第一y轴分量n_y的计算公式为：

式中，所述为所述方位角，所述θ为所述入射角。

(S30)利用SFS算法，根据所述物体偏振图像得到第二物体表面法线

步骤(S30)包括以下步骤：

(S301)根据所述物体的光强图像N₀得到所述第二物体表面法线满足的函数关系。

需要说明的是，N₀为所述物体的光强。

需要说明的是，在本发明实施例中，SFS指的是一种明暗恢复形状法，它是一种利用光强度图像重建出物体形状的方法。

需要说明的是，在本发明实施例中，物体表面的反射光遵循LambertianReflection规律。

需要说明的是，Lambertian Reflection指的是朗伯反射模型，它是一种经典的光照模型。

假设在无限远处的点光源照射下物体表面的Lambertian Reflection模型为：

式中，N₀为所述物体的光强；L_i为入射光强；η为表面反射率；θ_i为入射角；cos表示求余弦。

归一化N₀，消除L_i、η的影响，同时由于cosθ_i的取值范围为(0，1)，因此也可以忽略π的影响。

归一化后的公式为：

N₀＝cosθ_i

请参见图5，图5为本发明实施例提供的一种单目偏振三维重建方法的相机坐标系示意图。假设参照系为相机的坐标系，则所述第二物体表面法线可以表示为n₁为所述第二物体表面法线在x轴的分量；n₂为所述第二物体表面法线在y轴的分量；n₃为所述第二物体表面法线在z 轴的分量；而光源方向可以表示为L₁为光源方向在相机坐标系下的x轴分量；L₂为光源方向在相机坐标系下的y轴分量；L₃为光源方向在相机坐标系下的z轴分量。

则所述第二物体表面法线满足的函数关系为：

式中，N₀为所述物体的光强；为光源方向；为所述第二物体表面法线；n₁为所述第二物体表面法线在x轴的分量；n₂为所述第二物体表面法线在y轴的分量；n₃为所述第二物体表面法线在z轴的分量；L₁为光源方向在相机坐标系下的x轴分量；L₂为光源方向在相机坐标系下的y轴分量； L₃为光源方向在相机坐标系下的z轴分量；n_sx为对z轴归一化后的所述第二x轴分量；n_sy为对z轴归一化后的所述第二y轴分量；L_x为归一化后的所述光源方向在相机坐标系下的x轴分量；L_y为归一化后的所述光源方向在相机坐标系下的y轴分量。

其中，(1)到(2)是对分式上下同时除以L₃n₃，所以

假设光源方向已知，所以L_x,L_y已知，R(n_sx,n_sy)为由SFS算法恢复的物体表面所估计的反射强度，所以利用SFS计算所述第二物体表面法线就是来求两个未知量n_sx,n_sy。

(S302)利用正则化模型，根据所述函数关系得到所述第二物体表面法线在x轴和y轴的第二x轴分量n_sx和第二y轴分量n_sy。

根据R(n_sx,n_sy)建立SFS最小值方法的正则化模型。所述正则化模型为一种求解最小值方法的数学模型。

所述正则化模型的公式为：

J₁＝∫∫_Ω(N(x,y)-R(n_sx(x,y),n_sy(x,y)))²dxdy

式中，Ω为(x,y)的取值范围。

当所述物体的光强N(x,y)与由SFS算法恢复的物体表面所估计的反射强度R(n_sx,n_sy)之间的差值最小时，所述第二x轴分量n_sx、所述第二y轴分量 n_sy即为最终的结果。

在得到正则化模型之后，还需要加上光滑性约束条件，即光滑物体表面相邻各点的表面方向是相似的，所以所述第二x轴分量n_sx和所述第二y 轴分量n_sy的偏导数存在且连续，所以约束条件为：

设为p_x，为q_x，为p_y，为q_y。

构造以下的极值问题：

式中，λ为拉格朗日乘数，

设上式的被积函数为F，为p_x，为q_x，为p_y，为q_y，所以对上面的极值问题求最小值的方法就是求解的相应的欧拉-拉格朗日方程组，欧拉-拉格朗日方程组是一种利用变分法来求解函数极值的方法。可以得到下式：

其中，F_α的形式表示F对α求偏导数，所以：

再由初始值就可以利用松弛迭代法求解该方程组，得到待求的两个未知量n_sx,n_sy。

所述松弛迭代法为一种计算线性代数方程组的数值解的迭代方法，所述松弛迭代法为一种成熟的数学算法，本发明在此处不作具体介绍。

初始值指的是所述物体表面的明暗交界处，在本发明实施例中，n_sx,n_sy在边界处的值为初始值且为已知值。

(S303)根据所述第二x轴分量n_sx和所述第二y轴分量n_sy得到所述第二物体表面法线

(S40)利用所述第二物体表面法线校正所述第一物体表面法线得到第三物体表面法线

所述第三物体表面法线为校正后的物体表面法线。由于在转动偏振片的过程，两个间隔180°的旋转角度得到的偏振图像的光强度是一样的，因此在计算结果中，物体表面入射光的入射方位角与实际入射光的入射方位角存在180°的不确定性，从而导致由偏振信息得到的物体表面法线的方向不确定，所以需要校正所述第一物体表面法线

步骤(S40)包括以下步骤：

(S401)根据所述第一物体表面法线和所述第二物体表面法线分别获得第一校正系数和第二校正系数。

步骤(S401)包括以下步骤：

(S4011)分别获取所述第一物体表面法线的第一x轴分量和所述第二物体表面法线的第二x轴分量。

(S4012)根据所述第一x轴分量和所述第二x轴分量获得所述第一校正系数

所述第一校正系数的计算公式为：

(S4013)分别获取所述第一物体表面法线的第一y轴分量和所述第二物体表面法线的第二y轴分量。

(S4014)根据所述第一y轴分量和所述第二y轴分量获得所述第二校正系数。

所述第二校正系数的计算公式为：

(S402)根据所述第一物体表面法线所述第一校正系数所述第二校正系数获得所述第三物体表面法线。

步骤(S402)包括以下步骤：

(S4021)将所述第一校正系数与所述第一x轴分量相乘，得到所述第三表面法线的第三x轴分量。

所述第三x轴分量n_cx的计算公式为：

式中，所述为所述第一校正系数，所述n_x为所述第一x轴分量。

(S4022)将所述第二校正系数与所述第一y轴分量相乘，得到所述第三表面法线的第三y轴分量。

所述第三y轴分量n_cy的计算公式为：

式中，所述为所述第二校正系数，所述n_y为所述第一y轴分量。

(S4023)根据所述第三x轴分量和所述第三y轴分量得到所述第三表面法线。

(S50)根据所述第三物体表面法线实现所述三维重建。

对所述第三x轴分量n_cx和所述第四y轴分量n_cy进行表面积分，得到所述物体的三维信息，从而实现三维重建。

(a1)校正后得到的所述第三表面法线与物体表面的深度z(x,y) 的关系：

(a2)采用Frankot-Chellappa算法进行表面积分，即求出使下式最小化时的待求z(x,y)。

W＝∫∫((z_x-n_cx)²+(z_y-n_cy)²)dxdy

式中，W为所述物体的三维表面；n_cx为所述第三x轴分量；n_cy为所述第三y轴分量；z_x为所述物体的三维表面在x轴方向上的梯度；z_y为所述物体的三维表面在y轴方向上的梯度。

Frankot-Chellappa算法为一种由表面法线恢复物体深度信息的全局积分算法。

所述第三x轴分量n_cx、所述第三y轴分量n_cy以及所述深度z(x,y)组成了所述物体的三维信息，实现三维重建。

本发明实施例通过这种方法，可以达到以下有益效果：

1.本发明实施例通过使用SFS方法得到校正所使用的表面法线，减少了光学系统中成像传感器的个数，能够有效地降低系统结构的复杂度，避免图像匹配的过程，更快的进行三维重建；

2.大大提高运算速度，扩大了应用范围，使偏振三维重建方法在结构简单和性能较低的硬件平台的应用成为可能。

实施例三

请参见图6，图6为本发明实施例提供的另一种单目偏振三维重建方法的流程示意图。本实施例在上述实施例的基础上，重点为一种单目偏振三维重建方法的具体过程进行详细描述。

(S100)通过相机获取物体的不同角度的偏振图像。

(S200)利用Stokes矢量计算物体表面的偏振度，与此同时，利用Stokes 矢量计算物体表面入射光的方位角；利用偏振图像采用SFS算法得到第二物体表面法线。

(S300)根据所述偏振度计算得到物体表面入射光的入射角。

(S400)根据所述方位角和所述入射角计算得到所述第一物体表面法线。

(S500)利用所述第二物体表面法线校正所述第一物体表面法线，得到第三物体表面法线。

(S600)对所述第三物体表面法线在x轴和y轴的分量进行表面积分，恢复物体形状，得到物体的三维信息。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims

1.一种单目偏振三维重建方法，其特征在于，包括以下步骤：

(b)根据所述物体偏振图像得到第一物体表面法线；

(e)根据所述第三物体表面法线实现所述三维重建。

2.根据权利要求1所述的三维重建方法，其特征在于，步骤(a)包括：

3.根据权利要求1所述的三维重建方法，其特征在于，步骤(b)包括：

(b2)根据所述偏振度得到所述物体表面入射光的入射角；

4.根据权利要求1所述的三维重建方法，其特征在于，步骤(d)包括：

5.根据权利要求4所述的三维重建方法，其特征在于，步骤(d1)包括：

6.根据权利要求5所述的三维重建方法，其特征在于，所述第一校正系数的计算公式为：

7.根据权利要求5所述的三维重建方法，其特征在于，所述第二校正系数的计算公式为：

8.根据权利要求4所述的三维重建方法，其特征在于，步骤(d2)包括：

9.根据权利要求1所述的三维重建方法，其特征在于，步骤(e)包括：

10.根据权利要求1所述的三维重建方法，其特征在于，所述若干不同偏振角度包括0°、45°、90°、135°。