CN108692677B - 基于反射光场偏振与空时编码的表面三维重建方法和系统 - Google Patents

Abstract

本发明公开了一种基于反射光场偏振与空时编码的表面三维重建方法和系统，能够有效降低累计误差，实现复杂表面的高分辨高精度三维重建，且配置灵活，成本较低。该方法包括：对待测物体进行可调控精度的空时编码三维重建以获取第一三维面形数据D^shape，并计算其法向量场N^shape；采用圆偏振光照明待测物体表面，计算反射光场法向量场N^polar；通过N^shape纠正反射光场法向量分量入射方位角φ，得到第一优化的反射光场法向量场N^{c polar}；通过D^shape纠正反射光场法向量相关的折射率n_m，得到第二优化的反射光场法向量场N^rpolar；基于圆偏振度和D^shape联合引导梯度积分得到第二三维面形数据D^polar；将D^shape和D^polar进行数据融合，得到待测物体表面的第三三维面形数据D^hh。

Description

基于反射光场偏振与空时编码的表面三维重建方法和系统

技术领域

本发明涉及光学三维测量与检测技术领域，尤其涉及一种基于反射光场偏振与空时编码的表面三维重建方法和系统。

背景技术

精密测量与检测技术一直是设备制造、加工的重要工具，贯穿到产品的整个生产加工、质量控制、零件装配、缺陷检测等各个环节，是高精度几何零部件和复杂曲面加工的依据和保证，也是工业制造技术发展的基础和前提。三维测量技术作为现代非接触精密测量与检测技术不可缺少的重要手段之一，被广泛应用于汽车制造、航空航天、逆向工程等重要领域，在推动经济发展和社会进步方面起着举足轻重的作用。随着第四次工业革命的到来，如何在复杂环境下，以较低的成本实现复杂表面高分辨高精度三维测量成为新一代精密测量与检测技术发展的重要方向。

被动三维测量基于自然光照明的二维图像分析亮度、阴影、纹理、像流、几何特征等各种三维线索重建待测物体三维面形或者深度数据，主要应用于精度要求不高的场合。其中，光度立体视觉、阴影三维恢复这类方法在可控光照和满足某些假设的条件下，通过解算表面法向量场来重建面形，具有很高的局部分辨率，可以检测到亚毫米甚至更高的几何特征，但获得是相对三维面形数据，在重建模型不合理或者解算方法适应性欠佳等情况下，容易产生形貌失真。

基于结构光照明的主动三维测量技术通过投射激光或者其它形式的点、线、面的结构光，分析受待测物体表面调制的光场图像的相位、强度、调制度或者对比度等信息进行三维重建。与被动三维测量技术相比，主动三维测量具有很高的测量精度和全场形貌还原能力，然而其局部测量分辨率有限，一般只能达到1mm左右，对于具有丰富信息的更高频细节难以探测。采用干涉、全息等原理的测量技术主要面向微纳结构的高分辨三维重建，尽管分辨率可以达到纳米级，但其测量范围小，不适用于宏观尺度的复杂表面三维测量。

目前，从单一信息源实现宏观尺度的高分辨高精度三维重建很难突破其技术瓶颈。将光度立体、阴影形状恢复这类技术与深度数据结合以实现复杂表面高分辨高精度无形貌扭曲的三维重建是一种行之有效的解决途径。然而，光度立体视觉要求估计光源的信息、假设朗伯照明模型等苛刻条件，导致用于实际的复杂环境的精密测量与检测当中仍然面累计误差大、成本高等临诸多问题。

发明内容

本发明的目的之一至少在于，针对如何克服上述现有技术存在的问题，提供一种基于反射光场偏振与空时编码的表面三维重建方法和系统，能够有效降低累计误差，实现复杂表面的高分辨高精度三维重建，且配置灵活，成本较低。

为了实现上述目的，本发明采用的技术方案包括以下各方面。

一种基于反射光场偏振与空时编码的表面三维重建方法，其包括：

对待测物体进行可调控精度的空时编码三维重建以获取第一三维面形数据D^shape，并计算其法向量场N^shape；采用圆偏振光照明待测物体表面，计算反射光场法向量场N^polar；通过第一三维面形数据法向量场N^shape纠正反射光场法向量分量入射方位角

得到第一优化的反射光场法向量场N^{c polar}；通过第一三维面形数据D^shape纠正反射光场法向量相关的折射率n_m，得到第二优化的反射光场法向量场N^{r polar}；基于圆偏振度和D^shape联合引导梯度积分得到第二三维面形数据D^polar；基于标准球拟合建立异源数据的定量关系，并将D^shape和D^polar进行数据融合，得到待测物体表面的第三三维面形数据D^hh。

一种基于反射光场偏振与空时编码的表面三维重建系统，其包括：一个空时编码光场发生装置、一个圆偏振光发生装置、两台工业相机，以及计算装置；其中，每台工业相机包括偏振滤光片和相位延迟片；所述计算装置用于执行前述任一方法。

综上所述，由于采用了上述技术方案，本发明至少具有以下有益效果：

通过分析待测物体表面对入射光场偏振特性的作用机制，采用圆偏振光场照明待测表面，很好地消除了法向量场入射角的不确定性；通过空时编码光场调制的三维面形重建技术，获得可调控精度的三维面形数据，满足不同高频细节待测物体表面的三维重建需求，为消除偏振法向量场的不确定性和深度优化提供依据；采用空时编码三维面形数据和偏振度可靠性排序联合引导的梯度积分算法，有效降低了传统梯度积分方法引入的累计误差，从而实现复杂表面高分辨(例如分辨率达到0.1mm)高精度(例如精度达到0.01mm)的三维重建；而且，系统配置灵活性强，无需严格同步，硬件成本较低。

附图说明

图1是根据本发明实施例的基于反射光场偏振与空时编码的表面三维重建方法的流程图。

图2是根据本发明实施例获取第一三维面形数据的流程图。

具体实施方式

下面结合附图及实施例，对本发明进行进一步详细说明，以使本发明的目的、技术方案及优点更加清楚明白。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

根据本发明实施例的基于反射光场偏振与空时编码的表面三维重建系统包括：一个空时编码光场发生装置、一个圆偏振光发生装置、两台黑白工业相机(包括偏振滤光片和相位延迟片)，以及计算装置。其中，空时编码光场发生装置的产生的投影与两台相机无需严格同步。该方法通过圆偏振光场照明待测物体表面，以反射光场的偏振特性为信息载体提取法向量场，以可调控精度的空时编码三维重建结果为依据纠正反射光场法向量场，并建立最小生成树路径引导反射光场梯度积分实现高分辨三维重建，最后将二者的三维重建结果进行数据融合，实现高分辨高精度复杂表面的三维重建。

图1示出了根据本发明实施例的基于反射光场偏振与空时编码的表面三维重建方法的流程图。该实施例的方法包括以下步骤：

步骤101：对待测物体进行可调控精度的空时编码三维重建以获取第一三维面形数据D^shape，并计算其法向量场N^shape。

步骤102：采用圆偏振光照明待测物体表面，计算反射光场法向量场N^polar

具体地，可以利用斯托克斯(Stokes)矢量表征偏振光的光强和偏振态。当一束用斯托克斯向量表示的入射光S_in＝[S₀ S₁ S₂ S₃]^T，其与x轴成夹角α，经过与快轴和x轴平行的相位延迟片后相位延迟为

其光强分布表示为：

I(α,φ)＝0.5[S₀+S₁cos(2α)cosφ+S₂sin(2α)cosφ-S₃sin(2α)sinφ]

其中，S₀表示入射光的总光强；S₁表示偏振方向为0度和90度方向光强差；S₂为45度和135度方向的光强差；S₃表示左圆偏光和右旋圆偏光的光强差。

示例性地，可以将相机镜头前端的相位延迟片的延迟

设置为0度或者90度，偏振滤光片的偏振角设置为0度、45度、90度和135度，同时获取对应角度位置的4幅偏振图像，可以通过下列方程求解斯托克斯向量：

则入射光场的线偏振度DOLP(0～1表示非线性偏振～完全线性偏振)，圆偏振度DOCP以及偏振角AOP(表示偏振椭圆主轴与参考轴之间的夹角)可以表示为：

假设照明光场从空气(折射率n_air≈1)中以入射角θ_in照明折射率为n_m的待测物体表面，折射角为θ_re，则根据折射定律有：

n_airsinθ_in＝n_msinθ_re

根据菲涅尔定律，入射光场经过待测物体表面的调制，其偏振态将会发生改变，入射光场偏振态的变化采用穆勒矩阵M_reflect(θ_in,θ_re)表征：

为了计算反射光场的Stokes向量，引入一个关于θ的旋转矩阵M_rotate(θ)将入射光场的Stokes向量变换到待测物体表面切平面坐标系：

联立穆勒矩阵M_reflect(θ_in,θ_re)和旋转矩阵M_rotate(θ)，建立入射光场和反射光场的偏振特性关系：

S_out＝[M_rotate(-θ)M_reflect(θ_in,θ_re)M_rotate(θ)]S_in

某一像素点p的归一化法向量为：

其中

进一步通过计算包括每一像素点的归一化法向量的集合，获得反射光场法向量场N^polar。

步骤103：通过第一三维面形数据法向量场N^shape纠正反射光场法向量分量入射方位角

得到第一优化的反射光场法向量场N^{c polar}

示例性地，建立优化目标函数：

通过操作符B[·]对已经基于圆偏振光场纠正的反射光场法向量N^polar进行优化，同时引入平滑控制因子χ，然后基于优化的结果对仅有

不确定性法向量场N^polar进行纠正，获取第一优化的反射光场法向量场N^{c polar}：

N^{c polar}＝B(N^polar)

步骤104：通过第一三维面形数据D^shape纠正反射光场法向量相关的折射率n_m，得到第二优化的反射光场法向量场N^{r polar}

上述步骤103中反射光场法向量场经过不确定性纠正后N^{c ploar}仅仅消除了符号不确定性，因此可以进一步通过第一三维面形数据D^shape求解的法向量场Mask⊙N^shape，建立一个以旋转矩阵R为优化参数的目标函数，深度优化N^{c ploar}：

N^{c polar}＝R(N^{c polar})

基于上述第一优化的反射光场法向量场N^{c polar}并结合圆偏振光场照明模型求解入射角θ_in，最后对偏振法向量场进行更新：N^{r polar}＝N^{c polar}。进而得到第二优化的反射光场法向量场N^{r polar}，作为最终的偏振法向量场。

步骤105：基于圆偏振度和D^shape联合引导梯度积分得到第二三维面形数据D^polar

示例性地，根据三维重建过程，基于D^shape相关系数δ_corr和圆偏振度DOCP联合归一化可靠性排序，引导定义一个2D积分路径的最小生成树图形G_graph，其节点对应重建表面的每个像素点，其边缘对应梯度，每个节点均可以沿着某积分路径到达，然后根据G_graph进行梯度积分得到D^polar，其具有很高的局部分辨率，其单位为像素。

步骤106：基于标准球拟合建立异源数据的定量关系，并将D^shape和D^polar进行数据融合，得到待测物体表面的第三三维面形数据D^hh。

具体地，采用一个经检验的已知面形数据分布的标准球作为测量对象，分别用上述步骤测得其面形数据

和

通过选取测量可靠的区域的数据建立两种异源数据的比例因子s，将D^shape和D^polar统一到同一尺度的坐标系下：

Mask^shape{0,1},Mask^polar∈{0,1}

去掉冗余的数据并进行重新采样，从而得到待测物体表面的高分辨高精度三维重建数据D^hh。

图2示出了根据本发明实施例进行可调控精度的空时编码三维重建以获取第一三维面形数据D^shape的流程图。其包括如下步骤：

步骤201：获取多对空域时域不相关且受待测物体表面形状调制的立体图像序列。具体地，可以基于双目立体视觉原理，通过两台工业相机对待测物体表面进行拍摄，获取多对空域时域不相关的立体图像序列，这些图像受待测物体表面形状调制而变形。例如，可以通过调整立体图像序列的数量，以及系统三维重建参数(例如，延迟角度、偏振角度、偏振图像数量等)来适应不同复杂面形和不同几何特征物体高分辨高精度三维重建。其中，可以利用反射楔形镜调制固定模式的二元编码图形以在测量空间产生空时无关连续扫描光场。

步骤202：对立体图像序列进行二值化处理，示例性地，可以将每个序列匹配窗口内所有像素灰度值的平均值作为阈值进行二值化计算，从而得到二值立体图像序列对。

步骤203：对获取的二值立体图像序列对进行异或处理，完成对应点立体匹配，得到反映待测物体表面面形的视差图；

步骤204：根据系统的标定参数，对获得的视差图进行三维重建，得到第一三维面形数据D^shape，其表示了待测物体绝对整体形貌数据，单位为毫米。

在各种实施例中，可以采用最近邻搜索算法计算第一三维面形数据D^shape的法向量场N^shape。具体地，可以根据受待测物体调制的空时序列图像和立体匹配的双重选择标准，选取第一三维面形数据D^shape的高可靠性区域Mask；通过最近邻kNN搜索算法找出Mask区域三维点p_i＝[p_ix,p_iy,p_iz]^T邻域的点集P＝{p₁,p₂,p₃,...,p_n},p_i∈R³，对应矩阵P＝[p₁,p₂,…,p_n]^T。对点p_i，从其k邻域Q_i＝{q_i1,q_i2,q_i3,...,q_ik}(q_ik∈P且q_ik≠p_i)估算该点的法向量n_i＝[n_ix,n_iy,n_iz]^T。Q_i对应的矩阵形式为Q_i＝[q_i1,q_i2,…,q_ik]^T，

以n_i为优化变量，建立一个代价函数：

其中，

表示包含行平均向量

矩阵。进而通过对矩阵

进行主成分分解(PCA)，选取最小协方差对应的主成分求取最优的n_i，由Mask区域内所有点的n_i来构成N^shape。

以上所述，仅为本发明具体实施方式的详细说明，而非对本发明的限制。相关技术领域的技术人员在不脱离本发明的原则和范围的情况下，做出的各种替换、变型以及改进均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于反射光场偏振与空时编码的表面三维重建方法，其特征在于，所述方法包括：

对待测物体进行可调控精度的空时编码三维重建以获取第一三维面形数据D^shape，并计算其法向量场N^shape；采用圆偏振光照明待测物体表面，计算反射光场法向量场N^polar；通过第一三维面形数据法向量场N^shape纠正反射光场法向量分量入射方位角

得到第一优化的反射光场法向量场N^cpolar；通过第一三维面形数据D^shape纠正反射光场法向量相关的折射率n_m，得到第二优化的反射光场法向量场N^rpolar；基于圆偏振度和D^shape联合引导梯度积分得到第二三维面形数据D^polar；基于标准球拟合建立异源数据的定量关系，并将D^shape和D^polar进行数据融合，得到待测物体表面的第三三维面形数据D^hh。

2.根据权利要求1所述的方法，其特征在于，所述获取第一三维面形数据D^shape包括：

获取多对空域时域不相关且受待测物体表面形状调制的立体图像序列；对立体图像序列进行二值化处理，得到二值立体图像序列对；对获取的二值立体图像序列对进行异或处理，完成对应点立体匹配，得到反映待测物体表面面形的视差图；根据系统的标定参数，对获得的视差图进行三维重建，得到第一三维面形数据D^shape。

3.根据权利要求2所述的方法，其特征在于，计算第一三维面形数据D^shape的法向量场N^shape包括：

根据受待测物体调制的空时序列图像和立体匹配的双重选择标准，选取第一三维面形数据D^shape的高可靠性区域Mask；通过最近邻kNN搜索算法找出Mask区域三维点p_i＝[p_ix,p_iy,p_iz]^T邻域的点集P＝{p₁,p₂,p₃,...,p_n},p_i∈R³，对应矩阵P＝[p₁,p₂,…,p_n]^T；对点p_i，从其k邻域Q_i＝{q_i1,q_i2,q_i3,...,q_ik}(q_ik∈P且q_ik≠p_i)估算该点的法向量n_i＝[n_ix,n_iy,n_iz]^T；Q_i对应的矩阵形式为Q_i＝[q_i1,q_i2,…,q_ik]^T，

以n_i为优化变量，建立一个代价函数：

其中，

表示包含行平均向量

矩阵；进而通过对矩阵

进行主成分分解(PCA)，选取最小协方差对应的主成分求取最优的n_i，由Mask区域内所有点的n_i来构成N^shape。

4.根据权利要求3所述的方法，其特征在于，所述方法进一步包括：

将相机镜头前端的相位延迟片的延迟

设置为0度或者90度，偏振滤光片的偏振角设置为0度、45度、90度和135度，同时获取对应角度位置的4幅偏振图像；

入射光S_in＝[S₀ S₁ S₂ S₃]^T，其与x轴成夹角α，经过与快轴和x轴平行的相位延迟片后相位延迟为

其光强分布表示为：

I(α,φ)＝0.5[S₀+S₁ cos(2α)cosφ+S₂ sin(2α)cosφ-S₃ sin(2α)sinφ]

其中，S₀表示入射光的总光强；S₁表示偏振方向为0度和90度方向光强差；S₂为45度和135度方向的光强差；S₃表示左圆偏光和右旋圆偏光的光强差。

5.根据权利要求4所述的方法，其特征在于，所述方法包括：通过下列方程求解斯托克斯向量：

入射光场的线偏振度DOLP，圆偏振度DOCP以及偏振角AOP为：

6.根据权利要求5所述的方法，其特征在于，所述方法包括：

基于D^shape相关系数δ_corr和圆偏振度DOCP联合归一化可靠性排序，引导定义一个2D积分路径的最小生成树图形G_graph，其节点对应重建表面的每个像素点，其边缘对应梯度，每个节点均可以沿着某积分路径到达，然后根据G_graph进行梯度积分得到D^polar。

7.根据权利要求6所述的方法，其特征在于，所述方法包括：

采用一个经检验的已知面形数据分布的标准球作为测量对象，分别用测得其面形数据

和

通过选取测量可靠的区域的数据建立两种异源数据的比例因子s，将D^shape和D^polar统一到同一尺度的坐标系下：

去掉冗余的数据并进行重新采样，得到待测物体表面的高分辨高精度三维重建数据D^hh。

8.根据权利要求1至7任一项所述的方法，其特征在于，所述方法包括：根据待测物体表面几何特征和面形复杂度调整立体图像序列的数量以及三维重建参数。

9.一种基于反射光场偏振与空时编码的表面三维重建系统，其特征在于，所述系统包括：一个空时编码光场发生装置、一个圆偏振光发生装置、两台工业相机，以及计算装置；其中，每台工业相机包括偏振滤光片和相位延迟片；

所述计算装置用于执行前述任一项权利要求所述的方法。

10.根据权利要求9所述的系统，其特征在于，所述系统包括反射楔形镜，用于调制固定模式的二元编码图形以在测量空间产生空时无关连续扫描光场。

Images