CN100388319C - 三维主动视觉传感器的多视点姿态估计和自标定方法 - Google Patents

Abstract

本发明公开了一种三维主动视觉传感器的多视点姿态估计和自标定方法，属于三维数字成像及造型技术。所述的三维主动视觉传感器由位置相对固定的数字投影仪和摄像机组成。该方法的步骤为：采集物体纹理图像；向物体先后投射一组相互正交的条纹图，并采集相应的编码条纹图像；计算纹理图像的特征点二维坐标和编码条纹图像的相位值；利用相位到坐标的变换算法求取物体的特征点在数字投影仪的投射平面和摄像机的成像平面上的对应关系；变换视点，重复上述步骤，利用极线几何约束原理，建立优化方程，自动估计多视点位置姿态和自标定三维视觉传感器参数。该方法结果准确，且自动，特别适合于三维视觉传感器的现场多视点姿态估计和传感器参数自标定。

Description

三维主动视觉传感器的多视点姿态估计和自标定方法

技术领域

本发明涉及一种三维主动视觉传感器的多视点姿态估计和自标定方法，属于三维数字成像及造型技术。

背景技术

三维数字成像及造型(3DIM-3D Digital Imaging and Modeling)是近年来国际上活跃研究的一个新兴交叉学科领域。它被广泛的应用到反向工程，文物保护，医学诊断，工业检测以及虚拟现实等诸多方面。作为获取三维信息的主要手段之一，基于相位映射的三维主动视觉传感器具有速度快、分辨率高、非接触、和全场数据获取等优点而受到广泛关注和研究。求解传感器的运动方向，估计传感器在不同视点的位置姿态是一项重要工作。由于深度传感器的视场有限，并且受到观察方向和物体本身形状的限制，不可能一次得到描述物体形状的全部信息。在实际应用中，需要把物体放在传感器前的工作区域内，从一个视点得到描述物体形状的深度图像，然后移动传感器，在新的视点得到物体其他部分的深度信息。重复此过程，直到获得物体的全部深度信息为止。因此，准确提供各个视点的位置姿态信息是保证在统一坐标系中校准和融合多视点采集的深度图像数据的关键。

另外，在使用三维视觉传感器进行三维测量之前，传感器必须经过精确的标定以获得传感器的内部参数和传感器的结构参数。传统的标定方法自动化程度低，需要一个已知精确坐标的二维标定靶，和一个高精度的平移台沿二维标靶的垂直方向移动，以完成三维空间的标定。Hu等人(Optical Engineering，Vol.42，No.2，2003，pp487-493)和邵双运等(光学学报，Vol.25，No.2，2005，pp 203-206)都采用了该方法。对于这类方法，如果测量系统的结构参数发生变化，例如工作距离发生变化，则整个传感器必须重新进行标定，从而无法实现方便的、流动式的测量。而这对于需要经常性调整传感器位置来进行多视点测量的场合，频繁的重复标定使这样的传感器几乎很难实用。

因此，我们希望三维视觉传感器能够具有同步自动姿态估计和自动标定的功能，不再需要使用标准标定设备获取外部的三维数据。有了这样的能力，无论视觉传感器移动到任何视点，都能够自动得到该视点的姿态位置，并且自动完成标定，使三维测量可以不中断地进行下去。

近年来，对视觉传感器的自标定技术的研究受到很大关注，但这些可行方法中的多数是对被动视觉传感器标定方法(如立体视觉)和基于运动的深度感知的发展。而对基于相位映射的三维主动视觉传感器，标定方法大多是静态的人工操作，而且现有的摄像机自标定方法，如Zhang(IEEE Transactions on Robotics and Automation，Vol.12，No.1，1996，pp103-113)，也不能直接应用在三维主动视觉传感器。

可对比的技术文献有下以五篇：

[1]发明专利：申请号02156599.6

[2]发明专利：申请号200510061174.x

[3]Hu Q.，Huang P.S.，Fu Q.，et al.Calibration of a three-dimensional shape measurementsystem[J].Opt.Eng.，2003，42(2)：487-493

[4]邵双运，苏显渝，王华等.调制度测量轮廓术的系统标定.光学学报，2005，25(2)：203-206

[5]Zhang Z.，Luong Q.，Faugeras O..Motion of an uncalibrated stereo rig：self-calibration andmetric reconstruction.IEEE Transactions on Robotics and Automation，1996，12(1)：103-113

发明内容

本发明的目的在于提供一种三维主动视觉传感器的多视点姿态估计和自标定方法，该方法能够提高三维主动视觉传感器的多视点姿态估计的精度及同步自标定传感器参数，改善和提高了三维主动视觉传感器的实用性。

本发明是通过以下技术方案加以实现的：一种三维主动视觉传感器的多视点姿态估计和自标定方法，所述的视觉传感器是由数字投影仪和摄像机组成，它们位置相对固定，在测量范围内对放置物体进行测量，其特征在于包括以下步骤：

1.传感器在V₁视点位置上，顺序进行如下投射和采集过程：

1)由摄像机采集被测物体的纹理图像，并存储到计算机中；

2)由计算机生成一组竖直条纹图像，用数字投影仪向被测物体投射，由于物体的深度变化导致编码条纹图像的产生，由摄像机采集竖直编码条纹图像，并存储到计算机中，然后通过条纹自动分析技术，解码获得物体的相对相位图像；

3)由计算机生成一幅位于图像的横向中心处且只有一条竖直线的图像，用数字投影仪将该图像投射到被测物体表面，并用摄像机采集后存储到计算机中，通过这条辅助的竖直中心线，将相对相位图像转换为绝对相位图像；

4)将竖直条纹图像，旋转90度成水平条纹图像，再由数字投影仪向被测物体投射，摄像机采集该水平编码条纹图像，存储到计算机中；

5)同样，将竖直中心线图像，旋转90度成水平中心线图像，用数字投影仪将该图像投射到被测物体表面，并用摄像机采集后存储到计算机中；

2.对步骤1得到的物体的纹理图像、竖直编码条纹图像、竖直中心线图像、水平编码条纹图像以及水平中心线图像，进行如下处理：

1)对纹理图像进行特征分析：提取物体特征点M的二维图像坐标，即特征点M在摄像机成像平面上的坐标(u，v)；

2)对竖直编码条纹图像进行条纹自动分析：用FFT方法从变形条纹图中解调出主值范围内相位函数，然后用相位展开算法提取展开相位图Φ_u；

3)对竖直中心线图像进行特征分析：对图像二值化后，提取中心线所占的二维图像坐标；

4)利用相位到坐标的变换算法，得到特征点在投影仪投射平面上的横向坐标，该算法为：先将竖直条纹图像的展开相位图Φu结合竖直中心线图像，变换为绝对相位图Φ_a， ${\mathrm{\Φ}}_a(x,y)={\mathrm{\Φ}}_u(x,y)-{\mathrm{\Φ}}_u^k(i,j),$ 其中Φ_u ^k(i，j)为中心线所在象素位置(i，j)的相位值；然后，得到任意特征点M在投影平面上的对应位置的横坐标u′， $u^{\′}=\frac{{\mathrm{\Φ}}_a^M(u,v)}{2\mathrm{\π}}p,$ 其中Φ_a ^M(u，v)为特征点M的绝对相位，p是投射条纹的空间周期；

5)同理，重复本步骤的2)、3)、4)过程，处理水平编码条纹图像以及水平中心线图像，得到任意特征点M在投影平面上的对应位置的纵坐标v′， $v^{\′}=\frac{{\mathrm{\Φ}}_a^M(u,v)}{2\mathrm{\π}}p,$ 此处的Φ_a ^M(u，v)通过处理水平编码条纹图像以及水平中心线图像得到；

6)至此，得到物体上任意特征点M在成像平面和投影平面上的对应坐标(u，v)和(u′，v′)，为利用极线几何约束，作好数据的初始化准备；

3.在传感器测量范围内，且确保与前一个视点采集的图像有重合区域的前题下，自由移动传感器到新的视点V₂，对物体进行投射和采集过程，重复步骤1和步骤2，在视点V₂下，得到物体上任意特征点M在成像平面和投影平面上的对应坐标(u2，v2)和(u2′，v2′)；

4.两个视点V₁和V₂，共有摄像机的2个成像平面，投影仪的2个投射平面，则空间任意点在4个平面上都有对应点，利用极线几何约束，即以极线方程： ${\tilde{m}}_2^{T}F{\tilde{m}}_1=0,$ 其中

和是成像平面和投影平面上的对应点的齐次坐标表示，F称为基本矩阵， $F=K_p^{-T}{\left[t\right]}_{x}R{K}_c^{-1},$ 在考虑数据噪声影响下建立优化方程：

$\underset{\mathrm{Kc},\mathrm{Kp},R^{*},t^{*},R_i,t_i}{\min }\left[\underset{j=1}{\overset{p}{\mathrm{\Σ}}}\left[\begin{array}{c}{\left({\tilde{m}}_{2j}^T{F}_{12}{\tilde{m}}_{1j}\right)}^2+{\left({\tilde{m}}_{3j}^T{F}_{13}{\tilde{m}}_{1j}\right)}^2+{\left({\tilde{m}}_{4j}^T{F}_{14}{\tilde{m}}_{1j}\right)}^2\\ +{\left({\tilde{m}}_{3j}^T{F}_{23}{\tilde{m}}_{2j}\right)}^2+{\left({\tilde{m}}_{4j}^T{F}_{24}{\tilde{m}}_{2j}\right)}^2+{\left({\tilde{m}}_{4j}^T{F}_{34}{\tilde{m}}_{3j}\right)}^2\end{array}\right]\right],$ 其中p表示特征点的个数，F₁₂，F₁₃，F₁₄，F₂₃，F₂₄，F₃₄表示两两平面之间的基本矩阵，

是对应点的齐次坐标表示，得到两个视点分别相对于物体坐标系的姿态位置(R₁，t₁)和(R₂，t₂)，传感器的内部参数(K_c，K_p)，以及传感器的结构参数(R^＊，t^＊)，其中求解K_c，K_p，R^＊，t^＊称为传感器参数的自标定，求解(R₁，t₁)和(R₂，t₂)称为视点姿态估计；

5.将多视点位置姿态进行存储，用于后续的多视点深度图像匹配及合成使用。

本发明的优点是：本发明首次将极线几何约束原理，应用到基于相位映射的三维主动视觉传感器的多视点姿态估计和同步自动标定传感器参数的研究上。提出了“相位-坐标”的变换方法，利用投射正交的条纹图像，快速寻找成像平面和投影平面上的对应点。在此基础上将极线约束应用于主动三维视觉传感器，建立了优化方程的数学模型，求解传感器在多视点运动姿态和三维传感器结构参数。本方法不需要辅助标定设备，可以提高标定效率，特别适合于三维视觉传感器的现场多视点姿态估计和自标定传感器参数。另外，该方法对诸如复杂物体的自动化检验、机器人定位等领域的应用都有重要意义。

附图说明

图1是实现本发明方法的三维主动视觉传感器布置示意图。图中，101为数字投影仪，103为摄像机，102为数字投影仪101的投影镜的出瞳P，104为摄像机103的成像透镜的入瞳E，调节杆105用来调节摄像机103的高度和角度，106为计算机。

图2是在立体视觉里极线几何约束图。

图3是竖直条纹图像。

图4是水平条纹图像。

图5是竖直中心线图像。

图6是水平中心线图像。

图7实例纹理图像。

图8是两个视点对物体进行测量的示意图。图中V₁和V₂表示两个视点，在第一个视点V₁，摄像机和投影仪的成像平面和投影平面分别为I₁，I₂，在第二个视点V₂，相应的成像平面和投影平面为I₃，I₄。C₁和C₃表示摄像机的入瞳，C₂和C₄表示投影仪的出瞳，m_i(i＝1，...，4)，表示空间点M在4个平面上的对应点。(R^＊t^＊)表示摄像机与投影仪之间的传感器结构参数，(R_lt_l)表示深度传感器由视点V₁变换到视点V₂时，摄像机的位置变换，(R_rt_r)表示深度传感器由视点V₁变换到视点V₂时，投影仪的位置变换。

图9视点V₁的采集得到的点云图像(深度图像)。

图10视点V₂的采集得到的点云图像(深度图像)。

图11为变换到同一个坐标系下，匹配后的网格图像。

具体实施方式

下面对本发明方法做进一步详细说明。极线约束是立体视觉的重要原理之一。但是它不能直接应用到主动视觉传感器。本发明首次将极线几何约束原理，应用到基于相位映射的三维主动视觉传感器的多视点姿态估计和同步自动标定传感器参数上。如图2所示，在双目立体视觉里极线几何约束的图示。当两个摄像机同时对物体拍摄时，获得图像I₁和I₂。如果m₁和m₂是空间一点M在两图像上的投影点，称m₁和m₂为对应点。令C₁和C₂分别是两个摄像机的光心，点m₂在线l₂上，称l₂为在图像I₂上对应于点m₁(位于图像I₁上)的极线。点m₁在线l₁上，称l₁为图像I₁上对应于点m₂的极线。令(Rt)为第二个摄像机相对于第一摄像机的位置变换，K₁，K₂分别为两摄像机的内参矩阵，R，K₁，K₂是3×3的矩阵，t是3×1的矩阵。由针孔模型推出

${\tilde{m}}_2^{T}F{\tilde{m}}_1=0---\left(1\right)$

$F=K_2^{-T}{\left[t\right]}_x{\mathrm{RK}}_1^{-1}---\left(2\right)$

公式(1)称为极线方程。和

是对应点m₁和m₂的齐次表示。m₁的极线l₂表示为 $l_2=F{\tilde{m}}_1=(\mathrm{\α},\mathrm{\β},\mathrm{\γ}),$ m₂的极线l₁表示为 $l_1=F^T{\tilde{m}}_2.$ 可以看出，只要知道空间任意点在两个摄像机成像平面上的对应点，就可以利用极线几何约束求出两个摄像机的内部参数K₁，K₂和两个摄像机的相对姿态位置Rt。

相位到坐标的变换：因为投影仪的投射过程是摄像机的成像过程的逆过程，因此，我们可以将极线几何约束原理应用到三维主动视觉传感器。而空间任意点在投影仪的投射平面和摄像机的成像平面上的对应点，可以通过相位到坐标的变换方法求出。我们利用5幅图像(物体的纹理图像，竖直编码条纹图像，竖直中心线图像，水平编码条纹图像以及水平中心线图像)，就可以确定出空间任意点在投影仪的投射平面和摄像机的成像平面上的对应点。

纹理图像提供物体上特征点的二维图像坐标(u，v)。由竖直编码条纹图像和竖直中心线图像，计算绝对相位图像Φ_a， ${\mathrm{\Φ}}_a(x,y)={\mathrm{\Φ}}_u(x,y)-{\mathrm{\Φ}}_u^k(i,j),$ 进而得到特征点在投影仪投射平面上的横坐标u′， $u^{\′}=\frac{{\mathrm{\Φ}}_a^M(u,v)}{2\mathrm{\π}}p.$ 同理，由水平编码条纹图像和水平中心线图像，再次计算绝对相位图像Φ_a，进而得到特征点在投影仪投射平面上的纵坐标v′。从而得到空间任意点在投影仪的投射平面和摄像机的成像平面上的对应点(u，v)和(u′，v′)。

多视点姿态估计和自标定：K_cK_p，摄像机和投影仪的内部参数；R^＊t^＊，摄像机和投影仪的相对位置关系；R_it_i，各个视点的运动参数。如图8，以两个视点为例。共有摄像机的2个成像平面，投影仪的2个投射平面。则空间任意点在4个平面上都有对应点，可以利用极线几何约束，在任意两个平面间的建立优化方程

$\underset{\mathrm{Kc},\mathrm{Kp},R^{*},t^{*},R,t}{\min }\left[\underset{j=1}{\overset{p}{\mathrm{\Σ}}}{\left({\tilde{m}}_{2j}^T{F}_{12}{\tilde{m}}_{1j}\right)}^2\right]---\left(3\right)$

将4幅图像，两两组合后，6个优化方程(3)累加到一起组成方程组，用Levenberg-Marquart(LM)优化方法求解。可以得到每一个视点位置的姿态位置和传感器的参数。

本发明方法的具体步骤如下：

以实物(如图7)为例，在两个视点进行采集。求解出视点的姿态位置，同时标定传感器参数。

1.传感器在第1个视点位置上，顺序操作如下投射，采集过程：

1)由摄像机采集被测物体的纹理图像，并存储到计算机中(如图7)；

2)由计算机生成一组竖直条纹图案(如图3)。用数字投影仪向被测物体投射，由于物体的深度变化导致编码条纹图像的产生，由摄像机采集竖直编码条纹图，并存储到计算机中。然后通过条纹自动分析技术解码可以获得物体的相对相位图像；

3)由计算机生成一幅位于图像的横向中心处且只有一条竖直线的图像(如图5)。用数字投影仪将该图像投射到被测物体表面，并用摄像机采集后存储到计算机中。通过这条辅助的中心线，将相对相位图像转换为绝对相位图像；

4)将竖直的条纹图案，旋转90度成水平，即正交方向(如图4)。再由数字投影仪向被测物体投射，摄像机采集水平编码条纹图像，存储到计算机中；

5)同样，将竖直中心线图像，旋转90度成水平中心线图像(如图6)。用数字投影仪将该图像投射到被测物体表面，并用摄像机采集后存储到计算机中；

2.对步骤1得到的物体的纹理图像，竖直编码条纹图像，竖直中心线图像，水平编码条纹图像以及水平中心线图像，然后对图像进行处理：

1)对纹理图像进行特征分析：提取物体特征点M的二维图像坐标，即特征点M在摄像机成像平面上的坐标(u，v)；

2)对竖直编码条纹图像进行条纹自动分析：用FFT方法从变形条纹图中解调出主值范围内相位函数，然后用相位展开算法提取展开相位图Φ_u；

3)对竖直中心线图像进行特征分析：对图像二值化后，提取中心线所占的二维图像坐标；

4)利用相位到坐标的变换算法，得到特征点在投影仪投射平面上的横向坐标。该算法为：先将竖直条纹图像的展开相位图Φ_u结合竖直中心线图像，变换为绝对相位图Φ_a， ${\mathrm{\Φ}}_a(x,y)={\mathrm{\Φ}}_u(x,y)-{\mathrm{\Φ}}_u^k(i,j),$ Φ_u ^k(i，j)为中心线所在象素位置(i，j)的相位值。然后，可以得到任意特征点M在投影平面上的对应位置的横坐标u′， $u^{\′}=\frac{{\mathrm{\Φ}}_a^M(u,v)}{2\mathrm{\π}}p,$ 其中Φ_a ^M(u，v)为特征点M的绝对相位，p是投射条纹的空间周期；

5)同理，重复本步骤的2)、3)、4)过程，处理水平相位图和水平中心线，可以得到任意特征点M在投影平面上的对应位置的纵坐标v′， $v^{\′}=\frac{{\mathrm{\Φ}}_a^M(u,v)}{2\mathrm{\π}}p,$ 此处的Φ_a ^M(u，v)通过处理水平编码条纹图以及水平中心线图像得到；

6)至此，得到物体上任意特征点M在成像平面和投影平面上的对应坐标(u，v)和(u′，v′)，为利用极线几何约束，作好数据的初始化准备；

3.在传感器测量范围内，且确保与前一个视点采集的图像有重合区域的前题下，自由移动传感器到新的视点V₂并对物体进行采集，重复步骤1和步骤2得到新的视点下，特征点在成像平面和投影平面上的对应坐标(u2，v2)和(u2′，v2′)；

4.两个视点，共有摄像机的2个成像平面，投影仪的2个投射平面。则空间任意点在4个平面上都有对应点，利用极线几何约束，建立优化方程

$\underset{\mathrm{Kc},\mathrm{Kp},R^{*},t^{*},R_i,t_i}{\min }\left[\underset{j=1}{\overset{p}{\mathrm{\Σ}}}\left[\begin{array}{c}{\left({\tilde{m}}_{2j}^T{F}_{12}{\tilde{m}}_{1j}\right)}^2+{\left({\tilde{m}}_{3j}^T{F}_{13}{\tilde{m}}_{1j}\right)}^2+{\left({\tilde{m}}_{4j}^T{F}_{14}{\tilde{m}}_{1j}\right)}^2\\ +{\left({\tilde{m}}_{3j}^T{F}_{23}{\tilde{m}}_{2j}\right)}^2+{\left({\tilde{m}}_{4j}^T{F}_{24}{\tilde{m}}_{2j}\right)}^2+{\left({\tilde{m}}_{4j}^T{F}_{34}{\tilde{m}}_{3j}\right)}^2\end{array}\right]\right]---\left(4\right)$

(其中p表示特征点的个数，F₁₂，F₁₃，F₁₄，F₂₃，F₂₄，F₃₄表示两两平面之间的基本矩阵，

是对应点的齐次坐标表示)，得到两个视点分别相对于物体坐标系的姿态位置(R₁，t₁)和(R₂，t₂)，传感器的内部参数(K_c，K_p)，以及传感器的结构参数(R^＊，t^＊)。

5.存储两个视点位置姿态，以备后续的多视点深度图像匹配及合成使用。

实施例

实际设计的三维视觉传感器的结构如图1所示。101为数字投影仪，103为摄像机。102为数字投影仪101的投影镜的出瞳P，104为摄像机103的成像透镜的入瞳E。调节杆105用来调节摄像机103的高度和角度，106为计算机。

按照上面叙述的步骤，在两个视点对实物(如图7)进行采集。求解出视点的姿态位置，同时标定传感器参数。

标定的结果为：

(1)摄像机的内部参数： $K_c=\left(\begin{array}{ccc}3564.36& -5.99209& 252.127\\ 0& 3552.63& 229.525\\ 0& 0& 1\end{array}\right)\mathrm{pixel}$

投影仪的内部参数： $K_p=\left(\begin{array}{ccc}3044.83& -5.30216& 366.425\\ 0& 3023.41& 176.327\\ 0& 0& 1\end{array}\right)\mathrm{pixel}$

投影仪和摄像机之间的传感器结构参数

$R^{*}=\left(\begin{array}{ccc}0.9896& 0.0117& 0.1437\\ -0.0032& 1& -0.0585\\ -0.1434& -0.0524& 0.9880\end{array}\right)$ $t^{*}=\left(\begin{array}{c}-15.0004\\ 40.366\\ 0.085\end{array}\right)$

(2)视点1的姿态位置为

$R_1=\left(\begin{array}{ccc}0.991861& -0.0128653& 0.126676\\ -0.00945275& -0.999577& -0.0275033\\ 0.126977& 0.026082& -0.991563\end{array}\right)$ $t_1=\left(\begin{array}{c}-26.3503\\ -43.8632\\ 1277.3\end{array}\right)$

视点2的姿态位置为

$R_2=\left(\begin{array}{ccc}0.999781& -0.0118122& -0.017255\\ -0.0123243& -0.999478& -0.0298786\\ -0.0168931& 0.0300847& -0.999405\end{array}\right)$ $t_2=\left(\begin{array}{c}-52.1421\\ -41.2982\\ 1332.25\end{array}\right)$

(3)设定一个精确的三维标定参照物，检验标定的结果。在x，y，z三个方向的误差标准差分别为0.0927mm，0.0750mm和0.2562mm。

(4)对一个真实物体在两个视点测量，利用求得的视点姿态，将两个视点的图像，变换到同一坐标系内。图9和图10分别为两个视点的采集得到的点云图像(深度图像)。图11为变换到同一个坐标系下，匹配后的网格图像。

Claims (1)

1.一种三维主动视觉传感器的多视点姿态估计和自标定方法，所述的视觉传感器是由数字投影仪和摄像机组成，它们位置相对固定，在测量范围内对放置物体进行测量，其特征在于包括以下步骤：

1)在V₁视点位置上，顺序进行如下投射和采集过程：

(1)摄像机采集被测物体的纹理图像，并存储到计算机中；

(2)由计算机生成一组竖直条纹图像，用数字投影仪向被测物体投射，由于物体的深度变化导致编码条纹图像的产生，由摄像机采集竖直编码条纹图像，并存储到计算机中，然后通过条纹自动分析技术，解码获得物体的相对相位图像；

(3)由计算机生成一幅位于图像的横向中心处且只有一条竖直线的图像，用数字投影仪将该图像投射到被测物体表面，并用摄像机采集后存储到计算机中，通过这条辅助的竖直中心线，将相对相位图像转换为绝对相位图像；

(4)将竖直条纹图像，旋转90度成水平条纹图像，再由数字投影仪向被测物体投射，摄像机采集该水平编码条纹图像，存储到计算机中；

(5)同样，将竖直中心线图像，旋转90度成水平中心线图像，用数字投影仪将该图像投射到被测物体表面，并用摄像机采集后存储到计算机中；

2)对步骤1)得到的物体的纹理图像、竖直编码条纹图像、竖直中心线图像、水平编码条纹图像以及水平中心线图像，进行如下处理：

(1)对纹理图像进行特征分析：提取物体特征点M的二维图像坐标，即特征点M在摄像机成像平面上的坐标(u，v)；

(2)对竖直编码条纹图像进行条纹自动分析：用FFT方法从变形条纹图中解调出主值范围内相位函数，然后用相位展开算法提取展开相位图Φ_u；

(3)对竖直中心线图像进行特征分析：对图像二值化后，提取中心线所占的二维图像坐标；

(4)利用相位到坐标的变换算法，得到特征点在投影仪投射平面上的横向坐标，该算法为：先将竖直条纹图像的展开相位图Φ_u结合竖直中心线图像，变换为绝对相位图Φ_a， ${\mathrm{\Φ}}_a(x,y)={\mathrm{\Φ}}_u(x,y)-{\mathrm{\Φ}}_u^k(i,j),$ 其中Φ_u ^k(i，j)为中心线所在象素位置(i，j)的相位值；然后，得到任意特征点M在投影平面上的对应位置的横坐标u′， $u^{\′}=\frac{{\mathrm{\Φ}}_a^M(u,v)}{2\mathrm{\π}}p,$

其中Φ_a ^M(u，v)为特征点M的绝对相位，p是投射条纹的空间周期；

(5)同理，重复本步骤的(2)、(3)、(4)过程，处理水平编码条纹图以及水平中心线图像，得到任意特征点M在投影平面上的对应位置的纵坐标v′， $v^{\′}=\frac{{\mathrm{\Φ}}_a^M(u,v)}{2\mathrm{\π}}p,$ 此处的Φ_a ^M(u，v)通过处理水平编码条纹图以及水平中心线图像得到；

(6)至此，得到物体上任意特征点M在成像平面和投影平面上的对应坐标(u，v)和(u′，v′)，为利用极线几何约束，作好数据的初始化准备；

3)在传感器测量范围内，且确保与前一个视点采集的图像有重合区域的前题下，自由移动传感器到新的视点V₂，对物体进行投射和采集过程，重复步骤1)和步骤2)，在视点V₂下，得到物体上任意特征点M在成像平面和投影平面上的对应坐标(u2，v2)和(u2′，v2′)；

4)两个视点V₁和V₂，共有摄像机的2个成像平面，投影仪的2个投射平面，则空间任意点在4个平面上都有对应点，利用极线几何约束，即以极线方程： ${\tilde{m}}_2^{T}F\widetilde{m_1}=0$ ，其中和

是成像平面和投影平面上的对应点的齐次坐标表示，F称为基本矩阵， $F=K_p^{-T}[t{]}_{x}R{K}_c^{-1},$ 在考虑数据噪声影响下建立优化方程： $\underset{\mathrm{Kc},\mathrm{Kp},R^{*},t^{*},R_i,t_i}{\min }[\underset{j=1}{\overset{p}{\mathrm{\Σ}}}\left[\begin{array}{c}{\left({\tilde{m}}_{2j}^T{F}_{12}{\tilde{m}}_{1j}\right)}^2+{\left({\tilde{m}}_{3j}^T{F}_{13}{\tilde{m}}_{1j}\right)}^2+{\left({\tilde{m}}_{4j}^T{F}_{14}{\tilde{m}}_{1j}\right)}^2\\ +{\left({\tilde{m}}_{3j}^T{F}_{23}{\tilde{m}}_{2j}\right)}^2+{\left({\tilde{m}}_{4j}^T{F}_{24}{\tilde{m}}_{2j}\right)}^2+{\left({\tilde{m}}_{4j}^T{F}_{34}{\tilde{m}}_{3j}\right)}^2\end{array}]\right],$ 其中p表示特征点的个数，F₁₂，F₁₃，F₁₄，F₂₃，F₂₄，F₃₄表示两两平面之间的基本矩阵，

是对应点的齐次

坐标表示，得到两个视点分别相对于物体坐标系的姿态位置(R₁，t₁)和(R₂，t₂)，传感器的内部参数(K_c，K_p)，以及传感器的结构参数(R^＊，t^＊)，其中求解K_c，K_p，R^＊，t^＊称为传感器参数的自标定，求解(R₁，t₁)和(R₂，t₂)称为视点姿态估计；

5)将多视点位置姿态进行存储，用于后续的多视点深度图像匹配及合成使用。

Images