CN100370220C

CN100370220C - 结构光三维系统相对参数的单图像自定标方法

Info

Publication number: CN100370220C
Application number: CNB200510061174XA
Authority: CN
Inventors: 陈胜勇; 李友福; 王万良; 杨旭华; 徐新黎
Original assignee: Zhejiang University of Technology ZJUT
Current assignee: Zhejiang University of Technology ZJUT
Priority date: 2005-10-19
Filing date: 2005-10-19
Publication date: 2008-02-20
Anticipated expiration: 2025-10-19
Also published as: CN1746615A

Abstract

本发明公开了一种结构光三维系统相对参数的单图像自定标方法。针对摄像机和投影仪的内部参数已知而具有五个未定参数以描述组件相对关系的结构光视觉系统，通过获取一幅场景图像，提取定标数据(x_c，y_c)和(x_p，y_p)，建立定标数据矩阵A，得到形式解e的三个未知系数，确定规范化相对平移位置[t_x t_y t_z]^T的所有可能解；再通过重投影法得到唯一正确解，并确定旋转矩阵R。该方法只需要获取单幅场景图像(现有的方法都需要获取多个不同位置的图像)，因此可用于视觉系统动态定标或主动视觉系统领域，系统即使在动态环境下改变了视觉系统结构也无需用户干预，也能自行在短时间内重新找到三维重建所需的本身参数，同时进行定标工作和三维数据测量工作。

Description

结构光三维系统相对参数的单图像自定标方法

(一)技术领域

本发明涉及一种基于三维计算机视觉的测量理论和定标方法，尤其是一种结构光三维系统相对参数的单图像自定标方法。

(二)背景技术

基于计算机视觉的三维测量技术，典型的应用包括制造工业中的工件检测、场景深度感知、物体识别以及逆向工程、人体测量、质量控制、文物艺术品制作复原及保护等各种领域。

基于计算机视觉的三维测量技术，由于采用非接触式光学扫描，除覆盖接触式扫描的适用范围之外，可以用于对柔软、易碎物体的扫描以及难于接触或不允许接触扫描的场合，因此在相关领域将被广泛应用。实现时，双目立体视觉是一种常见的方法，它从二个或多个视点来得到场景图像并建立点对点匹配关系从而确定三维位置参数。如果摄像机事先已被标定，这种三角测量方法是可行的(虽然有一定的精度和可靠性限制)。然而，当考虑极线约束问题时，这种图像点之间的正确匹配实际上有很大的困难。这些问题在很大程度上限制了双目立体视觉的实际应用范围。一些单目视觉的方法(如Shape-from-Shading)则精度和可靠性很差，实际工业应用更加不现实。另外，一些其它的激光深度感知和三目视觉等方法也有设备昂贵、工作效率低、结构复杂等缺点。

如果采用彩色结构光三维视觉系统，则可以达到较高的测量速度、测量精度和较低的设备成本。其原理是把立体视觉一个摄像机用模式投射仪来代替。该投射仪发出一组可编码的能量模板并投射到物体表面上，另一个接受器(摄像机)探测到经物体表面反射的能量后即可利用三角形原理进行三维重构。简单地，用一个LCD视频投影机和一个CCD摄像机就可以组成这样的一个系统。这两个组件可以分别安置在机器人的两个机械臂上，或者安装在一个专用平台上，它们的相对摆放位置可以调节以更好地感知不同位置和大小的目标。相比双目立体视觉，由于这个外部的投射装置被用来主动地发出某种能量，也就是说它们是以特定的方式来探测场景而不是被动地依靠自然光能，所以其视觉过程基本上不存在匹配歧义问题，可以直接得到物体的外形信息，而且可靠性好精度比较高。

在实际使用结构光系统进行三维测量之前，系统必须经过非常仔细地定标以获取摄像机的内部参数(如焦距、比例因子、畸变系数)和外部参数(两个组件的位置和方向)。定标任务以前是人工操作静态地完成的。例如，用一个定标物体或者设备带有高精度的定标固定装置，这个装置可以提供一系列已知的准确的世界坐标点。使用平面定标模板时，需要把目标放在视觉传感器前面几个精确已知的不同位置。在用这种传统方式时，如果视觉传感器移动了或者摄像机和投影仪的相对摆放位置改变了，整个系统必须重新进行定标。频繁的重复定标使这样的系统使用起来非常费力和麻烦。在一些未知环境中工作时，比如水下作业的探测机器人，视觉系统位置和配置的变动是必需的。

因此，我们希望视觉系统具有自动重定标的功能，不再需要使用标准定标设备获取外部的三维数据。有了这样的能力，无论视觉传感器怎样移动，摄像机和投影仪的相对摆放位置怎样改变，视觉系统都能够自动地进行重定标，使三维测量可以不中断地进行下去。

在过去十年里，对视觉传感器的自定标技术的研究一直非常积极，但这些可行方法中的多数是对被动视觉系统定标方法如立体视觉和基于运动的深度感知的发展。而对基于结构光的主动视觉系统，定标方法大多仍然是基于静态的人工操作。由于视觉传感器在定标过程中不能通过移动捕获两个以上的视图，现有的摄像机自定标方法不能直接应用在结构光系统。

因此，由于种种原因，现有结构光定标方法存在技术偏见：大多只能用于静态物体的三维重建；且它们不能达到快速三维重构的要求：单幅图像时间内完成光投射、图像获取、系统定标和三维测量。

(三)发明内容

为了克服已有的结构光三维系统参数的定标方法数据获取速度慢、不能实现自动重定标、效率低的不足，本发明提供一种采用非接触式光学扫描，数据获取速度快、能实现自动重定标、实现效率高的结构光三维系统相对参数的单图像自定标方法。

本发明解决其技术问题所采用的技术方案是：

一种结构光三维系统相对参数的单图像自定标方法，该方法包括以下步骤：(1)、在彩色结构光三维视觉系统中，通过摄像机获取一幅图像，提取定标数据(x_c，y_c)和(x_p，y_p)，(x_c，y_c)是摄像机传感器上的坐标，(x_p，y_p)是投影仪上的坐标，建立定标数据矩阵A；(2)、如果计算矩阵A的秩不为6，返回到(1)，如果矩阵A的秩为6，进入下一步；(3)、对矩阵A进行奇异值分解，获得其分解后左正交矩阵中与最小特征值对应的三个向量g₁，g₂和g₃；(4)、建立三维系统参数通解形式，如式(1)：

f＝τ₁g₁+τ₂g₂+τ₃g₃， (1)

其中τ₁，τ₂和τ₃是实数，g_i是9维向量，[g₁；g₂；g₃]是矩阵A的基；

(5)、建立三维系统参数求解方程，如式(2)、(3)：

令向量e＝[τ₁ τ₂ τ₃]^T，并设

M＝[g₁g₂g₃]＝[M₁ ^T，M₂ ^T，M₃ ^T]^T，(2)

其中M₁，M₂和M₃是三个3×3矩阵，每一个表示M里的三行。则有

F^{T} F = [\begin{matrix} e^{T} M_{u}^{T} M_{u} e & e^{T} M_{u}^{T} M_{m} e & e^{T} M_{u}^{T} M_{l} e \\ e^{T} M_{m}^{T} M_{u} e & e^{T} M_{m}^{T} M_{m} e & e^{T} M_{m}^{T} M_{l} e \\ e^{T} M_{l}^{T} M_{u} e & e^{T} M_{l}^{T} M_{m} e & e^{T} M_{l}^{T} M_{l} e \end{matrix}] = [\begin{matrix} 1 - t_{x}^{2} & - t_{x} t_{y} & - t_{x} t_{z} \\ - t_{x} t_{y} & 1 - t_{y}^{2} & - t_{y} t_{z} \\ - t_{x} t_{z} & - t_{y} t_{z} & 1 - t_{z}^{2} \end{matrix}] - - - (3);

上式中，F是一个3×3基础矩阵，M_u，M_m和M_l分别表示上、中、下三个子矩阵，t_x t_y t_z是表示相对平移位置量；

(6)、从方程(3)中，可以得到：

\{\begin{matrix} e^{T} M_{u}^{T} M_{u} e + t_{x}^{2} = 1 \\ e^{T} M_{m}^{T} M_{m} e + t_{y}^{2} = 1 \\ e^{T} M_{l}^{T} M_{l} e + t_{z}^{2} = 1 \end{matrix}

和

\{\begin{matrix} e^{T} M_{u}^{T} M_{m} e = - t_{x} t_{y} \\ e^{T} M_{u}^{T} M_{l} e = - t_{x} t_{z} \\ e^{T} M_{m}^{T} M_{l} e = - t_{y} t_{z} \end{matrix} - - - (4)

解上式(4)可以得到e的三个未知量，并且可以确定规范化相对平移位置[t_x t_y t_z]^T；

(7)、用重投影的方法得到正解，并确定旋转矩阵R和规范化相对平移位置[t_x t_y t_z]^T共5个独立相对参数，从而完成结构光三维系统相对参数的单图像自定标过程。

本发明的工作原理是：结构光视觉系统由一个把光图案投射到场景中的投影仪和一台检测物体表面颜色的摄像机组成，其系统定标的传统方法和立体视觉里的相似，把具有已知世界坐标的目标放在若干个不同的位置，使我们分别定标得到摄像机和投影仪的两个透视转换矩阵(PTM)，P_c和P_p。三维重建的方法也和立体视觉中的相似。

具体地，我们可以将系统的全部定标过程分为两部分。第一部分涉及到内部参数的定标，称为静态定标。第二部分处理相对摆放位置的外部参数的定标，称为自动重定标。静态定标只需进行一次。自动定标更为重要，也是发明的内容。

只要摄像机和投影仪相对于世界坐标系的透视投影矩阵从静态定标中计算出来，就能得到P_c和P_p。然后，用于计算物点三维坐标的三角测量只要通过方程计算。因此，动态自定标的任务就是确定摄像机和投影仪之间的关系矩阵，包括一个旋转矩阵R(3个未知参数)、一个平移矩阵S(2个未知参数)和一个比例因子s。通常情况下可以设比例因子为1.0，这样关系矩阵中包括5个未知参数：

F＝sRS， (5)

其中F是一个3×3矩阵。对物体表面上的一个点，我们知道它在摄像机传感器平面上的坐标x_c和投影仪源平面上的坐标x_p通过下面得方程联系起来：

x_{p}^{T} F x_{c} = 0, - - - (6)

可以进一步改写为：

Af = [\begin{matrix} 1 & x_{c, 1} & y_{c, 1} & x_{p, 1} & y_{p, 1} & x_{c, 1} x_{c, 1} & x_{c, 1} y_{p, 1} & x_{c, 1} & y_{c, 1} y_{p, 1} \\ 1 & x_{c, 2} & y_{c, 2} & x_{p, 2} & y_{p, 2} & x_{c, 2} x_{c, 2} & x_{c, 2} y_{p, 2} & x_{c, 2} & y_{c, 2} y_{p, 2} \\ \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot & \cdot \cdot \cdot \\ 1 & x_{c, n} & y_{c, n} & x_{p, n} & y_{p, n} & x_{c, n} x_{c, n} & x_{c, n} y_{p, n} & x_{c, n} & y_{c, n} y_{p, n} \end{matrix}] f = 0, - - - (7)

式中，(x_c，y_c)是摄像机传感器上的坐标，(x_p，y_p)是投影仪上的坐标，f向量是F的列排列，A为定标数据矩阵。

显然，重定标任务决定于在R和t中的5个独立参数，本发明对其求解采用如下的技术方法。

本发明用于结构光视觉系统的具有五个未知参数的自定标方法。

如果摄像机和投影仪的内部参数已知，我们把这种方法称为重定标，因为只着眼于确定相对外部参数。不过，可以延伸到更一般的情况，只要系统中的未知量总数不超过五。该方法只需要获取单幅场景图像(以往的自定标方法都需要获取多个不同位置的图像)，因此可以用于视觉系统动态定标或主动视觉系统领域，其高速的扫描使得用户在很短时间内得到所需的三维数据。

本发明的有益效果主要表现在：1、由于采用非接触式光学扫描，数据获取速度快，可以排除许多物理方面的限制，适用应用范围广泛；2、只需获取单幅图像即可完成系统定标和三维测量，实现效率高；3、适用于结构光视觉系统具有五个未知参数的自定标方法，允许系统配置在任意五个自由度范围内的改变，通常是摄像机和投影仪的内部参数已知而只着眼于确定相对外部参数；4、适用于动态视觉系统或者动态环境的定标；5、本发明所述的方法其定标精度一般在1％以内。

(四)附图说明

图1是基于编码结构光的实现示意图。

(五)具体实施方式

下面结合附图对本发明作进一步描述。

参照图1，一种结构光三维系统相对参数的单图像自定标方法，该方法包括以下步骤：

(1)、在彩色结构光三维视觉系统中，通过摄像机2获取一幅图像，提取定标数据(x_c，y_c)和(x_p，y_p)，(x_c，y_c)是摄像机传感器上的坐标，(x_p，y_p)是投影仪上的坐标，建立定标数据矩阵A；

(2)、如果计算矩阵A的秩不为6，返回到(1)，如果矩阵A的秩为6，进入下一步；

(3)、对矩阵A进行奇异值分解，获得其分解后左正交矩阵中与最小特征值对应的三个向量g₁，g₂和g₃；

(4)、建立三维系统相对参数向量的通解形式，如式(1)：

f＝τ₁g₁+τ₂g₂+τ₃g₃， (1)

(5)、建立三维系统相对参数的求解方程，如式(2)、(3)：

令向量e＝[τ₁ τ₂ τ₃]^T，并设

M＝[g₁g₂g₃]＝[M₁ ^T，M₂ ^T，M₃ ^T]^T，(2)

F^{T} F = [\begin{matrix} e^{T} M_{u}^{T} M_{u} e & e^{T} M_{u}^{T} M_{m} e & e^{T} M_{u}^{T} M_{l} e \\ e^{T} M_{m}^{T} M_{u} e & e^{T} M_{m}^{T} M_{m} e & e^{T} M_{m}^{T} M_{l} e \\ e^{T} M_{l}^{T} M_{u} e & e^{T} M_{l}^{T} M_{m} e & e^{T} M_{l}^{T} M_{l} e \end{matrix}] = [\begin{matrix} 1 - t_{x}^{2} & - t_{x} t_{y} & - t_{x} t_{z} \\ - t_{x} t_{y} & 1 - t_{y}^{2} & - t_{y} t_{z} \\ - t_{x} t_{z} & - t_{y} t_{z} & 1 - t_{z}^{2} \end{matrix}] - - - (3);

(6)、从方程(3)中，可以得到：

\{\begin{matrix} e^{T} M_{u}^{T} M_{u} e + t_{x}^{2} = 1 \\ e^{T} M_{m}^{T} M_{m} e + t_{y}^{2} = 1 \\ e^{T} M_{l}^{T} M_{l} e + t_{z}^{2} = 1 \end{matrix}

和

\{\begin{matrix} e^{T} M_{u}^{T} M_{m} e = - t_{x} t_{y} \\ e^{T} M_{u}^{T} M_{l} e = - t_{x} t_{z} \\ e^{T} M_{m}^{T} M_{l} e = - t_{y} t_{z} \end{matrix} - - - (4)

本实施例的工作过程是：结构光视觉系统由一个把光图案投射到场景中的投影仪1和一台检测物体3表面颜色的摄像机2组成，其系统定标的传统方法和立体视觉里的相似，把具有已知世界坐标的目标放在若干个不同的位置，使我们分别定标得到摄像机2和投影仪1的两个透视转换矩阵(PTM)，P_c和P_p。三维重建的方法也和立体视觉中的相似。

该方法为彩色结构光三维系统参数通过单幅图像进行自定标，包括以下步骤：

(1)、获取定标数据。通过彩色结构光三维视觉系统获取一幅图像，提取定标数据(x_c，y_c)和(x_p，y_p)，建立定标数据矩阵A。如果数据来自同一个平面，则A的秩必为6；如果不是，则需要根据矩阵退化情况重新处理图像数据。

(2)、三维系统相对参数解的形式。由于矩阵A的秩为6。通解形式为：

f＝τ₁g₁+τ₂g₂+τ₃g₃，(1)

其中τ₁，τ₂和τ₃是实数，g_i是9维向量，[g₁；g₂；g₃]是A的基。

(3)、三维系统相对参数求解方程。对矩阵A进行奇异值分解，那么，g₁，g₂和g₃是其分解后左正交矩阵中与最小特征值对应的三个向量。理论上，如果没有噪声，结果应该和上述描述的完全一致，此时对角阵中将有三个零特征值，均方误差为零，因为向量f恰好处在A中元素为零的部分。然而，在实际系统中，由于数据是从真实测量得到的，对角矩阵的特征值可能少于3个。在这种情况下，仍然可以从正交矩阵中取出三个列向量作为和对角中最小值对应的基向量。在一定意义上，这还是最合适的。令向量e＝[τ₁ τ₂ τ₃]^T，并设

M＝[g₁g₂g₃]＝[M₁ ^T，M₂ ^T，M₃ ^T]^T，(2)

F^{T} F = [\begin{matrix} e^{T} M_{u}^{T} M_{u} e & e^{T} M_{u}^{T} M_{m} e & e^{T} M_{u}^{T} M_{l} e \\ e^{T} M_{m}^{T} M_{u} e & e^{T} M_{m}^{T} M_{m} e & e^{T} M_{m}^{T} M_{l} e \\ e^{T} M_{l}^{T} M_{u} e & e^{T} M_{l}^{T} M_{m} e & e^{T} M_{l}^{T} M_{l} e \end{matrix}] = [\begin{matrix} 1 - t_{x}^{2} & - t_{x} t_{y} & - t_{x} t_{z} \\ - t_{x} t_{y} & 1 - t_{y}^{2} & - t_{y} t_{z} \\ - t_{x} t_{z} & - t_{y} t_{z} & 1 - t_{z}^{2} \end{matrix}] - - - (3)

(4)、三维系统参数的解。

从方程(3)中，可以得到

\{\begin{matrix} e^{T} M_{u}^{T} M_{u} e + t_{x}^{2} = 1 \\ e^{T} M_{m}^{T} M_{m} e + t_{y}^{2} = 1 \\ e^{T} M_{l}^{T} M_{l} e + t_{z}^{2} = 1 \end{matrix}

和

\{\begin{matrix} e^{T} M_{u}^{T} M_{m} e = - t_{x} t_{y} \\ e^{T} M_{u}^{T} M_{l} e = - t_{x} t_{z} \\ e^{T} M_{m}^{T} M_{l} e = - t_{y} t_{z} \end{matrix} - - - (4)

解上式(4)可以得到e的三个未知量，并且可以确定规范化相对平移位置[t_x t_y t_z]^T。需要指出，从上式会得出多个解。(事实上，至少会有四个对称解[±e±t]^T。)这些解中只有一个对应于实际系统空间设置是正确的，其它的可以通过重投影的方法来排除。此后，就很容易确定旋转矩阵R。加上已经获得的规范化相对平移位置[t_x t_y t_z]^T共有5个独立的系统相对参数，从而完成结构光三维系统相对参数的单图像自定标过程。

Claims

1.一种结构光三维系统相对参数的单图像自定标方法，该方法包括以下步骤：

(1)、在彩色结构光三维视觉系统中，通过摄像机获取一幅图像，提取定标数据(x_c，y_c)和(x_p，y_p)，(x_c，y_c)是摄像机传感器上的坐标，(x_p，y_p)是投影仪上的坐标，建立定标数据矩阵A；

(4)、建立三维系统相对参数向量的通解形式，如式(1)：

f＝τ₁g₁+τ₂g₂+τ₃g₃， (1)

其中τ₁，τ₂和τ₃是实数，g_i是9维向量，[g₁；g₂；g₃]是矩阵A的基；(5)、建立三维系统相对参数的求解方程，如式(2)、(3)：

令向量e＝[τ₁τ₂τ₃]^T，并设

M＝[g₁g₂g₃]＝[M₁ ^T，M₂ ^T，M₃ ^T]^T， (2)

其中M₁，M₂和M₃是三个3×3矩阵，每一个表示M里的三行，则有

F^{T} F = [\begin{matrix} e^{T} M_{u}^{T} M_{u} e & e^{T} M_{u}^{T} M_{m} e & e^{T} M_{u}^{T} M_{l} e \\ e^{T} M_{m}^{T} M_{u} e & e^{T} M_{m}^{T} M_{m} e & e^{T} M_{m}^{T} M_{l} e \\ e^{T} M_{l}^{T} M_{u} e & e^{T} M_{l}^{T} M_{m} e & e^{T} M_{l}^{T} M_{l} e \end{matrix}] = [\begin{matrix} 1 - t_{x}^{2} & - t_{x} t_{y} & - t_{x} t_{z} \\ - t_{x} t_{y} & 1 - t_{y}^{2} & - t_{y} t_{z} \\ - t_{x} t_{z} & - t_{y} t_{z} & 1 - t_{z}^{2} \end{matrix}] - - - (3);

(6)、从方程(3)中，可以得到：

\{\begin{matrix} e^{T} M_{u}^{T} M_{u} e + t_{x}^{2} = 1 \\ e^{T} M_{m}^{T} M_{m} e + t_{y}^{2} = 1 \\ e^{T} M_{l}^{T} M_{l} e + t_{z}^{2} = 1 \end{matrix}

和

\{\begin{matrix} e^{T} M_{u}^{T} M_{m} e = - t_{x} t_{y} \\ e^{T} M_{u}^{T} M_{l} e = - t_{x} t_{z} \\ e^{T} M_{m}^{T} M_{l} e = - t_{y} t_{z} \end{matrix} - - - (4)

(7)、用重投影的方法得到正解，并确定旋转矩阵R和规范化相对平移位置[t_x t_y t_z]^T共5个独立相对参数，完成结构光三维系统相对参数的单图像自定标。