CN106127745A - 结构光3d视觉系统与线阵相机的联合标定方法及装置 - Google Patents

Abstract

一种结构光3D视觉系统与线阵相机的联合标定方法及装置，所述结构光3D视觉系统包括面阵相机和激光器，方法包括：获取结构光3D视觉系统中的光平面坐标系和靶标坐标系的转换关系，并作为第一转换关系；根据选择的特征点在所述靶标坐标系中的坐标，和所述特征点在所述线阵相机图像坐标系中的坐标，建立所述靶标坐标系和所述线阵相机图像坐标系的转换关系，并作为第二转换关系；根据所述第一转换关系和所述第二转换关系，建立所述光平面坐标系和所述线阵相机图像坐标系的转换关系，并作为第三转换关系；根据所述第三转换关系，得到所述光平面坐标系上的每个坐标点所对应的线阵相机图像坐标，以实现结构光3D视觉系统与线阵相机的联合标定。

Description

结构光3D视觉系统与线阵相机的联合标定方法及装置

技术领域

本发明基于结构光的三维测量技术领域，尤其涉及一种结构光3D视觉系统与线阵相机的联合标定方法及装置。

背景技术

三维视觉技术主要包括双目立体视觉和结构光3D视觉，按照景物照明条件，三维视觉技术可分为被动和主动两大类，前者中景物的照明是由物体周围的光照条件来提供，而后者则使用一个专门的光源装置来提供目标物体周围的照明。按照这种分类，结构光3D视觉是采用主动方式。

结构光3D视觉系统主要由激光器，面阵像机，例如CCD相机，以及计算机组成。结构光3D视觉是基于光学三角法测量原理，如图3所示，激光器将一定模式的结构光投射于物体表面，在表面上形成由被测物体表面形状所调制的光条三维图像。该三维图像由处于另一位置的面阵像机探测，从而获得光条二维畸变图像。直观上，沿光条显示出的位移(或偏移)与物体表面高度成比例，扭曲表示了平面的变化，不连续显示了表面的物理间隙。当激光器与面阵像机之间的相对位置一定时，由畸变的二维光条图像坐标便可重现物体表面的3D轮廓。由激光器、面阵像机和计算机组成的系统即构成了结构光3D视觉系统。

由于在结构光3D视觉系统中采用三维测量技术，其原理简单，精度高，抗干扰性强，因此被广泛地运用在工业、交通等测量中，例如，对铁路中轨道交通的测量。但是，由于采用结构光3D系统测量技术仅能够获得被测图像的立体轮廓结构，不能获得被测物的2D图像，例如色彩，灰度值等，使得通过结构光3D系统测量的图像不能表达物体的2D色彩，所以，无法还原铁轨拍摄的实际场景，不能满足对轨道交通测量的要求。

发明内容

本发明实施例中提供了一种结构光3D视觉系统与线阵相机的联合标定方法及装置，以使结构光3D视觉系统获取的三维图像能够满足轨道交通测量的要求。

第一方面，提供一种结构光3D视觉系统与线阵相机的联合标定方法，所述结构光3D视觉系统包括面阵相机和激光器，所述方法用于通过所述面阵相机和线阵相机对锯齿靶标进行拍摄和坐标标定，所述方法包括：

获取所述结构光3D视觉系统中的光平面坐标系和靶标坐标系的转换关系，并作为第一转换关系；

获取所述线阵相机拍摄的锯齿靶标上的特征点的图像，以及所述特征点在线阵相机图像坐标系中的坐标；

根据所述特征点在所述靶标坐标系中的坐标，和所述特征点在所述线阵相机图像坐标系中的坐标，建立所述靶标坐标系和所述线阵相机图像坐标系的转换关系，并作为第二转换关系；

根据所述第一转换关系和所述第二转换关系，建立所述光平面坐标系和所述线阵相机图像坐标系的转换关系，并作为第三转换关系；

根据所述第三转换关系，得到所述光平面坐标系上的每个坐标点所对应的线阵相机图像坐标，以实现所述结构光3D视觉系统与线阵相机的联合标定。

进一步地，根据所述特征点在所述靶标坐标系中的坐标，和所述特征点在所述线阵相机图像坐标系中的坐标，建立所述靶标坐标系和所述线阵相机图像坐标系的转换关系包括：

获取所述线阵相机图像坐标系与线阵相机图像物理坐标系之间的转换关系，所述线阵相机图像物理坐标系是以所述线阵相机透镜光轴与成像平面的交点为原点，以水平方向为X轴建立的一维坐标系；

获取所述靶标坐标系与线阵相机坐标系之间的转换关系，所述线阵相机坐标系是以所述线阵相机光心为坐标原点，以所述线阵相机的光轴oz为Z轴建立直角坐标系；

获取所述线阵相机坐标系与所述线阵相机图像物理坐标系之间的转换关系；

根据所述线阵相机图像坐标系与线阵相机图像物理坐标系之间的转换关系，所述靶标坐标系与线阵相机坐标系之间的转换关系，以及所述线阵相机坐标系与所述线阵相机图像物理坐标系之间的转换关系，建立靶标坐标系和所述线阵相机图像坐标系的转换关系。

进一步地，建立所述靶标坐标系和所述线阵相机图像坐标系的转换关系，并作为第二转换关系包括：

建立所述靶标坐标系和所述线阵相机图像坐标系的转换关系为：

$s\left[\begin{array}{c}u\\ 1\end{array}\right]=\left[\begin{array}{ccc}{m}_{11}& m_{12}& m_{13}\\ m_{21}& m_{22}& m_{23}\end{array}\right]\left[\begin{array}{c}{X}_W\\ Z_W\\ 1\end{array}\right]$

其中，s为比例因子，u为所述线阵相机图像坐标系上的一个像素坐标，为一个2×3的投影矩阵M，为所述像素坐标u在所述靶标坐标系上的齐次坐标(X_W,Z_w,1)。

进一步地，获取所述结构光3D视觉系统中的光平面坐标系和靶标坐标系的转换关系，并作为第一转换关系包括：

判断所述结构光3D视觉系统中的光平面坐标系和所述靶标坐标系之间是否是刚体变换关系；

如果是，则所述结构光3D视觉系统中的光平面坐标系和靶标坐标系的转换关系为：

$\left[\begin{array}{c}Xwi\\ Zwi\\ 1\end{array}\right]=\left[\begin{array}{ccc}cos\mathrm{\θ}& -sin\mathrm{\θ}& Tx\\ sin\mathrm{\θ}& \cos \mathrm{\θ}& Tz\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}Xsi\\ Zsi\\ 1\end{array}\right]$

其中，(Xwi,Zwi)为任一所述特征点在所述靶标坐标系中的坐标，(Xsi,Zsi)为所述特征点(Xwi,Zwi)在所述光平面坐标系中的坐标，θ为所述靶标坐标系的X轴与所述光平面坐标系中的X轴之间的夹角，(Tx,Tz)为平移向量，所述平移向量为所述光平面坐标系的坐标原点平移到所述靶标坐标系的坐标原点的平移向量。

进一步地，根据所述第一转换关系和所述第二转换关系，建立所述光平面坐标系和所述线阵相机图像坐标系的转换关系包括：

根据所述第二转换关系和

所述第一转换关系建立所述光平面坐标系和所述线阵相机图像坐标系的转换关系为：

$s\left[\begin{array}{c}u\\ 1\end{array}\right]=\left[\begin{array}{ccc}{m}_{11}& m_{12}& m_{13}\\ m_{21}& m_{22}& m_{23}\end{array}\right]\left[\begin{array}{c}{X}_W\\ Z_W\\ 1\end{array}\right]=\left[\begin{array}{ccc}{m}_{11}& m_{12}& m_{13}\\ m_{21}& m_{22}& m_{23}\end{array}\right]\left[\begin{array}{ccc}cos\mathrm{\θ}& -sin\mathrm{\θ}& Tx\\ sin\mathrm{\θ}& \cos \mathrm{\θ}& Tz\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}Xsi\\ Zsi\\ 1\end{array}\right].$

进一步地，根据所述第三转换关系，得到所述光平面坐标系上的每个坐标点所对应的线阵相机图像坐标包括：

获取所述线阵相机图像坐标系中每个像素坐标所对应的RGB值；

通过所述第三转换关系，查找所述光平面坐标系上的每个坐标点所对应的线阵相机图像坐标；

将每个所述RGB值映射到所述光平面坐标系上，使每个所述像素坐标的RGB值还原到所述结构光3D视觉系统中。

进一步地，所述方法还包括：

建立所述线阵相机的畸变模型；

根据所述畸变模型，以及交比不变的规律，代入所述线阵相机拍摄的锯齿靶标上的特征点，计算畸变系数；

根据所述畸变系数对所述线阵相机拍摄的图像进行畸变校正。

第二方面，提供了一种结构光3D视觉系统与线阵相机的联合标定装置，所述结构光3D视觉系统包括面阵相机和激光器，所述装置用于通过所述面阵相机和线阵相机对锯齿靶标进行拍摄和坐标标定，所述装置包括：

获取单元，用于获取所述结构光3D视觉系统中的光平面坐标系和靶标坐标系的转换关系，并作为第一转换关系；

所述获取单元，还用于获取所述线阵相机拍摄的锯齿靶标上的特征点的图像，以及所述特征点在线阵相机图像坐标系中的坐标；

转换单元，用于根据所述特征点在所述靶标坐标系中的坐标，和所述特征点在所述线阵相机图像坐标系中的坐标，建立所述靶标坐标系和所述线阵相机图像坐标系的转换关系，并作为第二转换关系；

所述转换单元，还用于根据所述第一转换关系和所述第二转换关系，建立所述光平面坐标系和所述线阵相机图像坐标系的转换关系，并作为第三转换关系；

标定单元，用于根据所述第三转换关系，得到所述光平面坐标系上的每个坐标点所对应的线阵相机图像坐标，以实现所述结构光3D视觉系统与线阵相机的联合标定。

进一步地，

所述获取单元，还用于获取所述线阵相机图像坐标系与线阵相机图像物理坐标系之间的转换关系，所述线阵相机图像物理坐标系是以所述线阵相机透镜光轴与成像平面的交点为原点，以水平方向为X轴建立的一维坐标系；

所述获取单元，还用于获取所述靶标坐标系与线阵相机坐标系之间的转换关系，所述线阵相机坐标系是以所述线阵相机光心为坐标原点，以所述线阵相机的光轴oz为Z轴建立直角坐标系；

所述获取单元，还用于获取所述线阵相机坐标系与所述线阵相机图像物理坐标系之间的转换关系；

所述转换单元，还用于根据所述线阵相机图像坐标系与线阵相机图像物理坐标系之间的转换关系，所述靶标坐标系与线阵相机坐标系之间的转换关系，以及所述线阵相机坐标系与所述线阵相机图像物理坐标系之间的转换关系，建立靶标坐标系和所述线阵相机图像坐标系的转换关系。

进一步地，所述转换单元，用于建立所述靶标坐标系和所述线阵相机图像坐标系的转换关系，并作为第二转换关系包括：

所述转换单元，建立所述靶标坐标系和所述线阵相机图像坐标系的转换关系为：

$s\left[\begin{array}{c}u\\ 1\end{array}\right]=\left[\begin{array}{ccc}{m}_{11}& m_{12}& m_{13}\\ m_{21}& m_{22}& m_{23}\end{array}\right]\left[\begin{array}{c}{X}_W\\ Z_W\\ 1\end{array}\right]$

其中，s为比例因子，u为所述线阵相机图像坐标系上的一个像素坐标，为一个2×3的投影矩阵M，为所述像素坐标u在所述靶标坐标系上的齐次坐标(X_W,Z_w,1)。

进一步地，所述获取单元包括：

判断单元，用于判断所述结构光3D视觉系统中的光平面坐标系和所述靶标坐标系之间是否是刚体变换关系；

所述转换单元，还用于如果是刚体变换关系，则所述结构光3D视觉系统中的光平面坐标系和靶标坐标系的转换关系为：

$\left[\begin{array}{c}Xwi\\ Zwi\\ 1\end{array}\right]=\left[\begin{array}{ccc}cos\mathrm{\θ}& -sin\mathrm{\θ}& Tx\\ sin\mathrm{\θ}& \cos \mathrm{\θ}& Tz\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}Xsi\\ Zsi\\ 1\end{array}\right]$

其中，(Xwi,Zwi)为任一所述特征点在所述靶标坐标系中的坐标，(Xsi,Zsi)为所述特征点(Xwi,Zwi)在所述光平面坐标系中的坐标，θ为所述靶标坐标系的X轴与所述光平面坐标系中的X轴之间的夹角，(Tx,Tz)为平移向量，所述平移向量为所述光平面坐标系的坐标原点平移到所述靶标坐标系的坐标原点的平移向量。

进一步地，所述转换单元，具体还用于：

根据所述第二转换关系和

所述第一转换关系建立所述光平面坐标系和所述线阵相机图像坐标系的转换关系为：

$s\left[\begin{array}{c}u\\ 1\end{array}\right]=\left[\begin{array}{ccc}{m}_{11}& m_{12}& m_{13}\\ m_{21}& m_{22}& m_{23}\end{array}\right]\left[\begin{array}{c}{X}_W\\ Z_W\\ 1\end{array}\right]=\left[\begin{array}{ccc}{m}_{11}& m_{12}& m_{13}\\ m_{21}& m_{22}& m_{23}\end{array}\right]\left[\begin{array}{ccc}cos\mathrm{\θ}& -sin\mathrm{\θ}& Tx\\ sin\mathrm{\θ}& \cos \mathrm{\θ}& Tz\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}Xsi\\ Zsi\\ 1\end{array}\right].$

进一步地，所述装置还包括：

RGB值获取单元，用于获取所述线阵相机图像坐标系中每个像素坐标所对应的RGB值；

RGB值获取单元，还用于通过所述第三转换关系，查找所述光平面坐标系上的每个坐标点所对应的线阵相机图像坐标；

RGB值映射单元，用于将每个所述RGB值映射到所述光平面坐标系上，使每个所述线阵相机图像坐标的RGB值还原到所述结构光3D视觉系统中。

进一步地，所述装置还包括：畸变校正单元，

所述畸变校正单元，用于建立所述线阵相机的畸变模型；根据所述畸变模型，以及交比不变的规律，代入所述线阵相机拍摄的锯齿靶标上的特征点，计算畸变系数；根据所述畸变系数对所述线阵相机拍摄的图像进行畸变校正。通过校正单元对线阵相机拍摄的图像进行畸变校正，使得联合标定的结果更准确，提高了场景还原的真实性。

第三方面，还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供一种结构光3D视觉系统与线阵相机的联合标定方法及装置的各实现方式中的部分或全部步骤。

本申请提供的方法及装置，将线阵相机与结构光3D视觉系统中的面阵相机通过对靶标上的特征点进行联合标定，以建立结构光3D系统中光平面坐标系和线阵相机图像坐标的转换关系，当面阵相机和线阵相机同时对靶标上的物体进行拍摄时，可通过联合标定的转换关系，得到任意点在光平面坐标系上的坐标所对应的在线阵相机图像坐标系中的像素坐标，进而将线阵相机拍摄的像素坐标，例如RGB值还原到结构光3D视觉系统中的三维图像中，以使得融合后的图像既有立体轮廓纹理，又有色彩像素，进而能够还原被测量物体的真实场景，满足轨道交通测量的要求。

此外，本方法通过第三转换关系能够直接对结构光3D视觉系统和线阵相机拍摄的场景进行联合标定，避免了面阵相机和线阵相机先分别对各自的靶标进行拍摄，再根据各自相机的内部参数进行联合标定。由于本方法在联合标定是不需计算相机的内部参数，所以简化了联合标定过程，提高了联合标定的效率和准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种结构光3D视觉系统与线阵相机的联合标定系统的结构示意图；

图2是一种结构光3D视觉系统原理的示意图；

图3是本申请实施例提供的一种联合标定的坐标轴转换示意图；

图4是本申请实施例提供的一种结构光3D视觉系统与线阵相机的联合标定方法的流程图；

图5是本申请实施例提供的另一种结构光3D视觉系统与线阵相机的联合标定方法的流程图；

图6是本申请实施例提供的一种光平面坐标系、靶标坐标系和线阵相机图像坐标系之间相互转换的示意图；

图7是本申请实施例提供的一种结构光3D视觉系统与线阵相机的联合标定装置的框图；

图8是本申请实施例提供的另一种结构光3D视觉系统与线阵相机的联合标定装置的框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合附图1至图8对本申请提供的一种结构光3D视觉系统与线阵相机的联合标定方法及装置进行完整的描述。

如图1所示，为本申请实施例提供的一种结构光3D视觉系统与线阵相机的联合标定系统的结构示意图。该系统包括：面阵相机，线阵相机，激光器和锯齿靶标。所述结构光3D视觉系统包括：激光器，面阵相机以及计算机组成。激光器用于将一定模式的结构光投射于被测物体表面；面阵相机，例如CCD相机，用于拍摄锯齿靶标的被测物，获取该被测物体的图像；所述计算机，包括处理器，用于读取面阵相机拍摄的图像，并对该图像进行标定处理，以得到被测物体的三维立体图像。

具体地，结构光三维视觉是基于光学三角法测量的原理，如图2所示，激光器将一定模式的结构光投射于物体表面，在表面上形成由被测物体表面形状所调制的光条三维图像。该三维图像由处于另一位置的面阵相机拍摄，从而获得光条二维畸变图像。光条的畸变程度取决于激光器与面阵相机之间的相对位置和物体表面形廓(高度)。直观上，沿光条显示出的位移或偏移，与物体表面高度成比例，扭曲表示了平面的变化，不连续显示了表面的物理间隙。当激光器与面阵相机的相对位置一定时，由畸变的二维光条图像坐标可重现物体表面三维形廓。由激光器、面阵相机和计算机即构成了结构光3D视觉系统。

线阵相机，是采用线阵图像传感器的相机。线阵图像传感器以CCD为主，其拍摄的图像成“线”状，通常线阵相机拍摄的图像的长度极长，一般可达到几K的长度；其拍摄的图像的宽度极短，只有几个像素；因此，在拍摄时线阵相机需要多次拍摄被测物体，相当于对被测物体进行扫描，再将所拍摄的多个“条”形图像组合，合成一张拍摄的被测物的图片，所以本申请实施例中所述的线阵相机也称为线扫描相机。

所述靶标为锯齿形靶标，本申请通过齿型靶标法来建立不同坐标系之间的转换关系。所述齿型靶标法是以特殊设计的锯齿形立体结构为靶标的结构光标定方法。所述靶标包括多个锯齿，在所述锯齿靶标上每个齿距和齿高都能精确可知，并且本实施例中将该靶标上的锯齿的齿尖和齿根作为标定的特征点。根据所述靶标建立一个靶标坐标系，也称世界坐标系，为用户设计建立的坐标系。所述靶标坐标系为二维坐标系，以O-XwZw表示，所述靶标上的每个点都可以通过建立的靶标坐标系找到其所对应的坐标。

如图4所示，实施例提供了一种结构光3D视觉系统与线阵相机的联合标定方法，所述结构光3D视觉系统包括面阵相机和激光器，所述激光器用于产生激光平面，所述方法用于通过所述面阵相机和线阵相机对锯齿靶标进行拍摄和坐标标定，所述方法包括：

步骤401：获取所述结构光3D视觉系统中的光平面坐标系和靶标坐标系的转换关系，并作为第一转换关系，所述第一转换关系可以用f(x)表示。

所述光平面坐标系为所述面阵相机建立的激光平面坐标系，该光平面坐标系用O-XsXs表示，并且该光平面坐标系为二维坐标系。

具体地，步骤401包括：判断所述结构光3D视觉系统中的光平面坐标系和所述靶标坐标系之间是否是刚体变换关系；

其中，判断所述靶标坐标系与所述光平面坐标系是否为刚体变化，即判断靶标坐标系与光平面坐标系是否可以通过二维坐标互相转化。

如果是，则所述结构光3D视觉系统中的光平面坐标系和靶标坐标系的转换关系为：

其中，(Xwi,Zwi)为任一所述特征点在所述靶标坐标系中的坐标，(Xsi,Zsi)为所述特征点(Xwi,Zwi)在所述光平面坐标系中的坐标，θ为所述靶标坐标系的X轴与所述光平面坐标系中的X轴之间的夹角，逆时针方向为正方向；(Tx,Tz)为平移向量，所述平移向量T为所述光平面坐标系的坐标原点平移到所述靶标坐标系的坐标原点的平移向量。

获取所述靶标坐标系与所述光平面坐标系之间的转换关系是基于交比不变法，通过至少三个已知坐标的共线特征点生成标定结构光参数所需的标定点坐标。通过靶标前后移动对摄像机内参数和外参数进行标定，然后利用交比不变原理标定结构光平面的法向矢量和中心点坐标两个参数，最后建立光平面坐标系和靶标坐标系的转换关系。

如图4所示，步骤401之后还包括：

步骤402：获取所述线阵相机拍摄的锯齿靶标上的特征点的图像，以及所述特征点在线阵相机图像坐标系中的坐标。

线阵相机拍摄锯齿靶标的图像，通过选取锯齿靶标上的齿尖或齿根得到特征点，所述线阵相机拍摄靶标上特征点的图像，每个特征点在锯齿靶标坐标系中对应一个坐标，通过线阵相机拍摄靶标上的特征点可以直接从靶标坐标系中读取这些特征点的坐标。

所述线阵相机图像坐标系也称为像素坐标系，以像素为坐标的坐标系，其原点位于图像的左上角，所述线阵相机图像坐标系的X轴与线阵相机图像物理坐标系的X轴平行，用O-u表示。当线阵相机对靶标进行拍摄时，可读出所述特征点在所述线阵图像坐标系中的坐标。

步骤403：根据所述特征点在所述靶标坐标系中的坐标，和所述特征点在所述线阵相机图像坐标系中的坐标，建立所述靶标坐标系和所述线阵相机图像坐标系的转换关系，并作为第二转换关系，所述第二转换关系可以用g(x)表示。

将锯齿靶标上的特征点在所述靶标坐标系中的坐标，代入到线阵相机图像坐标系中，可得到所述第二转换关系g(x)。

步骤404：根据所述第一转换关系和所述第二转换关系，建立所述光平面坐标系和所述线阵相机图像坐标系的转换关系，并作为第三转换关系。

通过靶标上的特征点在所述靶标坐标系中的坐标建立这些特征点，分别在结构光3D视觉系统的光平面坐标系和线阵相机的图像坐标系之间的转换关系，使实现光平面坐标系上的坐标与线阵相机图像坐标系上坐标之间的相互转换。

步骤405：根据所述第三转换关系，得到所述光平面坐标系上的每个坐标点所对应的线阵相机图像坐标，以实现所述结构光3D视觉系统与线阵相机的联合标定。

当面阵相机和线阵相机同时对所述靶标进行拍摄时，通过第三转换关系，可以找到在光平面坐标系中任意一个坐标点所对应的线阵相机图像坐标系的像素坐标，通过对光平面坐标系、线阵相机图像坐标系和靶标坐标系三者的相互转换，实现对拍摄的任意一点坐标的联合标定。

本申请提供的方法及装置，将线阵相机与结构光3D视觉系统中的面阵相机通过对靶标上的特征点进行联合标定，以建立结构光3D系统中光平面坐标系和线阵相机图像坐标的转换关系，当面阵相机和线阵相机同时对靶标上的物体进行拍摄时，可通过联合标定的转换关系，得到任意点在光平面坐标系上的坐标所对应的在线阵相机图像坐标系中的像素坐标，进而将线阵相机拍摄的像素坐标，例如RGB值还原到结构光3D视觉系统中的三维图像中，以使得融合后的图像既有立体轮廓纹理，又有色彩像素，进而能够还原被测量物体的真实场景，满足轨道交通测量的要求。

此外，本方法通过第三转换关系能够直接对结构光3D视觉系统和线阵相机拍摄的场景进行联合标定，避免了面阵相机和线阵相机先分别对各自的靶标进行拍摄，再根据各自相机的内部参数进行联合标定。由于本方法在联合标定是不需计算相机的内部参数，所以简化了联合标定过程，提高了联合标定的效率和准确性。

其中，如图5所示，步骤403中根据所述特征点在所述靶标坐标系中的坐标，和所述特征点在所述线阵相机图像坐标系中的坐标，建立所述靶标坐标系和所述线阵相机图像坐标系的转换关系包括：

步骤4031：获取所述线阵相机图像坐标系与线阵相机图像物理坐标系之间的转换关系。

所述线阵相机图像物理坐标系，定义以所述线阵相机透镜光轴与成像平面的交点为原点，以水平方向为X轴建立的一维坐标系，单位定义为mm。

图像坐标系，根据单位度量机制的不同，可以分为线阵相机图像物理坐标系和图像像素坐标系。所述线阵相机图像物理坐标系以毫米为单位的一维坐标系，所述图像像素坐标系；又称为线阵相机图像坐标系，以像素为单位的一维坐标系。本申请实施例所述的线阵相机图像坐标系与所述线阵相机图像物理坐标系为互相重合的一个坐标系，区别在于两个坐标系表示的度量单位不同。

步骤4032：获取所述靶标坐标系与线阵相机坐标系之间的转换关系，所述线阵相机坐标系是以所述线阵相机光心为坐标原点，以所述线阵相机的镜头光轴oz为Z轴建立的二维直角坐标系。所述线阵相机坐标系用O-XcZc表示。

步骤4033：获取所述线阵相机坐标系与所述线阵相机图像物理坐标系之间的转换关系。

步骤4034：根据所述线阵相机图像坐标系与线阵相机图像物理坐标系之间的转换关系，所述靶标坐标系与线阵相机坐标系之间的转换关系，以及所述线阵相机坐标系与所述线阵相机图像物理坐标系之间的转换关系，建立靶标坐标系和所述线阵相机图像坐标系的转换关系。

上述各个坐标系之间的转换关系都可通过定义和计算获得。

在一具体的实施例中，步骤4031至步骤4034具体转换过程包括：

建立所述靶标坐标系和所述线阵相机图像坐标系的转换关系为：

其中，s为比例因子，u为所述像素坐标系上的一个像素坐标，

为一个2×3的投影矩阵M，

为一个特征点在所述靶标坐标系上的齐次坐标(X_W,Z_w,1)。

在对线阵相机和结构光3D视觉系统进行联合标定时，需要建立成像模型，如图3所示。

O1-u，表示线阵相机图像坐标系(英文：Linear Sensor Coordinate System)，该坐标系以像素为单位，又称为线阵相机的图像像素坐标系，u0为线阵相机镜头光轴与图像平面交点的像素坐标。

O-XcZc表示线阵相机坐标系(英文:Camera Coordinate System)，是以所述线阵相机光心为坐标原点，以所述线阵相机的镜头光轴oz为Z轴建立的二维直角坐标系。其中，O为线阵像机镜头光心，f为焦距。

O2-X表示虚拟成像坐标系(英文：Virtual Image Line Coordinate System)，以所述线阵相机透镜光轴与虚拟成像平面的交点为原点，根据小孔成像原理，该虚拟成像坐标系对称于所述线阵相机图像坐标系。为方便转换计算，通过该虚拟成像坐标系使得在所述线阵相机图像坐标系的负数转换为正数，进而对线阵相机图像坐标系上的点均通过该虚拟成像坐标系进行转换。

Ow-XwZw为靶标坐标系，或称为世界坐标系(英文：World Coordinate System)；

步骤403中还具体包括：首先，建立线阵相机图像物理坐标系与线阵相机图像坐标系(图像像素坐标系)之间的转换关系：

设线阵相机单个像元的尺寸为dX(单位为mm),则所述线阵相机图像坐标系和线阵相机图像物理坐标系间的转换为一比例变换关系，该比例变换关系可以表示为:

u＝X/dX+u₀ 公式(3)

公式(3)中，u为线阵相机图像坐标系上的任意一点的像素，X为该点在线阵相机图像物理坐标系中的坐标,dX为线阵相机单个像元的尺寸，u0为线阵相机镜头光轴与图像平面交点的像素坐标。该公式(3)用齐次坐标表示为：

其次，建立靶标坐标系(世界坐标系)与线阵相机坐标系之间的转换关系。

若所述靶标坐标系与所述线阵相机坐标系之间是刚体变换关系，则所述靶标坐标系与所述线阵相机坐标系之间的转换关系为公式(5)。如图5所示，由旋转矩阵R和平移向量T表示，设点P(x,y)为线阵相机视场平面中的一个点，且该点在世界坐标系下的坐标为(Xw,Zw)，在线阵相机坐标系下的坐标为(Xc,Zc)。则用齐次坐标表示二者之间的转换关系为：

其中R为2x2正交矩阵,包含一个未知数，T为二维平移向量，含有两个未知数，M2为3X3矩阵。

然后，再建立线阵相机坐标系与线阵相机图像物理坐标系之间的转换关系。

理想情况下，不考虑畸变时，线阵相机的成像模型符合针孔成像模型，即中心摄影变换。基于该中心摄影变换的特点，和交比不变的特点，可得比例关系有如下公式：

其中(Xc,Yc)为点P在线阵相机坐标系下的坐标，X为点P在线阵相机图像物理坐标系下的坐标。用齐次坐标表示成矩阵形式为：

在公式(7)中，s为一比例因子，是已知参数，P为透视投影矩阵，将公式(7)和公式(5)代入到式(4)中得到公式(8)：

其中M表示为2x3矩阵，称为投影矩阵，M1称为内部参数矩阵，该内部参数包括f_x，u0决定，fx表示线阵相机镜头焦距；M2称为线阵相机外部参数，由线阵相机相对于世界坐标系的方位决定。M矩阵一共有6个元素，由5个自由度决定，每个自由度表示一个变量或一个未知数。

公式(8)整理后可得所述线阵相机图像坐标系和所述靶标坐标系的转换关系，即所述第二转换关系具体为：

通过选取靶标上的特征点，并将这些选择的特征点的坐标代入到公式(8)中，以及根据特征点在线阵相机图像坐标系的像素坐标，能够求出M矩阵中的元素，进而得到公式(2)，即线阵相机图像坐标系与靶标坐标系之间的转换关系式。

上述公式的计算过程中，通过公式(8)能够直接计算M矩阵中的元素，避免在联合标定时，获取并计算线阵相机的内部参数，例如fx和u0，进而能够简化计算过程，提高联合标定的效率和准确性。

根据公式(2)和上述公式(1)可得所述光平面坐标系和所述线阵相机图像坐标系的转换关系为：

即第三转换关系，将所述线阵相机图像坐标系中的任意一点像素坐标(u)转换为结构光3D视觉系统的光平面坐标系中的坐标(Xsi,Zsi)，进而实现对所述面阵相机和所述线阵相机拍摄的所述靶标上的图像进行联合标定。

本申请实施例提供的一种线阵相机和结构光3D视觉系统的联合标定方法，主要是建立结构光3D系统中激光平面和线阵相机图像坐标系的投影关系。即如图6所示的三个坐标系间的转换关系。

首先，利用线阵相机拍摄得到的图片进行锯齿靶标和线阵相机的图像坐标的投影变换关系，将锯齿靶标特征点在靶标坐标系(世界坐标系)下的坐标和其对应的图像坐标代入上述公式(4)中，可以求得投影矩阵，即第二转换关系，公式(2)。

其次，利用标定好的结构光3D视觉系统可以测得锯齿靶标上特征点在光平面坐标系中的坐标，进而可以得到锯齿靶标坐标系和光平面坐标系间的转换关系，即第一转换关系，公式(1)。

最后，根据第一转换关系和第二转换关系，计算得到所述光平面坐标系和所述线阵相机图像坐标系的转换关系，即第三转换关系，公式(9)，并且根据所述第三转换关系可以得到空间中任意一点在光平面坐标系中的坐标到2D线阵相机图像坐标系的映射关系，则完成这两个坐标系之间的联合标定。

此外，在上述方法中，步骤405之后所述方法还包括：

获取所述线阵相机图像坐标系中每个像素坐标所对应的RGB值。

通过所述第三转换关系，查找所述光平面坐标系上的每个坐标点所对应的线阵相机图像坐标。

将每个所述RGB值映射到所述光平面坐标系上，使每个所述线阵相机图像坐标的RGB值还原到所述结构光3D视觉系统中，使得线阵相机拍摄的像素点，例如RGB值，灰度值等映射到结构光3D视觉系统生成的轮廓中，以使结构光3D视觉系统拍摄的立体轮廓图像与线阵相机拍摄的彩色图像相融合，进而能够更真实地表达拍摄物的铁轨的实际场景，满足对轨道交通的测量要求。

本实施例提供的联合标定方法，实现了结构光3D视觉系统与线阵相机同时拍摄靶标上的图像，进而可以通过第三转换关系将线阵相机图像坐标系中的坐标点转换到光平面坐标系中，避免面阵相机和线阵相机分别对各自的靶标进行拍摄，得到各自的内部参数，再进行联合标定。本方法不需要获取繁琐的相机内部参数，即可满足联合标定的要求，因此，本实施例提供的联合标定方法能够简化标定流程，提高标定效率。

进一步地，上述方法还包括：对面阵相机和线阵相机各自拍摄的图像进行畸变校正，其中，线阵相机的畸变校正过程具体为：

建立所述线阵相机的畸变模型；根据所述畸变模型，以及交比不变的规律，代入所述线阵相机拍摄的锯齿靶标上的特征点，计算畸变系数；根据所述畸变系数对所述线阵相机拍摄的图像进行畸变校正。

结构光3D视觉系统中的面阵相机对拍摄的图像进行畸变校正的过程为：

在结构光3D视觉系统中的面阵相机在拍摄靶标图像时，对靶标上的特征点进行直线拟合，并通过约束条件计算畸变系数；再根据畸变系数计算所述特征点无畸变时的坐标，以对面阵相机拍摄的图像上的坐标点进行畸变校正。

本实施例中通过对拍摄的图像特征点进行计算，求出畸变系数，再根据畸变系数对结构光3D视觉系统和线阵相机拍摄的所有场景图像进行畸变矫正，减小畸变误差，进一步地提高联合标定的准确性和真实性。

本申请还提供了一种结构光3D视觉系统与线阵相机的联合标定装置，对应于上述方法的实施例，所述结构光3D视觉系统包括面阵相机和激光器，所述装置用于通过所述面阵相机和线阵相机对靶标进行拍摄和坐标标定，如图7所示，所述装置包括：

获取单元801，用于获取所述结构光3D视觉系统中的光平面坐标系和靶标坐标系的转换关系，并作为第一转换关系；

所述获取单元801，还用于获取所述线阵相机拍摄的锯齿靶标上的特征点的图像，以及所述特征点在线阵相机图像坐标系中的坐标；

转换单元802，用于根据所述特征点在所述靶标坐标系中的坐标，和所述特征点在所述线阵相机图像坐标系中的坐标，建立所述靶标坐标系和所述线阵相机图像坐标系的转换关系，并作为第二转换关系；

所述转换单元802，还用于根据所述第一转换关系和所述第二转换关系，建立所述光平面坐标系和所述线阵相机图像坐标系的转换关系，并作为第三转换关系；

标定单元803，用于根据所述第三转换关系，得到所述光平面坐标系上的每个坐标点所对应的线阵相机图像坐标，以实现所述结构光3D视觉系统与线阵相机的联合标定。

本实施例提供的联合标定装置，将线阵相机与结构光3D视觉系统中的面阵相机通过对靶标上的特征点进行联合标定，以建立结构光3D系统中光平面坐标系和线阵相机图像坐标的转换关系，当面阵相机和线阵相机同时对靶标上的物体进行拍摄时，可通过联合标定的转换关系，得到任意点在光平面坐标系上的坐标所对应的在线阵相机图像坐标系中的像素坐标，进而将线阵相机拍摄的像素坐标，例如RGB值还原到结构光3D视觉系统中的三维图像中，以使得融合后的图像既有立体轮廓纹理，又有色彩像素，进而能够还原被测量物体的真实场景，满足轨道交通测量的要求。

在另一个实施例中，所述获取单元801，还用于获取所述线阵相机图像坐标系与线阵相机图像物理坐标系之间的转换关系，所述线阵相机图像物理坐标系为所述线阵相机透镜光轴与成像平面的交点为原点，以水平方向为X轴建立的一维坐标系；

所述获取单元801，还用于获取所述靶标坐标系与线阵相机坐标系之间的转换关系，所述线阵相机坐标系是以所述线阵相机光心为坐标原点，以所述线阵相机的光轴oz为Z轴建立直角坐标系；

所述获取单元801，还用于获取所述线阵相机坐标系与所述线阵相机图像物理坐标系之间的转换关系。

所述转换单元802，还用于根据所述线阵相机图像坐标系与线阵相机图像物理坐标系之间的转换关系，所述靶标坐标系与线阵相机坐标系之间的转换关系，以及所述线阵相机坐标系与所述线阵相机图像物理坐标系之间的转换关系，建立靶标坐标系和所述线阵相机图像坐标系的转换关系。

进一步地，所述转换单元802，还用于建立所述靶标在所述线阵相机图像坐标系和所述靶标坐标系的转换关系包括：

所述转换单元，建立所述靶标坐标系和所述线阵相机图像坐标系的转换关系为：

其中，s为比例因子，u为所述线阵相机图像坐标系上的一个像素坐标，为一个2×3的投影矩阵M，为所述像素坐标u在所述靶标坐标系上的齐次坐标(X_W,Z_w,1)。

此外，如图8所示，所述获取单元801包括：

判断单元8011，用于判断所述结构光3D视觉系统中的光平面坐标系和所述靶标坐标系之间是否是刚体变换关系；

所述转换单元802，还用于如果是刚体变换关系，则所述靶标坐标系与所述光平面坐标系之间的转换关系为：

其中，(Xwi,Zwi)为任一所述特征点在所述靶标坐标系中的坐标，(Xsi,Zsi)为所述特征点(Xwi,Zwi)在所述光平面坐标系中的坐标，θ为所述靶标坐标系的X轴与所述光平面坐标系中的X轴之间的夹角，(Tx,Tz)为平移向量，所述平移向量为所述光平面坐标系的坐标原点平移到所述靶标坐标系的坐标原点的平移向量。

进一步地，所述转换单元802，具体还用于：

根据所述第二转换关系和

所述第一转换关系建立所述光平面坐标系和所述线阵相机图像坐标系的转换关系为：

采用本实施例提供的联合标定方法，能够在计算所述光平面坐标系和所述线阵相机图像坐标系的转换关系时，避免获取并计算线阵相机的内部参数，例如fx和u0，进而能够简化计算过程，提高联合标定的效率和准确性。

此外，所述装置还包括：RGB值获取单元804，用于获取所述线阵相机图像坐标系中每个像素坐标所对应的RGB值；

RGB值获取单元804，还用于通过所述第三转换关系，查找所述光平面坐标系上的每个坐标点所对应的线阵相机图像坐标；

RGB值映射单元805，用于将每个所述RGB值映射到所述光平面坐标系上，使每个所述线阵相机图像坐标的RGB值还原到所述结构光3D视觉系统中。

本实施例中通过联合标定的转换关系，得到任意点在光平面坐标系上的坐标所对应的在线阵相机图像坐标系中的像素坐标，进而将线阵相机拍摄的像素坐标，例如RGB值还原到结构光3D视觉系统中的三维图像中，以使得融合后的图像既有立体轮廓纹理，又有色彩像素，进而能够还原被测量物体的真实场景，满足轨道交通测量的要求。

进一步地，所述装置还包括：畸变校正单元806；

所述畸变校正单元806，用于建立所述线阵相机的畸变模型；根据所述畸变模型，以及交比不变的规律，代入所述线阵相机拍摄的锯齿靶标上的特征点，计算畸变系数；根据所述畸变系数对所述线阵相机拍摄的图像进行畸变校正。通过校正单元对线阵相机拍摄的图像进行畸变校正，使得联合标定的结果更准确，提高了场景还原的真实性。

以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种结构光3D视觉系统与线阵相机的联合标定方法，所述结构光3D视觉系统包括面阵相机和激光器，所述方法用于通过所述面阵相机和线阵相机对锯齿靶标进行拍摄和坐标标定，其特征在于，所述方法包括：

获取所述结构光3D视觉系统中的光平面坐标系和靶标坐标系的转换关系，并作为第一转换关系；

获取所述线阵相机拍摄的锯齿靶标上的特征点的图像，以及所述特征点在线阵相机图像坐标系中的坐标；

根据所述特征点在所述靶标坐标系中的坐标，和所述特征点在所述线阵相机图像坐标系中的坐标，建立所述靶标坐标系和所述线阵相机图像坐标系的转换关系，并作为第二转换关系；

根据所述第一转换关系和所述第二转换关系，建立所述光平面坐标系和所述线阵相机图像坐标系的转换关系，并作为第三转换关系；

根据所述第三转换关系，得到所述光平面坐标系上的每个坐标点所对应的线阵相机图像坐标，以实现所述结构光3D视觉系统与线阵相机的联合标定。

2.根据权利要求1所述的方法，其特征在于，根据所述特征点在所述靶标坐标系中的坐标，和所述特征点在所述线阵相机图像坐标系中的坐标，建立所述靶标坐标系和所述线阵相机图像坐标系的转换关系包括：

获取所述线阵相机图像坐标系与线阵相机图像物理坐标系之间的转换关系，所述线阵相机图像物理坐标系是以所述线阵相机透镜光轴与成像平面的交点为原点，以水平方向为X轴建立的一维坐标系；

获取所述靶标坐标系与线阵相机坐标系之间的转换关系，所述线阵相机坐标系是以所述线阵相机光心为坐标原点，以所述线阵相机的光轴oz为Z轴建立直角坐标系；

获取所述线阵相机坐标系与所述线阵相机图像物理坐标系之间的转换关系；

根据所述线阵相机图像坐标系与线阵相机图像物理坐标系之间的转换关系，所述靶标坐标系与线阵相机坐标系之间的转换关系，以及所述线阵相机坐标系与所述线阵相机图像物理坐标系之间的转换关系，建立靶标坐标系和所述线阵相机图像坐标系的转换关系。

3.根据权利要求1所述的方法，其特征在于，建立所述靶标坐标系和所述线阵相机图像坐标系的转换关系，并作为第二转换关系包括：

建立所述靶标坐标系和所述线阵相机图像坐标系的转换关系为：

$s\left[\begin{array}{c}u\\ 1\end{array}\right]=\left[\begin{array}{ccc}{m}_{11}& m_{12}& m_{13}\\ m_{21}& m_{22}& m_{23}\end{array}\right]\left[\begin{array}{c}{X}_W\\ Z_W\\ 1\end{array}\right]$

其中，s为比例因子，u为所述线阵相机图像坐标系上的一个像素坐标，为一个2×3的投影矩阵M，为所述像素坐标u在所述靶标坐标系上的齐次坐标(X_W,Z_w,1)。

4.根据权利要求3所述的方法，其特征在于，获取所述结构光3D视觉系统中的光平面坐标系和靶标坐标系的转换关系，并作为第一转换关系包括：

判断所述结构光3D视觉系统中的光平面坐标系和所述靶标坐标系之间是否是刚体变换关系；

如果是，则所述结构光3D视觉系统中的光平面坐标系和靶标坐标系的转换关系为：

$\left[\begin{array}{c}Xwi\\ Zwi\\ 1\end{array}\right]=\left[\begin{array}{ccc}cos\mathrm{\θ}& -sin\mathrm{\θ}& Tx\\ sin\mathrm{\θ}& \cos \mathrm{\θ}& Tz\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}Xsi\\ Zsi\\ 1\end{array}\right]$

其中，(Xwi,Zwi)为任一所述特征点在所述靶标坐标系中的坐标，(Xsi,Zsi)为对应于所述特征点(Xwi,Zwi)在所述光平面坐标系中的坐标，θ为所述靶标坐标系的X轴与所述光平面坐标系中的X轴之间的夹角，(Tx,Tz)为平移向量，所述平移向量为所述光平面坐标系的坐标原点平移到所述靶标坐标系的坐标原点的平移向量。

5.根据权利要求4所述的方法，其特征在于，根据所述第一转换关系和所述第二转换关系，建立所述光平面坐标系和所述线阵相机图像坐标系的转换关系包括：

根据所述第二转换关系和

所述第一转换关系建立所述光平面坐标系和所述线阵相机图像坐标系的转换关系为：

$s\left[\begin{array}{c}u\\ 1\end{array}\right]=\left[\begin{array}{ccc}{m}_{11}& m_{12}& m_{13}\\ m_{21}& m_{22}& m_{23}\end{array}\right]\left[\begin{array}{c}{X}_W\\ Z_W\\ 1\end{array}\right]=\left[\begin{array}{ccc}{m}_{11}& m_{12}& m_{13}\\ m_{21}& m_{22}& m_{23}\end{array}\right]\left[\begin{array}{ccc}cos\mathrm{\θ}& -\sin \mathrm{\θ}& Tx\\ sin\mathrm{\θ}& \cos \mathrm{\θ}& Tz\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}Xsi\\ Zsi\\ 1\end{array}\right].$

6.根据权利要求1所述的方法，其特征在于，根据所述第三转换关系，得到所述光平面坐标系上的每个坐标点所对应的线阵相机图像坐标包括：

获取所述线阵相机图像坐标系中每个像素坐标所对应的RGB值；

通过所述第三转换关系，查找所述光平面坐标系上的每个坐标点所对应的线阵相机图像坐标；

将每个所述RGB值映射到所述光平面坐标系上，使每个所述像素坐标的RGB值还原到所述结构光3D视觉系统中。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

建立所述线阵相机的畸变模型；

根据所述畸变模型，以及交比不变的规律，代入所述线阵相机拍摄的锯齿靶标上的特征点，计算畸变系数；

根据所述畸变系数对所述线阵相机拍摄的图像进行畸变校正。

8.一种结构光3D视觉系统与线阵相机的联合标定装置，所述结构光3D视觉系统包括面阵相机和激光器，所述装置用于通过所述面阵相机和线阵相机对锯齿靶标进行拍摄和坐标标定，其特征在于，所述装置包括：

获取单元，用于获取所述结构光3D视觉系统中的光平面坐标系和靶标坐标系的转换关系，并作为第一转换关系；

所述获取单元，还用于获取所述线阵相机拍摄的锯齿靶标上的特征点的图像，以及所述特征点在线阵相机图像坐标系中的坐标；

转换单元，用于根据所述特征点在所述靶标坐标系中的坐标，和所述特征点在所述线阵相机图像坐标系中的坐标，建立所述靶标坐标系和所述线阵相机图像坐标系的转换关系，并作为第二转换关系；

所述转换单元，还用于根据所述第一转换关系和所述第二转换关系，建立所述光平面坐标系和所述线阵相机图像坐标系的转换关系，并作为第三转换关系；

标定单元，用于根据所述第三转换关系，得到所述光平面坐标系上的每个坐标点所对应的线阵相机图像坐标，以实现所述结构光3D视觉系统与线阵相机的联合标定。

9.根据权利要求8所述的装置，其特征在于，

所述获取单元，还用于获取所述线阵相机图像坐标系与线阵相机图像物理坐标系之间的转换关系，所述线阵相机图像物理坐标系是以所述线阵相机透镜光轴与成像平面的交点为原点，以水平方向为X轴建立的一维坐标系；

所述获取单元，还用于获取所述靶标坐标系与线阵相机坐标系之间的转换关系，所述线阵相机坐标系是以所述线阵相机光心为坐标原点，以所述线阵相机的光轴oz为Z轴建立直角坐标系；

所述获取单元，还用于获取所述线阵相机坐标系与所述线阵相机图像物理坐标系之间的转换关系；

所述转换单元，还用于根据所述线阵相机图像坐标系与线阵相机图像物理坐标系之间的转换关系，所述靶标坐标系与线阵相机坐标系之间的转换关系，以及所述线阵相机坐标系与所述线阵相机图像物理坐标系之间的转换关系，建立靶标坐标系和所述线阵相机图像坐标系的转换关系。

10.根据权利要求8所述的装置，其特征在于，所述转换单元，用于建立所述靶标坐标系和所述线阵相机图像坐标系的转换关系，并作为第二转换关系包括：

所述转换单元，建立所述靶标坐标系和所述线阵相机图像坐标系的转换关系为：

$s\left[\begin{array}{c}u\\ 1\end{array}\right]=\left[\begin{array}{ccc}{m}_{11}& m_{12}& m_{13}\\ m_{21}& m_{22}& m_{23}\end{array}\right]\left[\begin{array}{c}{X}_W\\ Z_W\\ 1\end{array}\right]$

其中，s为比例因子，u为所述线阵相机图像坐标系上的一个像素坐标，为一个2×3的投影矩阵M，为所述像素坐标u在所述靶标坐标系上的齐次坐标(X_W,Z_w,1)。

11.根据权利要求10所述的装置，其特征在于，所述获取单元包括：

判断单元，用于判断所述结构光3D视觉系统中的光平面坐标系和所述靶标坐标系之间是否是刚体变换关系；

所述转换单元，还用于如果是刚体变换关系，则所述结构光3D视觉系统中的光平面坐标系和靶标坐标系的转换关系为：

$\left[\begin{array}{c}Xwi\\ Zwi\\ 1\end{array}\right]=\left[\begin{array}{ccc}cos\mathrm{\θ}& -sin\mathrm{\θ}& Tx\\ sin\mathrm{\θ}& \cos \mathrm{\θ}& Tz\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}Xsi\\ Zsi\\ 1\end{array}\right]$

其中，(Xwi,Zwi)为任一所述特征点在所述靶标坐标系中的坐标，(Xsi,Zsi)为对应于所述特征点(Xwi,Zwi)在所述光平面坐标系中的坐标，θ为所述靶标坐标系的X轴与所述光平面坐标系中的X轴之间的夹角，(Tx,Tz)为平移向量，所述平移向量为所述光平面坐标系的坐标原点平移到所述靶标坐标系的坐标原点的平移向量。

12.根据权利要求11所述的装置，其特征在于，所述转换单元，具体还用于：

根据所述第二转换关系和

所述第一转换关系建立所述光平面坐标系和所述线阵相机图像坐标系的转换关系为：

$s\left[\begin{array}{c}u\\ 1\end{array}\right]=\left[\begin{array}{ccc}{m}_{11}& m_{12}& m_{13}\\ m_{21}& m_{22}& m_{23}\end{array}\right]\left[\begin{array}{c}{X}_W\\ Z_W\\ 1\end{array}\right]=\left[\begin{array}{ccc}{m}_{11}& m_{12}& m_{13}\\ m_{21}& m_{22}& m_{23}\end{array}\right]\left[\begin{array}{ccc}cos\mathrm{\θ}& -sin\mathrm{\θ}& Tx\\ sin\mathrm{\θ}& \cos \mathrm{\θ}& Tz\\ 0& 0& 1\end{array}\right]\left[\begin{array}{c}Xsi\\ Zsi\\ 1\end{array}\right].$

13.根据权利要求8所述的装置，其特征在于，所述装置还包括：

RGB值获取单元，用于获取所述线阵相机图像坐标系中每个像素坐标所对应的RGB值；

RGB值获取单元，还用于通过所述第三转换关系，查找所述光平面坐标系上的每个坐标点所对应的线阵相机图像坐标；

RGB值映射单元，用于将每个所述RGB值映射到所述光平面坐标系上，使每个所述像素坐标的RGB值还原到所述结构光3D视觉系统中。

14.根据权利要求8所述的装置，其特征在于，所述装置还包括：畸变校正单元，

所述畸变校正单元，用于建立所述线阵相机的畸变模型；根据所述畸变模型，以及交比不变的规律，代入所述线阵相机拍摄的锯齿靶标上的特征点，计算畸变系数；根据所述畸变系数对所述线阵相机拍摄的图像进行畸变校正。