CN105091866A - 零件位姿识别视觉系统及其标定方法 - Google Patents

Abstract

本发明涉及数控加工与检测设备应用领域，为实现更加全面地提取在加工或检测平台上零件的三维特征信息。本发明采取的技术方案是，零件位姿识别视觉系统，由五个相机和三座标测量机光笔构成，四个相机1-4分别分布在三坐标测量机平台前后左右四个方位，朝向都是正对测量平台中心位置，相邻相机的光轴基本垂直，同时剩余的一个相机即相机5分布在测量平台的上方，朝向是往下正对测量平台，相机5在初始位置时光轴线垂直于测量或加工平台的上表面，且通过上表面的中心，光轴通过上表面中心允许有不超过200mm的误差.本发明主要应用于数控加工与检测。

Description

零件位姿识别视觉系统及其标定方法

技术领域

本发明涉及数控加工与检测设备应用领域，具体讲，涉及到零件位姿识别视觉系统及其标定方法。

技术背景

为了提高数控机器设备的安全性和智能化，对加工或者检测的零件位置和姿态的识别是一个需要解决的重要问题，早期的研究工作主要是针对二维场景中的问题进行的。RafiqAhmad等人基于机器视觉应用两个三维空间方法，虚拟空间对实际空间进行仿真，在虚拟空间中进行防碰撞检测和安全轨迹的生成。Tian等人提出了利用摄像机在虚拟空间和实际空间中同样的位置对零件进行拍照并进行图像识别的方法，同时提出了一种基于图像识别的标定方法，但是该标定方法适用的空间小，提取的三维信息少，应用范围比较局限。赵金才利用几何矩对三坐标测量机平台上的零件进行位姿识别，但是实验中只是利用单个摄像机，空间信息提取较少，而且对摄像机坐标系和三坐标测量机坐标系之间的关系要求比较苛刻，并不能够实现零件各种位姿的识别。韩宁利用两个相机对三坐标测量机的零件进行位姿识别，能够一定限度地提取三维空间信息，但是仍然不能实现对零件各种姿态全方位空间信息的提取，定位精度也不高。

发明内容

为克服现有技术的不足，实现更加全面地提取在加工或检测平台上零件的三维特征信息。为此，本发明采取的技术方案是，零件位姿识别视觉系统，由五个相机和三座标测量机光笔构成，四个相机1-4分别分布在三坐标测量机平台前后左右四个方位，朝向都是正对测量平台中心位置，相邻相机的光轴基本垂直，同时剩余的一个相机即相机5分布在测量平台的上方，朝向是往下正对测量平台，相机5在初始位置时光轴线垂直于测量或加工平台的上表面，且通过上表面的中心，光轴通过上表面中心允许有不超过200mm的误差，垂直角度允许有不超过10度的误差；在相机1到相机4中，每个相机的光轴线与邻近的测量平台的表面夹角约90度，允许有不超过10度的误差，相机1到相机4中每个相机的光轴线和相机5初始位置时的光轴线垂直并且相交，允许有不超过10度误差；测量平台周围四个相机的位置是固定不变的，并且相机之间的位置关系式经过标定的，相机5的位置随着三坐标测量机的位置前后移动；相机5的坐标系和三坐标测量机坐标系之间的位置也是经过标定的；光笔测头是红宝石球型体，在采点过程中通过旋转光笔使得发光面总是朝向摄像机。

零件位姿识别视觉系统标定方法，步骤是，建立三坐标测量机坐标系、视觉坐标系、标定物坐标系，视觉坐标系建立了标定物坐标系和三坐标测量机坐标系之间的联系，视觉坐标系又分为不同摄像机的坐标系，标定物的形状大小并不固定，为了获取较多的空间标定点信息，标定过程中长方体块分别在每个相机的视野和三坐标测量机测量空间的公共范围内不同的位置摆放不同的姿态获取相应的角点坐标；对于同一个位置同一个姿态的标定物，首先先用三坐标测量机对标定物的五个表面分别扫描采点，把采样点分别拟合平面，求取相邻三个平面的交点坐标即为标定物的角点在三坐标测量机下的坐标；然后保持标定物的姿态位置不变用光笔在摄像机坐标系下对标定物的五个表面进行扫描采点，光笔测头是红宝石球型体，在采点过程中通过旋转光笔使得发光面总是朝向摄像机，对采样点分别拟合平面，求取相邻三个平面的交点坐标即为标定物的角点在摄像机坐标系下坐标；最后根据对应的角点在摄像机坐标系下坐标和三坐标测量机坐标系下坐标应用相应优化算法求解出两个坐标系之间的转换关系。

具体标定步骤为：

(1)首先利用三坐标测量机对每个摄像机的内部参数进行标定，相机内部参数包括焦距f,主点坐标(c_x,c_y),径向和切向畸变系数(k₁,k₂,p₁,p₂),成像单元在x方向的尺寸d_x。在三坐标测量机的测头上方固定一个特征圆形发光亮点，在相机的视野范围内三坐标测量机控制特征点移动多个空间位置，获取相应的位置坐标作为三维基准，三维坐标和图像提取特征点中心坐标一起代入公式(1)，应用优化算法对相机的内部参数进行标定；

(2)依次分别标定摄像机1到摄像机5和三坐标测量机的坐标系转换关系，以标定摄像机1和三坐标测量机坐标系转换关系为例，在摄像机1的视野和三坐标测量机平台公共范围内的不同位置摆放不同姿态的长方体块，对每个位置每种姿态的长方体块五个表面，除了和三坐标测量机平台接触的表面，分别用三坐标测量机和光笔对其进行扫描采点，对每个表面内的三维点坐标进行平面拟合，然后求出两组长方体块的角点坐标，代入优化目标函数F₁见式(6)，最后利用优化算法求解出相应的转换平移矩阵；

(3)根据步骤(2)求解的相机坐标系和三坐标测量机坐标系之间的转换关系，按照式(8)求解出不同摄像机坐标系之间的转换关系：

$F_0(\mathrm{\α},\mathrm{\β},\mathrm{\γ},t_x,t_y,t_z,f,d_x,k_1,k_2,c_x,c_y,p_1,p_2)=\underset{i=1}{\overset{n}{\Σ}}{f}_{ai}^2+\underset{i=1}{\overset{n}{\Σ}}{f}_{bi}^2---\left(1\right)$

$\begin{array}{c}{\mathrm{\δ}}_x=x_r{k}_1(x_r^2+y_r^2)+x_r{k}_2{(x_r^2+y_r^2)}^2+p_1(3x_r^2+y_r^2)+2p_2{x}_r{y}_r\\ {\mathrm{\δ}}_y=y_r{k}_1(x_r^2+y_r^2)+y_r{k}_2{(x_r^2+y_r^2)}^2+p_2(x_r^2+3y_r^2)+2p_1{x}_r{y}_r\end{array}---\left(3\right)$

世界坐标系为o_w-x_wy_wz_w，摄像机坐标系为o_c-x_cy_cz_c，f_ai的第一部分是由标定点的空间坐标经R、T变换算出的x_c乘以f，第二部分是由实际像面坐标(x_r,y_r)经过畸变补偿得到(x_r+δ_x)乘以标定点空间坐标经过R、T变换算出的z_c，δ_x为像面坐标x方向的畸变补偿量，根据理想小孔成像原理两者应该相等。f_bi的第一部分是由标定点的空间坐标经R、T变换算出的y_c乘以f，第二部分是由实际像面坐标(x_r0,y_r0)经过畸变补偿得到(y_d+δ_y)乘以标定点空间坐标经过R、T变换算出的z_c，δ_y像面坐标y方向畸变补偿量，同理它们也应该相等，然后以其差值的平方和作为目标函数F₀，按目标函数最小的要求确定R、T、f和畸变系数的最佳值(x_r,y_r)为特征点中心的原始成像坐标；旋转矩阵R为：

$R=\left(\begin{array}{ccc}{r}_1& r_2& r_3\\ r_4& r_5& r_6\\ r_7& r_8& r_9\end{array}\right)=\left(\begin{array}{ccc}\cos \mathrm{\β}\cos \mathrm{\γ}& \sin \mathrm{\α}\sin \mathrm{\β}\cos \mathrm{\γ}-\cos \mathrm{\α}\sin \mathrm{\γ}& \cos \mathrm{\α}\sin \mathrm{\β}\cos \mathrm{\γ}+\sin \mathrm{\α}\sin \mathrm{\γ}\\ \cos \mathrm{\β}sin\mathrm{\γ}& \sin \mathrm{\α}\sin \mathrm{\β}\sin \mathrm{\γ}+\cos \mathrm{\α}\cos \mathrm{\γ}& \cos \mathrm{\α}\sin \mathrm{\β}\sin \mathrm{\γ}-\sin \mathrm{\α}\cos \mathrm{\γ}\\ -\sin \mathrm{\β}& \sin \mathrm{\α}\cos \mathrm{\β}& \cos \mathrm{\α}\cos \mathrm{\β}\end{array}\right)---\left(4\right)$

摄像机坐标系向世界坐标系旋转变换：首先围绕x_c轴旋转角度为α，其次围绕y_c轴旋转角度是β，最后围绕z_c轴旋转角度为γ；相应的平移向量T＝[t_x,t_y,t_z]^T，世界坐标系o_w-x_wy_wz_w和摄像机坐标系o_c-x_cy_cz_c转换关系式为：

$\left(\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right)=R\left(\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right)+T---\left(5\right)$

$F_1(\mathrm{\α},\mathrm{\β},\mathrm{\γ},t_x,t_y,t_z)=\underset{i=1}{\overset{n}{\Σ}}{f_{ai}}^2+\underset{i=1}{\overset{n}{\Σ}}{f_{bi}}^2---\left(6\right)$

$F_2(\mathrm{\α},\mathrm{\β},\mathrm{\γ},t_x,t_y,t_z)=\underset{i=1}{\overset{n}{\Σ}}{f_{ai}}^2+\underset{i=1}{\overset{n}{\Σ}}{f_{bi}}^2---\left(7\right)$

$\begin{array}{c}\left(\begin{array}{c}{x}_{c1}\\ y_{c1}\\ z_{c1}\end{array}\right)=R_3\left(\begin{array}{c}{x}_{c2}\\ y_{c2}\\ z_{c2}\end{array}\right){\mathrm{+T}}_3=R_1{R}_2^{-1}\[\left(\begin{array}{c}{x}_{c2}\\ y_{c2}\\ z_{c2}\end{array}\right){\mathrm{-T}}_2\]+T_1\\ \left(\begin{array}{c}{x}_{c1}\\ y_{c1}\\ z_{c1}\end{array}\right)=R_1\left(\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right)+T_1,\left(\begin{array}{c}{x}_{c2}\\ y_{c2}\\ z_{c2}\end{array}\right)=R_2\left(\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right)+T_2\end{array}---\left(8\right)$

在式(8)中(x_c1,y_c1,z_c1)和(x_c2,y_c2,z_c2)分别表示公共点在两个不同摄像机坐标系下的坐标，R₁，T₁和R₂，T₂分别表示世界坐标系向两个不同摄像机坐标系转换的旋转平移矩阵；R₃，T₃表示两个摄像机坐标系之间变换的旋转平移矩阵。

与已有技术相比，本发明的技术特点与效果：

1、图1中相机分布构成的视觉系统优点是能够从各个方向对零件的特征进行提取，无论零件特征信息多少和摆放姿态如何，本文中设计的视觉系统都能够最大限度地提取零件的信息。

2、系统中五个相机分别从不同方位对零件进行检测，能够较好地避免了数控设备装置遮挡了部分零件使得某一两个相机不能正常工作，导致整个系统无法正常工作。提高了系统的稳定性。

3、视觉系统应用了多个不同方位的相机，综合所有相机提取的信息可以实现对零件位姿较高精度的识别。

4、对于特征信息不明显的自由曲面、球体、圆柱体等，可以利用多个相机位置关系和提取的图像进行三维重建，增加了系统对零件位姿的识别能力。

5、光笔在测量过程中可以有不同的倾斜姿态，具有很好的灵活性，能够适用于不同大小范围各种姿态的位置关系的标定。

6、本发明标定的方法可以实现每个相机和设备坐标系逐一进行标定，减少多个摄像机公共视野空间大小对标定空间的限制。

7、本标定方法占地空间小，能够适用于加工或测量现场的数控设备和视觉系统位置标定，并具有较高的精度。

附图说明

图1摄像机分布图。

图2相机分布俯视图。

图3标定示意图。

具体实施方式

本发明提出了一种识别零件位姿的视觉系统及标定方法。为了更加全面地提取在加工或检测平台上零件的三维特征信息，本文新设计的视觉系统分布如图1所示。新的视觉系统设计是以三坐标测量机为平台，但图1所示的视觉系统应用不限于三坐标测量机平台。在图1中有四个相机分别分布在三坐标测量机平台前后左右四个方位，朝向都是正对测量平台中心位置，相邻相机的光轴基本垂直，同时有一个相机即相机5分布在测量平台的上方，实际中相机5是固定在三坐标测量机上如图3所示，朝向是往下正对测量平台。图2是相机分布的俯视图，虚线是每个相机的光轴线，相机5在初始位置时光轴线垂直于测量或加工平台的上表面，且通过上表面的中心，允许有不超过200mm的误差，垂直角度允许有不超过10度的误差。在相机1到相机4中，每个相机的光轴线与邻近的平台表面夹角约90度，允许有不超过10度的误差，每个相机的光轴线和相机5初始位置时的光轴线垂直并且相交，垂直角度允许有不超过10度的误差。测量平台周围四个相机的位置是固定不变的，并且相机之间的位置关系式经过标定的，相机5的位置随着三坐标测量机的位置前后移动。相机5的坐标系和三坐标测量机坐标系之间的位置也是经过标定的。这样就组成了整个视觉系统的硬件分布。

在三坐标测量机防碰撞系统的实际空间中有三种三维坐标系，分别是三坐标测量机坐标系、视觉坐标系、零件坐标系。视觉坐标系建立了零件坐标系和三坐标测量机坐标系之间的联系。视觉坐标系又可分为不同摄像机的坐标系，本文包含有五个相机坐标系。本发明提出一种新的基于光笔式单目视觉测量系统的标定方法。标定物为长方体块，材料是大理石，标定物的形状大小并不固定。为了获取较多的空间标定点信息，标定过程中长方体块分别在每个相机的视野和三坐标测量机测量空间的公共范围内不同的位置摆放不同的姿态获取相应的角点坐标。对于同一个位置同一个姿态的标定物，首先先用三坐标测量机对标定物的五个表面分别扫描采点，把采样点分别拟合平面，求取相邻三个平面的交点坐标即为标定物的角点在三坐标测量机下的坐标；然后保持标定物的姿态位置不变用光笔在摄像机坐标系下对标定物的五个表面进行扫描采点，由于光笔测头是红宝石球型体，因此在采点过程中可以通过旋转光笔使得发光面总是朝向摄像机，即摄像机总是能采集到光笔的所有发光点成像具有很好的灵活性，对采样点分别拟合平面，求取相邻三个平面的交点坐标即为标定物的角点在摄像机坐标系下坐标；最后根据对应的角点在摄像机坐标系下坐标和三坐标测量机坐标系下坐标应用相应优化算法求解出两个坐标系之间的转换关系。图3是标定示意图，光笔的结构尺寸也不固定。

本发明由于采取以上技术方案，其具有以下优点：

图1中相机分布构成的视觉系统优点是能够从各个方向对零件的特征进行提取，无论零件特征信息多少和摆放姿态如何，本文中设计的视觉系统都能够最大限度地提取零件的信息。

系统中五个相机分别从不同方位对零件进行检测，能够较好地避免了数控设备装置遮挡了部分零件使得某一两个相机不能正常工作，导致整个系统无法正常工作。提高了系统的稳定性。

视觉系统应用了多个不同方位的相机，综合所有相机提取的信息可以实现对零件位姿较高精度的识别。

对于特征信息不明显的自由曲面、球体、圆柱体等，可以利用多个相机位置关系和提取的图像进行三维重建，增加了系统对零件位姿的识别能力。

光笔在测量过程中可以有不同的倾斜姿态，具有很好的灵活性，能够适用于不同大小范围各种姿态的位置关系的标定。

本发明标定的方法可以实现每个相机和设备坐标系逐一进行标定，减少多个摄像机公共视野空间大小对标定空间的限制。

本标定方法占地空间小，能够适用于加工或测量现场的数控设备和视觉系统位置标定，并具有较高的精度。

下面结合附图和实施例对本发明的进行详细的描述。

新的视觉系统设计是以三坐标测量机为平台，但图1所示的视觉系统应用不限于三坐标测量机平台，广泛适用于其他数控加工与检测设备。在图1中有四个相机分别分布在三坐标测量机平台前后左右四个方位，朝向都是正对测量平台中心位置，相邻相机的光轴基本垂直，同时有一个相机即相机5分布在测量平台的上方，实际中相机5是固定在三坐标测量机上如图3所示，朝向是往下正对测量平台。图2是相机分布的俯视图，虚线是每个相机的光轴线，相机5在初始位置时光轴线垂直于测量或加工平台的上表面，且通过上表面的中心，垂直角度允许有不超过10度的误差。在相机1到相机4中，每个相机的光轴线与邻近平台的边线夹角约90度，允许有不超过10度的误差，每个相机的光轴线和相机5初始位置时的光轴线垂直并且相交，允许有不超过10度的误差。测量平台周围四个相机的位置是固定不变的，并且相机之间的位置关系式经过标定的，相机5的位置随着三坐标测量机的位置前后移动。相机5的坐标系和三坐标测量机坐标系之间的位置也是经过标定的。这样就组成了整个视觉系统的硬件分布。

本发明提出一种新的基于光笔式单目视觉测量系统的标定方法，光笔测量系统的原理(通过优化目标函数F₃得到最优的旋转角和平移矢量)见式(7)和参考文献[1-4]。如图3所示标定物为长方体块，材料是大理石，标定物的形状大小并不固定。为了获取较多的空间标定点信息，标定过程中长方体块分别在每个相机视野和三坐标测量机测量空间的公共范围内不同的位置摆放不同的姿态获取相应的角点坐标。具体地，对于同一个位置同一个姿态的标定物，先用三坐标测量机对标定物的五个表面分别扫描采点，把采样点分别拟合平面，求取相邻三个平面的交点坐标即为标定物的角点在三坐标测量机下的坐标；然后保持标定物的姿态位置不变，用光笔在摄像机坐标系下对标定物的五个表面进行扫面采点，由于光笔测头是红宝石球型体，因此在采点过程中可以通过旋转光笔使得发光面总是朝向摄像机，即摄像机总是能采集到光笔的所有发光点成像具有很好的灵活性，对采样点分别拟合平面，求取相邻三个平面的交点坐标即为标定物的角点在摄像机坐标系下坐标；最后根据对应的角点在摄像机坐标系下坐标和在三坐标测量机坐标系下坐标应用相应的优化算法求解出两个坐标系之间的转换关系。图3是标定示意图，光笔的结构尺寸也不固定。

具体标定步骤为：

(4)首先利用三坐标测量机对每个摄像机的内部参数进行标定，相机内部参数包括焦距f,主点坐标(c_x,c_y),径向和切向畸变系数(k₁,k₂,p₁,p₂),成像单元在x方向的尺寸d_x。在三坐标测量机的测头上方固定一个特征圆形发光亮点，在相机的视野范围内三坐标测量机控制特征点移动多个空间位置，获取相应的位置坐标作为三维基准，三维坐标和图像提取特征点中心坐标一起代入公式(1)，应用优化算法对相机的内部参数进行标定。

(5)按照图2固定好每个相机的位置，依次分别标定摄像机1到摄像机5和三坐标测量机的坐标系转换关系。以标定摄像机1和三坐标测量机坐标系转换关系为例，在摄像机1的视野和三坐标测量机平台公共范围内的不同位置摆放不同姿态的长方体块，对每个位置每种姿态的长方体块五个表面(除了和三坐标测量机平台接触的表面)分别用三坐标测量机和光笔对其进行扫描采点，对每个表面内的三维点坐标进行平面拟合，然后求出两组长方体块的角点坐标，代入优化目标函数F₁见式(6)，最后利用优化算法求解出相应的转换平移矩阵。

(6)根据步骤(2)求解的相机坐标系和三坐标测量机坐标系之间的转换关系，按照式(8)求解出不同摄像机坐标系之间的转换关系。

$F_0(\mathrm{\α},\mathrm{\β},\mathrm{\γ},t_x,t_y,t_z,f,d_x,k_1,k_2,c_x,c_y,p_1,p_2)=\underset{i=1}{\overset{n}{\Σ}}{f}_{ai}^2+\underset{i=1}{\overset{n}{\Σ}}{f}_{bi}^2---\left(1\right)$

f_ai＝(r₁x_w+r₂y_w+r₃z_w+t_x)f-(r₇x_w+r₈y_w+r₉z_w+t_z)(x_r+δ_x)

f_bi＝(r₄x_w+r₅y_w+r₆z_w+t_y)f-(r₇x_w+r₈y_w+r₉z_w+t_z)(y_r+δ_y)(2)

$\begin{array}{c}{\mathrm{\δ}}_x=x_r{k}_1(x_r^2+y_r^2)+x_r{k}_2{(x_r^2+y_r^2)}^2+p_1(3x_r^2+y_r^2)+2p_2{x}_r{y}_r\\ {\mathrm{\δ}}_y=y_r{k}_1(x_r^2+y_r^2)+y_r{k}_2{(x_r^2+y_r^2)}^2+p_2(x_r^2+3y_r^2)+2p_1{x}_r{y}_r\end{array}---\left(3\right)$

世界坐标系为o_w-x_wy_wz_w，摄像机坐标系为o_c-x_cy_cz_c，f_ai的第一部分是由标定点的空间坐标经R、T变换算出的x_c乘以f，第二部分是由实际像面坐标(x_r,y_r)经过畸变补偿得到(x_r+δ_x)乘以标定点空间坐标经过R、T变换算出的z_c，δ_x为像面坐标x方向的畸变补偿量，根据理想小孔成像原理两者应该相等。f_bi的第一部分是由标定点的空间坐标经R、T变换算出的y_c乘以f，第二部分是由实际像面坐标(x_r0,y_r0)经过畸变补偿得到(y_d+δ_y)乘以标定点空间坐标经过R、T变换算出的z_c，δ_y像面坐标y方向畸变补偿量，同理它们也应该相等，然后以其差值的平方和作为目标函数F₀，按目标函数最小的要求确定R、T、f和畸变系数的最佳值(x_r,y_r)为特征点中心的原始成像坐标。旋转矩阵R为：

$R=\left(\begin{array}{ccc}{r}_1& r_2& r_3\\ r_4& r_5& r_6\\ r_7& r_8& r_9\end{array}\right)=\left(\begin{array}{ccc}\cos \mathrm{\β}\cos \mathrm{\γ}& \sin \mathrm{\α}\sin \mathrm{\β}\cos \mathrm{\γ}-\cos \mathrm{\α}\sin \mathrm{\γ}& \cos \mathrm{\α}\sin \mathrm{\β}\cos \mathrm{\γ}+\sin \mathrm{\α}\sin \mathrm{\γ}\\ \cos \mathrm{\β}sin\mathrm{\γ}& \sin \mathrm{\α}\sin \mathrm{\β}\sin \mathrm{\γ}+\cos \mathrm{\α}\cos \mathrm{\γ}& \cos \mathrm{\α}\sin \mathrm{\β}\sin \mathrm{\γ}-\sin \mathrm{\α}\cos \mathrm{\γ}\\ -\sin \mathrm{\β}& \sin \mathrm{\α}\cos \mathrm{\β}& \cos \mathrm{\α}\cos \mathrm{\β}\end{array}\right)---\left(4\right)$

摄像机坐标系向世界坐标系(可以表示光笔坐标系、三坐标测量机坐标系、不同位置的摄像机坐标系)旋转变换：首先围绕x_c轴旋转角度为α，其次围绕y_c轴旋转角度是β，最后围绕z_c轴旋转角度为γ。相应的平移向量T＝[t_x,t_y,t_z]^T，世界坐标系o_w-x_wy_wz_w和摄像机坐标系o_c-x_cy_cz_c转换关系式为：

$\left(\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right)=R\left(\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right)+T---\left(5\right)$

$F_1(\mathrm{\α},\mathrm{\β},\mathrm{\γ},t_x,t_y,t_z)=\underset{i=1}{\overset{n}{\Σ}}{f_{ai}}^2+\underset{i=1}{\overset{n}{\Σ}}{f_{bi}}^2---\left(6\right)$

$F_2(\mathrm{\α},\mathrm{\β},\mathrm{\γ},t_x,t_y,t_z)=\underset{i=1}{\overset{n}{\Σ}}{f_{ai}}^2+\underset{i=1}{\overset{n}{\Σ}}{f_{bi}}^2---\left(7\right)$

$\begin{array}{c}\left(\begin{array}{c}{x}_{c1}\\ y_{c1}\\ z_{c1}\end{array}\right)=R_3\left(\begin{array}{c}{x}_{c2}\\ y_{c2}\\ z_{c2}\end{array}\right){\mathrm{+T}}_3=R_1{R}_2^{-1}\[\left(\begin{array}{c}{x}_{c2}\\ y_{c2}\\ z_{c2}\end{array}\right){\mathrm{-T}}_2\]+T_1\\ \left(\begin{array}{c}{x}_{c1}\\ y_{c1}\\ z_{c1}\end{array}\right)=R_1\left(\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right)+T_1,\left(\begin{array}{c}{x}_{c2}\\ y_{c2}\\ z_{c2}\end{array}\right)=R_2\left(\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right)+T_2\end{array}---\left(8\right)$

在式(8)中(x_c1,y_c1,z_c1)和(x_c2,y_c2,z_c2)分别表示公共点在两个不同摄像机坐标系下的坐标，R₁，T₁和R₂，T₂分别表示世界坐标系向两个不同摄像机坐标系转换的旋转平移矩阵。R₃，T₃表示两个摄像机坐标系之间变换的旋转平移矩阵。

[1]LiuS,ZhangH,DongY,etal.PortableLightPen3DVisionCoordinateMeasuringSystem‐ProbeTipCenterCalibration[J].MeasurementScienceReview,2013,13(4):194‐199。

[2]解则晓,韩振华,高翔.光笔式单目视觉测量系统的关键技术[J].中国光学,2013,6(5):780‐787。

[3]彭凯,刘书桂,黄风山.光笔式便携三维坐标视觉测量系统的建模与分析[J].计量技术,2005,12:18‐20。

[4]黄风山,刘书桂,彭凯.光笔视觉测量系统结构参数的自标定与仿真[J].光电子激光,2006,17:705‐708。

Claims (3)

1.一种零件位姿识别视觉系统，其特征是，由五个相机和三座标测量机光笔构成，四个相机1-4分别分布在三坐标测量机平台前后左右四个方位，朝向都是正对测量平台中心位置，相邻相机的光轴基本垂直，同时剩余的一个相机即相机5分布在测量平台的上方，朝向是往下正对测量平台，相机5在初始位置时光轴线垂直于测量或加工平台的上表面，且通过上表面的中心且误差不超过200mm，垂直角度允许有不超过10度的误差；在相机1到相机4中，每个相机的光轴线与邻近测量平台的表面夹角约90度，允许有不超过10度的误差，相机1到相机4中每个相机的光轴线和相机5初始位置时的光轴线垂直并且相交，允许有不超过10度误差；测量平台周围四个相机的位置是固定不变的，并且相机之间的位置关系式经过标定的，相机5的位置随着三坐标测量机的位置前后移动；相机5的坐标系和三坐标测量机坐标系之间的位置也是经过标定的；光笔测头是红宝石球型体，在采点过程中通过旋转光笔使得发光面总是朝向摄像机。

2.一种零件位姿识别视觉系统标定方法，其特征是，步骤是，零件位姿识别视觉系统标定方法，步骤是，建立三坐标测量机坐标系、视觉坐标系、标定物坐标系，视觉坐标系建立了标定物坐标系和三坐标测量机坐标系之间的联系，视觉坐标系又分为不同摄像机的坐标系，标定物的形状大小并不固定，为了获取较多的空间标定点信息，标定过程中长方体块分别在每个相机的视野和三坐标测量机测量空间的公共范围内不同的位置摆放不同的姿态获取相应的角点坐标；对于同一个位置同一个姿态的标定物，首先先用三坐标测量机对标定物的五个表面分别扫描采点，把采样点分别拟合平面，求取相邻三个平面的交点坐标即为标定物的角点在三坐标测量机下的坐标；然后保持标定物的姿态位置不变用光笔在摄像机坐标系下对标定物的五个表面进行扫面采点，光笔测头是红宝石球型体，在采点过程中通过旋转光笔使得发光面总是朝向摄像机，对采样点分别拟合平面，求取相邻三个平面的交点坐标即为标定物的角点在摄像机坐标系下坐标；最后根据对应的角点在摄像机坐标系下坐标和三坐标测量机坐标系下坐标应用相应优化算法求解出两个坐标系之间的转换关系。

3.如权利要求2所述的零件位姿识别视觉系统标定方法，其特征是，具体标定步骤为：

(1)首先利用三坐标测量机对每个摄像机的内部参数进行标定，相机内部参数包括焦距f,主点坐标(c_x,c_y),径向和切向畸变系数(k₁,k₂,p₁,p₂),成像单元在x方向的尺寸d_x。在三坐标测量机的测头上方固定一个特征圆形发光亮点，在相机的视野范围内三坐标测量机控制特征点移动多个空间位置，获取相应的位置坐标作为三维基准，三维坐标和图像提取特征点中心坐标一起代入公式(1)，应用优化算法对相机的内部参数进行标定；

(2)依次分别标定摄像机1到摄像机5和三坐标测量机的坐标系转换关系，以标定摄像机1和三坐标测量机坐标系转换关系为例，在摄像机1的视野和三坐标测量机平台公共范围内的不同位置摆放不同姿态的长方体块，对每个位置每种姿态的长方体块五个表面，除了和三坐标测量机平台接触的表面，分别用三坐标测量机和光笔对其进行扫描采点，对每个表面内的三维点坐标进行平面拟合，然后求出两组长方体块的角点坐标，代入优化目标函数F₁见式(6)，最后利用优化算法求解出相应的转换平移矩阵；

(3)根据步骤(2)求解的相机坐标系和三坐标测量机坐标系之间的转换关系，按照式(8)求解出不同摄像机坐标系之间的转换关系：

$F_0(\mathrm{\α},\mathrm{\β},\mathrm{\γ},t_x,t_y,t_z,f,d_x,k_1,k_2,c_x,c_y,p_1,p_2)=\underset{i=1}{\overset{n}{\Σ}}{f}_{ai}^2+\underset{i=1}{\overset{n}{\Σ}}{f}_{bi}^2$

(1)

f_ai＝(r₁x_w+r₂y_w+r₃z_w+t_x)f-(r₇x_w+r₈y_w+r₉z_w+t_z)(x_r+δ_x)

f_bi＝(r₄x_w+r₅y_w+r₆z_w+t_y)f-(r₇x_w+r₈y_w+r₉z_w+t_z)(y_r+δ_y)(2)

${\mathrm{\δ}}_x=x_r{k}_1(x_r^2+y_r^2)+x_r{k}_2{(x_r^2+y_r^2)}^2+p_1(3x_r^2+y_r^2)+2p_2{x}_r{y}_r$

${\mathrm{\δ}}_y=y_r{k}_1(x_r^2+y_r^2)+y_r{k}_2{(x_r^2+y_r^2)}^2+p_2(x_r^2+3y_r^2)+2p_1{x}_r{y}_r$

(3)

世界坐标系为o_w-x_wy_wz_w，摄像机坐标系为o_c-x_cy_cz_c，f_ai的第一部分是由标定点的空间坐标经R、T变换算出的x_c乘以f，第二部分是由实际像面坐标(x_r,y_r)经过畸变补偿得到(x_r+δ_x)乘以标定点空间坐标经过R、T变换算出的z_c，δ_x为像面坐标x方向的畸变补偿量，根据理想小孔成像原理两者应该相等。f_bi的第一部分是由标定点的空间坐标经R、T变换算出的y_c乘以f，第二部分是由实际像面坐标(x_r0,y_r0)经过畸变补偿得到(y_d+δ_y)乘以标定点空间坐标经过R、T变换算出的z_c，δ_y像面坐标y方向畸变补偿量，同理它们也应该相等，然后以其差值的平方和作为目标函数F₀，按目标函数最小的要求确定R、T、f和畸变系数的最佳值(x_r,y_r)为特征点中心的原始成像坐标；旋转矩阵R为：

$R=\left(\begin{array}{ccc}{r}_1& r_2& r_3\\ r_4& r_5& r_6\\ r_7& r_8& r_9\end{array}\right)=\left(\begin{array}{ccc}\cos \mathrm{\β}\cos \mathrm{\γ}& \sin \mathrm{\α}\sin \mathrm{\β}\cos \mathrm{\γ}-\cos \mathrm{\α}\sin \mathrm{\γ}& \cos \mathrm{\α}\sin \mathrm{\β}\cos \mathrm{\γ}+\sin \mathrm{\α}\sin \mathrm{\γ}\\ \cos \mathrm{\β}\sin \mathrm{\γ}& \sin \mathrm{\α}\sin \mathrm{\β}\sin \mathrm{\γ}+\cos \mathrm{\α}\cos \mathrm{\γ}& \cos \mathrm{\α}\sin \mathrm{\β}\sin \mathrm{\γ}-\sin \mathrm{\α}\cos \mathrm{\γ}\\ -\sin \mathrm{\β}& \sin \mathrm{\α}\cos \mathrm{\β}& \cos \mathrm{\α}\cos \mathrm{\β}\end{array}\right)$

(4)

摄像机坐标系向世界坐标系旋转变换：首先围绕x_c轴旋转角度为α，其次围绕y_c轴旋转角度是β，最后围绕z_c轴旋转角度为γ；相应的平移向量T＝[t_x,t_y,t_z]^T，世界坐标系o_w-x_wy_wz_w和摄像机坐标系o_c-x_cy_cz_c转换关系式为：

$\left(\begin{array}{c}{x}_c\\ y_c\\ z_c\end{array}\right)=R\left(\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right)+T---\left(5\right)$

$F_1(\mathrm{\α},\mathrm{\β},\mathrm{\γ},t_x,t_y,t_z)=\underset{i=1}{\overset{n}{\Σ}}{f_{ai}}^2+\underset{i=1}{\overset{n}{\Σ}}{f_{bi}}^2---\left(6\right)$

$F_2(\mathrm{\α},\mathrm{\β},\mathrm{\γ},t_x,t_y,t_z)=\underset{i=1}{\overset{n}{\Σ}}{f_{ai}}^2+\underset{i=1}{\overset{n}{\Σ}}{f_{bi}}^2---\left(7\right).$

$\begin{array}{c}\left(\begin{array}{c}{x}_{c1}\\ y_{c1}\\ z_{c1}\end{array}\right)=R_3\left(\begin{array}{c}{x}_{c2}\\ y_{c2}\\ z_{c2}\end{array}\right)+T_3=R_1{R}_2^{-1}\[\left(\begin{array}{c}{x}_{c2}\\ y_{c2}\\ z_{c2}\end{array}\right)-T_2\]+T_1\\ \left(\begin{array}{c}{x}_{c1}\\ y_{c1}\\ z_{c1}\end{array}\right)=R_1\left(\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right)+T_1,\left(\begin{array}{c}{x}_{c2}\\ y_{c2}\\ z_{c2}\end{array}\right)=R_2\left(\begin{array}{c}{x}_w\\ y_w\\ z_w\end{array}\right)+T_2\end{array}---\left(8\right)$

在式(8)中(x_c1,y_c1,z_c1)和(x_c2,y_c2,z_c2)分别表示公共点在两个不同摄像机坐标系下的坐标，R₁，T₁和R₂，T₂分别表示世界坐标系向两个不同摄像机坐标系转换的旋转平移矩阵；R₃，T₃表示两个摄像机坐标系之间变换的旋转平移矩阵。