CN110136204B - 基于双侧远心镜头相机机床位置标定的音膜球顶装配系统 - Google Patents

Abstract

基于双侧远心镜头相机机床位置标定的音膜球顶装配系统，包括使用双侧远心镜头的相机和能够在三轴向平移的机床，使用双侧远心镜头的相机与机床的标定包括：数据准备，以机床坐标系为世界坐标系，设置标记点，机床按照预设轨迹步进式移动，机床每步进到一个位置点，相机对标记点拍照一次，获得每一个位置点的机床坐标，以及在当前位置标记点的像素坐标，用内参矩阵A将像素坐标转换成相机坐标，利用旋转矩阵B将相机坐标转换到机床坐标。本发明的音膜球顶相机组件均使用双侧远心镜头，球顶和音膜的成像不受距离影响，拍摄的景深长，任意距离都可以使球顶、音膜精确成像，从而降低了对机床的精度要求，提高装配精度。

Description

基于双侧远心镜头相机机床位置标定的音膜球顶装配系统

技术领域

本发明涉及视觉检测领域，特别涉及一种使用双侧远心镜头进行音膜和球顶的自动装配的系统。

背景技术

如今电子产品的应用越来越广泛，尤其是电子产品的配件如音膜，球顶等，由于配件精细，需要纯手工进行装配，但是纯手工装配不仅劳动强度大，效率低，而且装配过程中经常会出现犯错，产品成品率非常低。

依靠视觉的定位来装配精细配件，利用完善的系统误差标定来提高相机的图像采集性能，并且可以极大的降低系统对于机械设备精度的要求，从而提高系统的装配精度。

相机的成像模型就是用数学公式刻画整个成像过程，即被拍摄物体空间点到照片成像点之间的几何变换关系。

总体上，相机成像可以分为四个步骤：刚体变换(从世界坐标系到相机坐标系)、透视投影(从相机坐标系到理想图像坐标系)、畸变校正(从理想图像坐标系到真实图像坐标系)和数字化图像(从真实图像坐标系到数字化图像坐标系)。

世界坐标系：客观三维世界的绝对坐标系，也称客观坐标系。因为数码相机安放在三维空间中，我们需要世界坐标系这个基准坐标系来描述数码相机的位置，并且用它来描述安放在此三维环境中的其它任何物体的位置，用(X,Y,Z)表示其坐标值。

相机坐标系(光心坐标系)：以相机的光心为坐标原点，X轴和Y轴分别平行于图像坐标系的X轴和Y轴，相机的光轴为Z轴，用(Xc,Yc,Zc)表示其坐标值。

图像坐标系：以CCD图像平面的中心为坐标原点，X轴和Y轴分别平行于图像平面的两条垂直边，用(x,y)表示其坐标值。图像坐标系是用物理单位(例如毫米)表示像素在图像中的位置。

像素坐标系：以CCD图像平面的左上角顶点为原点，X轴和Y轴分别平行于图像坐标系的X轴和Y轴，用(u,v)表示其坐标值。数码相机采集的图像首先是形成标准电信号的形式，然后再通过模数转换变换为数字图像。每幅图像的存储形式是M×N的数组，M行N列的图像中的每一个元素的数值代表的是图像点的灰度。这样的每个元素叫像素，像素坐标系就是以像素为单位的图像坐标系。

对于相机标定，现有的比较通用且成熟的技术为针对针孔相机模型的张正友标定算法，通过棋盘格标定板即可标定出相机的内外参，MATLAB工具箱和OpenCV的标定函数均可实现该标定过程。

而这些相机标定算法只能针对普通镜头。

普通针孔相机目标物体越靠近镜头(工作距离越短)，所成的像就越大。在使用普通镜头进行视觉识别时，会存在如下问题：1.由于被测量物体不在同一个测量平面，而造成放大倍率的不同。2.镜头畸变大。3.存在视差也就是当物距变大时，对物体的放大倍数也改变。4.镜头的解析度不高。5.由于视觉光源的几何特性，而造成的图像边缘位置的不确定性。

对于一个带有视觉的机器人系统，相机得到的所有信息都是在相机坐标系下描述的。要让机器人根据视觉系统得到的信息，第一步要做的就是确定相机坐标系与机器人之间的相互位置关系，这就是机器人手眼标定的研究内容。

对于机器人的手眼标定，直接让机械臂在空间中运动两个位置，保证这两个位置下都可以看到标定板。然后构建空间变换回路AX＝XB，求得手眼关系。

机器人系统是一个三轴移动的机床，它只能在xyz三个方向上进行平移，并不能像机器人的机械臂那样可以实现在空间里任意运动，所以不能用张正友标定相机与机床的相互位置关系。

根据机床只能平移的运动特性，可以通过平移平台的方式来标定相机与平台的相对关系。一个比较经典的自标定方法是在平台上放置一个已知参考物体，通过控制平台沿三个非共面方向平移三次，从控制器获得平台运动数据，再通过相机拍摄参考物体来计算引起的相机运动。相机与平台坐标系在三维空间中的旋转矩阵就可由下式求得：

t_p＝Rt_c

式中，t_p为平台三次正交平移组成的向量，t_p＝(t_p1,t_p2,t_p3)；t_c为计算得到的相机三次平移组成的向量t_c＝(t_c1,t_c2,t_c3)。但是t_p和t_c是普通镜头才能获得的参数，若使用其他镜头，则无法确定镜头t_p和t_c，从而造成无法实现相机标定。

而且目前很多针对视觉与机器的标定，都是考虑的二维坐标系转换，忽略了很多安装误差，造成标定精度不高。

发明内容

本发明的目的在于提供一种能够使用双侧远心镜头进行图像采集，并对具有双侧远心镜头的相机进行相机与机床之间相互位置的精确标定，使装配精度达到微米级的音膜球顶自动装配系统。

基于双侧远心镜头相机机床位置标定的音膜球顶装配系统，包括使用双侧远心镜头的相机和能够在三轴向平移的机床，使用双侧远心镜头的相机与机床的标定包括：数据准备，设置标记点，机床控制按照轨迹移动，机床每步进到一个位置点，相机对标记点拍照一次，获得机床坐标系下每一个位置点的机床坐标，以及在当前位置点获得的图像中的标记点的像素坐标；用内参矩阵A将像素坐标转换成相机坐标，内参矩阵

利用相机坐标和机床坐标获得的相机坐标系和机床坐标系之间的旋转矩阵

进一步，装配系统具有音膜相机和球顶相机，音膜相机和球顶相机分别使用双侧远心镜头，音膜相机和机床的标定：在机床上设置标记点P1，机床控制基于双侧远心镜头的音膜相机按照预设轨迹步进式移动，音膜相机每步进一次则对标记点P1拍摄一张图像，获得音膜相机在机床坐标系下每一个位置点的机床坐标；以及音膜相机在当前位置点获得的图像中的标记点P1的像素坐标(x_u1，y_u1)。

读取标记点P1的像素坐标和机床坐标，以在同一个位置获得的标记点P1的像素坐标和机床坐标为一组；对于标记点P1的每一组像素坐标和机床坐标，将像素坐标通过内参矩阵A₁转换到音膜相机的相机坐标系。

用相机坐标和机床坐标计算得到相机与机床之间的旋转矩阵R₁；A_1×R₁表示像素坐标与机床坐标之间的转换关系。

进一步，装配系统具有音膜相机和球顶相机，音膜相机和球顶相机分别使用双侧远心镜头，球顶相机和机床的标定：在机械手上设置标记点P2，机床控制机械手按照预设轨迹步进式移动，机械手每步进一次则基于双侧远心镜头的球顶相机对标记点P2拍摄一张图像，获得机械手在机床坐标系下每一个位置点的机床坐标；以及球顶相机在当前位置点获得的图像中的标记点P2的像素坐标(x_u2，y_u2)。

读取标记点P2的像素坐标和机床坐标，以在同一个位置获得的标记点P2的像素坐标和机床坐标为一组；对于标记点P2的每一组像素坐标和机床坐标，将像素坐标通过内参矩阵A₂转换到球顶相机的相机坐标系。

用相机坐标和机床坐标计算得到相机与机床之间的旋转矩阵R₂；A_2×R₂表示像素坐标与机床坐标之间的转换关系。

进一步，获取的标记点P1的机床坐标和像素坐标包括；在平台上任意取一个固定的标记点P1为机床坐标系的原点，以P1点作为机床运动的起点；设置机床第一运动轨迹，机床使音膜相机组件沿第一运动轨迹做模拟虚拟棋盘格坐标的步进式平移、且在第一运动轨迹中，P1点始终在音膜相机组件的拍摄范围内。

机床每走一步，音膜相机跟踪拍摄一次标记点P1，获取每次步进时的图像以及P1点像素坐标(Xci,Yci)；同时，机床每走一步，获得当前P1点机床坐标(Xti,Yti)；保存每次步进获得的P1点的像素坐标和机床坐标。

进一步，获取标记点P2的机床坐标和像素坐标包括；在机械手末端任意取一个固定标记点P2为机床坐标系的原点，以P2点作为机床运动的起点。

设置机床的第二运动轨迹，机床使机械手沿第二运动轨迹做模拟虚拟棋盘格坐标的步进式平移，且在第二运动轨迹中，P2点始终在球顶相机组件的拍摄范围内,P2点每走一步，则球顶相机拍摄一次P2点的图像，并获取P2点的像素坐标(Xci,Yci)；同时，机床每走一步，获得当前P2点机床坐标(Xti,Yti)；保存每次步进获得的P2点的像素坐标和机床坐标。

进一步，基于双侧远心镜头的音膜相机和球顶相机的相机模型包含无失真相机模型和有失真相机模型：

基于双侧远心镜头无失真相机模型的世界坐标系和像素坐标系的转换关系：

基于双侧远心镜头无失真相机模型的相机倍率m：

无失真相机模型的建立包括以下模型公式：

首先，世界坐标系转到相机坐标系是一个旋转+平移过程，转换矩阵表示如下：

其中，

为世界坐标系，

为相机坐标系，

为三维空间旋转矩阵，

为x轴转换向量，

为y轴转换向量，

为z轴转换向量，tx，ty，tz为平移参数。

然后，相机坐标系转到图像坐标系是相机的成像过程，转换矩阵表示如下：

其中，

为图像坐标系，m为相机的倍率。

接着，图像坐标系转到像素坐标系是一个单位的转换，转换矩阵表示如下：

其中，

为像素坐标系，du和dv表示每一个像素在u轴和v轴方向上的物理尺寸，du＝dv＝3.45um/pix。

将转换矩阵(4.1)、转换矩阵(4.2)、转换矩阵(4.3)乘在一起，得到世界坐标系和像素坐标系的转换关系：

相机的参数标定用到了标定板，本发明用的标定板为棋盘格标定板，每个格子尺寸为1mm，该标定方法只需拍一张棋盘格就能标定出相机的内外参数，根据公式(4.2)得到棋盘格标定板图像坐标系:

将公式(4.5)写成矩阵相乘的形式：

所述的公式(4.6)等式左边的内外参数组成的向量是要求解的，该向量由五个未知数组成，所以至少需要5个方程才能解得所有未知数；为了保证计算结果的精度，选取了棋盘格所有角点共88个，组成了下列方程：

上述方程左边的系数矩阵维度为88×5，方程组数量远大于5个，从而转变成超定方程的求解：

ML＝X (4.8)

其中M代表

L代表

X代表

超定方程的解满足普通方程：

M^TML＝M^TX (4.9)

将普通方程(4.9)转换如下,求得向量L：

L＝(M^TM)^-1M^TX (4.10)

通过计算得出的旋转、平移分量，结合公式(4.2)，计算出相机倍率m：

进一步，有失真相机模型下进行非线性优化获得考虑畸变后的标准像素坐标(x_d，y_d)：

像素坐标转换成相机坐标时，像素坐标使用(x_d,y_d)；

对像素坐标在有失真相机模型下进行非线性优化获得考虑畸变后的标准像素坐标(x_d，y_d)；

式中k1是径向畸变系数，h1、h2是偏心畸变系数，s1、s2是薄棱镜畸变系数，x_u，y_u为前面的无失真相机模型计算的像素坐标，x_d，y_d为考虑畸变以后的标准像素坐标。

进一步，有失真相机模型下进行非线性优化，进一步包括通过求解F重投影误差的最小值，建立目标函数，迭代优化内外参和畸变系数，目标函数为：

有失真的相机模型的非线性优化包括以下步骤：

通过求解F重投影误差的最小值，建立目标函数，迭代优化内外参和畸变系数，目标函数为：

式中p_i是由相机拍摄得到的图片的像素坐标，

是由式(4.4)、(5.1)建立的无失真相机模型计算得到的像素坐标，R为三维空间旋转矩阵，t_x和t_y为平移参数。

上述的目标函数通过Levenberg–Marquardt(LM)算法进行迭代优化。旋转、平移参数的初值为前面无失真相机模型求解得到的，镜头畸变参数的初值取0。

LM算法与高斯牛顿优化算法存在一些区别，高斯牛顿法的迭代公式为：

为目标函数对各变量的一阶导，H_f(x_n)^-1表示直接在梯度向量的导数。这两个量的乘积就是每次迭代的步长Δ，将其改写为矩阵相乘的形式：

Δ＝-(J_f ^T.J_f)^-1.J_f ^T.f (6.3)

定义式中g＝2J_f ^T.f为雅可比矩阵，H≈2J_f ^T.J_f为Hessian矩阵。

LM算法是在高斯牛顿法的基础上增加了一个可调的阻尼参数λ，迭代步长Δk为：

Δk＝-(J_f ^T.J_f+λ)^-1.J_f ^T.f (6.4)

进一步，所述的P1像素坐标通过内参矩阵A转换到各自相机坐标系下；

其中对于标记点P1的每一组像素坐标，将像素坐标通过内参矩阵A₁转换到音膜相机的相机坐标系：

相机坐标与像素坐标的转换关系为film_c：

film_c＝A1^-1*film_imagepoints；

所述的建立超定方程，得到关于音膜相机与机床转换矩阵，进一步包括利用相机坐标与机床坐标的转换关系获得音膜相机与机床的转换矩阵t1：

t1＝(a1′*a1)^-1*a1′*b1。

进一步，所述的P2像素坐标通过内参矩阵A转换到各自相机坐标系下；

其中对于标记点P2的每一组像素坐标，将像素坐标通过内参矩阵A₂转换到球顶相机的相机坐标系：

相机坐标与像素坐标的转换关系为dome_c：

dome_c＝A2^-1*dome_imagepoints；

所述的建立超定方程，得到关于球顶相机与机床转换矩阵，进一步包括利用相机坐标与机床坐标的转换关系获得球顶相机与机床的转换矩阵t2：

t2＝(a2′*a2)^-1*a2′*b2。

在P1、P2的像素坐标、机床坐标和相机坐标均已知的情况下，通过计算得到机床坐标系到音膜相机坐标系和机床坐标系到球顶相机坐标系的转换关系，相机坐标与机床坐标之间存在旋转+平移的关系，转换矩阵表示如下：

其中相机坐标和机床坐标获得的相机坐标系和机床坐标系之间的旋转矩阵

将上式写成方程组形式：

X_c＝r₁₁X_t+r₁₂Y_t+t_x

Y_c＝r₂₁Y_t+r₂₂Y_t+t_y (7.2)。

为了求旋转平移参数，需要将其单独表示成一个向量，因此式(7.2)又可以转化为如下表示方式：

其中(X_ci,Y_ci)为标记点的相机坐标，可以通过前面求得的内参矩阵计算得到，(X_ti,Y_ti)为标记点的机床坐标。

等式(7.3)左边的系数矩阵维度为24X6，是一个超定方程的求解问题，通过超定方程解法就可以求得由旋转和平移分量组成的未知向量，也就得到了相机坐标系与机床坐标系的转换矩阵；求音膜相机与机床转换矩阵，通过建立超定方程a1*t1＝b1,其中a1代表相机坐标

t1代表旋转平移矩阵

b1代表机床坐标

代入数据从而求得音膜相机与机床转换矩阵t1＝(a1'*a1)^-1*a1'*b1。

同理，球顶相机与机床转换矩阵，通过建立超定方程a2*t2＝b2,其中a2代表相机坐标

t2代表旋转平移矩阵

b2代表机床坐标

代入数据从而求得音膜相机与机床转换矩阵t2＝(a2'*a2)^-1*a2'*b2。

本发明的优点在于：

1、音膜相机组件和球顶相机组件均使用双侧远心镜头，球顶和音膜的成像不受球顶相机组件与球顶、音膜相机组件和音膜之间的距离影响，拍摄的景深长，任意距离都可以使球顶、音膜精确成像，降低了对机床的精度要求，提高装配精度。

2、音膜相机组件与机床的标定，球顶相机组件与机床的标定均采用空间的三维坐标系转换，有利于提高装配精度。

附图说明

图1是装配系统结构简图。

图2是虚拟棋盘格坐标。

图3是虚拟棋盘格像素坐标。

图4是虚拟棋盘格机床坐标。

图5是双侧远心镜头成像模型。

图6是棋盘格标定板。

图7是相机的内外参数。

图8是不同相机模型的标定结果。

图9是不同失真相机模型的远心镜头的测量精度。

图10是相机与机床的旋转和平移量。

具体实施方式

下面对本发明涉及的结构或这些所使用的技术方法术语做进一步的说明，如果没有特别指明，按照本领域的通用的一般属于进行理解和解释。

基于相机和机床之间相互位置标定的音膜球顶自动装配系统包括：基座和具有转动自由度的机械手，基座上有移动式装配的机床，图像采集模块和元件工位，元件工位包括音膜放置位和球顶放置位；图像采集模块包括音膜相机组件和球顶相机组件，移动式装配机床控制机械手和音膜相机组件运动，音膜相机组件位于元件工位之上，球顶相机组件位于元件工位之下；音膜相机组件和球顶相机组件均采用双侧远心镜头。

作为一种实施方式，如图1所示，机床包括基座(1)，四轴精密移动装配平台(2)、机械手(3)、音膜图像采集组件(4)和球顶图像采集组件(5)、以及音膜工装模块和球顶工装模块(6)；四轴精密移动装配平台(2)，音膜图像采集组件(4)和球顶图像采集组件(5)，音膜工装模块和球顶工装模块(6)设置于基座。

四轴精密移动装配平台(2)包含X轴导轨(7)，Y轴导轨(8)和Z轴导轨(9)；X轴导轨(7)固定于基座(1)，Y轴导轨(8)可移动的安装于X导轨(7)，Z轴导轨(9)可移动的安装于Y轴导轨(8)；Z轴导轨(9)有滑块(10)，滑块(10)上安装有机械手和音膜图像采集组件，机械手包括真空吸盘(12)和转轴(17)，真空吸盘(12)与转轴(17)同轴，转轴(17)与旋转驱动件(16)相连。

基于双侧远心镜头相机机床位置标定的音膜球顶装配系统，相机与机床标定时，执行以下操作：

第一步进行数据准备，其包括以下步骤：

步骤1，在平台上任意取一个固定的标记点P1为机床坐标系的原点，以P1点作为机床运动的起点，如图2所示；

步骤2，设置机床第一运动轨迹，机床使音膜相机组件沿第一运动轨迹做模拟虚拟棋盘格坐标的步进式平移、且在第一运动轨迹中，P1点始终在音膜相机组件的拍摄范围内，如图3所示；

步骤3，机床每走一步，音膜相机跟踪拍摄一次标记点P1，获取每次步进时的图像以及P1点像素坐标(X_ci,Y_ci)；同时，机床每走一步，获得当前机床坐标(X_ti,Y_ti)，如图4所示；

步骤4，在机械手末端任意取一个固定标记点P2，设置机床的第二运动轨迹，机床使机械手沿第二运动轨迹做模拟虚拟棋盘格坐标的步进式平移，且在第二运动轨迹中，P2点始终在球顶相机组件的拍摄范围内，如图2所示；

步骤5，P2点每走一步，则球顶相机拍摄一次P2点的图像，并获取P2点的像素坐标，如图3所示，同时，机床每走一步，获得当前机床坐标，如图4所示；

步骤6，将音膜相机和球顶相机拍的标记点所构成的虚拟棋盘格的机床坐标和像素坐标分别记录在计算机文件里，从而完成数据准备工作。

作为优选的方案，自动装配系统对图像采集模块与机床的标定；

第二步需要基于所建立的相机模型，得到P1、P2的像素坐标和机床坐标，其包括以下步骤：

步骤1，建立相机模型；

如图5所示，基于所建立的相机模型，从而得到世界坐标系和像素坐标系之间的转换关系；所建立的相机成像模型的目的是使相机可以进行拍照、图像识别和扫描等视觉检测领域的工作；相机模型的坐标系包括：世界坐标系(XwYwZw)、相机坐标系(XcYcZc)、图像坐标系(xy)和像素坐标系(uv)。

本发明所建立的相机模型包括：

1、建立无失真的相机模型；

2、将三维的世界坐标系(XwYwZw)转换到相机坐标系(XcYcZc)；

3、将相机坐标系(XcYcZc)转换到图像坐标系(xy)；

4、将图像坐标系(xy)转换到二维的像素坐标系(uv)；

5、用标记板对参数进行标定建立无失真相机模型；

6、根据考虑畸变的标准像素坐标计算公式建立有失真的相机模型。

优选的，世界坐标系转到相机坐标系是一个旋转+平移过程，转换矩阵表示如下：

优选的，相机坐标系转到图像坐标系是相机的成像过程，转换矩阵表示如下：

优选的，图像坐标系转到像素坐标系是一个单位的转换，转换矩阵表示如下：

优选的，将转换矩阵(4.1)、转换矩阵(4.2)、转换矩阵(4.3)乘在一起，得到世界坐标系和像素坐标系的转换关系：

如图6所示，相机的参数标定用到了标定板，本发明用的标定板为棋盘格标定板，每个格子尺寸为1mm，该标定方法只需拍一张棋盘格就能标定出相机的内外参数，根据公式(4.2)得到棋盘格标定板图像坐标系:

优选的，将公式(4.5)写成矩阵相乘的形式：

优选的，所述的公式(4.6)等式左边的内外参数组成的向量是要求解的，该向量由五个未知数组成，所以至少需要5个方程才能解得所有未知数；为了保证计算结果的精度，选取了棋盘格所有角点共88个，组成了下列方程：

优选的，上述方程左边的系数矩阵维度为88×5，方程组数量远大于5个，从而转变成超定方程的求解：

ML＝X (4.8)

超定方程的解满足普通方程：

M^TML＝M^TX (4.9)

将普通方程(4.9)转换如下,求得向量L：

L＝(M^TM)^-1M^TX (4.10)

如图7所示，通过计算得出的旋转、平移分量，结合公式(4.2)，计算出相机倍率m：

求解得到相机的内外参数。

作为优选的方案，建立有失真的相机模型，远心镜头主要有三种畸变类型，即径向，偏心和薄棱镜畸变。为了保证标定精度，建立考虑镜头畸变的有失真相机模型，其中k1是径向畸变系数，h1、h2是偏心畸变系数，s1、s2是薄棱镜畸变系数，x_u,y_u为前面的无失真相机模型计算的像素坐标，x_d,y_d为考虑畸变以后的标准像素坐标，下面是考虑畸变的标准像素坐标计算公式：

,像素坐标转换成相机坐标时，像素坐标使用(x_d,y_d)。有失真相机模型的非线性优化：

通过求解重投影误差的最小值，建立目标函数，迭代优化内外参和畸变系数，目标函数为：

式中p_i是由相机拍摄得到的图片的像素坐标，

是由式(4.4)、(5.1)建立的无失真相机模型计算得到的像素坐标。上式通过Levenberg–Marquardt(LM)算法进行迭代优化。旋转、平移参数的初值为前面无失真相机模型求解得到的，镜头畸变参数的初值取0。

LM算法与高斯牛顿优化算法存在一些区别，高斯牛顿法的迭代公式为：

为目标函数对各变量的一阶导，H_f(x_n)^-1表示直接在梯度向量的导数。这两个量的乘积就是每次迭代的步长Δ，将其改写为矩阵相乘的形式：

Δ＝-(J_f ^T.J_f)^-1.J_f ^T.f (6.3)

式中g＝2J_f ^T.f为雅可比矩阵，H≈2J_f ^T.J_f为Hessian矩阵。

LM算法是在高斯牛顿法的基础上增加了一个可调的阻尼参数λ，迭代步长Δk为：

Δk＝-(J_f ^T.J_f+λ)^-1.J_f ^T.f (6.4)

LM方法中，取增量的规则如下：

λ的初值设为0.0001，若增量方程的解Δk使目标函数f减小，就接受这个λ，并在下一次迭代中使用λ/10替换λ。若λ值对应的增量方程的解Δk使f增大，就舍弃这个λ，并将其替换为10λ重解增量方程。循环往复直到f下降为止。

LM同时具有牛顿法和梯度法的优点。当λ很小时，步长等于牛顿法步长，当λ很大时，步长约等于梯度下降法的步长。

得到不同相机模型的标定结果：

得到不同失真相机模型的远心镜头的测量精度：

如图8和图9所示，为有失真相机模型参数。

步骤2，基于所建立的双侧远心镜头相机模型，从计算机文件读取第一步数据准备阶段采集的像素坐标和机床坐标，从而得到P1、P2的像素坐标和机床坐标：

P1:film_imagepoints(像素坐标)、film_worldpoints(机床坐标)

P2:dome_imagepoints(像素坐标)、dome_worldpoints(机床坐标)

第三步，需要基于所建立的相机模型，得到P1、P2的像素坐标和机床坐标，其包括以下步骤：

步骤1，将像素坐标film_imagepoints通过内参矩阵A转换到各自相机坐标系下：

film_c＝A1^-1*film_imagepoints

步骤2，将像素坐标dome_imagepoints通过内参矩阵A转换到各自相机坐标系下：

dome_c＝A2^-1*dome_imagepoints

步骤3，在P1、P2的像素坐标、机床坐标和相机坐标均已知的情况下，通过计算得到机床坐标系到音膜相机坐标系和机床坐标系到球顶相机坐标系的转换关系，相机坐标与机床坐标之间存在旋转+平移的关系，转换矩阵表示如下：

步骤4，将上式写成方程组形式：

X_c＝r₁₁X_t+r₁₂Y_t+t_x

Y_c＝r₂₁Y_t+r₂₂Y_t+t_y (7.2)

步骤5，为了求旋转平移参数，需要将其单独表示成一个向量，因此式(7.2)又可以转化为如下表示方式：

其中(X_ci,Y_ci)为标记点的相机坐标，可以通过前面求得的内参矩阵计算得到，(X_ti,Y_ti)为标记点的机床坐标。

第四步，等式(7.3)左边的系数矩阵维度为24X6，是一个超定方程的求解问题，通过超定方程解法就可以求得由旋转和平移分量组成的未知向量，也就得到了音膜相机坐标系与机床坐标系的转换矩阵；求音膜相机与机床转换矩阵，通过建立超定方程a1*t1＝b1,代入数据从而求得音膜相机与机床转换矩阵t1＝(a1'*a1)^-1*a1'*b1；

第五步，和第四步解法相同，等式(7.3)左边的系数矩阵维度为24X6，是一个超定方程的求解问题，通过超定方程解法就可以求得由旋转和平移分量组成的未知向量，也就得到了球顶相机坐标系与机床坐标系的转换矩阵；求球顶相机与机床转换矩阵，通过建立超定方程a2*t2＝b2,代入数据，求得球顶相机与机床转换矩阵t2＝(a2'*a2)^-1*a2'*b2；

第六步，通过计算得到上下两个相机与机床的的旋转和平移数据。

作为一种实施方式，下面对本技术方法术语做进一步的说明。

本实施例提供一种相机和机床之间相互位置标定的方法。

作为一种实施方式，本实施例用到上下两个相机，上面相机(film)用来拍音膜，它和机械手一起装在z轴导轨上随着导轨可进行xyz三个方向的平移，下面相机(dome)固定在工装平台下，由下往上拍摄球顶，用于求出球顶的坐标。

作为一种实施方式，为实现小零件的精密装配，精度要求是微米级别，需要通过标定，求出两个相机的安装偏角，保证后面定位检测精度，为了标定相机和机床之间的安装偏角，需要建立相机坐标系与机床坐标系之间的关系。

在本实施例中，针对精密装配系统的运动特性提出了通过虚拟棋盘格建立两个坐标系之间的转换关系。

作为一种实施方式，上面相机是和机械手一同安装在z轴导轨上面可以运动的，在平台上取一个固定的标记点P1，令P1为机床坐标系原点，控制机床在空间平面走一个大小为4×3的虚拟棋盘格，方格大小为1mm，如图2所示。

作为一种实施方式，机床每走一步，相机跟踪拍一次标记点P1，如图3所示为上下两个相机拍到的标记点P1、P2的像素坐标，需要保证标记点P1都在相机视野内，得到像素坐标点P1，由于运动是相对的，点P1的机床坐标也可以得到，如图4所示，它与机床走的虚拟棋盘格的机床坐标关于原点对称。

作为一种实施方式，下面相机的安装偏角标定方法同上，由于下面相机是固定在平台下无法运动，所以需要在机械手末端确定一个标记点P2，同样地，P2跟随三轴导轨在空间平面内走一个大小为4×3的虚拟棋盘格，如图2所示，每走一步，下面相机拍摄一次标记点P2，如图3所示，为上下两个相机拍到的标记点P1、P2的像素坐标。此时，P2的机床坐标就是走的虚拟棋盘格坐标，如图3所示，像素坐标由图片提取角点得到，如图4所示，为标记点P1、P2的机床坐标。

作为一种实施方式，如图3和图4所示，film-board为上面相机拍的P1组成的虚拟棋盘格；dome-board为下面相机拍的P2组成的虚拟棋盘格。

在本实施例中，如图3和图4所示，P1、P2的像素坐标和机床坐标均已知，再通过计算得到机床坐标系到film坐标系和dome坐标系的转换关系。

作为一种实施方式，相机坐标与机床坐标之间存在旋转+平移的关系，转换矩阵如下：

将上式写成方程组形式：X_c＝r₁₁X_t+r₁₂Y_t+t_x

Y_c＝r₂₁Y_t+r₂₂Y_t+t_y为了求旋转平移参数，需要将其单独表示成一个向量，因此方程组又可以转化为如下表示方式：

作为一种实施方式，通过前面求得的内参矩阵计算得到，(X_ci,Y_ci)为标记点的相机坐标，(X_ti,Y_ti)为标记点的机床坐标。转换得到的方程组左边的系数矩阵维度为24×6，是一个超定方程的求解问题，按照前文提到的超定方程解法就可以求得由旋转和平移分量组成的未知向量，从而得到了film相机坐标系和dome相机坐标系与机床坐标系的转换矩阵。

本实施例算法的实现使用的工具为：MATLAB 2016a

作为一种实施方式，算法主要步骤：首先数据准备，将film相机和dome相机拍的标记点构成的虚拟棋盘格的机床坐标和像素坐标分别记录在txt文件里，然后读取txt文件，得到P1、P2的像素坐标和机床坐标：

P1:film_imagepoints、film_worldpoints

P2:dome_imagepoints、dome_worldpoints

将像素坐标film_imagepoints、dome_imagepoints通过内参矩阵A转换到各自相机坐标系下：

film_c＝A1^-1*film_imagepoints

dome_c＝A2^-1*dome_imagepoints

求得film相机与机床转换矩阵，再建立超定方程a1*t1＝b1,代入数据求得film相机与机床转换矩阵t1＝(a1'*a1)^-1*a1'*b1，再求dome相机与机床转换矩阵：建立超定方程a2*t2＝b2,代入数据求得dome相机与机床转换矩阵t2＝(a2'*a2)^-1*a2'*b2，如图10所示，最后计算得到上下两个相机与机床的旋转和平移参数。

相机与机床的旋转和平移参数：

由上述技术方案可知，本发明所提供的基于视觉的音膜球顶自动装配系统，从在平台上取一个固定的标记点P1为机床坐标系原点，控制机床在空间平面走一个大小为4×3的虚拟棋盘格，得到点P1的像素坐标和机床坐标，在机械手末端确定一个标记点P2，同样地P2跟随三轴导轨在空间平面内走一个大小为4×3的虚拟棋盘格，得到点P2的像素坐标和机床坐标，通过转换矩阵和算法实现控制相机与机床的旋转和平移。

本发明的优点，音膜相机组件和球顶相机组件均使用双侧远心镜头，球顶和音膜的成像不受球顶相机组件与球顶、音膜相机组件和音膜之间的距离影响，拍摄的景深长，任意距离都可以使球顶、音膜精确成像，降低了对机床的精度要求，提高装配精度。音膜相机组件与机床的标定，球顶相机组件与机床的标定均采用空间的三维坐标系转换，有利于提高装配精度。

本发明说明书中提到的所有专利和出版物都表示这些是本领域的公开技术，本发明可以使用。这里所引用的所有专利和出版物都被同样列在参考文献中，跟每一个出版物具体的单独被参考引用一样。这里所述的本发明可以在缺乏任何一种元素或多种元素，一种限制或多种限制的情况下实现，这里这种限制没有特别说明。例如这里每一个实例中术语“包含”，“实质由……组成”和“由……组成”可以用两者之一的其余2个术语代替。这里采用的术语和表达方式所为描述方式，而不受其限制，这里也没有任何意图来指明此书描述的这些术语和解释排除了任何等同的特征，但是可以知道，可以在本发明和权利要求的范围内做任何合适的改变或修改。可以理解，本发明所描述的实施例子都是一些优选的实施例子和特点，任何本领域的一般技术人员都可以根据本发明描述的精髓下做一些更改和变化，这些更改和变化也被认为属于本发明的范围和独立权利要求以及附属权利要求所限制的范围内。

Claims (9)

1.基于双侧远心镜头相机机床位置标定的音膜球顶装配系统，其特征在于，装配系统包括使用双侧远心镜头的相机和能够在三轴向平移的机床，使用双侧远心镜头的相机与机床的标定包括：数据准备，设置标记点，机床控制按照轨迹移动，机床每步进到一个位置点，相机对标记点拍照一次，获得机床坐标系下每一个位置点的机床坐标，以及在当前位置点获得的图像中的标记点的像素坐标；用内参矩阵A将像素坐标转换成相机坐标，内参矩阵

利用相机坐标和机床坐标获得的相机坐标系和机床坐标系之间的旋转矩阵

其中，m为相机倍率；r₁₁、r₁₂、r₂₁、r₂₂均为旋转参数；t_x和t_y为平移参数；

装配系统具有音膜相机和球顶相机，音膜相机和球顶相机分别使用双侧远心镜头，音膜相机和机床的标定：在机床上设置标记点P1，机床控制基于双侧远心镜头的音膜相机按照预设轨迹步进式移动，音膜相机每步进一次则对标记点P1拍摄一张图像，获得音膜相机在机床坐标系下每一个位置点的机床坐标；以及音膜相机在当前位置点获得的图像中的标记点P1的像素坐标(x_u1，y_u1)；

读取标记点P1的像素坐标和机床坐标，以在同一个位置获得的标记点P1的像素坐标和机床坐标为一组；对于标记点P1的每一组像素坐标和机床坐标，将像素坐标通过内参矩阵A1转换到音膜相机的相机坐标系；

用相机坐标和机床坐标计算得到相机与机床之间的旋转矩阵R₁；A₁×R₁表示像素坐标与机床坐标之间的转换关系。

2.如权利要求1所述的基于双侧远心镜头相机机床位置标定的音膜球顶装配系统，其特征在于，装配系统具有音膜相机和球顶相机，音膜相机和球顶相机分别使用双侧远心镜头，球顶相机和机床的标定：在机械手上设置标记点P2，机床控制机械手按照预设轨迹步进式移动，机械手每步进一次则基于双侧远心镜头的球顶相机对标记点P2拍摄一张图像，获得机械手在机床坐标系下每一个位置点的机床坐标；以及球顶相机在当前位置点获得的图像中的标记点P2的像素坐标(x_u2，y_u2)；

读取标记点P2的像素坐标和机床坐标，以在同一个位置获得的标记点P2的像素坐标和机床坐标为一组；对于标记点P2的每一组像素坐标和机床坐标，将像素坐标通过内参矩阵A2转换到球顶相机的相机坐标系；

用相机坐标和机床坐标计算得到相机与机床之间的旋转矩阵R₂；A₂×R₂表示像素坐标与机床坐标之间的转换关系。

3.根据权利要求1所述的基于双侧远心镜头相机机床位置标定的音膜球顶装配系统，其特征在于，

获取的标记点P1的机床坐标和像素坐标包括；在平台上任意取一个固定的标记点P1为机床坐标系的原点，以P1点作为机床运动的起点；设置机床第一运动轨迹，机床使音膜相机组件沿第一运动轨迹做模拟虚拟棋盘格坐标的步进式平移、且在第一运动轨迹中，P1点始终在音膜相机组件的拍摄范围内；

机床每走一步，音膜相机跟踪拍摄一次标记点P1，获取每次步进时的图像以及P1点像素坐标(Xci,Yci)；同时，机床每走一步，获得当前P1点机床坐标(Xti,Yti)；保存每次步进获得的P1点的像素坐标和机床坐标。

4.根据权利要求2所述的基于双侧远心镜头相机机床位置标定的音膜球顶装配系统，其特征在于，

获取标记点P2的机床坐标和像素坐标包括；在机械手末端任意取一个固定标记点P2为机床坐标系的原点，以P2点作为机床运动的起点；

设置机床的第二运动轨迹，机床使机械手沿第二运动轨迹做模拟虚拟棋盘格坐标的步进式平移，且在第二运动轨迹中，P2点始终在球顶相机组件的拍摄范围内,P2点每走一步，则球顶相机拍摄一次P2点的图像，并获取P2点的像素坐标(Xci,Yci)；同时，机床每走一步，获得当前P2点机床坐标(Xti,Yti)；保存每次步进获得的P2点的像素坐标和机床坐标。

5.根据权利要求1所述的基于双侧远心镜头相机机床位置标定的音膜球顶装配系统，其特征在于，所述的基于双侧远心镜头的音膜相机和球顶相机的相机模型包含无失真相机模型和有失真相机模型：

基于双侧远心镜头无失真相机模型的世界坐标系和像素坐标系的转换关系：

其中，m为相机倍率；r₁₁、r₁₂、r₁₃、r₂₁、r₂₂、r₂₃均为旋转参数；t_x和t_y为平移参数；Xw、Yw、Zw为无失真相机模型的世界坐标系的坐标参数；Xu和Yu为无失真相机模型的像素坐标系的坐标参数；

基于双侧远心镜头无失真相机模型的相机倍率m：

其中，r₁₁、r₁₂、r₂₁、r₂₂均为旋转参数；t_x和t_y为平移参数；X_wi、Y_wi为无失真相机模型的世界坐标系的坐标参数；X_i和Y_i为无失真相机模型的图像坐标系的坐标参数。

6.根据权利要求5所述的基于双侧远心镜头相机机床位置标定的音膜球顶装配系统，其特征在于，有失真相机模型下进行非线性优化获得考虑畸变后的标准像素坐标(x_d，y_d)：

像素坐标转换成相机坐标时，像素坐标使用(x_d,y_d)；

其中，k1是径向畸变系数，h1、h2是偏心畸变系数，s1、s2是薄棱镜畸变系数，X_u、y_u为无失真相机模型计算的像素坐标，x_d、y_d为考虑畸变以后的标准像素坐标。

7.根据权利要求6所述的基于双侧远心镜头相机机床位置标定的音膜球顶装配系统，其特征在于，所述的有失真相机模型下进行非线性优化，进一步包括通过求解F重投影误差的最小值，建立目标函数，迭代优化内外参和畸变系数，目标函数为：

其中，式中p_i是由相机拍摄得到的图片的像素坐标，

是无失真相机模型计算得到的像素坐标；R为无失真相机模型求解得到的旋转参数的初值；t_x,t_y为无失真相机模型求解得到的平移参数的初值；m为相机倍率；k1是径向畸变系数；h1、h2是偏心畸变系数；s1、s2为初值取0的薄棱镜畸变参数。

8.根据权利要求1所述的基于双侧远心镜头相机机床位置标定的音膜球顶装配系统，其特征在于，所述标记点包括P1，该P1的像素坐标通过内参矩阵A转换到各自相机坐标系下；

其中对于标记点P1的每一组像素坐标，将像素坐标通过内参矩阵A₁转换到音膜相机的相机坐标系：

其中，m为相机倍率；

相机坐标与像素坐标的转换关系为film_c：

film_c＝A1^-1*film_imagepoints；

其中，film_imagepoints为像素坐标；

通过建立超定方程，得到关于音膜相机与机床转换矩阵，进一步包括利用相机坐标与机床坐标的转换关系获得音膜相机与机床的转换矩阵t1：

t1＝(a1′*a1)^-1*a1′*b1

其中，b1＝a1*t1。

9.根据权利要求1所述的基于双侧远心镜头相机机床位置标定的音膜球顶装配系统，其特征在于，所述标记点包括P2，该P2的像素坐标通过内参矩阵A转换到各自相机坐标系下；

其中对于标记点P2的每一组像素坐标，将像素坐标通过内参矩阵A2转换到球顶相机的相机坐标系：

其中，m为相机倍率；

相机坐标与像素坐标的转换关系为domec：

dome_c＝A2^-1*dome_imagepoints；

其中，dome_imagepoints为像素坐标；

通过建立超定方程，得到关于球顶相机与机床转换矩阵，进一步包括利用相机坐标与机床坐标的转换关系获得球顶相机与机床的转换矩阵t2：

t2＝(a2′*a2)^-1*a2′*b2

其中，b2＝a2*t2。

Images