CN104050650B - 基于坐标变换的完整成像的图像拼接方法 - Google Patents

Abstract

本发明涉及一种基于坐标变换的完整成像的图像拼接方法，其包括构建世界坐标系{W}和确定初始采集图像时的初始外参矩阵递推外参矩阵及光学中心的图像坐标(u′_0j、v′_0j)、映射图像区域R_owj*C_olj的递推计算公式：以此为依据对依次采样的序列图像进行无畸变焦平面映射变化。本发明的图像拼接方法构思简单、合理，不仅图像拼接简单、累积误差小且精度高，而且能实现投影图像的等精度拼接。

Description

基于坐标变换的完整成像的图像拼接方法

技术领域

本发明涉及完整成像技术领域，尤其涉及一种基于坐标变换的完整成像的图像拼接方法。

背景技术

目前视觉检测技术在工业的各个领域都有着广泛的应用，基于机器视觉的测量手段和方法也得到了快速的发展，但对几何尺寸的视觉测量研究主要集中在对微小结构或尺寸较小零件，其主要原因在于目前CCD器件像素级相对测量精度仅在10^-3数量级，而视觉系统一次成像的成像区域与检测分辨率之间成反比关系。对微小物体进行图像测量时，由于视场较小，可相应提高图像测量的分辨力来提高测量精度；而对于较大或细长类零件几何尺寸的综合检测，一次成像获得的完整图像中由于分辨率不高从而导致检测精度满足不了实际应用要求。

依照化整为零、再集零为整的完整成像基本思想可以解决较大尺寸零件视觉测量中视场与图像分辨率之间的矛盾，文献1【何博侠,张志胜,徐孙浩等.大尺寸机械零件的机器视觉高精度测量方法。中国机械工程,2009 20(1)】针对具有条形纹理表面的机械零件提出了基于纹理特征的序列图像校准方法，但对具有光滑表面或者表面纹理无规则的检测对象无能为力，其应用领域极其有限。

文献2【刘凌云,罗敏等.基于图像拼接的尺寸精密检测算法研究,制造技术与机床,2012,11】中将图像拼接技术应用到视觉测量中，采用已标定摄像机方式建立图像投影模型，提出了基于位姿变换的图像拼接算法实现图像之间的精确配准，并通过变位机驱动摄像机精确变换位姿获取图像序列，实验验证该算法具有较高的拼接精度；但这种通过变位机驱动实现摄像机位姿变换的方法存在以下缺陷：1.由于相邻两次采像时刻摄像机位置和姿态均会改变，图像拼接运算复杂化；2.对于平面图像拼接，摄像机采集图像的景深随着变位机旋转角度的变化而改变，因而等精度拼接的视场较小；上述问题使得该方法的推广应用存在一定的局限性。

在图像拼接阶段，文献2提出了基于移位采像时摄像机相对位姿描述的序列图像配准算法，其算法流程如下所示：

1)设前后两次采像时摄像机坐标系位姿变换矩阵为(其中i＝1,2,3......；j＝i+1)，则世界坐标系{W}相对于摄像机坐标系{C_j}的变换矩阵(即第j次投影变换的外参矩阵)可递推计算得到：

由外参矩阵内参矩阵M₁相乘即可获得第j次小孔成像对应的矩阵M。

令摄像机第j次采像时其光学中心(光轴与测量平面的交点)O_j在世界坐标系{W}中的坐标满足关系式：

2)取投影图的像素分辨率为固定值R_ow×C_ol(单位：像素)，则第i、j次投影像进行无缝拼接的上交点在世界坐标系{W}中对应点A_i坐标(^WX_Ai，^WY_Ai，0)^T满足关系式：

其中，δ为图像分辨率，即图像中单个像素沿行或列方向所代表的尺寸。

由此得到实际图像投影变换时光学中心的递推公式：

由递推公式(1)～(4)得到第j次小孔成像的对应矩阵M、光学中心O后，再利用无畸变焦平面投影的数学模型(如公式5所示)在固定映射区域(R_ow/C_ol)内映射得到第j次投影图像，则对第i、j次投影图像无需裁剪、简单对接即可实现图像的无缝拼接。

公式(5)中r_nk(k＝1,2,3,4；n＝1,2,3)为矩阵M中对应元素。

但上述图像拼接算法中由于投影图的行、列取固定像素值R_ow/C_ol，摄像机的光学中心O可能偏离投影图中心点较远，甚至不在投影图区域，即用来进行映射变换的部分采集图像本身精度明显较低。同时该拼接算法运算量较大，且存在递推累积误差，这无疑会影响最终测量精度。

发明内容

为了解决以上问题，本发明提供了一种构思简单、合理，图像拼接简单、累积误差小且精度高，能实现投影图像的等精度拼接的基于坐标变换的完整成像的图像拼接方法。

本发明是通过以下技术方案实现的：

上述的基于坐标变换的完整成像的图像拼接方法，包括构建世界坐标系{W}和确定初始采集图像时的初始外参矩阵

所述世界坐标系{W}的构建：是先在检测平台上钻直径为φD的两个小孔并将两个小孔的圆心分别标记为A、B，然后以A点为圆心，AB方向为X轴,测量平面为XOY平面，定义为世界坐标系{W}；

所述外参矩阵的确定：是借助于平面靶标坐标系{W₁}为桥梁，利用已标定内参的摄像机对A、B小孔和平面标靶一次成像获得平面靶标坐标系{W₁}相对于摄像机初始位姿时的坐标系{C₁}的位姿描述矩阵以及所述世界坐标系{W}与平面标靶坐标系{W₁}对应X轴之间的夹角θ，进而确定所述世界坐标系{W}相对于所述摄像机初始位姿时的坐标系{C₁}的初始外参矩阵

所述初始外参矩阵具体是通过以下步骤确定的：

1)将平面靶标平放到小孔A、B附近，使平面靶标及A、B孔在摄像机视野内清晰成像，通过图像处理获得A、B两孔圆心的像点坐标(u_A,v_A)、(u_B,v_B)及靶标特征点的像点坐标；

2)由靶标上特征点与其像点对应关系、已标定的摄像机内参获得所述平面靶标坐标系{W₁}相对于所述摄像机初始位姿时的坐标系{C₁}位姿描述的位姿描述矩阵则测量平面上坐标系{W₂}相对于所述摄像机初始位姿时的坐标系{C₁}的齐次变换矩阵满足关系式：

所述齐次变换矩阵关系式中的h为平面靶标的板厚；

3)由所述齐次变换矩阵及A、B两孔圆心的像点坐标(u_A,v_A)、(u_B,v_B)再次利用小孔成像模型得到A、B两孔在所述坐标系{W₂}中坐标分别为并由线段与坐标系{W₂}X轴之间的夹角，获得所述世界坐标系{W}相对于所述坐标系{W₂}的位姿描述满足关系式：

4)由上述公式(1)、(2)得出初始采集图像时的初始外参矩阵满足如下关系式：

所述基于坐标变换的完整成像的图像拼接方法，其中：所述线段与坐标系{W₂}X轴之间的夹角θ满足关系式：

所述基于坐标变换的完整成像的图像拼接方法，其中，其特征在于，所述图像拼接方法还包括确定所述世界坐标系{W}相对于第j次采像时所述摄像机坐标系{C_j}的递推外参矩阵

所述递推外参矩阵的确定是建立在对摄像机采像路径的特定规划上，即设任意第i、j相邻两次移位采像i＝1,2,3......，j＝i+1，摄像机仅作相对于世界坐标系{W}的X轴或Y轴单轴向平移，移动量为t_j，则所述递推外参矩阵满足关系式：

所述基于坐标变换的完整成像的图像拼接方法，其中，所述第j次投影图像的行R_owj/列C_olj像素分别满足关系式：

光学中心限定为投影图像的中心位置，其图像坐标(u′_0j、v′_0j)满足关系式：

有益效果：

本发明基于坐标变换的完整成像的图像拼接方法构思简单、合理，其中，摄像机初始采集图像时的初始外参矩阵的确定借助于对平面标靶及检测平台上两小孔A、B的视觉位姿检测。

同时，摄像机移位采像时，由于限定摄像机只能沿着世界坐标系{W}的X轴或Y轴单向平移，致使图像映射变换算法中的递推外参矩阵计算简单、累积误差小且精度高；又由于将光学中心坐标(u′_0j、v′_0j)限定在映射图像区域的中心位置，保证了序列投影图像均是以光心为中心的小区域，能实现投影图像的等精度拼接。

附图说明

图1为本发明基于坐标变换的完整成像图像拼接方法的坐标变换关系示意图；

图2为本发明基于坐标变换的完整成像图像拼接方法的图像拼接关系示意图。

具体实施方式

本发明基于坐标变换的完整成像的图像拼接方法，其包括：

一、构建世界坐标系{W}

其中，世界坐标系{W}是图像拼接的基准，为了简化拼接算法中对摄像机位移量的处理，规定摄像机移位采像时只能沿着世界坐标系{W}的X或Y轴方向的单轴移动；

世界坐标系{W}的构建：是先在检测平台上钻直径为φD的两个小孔并将两个小孔的圆心分别标记为A、B，然后以A点为圆心，AB方向为X轴,测量平面为XOY平面，定义为世界坐标系{W}。

二、确定初始采集图像时的初始外参矩阵

初始外参矩阵的确定：是借助于平面靶标坐标系{W₁}为桥梁，利用已标定内参的摄像机对A、B小孔和平面标靶一次成像获得平面靶标坐标系{W₁}相对于摄像机初始位姿时的坐标系{C₁}的位姿描述矩阵以及世界坐标系{W}与平面标靶坐标系{W₁}对应X轴之间的夹角θ，进而确定世界坐标系{W}相对于摄像机初始位姿时的坐标系{C₁}的初始外参矩阵

其中，初始外参矩阵具体是通过以下步骤确定的：

1)将平面靶标平放到小孔A、B附近，使平面靶标及A、B孔在处于初始位姿{C₁}的摄像机视野内清晰成像，通过图像处理获得A、B两孔圆心的像点坐标(u_A,v_A)、(u_B,v_B)及靶标特征点的像点坐标；

2)由靶标上特征点与其像点对应关系、已标定的摄像机内参获得标靶平面上的平面标靶坐标系{W₁}相对于摄像机坐标系{C₁}位姿描述的齐次变换矩阵则测量平面上坐标系{W₂}相对于{C₁}的位姿描述矩阵满足关系式：

上述齐次变换矩阵关系式中的h为平面靶标的板厚。

3)由上述齐次变换矩阵及A、B两孔圆心的像点坐标(u_A,v_A)、(u_B,v_B)再次利用小孔成像模型可得到A、B两孔在坐标系{W₂}中坐标分别为 线段与坐标系{W₂}X轴之间的夹角满足关系式：

得出世界坐标系{W}相对于坐标系{W₂}的位姿描述满足关系式:

4)由公式(1)、(2)可得初始位姿时摄像机成像模型的初始外参矩阵满足如下关系式：

三、确定世界坐标系{W}相对于第j次采像时摄像机坐标系{C_j}的递推外参矩阵

递推外参矩阵的确定是建立在对摄像机采像路径的特定规划上，即设任意第i、j相邻两次(i＝1,2,3......；j＝i+1)移位采像时，摄像机仅仅作相对于世界坐标系{W}的X轴或Y轴进行单轴向移动，平移量为t_j；则第j次采像时初始外参矩阵可由以下递推公式得到：

限定光学中心的图像坐标(u′_0j、v′_0j)为投影图像的中点，则第j次投影图像的行R_owj/列C_olj像素分别满足关系式：

光学中心的图像坐标满足关系式：

针对第j次采集图像，以公式(5)确定的内参(u′_0j，v′_0j)及公式(3)确定的递推外参矩阵在公式(4)所确定的映射区域内进行映射变换，如利用文献2中提出的无畸变焦平面投影数学模型即以下公式(6)，获得图像区域大小为(R_owj，C_olj)的第j次投影图像，则对第i、j次投影图像无需裁剪、简单对接即可实现图像的无缝拼接；

本发明基于坐标变换的完整成像的图像拼接方法，借助于平面靶标构建世界坐标系{W}相对于摄像机初始位姿的初始外参矩阵并通过对摄像机的采像路径进行有效规划及限定光学中心位于投影图像的中点，获取外参矩阵、光学中心坐标及投影图像的大小的递推公式，构思简单、合理，根据位移量t_j按公式(3)、(4)、(5)计算外参矩阵、光学中心坐标及投影图像的大小相对比较简单，大大地节省了CPU的计算时间开销；另外由于所映射的投影图像均是以光学中心O为中心的小区域，各像素点的采集精度相当，便于实现投影图像的等精度拼接。

Claims (4)

1.一种基于坐标变换的完整成像的图像拼接方法，包括构建世界坐标系{W}和确定初始采集图像时的初始外参矩阵

所述世界坐标系{W}的构建：是先在检测平台上钻直径为φD的两个小孔并将两个小孔的圆心分别标记为A、B，然后以A点为圆心，AB方向为X轴,测量平面为XOY平面，定义为世界坐标系{W}；

所述外参矩阵的确定：是借助于平面靶标坐标系{W₁}为桥梁，利用已标定内参的摄像机对A、B小孔和平面标靶一次成像获得平面靶标坐标系{W₁}相对于摄像机初始位姿时的坐标系{C₁}的位姿描述矩阵以及所述世界坐标系{W}与平面标靶坐标系{W₁}对应X轴之间的夹角θ，进而确定所述世界坐标系{W}相对于所述摄像机初始位姿时的坐标系{C₁}的初始外参矩阵

所述初始外参矩阵具体是通过以下步骤确定的：

1)将平面靶标平放到小孔A、B附近，使平面靶标及A、B孔在摄像机视野内清晰成像，通过图像处理获得A、B两孔圆心的像点坐标(u_A,v_A)、(u_B,v_B)及靶标特征点的像点坐标；

2)由靶标上特征点与其像点对应关系、已标定的摄像机内参获得所述平面靶标坐标系{W₁}相对于所述摄像机初始位姿时的坐标系{C₁}位姿描述的位姿描述矩阵则测量平面上坐标系{W₂}相对于所述摄像机初始位姿时的坐标系{C₁}的齐次变换矩阵满足关系式：

所述齐次变换矩阵关系式中的h为平面靶标的板厚；

3)由所述齐次变换矩阵及A、B两孔圆心的像点坐标(u_A,v_A)、(u_B,v_B)再次利用小孔成像模型得到A、B两孔在所述坐标系{W₂}中坐标分别为并由线段与坐标系{W₂}X轴之间的夹角，获得所述世界坐标系{W}相对于所述坐标系{W₂}的位姿描述满足关系式：

4)由上述公式(1)、(2)得出初始采集图像时的初始外参矩阵满足如下关系式：

2.如权利要求1所述的基于坐标变换的完整成像的图像拼接方法，其特征在于：所述线段与坐标系{W₂}X轴之间的夹角θ满足关系式：

3.如权利要求1或2所述的基于坐标变换的完整成像的图像拼接方法，其特征在于，所述图像拼接方法还包括确定所述世界坐标系{W}相对于第j次采像时所述摄像机坐标系{C_j}的递推外参矩阵

所述递推外参矩阵的确定是建立在对摄像机采像路径的特定规划上，即设任意第i、j相邻两次移位采像i＝1,2,3......，j＝i+1，摄像机仅作相对于世界坐标系{W}的X轴或Y轴单轴向平移，移动量为t_j，则所述递推外参矩阵满足关系式：

4.如权利要求3所述的基于坐标变换的完整成像的图像拼接方法，其特征在于，所述第j次投影图像的行R_owj/列C_olj像素分别满足关系式：

或：

光学中心限定为投影图像的中心位置，其图像坐标(u′_0j、v′_0j)满足关系式：

$\left\{\begin{array}{c}{u}_{0j}^{\′}=C_{olj}/2\\ v_{0j}^{\′}=R_{owj}/2\end{array}\right.---\left(5\right).$