CN103175485A

CN103175485A - 一种飞机涡轮发动机叶片修复机器人的视觉标定方法

Info

Publication number: CN103175485A
Application number: CN2013100545598A
Authority: CN
Inventors: 李亮玉; 王天琪; 岳建锋; 浦鑫; 窦以红
Original assignee: Tianjin Polytechnic University
Current assignee: Tianjin Polytechnic University
Priority date: 2013-02-20
Filing date: 2013-02-20
Publication date: 2013-06-26

Abstract

本发明公开一种飞机涡轮发动机叶片修复机器人的视觉标定方法，该视觉标定方法包括以下步骤：（1）确定在机器人坐标系下的标靶特征点；（2）构建机器人手眼系统；（3）拍摄标靶图像，建立立体标靶；（4）求解CCD摄像机内外参数；（5）标定结果的误差分析；（6）双目视觉系统采集待修复飞机涡轮发动机叶片图像；（7）待修复飞机涡轮发动机叶片的视觉标定；（8）待修复飞机涡轮发动机叶片模型的坐标系转换。本发明视觉标定方法具有标定速度快，精度高（精度能达到0.1mm），适于工业化使用等特点。

Description

一种飞机涡轮发动机叶片修复机器人的视觉标定方法

技术领域

本发明涉及计算机视觉技术，具体为一种飞机涡轮发动机叶片修复机器人的视觉标定方法。

背景技术

随着国家整体经济的快速发展，我国的航空事业有了长足的进步。然而在飞机装备的维护保障方面，尤其是对于航空涡轮发动机叶片的修复和再利用方面，国内民航使用的客机基本上都是国外送修，不仅维修成本高，而且维护周期长。我国叶片焊接维修技术的水平与应用与西方国家相比，还处在相对落后的阶段，没有掌握叶片焊接修复的核心技术，更是欠缺能够实现叶片焊接修复的自动化装备。对于国产航空发动机来说，涡轮发动机叶片的先进修理技术有着非常广阔的应用前景。

叶片是涡轮发动机的重要组成部件，也是飞机维修的主要内容之一。在利用机器人焊接修复磨损叶片的离线编程系统中，待修复叶片的精确定位技术是难点之一。传统的工业机器人采用在线示教的方式，但示教法标定无法实现自动化的批量生产，并且无法满足修复飞机叶片高精度的定位要求。因此，为了满足叶片高精度的修复要求，使机器人对工件进行精准加工，需要利用视觉传感器实现叶片标定的相关技术。但针对涡轮发动机叶片标定方法的研究少之又少。在对工件或者模型进行标定的普遍方法为在本体粘贴圆形标记片，然后对所贴标记片进行特征点提取。叶片具有结构复杂且不规则、厚度薄且横截面复杂多变、磨损部位尺寸大小不一等特点。由于叶片本体自有的特点，在对其进行标定时，使用一般的摄像机标定方法较难实现特征点提取，并且稳定性和可靠性较差。因此，叶片轮廓上特征点的提取成为研究重点。

发明内容

针对现有技术不足，本发明拟解决的技术问题是，提供一种飞机涡轮发动机叶片修复机器人的视觉标定方法，该方法可以准确获取摄像机的内外参数和待修复叶片的特征点参数，实现了待修复叶片模型从仿真环境到机器人坐标系下的位置转换。在进行摄像机标定时具有较高的可操作性和精度，并能精确提取叶片本体特征点，实现叶片模型坐标系的快速转换。

本发明解决所述技术问题的技术方案是，设计一种飞机涡轮发动机叶片修复机器人的视觉标定方法，该视觉标定方法包括以下步骤：

（1）确定在机器人坐标系下的标靶特征点；将工具安装到六自由度机器人法兰盘上，并放置好平面圆形标志标靶；对工具坐标系进行标定，然后利用标定好的工具确定平面圆形标志标靶圆心特征点在机器人坐标系下的位置；

（2）构建机器人手眼系统；将单个CCD摄像机安装在机器人的执行末端，并控制机器人使平面圆形标志标靶处在CCD摄像机的正下方，建立单个CCD摄像机与机器人之间的机器人手眼系统；

（3）拍摄标靶图像，建立立体标靶；利用单个CCD摄像机建立基于双目视觉理论的三维测量系统，通过机器人携带单个CCD摄像机运动，使用Photon Focus在标靶的左、右和上方分别拍摄多帧标靶图像，使用一个平面圆形标志标靶虚拟构造立体标靶；

（4）求解CCD摄像机内外参数；在MATLAB编制程序，对所拍摄的图像进行处理，包括前期预处理、圆度阈值分割、边缘检测、周长阈值分割和亚像素圆心拟合，并利用已得到的标靶坐标值，求得摄像机的内外参数，实现CCD摄像机的高精度标定；

（5）标定结果的误差分析；将标靶任意布置在双目视觉的视场下，采集CCD摄像机在两个工作位置时的标靶图像，进行标靶特征点的三维测量，并检验测量精度，进而对标定结果进行绝对误差和相对误差分析；

（6）双目视觉系统采集待修复飞机涡轮发动机叶片图像；将待修复的飞机涡轮发动机叶片固定在工作台上，通过在机器人上搭建的已标定好的双目视觉检测系统，从两个视场采集所述叶片的图像；

（7）待修复飞机涡轮发动机叶片的视觉标定；在MATLAB中编制程序，确定五点法标定方法，即选定待修复飞机涡轮发动机叶片顶部轮廓上曲线的两个三等分点、下曲线的两个等分点和一个顶部两小边轮廓的中心点为五个本体特征点，根据所述叶片上所设定的五个本体特征点，完成对所述叶片的视觉标定；

（8）待修复飞机涡轮发动机叶片模型的坐标系转换；先以仿射变换法求取旋转矩阵，再以旋转矩阵代入计算平移参数；根据所求得的变换矩阵和所述五个本体特征点在机器人坐标系下的坐标值，实现所述叶片模型从三维光栅扫描仪坐标系到机器人坐标系下的转换。

与现有技术相比，本发明的飞机涡轮发动机叶片修复机器人视觉标定方法，建立了一种虚拟立体标靶，提高了摄像机的标定精度，并通过分析叶片的形状特征，确定了叶片的五个本体特征点，并以此进行叶片标定，实现叶片模型从三维光栅扫描仪坐标系到机器人坐标系下的转换，具有标定速度快，精度高（精度能达到0.1mm），适于工业化使用等特点。

附图说明

图1是本发明飞机涡轮发动机叶片修复机器人的视觉标定方法一种实施例的机器人手眼系统结构示意图；图1表述了由一个六自由度机器人1携带单个CCD摄像机2组成的机器人标定系统。其中，W为世界坐标系；R为机器人坐标系；E为机器人法兰盘坐标系；C为摄像机坐标系；Tb为机器人坐标系到世界坐标系的转换矩阵；Tp为世界坐标系到摄像机坐标系的转换矩阵；T6为机器人坐标系到法兰盘坐标系的转换；Tm为机器人法兰盘到摄像机坐标系的转换矩阵；1为六自由度机器人；2为CCD摄像机。

图2是本发明飞机涡轮发动机叶片修复机器人的视觉标定方法一种实施例的立体视觉测量系统工作流程框图。

图3是本发明飞机涡轮发动机叶片修复机器人的视觉标定方法一种实施例所采用的双目视觉测量系统；在图3中，5和6分别表示左、右目CCD摄像机的成像平面；O1、O2分别为左、右CCD摄像机的焦点；P1、P2是场景点P在两个成像平面上的成像点。

图4是本发明飞机涡轮发动机叶片修复机器人的视觉标定方法一种实施例的基于运动的摄像机标定原理，CCD摄像机2在竖直方向上移动，分别采集标靶的三张图像的示意图。

图5是本发明飞机涡轮发动机叶片修复机器人的视觉标定方法一种实施例的标靶图像处理流程框图。

图6是本发明飞机涡轮发动机叶片修复机器人的视觉标定方法一种实施例的叶片图像处理流程框图。

图7是本发明飞机涡轮发动机叶片修复机器人的视觉标定方法一种实施例的虚拟立体标靶模型图。

图8是本发明飞机涡轮发动机叶片修复机器人的视觉标定方法一种实施例的使用十字标记标出五个特征点后的叶片4照片图。

图9是本发明飞机涡轮发动机叶片修复机器人的视觉标定方法一种实施例的叶片4顶部轮廓转换到机器人坐标系下的位置姿态显示图。

具体实施方式

下面结合实施例及其附图对本发明所述的视觉标定方法进行详细阐述。

本发明设计的飞机涡轮发动机叶片（简称叶片）修复机器人（简称机器人）的视觉标定方法（简称标定方法或方法，参见图1-9），该方法包括以下步骤：

步骤一、确定在机器人坐标系下的标靶特征点。将工具安装到六自由度机器人1法兰盘上，并放置好平面圆形标志标靶；对工具坐标系进行标定；标定完成后，可在示教盒上实时读取工具的中心点在机器人1坐标系下的位置信息；然后利用标定好的工具确定标靶上平面圆形标志标靶圆心特征点在机器人1坐标系下的位置。

步骤二、构建的机器人手眼系统。由于机器人1要携带焊枪对叶片进行修复，因此为了降低碰撞可能性，使用单个CCD摄像机2代替双目相机进行测量（参见图3）。将单个CCD摄像机2安装在机器人1的执行末端，并控制机器人1使平面圆形标志标靶处3在摄像机2的正下方（参见图1），建立单个CCD摄像机2与机器人1之间的机器人手眼系统。本发明立体视觉测量系统工作流程（参见图2）包括CCD摄像机标定、图像采集、图像预处理、特征信息的提取、立体匹配、三维信息重构和优化处理。

步骤三、拍摄标靶图像，建立立体标靶。根据单CCD摄像机2建立基于双目视觉理论的三维测量系统（参见图4），基于运动的摄像机标定原理，通过机器人1携带单CCD摄像机2运动，使用Photon Focus软件在标靶3的左、右和上方分别采集多帧标靶图像，使用一个平面圆形标志标靶虚拟构造立体标靶。

步骤四、求解CCD摄像机内外参数。在MATLAB中编制程序，对所拍摄的图像进行处理，包括前期预处理、圆度阈值分割、边缘检测、周长阈值分割和亚像素圆心拟合等，并利用已得到的标靶坐标值，求得摄像机的内外参数；标靶图像处理流程（参见图5）是：图像读取、前期预处理、圆度阈值分割、边缘检测、周长阈值分割、亚像素圆心拟合、圆心排序和圆心标记并输出。

设位于笛卡尔坐标系的空间点（x_c，y_c，z_c），经过成像放大后在数字图像上的像素坐标为（u，v），摄像机光轴中心线与成像平面的交点为（u₀，v₀）。k_x，k_y分别为X和Y轴方向上的放大系数。空间点在世界坐标下位置为（x_w，y_w，z_w）。利用空间点的像素坐标与其在世界坐标系下的关系公式，求导CCD摄像机内外未知参数的公式：

\{\begin{matrix} u_{0} = {M_{1}}^{T} M_{3} \\ v_{0} = {M_{2}}^{T} M_{3} \\ k_{x} = | | M_{1} - u_{0} M_{3} | | \\ k_{y} = | | M_{2} - v_{0} M_{3} | | \\ r_{1} = (M_{1} - u_{0} M_{3}) / k_{x} \\ r_{2} = (M_{2} - v_{0} M_{3}) / k_{y} \\ r_{3} = M_{3} \\ p_{x} = (M_{14} - u_{o} M_{34}) / k_{x} \\ p_{y} = (M_{24} - v_{o} M_{34}) / k_{y} \\ p_{z} = M_{34} \end{matrix}

至此，便可求解得到CCD摄像机2的内外参数。根据上述求解摄像机2内外参数进行代入计算。由于是通过机器人1运动构造了虚拟的立体圆形标志标靶，从而实现了CCD摄像机2的高精度标定。CCD摄像机2的内外参数分别反映了摄像机笛卡尔空间点与成像点之间的关系，以及CCD摄像机2坐标系下的空间点与在世界坐标系下所处位置的关系。

步骤五、标定结果的误差分析。在对CCD摄像机2进行内外参数标定后，需要对结果进行误差分析。将标靶3任意布置在双目视觉的视场下，CCD摄像机2在两个工作位置采集标靶图像，进行标靶特征点的三维测量，并检验测量精度，并对实施例中的标定结果进行绝对误差和相对误差分析。绝对误差分析内容为，将所得结果与已经定义了参数的焊枪工具中心识别标靶3上特征点进行比较。相对误差分析内容为，将所得结果与已知的标靶参数（横向两圆间距为10.8mm，纵向两圆间距为9.9mm）相比较，可以验证测量结果正确性，其精度能达到0.1mm。该方法为实现叶片特征点的检测提供了依据。

步骤六、双目视觉系统采集待修复叶片图像。将待修复的飞机涡轮发动机叶片4固定在工作台上，通过在机器人2上搭建的已标定好的双目视觉检测系统，从两个视场来采集飞机涡轮发动机叶片的图像。

步骤七、待修复叶片标定。航空发动机叶片具有结构复杂且不规则、厚度薄且横截面复杂多变、磨损部位尺寸大小不一等特点。完成叶片的标定难点在于如何在叶片的表面轮廓上选择合适的特征点用来匹配两个环境，不仅需要考虑到特征点在仿真环境下能够迅速精确提取，也需要使选择的特征点能在双目视觉测量系统中提取顺利并能保证精度，同时选择的特征点本身需要满足一定的空间性。在研究了发动机叶片本体的结构，以及叶片在双目视觉系统下检测的效果后，确定了通过叶片顶部轮廓上曲线的两个三等分点、下曲线的两个等分点和一个顶部两小边轮廓的中心点的五点法标定方法。所述叶片4图像处理流程（参见图6）是：叶片图像读取、维纳滤波、二值化腐蚀膨胀、面积阈值分割、边缘检测、端点像素求取、上下曲线分割、等分点像素求取和五个特征点像素输出。

在MATLAB中编制程序，对所采集的叶片图像进行处理，包括维纳滤波、二值化腐蚀膨胀、面积阈值分割、边缘检测、端点像素求取等。由已得到的摄像机内外参数和五个特征点的像素坐标，便可得到五个特征点在机器人坐标系下的三维坐标值。

步骤八、叶片模型的坐标系转换。本发明最终是要解决仿真软件坐标系（即三维光栅投影测量仪的坐标系）与机器人坐标系的刚体变换问题，以保证经三维测量仪得到的叶片模型转换到机器人坐标系下，从而实现机器人对所述叶片进行快速、精确的焊接修复。

本发明方法先以仿射变换法求取旋转矩阵，再以旋转矩阵代入计算平移参数；根据所求得的变换矩阵T和所述五个本体特征点在机器人坐标系下的坐标值，实现叶片模型从三维光栅扫描仪坐标系到机器人坐标系下的转换。

本发明方法所述的计算机程序为现有技术，或者依据所给出的框图和工艺要求本领域技术人员不难给出具体程序。

本发明方法虽然针对飞机涡轮发动机叶片修复机器人的视觉标定而设计，但其不仅限于飞机涡轮发动机叶片修复机器人的视觉标定，其他相近或类似需求的视觉标定同样适用于本发明方法。

本发明未述及之处适用于现有技术。

下面给出本发明机器人视觉标定方法的具体实施例。但具体实施例不限制本申请权利要求的保护范围。

本发明针对飞机涡轮发动机叶片修复机器人的视觉标定方法的具体实施过程如下：

本发明实施例中，使用9×11个圆心标靶，标靶水平方向相邻两圆圆心的间距为10.8mm，竖直方向上相邻两圆圆心的间距为9.9mm。

将工具安装于六自由度机器人1的法兰盘上，并对工具坐标系进行标定。将标靶3放置于机器人工作范围中，使用示教法获得标靶上平面圆形标志圆心特征点在机器人坐标系下的位置。

将单个CCD摄像机2安装到机器人1的执行末端上，构建成机器人手眼系统，通过Photon focus软件在标靶3的左、右和上方分别采集多帧标靶图像，使用一个平面圆形标志标靶虚拟构造立体标靶。

在MATLAB中所拍摄图像进行处理并对摄像机进行内外参数求解，得到的CCD摄像机的内外参数值为：

内部参数：

A = [\begin{matrix} 1523.29 & 0 & 504.59 \\ 0 & 1524.32 & 500.67 \\ 0 & 0 & 1 \end{matrix}]

外部参数：

T = [\begin{matrix} 0.0409 & 0.8945 & - 0.4453 & 393.55 \\ 0.9966 & - 0.0057 & 0.0825 & - 1271.54 \\ - 0.0713 & 0.4471 & 0.8916 & - 868.23 \end{matrix}]

经过图像处理之后，在MATLAB中显示所得到的虚拟立体标靶模型（参见图7）；对标定结果进行误差分析，精度能达到0.1mm。

利用标定好的双目测量系统采集叶片图像并进行图像处理，并提取叶片顶部轮廓的五个本体特征点像素。在本发明实施例中，第一视角和第二视角的叶片特征点像素参见表1和2：

表1第一视角叶片特征点像素坐标

表2第二视角叶片特征点像素坐标

经过十字标记五个特征点后的叶片图像如图8所示。

本发明实施例中，设定五个特征点在三维测量仪中的坐标值为已知。所得到的变换矩阵T为：

T = [\begin{matrix} 0.2726 & - 0.1833 & 0.7357 & 1235.1 \\ 0.0666 & - 0.8661 & - 0.2557 & - 66.4 \\ 0.9598 & - 0.4650 & 0.6272 & 973.3 \\ 0 & 0 & 0 & 1 \end{matrix}]

本发明实施例中叶片顶部轮廓转换后的结果表示于图9中。

Claims

1.一种飞机涡轮发动机叶片修复机器人的视觉标定方法，该视觉标定方法包括以下步骤：

（3）拍摄标靶图像，建立立体标靶；利用单个CCD摄像机建立基于双目视觉理论的三维测量系统，通过机器人携带单个CCD摄像机运动，使用PhotonFocus在标靶的左、右和上方分别拍摄多帧标靶图像，使用一个平面圆形标志标靶虚拟构造立体标靶；

（4）求解CCD摄像机内外参数；在MATLAB编制程序，对所拍摄的图像进行处理，包括前期预处理、圆度阈值分割、边缘检测、周长阈值分割和亚像素圆心拟合，并利用已得到的标靶坐标值，求得摄像机的内外参数，实现相机的高精度标定；

2.根据权利要求1所述飞机涡轮发动机叶片修复机器人的视觉标定方法，其特征在于所述的标靶使用9×11个圆心标靶，标靶水平方向相邻两圆圆心的间距为10.8mm，竖直方向上相邻两圆圆心的间距为9.9mm。