CN110044261A - 一种轴线不垂直于端面的任意位姿孔视觉测量方法 - Google Patents

Abstract

本发明公开了一种轴线不垂直于端面的任意位姿孔视觉测量方法，属于视觉测量方法技术领域。将目标孔放置在双目云台相机的视场范围内，利用模板图像上拟合椭圆得到的长、短轴端点和圆心坐标，求出目标图像上与之对应的点的图像坐标，重建这些点的世界坐标。基于空间向量对目标孔进行计算，得出其准确位置、姿态及直径。本发明的方法测量操作方便、精度高。

Description

一种轴线不垂直于端面的任意位姿孔视觉测量方法

技术领域

本发明属于视觉测量方法技术领域，具体涉及一种轴线不垂直于端面的任意位姿孔视觉测量方法。

背景技术

孔测量广泛应用于工业领域。通常，对孔的测量方法是分别测量孔的位置、姿态以及孔的直径，这种测量方法不仅费时且多次测量容易造成误差累计，不适合于自动化装配过程，尤其是机器人自主装配过程。

在现代工业自动化生产过程中，机器视觉俨然正成为一种提高生产效率和保证产品质量的关键技术。通过将机器视觉技术与机器人相结合，大大提升了机器人生产作业自动化和智能化程度。机器视觉的应用，使机器人完全自主装配成为可能。而基于机器视觉的轴、孔装配在机器人自主装配中最为常见和典型。在此装配过程中，孔的位置、姿态以及孔的直径测量是难点之一。孔的视觉测量的主要对象是孔的位置、姿态以及孔的直径，目前缺乏能同时测量上述孔特征的方法，且少有同时能适应轴线不垂直于端面的任意位姿孔的测量方法。

发明内容

本发明的目的是提供一种轴线不垂直于端面的任意位姿孔视觉测量方法，本发明涉及的测量方法操作简便、精度高。

本发明所采用的技术方案是，一种轴线不垂直于端面的任意位姿孔视觉测量方法，具体按照以下步骤实施：

步骤1，将目标孔放置在双目云台相机的视场范围内，相机光轴与目标孔所在平面保持垂直，以左、右相机光轴在此平面上投影a点、b点连线中点c点为原点，以为x轴正向，以过c点垂直于x轴的直线为y轴，向上为正向，建立坐标系cxy。将人眼判断得到的孔的圆心o点放置于平面坐标系cxy平面c点附近，保证o点在x轴方向，在y轴方向的范围内。使用双目云台相机对目标孔拍摄，所得图像作为模板图像。左相机获得图像记为image1，右相机获得图像记为image2；

步骤2，将目标孔放置在双目云台相机的视场范围内，相机光轴与目标孔所在平面保持γ角，γ∈（0°,180°）。使用双目云台相机对目标孔拍摄，所得图像作为目标图像。左相机获得图像记为image3；右相机获得图像记为image4；

步骤3，分别对模板图像image1，image2进行阈值化处理和图像形态开运算，对两幅图像进行椭圆拟合，获得image1图像上椭圆长轴两端点其中一点的图像坐标、短轴端点图像坐标和椭圆圆心图像坐标，image2图像上分别与image1相对应的椭圆长轴端点图像坐标、短轴端点图像坐标和椭圆圆心图像坐标，以及长轴长度L₁、短轴长度L₂；

步骤4,对模板图像image1和目标图像image3进行SIFT特征点匹配，获得两幅图像间匹配点对，从而建立两幅图像间仿射模型，求出仿射参数，并根据所得的仿射参数以及步骤3中得出的image1的长轴端点图像坐标、短轴端点图像坐标以及圆心图像坐标求出image3上与image1对应的椭圆长轴端点图像坐标、短轴端点图像坐标以及圆心图像坐标；

步骤5，对模板图像image2和目标图像image4重复步骤4，得image4上与image2对应的椭圆长轴端点图像坐标、短轴端点图像坐标以及圆心图像坐标；

步骤6，通过得到的image3与image4上的六点的坐标，重建目标孔上长轴端点世界坐标、短轴端点世界坐标和圆心世界坐标；

步骤7，基于空间向量对目标孔进行计算，得出其准确位置、姿态以及直径。

本发明的特点还在于，

步骤3具体按照以下步骤实施：

步骤3.1，对模板图像image1，image2进行图像处理，处理过程具体为阈值化处理、图像形态开运算；

步骤3.2，对处理得到的图像进行椭圆拟合，可以得出image1图像上椭圆的长轴端点图像坐标、短轴端点图像坐标和椭圆圆心图像坐标，image2图像上椭圆的长轴端点图像坐标、短轴端点图像坐标和椭圆圆心图像坐标，以及长轴长度L₁、短轴长度L₂；

步骤4具体按照以下步骤实施：

步骤4.1，对模板图像image1和目标图像image3运用SIFT特征匹配算法进行特征匹配，获得两幅图像间的匹配点对；

步骤4.2，建立两幅图像间的仿射模型：

，

其中与分别为和方向的平移量，是旋转角度，为尺度变换参数。从点到点的映射变换对应关系如下：

设定，，，则上式简化为：

将步骤4.1中得出的匹配点对带入上述模型中，即可解得仿射模型参数：、、、、和；

步骤4.3，根据求得的仿射模型，以及步骤3.2中得出的image1的长轴端点图像坐标、短轴端点图像坐标以及圆心图像坐标求出image3上与image1对应的椭圆长轴端点图像坐标、短轴端点图像坐标以及圆心图像坐标。

步骤6具体按照以下步骤实施：

步骤6.1，基于Zhang平面模板两步法，使用Matlab工具箱中的calib对双目云台相机进行立体标定，基于标定，求得图像坐标与世界坐标之间的转换关系；

步骤6.2，将得到的image3与image4上的六点的图像坐标代入步骤6.1求得的转换关系中，即可得到椭圆圆心世界坐标，长轴端点世界坐标，短轴端点世界坐标。

步骤7具体可按照以下步骤实施：

步骤7.1，根据步骤6.2求得的三点世界坐标建立工件坐标系：如图2所示，以椭圆圆心o为原点，方向为x轴，方向为y轴，用右手定则建立z轴，建立工件坐标系；

步骤7.2，如图3所示，过椭圆长轴端点a，假设用一个与孔轴线垂直的平面截切该孔，该截面与孔内壁的交线必为一圆，该圆直径即为孔径R，圆心记为，求得该点在工件坐标系中的坐标；

具体计算过程如下：

在图4中，b点为长轴另一端点，为孔的投影轮廓线，为孔的一条直径线，故而 ； ab为端面椭圆长轴，o、 分别为和的中点，且 ,则有：

由以上两式可得：

在中

所以：

在中

在中

则点在工件坐标系中的齐次坐标可以表示为：

步骤7.3，求得工件坐标系与世界坐标系oxyz间的齐次坐标转换矩阵，具体计算过程如下：

步骤6.2中求得椭圆中心世界坐标，长轴端点世界坐标，短轴端点世界坐标，

则工件坐标系的x轴在世界坐标系下表示为：

令

工件坐标系的y轴在世界坐标系下表示为：

令

工件坐标系的z轴在世界坐标系下表示为：

令

有

则工件坐标系与世界坐标系的转换关系如下：

步骤7.4，根据求得的转换矩阵以及在工件坐标系中的坐标即可得到该点在世界坐标系中的坐标：

步骤7.5，根据o点的世界坐标以及点的世界坐标构建空间向量，即表示该孔的姿态，孔位置即为o点的世界坐标。

本发明的有益效果是：（1）本发明仅需求出孔端面上椭圆中心以及椭圆长、短轴端点的世界坐标即可计算得出孔位置、姿态以及直径，对硬件设备要求低，简单易实现；（2）本发明同时可测量出孔位置、孔径和孔姿态，精度高，在孔检测和装配领域具有广泛前景；（3）本发明专用于轴线不垂直于端面的任意位姿的孔测量，对于此类孔的检测具有高度专一性、精确性优势。

附图说明

图1是一种孔的视觉测量方法的整体流程图；

图2是一种孔的视觉测量方法的建立工件坐标系示意图；

图3是一种孔的视觉测量方法中构建点示意图；

图4是一种孔的视觉测量方法的求解点工件坐标示意图。

具体实施方式

步骤1，将目标孔放置在双目云台相机的视场范围内，相机光轴与目标孔所在平面保持垂直，以左、右相机光轴在此平面上投影a点、b点连线中点c点为原点，以为x轴正向，以过c点垂直于x轴的直线为y轴，向上为正向，建立坐标系cxy。将人眼判断得到的孔的圆心o点放置于平面坐标系cxy平面c点附近，保证o点在x轴方向，在y轴方向的范围内。使用双目云台相机对目标孔拍摄，所得图像作为模板图像。左相机获得图像记为image1，右相机获得图像记为image2；

步骤2，将目标孔放置在双目云台相机的视场范围内，相机光轴与目标孔所在平面保持γ角，γ∈（0°,180°）。使用双目云台相机对目标孔拍摄，所得图像作为目标图像。左相机获得图像记为image3；右相机获得图像记为image4；

孔图像可由同一相机不同位置或两相机采集，并要求相机已标定过，本实施例中采用两相机，所涉及的长度和坐标单位均为mm，且已知两相机的内外参数 、 ，畸变系数以及两相机间的相对位姿 、 。

步骤3，分别对模板图像image1，image2进行阈值化处理和图像形态开运算，对两幅图像进行椭圆拟合，获得image1图像上椭圆长轴端点图像坐标、短轴端点图像坐标和椭圆圆心图像坐标，image2图像上分别与image1相对应的椭圆长轴端点图像坐标、短轴端点图像坐标和椭圆圆心图像坐标，以及长轴长度L₁、短轴长度L₂，具体按照以下步骤实施：

步骤3.1，对模板图像image1，image2进行图像处理，处理过程具体为阈值化处理、图像形态开运算；

步骤3.2，对处理得到的图像进行椭圆拟合，可以得出image1图像上椭圆的长轴端点图像坐标、短轴端点图像坐标和椭圆圆心图像坐标，image2图像上椭圆的长轴端点图像坐标、短轴端点图像坐标和椭圆圆心图像坐标，长轴长度，短轴长度。

步骤4, 对模板图像image1和目标图像image3进行SIFT特征点匹配，获得两幅图像间匹配点对，从而建立两幅图像间仿射模型，求出仿射参数，并根据所得的仿射参数以及步骤3中得出的image1的长轴端点图像坐标、短轴端点图像坐标以及圆心图像坐标求出image3上与image1对应的椭圆长轴端点图像坐标、短轴端点图像坐标以及圆心图像坐标，具体按照以下步骤实施：

步骤4.1，对模板图像image1和目标图像image3运用SIFT特征匹配算法进行特征匹配，获得两幅图像间的匹配点对如表1所示：

表1 模板图像与目标图像匹配点对坐标

步骤4.2，建立两幅图像间的仿射模型：

其中与分别为和方向的平移量，是旋转角度，为尺度变换参数。从点到点的映射变换对应关系如下：

设定，，，则上式简化为：

将步骤4.1中得出的匹配点对带入上述模型中，即可解得仿射模型参数：、、、、、；

步骤4.3，根据求得的仿射模型，以及步骤3.2中得出的image1的长轴端点图像坐标、短轴端点图像坐标以及圆心图像坐标，求出image3上与image1对应的椭圆长轴端点图像坐标、短轴端点图像坐标以及圆心图像坐标。

步骤5，对模板图像image2和目标图像image4重复步骤4，得image4上与image2对应的椭圆长轴端点图像坐标、短轴端点图像坐标以及圆心图像坐标；

步骤6，通过得到的image3与image4上的六点的图像坐标，重建目标孔上长轴端点世界坐标、短轴端点世界坐标和圆心世界坐标，具体按照以下步骤实施：

步骤6.1，对双目云台相机进行立体标定，基于标定，求得图像坐标与世界坐标之间的转换关系，具体如下：

左相机内参矩阵：

左相机畸变参数：

右相机内参矩阵：

右相机畸变参数：

旋转向量：

平移向量：

步骤6.2，将步骤4.3得到的目标图像中的长、短轴端点以及圆心图像坐标代入步骤6.1求得的转换关系中，即可得到：椭圆圆心点世界坐标，长轴端点a世界坐标，短轴端点c世界坐标。

步骤7，基于空间向量对目标孔进行计算，得出其准确位置、姿态及直径。具体按照以下步骤实施：

步骤7.1，根据步骤6.2求得的三点世界坐标建立工件坐标系，如图2所示，以椭圆中心为原点，方向为x轴，方向为y轴，应用右手定则建立z轴，建立工件坐标系；

步骤7.2，如图3所示，过椭圆长轴端点，用一个与孔轴线垂直的平面截切该孔，其与孔内壁的交线必为一圆，该圆直径即为孔径R，其长度即为短轴长度L₂，圆心记为，易知点在工件坐标系xoz平面上，即其在y方向上坐标为零。故如图4所示，将孔投影在xoz面上，计算得出该点与坐标原点x、z坐标间的差值，求得该点在工件坐标系中的坐标，具体计算过程如下：

在图4中，为孔的投影轮廓线，为孔的一条直径线，故而；为端面椭圆长轴，o、 分别为和的中点，则有,则有：

由以上两式可得：

在中

所以：

在中

在中

则点在工件坐标系中的齐次坐标可以表示为：

步骤7.3，求得工件坐标系与世界坐标系oxyz间的齐次坐标转换矩阵，具体计算过程如下：

步骤6.2中求得椭圆中心世界坐标，长轴端点世界坐标，短轴端点世界坐标，

则工件坐标系的x轴在世界坐标系下表示为：

令

工件坐标系的y轴在世界坐标系下表示为：

令

工件坐标系的z轴在世界坐标系下表示为：

令

有

则工件坐标系与世界坐标系的转换关系如下：

步骤7.4，根据求得的转换矩阵以及在工件坐标系中的坐标即可得到该点在世界坐标系中的坐标；

步骤7.5，根据o点的世界坐标以及点的世界坐标构建空间向量，即表示该孔的姿态，孔位置即为o点的世界坐标。

Claims (5)

1.一种轴线不垂直于端面的任意位姿孔视觉测量方法，其特征在于：包括以下步骤：

步骤1，将目标孔放置在双目云台相机的视场范围内，相机光轴与目标孔所在平面保持垂直，以左、右相机光轴在此平面上投影a点、b点连线中点c点为原点，以为x轴正向，以过c点垂直于x轴的直线为y轴，向上为正向，建立坐标系cxy，将人眼判断得到的孔的圆心o点放置于平面坐标系cxy平面c点附近，保证o点在x轴方向，在y轴方向的范围内；使用双目云台相机对目标孔拍摄，所得图像作为模板图像，左相机获得图像记为image1，右相机获得图像记为image2；

步骤2，将目标孔放置在双目云台相机的视场范围内，相机光轴与目标孔所在平面保持γ角，γ∈（0°,180°），使用双目云台相机对目标孔拍摄，所得图像作为目标图像，左相机获得图像记为image3；右相机获得图像记为image4；

步骤3，分别对模板图像image1，image2进行阈值化处理和图像形态开运算，对两幅图像进行椭圆拟合，获得image1图像上椭圆长轴两端点其中一点的图像坐标、短轴端点图像坐标和椭圆圆心图像坐标， image2图像上分别与image1相对应的椭圆长轴端点图像坐标、短轴端点图像坐标和椭圆圆心图像坐标，以及长轴长度L₁、短轴长度L₂；

步骤4,对模板图像image1和目标图像image3进行SIFT特征点匹配，获得两幅图像间匹配点对，从而建立两幅图像间仿射模型，求出仿射参数，并根据所得的仿射参数以及步骤3中得出的image1的长轴端点图像坐标、短轴端点图像以及圆心图像坐标求出image3上与image1对应的椭圆长轴端点图像坐标、短轴端点图像坐标以及圆心图像坐标；

步骤5，对模板图像image2和目标图像image4重复步骤4，得image4上与image2对应的椭圆长轴端点图像坐标、短轴端点图像坐标以及圆心图像坐标；

步骤6，通过得到的image3与image4上的六点的图像坐标，重建目标孔上长轴端点世界坐标、短轴端点世界坐标和圆心世界坐标；

步骤7，基于空间向量对目标孔进行计算，得出其准确位置、姿态以及直径。

2.根据权利要求1所述的一种轴线不垂直于端面的任意位姿孔视觉测量方法，其特征在于：步骤3具体按照以下步骤实施：

步骤3.1，对模板图像image1，image2进行图像处理，处理过程具体为阈值化处理、图像形态开运算；

步骤3.2，对处理得到的图像进行椭圆拟合，可以得出image1图像上椭圆的长轴端点图像坐标、短轴端点图像坐标和椭圆圆心图像坐标，image2图像上椭圆的长轴端点图像坐标、短轴端点图像坐标和椭圆圆心图像坐标，以及长轴长度L₁、短轴长度L₂。

3.根据权利要求1所述的一种轴线不垂直于端面的任意位姿孔视觉测量方法，其特征在于：步骤4具体按照以下步骤实施：

步骤4.1，对模板图像image1和目标图像image3运用SIFT特征匹配算法进行特征匹配，获得两幅图像间的匹配点对；

步骤4.2，建立两幅图像间的仿射模型：

，

其中与分别为和方向的平移量，是旋转角度，为尺度变换参数，从点到点的映射变换对应关系如下：

设定，，，则上式简化为：

将步骤4.1中得出的匹配点对带入上述模型中，即可解得仿射模型参数：、、、、和；

步骤4.3，根据求得的仿射模型，以及步骤3.2中得出的image1的长轴端点图像坐标、短轴端点图像坐标以及圆心图像坐标求出image3上与image1对应的椭圆长轴端点图像坐标、短轴端点图像坐标以及圆心图像坐标。

4.根据权利要求1所述的一种轴线不垂直于端面的任意位姿孔视觉测量方法，其特征在于：步骤6具体按照以下步骤实施：

步骤6.1，基于Zhang平面模板两步法，使用Matlab工具箱中的calib对双目云台相机进行立体标定，基于标定，求得图像坐标与世界坐标之间的转换关系；

步骤6.2，将得到的image3与image4上的六点的图像坐标代入步骤6.1求得的转换关系中，即可得到椭圆圆心世界坐标，长轴端点世界坐标，短轴端点世界坐标。

5.根据权利要求1所述的一种轴线不垂直于端面的任意位姿孔视觉测量方法，其特征在于：步骤7具体按照以下步骤实施：

步骤7.1，根据步骤6.2求得的三点世界坐标建立工件坐标系，以椭圆圆心为原点，方向为x轴，方向为y轴，应用右手定则建立z轴，建立工件坐标系；

步骤7.2，过椭圆长轴端点，假设用一个与孔轴线垂直的平面截切该孔，其与孔内壁的交线必为一圆，该圆直径即为孔径R，其长度即为短轴长度L₂，圆心记为，易知点在工件坐标系xoz平面上，即其在y方向上坐标为零；将孔投影在xoz面上，计算得出该点与坐标原点x、z坐标间的差值，求得该点在工件坐标系中的坐标，具体计算过程如下：

为孔的投影轮廓线，为孔的一条直径线，故而；为端面椭圆长轴，o、 分别为和的中点，则有,则有：

由以上两式可得：

在中

所以：

在中

在中

则点在工件坐标系中的齐次坐标可以表示为：

步骤7.3，求得工件坐标系与世界坐标系oxyz间的齐次坐标转换矩阵，具体计算过程如下：

步骤6.2中求得椭圆中心o世界坐标，长轴端点a世界坐标，短轴端点c世界坐标，

则工件坐标系的x轴在世界坐标系下表示为：

令

工件坐标系的y轴在世界坐标系下表示为：

令

工件坐标系的z轴在世界坐标系下表示为：

令

有

则工件坐标系与世界坐标系的转换关系如下：

步骤7.4，根据求得的转换矩阵以及在工件坐标系中的坐标即可得到该点在世界坐标系中的坐标：

步骤7.5，根据o点的世界坐标以及点的世界坐标构建空间向量，即表示该孔的姿态，孔位置即为o点的世界坐标。