CN111993422B - 基于无标定视觉的机器人轴孔对准控制方法 - Google Patents

Abstract

本发明提供了一种基于无标定视觉的机器人轴孔对准控制方法，包括步骤S1：图像处理，采集目标轴孔的图像，并提取相应的图像特征；步骤S2：无标定视觉伺服控制对准，使用通过步骤S1获得的所述图像特征用于控制反馈，控制机器人运动到轴孔对准位置，完成轴孔对准任务。本发明提供的基于无标定视觉的机器人轴孔对准控制方法采用无标定视觉的方法进行轴孔对准，无需估计图像雅克比矩阵，计算简单高效；采用消失点特征和端面圆心特征点完成旋转和平移运动解耦控制，能够控制机器人快速而平滑地运动，并且能够有效克服工具形变带来的对准困难，提高轴孔接插装配的质量和可靠性。

Description

基于无标定视觉的机器人轴孔对准控制方法

技术领域

本发明涉及机器人接插装配作业领域，具体地，涉及基于无标定视觉的机器人轴孔对准控制方法。

背景技术

轴孔接插装配任务是工业中很常见的一种任务类型，它具有重复且繁琐的特性，使用机器人来替代人工是很合适的，这样既可以降低生产成本又可以提高效率。接插装配可以分为两个阶段，轴孔对准和轴孔接插。轴孔接插前需要先完成轴孔对准任务，其对准精度决定后续接插过程是否能够安全无卡阻的顺利进行。目前大部分方法是利用视觉或/和力觉或/和专用的执行机构来完成轴孔对准及后续位姿调整。

专利文献CN110977373A公开了一种机器人用手眼力协调控制末端执行机构，包括六维力传感器、连接件、工业相机、电动气爪及电路板结构，使用视觉和力觉混合控制技术，能够有效保证轴孔装配时的同轴度。其技术方案的不足之处在于需要制作专用的相机连接件，且对相机垂直方向安装精度要求高，同时需要标定相机的内外参数来调整对齐位姿，步骤较为繁琐。

专利文献CN106204610A公开了一种基于图像处理的轴孔装配自动对中系统，该方法通过图像处理的方式获取目标轴承孔的圆心特征，标定相机的像素单位与实际尺寸之间的对应关系，然后计算与期望位置的位置偏移量去控制机器人完成对齐。其技术方案的不足之处在于只能调整位置，无法完成姿态修正，使用场景受限且可靠性较差，而且需要标定相机相关参数，长期使用会发生相机参数漂移等情况。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于无标定视觉的机器人轴孔对准控制方法。

根据本发明提供的基于无标定视觉的机器人轴孔对准控制方法，包括：

步骤S1：图像处理，采集目标轴孔的图像，并提取相应的图像特征；

步骤S2：无标定视觉伺服控制对准，使用通过步骤S1获得的图像特征控制反馈，控制机器人运动到轴孔对准位置，完成轴孔对准任务。

优选地，步骤S1包括：

步骤S10：图像采集，工业相机获取目标轴孔图像；

步骤S11：图像预处理，根据步骤S10的目标轴孔图像获取感兴趣区域图像，对感兴趣区域图像进行预处理；

步骤S12：图像特征提取，根据经步骤S11预处理的图像，分别提取轴和孔的端面圆心点特征坐标、消失点特征坐标。

优选地，步骤S11包括：

步骤S110：模板匹配，对步骤S10获取的目标轴孔图像进行模板匹配得到感兴趣区域图像；

步骤S111：图像灰度化，对感兴趣区域图像进行灰度变换得到灰度图；

步骤S112：图像增强，对灰度图使用图像增强方法得到增强图；

步骤S113：图像锐化，对增强图使用图像锐化方法得到锐化图；

步骤S114：图像阈值分割，对锐化图使用阈值分割方法得到分割图；

步骤S115：图像边缘提取，对分割图使用边缘提取算法提取边缘，并进行平滑，得到边缘提取图；

步骤S116：图像边缘曲率计算与聚类，沿边缘提取图的边缘计算每点的曲率并对曲率进行聚类，将边缘点分为端面圆边缘点和直线边缘点两类。

优选地，步骤S12包括：

步骤S120：在经步骤S11处理的图像中提取轴和孔的端面圆心点特征；

步骤S121：在经步骤S11处理的图像中提取轴和孔外侧边界的两条平行直线的消失点特征。

优选地，步骤S120包括：

根据步骤S116处理的图像的聚类结果能够得到端面圆的边缘点，端面圆边缘点坐标为(u_ci,v_ci)，其中，

i＝1,2,3,…,n；

u_ci表示第i个端面圆边缘点的u坐标；

v_ci表示第i个端面圆边缘点的v坐标；

使用最小二乘法对边缘点进行圆拟合，拟合得到的圆心在感兴趣区域图像中坐标为(u_c0,v_c0)，其中，

u_c0表示端面圆圆心的u坐标；

v_c0表示端面圆圆心的v坐标；

模板匹配后得到的感兴趣区域图像的左上角坐标为(u_roi,v_roi)，其中，

u_roi表示感兴趣区域图像左上角的u坐标；

v_roi表示感兴趣区域图像左上角的v坐标；

提取的端面圆心点特征在全局图像中的坐标为(u_c0+u_roi,v_c0+v_roi)；

分别提取轴的端面圆心点特征坐标和孔的端面圆心点特征坐标。

优选地，步骤S121包括：

根据步骤S116处理的图像的聚类结果能够得到直线特征边缘上的点，直线边缘点坐标为(u_li,v_li)，其中，

i＝1,2,3,…,n；

u_li表示第i个直线边缘点的u坐标；

v_li表示第i个直线边缘点的v坐标；

使用霍夫直线变换进行直线拟合，能够得到外侧边界的两条平行直线的首末端点坐标在感兴趣区域图像中分别为

其中，

表示边界直线l₁首端点的u坐标；

表示边界直线l₁首端点的v坐标；

表示边界直线l₁末端点的u坐标；

表示边界直线l₁末端点的v坐标；

表示边界直线l₂首端点的u坐标；

表示边界直线l₂首端点的v坐标；

表示边界直线l₂末端点的u坐标；

表示边界直线l₂末端点的v坐标；

在全局图像中对应的点坐标分别为

将点坐标写成齐次坐标并按顺序形成矩阵M^l＝(m_ij)_3×4，根据下式能够计算出两条平行直线的消失点特征坐标：

其中，m_ij表示矩阵M^l的第i行，第j列的元素；

m_k为矩阵M^l的列向量，(k＝1,2,3,4)；

t_ij表示矩阵T的第i行，第j列的元素；

vp为消失点特征在全局图像中的坐标；

分别提取轴外侧边界的两条平行直线的消失点特征坐标和孔外侧边界的两条平行直线的消失点特征坐标。

优选地，步骤S2包括：

步骤S20：根据机器人运动与图像中特征点运动的映射关系，建立运动符号矩阵，获取期望特征点在图像中的位置；

步骤S21：计算运动符号矩阵以及实时特征点与期望特征点的图像误差作为控制反馈信息，根据控制反馈信息控制机器人运动；

步骤S22：实时特征点与期望特征点的图像误差小于设定阈值，完成轴孔对准，否则重复步骤S21，直至实时特征点与期望特征点的图像误差小于设定阈值。

优选地，步骤S20中消失点特征为姿态对齐特征点，端面圆心点特征为位置对齐特征点。

优选地，步骤S20中机器人运动与图像中特征点运动的映射关系为：

机器人带动相机在机器人基坐标系O_b的xoy平面平移运动对应消失点特征在图像坐标系中不运动；

机器人带动相机绕机器人基坐标系O_b的z轴和y轴旋转运动近似对应孔的消失点特征在图像坐标系中沿v轴和u轴平移运动；

机器人带动相机沿机器人基坐标系O_b的z轴和y轴平移运动近似对应孔的端面圆心点特征在图像坐标系中沿u轴和v轴平移运动。

优选地，步骤S21包括：

步骤S210：计算实时特征点与期望特征点的图像误差作为控制反馈信息；

步骤S211：根据步骤S210的控制反馈信息计算符号矩阵，根据符号矩阵计算结果确定机器人的运动方向；

步骤S212：控制机器人按照步骤S211的运动方向运动直到实时特征点与期望特征点的图像误差小于设定阈值。

与现有技术相比，本发明具有如下的有益效果：

1、通过采用无标定视觉的方法进行轴孔对准，步骤简单易行，不受标定精度影响；

2、通过采用无接触的视觉对齐方法，对准精度高，减少后续轴孔插入的位姿调整压力，有效避免插入卡阻，提高轴孔接插装配的质量和可靠性；

3、通过提取工具和工件的自然图像特征，不需要调整现使用的工艺，大大降低成本。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为机器人系统的示意图；

图2为图像坐标系中消失点特征的示意图；

图3为图像坐标系中端面圆心点特征的示意图；

图4为图像中消失点特征提取的示意图；

图5为基于消失点特征和端面圆心点特征的视觉伺服解耦控制结构图；

图6为基于无标定视觉的机器人轴孔对准控制方法的算法流程的示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

实施例

图1～图6为本发明提供的基于无标定视觉的机器人轴孔对准控制方法的示意图。

根据本发明提供的基于无标定视觉的机器人轴孔对准控制方法，包括步骤S1和步骤S2。

步骤S1：图像处理，采集目标轴孔的图像，并提取相应的图像特征。

步骤S1包括步骤S10、步骤S11和步骤S12。

步骤S10：图像采集，工业相机获取目标轴孔图像；工业相机以手在眼的方式安装，即安装在机器人末端上，实时获取目标轴孔的图像信息。

步骤S11：图像预处理，根据步骤S10的目标轴孔图像通过模板匹配的方法获取感兴趣区域图像，然后对感兴趣区域图像进行预处理，具体包括灰度化、增强、锐化、阈值分割、边缘提取、边缘曲率计算与聚类处理。

步骤S11包括步骤S110、步骤S111、步骤S112、步骤S113、步骤S114、步骤S115和步骤S116。

步骤S110：模板匹配，对步骤S10获取的目标轴孔图像进行模板匹配得到感兴趣区域图像。

步骤S111：图像灰度化，将RGB格式的感兴趣区域图像进行灰度变换得到灰度图。

步骤S112：图像增强，对灰度图进行同态滤波得到增强图。

步骤S113：图像锐化，对增强图进行高通滤波得到锐化图。

步骤S114：图像阈值分割，对锐化图进行自适应阈值分割得到分割图。

步骤S115：图像边缘提取，对分割图使用Canny算子提取边缘，并进行高斯平滑，得到边缘提取图。

步骤S116：图像边缘曲率计算与聚类，沿边缘提取图的边缘计算每点的曲率并对曲率进行聚类，将边缘点分为端面圆边缘点和直线边缘点两类。

步骤S12：图像特征提取，根据经步骤S11预处理的图像，分别提取轴和孔的端面圆心点特征坐标、消失点特征坐标。

步骤S12包括步骤S120和步骤S121。

步骤S120：在经步骤S11处理得到的图像预处理后的图像中提取轴和孔的端面圆心点特征；

如图2和图3所示，在图像中建立图像坐标系，图像坐标系为平面直角坐标系，包括u轴和v轴；根据步骤S116处理的图像的聚类结果能够得到端面圆的边缘点，端面圆边缘点坐标为(u_ci,v_ci)，其中，i＝1,2,3,…,n，u_ci表示第i个端面圆边缘点的u坐标，v_ci表示第i个端面圆边缘点的v坐标；

使用最小二乘法对端面圆边缘点进行圆拟合，拟合得到的圆心在感兴趣区域图像中坐标为(u_c0,v_c0)，其中，u_c0表示端面圆圆心的u坐标，v_c0表示端面圆圆心的v坐标；

模板匹配后得到的感兴趣区域图像的左上角坐标为(u_roi,v_roi)，其中，u_roi表示感兴趣区域图像左上角的u坐标，v_roi表示感兴趣区域图像左上角的v坐标；

提取的端面圆心点特征在全局图像中的坐标为(u_c0+u_roi,v_c0+v_roi)；

对轴的端面圆执行步骤S120提取轴的端面圆心点特征坐标，对孔的端面圆执行步骤S120提取孔的端面圆心点特征坐标。

步骤S121：在经步骤S11处理的图像中提取轴和孔外侧边界的两条平行直线的消失点特征；

根据步骤S116处理的图像的聚类结果能够得到直线特征边缘上的点，直线边缘点坐标为(u_li,v_li)，其中，i＝1,2,3,…,n，u_li表示第i个直线边缘点的u坐标，v_li表示第i个直线边缘点的v坐标；

使用霍夫直线变换进行直线拟合，能够得到外侧边界的两条平行直线的首末端点坐标在感兴趣区域图像中分别为

其中，

表示边界直线l₁首端点的u坐标，

表示边界直线l₁首端点的v坐标，

表示边界直线l₁末端点的u坐标，

表示边界直线l₁末端点的v坐标，

表示边界直线l₂首端点的u坐标，

表示边界直线l₂首端点的v坐标，

表示边界直线l₂末端点的u坐标，

表示边界直线l₂末端点的v坐标；

在全局图像中对应的点坐标分别为

将点坐标写成齐次坐标并按顺序形成矩阵M^l＝(m_ij)_3×4，根据下式能够计算出两条平行直线的消失点特征坐标：

其中，m_ij表示矩阵M^l的第i行，第j列的元素，m_k为矩阵M^l的列向量，(k＝1,2,3,4)，t_ij表示矩阵T的第i行，第j列的元素，vp为消失点特征在全局图像中的坐标；

分别提取轴外侧边界的两条平行直线的消失点特征坐标和孔外侧边界的两条平行直线的消失点特征坐标。

步骤S2：无标定视觉伺服控制对准，使用通过步骤S1获得的图像特征控制反馈，控制机器人运动到轴孔对准位置，完成轴孔对准任务。

步骤S2包括步骤S20、步骤S21和步骤S22。

步骤S20：根据任务特点，建立机器人运动与图像中特征点运动的映射关系，根据机器人运动与图像中特征点运动的映射关系，建立运动符号矩阵，获取期望特征点在图像中的位置；

如图1所示，建立空间直角坐标系：工具中心点坐标系O_t、孔端面的中心点坐标系O_h、相机坐标系O_c、末端执行器坐标系O_e和机器人基坐标系O_b；

工具中心点坐标系相对机器人基坐标系的齐次变换矩阵为

其中，

表示工具中心点坐标系相对机器人基坐标系的姿态矩阵，

表示工具中心点坐标系相对机器人基坐标系的位置矩阵；

孔端面中心点坐标系相对机器人基坐标系的齐次变换矩阵为

其中，

表示孔端面中心点坐标系相对机器人基坐标系的姿态矩阵，

表示孔端面中心点坐标系相对机器人基坐标系的位置矩阵；

相机坐标系相对机器人基坐标系的齐次变换矩阵为

末端执行器坐标系相对机器人基坐标系的齐次变换矩阵为

当轴孔对准时，工具中心点坐标系和孔端面中心点坐标系相对机器人基坐标系的姿态矩阵相同，即

位置矩阵仅x轴坐标不同，即

控制机器人运动，相机会跟随机器人运动，孔的图像特征相对相机运动，消失点特征为姿态对齐特征点，即当轴的消失点特征和孔的消失点特征的图像误差小于设定阈值时，轴孔姿态对准，其中轴的消失点特征为期望特征点，孔的消失点特征为实时特征点；端面圆心点特征为位置对齐特征点，即当轴的端面圆心点特征和孔的端面圆心点特征的图像误差小于设定阈值时，轴孔位置对准，其中轴的端面圆心点特征为期望特征点，孔的端面圆心点特征为实时特征点；

机器人运动与图像中特征点运动的映射关系为：

机器人带动相机在机器人基坐标系O_b的xoy平面平移运动对应消失点特征在图像坐标系中不运动；机器人带动相机绕机器人基坐标系O_b的z轴和y轴旋转运动近似对应孔的消失点特征在图像坐标系中沿v轴和u轴平移运动；机器人带动相机沿机器人基坐标系O_b的z轴和y轴平移运动近似对应孔的端面圆心点特征在图像坐标系中沿u轴和v轴平移运动，对齐任务中，无需考虑机器人带动相机在机器人基坐标系O_b中与x轴相关的运动；

提取轴的消失点特征在图像坐标系中的坐标并记为P_d，提取此时轴的端面圆心点特征在图像坐标系中的坐标并记为C_d。

步骤S21：计算运动符号矩阵以及实时特征点与期望特征点的图像误差作为控制反馈信息，根据控制反馈信息控制机器人运动；每个控制周期都使用步骤S1提取轴和孔的消失点特征和端面圆心点特征，将实时特征点与期望特征点的图像误差作为控制反馈信息，根据图像误差计算符号矩阵并根据符号矩阵计算结果确定机器人的运动方向，设计了关节速度控制器实现平移运动与旋转运动的解耦控制，然后根据速度指令控制机器人运动直到实时特征点与期望特征点的图像误差小于设定阈值。

步骤S21包括步骤S210、步骤S211和步骤S212。

步骤S210：计算实时特征点与期望特征点的图像误差作为控制反馈信息。

孔的消失点特征为实时特征点，轴的消失点特征作为期望特征点，轴的消失点特征坐标记为y_pd，定义消失点特征图像误差为：

Δy_p(t)＝y_p(t)-y_pd

其中y_p(t)为孔消失点特征的uv坐标，表示为[u_p,v_p]^T；y_pd为轴的消失点特征的uv坐标，表示为

在运动过程中，相机能始终观察到孔的端面，并能提取到孔的端面圆心点特征，孔的端面圆心点特征为实时特征点，轴的端面圆心点特征作为期望特征点，轴的端面圆心点特征坐标记为y_cd，定义端面圆心点特征图像误差为：

Δy_c(t)＝y_c(t)-y_cd

其中y_c(t)为孔的端面圆心点特征的uv坐标，表示为[u_c,v_c]^T；y_cd为轴的端面圆心点特征的uv坐标，表示为

步骤S211：根据步骤S210的控制反馈信息计算符号矩阵，根据符号矩阵计算结果确定机器人的运动方向；

根据消失点特征图像误差作为控制反馈信息控制机器人末端的旋转运动，完成轴孔姿态对准，如图2所示，根据下式计算符号矩阵以确定运动方向：

其中，P₀为运动开始前孔的消失点特征，P_l(l＝1,2,…)为在第l个周期的孔的消失点特征，P_d为轴的消失点特征，图中

A为两个向量的交点；

flag_py,flag_pz为运动方向符号，至少由两个运动周期来确定，控制周期受相机帧数，图像算法处理速度，机器人硬件等影响，这里图像算法处理速度是限制控制周期的主要因素，因为使用机器人自身控制周期能达到100Hz,这里每个周期都需要有图像特征的反馈信息，受算法速度限制，因此实际周期最多有20Hz；

根据端面圆心点特征图像误差作为控制反馈信息控制机器人末端的平移运动，完成轴孔位置对准，如图3所示，根据下式计算符号矩阵以确定运动方向：

其中，C₀为运动开始前孔的端面圆心点特征，C_m(m＝1,2,…)为在第i个周期的孔的端面圆心点特征，C_d为轴的端面圆心点特征，图中

A₁为两个向量的交点，flag_cy,flag_cz为运动方向符号，至少由两个运动周期来确定；

由于消失点特征的坐标不会受机器人基坐标系O_b的xoy平面平移运动影响，flag_py,flag_pz在轴的消失点特征和孔的消失点特征的图像误差收敛至小于设定阈值之前都不会发生改变，但轴和孔的端面圆心点特征的运动会受到机器人末端旋转运动的影响，因此，flag_cy,flag_cz在轴和孔的端面圆心点特征的图像误差收敛至小于设定阈值之前会发生变化，因此在后续运动过程的运动符号可以根据下式来继续确定：

其中，τ为控制周期，

为孔的端面圆心点的运动速度；

上述运动符号矩阵的计算确保了图像误差朝着减小的方向下降，实现了直接由图像特征运动来控制机器人末端运动，无需计算图像雅可比矩阵。

步骤S212：控制机器人按照步骤S211的运动方向运动直到实时特征点与期望特征点的图像误差小于设定阈值；

根据消失点特征图像误差和端面圆心点特征图像误差，可以设计速度解耦控制器如下：

其中，

I为单位矩阵，v_c(t)＝(0,v_y,v_z,0,ω_y,ω_z)^T，Δy(t)＝(0,Δy_cv,Δy_cu,0,Δy_pu,Δy_pv)^T，flag为运动符号矩阵，为了实现解耦控制，取flag为对角矩阵，控制增益矩阵K为正定对角矩阵；

flag＝diag(0,flag_cy,flay_cz,0,flag_py,flag_pz)

K＝diag(0,K_c1,K_c2,0,K_p1,K_p2)

v_y,v_z,ω_y,ω_z为机器人末端在对应轴的速度和角速度分量，Δy_cu,Δy_cv,Δy_pu,Δy_pv分别为消失点特征和圆心点特征的图像误差在对应u，v轴的分量，K_c1,K_c2分别为速度分量v_y,v_z的控制增益；K_p1,K_p2分别为角速度分量ω_y,ω_z的控制增益。

手眼相机固定在机器人末端，因此可以根据相机速度得到机器人关节速度，关节速度控制器设计如下：

其中,

为机器人末端机械臂的雅可比矩阵的广义逆矩阵，速度控制器输出的速度指令控制机器人运动，直至消失点特征图像误差和端面圆心点特征图像误差均收敛至设定阈值。

步骤S22：消失点特征图像误差和端面圆心点特征图像误差均小于设定阈值，完成轴孔对准，否则重复步骤S21，直至：消失点特征图像误差和端面圆心点特征图像误差均小于设定阈值。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (7)

1.一种基于无标定视觉的机器人轴孔对准控制方法，其特征在于，包括：

步骤S1：图像处理，采集目标轴孔的图像，并提取相应的图像特征，所述图像特征包括轴和孔的端面圆心点特征和消失点特征；

所述孔的端面圆心点特征和消失点特征为实时特征点，所述轴的端面圆心点特征和消失点特征为期望特征点；

步骤S2：无标定视觉伺服控制对准，使用通过步骤S1获得的所述图像特征控制反馈，控制机器人运动到轴孔对准位置，完成轴孔对准任务；

所述步骤S2包括：

步骤S20：根据机器人运动与图像中特征点运动的映射关系，建立运动符号矩阵，获取期望特征点在图像中的位置，所述运动符号矩阵为：

flag＝diag(0,flag_cy,flag_cz,0,flag_py,flag_pz)

步骤S21：计算运动符号矩阵以及实时特征点与期望特征点的图像误差作为控制反馈信息，根据所述控制反馈信息控制机器人运动；

所述步骤S21包括：

步骤S210：计算实时特征点与期望特征点的图像误差作为控制反馈信息；步骤S211：根据步骤S210的控制反馈信息计算运动符号矩阵，根据运动符号矩阵计算结果确定机器人的运动方向；

根据消失点特征图像误差作为控制反馈信息控制机器人末端的旋转运动，完成轴孔姿态对准；

计算运动符号矩阵以确定运动方向：

其中，P₀为运动开始前孔的消失点特征，P_l(l＝1,2,…)为在第l个周期的孔的消失点特征，P_d为轴的消失点特征，A为

和

两个向量的交点，其中

轴,

轴；

根据端面圆心点特征图像误差作为控制反馈信息控制机器人末端的平移运动，完成轴孔位置对准；

计算运动符号矩阵以确定运动方向：

其中，C₀为运动开始前孔的端面圆心点特征，C_m(m＝1,2,…)为在第m个周期的孔的端面圆心点特征，C_d为轴的端面圆心点特征，A₁为

和

两个向量的交点，其中

轴,

轴；

步骤S212：控制机器人按照步骤S211的运动方向运动直到实时特征点与期望特征点的图像误差小于设定阈值；

根据消失点特征图像误差和端面圆心点特征图像误差，设计速度解耦控制器如下：

其中，

I为单位矩阵，v_c(t)＝(0,v_y,v_z,0,ω_y,ω_z)^T，Δy(t)＝(0,Δy_cv,Δy_cu,0,Δy_pu,Δy_pv)^T，为了实现解耦控制，取flag为对角矩阵，控制增益矩阵K为正定对角矩阵；

K＝diag(0,K_c1,K_c2,0,K_p1,K_p2)

v_y,v_z,ω_y,ω_z为机器人末端在对应轴的速度和角速度分量，Δy_cu,Δy_cv,Δy_pu,Δy_pv分别为消失点特征和圆心点特征的图像误差在对应u，v轴的分量，K_c1,K_c2分别为速度分量v_y,v_z的控制增益；K_p1,K_p2分别为角速度分量ω_y,ω_z的控制增益；

步骤S22：实时特征点与期望特征点的图像误差小于设定阈值，完成轴孔对准，否则重复步骤S21，直至实时特征点与期望特征点的图像误差小于设定阈值。

2.根据权利要求1所述的基于无标定视觉的机器人轴孔对准控制方法，其特征在于，所述步骤S1包括：

步骤S10：图像采集，工业相机获取目标轴孔图像；

步骤S11：图像预处理，根据步骤S10的所述目标轴孔图像获取感兴趣区域图像，对所述感兴趣区域图像进行预处理；

步骤S12：图像特征提取，根据经所述步骤S11预处理的图像，分别提取轴和孔的端面圆心点特征坐标、消失点特征坐标。

3.根据权利要求2所述的基于无标定视觉的机器人轴孔对准控制方法，其特征在于，所述步骤S11包括：

步骤S110：模板匹配，对步骤S10获取的目标轴孔图像进行模板匹配得到感兴趣区域图像；

步骤S111：图像灰度化，对感兴趣区域图像进行灰度变换得到灰度图；

步骤S112：图像增强，对所述灰度图使用图像增强方法得到增强图；

步骤S113：图像锐化，对所述增强图使用图像锐化方法得到锐化图；

步骤S114：图像阈值分割，对所述锐化图使用阈值分割方法得到分割图；

步骤S115：图像边缘提取，对所述分割图使用边缘提取算法提取边缘，并进行平滑，得到边缘提取图；

步骤S116：图像边缘曲率计算与聚类，沿所述边缘提取图的边缘计算每点的曲率并对曲率进行聚类，将边缘点分为端面圆边缘点和直线边缘点两类。

4.根据权利要求3所述的基于无标定视觉的机器人轴孔对准控制方法，其特征在于，所述步骤S12包括：

步骤S120：在经步骤S11处理的图像中提取轴和孔的端面圆心点特征；

步骤S121：在经步骤S11处理的图像中提取轴和孔外侧边界的两条平行直线的消失点特征。

5.根据权利要求4所述的基于无标定视觉的机器人轴孔对准控制方法，其特征在于，所述步骤S120包括：

根据步骤S116处理的图像的聚类结果能够得到端面圆的边缘点，端面圆边缘点坐标为(u_ci,v_ci)，其中，

i＝1,2,3,…,n；

u_ci表示第i个端面圆边缘点的u坐标；

v_ci表示第i个端面圆边缘点的v坐标；

使用最小二乘法对边缘点进行圆拟合，拟合得到的圆心在感兴趣区域图像中坐标为(u_c0,v_c0)，其中，

u_c0表示端面圆圆心的u坐标；

v_c0表示端面圆圆心的v坐标；

模板匹配后得到的感兴趣区域图像的左上角坐标为(u_roi,v_roi)，其中，

u_roi表示感兴趣区域图像左上角的u坐标；

v_roi表示感兴趣区域图像左上角的v坐标；

提取的端面圆心点特征在全局图像中的坐标为(u_c0+u_roi,v_c0+v_roi)；

分别提取轴的端面圆心点特征坐标和孔的端面圆心点特征坐标。

6.根据权利要求5所述的基于无标定视觉的机器人轴孔对准控制方法，其特征在于，所述步骤S121包括：

根据步骤S116处理的图像的聚类结果能够得到直线特征边缘上的点，直线边缘点坐标为(u_li,v_li)，其中，

i＝1,2,3,…,n；

u_li表示第i个直线边缘点的u坐标；

v_li表示第i个直线边缘点的v坐标；

使用霍夫直线变换进行直线拟合，能够得到外侧边界的两条平行直线的首末端点坐标在所述感兴趣区域图像中分别为

其中，

表示边界直线l₁首端点的u坐标；

表示边界直线l₁首端点的v坐标；

表示边界直线l₁末端点的u坐标；

表示边界直线l₁末端点的v坐标；

表示边界直线l₂首端点的u坐标；

表示边界直线l₂首端点的v坐标；

表示边界直线l₂末端点的u坐标；

表示边界直线l₂末端点的v坐标；

在全局图像中对应的点坐标分别为

将点坐标写成齐次坐标并按顺序形成矩阵M^l＝(m_ij)_3×4，根据下式能够计算出两条平行直线的消失点特征坐标：

其中，m_ij表示矩阵M^l的第i行，第j列的元素；

m_k为矩阵M^l的列向量，(k＝1,2,3,4)；

t_ij表示矩阵T的第i行，第j列的元素；

vp为消失点特征在全局图像中的坐标；

分别提取轴外侧边界的两条平行直线的消失点特征坐标和孔外侧边界的两条平行直线的消失点特征坐标。

7.根据权利要求1所述的基于无标定视觉的机器人轴孔对准控制方法，其特征在于，所述步骤S20中机器人运动与图像中特征点运动的映射关系为：

机器人带动相机在机器人基坐标系O_b的xoy平面平移运动对应轴的消失点特征和孔的消失点特征在图像坐标系中不运动；

机器人带动相机绕机器人基坐标系O_b的z轴和y轴旋转运动近似对应孔的消失点特征在图像坐标系中沿v轴和u轴平移运动；

机器人带动相机沿机器人基坐标系O_b的z轴和y轴平移运动近似对应孔的端面圆心点特征在图像坐标系中沿u轴和v轴平移运动。

Images