CN115446836A - 一种基于多种图像特征信息混合的视觉伺服方法 - Google Patents

Abstract

本发明涉及视觉伺服技术领域，具体涉及一种基于多种图像特征信息混合的视觉伺服方法，包括：S1、采集并处理图像：固定2D相机，使其工作视野能覆盖工件移动范围；打开相机设备采集图像并进行图像处理；S2、设置工件目标位姿参数：通过示教器控制机器人抓取工件移动到目标位置下，识别此状态下工件的图像特征参数信息；S3、构建深度映射比例因子，识别提取多种图像特征信息：多次移动示教器，获取图像空间特征信息与笛卡尔空间坐标的映射关系。本发明通过单个2D相机获取图像，并实现对多种不同图像特征信息的提取、处理以及融合，从而控制机械臂的移动，并到达指定位置，完成视觉伺服下的工件位姿调整任务，计算量小，且定位精度高，实时性好。

Description

一种基于多种图像特征信息混合的视觉伺服方法

技术领域

本发明涉及视觉伺服技术领域，具体涉及一种基于多种图像特征信息混合的视觉伺服方法。

背景技术

在工业领域中，视觉伺服技术应用广泛。针对不同的应用背景和任务，可以选择不同的视觉伺服方法。目前在上下料的工业机器人作业中，一般都是通过“eye-in-hand”(眼在手上)方式进行视觉伺服，一旦机器人末端加载一些作业工具，极易发生干涉或遮挡相机镜头的现象，导致伺服任务的异常。随着机械臂的不断发展，其应用场景大大增加，为了适应其移动的灵活性以及末端作业工具的普适性，将相机固定安装在机械臂外，这种“eye-to-hand”(眼在手外)模式在工业领域发挥了重要作用。

传统的视觉伺服控制中，一般分为基于位置和基于图像两种伺服控制方式。其中基于位置的视觉伺服(PBVS)方法是根据采集到的图像对目标物进行三维重建，得到目标空间位置和运动参数。此方法在工程中需要进行大量的标定测试以及调试工作，且其定位精度高度依赖标定精度、目标位姿估计精度，图像表面模式等。基于图像的视觉伺服(IBVS)方法是以图像中特征误差为控制信号，根据当前图像特征与期望特征差值计算控制量。其优势在于无需获取目标空间位置，计算延时少，标定误差的鲁棒性好，图像抗干扰能力强。但由于缺乏机械臂末端姿态信息，从而难以进一步提高其伺服能力。

如申请号为CN202010099117.5的中国发明专利公开了一种距离空间和图像特征空间融合的混合视觉伺服方法。该方法首先构建图像雅可比矩阵和深度雅可比矩阵，然后将所述雅可比矩阵融合，得到混合视觉伺服雅克比矩阵，再基于混合视觉伺服雅克比矩阵计算机器人的控制量进行移动。但该方法存在以下几个问题：(1)该方法需要额外使用三个测距传感器辅助获取深度信息并将其装置安装在机械臂末端，增加了工业上实际应用的局限性和复杂性。(2)该装置为“eye-in-hand”模式，无法满足工业领域中加载末端工具所需的“eye-to-hand”情况。(3)该方法处理信息量大、计算延时长，不适合生产节拍快的工业化应用情景。

因此，工业中需要能够使用单个2D相机进行“eye-to-hand”模式简单易操作的视觉伺服控制方法，减少添加新的传感器，并且在能够保证其控制精度的条件下，提高控制效率，缩短作业节拍。

发明内容

针对以上问题，本发明提供了一种基于多种图像特征信息混合的视觉伺服方法，该方法通过单个2D相机获取图像，并实现对多种不同图像特征信息的提取、处理以及融合，从而控制机械臂的移动，并到达指定位置，完成视觉伺服下的工件位姿调整任务，计算量小，且定位精度高，实时性好。

为了实现上述目的，本发明采用的技术方案如下：

一种基于多种图像特征信息混合的视觉伺服方法，包括以下步骤：

S1、采集并处理图像：固定2D相机，使其工作视野能覆盖工件移动范围；打开相机设备采集图像并进行图像处理；

S2、设置工件目标位姿参数：通过示教器控制机器人抓取工件移动到目标位置下，识别此状态下工件的图像特征参数信息；

S3、构建深度映射比例因子，识别提取多种图像特征信息：多次移动示教器，获取图像空间特征信息与笛卡尔空间坐标的映射关系；

S4、构建图像雅可比矩阵，将图像雅可比矩阵与深度映射信息融合，得到控制率：对机器人和相机进行标定，获得图像雅可比矩阵；

S5、基于上述控制率得到机器人的运动控制量，从而达到指定位置：结合图像雅可比矩阵，设计控制率算法，得到对应的各自由度控制量，进行伺服运动，到达目标位姿。

其中，视觉伺服控制基于6自由度的笛卡尔空间坐标系，分别为X、Y、Z、RX、RY、RZ；其中X、Y、Z三个方向是机器人在三维坐标系下的轴线方向，RX、RY、RZ三个方向是机器人末端关节分别绕X、Y、Z轴的旋转方向。

优选地，在步骤1中，工件的图像特征具体为：连通区域的面积值、几何重心点(u0，v0)、工件四个特征点(u1，v1)、(u2，v2)、(u3，v3)、(u4，v4)的像素坐标，以及四个特征点连线的长度，具体包括以下分步骤：

S11、开启相机设备，获取目标图像；

S12、将所述目标图像转为灰度图，并通过二值化处理，得到二值化图片；

S13、对所述二值化图片进行双边滤波，并进行图像可视化。

优选地，在步骤2中，具体包括以下分步骤：

S21、示教器调整机器人末端抓取工件到达目标位姿；

S22、通过相机获取标此时目标态下图像处理后的图像；

S23、根据BLOB连通区域检测算法，识别出此时工件的图像特征信息，包括连通区域几何重心P0(u0，v0)、面积大小s、四个角点特征像素坐标P1(u1，v1)、P2(u2，v2)、P3(u3，v3)、P4(u4，v4)以及其连线长度l1、l2、l3、l4，定义LRX＝l1-l3，LRY＝12-14。

优选地，在步骤3中，具体包括以下分步骤：

S31、保持其他轴线不动，在S21的基础上通过示教器沿RX、RY、Z轴各个方向分别进行若干次小幅度测试运动；

S32、每次运动后，通过相机采集当前位置下的工件图像信息，并提取其图像特征；

S33、每次运动后，记录沿Z轴移动ΔZi量时图像中工件连通区域面积值ΔS、沿RX轴转动ΔRX度时所对应的ΔLRX的值、沿RY轴转动ΔRY度时所对应的ΔLRY的值；

其中，ΔS、ΔLRX、ΔLRY是两次运动中，图像识别到的工件面积、对边之差的偏差；ΔZi、ΔRX、ΔRY是两次运动中工件在笛卡尔坐标系下的Z轴高度、RX轴转角、RY轴转角的偏差：

S34、将得到的数值通过曲线拟合，构建映射方程

得到对应特征的映射比例因子k_x、k_y、a_i、b_i、c_i；通过ΔLRX、ΔLRY的值调整RX、RY旋转角，使之与目标位姿平行，再参考所识别的面积值S来估计工件距离相机的深度值Zi。

优选地，在步骤4中，具体包括以下分步骤：

S41、根据特征点P1和P2所在直线确定末端相对于目标物体的期望姿态偏转角度，具体采用以下公式：

S42、基于特征点确定图像雅可比矩阵；特征点P0在相机坐标系下的移动速度即末端执行机构在相机坐标系下的移动速度为V＝[T_x T_y T_z ω_x ω_y ω_z]^T，其向量分别为沿着X、Y、Z轴方向的线速度和角速度量；再求得特征点P(u，v)在X、Y、Z轴方向上的速度：

得到平面点的速度与点在相机坐标系下的速度之间的相对关系，即基于图像的控制率为：

其中λ代表相机焦距，u代表图像像素的横坐标值，v代表图像像素的纵坐标值，z代表目标点在相机坐标系下的深度值，J₀为图像雅可比矩阵；

S43、再将S34所估计出来的深度信息值Zi带入图像雅可比矩阵J₀中进行融合，得到控制率：

其中J1即为深度图像雅可比矩阵。

优选地，在步骤5中，具体包括以下分步骤：

S51、基于图像像素误差，根据视觉特征e＝(s-s^*)返回向量形式的误差，依次表示X、Y、Z三个维度上的视觉特征误差；

S52、基于图像像素误差得到机械臂末端速度v_c＝λJ₁V_e，其中λ表示控制机械臂移动速度系数，e表示视觉特征误差向量，J₁V为控制率；

S53、机器人末端按照指定速度移动，直到图像像素误差小于设定值完成伺服任务。

本发明有益效果：

1、本发明通过测试图像中工件对边长度差值，得到拟合线性直线，构建映射方程，计算其特征的映射比例因子，得到RX、RY轴旋转量；利用面积与相机到工件的笛卡尔空间距离对应数据，拟合二次函数曲线，构建映射方程，计算其特征的映射比例因子，得到深度映射值Zi；深度映射信息与图像雅可比矩阵进行融合，得到混合图像雅可比矩阵，从而进行机器人末端控制；从而实现利用单个2D工业相机完成六自由度的工件定位视觉伺服任务。

2、本发明通过单个2D相机获取图像，并实现对多种不同图像特征信息的提取、处理以及融合，从而控制机械臂的移动，并到达指定位置，完成视觉伺服下的工件位姿调整任务，计算量小，且定位精度高，实时性好。

附图说明

图1为本发明的流程图；

图2为本发明在相机视角下工件目标位姿的图像示意图；

图3为本发明视觉伺服任务中机器人及其末端工件和与相机位置关系图；

图4为本发明平面空间中旋转角度示意图；

图5为本发明视觉伺服任务仿真图。

具体实施方式

下面结合附图将对本发明实施例中的技术方案进行清楚、完整地描述，以使本领域的技术人员能够更好的理解本发明的优点和特征，从而对本发明的保护范围做出更为清楚的界定。本发明所描述的实施例仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1-图5，一种基于多种图像特征信息混合的视觉伺服方法，包括以下步骤：

S1、采集并处理图像：固定2D相机，使其工作视野能覆盖工件移动范围，打开相机设备采集图像并进行图像处理。

其中，视觉伺服控制基于6自由度的笛卡尔空间坐标系，分别为X、Y、Z、RX、RY、RZ。其中X、Y、Z三个方向是机器人在三维坐标系下的轴线方向，RX、RY、RZ三个方向是机器人末端关节分别绕X、Y、Z轴的旋转方向。

在步骤S1中，工件的图像特征具体为：连通区域的面积值、几何重心点(u0，v0)、工件四个特征点(u1，v1)、(u2，v2)、(u3，v3)、(u4，v4)的像素坐标，以及四个特征点连线的长度。具体包括以下分步骤：

S11、开启相机设备，获取目标图像；

S12、将所述目标图像转为灰度图，并通过二值化处理，得到二值化图片；

S13、对所述二值化图片进行双边滤波，并进行图像可视化。

S2、设置工件目标位姿参数：通过示教器控制机器人抓取工件移动到目标位置下，识别此状态下工件的图像特征参数信息。具体包括以下分步骤：

S21、示教器调整机器人末端抓取工件到达目标位姿；

S22、通过相机获取标此时目标态下图像处理后的图像；

S23、根据BLOB连通区域检测算法，识别出此时工件的图像特征信息，包括连通区域几何重心P0(u0，v0)、面积大小S、四个角点特征像素坐标P1(u1，v1)、P2(u2，v2)、P3(u3，v3)、P4(u4，v4)以及其连线长度l1、l2、l3、l4；定义LRX＝l1-13，LRY＝12-14，如图2所示。

S3、构建深度映射比例因子，识别提取多种图像特征信息：多次移动示教器，获取图像空间特征信息与笛卡尔空间坐标的映射关系。具体包括以下分步骤：

S31、保持其他轴线不动，在S21的基础上通过示教器沿RX、RY、Z轴各个方向分别进行10次小幅度测试运动；

S32、每次运动后，通过相机采集当前位置下的工件图像信息，并提取其图像特征；

S33、每次运动后，记录沿Z轴移动ΔZi量时图像中工件连通区域面积值ΔS、沿RX轴转动ΔRX度时所对应的ΔLRX的值、沿RY轴转动ΔRY度时所对应的ΔLRY的值；

其中，ΔS、ΔLRX、ΔLRY是两次运动中，图像识别到的工件面积、对边之差的偏差；ΔZi、ΔRX、ΔRY是两次运动中工件在笛卡尔坐标系下的Z轴高度、RX轴转角、RY轴转角的偏差；

S34、将得到的数值通过曲线拟合，构建方程

得到对应特征的映射比例因子k_x、k_y、a_i、b_i、c_i。其中RX、RY旋转角方程可用线性函数拟合，深度值估计函数可用二次函数拟合。通过ΔLRX、ΔLRY的值调整RX、RY旋转角，使之与目标位姿平行，再参考所识别的面积值S来估计工件距离相机的深度值Zi；

当进行RX、RY旋转角调整时，需要先将连通区域几何重心点P0(u0，v0)根据目标u0、v0的像素值运动到指定位置，再调整RX、RY角度旋转量。

S4、构建图像雅可比矩阵，将所述图像雅可比矩阵与深度映射信息融合，得到控制率：对机器人和相机进行标定，获得图像雅可比矩阵。具体包括以下分步骤：

S41、根据特征点P1和P2所在直线确定末端相对于目标物体的期望姿态偏转角度，如图4所示。具体采用以下公式：

S42、基于特征点确定图像雅可比矩阵；特征点P0在相机坐标系下的移动速度即末端执行机构在相机坐标系下的移动速度为V＝[T_x T_y T_z ω_xω_y ω_z]^T，其向量分别为沿着X、Y、Z轴方向的线速度和角速度量；再求得特征点P(u，v)在X、Y、Z轴方向上的速度：

得到平面点的速度与点在相机坐标系下的速度之间的相对关系，即基于图像的控制率为：

其中λ代表相机焦距，u代表图像像素的横坐标值，v代表图像像素的纵坐标值，z代表目标点在相机坐标系下的深度值，J₀为图像雅可比矩阵；

S43、再将S34所估计出来的深度信息值Zi带入图像雅可比矩阵J₀中进行融合，得到控制率：

其中J₁即为深度图像雅可比矩阵。

S5、基于控制率得到机器人的运动控制量，从而达到指定位置：结合图像雅可比矩阵，设计控制率算法，得到对应的各自由度控制量，进行伺服运动，到达目标位姿。具体包括以下分步骤：

S51、基于图像像素误差，根据视觉特征e＝(s--s^*)返回向量形式的误差，依次表示X、Y、Z三个维度上的视觉特征误差；

S52、基于所述图像像素误差得到机械臂末端速度v_c＝λJ₁V_e，其中λ表示控制机械臂移动速度系数，e表示视觉特征误差向量，J₁V为控制率；

S53、机器人末端按照指定速度移动，直到图像像素误差小于设定值完成伺服任务，如图5所示；

当完成S5步骤之后，再从S3步骤开始判断是否需要再次调整RX、RY旋转角，依次进行伺服调整，直到机器人六个自由的位置均在设定误差范围内，则跳出循环，完成视觉伺服任务。

综上所述，本发明基于深度映射及图像雅可比矩阵混合的六自由度视觉伺服方法，使用单个2D工业相机完成“eye-to-hand”模式下的视觉伺服控制任务，不需要增加其他传感器，并且在能够保证其控制精度的条件下，实现基于图像的简单控制，提高控制效率，缩短作业节拍。通过对多种不同图像特征信息的提取、处理以及融合，从而控制机械臂的移动，并到达指定位置，完成视觉伺服下的工件位姿调整任务，计算量小，且定位精度高，实时性好。

以上对本发明的实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。

Claims (6)

1.一种基于多种图像特征信息混合的视觉伺服方法，其特征在于，包括以下步骤：

S1、采集并处理图像：固定2D相机，使其工作视野能覆盖工件移动范围；打开相机设备采集图像并进行图像处理；

S2、设置工件目标位姿参数：通过示教器控制机器人抓取工件移动到目标位置下，识别此状态下工件的图像特征参数信息；

S3、构建深度映射比例因子，识别提取多种图像特征信息：多次移动示教器，获取图像空间特征信息与笛卡尔空间坐标的映射关系；

S4、构建图像雅可比矩阵，将图像雅可比矩阵与深度映射信息融合，得到控制率：对机器人和相机进行标定，获得图像雅可比矩阵；

S5、基于上述控制率得到机器人的运动控制量，从而达到指定位置：结合图像雅可比矩阵，设计控制率算法，得到对应的各自由度控制量，进行伺服运动，到达目标位姿；

其中，视觉伺服控制基于6自由度的笛卡尔空间坐标系，分别为X、Y、Z、RX、RY、RZ；其中X、Y、Z三个方向是机器人在三维坐标系下的轴线方向，RX、RY、RZ三个方向是机器人末端关节分别绕X、Y、Z轴的旋转方向。

2.根据权利要求1所述的一种基于多种图像特征信息混合的视觉伺服方法，其特征在于，在步骤1中，工件的图像特征具体为：连通区域的面积值、几何重心点(u0，v0)、工件四个特征点(u1，v1)、(u2，v2)、(u3，v3)、(u4，v4)的像素坐标，以及四个特征点连线的长度，具体包括以下分步骤：

S11、开启相机设备，获取目标图像；

S12、将所述目标图像转为灰度图，并通过二值化处理，得到二值化图片；

S13、对所述二值化图片进行双边滤波，并进行图像可视化。

3.根据权利要求2所述的一种基于多种图像特征信息混合的视觉伺服方法，其特征在于，在步骤2中，具体包括以下分步骤：

S21、示教器调整机器人末端抓取工件到达目标位姿；

S22、通过相机获取标此时目标态下图像处理后的图像；

S23、根据BLOB连通区域检测算法，识别出此时工件的图像特征信息，包括连通区域几何重心P0(u0，v0)、面积大小S、四个角点特征像素坐标P1(u1，v1)、P2(u2，v2)、P3(u3，v3)、P4(u4，v4)以及其连线长度l1、l2、l3、l4，定义LRX＝l1-l3，LRY＝l2-l4。

4.根据权利要求3所述的一种基于多种图像特征信息混合的视觉伺服方法，其特征在于，在步骤3中，具体包括以下分步骤：

S31、保持其他轴线不动，在S21的基础上通过示教器沿RX、RY、Z轴各个方向分别进行若干次小幅度测试运动；

S32、每次运动后，通过相机采集当前位置下的工件图像信息，并提取其图像特征；

S33、每次运动后，记录沿Z轴移动ΔZi量时图像中工件连通区域面积值ΔS、沿RX轴转动ΔRX度时所对应的ΔLRX的值、沿RY轴转动ΔRY度时所对应的ΔLRY的值；

其中，ΔS、ΔLRX、ΔLRY是两次运动中，图像识别到的工件面积、对边之差的偏差；ΔZi、ΔRX、ΔRY是两次运动中工件在笛卡尔坐标系下的Z轴高度、RX轴转角、RY轴转角的偏差；

S34、将得到的数值通过曲线拟合，构建映射方程

得到对应特征的映射比例因子k_x、k_y、a_i、b_i、c_i；通过ΔLRX、ΔLRY的值调整RX、RY旋转角，使之与目标位姿平行，再参考所识别的面积值S来估计工件距离相机的深度值Zi。

5.根据权利要求4所述的一种基于多种图像特征信息混合的视觉伺服方法，其特征在于，在步骤4中，具体包括以下分步骤：

S41、根据特征点P1和P2所在直线确定末端相对于目标物体的期望姿态偏转角度，具体采用以下公式：

S42、基于特征点确定图像雅可比矩阵；特征点P0在相机坐标系下的移动速度即末端执行机构在相机坐标系下的移动速度为V＝[T_x T_y T_z ω_x ω_y ω_z]^T，其向量分别为沿着X、Y、Z轴方向的线速度和角速度量；再求得特征点P(u，v)在X、Y、Z轴方向上的速度：

得到平面点的速度与点在相机坐标系下的速度之间的相对关系，即基于图像的控制率为：

其中λ代表相机焦距，u代表图像像素的横坐标值，v代表图像像素的纵坐标值，z代表目标点在相机坐标系下的深度值，J₀为图像雅可比矩阵；

S43、再将S34所估计出来的深度信息值Zi带入图像雅可比矩阵J₀中进行融合，得到控制率：

其中J₁即为深度图像雅可比矩阵。

6.根据权利要求5所述的一种基于多种图像特征信息混合的视觉伺服方法，其特征在于，在步骤5中，具体包括以下分步骤：

S51、基于图像像素误差，根据视觉特征e＝(s-s^*)返回向量形式的误差，依次表示X、Y、Z三个维度上的视觉特征误差；

S52、基于图像像素误差得到机械臂末端速度v_c＝λJ₁V_e，其中λ表示控制机械臂移动速度系数，e表示视觉特征误差向量，J₁V为控制率；

S53、机器人末端按照指定速度移动，直到图像像素误差小于设定值完成伺服任务。

Images