CN115773837A - 一种基于机器视觉的柔性机械手抓力测量方法及装置 - Google Patents

Abstract

本发明公开了一种基于机器视觉的柔性机械手抓力测量方法及装置，包括：选取具有弹性的柔性材料并确定该柔性材料的弹性系数；对采集的图像进行预处理同时提取柔性材料形变后的轮廓图；提取轮廓图上的像素点，将像素点转换为真实空间点坐标，计算柔性材料的形变量；根据形变量和弹性系数计算机械手的抓力。上述方法是一种基于图像的机器学习测量方法，具有较高稳定性，不受光照强度等环境因素影响，测量速度快，并采用端到端的重建方式，提高了抓力测量的效率。

Description

一种基于机器视觉的柔性机械手抓力测量方法及装置

技术领域

本发明涉及精密测量技术领域，特别涉及一种利用机器视觉来实现柔性机械手抓力测量的方法及装置。

背景技术

现有测力器大多采用传感器测力的方法来感知物体的物理特性(如质量，转动惯量，表面摩擦力，压力等)，进而完成一些常规控制任务。传感器本身具有以下缺点：(1)有较大的非线性、输出信号较弱；(2)随着时间和环境的变化，构成传感器的材料和器件性能会发生变化，长期监测，会导致无法取得真实有效的数据；(3)易受到电场、磁场、辐射、气压、声压、气流影响。另外，在使用传感器测力时，由于传感器会受到环境因素影响，导致测量精度较低，误差较大。基于机器视觉的抓力测量的方法可以避免极端环境因素的影响，具有快速、准确、适用范围广的特点。因此，本发明通过机器视觉来实现对柔性抓手抓力大小的快速测量。

发明内容

本发明旨在提供一种基于机器视觉的柔性机械手抓力测量方法及装置，该方法通过机器视觉技术计算柔性物体表面发生的细微形变量，从而确定抓力的大小。

本发明提出一种基于机器视觉的柔性机械手抓力测量方法及装置，具体描述如下：

步骤1：选取具有弹性的柔性材料，并测量出该材料的弹性系数k。将该材料固定在柔性机械抓手的手指关节末端，并记录柔性材料的初始厚度d；

步骤2：对摄像机进行手眼标定，获取相机的相关参数；

步骤3：柔性机械抓手抓取物体，手指关节末端上的柔性材料发生形变，视觉系统控制摄像机进行图像采集；

步骤4：对图像进行预处理，提取柔性材料形变后的轮廓图；

步骤5：根据步骤4中得到的轮廓图计算出柔性材料发生形变后的厚度d′,根据步骤1中记录的初始厚度d计算出形变量Δx,计算公式为：

Δx＝|d-d′| (1)

步骤6：根据步骤5中得到的形变量Δx和步骤1中得到的弹性系数k计算出抓力F，公式为：

F＝-k×Δx (2)

进一步地，所述步骤4中具体操作步骤如下：

步骤4.1：视觉系统读取一张RGB图像I；

步骤4.2：将步骤4.1中的RGB图像I转换成单通道灰度图像GRAY；

步骤4.3：将步骤4.2中的灰度图像GRAY进行归一化处理，即

步骤4.4：将步骤4.3中归一化处理后的灰度图像进行高斯滤波处理，公式为：

步骤4.5：从步骤4.3中的归一化二值图像GRAY′提取柔性机械手末端柔性材料的轮廓。

进一步地，所述步骤5中计算柔性材料发生形变后的厚度d′的具体操作如下：

步骤5.1：根据步骤4提取的轮廓，提取柔性材料轮廓像素点；

步骤5.2：根据步骤1中的相机参数将像素点还原成真实场景中的世界坐标点。

步骤5.3：分别计算相对世界坐标点之间的距离，并取最小距离得到材料形变后的厚度d′；

步骤5.4：根据步骤1中记录的初始厚度d计算出形变量Δx。

一种基于机器视觉的柔性机械抓手抓力测量方法及装置包括视觉系统和装置本体。其中，如图2所示，视觉系统通过连接板与连接杆相连，连接杆与机械臂A位置连接，该连接杆可伸缩，并且能够360°旋转，以帮助摄像机找到合适的拍摄位置。其中，所述视觉系统包括连接板、摄像机(带镜头)、环形光源，处理器和寄存器，摄像机通过连接板与连接杆相连接，环形光圈安装在镜头外周，处理器用于从采集的图像信息中计算柔性物体表面产生的形变量，寄存器用于存储摄像机采集的图像。

本发明具有以下有益效果：

本发明利用机器视觉技术计算出柔性物体的细微形变，能够快速、准确地测量机械手抓力。此方法非常高效，不需要额外的测量仪器辅助。同时，此方法能够环境影响因素降到最低。此外，视觉系统采用了先进的图像预处理技术能够进一步提升测量精度。

附图说明

图1为本发明整体流程图；

图2为本发明机械臂装置结构图；

图3为本发明视觉系统结构图；

图4为图像预处理流程图

图5位本发明计算柔性材料形变厚度d′示意图；

具体实施方式

下面根据附图详细描述本发明，本发明的目的和效果将变得更加明确，应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。

参见图1，其为本发明提供的一种基于机器视觉的柔性机械手抓力测量方法流程图，具体步骤如下：

步骤1：选取具有弹性的柔性材料，将该材料固定在柔性机械抓手的手指关节末端，如图2中1-4。测量出该材料的弹性系数k，测量并记录柔性材料的初始厚度d；

步骤2：进行手眼标定。将标定板固定于机械手上，摄像机1-3对标定板从不同角度进行图像采集。通过matlab软件中的标定工具包计算出该摄像机的内参数矩阵和外参数矩阵；

步骤3：机械臂控制柔性抓手抓取物体，此时，手指关节末端上的柔性材料会发生形变，视觉系统控制摄像机对抓取物体的柔性机械手进行图像采集；

步骤4：如图4所示，对图像进行预处理，提取柔性材料形变后的轮廓图。下面作进一步详细描述：

步骤4.1：视觉系统从2-1中的寄存器中读取一张RGB三通道图像；

步骤4.2：将步骤4.1中的RGB图像I转换成单通道灰度图像GRAY；

步骤4.3：将步骤4.2中的灰度图像GRAY进行归一化处理，公式为：

步骤4.4：对步骤4.3中的灰度图像GRAY′进行高斯滤波处理，公式为

步骤4.5：从步骤4.4中的归一化二值图像中提取柔性机械手末端柔性材料的轮廓。

步骤5：根据步骤4中得到的轮廓图计算出柔性材料发生形变后的厚度d′,根据步骤1中记录的初始厚度d计算出形变量Δx。

如图5所示，下面对步骤5作进一步详细描述：

步骤5.1：根据步骤4提取的轮廓，获取柔性材料轮廓像素点；

步骤5.2：根据步骤1中的相机参数将像素点还原成真实场景中的世界坐标点。

步骤5.3：分别计算相对世界坐标点之间的距离，获得一系列距离点集d_i(i＝1,…,n)，取最小距离得到材料形变后的厚度d′，公式为：

d′＝min(d_i) (1)

步骤5.4：根据步骤1中记录的初始厚度d计算出形变量Δx。

Δx＝|d-d′| (2)

步骤6：根据步骤5中得到的形变量Δx和步骤1中得到的弹性系数k计算出抓力F，公式为：

F＝-k×Δx (1)

一种基于机器视觉的柔性机械手抓力测量方法及装置，如图2所示，包括连接于机械手上的机械臂1-1、连接杆1-2与机械臂A处相连、视觉系统1-3、固定于机械抓手末端的柔性材料1-4。其中，连接杆1-2可连接杆可在垂直于机械手的两个手抓所在平面的平面内旋转并且可伸缩，调整连接杆1-2可使相机在某一合理位置，完整拍出柔性材料产生的形变。其中，所述的视觉系统包括控制中心2-1、连接板2-2、摄像机2-3、环形光源2-4和摄像头2-5。控制中心2-1包括处理器和寄存器，处理器用于从采集的图像信息中计算柔性物体表面产生的形变量，寄存器用于存储摄像机采集的图像；摄像机2-3通过连接板与连接杆1-2连接，环形光圈2-5设置在摄像机镜头2-4下端，镜头安装在摄像机下部，该视觉系统用于拍摄抓取物体时物体表面发生的形变，并对图像信息进行处理，同时计算柔性材料产生的形变。

在伞菌自动化采摘作业中，尤其在表面质地较软蘑菇的采摘作业，以双孢菇自动化采摘作业为例：由于机械手在采摘过程中的抓力大小单一且无法动态改变，因此，当机械抓手将双孢菇从菇床上提拉出来时，极易造成双孢菇表面存在抓痕或者表面损坏的情况。本发明中的装置在通过机械手抓取大量双孢菇时，能在保证不损坏菇体表面的情况下测出抓力并记录下来，再对记录的抓力数据进行处理同时确定一合适的抓力数值，接着将该数值反馈给机械抓手控制系统，控制系统做出调整以确保抓手在不损坏双孢菇表面的情况下实现抓取。

由于测力传感器的测量精度容易受到极端环境(如低温、高海拔)因素影响，本发明所述方法及装置可以长时间使用且具有稳定性，且在相对极端环境下可以正常使用且不影响精度。

本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管对发明进行了详细的说明，对本领域的技术人员来说，其依然可以对实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均包含在发明保护范围之内。

Claims (6)

1.一种基于机器视觉的柔性机械手抓力测量方法，其特征在于，所述重建方法包括如下步骤：

步骤1：选取具有弹性的柔性材料，并测量出该材料的弹性系数k，将该材料固定在柔性机械抓手的手指关节末端，并记录柔性材料的初始厚度d；

步骤2：对摄像机进行手眼标定，获取相机的相关参数；

步骤3：柔性机械抓手抓取物体，手指关节末端上的柔性材料发生形变，视觉系统控制摄像机进行图像采集；

步骤4：对图像进行预处理，提取柔性材料形变后的轮廓图；

步骤5：根据步骤4中得到的轮廓图计算出柔性材料发生形变后的厚度d′,根据步骤1中记录的初始厚度d计算出形变量Δx,计算公式为：

Δx＝|d-d′| (1)

步骤6：根据步骤5中得到的形变量Δx和步骤1中得到的弹性系数k计算出抓力F，公式为：

F＝-k×Δx (2)。

2.根据权利要求1所述的一种基于机器视觉的柔性机械手抓力测量方法，其特征在于，所述步骤4中对图像进行预处理从而提取柔性材料发生形变后的轮廓图，具体操作步骤如下：

步骤4.1：视觉系统读取一张RGB图像I；

步骤4.2：将步骤4.1中的RGB图像I转换成单通道灰度图像GRAY；

步骤4.3：将步骤4.2中的灰度图像GRAY进行归一化处理，即

步骤4.4：将步骤4.3中归一化处理后的灰度图像进行高斯滤波处理，公式为：

步骤4.5：从步骤4.3中的归一化二值图像GRAY′提取柔性机械手末端柔性材料的轮廓。

3.根据权利要求1所述的一种基于机器视觉的柔性机械手抓力测量方法，其特征在于，所述步骤5中根据柔性材料的弹性系数k和形变量Δx计算机械手抓力，具体操作步骤如下：

步骤5.1：根据步骤4提取的轮廓，获取柔性材料轮廓像素点；

步骤5.2：根据步骤1中的相机参数将像素点还原成真实场景中的世界坐标点。

步骤5.3：分别计算相对世界坐标点之间的距离，获得一系列距离点集d_i(i＝1,…,n)，取最小距离得到材料形变后的厚度d′，公式为：

d′＝min(d_i) (1)

步骤5.4：根据步骤1中记录的初始厚度d计算出形变量Δx

Δx＝|d-d′| (2)。

4.一种基于机器视觉的柔性机械手抓力测量装置，其特征在于，包括连接于机械手上的机械臂、连接杆与机械臂A处相连、视觉系统、固定于机械抓手末端的柔性材料，其中，连接杆可在垂直于机械手的两个手抓所在平面的平面内旋转并且可自由伸缩变换长度，调整连接杆位置，完整拍出被抓柔性材料产生的形变。

5.根据权利要求4所述的基于机器视觉的柔性机械手抓力测量装置，其特征在于，所述的视觉系统包括控制中心、连接板、摄像机、环形光源和摄像头。

6.根据权利要求5所述的基于机器视觉的柔性机械手抓力测量装置，其特征在于，控制中心包括处理器和寄存器，处理器用于从采集的图像信息中计算柔性物体表面产生的形变量，寄存器用于存储摄像机采集的图像；摄像机通过连接板与连接杆连接，环形光圈设置在摄像机镜头下端，镜头安装在摄像机下部，该视觉系统用于拍摄抓取物体时物体表面发生的形变，并对图像信息进行处理，同时计算柔性材料产生的形变。

Images