CN111360851A - 一种融合触觉和视觉的机器人混合伺服控制装置及方法 - Google Patents

Abstract

本发明公开一种融合触觉和视觉的机器人混合伺服控制装置及方法，所述装置包括：RGBD相机、图像处理模块和伺服控制器；RGBD相机分别采集目标物体周围的环境信息和目标物体到深度摄像头的距离；图像处理模块采用快速SIFT特征提取模板匹配方法，基于所述模板图像将所述环境图像中的各点和所述深度图像中的各点一一对应，实现对目标物体进行定位，获得实际的目标物体像素坐标和目标物体深度；伺服控制器根据实际的目标物体像素坐标和目标物体深度确定机器人各关节期望输出角速度，并根据所述机器人各关节期望输出角速度控制所述机器人运动。本发明融合触觉和视觉实现对机器人的控制，提高了对机器人控制的准确性和安全性。

Description

一种融合触觉和视觉的机器人混合伺服控制装置及方法

技术领域

本发明涉及机器人自动控制技术领域，特别是涉及一种融合触觉和视觉的机器人混合伺服控制装置及方法。

背景技术

目前机器人产业飞速发展，机器人在各种场景、环境下的应用日渐广泛,对机器人的功能、安全性以及操作精确度提出了更高的要求，如制造业自动化生产、检测故障，或与人交互的教育、娱乐场景中，机器人需要限制产生的力保证动作的安全性，同时保证运动的准确性。现有的机器人控制方法通常只考虑其中之一，并没有一种同时兼顾二者的控制方法。

发明内容

基于此，本发明的目的是提供一种融合触觉和视觉的机器人混合伺服控制装置及方法，以提高对机器人控制的准确性和安全性。

为实现上述目的，本发明提供了一种融合触觉和视觉的机器人混合伺服控制装置，所述装置包括：

RGBD相机，设置在机器人的末端，所述RGBD相机包括RGB摄像头和深度摄像头，所述RGB摄像头用于采集目标物体周围的环境信息，获得环境图像；所述深度摄像头用于采集目标物体到深度摄像头的距离，获得深度图像；

图像处理模块，与所述RGBD相机连接，用于采用快速SIFT特征提取模板匹配方法，基于所述模板图像将所述环境图像中的各点和所述深度图像中的各点一一对应，实现对目标物体进行定位，获得实际的目标物体像素坐标和目标物体深度；

伺服控制器，与所述图像处理模块连接，用于根据实际的目标物体像素坐标和目标物体深度确定机器人各关节期望输出角速度，并根据所述机器人各关节期望输出角速度控制所述机器人运动。

可选的，所述图像处理模块包括：

标记单元，用于将所述模板图像中的目标物体用矩形框标记；

匹配单元，基于所述模板图像中的矩形框与所述环境图像进行尺度空间特征点匹配，将所述模板图像上矩形框的中心点映射到所述环境图像中，获得的图像像素坐标记为实际的目标物体像素坐标；所述图像像素坐标处的深度记为实际的目标物体深度。

可选的，所述伺服控制器包括：

比较模块，用于将期望位置的目标物体像素坐标与实际的目标物体像素坐标比较，得到像素坐标误差，将期望位置的目标物体深度与实际的目标物体深度比较，得到像深度误差；

各关节的期望输出角速度确定模块，用于将所述像素坐标误差与所述深度误差左乘图像雅克比矩阵的逆，得到机械臂末端各关节的期望输出角速度。

可选的，所述装置还包括：

力检测模块，用于检测机器人运动时机器人末端分别在x、y、z三个方向的力与力矩；

所述伺服控制器还包括：

多重判断模块，与所述力检测模块连接，用于判断所述力或力矩是否大于设定阈值；如果所述力或力矩大于设定阈值，则输出错误信息，控制所述机器人停止运动或进入碰撞处理程序；否则，判断所述机器人是否到达目标物体期望位置处；如果没有达到目标物体期望位置处，则重新确定目标物体的像素坐标和深度；如果所述机器人到达目标物体期望位置处，则判断所述力或力矩是否大于任务阈值；如果所述力或力矩大于任务阈值，则控制所述机器人停止运动；否则，重新判断所述力或力矩是否大于任务阈值。

可选的，所述装置还包括：

角速度传感器，用于检测所述机器人各关节的实际输出角速度；

关节控制器，分别与所述伺服控制器和所述角速度传感器连接，用于将机械臂末端各关节的期望输出角速度左乘机器人雅克比矩阵的逆得到各关节的目标角速度；将各关节的目标角速度与实际输出角速度比较，获得关节角速度误差；根据所述关节角速度误差控制所述机器人运动。

可选的，所述装置还包括：

放大器，与所述关节控制器连接，用于放大关节角速度误差，以使根据所述放大的关节角速度误差控制所述机器人运动。

本发明还提供一种融合触觉和视觉的机器人混合伺服控制方法，所述方法包括：

步骤S1：利用RGB摄像头获取目标物体周围的环境信息，获得环境图像；

步骤S2：利用深度摄像头获取目标物体到深度摄像头的距离，获得深度图像；

步骤S3：采用快速SIFT特征提取模板匹配方法，基于所述模板图像将所述环境图像中的各点和所述深度图像中的各点一一对应，实现对目标物体进行定位，获得实际的目标物体像素坐标和目标物体深度；

步骤S4：根据所述实际的目标物体像素坐标和目标物体深度确定机器人各关节期望输出角速度；

步骤S5：根据所述机器人各关节期望输出角速度控制所述机器人运动。

可选的，所述步骤S3，具体包括：

步骤S31：将所述模板图像中的目标物体用矩形框标记；

步骤S32：基于所述模板图像中的矩形框与所述环境图像进行尺度空间特征点匹配，将所述模板图像上矩形框的中心点映射到所述环境图像中，获得的图像像素坐标记为实际的目标物体像素坐标；所述图像像素坐标处的深度记为实际的目标物体深度。

可选的，所述步骤S4，具体包括：

步骤S41：将期望位置的目标物体像素坐标与实际的目标物体像素坐标比较，得到像素坐标误差，将期望位置的目标物体深度与实际的目标物体深度比较，得到像深度误差；

步骤S42：将所述像素坐标误差与所述深度误差左乘图像雅克比矩阵的逆，得到机械臂末端各关节的期望输出角速度。

可选的，所述方法还包括：

步骤S6：获取机器人运动时机器人末端分别在x、y、z三个方向的力与力矩；

步骤S7：判断所述力或力矩是否大于设定阈值；如果所述力或力矩大于设定阈值，则输出错误信息，控制所述机器人停止运动或进入碰撞处理程序；否则，执行步骤S8；

步骤S8：判断所述机器人是否到达目标物体期望位置处；如果没有达到目标物体期望位置处，则返回“步骤S3”；如果所述机器人到达目标物体期望位置处，则执行步骤S9；

步骤S9：判断所述力或力矩是否大于任务阈值；如果所述力或力矩大于任务阈值，则控制所述机器人停止运动；否则，重新返回“步骤S9”。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明公开一种融合触觉和视觉的机器人混合伺服控制装置及方法，所述装置包括：RGBD相机、图像处理模块和伺服控制器；RGBD相机分别采集目标物体周围的环境信息和目标物体到深度摄像头的距离；图像处理模块采用快速SIFT特征提取模板匹配方法，基于所述模板图像将所述环境图像中的各点和所述深度图像中的各点一一对应，实现对目标物体进行定位，获得实际的目标物体像素坐标和目标物体深度；伺服控制器根据实际的目标物体像素坐标和目标物体深度确定机器人各关节期望输出角速度，并根据所述机器人各关节期望输出角速度控制所述机器人运动。本发明融合触觉和视觉实现对机器人的控制，提高了对机器人控制的准确性和安全性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例融合触觉和视觉的机器人混合伺服控制装置结构图；

图2为本发明实施例融合触觉和视觉的机器人混合伺服控制方法流程图；

其中，1、RGBD相机，2、图像处理模块，3、伺服控制器，4、机器人，5、力检测模块，6、角速度传感器，7、关节控制器。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种融合触觉和视觉的机器人混合伺服控制装置及方法，以提高对机器人控制的准确性和安全性。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明实施例融合触觉和视觉的机器人混合伺服控制装置结构图，如图1所示，本发明公开了一种融合触觉和视觉的机器人混合伺服控制装置，所述装置包括：RGBD相机1、图像处理模块2和伺服控制器3；RGBD相机1，设置在机器人4的末端，所述RGBD相机1包括RGB摄像头和深度摄像头；所述图像处理模块2与所述RGBD相机1连接，所述伺服控制器3与所述图像处理模块2连接。

所述RGB摄像头用于采集目标物体周围的环境信息，获得环境图像；所述深度摄像头用于采集目标物体到深度摄像头的距离，获得深度图像；所述图像处理模块2，用于采用快速SIFT特征提取模板匹配方法，基于所述模板图像将所述环境图像中的各点和所述深度图像中的各点一一对应，实现对目标物体进行定位，获得实际的目标物体像素坐标和目标物体深度；所述伺服控制器3用于根据实际的目标物体像素坐标和目标物体深度确定机器人4各关节期望输出角速度，并根据所述机器人4各关节期望输出角速度控制所述机器人4运动。所述模板图像为预先在实际工作环境下获取的目标物体的图像；在利用相机拍摄目标物体获得所述模板图像时，要保证模板图像中目标物体拍摄完整，相机姿态与运动时机器人4上相机姿态大致相同即可(该方法对模板图像与实际图像的相似性有较强的鲁棒性)。

作为一种实施方式，本发明所述图像处理模块2包括：标记单元和匹配单元；所述标记单元与所述匹配单元连接；所述标记单元用于将所述模板图像中的目标物体用矩形框标记；所述匹配单元基于所述模板图像中的矩形框与所述环境图像进行尺度空间特征点匹配，将所述模板图像上矩形框的中心点映射到所述环境图像中，获得的图像像素坐标记为实际的目标物体像素坐标；所述图像像素坐标处的深度记为实际的目标物体深度。

作为一种实施方式，本发明所述伺服控制器3包括：比较模块和各关节的期望输出角速度确定模块；所述比较模块和所述各关节的期望输出角速度确定模块连接；所述比较模块用于将期望位置的目标物体像素坐标与实际的目标物体像素坐标比较，得到像素坐标误差，将期望位置的目标物体深度与实际的目标物体深度比较，得到像深度误差；所述各关节的期望输出角速度确定模块，用于将所述像素坐标误差与所述深度误差左乘图像雅克比矩阵(由RGBD相机参数决定)的逆，得到机械臂末端各关节的期望输出角速度。

作为一种实施方式，本发明所述装置还包括：力检测模块5，与所述伺服控制器3连接；所述力检测模块5用于检测机器人4运动时机器人末端分别在x、y、z三个方向的力与力矩。

所述伺服控制器3还包括：多重判断模块，与所述力检测模块5连接，用于判断所述力或力矩是否大于设定阈值；如果所述力或力矩大于设定阈值，则输出错误信息，控制所述机器人4停止运动或进入碰撞处理程序；否则，判断所述机器人4是否到达目标物体期望位置处；如果没有达到目标物体期望位置处，则重新确定目标物体的像素坐标和深度；如果所述机器人4到达目标物体期望位置处，则判断所述力或力矩是否大于任务阈值；如果所述力或力矩大于任务阈值，则控制所述机器人4停止运动；否则，重新判断所述力或力矩是否大于任务阈值。

作为一种实施方式，本发明所述装置还包括：角速度传感器6和关节控制器7；所述关节控制器7分别与所述伺服控制器3和所述角速度传感器6连接。

所述角速度传感器6用于检测所述机器人4各关节的实际输出角速度；所述关节控制器7用于将机械臂末端各关节的期望输出角速度左乘机器人4雅克比矩阵(由机器人4参数及当前位置姿态决定)的逆得到各关节的目标角速度；将各关节的目标角速度与实际输出角速度比较，获得关节角速度误差；根据所述关节角速度误差控制所述机器人4运动。

作为一种实施方式，本发明所述装置还包括：

放大器，与所述关节控制器7连接，用于放大关节角速度误差，以使根据所述放大的关节角速度误差控制所述机器人4运动。

图2为本发明实施例融合触觉和视觉的机器人混合伺服控制方法流程图，如故2所示，本发明还提供一种融合触觉和视觉的机器人混合伺服控制方法，所述方法包括：

步骤S1：利用RGB摄像头获取目标物体周围的环境信息，获得环境图像；

步骤S2：利用深度摄像头获取目标物体到深度摄像头的距离，获得深度图像；

步骤S3：采用快速SIFT特征提取模板匹配方法，基于所述模板图像将所述环境图像中的各点和所述深度图像中的各点一一对应，实现对目标物体进行定位，获得实际的目标物体像素坐标和目标物体深度；

步骤S4：根据所述实际的目标物体像素坐标和目标物体深度确定机器人各关节期望输出角速度；

步骤S5：根据所述机器人各关节期望输出角速度控制所述机器人运动。

下面对各个步骤进行详细论述：

作为一种实施方式，本发明所述步骤S3，具体包括：

步骤S31：将所述模板图像中的目标物体用矩形框标记；

步骤S32：基于所述模板图像中的矩形框与所述环境图像进行尺度空间特征点匹配，将所述模板图像上矩形框的中心点映射到所述环境图像中，获得的图像像素坐标记为实际的目标物体像素坐标；所述图像像素坐标处的深度记为实际的目标物体深度。

作为一种实施方式，本发明所述步骤S4，具体包括：

步骤S41：将期望位置的目标物体像素坐标与实际的目标物体像素坐标比较，得到像素坐标误差，将期望位置的目标物体深度与实际的目标物体深度比较，得到像深度误差；

步骤S42：将所述像素坐标误差与所述深度误差左乘图像雅克比矩阵的逆，得到机械臂末端各关节的期望输出角速度。

作为一种实施方式，本发明所述方法还包括：

步骤S6：获取机器人运动时机器人末端分别在x、y、z三个方向的力与力矩；

步骤S7：判断所述力或力矩是否大于设定阈值；如果所述力或力矩大于设定阈值，则输出错误信息，控制所述机器人停止运动或进入碰撞处理程序；否则，执行步骤S8；

步骤S8：判断所述机器人是否到达目标物体期望位置处；如果没有达到目标物体期望位置处，则返回“步骤S3”；如果所述机器人到达目标物体期望位置处，则执行步骤S9；

步骤S9：判断所述力或力矩是否大于任务阈值；如果所述力或力矩大于任务阈值，则控制所述机器人停止运动；否则，重新返回“步骤S9”。

作为一种实施方式，本发明所述方法还包括：

步骤S10：获取所述机器人各关节的实际输出角速度；

步骤S11：将机械臂末端各关节的期望输出角速度左乘机器人雅克比矩阵的逆得到各关节的目标角速度；将各关节的目标角速度与实际输出角速度比较，获得关节角速度误差；根据所述关节角速度误差控制所述机器人运动。

本发明利用位于机器人末端与执行器之间的力检测模块检测机器人的力和力矩，在一个方向上力使物体平动，力矩使物体转动，利用固定在机器人末端的相机采集视觉、深度信息，伺服控制器基于采集的视觉、深度信息控制机器人向目标移动，使机器人的伺服控制精度达到要求；同时使用力检测模块检测机器人末端的接触力，使接触力不超过任务要求的阈值，保证了运动的安全性。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种融合触觉和视觉的机器人混合伺服控制装置，其特征在于，所述装置包括：

RGBD相机，设置在机器人的末端，所述RGBD相机包括RGB摄像头和深度摄像头，所述RGB摄像头用于采集目标物体周围的环境信息，获得环境图像；所述深度摄像头用于采集目标物体到深度摄像头的距离，获得深度图像；

图像处理模块，与所述RGBD相机连接，用于采用快速SIFT特征提取模板匹配方法，基于所述模板图像将所述环境图像中的各点和所述深度图像中的各点一一对应，实现对目标物体进行定位，获得实际的目标物体像素坐标和目标物体深度；

伺服控制器，与所述图像处理模块连接，用于根据实际的目标物体像素坐标和目标物体深度确定机器人各关节期望输出角速度，并根据所述机器人各关节期望输出角速度控制所述机器人运动。

2.根据权利要求1所述的融合触觉和视觉的机器人混合伺服控制装置，其特征在于，所述图像处理模块包括：

标记单元，用于将所述模板图像中的目标物体用矩形框标记；

匹配单元，基于所述模板图像中的矩形框与所述环境图像进行尺度空间特征点匹配，将所述模板图像上矩形框的中心点映射到所述环境图像中，获得的图像像素坐标记为实际的目标物体像素坐标；所述图像像素坐标处的深度记为实际的目标物体深度。

3.根据权利要求1所述的融合触觉和视觉的机器人混合伺服控制装置，其特征在于，所述伺服控制器包括：

比较模块，用于将期望位置的目标物体像素坐标与实际的目标物体像素坐标比较，得到像素坐标误差，将期望位置的目标物体深度与实际的目标物体深度比较，得到像深度误差；

各关节的期望输出角速度确定模块，用于将所述像素坐标误差与所述深度误差左乘图像雅克比矩阵的逆，得到机械臂末端各关节的期望输出角速度。

4.根据权利要求3所述的融合触觉和视觉的机器人混合伺服控制装置，其特征在于，所述装置还包括：

力检测模块，用于检测机器人运动时机器人末端分别在x、y、z三个方向的力与力矩；

所述伺服控制器还包括：

多重判断模块，与所述力检测模块连接，用于判断所述力或力矩是否大于设定阈值；如果所述力或力矩大于设定阈值，则输出错误信息，控制所述机器人停止运动或进入碰撞处理程序；否则，判断所述机器人是否到达目标物体期望位置处；如果没有达到目标物体期望位置处，则重新确定目标物体的像素坐标和深度；如果所述机器人到达目标物体期望位置处，则判断所述力或力矩是否大于任务阈值；如果所述力或力矩大于任务阈值，则控制所述机器人停止运动；否则，重新判断所述力或力矩是否大于任务阈值。

5.根据权利要求1所述的融合触觉和视觉的机器人混合伺服控制装置，其特征在于，所述装置还包括：

角速度传感器，用于检测所述机器人各关节的实际输出角速度；

关节控制器，分别与所述伺服控制器和所述角速度传感器连接，用于将机械臂末端各关节的期望输出角速度左乘机器人雅克比矩阵的逆得到各关节的目标角速度；将各关节的目标角速度与实际输出角速度比较，获得关节角速度误差；根据所述关节角速度误差控制所述机器人运动。

6.根据权利要求5所述的融合触觉和视觉的机器人混合伺服控制装置，其特征在于，所述装置还包括：

放大器，与所述关节控制器连接，用于放大关节角速度误差，以使根据所述放大的关节角速度误差控制所述机器人运动。

力检测模块包括力传感器和力矩传感器。

7.一种融合触觉和视觉的机器人混合伺服控制方法，其特征在于，所述方法包括：

步骤S1：利用RGB摄像头获取目标物体周围的环境信息，获得环境图像；

步骤S2：利用深度摄像头获取目标物体到深度摄像头的距离，获得深度图像；

步骤S3：采用快速SIFT特征提取模板匹配方法，基于所述模板图像将所述环境图像中的各点和所述深度图像中的各点一一对应，实现对目标物体进行定位，获得实际的目标物体像素坐标和目标物体深度；

步骤S4：根据所述实际的目标物体像素坐标和目标物体深度确定机器人各关节期望输出角速度；

步骤S5：根据所述机器人各关节期望输出角速度控制所述机器人运动。

8.根据权利要求7所述的融合触觉和视觉的机器人混合伺服控制方法，其特征在于，所述步骤S3，具体包括：

步骤S31：将所述模板图像中的目标物体用矩形框标记；

步骤S32：基于所述模板图像中的矩形框与所述环境图像进行尺度空间特征点匹配，将所述模板图像上矩形框的中心点映射到所述环境图像中，获得的图像像素坐标记为实际的目标物体像素坐标；所述图像像素坐标处的深度记为实际的目标物体深度。

9.根据权利要求7所述的融合触觉和视觉的机器人混合伺服控制方法，其特征在于，所述步骤S4，具体包括：

步骤S41：将期望位置的目标物体像素坐标与实际的目标物体像素坐标比较，得到像素坐标误差，将期望位置的目标物体深度与实际的目标物体深度比较，得到像深度误差；

步骤S42：将所述像素坐标误差与所述深度误差左乘图像雅克比矩阵的逆，得到机械臂末端各关节的期望输出角速度。

10.根据权利要求7所述的融合触觉和视觉的机器人混合伺服控制方法，其特征在于，所述方法还包括：

步骤S6：获取机器人运动时机器人末端分别在x、y、z三个方向的力与力矩；

步骤S7：判断所述力或力矩是否大于设定阈值；如果所述力或力矩大于设定阈值，则输出错误信息，控制所述机器人停止运动或进入碰撞处理程序；否则，执行步骤S8；

步骤S8：判断所述机器人是否到达目标物体期望位置处；如果没有达到目标物体期望位置处，则返回“步骤S3”；如果所述机器人到达目标物体期望位置处，则执行步骤S9；

步骤S9：判断所述力或力矩是否大于任务阈值；如果所述力或力矩大于任务阈值，则控制所述机器人停止运动；否则，重新返回“步骤S9”。

Images