CN114851160A - 一种用于移动机器人的机械臂控制方法 - Google Patents

Abstract

本发明提供了一种用于移动机器人的机械臂控制方法，该方法具体为：先计算目标物平面的法向量，所述目标物为开关柜面板；再根据获得的法向量，计算机械臂运动到目标平面上目标点的正前方的运动参数，并调整机械臂运动至所述目标点正前方的设定距离处；并通过获取的可见光图像数据识别计算出开关柜面板上目标点的坐标位置信息和旋转角度信息；最后依据识别的目标点的坐标位置信息和旋转角度信息，控制所述机械臂运动完成旋钮转动或按钮点击动作，本发明可在机械臂和目标的相对位置不确定、且工作背景不确定的情况下，使机械臂自动完成按钮按压和旋钮旋转等操作，适用的场景更加广泛，尤其适用于移动机器人上的机械臂操作。

Description

一种用于移动机器人的机械臂控制方法

技术领域

本发明涉及机器人控制技术领域，具体涉及到一种用于移动机器人的机械臂控制方法。

背景技术

配电室是指带有低压负荷的室内配电场所，主要为低压用户配送电能。当配电室内的线路保护装置发生告警信息后，需要运维人员去现场点击线路保护装置上的按钮进行翻页或复位等操作。配电室内的开关柜面板上布置有多个旋钮开关，在执行相应的操作时也需要运维人员去现场转动旋钮。本发明所设计机器人可自动完成上述操作，降低运维人员的作业强度。

目前的机械臂控制方法需要相机、机械臂、工作台三者的相对位置及作业场景的背景完全相同。并不适用于移动机器人上的机械臂操作，因为移动机器人的移动误差无法保证相对位置和作业场景的背景完全相同。

综上所述，如何克服上述缺陷，是本领域技术人员急需解决的问题。

发明内容

本方案针对上文提到的问题和需求，提出一种用于移动机器人的机械臂控制方法，具体由于采取了如下技术方案而能够解决上述技术问题。

为实现上述目的，本发明提供如下技术方案：一种用于移动机器人的机械臂控制方法，包括：计算目标物平面的法向量，所述目标物为开关柜面板；

根据获得的法向量，计算机械臂运动到目标平面上目标点的正前方的运动参数，并调整机械臂运动至所述目标点正前方的设定距离处；

获取开关柜面板的可见光图像数据，并根据获取的可见光图像数据识别计算出所述开关柜面板上目标点的坐标位置信息和旋转角度信息；

根据识别的目标点的坐标位置信息和旋转角度信息，控制所述机械臂运动完成旋钮转动或按钮点击动作。

进一步地，在计算目标物的法向量之前需要进行以下预处理操作，具体包括：

构建坐标系组，所述坐标系组包括第一坐标系和第二坐标系；

为移动机器人的机械臂设定三个姿态，并使每个姿态都能保证深度相机的画面中能够拍摄到目标物。

更进一步地，所述第一坐标系是以机械臂的基座中心为原点的机械臂坐标系；所述第二坐标系是以深度相机的中心为原点的深度相机坐标系。

更进一步地，计算目标物平面的法向量的过程包括：

确定为移动机器人的机械臂预设三个姿态，并获取三个姿态下三组不同角度的目标物点云数据；

再将三组点云数据从所述第二坐标系转换至所述第一坐标系，并将三组点云数据在所述第一坐标系下进行整合后拟合成目标平面S，并计算目标平面S的法向量N。

更进一步地，拟合平面S的过程包括：

根据平面外一点(x₀,y₀,z₀)距离三维坐标系下的平面沿着Z轴的距离为：L＝a₀x₀+a₁y₀+a₂-z₀,其中，三维坐标系下的平面方程为：Ax+By+Cz+D＝0，

计算所有点云数据距离平面S的沿着Z轴的距离的平方和根据公式：

当L_n-1的值取最小值时可求出最能体现三组点云数据特征的平面，根据偏导可求解出a₀、a₁、a₂的唯一值，进而得到目标平面S。

更进一步地，调整机械臂运动至所述目标点正前方的设定距离处需要在获得目标平面S的法相量N后，根据运动过程计算机械臂的运动参数，进而根据所计算的运动参数控制机械臂运动至目标点的正前方的设定距离处，具体为：

获取开关柜面板的可见光图像数据，在可见光图像数据中识别出目标特征；

计算目标特征在可见光图像下的像素坐标，存入PI；

在获取的点云数据中提取出PI所对应的点云，并求出所对应的点云中心点的坐标信息；

将中心点的点云坐标转换至机械臂坐标系下，记为a；

计算过点a且和向量N平行的直线L；

计算直线L上距离a点一定距离且相对于a点接近原点的点b；

控制所述机械臂运动，使得所述深度相机原点运动至b点，所述深度相机坐标系的Z轴平行于向量N，深度相机坐标系的X轴和所述机械臂坐标系的Y轴平行，所述深度相机安装在所述机械臂的末端。

更进一步地，识别并计算出所述开关柜面板上目标点的坐标位置的过程包括：

获取开关柜面板的可见光图像数据，对可见光图像数据进行ROI区域提取，并对提取的ROI区域进行灰度化、二值化和边缘轮廓提取后识别出按钮或旋钮的位置及偏转角度；

通过数据映射，计算出按钮或旋钮所对应的点云，获得该点云中心点坐标；

将该点云坐标值和按钮或旋钮的偏转角度换算成所述机械臂应运动的相对量。

从上述的技术方案可以看出，本发明的有益效果是：

1、本发明可以在机械臂和目标的相对位置不确定、且工作背景不确定的情况下，使机械臂自动完成按钮按压和旋钮旋转等操作，适用的场景更加广泛，尤其适用于移动机器人上的机械臂操作。

除了上面所描述的目的、特征和优点之外，下文中将结合附图对实施本发明的最优实施例进行更详尽的描述，以便能容易地理解本发明的特征和优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下文将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，其中，附图仅仅用于展示本发明的一些实施例，而非将本发明的全部实施例限制于此。

图1为本发明中一种用于移动机器人的机械臂控制方法的具体步骤示意图。

图2为本实施例中计算目标物平面的法向量的过程示意图。

图3为本实施例中调整机械臂运动至所述目标点正前方的设定距离处的具体过程示意图。

图4为本实施例中识别并计算出所述开关柜面板上目标点的坐标位置的过程示意图。

图5为本实施例中一种移动机器人的结构示意图。

图6为本实施例中执行机构的结构示意图。

附图标记：

移动机器人1、机械臂2、执行机构3、按压杆31、激光测距传感器32、深度相机33和电动夹爪34。

具体实施方式

为了使得本发明的技术方案的目的、技术方案和优点更加清楚，下文中将结合本发明具体实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。附图中相同的附图标记代表相同的部件。需要说明的是，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有的机械臂控制方法需要相机、机械臂、工作台三者的相对位置及作业场景的背景完全相同。并不适用于本发明中的移动机器人上的机械臂操作，因为移动机器人每次过来位置都会存在一定的误差，就无法保证相对位置和作业场景的背景完全相同。

针对这一问题，本发明所设计的方法通过深度相机来获取位置信息，并经过一系列的目标定位来实现相对位置的实时计算，进而实现移动机器人上的机械臂自动完成按钮按压和旋钮旋转等操作。

本申请针对现有的机械臂运动操作控制方法存在的缺陷问题，提出一种适应性更高的用于移动机器人的机械臂控制方法。如图1至图4所示，该方法具体包括以下步骤：

步骤Step1：计算目标物平面的法向量，所述目标物为开关柜面板。

在本实施例中，计算目标物的法向量之前需要进行以下预处理操作，具体包括：

构建坐标系组，所述坐标系组包括第一坐标系和第二坐标系，其中，所述第一坐标系是以机械臂2的基座中心为原点的机械臂坐标系；所述第二坐标系是以深度相机的中心为原点的深度相机坐标系；

为移动机器人1的机械臂2设定三个姿态，并使每个姿态都能保证深度相机的画面中能够拍摄到目标物。

计算目标物平面的法向量的过程包括：

步骤Step1.1：确定为移动机器人1的机械臂2预设三个姿态，并获取三个姿态下三组不同角度的目标物点云数据；

步骤Step1.2：再将三组点云数据从所述第二坐标系转换至所述第一坐标系，并将三组点云数据在所述第一坐标系下进行整合后拟合成目标平面S，并计算目标平面S的法向量N。

具体地，如图2所示，控制机械臂2运动至姿态1后，提取开关柜面板点云数据，并将点云坐标转换至机械臂坐标系后存储数据，再控制机械臂2运动至姿态2后，提取开关柜面板点云数据，并将点云坐标转换至机械臂坐标系后存储数据，然后继续控制机械臂2运动至姿态3后，提取开关柜面板点云数据，并将点云坐标转换至机械臂坐标系后存储数据，合并三组存储数据，根据合并的点云数据拟合成平面S，再根据平面S计算其法向量N。

更具体地，拟合平面S的过程包括：

根据平面外一点(x₀,y₀,z₀)距离三维坐标系下的平面沿着Z轴的距离为：L＝a₀x₀+a₁y₀+a₂-z₀,其中，三维坐标系下的平面方程为：Ax+By+Cz+D＝0，

计算所有点云数据距离平面S的沿着Z轴的距离的平方和根据公式：

当L_n-1的值取最小值时可求出最能体现三组点云数据特征的平面，根据偏导可求解出a₀、a₁、a₂的唯一值，进而得到目标平面S。

在本实施例中，由于深度相机所获取的点云数据因相机平面和目标平面所成的夹角不同而产生一定的误差，因此本方法通过给机械臂预设三个姿态，使深度相机能从3个不同的角度来拍摄目标平面并获取到3组点云数据，再将三组点云数据都在机械臂坐标系下进行整合后再拟合平面，以此来降低误差。在三维坐标系下的平面S一般方程为：Ax+By+Cz+D＝0；

进一步推导出：

设：

则：z＝a₀x+a₁y+a₂；

平面外一点(x₀,y₀,z₀)距离平面S的沿着Z轴的距离为：

L＝a₀x₀+a₁y₀+a₂-z₀，

上式中的a₀、a₁、a₂为未知数，当L_n-1的值取最小值时可求出最能体现三组点云数据特征的平面，而要使得L最小，可求L相对与未知数a₀、a₁、a₂的偏导，当三个偏导为0时，L最小：

根据上述三个三元一次方程可求出唯一的a₀、a₁、a₂。

步骤Step2：根据获得的法向量，计算机械臂2运动到目标平面上目标点的正前方的运动参数，并调整机械臂2运动至所述目标点正前方的设定距离处。

调整机械臂2运动至所述目标点正前方的设定距离处需要在获得目标平面S的法相量N后，根据运动过程计算机械臂2的运动参数，进而根据所计算的运动参数控制机械臂2运动至目标点的正前方的设定距离处，在本实施例中，需要机械臂末端所安装的相机的中心点运动至目标点前方40cm的位置处即可。

如图3所示，调整机械臂2运动至所述目标点正前方的设定距离处的具体过程如下：

步骤Step2.1：获取开关柜面板的可见光图像数据，在可见光图像数据中识别出目标特征；

步骤Step2.2：计算目标特征在可见光图像下的像素坐标，存入PI；

步骤Step2.3：在获取的点云数据中提取出PI所对应的点云，并求出所对应的点云中心点的坐标信息；

步骤Step2.4：将中心点的点云坐标转换至机械臂坐标系下，记为a；

步骤Step2.5：计算过点a且和向量N平行的直线L；

步骤Step2.6：计算直线L上距离a点一定距离且相对于a点接近原点的点b；

步骤Step2.7：控制所述机械臂2运动，使得所述深度相机原点运动至b点，所述深度相机坐标系的Z轴平行于向量N，深度相机坐标系的X轴和所述机械臂坐标系的Y轴平行，所述深度相机安装在所述机械臂2的末端。

步骤Step3：获取开关柜面板的可见光图像数据，并根据获取的可见光图像数据识别计算出所述开关柜面板上目标点的坐标位置信息和旋转角度信息。

如图4所示，识别并计算出所述开关柜面板上目标点的坐标位置的过程包括：

步骤Step3.1：获取开关柜面板的可见光图像数据，对可见光图像数据进行ROI区域提取，并对提取的ROI区域进行灰度化、二值化和边缘轮廓提取后识别出按钮或旋钮的位置及偏转角度；

步骤Step3.2：通过数据映射，计算出按钮或旋钮所对应的点云，获得该点云中心点坐标。

步骤Step3.3：将该点云中心点坐标值和按钮或旋钮的偏转角度换算成所述机械臂2应运动的相对量。

步骤Step4：根据识别的目标点的坐标位置信息和旋转角度信息，控制所述机械臂2运动完成旋钮转动或按钮点击动作。

最后将上述该点云中心点坐标值和按钮或旋钮的偏转角度换算成所述机械臂2应运动的相对量后，根据运动的相对量信息进而控制机械臂2运动，完成旋钮转动或按钮点击的操作。

本发明还包括一种用于移动机器人的机械臂控制装置，该装置包括存储介质和处理器，所述存储介质用于存储执行上述用于移动机器人的机械臂控制方法的计算机程序，所述处理器与所述存储介质相连接，该计算机程序被所述处理器执行时实现用于移动机器人的机械臂控制的方法步骤。

在本实施例中，如图5至图6所示，本申请还包括一种移动机器人1，所述移动机器人1上设置有机械臂2，所述机械臂2末端连接有执行机构3，所述执行机构3上设置有按压杆31、激光测距传感器32、深度相机33和电动夹爪34，所述按压杆31用于进行按钮点击操作，该按压杆设置在执行机构3的上端，所述激光测距传感器32设置在所述按压杆31与所述深度相机33之间，所述激光测距传感器用于检测执行机构与目标物的距离信息，深度相机用于获取点云数据和图像信息，所述电动夹爪34设置在执行机构3的下端，该电动夹爪34用于完成旋钮转动操作。

应当说明的是，本发明所述的实施方式仅仅是实现本发明的优选方式，对属于本发明整体构思，而仅仅是显而易见的改动，均应属于本发明的保护范围之内。

Claims (7)

1.一种用于移动机器人的机械臂控制方法，其特征在于，包括以下步骤：

计算目标物平面的法向量，所述目标物为开关柜面板；

根据获得的法向量，计算机械臂运动到目标平面上目标点的正前方的运动参数，并调整机械臂运动至所述目标点正前方的设定距离处；

获取开关柜面板的可见光图像数据，并根据获取的可见光图像数据识别计算出所述开关柜面板上目标点的坐标位置信息和旋转角度信息；

根据识别的目标点的坐标位置信息和旋转角度信息，控制所述机械臂运动完成旋钮转动或按钮点击动作。

2.如权利要求1所述的用于移动机器人的机械臂控制方法，其特征在于，在计算目标物的法向量之前需要进行以下预处理操作，具体包括：

构建坐标系组，所述坐标系组包括第一坐标系和第二坐标系；

为移动机器人的机械臂设定三个姿态，并使每个姿态都能保证深度相机的画面中能够拍摄到目标物。

3.如权利要求2所述的用于移动机器人的机械臂控制方法，其特征在于，所述第一坐标系是以机械臂的基座中心为原点的机械臂坐标系；所述第二坐标系是以以深度相机的中心为原点的深度相机坐标系。

4.如权利要求3所述的用于移动机器人的机械臂控制方法，其特征在于，计算目标物平面的法向量的过程包括：

确定为移动机器人的机械臂预设三个姿态，并获取三个姿态下三组不同角度的目标物点云数据；

再将三组点云数据从所述第二坐标系转换至所述第一坐标系，并将三组点云数据在所述第一坐标系下进行整合后拟合成目标平面S，并计算目标平面S的法向量N。

5.如权利要求4所述的用于移动机器人的机械臂控制方法，其特征在于，拟合平面S的过程包括：

根据平面外一点(x₀,y₀,z₀)距离三维坐标系下的平面沿着Z轴的距离为：L＝a₀x₀+a₁y₀+a₂-z₀,其中，三维坐标系下的平面方程为：Ax+By+Cz+D＝0，

计算所有点云数据距离平面S的沿着Z轴的距离的平方和根据公式：

当L_n-1的值取最小值时可求出最能体现三组点云数据特征的平面，根据偏导可求解出a₀、a₁、a₂的唯一值，进而得到目标平面S。

6.如权利要求4所述的用于移动机器人的机械臂控制方法，其特征在于，调整机械臂运动至所述目标点正前方的设定距离处需要在获得目标平面S的法相量N后，根据运动过程计算机械臂的运动参数，进而根据所计算的运动参数控制机械臂运动至目标点的正前方的设定距离处，具体为：

获取开关柜面板的可见光图像数据，在可见光图像数据中识别出目标特征；

计算目标特征在可见光图像下的像素坐标，存入PI；

在获取的点云数据中提取出PI所对应的点云，并求出所对应的点云中心点的坐标信息；

将中心点的点云坐标转换至机械臂坐标系下，记为a；

计算过点a且和向量N平行的直线L；

计算直线L上距离a点一定距离且相对于a点接近原点的点b；

控制所述机械臂运动，使得所述深度相机原点运动至b点，所述深度相机坐标系的Z轴平行于向量N，深度相机坐标系的X轴和所述机械臂坐标系的Y轴平行，所述深度相机安装在所述机械臂的末端。

7.如权利要求4所述的用于移动机器人的机械臂控制方法，其特征在于，识别并计算出所述开关柜面板上目标点的坐标位置的过程包括：

获取开关柜面板的可见光图像数据，对可见光图像数据进行ROI区域提取，并对提取的ROI区域进行灰度化、二值化和边缘轮廓提取后识别出按钮或旋钮的位置及偏转角度；

通过数据映射，计算出按钮或旋钮所对应的点云，获得该点云中心点坐标；

将该点云坐标值和按钮或旋钮的偏转角度换算成所述机械臂应运动的相对量。

Images