CN112991356B - 机械臂在复杂环境下的快速分割方法 - Google Patents

Abstract

本发明公开了一种机械臂在复杂环境下的快速分割方法。系统采用搭载深度摄像头和彩色摄像头的Kinect以及机械臂构成实验平台。所述的快速分割方法包括以下步骤：进行深度相机的手眼标定；获取场景的点云数据；进行机械臂的正运动学求解，获取分割区域；采用LCCP算法对点云数据进行聚类以及分割；将机械臂从环境中提取出来。与现有的机械臂分割方法相比，该方法有效提高了机械臂的分割精度与准确性，优化了传统分割算法的运行效率。

Description

机械臂在复杂环境下的快速分割方法

技术领域

本发明涉及智能机器人技术领域，尤其涉及一种机械臂在复杂环境下的快速分割方法。

背景技术

空气中酸性物质和灰尘增多，电网网路腐蚀加快，维修人员在高空作业时掉落风险增高。其次是劳动强度问题，由于带电作业需要维修人员穿戴厚重的绝缘服，这就大大增加了工人的劳动负载，特别是在酷暑和严寒环境下，工人的身体负担更大。还有就是人工带电作业的防护要求高、操作规范严格，稍不注意就会造成极其严重的后果。

由于带电作业需求的紧迫性以及人工带电作业的危险性，研究开发具有带电作业能力的机器人来替代人工作业已经成为未来电网系统维护的必然趋势。

现阶段的配网带电作业机器人虽然已经能胜任大部分工作，但是大部分还无法完全自主作业，在作业的过程中主要还是操作员进行控制。因此，机器人在图像识别和处理方面的能力还有待提高，对于作业现场环境的判断还要进一步加强。针对机械臂在环境识别中需要将本体与周围物体分离的问题，现阶段的分割方法还不太成熟，分割效果也较差。

发明内容

本发明的目的是提供一种机械臂在复杂环境下的快速分割方法。

本发明为实现上述目的所采用的技术方案是：

机械臂在复杂环境下的快速分割方法，包括以下步骤：

1)对深度相机进行手眼标定；

2)通过标定后的深度相机分别获取机械臂工作空间的深度图像的深度信息以及彩色图像的RGBA信息、二维坐标信息，并将上述信息进行融合，得到机械臂工作空间的点云数据；

3)建立机械臂的正运动学模型，获取机械臂各关节和连杆上若干点的坐标；

4)根据机械臂关节和连杆上点的坐标，建立包络球，机械臂某个关节或连杆上某个点的坐标对应一个包络球，机械臂所有关节和连杆上所有点的坐标对应的所有包络球组成安全区域，滤除安全区域外的点云数据；

5)对安全区域内的点云数据进行分割；

6)根据分割结果，提取机械臂。

所述对深度相机进行手眼标定为，采用最小二乘法，获取机械臂基坐标系和相机坐标系之间的齐次变换矩阵。

所述深度相机包括深度摄像头以及彩色摄像头，深度摄像头采集图像的深度图像，彩色摄像头采集图像的彩色图像。

步骤2)为：

遍历深度图像中的每一个像素点P_i，将P_i从深度图像映射到彩色图像得到像素点P_c，每一个P_i与P_c为一一映射关系，如果P_c在彩色图像的坐标范围内，则保存P_c的彩色图像的RGBA信息；将P_i从深度图像直接转换到相机坐标系下得到相机空间中的坐标P_a，如果P_a在彩色图像的坐标范围内，则保存P_a的三维坐标信息，将P_c与P_a进行融合，得到机械臂工作空间的点云数据。

步骤3)为：

对机械臂运用D-H参数分析法建立各个关节的连杆坐标系，其连杆之间的变换矩阵为：

其中，a_i-1表示沿轴，从/>移动到/>的距离，d_i表示沿/>轴，从/>移动到/>的距离，α_i-1表示绕/>轴，从/>旋转到/>的角度，θ_i表示关节空间中第i个关节的旋转角度，为连杆i相对于连杆i-1的坐标变换矩阵，cosθ_i简写为cθ_i，sinθ_i简写为sθ_i，cos简写为c，sin简写为s，若连杆i坐标系下一个点的坐标为P_d＝(x_i y_i z_i 1)^T，根据可以得到P_d在基坐标系下的位置，结合步骤1)标定的结果得到P_d在相机坐标系下的坐标。

步骤4)为：

以机械臂各关节和连杆上若干点的位置为球心，半径为r建立一系列包络球，将机械臂工作空间任意一点到最近的包络球球心的距离小于r的点的集合，作为安全区域，将安全区域外的点云数据进行滤除。

所述对安全区域内的点云数据进行分割采用LCCP算法。

步骤6)为：

对安全区域内的点云进行基于超体聚类的过分割，在超体聚类的基础上利用CC判据以及SC判据进行再聚类，得到机械臂的点云数据。

本发明具有以下有益效果及优点：

本发明能够有效地将机械臂从环境中分割出来，有效提高了分割的精度，并且能够提高图像分割算法的实时性。

附图说明

图1为本发明提供的机械臂在复杂环境下的快速分割方法的流程图；

图2为本发明的机械臂连杆坐标系示意图；

图3为LCCP算法的分割结果图；

图4为本发明的数据流示意图。

具体实施方式

下面将对本发明的实施例作进一步地详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

本发明的机械臂在复杂环境下的快速分割方法，其较佳的具体实施方案是：

所述的机械臂为协作型机械臂，所述的深度相机包括深度摄像头以及彩色摄像头。

所述的深度摄像头获取图像深度的方法可以是结构光、立体视觉以及TOF技术。

所述的快速分割方法包括以下步骤：

如图1和4所示，机械臂在复杂环境下的快速分割方法，包括以下步骤：

步骤一、进行深度相机的手眼标定；

步骤二、获取场景的深度图像以及彩色图像，将图像信息进行融合，得到场景的点云数据；

步骤三、进行机械臂的正运动学求解，获取机械臂各个关节和连杆上若干点的坐标；

步骤四、根据运动学求解结果进行数据滤除；

步骤五、利用LCCP算法对点云数据进行分割；

步骤六、根据分割结果将机械臂提取出来。

所述的步骤一具体为：

选取相机坐标系为世界坐标系，变换方程为

其中P_b＝[x y z 1]^T是基坐标系下的点，P_m＝[x′ y′ z′ 1]^T是相机坐标系下的点。为基坐标系到相机坐标系的转换矩阵，R为旋转矩阵，t为平移矢量。P_b的坐标为末端执行器中心点的坐标。在Kinect获取的RGB图片中找到末端执行器中心点对应的像素点，将其转换到相机坐标系下可以得到对应相机坐标系下P_m的坐标。

其中M_c与M_b为过程矩阵。

所述的步骤二具体为：

遍历深度图像中的每一个点P_i，将P_i从深度空间转换到彩色空间得到P_c，如果P_c在图像的坐标范围内，则保存P_c的彩色信息。将P_i从深度空间转换到相机空间中得到P_a，如果P_a在图像的坐标范围内，则保存P_a的空间位置信息。

如图2所示，所述的步骤三具体为：

对机械臂运用D-H参数分析法建立各个关节的连杆坐标系，其连杆之间的变换矩阵为：

其中，a_i-1表示沿轴，从/>移动到/>的距离。d_i表示沿/>轴，从/>移动到/>的距离。α_i-1表示绕/>轴，从/>旋转到/>的角度。θ_i表示关节空间中第i个关节的旋转角度。为连杆i相对于连杆i-1的坐标变换矩阵，为方便表示，cosθ_i简写为cθ_i，sinθ_i简写为sθ_i。若连杆i坐标系下一个点的坐标为P_d＝(x_i y_i z_i 1)^T，根据/>可以得到P_d在基坐标系下的位置。利用步骤一标定的结果可以得到P_i在相机坐标系下的坐标。

所述的步骤四具体为：

以机械臂各个关节和连杆上若干点的位置q_j为球心，半径为r建立一系列包络球，将包络球之外的数据进行滤除。半径r应足够大以便机械臂的各种构型均能被球体覆盖。

如图3所示，所述的步骤五具体为：

采用LCCP算法对点云数据进行分割，包括：

对点云进行基于超体聚类的过分割；

在超体聚类的基础上利用CC判据以及SC判据进行再聚类。

CC判据通过相邻超体素的曲面法线以及质心连线的向量之间的夹角来判断相邻超体素是凸还是凹。另外，为了补偿传感器的噪声，判据中引入了一个偏差。

如果曲面是不连续的，那么CC判据无法将其分开，因此引入SC判据。SC判据使用质心连线的向量以及相邻曲面连接方向的向量之间的夹角来判断。

所述CC判据以及SC判据为现有技术。

参见附图4，所述的步骤六具体为：

在步骤五对点云进行聚类的基础上，结合机械臂运动学得到的机械臂本体上的点，将机械臂本体上全部点提取出来。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.机械臂在复杂环境下的快速分割方法，其特征在于，包括以下步骤：

1)对深度相机进行手眼标定；

2)通过标定后的深度相机分别获取机械臂工作空间的深度图像的深度信息以及彩色图像的RGBA信息、二维坐标信息，并将上述信息进行融合，得到机械臂工作空间的点云数据；

3)建立机械臂的正运动学模型，获取机械臂各关节和连杆上若干点的坐标；

4)根据机械臂关节和连杆上点的坐标，建立包络球，机械臂某个关节或连杆上某个点的坐标对应一个包络球，机械臂所有关节和连杆上所有点的坐标对应的所有包络球组成安全区域，滤除安全区域外的点云数据；

5)对安全区域内的点云数据进行分割；

6)根据分割结果，提取机械臂；

步骤2)为：

遍历深度图像中的每一个像素点P_i，将P_i从深度图像映射到彩色图像得到像素点P_c，每一个P_i与P_c为一一映射关系，如果P_c在彩色图像的坐标范围内，则保存P_c的彩色图像的RGBA信息；将P_i从深度图像直接转换到相机坐标系下得到相机空间中的坐标P_a，如果P_a在彩色图像的坐标范围内，则保存P_a的三维坐标信息，将P_c与P_a进行融合，得到机械臂工作空间的点云数据；

步骤4)为：

以机械臂各关节和连杆上若干点的位置为球心，半径为r建立一系列包络球，将机械臂工作空间任意一点到最近的包络球球心的距离小于r的点的集合，作为安全区域，将安全区域外的点云数据进行滤除。

2.根据权利要求1所述的机械臂在复杂环境下的快速分割方法，其特征在于，所述对深度相机进行手眼标定为，采用最小二乘法，获取机械臂基坐标系和相机坐标系之间的齐次变换矩阵。

3.根据权利要求1所述的机械臂在复杂环境下的快速分割方法，其特征在于，所述深度相机包括深度摄像头以及彩色摄像头，深度摄像头采集图像的深度图像，彩色摄像头采集图像的彩色图像。

4.根据权利要求1所述的机械臂在复杂环境下的快速分割方法，其特征在于，步骤3)为：

对机械臂运用D-H参数分析法建立各个关节的连杆坐标系，其连杆之间的变换矩阵为：

其中，a_i-1表示沿轴，从/>移动到/>的距离，d_i表示沿/>轴，从/>移动到/>的距离，α_i-1表示绕/>轴，从/>旋转到/>的角度，θ_i表示关节空间中第i个关节的旋转角度，/>为连杆i相对于连杆i-1的坐标变换矩阵，cosθ_i简写为cθ_i，sinθ_i简写为sθ_i，cos简写为c，sin简写为s，若连杆i坐标系下一个点的坐标为P_d＝(x_i y_i z_i 1)^T，根据可以得到P_d在基坐标系下的位置，结合步骤1)标定的结果得到P_d在相机坐标系下的坐标。

5.根据权利要求1所述的机械臂在复杂环境下的快速分割方法，其特征在于，所述对安全区域内的点云数据进行分割采用LCCP算法。

6.根据权利要求1所述的机械臂在复杂环境下的快速分割方法，其特征在于，步骤6)为：

对安全区域内的点云进行基于超体聚类的过分割，在超体聚类的基础上利用CC判据以及SC判据进行再聚类，得到机械臂的点云数据。