CN106426186B - 一种基于多传感器信息融合的带电作业机器人自主作业方法 - Google Patents

Abstract

本发明提出一种基于多传感器信息融合的带电作业机器人自主作业方法。带电作业机器人包括作业系统和监控系统；所述作业系统包括第一机械臂、第二机械臂、辅助机械臂、机械臂专用工具箱和第一工控机；所述监控系统包括双目摄像头、全景摄像头、深度传感器和第二工控机和显示器；第一机械臂、第二机械臂和辅助机械臂末端均安装有双目摄像头；全景摄像头用于监控作业场景；深度传感器为多个，用于获取作业场景深度图像信息；第二工控机和显示器安装在绝缘斗臂车上。本发明不仅能获得作业目标、机械臂与作业目标之间关系的信息，而且能获取机械臂之间关系的信息，从而能更方便对机械臂与目标之间和机械臂之间的碰撞进行监测和保护。

Description

一种基于多传感器信息融合的带电作业机器人自主作业方法

技术领域

本发明属于电力技术领域，具体涉及一种基于多传感器信息融合的带电作业机器人自主作业方法。

背景技术

随着国民经济的发展，技术的进步，以及人们对生活质量的要求越来越高，客户对用电质量、服务的要求也越来越高，停电不但会给企业造成巨大经济损失，也给人们的日常生活带来很多不便。为了保持设备良好的运行状况，常常需要作业人员进行人工带电维护检修作业，但这种带电作业方式需要作业人员长时间处于高强度高危险的环境中，不仅给作业人员人身安全带来风险，而且会使作业效率低下。将带电作业机器人引入到电力产业中，代替人工进行电力维护检修工作，可以有效避免带电作业时人员伤亡事故的发生，并且能极大提高电力维护检修的作业效率。

采用该方式进行带电作业，机器人可以通过视觉系统采集并反馈的工作环境信息，自主完成作业。然而，在带电作业现场，环境较为复杂，设备器具较多，不易与背景环境区分，单一采用视觉方式难以对作业环境和目标进行全方位高精度的测量。例如山东电力研究院发明的专利号201310033112的“一种用于高压带电作业机器人的视觉系统及工作方法”，该发明采用在左右机械臂上安装双目立体相机实现对目标位置和姿态的识别和测量，采用立体摄像机使图像具有立体视觉效果，并在机械臂前侧和后侧分别安装CCD相机以便对机器人作业进行监控。该发明虽然能在一定程度上对工作环境及目标进行识别和测量，但并不能处理复杂环境中的测量问题，也无法在机械臂防碰撞保护方面提供很好的监控。由此可见，采用单一视觉方式虽然能获得较为完整的环境信息，但图像信息量过大，难以用高效的算法对图像去除干扰成分，提取有用信息，这些会造成带电作业机器人自主作业的困难。

发明内容

本发明提出一种基于多传感器信息融合的带电作业机器人自主作业方法，不仅能获得作业目标、机械臂与作业目标之间关系的信息，而且能获取机械臂之间关系的信息，从而能更方便对机械臂与目标之间和机械臂之间的碰撞进行监测和保护。

为了解决上述技术问题，本发明提供一种基于多传感器信息融合的带电作业机器人自主作业方法，带电作业机器人包括作业系统和监控系统；所述作业系统包括设置在带电作业机器人平台上的第一机械臂、第二机械臂、辅助机械臂、机械臂专用工具箱和第一工控机；所述监控系统包括双目摄像头、全景摄像头、深度传感器和第二工控机和显示器；第一机械臂、第二机械臂和辅助机械臂末端均安装有双目摄像头；全景摄像头用于监控作业场景；深度传感器为多个，用于获取作业场景深度图像信息；第二工控机和显示器安装在绝缘斗臂车上；自主作业过程为：

步骤101，全景摄像头拍摄包括带电作业机器人平台的在内的全景图像，通过第二工控机送显示器显示，操作人员通过查看全景图像将带电作业机器人平台送入作业区域；

步骤102，第一工控机控制第一机械臂和第二机械臂进入初始工作姿态，并确保第一机械臂和第二机械臂上的双目摄像头能拍摄到包含作业目标的双目图像；随后控制辅助机械臂进入初始工作姿态，确保辅助机械臂上的双目摄像头能拍摄到包含作业目标、第一机械臂和第二机械臂的双目图像；

步骤103，三个双目摄像头将拍摄的双目图像数据传送给第二工控机，第二工控机对所述双目图像进行处理，以识别出作业目标并判断作业任务类别；

步骤104，第二工控机根据作业目标和作业类别判断作业任务重是否是需要使用专用工具箱中的工具，若果需要获取工具，则通过第一工控机控制第一机械臂和第二机械臂分别从专用工具箱中获取工具，然后进行步骤5，如果不需要获取工具，则直接进行步骤105；

步骤105，第二工控机根据第一机械臂和第二机械臂的位置以及作业任务规划出机械臂空间运动路径，并发送给第一工控机；

步骤106，第一工控机根据机械臂空间运动路径控制第一机械臂和第二机械臂运动完成相应作业任务；在第一机械臂和第二机械臂进行作业过程中，第二工控机根据深度传感器获得的深度信息判断判断各机械臂之间以及各机械臂与周围物体之间是否会发生碰撞，若是，则返回步骤5重新进行械臂空间运动路径规划；若否，则继续进行作业任务直至完成作业任务。

进一步，带电作业机器人包括四个深度传感器，分别从带电作业机器人平台的上方、前方以及左右两侧获取作业区域深度图像；第二工控机根据深度传感器获得的深度信息判断判断各机械臂之间以及各机械臂与周围物体之间是否会发生碰撞的方法为：

步骤201，对全景摄像头拍摄的作业场景全景图像进行处理将各机械臂与作业环境分离，即分离背景与机械臂，获取各机械臂像素点位置信息；

步骤202，将作业场景全景图像与四只深度传感器获得的作业区域深度图像进行信息匹配，即将全景图像中的像素点与深度图像中的像素点进行匹配，获得空间中实际该点的三维坐标，从而获取作业现场三维点云并得到各机械臂位置的点云，将第一机械臂、第二机械臂和辅助机械臂点云分别记为第一点云区、第二点云区和辅助点云区；

步骤203，计算各机械臂点云上各点与作业环境点云上各点之间的距离，若该距离小于阈值，则认为机械臂将要与环境物体碰撞；计算第一点云区、第二点云区和辅助点云区上相互两点间的距离，若该距离小于阈值，则认为机械臂之间将要发生碰撞。

进一步，第二工控机对双目图像进行预处理，剔除干扰和噪声；然后提取出作业目标，将作业目标与模型库中的目标模型进行匹配，以判断出作业任务类别。

本发明与现有技术相比，其显著优点在于：

（1）本发明采用深度传感器与视觉系统信息融合的方式，不仅能获得作业目标、机械臂与作业目标之间关系的信息，而且能获取机械臂之间关系的信息，从而能更方便对机械臂与目标之间和机械臂之间的碰撞进行监测和保护；

（2）本发明在辅助机械臂腕部安装一组双目摄像头，可以通过灵活的辅助机械臂伸至目标设备的侧面或背面，对正面视觉的死角进行观测，使得带电作业更容易完成。

附图说明

图1为本发明基于多传感器信息融合的带电作业机器人结构示意图；

图2为本发明基于多传感器信息融合的带电作业机器人自主作业流程图。

具体实施方式

容易理解，依据本发明的技术方案，在不变更本发明的实质精神的情况下，本领域的一般技术人员可以想象出本发明基于多传感器信息融合的带电作业机器人自主作业方法的多种实施方式。因此，以下具体实施方式和附图仅是对本发明的技术方案的示例性说明，而不应当视为本发明的全部或者视为对本发明技术方案的限制或限定。

结合附图，基于多传感器信息融合的带电作业机器人，其硬件组成主要包括作业系统和监控系统。

所述作业系统包括第一机械臂43、第二机械臂44、辅助机械臂42、机械臂专用工具箱47和第一工控机48。第一机械臂43、第二机械臂44和辅助机械臂42均安装于绝缘斗中，第一机械臂43和第二机械臂44安装于绝缘斗前部，为系统主要操作手；辅助机械臂42安装于左、右机械臂中间，主要用于辅助作业和辅助监控；机械臂专用工具箱47装有便于视觉和传感器识别的工具，方便作业过程中对作业工具进行更换；第一工控机48主要用于控制三个机械臂运动。

所述监控系统包括三组双目摄像头45、一只全景摄像头41、四只深度传感器和第二工控机。在三只机械臂的腕部分别安装一组双目摄像头45；在机械臂专用工具箱47后安装支架，并在支架末端安装全景摄像头41和第二深度传感器411；在机械臂专用工具箱47左右两侧分别安装第三深度传感器412和第四深度传感器413；在机械臂前方的绝缘斗边缘安装支架，并在支架末端安装第一深度传感器414 ；第二工控机安装有图像处理器，用于对各摄像头图像和深度传感器信息进行处理和融合。

双目摄像头45均采用两只高清CCD摄像头组合而成，分别安装于三个机械臂腕部，第一机械臂43和第二机械臂44上的双目摄像头主要用于作业目标的识别、跟踪及定位，辅助机械臂42上的双目摄像头主要用于辅助监控。每个CCD摄像头均通过RJ45与第二工控机相连。

所述全景摄像头41采用高清全景摄像头，用于对整个作业区域进行监控，其通过RJ45与第二工控机相连。

所述深度传感器采用3D结构光深度传感器，用来采集作业场景深度数据，其所获图像为带有深度信息的灰度图，通过分析深度信息可以获得机械臂姿态信息和作业环境物体相对位置，从而能实现机械臂的协调控制。其中，第一深度传感器414从三只机械臂前下方拍摄深度图像；第二深度传感器411从三只机械臂后方拍摄深度图像；第三深度传感器412、第四深度传感器413分别从三只机械臂左后方和右后方拍摄深度图像。深度传感器通过USB与第二工控机相连。

基于多传感器信息融合的带电作业机器人自主作业过程为：

步骤1，调节带电作业机器人平台4的位置；

步骤2，通过全景摄像头41拍摄包括带电作业机器人平台4的全景环境图像，将图像传入第二工控机中进行处理，判断机器人平台是否进入合适的作业区域，若是，则执行步骤3；若否，返回步骤1；

所述判断机器人平台是否进入合适的作业区域的方法是通过分析全景摄像头41拍摄图像，得到作业区域与机械臂区域的相对高度差，当高度差小于一定阈值，则机器人平台已进入合适区域，否则继续调节带电作业机器人平台位置；

步骤3，通过第一工控机48控制三只机械臂，初始化三只机械臂位置；

所述初始化三只机械臂位置是指分别用第一工控机48控制第一机械臂43和第二机械臂44使两只机械臂进入初始工作姿态，并确保两只机械臂上的双目摄像头45能拍摄到包含工作目标的图像；接着控制辅助机械臂42进入初始工作姿态，确保该机械臂上的双目摄像头45能拍摄到包含工作目标、第一机械臂43和第二机械臂44的图像，并能够在后续动作中方便辅助带电作业；

步骤4，通过机械臂上的双目摄像头45拍摄作业目标图像，将图像传入第二工控机中进行处理，识别设备并判断作业种类；其具体步骤为：

步骤4-1，获取包含作业目标的图像，传入第二工控机；

步骤4-2，对图像进行预处理，剔除干扰和噪声；

步骤4-3，对作业目标进行提取，自动与模型库中的设备模型进行匹配，判断作业目标的设备类型，并判断作业种类；

步骤4-4，将得到的作业种类信息通过光纤通信传输给第一工控机48；

步骤5，判断是否获要取工具，若是，则第一工控机48控制第一机械臂43和第二机械臂44分别从机械臂专用工具箱47获取工具，若否，则执行步骤6；所述自动获取工具步骤如下：

步骤5-1，第一工控机48控制第一机械臂43和第二机械臂44转至后方工具抓取区域；

步骤5-2，第一工控机48根据步骤4-4获取的作业种类信息判断需要使用的工具种类；

步骤5-3，通过两只机械臂上的双目摄像头45获取工具图像，判断工具种类和位置；

步骤5-4，摄像头跟踪工具的位置并引导机械臂获取工具；

步骤6，对机械臂空间路径进行规划；

步骤7，第一工控机48控制第一机械臂43和第二机械臂44进行自主作业动作，辅助机械臂42辅助作业并通过安装于其上的双目摄像头45辅助监控；

步骤8，通过四只深度传感器从四个方向获取整个作业区域深度信息，将图像传入第二工控机中进行处理和融合，判断机械臂之间是否会发生碰撞以及机械臂与环境物体之间是否会发生碰撞，若是，则返回步骤6；若否，则执行步骤9；

所述判断碰撞采用的方法步骤如下：

步骤8-1，由全景摄像头41获取包括带电作业机器人平台4的全景环境图像，对图像进行预处理；

步骤8-2，将机械臂与背景分离，获取机械臂像素点位置；

步骤8-3，将全景摄像头41图像与四只深度传感器获得的深度图像信息匹配，即全景摄像头41图像中的一个像素点与深度图像中一个像素点匹配，得到空间中实际该点的三维坐标，从而获取作业现场三维点云并得到机械臂位置的点云，第一机械臂43、第二机械臂44和辅助机械臂42点云分别记为第一点云区、第二点云区、辅助点云区；

步骤8-4，计算机械臂点云上各点与作业环境点云上（除了作业目标点云）各点距离，若小于阈值，则认为机械臂将要与环境物体碰撞，返回步骤6对机械臂路径重新规划；

步骤8-5，计算第一点云区、第二点云区和辅助点云区上相互两点间的距离，若小于阈值，则认为机械臂之间将要发生碰撞，返回步骤6对机械臂路径重新规划；

步骤8-6，若步骤8-4、步骤8-5计算距离均大于阈值，则认为不会发生碰撞，机械臂继续工作；

步骤9，判断是否完成作业，若是，则进入结束流程；若否，则返回步骤5。

Claims (3)

1.一种基于多传感器信息融合的带电作业机器人自主作业方法，其特征在于，带电作业机器人包括作业系统和监控系统；

所述作业系统包括设置在带电作业机器人平台上的第一机械臂、第二机械臂、辅助机械臂、机械臂专用工具箱和第一工控机；所述监控系统包括双目摄像头、全景摄像头、深度传感器和第二工控机和显示器；第一机械臂、第二机械臂和辅助机械臂末端均安装有双目摄像头；全景摄像头用于监控作业场景；深度传感器为多个，用于获取作业场景深度图像信息；第二工控机和显示器安装在绝缘斗臂车上；

自主作业过程为：

步骤101，全景摄像头拍摄包括带电作业机器人平台的在内的全景图像，通过第二工控机送显示器显示，操作人员通过查看全景图像将带电作业机器人平台送入作业区域；

步骤102，第一工控机控制第一机械臂和第二机械臂进入初始工作姿态，并确保第一机械臂和第二机械臂上的双目摄像头能拍摄到包含作业目标的双目图像；随后控制辅助机械臂进入初始工作姿态，确保辅助机械臂上的双目摄像头能拍摄到包含作业目标、第一机械臂和第二机械臂的双目图像；

步骤103，三个双目摄像头将拍摄的双目图像数据传送给第二工控机，第二工控机对所述双目图像进行处理，以识别出作业目标并判断作业任务类别；

步骤104，第二工控机根据作业目标和作业类别判断作业任务重是否是需要使用专用工具箱中的工具，若果需要获取工具，则通过第一工控机控制第一机械臂和第二机械臂分别从专用工具箱中获取工具，然后进行步骤10 5，如果不需要获取工具，则直接进行步骤105；

步骤105，第二工控机根据第一机械臂和第二机械臂的位置以及作业任务规划出机械臂空间运动路径，并发送给第一工控机；

步骤106，第一工控机根据机械臂空间运动路径控制第一机械臂和第二机械臂运动完成相应作业任务；在第一机械臂和第二机械臂进行作业过程中，第二工控机根据深度传感器获得的深度信息判断判断各机械臂之间以及各机械臂与周围物体之间是否会发生碰撞，若是，则返回步骤10 5重新进行械臂空间运动路径规划；若否，则继续进行作业任务直至完成作业任务。

2.如权利要求1所述带电作业机器人自主作业方法，其特征在于，包括四个深度传感器，分别从带电作业机器人平台的上方、前方以及左右两侧获取作业区域深度图像；第二工控机根据深度传感器获得的深度信息判断判断各机械臂之间以及各机械臂与周围物体之间是否会发生碰撞的方法为：

步骤201，对全景摄像头拍摄的作业场景全景图像进行处理将各机械臂与作业环境分离，获取各机械臂像素点位置信息；

步骤202，将作业场景全景图像与四只深度传感器获得的作业区域深度图像进行信息匹配，即将全景图像中的像素点与深度图像中的像素点进行匹配，获得空间中实际该点的三维坐标，从而获取作业现场三维点云并得到各机械臂位置的点云，将第一机械臂、第二机械臂和辅助机械臂点云分别记为第一点云区、第二点云区和辅助点云区；

步骤203，计算各机械臂点云上各点与作业环境点云上各点之间的距离，若该距离小于阈值，则认为机械臂将要与环境物体碰撞；计算第一点云区、第二点云区和辅助点云区上相互两点间的距离，若该距离小于阈值，则认为机械臂之间将要发生碰撞。

3.如权利要求1所述带电作业机器人自主作业方法，其特征在于，第二工控机对双目图像进行预处理，剔除干扰和噪声；然后提取出作业目标，将作业目标与模型库中的目标模型进行匹配，以判断出作业任务类别。