CN110962122B - 一种管道清理机器人控制系统以及方法 - Google Patents

Abstract

本发明提供了一种管道清理机器人控制系统以及方法，该控制系统包括用于清理管道的机器人，还包括采集模块、视觉计算单元和控制单元，采集模块用于实时采集管道内壁获取第一图像，视觉计算单元用于根据第一图像判断管道内壁是否存在待清理物；若是，则计算待清理物的初步位置并规划行走路线，控制单元用于控制机器人按照行走路线行进到初步位置；采集模块还用于采集待清理物获取第二图像，视觉计算单元还用于根据第二图像计算待清理物的准确位置并规划清理路线；控制单元还用于控制机器人按照所述清理路线执行清理动作。本发明提供的一种管道清理机器人控制系统以及方法提高了机器人的智能化控制，降低了管道内清理成本，具有良好的技术效果。

Description

一种管道清理机器人控制系统以及方法

技术领域

本发明涉及机器人控制技术领域，尤其涉及一种管道机器人控制系统以及方法。

背景技术

电站管道一般是由一根根管道焊接而成，这些管道在使用前的焊接、施工等过程中会有粉尘或异物进入，以及管道焊缝打磨的铁屑等杂物残留等，这些粉尘异物或铁屑必须在使用管道前清理干净，否则会导致电站运行时管道传输的气、液等受到污染，甚至引起设备故障。但由于受到管道长度和管道内径的限制，很多管道的除尘清洁很难以人工的方式完成。随着科学技术的发展，市场上出现了相关的除尘机器人，比如家庭扫地机器人以及管道清理机器人等。然而，家庭扫地机器人只能应用于平面上，无法应用于管道内，而现有的管道清理机器人则需要通过人工进行控制，极大的增加了人工成本，也降低了机器人的智能化，无法满足电站管道的清理需求。

发明内容

本发明针对现有管道清理机器人需要通过人工进行控制，无法满足电站管道清理需求等问题，提供了一种管道清理机器人的控制系统以及方法，实现了管理清理机器人的全流程智能化控制。

本发明用于解决以上技术问题的技术方案为：一方面，提供一种管道清理机器人控制系统，包括用于清理管道的机器人，还包括：

采集模块，安装在所述机器人上，用于实时采集管道内壁获取第一图像；

视觉计算单元，连接所述采集模块，用于根据所述第一图像判断管道内壁是否存在待清理物；若是，则计算待清理物的初步位置并规划行走路线；

控制单元，分别连接所述机器人和视觉计算单元，用于控制所述机器人按照所述行走路线行进到所述初步位置；

所述采集模块还用于在所述机器人行进到所述初步位置后采集待清理物获取第二图像，所述视觉计算单元还用于根据所述第二图像计算待清理物的准确位置并规划清理路线；

所述控制单元还用于控制所述机器人按照所述清理路线执行清理动作。

本发明上述的管道清理机器人控制系统中，所述采集模块还用于一次或重复多次采集清理后的待清理物获取第三图像，所述视觉计算单元用于根据所述第三图像判断待清理物是否清理干净；若是，则所述控制单元控制机器人沿管道继续行进，以清理管道内壁的其他区域；若否，则所述视觉计算单元根据每一所述第三图像分别计算待清理物的残留位置并规划残留清理路线，所述控制单元还用于控制机器人按照所述残留清理路线对待清理物进行清理。

本发明上述的管道清理机器人控制系统中，所述视觉计算单元还用于根据所述第一图像判断所述机器人是否行进到管道尽头；若是，则向所述控制单元发送机器人已到管道尽头指令，所述控制单元控制所述机器人退出管道。

本发明上述的管道清理机器人控制系统中，所述机器人包括机器本体、行走单元和清理单元，所述行走单元安装在所述机器本体上，用于带动所述机器本体沿管道行进；所述清理单元安装在所述机器本体上并可沿管道周向进行旋转运动，用于对待清理物进行清理。

本发明上述的管道清理机器人控制系统中，所述采集模块包括第一相机和第二相机，所述第一相机朝向管道长度方向安装在所述机器本体正前方，所述第一相机预先使用设定方式进行标定，用于采集所述第一图像；所述第二相机朝向管道径向安装在所述清理单元上并与清理单元同步转动，所述第二相机的坐标与清理单元的坐标预先使用设定方式进行统一，用于采集所述第二图像和第三图像。

本发明上述的管道清理机器人控制系统中，所述视觉计算单元依据预先设定的图像处理算法在所述第一图像中划分出感兴趣区域，并根据所述感兴趣区域内图像处理后灰度特征的变化判断管道内壁是否存在待清理物，并通过预设图像算法计算待清理物的中心位置坐标作为所述初步位置，并结合所述第二相机的相对位置规划所述行走路线。

本发明上述的管道清理机器人控制系统中，所述视觉计算单元依据预先设定的图像处理算法在所述第二图像中划分出感兴趣区域，并根据所述感兴趣区域内图像处理后灰度特征的变化和预设图像算法计算待清理物各个分布区域的边缘位置坐标，并以处于最外围的边缘位置坐标为边界确定清理区域，并将所述清理区域按照所述清理单元的清理宽度划分为多层区域，并将所述多层区域首尾依次连接形成所述清理路线。

另一方面，还提供一种管道清理机器人控制方法，用于控制清理管道的机器人，包括步骤：

S1、实时采集管道内壁获取第一图像；

S2、根据所述第一图像判断管道内壁是否存在待清理物；若是，则计算待清理物的初步位置并规划行走路线；

S3、控制所述机器人按照所述行走路线行进到所述初步位置；

S4、采集待清理物获取第二图像，并根据所述第二图像计算待清理物的准确位置并规划清理路线；

S5、控制所述机器人按照所述清理路线执行清理动作。

本发明上述的管道清理机器人控制方法中，还包括步骤：

S6、采集清理后的待清理物获取第三图像，并根据所述第三图像判断待清理物是否清理干净；若是，则控制所述机器人沿管道继续行进，并重复步骤S1-S6；若否，则根据所述第三图像计算待清理物的残留位置并规划残留清理路线，并控制机器人按照所述残留清理路线对待清理物进行清理，并重复步骤S6。

本发明上述的管道清理机器人控制方法中，所述步骤S1和S2之间还包括步骤：

根据所述第一图像判断所述机器人是否行进到管道尽头；若是，则控制所述机器人退出管道。

实施本发明提供的一种管道清理机器人控制系统以及方法，具有以下有益效果：

本发明提供的一种管道清理机器人控制系统以及方法，通过采集管道内壁的图像信息来检测是否存在待清理物，并在检测到存有待清理物时，根据图像信息获取初步位置并自动规划行走路线，以控制机器人移动至待清理物处；当机器人移动至该初步位置时，对待清理物进行二次图像采集确认准确位置并自动规划清理路线，从而控制机器人按照清理路线对待清理物进行清理，不仅实现了管理清理机器人的全流程智能化控制，无需人为手动控制，降低了管道内清理的成本，同时能够更加准确地对待清理物进行清理，提高了清理的效率和质量。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明实施例提供的一种管道清理机器人控制系统的结构示意图；

图2是本发明实施例提供的一种管道清理机器人控制方法的流程示意图。

具体实施方式

为了使本领域技术人员能够更加清楚地理解本发明，下面将结合附图及具体实施例对本发明做进一步详细的描述。

图1是本发明实施例提供的管道清理机器人控制系统的示意图，如图1所示，该控制系统包括用于清理管道的机器人10，还包括采集模块20、视觉计算单元30和控制单元40，采集模块20安装在机器人10上，用于实时采集管道内壁获取第一图像；视觉计算单元30连接采集模块20，用于根据所述第一图像判断管道内壁是否存在待清理物；若是，则计算待清理物的初步位置并规划行走路线；控制单元40分别连接机器人10和视觉计算单元20，用于控制机器人10按照所述行走路线移动到所述初步位置；采集模块20还用于在机器人10行进到所述初步位置后采集待清理物获取第二图像，视觉计算单元20还用于根据所述第二图像计算待清理物的准确位置并规划清理路线；控制单元40还用于控制机器人10按照所述清理路线执行清理动作，以对待清理物进行清理。上述控制系统能够根据画面特征检测管道内壁是否存在待清理物，并在检测到待清理物时，控制机器人对待清理物进行清理，解决了管道清理问题，且无需人为手动控制，极大地降低了控制成本，提高了机器人的智能化。

本实施例中，该控制系统还包括人机交互单元50，人机交互单元50连接控制单元40，用于实时监控机器人10的动作状态，以及实现人机交互，以对机器人进行控制，比如查看拍摄的图像信息和机器人的电量信息，或者控制机器人结束工作，并自动退出管道。

需要说明的是，机器人10可参考现有的结构设计，能够实现在管道内爬行移动，并能够对管道内壁的灰尘、铁屑和异物等待清理物进行清理即可，本发明的发明点并不在机器人本身，而在于提供一种用于控制机器人的控制系统以及方法，从而提高机器人的智能化水平。

进一步地，采集模块20还用于一次或重复多次采集清理后的待清理物获取第三图像，视觉计算单元30还用于根据所述第三图像判断待清理物是否清理干净；若是，则控制单元40控制机器人10沿管道继续行进，以清理管道内壁的其他区域；若否，则视觉计算单元30根据每一所述第三图像分别计算待清理物的残留位置并规划残留清理路线，控制单元40还用于控制机器人10按照所述残留清理路线对待清理物进行清理。

需要说明的是，上述视觉计算单元30根据第一次获取的第三图像判断待清理物被清理物清理干净时，控制单元40控制机器人10沿管道继续行进，采集模块20只需采集一次第三图像；若视觉计算单元30根据第一次获取的第三图像判断待清理物没有被清理干净，则需要机器人再次进行清理，并通过采集模块20第二次采集清理后的待清理物获取第三图像，依次类推，重复多次进行第三图像的采集、残留位置的计算以及残留清理路线的规划，直至待清理物被清理干净。

进一步地，视觉计算单元30还用于根据所述第一图像判断机器人10是否行进到管道尽头；若是，则向控制单元40发送机器人已到管道尽头指令，控制单元40控制机器人返回退出管道，从而实现机器人的全流程智能化控制，无需手动操作。

具体地，机器人10包括机器本体11、行走单元12和清理单元13，行走单元12安装在机器本体11上，用于带动机器本体11沿管道行进；清理单元13安装在机器本体11上并可沿管道周向进行旋转运动，用于对待清理物进行清理。

采集模块20包括第一相机21和第二相机22，第一相机21朝向管道长度方向安装在机器本体11正前方，第一相机21预先使用棋盘格标定方式进行标定，用于采集所述第一图像；第二相机22朝向管道径向安装在清理单元13上并与清理单元13同步转动，第二相机22的坐标与清理单元13的坐标预先使用设定方法进行统一，用于采集所述第二图像和第三图像。

上述第一相机21和第二相机22均具备广角镜头，能够拍摄全景图像作为所述第一图像、第二图像和第三图像；其中，第二相机22的坐标与清理单元13的坐标通过九点标定法进行统一，用于确定第二图像、第三图像的坐标系与第二相机坐标系之间的转换关系，从而能够将图像中点的坐标转化为实际的物理尺寸，以确定待清理物的实际位置。

另外，本实施例通过两个相机分别采集图像信息，通过第一相机获取第一图像，能够快速全面的检测是否存有待清理物，还通过第二相机获取第二图像对待清理物进行进一步确认，从而能够获取待清理物的准确位置，避免出现待清理物遗漏的情况，提高清理的质量。

在本实施例中，采集模块20还包括第一光源和第二光源，第一光源与第一相机21一同安装在机器本体11正前方，第二光源与第二相机22一同安装在清理单元13上，用于进行补光，从而提高图像信息的灵敏度。

进一步地，视觉计算单元30依据预先设定的图像处理算法在所述第一图像中划分出感兴趣区域，并根据所述感兴趣区域内图像处理后灰度特征的变化判断管道内壁是否存在待清理物，并通过预设图像算法计算待清理物的中心位置坐标作为所述初步位置，并结合第二相机22的相对位置规划所述行走路线。

需要说明的是，感兴趣区域(ROI区)是指在机器视觉、图像处理中，从被处理的图像中以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域。本实施例通过各种算子(Operator)和函数来求得感兴趣区域，常用的算子如傅里叶滤波、图像类型转换、灰度值提取、边缘提取等，在设计好算子以后，针对不同的相机镜头和管道内径，只需调整算子内部的参数即可；

然后，通过图像Blob斑点算法来计算待清理物的中心位置，图像Blob斑点算法是使用Halcon软件进行图像处理，具体步骤包括：区域分割、提取感兴趣的区域、平滑滤波、增加对比度、灰度值提取、连接相通区域、根据灰度特征提取、提取到的区域计算其面积和中心点、得到中心点位置，能够在感兴趣区域内，把出现灰度突变的范围找出来，从而确定待清理物的中心坐标位置；上述图像Blob斑点算法各个步骤的具体实施可参考现有算法，本实施在此不再赘述；

最后，再根据第二相机22在机器人上的相对位置能够规划出所述行走路径；具体的，考虑到最终的位置信息都是提供给清理单元13服务的，将世界坐标系设定在清理单元13上，第一相机21和第二相机22所建立的坐标系在其相机中心，通过相机标定可将图像坐标转换到第一相机21和第二相机22的坐标系下的坐标，然后根据机器人10的结构信息得到第一相机21和世界坐标系，第二相机22和世界坐标系之间的坐标转换根据，从而可以计算出待清理物与第二相机22之间的实际距离。

例如，假定第一图像上待清理物某一点的图像坐标为[x1,y1,0]，通过相机标定确定的坐标转换矩阵为[a1,a2,a3；b1,b2,b3；0,0,1]，根据该坐标转换矩阵可以计算出待清理物在第一相机21坐标系下的位置[x2,y2,z2]。然后，根据机器人10的结构信息预先设定偏移量即第一相机坐标系和第二相机坐标系之间的坐标转换关系，包括移动矩阵[L1,0,0；0,L2,0；0,0,1]和旋转矩阵[0,1,0；1,0,0；0,0,1]，即可计算出待清理物与第二相机22之间的实际距离。

本实施例中，上述行走路径具体可分解为机器人10沿管道长度方向的移动距离和第二相机22沿管道周向的旋转角度，使得机器人在能够准确到达所处初步位置，然后旋转第二相机22对准待清理物进行拍照，获取所述第二图像。

同理地，视觉计算单元30根据第一图像中感兴趣区域内正常管壁和管道已走到尽头的图像灰度特征不一致的原理判断机器人是否已走到管道尽头。

视觉计算单元30依据预先设定的图像处理算法在所述第二图像中划分出感兴趣区域，并根据所述感兴趣区域内图像处理后灰度特征的变化和图像Blob斑点算法计算待清理物各个分布区域的边缘位置坐标，并以处于最外围的边缘位置坐标为边界确定清理区域，并将所述清理区域按照所述清理单元的清理宽度划分为多层区域，并将所述多层区域首尾依次连接形成所述清理路线。

本实施例中，清理单元采用吸尘头，因吸尘头一次只能吸取固定宽度的区域，而待清理物的分布面积可能大于吸尘头，因此在规划清理路线时，将确定的清理区域按照吸尘头的宽度划分为多层区域，该多层区域沿管道周向依次排布且每一层沿管道长度方向延伸设置，将该多层区域首尾依次连接后形成“Z”字形清理路线，从而覆盖整个清理区域，确保待清理物能够被清理干净。当然，面积小于吸尘头宽度的清理区域在进行清理路线规划时，直接生成直线清理路线，保证覆盖整个清理区域即可。

图2为本发明提供的一种管道清理机器人控制方法的流程图，用于控制清理管道的机器人，该控制方法包括步骤：

S1、实时采集管道内壁获取第一图像；

S2、根据所述第一图像判断管道内壁是否存在待清理物；若是，则计算待清理物的初步位置并规划行走路线；

S3、控制所述机器人按照所述行走路线行进到所述初步位置；

S4、采集待清理物获取第二图像，并根据所述第二图像计算待清理物的准确位置并规划清理路线；

S5、控制所述机器人按照所述清理路线执行清理动作。

进一步地，该控制方法还包括步骤：

S6、采集清理后的待清理物获取第三图像，并根据所述第三图像判断待清理物是否清理干净；若是，则控制所述机器人沿管道继续行进，并重复步骤S1-S6；若否，则根据所述第三图像计算待清理物的残留位置并规划残留清理路线，并控制所述机器人按照所述残留清理路线对待清理物进行清理，并重复步骤S6。

进一步地，所述步骤S1和S2之间还包括步骤：

根据所述第一图像判断所述机器人是否行进到管道尽头；若是，则控制所述机器人退出管道。

本实施例中，上述步骤S2具体包括：

S21、依据预先设定的图像处理算法在所述第一图像中划分出感兴趣区域；

S22、根据所述感兴趣区域内图像处理后灰度特征的变化判断管道内壁是否存在待清理物，并通过图像Blob斑点算法计算待清理物的中心位置坐标作为所述初步位置，并结合所述机器人上第二图像的采集单元的相对位置规划所述行走路线。

上述步骤S4具体包括：

S41、依据预先设定的图像处理算法在所述第二图像中划分出感兴趣区域；

S42、根据所述感兴趣区域内图像处理后灰度特征的变化和图像Blob斑点算法计算待清理物各个分布区域的边缘位置坐标，并以处于最外围的边缘位置坐标为边界确定清理区域，并将所述清理区域按照机器人上的清理单元的清理宽度划分为多层区域，并将所述多层区域首尾依次连接形成所述清理路线。

需要说明的是，上述实施例中涉及到的步骤编号仅用于区别各步骤，而并不用于限制各步骤之间的时间或逻辑的关系，除非文中有明确的限定，否则各个步骤之间的关系包括各种可能的情况。另外，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述控制方法的具体实施步骤可以参考上述控制系统对应的实施过程，在此不再赘述。

综上所述，本发明提供了一种管道清理机器人控制系统以及方法，通过采集管道内壁的图像信息来检测是否存在待清理物，并自动规划行走路线和清理路线，实现了管理清理机器人的全流程智能化控制，无需人为手动控制，降低了管道内清理的成本，提高了机器人的智能化水平。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (9)

1.一种管道清理机器人控制系统，包括用于清理管道的机器人，其特征在于，还包括：

采集模块，安装在所述机器人上，用于实时采集管道内壁获取第一图像；

视觉计算单元，连接所述采集模块，用于根据所述第一图像判断管道内壁是否存在待清理物；若是，则计算待清理物的初步位置并规划行走路线；

控制单元，分别连接所述机器人和视觉计算单元，用于控制所述机器人按照所述行走路线行进到所述初步位置；

所述采集模块还用于在所述机器人行进到所述初步位置后采集待清理物获取第二图像，所述视觉计算单元还用于根据所述第二图像计算待清理物的准确位置并规划清理路线；

所述控制单元还用于控制所述机器人按照所述清理路线执行清理动作；

所述采集模块还用于一次或重复多次采集清理后的待清理物获取第三图像，所述视觉计算单元用于根据所述第三图像判断待清理物是否清理干净；若是，则所述控制单元控制机器人沿管道继续行进，以清理管道内壁的其他区域；若否，则所述视觉计算单元根据每一所述第三图像分别计算待清理物的残留位置并规划残留清理路线，所述控制单元还用于控制机器人按照所述残留清理路线对待清理物进行清理。

2.根据权利要求1所述的管道清理机器人控制系统，其特征在于，所述视觉计算单元还用于根据所述第一图像判断所述机器人是否行进到管道尽头；若是，则向所述控制单元发送机器人已到管道尽头指令，所述控制单元控制所述机器人退出管道。

3.根据权利要求1所述的管道清理机器人控制系统，其特征在于，所述机器人包括机器本体、行走单元和清理单元，所述行走单元安装在所述机器本体上，用于带动所述机器本体沿管道行进；所述清理单元安装在所述机器本体上并可沿管道周向进行旋转运动，用于对待清理物进行清理。

4.根据权利要求3所述的管道清理机器人控制系统，其特征在于，所述采集模块包括第一相机和第二相机，所述第一相机朝向管道长度方向安装在所述机器本体正前方，所述第一相机预先使用设定方式进行标定，用于采集所述第一图像；所述第二相机朝向管道径向安装在所述清理单元上并与清理单元同步转动，所述第二相机的坐标与清理单元的坐标预先使用设定方式进行统一，用于采集所述第二图像和第三图像。

5.根据权利要求4所述的管道清理机器人控制系统，其特征在于，所述视觉计算单元依据预先设定的图像处理算法在所述第一图像中划分出感兴趣区域，并根据所述感兴趣区域内图像处理后灰度特征的变化判断管道内壁是否存在待清理物，并通过预设图像算法计算待清理物的中心位置坐标作为所述初步位置，并结合所述第二相机的相对位置规划所述行走路线。

6.根据权利要求3所述的管道清理机器人控制系统，其特征在于，所述视觉计算单元依据预先设定的图像处理算法在所述第二图像中划分出感兴趣区域，并根据所述感兴趣区域内图像处理后灰度特征的变化和预设图像算法计算待清理物各个分布区域的边缘位置坐标，并以处于最外围的边缘位置坐标为边界确定清理区域，并将所述清理区域按照所述清理单元的清理宽度划分为多层区域，并将所述多层区域首尾依次连接形成所述清理路线。

7.一种利用如权利要求1-6中任意一项所述的管道清理机器人控制系统实现的管道清理机器人控制方法，用于控制清理管道的机器人，其特征在于，包括步骤：

S1、实时采集管道内壁获取第一图像；

S2、根据所述第一图像判断管道内壁是否存在待清理物；若是，则计算待清理物的初步位置并规划行走路线；

S3、控制所述机器人按照所述行走路线行进到所述初步位置；

S4、采集待清理物获取第二图像，并根据所述第二图像计算待清理物的准确位置并规划清理路线；

S5、控制所述机器人按照所述清理路线执行清理动作。

8.根据权利要求7所述的管道清理机器人控制方法，其特征在于，还包括步骤：

S6、采集清理后的待清理物获取第三图像，并根据所述第三图像判断待清理物是否清理干净；若是，则控制所述机器人沿管道继续行进，并重复步骤S1-S6；若否，则根据所述第三图像计算待清理物的残留位置并规划残留清理路线，并控制机器人按照所述残留清理路线对待清理物进行清理，并重复步骤S6。

9.根据权利要求7所述的管道清理机器人控制方法，其特征在于，所述步骤S1和S2之间还包括步骤：

根据所述第一图像判断所述机器人是否行进到管道尽头；若是，则控制所述机器人退出管道。

Images