CN112282787B

CN112282787B - 一种隧道自动化维护多臂机器人及其控制方法

Info

Publication number: CN112282787B
Application number: CN202010955968.5A
Authority: CN
Inventors: 蒋奇; 孙伟凯; 张庆松
Original assignee: Shandong University
Current assignee: Shandong University
Priority date: 2020-09-11
Filing date: 2020-09-11
Publication date: 2021-09-24
Anticipated expiration: 2040-09-11
Also published as: LU500120B1; CN112282787A

Abstract

本公开提出了一种隧道自动化维护多臂机器人及其控制方法，机器人包括行走机构，设置在行走机构上的固定底盘，设置在固定底盘上的若干个多自由度机械臂以及主控平台，所述多自由度机械臂末端搭载有图像检测装置以及维护工具固定槽，所述主控平台分别与多自由度机械臂、图像检测装置以及设置在维护工具固定槽的维护工具通信连接。本公开通过设置多个多自由度机械臂，可以实现本实施例的机器人的多方位同时操作，提高隧道维护装备的维护效率。本公开采用大数据处理与机器学习算法，实现自动化任务规划、机械臂轨迹规划，能够智能化的实现自动隧道检测和维护两方面的功能。

Description

一种隧道自动化维护多臂机器人及其控制方法

技术领域

本公开涉及隧道机器人相关技术领域，具体的说，是涉及一种隧道自动化维护多臂机器人及其控制方法。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，并不必然构成在先技术。

目前，我国已有大量轨道进入运营维护阶段，但是轨道交通隧道空间狭小、机电设备密集、维护天窗时间短，致使隧道维护效率低、效果差、病害处治难，导致服役寿命缩短，甚至威胁交通运营安全。

针对隧道复杂环境和多类型病害处治难题，综合维护作业装备需具备钻孔、注浆、切槽及载人作业等功能，存在开发、集成、测试难度大的问题。发明人发现，针对快速、智能、精准维护的需求，在隧道维护的渗漏水病害整治方面，国内普遍采用通用设备进行打孔注浆，功能单一，缺乏相应专用设备的研发，国内已有的隧道维护装备自动化程度低，多数任务需人工起主导作用，且每种装备应对任务场景相对单一，集成程度低，对维护任务中常见的打孔、切槽、注浆与载人多任务作业需求无法实现。

发明内容

本公开为了解决上述问题，提出了一种隧道自动化维护多臂机器人及其控制方法，实现隧道维护工作的自动化实现。

为了实现上述目的，本公开采用如下技术方案：

一个或多个实施例提供了一种隧道自动化维护多臂机器人，包括行走机构，设置在行走机构上的固定底盘，设置在固定底盘上的若干个多自由度机械臂以及主控平台，所述多自由度机械臂末端搭载有图像检测装置以及维护工具固定槽，所述主控平台分别与多自由度机械臂、图像检测装置以及设置在维护工具固定槽的维护工具通信连接。

一个或多个实施例提供了一种隧道自动化维护多臂机器人的控制方法包括自动化任务规划方法、机械臂轨迹规划方法以及人工交互工作方法；

自动化任务规划方法，包括如下步骤：

采用Apriori关联分析算法，构建隧道缺陷情况与维护操作流程对应关系模型；

获取隧道的缺陷情况数据；

将缺陷情况数据输入至隧道缺陷情况与维护操作流程对应关系模型中，输出隧道维护操作方案。

与现有技术相比，本公开的有益效果为：

(1)本公开通过设置多个多自由度机械臂，可以实现本实施例的机器人的多方位同时操作，提高隧道维护装备的维护效率。

(2)本公开采用大数据处理与机器学习算法，实现自动化任务规划、机械臂轨迹规划，能够智能化的实现自动隧道检测和维护两方面的功能。

(3)本公开在固定底板上设置了人机交互装置，现场隧道维护工作复杂的场景，方便工作人员进行人工控制，可以近距离的观察隧道病害的位置进行处理。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的限定。

图1是本公开实施例的多臂机器人主视图；

图2是本公开实施例的多臂机器人俯视图；

图3是本公开实施例的自动化任务规划方法流程图；

图4是本公开实施例的机械臂轨迹规划方法流程图。

具体实施方式：

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。需要说明的是，在不冲突的情况下，本公开中的各个实施例及实施例中的特征可以相互组合。下面将结合附图对实施例进行详细描述。

在一个或多个实施方式中公开的技术方案中，如图1-2所示，一种隧道自动化维护多臂机器人，包括行走机构，设置在行走机构上的固定底盘，设置在固定底盘上的若干个多自由度机械臂以及主控平台，所述多自由度机械臂末端搭载有图像检测装置以及维护工具固定槽，所述主控平台分别与多自由度机械臂、图像检测装置以及设置在维护工具固定槽的维护工具通信连接。

本实施例通过设置多个多自由度机械臂，可以实现本实施例的机器人的多方位同时操作，提高隧道维护装备的维护效率。

可选的，可以在每个多自由度机械臂上设置图像检测装置，图像检测装置可以采用非接触式图像检测装置，便于自动化维护过程中病害的检测与多自由度机械臂对自身位置的定位。

可选的，图像检测装置包括CCD面阵相机、红外成像仪、激光扫描仪与信息传输系统，所述CCD面阵相机、红外成像仪、激光扫描仪分别通过信息传输系统将采集的信息传输至控制平台。

CCD面阵相机灵敏度高、信息质量好、分辨率高且稳定的相机，保证对隧道衬砌裂缝信息的完整采集，减少图像拼接的难度。可以适应隧道内部的环境复杂、光照不足、隧道衬砌背景不均匀，拍摄环境差等使用环境。

红外成像仪，通过检测隧道温度分布情况，分析隧道表面漏水信息。由于物体的温度与其红外线辐射能量有关，红外成像仪能够将红外线辐射转换，能够以非接触的方式测量物体的温度。

激光扫描采集到的隧道表面的点数据须通过转换用于逆向运动学模型的求解。为了便于雷达坐标系与机械臂的坐标系的转换，在雷达使用前对其标定。使用时通过旋转微调雷达角度，在隧道点云主体的基础上对机械臂末端进行轨迹规划，得到末端运行的一系列轨迹点，包含需要到达的位置和朝向。

在一些实施例中，所述维护工具包括切割器，钻机或/和注浆管等,设置不同的维护工具通过选择与维护工具相配合的固定装置，将维护工具设置在机械臂末端的维护工具固定槽中。

多自由度机械臂至少包括依次连接的第一机械臂、第二机械臂和第三机械臂，所述机械臂之间的连接处设置轴向旋转关节和俯仰关节。轴向旋转关节用于实现机械臂末端360度轴向旋转功能，便于维护工作的进行。

可以实现的，多自由度机械臂两两成对设置在固定底盘上，控制平台控制两两成对设置的多自由度机械臂协同工作。可实现多方位同时施工，单一方向两个机械臂可以独立进行不同任务，也可以多臂协同工作，增加维护工作的效率和灵活度。

在一些实施例中，固定底盘包括上层支撑面和下层支撑面，所述上层支撑面和下层支撑面之间设置螺旋升降台，上层支撑面上设置控制平台以及多自由度机械臂，螺旋升降台可以提供轴向方位旋转实现高度调整。

可选的，下层支撑面的下表面设置支撑支架，可用于支撑系统工作，也可以用于在行走机构上的固定。

控制平台能够实现自动化维护与人机交互辅助操作两种工作模式。

为实现人工操作，可实现的，控制平台还可以设置有人机交互装置，所述人机交互装置包括显示装置、力反馈遥操作主手，所述显示装置、力反馈遥操作主手分别与控制平台通信连接。

在病害情况复杂难以自主决策维护时，由施工人员，通过人机交互装置进行操作。主控台搭载有力反馈遥操作主手，用于感知维护作业中机械臂接触状态，便于工作人员及时调整工作策略。

基于以上机器人，本实施例还提供一种隧道自动化维护多臂机器人的控制方法，该方法可以在控制平台中实现，包括自动化任务规划方法、机械臂轨迹规划方法以及人工交互工作方法。

其中，自动化任务规划方法，可以包括如下步骤：

在自动化维护过程中，通过大数据处理与机器学习算法，把熟练操作员的工作流程模型化，提供专业的AI决策，进行自动化维护的任务规划的方法，具体为：

步骤101、采用Apriori关联分析算法，构建隧道缺陷情况与维护操作流程对应关系模型；

步骤102、获取隧道的缺陷情况数据；

具体的，可以通过图像采集装置进行隧道图像采集，通过图像处理获得隧道缺陷。

步骤103、将缺陷情况数据输入至隧道缺陷情况与维护操作流程对应关系模型中，输出隧道维护操作方案。

步骤101中，采用Apriori关联分析算法，构建隧道缺陷情况与维护操作流程对应关系模型的方法，具体为：

步骤1011、获取隧道维护的历史数据，所述历史数据包括隧道历史缺陷数据、对应该历史缺陷数据的历史维护方案；

可选的，历史数据可以从各大各专家知识库、论坛、技术报告等资料库中获取；

步骤1012、采用Apriori关联分析算法，计算病害情况与维护方案相关知识间相似性与相关性，去除冗余知识并最终形成知识网络，即为隧道缺陷情况与维护操作流程对应关系模型。

具体的，冗余知识通过计算的相关性大小判断，可以设定相关性阈值，当计算的相关性低于设定的阈值时，判定为冗余知识。

本实施例隧道缺陷情况与维护操作流程对应关系模型能够根据隧道维护数据进行自学习，能够为紧跟现代隧道病害诊断与维护技术发展，强化应对突发病害的诊断与处置决策能力。

步骤102中获取隧道的缺陷情况数据；具体的，缺陷情况数据可以通过图像采集装置进行隧道图像采集，通过图像处理获得隧道缺陷及评估结果数据，具体的，可以如下：

步骤1021、对CCD面阵相机采集的图像进行图像处理获得隧道病害裂缝信息；

图像处理过程，可以具体为：

步骤1021-1：获取面阵相机采集的图片，按照设定的频率进行采样；

步骤1021-2：基于卷积神经网络算法，设定滑动窗口的对图像进行特征提取；

可选的，卷积神经网络可以采用yolov4网络。

对于面阵相机采集的图片，按照一定的频率采样，然后将采样好的图片输入到预训练好的目标检测网络中进行检测，预训练目标检测网络使用yolov4网络，对图片进行候选框的提取。

具体的，候选框的提取采用滑动窗口的方法进行，设定滑动窗口的大小，对每个窗口中的局部信息进行特征提取。

具体的，所述提取的特征包括图像的颜色、图像纹理特征、图像形状特征，以及一些中层次或高层次语义特征。

步骤1021-3：根据提取的图像特征进行分类，获得隧道病害裂缝缺陷的分类信息。

在特征提取后，对候选区域提取出的特征进行分类判定，可以采用决策树模型或者朴素贝叶斯模型构建分类器，该分类器可以进行事先的学习和训练得到。这个过程中，对于单类别目标检测只需要区分当前的窗口中所包含的对象是背景还是目标。对于多分类问题需要进一步的区分当前窗口中对象的类别。在经过对复选框判定后就会得到一系列的可能为检测目标的候选框，这些候选框可能会存在一些重叠的状况，这时需要一个NMS来对候选框进行合并，最终得到需要检测的目标也就是算法最终输出的结果。

步骤1022、对红外成像仪采集的图像进行图像处理获得隧道表面漏水信息；

具体的，图像处理过程具体为：

步骤1022-1：将采集的图像分割为设定的大小，输入至GAN语义分割网络；

步骤1022-2：在GAN语义分割网络按照设定的特征进行迭代计算将小区块进行合并，获得像素块；

步骤1022-3：将获得的像素块输入到目标检测网络中，判定目标病害种类。

其中，目标检测网络可以具体为R-CNN、Fast R-CNN、或者Faster R-CNN。

步骤1023、获取激光雷达的点云数据确定当前机械臂与隧道表面的距离及相对位置；

步骤1024、结合上述隧道病害裂缝、隧道表面漏水信息及激光雷达的点云数据，获得隧道面的三维重建数据；

步骤1025、衬砌混凝土不同病害以不同颜色区分显示，生成热图实现自动评估利用云计算使施工现场与远程终端之间实时共享信息，可以由专家作出指导。

在一些实施例中，机械臂轨迹规划方法，包括如下步骤：

步骤201、获取激光雷达的隧道三维环境信息、隧道表面病害位置、障碍物分布及机械臂位置信息；

步骤202、利用训练好的深度强化学习网络，对激光雷达采集的隧道三维环境信息与机械臂位置信息通过场景解析网络进行解析处理；

步骤203、采用Lstm网络预测输出机械臂运行状态作为实时的机械臂规划轨迹，直至机械臂末端执行机构到达隧道表面病害位置。

步骤205、

为了便于雷达坐标系与机体基坐标系的转换，在雷达使用前对其标定。

使用时通过旋转微调雷达角度，在隧道点云主体的基础上对机械臂末端进行轨迹规划，得到末端运行的一系列轨迹点，包含需要到达的位置和朝向。

激光雷达采集到的隧道表面的点数据通过转换用于逆向运动学模型的求解。

本实施例针对维护操作安全和机械臂灵巧度的需要，使用基于协作空间与灵巧度的机械臂的多目标规划算法，构建实时路径规划方案。

训练过程中将仿真实验得到的训练数据信息作为当前状态带网络中得到预训练模型。利用训练好的深度强化学习网络，对激光雷达采集的隧道三维环境信息与机械臂位置信息通过场景解析网络进行解析处理，作为后续网络的输入，使用Lstm网络预测下一步机械臂运行状态，直至预测出机械臂末端执行机构到达隧道表面病害位置为止。

研究在多源误差影响下，机械臂捕捉运动随机地偏离预定义的轨迹，使用高斯分布描述机械臂和视觉系统的不确定性；在机械臂进行目标捕获时，首先使用路径规划算法生成可行捕获轨迹，用概率论结合卡尔曼滤波或者非线性优化的方法结合现代控制理论对其可行轨迹进行先验概率评估，将捕获概率最大的轨迹作为工作轨迹，依托构建视觉伺服闭环控制系统，使机械臂能够沿一条规划好的可行轨迹进行运动。

人机交互工作方法，具体的包括如下步骤：

步骤301、实时获取人机交互装置的反馈遥操作主手输入的移动方向以及移动力度；

步骤302、按照移动方向移动机械臂，通过主手感知移动力度计算移动速度，按照移动速度移动。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims

1.一种隧道自动化维护多臂机器人的控制方法，其特征是，包括自动化任务规划方法、机械臂轨迹规划方法以及人工交互工作方法；

自动化任务规划方法，包括如下步骤：

采用Apriori关联分析算法，构建隧道缺陷情况与维护操作流程对应关系模型；获取隧道的缺陷情况数据；将缺陷情况数据输入至隧道缺陷情况与维护操作流程对应关系模型中，输出隧道维护操作方案；

机械臂轨迹规划方法，包括如下步骤：

获取激光雷达的隧道三维环境信息、隧道表面病害位置、障碍物分布及机械臂位置信息;

利用训练好的深度强化学习网络，对激光雷达采集的隧道三维环境信息与机械臂位置信息通过场景解析网络进行解析处理；

采用Lstm网络预测输出机械臂运行状态作为实时的机械臂规划轨迹，直至机械臂末端执行机构到达隧道表面病害位置；

所述隧道自动化维护多臂机器人，包括行走机构，设置在行走机构上的固定底盘，设置在固定底盘上的若干个多自由度机械臂以及主控平台，所述多自由度机械臂末端搭载有图像检测装置以及维护工具固定槽，所述主控平台分别与多自由度机械臂、图像检测装置以及设置在维护工具固定槽的维护工具通信连接；在每个多自由度机械臂上设置图像检测装置，图像检测装置包括CCD面阵相机、红外成像仪、激光扫描仪与信息传输系统，所述CCD面阵相机、红外成像仪、激光扫描仪分别通过信息传输系统将与控制平台通信连接。

2.如权利要求1所述的一种隧道自动化维护多臂机器人的控制方法，其特征是：人机交互工作方法，包括如下步骤：

实时获取人机交互装置的反馈遥操作主手输入的移动方向以及移动力度；

按照移动方向移动机械臂，通过主手感知移动力度计算移动速度，按照移动速度移动。

3.如权利要求1所述的一种隧道自动化维护多臂机器人的控制方法，其特征是：多自由度机械臂至少包括依次连接的第一机械臂、第二机械臂和第三机械臂，所述机械臂之间的连接处设置轴向旋转关节和俯仰关节。

4.如权利要求1所述的一种隧道自动化维护多臂机器人的控制方法，其特征是：多自由度机械臂两两成对设置在固定底盘上，控制平台控制两两成对设置的多自由度机械臂协同工作。

5.如权利要求1所述的一种隧道自动化维护多臂机器人的控制方法，其特征是：固定底盘包括上层支撑面和下层支撑面，所述上层支撑面和下层支撑面之间设置螺旋升降台，上层支撑面上设置控制平台以及多自由度机械臂，螺旋升降台提供轴向方位旋转实现高度调整。

6.如权利要求1所述的一种隧道自动化维护多臂机器人的控制方法，其特征是：维护工具包括切割器，钻机或/和注浆管。

7.如权利要求1所述的一种隧道自动化维护多臂机器人的控制方法，其特征是：控制平台还设置有人机交互装置，所述人机交互装置包括显示装置、力反馈遥操作主手，所述显示装置、力反馈遥操作主手分别与控制平台通信连接。