CN109358071A - 自主覆盖式作业的大型设备表面损伤检测系统及其方法 - Google Patents

Abstract

本发明为一种自主覆盖式作业的大型设备表面损伤检测系统及其方法，所述系统可安装在检测作业平台上。系统由组合导航定位模块、激光扫描模组、图像处理单元、主控制器、电源管理单元、数据记录仪、数据交换单元、缺陷检测仪器构成。通过激光扫描模组检测目标与障碍物位置，并与组合导航定位数据相融合；图像处理单元实时采集信息并分析损伤；主控制器通过动态路径规划，实现自主避障和覆盖式引导作业。本发明以较低的成本，通过设计并引入高精度导航定位、机器视觉、自主避障与作业引导、在线损伤分析等技术，实现被检设备和障碍物的智能识别、自主导航与全覆盖式检测作业，显著提高大型设备表面损伤检测作业的效率、自主性和覆盖度。

Description

自主覆盖式作业的大型设备表面损伤检测系统及其方法

技术领域

本发明涉及表面损伤检测领域，尤其涉及一种利用无人作业平台进行目标识别与自主引导进而实现大型设备全覆盖式表面损伤检测的方法，属于机器人、图像识别与跟踪、自主导航与机器视觉等技术领域。

背景技术

工业现场的大型设备往往需要定期进行表面损伤检测，从而及时防止损伤部位的进一步破坏。传统的检测方法是通过望远镜进行肉眼观测，或采用升降机、吊篮、安全绳等高空作业设备靠近检测目标进行观测，这种检测方式依赖于人的肉眼判断，人为经验误差大，且效率低下，危险性较高，尤其对于高压电线塔架、大型桥梁、风力发电机等室外超大型设施设备而言，作业高度、目标尺寸及恶劣环境给作业带来了很大困难。近年来出现了基于空中平台(如多旋翼无人机、直升机)的检测方案，空中平台搭载摄像机、超声波、激光雷达等高精度设备近距离靠近被检设备进行采样。但目前的检测方案中，空中平台只是起到搭载设备的作用，平台缺乏自主作业能力，对遥控手的操作有较大的依赖性。当检测点距离地面操作点较远时，遥控驾驶难度很大，无法在避免碰撞、保证飞行安全的前提下使平台充分靠近目标点，因此所获取的图像或表面纹理的质量受到了较大的限制。此外，人为遥控操作的效率比较低，且无法实现全覆盖式自主采样，故而现有方案的实际使用效果并不理想，能够自主覆盖式作业的技术尚需突破。

发明内容

本发明提出了一种自主覆盖式作业的大型设备表面损伤检测系统，该系统以较低的成本，借助无人作业平台，通过设计并引入自主避障模组、高精度相对定位、机器视觉、在线损伤分析等技术，有效提高大型设备表面损伤检测作业的效率、自主性和覆盖度。

本发明采用的技术方案为：

一种自主覆盖式作业的大型设备表面损伤检测系统，其特征在于，所述系统包括：用于定位的组合导航定位模块，可由三轴加速度计、三轴陀螺仪、三轴磁力计、气压高度计、卫星导航接收机、广角视觉传感器等构成；用于检测目标和障碍物位置的激光扫描模组，包括激光测距传感器、机械扫描装置、测距控制器；用于识别检测设备、分析表面损伤概率的图像处理单元；用于整合数据、规划路径、实现平台与检测设备控制的主控制器；用于为整系统供电的电源管理单元；用于记录位置、姿态数据与图像的数据记录仪；用于发送和接收数据的数据交换单元；用于采集高清图像的摄像机、超声波或激光雷达等高精度缺陷检测仪器。

作为优选，所述组合导航定位模块用于实时计算作业平台的位姿信息，为自主覆盖式作业提供基础数据。组合导航定位模块根据加速度、陀螺仪、磁力计、高度计、卫导、广角视觉等传感器采集的原始数据，进行数据融合，给出平台的姿态、速度、位置等数据，同时获取并更新周边的地图信息(即目标物和障碍物地图)。其中，广角视觉传感器固连在平台前方，采集前向图像信息，一方面用于视觉导航，另一方面将广角图像传输至图像处理单元，用于被检设备的自动识别。

作为优选，所述激光扫描模组用于测量目标和障碍物的位置。激光扫描模组由多套安装在平台不同方向的扫描组件(典型值为六套)和一个集中式测距控制器组成。扫描组件可由两自由度机械扫描装置与激光测距传感器构成。扫描装置可由X轴、Y轴两个舵机带动，分别沿两个方向摆动，上面固定有激光测距传感器。测距控制器按照预设的程序控制舵机往返摆动，带动激光测距传感器旋转，从而可以得到高频的角度与距离数据。经事先标定和主控制器整合后，可以实时获取障碍物的相对位置和大小。根据组合导航定位模块给出的平台位姿信息，可进一步获取障碍物的绝对位置和尺寸，该信息可弥补由光照条件带来的视觉定位误差，提高障碍物和目标物探测的精度。障碍与目标信息传输给主控制器，用于动态路径规划，实现自主避障和覆盖式引导作业。

所述图像处理单元用于识别被检设备，分析其表面损伤和缺陷。由于目标识别需要有较宽的视野，因此采用固连在平台前方的视觉传感器采集的广角图像信息，通过机器学习算法(事先完成分类器训练)，对图片进行分类与识别。将目标分类结果传输给主控制器，由主控制器进行决策和引导控制。同时，根据高精度缺陷检测仪器采集的信息，采用神经网络，识别出破损、裂纹等表面损伤，将检测结果发送至主控制器，以完成动态路径调整，实现进一步的细节采样并实时报送损伤点信息。

所述主控制器是表面损伤检测系统的核心控制器，通过数据整合，进行动态路径规划，完成自主避障与全覆盖式引导作业控制。主控制器通过数据交换单元与地面控制站进行通讯，执行操作员上传的作业要求与宏观指令，并下传主要的导航与控制信息，在地面控制站显示和记录，供操作员监控；获取组合导航定位模块发送的平台位姿信息，进行位姿闭环控制，通过调整平台执行机构的动作(如调整电机转速或舵机偏角)保持平台位姿稳定、跟踪位姿控制指令；接收图像处理单元发送的目标分类识别结果和主控制器整合的障碍物与目标物的位置尺寸信息，对操作员的宏观指令进行分解，采用带有障碍规避和目标全覆盖等约束条件的路径规划方法，实时生成并动态调整作业平台的采样点序列，并据此调整平台的位姿运动，实现自主避障和全覆盖式作业控制。同时，根据图像处理单元给出的被检设备表面损伤概率的实时分析结果，对作业过程进行动态调整：若损伤概率超过阈值，则动态调整采样点序列，进一步靠近损伤部位，进行多角度的细节采样，并记录损伤点的相对坐标，以供操作员后续进行最终的损伤判定；将平台的主要导航与控制数据、被检设备的表面高清采样信息以及损伤分析结果传输给机载数据记录仪，以备后台进行详细的数据分析。

所述电源管理单元为各子系统提供需要的电源，具体作用包括：对外部输入电压的极性和电压范围进行正确性和安全性判断，将供电电压输入给变压模块，将输入电压转化为各子系统需要的电压，为其供电；当外部电源的输入电压超出正常范围时，发出声光报警。

所述数据记录仪接收主控制器发送的数据，将其写入存储芯片中，以备事后详细分析。记录的内容主要包括平台的导航与控制数据、被检设备的表面纹理高清采样信息以及损伤分析结果。

所述数据交换单元用于检测平台主控制器与地面站之间的数据传输，分为机载单元和地面单元两部分，两者之间通过无线电进行信息传输。地面单元将地面站发来的控制指令打包后经机载单元传输给主控制器；同时，机载单元将主控制器发来的下行数据打包后经地面单元传输给地面站；通过双向数据传输实现地面站对检测平台的实时监测与遥控。

所述高精度缺陷检测仪器用于采集被检设备的表面信息。可根据实际需求来确定仪器类型，如高清摄像机、超声波或激光雷达等高精度仪器。

进一步的，所述的主控制器、图像处理单元、激光测距控制器、数据记录仪可由DSP、ARM或单片机中的一种运算单元来实现；所述的组合导航定位模块可由加速度、陀螺仪、磁力计、高度计、卫导系统、广角视觉等多种传感器组合，可采用SLAM算法进行同步定位与构图，可采用KF、EKF、UKF、PF、神经网络等滤波方法中的一种进行数据融合；卫导系统可以是北斗、GPS、GLONASS、Galileo中的一种或几种的组合。

本发明的有益效果主要表现在：相比于传统的大型设备表面损伤检测方法，本发明以较低的成本，通过设计和引入高精度导航定位、机器视觉、自主避障与自动引导、损伤分析等技术，实现被检设备和障碍物的智能识别、自主导航与全覆盖式检测作业，显著提高大型设备表面损伤检测作业的效率、自主性和覆盖度。

附图说明

图1是一种自主覆盖式作业的大型设备表面损伤检测系统的结构框图。

图2是一种主控制器自主覆盖式作业的流程图。

图3是一种低成本激光扫描模组的结构图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步阐述和说明。本发明中各个实施方式的技术特征在没有相互冲突的前提下，均可进行相应组合。

本发明的自主覆盖式作业的大型设备表面损伤检测系统可安装在多旋翼、直升机等飞行平台和机器人等检测作业平台上，用于高层楼房、高压电线塔架、大型桥梁、风力发电机等室外超大型设施设备的表面损伤检测。该系统由组合导航定位模块、激光扫描模组、图像处理单元、主控制器、电源管理单元、数据记录仪、数据交换单元、高精度缺陷检测仪器构成。具体如下：

参照附图1，本发明以主控制器为核心，采用激光扫描测距装置、组合导航模块、广角视觉进行自主导航与障碍物探测；根据目标识别、损伤分析结果和操作员指令进行动态路径规划；然后根据规划结果和导航信息进行无人平台控制和设备控制，实现对被检设备的覆盖式表面信息采样；采用神经网络的方法在线实时分析设备表面损伤概率，并动态调整采样点序列，进行细节分析。按照这样的系统结构和检测方法，实现被检设备的全覆盖式表面信息采样。

参照附图2，主控制器的自主覆盖式检测流程可以分为指定作业任务、目标区域定位、采样点动态规划、无人平台移动控制、障碍物检测、设备表面信息采样、在线损伤分析、损伤部位重采样、数据记录等多个过程。

1)指定作业任务：本发明中，操作员可通过地面站选择被检设备的类型、形状、维度及作业要求。类型可分为建筑物、塔架、桥梁等；形状可包括立方体、圆柱、圆锥、复杂几何体等；维度可包括点状、线状、平面和立体等多种；作业要求可涵盖分辨率、重复覆盖率、重采样方式等。作业任务指定后，主控制器即可获知作业目标和要求。

2)目标区域定位：根据操作员设定的作业目标类型及作业要求，本发明中的主控制器可以控制无人平台进行移动(操作员可辅助调整)，并调整广角视觉传感器的视角，以识别目标的特征，并与操作人员设置的参数进行匹配；匹配完成后，通过视觉定位算法，计算被检区域的边界坐标。具体方法和流程为：控制无人平台移动，调整广角视觉传感器的视角，获取被检设备的全局信息，记录视觉传感器的位置和视角信息，并采集图像；调整无人平台的位置和角度，重复进行三次采样，分别获取三个不同视角下的图像S1、S2、S3，视觉传感器位置P1、P2、P3和视角A1、A2、A3；采用Harris角点检测算法，分别识别三组图像中的被检设备的特征点；将三组数据两两结合，分别进行特征匹配，结合视觉传感器的位置与视角信息，采用动态双目视觉定位算法对特征点进行定位；采用EKF算法对三组位置信息进行数据融合，对设备特征点的位置进行最优估计，以作为备选的目标区域边界点；由操作员从备选边界点中顺序地进行确认，获取目标区域边界的准确定位。

3)采样点动态规划：本发明中，当初次确定被检区域边界坐标时，或因检测到危险障碍物而需要调整途径点或采样点时，或因检测到疑似损伤点而需要重采样时，主控制器可以自动规划区域全覆盖的安全采样点序列；先采用全覆盖式路径规划方法规划平台运动路径，然后根据预设的采样分辨率、重复覆盖率等参数将连续的路径离散化为采样点序列，以供平台移动控制系统参考。具体方法和流程为：被检目标区域确定后，采用Canny算子检测设备边缘，获取设备形状信息；为了提高路径规划的效率，对路径规划算法进行优化改进，设计带有方向约束和障碍规避的搜索方法；根据设备不同区域的特征方向，或水平、垂直等特殊方向，将被检区域划分为不同走向的子区域；对每个子区域划分网格，采用带有特征方向约束和障碍规避的改进型启发式搜索方法，规划各子区域的运动路径；然后将不同区域的运动路径拼合成完整的路径；最后根据网格将运动路径离散化，得到采样点序列。

4)无人平台移动控制：本发明中，检测路径及采样点序列规划完成后，主控制器可控制无人平台按照顺序移动至相应的采样点进行采样。移动控制可以采用串级控制结构，当无人平台的位置与目标采样点之间有偏差时，控制器将操纵执行器(电机或舵机)进行动作，从而减小位置偏差，使平台的位姿得到稳定的跟踪控制。

5)障碍物检测：本发明中的无人平台在移动过程中，采用激光扫描测距模组实时测量各个方位障碍物或目标物的相对方向和距离，激光扫描测距模组由多套安装在平台不同方向的扫描组件(典型值为六套)和一个集中式测距控制器组成，扫描组件参照附图3，可由两自由度机械扫描装置与激光测距传感器构成。扫描装置可由X轴、Y轴两个舵机带动，分别沿两个方向摆动，上面固定有激光测距传感器。测距控制器按照预设的程序控制舵机往返摆动，带动激光测距传感器旋转，将距离测量范围由点扩展至线，进而延伸为面，得到某个方向的目标距离测量信息。

扫描模组采用基于圆锥面的高效扫描方式，扫描算法与激光测距传感器的更新频率f、扫描范围a及期望达到的角度分辨率da有关，具体扫描方法为：首先完成中心点扫描，然后使锥面数N依次增加，依次扫描锥角为2*N*da的圆锥面，直至锥面角度扩展至2*a；而后再使锥面减小，直至回到中心点；如此往复，以实现连续高效的扫描。对于锥角为2*N*da的锥面，舵机1采用cos(da*f/sin(N*da)*t)的方法进行扫描，舵机2采用sin(da*f/sin(N*da)*t)的方法进行扫描。这种扫描方式可有多种变化，通过调整两个舵机的扫描算法，可以实现均匀分布的扫描方式和由中心到外缘逐渐稀疏化的扫描方式，以适应不同的应用场景。

扫描模组事先经过离线标定，可以获取PWM值或电压值与实时角度的对应关系，经主控制器整合后，可以获取各个方向障碍物的相对位置和大小。根据组合导航定位模块给出的平台位姿信息，可进一步获取障碍物的绝对位置和尺寸，该信息可弥补由光照条件带来的机器视觉算法误差，提高障碍物和目标物探测的精度。

6)设备表面信息采样：本发明中，主控制器判断无人平台到达采样点并保持位姿稳定后，发送控制信号给高精度缺陷检测仪器，使其采集被检设备的表面信息。采用的控制接口形式取决于检测仪器所支持的接口范围，主控制器可支持串口、开关量、红外、SPI等多种接口和总线，以适配高清摄像机、超声波或激光雷达等高精度仪器；图像处理单元通过HDMI、AV等接口读取仪器采集的数据，用于在线损伤分析。

7)在线损伤分析：图像处理单元获取仪器采集的表面数据后，通过神经网络的先进算法，识别出破损、裂纹等表面损伤，并给出损伤概率，用于主控制器的决策。其中，神经网络的参数可事先经过离线训练。

8)损伤部位重采样：图像处理单元将损伤分析结果传输至主控制器，主控制器根据预设阈值进行判断，若损伤概率超过阈值，则重新调整采样点序列，进一步靠近损伤部位，自动进行多角度的细节采样，并记录损伤点的相对坐标，以供操作员后续进行最终的损伤判定。重采样过程采用双圆环、等角度间隔的方式实现全方位细节信息的高效采集：首先采用双目视觉、激光扫描模组与组合导航定位系统相融合的方法计算损伤部位的空间位置P与方向a，然后计算与点P距离为d的垂直采样点的位置O，作为第一个重采样点；而后在以P为顶点、以OP为中心线、高度为d的60°锥形底面等间隔地取N个重采样点；在以P为顶点、以OP为中心线、高度为d/2的120°锥形底面等间隔地取N个重采样点；最后将2N+1个重采样点添加至采样点序列。

9)数据记录：本发明中，当主控制器检测到损伤部位时，将平台的主要导航与控制数据、被检设备的表面高清采样信息以及损伤分析结果传输给机载数据记录仪，以备后台进行详细的数据分析。

以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (6)

1.一种自主覆盖式作业的大型设备表面损伤检测系统，其特征在于，所述系统包括：

用于定位的组合导航定位模块；用于检测目标和障碍物位置的激光扫描模组；用于识别检测设备、分析表面损伤概率的图像处理单元；用于整合数据、规划路径、实现平台与检测设备控制的主控制器；用于为系统供电的电源管理单元；用于记录位置、姿态数据与图像的数据记录仪；用于发送和接收数据的数据交换单元；用于采集被检设备的表面信息的缺陷检测仪器。

2.根据权利要求1所述的自主覆盖式作业的大型设备表面损伤检测系统，其特征在于：

所述的组合导航定位模块包括三轴加速度计、三轴陀螺仪、三轴磁力计、气压高度计、卫星导航接收机、广角视觉传感器；所述的广角视觉传感器固连在系统前方，采集前向图像信息；所述组合导航定位模块根据采集的原始数据，进行数据融合，给出平台的姿态、速度、位置，同时获取并更新周边的地图信息。

3.根据权利要求1所述的自主覆盖式作业的大型设备表面损伤检测系统，其特征在于：

所述激光扫描模组包括若干扫描组件和一个测距控制器；所述的扫描组件由两自由度机械扫描装置与激光测距传感器构成；两自由度机械扫描装置实现X轴、Y轴两个方向的摆动，其上面固定有所述的激光测距传感器。

4.根据权利要求1所述的自主覆盖式作业的大型设备表面损伤检测系统，其特征在于：

所述的主控制器通过数据交换单元与地面控制站进行通讯，执行操作员上传的作业要求与宏观指令，并下传导航与控制信息，在地面控制站显示和记录；

主控制器获取组合导航定位模块发送的平台位姿信息，进行位姿闭环控制，通过调整平台执行机构的动作保持平台位姿稳定、跟踪位姿控制指令；

接收图像处理单元发送的目标分类识别结果和主控制器整合的障碍物与目标物的位置尺寸信息，对操作员的宏观指令进行分解，采用带有障碍规避和目标全覆盖等约束条件的路径规划方法，实时生成并动态调整作业平台的采样点序列，并据此调整平台的位姿运动，实现自主避障和全覆盖式作业控制；

同时，根据图像处理单元给出的被检设备表面损伤概率的实时分析结果，对作业过程进行动态调整：若损伤概率超过阈值，则动态调整采样点序列进一步靠近损伤部位，进行多角度的细节采样，并记录损伤点的相对坐标；

将平台的导航与控制数据、被检设备的表面高清采样信息以及损伤分析结果传输给机载数据记录仪，以备进行详细的数据分析。

5.根据权利要求1所述的自主覆盖式作业的大型设备表面损伤检测系统，其特征在于：

所述数据交换单元用于检测平台主控制器与地面站之间的数据传输，分为机载单元和地面单元两部分，两者之间通过无线电进行信息传输；地面单元将地面站发来的控制指令打包后经机载单元传输给主控制器；同时，机载单元将主控制器发来的下行数据打包后经地面单元传输给地面站；通过双向数据传输实现地面站对检测平台的实时监测与遥控。

6.一种如权利要求1所述的自主覆盖式作业的大型设备表面损伤检测系统的检测方法，其特征在于包括如下步骤：

1)指定作业任务：操作员通过地面站选择被检设备的类型、形状、维度及作业要求；作业任务指定后，主控制器获知作业目标和要求；

2)目标区域定位：根据操作员设定的作业目标及作业要求，所述的主控制器控制无人平台进行移动，并调整广角视觉传感器的视角，以识别目标的特征，并与操作人员设置的参数进行匹配；匹配完成后，通过视觉定位算法，计算被检区域的边界坐标；

3)采样点动态规划：当初次确定被检区域边界坐标时，或因检测到危险障碍物而需要调整途径点或采样点时，或因检测到疑似损伤点而需要重采样时，主控制器自动规划可全覆盖的安全采样点序列；先采用全覆盖式路径规划方法规划平台运动路径，然后根据预设的采样分辨率、重复覆盖率将连续的路径离散化为采样点序列，以供平台移动控制系统参考；

4)无人平台移动控制：检测路径及采样点序列规划完成后，主控制器控制无人平台按照顺序移动至相应的采样点进行采样，移动控制采用串级控制结构，当无人平台的位置与目标采样点之间有偏差时，控制器将操纵执行器进行动作，从而减小位置偏差，使平台的位姿得到稳定与跟踪控制；

5)障碍物检测：无人平台在移动过程中，采用激光扫描测距模组实时测量各个方位障碍物或目标物的相对方向和距离，激光扫描测距模组由多套安装在平台不同方向的扫描组件和一个集中式测距控制器组成，扫描组件由两自由度机械扫描装置与激光测距传感器构成，扫描装置由X轴、Y轴两个舵机带动，分别沿两个方向摆动，上面固定有激光测距传感器；测距控制器按照预设的程序控制舵机往返摆动，带动激光测距传感器旋转，从而可以得到高频距离数据；经事先离线标定，可获取舵机的旋转角度，经主控制器整合后，获取障碍物的相对位置和大小；根据组合导航定位模块给出的平台位姿信息，进一步获取障碍物的绝对位置和尺寸，该信息可弥补由光照条件带来的机器视觉算法误差，提高障碍物和目标物探测的精度；

6)设备表面信息采样：主控制器判断无人平台到达采样点并保持位姿稳定后，发送控制信号给缺陷检测仪器，使其采集被检设备的表面信息，采用的控制接口形式取决于检测仪器所支持的接口范围，图像处理单元通过HDMI、AV接口读取仪器采集的数据，用于在线损伤分析；

7)在线损伤分析：图像处理单元获取仪器采集的表面数据后，通过神经网络算法，识别出表面损伤，并给出损伤概率，用于主控制器的决策；其中，神经网络的参数可事先经过离线训练；

8)损伤部位重采样：图像处理单元将损伤分析结果传输至主控制器，主控制器根据预设阈值进行判断，若损伤概率超过阈值，则重新调整采样点序列，进一步靠近损伤部位，进行多角度的细节采样，并记录损伤点的相对坐标，以供操作员后续进行最终的损伤判定；

9)数据记录：当主控制器检测到损伤部位时，将平台的主要导航与控制数据、被检设备的表面高清采样信息以及损伤分析结果传输给机载数据记录仪，以备后台进行详细的数据分析。