CN113128473A - 一种面向地下综合管廊的巡检系统、方法、设备及存储介质 - Google Patents

一种面向地下综合管廊的巡检系统、方法、设备及存储介质 Download PDF

Info

Publication number
CN113128473A
CN113128473A CN202110534932.4A CN202110534932A CN113128473A CN 113128473 A CN113128473 A CN 113128473A CN 202110534932 A CN202110534932 A CN 202110534932A CN 113128473 A CN113128473 A CN 113128473A
Authority
CN
China
Prior art keywords
inspection
module
robot
pipe gallery
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110534932.4A
Other languages
English (en)
Inventor
陈志峰
刘莉
王刚
王国力
关保章
庞明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi Xingyu Intelligent Technology Co ltd
Harbin University of Commerce
Original Assignee
Guangxi Xingyu Intelligent Technology Co ltd
Harbin University of Commerce
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Xingyu Intelligent Technology Co ltd, Harbin University of Commerce filed Critical Guangxi Xingyu Intelligent Technology Co ltd
Priority to CN202110534932.4A priority Critical patent/CN113128473A/zh
Publication of CN113128473A publication Critical patent/CN113128473A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0029Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement being specially adapted for wireless interrogation of grouped or bundled articles tagged with wireless record carriers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种面向地下综合管廊的巡检系统及视觉巡检方法,其中巡检系统包括巡检机器人、设置在管廊内的轨道平台、安装在轨道平台上的充电装置、远程控制终端和巡检机器人与远程控制终端之间的通讯平台,巡检机器人通过控制主机控制图像采集模块、超声避障模块、语音广播模块、环境监测模块、行走模块、定位模块及供电模块,保证在巡检过程中运行的平稳性、供电的可靠性以及定位的精准性。巡检机器人采用基于深度学习的视觉巡检方法,在巡检过程中能够实时检测设备是否存在故障以及读取仪表示数,提高了识别的准确率和识别速度,提高了地下综合管廊巡检的质量和效率。

Description

一种面向地下综合管廊的巡检系统、方法、设备及存储介质
技术领域
本发明是一种地下综合管廊巡检系统和方法,尤其涉及面向地下综合管廊的机器人视觉巡检方法,属于综合管廊巡检领域。
背景技术
随着我国城市化进程的发展,城市地下综合管廊的建设也在不断增加。作为城市的主动脉,综合管廊为城市源源不断的输送活力,为了保障其安全有效的运行,必须加强对管廊的巡检工作。由于地下管廊特殊的地形环境,缺氧、积水等问题导致人工巡检的难度大、效率低,同时巡检人员安全风险高。本发明旨在使用机器人高效、安全的完成日常巡检工作,同时在安全事故发生时,能够代替人工快速、精准地进入现场勘察。
目前管廊巡检机器人的运动方式主要采用轨道式、履带式和无人机等形式,现有技术中如采用履带式巡检机器人,但是地下综合管廊内部环境比较复杂,采用履带式机器人不能很好的应对积水问题,同时对于管廊内部的地面平整度有一定的要求。
若采用无人机巡检,但是无人机无法满足长距离续航的要求,同时无人机在运行时会产生较大的风力,影响其挂载的环境传感器,降低气体浓度的检测精度,地下综合管廊是一个比较封闭的环境,吹起的灰尘也会对摄像机成像有一定的影响,无人机的后期维护成本也比较高,采用轨道式巡检机器人能很好地避免以上问题。
为了保证巡检机器人电源供应,现有技术中采用输电线缆与受电弓的形式为机器人供电,地下管廊由于空气流动性差,容易积聚CO和H2S气体,受电弓与输电线路之间容易产生电火花而引发安全事故,因此采用锂电池供电是一种比较安全可靠的供电方式。现有技术中采用WI-FI定位的方式获取巡检机器人的位置,但是此方式受干扰能力差,采用RFID标签以及相应的读卡器作为机器人定位系统,不仅精度高而且抗干扰能力强。若使用无人机对管廊进行巡检,无人机难以挂载较大设备,飞行过程中稳定性较差不利于成像,此方式维护成本较高,同时对于管廊内部环境要求较高,采用轨道式巡检机器人稳定性好,维护成本低,并且适用于大多数管廊。
在日常的机器人巡检过程中,多采用巡检机器人采集图像进行与原图匹配的方法进行故障诊断,通过对比前后两次采集的照片是否相同来判断设备是否发生畸变,但是由于实时采集的待检测设备的图像经常会产生视野的偏差,因此采用设备模板图像匹配的方法进行故障识别的准确率比较低。
随着深度学习技术的快速发展,在目标检测算法中,采用深度学习的检测模型取代了以目标图像为模板的图像匹配算法,在论文“王庆,姚俊,谭文禄,潘惠惠.基于FasterR-CNN 的排水管道缺陷检测研究”中,介绍了基于Faster R-CNN的图像识别方法,此方法能够得到较高的故障识别准确率,但是其识别速度较慢。
为此,我们提出一种地下综合管廊智能自动巡检系统解决现有巡检系统的不足,同时提出一种基于高速卷积神经网络的机器人视觉巡检方法解决模板图像匹配识别准确率低以及Faster R-CNN识别速度较慢的问题。
发明内容
为了解决目前地下综合管廊巡检的不足和提高巡检机器人的巡检效率,本发明提供了一种面向地下综合管廊的巡检系统、方法、装置及存储介质,本发明的技术方案如下:
方案一:一种面向地下综合管廊的巡检系统,该系统包括巡检机器人、轨道平台、充电装置、远程控制终端和的通讯平台;轨道平台设置在管廊内;充电装置安装在所述轨道平台上为所述巡检系统整体提供电力;所述通讯平台位于巡检机器人与远程控制终端之间,负责建立双向信号传输;通过巡检系统下发指令至通讯平台控制巡检机器人工作并反馈操作信息,完成面向地下综合管廊的巡检过程。
进一步地,所述巡检机器人包括控制主机以及由所述控制主机连接并指令控制的图像采集模块、超声避障模块、语音广播模块、环境监测模块、行走模块、定位模块和供电模块,各模块执行功能并发送至所述控制主机的反馈信息。
进一步地,所述充电装置上设置RFID电子标签、充电触点和磁吹灭弧装置;所述图像采集模块包括摄像机和机械手臂,所述机械手臂用来调整摄像机的位置和角度;所述环境监测模块不断采集管廊内的温度、湿度以及氧气浓度和CO、H2S气体含量;所述行走模块包括驱动电机和倾角传感器,所述倾角传感器实时采集巡检机器人的俯仰角度以及行进角度,所述定位模块包括RFID读卡器,通过读取RFID标签信息以及根据相邻标签的信号强度计算得出巡检机器人的位置;所述供电模块包括主、副锂电池和接触式低压快充电源适配器,并自动切换主、副锂电池。
方案二:一种面向地下综合管廊的巡检方法,是根据所述系统为基础而实现的,该方法利用所述巡检机器人采集样本图像、建立神经网络框架训练、写入坐标数据并定位、识别并监测设备故障和通过处理结果调整摄像机,进而完成面向地下综合管廊的巡检过程。
进一步地,所述的采集样本以及建立神经网络过程,具体步骤如下:
步骤一,通过所述图像处理模块采集样本图像;
步骤二,将相邻的两张图片通过图像拼接算法融合为一张图片;
步骤三,将拼接后的图片输入到CNN中进行特征提取,得到特征图;
步骤四,将步骤三得到的特征图输入到高速区域建议网络得到特征子图,并输入到池化层;
步骤五,将这些图像输入到分类层中,得到图中物体的类别,并再次利用边框回归算法完成神经网络的建立。
进一步地,所述采集样本图像过程,指每一个被巡检设备对每一组图像标注其设备名称以及故障类别;将制作好的覆盖所有设备类别的样本输入到神经网络模型用于训练设备故障检测的图像识别模块;
所述特征提取过程,指采集的图像输入到图像识别模块后,首先将相邻的两张图片通过图像拼接算法融合为一张图片;将拼接后的图片输入到CNN中进行特征提取,得到特征图;之后将特征图输入到高速区域建议网络,通过高速区域建议网络快速地判断出图片中的前景以及背景,生成前景的建议窗口;通过线性回归使得建议窗口更加接近真实大小,将建议窗口映射到特征图上得到特征子图,然后将特征子图输入到池化层中,输出给定大小的图像,再将这些图像输入到分类层中,得到图中物体的类别,并再次利用边框回归算法构成神经网络模型。
进一步地,所述写入坐标数据并定位过程,具体步骤如下
步骤A,所述轨道平台将管廊内的RFID标签写入坐标数据,所述巡检机器人在巡检过程中,通过所述定位模块获取标签信息得到当前的位置坐标;
步骤B,通过设置起始与终止坐标划定机器人的巡检路线,设置单一坐标使巡检机器人快速精准地到达设定位置;
步骤C,机器人在运行过程中不断采集管廊内设备的图像,使相邻两张图像的重叠率为20%,图像以定位模块输出的坐标命名。
进一步地,识别并监测设备故障以及通过处理结果调整摄像机的过程,具体如下:
当所述图像识别模块检测出设备故障时,在图片上用红框框出该故障并在右上角标出设备类型以及故障类别,同时输出一条文本信息包括故障设备、坐标以及故障类别;
当所述图像识别模块在图片中检测到仪表时,识别仪表的类型以及表盘数据,同时输出一条文本信息,包括仪表的类型、坐标以及仪表示数;
在不同的巡检环境中,通过设定坐标,使机械手臂按照预设控制算法,调整摄像机的位置和角度,完成处理结果调整摄像机的过程。
方案三:一种面向地下综合管廊的巡检设备,包括存储器和处理器,存储器存储有计算机程序,所述的处理器执行所述计算机程序时实现一种面向地下综合管廊的巡检系统及方法的步骤。
方案四:一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现一种面向地下综合管廊的巡检系统及方法。
本发明有益效果体现在:
本发明将基于深度学习的机器视觉算法应用于图像识别模块,相较于传统的基于图像匹配的巡检方法,较大的提高了设备故障识别的准确率和识别速度,提高了机器人巡检的质量和效率。
本发明采用高速机器视觉算法,在保证识别准确率的前提下,提高图像识别的速度,实现机器人在行进过程中对于管廊内设备的实时识别,减去了机器人停车拍照以及重新启动的时间,减小了重复启停的能源消耗。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。
图1为一种面向地下综合管廊的巡检系统结构示意图;
图2为图像识别流程示意图;
图3为轨道平台、通讯平台和充电设备示意图。
具体实施方式
通过参照附图更详细地描述本公开的示例性实施例。虽然附图中显示示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解各个实施方式,并且能够将技术涵盖的范围完整的传达给本领域的技术人员。
具体实施方式一:一种面向地下综合管廊的巡检系统,包括巡检机器人、设置在管廊内的轨道平台、安装在所述轨道平台上的充电装置、远程控制终端和巡检机器人与远程控制终端之间的通讯平台。
轨道平台,所述轨道采用工字型钢制导轨,每间隔3米设置一个固定支架,使导轨悬空固定于管廊之中,同时等间隔在轨道上安装UHF型RFID电子标签,在标签中写入当前坐标用于机器人定位。
充电装置,所述充电装置为管廊内等间距设置的充电桩,充电桩上设置UHF型RFID标签和带灭弧装置触点。
通讯平台,所述通讯平台包括管廊内等间隔安装的无线发射终端和全双工降噪语音对讲器,无线发射终端包括光调制解调器和无线路由器,在管廊内等间隔设置多个无线路由器,保证管廊内无线信号全覆盖,光调制解调器通过铺设的光纤与远程控制终端相连,巡检机器人通过无线网络传输技术与远程控制终端进行通讯。通讯平台配备应急电源,在电力供应短时间出现故障时能够保持通讯平台正常运行。
所述巡检机器人包括:
图像采集模块,所述图像采集模块包括CCD型防抖摄像机和电力传动六自由度机械手臂,所述摄像机采用高性能防抖相机,用于拍摄管廊内设备图片,所述机械手臂端部连接摄像机,用来调整摄像机的位置和角度,以此来解决正向垂直拍摄无法完整拍摄设备的情况,无需在不同的方位设置其他巡检线路,节约资源,同时使用机械手臂可以应对更加复杂的环境。
超声波传感器,所述超声波传感器分布于巡检机器人周围,通过对周围障碍物的探测,实现自主避障。
环境监测模块,所述环境监测模块包括光学气体传感器、非接触式温度传感器以及氧化铝湿度传感器,气体传感器通过采集分析管廊中的空气,得到空气中的氧气浓度以及CO、 H2S易燃有害气体含量,温度和湿度传感器不断监测管廊中的环境温度以及湿度,保证管线和器材的绝缘水平以及降低管线和器材的老化速度,当监测到数值超限后,发送警告信息。
行走模块,所述行走模块包括伺服电机以及三轴陀螺仪,三轴陀螺仪实时采集机器人的倾角,包括俯仰以及行进角度,在机器人倾角发生变化时,根据变化方向调整驱动电机的速度,保证机器人运行的平稳性。
定位模块,所述定位模块包括RFID读卡器,RFID读卡器读取管廊内设置的RFID标签,通过读取标签中的坐标信息以及相邻两个标签的信号强度计算得出机器人当前的位置。
供电模块,所述供电模块包括大容量主锂电池和备用锂电池以及接触式低压快充电源适配器,供电模块能够在保证正常供电的情况下实现主、副锂电池的自由切换,接触式电源适配器通过接触充电桩上的触点为锂电池充电,采用低压快充技术,充电时电流逐渐上升,避免产生电火花引发安全事故。
控制主机,所述控制主机配备高性能处理器,所述高性能处理器用来控制机器人各个装置的运行,同时运行图像识别模块程序并与远程控制终端进行通信。
具体实施方式二:除实施方式一提供的描述的系统,本实施例提供一种视觉巡检方法,包括以下步骤:
A1、采集与制作每一个设备的样本图像,对每一组图像标注其设备名称以及故障类别,将制作好的覆盖所有设备类别的样本输入到深度学习的卷积神经网络框架用于训练设备故障检测的图像识别模块;
A2、为管廊内的RFID标签内写入坐标数据,机器人在巡检过程中,通过读取标签内的信息得到当前的位置坐标;
A3、机器人在巡检之前,通过设置起始与终止坐标划定机器人的巡检路线,设置单一坐标使机器人快速精准地到达设定位置。当机器人遇到上下坡以及转弯时,通过倾角传感器采集机器人的姿态信息,包括俯仰角度以及行进角度的变化,调整机器人的行进速度,保持运行的平稳性,在运行过程中不断采集管廊内设备的图像,使相邻两张图像的重叠率为20%,避免故障出现在图像边缘而产生漏检的情况,采集的图片以定位模块输出的坐标命名;
A4、将采集的图像输入到图像识别模块,该模块以高速卷积神经网络为核心,首先将相邻的两张图片通过图像拼接算法融合为一张图片,然后将拼接后的图片输入到CNN中进行特征提取,得到特征图,特征图输入到高速区域建议网络,通过高速区域建议网络快速地判断出图片中的前景以及背景,生成前景的建议窗口,通过线性回归使得建议窗口更加接近真实大小,将建议窗口映射到特征图上得到特征子图,然后将特征子图输入到池化层中,输出给定大小的图像,再将这些图像输入到分类层中,得到图中物体的类别,并再次利用边框回归算法,使检测框更加准确;
所述步骤A4包括:
A40、图像识别模块识别图片中设备是否存在故障,当图像识别模块检测出设备故障时,在图片上用红框框出该故障并在右上角标出设备类型以及故障类别,同时输出一条文本信息包括故障设备、坐标以及故障类别;
A41、当图像识别模块在图片中检测到仪表时,识别仪表的类型以及表盘数据,同时输出一条文本信息,包括仪表的类型、坐标以及仪表示数;
A5、在不同的巡检环境中,通过设定坐标,使机械手臂按照预设控制算法,调整摄像机的位置和角度,以此来解决管线或复杂环境下正向垂直拍摄无法完整拍摄设备的情况,因此,无需在不同的方位设置巡检线路,节约资源。
本实施例将基于深度学习的机器视觉算法应用于图像识别模块,相较于传统的基于图像匹配的巡检方法,较大的提高了设备故障识别的准确率和识别速度,提高了机器人巡检的质量和效率。
本实施例采用高速机器视觉算法,在保证识别准确率的前提下,提高图像识别的速度,实现机器人在行进过程中对于管廊内设备的实时识别,减去了机器人停车拍照以及重新启动的时间,减小了重复启停的能源消耗。
具体实施方式三:除具体实施方式一和二描述的系统及方法,本实施例可参照图1至图3,提供一种智能自动巡检过程,具体包括:
采集与制作每一个设备的样本图像,样本需要考虑相机拍摄的角度、光照、缩放尺寸等因素,因此对于一个设备需要多个样本图像,包括对图像的旋转、缩放以及亮度的调整,对每一组图像标注其设备名称以及故障类别,将制作好的覆盖所有设备类别的样本输入到基于深度学习的高速卷积神经网络框架用于训练设备故障检测的图像识别模块;
为管廊内的RFID标签内写入坐标数据;
巡检机器人在巡检之前,通过设置起始与终止坐标划定巡检机器人的巡检路线,设置单一坐标使巡检机器人快速精准地到达设定位置,为巡检机器人下达巡检指令之后,巡检机器人的控制主机执行自检程序,检测系统各部分器件是否正常工作,随即进入自动巡检过程,若检测到系统存在故障,向远程控制终端发送故障信息,等待工作人员检修;
在巡检过程中,当机器人遇到上下坡以及转弯时,通过倾角传感器采集机器人的姿态信息,包括俯仰角度以及行进角度的变化,调整机器人的行进速度,保持运行的平稳性;
机器人开始巡检之后,定位模块开始工作,通过RFID读卡器读取相邻两个RFID标签内的坐标信息以及相邻两个标签信号的强度计算得出机器人当前的坐标;高性能防抖摄像机不断拍摄管廊内设备的图片,摄像机具备防抖和自动变焦功能保证照片的清晰度,摄像机拍摄的照片以定位系统输出的坐标命名;同时环境监测模块实时监测管廊内的空气以及温度和湿度,气体传感器通过采集分析管廊中的空气,得到空气中的氧气浓度以及CO、H2S易燃有害气体含量,温度和湿度传感器不断监测管廊中的环境温度以及湿度,及时调节通风,保证管线和器材的绝缘水平以及降低管线和器材的老化速度;
如图2所示,摄像机拍摄的照片输入到图像识别模块,两张相邻的图片首先通过图像拼接算法融合为一张图片,然后将拼接后的图片输入到CNN中进行特征提取,得到特征图,特征图输入到高速区域建议网络,通过高速区域建议网络快速地判断出图片中的前景以及背景,生成前景的建议窗口,通过线性回归使得建议窗口更加接近真实大小,将建议窗口映射到特征图上得到特征子图,然后将特征子图输入到池化层中,输出给定大小的图像,再将这些图像输入到分类层中,得到图中物体的类别,并再次利用边框回归算法,使检测框更加准确。图像识别模块识别图片中设备是否存在故障,当图像识别模块检测出设备故障时,在图片上用红框框出该物体并在右上角标出设备类型以及故障类别,同时输出一条文本信息包括故障设备、坐标以及故障类别;当图像识别模块在图片中检测到仪表时,识别仪表的类型以及表盘数据,同时输出一条文本信息,包括仪表的类型、坐标以及仪表示数。
如图3所示,巡检机器人通过无线网络传输技术与远程控制终端通讯,远程控制终端通过无线网络为巡检机器人下达巡检指令,在巡检过程中,机器人将图像识别模块输出的设备故障信息和检测出的仪表示数信息回传到远程控制终端,同时将环境监测模块采集到的环境信息实时传输到远程控制终端,当环境指标超限之后,向控制终端发送警告信息,并通过扩音装置不断播放提示音,及时提醒管廊内的工作人员迅速撤离。
机器人在运动过程中具备自动避障功能,通过设置在机器人周围以及机械手臂上的超声波传感器,感知机器人周围的障碍物,当检测到运动方向上有障碍物时,机器人停止运动,并发出报警声,若两分钟后障碍物消失,则停止报警并继续前进,若障碍物一直存在,则停止前进并控制机械手臂拍摄障碍物方向图片发送到远程控制终端等待工作人员解决,当工作人员处理完障碍之后,通过复位按钮使机器人恢复巡检状态,继续完成巡检。
机器人在巡检过程中,根据实际情况,通过设定不同的坐标,使机械手臂按照预设控制算法,调整摄像机的位置和角度,以此来解决管线或复杂环境下正向垂直拍摄无法完整拍摄设备的情况,因此,无需在不同的方位设置巡检线路,节约了资源。
当机器人在巡检过程中主锂电池电量低于20%时,供电模块将供电电池切换为备用锂电池,当巡检机器人完成一次巡检工作后,自动切回主锂电池,并为两块电池充电。若电池发生故障,则迅速切换电池保证巡检机器人正常运行,若两块电池电量都低于20%,则在到达下一个充电桩时,自动暂停巡检并停车充电,当充电触点接触时,电流逐渐增大直至正常电流,同时磁吹灭弧装置工作,避免产生电火花,采用低压快充技术,减小了充电等待时间,充电完成之后继续完成巡检。
当机器人完成单向巡检工作之后,发送巡检完成信息,自动进入休眠模式并充电,在无人为干预的情况下,当充电结束后退出休眠模式,调整机械手臂完成反向巡检工作,以此往复,对管廊不断进行巡检。
该巡检机器人不仅可以进行自动巡检,还可以通过远程控制终端人为手动控制,当发生紧急情况时,远程控制终端控制机器人快速到达现场,利用机械手臂拍摄现场图片,同时控制环境检测系统采集现场环境数据,快速地对现场进行勘察,通过语音对讲系统,远程控制终端可以与现场工作人员进行实时双向对讲,在两者的配合之下快速清除故障。
具体实施方式四:本领域内的技术人员通过上述实施例提及的系统、方法及巡检过程,本实施例可提供为方法、系统、或计算机程序产品及设备。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式,模块之间也可根据计算机逻辑结构进行重新组织。而且,本实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、 CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
根据本实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种面向地下综合管廊的巡检系统,其特征在于:该系统包括巡检机器人、轨道平台、充电装置、远程控制终端和的通讯平台;
轨道平台设置在管廊内;充电装置安装在所述轨道平台上为所述巡检系统整体提供电力;所述通讯平台位于巡检机器人与远程控制终端之间,负责建立双向信号传输;通过巡检系统下发指令至通讯平台控制巡检机器人工作并反馈操作信息,完成面向地下综合管廊的巡检过程。
2.根据权利要求1所述的一种面向地下综合管廊的巡检系统,其特征在于:所述巡检机器人包括控制主机以及由所述控制主机连接并指令控制的图像采集模块、超声避障模块、语音广播模块、环境监测模块、行走模块、定位模块和供电模块,各模块执行功能并发送至所述控制主机的反馈信息。
3.根据权利要求2所述的面向地下综合管廊的巡检系统,其特征在于:
所述充电装置上设置RFID电子标签、充电触点和磁吹灭弧装置;
所述图像采集模块包括摄像机和机械手臂,所述机械手臂用来调整摄像机的位置和角度;
所述环境监测模块不断采集管廊内的温度、湿度以及氧气浓度和CO、H2S气体含量;
所述行走模块包括驱动电机和倾角传感器,所述倾角传感器实时采集巡检机器人的俯仰角度以及行进角度,所述定位模块包括RFID读卡器,通过读取RFID标签信息以及根据相邻标签的信号强度计算得出巡检机器人的位置;
所述供电模块包括主、副锂电池和接触式低压快充电源适配器,并自动切换主、副锂电池。
4.一种面向地下综合管廊的巡检方法,是根据权利要求1-3中任一一项所述系统为基础而实现的,其特征在于:利用所述巡检机器人采集样本图像、建立神经网络框架训练、写入坐标数据并定位、识别并监测设备故障和通过处理结果调整摄像机,反馈数据信息至所述通讯平台,并最终至远程控制终端,进而完成面向地下综合管廊的巡检过程。
5.根据权利要求4所述的面向地下综合管廊的巡检方法,其特征在于:所述的采集样本以及建立神经网络过程,具体步骤如下:
步骤一,通过所述图像处理模块采集样本图像;
步骤二,将相邻的两张图片通过图像拼接算法融合为一张图片;
步骤三,将拼接后的图片输入到CNN中进行特征提取,得到特征图;
步骤四,将步骤三得到的特征图输入到高速区域建议网络得到特征子图,并输入到池化层;
步骤五,将这些图像输入到分类层中,得到图中物体的类别,并再次利用边框回归算法完成神经网络的建立。
6.根据权利要求5所述的一种面向地下综合管廊的巡检方法,其特征在于:所述采集样本图像过程,指每一个被巡检设备对每一组图像标注其设备名称以及故障类别;将制作好的覆盖所有设备类别的样本输入到神经网络模型用于训练设备故障检测的图像识别模块;
所述特征提取过程,指采集的图像输入到图像识别模块后,首先将相邻的两张图片通过图像拼接算法融合为一张图片;将拼接后的图片输入到CNN中进行特征提取,得到特征图;之后将特征图输入到高速区域建议网络,通过高速区域建议网络快速地判断出图片中的前景以及背景,生成前景的建议窗口;通过线性回归使得建议窗口更加接近真实大小,将建议窗口映射到特征图上得到特征子图,然后将特征子图输入到池化层中,输出给定大小的图像,再将这些图像输入到分类层中,得到图中物体的类别,并再次利用边框回归算法构成神经网络模型。
7.根据权利要求4所述的一种面向地下综合管廊的巡检方法,其特征在于:所述写入坐标数据并定位过程,具体步骤如下
步骤A,所述轨道平台将管廊内的RFID标签写入坐标数据,所述巡检机器人在巡检过程中,通过所述定位模块获取标签信息得到当前的位置坐标;
步骤B,通过设置起始与终止坐标划定机器人的巡检路线,设置单一坐标使巡检机器人快速精准地到达设定位置;
步骤C,机器人在运行过程中不断采集管廊内设备的图像,使相邻两张图像的重叠率为20%,图像以定位模块输出的坐标命名。
8.根据权利要求7所述的一种面向地下综合管廊的巡检方法,其特征在于:识别并监测设备故障以及通过处理结果调整摄像机的过程,具体如下:
当所述图像识别模块检测出设备故障时,在图片上用红框框出该故障并在右上角标出设备类型以及故障类别,同时输出一条文本信息包括故障设备、坐标以及故障类别;
当所述图像识别模块在图片中检测到仪表时,识别仪表的类型以及表盘数据,同时输出一条文本信息,包括仪表的类型、坐标以及仪表示数;
在不同的巡检环境中,通过设定坐标,使机械手臂按照预设控制算法,调整摄像机的位置和角度,完成处理结果调整摄像机的过程。
9.一种面向地下综合管廊的巡检设备,其特征在于:包括存储器和处理器,存储器存储有计算机程序,所述的处理器执行所述计算机程序时实现权利要求2至8任一项所述的一种面向地下综合管廊的巡检系统及方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现权利要求2至8任一项所述的一种面向地下综合管廊的巡检系统及方法。
CN202110534932.4A 2021-05-17 2021-05-17 一种面向地下综合管廊的巡检系统、方法、设备及存储介质 Pending CN113128473A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110534932.4A CN113128473A (zh) 2021-05-17 2021-05-17 一种面向地下综合管廊的巡检系统、方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110534932.4A CN113128473A (zh) 2021-05-17 2021-05-17 一种面向地下综合管廊的巡检系统、方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113128473A true CN113128473A (zh) 2021-07-16

Family

ID=76782080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110534932.4A Pending CN113128473A (zh) 2021-05-17 2021-05-17 一种面向地下综合管廊的巡检系统、方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113128473A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113500581A (zh) * 2021-07-27 2021-10-15 西安科技大学 一种综采工作面巡检机器人控制系统
CN113518363A (zh) * 2021-07-20 2021-10-19 陕西墨斗星智能科技有限公司 一种网格状管廊预警系统的长距离反向信号传输方法
CN113608080A (zh) * 2021-07-19 2021-11-05 西安工业大学 一种地下管廊输电线路故障检测机器人
CN113885523A (zh) * 2021-10-29 2022-01-04 北京红山信息科技研究院有限公司 巡检机器人、及巡检系统
CN114170703A (zh) * 2021-12-15 2022-03-11 鞍钢集团自动化有限公司 一种通廊巡检系统及激光扫描检测方法
CN114235823A (zh) * 2021-12-29 2022-03-25 上海智楹机器人科技有限公司 一种检测用螺旋运动轨迹爬行机器人装置
CN114245069A (zh) * 2021-11-09 2022-03-25 中冶南方(武汉)自动化有限公司 一种基于巡检机器人的地下综合管廊视频监控方法及系统
CN114332170A (zh) * 2021-12-24 2022-04-12 哈尔滨商业大学 新基建现场安全监测系统
CN114325219A (zh) * 2021-12-03 2022-04-12 陕西省地方电力(集团)有限公司延安供电分公司 对配网设备运行状态进行检测识别的方法
CN114474103A (zh) * 2022-03-28 2022-05-13 西安理工大学 一种配网电缆走廊巡检方法及设备
CN116342571A (zh) * 2023-03-27 2023-06-27 中吉创新技术(深圳)有限公司 通风系统控制箱的状态检测方法、装置及存储介质
CN117286781A (zh) * 2023-10-24 2023-12-26 中交公路规划设计院有限公司 无人巡检系统及巡检车控制方法
CN117726979A (zh) * 2024-02-18 2024-03-19 合肥中盛水务发展有限公司 一种基于神经网络的管廊管线管理方法
CN117841028A (zh) * 2024-03-08 2024-04-09 安徽国智数据技术有限公司 一种基于人工智能的综合管廊巡检机器人
CN118010848A (zh) * 2024-04-08 2024-05-10 贵州黔通工程技术有限公司 一种智能锚具积水检测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516522A (zh) * 2019-05-30 2019-11-29 中通服创立信息科技有限责任公司 一种巡检方法及系统
CN110827251A (zh) * 2019-10-30 2020-02-21 江苏方天电力技术有限公司 一种基于航拍图像的输电线路锁紧销缺陷检测方法
CN211087326U (zh) * 2020-02-18 2020-07-24 西安金源电气股份有限公司 一种电力地下综合管廊巡检机器人系统
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN214475072U (zh) * 2021-05-17 2021-10-22 哈尔滨商业大学 一种面向地下综合管廊的巡检系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020181685A1 (zh) * 2019-03-12 2020-09-17 南京邮电大学 一种基于深度学习的车载视频目标检测方法
CN110516522A (zh) * 2019-05-30 2019-11-29 中通服创立信息科技有限责任公司 一种巡检方法及系统
CN110827251A (zh) * 2019-10-30 2020-02-21 江苏方天电力技术有限公司 一种基于航拍图像的输电线路锁紧销缺陷检测方法
CN211087326U (zh) * 2020-02-18 2020-07-24 西安金源电气股份有限公司 一种电力地下综合管廊巡检机器人系统
CN214475072U (zh) * 2021-05-17 2021-10-22 哈尔滨商业大学 一种面向地下综合管廊的巡检系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张延英等: "工厂电气控制设备", 30 April 1993, 中国轻工业出版社, pages: 1 - 4 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113608080B (zh) * 2021-07-19 2024-03-12 西安工业大学 一种地下管廊输电线路故障检测机器人
CN113608080A (zh) * 2021-07-19 2021-11-05 西安工业大学 一种地下管廊输电线路故障检测机器人
CN113518363A (zh) * 2021-07-20 2021-10-19 陕西墨斗星智能科技有限公司 一种网格状管廊预警系统的长距离反向信号传输方法
CN113500581B (zh) * 2021-07-27 2023-02-28 西安科技大学 一种综采工作面巡检机器人控制系统
CN113500581A (zh) * 2021-07-27 2021-10-15 西安科技大学 一种综采工作面巡检机器人控制系统
CN113885523A (zh) * 2021-10-29 2022-01-04 北京红山信息科技研究院有限公司 巡检机器人、及巡检系统
CN114245069A (zh) * 2021-11-09 2022-03-25 中冶南方(武汉)自动化有限公司 一种基于巡检机器人的地下综合管廊视频监控方法及系统
CN114325219A (zh) * 2021-12-03 2022-04-12 陕西省地方电力(集团)有限公司延安供电分公司 对配网设备运行状态进行检测识别的方法
CN114170703A (zh) * 2021-12-15 2022-03-11 鞍钢集团自动化有限公司 一种通廊巡检系统及激光扫描检测方法
CN114332170A (zh) * 2021-12-24 2022-04-12 哈尔滨商业大学 新基建现场安全监测系统
CN114235823A (zh) * 2021-12-29 2022-03-25 上海智楹机器人科技有限公司 一种检测用螺旋运动轨迹爬行机器人装置
CN114474103B (zh) * 2022-03-28 2023-06-30 西安理工大学 一种配网电缆走廊巡检方法及设备
CN114474103A (zh) * 2022-03-28 2022-05-13 西安理工大学 一种配网电缆走廊巡检方法及设备
CN116342571A (zh) * 2023-03-27 2023-06-27 中吉创新技术(深圳)有限公司 通风系统控制箱的状态检测方法、装置及存储介质
CN116342571B (zh) * 2023-03-27 2023-12-22 中吉创新技术(深圳)有限公司 通风系统控制箱的状态检测方法、装置及存储介质
CN117286781A (zh) * 2023-10-24 2023-12-26 中交公路规划设计院有限公司 无人巡检系统及巡检车控制方法
CN117726979A (zh) * 2024-02-18 2024-03-19 合肥中盛水务发展有限公司 一种基于神经网络的管廊管线管理方法
CN117841028A (zh) * 2024-03-08 2024-04-09 安徽国智数据技术有限公司 一种基于人工智能的综合管廊巡检机器人
CN117841028B (zh) * 2024-03-08 2024-05-24 安徽国智数据技术有限公司 一种基于人工智能的综合管廊巡检机器人
CN118010848A (zh) * 2024-04-08 2024-05-10 贵州黔通工程技术有限公司 一种智能锚具积水检测方法及系统
CN118010848B (zh) * 2024-04-08 2024-06-11 贵州黔通工程技术有限公司 一种智能锚具积水检测方法及系统

Similar Documents

Publication Publication Date Title
CN113128473A (zh) 一种面向地下综合管廊的巡检系统、方法、设备及存储介质
CN108189043B (zh) 一种应用于高铁机房的巡检方法及巡检机器人系统
CN214475072U (zh) 一种面向地下综合管廊的巡检系统
CN108267172B (zh) 矿用智能机器人巡检系统
CN102063746B (zh) 变电站程控巡检机及其程控巡检方法
CN112101088B (zh) 一种无人机电力自动巡检方法、装置及系统
CN106774322B (zh) 一种光伏电站巡检系统及其运行方法
CN105259899A (zh) 一种变电站巡检机器人的控制系统
CN108262736A (zh) 室内智能巡检机器人及系统
CN112039215A (zh) 一种变电站立体巡检系统及其巡检方法
CN107168314A (zh) 基于无人船系统的浮标数据信息中转装置
CN106681333A (zh) 一种提高变电站巡检机器人稳定性的方法及系统
CN103605365A (zh) 变电站设备污秽巡检、判定及清洗的全自动作业方法
CN110027701A (zh) 地下综合管廊巡检系统
CN213262695U (zh) 一种小型城市轨道交通隧道智能巡检机器人
CN112581645A (zh) 一种电缆隧道协同巡检方法及系统
CN111243120A (zh) 一种基于大数据的环境巡检系统
CN113204247A (zh) 一种无人机巡检系统
CN106656035A (zh) 一种光伏电站故障检测方法
CN102508490A (zh) 电动汽车充换电站车辆导引终端装置
CN208077009U (zh) 一种用于电力安全监护的无人机
CN106603002A (zh) 一种光伏电站故障检测系统
CN209963606U (zh) 一种基于无线充电的变电站智能巡检机器人
KR102556878B1 (ko) 음영지역 자율비행 기반의 드론을 이용하여 상태평가를 수행하는 콘크리트 시설물 유지관리 시스템
CN202025364U (zh) 变电站程控巡检机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination