CN117523501A - 一种管线巡检机器人控制方法及系统 - Google Patents

一种管线巡检机器人控制方法及系统 Download PDF

Info

Publication number
CN117523501A
CN117523501A CN202410010543.5A CN202410010543A CN117523501A CN 117523501 A CN117523501 A CN 117523501A CN 202410010543 A CN202410010543 A CN 202410010543A CN 117523501 A CN117523501 A CN 117523501A
Authority
CN
China
Prior art keywords
image
pipeline
inspection robot
fault
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410010543.5A
Other languages
English (en)
Other versions
CN117523501B (zh
Inventor
高万旭
文状
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Road and Bridge (Group) Co Ltd
Sichuan Railway Construction Co ltd
Original Assignee
Sichuan Road and Bridge (Group) Co Ltd
Sichuan Railway Construction Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Road and Bridge (Group) Co Ltd, Sichuan Railway Construction Co ltd filed Critical Sichuan Road and Bridge (Group) Co Ltd
Priority to CN202410010543.5A priority Critical patent/CN117523501B/zh
Publication of CN117523501A publication Critical patent/CN117523501A/zh
Application granted granted Critical
Publication of CN117523501B publication Critical patent/CN117523501B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种管线巡检机器人控制方法及系统，应用于智能检测控制技术领域，方法包括：获取巡检机器人在运行过程中的图像信息；将图像信息划分为多个连续周期的图像信息；将管线异常图像标注在巡检路线上；对管线异常图像进行图像识别获取该管线异常图像对应的故障类型。本发明一种管线巡检机器人控制方法及系统，可以在初期进行周期异常数据筛选时选用算力占用较少的SVM算法或者简单的直方图比对完成初筛，并在连续出现问题时，再通过较为复杂的卷积神经网络模型进行具体的故障识别，有效的提高了识别效率，降低的算力消耗。

Description

一种管线巡检机器人控制方法及系统
技术领域
本发明涉及智能检测控制技术领域，具体涉及一种管线巡检机器人控制方法及系统。
背景技术
电气管线、风机管线和给排水管线是现代建筑必不可少的配套设施。随着智能技术的发展，对于上述管线已经出现了很多智能巡检设备，甚至智能修理设备。如现有技术申请号为202310915992.X中公开了一种用于排水管道的检修装置，该检修装置包括检修机器人及遥控设备，检修机器人包括行走机构、拍摄组件、带有打磨盘的第一机械臂、带有注胶头的第二机械臂。检修机器人的壳体上装有多个摄像头，以实时观察管道内环境；当遇到管道裂缝处，原料箱内的胶料泵出至注胶头，注胶头用于喷涂胶料到裂缝处实现修补，所述打磨盘用于喷涂前的裂缝处打磨及喷涂后的凝固胶料打磨，其可以实现对管线内故障点位的观察和修复。但是其还是需要通过人工进行故障点位和故障类型的识别，自动化程度较低。
发明内容
为了至少克服现有技术中的上述不足，本申请的目的在于提供一种管线巡检机器人控制方法及系统。
第一方面，本申请实施例提供了一种管线巡检机器人控制方法，包括：
根据规划好的巡检路线控制巡检机器人在管线内运行；
通过配置于所述巡检机器人的摄像头获取所述巡检机器人在运行过程中的图像信息；
以所述巡检机器人运行完一次所述巡检路线作为一个周期将所述图像信息划分为多个连续周期的图像信息；
对所述图像信息进行图像识别获取管线异常图像，并将所述管线异常图像标注在所述巡检路线上形成当前周期的周期异常数据；
当相邻的两个周期的所述周期异常数据中存在处于所述巡检路线同一位置的管线异常图像时，对管线异常图像进行图像识别获取该管线异常图像对应的故障类型。
本申请实施例实施时，对于一段或多段连续的管线来说，需要先规划好相应的巡检路线，后续的识别检测需要依赖于相同的巡检线路进行。在巡检过程中，需要通过摄像头采集巡检机器人在运行过程中产生的图像信息，该图像信息需要包括巡检机器人在运行过程中经过的管线内部图像。应当理解的是图像信息需要可以拍摄到一定范围内的管线内壁，同时摄像头位置应当尽量固定，并且采集图像的区域需要尽量在巡检机器人的照明设备照明范围之内。
在本申请实施例中，发明人在实践过程中发现，巡检机器人在管线内进行图像采集时，收到巡检机器人运行误差、光照和振动的影响，经常会出现管线故障的误报。基于上述原因，本申请实施例设定了固定的巡检周期，且每个周期之间的间隔也需要尽量固定，一般来说每个周期之间的间隔可以采用24h的方式进行。通过对图像信息的识别可以检测出可能存在故障的图像，同时和现有技术中不同的是，本申请实施例需要连续在同一个位置获取两次可能存在故障的图像，才会对进行具体故障的识别。由于采用的本申请实施例的这种技术，所以可以在初期进行周期异常数据筛选时选用算力占用较少的SVM算法或者简单的直方图比对完成初筛，并在连续出现问题时，再通过较为复杂的卷积神经网络模型进行具体的故障识别，有效的提高了识别效率，降低的算力消耗。
在一种可能的实现方式中，对所述图像信息进行图像识别获取管线异常图像包括：
当待检测管线完成施工和设备安装时，通过所述巡检机器人根据所述巡检路线在管线内运行获取所述巡检机器人在运行过程中的图像信息作为基准图像库；
获取所述基准图像库中多个图像的直方图，并将所述直方图沿所述巡检路线排布形成基准直方图阵列；
根据所述基准直方图阵列对所述图像信息进行图像识别获取管线异常图像。
在一种可能的实现方式中，根据所述基准直方图阵列对所述图像信息进行图像识别获取管线异常图像包括：
根据所述图像信息在所述巡检路线上的位置获取对应位置的所述基准直方图阵列中的基准直方图；
获取所述图像信息的直方图作为待识别直方图；
将所述待识别直方图与所述基准直方图进行曲线形状比对，并在曲线形状比对的结果超过预设值时判定所述待识别直方图为所述管线异常图像；所述曲线形状比对为在不考虑直方图曲线数值的情况下，进行曲线形状的比对。
在一种可能的实现方式中，对管线异常图像进行图像识别获取该管线异常图像对应的故障类型包括：
将相邻的两个周期中时间靠前的周期对应的管线异常图像作为第一图像，将时间靠后的周期对应的管线异常图像作为第二图像；
计算所述第一图像和第二图像的差异生成像素差异矩阵；
将所述像素差异矩阵和所述第二图像对应的像素矩阵输入预设的识别模型，并接收所述识别模型的输出结果作为所述故障类型。
在一种可能的实现方式中，所述识别模型的构建包括：
将故障类型分为快速发展型故障和缓慢发展型故障；所述缓慢发展型故障为在相邻的两个所述周期之间故障变化小于预设值的故障；所述快速发展型故障为在相邻的两个所述周期之间故障变化大于或等于预设值的故障；
基于已有的缓慢发展型故障对应的样本训练卷积神经网络模型形成缓慢发展模型，基于已有的快速发展型故障对应的样本训练卷积神经网络模型形成快速发展模型；
将所述缓慢发展模型和所述快速发展模型合并作为所述识别模型。
在一种可能的实现方式中，将所述像素差异矩阵和所述第二图像对应的像素矩阵输入预设的识别模型，并接收所述识别模型的输出结果作为所述故障类型包括：
将所述像素差异矩阵输入所述识别模型，所述识别模型根据所述像素差异矩阵选择所述缓慢发展模型或所述快速发展模型；
将所述第二图像对应的像素矩阵输入所述识别模型选择的模型，并接收所述模型输出的故障类型。
第二方面，本申请实施例还提供了一种管线巡检机器人控制系统，包括：
控制单元，被配置为根据规划好的巡检路线控制巡检机器人在管线内运行；
采集单元，被配置为通过配置于所述巡检机器人的摄像头获取所述巡检机器人在运行过程中的图像信息；
划分单元，被配置为以所述巡检机器人运行完一次所述巡检路线作为一个周期将所述图像信息划分为多个连续周期的图像信息；
第一识别单元，被配置为对所述图像信息进行图像识别获取管线异常图像，并将所述管线异常图像标注在所述巡检路线上形成当前周期的周期异常数据；
第二识别单元，被配置为当相邻的两个周期的所述周期异常数据中存在处于所述巡检路线同一位置的管线异常图像时，对管线异常图像进行图像识别获取该管线异常图像对应的故障类型。
在一种可能的实现方式中，所述第一识别单元还被配置为：
当待检测管线完成施工和设备安装时，通过所述巡检机器人根据所述巡检路线在管线内运行获取所述巡检机器人在运行过程中的图像信息作为基准图像库；
获取所述基准图像库中多个图像的直方图，并将所述直方图沿所述巡检路线排布形成基准直方图阵列；
根据所述基准直方图阵列对所述图像信息进行图像识别获取管线异常图像。
在一种可能的实现方式中，所述第一识别单元还被配置为：
根据所述图像信息在所述巡检路线上的位置获取对应位置的所述基准直方图阵列中的基准直方图；
获取所述图像信息的直方图作为待识别直方图；
将所述待识别直方图与所述基准直方图进行曲线形状比对，并在曲线形状比对的结果超过预设值时判定所述待识别直方图为所述管线异常图像；所述曲线形状比对为在不考虑直方图曲线数值的情况下，进行曲线形状的比对。
在一种可能的实现方式中，所述第二识别单元还被配置为：
将相邻的两个周期中时间靠前的周期对应的管线异常图像作为第一图像，将时间靠后的周期对应的管线异常图像作为第二图像；
计算所述第一图像和第二图像的差异生成像素差异矩阵；
将所述像素差异矩阵和所述第二图像对应的像素矩阵输入预设的识别模型，并接收所述识别模型的输出结果作为所述故障类型。
本发明与现有技术相比，具有如下的优点和有益效果：
本发明一种管线巡检机器人控制方法及系统，可以在初期进行周期异常数据筛选时选用算力占用较少的SVM算法或者简单的直方图比对完成初筛，并在连续出现问题时，再通过较为复杂的卷积神经网络模型进行具体的故障识别，有效的提高了识别效率，降低的算力消耗。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本申请实施例方法步骤流程示意图；
图2为本申请实施例故障识别示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请实施例的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其它操作，也可以从流程图中移除一个或多个操作。
另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本申请保护的范围。
请结合参阅图1，为本发明实施例所提供的一种管线巡检机器人控制方法的流程示意图，进一步地，所述一种管线巡检机器人控制方法具体可以包括以下步骤S1-步骤S5所描述的内容。
S1：根据规划好的巡检路线控制巡检机器人在管线内运行；
S2：通过配置于所述巡检机器人的摄像头获取所述巡检机器人在运行过程中的图像信息；
S3：以所述巡检机器人运行完一次所述巡检路线作为一个周期将所述图像信息划分为多个连续周期的图像信息；
S4：对所述图像信息进行图像识别获取管线异常图像，并将所述管线异常图像标注在所述巡检路线上形成当前周期的周期异常数据；
S5：当相邻的两个周期的所述周期异常数据中存在处于所述巡检路线同一位置的管线异常图像时，对管线异常图像进行图像识别获取该管线异常图像对应的故障类型。
本申请实施例实施时，对于一段或多段连续的管线来说，需要先规划好相应的巡检路线，后续的识别检测需要依赖于相同的巡检线路进行。在巡检过程中，需要通过摄像头采集巡检机器人在运行过程中产生的图像信息，该图像信息需要包括巡检机器人在运行过程中经过的管线内部图像。应当理解的是图像信息需要可以拍摄到一定范围内的管线内壁，同时摄像头位置应当尽量固定，并且采集图像的区域需要尽量在巡检机器人的照明设备照明范围之内。
在本申请实施例中，发明人在实践过程中发现，巡检机器人在管线内进行图像采集时，收到巡检机器人运行误差、光照和振动的影响，经常会出现管线故障的误报。基于上述原因，本申请实施例设定了固定的巡检周期，且每个周期之间的间隔也需要尽量固定，一般来说每个周期之间的间隔可以采用24h的方式进行。通过对图像信息的识别可以检测出可能存在故障的图像，同时和现有技术中不同的是，本申请实施例需要连续在同一个位置获取两次可能存在故障的图像，才会对进行具体故障的识别。由于采用的本申请实施例的这种技术，所以可以在初期进行周期异常数据筛选时选用算力占用较少的SVM算法或者简单的直方图比对完成初筛，并在连续出现问题时，再通过较为复杂的卷积神经网络模型进行具体的故障识别，有效的提高了识别效率，降低的算力消耗。
在一种可能的实现方式中，对所述图像信息进行图像识别获取管线异常图像包括：
当待检测管线完成施工和设备安装时，通过所述巡检机器人根据所述巡检路线在管线内运行获取所述巡检机器人在运行过程中的图像信息作为基准图像库；
获取所述基准图像库中多个图像的直方图，并将所述直方图沿所述巡检路线排布形成基准直方图阵列；
根据所述基准直方图阵列对所述图像信息进行图像识别获取管线异常图像。
本申请实施例实施时，提供了一种具体的管线异常图像识别方案，其需要在待检测管线完全所有设备装配后就进行巡检路线规划，并获取基准图像库。为了后续进行管线异常图像的快速初筛，需要将基准图像库中多个图像进行直方图提取，应当理解的是，该直方图一般为灰度后提取的像素值的直方图，同时多个图像的提取可以采用巡检线路上的定点提取，如提取基准图像库中在巡检线路上定点位置的帧作为提取出的图像。
在一种可能的实现方式中，根据所述基准直方图阵列对所述图像信息进行图像识别获取管线异常图像包括：
根据所述图像信息在所述巡检路线上的位置获取对应位置的所述基准直方图阵列中的基准直方图；
获取所述图像信息的直方图作为待识别直方图；
将所述待识别直方图与所述基准直方图进行曲线形状比对，并在曲线形状比对的结果超过预设值时判定所述待识别直方图为所述管线异常图像；所述曲线形状比对为在不考虑直方图曲线数值的情况下，进行曲线形状的比对。
本申请实施例实施时，在进行比对的过程中，仅进行曲线形状的比对，由于在实际使用时，光照条件可能会随着照明设备位置或光线强度发生一定的变化，所以可能会造成直方图中像素值偏移，但是其形成的整体曲线形状一般会保持不变。应当理解的是，对于直方图来说，其横坐标一般为像素值，纵坐标为一张图像中，该像素值出现的像素数量，而曲线为像素数量所构成的曲线。曲线形状比对即为只考虑曲线形状的变化，而忽略曲线点位数值的变化。通过这种方式可以有效的提高初筛效率和初筛精准度。
在一种可能的实现方式中，对管线异常图像进行图像识别获取该管线异常图像对应的故障类型包括：
将相邻的两个周期中时间靠前的周期对应的管线异常图像作为第一图像，将时间靠后的周期对应的管线异常图像作为第二图像；
计算所述第一图像和第二图像的差异生成像素差异矩阵；
将所述像素差异矩阵和所述第二图像对应的像素矩阵输入预设的识别模型，并接收所述识别模型的输出结果作为所述故障类型。
本申请实施例实施时，进行具体故障类别识别时，受巡检机器人可搭载设备和信号传输条件影响，其无法以非常高的分辨率进行图像采集，如果将采集的图像直接进行识别，容易出现故障误判，影响管线的后续维修工作。所以在本申请实施例中，需要根据第一图像和第二图像的差异作为一个判断参量进而加强故障识别，从而提高识别的精准度。
在一种可能的实现方式中，所述识别模型的构建包括：
将故障类型分为快速发展型故障和缓慢发展型故障；所述缓慢发展型故障为在相邻的两个所述周期之间故障变化小于预设值的故障；所述快速发展型故障为在相邻的两个所述周期之间故障变化大于或等于预设值的故障；
基于已有的缓慢发展型故障对应的样本训练卷积神经网络模型形成缓慢发展模型，基于已有的快速发展型故障对应的样本训练卷积神经网络模型形成快速发展模型；
将所述缓慢发展模型和所述快速发展模型合并作为所述识别模型。
本申请实施例实施时，需要构建专用的识别模型，其采用图像识别中常用的卷积神经网络实现，例如常用的YOLO系列模型进行训练。在本申请实施例中，将故障类型分为快速发展型故障和缓慢发展型故障，快速发展型故障为在两个周期之间，会在图像上呈现出一定变化的故障，如因冷凝系统故障而出现的积水现象，其会在两个周期内呈现完全不同的图像。而缓慢发展型故障为在两个周期之间，不会有明显变化的故障，如锈蚀、裂缝等故障。基于此可以选用相应的样本进行训练并获取对应的缓慢发展模型和快速发展模型。
在一种可能的实现方式中，将所述像素差异矩阵和所述第二图像对应的像素矩阵输入预设的识别模型，并接收所述识别模型的输出结果作为所述故障类型包括：
将所述像素差异矩阵输入所述识别模型，所述识别模型根据所述像素差异矩阵选择所述缓慢发展模型或所述快速发展模型；
将所述第二图像对应的像素矩阵输入所述识别模型选择的模型，并接收所述模型输出的故障类型。
本申请实施例实施时，识别模型可以根据像素差异矩阵选择相应的缓慢发展模型或快速发展模型，进而提高识别的准确度。
基于上述同样的发明构思，还提供了一种管线巡检机器人控制系统，包括：
控制单元，被配置为根据规划好的巡检路线控制巡检机器人在管线内运行；
采集单元，被配置为通过配置于所述巡检机器人的摄像头获取所述巡检机器人在运行过程中的图像信息；
划分单元，被配置为以所述巡检机器人运行完一次所述巡检路线作为一个周期将所述图像信息划分为多个连续周期的图像信息；
第一识别单元，被配置为对所述图像信息进行图像识别获取管线异常图像，并将所述管线异常图像标注在所述巡检路线上形成当前周期的周期异常数据；
第二识别单元，被配置为当相邻的两个周期的所述周期异常数据中存在处于所述巡检路线同一位置的管线异常图像时，对管线异常图像进行图像识别获取该管线异常图像对应的故障类型。
在一种可能的实现方式中，所述第一识别单元还被配置为：
当待检测管线完成施工和设备安装时，通过所述巡检机器人根据所述巡检路线在管线内运行获取所述巡检机器人在运行过程中的图像信息作为基准图像库；
获取所述基准图像库中多个图像的直方图，并将所述直方图沿所述巡检路线排布形成基准直方图阵列；
根据所述基准直方图阵列对所述图像信息进行图像识别获取管线异常图像。
在一种可能的实现方式中，所述第一识别单元还被配置为：
根据所述图像信息在所述巡检路线上的位置获取对应位置的所述基准直方图阵列中的基准直方图；
获取所述图像信息的直方图作为待识别直方图；
将所述待识别直方图与所述基准直方图进行曲线形状比对，并在曲线形状比对的结果超过预设值时判定所述待识别直方图为所述管线异常图像；所述曲线形状比对为在不考虑直方图曲线数值的情况下，进行曲线形状的比对。
在一种可能的实现方式中，所述第二识别单元还被配置为：
将相邻的两个周期中时间靠前的周期对应的管线异常图像作为第一图像，将时间靠后的周期对应的管线异常图像作为第二图像；
计算所述第一图像和第二图像的差异生成像素差异矩阵；
将所述像素差异矩阵和所述第二图像对应的像素矩阵输入预设的识别模型，并接收所述识别模型的输出结果作为所述故障类型。
请参照图2，图2示出了故障识别场景示意图。其中控制系统可以是用于数据通信处理的各种服务平台。在本申请实施例中，控制系统可以是，但不限于智能手机、个人数字助理、平板电脑、个人计算机、笔记本电脑、虚拟现实终端设备、增强现实终端设备等。控制系统可以是单个物理服务器，也可以是一个由多个用于执行不同数据处理功能的物理服务器构成的服务器组。服务器组可以是集中式的，也可以是分布式的。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显然本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网格设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种管线巡检机器人控制方法，其特征在于，包括：
根据规划好的巡检路线控制巡检机器人在管线内运行；
通过配置于所述巡检机器人的摄像头获取所述巡检机器人在运行过程中的图像信息；
以所述巡检机器人运行完一次所述巡检路线作为一个周期将所述图像信息划分为多个连续周期的图像信息；
对所述图像信息进行图像识别获取管线异常图像，并将所述管线异常图像标注在所述巡检路线上形成当前周期的周期异常数据；
当相邻的两个周期的所述周期异常数据中存在处于所述巡检路线同一位置的管线异常图像时，对管线异常图像进行图像识别获取该管线异常图像对应的故障类型。
2.根据权利要求1所述的一种管线巡检机器人控制方法，其特征在于，对所述图像信息进行图像识别获取管线异常图像包括：
当待检测管线完成施工和设备安装时，通过所述巡检机器人根据所述巡检路线在管线内运行获取所述巡检机器人在运行过程中的图像信息作为基准图像库；
获取所述基准图像库中多个图像的直方图，并将所述直方图沿所述巡检路线排布形成基准直方图阵列；
根据所述基准直方图阵列对所述图像信息进行图像识别获取管线异常图像。
3.根据权利要求2所述的一种管线巡检机器人控制方法，其特征在于，根据所述基准直方图阵列对所述图像信息进行图像识别获取管线异常图像包括：
根据所述图像信息在所述巡检路线上的位置获取对应位置的所述基准直方图阵列中的基准直方图；
获取所述图像信息的直方图作为待识别直方图；
将所述待识别直方图与所述基准直方图进行曲线形状比对，并在曲线形状比对的结果超过预设值时判定所述待识别直方图为所述管线异常图像；所述曲线形状比对为在不考虑直方图曲线数值的情况下，进行曲线形状的比对。
4.根据权利要求1所述的一种管线巡检机器人控制方法，其特征在于，对管线异常图像进行图像识别获取该管线异常图像对应的故障类型包括：
将相邻的两个周期中时间靠前的周期对应的管线异常图像作为第一图像，将时间靠后的周期对应的管线异常图像作为第二图像；
计算所述第一图像和第二图像的差异生成像素差异矩阵；
将所述像素差异矩阵和所述第二图像对应的像素矩阵输入预设的识别模型，并接收所述识别模型的输出结果作为所述故障类型。
5.根据权利要求4所述的一种管线巡检机器人控制方法，其特征在于，所述识别模型的构建包括：
将故障类型分为快速发展型故障和缓慢发展型故障；所述缓慢发展型故障为在相邻的两个所述周期之间故障变化小于预设值的故障；所述快速发展型故障为在相邻的两个所述周期之间故障变化大于或等于预设值的故障；
基于已有的缓慢发展型故障对应的样本训练卷积神经网络模型形成缓慢发展模型，基于已有的快速发展型故障对应的样本训练卷积神经网络模型形成快速发展模型；
将所述缓慢发展模型和所述快速发展模型合并作为所述识别模型。
6.根据权利要求5所述的一种管线巡检机器人控制方法，其特征在于，将所述像素差异矩阵和所述第二图像对应的像素矩阵输入预设的识别模型，并接收所述识别模型的输出结果作为所述故障类型包括：
将所述像素差异矩阵输入所述识别模型，所述识别模型根据所述像素差异矩阵选择所述缓慢发展模型或所述快速发展模型；
将所述第二图像对应的像素矩阵输入所述识别模型选择的模型，并接收所述模型输出的故障类型。
7.一种管线巡检机器人控制系统，其特征在于，包括：
控制单元，被配置为根据规划好的巡检路线控制巡检机器人在管线内运行；
采集单元，被配置为通过配置于所述巡检机器人的摄像头获取所述巡检机器人在运行过程中的图像信息；
划分单元，被配置为以所述巡检机器人运行完一次所述巡检路线作为一个周期将所述图像信息划分为多个连续周期的图像信息；
第一识别单元，被配置为对所述图像信息进行图像识别获取管线异常图像，并将所述管线异常图像标注在所述巡检路线上形成当前周期的周期异常数据；
第二识别单元，被配置为当相邻的两个周期的所述周期异常数据中存在处于所述巡检路线同一位置的管线异常图像时，对管线异常图像进行图像识别获取该管线异常图像对应的故障类型。
8.根据权利要求7所述的一种管线巡检机器人控制系统，其特征在于，所述第一识别单元还被配置为：
当待检测管线完成施工和设备安装时，通过所述巡检机器人根据所述巡检路线在管线内运行获取所述巡检机器人在运行过程中的图像信息作为基准图像库；
获取所述基准图像库中多个图像的直方图，并将所述直方图沿所述巡检路线排布形成基准直方图阵列；
根据所述基准直方图阵列对所述图像信息进行图像识别获取管线异常图像。
9.根据权利要求8所述的一种管线巡检机器人控制系统，其特征在于，所述第一识别单元还被配置为：
根据所述图像信息在所述巡检路线上的位置获取对应位置的所述基准直方图阵列中的基准直方图；
获取所述图像信息的直方图作为待识别直方图；
将所述待识别直方图与所述基准直方图进行曲线形状比对，并在曲线形状比对的结果超过预设值时判定所述待识别直方图为所述管线异常图像；所述曲线形状比对为在不考虑直方图曲线数值的情况下，进行曲线形状的比对。
10.根据权利要求7所述的一种管线巡检机器人控制系统，其特征在于，所述第二识别单元还被配置为：
将相邻的两个周期中时间靠前的周期对应的管线异常图像作为第一图像，将时间靠后的周期对应的管线异常图像作为第二图像；
计算所述第一图像和第二图像的差异生成像素差异矩阵；
将所述像素差异矩阵和所述第二图像对应的像素矩阵输入预设的识别模型，并接收所述识别模型的输出结果作为所述故障类型。
CN202410010543.5A 2024-01-04 2024-01-04 一种管线巡检机器人控制方法及系统 Active CN117523501B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410010543.5A CN117523501B (zh) 2024-01-04 2024-01-04 一种管线巡检机器人控制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410010543.5A CN117523501B (zh) 2024-01-04 2024-01-04 一种管线巡检机器人控制方法及系统

Publications (2)

Publication Number Publication Date
CN117523501A true CN117523501A (zh) 2024-02-06
CN117523501B CN117523501B (zh) 2024-03-15

Family

ID=89766805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410010543.5A Active CN117523501B (zh) 2024-01-04 2024-01-04 一种管线巡检机器人控制方法及系统

Country Status (1)

Country Link
CN (1) CN117523501B (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2391028A1 (en) * 2001-06-22 2002-12-22 Thomas N. Hilleary Methods and systems for automated pipeline testing
CN104581054A (zh) * 2014-12-22 2015-04-29 深圳供电局有限公司 基于视频的输电线路巡检方法及系统
CN107795854A (zh) * 2017-09-18 2018-03-13 深圳大学 一种管道检测方法、装置以及存储介质
CN109709780A (zh) * 2017-10-26 2019-05-03 柯尼卡美能达株式会社 图像形成装置以及故障位置推断方法
CN111507147A (zh) * 2019-10-28 2020-08-07 深圳市海洋王照明工程有限公司 智能巡检方法、装置、计算机设备和存储介质
CN111723643A (zh) * 2020-04-12 2020-09-29 四川川测研地科技有限公司 一种基于固定区域周期性图像采集的目标检测方法
CN112630229A (zh) * 2021-03-09 2021-04-09 西南石油大学 用于油气管道的管道机器人及管道缺陷检测修复方法
US20210222539A1 (en) * 2020-01-16 2021-07-22 Landmark Graphics Corporation Systems and methods to perform a downhole inspection in real-time
CN113902990A (zh) * 2021-09-30 2022-01-07 广东科凯达智能机器人有限公司 一种巡检机器人的异常预警方法及系统
CN114140625A (zh) * 2022-01-30 2022-03-04 深圳市博铭维技术股份有限公司 管道缺陷检测方法、系统、设备与计算机可读存储介质
CN115578350A (zh) * 2022-10-14 2023-01-06 苏州浪潮智能科技有限公司 一种漏液检测方法及系统
CN115793089A (zh) * 2023-02-08 2023-03-14 北京新兴环宇信息科技有限公司 一种地下管线检测方法以及系统
CN115912183A (zh) * 2023-03-09 2023-04-04 国网湖北省电力有限公司经济技术研究院 高压输电线路生态措施巡视方法、系统及可读存储介质
CN116228770A (zh) * 2023-05-09 2023-06-06 深蓝(天津)智能制造有限责任公司 一种管道泄漏的识别监测方法及系统
CN116405376A (zh) * 2023-03-10 2023-07-07 新华三信息技术有限公司 一种服务器管理方法、装置、设备及机器可读存储介质
CN117173130A (zh) * 2023-09-01 2023-12-05 深圳市智源空间创新科技有限公司 一种管道检测方法、系统、终端设备及存储介质
CN117292343A (zh) * 2023-09-22 2023-12-26 中国建筑第八工程局有限公司 一种巡检机器人管道连接处的识别方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2391028A1 (en) * 2001-06-22 2002-12-22 Thomas N. Hilleary Methods and systems for automated pipeline testing
CN104581054A (zh) * 2014-12-22 2015-04-29 深圳供电局有限公司 基于视频的输电线路巡检方法及系统
CN107795854A (zh) * 2017-09-18 2018-03-13 深圳大学 一种管道检测方法、装置以及存储介质
CN109709780A (zh) * 2017-10-26 2019-05-03 柯尼卡美能达株式会社 图像形成装置以及故障位置推断方法
CN111507147A (zh) * 2019-10-28 2020-08-07 深圳市海洋王照明工程有限公司 智能巡检方法、装置、计算机设备和存储介质
US20210222539A1 (en) * 2020-01-16 2021-07-22 Landmark Graphics Corporation Systems and methods to perform a downhole inspection in real-time
CN111723643A (zh) * 2020-04-12 2020-09-29 四川川测研地科技有限公司 一种基于固定区域周期性图像采集的目标检测方法
CN112630229A (zh) * 2021-03-09 2021-04-09 西南石油大学 用于油气管道的管道机器人及管道缺陷检测修复方法
CN113902990A (zh) * 2021-09-30 2022-01-07 广东科凯达智能机器人有限公司 一种巡检机器人的异常预警方法及系统
CN114140625A (zh) * 2022-01-30 2022-03-04 深圳市博铭维技术股份有限公司 管道缺陷检测方法、系统、设备与计算机可读存储介质
CN115578350A (zh) * 2022-10-14 2023-01-06 苏州浪潮智能科技有限公司 一种漏液检测方法及系统
CN115793089A (zh) * 2023-02-08 2023-03-14 北京新兴环宇信息科技有限公司 一种地下管线检测方法以及系统
CN115912183A (zh) * 2023-03-09 2023-04-04 国网湖北省电力有限公司经济技术研究院 高压输电线路生态措施巡视方法、系统及可读存储介质
CN116405376A (zh) * 2023-03-10 2023-07-07 新华三信息技术有限公司 一种服务器管理方法、装置、设备及机器可读存储介质
CN116228770A (zh) * 2023-05-09 2023-06-06 深蓝(天津)智能制造有限责任公司 一种管道泄漏的识别监测方法及系统
CN117173130A (zh) * 2023-09-01 2023-12-05 深圳市智源空间创新科技有限公司 一种管道检测方法、系统、终端设备及存储介质
CN117292343A (zh) * 2023-09-22 2023-12-26 中国建筑第八工程局有限公司 一种巡检机器人管道连接处的识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MICHAEL PALMER 等: "DETECTION OF CRACK INITIATION BASED ON REPEAT IN-LINE INSPECTION", 《INTERNATIONAL PIPELINE CONFERENCE》, 10 October 2016 (2016-10-10), pages 1 - 12 *
王俊岭 等: "排水管道检测与缺陷识别技术综述", 《科学技术与工程》, vol. 20, no. 33, 31 December 2020 (2020-12-31), pages 13520 - 13528 *
陈克凡: "基于视觉的地下管道缺陷检测方法研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》, no. 02, 15 February 2020 (2020-02-15), pages 038 - 1252 *
黄玉龙: "基于视频图像的管道裂纹缺陷检测方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 12, 15 December 2018 (2018-12-15), pages 138 - 1380 *

Also Published As

Publication number Publication date
CN117523501B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
CN110650316A (zh) 智能巡逻及预警处理方法、装置、电子设备及存储介质
CN111652857B (zh) 一种绝缘子缺陷红外检测方法
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
CN113284109B (zh) 管道缺陷识别方法、装置、终端设备及存储介质
CN111080650B (zh) 铁路货车小部件轴承挡键螺母松动和丢失故障检测方法
CN106124512A (zh) 悬挂式单轨箱型梁巡检装置
CN111507971A (zh) 一种隧道表面缺陷检测方法
CN111899219A (zh) 一种输电线路机巡的图像识别方法及系统
CN112801949A (zh) 一种紫外成像检测技术中放电区域的确定方法及装置
CN113888462A (zh) 一种裂纹识别方法、系统、可读介质及存储介质
CN116758425A (zh) 一种大基地光伏电站自动验收方法和装置
CN117523501B (zh) 一种管线巡检机器人控制方法及系统
CN111626104B (zh) 一种基于无人机红外热像的电缆隐患点检测方法和装置
CN113530850A (zh) 一种基于eas和堆叠胶囊自编码器的离心泵故障诊断方法
CN115761613B (zh) 一种基于卷积网络的隧道裂缝自动检测方法
CN116645329A (zh) 一种仪器仪表柜的异常监测方法
CN112784914B (zh) 一种基于云端处理的管廊视频智能属性检测方法及系统
CN113591752A (zh) 基于卷积神经网络的设备漏油监控方法及相关设备
CN112419316A (zh) 一种跨设备可见光纹理缺陷检测方法及装置
CN114267044A (zh) 一种数字水表的数据识别方法及装置
CN114187245A (zh) 视频污损检测方法、装置、电子设备及存储介质
CN114240924A (zh) 一种基于数字化技术的电网设备质量评估方法
CN112116195A (zh) 基于实例分割的铁路梁生产工序识别方法
JPH1042274A (ja) 異常監視方法および装置
CN114972218B (zh) 指针表读数识别方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant