CN114441541A - 一种输水隧洞检测机器人声光视觉检测系统、方法、设备和介质 - Google Patents

一种输水隧洞检测机器人声光视觉检测系统、方法、设备和介质 Download PDF

Info

Publication number
CN114441541A
CN114441541A CN202210008675.5A CN202210008675A CN114441541A CN 114441541 A CN114441541 A CN 114441541A CN 202210008675 A CN202210008675 A CN 202210008675A CN 114441541 A CN114441541 A CN 114441541A
Authority
CN
China
Prior art keywords
network
detection
tunnel
convolution
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210008675.5A
Other languages
English (en)
Other versions
CN114441541B (zh
Inventor
周天
杜小洲
苏岩
孙玉山
党康宁
张国成
王旭
张家利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Province Hanjiang To Weihe River Valley Water Diversion Project Construction Co ltd
Harbin Engineering University
Original Assignee
Shaanxi Province Hanjiang To Weihe River Valley Water Diversion Project Construction Co ltd
Harbin Engineering University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Province Hanjiang To Weihe River Valley Water Diversion Project Construction Co ltd, Harbin Engineering University filed Critical Shaanxi Province Hanjiang To Weihe River Valley Water Diversion Project Construction Co ltd
Priority to CN202210008675.5A priority Critical patent/CN114441541B/zh
Publication of CN114441541A publication Critical patent/CN114441541A/zh
Application granted granted Critical
Publication of CN114441541B publication Critical patent/CN114441541B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/954—Inspecting the inner surface of hollow bodies, e.g. bores
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/06—Visualisation of the interior, e.g. acoustic microscopy
    • G01N29/0654—Imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
    • G01N29/4454—Signal recognition, e.g. specific values or portions, signal events, signatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Data Mining & Analysis (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Remote Sensing (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Acoustics & Sound (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提出了一种输水隧洞检测机器人声光视觉检测系统、方法、设备和介质，所述方法对于环境未知的隧洞，采用声学粗检，使用搭载的检测声呐进行检测，标记缺陷大致位置；对于声学信息已知的隧洞，采用光学精检，使用搭载的多个摄像头，等到机器人到达大致位置，开始靠近缺陷侧，进行光学信息采集并进行标志物识别。避免了现存技术中使用单一传感器进行隧洞检测导致的漏检或图像不直观的问题。

Description

一种输水隧洞检测机器人声光视觉检测系统、方法、设备和 介质
技术领域
本发明属于水下视觉技术领域，特别是涉及一种输水隧洞检测机器人声光视觉检测系统、方法、设备和介质。
背景技术
我国河流湖泊众多，水资源总量极为丰富，但水资源的时间与空间分布不均，因此，近些年来输水隧洞在我国水利工程枢纽建设过程中都得到了广泛应用。一般而言，输水隧洞工程具有深埋大、距离长的特点，属于隐蔽工程，涉及的技术种类多、工程管理复杂，建设周期长，在建设与运行的各个阶段存在着各类风险，具有风险累积效应，相较其他结构工程而言具有更多的不确定性因素，致使工程在建设及运行过程中经常发生地层变形过大、坍塌、涌水、突泥和流砂等恶性事故。因此需要定时对输水隧洞进行巡检运维，由于人工检查维护的方法太过于耗时耗力以及安全性问题，所以使用输水隧洞检测机器人对输水隧洞进行巡检运维可以有效解决上述问题。
在输水隧洞环境内，机器人通常无法和岸基工作台通讯，如何自主感知自身周围环境并作出相应的指令是输水隧洞检测的重点与难点之一。对于机器人，视觉系统相当于“眼睛”去感知周围环境，在输水隧洞内，视觉系统需要周向覆盖并需要实时处理视觉信息，而单个视觉传感器难以达到作业要求，因此设计一种使用声光视觉传感器的输水隧洞检测机器人声光视觉检测方法对于输水隧洞的巡检运维是必要的。
发明内容
本发明为了克服输水隧洞检测机器人需要对隧洞内周向检测并实时处理视觉信息的问题，提出一种输水隧洞检测机器人声光视觉检测系统、方法、设备和介质。
本发明是通过以下技术方案实现的，本发明提出一种输水隧洞检测机器人声光视觉检测系统，所述系统包括声视觉检测系统与光视觉检测系统；两个检测系统包括网络摄像机6个，水下LED灯6个，检测声呐一个，视觉板卡3块，固态硬盘3块和网络HUB1个；所述视觉板卡3块包括光视觉板卡2块和声视觉板卡1块，其中1个声视觉板卡通过网络控制检测声纳；1个光视觉板卡通过网络控制网络摄像机1、2、3；另1个光视觉板卡通过网络控制网络摄像机4、5、6；3个固态硬盘分别与3块视觉板卡相连接；所述3块视觉板卡、检测声呐和6个网络摄像机均与网络HUB连接。
本发明还提出一种输水隧洞检测机器人声光视觉检测方法，具体为：
对于环境未知的隧洞，采用声学粗检，使用搭载的检测声呐进行检测，标记缺陷大致位置；
对于声学信息已知的隧洞，采用光学精检，使用搭载的多个摄像头，等到机器人到达大致位置，开始靠近缺陷侧，进行光学信息采集并进行标志物识别。
进一步地，所述声学粗检流程具体为：
步骤1、检测机器人沿隧洞中心行驶，检测声呐获取洞壁图像信息；
步骤2、将检测声呐获得的声视觉图像信息传入声视觉板卡并储存到固态硬盘中；
步骤3、在声视觉板卡中对声视觉图像信息进行解码，并使用训练好的缺陷检测网络对图像进行裂缝检测；
步骤4、若检测到缺陷，标记当前导航位置信息。
进一步地，所述光学精检流程具体为：
步骤1、检测机器人沿隧洞中心行驶，六个摄像头获取洞壁图像信息；
步骤2、将摄像头获得的光视觉图像信息传入光视觉板卡并储存到固态硬盘中；
步骤3、在光视觉板卡中对摄像机图像进行标志物实时检测；
步骤4、若识别到标志物，进行信息解读并传入导航系统进行导航定位信息的更新校正，若该标志物为靠近支洞口标志物，则将该信息传入检测机器人的控制系统，使机器人进行相应的出洞动作；
步骤5、若接近声视觉检测系统检测到的裂缝位置时，机器人提前靠近裂缝一侧航行，使摄像头更为准确的捕获缺陷信息；
步骤6、将六个摄像头捕获的缺陷信息离线下载数据到岸基服务器中并使用训练好的缺陷检测网络进行检测。
进一步地，在缺陷检测网络中，数据集标注具体为：获取隧洞内图片，按比例1:1挑选含缺陷图片以及不含缺陷图片，并将所有图片缩放像素为704x256；使用标注软件对图片进行标注，标注信息包括缺陷像素信息以及是否为含有缺陷的标签；对数据集进行增广，具体操作为旋转、翻转以及放缩；将标注、增广后的数据按照8：1：1的比例划分成训练集、测试集以及验证集。
进一步地，在缺陷检测网络中，网络结构构建具体为：
网络结构构建分为两阶段进行：第一阶段是对隧洞缺陷进行像素定位的分割网络；第二阶段是对图像进行二分类的决策网络；
分割网络是由7个卷积层和2个最大池化层组成；其中：前两层卷积层采用通道数为32，卷积核大小为5，步长为1的卷积操作，每个卷积层之后进行归一化以及RELU激活处理；第3、4、5卷积层采用通道数为64，卷积核大小为5，步长为1的卷积操作，每个卷积层之后进行归一化以及RELU激活处理；第6卷积层采用通道数为1024，卷积核大小为15，步长为1的卷积操作；第7卷积层采用通道数为1，卷积核大小为1，步长为1的卷积操作；池化层方式为最大池化，大小为2x2，步长为2；最后的输出产生了单通道输出图；
决策网络使用分割网络第6卷积层卷积过后的结果输出作为输入；由3个卷积层、三个最大池化层，一个全局最大池化层以及一个全连接层组成；其中卷积层卷积核大小为5，步长为1，通道数分别为16、32、64；最大池化层大小为2x2，步长为2；全局最大池化产生64个输出神经元；全连接层产生两个神经元。
进一步地，在缺陷检测网络中，训练损失函数选择具体为：
首先对分割网络进行独立训练，然后冻结分割网络的权值，只训练决策网络层，对决策网络层进行微调；
分割网络采用均方误差损失(MSE)的回归方法，损失函数表示如下：
Figure BDA0003456534800000031
其中n表示训练时一次传入的训练样本个数，yi为训练样本中第i个数据的真实值，yi′为神经网络给出的预测值，y为真实值，y′为预测值；
决策网络采用交叉熵损失的二元分类方法；损失函数表示如下：
Figure BDA0003456534800000032
其中n表示训练时一次传入的训练样本个数，x表示数据样本的特征值，y为训练样本中数据的真实值，y′为神经网络给出的预测值。
本发明还提出一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述输水隧洞检测机器人声光视觉检测方法的步骤。
本发明还提出一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时实现所述输水隧洞检测机器人声光视觉检测方法的步骤。
本发明的技术效果在于：本发明提出的一种输水隧洞检测机器人声光视觉检测方法，针对输水隧洞洞径大以及光线暗等问题，实行声学粗检以及光学细检的检测策略。利用本发明所述声光检测方法对输水隧洞缺陷进行检测时，可利用声学粗检避免大洞径条件下光学检测精度不足问题，亦可利用光学细检来弥补声学检测无法直观观看缺陷真实情况的问题。避免了现存技术中使用单一传感器进行隧洞检测导致的漏检或图像不直观的问题。
附图说明
图1为检测机构布置图。
图2为视觉系统硬件结构图。
图3为声学粗检系统框图。
图4为光学精检系统框图。
图5为网络结构图。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明所依托的载体的视觉传感器的布置形式如图1所示，共包含一个检测声纳，6台水下摄像机。机器人采用环向在伞式支架上均匀布置6台网络水下摄像机进行周向视频数据记录，同时在每台网络水下摄像机周围布放1台水下LED灯，提供辅助照明，检测机构布置图如图1所示。
结合图1-图5，本发明提出一种输水隧洞检测机器人声光视觉检测系统，所述系统包括声视觉检测系统与光视觉检测系统；两个检测系统包括网络摄像机6个，水下LED灯6个，检测声呐一个，视觉板卡3块，固态硬盘3块和网络HUB1个；所述视觉板卡3块包括光视觉板卡2块和声视觉板卡1块，其中1个声视觉板卡通过网络控制检测声纳；1个光视觉板卡通过网络控制网络摄像机1、2、3；另1个光视觉板卡通过网络控制网络摄像机4、5、6；3个固态硬盘分别与3块视觉板卡相连接；所述3块视觉板卡、检测声呐和6个网络摄像机均与网络HUB连接。视觉系统硬件结构图如图2所示。
针对输水隧洞洞径大以及光线暗等问题，实行声学粗检以及光学精检的检测策略，本发明还提出一种输水隧洞检测机器人声光视觉检测方法，具体为：
对于环境未知的隧洞，采用声学粗检，使用搭载的检测声呐进行检测，标记缺陷大致位置；
对于声学信息已知的隧洞，采用光学精检，使用搭载的多个摄像头，等到机器人到达大致位置，开始靠近缺陷侧，进行光学信息采集并进行标志物识别。
所述声学粗检流程具体为：
步骤1、检测机器人沿隧洞中心行驶，检测声呐获取洞壁图像信息；
步骤2、将检测声呐获得的声视觉图像信息传入声视觉板卡并储存到固态硬盘中；
步骤3、在声视觉板卡中对声视觉图像信息进行解码，并使用训练好的缺陷检测网络对图像进行裂缝检测；
步骤4、若检测到缺陷，标记当前导航位置信息。
所述光学精检流程具体为：
步骤1、检测机器人沿隧洞中心行驶，六个摄像头获取洞壁图像信息；
步骤2、将摄像头获得的光视觉图像信息传入光视觉板卡并储存到固态硬盘中；
步骤3、在光视觉板卡中对摄像机图像进行标志物实时检测；
步骤4、若识别到标志物，进行信息解读并传入导航系统进行导航定位信息的更新校正，若该标志物为靠近支洞口标志物，则将该信息传入检测机器人的控制系统，使机器人进行相应的出洞动作；
步骤5、若接近声视觉检测系统检测到的裂缝位置时，机器人提前靠近裂缝一侧航行，使摄像头更为准确的捕获缺陷信息；
步骤6、将六个摄像头捕获的缺陷信息离线下载数据到岸基服务器中并使用训练好的缺陷检测网络进行检测。由于板卡性能限制无法实时检测六个摄像头的缺陷信息，本发明采用航行结束后离线检测策略，即下载数据到岸基服务器中进行检测。
由于隧洞图像背景较为单一并且缺陷类型较少(在这里，只考虑裂缝这一种缺陷)，本方法的缺陷检测采用基于图像分割的缺陷检测方法，声学检测与光学检测使用同一种网络，但网络中的权值不同。其中包括数据集标注、网络结构构建以及训练损失函数选择。
在缺陷检测网络中，数据集标注具体为：获取隧洞内图片，按比例1:1挑选含缺陷图片以及不含缺陷图片，并将所有图片缩放像素为704x256；使用标注软件对图片进行标注，标注信息包括缺陷像素信息以及是否为含有缺陷的标签；对数据集进行增广，具体操作为旋转、翻转以及放缩；将标注、增广后的数据按照8：1：1的比例划分成训练集、测试集以及验证集。
在缺陷检测网络中，网络结构构建具体为：
网络结构构建分为两阶段进行：第一阶段是对隧洞缺陷进行像素定位的分割网络；第二阶段是对图像进行二分类的决策网络；
分割网络是由7个卷积层和2个最大池化层组成；其中：前两层卷积层采用通道数为32，卷积核大小为5，步长为1的卷积操作，每个卷积层之后进行归一化以及RELU激活处理；第3、4、5卷积层采用通道数为64，卷积核大小为5，步长为1的卷积操作，每个卷积层之后进行归一化以及RELU激活处理；第6卷积层采用通道数为1024，卷积核大小为15，步长为1的卷积操作；第7卷积层采用通道数为1，卷积核大小为1，步长为1的卷积操作；池化层方式为最大池化，大小为2x2，步长为2；最后的输出产生了单通道输出图；
决策网络使用分割网络第6卷积层卷积过后的结果输出作为输入；由3个卷积层、三个最大池化层，一个全局最大池化层以及一个全连接层组成；其中卷积层卷积核大小为5，步长为1，通道数分别为16、32、64；最大池化层大小为2x2，步长为2；全局最大池化产生64个输出神经元；全连接层产生两个神经元。
在缺陷检测网络中，训练损失函数选择具体为：
首先对分割网络进行独立训练，然后冻结分割网络的权值，只训练决策网络层，对决策网络层进行微调；避免了分割网络中大量权值过拟合的问题。
分割网络采用均方误差损失(MSE)的回归方法，损失函数表示如下：
Figure BDA0003456534800000061
其中n表示训练时一次传入的训练样本个数，yi为训练样本中第i个数据的真实值，yi′为神经网络给出的预测值，y为真实值，y′为预测值；
决策网络采用交叉熵损失的二元分类方法；损失函数表示如下：
Figure BDA0003456534800000062
其中n表示训练时一次传入的训练样本个数，x表示数据样本的特征值，y为训练样本中数据的真实值，y'为神经网络给出的预测值。
分别使用声学数据和光学数据训练网络模型，得到效果较好的声学模型参数以及光学模型参数，将其分别应用到声光检测算法中，即可得到检测结果。
本发明还提出一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述输水隧洞检测机器人声光视觉检测方法的步骤。
本发明还提出一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时实现所述输水隧洞检测机器人声光视觉检测方法的步骤。
以上对本发明所提出的一种输水隧洞检测机器人声光视觉检测系统、方法、设备和介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种输水隧洞检测机器人声光视觉检测系统，其特征在于，所述系统包括声视觉检测系统与光视觉检测系统；两个检测系统包括网络摄像机6个，水下LED灯6个，检测声呐一个，视觉板卡3块，固态硬盘3块和网络HUB1个；所述视觉板卡3块包括光视觉板卡2块和声视觉板卡1块，其中1个声视觉板卡通过网络控制检测声纳；1个光视觉板卡通过网络控制网络摄像机1、2、3；另1个光视觉板卡通过网络控制网络摄像机4、5、6；3个固态硬盘分别与3块视觉板卡相连接；所述3块视觉板卡、检测声呐和6个网络摄像机均与网络HUB连接。
2.一种根据权利要求1所述的输水隧洞检测机器人声光视觉检测系统的检测方法，其特征在于，
对于环境未知的隧洞，采用声学粗检，使用搭载的检测声呐进行检测，标记缺陷大致位置；
对于声学信息已知的隧洞，采用光学精检，使用搭载的多个摄像头，等到机器人到达大致位置，开始靠近缺陷侧，进行光学信息采集并进行标志物识别。
3.根据权利要求2所述的检测方法，其特征在于，所述声学粗检流程具体为：
步骤1、检测机器人沿隧洞中心行驶，检测声呐获取洞壁图像信息；
步骤2、将检测声呐获得的声视觉图像信息传入声视觉板卡并储存到固态硬盘中；
步骤3、在声视觉板卡中对声视觉图像信息进行解码，并使用训练好的缺陷检测网络对图像进行裂缝检测；
步骤4、若检测到缺陷，标记当前导航位置信息。
4.根据权利要求3所述的检测方法，其特征在于，所述光学精检流程具体为：
步骤1、检测机器人沿隧洞中心行驶，六个摄像头获取洞壁图像信息；
步骤2、将摄像头获得的光视觉图像信息传入光视觉板卡并储存到固态硬盘中；
步骤3、在光视觉板卡中对摄像机图像进行标志物实时检测；
步骤4、若识别到标志物，进行信息解读并传入导航系统进行导航定位信息的更新校正，若该标志物为靠近支洞口标志物，则将该信息传入检测机器人的控制系统，使机器人进行相应的出洞动作；
步骤5、若接近声视觉检测系统检测到的裂缝位置时，机器人提前靠近裂缝一侧航行，使摄像头更为准确的捕获缺陷信息；
步骤6、将六个摄像头捕获的缺陷信息离线下载数据到岸基服务器中并使用训练好的缺陷检测网络进行检测。
5.根据权利要求4所述的检测方法，其特征在于，在缺陷检测网络中，数据集标注具体为：获取隧洞内图片，按比例1:1挑选含缺陷图片以及不含缺陷图片，并将所有图片缩放像素为704x256；使用标注软件对图片进行标注，标注信息包括缺陷像素信息以及是否为含有缺陷的标签；对数据集进行增广，具体操作为旋转、翻转以及放缩；将标注、增广后的数据按照8：1：1的比例划分成训练集、测试集以及验证集。
6.根据权利要求5所述的检测方法，其特征在于，在缺陷检测网络中，网络结构构建具体为：
网络结构构建分为两阶段进行：第一阶段是对隧洞缺陷进行像素定位的分割网络；第二阶段是对图像进行二分类的决策网络；
分割网络是由7个卷积层和2个最大池化层组成；其中：前两层卷积层采用通道数为32，卷积核大小为5，步长为1的卷积操作，每个卷积层之后进行归一化以及RELU激活处理；第3、4、5卷积层采用通道数为64，卷积核大小为5，步长为1的卷积操作，每个卷积层之后进行归一化以及RELU激活处理；第6卷积层采用通道数为1024，卷积核大小为15，步长为1的卷积操作；第7卷积层采用通道数为1，卷积核大小为1，步长为1的卷积操作；池化层方式为最大池化，大小为2x2，步长为2；最后的输出产生了单通道输出图；
决策网络使用分割网络第6卷积层卷积过后的结果输出作为输入；由3个卷积层、三个最大池化层，一个全局最大池化层以及一个全连接层组成；其中卷积层卷积核大小为5，步长为1，通道数分别为16、32、64；最大池化层大小为2x2，步长为2；全局最大池化产生64个输出神经元；全连接层产生两个神经元。
7.根据权利要求6所述的检测方法，其特征在于，在缺陷检测网络中，训练损失函数选择具体为：
首先对分割网络进行独立训练，然后冻结分割网络的权值，只训练决策网络层，对决策网络层进行微调；
分割网络采用均方误差损失(MSE)的回归方法，损失函数表示如下：
Figure FDA0003456534790000021
其中n表示训练时一次传入的训练样本个数，yi为训练样本中第i个数据的真实值，yi'为神经网络给出的预测值，y为真实值，y′为预测值；
决策网络采用交叉熵损失的二元分类方法；损失函数表示如下：
Figure FDA0003456534790000031
其中n表示训练时一次传入的训练样本个数，x表示数据样本的特征值，y为训练样本中数据的真实值，y'为神经网络给出的预测值。
8.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求2-7所述方法的步骤。
9.一种计算机可读存储介质，用于存储计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求2-7所述方法的步骤。
CN202210008675.5A 2022-01-05 2022-01-05 一种输水隧洞检测机器人声光视觉检测系统、方法、设备和介质 Active CN114441541B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210008675.5A CN114441541B (zh) 2022-01-05 2022-01-05 一种输水隧洞检测机器人声光视觉检测系统、方法、设备和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210008675.5A CN114441541B (zh) 2022-01-05 2022-01-05 一种输水隧洞检测机器人声光视觉检测系统、方法、设备和介质

Publications (2)

Publication Number Publication Date
CN114441541A true CN114441541A (zh) 2022-05-06
CN114441541B CN114441541B (zh) 2022-11-25

Family

ID=81365460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210008675.5A Active CN114441541B (zh) 2022-01-05 2022-01-05 一种输水隧洞检测机器人声光视觉检测系统、方法、设备和介质

Country Status (1)

Country Link
CN (1) CN114441541B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
CN110261858A (zh) * 2019-06-10 2019-09-20 哈尔滨工程大学 一种基于水下标志物直线检测的隧洞auv引导方法
CN111612758A (zh) * 2020-05-19 2020-09-01 南京航空航天大学 一种基于卷积神经网络的隧道表面缺陷检测方法
CN111931800A (zh) * 2020-04-21 2020-11-13 南京航空航天大学 一种基于深度卷积神经网络的隧道表面缺陷分类方法
CN113362277A (zh) * 2021-04-26 2021-09-07 辛米尔视觉科技(上海)有限公司 一种基于深度学习的工件表面缺陷检测和分割方法
CN113566809A (zh) * 2021-06-29 2021-10-29 陕西省引汉济渭工程建设有限公司 一种人工路标辅助的输水隧洞检测机器人导航定位装置及实现方法
CN113650763A (zh) * 2021-07-16 2021-11-16 哈尔滨工程大学 一种输水隧洞检测机器人及其控制方法
CN113777111A (zh) * 2021-08-23 2021-12-10 南方电网调峰调频发电有限公司 大直径引水隧洞结构缺陷多维检测装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10140544B1 (en) * 2018-04-02 2018-11-27 12 Sigma Technologies Enhanced convolutional neural network for image segmentation
CN110261858A (zh) * 2019-06-10 2019-09-20 哈尔滨工程大学 一种基于水下标志物直线检测的隧洞auv引导方法
CN111931800A (zh) * 2020-04-21 2020-11-13 南京航空航天大学 一种基于深度卷积神经网络的隧道表面缺陷分类方法
CN111612758A (zh) * 2020-05-19 2020-09-01 南京航空航天大学 一种基于卷积神经网络的隧道表面缺陷检测方法
CN113362277A (zh) * 2021-04-26 2021-09-07 辛米尔视觉科技(上海)有限公司 一种基于深度学习的工件表面缺陷检测和分割方法
CN113566809A (zh) * 2021-06-29 2021-10-29 陕西省引汉济渭工程建设有限公司 一种人工路标辅助的输水隧洞检测机器人导航定位装置及实现方法
CN113650763A (zh) * 2021-07-16 2021-11-16 哈尔滨工程大学 一种输水隧洞检测机器人及其控制方法
CN113777111A (zh) * 2021-08-23 2021-12-10 南方电网调峰调频发电有限公司 大直径引水隧洞结构缺陷多维检测装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张晶: "《数字图像处理应用研究》", 30 April 2019 *
来记桃: "大直径长引水隧洞水下全覆盖无人检测技术研究", 《人民长江》 *
汪天伟 等: "一种水电站隧洞检查专用水下机器人的研制及应用", 《水电能源科学》 *

Also Published As

Publication number Publication date
CN114441541B (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
KR102229594B1 (ko) 디스플레이 스크린 품질 검출 방법, 장치, 전자기기 및 저장매체
CN109977921B (zh) 一种输电线路隐患检测方法
Rijal et al. Ensemble of deep neural networks for estimating particulate matter from images
WO2017088553A1 (zh) 电子元件极性方向的快速识别、标注的方法和系统
US20200175673A1 (en) Method and device for detecting defect of meal box, server, and storage medium
WO2020215241A1 (zh) 一种面向计算资源局限平台部署的实时目标检测的方法
CN114240939B (zh) 一种主板元器件外观缺陷检测方法、系统、设备及介质
CN110164139B (zh) 一种侧方停车检测识别系统及方法
Yang et al. Insulator self-shattering detection: a deep convolutional neural network approach
CN109919157A (zh) 一种视觉定位方法及装置
CN110969719A (zh) 一种自动巡检方法、系统、终端设备及存储介质
CN112215203A (zh) 一种基于深度学习的路面病害检测方法和装置
CN113205507A (zh) 一种视觉问答方法、系统及服务器
CN111931799A (zh) 图像识别方法及装置
CN116681979A (zh) 一种复杂环境下的电力设备目标检测方法
CN112633052A (zh) 一种皮带撕裂检测方法
CN115359239A (zh) 风电叶片缺陷检测定位方法、装置、存储介质和电子设备
CN113989616A (zh) 一种目标检测方法、装置、设备和存储介质
CN109903323B (zh) 用于透明物体识别的训练方法、装置、存储介质及终端
Wang et al. Global perception-based robust parking space detection using a low-cost camera
CN115082813A (zh) 检测方法、无人机、检测系统及介质
CN114441541B (zh) 一种输水隧洞检测机器人声光视觉检测系统、方法、设备和介质
CN114494875A (zh) 一种电网设备可视检测方法、系统、设备和介质
US20220092756A1 (en) Feature detection based on neural networks
CN112861867A (zh) 指针式仪表盘识别方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant