CN112326552B - 基于视觉和力觉感知的隧道掉块病害检测方法和系统 - Google Patents

基于视觉和力觉感知的隧道掉块病害检测方法和系统 Download PDF

Info

Publication number
CN112326552B
CN112326552B CN202011130560.0A CN202011130560A CN112326552B CN 112326552 B CN112326552 B CN 112326552B CN 202011130560 A CN202011130560 A CN 202011130560A CN 112326552 B CN112326552 B CN 112326552B
Authority
CN
China
Prior art keywords
disease
tunnel
block
suspected
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011130560.0A
Other languages
English (en)
Other versions
CN112326552A (zh
Inventor
蒋奇
杜卿宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202011130560.0A priority Critical patent/CN112326552B/zh
Publication of CN112326552A publication Critical patent/CN112326552A/zh
Priority to US17/328,191 priority patent/US11769333B2/en
Application granted granted Critical
Publication of CN112326552B publication Critical patent/CN112326552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N19/00—Investigating materials by mechanical methods
    • G01N19/08—Detecting presence of flaws or irregularities
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0091—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by using electromagnetic excitation or detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0025—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings of elongated objects, e.g. pipes, masts, towers or railways
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0033—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining damage, crack or wear
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0041—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining deflection or stress
    • G01M5/005—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining deflection or stress by means of external apparatus, e.g. test benches or portable test systems
    • G01M5/0058—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining deflection or stress by means of external apparatus, e.g. test benches or portable test systems of elongated objects, e.g. pipes, masts, towers or railways
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0075—Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by means of external apparatus, e.g. test benches or portable test systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/888—Marking defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes

Abstract

本发明提供了一种基于视觉和力觉感知的隧道掉块病害检测方法和系统，采集隧道内壁图像，利用训练后的第一神经网络模型初步识别掉块病害；以初步识别过程中确定的疑似掉块病害的中心位置为圆心，构建圆形，并通过多条直径将圆形圆周等分，以垂直于隧道内壁的姿态抵住疑似掉块病害的中心，在疑似掉块病害范围内沿所述直径方向上运动，记录位移，并采集运动过程中疑似掉块病害处所受力和力矩；基于采集的位移、力和力矩，利用第二神经网络模型对疑似隧道掉块病害做进一步判定，最终判定隧道掉块病害；本发明能够快速进行隧道掉块病害检测，达到掉落病害快速、准确检测的效果。

Description

基于视觉和力觉感知的隧道掉块病害检测方法和系统
技术领域
本发明属于隧道病害检测技术领域，具体涉及一种基于视觉和力觉感知的隧道掉块病害检测方法和系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
目前很多隧道存在掉块、裂损、变形和渗漏水等病害现象，其中掉块病害是对交通质量影响最大的病害，掉块病害一旦发生很有可能对隧道内行驶车辆造成极大伤害，极大的威胁隧道内的行车安全。
据发明人了解，目前隧道掉块病害的日常检测工作，大多通过人工作业实地勘测。工人师傅通过肉眼查看隧道内壁，看有无环形裂缝，若发现环形裂缝，工人师傅就用杆子抵住环形裂缝处前后左右活动，然后根据经验判断此处是否是掉块病害，如果判定是掉块病害则马上安排维护。对于拱腰以上和拱顶的检测，则需要采用脚手架或者高空升降平台车，检测人员才能近距离接触到隧道内壁，采用手电筒照明，肉眼查看拱腰和拱顶的病害。该方法检测到的掉块病害准确率低，容易漏检，在检测工程中，人员安全性差，检测效率低。
发明内容
本发明为了解决上述问题，提出了一种基于视觉和力觉感知的隧道掉块病害检测方法和系统，本发明能够快速进行隧道掉块病害检测，达到掉落病害快速、准确检测的效果。
根据一些实施例，本发明采用如下技术方案：
一种基于视觉和力觉感知的隧道掉块病害检测方法，包括以下步骤：
采集隧道内壁图像，利用训练后的第一神经网络模型初步识别掉块病害；
以初步识别过程中确定的疑似掉块病害的中心位置为圆心，构建圆形，并通过多条直径将圆形圆周等分，以垂直于隧道内壁的姿态抵住疑似掉块病害的中心，在疑似掉块病害范围内沿所述直径方向上运动，记录位移，并采集运动过程中疑似掉块病害处所受力和力矩；
基于采集的位移、力和力矩，利用第二神经网络模型对疑似隧道掉块病害做进一步判定，根据构建的判定因子最终判定是否是隧道掉块病害。
作为可选择的实施方式，所述第一神经网络模型为YOLO神经网络模型，包括7个卷积层和5个池化层，且卷积层全部采用3x3的卷积核，且前6个卷积层后紧跟着最大池化层来进行降维和减少参数，同时对每一层输入都进行归一化处理。
作为可选择的实施方式，所述第二神经网络模型为BP神经网络模型，包括输入层、隐含层和输出层。
作为可选择的实施方式，基于采集的位移、力和力矩，利用第二神经网络模型对疑似隧道掉块病害做进一步判定，最终判定隧道掉块病害的具体过程包括：
基于隧道内壁健康状态下测得的数据，计算得到参考状态下残差矩阵，构建隧道掉块病害判定因子，计算隧道掉块病害损伤判定阈值；
对于某处待判定的病害，利用检测到的数据，构建隧道疑似掉块病害处力和力矩的数据样本集合；利用参考状态下训练的第二神经网络模型，得到待判定状态下的残差矩阵，计算待判定状态下隧道掉块病害判定因子向量，并判断待判定状态下隧道掉块病害判定因子向量是否超过阈值，如果超过则判定为存在掉块病害。
在本发明中，以垂直于隧道内壁的姿态抵住疑似掉块病害的中心，可以通过机械执行机构实现，如机械臂、机械手、升降杆等。能够实现抵住并移动动作的实现方式，理应属于本发明的保护范围。
当然，机械执行机构上端可以设置有相关采集或检测设备。
一种基于视觉和力觉感知的隧道掉块病害检测系统，包括移动平台和控制系统，其中：
所述移动平台上设置有若干摄像装置，用于采集隧道内壁图像；
所述移动平台上设置有定位机构，用于定位移动平台所处位置；
所述移动平台上设置有六轴机械臂，所述六轴机械臂被配置为指定位置处移动或停靠，其端部设置有六维力传感器，用于采集力和力矩；
所述控制系统，被配置为接收隧道内壁图像、所述六轴机械臂端部位移、力和力矩信息，基于图像信息，利用训练后的第一神经网络模型初步识别掉块病害；基于采集的位移、力和力矩，利用第二神经网络模型对疑似隧道掉块病害做进一步判定，最终判定隧道掉块病害。
作为可选择的实施方式，所述移动平台上设置有升降台，所述升降台上设置六轴机械臂。
作为可选择的实施方式，所述移动平台上设置有若干辅助光源。
作为可选择的实施方式，所述控制系统包括控制中心和控制操作集成系统，具体包括中控主板、同步控制器、工控机、存储器和显示器，所述中控主板作为数据处理分析和转换传输的核心，所述存储器用于存储数据，所述显示器用于显示实时检测图像流；所述同步控制器用于接收触发信号及传感器数据，并同时将触发信号发送给图像采集装置触发采集图像和将数据发送给所述存储器：所述存储器用于存储图像和传感器数据：所述工控机用于接收数据并存储于存储器。
基于上述系统的工作方法，包括以下步骤：
移动平台在隧道内移动，利用摄像装置采集隧道内壁各个位置的图像，传输给控制系统，利用训练后的第一神经网络模型初步识别掉块病害；
六轴机械臂以初步识别过程中确定的疑似掉块病害的中心位置为圆心，构建圆形，并通过多条直径将圆形圆周等分，以垂直于隧道内壁的姿态抵住疑似掉块病害的中心，在疑似掉块病害范围内沿所述直径方向上运动，记录位移，并通过在六维力传感器采集运动过程中在疑似掉块病害处所受力和力矩；
控制系统基于采集的位移、力和力矩，利用第二神经网络模型对疑似隧道掉块病害做进一步判定，最终判定隧道掉块病害。
作为可选择的实施方式，通过3D摄像头测出疑似病害位置，计算出六轴机械臂端部距离疑似病害的距离，升降台升高直到六轴机械臂到疑似病害的距离达到其作业范围。
与现有技术相比，本发明的有益效果为：
本发明利用摄像装置采集的图像初步确定疑似病害位置，再通过六轴机械臂进行再次操作，节约时间，提高准确率。同时，将采集到的图像输入训练好的YOLO神经网络，初步识别疑似的掉块病害，识别出疑似的掉块病害后通过3D摄像头测出疑似病害位置，计算出机械臂距疑似病害的距离，升降台升高直到机械臂到疑似病害的距离达到其作业范围；控制过程简单、容易实现。
本发明通过BP神经网络构建基于位移、力和力矩的隧道掉块病害判定因子，能够自动确定隧道内是否存在掉块病害，且判断结果准确率高。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明方法流程示意图；
图2为本发明系统结构示意图；
图3为本发明的BP神经网络结构图。
具体实施方式：
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图2所示，一种基于视觉和力觉感知的隧道掉块病害检测系统，在本实施例中，包括控制操作集成系统(7)、六轴机械臂(2)、定位系统(8、9)、移动集成平台(10)、升降台(4)、3D摄像头(5)、辅助光源(6)组成。
控制操作集成系统包括中控主板、同步控制器、工控机、存储器和显示器；所述中控主板作为数据处理分析和转换传输的核心，所述显示器用于显示实时检测图像流；所述同步控制器用于接收触发信号及传感器数据，并同时将触发信号发送给图像采集装置触发采集图像和将数据发送给所述存储器：所述存储器用于存储图像和传感器数据：所述工控机用于接收数据并存储于存储器。
当然，控制操作集成系统还包括必要的电能供给系统。
为保证那能采集到多个方向的力和力矩数据，采用装有六维力传感器(3)的六轴机械臂。
在本实施例中，定位系统由里程计(9)和惯性导航单元(8)组成，里程计和车轴连接，惯性导航单元安装在平台上。
在本实施例中，升降台用于承载和升高机械臂，升降台上设计有横向的导轨，可以使机械臂到达隧道横截面的任意位置。2台3D摄像头组成，左右两侧各一台。
在本实施例中，辅助光源采用LED频闪灯，均匀分布在3D摄像头的两侧，用来照亮隧道内部环境。
采集潜在的掉块病害(即环形裂缝)图像训练YOLO神经网络，将3D摄像头采集到的图像输入训练好的YOLO神经网络，初步识别疑似的掉块病害，识别出疑似的掉块病害后通过3D摄像头测出疑似病害位置，计算出机械臂距疑似病害的距离，升降台升高直到机械臂到疑似病害的距离达到其作业范围。以疑似掉块病害中心为圆心在隧道内壁的面上构建一个圆，通过N条直径将圆周等分，机械臂执行器初始以垂直于隧道内壁的姿态抵住疑似掉块病害的中心，在疑似掉块病害范围内沿这N条直径方向上前后运动两次之后停住，记录机械臂执行器末端的位移，通过在机械臂末端安装的六维力传感器采集执行器运动过程中在疑似掉块病害处所受力和力矩的最大值和最小值，通过BP神经网络构建基于位移、力和力矩的隧道掉块病害判定因子，当判定因子数值为0时表明该隧道未存在掉块病害，当判定因子为1时表明该隧道可能存在掉块病害，需要维护人员来进一步检修，向维护人员发送位置信息及维护提示信息。
本发明所设计的YOLO神经网络采用的是Darknet19模型作为基础特征提取网络，共包含19个卷积层和5个Max-pooling层，考虑到目前车载级芯片的计算能力有限，直接采用同量级的卷积神经网络难以满足实时性需求，因此，本发明对原网络进行适当裁剪，得到的隧道掉块病害实时检测网络模型如表所示：
表1隧道掉块病害实时检测网络模型
Figure BDA0002735024260000081
Figure BDA0002735024260000091
表1所搭建的是本发明网络模型的主干网络。由上表可知，此处搭建的网络模型共有7个卷积层和5个池化层，相较于YOLOv2网络结构缩减了近一半。网络中卷积层全部采用3x3的卷积核，且前6个卷积层后紧跟着最大池化层来进行降维和减少参数，同时对每一层输入都进行归一化处理，加快网络计算以及收敛速度。
通过BP神经网络构建基于位移、力和力矩的隧道掉块病害判定因子，构建隧道疑似掉块病害处的数据样本集合，利用m个样本点对BP神经网络进行训练，训练集如下所示：
P1＝([ρ1 ρ2 … ρg … ρn]T)n×4(g∈(1,2,…,n)) (1)
χ1＝([x1 x2 … xg … xn]T)n×4(g∈(1,2,…,n)) (2)
P＝([P1 P2 … Pr … Pm]T)m×4(r∈(1,2,…,m)) (3)
X＝([χ1 χ2 … χr … χm]T)m×4(r∈(1,2,…,m)) (4)
(1)中，ρg为机械臂执行器沿某处样本第g个直径方向运动过程中所受力和力矩的最大值和最小值所构成的向量，其定义如下：
ρg＝[Fmin Fmax Mmin Mmax] (5)
式中，Fmin、Fmax、Mmin、Mmax为机械臂执行器所受力和力矩的最大值和最小值。
(2)中，xg为该样本处机械臂执行器沿第g个直径方向运动过程中的位移样本向量，其定义如下:
xg＝[Xx Xy Xz 0] (6)
P和X为m个样本的训练集输入和输出数据集合。
为利用BP神经网络建立位移、力和力矩与隧道掉块病害之间的关系，将m个样本处采集到的训练集数据集合进行如下形式的划分，
Figure BDA0002735024260000101
式中，Pinput为BP神经网络训练集的输入层样本集，Xoutput为BP神经网络训练集的输出层样本集。
BP神经网络由输入层、隐含层、输出层构成，三层BP神经网络能够逼近任何非线性函数，误差精度的提高可通过设计隐含层中的神经元数目来获得，通过以下经验公式确定隐含层的神经元个数：
Figure BDA0002735024260000102
式中，k为隐含层的神经元个数，2n为输入层和输出层神经元个数之和，a为[1，10]之间的常数。将输入层与输出层样本集代入BP神经网络进行训练。
δ为BP神经网络的残差矩阵，如下式所示：
δr＝[δ1 δ2 … δz … δn]n×4 (z∈(1,2,…,n)) (9)
Figure BDA0002735024260000111
式中，χoutput为BP神经网络第r个样本点的输出向量，
Figure BDA0002735024260000112
为利用训练完成的BP神经网络得到的χoutput的估计矩阵。
利用隧道内壁健康状态下测得的数据，计算得到参考状态下残差矩阵δr，构建如下的隧道掉块病害判定因子，
d＝{d1,d2,…,dz,…,dn} (z∈(1,2,…,n)) (11)
式中，dz为参考状态下机械臂执行器在第z个直径方向的隧道掉块病害判定因子，其定义如下式所示，
Figure BDA0002735024260000113
式中，δz为参考状态下残差矩阵δr的第z列，μ及θ分别为残差矩阵δr的均值向量及协方差矩阵，其定义如下式所示，
Figure BDA0002735024260000114
Figure BDA0002735024260000115
对于某处待判定的病害，利用检测到的数据，构建隧道疑似掉块病害处力和力矩的数据样本集合q，如下式表示，
Figure BDA0002735024260000116
利用参考状态下训练的BP神经网络，得到待判定状态下的残差矩阵δ′，
Figure BDA0002735024260000117
式中，x′output为BP神经网络在待判定状态下的输出，即机械臂的位移；
Figure BDA0002735024260000121
为利用训练完成的BP神经网络得到的待判定状态下的输出的估计矩阵。在此基础上，计算待判定状态下隧道掉块病害判定因子向量d′，
d′＝{d′1,d′2,…,d′w,…,d′n}(w∈(1,2,…,n)) (17)
Figure BDA0002735024260000122
式中，d′w为d′的第w个元素，δ′w为待判定状态下残差矩阵δ′的第w列。
在隧道健康状态下，计算隧道掉块病害损伤判定阈值，在此基础上，通过计算超过阈值的病害判定因子，对隧道进行病害判定决策：
在健康状态下，隧道掉块病害判定的阈值计算方法为：
λ＝[d1,d2,…,dz,…,dn]0.95 (z∈(1,2,…,n)) (19)
式中，λ为隧道掉块病害判定阈值，[·]0.95算子代表取95％置信概率值，dz为机械臂执行器沿第z个直径方向运动过程中在疑似掉块病害处的判定因子。
利用隧道健康状态下所建立的病害判定阈值λ，判断隧道是否存在掉块病害的可能，即
Figure BDA0002735024260000123
式中，Tw为隧道掉块病害判定指标，w为待判定状态下的任意直径方向，d'w为待判定状态下第w个直径方向的隧道掉块病害判定因子。当Tw数值为1表明该隧道可能存在掉块病害，需要维护人员来进一步检修，当Tw数值为0表明该隧道未存在掉块病害。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (8)

1.一种基于视觉和力觉感知的隧道掉块病害检测方法，其特征是：包括以下步骤：
采集隧道内壁图像，利用训练后的第一神经网络模型初步识别掉块病害；
所述第一神经网络模型为YOLO神经网络模型，包括7个卷积层和5个池化层，且卷积层全部采用3x3的卷积核，且前6个卷积层后紧跟着最大池化层来进行降维和减少参数，同时对每一层输入都进行归一化处理；
以初步识别过程中确定的疑似掉块病害的中心位置为圆心，构建圆形，并通过多条直径将圆形圆周等分，以垂直于隧道内壁的姿态抵住疑似掉块病害的中心，在疑似掉块病害范围内沿所述直径方向上运动，记录位移，并采集运动过程中疑似掉块病害处所受力和力矩；
基于采集的位移、力和力矩，利用第二神经网络模型对疑似隧道掉块病害做进一步判定，最终判定隧道掉块病害；
所述第二神经网络模型为BP神经网络模型，包括输入层、隐含层和输出层。
2.如权利要求1所述的一种基于视觉和力觉感知的隧道掉块病害检测方法，其特征是：基于采集的位移、力和力矩，利用第二神经网络模型对疑似隧道掉块病害做进一步判定，最终判定隧道掉块病害的具体过程包括：
基于隧道内壁健康状态下测得的数据，计算得到参考状态下残差矩阵，构建隧道掉块病害判定因子，计算隧道掉块病害损伤判定阈值；
对于某处待判定的病害，利用检测到的数据，构建隧道疑似掉块病害处力和力矩的数据样本集合；利用参考状态下训练的第二神经网络模型，得到待判定状态下的残差矩阵，计算待判定状态下隧道掉块病害判定因子向量，并判断待判定状态下隧道掉块病害判定因子向量是否超过阈值，如果超过则判定为存在掉块病害。
3.一种基于视觉和力觉感知的隧道掉块病害检测系统，其特征是：包括移动平台和控制系统，其中：
所述移动平台上设置有若干摄像装置，用于采集隧道内壁图像；
所述移动平台上设置有定位机构，用于定位移动平台所处位置；
所述移动平台上设置有六轴机械臂，所述六轴机械臂被配置为指定位置处移动或停靠，其端部设置有六维力传感器，用于采集力和力矩；
所述控制系统，被配置为接收隧道内壁图像、所述六轴机械臂端部位移、力和力矩信息，基于图像信息，利用训练后的第一神经网络模型初步识别掉块病害；基于采集的位移、力和力矩，利用第二神经网络模型对疑似隧道掉块病害做进一步判定，最终判定隧道掉块病害；
所述第一神经网络模型为YOLO神经网络模型，包括7个卷积层和5个池化层，且卷积层全部采用3x3的卷积核，且前6个卷积层后紧跟着最大池化层来进行降维和减少参数，同时对每一层输入都进行归一化处理；
所述第二神经网络模型为BP神经网络模型，包括输入层、隐含层和输出层。
4.如权利要求3所述的一种基于视觉和力觉感知的隧道掉块病害检测系统，其特征是：所述移动平台上设置有升降台，所述升降台上设置六轴机械臂。
5.如权利要求3所述的一种基于视觉和力觉感知的隧道掉块病害检测系统，其特征是：所述移动平台上设置有若干辅助光源。
6.如权利要求3所述的一种基于视觉和力觉感知的隧道掉块病害检测系统，其特征是：所述控制系统包括控制中心和控制操作集成系统，具体包括中控主板、同步控制器、工控机、存储器和显示器，所述中控主板作为数据处理分析和转换传输的核心，所述存储器用于存储数据，所述显示器用于显示实时检测图像流；所述同步控制器用于接收触发信号及传感器数据，并同时将触发信号发送给图像采集装置触发采集图像和将数据发送给所述存储器：所述存储器用于存储图像和传感器数据：所述工控机用于接收数据并存储于存储器。
7.基于权利要求3-6中任一项所述的系统的工作方法，其特征是：包括以下步骤：
移动平台在隧道内移动，利用摄像装置采集隧道内壁各个位置的图像，传输给控制系统，利用训练后的第一神经网络模型初步识别掉块病害；
六轴机械臂以初步识别过程中确定的疑似掉块病害的中心位置为圆心，构建圆形，并通过多条直径将圆形圆周等分，以垂直于隧道内壁的姿态抵住疑似掉块病害的中心，在疑似掉块病害范围内沿所述直径方向上运动，记录位移，并通过在六维力传感器采集运动过程中在疑似掉块病害处所受力和力矩；
控制系统基于采集的位移、力和力矩，利用第二神经网络模型对疑似隧道掉块病害做进一步判定，最终判定隧道掉块病害。
8.如权利要求7所述的工作方法，其特征是：通过3D摄像头测出疑似病害位置，计算出六轴机械臂端部距离疑似病害的距离，升降台升高直到六轴机械臂到疑似病害的距离达到其作业范围。
CN202011130560.0A 2020-10-21 2020-10-21 基于视觉和力觉感知的隧道掉块病害检测方法和系统 Active CN112326552B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011130560.0A CN112326552B (zh) 2020-10-21 2020-10-21 基于视觉和力觉感知的隧道掉块病害检测方法和系统
US17/328,191 US11769333B2 (en) 2020-10-21 2021-05-24 Method and system for detecting block falling disaster in a tunnel based on visual and mechanical perception

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011130560.0A CN112326552B (zh) 2020-10-21 2020-10-21 基于视觉和力觉感知的隧道掉块病害检测方法和系统

Publications (2)

Publication Number Publication Date
CN112326552A CN112326552A (zh) 2021-02-05
CN112326552B true CN112326552B (zh) 2021-09-07

Family

ID=74311913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011130560.0A Active CN112326552B (zh) 2020-10-21 2020-10-21 基于视觉和力觉感知的隧道掉块病害检测方法和系统

Country Status (2)

Country Link
US (1) US11769333B2 (zh)
CN (1) CN112326552B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117824974A (zh) * 2024-03-05 2024-04-05 深圳市迈腾电子有限公司 交换机跌落测试方法、装置、电子设备与计算机可读介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2533321C1 (ru) * 2013-06-28 2014-11-20 Антон Андреевич Бекаревич Способ адаптивного прогнозирования остаточного ресурса эксплуатации сложных объектов и устройство для его осуществления
CN110472597A (zh) * 2019-07-31 2019-11-19 中铁二院工程集团有限责任公司 基于深度学习的岩石图像风化程度检测方法及系统
CN110720034A (zh) * 2017-05-07 2020-01-21 国立大学法人大阪大学 识别方法、分类分析方法、识别装置、分类分析装置及记录介质
CN110836824A (zh) * 2019-11-19 2020-02-25 山西大学 基于液压缸压力信号识别岩石硬度的方法及其识别平台
CN111260057A (zh) * 2020-01-21 2020-06-09 北京空间飞行器总体设计部 一种基于虚拟传感器的足式机器人地形感知方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100458371C (zh) * 2003-07-02 2009-02-04 光纳株式会社 结构体监视系统
JP2005033559A (ja) * 2003-07-14 2005-02-03 Fuji Xerox Co Ltd 故障診断装置
DE102012014936A1 (de) * 2012-07-27 2014-01-30 Kuka Roboter Gmbh Ladesystem und Verfahren zum elektrischen Aufladen eines Kraftfahrzeugs
JP6444086B2 (ja) * 2014-07-25 2018-12-26 西日本高速道路エンジニアリング四国株式会社 トンネル覆工面調査システムおよびトンネル覆工面調査システムに用いる車両
JP7330710B2 (ja) * 2018-04-26 2023-08-22 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN110569699B (zh) * 2018-09-07 2020-12-29 创新先进技术有限公司 对图片进行目标采样的方法及装置
WO2020110576A1 (ja) * 2018-11-27 2020-06-04 キヤノン株式会社 情報処理装置
US11341627B2 (en) * 2019-02-28 2022-05-24 Skidmore Owings & Merrill Llp Machine learning tool for structures
US11714878B2 (en) * 2020-01-28 2023-08-01 Faro Technologies, Inc. Construction site defect and hazard detection using artificial intelligence

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2533321C1 (ru) * 2013-06-28 2014-11-20 Антон Андреевич Бекаревич Способ адаптивного прогнозирования остаточного ресурса эксплуатации сложных объектов и устройство для его осуществления
CN110720034A (zh) * 2017-05-07 2020-01-21 国立大学法人大阪大学 识别方法、分类分析方法、识别装置、分类分析装置及记录介质
CN110472597A (zh) * 2019-07-31 2019-11-19 中铁二院工程集团有限责任公司 基于深度学习的岩石图像风化程度检测方法及系统
CN110836824A (zh) * 2019-11-19 2020-02-25 山西大学 基于液压缸压力信号识别岩石硬度的方法及其识别平台
CN111260057A (zh) * 2020-01-21 2020-06-09 北京空间飞行器总体设计部 一种基于虚拟传感器的足式机器人地形感知方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于小波神经网络的管道腐蚀缺陷定量识别研究;蒋奇;《钢铁》;20051031;第40卷(第10期);第48-51页 *
基于深度学习的盾构隧道衬砌病害识别方法;薛亚东 等;《湖南大学学报（自然科学版）》;20180331;第45卷(第3期);第100-108页 *

Also Published As

Publication number Publication date
US11769333B2 (en) 2023-09-26
CN112326552A (zh) 2021-02-05
US20220121863A1 (en) 2022-04-21

Similar Documents

Publication Publication Date Title
CN108051450B (zh) 一种基于无人机的桥梁健康检测系统及方法
CN101657277B (zh) 用于对连续铸造板坯上的表面缺陷进行识别和分类的方法
CN104608799A (zh) 基于信息融合技术列车轮对踏面损伤在线检测与识别方法
CN107392197A (zh) 一种机车车号识别及机车部件故障检测方法及系统
CN108288055A (zh) 基于深度网络与分级测试的电力机车受电弓及电弧检测方法
CN112326552B (zh) 基于视觉和力觉感知的隧道掉块病害检测方法和系统
CN108108516B (zh) 伸缩罩的异常发生推定装置以及异常发生推定方法
CN113075065A (zh) 基于图像识别的深海管道裂纹扩展监测与可靠性评估系统
US10460431B2 (en) Part recognition and damage characterization using deep learning
CN110705414A (zh) 基于深度学习的输电线路施工机械隐患检测方法
CN115616067A (zh) 一种管道检测数字孪生系统
CN117197412B (zh) 一种基于ar的公路病害智能巡检系统及方法
CN110097140A (zh) 一种用于隧道巡检机器人的数据处理系统
CN112884717A (zh) 实时工件表面检测与刀具寿命预测的系统及方法
Rani et al. Edge intelligence with light weight cnn model for surface defect detection in manufacturing industry
CN117218428A (zh) 基于深度学习的铸件表面缺陷检测方法和系统
CN111259494B (zh) 重机设备健康监测分析方法
CN115165362A (zh) 一种基于巡检及振动信号的轴承故障智能检测系统和方法
Meyes et al. Transparent and interpretable failure prediction of sensor time series data with convolutional neural networks
CN116152228B (zh) 基于机器视觉和机器学习轮胎缺陷检测方法及系统
CN104156989A (zh) 利用Hough直线变换检测齿轮键槽方位的方法
CN215339551U (zh) 地面试运行航空发动机外部损伤的检测设备
CN113450357B (zh) 管片图像在线分析子系统及地铁盾构检测系统
CN210426450U (zh) 活塞环岸、环槽检测装置
CN110497331A (zh) 辅助隐患识别巡检机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant