CN116879313A - 一种基于雷视超融合的结构裂损实时测定方法 - Google Patents

一种基于雷视超融合的结构裂损实时测定方法 Download PDF

Info

Publication number
CN116879313A
CN116879313A CN202310683505.1A CN202310683505A CN116879313A CN 116879313 A CN116879313 A CN 116879313A CN 202310683505 A CN202310683505 A CN 202310683505A CN 116879313 A CN116879313 A CN 116879313A
Authority
CN
China
Prior art keywords
crack
image
fracture
real
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310683505.1A
Other languages
English (en)
Inventor
马庆禄
白玉宁
段学锋
张梓轩
鲁佳萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningxia Jiaotou Expressway Management Co ltd
Chongqing Jiaotong University
Original Assignee
Ningxia Jiaotou Expressway Management Co ltd
Chongqing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningxia Jiaotou Expressway Management Co ltd, Chongqing Jiaotong University filed Critical Ningxia Jiaotou Expressway Management Co ltd
Priority to CN202310683505.1A priority Critical patent/CN116879313A/zh
Publication of CN116879313A publication Critical patent/CN116879313A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/06—Arrangements for sorting, selecting, merging, or comparing data on individual record carriers
    • G06F7/10—Selecting, i.e. obtaining data of one kind from those record carriers which are identifiable by data of a second kind from a mass of ordered or randomly- distributed record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8874—Taking dimensions of defect into account
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G01N2021/9518—Objects of complex shape, e.g. examined with use of a surface follower device using a surface follower, e.g. robot
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Biochemistry (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种基于雷视超融合的结构裂损实时测定方法，该方法以结构检测机器人为本体，机器人将可见光视频摄像头、激光雷达集成在一起；利用激光雷达可以测出结构裂损的深度信息以及机器人和裂损物理位置之间的距离，并将实时距离和结构裂损深度数据和视频图像完成特征融合匹配，并结合改进的人工智能算法检测分割出裂损部位并计算出具体的裂损面积尺寸信息，以达到动态获取裂损部位平面尺寸数据以及深度数据的检测效果，从而实现横向平面视觉信息与激光雷达所测量的纵向数据相结合的雷视超融合，该方法提升了裂损感知的效率和精度，对于结构表面裂损检测具有重要参考意义。

Description

一种基于雷视超融合的结构裂损实时测定方法
技术领域
本发明涉及裂损检测技术领域，具体涉及一种基于雷视超融合的结构裂损实时测定方法。
背景技术
隧道往往是出于交通、矿产开采或其他原因而进行修筑的，隧道裂缝裂纹是常见的结构裂损病害之一，其中裂缝产生的原因有多种，有施工因素，地质原因混凝土本身特性等都可能造成裂缝的产生。
裂缝的产生虽不会影响隧道结构初期结构安全，但若不及时进行处理，任由其发展必将会影响隧道的使用寿命，甚至会造成灾害事故的发生，故对于裂缝如何及时发现就极为重要。
而目前对于隧道内的日常检测缺乏常态化的检测，多为人工巡检的方式进行检测，这种方式劳动强度大，对于病害发现往往滞后，进而造成严重事故发生；而现有的对于其往往是单一的自动检测手段，而脱离了检测端的配合，使得整体的检测效率低下，检测效果低，且对于裂缝处理的另一关键在于，检测裂缝是否在当前状态下处于稳定状态，也就是裂缝是否在进一步发展对于高效处理裂缝是尤为关键的。
发明内容
针对现有技术中的缺陷，本发明提供一种基于雷视超融合的结构裂损实时测定方法，以提高隧道内裂缝检测的效率，提升其检测质量，提高处理效率。
为达到上述目的，本发明提供了一种基于雷视超融合的结构裂损实时测定方法，所述结构裂损实时测定方法应用于结构裂损检测系统中，所述结构裂损检测系统包括结构检测机器人，其特征在于：所述结构检测机器人中集成有摄像头、激光雷达以及一个或多个保存或执行实时测定方法的模块；
所述实时测定方法包括以下步骤：
S100.裂损位置的判定，结构检测机器人通过轨道移动至裂损发生位置，采集裂损的位置信息，并记录裂损发现时间；
S200.执行裂损检测，检测方法包括：
S201.通过摄像头采集裂损位置的图像数据，对图像数据进行裂缝特征提取，通过提取的特征建立内、外参标定对应关系，和通过提取的特征进行裂缝分割，并输出裂缝分割图像；
通过激光雷达采集裂缝空间位置信息以及深度信息；提取出裂缝空间位置以及深度特征信息；
S202.通过所述内、外参标定对应关系与所述裂缝空间位置以及深度特征信息关联雷达目标和图像图标进行雷视信息融合，并输出雷视超融合图像；
S203.将所述裂缝分割图像与所述雷视超融合图像进行二次融合，得到具有裂缝实时参数信息的真实裂缝图像；
S204.将所述实时参数信息与裂缝等级划分标准进行比对输出实时测定结果。
根据上述的裂损程度测定方法，使用图像分割算法训练的裂损检测分割模型能够高效快速地检测到裂损，在检测到裂损后，结构检测机器人沿轨道滑动并到达裂损位置，在到达裂损这一过程中将裂损的位置信息记录下来保存，利用激光雷达可以测出结构裂损的深度以及机器人和裂损物理位置之间的距离，并实时将距离和空间深度特征数据和视频图像的二维特征信息相融合。
根据本发明的提供的一种基于雷视超融合的结构裂损实时测定方法，将裂缝分割图像与所述雷视超融合图像进行二次融合，包括：将所述裂缝分割图像特征投影到3D空间中，实现图像特征的融合；通过利用连续卷积将不同分辨率的所述裂缝分割图像和所述雷视超融合图像融合在一起，得到所述真实裂缝图像。
根据本发明的提供的一种基于雷视超融合的结构裂损实时测定方法，所述通过利用连续卷积将不同分辨率的所述裂缝分割图像和所述雷视超融合图像融合在一起，包括：获取所述裂缝分割图像的剖面特征图；把激光雷达点与所述剖面特征图上目标像素之间的3D相邻偏移进行编码；通过编码将每个激光雷达点距离最近的所述剖面特征图像进行信息提取，从而完成多特征的融合。
根据本发明的提供的一种基于雷视超融合的结构裂损实时测定方法，所述通过提取的特征进行裂缝分割，并输出裂缝分割图像，包括：对分割的图像进行判断，并输出判断结果；若判断结果为独立长细条状裂纹，则输出的所述裂缝分割图像中具有裂缝最大长度信息和最大宽度信息；若判断结构为非独立长细条状裂纹，则输出的所述裂缝分割图像中具有裂缝的面积信息。
以这种方式，在动态的隧道巡检机器人上部署将二维图像特征与空间深度特征相融合的裂损程度测定方法，结合改进的人工智能算法检测出裂损位置进行分割并计算平面裂损面积与动态实时获取裂损部位深度数据，从而实现对结构裂损状况的多维实时测算；该方法提升了裂损感知的效率和精度，对于结构表面裂损检测具有重要参考意义。
根据本发明的提供的一种基于雷视超融合的结构裂损实时测定方法，所述将所述实时参数信息与裂缝等级划分标准进行比对输出实时测定结果，包括：分别设定独立细条状裂纹、非独立细条状裂纹的判定阈值；将检测到的裂缝信息与所述判定阈值进行比对，并输出轻微裂损、普通裂损、严重裂损三类裂缝等级判定结果。
根据本发明的提供的一种基于雷视超融合的结构裂损实时测定方法，所述结构检测机器人通过轨道移动至裂损发生位置，采集裂损的位置信息，包括：通过结构检测机器人在轨道上运动中的齿轮滚动圈数，轨道上的RFID与桩号对应，以及机器人上的磁条反应来得到灾害在结构中的实际具体位置。
以这种方式，在进行位置确定时，通过轨道上的RFID与桩号对应，以及机器人上的磁条能够确定机器人的地理坐标，也就是当在多条隧道均布置有该机器人时，能够很好通过该方式确定具体灾害位置位于哪一隧道；然后通过齿轮滚动圈数以及RFID的配合，来确定该机器人位于隧道内的具体位置，由此能够精确了解机器人位于隧道内的精准位置。因此，相对于现有装置而言，本发明的这种方式灾害位置判定更为精准，以便于结合具体外部环境制定解决方案。
根据本发明的提供的一种基于雷视超融合的结构裂损实时测定方法，所述通过所述内、外参标定对应关系与所述裂缝空间位置以及深度特征信息关联雷达目标和图像图标进行雷视信息融合，并输出雷视超融合图像，包括：通过逐帧跟踪融合的方式将点云数据深度图投影到图像平面，完成特征匹配；
利用光度损失，检查预测的深度图和正确的深度图之间的密集像素误差；利用点云距离损失反应3D空间变换器层允许在反投影后的点云转换，尝试度量尺度最小化未校准的变换点和目标点云之间的3D-3D点距离；结合以上场景关联损失函数，聚合全局特征，再针对失误标定完成回归，输出纠偏调整标定后的所述雷视超融合图像。
根据本发明的提供的一种基于雷视超融合的结构裂损实时测定方法，所述若判断结果为独立长细条状裂纹，则输出的所述裂缝分割图像中具有裂缝最大长度信息和最大宽度信息，包括：根据拍摄时的具体物理距离考量，设置像素与实际长度的比例参数b；对分割出来的裂缝进行像素值计算，提取裂缝中最大像素宽度d及像素长度l，计算出裂缝的最大宽度D＝b*d和最大长度L＝b*l。
根据本发明的提供的一种基于雷视超融合的结构裂损实时测定方法，所述若判断结构为非独立长细条状裂纹，则输出的所述裂缝分割图像中具有裂缝的面积信息，包括：根据拍摄时的具体物理距离考量，设置像素与实际长度的比例参数b；使用openCV库中ContourArea函数通过格林公式计算轮廓内像素面积S1，得到裂损实际面积S＝b*b*S1。
本发明的有益效果体现在：通过裂缝检测模型的建立以及训练，使得对于裂缝发现检测更加高效，启动结构检测机器人对于裂缝位置以及裂缝情况的具体检测，配合激光雷达对裂缝深度做出测定，将融合视觉和激光雷达双模块捕捉到的特征进行融合，实现横向平面视觉信息与激光雷达所测量的纵向数据相结合的雷视超融合，提高物体检测和识别的准确性达到超融合，达到对隧道裂损程度情况掌握更加具体的效果，使得可以更加高效地制定对于险情的处理方案，以及可以制定更加准确的处理方案；而对于小裂缝标记处理，并通过周期性复检的方式，提升了对于隧道内裂缝的处理效率和处理质量。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1为本发明一实施例提供的结构检测机器人部分结构框图；
图2为本发明的流程框图；
图3为图2中解析步骤的具体流程框图；
图4为图2中解析步骤的具体流程框图；
图5为图2中解析步骤的具体流程框图；
图6为图2中解析步骤的具体流程框图；
图7为本发明另一实施例实际检测。
附图中，结构检测机器人100、数据处理器101、存储器102、存储控制器103、外设接口104、激光雷达105、电源107。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义，且为了全面理解本发明，在以下详细描述中提到众多具体细节。但本领域技术人员应该理解，本发明可以无需这些具体细节而实现。
图1所述，本发明一具体实施例的基于雷视超融合的结构裂损实时测定方法，该测定方法应用于隧道内的裂缝检测系统中，其中测定的裂损即为隧道中的结构裂缝，故以下实施例均已隧道中的裂缝病害作为具体实际测定系统；所述结构裂损检测系统包括结构检测机器人，其中结构检测机器人100包括设置能够依附于轨道上并能够沿轨道滑动的滑动连接结构，在该结构检测机器人100内包括有驱动电机，摄像头，存储器102，存储控制器103，一个或多个数据处理器101，外设接口104，激光雷达105，以及一个或多个保存或执行自动检测方法的模块；以及为上述组件提供电源107的电池组或其他电能提供端口。这些组件通过一条或多条通信总线或信号线或无线通信模块与一服务器或控制端通信连接，该控制端或服务器具备有显示屏，并能够将检测端的实现信息通过该显示屏展示出来。应当理解，该结构检测机器人100只是本申请的一个事实例，该终端设备中的组件可以比图示有更多或更少的组件。且各个组件可以用硬件、软件或软件和硬件的组合来实现，包括一个或多个数据处理器101或/和专用集成电路来实现，当然还包括有位结构检测机器人100提供电源的电力系统；结构检测机器人100检测到裂缝异常后会执行自动检测方法进行裂缝检测，并通过预警系统进行预警。
其中的驱动电机，包括一般将电能转为驱动转矩的电机，还包括伺服电机，在某些实施例中，采用伺服电机，通过伺服电机来对于结构检测机器人100位置进行检测和采集。
其中，存储器102控制器可控制结构检测机器人100中的诸如数据处理器101之类对于存储器102的访问，存储器102内设置有多个软件程序和/或指令集，并能够通过外设接口104将输入或输出接入到存储器102或处理器中；以使得结构检测机器人100执行检测的各种功能，并对数据进行处理；在某些实施例中，在存储器102中存储有通过图像分割算法训练的各种检测模型，如裂缝检测模型，通过检测模型能够实现对于隧道内的各种不同的灾害情况进行检测；并且，结构检测机器人100可以对于上述各个模型进行运行并实现该检测方法，外设接口104连接外部检测装置，如激光雷达和高清摄像装置等，用于外部环境的检测并传输数据。
所述自动检测方法包括以下步骤：
步骤S100中，裂损位置的判定，裂损位置的判定，结构检测机器人通过轨道移动至裂损发生位置，采集裂损的位置信息，并记录裂损发现时间；
步骤S200中，执行裂损检测，其检测方法包括：
S201，通过摄像头采集裂损位置的图像数据，对图像数据进行裂缝特征提取，通过提取的特征建立内、外参标定对应关系，和通过提取的特征进行裂缝分割，并输出裂缝分割图像；通过激光雷达采集裂缝空间位置信息以及深度信息；提取出裂缝空间位置以及深度特征信息。具体的实施例中，使用卷积神经网络对采集的图像数据中的裂损部位完成特征提取并进行检测分割，输出裂缝分割图像。
其中上述实施例中，通过激光雷达反射范围及波长函数确定裂缝空间位置信息及深度信息是通过公式一进行计算的。
公式(1)中，描述了一个光学系统中的辐射亮度随着距离和波长的变化情况，通过该公式的原理确定发现的病害距离机器人的物理距离；其中公式一左侧Lr(ρ,λ)代表一个与光学系统有关的物理量，通常称为辐射亮度(radiance)，单位是瓦特每平方米每立体弧度；公式一右侧的ρ代表距离，单位是米(m)；λ代表波长，单位是纳米(nm)；I0代表入射光强度，单位是瓦特每平方米(W m-2)；η代表接收系统的光学效率，通常是一个小于1的数；A代表入射光照射的面积，单位是平方米(m2)；β(ρ，λ)代表介质的吸收系数，是一个与距离和波长有关的函数，单位是分贝每米(dBm-1)；σ(r,λ)代表介质的散射系数，是一个与距离和波长有关的函数，单位是分贝每米(dBm-1)；上述公式中的指数项表示介质的散射衰减，其中积分是介质中从光线入射点到观测点处所有距离上的散射系数之和的两倍。
S202,通过所述内、外参标定对应关系与所述裂缝空间位置以及深度特征信息关联雷达目标和图像图标进行雷视信息融合，并输出雷视超融合图像。
具体地，通过逐帧跟踪融合的方式将点云数据深度图投影到图像平面，完成特征匹配；利用光度损失，检查预测的深度图和正确的深度图之间的密集像素误差，如公式二：
公式(2)中，用于度量预测值和真实值之间的差异，通常是在训练神经网络等机器学习模型中使用的优化目标。该公式表示的是一个平方误差损失函数(mean squarederror)，即预测值与真实值的差异的平方和的一半，因此该损失函数越小，预测值与真实值之间的差异就越小。其中N代表数据集中样本的数量；Dgt代表真实值(ground truth)，通常表示数据集中样本的真实标签或目标值；K代表一个比例系数(scaling factor)，通常是一个标量；T代表一个变换矩阵(transformation matrix)，通常是一个二维矩阵；π代表圆周率，约等于3.14；Dmiscalib代表一个偏差值(miscalibration)，通常是一个与设备校准有关的参数。
利用点云距离损失反应3D空间变换器层允许在反投影后的点云转换，尝试度量尺度最小化未校准的变换点和目标点云之间的3D-3D点距离；结合以上场景关联损失函数，聚合全局特征，再针对失误标定完成回归，输出纠偏调整标定后的所述雷视超融合图像。整个损失函数定义为公式三：
公式(3)中，dicp(s1,s2)表示两个点云s1和s2之间的ICP误差度量值，ICP(Iterative Closest Point)是一种用于点云配准(registration)的算法，用于找到两个点云之间的刚体变换(旋转矩阵和平移向量)，使它们最好地对齐；N代表点云中点的数量；i表示第i个点；表示参考点云中第i个点的坐标；(RXmiscalib+t)表示源点云中第i个点经过旋转R和平移t后的坐标，其中R和t是未知的刚体变换参数；||||表示欧几里得距离(Euclidean distance)；Xmiscalib代表一个偏差值(miscalibration)，通常是一个与设备校准有关的参数，用于补偿设备的误差。
S203，将所述裂缝分割图像与所述雷视超融合图像进行二次融合，得到具有裂缝实时参数信息的真实裂缝图像。
具体地，将所述裂缝分割图像特征投影到3D空间中，实现图像特征的融合；通过利用连续卷积将不同分辨率的所述裂缝分割图像和所述雷视超融合图像融合在一起，得到所述真实裂缝图像。在进一步的实施例中，获取所述裂缝分割图像的剖面特征图；把激光雷达点与所述剖面特征图上目标像素之间的3D相邻偏移进行编码；通过编码将每个激光雷达点距离最近的所述剖面特征图像进行信息提取，从而完成多特征的融合。
S204，将所述实时参数信息与裂缝等级划分标准进行比对输出实时测定结果。
具体地，对分割的图像进行判断，并输出判断结果；若判断结果为独立长细条状裂纹，则输出的所述裂缝分割图像中具有裂缝最大长度信息和最大宽度信息。使用openCV库中ContourArea函数通过格林公式计算轮廓内像素面积S1，公式四为：
其中格林公式(4)表示曲线L上的环量(circulation)或线积分(line integral)，它表示在曲线L上对Pdx和Qdy进行积分得到的结果，其中P和Q是L所在平面上的一个向量场(vector field)，dx和dy表示微小的路径元素；公式右侧的表示区域D的面积分(double integral)，它表示对向量场在D内部取散度(divergence)的结果，其中/>和/>分别表示向量场Q和P在x和y方向上的偏导数。
根据拍摄时的具体物理距离考量，设置像素与实际长度的比例参数b，得到裂损实际面积S＝b*b*S1。
进一步地，若判断结构为非独立长细条状裂纹，则输出的所述裂缝分割图像中具有裂缝的面积信息。对分割出来的裂缝进行像素值计算，提取裂缝中最大像素宽度d及像素长度l,使用设置像素与实际长度的比例参数b,计算出裂缝的最大宽度D＝b*d和最大长度L＝b*l。
在进一步的实施例中，对裂缝进行等级划分，包括：分别设定独立细条状裂纹、非独立细条状裂纹的判定阈值；
将检测到的裂缝信息与所述判定阈值进行比对，并输出轻微裂损、普通裂损、严重裂损三类裂缝等级判定结果。
具体地，在结构检测机器人的系统中设定判定标准，初始设定三类裂缝独立细长条裂缝、独立大横截面积裂缝、大面积裂纹群，对三类裂缝分别对应设定严重程度评价标准阈值；对每次测量的裂缝病害尺寸数据及验证程度划分进行区域值和类型统计；分析隧道中出现的类型的尺寸数值进行分布分析；根据分析结果，不断对系统设置的判定标准进行更新；使得输出的实时测定结果中综合了裂缝面积、裂缝深度、宽度数据，并对裂缝部位的裂缝等级完成测定判断。
在上述实施例的中，对于未达到预定阈值的裂缝上传数据后系统进行位置标记，使得结构检测机器人100在预定的时间周期内对该标记裂缝进行重复检测，将多份重复检测结果根据检测时间依次进行比对，通过比对结果确定裂缝是否发展，若裂缝发展则缩短检测的时间周期，并从新生成数据上传；若裂缝稳定则延迟检测的时间周期。
在一具体的实施例中，通过结构检测机器人100在轨道上运动中的齿轮滚动圈数，轨道上的RFID与桩号对应，以及机器人上的磁条反应来得到灾害在隧道中的实际具体位置。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (9)

1.一种基于雷视超融合的结构裂损实时测定方法，所述结构裂损实时测定方法应用于结构裂损检测系统中，所述结构裂损检测系统包括结构检测机器人，其特征在于：所述结构检测机器人中集成有摄像头、激光雷达以及一个或多个保存或执行实时测定方法的模块；
所述实时测定方法包括以下步骤：
S100.裂损位置的判定，结构检测机器人通过轨道移动至裂损发生位置，采集裂损的位置信息，并记录裂损发现时间；
S200.执行裂损检测，检测方法包括：
S201.通过摄像头采集裂损位置的图像数据，对图像数据进行裂缝特征提取，通过提取的特征建立内、外参标定对应关系，和通过提取的特征进行裂缝分割，并输出裂缝分割图像；
通过激光雷达采集裂缝空间位置信息以及深度信息；提取出裂缝空间位置以及深度特征信息；
S202.通过所述内、外参标定对应关系与所述裂缝空间位置以及深度特征信息关联雷达目标和图像图标进行雷视信息融合，并输出雷视超融合图像；
S203.将所述裂缝分割图像与所述雷视超融合图像进行二次融合，得到具有裂缝实时参数信息的真实裂缝图像；
S204.将所述实时参数信息与裂缝等级划分标准进行比对输出实时测定结果。
2.根据权利要求1所述的结构裂损实时测定方法，其特征在于，所述将所述裂缝分割图像与所述雷视超融合图像进行二次融合，包括：
将所述裂缝分割图像特征投影到3D空间中，实现图像特征的融合；
通过利用连续卷积将不同分辨率的所述裂缝分割图像和所述雷视超融合图像融合在一起，得到所述真实裂缝图像。
3.根据权利要求2所述的结构裂损实时测定方法，其特征在于，所述通过利用连续卷积将不同分辨率的所述裂缝分割图像和所述雷视超融合图像融合在一起，包括：
获取所述裂缝分割图像的剖面特征图；
把激光雷达点与所述剖面特征图上目标像素之间的3D相邻偏移进行编码；
通过编码将每个激光雷达点距离最近的所述剖面特征图像进行信息提取，从而完成多特征的融合。
4.根据权利要求1所述的结构裂损实时测定方法，其特征在于，所述通过提取的特征进行裂缝分割，并输出裂缝分割图像，包括：
对分割的图像进行判断，并输出判断结果；
若判断结果为独立长细条状裂纹，则输出的所述裂缝分割图像中具有裂缝最大长度信息和最大宽度信息；
若判断结构为非独立长细条状裂纹，则输出的所述裂缝分割图像中具有裂缝的面积信息。
5.根据权利要求4所述的结构裂损实时测定方法，其特征在于，所述将所述实时参数信息与裂缝等级划分标准进行比对输出实时测定结果，包括：
分别设定独立细条状裂纹、非独立细条状裂纹的判定阈值；
将检测到的裂缝信息与所述判定阈值进行比对，并输出轻微裂损、普通裂损、严重裂损三类裂缝等级判定结果。
6.根据权利要求1所述的结构裂损实时测定方法，其特征在于，所述结构检测机器人通过轨道移动至裂损发生位置，采集裂损的位置信息，包括：通过结构检测机器人在轨道上运动中的齿轮滚动圈数，轨道上的RFID与桩号对应，以及机器人上的磁条反应来得到灾害在结构中的实际具体位置。
7.根据权利要求1所述的结构裂损实时测定方法，其特征在于，所述通过所述内、外参标定对应关系与所述裂缝空间位置以及深度特征信息关联雷达目标和图像图标进行雷视信息融合，并输出雷视超融合图像，包括：
通过逐帧跟踪融合的方式将点云数据深度图投影到图像平面，完成特征匹配；
利用光度损失，检查预测的深度图和正确的深度图之间的密集像素误差；
利用点云距离损失反应3D空间变换器层允许在反投影后的点云转换，尝试度量尺度最小化未校准的变换点和目标点云之间的3D-3D点距离；
结合以上场景关联损失函数，聚合全局特征，再针对失误标定完成回归，输出纠偏调整标定后的所述雷视超融合图像。
8.根据权利要求4所述的结构裂损实时测定方法，其特征在于，所述若判断结果为独立长细条状裂纹，则输出的所述裂缝分割图像中具有裂缝最大长度信息和最大宽度信息，包括：
根据拍摄时的具体物理距离考量，设置像素与实际长度的比例参数b；
对分割出来的裂缝进行像素值计算，提取裂缝中最大像素宽度d及像素长度l，计算出裂缝的最大宽度D＝b*d和最大长度L＝b*l。
9.根据权利要求4所述的结构裂损实时测定方法，其特征在于，所述若判断结构为非独立长细条状裂纹，则输出的所述裂缝分割图像中具有裂缝的面积信息，包括：
根据拍摄时的具体物理距离考量，设置像素与实际长度的比例参数b；
使用openCV库中ContourArea函数通过格林公式计算轮廓内像素面积S1，得到裂损实际面积S＝b*b*S1。
CN202310683505.1A 2023-06-09 2023-06-09 一种基于雷视超融合的结构裂损实时测定方法 Pending CN116879313A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310683505.1A CN116879313A (zh) 2023-06-09 2023-06-09 一种基于雷视超融合的结构裂损实时测定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310683505.1A CN116879313A (zh) 2023-06-09 2023-06-09 一种基于雷视超融合的结构裂损实时测定方法

Publications (1)

Publication Number Publication Date
CN116879313A true CN116879313A (zh) 2023-10-13

Family

ID=88267000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310683505.1A Pending CN116879313A (zh) 2023-06-09 2023-06-09 一种基于雷视超融合的结构裂损实时测定方法

Country Status (1)

Country Link
CN (1) CN116879313A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115171A (zh) * 2023-10-25 2023-11-24 苏州视达讯远电子科技有限公司 一种应用于地铁lcd显示屏的轻微亮点缺陷检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115171A (zh) * 2023-10-25 2023-11-24 苏州视达讯远电子科技有限公司 一种应用于地铁lcd显示屏的轻微亮点缺陷检测方法
CN117115171B (zh) * 2023-10-25 2024-01-26 苏州视达讯远电子科技有限公司 一种应用于地铁lcd显示屏的轻微亮点缺陷检测方法

Similar Documents

Publication Publication Date Title
CN105302151B (zh) 一种飞机入坞引导和机型识别的系统及方法
US11971961B2 (en) Device and method for data fusion between heterogeneous sensors
CN110910341B (zh) 一种输电线路锈蚀区缺陷检测方法及装置
CN111931565A (zh) 一种基于光伏电站uav的自主巡检与热斑识别方法及系统
JP6622156B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN111612846A (zh) 基于U-net CNN图像识别和像素标定的混凝土裂缝宽度测定方法
CN116879313A (zh) 一种基于雷视超融合的结构裂损实时测定方法
WO2020093631A1 (zh) 一种基于深度实例分割网络的天线下倾角测量方法
CN110910382A (zh) 一种集装箱检测系统
CN111524394A (zh) 提升机坪综合航迹监视数据精度的方法、装置及系统
CN112562005A (zh) 一种空间标定方法和系统
Ioli et al. UAV photogrammetry for metric evaluation of concrete bridge cracks
CN115187802A (zh) 一种用于管道巡检小车的精准控制方法
CN113724333A (zh) 一种雷达设备的空间标定方法和系统
AVENDAÑO Identification and quantification of concrete cracks using image analysis and machine learning
CN112991425B (zh) 一种水域水位提取方法、系统及存储介质
CN117146739B (zh) 用于光学瞄准镜的测角检定方法及系统
CN117607591A (zh) 一种超级电容的工装设备管理方法及系统
CN113077447A (zh) 一种可探测高压设备微弱放电并进行缺陷分析的方法
CN113963013B (zh) 一种基于计算机视觉的无标靶输电塔位移振动识别方法
CN111473944B (zh) 观测流场中存在复杂壁面的piv数据修正方法、装置
Hassan et al. Compressed air leakage detection and quantification through infrared thermography
CN114529493A (zh) 基于双目视觉的电缆外观缺陷检测与定位方法
Chen et al. 3D Lidar Mapping Relative Accuracy Automatic Evaluation Algorithm
Niblock et al. Fast model-based feature matching technique applied to airport lighting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination