CN116152697A - 一种混凝土结构裂缝的三维模型测量方法及相关装置 - Google Patents

一种混凝土结构裂缝的三维模型测量方法及相关装置 Download PDF

Info

Publication number
CN116152697A
CN116152697A CN202211500878.2A CN202211500878A CN116152697A CN 116152697 A CN116152697 A CN 116152697A CN 202211500878 A CN202211500878 A CN 202211500878A CN 116152697 A CN116152697 A CN 116152697A
Authority
CN
China
Prior art keywords
crack
model
dimensional
point cloud
semantic segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211500878.2A
Other languages
English (en)
Inventor
邓露
孙涛
戴丙维
史鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Zhongdeng Technology Co ltd
Hunan University
Original Assignee
Hunan Zhongdeng Technology Co ltd
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Zhongdeng Technology Co ltd, Hunan University filed Critical Hunan Zhongdeng Technology Co ltd
Priority to CN202211500878.2A priority Critical patent/CN116152697A/zh
Publication of CN116152697A publication Critical patent/CN116152697A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请公开了一种混凝土结构裂缝的三维模型测量方法，包括：基于标注的混凝土裂缝训练数据集对初始的语义分割模型进行训练，得到裂缝语义分割模型；采用所述裂缝语义分割模型对采集的双目视频的关键帧进行检测，得到裂缝分割掩膜图；基于所述双目视频的关键帧、所述裂缝分割掩膜图和所述关键帧对应的相机位姿进行三维重建，得到具有裂缝定位信息的三维点云模型；其中，所述相机位姿为基于双目视觉的SLAM算法对对应的关键帧进行计算得到的；基于所述三维点云模型进行裂缝测量，得到裂缝测量数据。以提高裂缝检测和测量的效率。本申请还公开了一种混凝土结构裂缝的三维模型测量装置、终端设备以及计算机可读存储介质，具有以上有益效果。

Description

一种混凝土结构裂缝的三维模型测量方法及相关装置
技术领域
本申请涉及工程技术领域，特别涉及一种混凝土结构裂缝的三维模型测量方法、三维模型测量装置、终端设备以及计算机可读存储介质。
背景技术
混凝土工程结构在服役过程中，在长期荷载作用和自然灾害等多种不利因素的共同作用下会出现裂缝损伤，裂缝损伤是工程结构健康状况恶化的征兆，并且会严重威胁工程结构的安全使用。因此，为了保证混凝土工程结构的安全运行需要对裂缝损伤进行及时有效的检测和评估。
相关技术中，以混凝土桥梁为例，桥梁表观裂缝的检测在很大程度上依赖于人工观测，通过桥检车、桥检船搭载检测人员依赖肉眼观察表观裂缝，检测结果受检测人员技术经验影响，检测效率低下，在高危区域进行检测极具危险性；此外，裂缝形态、位置的确定和记录依赖于检测员在检测报告中书写描述辅以画图和拍照的方式，该方法繁琐低效，没有良好的三维可视化性，不便于桥梁工程师直观理解裂缝形态位置、评估结构损伤程度；最后，裂缝测量在很大程度上依赖于刻度尺、数显卡尺等传统接触式测量方法，其在人员难以到达区域难以奏效。可见，传统人工方法检测和测量结构表观裂缝繁琐低效，检测结果主观性强，危险性高。
因此，如何使得裂缝检测和测量更加准确高效是本领域技术人员关注的重点问题。
发明内容
本申请的目的是提供一种混凝土结构裂缝的三维模型测量方法、三维模型测量装置、终端设备以及计算机可读存储介质，以提高裂缝检测和测量的效率。
为解决上述技术问题，本申请提供一种混凝土结构裂缝的三维模型测量方法，包括：
基于标注的混凝土裂缝训练数据集对初始的语义分割模型进行训练，得到裂缝语义分割模型；
采用所述裂缝语义分割模型对采集的双目视频的关键帧进行检测，得到裂缝分割掩膜图；
基于所述双目视频的关键帧、所述裂缝分割掩膜图和所述关键帧对应的相机位姿进行三维重建，得到具有裂缝定位信息的三维点云模型；其中，所述相机位姿为基于双目视觉的SLAM算法对对应的关键帧进行计算得到的；
基于所述三维点云模型进行裂缝测量，得到裂缝测量数据。
可选的，基于标注的混凝土裂缝训练数据集对初始的语义分割模型进行训练，得到裂缝语义分割模型，包括：
采集混凝土裂缝图片；
通过语义分割标注工具对所述混凝土裂缝图片进行标注，得到所述混凝土裂缝训练数据集；
采用所述混凝土裂缝训练数据集对所述初始的语义分割模型进行训练，得到所述裂缝语义分割模型。
可选的，采用所述裂缝语义分割模型对采集的双目视频的关键帧进行检测，得到裂缝分割掩膜图，包括：
通过双目相机模组进行连续视频拍摄，得到所述双目视频；
通过双目视觉的SLAM算法对所述视频流数据进行稀疏重建，并提取关键帧，得到所述关键帧；
采用所述裂缝语义分割模型对所述关键帧进行检测，得到所述裂缝分割掩膜图。
可选的，基于所述双目视频的关键帧、所述裂缝分割掩膜图和所述关键帧对应的相机位姿进行三维重建，得到具有裂缝定位信息的三维点云模型，包括：
基于所述双目视频的关键帧和所述关键帧对应的相机位姿进行三维点云稠密重建，得到点云数据；
基于所述裂缝分割掩膜图对所述点云数据进行裂缝三维映射得到具有裂缝定位信息的所述三维点云模型。
可选的，基于所述三维点云模型进行裂缝测量，得到裂缝测量数据，包括：
基于点云类别对具有裂缝定位信息的所述三维点云模型进行点云分割处理，得到裂缝点云；
基于欧式聚类算法对所述裂缝点云进行聚类，得到多个裂缝簇；
基于主成分分析法确定每个所述裂缝簇的裂缝方向，并计算裂缝三维骨架点；
基于所述每个所述裂缝簇的裂缝方向和裂缝三维骨架点，计算裂缝长度和裂缝宽度，得到所述裂缝测量数据。
本申请还提供一种混凝土结构裂缝的三维模型测量装置，包括：
模型训练模块，用于基于标注的混凝土裂缝训练数据集对初始的语义分割模型进行训练，得到裂缝语义分割模型；
图像检测模块，用于采用所述裂缝语义分割模型对采集的双目视频的关键帧进行检测，得到裂缝分割掩膜图；
三维重建模块，用于基于所述双目视频的关键帧、所述裂缝分割掩膜图和所述关键帧对应的相机位姿进行三维重建，得到具有裂缝定位信息的三维点云模型；其中，所述相机位姿为基于双目视觉的SLAM算法对对应的关键帧进行计算得到的；
裂缝测量模块，用于基于所述三维点云模型进行裂缝测量，得到裂缝测量数据。
可选的，所述模型训练模块，具体用于采集混凝土裂缝图片；通过语义分割标注工具对所述混凝土裂缝图片进行标注，得到所述混凝土裂缝训练数据集；采用所述混凝土裂缝训练数据集对所述初始的语义分割模型进行训练，得到所述裂缝语义分割模型。
可选的，所述图像检测模块，具体用于通过双目相机模组进行连续视频拍摄，得到所述双目视频；通过双目视觉的SLAM算法对所述视频流数据进行稀疏重建，并提取关键帧，得到所述关键帧；采用所述裂缝语义分割模型对所述关键帧进行检测，得到所述裂缝分割掩膜图。
本申请还提供一种终端设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权上所述的三维模型测量方法的步骤。
本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的三维模型测量方法的步骤。
本申请所提供的一种混凝土结构裂缝的三维模型测量方法，包括：基于标注的混凝土裂缝训练数据集对初始的语义分割模型进行训练，得到裂缝语义分割模型；采用所述裂缝语义分割模型对采集的双目视频的关键帧进行检测，得到裂缝分割掩膜图；基于所述双目视频的关键帧、所述裂缝分割掩膜图和所述关键帧对应的相机位姿进行三维重建，得到具有裂缝定位信息的三维点云模型；其中，所述相机位姿为基于双目视觉的SLAM算法对对应的关键帧进行计算得到的；基于所述三维点云模型进行裂缝测量，得到裂缝测量数据。
通过混凝土裂缝训练数据集训练得到裂缝语义分割模型，然后基于该模型对待检测图像进行检测，得到裂缝分割掩膜图，然后基于所述待检测图像、所述裂缝分割掩膜图和所述待检测图像对应的相机位姿进行三维重建，得到三维点云模型，最后基于该三维点云模型进行测量，实现自动化的检测和测量过程，提高了进行检测和测量的准确性和效率，并减少了检测成本。
本申请还提供一种混凝土结构裂缝的三维模型测量装置、终端设备以及计算机可读存储介质，具有以上有益效果，在此不作赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种混凝土结构裂缝的三维模型测量方法的流程图；
图2为本申请实施例所提供的另一种混凝土结构裂缝的三维模型测量方法的流程图；
图3为本申请实施例所提供的另一种混凝土结构裂缝的三维模型测量方法的语义分割示意图；
图4为本申请实施例所提供的另一种混凝土结构裂缝的三维模型测量方法的装置结构示意图；
图5为本申请实施例所提供的另一种混凝土结构裂缝的三维模型测量方法的测量示意图；
图6为本申请实施例所提供的一种混凝土结构裂缝的三维模型测量装置的结构示意图。
具体实施方式
本申请的核心是提供一种混凝土结构裂缝的三维模型测量方法、三维模型测量装置、终端设备以及计算机可读存储介质，以提高裂缝检测和测量的效率。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
相关技术中，以混凝土桥梁为例，桥梁表观裂缝的检测在很大程度上依赖于人工观测，通过桥检车、桥检船搭载检测人员依赖肉眼观察表观裂缝，检测结果受检测人员技术经验影响，检测效率低下，在高危区域进行检测极具危险性；此外，裂缝形态、位置的确定和记录依赖于检测员在检测报告中书写描述辅以画图和拍照的方式，该方法繁琐低效，没有良好的三维可视化性，不便于桥梁工程师直观理解裂缝形态位置、评估结构损伤程度；最后，裂缝测量在很大程度上依赖于刻度尺、数显卡尺等传统接触式测量方法，其在人员难以到达区域难以奏效。可见，传统人工方法检测和测量结构表观裂缝繁琐低效，检测结果主观性强，危险性高。
因此，本申请提供一种混凝土结构裂缝的三维模型测量方法，通过混凝土裂缝训练数据集训练得到裂缝语义分割模型，然后基于该模型对待检测图像进行检测，得到裂缝分割掩膜图，然后基于所述待检测图像、所述裂缝分割掩膜图和所述待检测图像对应的相机位姿进行三维重建，得到三维点云模型，最后基于该三维点云模型进行测量，实现自动化的检测和测量过程，提高了进行检测和测量的准确性和效率，并减少了检测成本。
以下通过一个实施例，对本申请提供的一种混凝土结构裂缝的三维模型测量方法进行说明。
请参考图1，图1为本申请实施例所提供的一种混凝土结构裂缝的三维模型测量方法的流程图。
本实施例中，该方法可以包括：
S101，基于标注的混凝土裂缝训练数据集对初始的语义分割模型进行训练，得到裂缝语义分割模型；
本步骤旨在基于标注的混凝土裂缝训练数据集对初始的语义分割模型进行训练，得到裂缝语义分割模型。可见，本步骤旨在训练出进行语义分割的模型。其中，混凝土裂缝训练数据集是对存在裂缝的图像进行标注后得到的训练数据集。其中，进行标注的方式可以采用现有技术提供的任意一种标注方式，在此不做赘述。
其中，基于卷积神经网络构建裂缝语义分割模型，然后通过裂缝数据集训练分割模型。训练好的裂缝分割模型可以用于将图片上属于裂缝类别的像素点分割出来，以便从图像中自动识别裂缝，而不需要人工进行判断，提高后续自动测量的准确性。
进一步地，本步骤可以包括：
步骤1，采集混凝土裂缝图片；
步骤2，通过语义分割标注工具对混凝土裂缝图片进行标注，得到混凝土裂缝训练数据集；
步骤3，采用混凝土裂缝训练数据集对初始的语义分割模型进行训练，得到裂缝语义分割模型。
可见，本可选方案中主要是说明如何对语义分割模型进行训练。本可选方案中，主要是采集混凝土裂缝图片；通过语义分割标注工具对混凝土裂缝图片进行标注，得到混凝土裂缝训练数据集；采用混凝土裂缝训练数据集对初始的语义分割模型进行训练，得到裂缝语义分割模型。
S102，采用裂缝语义分割模型对采集的双目视频的关键帧进行检测，得到裂缝分割掩膜图；
在S101的基础上，本步骤旨在采用裂缝语义分割模型对采集的双目视频的关键帧进行检测，得到裂缝分割掩膜图。也就是，对现场获取的采集的双目视频的关键帧进行推理，从而得到裂缝分割掩膜图。其中，得到的裂缝分割掩膜图为像素级别的裂缝分割掩膜图，可以准确地确定裂缝的几何形状。
进一步地，本步骤可以包括：
步骤1，通过双目相机模组进行连续视频拍摄，得到双目视频；
步骤2，通过双目视觉的SLAM算法对视频流数据进行稀疏重建，并提取关键帧，得到关键帧；
步骤3，采用裂缝语义分割模型对关键帧进行检测，得到裂缝分割掩膜图。
可见，本步骤旨在说明如何获取待检测图像。本可选方案中，通过双目相机模组进行连续视频拍摄，得到双目视频；通过双目视觉的SLAM算法对视频流数据进行稀疏重建，并提取关键帧，得到关键帧；采用裂缝语义分割模型对关键帧进行检测，得到裂缝分割掩膜图
其中，SLAM(s imul taneous local ization and mapping)算法，即时定位与地图构建，是相机在运动中实时定位(确定相机位姿)和构建周围环境的三维场景点云地图的过程。双目视觉的SLAM算法可以确定相机拍摄图像对应的相机位姿信息，并建立桥梁表面的稀疏三维模型。
S103，基于双目视频的关键帧、裂缝分割掩膜图和关键帧对应的相机位姿进行三维重建，得到具有裂缝定位信息的三维点云模型；其中，相机位姿为基于双目视觉的SLAM算法对对应的关键帧进行计算得到的；
在S102的基础上，本步骤旨在基于双目视频的关键帧、裂缝分割掩膜图和关键帧对应的相机位姿进行三维重建，得到具有裂缝定位信息的三维点云模型；其中，相机位姿为基于双目视觉的SLAM算法对对应的关键帧进行计算得到的。也就是，对裂缝对应的部分进行三维重建，以便确定到具有裂缝定位信息的三维点云模型，以便基于三维数据对裂缝实现准确的测量。
其中，稀疏重建是指重建的点云密度较低的过程，稠密重建是指重建的点云密度较高的过程。对于裂缝而言，需要稠密点云进行表现以便准确测量裂缝。
进一步地，本步骤可以包括：
步骤1，基于双目视频的关键帧和关键帧对应的相机位姿进行三维点云稠密重建，得到点云数据；
步骤2，基于裂缝分割掩膜图对点云数据进行裂缝三维映射得到具有裂缝定位信息的三维点云模型。
可见，本可选方案主要是说明如何构建得到具有裂缝定位信息的点云模型。本可选方案中，主要是基于双目视频的关键帧和关键帧对应的相机位姿进行三维点云稠密重建，得到点云数据，基于裂缝分割掩膜图对点云数据进行裂缝三维映射得到具有裂缝定位信息的三维点云模型。
S104，基于三维点云模型进行裂缝测量，得到裂缝测量数据。
在S103的基础上，本步骤旨在基于三维点云模型进行裂缝测量，得到裂缝测量数据。其中，具有裂缝定位信息的点云模型就是对裂缝的部分进行了表现，可以对该裂缝的部分进行准确的测量。
进一步地，本步骤可以包括：
步骤1，基于点云类别对具有裂缝定位信息的三维点云模型进行点云分割处理，得到裂缝点云；
步骤2，基于欧式聚类算法对裂缝点云进行聚类，得到多个裂缝簇；
步骤3，基于主成分分析法确定每个裂缝簇的裂缝方向，并计算裂缝三维骨架点；
步骤4，基于每个裂缝簇的裂缝方向和裂缝三维骨架点，计算裂缝长度和裂缝宽度，得到裂缝测量数据。
可见，本可选方案中主要是说明如何测得裂缝测量数据。本可选方案中，主要是基于点云类别对具有裂缝定位信息的三维点云模型进行点云分割处理，得到裂缝点云，基于欧式聚类算法对裂缝点云进行聚类，得到多个裂缝簇，基于主成分分析法确定每个裂缝簇的裂缝方向，并计算裂缝三维骨架点；，基于每个裂缝簇的裂缝方向和裂缝三维骨架点，计算裂缝长度和裂缝宽度，得到裂缝测量数据。
其中，裂缝簇是欧式聚类之后，属于同一个的裂缝个体的点云被归类为一个点云簇，即一条裂缝、一个裂缝单元。
综上，本实施例通过混凝土裂缝训练数据集训练得到裂缝语义分割模型，然后基于该模型对待检测图像进行检测，得到裂缝分割掩膜图，然后基于待检测图像、裂缝分割掩膜图和待检测图像对应的相机位姿进行三维重建，得到三维点云模型，最后基于该三维点云模型进行测量，实现自动化的检测和测量过程，提高了进行检测和测量的准确性和效率，并减少了检测成本。
以下通过一个具体的实施例对本申请提供的一种混凝土结构裂缝的三维模型测量方法做进一步说明。
请参考图2，图2为本申请实施例所提供的另一种混凝土结构裂缝的三维模型测量方法的流程图。
本实施例中，该方法可以包括：
步骤1，数据采集并制作数据集。采集混凝土裂缝图片并标注，通过语义分割标注工具对结构表面病害进行像素级标记，构建混凝土裂缝数据集，以用于训练深度学习裂缝语义分割模型。
步骤2，构建深度学习裂缝语义分割模型。构建一个深层神经网络，输入端为桥梁表观病害图像K，输出端为像素级裂缝分割掩膜图Kmask。通过构建的数据集训练裂缝语义分割模型。
请参考图3，图3为本申请实施例所提供的另一种混凝土结构裂缝的三维模型测量方法的语义分割示意图。
具体地，输出的分割掩膜图Kmask中所有像素点可以被分类为{0,1}两类，0表示属于裂缝类别的像素点，1表示属于背景类别的像素点。通过将像素点分类可以表示出裂缝的几何形状，以实现二维图像中的混凝土裂缝像素级精确分割。
步骤3，双目相机模组部署。双目相机模组由三部分组成双目相机01、计算微机02和数据传输模块03。
请参考图4，图4为本申请实施例所提供的另一种混凝土结构裂缝的三维模型测量方法的装置结构示意图。
如图4中所示，在拍摄视频之前需要对双目相机01进行标定，通过标定法进行双目相机标定得到相机内参外参。其中，相机内参外参参数包括：左右目相机各自的焦距、图像中心(fx，fy，cx，cy)和畸变系数([k1，k2，p1，p2，k3])，以及右目相机相对于左目相机的平移向量T和旋转矩阵R。
进一步地，该双目相机模组需要部署一台带CPU(或GPU)的计算微机02，以部署SLAM算法对从双目相机01输入的双目视频实施实时的数据处理。
进一步地，双目相机模组需要部署一台数据传输模块03，可以通过5G或4G网络将从计算微机实时获取的数据传输到云服务器04进行进一步运算。
步骤4，现场数据采集和实时处理。其中，采用的方法适用于任何可搭载双目相机的设备，例如无人机，桥梁检测车的机械臂。利用双目相机01对桥梁检测区域进行连续视频拍摄。视频流数据传输到计算微机02通过双目视觉的SLAM算法实时对桥梁表面进行稀疏重建，从输入的双目视频中提取关键帧并计算每个关键帧对应的相机位姿{R,t}，其中R是相对于视频第一帧的旋转矩阵，t是相对于视频第一帧的平移矩阵。
其中，基于双目视觉的SLAM算法可以采用开源算法双目ORB-SLAM2(一种SLAM算法)。该算法可以从拍摄的结构表面的视频中提取关键帧，并可以计算相机的位姿和生成结构表面的稀疏点云为后续在云计算服务器中的稠密重建提供源数据。
步骤5，数据传输至云计算服务器04进行后续稠密重建和裂缝测量。将步骤4中提取的关键帧，相机位姿和稀疏点云数据通过数据传输模块03传输到云计算服务器04。后续步骤将在云计算服务器04中实施。
步骤6，利用训练好的裂缝语义分割模型对检测视频中提取的关键帧左目图像进行裂缝检测，输出端得到具有像素级裂缝分割掩膜图Kmask。
步骤7，基于检测视频的关键帧左目图像K，K对应的裂缝分割掩膜图Kmask和对应的相机位姿，首先采用稠密重建算法进行检测区域的三维点云稠密重建，然后采用裂缝点云三维映射得到具有真实尺寸信息以及点云分类信息的检测区域三维点云模型。
具体地，根据步骤4获得关键帧相机位姿采用PatchMatch算法(一种立体匹配算法)精细计算关键帧的深度图，然后对所有的深度图进行融合实现稠密重建生成三维稠密点云。
具体地，裂缝点云三维映射的实现步骤：
(1)为生成的三维稠密点云中的每一个三维点pi(xi,yi,zi)寻找距离最近的关键帧Kj；
(2)根据相应关键帧的相机位姿{Rj,tj}将三维点映射到关键帧上获得映射点，关键帧上映射点在二维图像坐标系下的位置{u,v}在可以通过下式计算：
Figure BDA0003967546870000111
其中，di是三维点在深度图上的深度值，K是双目相机左目的内参矩阵；
(3)根据映射位置像素的类别{0,1}来标记该三维点的类别。在此基础上，关键帧中分割的裂缝可以被映射到三维点云模型中。
最终得到具有真实尺寸信息以及点云分类信息的彩色三维点云模型，即具有裂缝定位信息的结构三维模型。
其中，最终获得的带裂缝结构三维模型P{pi(x,y,z,r,g,b，c)i＝1,2,3,...,n}的每一个点共有7个属性，包括三维位置(x,y,z)，颜色(r,g,b)以及类别c∈{0,1}。
步骤8，对步骤7得到的三维点云模型进行点云处理，分割出三维裂缝个体。
步骤8.1，首先根据点云的类别c∈{0,1}，将类别为1属于背景的点云全部去除，保留所有类别属于0的裂缝点云，基于此可以有效地从结构表面三维模型中提取的裂缝点云。
步骤8.2，再采用PCL(Point Cloud Library，点云库)中的欧式聚类算法处理提取的裂缝点云，通过设置聚类搜索半径(Cluster Tolerance)Ct参数，将相邻点云间距离在此聚类搜索半径之内的点云聚类为同一个裂缝簇。基于此，可以将提取的整个裂缝点云分割为多个裂缝簇(即裂缝个体)。对每个裂缝簇设置索引编号，以便于统计管理每个裂缝单元。通过统计裂缝簇的个数，即可获得桥梁检测区域内的裂缝总数。
步骤8.3，再采用PCL中的SOR(Statist ical Outl ier Removal，滤波算法)移除各个裂缝簇点云中的噪声点，避免一些离散的噪声点干扰后续测量。
步骤9，裂缝长度和宽度的测量。对于单个裂缝簇，即每个裂缝个体进行测量。
请参考图5，图5为本申请实施例所提供的另一种混凝土结构裂缝的三维模型测量方法的测量示意图。
步骤9.1，采用PCA(principal components analys is，主成分分析)算法计算三维裂缝簇主方向，然后进行点云坐标转换。具体地，将方差值最大的方向作为裂缝的长度主方向X，将方差值第二大方向作为裂缝的宽度主方向Y，将计算出方差值最小的方向作为裂缝的深度主方向Z。
具体地，PCA方法计算三维裂缝簇主方向：对于具有n个点的单个裂缝簇P{pi(xi,yi,zi)i＝1,2,3,...,n}，计算点云中心
Figure BDA0003967546870000121
然后计算协方差矩阵：/>
Figure BDA0003967546870000122
其中/>
Figure BDA0003967546870000123
然后计算协方差矩阵Cov的特征值和特征向量，按照特征值的大小从大到小依次排列λ1、λ2、λ3，对应的特征向量t1、t2、t3，得到坐标转换矩阵R＝[t1,t2,t3]，采用P'＝PR进行坐标转换得到裂缝簇坐标转换后的坐标P'{pi(xi',yi',zi')i＝1,2,3,...,n}，其中x'方向为裂缝的长度主方向，y'方向为裂缝的宽度主方向，z'方向为裂缝的深度主方向。
步骤9.2，计算转换坐标后的裂缝簇中所有点云在长度主方向x'上的极值，以极值对应的两点作为每条裂缝的两端点。设定一个划分步长s，以该步长s从长度主方向上的极小值xmin(对应极小值点pmin)到极大值xmax(对应极大值点pmax)划分区间，区间总数G满足(G-1)s＜xmax-xmin≤Gs。计算第g区间内的点云中心
Figure BDA0003967546870000124
其中mg为第g区间段的三维点总数目。
步骤9.3，将步骤9.2中计算得到的裂缝两端点和点云中心作为三维裂缝骨架点Pmin(x',y',z'),P1(x',y',z'),P2(x',y',z'),...,Pg(x',y',z'),...,PG(x',y',z'),Pmax(x',y',z')按顺序排序相连，即得到裂缝骨架。
计算相邻两骨架点之间的欧式距离
Figure BDA0003967546870000125
对所有相邻骨架点之间的距离求和D＝d(Pmin,P1)+d(P1，P2)+d(P2,P3)+...d(PG,Pmax)，该D值即为所求裂缝长度。
步骤9.4，将坐标转换后的点云投影到XY平面。以裂缝三维骨架点Pmin,P1,P2,...,Pg,...,PG,Pmax作为分割点，将裂缝分为G+1段裂缝局部区域，其中G+2为裂缝骨架点总数。
其中，计算每个裂缝局部区域内的裂缝宽度的过程包括：通过二维直线连接裂缝局部区域两端裂缝骨架点获得骨架直线ax+by+c＝0，其中a，b，和c的值可以通过两端骨架点的坐标确定。计算该裂缝局部区域内的点p(x',y',z')距离骨架直线的距离
Figure BDA0003967546870000131
对裂缝局部区域内所有的点计算距离骨架直线的距离。则该裂缝局部区域内的裂缝宽度W＝|wmax|+|wmin|，其中是|wmax|点到骨架直线的距离的最大值，|wmin|是点到骨架直线的距离的最小值。计算G+1段裂缝局部区域的裂缝宽度的最大值，即得到该裂缝簇的最大宽度Wmax；计算G+1段裂缝局部区域的裂缝宽度的平均值，即得到该裂缝个体的平均宽度W。
可见，裂缝宽度包括：裂缝的平均宽度W，最大宽度Wmax。
基于上述说明，可以发现本实施例与传统的基于二维图像裂缝测量的方法相比，本实施例不受到单张图像视野受限的影响，解决了裂缝难定位和全局裂缝量化信息难获取的问题；本实施例可以有效地获取结构全局的裂缝个体数目，并以裂缝个体为单位获得裂缝长度和宽度，这对于裂缝检测和记录非常有实用价值。此外，本实施例相比于传统的二维裂缝测量更加精准，克服了传统方法不能准确测量非平面裂缝，精度受到相机拍摄角度影响的局限性。
可见，本实施例通过混凝土裂缝训练数据集训练得到裂缝语义分割模型，然后基于该模型对待检测图像进行检测，得到裂缝分割掩膜图，然后基于待检测图像、裂缝分割掩膜图和待检测图像对应的相机位姿进行三维重建，得到三维点云模型，最后基于该三维点云模型进行测量，实现自动化的检测和测量过程，提高了进行检测和测量的准确性和效率，并减少了检测成本。
下面对本申请实施例提供的混凝土结构裂缝的三维模型测量装置进行介绍，下文描述的混凝土结构裂缝的三维模型测量装置与上文描述的混凝土结构裂缝的三维模型测量方法可相互对应参照。
请参考图6，图6为本申请实施例所提供的一种混凝土结构裂缝的三维模型测量装置的结构示意图。
本实施例中，该装置可以包括：
模型训练模块100，用于基于标注的混凝土裂缝训练数据集对初始的语义分割模型进行训练，得到裂缝语义分割模型；
图像检测模块200，用于采用裂缝语义分割模型对采集的双目视频的关键帧进行检测，得到裂缝分割掩膜图；
三维重建模块300，用于基于双目视频的关键帧、裂缝分割掩膜图和关键帧对应的相机位姿进行三维重建，得到具有裂缝定位信息的三维点云模型；其中，相机位姿为基于双目视觉的SLAM算法对对应的关键帧进行计算得到的；
裂缝测量模块400，用于基于三维点云模型进行裂缝测量，得到裂缝测量数据。
可选的，该模型训练模块100，具体用于采集混凝土裂缝图片；通过语义分割标注工具对混凝土裂缝图片进行标注，得到混凝土裂缝训练数据集；采用混凝土裂缝训练数据集对初始的语义分割模型进行训练，得到裂缝语义分割模型。
可选的，该图像检测模块200，具体用于通过双目相机模组进行连续视频拍摄，得到双目视频；通过双目视觉的SLAM算法对视频流数据进行稀疏重建，并提取关键帧，得到关键帧；采用裂缝语义分割模型对关键帧进行检测，得到裂缝分割掩膜图。
可选的，该三维重建模块300，具体用于基于双目视频的关键帧和关键帧对应的相机位姿进行三维点云稠密重建，得到点云数据；基于裂缝分割掩膜图对点云数据进行裂缝三维映射得到具有裂缝定位信息的三维点云模型。
可选的，该裂缝测量模块400，具体用于基于点云类别对具有裂缝定位信息的三维点云模型进行点云分割处理，得到裂缝点云；基于欧式聚类算法对裂缝点云进行聚类，得到多个裂缝簇；基于主成分分析法确定每个裂缝簇的裂缝方向，并计算裂缝三维骨架点；基于每个裂缝簇的裂缝方向和裂缝三维骨架点，计算裂缝长度和裂缝宽度，得到裂缝测量数据。
本申请实施例还提供一种终端设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如以上实施例所述的三维模型测量方法的步骤。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如以上实施例所述的三维模型测量方法的步骤。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的一种混凝土结构裂缝的三维模型测量方法、三维模型测量装置、终端设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

Claims (10)

1.一种混凝土结构裂缝的三维模型测量方法，其特征在于，包括：
基于标注的混凝土裂缝训练数据集对初始的语义分割模型进行训练，得到裂缝语义分割模型；
采用所述裂缝语义分割模型对采集的双目视频的关键帧进行检测，得到裂缝分割掩膜图；
基于所述双目视频的关键帧、所述裂缝分割掩膜图和所述关键帧对应的相机位姿进行三维重建，得到具有裂缝定位信息的三维点云模型；其中，所述相机位姿为基于双目视觉的SLAM算法对对应的关键帧进行计算得到的；
基于所述三维点云模型进行裂缝测量，得到裂缝测量数据。
2.根据权利要求1所述的三维模型测量方法，其特征在于，基于标注的混凝土裂缝训练数据集对初始的语义分割模型进行训练，得到裂缝语义分割模型，包括：
采集混凝土裂缝图片；
通过语义分割标注工具对所述混凝土裂缝图片进行标注，得到所述混凝土裂缝训练数据集；
采用所述混凝土裂缝训练数据集对所述初始的语义分割模型进行训练，得到所述裂缝语义分割模型。
3.根据权利要求1所述的三维模型测量方法，其特征在于，采用所述裂缝语义分割模型对采集的双目视频的关键帧进行检测，得到裂缝分割掩膜图，包括：
通过双目相机模组进行连续视频拍摄，得到所述双目视频；
通过双目视觉的SLAM算法对所述视频流数据进行稀疏重建，并提取关键帧，得到所述关键帧；
采用所述裂缝语义分割模型对所述关键帧进行检测，得到所述裂缝分割掩膜图。
4.根据权利要求1所述的三维模型测量方法，其特征在于，基于所述双目视频的关键帧、所述裂缝分割掩膜图和所述关键帧对应的相机位姿进行三维重建，得到具有裂缝定位信息的三维点云模型，包括：
基于所述双目视频的关键帧和所述关键帧对应的相机位姿进行三维点云稠密重建，得到点云数据；
基于所述裂缝分割掩膜图对所述点云数据进行裂缝三维映射得到具有裂缝定位信息的所述三维点云模型。
5.根据权利要求4所述的三维模型测量方法，其特征在于，基于所述三维点云模型进行裂缝测量，得到裂缝测量数据，包括：
基于点云类别对具有裂缝定位信息的所述三维点云模型进行点云分割处理，得到裂缝点云；
基于欧式聚类算法对所述裂缝点云进行聚类，得到多个裂缝簇；
基于主成分分析法确定每个所述裂缝簇的裂缝方向，并计算裂缝三维骨架点；
基于所述每个所述裂缝簇的裂缝方向和裂缝三维骨架点，计算裂缝长度和裂缝宽度，得到所述裂缝测量数据。
6.一种混凝土结构裂缝的三维模型测量装置，其特征在于，包括：
模型训练模块，用于基于标注的混凝土裂缝训练数据集对初始的语义分割模型进行训练，得到裂缝语义分割模型；
图像检测模块，用于采用所述裂缝语义分割模型对采集的双目视频的关键帧进行检测，得到裂缝分割掩膜图；
三维重建模块，用于基于所述双目视频的关键帧、所述裂缝分割掩膜图和所述关键帧对应的相机位姿进行三维重建，得到具有裂缝定位信息的三维点云模型；其中，所述相机位姿为基于双目视觉的SLAM算法对对应的关键帧进行计算得到的；
裂缝测量模块，用于基于所述三维点云模型进行裂缝测量，得到裂缝测量数据。
7.根据权利要求6所述的三维模型测量装置，其特征在于，所述模型训练模块，具体用于采集混凝土裂缝图片；通过语义分割标注工具对所述混凝土裂缝图片进行标注，得到所述混凝土裂缝训练数据集；采用所述混凝土裂缝训练数据集对所述初始的语义分割模型进行训练，得到所述裂缝语义分割模型。
8.根据权利要求6所述的三维模型测量装置，其特征在于，所述图像检测模块，具体用于通过双目相机模组进行连续视频拍摄，得到所述双目视频；通过双目视觉的SLAM算法对所述视频流数据进行稀疏重建，并提取关键帧，得到所述关键帧；采用所述裂缝语义分割模型对所述关键帧进行检测，得到所述裂缝分割掩膜图。
9.一种终端设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至5任一项所述的三维模型测量方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的三维模型测量方法的步骤。
CN202211500878.2A 2022-11-28 2022-11-28 一种混凝土结构裂缝的三维模型测量方法及相关装置 Pending CN116152697A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211500878.2A CN116152697A (zh) 2022-11-28 2022-11-28 一种混凝土结构裂缝的三维模型测量方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211500878.2A CN116152697A (zh) 2022-11-28 2022-11-28 一种混凝土结构裂缝的三维模型测量方法及相关装置

Publications (1)

Publication Number Publication Date
CN116152697A true CN116152697A (zh) 2023-05-23

Family

ID=86355297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211500878.2A Pending CN116152697A (zh) 2022-11-28 2022-11-28 一种混凝土结构裂缝的三维模型测量方法及相关装置

Country Status (1)

Country Link
CN (1) CN116152697A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843829A (zh) * 2023-06-07 2023-10-03 广州广检建设工程检测中心有限公司 基于双目视频的混凝土结构裂缝三维重建与长度量化方法
CN117152492A (zh) * 2023-08-08 2023-12-01 广东省公路建设有限公司湾区特大桥养护技术中心 钢箱梁内疲劳裂纹的识别方法、系统、计算机设备及介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843829A (zh) * 2023-06-07 2023-10-03 广州广检建设工程检测中心有限公司 基于双目视频的混凝土结构裂缝三维重建与长度量化方法
CN117152492A (zh) * 2023-08-08 2023-12-01 广东省公路建设有限公司湾区特大桥养护技术中心 钢箱梁内疲劳裂纹的识别方法、系统、计算机设备及介质
CN117152492B (zh) * 2023-08-08 2024-04-19 广东省公路建设有限公司湾区特大桥养护技术中心 钢箱梁内疲劳裂纹的识别方法、系统、计算机设备及介质

Similar Documents

Publication Publication Date Title
JP6681729B2 (ja) オブジェクトの３ｄ姿勢およびオブジェクトのランドマーク点の３ｄロケーションを求める方法、およびオブジェクトの３ｄ姿勢およびオブジェクトのランドマークの３ｄロケーションを求めるシステム
WO2018028103A1 (zh) 一种基于人眼视觉特性的电力线路无人机巡检方法
CN111340797A (zh) 一种激光雷达与双目相机数据融合检测方法及系统
CN112818988B (zh) 一种指针式仪表自动识别读数方法及系统
CN104574393B (zh) 一种三维路面裂缝图像生成系统和方法
CN116152697A (zh) 一种混凝土结构裂缝的三维模型测量方法及相关装置
CN110599537A (zh) 基于Mask R-CNN的无人机图像建筑物面积计算方法及系统
CN108648194B (zh) 基于cad模型三维目标识别分割和位姿测量方法及装置
CN109615654B (zh) 基于双目视觉的排水管道内表面腐蚀深度及面积测量方法
CN104713885A (zh) 一种用于pcb板在线检测的结构光辅助双目测量方法
CN115294117B (zh) Led灯珠的缺陷检测方法及相关装置
CN112045676A (zh) 一种基于深度学习的机器人抓取透明物体的方法
CN114972177A (zh) 道路病害识别管理方法、装置及智能终端
CN113870326B (zh) 一种基于图像和三维点云配准的结构损伤映射、量化及可视化方法
CN110349209A (zh) 基于双目视觉的振捣棒定位方法
CN104123569B (zh) 一种基于有监督学习的视频人数信息统计方法
CN116958434A (zh) 多视图三维重建方法、测量方法及系统
CN116843829A (zh) 基于双目视频的混凝土结构裂缝三维重建与长度量化方法
Ward et al. A model-based approach to recovering the structure of a plant from images
CN116563262A (zh) 基于多模态的建筑裂缝检测算法
CN110910497A (zh) 实现增强现实地图的方法和系统
CN113222939B (zh) 一种基于拇指甲标定的食物图像体积计算方法
CN115601423A (zh) 一种双目视觉场景下基于边缘增强的圆孔位姿测量方法
CN114529493A (zh) 基于双目视觉的电缆外观缺陷检测与定位方法
CN114120129B (zh) 基于无人机图像和深度学习的滑坡滑移面的三维识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination