CN114863351A - 基于Web3.0的图声融合路基填料协同识别管理系统 - Google Patents

基于Web3.0的图声融合路基填料协同识别管理系统 Download PDF

Info

Publication number
CN114863351A
CN114863351A CN202210793581.3A CN202210793581A CN114863351A CN 114863351 A CN114863351 A CN 114863351A CN 202210793581 A CN202210793581 A CN 202210793581A CN 114863351 A CN114863351 A CN 114863351A
Authority
CN
China
Prior art keywords
image
information
coarse
soil
particle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210793581.3A
Other languages
English (en)
Other versions
CN114863351B (zh
Inventor
王雪菲
李家乐
王廷锴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN202210793581.3A priority Critical patent/CN114863351B/zh
Publication of CN114863351A publication Critical patent/CN114863351A/zh
Application granted granted Critical
Publication of CN114863351B publication Critical patent/CN114863351B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Geometry (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)

Abstract

本发明为基于Web3.0的图声融合路基填料协同识别管理系统，将一维超声波信号与二维图像有效融合在一起，实现图声融合，能够解决传统图像识别中无法准确分类粗粒土和石块的问题，进一步获得粗粒土的级配信息，同时能够解决传统图像识别方法无法正确识别细粒土级配的问题，给出路基土的全级配信息。此外，与Web3.0的分布式数据管理结合，实现图声融合路基填料的协同识别管理，极大提高了数据生产效率，扩充数据量，消除信息壁垒。

Description

基于Web3.0的图声融合路基填料协同识别管理系统
技术领域
本发明涉及路基工程技术领域，具体是利用Web3.0的方式管理、使用数据，采用图声融合协同识别的方法实时区分路基填料中粗粒土和石块的性质信息，输出路基土的全级配曲线，实时指导智能化施工，为后续质量追溯体系的建立提供数据基础。
背景技术
路基具有隐蔽性特点，工程完工后对于路基的养护将会十分困难。良好的压实质量能够减少路基沉降等病害产生，延长道路使用寿命，降低养护成本。在压实过程中，路基填料性质对压实质量有重要影响，难以破碎的石块、级配不良都会影响压实质量，给后续施工、运营、养护带来困扰。
传统的压实过程中，采用取样的方法对级配信息进行采集，具有随机性特点。在实验人员操作过程中，会进行人工干预，挑拣出影响压实质量的异物，石块等，实验结果不能客观反映现场真实情况。
随着人工智能的兴起，越来越多的智能化方式方法应用于土木工程领域，基于图像、数据的方法在施工检测中得到广泛应用，由于粗粒土和石块具有相似的外观特征，传统的图像识别方法无法进行准确判断，在路基施工过程中，施工人员会将大的石块挑出，大的石块会使压路机产生跳振现象，不利于路基压实。因此，一种能有效区分粗粒土和石块的轻量化、高效识别路基填料不同元素的方法需要被提出。
不同于土石坝压实，高速公路施工对路基填土要求更严格，细粒土含量占60%以上，细粒土级配不良会对压实质量产生巨大影响，获取细粒土的级配信息尤为重要。目前的智能算法仅能识别不小于5mm的颗粒，对于小于5mm的颗粒的粒径分布并没有较好的检测方法
众所周知，有监督学习的方法具有较高的准确率和鲁棒性，但存在专业性不强、依赖大量人工标注、数据量要求大等问题。目前条件下，缺少大数据量的专业性数据库。数据库大多掌握在学校及科研院所手中，标签质量良好，但生产效率不足。随着人工智能的大量应用，数据爆炸式增长，科研院所无法满足工程对于数据量的要求，由于专业性数据库的紧缺，导致各数据库拥有者之间存在较为严重的信息壁垒。需要转变数据生产的方式，提高生产效率，消除信息壁垒，提出一种新型的、高效的数据管理方法。
发明内容
针对现有技术的不足，本发明拟解决的技术问题是，提供一种图像与超声波信息融合识别的方法，该方法将一维超声波信号与二维图像有效融合在一起，实现图声融合，能够解决传统图像识别中无法准确分类粗粒土和石块的问题，进一步获得粗粒土的级配信息。同时提供一种全级配预测方法，能够解决传统图像识别方法无法正确识别细粒土级配的问题，给出路基土的全级配信息。此外，将上述融合识别的方法和全级配预测模块与Web3.0的分布式数据管理结合，实现图声融合路基填料的协同识别管理，极大提高了数据生产效率，扩充数据量，消除信息壁垒。
本发明解决所述技术问题的技术方案是：
第一方面，本发明提供一种图像与超声波信息融合识别的方法，该方法包括以下内容：
A.图像数据和超声数据的获取
利用压路机前杠的运动相机对路基填料进行垂直拍摄，采用拍摄视频进行截图的方式获取图像数据，截取图像间隔时间t根据压路机行驶速度v确定：获得路基填料原始图像比例尺，计算图像沿压路机行驶方向的长度s，通过公式(1)，得到截取图像间隔时间t，
Figure 87948DEST_PATH_IMAGE001
（1）；
利用安装在压路机前杠的多个一字排开的超声波传感器向地面发射超声波信号，信号在接触地面后反射至接收器，获得返回的纵波声速，以返回的纵波声速作为采集信号，由于超声波在不同介质中的传播和反射参数不同，设定分界阈值，将返回的纵波声速与分界阈值比较，返回的纵波声速超过该分界阈值的视为石块，标记为1，未达到该阈值的视为粗粒土，标记为0，根据划分将返回的纵波声速信息转化为布尔值；按照截取图像间隔时间t对布尔值进行截取，多个超声波传感器得到一个布尔值矩阵，布尔值矩阵的大小和截取的图像的覆盖面积相同，保证后续大粒径分割图像与超声波信号图像大小、位置一一对应；
B.图声数据预处理
采用图像分割模型对运动相机采集的图像进行大粒径分割，获得大粒径分割图像；
使用matplotlib软件绘制与大粒径分割图像分辨率相同的空白图像，将空白进行网格化操作，网格数根据布尔值矩阵的行列数确定，布尔值矩阵上的每个值与网格一一对应，布尔值等于0的网格标为白色，等于1的网格标为黑色，输出超声波信号图像，实现超声波信号一维向二维的转化；
C.图声融合
对大粒径分割图像中的大粒径予以编号，对每个大粒径添加外接矩形，记录矩形中心坐标及长宽信息，截取外接矩形图像，所述大粒径指粒径不小于10mm的填料颗粒；根据截取外接矩形的中心坐标、长宽信息，在超声波信号图像中进行搜索，截取超声波信号图像中相同位置、大小的图像，按顺序进行编号，与大粒径分割图像中截取的外接矩形对应的大颗粒编号一一对应；
设置分类阈值，提取相同编号的两张图像，计算mIoU，根据mIoU值与分类阈值的大小分类大粒径分割图像中的粗粒土和石块，大于分类阈值为石块，否则为粗粒土，以斜杠表示识别结果为粗粒土，以网格表示识别结果为石块，获得识别图像。
删除识别图像中的网格区域，也就是删去石块，只识别粗粒土；只对斜杠区域进行黑色填充操作，填充后对填充区域进行拟合椭圆操作，提取识别图像粗粒土轮廓，计算各拟合椭圆的短轴长度，计算各黑色区域面积，进而获得每个粗粒土颗粒的体积、质量，得到粗粒土的级配信息和级配曲线，在获得粗粒土的级配信息和级配曲线之后也就获得了不同粒径大小的粗粒土的质量。
所述图像分割模型可用但不限于DeepLabV3+模型，DeepLabV3+模型训练过程输入为不同土样的路基填料原始图像，输出为不与原始图像融合的路基填料大粒径分割图像，以路基填料原始图像和路基填料大粒径标签图像训练图像分割模型。
所述分类阈值为0.6，所述分界阈值为1500-7000m/s，优选为1800m/s。
第二方面，本发明提供一种全级配预测方法，该预测方法包括以下内容：
获得待预测地域的多个土样本，进行筛分实验，获得不同土样本的粗粒土级配信息和细粒土级配信息，
以粒径不小于10mm的粗粒土级配信息作为特征值，以粒径小于10mm细粒土级配信息作为目标值，利用回归预测模型建立各级粗粒土级配信息与各级细粒土级配信息之间的对应关系；
利用上述建立的关系，在已知粗粒土级配信息的情况下获得细粒土级配信息，进而获得路基土的全级配信息。
所述粗粒土级配信息包括：60mm粒径质量、40mm粒径质量、20mm粒径质量、10mm粒径质量；所述细粒土级配信息包括：5mm粒径质量、2mm粒径质量、1 mm粒径质量、0.5 mm粒径质量、0.25 mm粒径质量、0.075 mm粒径质量、筛底质量，回归预测模型不是一个输入对应一个输出，是四个输入对应六个输出，寻找各级质量间存在的关系。
所述回归预测模型可用但不限于XGBoost模型，以R²作为评价指标，R²＞0.65视为模型良好。
第三方面，本发明提供一种基于Web3.0的图声融合路基填料协同识别管理系统，为一种基于Web3.0的分布式数据管理系统，该系统包括以下内容：
项目管理人员根据本项目基本情况选择合适的项目数据，分别向各项目发起智能合约；
利用安装在压路机前杠的运动相机和超声波传感器实时采集图像和超声波信号，根据压路机行驶速度，分别对图像和超声波信号进行截取，截取的超声波信号转化为布尔值矩阵，将一维超声波信号转化为二维布尔值矩阵，再通过软件绘制将二维布尔值矩阵转化为与截取的图像位置、大小一一对应的二维超声波信号图像；
以智能合约约定的有路基填料原始图像和对应路基填料大粒径标签图像的数据集作为数据集进行图像分割模型训练，获得大粒径分割图像；
对大粒径分割图像中的大粒径予以编号，对每个大粒径添加外接矩形，记录矩形中心坐标及长宽信息，截取外接矩形图像；根据截取外接矩形的中心坐标、长宽信息，在超声波信号图像中进行搜索，截取超声波信号图像中相同位置、大小的图像，按顺序进行编号，与大粒径分割图像中截取的外接矩形对应的大颗粒编号一一对应；
设置分类阈值，提取相同编号的两张图像，计算mIoU，根据mIoU值与分类阈值的大小分类大粒径分割图像中的粗粒土和石块，大于分类阈值为石块，否则为粗粒土，以斜杠表示识别结果为粗粒土，以网格表示识别结果为石块，获得识别图像，完成对粗粒土和石块的分类，并获取大粒径土块和石块的准确位置信息，进一步提取粗粒土粒径信息；
以智能合约约定的做好筛分实验标注好特征值和目标值的填料数据集作为数据集训练回归预测模型；
根据提取的粗粒土粒径信息通过回归预测模型得到细粒土粒径信息，输出路基土的全级配信息，并得到级配特征的相关评价值，级配特征的相关评价值包括但不限于Cu值、Cc值等；
所述的识别图像、全级配信息、级配特征的相关评价值为路基填料参数信息，将得到的路基填料参数信息输入至实时显示评价系统，施工机手、项目管理人员可实时查看项目情况，并在项目结束后对用于图像分割模型和回归预测模型训练的数据进行质量评价，评价是对数据质量进行评级：优秀、良好、合格、不合格。路基填料参数信息（包括上述的识别图像、全级配信息、级配特征的相关评价值）也将进行实时存储，用于全过程质量追溯。
所述基于Web3.0的图声融合路基填料协同识别管理系统，包括Web3.0数据管理系统、信息采集装置、边缘计算服务器、实时显示评价系统；
Web3.0数据管理系统包括：DID项目及数据；
信息采集装置包括：图像采集模块、超声波信号采集模块；
边缘计算服务器包括：大粒径分割模块、超声波可视化模块、图声融合模块、全级配预测模块；
实时显示评价系统包括：显示屏、存储装置；
所述图像采集模块用于在压路机压实过程中对路基填料进行垂直拍摄，获取路基条带的图像数据；
所述超声波信号采集模块用于在压路机压实过程中对路基填料进行采集超声波数据获取；
所述大粒径分割模块采用图像分割模型对图像采集模块采集的图像进行大粒径分割，获得大粒径分割图像；
所述超声波可视化模块用于接收超声波信号采集模块输出的布尔值矩阵，将其转化为输出超声波信号图像，实现超声波信号一维向二维的转化；
所述图声融合模块接收大粒径分割模块产生的大粒径分割图像和超声波可视化模块产生的超声波信号图像，将二者融合获得识别图像及粗粒土的级配信息和级配曲线；
所述全级配预测模块用于接收图声融合模块输出的粗粒土级配信息，将粗粒土各级质量输入到回归预测模型中得到粒径10mm以下的细粒土各级的质量，获得填料全级配曲线图像；
所述实时显示评价系统接收来自图声融合模块的识别图像和全级配预测模块的全级配曲线图像并显示存储，用于实时监控施工状况图像和施工填料参数，指导施工机手和项目管理人员施工。
在Web3.0数据管理系统，用于本项目模型训练的数据应当是经过项目管理人员选择过的适用于本项目的情况的土样本级配信息。可以是一个地域的多个土样本实验结果，在相同地域（比如天津市北辰区）进行其他工程施工时，减少重复的筛分实验，可以直接向同地域别的项目要数据，数据一定是要符合附近地域基本情况。
Web3.0数据管理系统中用于图像分割模型训练的图像数据集中，图像数据集应采集不同地域的多种土样本图像，提高图像分割模型的鲁棒性。
上述识别、预测所用模型均建立在大量高质量数据基础之上，基于Web3.0的分布式数据管理系统，施工项目通过发起智能合约的方式向其他项目申请数据使用权，用于相应模型训练。项目结束后，项目管理人员将对使用的数据进行质量评价，提供数据的项目将会根据项目的运营情况获得相应收益，形成数据生产使用的良性闭环管理，提高数据的生产效率、生产质量。
第四方面，本发明提供一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序适用于被计算机加载时执行上述的图像与超声波信息融合识别的方法或上述的全级配预测方法。
与现有技术相比，本发明有益效果在于：
1.本发明采集图像信息、超声波信息，对图像进行大粒径分割，对超声波信号可视化，通过图声融合识别的方式，快速、高效识别路基填料中的粗粒土和石块，解决了图像识别中由于表观特征相似而无法正确识别粗粒土和石块的问题。
2.本发明图声融合方法，确定粗粒土、石块准确的位置信息（即图声融合部分矩形中心坐标），将一维超声波信号与二维图像进行有效融合，有效解决因信息维度差异而导致的无法融合的问题。
3.本发明提出一种全级配信息预测方法，将筛分结果分为粗粒土级配信息特征值和细粒土级配信息目标值存放在Web3.0数据管理系统用于机器学习回归预测模型训练，寻找各级粗粒土级配信息与各级细粒土级配信息之间存在的关系，在预测过程中，通过图像识别出的粗粒土级配信息预测图像无法识别的细粒土级配信息，有效解决了目前因相机分辨率不足、计算机算力不足而导致的不能识别细粒土的问题。
4.本发明基于Web3.0的分布式数据管理系统，该系统对每个项目给予分布式数字身份(Decentralized ID,DID)，进行分布式管理。赋予项目数据的所有权，解决目前存在的数据壁垒、数据量无法满足工程实际需要等问题，形成数据生产使用的良性闭环管理。
附图说明
图1为本发明基于Web3.0的图声融合路基填料协同识别管理系统的结构示意图；
图2为本发明Web3.0数据管理系统的硬件架构图；
图3为本发明中运动相机和超声波传感器的安装位置示意图；
图4为本发明图声融合识别示意图；图4中（a）为大粒径分割图像，图4中（b）为超声波信号图像；图4中（c）为图声融合识别所获得的识别图像；
图5为本发明全级配预测结果图；
图6为本发明实时显示评价系统的界面示意图。
图中，1 Web3.0数据管理系统、2信息采集装置、3边缘计算服务器、4实时显示评价系统、5图像采集模块、6超声波信号采集模块、7图声融合模块、8全级配预测模块、9大粒径分割模块、10超声波可视化模块、11条带。
具体实施方式
下面给出本发明的具体实施例。具体实施例仅用于进一步详细说明本发明，不限制本申请的保护范围。
本发明基于Web3.0的图声融合路基填料协同识别管理系统（参见图1），包括Web3.0数据管理系统1、信息采集装置2、边缘计算服务器3、实时显示评价系统4；
Web3.0数据管理系统包括：DID项目及数据。
信息采集装置包括：图像采集模块5、超声波信号采集模块6。
边缘计算服务器包括：大粒径分割模块、超声波可视化模块、图声融合模块、全级配预测模块。
实时显示评价系统包括：显示屏、存储装置。
所使用到的硬件设备主要包括：压路机、边缘计算服务器、显示屏。所述压路机安装有运动相机、超声波传感器。
1.Web3.0数据管理系统
Web3.0以区块链等技术为手段，打破少数大型平台企业对于网络的垄断，让互联网回归其“去中心化”的初衷，将对网络的控制权重新交给用户。
所述Web3.0数据管理系统（参见图2），是采用Web3.0去中心化的方法对各个项目的数据进行管理，项目不再由一个数据库企业进行统一管理。Web3.0数据管理系统通过区块链、加密通信等技术给予各项目分布式数字身份(Decentralized ID,DID)，项目将数据上传至区块链，保证数据的真实性、唯一性和不可被他人篡改，项目可对数据进行自主控制。
当一个项目开始施工，正在施工的项目可根据项目基本情况选择合适的数据，分别向各项目发起智能合约，通过发起智能合约申请对数据的使用。收到智能合约的项目将根据合约内容提供相应数据的使用权，用于施工项目的模型训练。
在项目结束后，施工项目管理人员需对使用数据进行质量反馈评价，提供数据的项目可分别获得收益，其中，质量好、满足本项目需求的数据可在日后运营过程中不断从项目中获得收益，形成数据生产使用的良性闭环管理。
2.信息采集装置
信息采集装置包括：图像采集模块、超声波信号采集模块。
图像采集模块通过安装在压路机前杠的运动相机对路基填料进行垂直拍摄，如图3，相机在固定高度，采用拍摄视频进行截图的方式进行。以240fps/s、1920×1080p分辨率拍摄视频，截取图像间隔时间t根据压路机行驶速度v确定。确定路基填料原始图像比例尺，计算图像沿压路机行驶方向的长度s，通过公式(1)，得到截取图像间隔时间t。
Figure 270668DEST_PATH_IMAGE001
（1）
超声波信号采集模块通过安装在压路机前杠的超声波传感器进行采集，如图3，多个超声波传感器在前杠一字排开，向地面发射超声波信号，信号在接触地面后反射至接收器，本发明将纵波声速作为采集信号。由于超声波在不同介质中的传播和反射参数不同，设定分界阈值，对返回的纵波声速与分界阈值进行比较，超过该分界阈值的视为石块，标记1标，为黑色，未达到该阈值的视为粗粒土，标记为0，为白色，超声波纵波在石块的声速为1500m/s~7000m/s，不同的项目需根据项目基本情况确定具体的石块与粗粒土的纵波声速的分界阈值，根据这个规则将返回的纵波声速信息转化为布尔值（也就是0、1表示的形式）。本实施例有四个超声波传感器，形成四个点返回间隔一定时间t后对布尔值进行截取，得到一个布尔值矩阵，此间隔的一定时间也是根据压路机的速度确定，与上述的截取图像间隔时间相同，产生和和截取的图像的覆盖面积相同的矩阵。为了保证后续大粒径分割图像与超声波信号图像大小、位置一一对应，需注意图像采集模块和超声波信号采集模块工作的开始时间相同，图像采集模块和超声波信号采集模块在压路机压实工作中负责一个条带11的检测，若图像采集模块中单个运动相机的拍摄范围不足以覆盖一个条带，则可设置两个运动相机对称安装，将两个相机拍摄的图像进行拼接后获得能用于大粒径分割的图像。图3中为使用一个运动相机和四个超声波传感器来检测压实过程中一个条带的信息的示意图。
3.边缘计算服务器
边缘计算服务器包括：大粒径分割模块、超声波可视化模块、图声融合模块、全级配预测模块。
大粒径分割模块采用图像分割模型对图像采集模块采集的图像进行大粒径分割。图像分割模型可用但不限于DeepLabV3+模型，DeepLabV3+模型以智能合约约定的有标签的图像数据集作为数据集进行训练，DeepLabV3+模型训练过程需要用到的输入为：路基填料原始图像、路基填料大粒径标签图像、原始图像与标签图像名称对应的txt文件（txt文件作用是使原始图像与标签图像一一对应），输入数据集以9：1的比例划分训练集和验证集，训练集用于训练模型，验证集用于评价模型。本发明以mIoU作为评价指标，计算公式如式(2)。
Figure 581563DEST_PATH_IMAGE002
（2）
其中，k为标签，从0开始取值，为整数；
Figure 507931DEST_PATH_IMAGE003
为将第i个标签预测为第j个标签的个 数，i和j不相等，为假负（FN）；
Figure 604194DEST_PATH_IMAGE004
为将第j个标签预测为第i个标签的个数，为假正（FP）；
Figure 223394DEST_PATH_IMAGE005
为将第i个标签预测为第i个标签的个数，为真正（TP）。
模型训练好后，输出h5格式权重文件并保存。预测过程，本项目接收图像采集模块采集的路基填料原始图像，导入h5格式权重文件，输入路基填料原始图像，输出不与路基填料原始图像融合的路基填料大粒径标签图像（即大粒径分割图像），如图4中(a)所示，用作与超声波信号图像进行融合及后续量化。
超声波可视化模块接收超声波信号采集模块输出的布尔值矩阵。使用matplotlib软件绘制与大粒径分割图像分辨率相同的空白图像(1920pix×1080pix)，将空白进行网格化操作，网格数根据布尔值矩阵的行列数确定，本发明将画布分为32格×21格。布尔值矩阵上的每个值与网格一一对应，布尔值等于0的网格标为白色，等于1的网格标为黑色，如图4中(b)所示，输出超声波信号图像，实现超声波信号一维向二维的转化。图声融合模块接受大粒径分割模块产生的大粒径分割图像和超声波可视化模块产生的超声波信号图像，过程如图4。对大粒径分割图像中的大粒径予以编号，对每个大粒径添加外接矩形，记录矩形中心坐标及长宽信息，截取外接矩形图像。根据截取外接矩形中心坐标、长宽信息，在超声波信号图像中进行搜索，截取超声波信号图像中相同位置、大小的图像，按顺序进行编号，与大粒径分割图像中截取的外接矩形对应的大颗粒编号一一对应。提取相同编号的两张图像，计算mIoU，如式(2)，根据mIoU值分类大粒径分割图像中的粗粒土和石块，以斜杠表示识别结果为粗粒土，以网格表示识别结果为石块，如图4中(c)所示的识别图像。识别结束后，图声融合模块输出识别图像至实时显示评价系统，用于路基填料可视化，施工机手和项目管理人员可直接查看路基填料情况并保存用于全过程质量追溯。图声融合模块删除识别图像中的网格区域（删去石块，只识别土的），通过填充斜杠区域（只对斜杠填充）（黑色表示粗粒土颗粒、白色表示背景）、填充后对填充区域拟合椭圆操作，提取识别图像粗粒土轮廓，计算各拟合椭圆短轴长度，计算各黑色区域面积，获得每个粗粒土颗粒的体积、质量（质量=体积*密度，密度经现场实测获得），得到粗粒土的级配信息（不同粒径大小的质量）和级配曲线。
全级配预测模块用于接收图声融合模块输出的粗粒土级配信息，图声融合模块识别出粗粒土和石头，并给出粗粒土各级的质量，将粗粒土各级质量输入到回归预测模型中得到10mm以下的各级的质量，用于后续的土体参数计算。
全级配预测模块采用机器学习回归预测模型，可用但不限于XGBoost模型，XGBoost模型以智能合约约定的数据集（做好筛分实验标注好特征值和目标值的填料数据集）进行训练，以粒径不小于10mm的粗粒土级配信息作为特征值，以粒径小于10mm细粒土级配信息作为目标值，智能合约约定的数据集中的数据包括：粗粒土级配信息特征值（包括：60mm粒径质量、40mm粒径质量、20mm粒径质量、10mm粒径质量）、细粒土级配信息目标值（包括：5mm粒径质量、2mm粒径质量、1 mm粒径质量、0.5 mm粒径质量、0.25 mm粒径质量、0.075mm粒径质量、筛底质量），智能合约约定的数据集以9：1的比例划分训练集和验证集，训练集用于训练模型，验证集用于评价模型，本发明以R²作为评价指标，计算公式如式(3)。
Figure 756007DEST_PATH_IMAGE006
（3）
其中n为训练样本的数量；
Figure 751645DEST_PATH_IMAGE007
为预测值；
Figure 200949DEST_PATH_IMAGE008
为平均值，由真实值平均计算获得；
Figure 725472DEST_PATH_IMAGE009
为真实值。
模型训练好后，输出pkl格式权重文件并保存。预测过程，XGBoost模型接收图声融合模块产生的粗粒土级配信息导入pkl格式权重文件，输入粗粒土级配信息特征值（包括：60mm粒径质量、40mm粒径质量、20mm粒径质量、10mm粒径质量），输出细粒土级配信息目标值（5mm粒径质量、2mm粒径质量、1 mm粒径质量、0.5 mm粒径质量、0.25 mm粒径质量、0.075 mm粒径质量、筛底质量）。将本张图像的粗粒土级配信息和细粒土级配信息汇总，绘制全级配曲线，如图5，实心正方形为图声融合模块输入的粗粒土级配信息，空心三角形为XGBoost模型输出的细粒土级配信息。计算本张图像级配曲线的Cu、Cc等级配特征值。以上信息（包括全级配信息、级配曲线以及Cu、Cc等级配特征值）输入至实时显示评价系统，用于指导项目施工。以粗粒土信息得到细粒土信息，全级配信息获取方法，本申请能够识别5mm以下的颗粒，克服了传统相机方式只能识别大的颗粒的不足。
4.实时显示评价系统
实时显示评价系统包括：显示屏、存储装置。
实时显示评价系统接收来自图声融合模块的识别图像和全级配预测模块的全级配曲线图像（包括：全级配曲线、Cu值、Cc值），如图6，用于实时监控施工状况图像和施工填料参数，指导施工机手和项目管理人员施工。识别图像和全级配曲线图像将实时存储，用于全过程质量追溯。项目结束后，项目管理人员将对使用的数据进行质量评价，提供数据的项目将会根据项目的运营情况获得相应收益。
本发明的工作原理和工作流程是： 根据项目基本情况向Web3.0数据管理系统发送智能合约，大粒径分割模块和全级配预测模块收到来自各项目的数据后分别对DeepLabV3+模型和XGBoost模型进行训练。安装在压路机前杠的运动相机和超声波传感器分别采集数据，运动相机采集图像通过图像分割的方式获取大粒径分割图像，超声波反射信号通过设定阈值的方式转化为布尔值，将布尔值矩阵生成超声波信号图像，标定石块。将大粒径分割图像与超声波信号图像进行融合、映射，产生识别图像，以斜杠表示识别结果为粗粒土，以网格表示识别结果为石块。图声融合模块提取识别图像粗粒土级配信息输入全级配预测模块，预测细粒土级配，汇总得到本张图像的全级配信息及Cu、Cc值。将边缘计算服务器的得到的识别图像和全级配预测模块的全级配曲线图像传入实时显示分析系统，实现施工过程可视化，并将信息参数实时保存，实现全过程质量追溯。项目管理人员需对使用的各项目数据进行质量评价，各项目根据项目的运营情况获得相应收益。具体工作流程是：
1）项目管理人员根据本项目基本情况选择路基填料原始图像、路基填料大粒径标签图像输入DeeplabV3+模型；选择粗粒土级配信息特征值、细粒土级配信息目标值输入XGBoost模型，收到智能合约的项目分别发送以上数据给本项目；
分别对DeepLabV3+模型和XGBoost模型进行训练。DeepLabV3+模型以mIoU作为评价指标，mIoU＞0.65视为模型良好，XGBoost模型以R²作为评价指标，R²＞0.65视为模型良好。
2）压路机行驶，信息采集装置开始工作。在行使至填料条带起点时，超声波信号采集模块开始工作，以85kHz频率向地面发射信号，并接受返回信号。返回纵波声速≥1800m/s视为石块，＜1800m/s视为粗粒土，通过设定纵波声速阈值的方式，将返回的纵波声速转化为布尔值。行驶时间t后截取布尔值，得到一个布尔值矩阵，此时间即为截取图像间隔时间t。压路机行驶至填料条带起点后s/2处时，图像采集模块开始工作，s为运动相机拍摄图像的绝对宽度，以240fps/s、1920×1080p分辨率拍摄视频，间隔时间t后截取图像。
3）将路基填料原始图像输入训练好的DeepLabV3+模型，经预测，输出一张不与原图融合的大粒径分割图像。将布尔值矩阵输入超声波可视化模块，得到一张超声波信号图像。
4）大粒径分割图像和超声波信号图像共同输入图声融合模块，对大粒径进行编号，截取各大粒径的外接矩形，记录各矩形中心位置、长宽信息。根据各矩形中心位置、长宽信息，搜索超声波信号图像，在超声波信号图像截取相同位置、大小矩形，计算相同编号两矩形mIoU，mIoU＞0.6，则视为该大粒径为石块。经全图搜索计算后以斜杠表示识别结果为粗粒土，以网格表示识别结果为石块。识别图像传入实时显示评价系统，用于实时指导施工，实现施工质量控制可视化。并对识别图像进行实时存储，用于全过程质量追溯。图声融合模块删除识别图像中的网格区域，通过填充斜杠区域（黑色表示粗粒土颗粒、白色表示背景）、拟合椭圆操作，提取识别图像粗粒土轮廓，计算各拟合椭圆短轴长度，计算各黑色区域面积，获得每个粗粒土颗粒的体积、质量，得到本张识别图像的粗粒土级配信息。
5）粗粒土级配信息输入训练好的XGBoost模型，经预测，输出本张识别图像的细粒土级配信息。将本张识别图像的粗粒土信息和细粒土信息进行汇总，得到本张识别图像的全级配信息和级配曲线，并通过计算得到本条级配曲线的Cu值、Cc值，生成全级配曲线图像（包括：全级配曲线、Cu值、Cc值）。
6）实时显示评价系统接收来自图声融合模块的识别图像和全级配预测模块的全级配曲线图像实时指导施工机手和项目管理人员施工，并进行实时存储。
7）随着压路机的行进，不断重复第3-7步。至此，形成对于路基施工填料的全断面、全过程实时质量控制及道路全过程质量追溯。
8）项目结束后，项目管理人员还需对各项目提供的数据进行质量评价，提供数据的项目将会根据项目的运营情况获得相应收益，实现数据生产使用的良性闭环管理。
本发明未述及之处适用于现有技术。

Claims (10)

1.一种图像与超声波信息融合识别的方法，其特征在于，该方法包括以下内容：
A.图像数据和超声数据的获取
利用压路机前杠的运动相机对路基填料进行垂直拍摄，采用拍摄视频进行截图的方式获取图像数据，截取图像间隔时间t根据压路机行驶速度v确定：获得路基填料原始图像比例尺，计算图像沿压路机行驶方向的长度s，通过公式(1)得到截取图像间隔时间t，
Figure 101185DEST_PATH_IMAGE001
（1）；
利用安装在压路机前杠的多个一字排开的超声波传感器向地面发射超声波信号，信号在接触地面后反射至接收器，获得返回的纵波声速，以返回的纵波声速作为采集信号，设定分界阈值，将返回的纵波声速与分界阈值比较，返回的纵波声速超过该分界阈值的视为石块，标记为1，未达到该分界阈值的视为粗粒土，标记为0，根据划分将返回的纵波声速信息转化为布尔值；按照截取图像间隔时间t对布尔值进行截取，多个超声波传感器得到一个布尔值矩阵，布尔值矩阵的大小和截取的图像的覆盖面积相同，保证后续大粒径分割图像与超声波信号图像大小、位置一一对应；
B.图声数据预处理
采用图像分割模型对运动相机采集的图像进行大粒径分割，获得大粒径分割图像；
使用matplotlib软件绘制与大粒径分割图像分辨率相同的空白图像，对空白进行网格化操作，网格数根据布尔值矩阵的行列数确定，布尔值矩阵上的每个值与网格一一对应，布尔值等于0的网格标为白色，等于1的网格标为黑色，输出超声波信号图像，实现超声波信号一维向二维的转化；
C.图声融合
对大粒径分割图像中的大粒径予以编号，对每个大粒径添加外接矩形，记录矩形中心坐标及长宽信息，截取外接矩形图像，所述大粒径指粒径不小于10mm的填料颗粒；根据截取外接矩形的中心坐标、长宽信息，在超声波信号图像中进行搜索，截取超声波信号图像中相同位置、大小的图像，按顺序进行编号，与大粒径分割图像中截取的外接矩形对应的大颗粒编号一一对应；
设置分类阈值，提取相同编号的两张图像，计算mIoU值，根据mIoU值与分类阈值的大小分类大粒径分割图像中的粗粒土和石块，大于分类阈值为石块，否则为粗粒土，以斜杠表示识别结果为粗粒土，以网格表示识别结果为石块，获得识别图像。
2.根据权利要求1所述的图像与超声波信息融合识别的方法，其特征在于，在获得识别图像后，计算粗粒土的级配信息：删除识别图像中的网格区域，只对斜杠区域进行黑色填充操作，填充后对填充区域进行拟合椭圆操作，提取识别图像粗粒土轮廓，计算各拟合椭圆的短轴长度，计算各黑色区域面积，进而获得每个粗粒土颗粒的体积、质量，得到粗粒土的级配信息和级配曲线。
3.根据权利要求1所述的图像与超声波信息融合识别的方法，其特征在于，所述图像分割模型不限于DeepLabV3+模型，DeepLabV3+模型训练过程输入为不同土样的路基填料原始图像，输出为不与原始图像融合的路基填料大粒径分割图像，以路基填料原始图像和路基填料大粒径标签图像训练图像分割模型。
4.根据权利要求1所述的图像与超声波信息融合识别的方法，其特征在于，所述分类阈值为0.6，所述分界阈值为1500-7000m/s。
5.一种基于Web3.0的图声融合路基填料协同识别管理方法，其特征在于，该方法包括以下内容：
项目管理人员根据本项目基本情况选择合适的项目数据，分别向各项目发起智能合约；
利用安装在压路机前杠的运动相机和超声波传感器实时采集图像和超声波信号，根据压路机行驶速度，分别对图像和超声波信号进行截取，截取的超声波信号转化为布尔值矩阵，将一维超声波信号转化为二维布尔值矩阵，再通过软件绘制将二维布尔值矩阵转化为与截取的图像位置、大小一一对应的二维超声波信号图像；
以智能合约约定的有路基填料原始图像和对应路基填料大粒径标签图像的数据集作为数据集进行图像分割模型训练，获得大粒径分割图像；
对大粒径分割图像中的大粒径予以编号，对每个大粒径添加外接矩形，记录矩形中心坐标及长宽信息，截取外接矩形图像，所述大粒径指粒径不小于10mm的填料颗粒；根据截取外接矩形的中心坐标、长宽信息，在超声波信号图像中进行搜索，截取超声波信号图像中相同位置、大小的图像，按顺序进行编号，与大粒径分割图像中截取的外接矩形对应的大颗粒编号一一对应；
设置分类阈值，提取相同编号的两张图像，计算mIoU，根据mIoU值与分类阈值的大小分类大粒径分割图像中的粗粒土和石块，大于分类阈值为石块，否则为粗粒土，以斜杠表示识别结果为粗粒土，以网格表示识别结果为石块，获得识别图像，完成对粗粒土和石块的分类，并获取大粒径土块和石块的准确位置信息，进一步提取粗粒土粒径信息；
以智能合约约定的做好筛分实验标注好特征值和目标值的填料数据集作为数据集训练回归预测模型；
根据提取的粗粒土粒径信息通过回归预测模型得到细粒土粒径信息，输出路基土的全级配信息，并得到级配特征的相关评价值，级配特征的相关评价值包括Cu值和Cc值；
所述的识别图像、全级配信息、级配特征的相关评价值为路基填料参数信息，将得到的路基填料参数信息输入至实时显示评价系统，施工机手、项目管理人员实时查看项目情况，并在项目结束后对用于图像分割模型和回归预测模型训练的数据进行质量评价，同时将路基填料参数信息进行实时存储，用于全过程质量追溯；所述路基填料参数信息包括上述的识别图像、全级配信息、级配特征的相关评价值。
6.一种基于Web3.0的图声融合路基填料协同识别管理系统，其特征在于，包括Web3.0数据管理系统、信息采集装置、边缘计算服务器、实时显示评价系统；
Web3.0数据管理系统包括：DID项目及数据；
信息采集装置包括：图像采集模块、超声波信号采集模块；
边缘计算服务器包括：大粒径分割模块、超声波可视化模块、图声融合模块、全级配预测模块；
实时显示评价系统包括：显示屏、存储装置；
所述图像采集模块用于在压路机压实过程中对路基填料进行垂直拍摄，获取路基条带的图像数据；
所述超声波信号采集模块用于在压路机压实过程中对路基填料进行采集超声波数据获取；
所述大粒径分割模块采用图像分割模型对图像采集模块采集的图像进行大粒径分割，获得大粒径分割图像；
所述超声波可视化模块用于接收超声波信号采集模块输出的布尔值矩阵，将其转化为输出超声波信号图像，实现超声波信号一维向二维的转化；
所述图声融合模块接收大粒径分割模块产生的大粒径分割图像和超声波可视化模块产生的超声波信号图像，将二者融合获得识别图像及粗粒土的级配信息和级配曲线；
所述全级配预测模块用于接收图声融合模块输出的粗粒土级配信息，将粗粒土各级质量输入到回归预测模型中得到粒径10mm以下的细粒土各级的质量，获得填料全级配曲线图像；
所述实时显示评价系统接收来自图声融合模块的识别图像和全级配预测模块的全级配曲线图像并显示存储，用于实时监控施工状况图像和施工填料参数，指导施工机手和项目管理人员施工。
7.根据权利要求6所述的基于Web3.0的图声融合路基填料协同识别管理系统，其特征在于，所述全级配预测模块包括以下内容：
获得待预测地域的多个土样本，进行筛分实验，获得不同土样本的粗粒土级配信息和细粒土级配信息；
以粒径不小于10mm的粗粒土级配信息作为特征值，以粒径小于10mm细粒土级配信息作为目标值，利用回归预测模型建立各级粗粒土级配信息与各级细粒土级配信息之间的对应关系；
利用上述建立的对应关系，在已知粗粒土级配信息的情况下获得细粒土级配信息，进而获得路基土的全级配信息。
8.根据权利要求6所述的基于Web3.0的图声融合路基填料协同识别管理系统，其特征在于，所述粗粒土级配信息包括：60mm粒径质量、40mm粒径质量、20mm粒径质量、10mm粒径质量；所述细粒土级配信息包括：5mm粒径质量、2mm粒径质量、1 mm粒径质量、0.5 mm粒径质量、0.25 mm粒径质量、0.075 mm粒径质量、筛底质量，回归预测模型是四个输入对应六个输出。
9.根据权利要求6所述的基于Web3.0的图声融合路基填料协同识别管理系统，其特征在于，所述回归预测模型不限于XGBoost模型，以R²作为评价指标，R²＞0.65视为模型良好。
10.一种计算机可读存储介质，所述存储介质中存储有计算机程序，其特征在于，所述计算机程序适用于被计算机加载时执行权利要求1-4任一所述的图像与超声波信息融合识别的方法。
CN202210793581.3A 2022-07-07 2022-07-07 基于Web3.0的图声融合路基填料协同识别管理系统 Active CN114863351B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210793581.3A CN114863351B (zh) 2022-07-07 2022-07-07 基于Web3.0的图声融合路基填料协同识别管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210793581.3A CN114863351B (zh) 2022-07-07 2022-07-07 基于Web3.0的图声融合路基填料协同识别管理系统

Publications (2)

Publication Number Publication Date
CN114863351A true CN114863351A (zh) 2022-08-05
CN114863351B CN114863351B (zh) 2022-09-20

Family

ID=82625611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210793581.3A Active CN114863351B (zh) 2022-07-07 2022-07-07 基于Web3.0的图声融合路基填料协同识别管理系统

Country Status (1)

Country Link
CN (1) CN114863351B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102928435A (zh) * 2012-10-15 2013-02-13 南京航空航天大学 基于图像和超声信息融合的飞机蒙皮损伤识别方法及装置
CN104749345A (zh) * 2015-03-30 2015-07-01 国家电网公司 一种填料冻胀特性的试验装置及试验方法
US20160234492A1 (en) * 2015-02-11 2016-08-11 Qualcomm Incorporated Coding tree unit (ctu) level adaptive loop filter (alf)
CN107610511A (zh) * 2017-09-15 2018-01-19 山东建筑大学 一种融合超声波探测和图像采集的反向寻车系统及方法
CN109858539A (zh) * 2019-01-24 2019-06-07 武汉精立电子技术有限公司 一种基于深度学习图像语义分割模型的roi区域提取方法
CN111523616A (zh) * 2020-05-14 2020-08-11 中国铁道科学研究院集团有限公司铁道建筑研究所 基于卷积神经网络的粗粒土填料级配识别方法及应用系统
CN111652270A (zh) * 2020-04-23 2020-09-11 中南大学 基于图像匹配的粗粒土填料级配自动识别方法及应用系统
CN111930909A (zh) * 2020-08-11 2020-11-13 付立军 一种面向地质智能问答的数据自动化序列标注识别方法
CN113185195A (zh) * 2021-04-28 2021-07-30 中建五局土木工程有限公司 改良复合路基填料及其制备方法
CN215065784U (zh) * 2021-06-15 2021-12-07 梁康木 一种用于机场工程土石混填料的旋转压实装置
CN114549562A (zh) * 2021-12-30 2022-05-27 深圳高速工程顾问有限公司 基于UNet的半自动化的倾斜摄影实景模型建筑物单体化方法、系统、设备和存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102928435A (zh) * 2012-10-15 2013-02-13 南京航空航天大学 基于图像和超声信息融合的飞机蒙皮损伤识别方法及装置
US20160234492A1 (en) * 2015-02-11 2016-08-11 Qualcomm Incorporated Coding tree unit (ctu) level adaptive loop filter (alf)
CN104749345A (zh) * 2015-03-30 2015-07-01 国家电网公司 一种填料冻胀特性的试验装置及试验方法
CN107610511A (zh) * 2017-09-15 2018-01-19 山东建筑大学 一种融合超声波探测和图像采集的反向寻车系统及方法
CN109858539A (zh) * 2019-01-24 2019-06-07 武汉精立电子技术有限公司 一种基于深度学习图像语义分割模型的roi区域提取方法
CN111652270A (zh) * 2020-04-23 2020-09-11 中南大学 基于图像匹配的粗粒土填料级配自动识别方法及应用系统
CN111523616A (zh) * 2020-05-14 2020-08-11 中国铁道科学研究院集团有限公司铁道建筑研究所 基于卷积神经网络的粗粒土填料级配识别方法及应用系统
CN111930909A (zh) * 2020-08-11 2020-11-13 付立军 一种面向地质智能问答的数据自动化序列标注识别方法
CN113185195A (zh) * 2021-04-28 2021-07-30 中建五局土木工程有限公司 改良复合路基填料及其制备方法
CN215065784U (zh) * 2021-06-15 2021-12-07 梁康木 一种用于机场工程土石混填料的旋转压实装置
CN114549562A (zh) * 2021-12-30 2022-05-27 深圳高速工程顾问有限公司 基于UNet的半自动化的倾斜摄影实景模型建筑物单体化方法、系统、设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
胡文刚等: "基于超声信号和图像融合的焊缝缺陷识别", 《焊接学报》 *

Also Published As

Publication number Publication date
CN114863351B (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
US11615519B2 (en) Method and apparatus for identifying concrete crack based on video semantic segmentation technology
CN110826514A (zh) 一种基于深度学习的施工现场违章智能识别方法
CN112800913B (zh) 一种基于多源特征融合的路面损伤数据时空分析方法
CN114548278A (zh) 基于深度学习的在役隧道衬砌结构缺陷识别方法及系统
CN106087679B (zh) 一种沥青路面病害识别与自动绘图系统及其方法
Yang et al. Datasets and processing methods for boosting visual inspection of civil infrastructure: A comprehensive review and algorithm comparison for crack classification, segmentation, and detection
CN110133639B (zh) 一种传力杆施工质量检测方法
US20230306573A1 (en) Systems and methods for assessing infrastructure
Xiong et al. Machine learning using synthetic images for detecting dust emissions on construction sites
Luo et al. Using deep learning-based defect detection and 3D quantitative assessment for steel deck pavement maintenance
CN114863351B (zh) 基于Web3.0的图声融合路基填料协同识别管理系统
CN113421236A (zh) 基于深度学习的建筑墙面渗漏水表观发育状况预测方法
Wang et al. Key technologies and future development trends of intelligent earth–rock dam construction
CN116630267A (zh) 基于无人机与激光雷达数据融合的路基沉降监测方法
Kuang et al. Review on machine learning-based defect detection of shield tunnel lining
AU2021100350A4 (en) Method for Predicting Reclamation Potential of Homestead
Hadzic et al. Rasternet: Modeling free-flow speed using lidar and overhead imagery
Manjusha et al. A review of advanced pavement distress evaluation techniques using unmanned aerial vehicles
Sui et al. Machine learning-based detection of transportation infrastructure internal defects using ground-penetrating radar: a state-of-the-art review
Vanitha et al. A Novel Deep Learning Method for the Identification and Categorization of Footpath Defects based on Thermography
CN118012977B (zh) 一种基于ai与gis融合的二三维多模态数据处理方法
Shijun et al. Detection and Segmentation of Riparian Asphalt Paved Cracks Using Drone and Computer Vision Algorithms
Ashraf et al. Machine learning-based pavement crack detection, classification, and characterization: a review
CN112949463B (zh) 一种集料级配快速检测模型的建立、检测方法及系统
JP7235159B1 (ja) 情報処理装置、情報処理システム、情報処理方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant