CN116664846A - 基于语义分割实现3d打印桥面施工质量监测方法及系统 - Google Patents

基于语义分割实现3d打印桥面施工质量监测方法及系统 Download PDF

Info

Publication number
CN116664846A
CN116664846A CN202310946169.5A CN202310946169A CN116664846A CN 116664846 A CN116664846 A CN 116664846A CN 202310946169 A CN202310946169 A CN 202310946169A CN 116664846 A CN116664846 A CN 116664846A
Authority
CN
China
Prior art keywords
defect
image
area
pixel
semantic segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310946169.5A
Other languages
English (en)
Other versions
CN116664846B (zh
Inventor
赵宏宇
孙浚博
张静
王翔宇
姜楠
苏阳
杨超
邹泽峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Jiaotong University
Original Assignee
East China Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Jiaotong University filed Critical East China Jiaotong University
Priority to CN202310946169.5A priority Critical patent/CN116664846B/zh
Publication of CN116664846A publication Critical patent/CN116664846A/zh
Application granted granted Critical
Publication of CN116664846B publication Critical patent/CN116664846B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Game Theory and Decision Science (AREA)
  • Geometry (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明为基于语义分割实现3D打印桥面施工质量监测方法及系统，包括以下内容：获取3D打印桥面施工过程中打印区域的缺陷图像，并对缺陷视频图像逐帧进行标注，将标注后的缺陷图像分为训练集和测试集；构建语义分割缺陷测量模型，所述语义分割缺陷测量模型包括SegFormer神经网络和用于像素面积与实际面积换算的面积换算模块：利用训练集训练SegFormer神经网络获得缺陷的像素面积，再通过面积换算模块获得缺陷的实际面积，至此完成语义分割缺陷测量模型的构建，用于3D打印桥面施工质量监测。该系统应用到桥面施工过程质量监测中，具有精细化识别图像信息的功能，可对裂缝和气泡缺陷识别并量化，提高施工效率和质量。

Description

基于语义分割实现3D打印桥面施工质量监测方法及系统
技术领域
本发明涉及智能建造领域和计算机视觉语义分割技术领域，特别是涉及一种基于语义分割实现3D打印桥面施工质量监测方法及系统。
背景技术
传统桥面施工通常需要花费大量人力成本，施工过程中需要考虑混凝土的浇注、养护、外加荷载等因素，施工难度大、施工周期长，如何用较短的时间建造出高质量的桥面结构至关重要。
3D打印技术是一种新型施工工艺，适应数字化和智能化，其优点在于自动化程度高、建造速度快、材料利用率高、可实现异形建造、节约模板成本等方面。但3D打印由于其无模化的工艺，施工过程中极易产生裂缝，目前3D打印技术严重依赖于人工监测，需耗费大量的人力和经济成本，且人工无法监测到超过人自身视野高度的地方，无法对桥面进行施工过程的质量监测。除此之外，人工监测工作成本高,而且检测效率低,检测结果精确度和可信度较低；制造出来的产品质量不稳定，限制了3D打印在大规模生产方面的发展和应用。
计算机视觉语义分割技术是用于缺陷图像检测的基础技术，能够实现施工过程当中的实时质量检测，并能够将裂缝进行量化。但当前技术存在计算量大、耗时长、参数阈值受环境影响大等不足，无法满足缺陷快速识别的发展需求；传统语义分割通过阈值、边缘、区域等方法实现目标提取，或通过人工设置特征提取目标，其获取目标方式均是通过手动提取图像浅层或中层形态特征，这种基于特征假设的方法在复杂环境下不具备鲁棒性，无法满足高精度裂缝识别。因此，针对3D打印桥面裂缝，如何采用稳定的实时高精度的语义分割算法进行监测是领域内的迫切需求。
发明内容
本发明的目的是克服了以上技术的缺点，提供了一种智能化的具有自动修正的基于语义分割实现3D打印桥面施工质量监测方法及系统。
相对于现有技术而言 ，本发明创造性地利用语义分割技术实现了3D打印桥面施工质量监测，能够准确、高效地检测出打印过程中的裂缝缺陷和气泡缺陷并进行量化，实现了监测和预警，为打印质量的保障提供了有效的手段。
为了解决上述的技术问题，本发明的技术方案是：
第一方面，本发明提供一种基于语义分割实现3D打印桥面施工质量监测方法，所述方法包括以下步骤：
获取3D打印桥面施工过程中打印区域的缺陷图像，并对缺陷视频图像逐帧进行标注，将标注后的缺陷图像分为训练集和测试集；
构建语义分割缺陷测量模型，所述语义分割缺陷测量模型包括SegFormer神经网络和用于像素面积与实际面积换算的面积换算模块：
所述SegFormer神经网络包括编码器和解码器，图像输入编码器中的重叠补丁嵌入模块，将输入图像切割为一个个图块，然后依次经第一转换器模块、第二转换器模块、第三转换器模块、第四转换器模块后，获得多层特征图，将多层特征图输出连接解码器的多层感知机层（MLP Layer），将经过多层感知机输出的多层次特征进行拼接操作，拼接后的结果经过一个多层感知机后输出结果；
第一转换器模块、第二转换器模块、第三转换器模块、第四转换器模块结构相同，包括基于滑动窗口技术的自注意力机制模块（SW Efficient Self-Attention）、混合前馈网络模块（MiX-FFN）和重叠补丁融合模块（Overlap Patch Merging），获得大小相同但分辨率不同的四个特征图；
所述基于滑动窗口技术的自注意力机制模块（SW Efficient Self-Attention）先对图块进行归一化操作，设置移动窗口和移动步长，用移动窗口在每个图块上按照移动步长滑动，然后将特征图切成一个个窗口计算注意力权重，将注意力权重合并回原始特征图中的相应位置，再做dropout和残差连接，最后依次通过一层归一化操作、全连接层、dropout和残差连接；
利用训练集训练SegFormer神经网络获得缺陷的像素面积，再通过面积换算模块获得缺陷的实际面积，至此完成语义分割缺陷测量模型的构建，用于3D打印桥面施工质量监测。
所述第一转换器模块的重叠补丁融合模块（Overlap Patch Merging）的卷积核大小kernel=7，步长stride=4，填充padding=3；第二转换器模块、第三转换器模块、第四转换器模块的重叠补丁融合模块（Overlap Patch Merging）的卷积核大小kernel=3，步长stride=2，填充padding=1；所述移动窗口的像素大小为4*4，移动步长stride=2。
所述训练集和测试集数据的获得过程是：
步骤1.1将获取的3D打印桥面施工过程中打印区域的裂缝缺陷图像、气泡缺陷图像所需识别的区域利用Labelme工具进行像素级标注，为每个像素分配相应的语义标签，形成带有标注信息的数据集，在标注完成后生成二值图，黑色像素值为0，代表背景，白色像素值为255，代表目标缺陷；标注信息以像素级别指示图像中每个像素所属的类别；
步骤1.2利用融合随机概率重采样和自适应尺度均衡实现数据增广；
步骤1.2.1计算输入图像集D中每张图像包含的小尺度目标总数量N1、各尺度目标总数量N2，定义实例图像抽取的概率P=N1/N2；
步骤1.2.2利用Rand()函数产生随机数R，R∈（0，1），根据输入图像集D中实例图像抽取的概率P确定需要被重采样的数据OD；若该实例图像抽取的概率P大于随机数R，则进行重采样，对需要被重采样的数据OD进行两次采样；否则计入不满足重采样的数据中进行一次采样；并将两者的结果拼接得到重采样数据集RD；
步骤1.2.3对重采样数据集RD采取自适应均衡策略，自适应地对大、中尺度目标进行裁剪，统计被裁剪图像中目标总数NRD，获取被裁剪图像的抽取概率prc，被裁剪图像中大、中目标的实际占比为1－prc，计算数据集中大、中尺度目标占比的期望Ｅ（D），并根据ｎ＝NRD×{（１－ｐrc）－Ｅ（D）}计算最大裁剪目标个数ｎ；
若目标像素面积与整个图像的比值超过5%，定义为大尺度目标，若目标像素面积与整个图像的比值介于3%-5%，定义为中尺度目标，若目标像素面积与整个图像的比值小于3%，定义为小尺度目标；
步骤1.2.4提取第j个被裁剪目标的二值化掩码，依据式SD＝/>得到裁剪后的图像，所有裁剪后的图像的集合记为数据集SD；
步骤1.2.5将输入图像集D、重采样数据集RD以及裁剪后的数据集SD按照6：2：2的比例进行拼接得到增广后的数据集；
步骤1.3将增广后的数据集中的图片按照8:2的比例分配为训练集加验证集和测试集。
所述面积换算模块，用于根据缺陷的像素面积利用像素与实际距离之间的转换比例，即像素尺度S，获得缺陷的实际面积；具体过程是：
步骤1在图像中放置一个标尺，所述标尺要与裂缝缺陷在同一平面上，标尺长度为L，测量得到标尺在图像中的像素长度为P，像素尺度S为：
S = L / P
其中，S表示像素与实际距离之间的转换比例，即像素尺度，L表示标尺的实际长度，P表示标尺在图像中的像素长度；
步骤2将缺陷的像素面积乘以像素尺度S的平方，得到缺陷的实际面积B，缺陷的实际面积B通过以下公式计算：
B = A * S2
其中，B表示缺陷的实际面积；A表示缺陷的像素面积，单位为像素平方。
将测试集数据输入到语义分割缺陷测量模型，采用校准算法对面积换算模块中的像素尺度S进行修正，获得校准后的语义分割缺陷测量模型；所述校准算法为：
步骤1使用以下的误差函数E(S)来衡量像素面积与实际面积之间的差异：
E(S) = ，
其中，表示第i个缺陷的实际面积，由标注获得；S表示像素尺度；/>表示第i个缺陷的像素面积，由语义分割缺陷测量模型中的SegFormer神经网络输出获得；N是测试集中所有样本中预测缺陷的总数量；
步骤2最小化误差函数E(S)，对E(S)进行求导并令导数等于0，得到最优的像素尺度S*，
S* = ；
以最优的像素尺度S*更新面积换算模块，获得校准后的语义分割缺陷测量模型，用于3D打印桥面施工质量监测。
将待识别视频图像输入到校准后的语义分割缺陷测量模型检测缺陷目标，并得到各个缺陷的实际面积，并设置裂缝缺陷和气泡缺陷的测量参数阈值对结果进行分析；
若识别为裂缝缺陷图像，计算裂缝像素面积与镜头检测面积比；
若识别为气泡缺陷图像，计算气泡像素面积与镜头检测面积比；
像素面积指的是分割结果中每个裂缝或气泡缺陷的像素数，用于衡量裂缝或气泡缺陷在图像中所占的相对大小；
计算裂缝像素面积与镜头检测面积比、气泡像素面积与镜头检测面积比与设置的相应测量参数阈值比较确定是否报警，若超过测量参数阈值，则进行报警，并根据报警信息调整打印工艺；直至打印结束所有区域均达到需求，即所有缺陷面积小于所设测量参数阈值时，完成3D打印桥面施工过程的质量监测。
第二方面，本发明提供一种基于语义分割实现3D打印桥面施工质量监测系统，所述系统包括：
图像采集模块，用于获取3D打印桥面施工过程中打印区域的缺陷图像；
图像处理模块，用于对图像采集模块的缺陷图像进行像素级别所属类别的分割标注，并进行数据增广，获得增广后的数据集；
语义分割缺陷测量模型，用于实现对缺陷的检测和测量；
校准算法模块，使用误差函数E(S)来衡量像素面积与实际面积之间的差异，对E(S)进行求导并令导数等于0，得到最优的像素尺度S*；
E(S) = ，
其中，表示第i个缺陷的实际面积，由标注获得；S表示像素尺度；/>表示第i个缺陷的像素面积，由语义分割缺陷测量模型中的SegFormer神经网络输出获得；N是测试集中所有样本中预测缺陷的总数量；
以最优的像素尺度S*更新语义分割缺陷测量模型中的面积换算模块，获得校准后的语义分割缺陷测量模型，用于3D打印桥面施工质量监测；
预警与反馈模块，对校准后的语义分割缺陷测量模型输出的结果与测量参数阈值比较，超过测量参数阈值时，则进行报警，并及时向3D打印后台反馈缺陷信息，3D打印后台自动降低打印机喷头移动速度、增加出料速度，并提示检查材料状态。
与现有技术相比，本发明的有益效果是：
本发明将语义分割算法应用到桥面施工过程质量监测中，具有精细化识别图像信息的功能，可对裂缝和气泡缺陷识别并量化，可以克服桥面施工过程质量监测的困难的不足，实现实时监测和质量控制，提高施工效率和质量，减少人工监测的依赖，并为桥梁建设提供更可靠和安全的解决方案。
本发明语义分割缺陷测量模型大大提升了分割和预测速率，使得系统能够实现实时高精度的监测和测量。
本发明系统引入自动化和智能化的技术可以改善桥面施工过程的质量监测，具有高度可定制性。它可以根据不同的打印材料和缺陷类型进行灵活调整，包括打印机喷头的移动速度、出料速度以及材料的干湿程度等参数。通过反馈机制和指导工作人员进行调整，系统能够适应各种不同的需求和应用场景。这种高度可定制性赋予了系统广泛的适用性和实用性。不仅可以应用于混凝土3D打印过程的质量监测，还可以扩展到其他领域，如金属3D打印、医学3D打印、航空3D打印等领域的表面缺陷检测。
本发明系统为实现更大规模的建筑级别3D打印提供了可能性，进一步推动了该领域的发展，具有重大的意义和广阔的应用前景，同时也为混凝土3D打印技术的发展提供了有力的支持和保障。
附图说明
图1是本发明基于语义分割实现3D打印桥面施工质量监测的系统的流程图。
图2是本发明中SegFormer神经网络的结构示意图。
图3是本发明中SegFormer神经网络中转换器模块Transformer Block的内部结构示意图。
图4是本发明中SegFormer神经网络中MLP Layer层的内部结构示意图。
具体实施方式
为了更加清楚地描述本发明的技术问题、技术方案和优点，接下来将结合图示和实施例进行详细说明。需要注意的是，这些实施例仅用于说明本发明的原理和应用范围，并不应视为对本发明的限制。
实施例1：本实施例基于语义分割实现3D打印桥面施工质量监测系统，包括：
图像采集模块，用于获取3D打印桥面施工过程中打印区域的缺陷图像；
图像处理模块，用于对图像采集模块的缺陷图像进行像素级别所属类别的分割标注，并进行数据增广，获得增广后的数据集；
所述缺陷图像包括裂缝缺陷图像和气泡缺陷图像；
语义分割缺陷测量模型，用于实现对缺陷的检测和测量；与图像采集模块、图像处理模块相连接，主要功能是构建应用于缺陷检测的语义分割缺陷测量模型并对其训练，训练后的语义分割缺陷测量模型可以实现对缺陷的检测和测量；
校准算法模块，使用误差函数E(S)来衡量像素面积与实际面积之间的差异，对E(S)进行求导并令导数等于0，得到最优的像素尺度S*；
E(S) = ，
其中，表示第i个缺陷的实际面积，由标注获得；S表示像素尺度；/>表示第i个缺陷的像素面积，由语义分割缺陷测量模型中的SegFormer神经网络输出获得；N是测试集中所有样本中预测缺陷的总数量；
以最优的像素尺度S*更新语义分割缺陷测量模型中的面积换算模块，获得校准后的语义分割缺陷测量模型，用于3D打印桥面施工质量监测；校准算法模块与语义分割缺陷测量模型相连接，将测试集输入到训练后的语义分割缺陷测量模型，获得缺陷的像素面积，采用校准算法对面积换算模块中的换算比S进行修正，以校准后的换算比S*更新面积换算模块，获得校准后的语义分割缺陷测量模型，并存储相应监测信息；
通过校准后的语义分割缺陷测量模型检测输入数据中的缺陷，并得到各个缺陷的实际面积，设置测量参数阈值并对结果进行分析；
预警与反馈模块，将校准后的语义分割缺陷测量模型输出的结果与测量参数阈值比较，超过测量参数阈值时，则进行报警，并及时向3D打印后台反馈缺陷信息，3D打印后台自动降低打印机喷头移动速度、增加出料速度，并提示检查材料状态。
基于语义分割实现3D打印桥面施工质量监测方法包括以下步骤：
步骤1获取3D打印桥面施工过程中打印区域的缺陷图像，并对缺陷视频图像逐帧进行标注和处理操作；
步骤2构建语义分割缺陷测量模型，利用训练集数据训练SegFormer神经网络，将测试集输入到训练后的SegFormer神经网络，获得缺陷的像素面积，并将检测结果传输到校准算法模块进行处理，采用校准算法对面积换算模块中的换算比S进行修正，以校准后的换算比S*更新面积换算模块，获得校准后的语义分割缺陷测量模型，并存储相应监测信息；校准后的语义分割缺陷测量模型，可以实现对缺陷的检测和测量；
步骤3将待识别视频图像输入到校准后的语义分割缺陷测量模型检测缺陷目标，并得到各个缺陷的实际面积，并设置测量参数阈值对结果进行分析；
步骤4将裂缝像素面积与镜头检测面积比、气泡像素面积与镜头检测面积比与设置的相应测量参数阈值比较确定是否报警，若超过测量参数阈值，则进行报警，并根据报警信息调整打印工艺；直至打印结束所有区域均达到需求，完成3D打印桥面施工过程的质量监测。
获取3D打印桥面施工过程中打印区域的缺陷图像具体包括：3D打印混凝土桥面施工过程中的裂缝缺陷图像、气泡缺陷图像。
所述的步骤1具体为：
步骤1.1将获取的3D打印桥面施工过程中打印区域的裂缝缺陷图像、气泡缺陷图像所需识别的区域利用Labelme工具进行像素级标注，为每个像素分配相应的语义标签，形成带有标注信息的数据集，在标注完成后生成二值图，黑色像素值为0，代表背景，白色像素值为255，代表目标缺陷。标注信息以像素级别指示图像中每个像素所属的类别。
步骤1.2利用融合随机概率重采样和自适应尺度均衡实现数据增广；
步骤1.2.1计算输入图像集D中每张图像包含的小尺度目标总数量N1、各尺度目标总数量N2，定义实例图像抽取的概率P=N1/N2；
步骤1.2.2利用Rand()函数产生随机数R（R∈（0，1）），根据输入图像集D中实例图像抽取的概率P确定需要被重采样的数据OD；若该实例图像抽取的概率P大于随机数R，则进行重采样，对需要被重采样数据OD进行两次采样；否则计入不满足重采样的数据中进行一次采样；并将两者的结果拼接得到重采样数据集RD；
步骤1.2.3对重采样数据集RD采取自适应均衡策略，自适应地对大、中尺度目标进行裁剪，统计被裁剪图像中目标总数NRD，获取被剪裁图像的抽取概率prc，被裁剪图像中大、中尺度目标的实际占比为1－prc，计算数据集中大、中尺度目标占比的期望Ｅ（D），并根据ｎ＝NRD×{（１－ｐrc）－Ｅ（D）}计算最大裁剪目标个数ｎ；
若目标像素面积与整个图像的比值超过5%，定义为大尺度目标，若目标像素面积与整个图像的比值介于3%-5%，定义为中尺度目标，若目标像素面积与整个图像的比值小于3%，定义为小尺度目标；
步骤1.2.4提取第j个被剪裁目标的二值化掩码，依据式SD＝/>得到裁剪后的图像，所有裁剪后的图像的集合记为裁剪后的数据集SD；
步骤1.2.5将输入图像集D、被重采样数据集RD以及裁剪后的数据集SD按照6：2：2的比例进行拼接得到增广后的数据集；
注意的是，对每张图片进行操作，因此上述提到的P、N1、N2、R均为数组，是像素级乘法。
步骤1.3将增广后的数据集按照8:2的比例分配为训练集加验证集、测试集。
融合随机概率重采样和自适应尺度均衡实现数据增广，前者是使得包含小尺度目标较多的图像充分地参与到模型的训练，促使模型学习更多的小尺度目标特征；后者是针对目标层级降低大、中尺度目标被过度增强的概率，缓解随机概率重采样策略导致的各尺度目标训练样本间不平衡，另一方面，相较于裁剪小尺度目标会丢失重要像素，裁剪大、中尺度目标既可以增加数据数量，也可以缓解重要像素的丢失。
SegFormer神经网络的主体部分，包括编码器和解码器。编码器 使用预训练的视觉模型ResNet，作为特征提取器。解码器使用多层的 Transformer 解码器，用于进行语义分割的预测，定义最终的输出层，将预测的特征图转换为语义分割的结果。SegFormer神经网络的输出为缺陷的像素面积。
将训练集中的裂缝缺陷图像以及气泡缺陷图像读取到SegFormer神经网络中，训练获得训练后的SegFormer神经网络；
相对于传统的验证集选取，本方法将训练集中的数据分为10份，每次使用10 份中的 1 份作为验证集，其他全部作为训练使用。通过10次训练后，得到了 10 个不同的模型。评估 10个模型的效果，从中挑选mIOU最好的超参数，使用最优的超参数，然后将10份数据全部作为训练集重新训练模型，得到训练后的SegFormer神经网络；
测量测试集所标注缺陷的现实当中的实际面积和所在图片中的像素面积，作为实际参照组；
其中所在图片中的像素面积的计算方法如下：通过图像分割算法得到缺陷的二值化掩码，即将缺陷部分标记为前景，非缺陷部分标记为背景。使用像素计数方法计算缺陷部分的像素数量，即前景像素数量，用N表示。将像素数量N乘以像素大小的平方，得到缺陷部分的面积A，单位为像素平方。
二值化掩码是指将图像的某个区域转换为二值图像的过程，在语义分割任务中，二值化掩码用于表示每个像素的类别信息，即将每个像素点标记为前景（目标）或背景（非目标）。
语义分割缺陷测量模型已内置将像素面积转换为实际面积的面积换算模块，面积换算模块用于根据缺陷的像素面积利用像素与实际距离之间的转换比例，即像素尺度S，也称为换算比，获得缺陷的实际面积；
将像素面积转换为实际面积的具体步骤如下：
步骤1在图像中放置一个标尺，标尺长度为L，测量得到标尺在图像中的像素长度为P，像素尺度S可通过以下公式计算：
S = L / P
其中，S表示像素与实际距离之间的转换比例，即像素尺度，L表示标尺的实际长度，P表示标尺在图像中的像素长度。
步骤2将缺陷的像素面积乘以像素尺度S的平方，得到缺陷的实际面积B，缺陷的实际面积B可通过以下公式计算：
B = A * S2
其中，B表示缺陷的实际面积，S表示像素尺度（单位为实际长度/像素），A表示缺陷的像素面积（单位为像素平方）。
需要注意，像素尺度的计算要求标尺在图像中的长度要准确测量，并且标尺要与裂缝缺陷在同一平面上。
基于语义分割实现3D打印桥面施工质量监测方法的流程如图1所示，主要分为训练和预测两个部分，训练部分首先对SegFormer神经网络的网络参数进行随机初始化，再从训练集中提取3D打印桥面施工过程中打印区域的裂缝缺陷图像以及气泡缺陷图像以及对应的标注图像、转化后的图像（对原图进行随机裁剪操作后的图像与原始图像一起拼接成新的输入信息）；其次利用SegFormer神经网络中的特征提取结构、混合自注意力机制以及多级特征融合等模块提取图像各维度特征，根据融合后的特征完成对图像每个像素类别的预测，并结合标注图像利用solftmax损失函数计算损失函数误差，通过误差反向传播更新网络权重参数。依次迭代训练所有图像，经40000次迭代，训练模型达到收敛，即模型训练梯度接近于0（小于0.01可认为是接近0）时，停止训练，提取最优的网络参数进行预测，若训练梯度不接近0，则调整权重参数。预测时，网络首先加载训练好的参数，并从测试集中加载输入图像，通过训练后的SegFormer神经网络计算出每个像素所属类别，进而实现语义分割。
将测试集数据输入到语义分割缺陷测量模型，采用校准算法对面积换算模块中的像素尺度S进行修正，获得校准后的语义分割缺陷测量模型；建立存储模块用于结果的传输、存储和备份。
所述校准算法为：
步骤1使用以下的误差函数E(S)来衡量像素面积与实际面积之间的差异：
E(S) = ，
其中，表示第i个缺陷的实际面积，由标注获得；S表示像素尺度；/>表示第i个缺陷的像素面积，由语义分割缺陷测量模型中的SegFormer神经网络输出获得；N是测试集中所有样本中预测缺陷的总数量；
步骤2最小化误差函数E(S)，对E(S)进行求导并令导数等于0，得到最优的像素尺度S*，对于每个像素面积A和对应的实际面积B，将误差函数E(S)分别对S求导并令导数等于0，得到以下方程：
= 0
，
将上述方程化简可得：
，
从而得到最优的像素尺度，即校准后的换算比S*的表达式：
S* = ；
以最优的像素尺度S*更新面积换算模块，获得校准后的语义分割缺陷测量模型，用于3D打印桥面施工质量监测。
所述的步骤3具体为：
步骤3.1将待检测的3D打印桥面施工过程中打印区域的裂缝缺陷图像以及气泡缺陷图像输入到SegFormer神经网络，如图2所示；
步骤3.2利用校准后的语义分割缺陷测量模型，模型内置面积换算模块，获取缺陷的像素面积并换算得到缺陷的实际面积；
步骤3.3若识别为裂缝缺陷图像，设置测量参数阈值，计算裂缝像素面积与镜头检测面积（相机所拍摄的图片的大小）比，本实施例中设置测量参数阈值为3%，对检测到的结果进行分析；
步骤3.4若识别为气泡缺陷图像，设置测量参数阈值，计算气泡像素面积与镜头检测面积（相机所拍摄的图片的大小）比，本实施例中设置测量参数阈值为4%，对检测到的结果进行分析。
阈值参数阈值是通过对训练模型进行大量实验获得的阈值。像素面积指的是分割结果中每个裂缝或气泡缺陷的像素数，用于衡量裂缝或气泡缺陷在图像中所占的相对大小。
所述的步骤4具体为：
步骤4.1系统接收图像以进行缺陷检测；
步骤4.2如果图像被识别为裂缝缺陷图像，请检查裂缝像素面积与镜头检测面积（相机所拍摄的图片的大小）比是否超过测量参数阈值（3%），如果未超过测量参数阈值，将材料打印为合格，合格不报警不做标记；如果超过测量参数阈值（3%），请继续执行步骤4.4；
步骤4.3如果图像被识别为气泡缺陷图像，请检查气泡像素面积与镜头检测面积（相机所拍摄的图片的大小）比是否超过测量参数阈值（4%），如果未超过测量参数阈值（4%），将材料打印为合格，合格不报警不做标记；如果超过测量参数阈值（4%），请继续执行步骤4.4；
步骤4.4触发预警与反馈模块并将裂缝或气泡缺陷信息面积比或缺陷类型传递给提示处理模块；获得缺陷信息，缺陷信息为缺陷类型，若缺陷类型为裂缝，即包含裂缝像素面积与镜头检测面积比与裂缝的实际面积；若缺陷类型为气泡，即包含气泡像素面积与镜头检测面积（相机所拍摄的图片的大小）比与气泡的实际面积。随后显示缺陷信息，并反馈给3D打印后台，停止打印材料；
步骤4.5 3D打印后台自动减缓打印速度且增加泵送速率，并安排工作人员检查材料状态；
步骤4.6如果图像未被识别为缺陷或像素面积与镜头检测面积之比未超过测量参数阈值，将材料认定为合格，合格不报警不做标记。
如果在步骤4.4中预警与反馈模块，系统将遵循以下子过程：
1）将缺陷信息传递给3D打印后台；
2）3D打印后台分析缺陷信息，其中缺陷信息为缺陷类型，若缺陷类型为裂缝，根据裂缝像素面积与镜头检测面积比确定缺陷的严重性级别,其中缺陷严重性级别确定步骤为：裂缝像素面积与镜头检测面积之比小于3%为轻微缺陷，这意味着裂缝只占据了较小的面积，并且对结构功能的影响较小；裂缝像素面积与镜头检测面积之比超过3%，则为严重缺陷，这表示裂缝占据了较大的面积，对结构功能有明显的影响；
3）若缺陷类型为气泡，根据气泡像素面积与镜头检测面积比确定缺陷的严重性级别,其中气泡缺陷严重性级别确定步骤为：气泡像素面积与镜头检测面积之比小于4%为轻微缺陷；气泡像素面积与镜头检测面积之比超过4%，则为严重缺陷；
4）3D打印后台根据缺陷的严重性自动调整打印机参数并向相关人员发送告警通知；
5）相关人员进一步检查，如自动调整参数后仍出现缺陷，则采取适当措施解决缺陷，如修理或更换设备、调整印刷工艺或更换材料；
6）只有在修复缺陷并且3D打印后台的材料流变性能参数调整后，并在打印过程区间当中不再出现缺陷后，系统才会恢复打印，其中打印过程区间为试打印1米长度。
基于语义分割实现3D打印桥面施工质量监测系统所使用的硬件设备包括如下几个部件：
处理器：作为本发明的核心部件，处理器负责控制和管理整个系统的运行，包括数据采集、数据处理、图像识别、报警等功能，并且需要有足够的计算能力和并行处理能力，以满足实时性要求。处理器可以采用单片机、微处理器、计算机等不同的形式，以满足不同应用场景的需求；
存储器：存储器可以用于存储采集的数据和历史数据，以便后续处理和分析，具有高速度、高可靠性和可扩展性等特点，以满足系统长时间稳定运行的需求；
数据库：使用数据库来存储和管理采集到的数据、历史数据和分析结果等信息；
网络接口：用于数据交换和通信，具有高速度、高稳定性和高安全性等特点，保证数据传输的可靠性和安全性。
所述的处理器被配置成执行计算机可执行指令，所述的计算机可执行指令被所述的处理器执行时，实现上述所述的基于语义分割实现3D打印桥面施工质量监测的系统的各个步骤。
存储器上存储有计算机程序，所述的计算机程序可被处理器执行以实现上述所述的基于语义分割实现3D打印桥面施工质量监测的系统的各个步骤。
所述数据库被配置成存储和管理计算机应用程序的数据，包括各种数据类型和结构，应用于上述所述的基于语义分割实现3D打印桥面施工质量监测的系统的各个步骤。
网络接口实现计算机之间的通信和数据传输，该网络接口可以提供各种通信协议和数据传输方式以满足不同应用场景和不同需求的通信和数据传输需求，应用于上述所述的基于语义分割实现3D打印桥面施工质量监测的系统的各个步骤。
本发明主要应用于3D打印桥面施工过程中的质量监测，利用3D打印设备上安装的工业摄像头，自动识别3D打印桥面施工过程当中的缺陷，对于裂缝和气泡进行量化分析，当裂缝和气泡面积大于设置的测量参数阈值后自动报警，从而实现自动调整打印设备参数并进行材料状态检查功能。
实施例2：本实施例基于语义分割实现3D打印桥面施工质量监测系统中语义分割缺陷测量模型的训练阶段：
步骤1在打印设备上安装工业相机，获取3D打印混凝土桥面施工过程的视频；
步骤2从视频中的指定位置逐帧获取3D打印混凝土桥面施工过程中的裂缝缺陷图像以及气泡缺陷图像；
步骤3将获取的视频图像逐帧处理并进行标注，利用随机概率重采样和自适应尺度均衡实现数据增广，测量测试集所标注缺陷的现实当中的实际面积和所在图片中的像素面积，作为实际参照组，将待检测的3D打印桥面施工过程中打印区域的裂缝缺陷图像以及气泡缺陷图像输入到SegFormer神经网络，依次迭代训练所有图像，经40000次迭代，训练模型达到收敛，即模型训练梯度接近于0时，停止训练，提取最优的网络参数进行预测；
模型校准阶段：
步骤1将测试集数据输入到语义分割缺陷测量模型，获得检测结果；
步骤2将测试用的检测目标实际参数与初步检测结果进行对比，并通过对像素转换实际尺寸的函数进行修正，获得校准后的语义分割缺陷测量模型；
实施阶段：
步骤1缺陷分割与分析模块接收图像以进行缺陷检测；
步骤2将待识别图像输入到校准后的语义分割缺陷测量模型，利用分割算法获取上述图像的像素面积，并换算得到缺陷的实际面积，其中所述分割算法采用SegFormer神经网络；
步骤3如果图像被识别为裂缝缺陷图像，检查裂缝像素面积与镜头检测面积之比是否超过3%的阈值，判断是否触发预警与反馈模块；
步骤4如果图像被识别为气泡缺陷图像，检查气泡像素面积与镜头检测面积之比是否超过4%的阈值，判断是否触发预警与反馈模块；
步骤5预警与反馈模块接收缺陷信息，其中缺陷信息为缺陷类型，缺陷类型分为裂缝或气泡，包含裂缝或气泡的像素面积与镜头检测面积比，随后显示缺陷信息，并反馈给3D打印后台，停止打印材料；3D打印后台自动减缓打印速度且增加泵送速率并检查材料状态；如果图像未被识别为缺陷，或者所识别的裂缝或气泡像素面积与镜头检测面积比未超过测量参数阈值，将材料认定为合格，合格不报警不做标记；直至打印结束所有区域均达到需求，完成行为监测。
如图2所示，所述SegFormer神经网络包括编码器和解码器，图像输入编码器中重叠补丁嵌入模块（Overlap Patch Embeddings），将输入图像切割为一个个图块（patches），然后依次经第一转换器模块（Transformer Block）、第二转换器模块（TransformerBlock）、第三转换器模块（Transformer Block）、第四转换器模块（Transformer Block）后，分别获得多层特征图，将多层特征图输出连接解码器的多层感知机层（MLP Layer），将经过多层感知机层（MLP Layer）输出的多层次特征后做一次拼接操作（concat），拼接后的结果经过一个多层感知机（MLP）并输出结果。
第一转换器模块、第二转换器模块、第三转换器模块、第四转换器模块内部结构如图3所示，均经过基于滑动窗口技术的自注意力机制模块（SW Efficient Self-Attention）、混合前馈网络模块（MiX-FFN）、重叠补丁融合模块（Overlap Patch Merging）处理，第一转换器模块、第二转换器模块、第三转换器模块、第四转换器模块这四个块得到分辨率分别为，/>，/>，/>的特征图。通过重叠补丁融合模块（Overlap Patch Merging）将特征图像融合成一样大小并输出，区别在于第一转换器模块的重叠补丁融合模块（OverlapPatch Merging）卷积核大小kernel=7，步长stride=4，padding=3，后三个重叠补丁融合模块（Overlap Patch Merging）卷积核大小kernel=3，步长stride=2，填充padding=1。第一转换器模块输出的特征图维度为/>，第二转换器模块输出的特征图维度为，第三转换器模块输出的特征图维度为/>，第四转换器模块输出的特征图维度为/>。
基于滑动窗口技术的自注意力机制模块（SW Efficient Self-Attention）先对图块进行归一化操作，用一个4*4的移动窗口（window size）在每个图块上滑动，步长stride=2，然后将特征图切成一个个窗口计算注意力权重，将自注意力输出合并回原始特征图（SWEfficient Self-Attention模块的输入）中的相应位置，再做dropout和残差连接，再依次通过一层归一化操作、全连接层、dropout和残差连接。
将基于滑动窗口技术的自注意力机制模块（SW Efficient Self-Attention）加入SegFormer神经网络，通过将图像分割任务划分为一系列较小的图块（patches）来处理，并对每个图块应用自注意力机制。Shift Window技术将在块内进行局部的自注意力计算，而不是考虑整个块的像素。具体而言，可以使用滑动窗口的方式，将注意力机制限制在一个小的窗口内，然后在块内进行滑动。对于每个窗口位置，计算注意力权重时只考虑窗口内的像素之间的关系，这可以减少计算和内存开销，提高预测速度和节省训练时间，提高预测的准确性和实时性。
混合前馈网络模块(Mixing Feed-Forward Network，简称MiX-FFN)如图3所示，在每一个前馈网络（FFN）中混合了一个1×1的卷积核、一个3×3的卷积核和多层感知机（MLP），将基于滑动窗口技术的自注意力机制模块（SW Efficient Self-Attention）中输出的特征作为输入，经过一个多层感知机（MLP），使用一个3×3卷积核和1×1卷积核进行卷积操作后，再经一个SiLU激活函数，通过多层感知机（MLP）操作输出结果E，最后将结果E与混合前馈网络模块原始输入经相加（add）处理获得混合前馈网络模块的输出。
多层感知机层（MLP Layer）（如图4所示），将编码器中提取到的4个特征图通过依次经多层感知机(MLP)和上采样(UP Sample)统一到相同维数，上采样(UP Sample)输出为原始输入图像的四分之一大小，图4中x取值为1、2、3、4，分别对应第一转换器模块、第二转换器模块、第三转换器模块、第四转换器模块。
解码器中一共包含四个步骤，首先将编码器中提取到的4种不同分辨率的特征输入到多层感知机层（MLP Layer）中的多层感知机（MLP），经过多层感知机(MLP)之后分辨率不变，各种分辨率的通道数设置为C；随后对4种不同分辨率的特征进行上采样，将特征的维度变为初始的，即/> × /> × C，并将这四种特征聚合得到维度为/> × /> × 4C的特征；最后将聚合的特征再经过一个多层感知机，将其维度转变为 /> × /> × Ncls，通道数调整到最后的输出类别Ncls。
上述中，H为输入图像的长、C为通道数、W输入图像的宽。
通过以上增强和调整，本发明SegFormer网络大大提升了分割和预测速率，使得系统能够实现实时高精度的监测和测量3D打印桥面施工中的裂缝。
将标注后的图片按照8:2的比例分配为训练集加验证集和测试集，既保证了训练数据的数量，又提高了模型的泛化能力。使用训练集来训练模型，并使用测试集来评估不同参数设置下的模型性能，从而选择最佳的参数设置，同时也可以使模型具有更好的泛化能力。在训练过程中使用k折交叉验证方法可以充分利用有限的数据集，更准确地评估模型性能、选择最佳模型和参数，并提供模型方差和偏差的估计。
与其他算法的不同之处在于，本发明的图像数据是在多尺度图片上进行的训练和测试，包括1280*1280这样的相对较大的图片，在更大尺寸的分辨率上，mIOU指标有明显提升。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
本发明提出了一种基于语义分割实现3D打印桥面施工质量监测系统，旨在解决当前3D打印过程中依赖人工监测所带来的问题。传统的人工监测方法耗费大量人力和经济成本，并容易出现疏漏或误判。此外，人工监测也无法监测到超过人自身视野范围的地方，无法实现对桥面结构的全程质量监测。为了解决这些问题，本技术方案利用安装在3D打印设备上的工业摄像头，通过语义分割算法自动识别3D打印混凝土桥面施工过程中的缺陷。对于裂缝、气泡缺陷，系统能够量化分析，并在裂缝或气泡像素面积与镜头检测面积比超过设定的测量参数阈值时自动报警。此外，系统还可以自动调整打印设备参数和进行材料状态检查。相较于现有技术，本技术方案具有以下优势和应用前景：减少人工成本、提升打印效率、保证打印产品质量，并为追求更大规模建筑级别的3D打印提供了可能性。这对于3D打印行业来说具有重大意义，具有广阔的应用前景。
应当理解，本发明的各部分可以用硬件、软件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或硬件来实现。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

Claims (7)

1.一种基于语义分割实现3D打印桥面施工质量监测方法，其特征在于，所述方法包括以下内容：
获取3D打印桥面施工过程中打印区域的缺陷图像，并对缺陷视频图像逐帧进行标注，将标注后的缺陷图像分为训练集和测试集；
构建语义分割缺陷测量模型，所述语义分割缺陷测量模型包括SegFormer神经网络和用于像素面积与实际面积换算的面积换算模块：
所述SegFormer神经网络包括编码器和解码器，图像输入编码器中的重叠补丁嵌入模块，将输入图像切割为一个个图块，然后依次经第一转换器模块、第二转换器模块、第三转换器模块、第四转换器模块后，获得多层特征图，将多层特征图输出连接解码器的多层感知机层，将经过多层感知机层输出的多层次特征进行拼接操作，拼接后的结果经过一个多层感知机后输出结果；
第一转换器模块、第二转换器模块、第三转换器模块、第四转换器模块结构相同，包括基于滑动窗口技术的自注意力机制模块、混合前馈网络模块和重叠补丁融合模块，获得大小相同但分辨率不同的四个特征图；
所述基于滑动窗口技术的自注意力机制模块先对图块进行归一化操作，设置移动窗口和移动步长，用移动窗口在每个图块上按照移动步长滑动，然后将特征图切成一个个窗口计算注意力权重，将注意力权重合并回原始特征图中的相应位置，再做dropout和残差连接，最后依次通过一层归一化操作、全连接层、dropout和残差连接；
利用训练集训练SegFormer神经网络获得缺陷的像素面积，再通过面积换算模块获得缺陷的实际面积，至此完成语义分割缺陷测量模型的构建，用于3D打印桥面施工质量监测。
2.根据权利要求1所述的基于语义分割实现3D打印桥面施工质量监测方法，其特征在于，所述第一转换器模块的重叠补丁融合模块的卷积核大小kernel=7，步长stride=4，填充padding=3；第二转换器模块、第三转换器模块、第四转换器模块的重叠补丁融合模块的卷积核大小kernel=3，步长stride=2，填充padding=1；所述移动窗口的像素大小为4*4，移动步长stride=2。
3.根据权利要求1所述的基于语义分割实现3D打印桥面施工质量监测方法，其特征在于，所述训练集和测试集数据的获得过程是：
步骤1.1将获取的3D打印桥面施工过程中打印区域的裂缝缺陷图像、气泡缺陷图像所需识别的区域利用Labelme工具进行像素级标注，为每个像素分配相应的语义标签，形成带有标注信息的数据集，在标注完成后生成二值图，黑色像素值为0，代表背景，白色像素值为255，代表目标缺陷；标注信息以像素级别指示图像中每个像素所属的类别；
步骤1.2利用融合随机概率重采样和自适应尺度均衡实现数据增广；
步骤1.2.1计算输入图像集D中每张图像包含的小尺度目标总数量N1、各尺度目标总数量N2，定义实例图像抽取的概率P=N1/N2；
步骤1.2.2利用Rand()函数产生随机数R，R∈（0，1），根据输入图像集D中实例图像抽取的概率P确定需要被重采样的数据OD；若该实例图像抽取的概率P大于随机数R，则进行重采样，对需要被重采样的数据OD进行两次采样；否则计入不满足重采样的数据中进行一次采样；并将两者的结果拼接得到重采样数据集RD；
步骤1.2.3对重采样数据集RD采取自适应均衡策略，统计每张被裁剪图像中目标总数NRD，获取被剪裁图像的抽取概率prc，被裁剪图像中大、中尺度目标的实际占比为1－prc，计算输入图像集中大、中尺度目标占比的期望E(D)，并根据ｎ＝NRD×{（1-prc）－E(D)}计算最大裁剪目标个数ｎ；
若目标像素面积与整个图像的比值超过5%，定义为大尺度目标，若目标像素面积与整个图像的比值介于3%-5%，定义为中尺度目标，若目标像素面积与整个图像的比值小于3%，定义为小尺度目标；
步骤1.2.4提取第j个被裁剪目标的二值化掩码，依据式SD＝/>得到裁剪后的图像，所有裁剪后的图像的集合记为裁剪后的数据集SD；其中，/>是像素级乘法；
步骤1.2.5将输入图像集D、重采样数据集RD以及裁剪后的数据集SD按照6：2：2的比例进行拼接得到增广后的数据集；
步骤1.3将增广后的数据集中的图片按照8:2的比例分配为训练集和测试集。
4.根据权利要求1所述的基于语义分割实现3D打印桥面施工质量监测方法，其特征在于，所述面积换算模块，用于根据缺陷的像素面积利用像素尺度S，获得缺陷的实际面积；具体过程是：
步骤1 在图像中放置一个标尺，所述标尺要与裂缝缺陷在同一平面上，标尺长度为L，测量得到标尺在图像中的像素长度为P，像素尺度S为：
S = L / P
步骤2 将缺陷的像素面积乘以像素尺度S的平方，得到缺陷的实际面积B，缺陷的实际面积B通过以下公式计算：
B = A * S2
其中，A表示缺陷的像素面积，单位为像素平方。
5.根据权利要求4所述的基于语义分割实现3D打印桥面施工质量监测方法，其特征在于，将测试集数据输入到语义分割缺陷测量模型，采用校准算法对面积换算模块中的像素尺度S进行修正，获得校准后的语义分割缺陷测量模型；所述校准算法为：
步骤1 使用以下的误差函数E(S)来衡量像素面积与实际面积之间的差异：
E(S) = ，
其中，表示第i个缺陷的实际面积，由标注获得；S表示像素尺度；/>表示第i个缺陷的像素面积，由语义分割缺陷测量模型中的SegFormer神经网络输出获得；N是测试集中所有样本中预测缺陷的总数量；
步骤2 最小化误差函数E(S)，对E(S)进行求导并令导数等于0，得到最优的像素尺度S*，
S* = ；
以最优的像素尺度S*更新面积换算模块，获得校准后的语义分割缺陷测量模型，用于3D打印桥面施工质量监测。
6.根据权利要求5所述的基于语义分割实现3D打印桥面施工质量监测方法，其特征在于，将待识别视频图像输入到校准后的语义分割缺陷测量模型检测缺陷目标，并得到各个缺陷的实际面积，并设置裂缝缺陷和气泡缺陷的测量参数阈值对结果进行分析；
若识别为裂缝缺陷图像，计算裂缝像素面积与镜头检测面积比；
若识别为气泡缺陷图像，计算气泡像素面积与镜头检测面积比；
将裂缝像素面积与镜头检测面积比、气泡像素面积与镜头检测面积比与设置的相应测量参数阈值比较确定是否报警，若超过测量参数阈值，则进行报警，并根据报警信息调整打印工艺；直至打印结束所有区域均不超过测量参数阈值，完成3D打印桥面施工过程的质量监测。
7.一种基于语义分割实现3D打印桥面施工质量监测系统，其特征在于，所述系统包括：
图像采集模块，用于获取3D打印桥面施工过程中打印区域的缺陷图像；
图像处理模块，用于对图像采集模块的缺陷图像进行像素级别所属类别的分割标注，并进行数据增广，获得增广后的数据集；
语义分割缺陷测量模型，用于实现对缺陷的检测和测量；
校准算法模块，使用误差函数E(S)来衡量像素面积与实际面积之间的差异，对E(S)进行求导并令导数等于0，得到最优的像素尺度S*；
E(S) = ，
其中，表示第i个缺陷的实际面积，由标注获得；S表示像素尺度；/>表示第i个缺陷的像素面积，由语义分割缺陷测量模型中的SegFormer神经网络输出获得；N是测试集中所有样本中预测缺陷的总数量；
以最优的像素尺度S*更新语义分割缺陷测量模型中的面积换算模块，获得校准后的语义分割缺陷测量模型，用于3D打印桥面施工质量监测；
预警与反馈模块，将校准后的语义分割缺陷测量模型输出的结果与测量参数阈值比较，超过测量参数阈值时，则进行报警，并及时向3D打印后台反馈缺陷信息，3D打印后台自动降低打印机喷头移动速度、增加出料速度，并提示检查材料状态。
CN202310946169.5A 2023-07-31 2023-07-31 基于语义分割实现3d打印桥面施工质量监测方法及系统 Active CN116664846B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310946169.5A CN116664846B (zh) 2023-07-31 2023-07-31 基于语义分割实现3d打印桥面施工质量监测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310946169.5A CN116664846B (zh) 2023-07-31 2023-07-31 基于语义分割实现3d打印桥面施工质量监测方法及系统

Publications (2)

Publication Number Publication Date
CN116664846A true CN116664846A (zh) 2023-08-29
CN116664846B CN116664846B (zh) 2023-10-13

Family

ID=87710114

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310946169.5A Active CN116664846B (zh) 2023-07-31 2023-07-31 基于语义分割实现3d打印桥面施工质量监测方法及系统

Country Status (1)

Country Link
CN (1) CN116664846B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843685A (zh) * 2023-08-31 2023-10-03 山东大学 一种基于图像检测的3d打印工件缺陷识别方法及系统

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102937592A (zh) * 2012-10-20 2013-02-20 山东理工大学 陶瓷天线罩气孔及材质疏松缺陷自动检测方法
CN105717163A (zh) * 2016-01-29 2016-06-29 中国商用飞机有限责任公司 红外热像检测缺陷的方法
CN107941808A (zh) * 2017-11-10 2018-04-20 中国计量大学 基于机器视觉的3d打印成型质量检测系统及方法
JP2020087211A (ja) * 2018-11-29 2020-06-04 京セラドキュメントソリューションズ株式会社 学習モデル生成装置、種類判別システム、及び学習モデル生成方法
CN111275714A (zh) * 2020-01-13 2020-06-12 武汉大学 一种基于注意力机制的3d卷积神经网络的前列腺mr图像分割方法
CN112164042A (zh) * 2020-09-22 2021-01-01 华中科技大学 三维砂型打印铺砂过程中缺陷自动识别方法及系统
CN112884768A (zh) * 2021-03-30 2021-06-01 中国科学院自动化研究所 基于神经网络的3d打印在线质量监测方法、系统、装置
US20210319265A1 (en) * 2020-11-02 2021-10-14 Zhengzhou University Method for segmentation of underground drainage pipeline defects based on full convolutional neural network
CN115311235A (zh) * 2022-08-10 2022-11-08 中国钢研科技集团有限公司 基于图像识别的微观缺陷处理方法、装置及计算机设备
WO2022236876A1 (zh) * 2021-05-14 2022-11-17 广州广电运通金融电子股份有限公司 一种玻璃纸缺陷识别方法、系统、装置及存储介质
CN115423781A (zh) * 2022-09-05 2022-12-02 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于ai识别的3d打印机缺陷检测装置
CN115482491A (zh) * 2022-09-23 2022-12-16 湖南大学 一种基于transformer的桥梁缺陷识别方法与系统
CN115512391A (zh) * 2022-09-29 2022-12-23 珠海视熙科技有限公司 数据自适应重采样的目标检测模型训练方法、装置及设备
CN115631186A (zh) * 2022-11-08 2023-01-20 哈尔滨工业大学 一种基于双分支神经网络的工业元件表面缺陷检测方法
CN115641329A (zh) * 2022-11-15 2023-01-24 武汉惠强新能源材料科技有限公司 一种锂电池隔膜缺陷检测方法及系统
CN115830004A (zh) * 2022-12-27 2023-03-21 凌云光技术股份有限公司 表面缺陷检测方法、装置、计算机设备和存储介质
CN115909332A (zh) * 2022-11-03 2023-04-04 广西师范大学 一种基于通道特征加强的农业遥感图像语义分割方法
CN116051840A (zh) * 2023-01-17 2023-05-02 大连海事大学 一种基于生成对抗学习的半监督水下图像语义分割方法
CN116188391A (zh) * 2022-12-30 2023-05-30 凌云光技术股份有限公司 断栅缺陷检测方法、装置、电子设备和存储介质
CN116402771A (zh) * 2023-03-24 2023-07-07 欧姆龙(中国)有限公司 缺陷检测方法、装置和模型训练方法、装置

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102937592A (zh) * 2012-10-20 2013-02-20 山东理工大学 陶瓷天线罩气孔及材质疏松缺陷自动检测方法
CN105717163A (zh) * 2016-01-29 2016-06-29 中国商用飞机有限责任公司 红外热像检测缺陷的方法
CN107941808A (zh) * 2017-11-10 2018-04-20 中国计量大学 基于机器视觉的3d打印成型质量检测系统及方法
JP2020087211A (ja) * 2018-11-29 2020-06-04 京セラドキュメントソリューションズ株式会社 学習モデル生成装置、種類判別システム、及び学習モデル生成方法
CN111275714A (zh) * 2020-01-13 2020-06-12 武汉大学 一种基于注意力机制的3d卷积神经网络的前列腺mr图像分割方法
CN112164042A (zh) * 2020-09-22 2021-01-01 华中科技大学 三维砂型打印铺砂过程中缺陷自动识别方法及系统
US20210319265A1 (en) * 2020-11-02 2021-10-14 Zhengzhou University Method for segmentation of underground drainage pipeline defects based on full convolutional neural network
CN112884768A (zh) * 2021-03-30 2021-06-01 中国科学院自动化研究所 基于神经网络的3d打印在线质量监测方法、系统、装置
WO2022236876A1 (zh) * 2021-05-14 2022-11-17 广州广电运通金融电子股份有限公司 一种玻璃纸缺陷识别方法、系统、装置及存储介质
CN115311235A (zh) * 2022-08-10 2022-11-08 中国钢研科技集团有限公司 基于图像识别的微观缺陷处理方法、装置及计算机设备
CN115423781A (zh) * 2022-09-05 2022-12-02 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于ai识别的3d打印机缺陷检测装置
CN115482491A (zh) * 2022-09-23 2022-12-16 湖南大学 一种基于transformer的桥梁缺陷识别方法与系统
CN115512391A (zh) * 2022-09-29 2022-12-23 珠海视熙科技有限公司 数据自适应重采样的目标检测模型训练方法、装置及设备
CN115909332A (zh) * 2022-11-03 2023-04-04 广西师范大学 一种基于通道特征加强的农业遥感图像语义分割方法
CN115631186A (zh) * 2022-11-08 2023-01-20 哈尔滨工业大学 一种基于双分支神经网络的工业元件表面缺陷检测方法
CN115641329A (zh) * 2022-11-15 2023-01-24 武汉惠强新能源材料科技有限公司 一种锂电池隔膜缺陷检测方法及系统
CN115830004A (zh) * 2022-12-27 2023-03-21 凌云光技术股份有限公司 表面缺陷检测方法、装置、计算机设备和存储介质
CN116188391A (zh) * 2022-12-30 2023-05-30 凌云光技术股份有限公司 断栅缺陷检测方法、装置、电子设备和存储介质
CN116051840A (zh) * 2023-01-17 2023-05-02 大连海事大学 一种基于生成对抗学习的半监督水下图像语义分割方法
CN116402771A (zh) * 2023-03-24 2023-07-07 欧姆龙(中国)有限公司 缺陷检测方法、装置和模型训练方法、装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JUNPU WANG等: "SDDet: An Enhanced Encoder-Decoder Network With Hierarchical Supervision for Surface Defect Detection", 《IEEE SENSORS JOURNAL》, vol. 23, no. 3, pages 2651 - 2662 *
YINGWEI SUN等: "Automatic pixel-level detection of tire defects base on a lightweight Transformer architecture", 《MEASUREMENT SCIENCE AND TECHNOLOGY》, vol. 34, no. 8, pages 1 - 14, XP020454503, DOI: 10.1088/1361-6501/acd5f2 *
李飞: "基于点云数据和深度学习的3D打印表面缺陷检测研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, vol. 2023, no. 1, pages 138 - 1202 *
王英荷: "基于深度学习的金属3D打印样品中孔隙缺陷的分割", 《中国优秀硕士学位论文全文数据库 工程科技I辑》, vol. 2022, no. 2, pages 022 - 19 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116843685A (zh) * 2023-08-31 2023-10-03 山东大学 一种基于图像检测的3d打印工件缺陷识别方法及系统
CN116843685B (zh) * 2023-08-31 2023-12-12 山东大学 一种基于图像检测的3d打印工件缺陷识别方法及系统

Also Published As

Publication number Publication date
CN116664846B (zh) 2023-10-13

Similar Documents

Publication Publication Date Title
CN108257114A (zh) 一种基于深度学习的输电设备缺陷自动识别方法
CN116664846B (zh) 基于语义分割实现3d打印桥面施工质量监测方法及系统
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
CN108647643A (zh) 一种基于深度学习的填料塔液泛状态在线辨识方法
CN111881970A (zh) 一种基于深度学习的外破图像智能识别方法
CN116863274A (zh) 一种基于半监督学习的钢板表面缺陷检测方法及系统
CN110909657A (zh) 一种隧道表观病害图像识别的方法
CN116624065B (zh) 一种智能门窗自动折叠调控方法
CN110660049A (zh) 一种基于深度学习的轮胎缺陷检测方法
CN112884717A (zh) 实时工件表面检测与刀具寿命预测的系统及方法
CN115171045A (zh) 一种基于yolo的电网作业现场违章识别方法及终端
CN116824335A (zh) 一种基于YOLOv5改进算法的火灾预警方法及系统
CN116543303A (zh) 一种基于深度学习的桥梁板式橡胶支座病害识别检测方法
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
CN116129135A (zh) 基于小目标视觉识别和虚拟实体映射的塔吊安全预警方法
KR102189951B1 (ko) 이미지 분석을 이용한 선박 도장상태 검사 시스템 및 방법
CN116777898B (zh) 基于AFFormer实现3D打印挡墙施工过程裂缝测量的方法
CN114119505A (zh) 一种检测芯片粘连区域缺陷的方法及装置
CN112561885B (zh) 基于YOLOv4-tiny的插板阀开度检测方法
CN117372854A (zh) 一种大坝深水结构隐患病害实时检测方法
CN113516652A (zh) 电池表面缺陷和粘合剂检测方法、装置、介质和电子设备
CN112016542A (zh) 城市积涝智能检测方法及系统
CN117011280A (zh) 基于点云分割的3d打印混凝土墙质量监测方法及系统
CN115311447A (zh) 一种基于深度卷积神经网络的指针式仪表示数识别方法
CN111709991B (zh) 一种铁路工机具的检测方法、系统、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant