CN116363586A - 基于改进yolov5s的桥梁施工进度智能识别方法 - Google Patents
基于改进yolov5s的桥梁施工进度智能识别方法 Download PDFInfo
- Publication number
- CN116363586A CN116363586A CN202310294948.1A CN202310294948A CN116363586A CN 116363586 A CN116363586 A CN 116363586A CN 202310294948 A CN202310294948 A CN 202310294948A CN 116363586 A CN116363586 A CN 116363586A
- Authority
- CN
- China
- Prior art keywords
- construction
- bridge
- yolov5s
- progress
- improved
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title claims abstract description 333
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012544 monitoring process Methods 0.000 claims abstract description 27
- 238000013461 design Methods 0.000 claims description 31
- 238000001514 detection method Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 5
- 230000008520 organization Effects 0.000 claims description 4
- 210000002569 neuron Anatomy 0.000 description 15
- 238000007726 management method Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000005764 inhibitory process Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000002856 peripheral neuron Anatomy 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/08—Construction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Business, Economics & Management (AREA)
- Data Mining & Analysis (AREA)
- Human Resources & Organizations (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Biodiversity & Conservation Biology (AREA)
- Economics (AREA)
- Molecular Biology (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于改进YOLOV5S的桥梁施工进度智能识别方法，用于桥梁施工进度智能识别，解决现有技术缺乏对施工构件的识别和施工进度的智能计算能力，难以快速精准的获取桥梁施工进度。本发明基于构建的桥梁构件数据集、获取的桥梁施工现场的视频监控数据和改进YOLOV5S模型得到当前施工构件信息；基于步骤1得到的当前施工构件信息和空间语义约束规则进行桥梁施工进度计算，得到当前施工进度。本发明用于桥梁施工进度智能识别。
Description
技术领域
一种基于改进YOLOV5S的桥梁施工进度智能识别方法，用于桥梁施工进度智能识别，属于桥梁工程管理技术领域。
背景技术
我国交通基础设施建设发展迅速，桥梁建设迈入新的发展时期，建设数量和规模不断扩大。施工进度监控与管理是桥梁工程建设的重要组成部分，快速准确的施工进度监控管理方法能够帮助项目负责人及时了解施工进度，做出科学合理的施工决策。然而桥梁施工是一个复杂多变的过程，桥梁工程项目具有施工工期长、施工技术复杂、参与主体众多等特点，且桥梁施工过程监测产生的实时信息具有动态性和大量性的特征，对桥梁施工进度管理提出了更高的要求。传统桥梁施工进度管理侧重以二维展示为主，如横道图、S型曲线比较法、香蕉型曲线比较法等，较少涉及施工进度信息的可视化表达，进度管理智能化程度不高。现有的智能化工程项目管理主要侧重以图像和视频为信息载体，长时间、大范围记录现场施工环境，但缺乏对施工构件的识别和施工进度的智能计算能力，难以快速的获取桥梁施工进度。因此，如何高效精准地进行桥梁施工构件的识别与施工进度计算是一个重要问题。
因此，现有技术对视频图像桥梁施工进度的识别存在如下技术问题：
1.缺乏对施工构件的识别和施工进度的智能计算能力(传统的施工进度常以二维报表的形式记录，费时费力)，难以快速精准的获取桥梁施工进度；
2.无法满足对不同时段的施工进度进行快速准确检测的需求，不利于管理者的决策。
发明内容
本发明的目的在于提供一种基于改进YOLOV5S的桥梁施工进度智能识别方法，解决现有技术缺乏对施工构件的识别和施工进度的智能计算能力，难以快速精准的获取桥梁施工进度。
为了实现上述目的，本发明采用的技术方案为：
一种基于改进YOLOV5S的桥梁施工进度智能识别方法，包括如下步骤：
步骤1.基于构建的桥梁构件数据集、获取的桥梁施工现场的视频监控数据和改进YOLOV5S模型得到当前施工构件信息；
步骤2.基于步骤1得到的当前施工构件信息和空间语义约束规则进行桥梁施工进度计算，得到当前施工进度。
进一步，所述步骤1中改进YOLOV5S模型是在YOLOV5S模型的基础上，在YOLOV5S模型的骨干网络中的每个C3模块后面和最末端各添加一个注意力模块SimAM，使卷积模块Conv、C3模块和注意力模块SimAM整合为CCS模块。
进一步，所述步骤1的具体步骤为：
步骤1.1.确定桥梁施工的主体结构，并基于获取的桥梁图像构建用于目标检测的桥梁构件数据集，其中，桥梁构件数据集中包括的主体结构有桥墩、桥台、承台、桥面铺装和附属设施；
步骤1.2.基于桥梁构件数据集训练改进YOLOV5S模型，得到训练好的改进YOLOV5S模型；
步骤1.3.获取桥梁施工现场的视频监控数据，提取视频监控数据中关键帧图像和时间信息，并将关键帧图像命名为提取的时间，使关键帧图像与时间信息一一对应；
步骤1.4.将命名后的关键帧图像输入训练好的改进YOLOV5S模型识别该时段正在施工或者已施工完成的构件，得到当前施工构件信息，包括各主体结构的类别、位置信息和构件数量。
进一步，所述步骤1.1的具体步骤为：
步骤1.11.对采集到的桥梁图像做Mosaic数据增强处理，即将采集到桥梁图像中、随机的4张桥梁图像，分别对4张桥梁图像随机缩放、随机裁减和随机排布，再对处理后的4张桥梁图像拼接为一张新的桥梁图像；
步骤1.12.确定桥梁施工的主体结构，采用开源的图像标注工具LabelImg对新的桥梁图像中的各主体结构进行标记，得到标记类别，并注释以PASCAL VOC格式存入.xml文件，.xml文件记录标记后新的桥梁图像的大小、通道数、标签名称和选框位置；
步骤1.13.利用Python将.xml文件转换为txt格式，即得到用于目标检测的桥梁构件数据集。
进一步，所述步骤2的具体步骤为：
步骤2.1.基于桥梁工程施工方案和BIM设计模型进行桥梁各构件对象间的关联关系分析；
步骤2.2.基于关联关系分析结果，运用知识图谱技术构建知识图谱建立空间语义约束规则；
步骤2.3.基于当前施工构件信息和空间语义约束规则进行桥梁施工进度计算，得到当前施工进度。
进一步，所述步骤2.1的具体步骤为：
步骤2.11.明确本体概念对象，并依据桥梁工程施工方案进行自上而下的划分，确定各本体概念对象的子类对象，其中，本体概念对象包括桥梁结构、施工工序和进度计划，桥梁结构的子类对象包括上部结构、下部结构、支座和附属设施，施工工序的子类对象包括工程总体概况、预计竣工时间、主体施工顺序和施工阶段，进度计划的子类对象包括施工作业指标、主要工期安排和施工计划日历安排，桥梁工程施工方案包括施工组织方案和施工进度安排表；
步骤2.12.手动抽取各本体概念对象之间的实体、关系和属性后，基于BIM设计模型描述施工的各主体结构的属性特征并厘清桥梁施工场景中各本体概念对象之间的语义关系，即描述桥梁施工过程中各主体结构之间的施工顺序关系和空间关系。
进一步，所述步骤2.2的具体步骤为：
步骤2.21.基于关联关系分析结果构建知识图谱；
步骤2.22.在知识图谱的基础上，将桥梁工程遵循从下至上的顺序进行施工约束进行施工进度粗判定，即基于该约束将施工场景依次划分为下部结构施工、支座施工、上部结构施工，从施工工序的角度对当前施工构件信息的施工进度进行粗判定；
步骤2.23.在描述了语义关系的BIM设计模型中初始已知的设计尺寸、实测尺寸作为约束条件对正在施工的主体结构进行施工进度精判定，即用于根据施工的各主体结构设计尺寸和实测尺寸信息实现施工进度的精判定。
进一步，所述步骤2.3的具体步骤为：
步骤2.31.在粗判定的约束条件下，基于当前施工构件信息中各主体结构的施工工序，结合桥梁工程施工方案判断各主体结构的施工进度；
步骤2.32.在精判定的约束条件下，基于粗判定后得到的正在施工的主体结构，根据正在施工的各主体结构的设计尺寸与通过监控摄像头监测的实测尺寸的摄影比例转换系数计算得到真实的正在施工的各主体结构二维尺寸。
进一步，所述步骤2.31的具体步骤为：
当检测出多个同类型的主体结构，将检测得到的该类主体结构的数量与桥梁工程施工方案中同类构件数量进行对比，若数量相等，则该类构件完成施工，若数量小于桥梁工程施工方案中同类构件的数量，进度为
若数量大于桥梁工程施工方案中同类构件的数量，则检测有误，重新进行检测；
所述步骤2.32的具体步骤为：
根据正在施工的各主体结构的设计尺寸与通过监控摄像头监测的实测尺寸的摄影比例转换系数计算得到真实的正在施工的各主体结构二维尺寸：
根据摄影比例转换系数计算真实尺寸公式如下：
真实尺寸(米)＝桥梁图像像素尺寸÷摄影比例转换系数×0.001。
进一步，还包括步骤3：基于当前施工构件信息的施工进度与对应计划施工信息进行比较，判断各主体构件的当前施工状态是正常还是滞留，同时在BIM设计模型中实时更新各主体结构。
与现有技术相比，本发明的优点在于：
一、本发明引入Transformer类注意力机制模型融入YOLOV5S的骨干网络中，进行特征融合，在桥梁主体结构提取中，能很好的提取全局特征信息，从而能便于提供后续桥梁施工进度的精确判断；
二、本发明通过构建桥梁施工工序和进度计划的知识图谱，对桥梁工程施工数据进行分析于挖掘，能够清晰地厘清桥梁各构件(即各主体结构)对象之间的关联关系，将知识图谱引入桥梁工程施工进度计算领域，可以为施工进度计算构建空间语义约束规则，提高施工进度计算效率。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应该看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明的总体框架示意图；
图2为本发明中改进YOLOV5S模型的结构图，其中，图中Focus为yolov5s网络中特殊的卷积层，C3是残差结构，用于将输入的特征图分成两个部分，一部分直接连接到输出，另一部分经过多个瓶颈层和卷积层处理后再与输出相加，以提高特征融合能力，SPPF是空间金字塔池化层模块，用于使用不同尺寸的最大池化操作来获取不同尺度的特征图，然后拼接在一起，从而增加感受野和特征多样性；
图3为本发明中桥梁施工中主体结构数据集，即桥梁构件数据集的构建示意图；
图4为本发明中桥梁施工场景概念对象及语义描述的示意图；
图5为本发明中空间语义约束规则的示意图；
图6为本发明中施工进度计算流程。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明基于桥梁施工现场视频监控实时图像数据，开展施工构件的精准识别与施工进度智能计算的研究，提出一种基于改进YOLOV5S的桥梁施工进度智能识别方法，该方法能够进一步实现对桥梁工程施工进度的智能监控，对于实现施工进度精细化智能管理具有重要意义。
总体研究思路如图1所示，主要包括改进YOLOV5S模型的施工构件精准检测和空间语义约束的施工进度智能识别两个方面。第一方面，基于构建的桥梁构件数据集、获取的桥梁施工现场的视频监控数据和改进YOLOV5S模型得到当前施工构件信息：首先对YOLOV5S模型进行改进，在它的骨干网络中融入注意力机制模块，实现桥梁特征的融合，使全局特征得到最大程度的保留；其次确定桥梁施工的主体结构，构建用于目标检测的桥梁构件数据集；然后接入桥梁施工现场的视频监控数据，对采集的数据(桥梁图像)进行图像处理；基于采集的施工图像数据(桥梁图像)通过改进YOLOV5S模型进行桥梁施工的主体结构检测，得到当前施工构件(即已完成或/和正在施工的主体结构)的类别、数量、位置等信息。第二方面，基于得到的当前施工构件信息和空间语义约束规则进行桥梁施工进度计算，得到当前施工进度：首先基于桥梁工程施工方案和BIM设计模型进行桥梁各构件(构件本案指主体结构)对象间的关联关系分析；然后运用知识图谱技术构建知识图谱，建立空间语义约束规则，为桥梁施工进度智能计算提供知识基础；结合桥梁施工构件的识别结果和空间语义约束规则进行桥梁施工进度的对比计算与对比。
改进YOLO V5S的施工构件精准检测，即基于构建的桥梁构件数据集、获取的桥梁施工现场的视频监控数据和改进YOLOV5S模型得到当前施工构件信息，具体如下：
改进YOLO V5S的骨干网络：
YOLOV5S模型在目标检测领域中取得了很好的效果，但桥梁施工现场对象种类繁多且环境复杂，极大地增加了检测难度，且施工构件特征信息不清晰，在目标尺度差异性大的情况下亦会导致YOLOV5S模型对视频中施工构件特征提取的准确性不高。YOLOV5S模型的特征提取骨干网络采用单一的卷积核，感受野有限，对于施工场景全局特征信息的把控能力不足。针对上述问题，本发明提出将Transformer类型中的无参数注意力机制(即指注意力模块SimAM)与YOLOV5S模型的骨干网络进行融合，增加网络模型的全局视野，实现施工构件的特征融合，把握局部特征和全局特征，改进后的YOLOV5S模型的网络结构如图2所示。本发明利用添加小模块网络的思想，在YOLOV5S模型的骨干网络部分的每个C3模块后面和最末端添加注意力模块SimAM，将卷积模块Conv、C3模块和注意力模块SimAM整合为CCS模块。将注意力模块SimAM添加到每个C3模块后面使注意力机制看到局部的特征，添加在最末端可以使注意力机制看到整个骨干网络部分的特征图，在无额外参数的情况下，提取施工构件在不同通道的相同位置上的更多特征信息，将具有全局视野。YOLOV5S模型中的注意力模块SimAM能在每层中推断特征图的三维注意力权重，不会引入额外的参数。
在神经科学中，活跃的神经元还会抑制周围的神经元活动，这种现象被称为空域抑制，因此在视觉任务中表现出明显空间抑制效应的神经元应该被赋予更高的优先级。注意力模块SimAM通过定义的能量函数来测量一个目标神经元和其他神经元之间的线性可分离性，找出优先级最高的神经元，同时为特征图中的每个神经元分配一个唯一的权重，估计特征图中单个神经元的重要性。最小能量计算函数如下：
式中，t是指输入特征X的目标神经元，
和/>
是某通道上所有神经元的平均值和方差，其中，M＝输入特征X的高×宽，是某个通道上的神经元数量；xi为输入特征X的单个通道中除目标神经元t以外的其他神经元。超参数λ为一个平衡因子，是通过一个网络模型搜索得到的，λ具体的值取决于不同的网络和任务。例如，在ImageNet分类任务上，对于ResNet-50网络，λ参数值为0.25；对于ResNeXt-50网络，λ参数值为0.5。由公式(1)这个能力函数可知，能量/>
越低，神经t与周围其他神经元的区别越大，该神经元越重要。在此基础上，运用神经元反应的增益效应采用缩放运算对特征图的特征进行细化，细化函数如下：
其中，E在特征和空间维度上对所有的
进行分组，是每个通道上的能量函数，加入sigmoid函数(是神经网络的激活函数)是为了限制E中太大的值。输出结果/>
为增强后的特征，X为输入特征，⊙为点积运算。
桥梁施工现场的视频监控数据与前施工构件检测：
首先，在进行目标检测之前需要确定对桥梁的哪些结构进行识别，并构建包含这些桥梁结构的数据集，为之后的目标检测做数据基础。本发明选择以桥墩、承台、桥面梁段等结构作为桥梁施工进度监测的主体结构。然后根据确定的桥梁施工的主体结构，收集桥梁图像构建数据集，数据集来源包括施工现场以及网络图源，其中，施工现场数据集的收集是利用施工现场的监控设备，基于监控设备的URL地址，运用OpenCV接入监控视频数据，读取关键帧并保存关键帧图像；网络图源通过人工在图源公开的网络平台，搜寻包含桥墩、承台、梁段等结构宜用于施工进度识别的图片。
其次，特定场景下的施工数据大部分是不够完善的，因此本发明对采集到的图像数据做Mosaic数据增强处理，这种数据增强方式简单来说就是把随机的4张图片，分别通过随机缩放、随机裁减、随机排布等方式处理后再拼接为一张新的桥梁图像，大大丰富了数据集且减少GPU显存。对桥梁图像进行数据增强以后，需要对每张新的桥梁图像中的各类施工构件进行标记，创建标记类别，本案采用开源的图像标注工具LabelImg对数据集中的增强后的桥梁图像进行标注，注释以PASCAL VOC格式存入.xml文件。.xml文件记录了标记桥梁图像的大小、通道数、标签名称和选框位置的参数等信息。但改进YOLOV5模型训练所需要的文件格式是yolo格式(txt格式)，本案运用Python实现数据集标签文件的格式转换，在格式转换的同时依据K折交差验证法进行训练集、验证集、测试集的划分，提高数据的利用率，得到更准确的评估结果。数据集构建流程如图3所示。
制作完数据集之后，使用该数据集对改进YOLOV5S模型进行训练，确定模型中函数的最优参数，得到模型的权重。最后，接入施工现场的监控视频数据，提取关键帧图像和时间信息，并将关键帧图像文件命名为提取的时间，使关键帧图像与时间信息一一对应，为后续的施工进度对比提供基础。将提取的关键帧图像与时间信息一一对应后的关键帧图像输入到改进YOLOV5S模型识别该时段正在施工或者已施工完成的构件，得到施工的主体结构的类别、位置信息、构件数量等信息。
空间语义约束的施工进度智能计算，即基于步骤1得到的当前施工构件信息和空间语义约束规则进行桥梁施工进度计算，得到当前施工进度，具体如下：
桥梁工程施工方案的关联关系抽取：
桥梁施工是一个复杂的过程，需要考虑一系列的施工工序、进度计划安排和模型设计等资料，厘清这些施工方案中包含的多种要素对象及其关系，使桥梁各对象之间的关系以一种更直观、清晰的方式表达出来，为空间语义约束规则的建立提供基础。因此本发明对桥梁施工场景包含的要素对象分类为桥梁结构、施工工序、进度计划三类本体概念对象。其中，桥梁结构包括上部结构、下部结构、支座、附属设施等子类对象；施工工序包括工程总体概况、预计竣工时间、主体施工顺序、施工阶段等子类对象；进度计划包括施工作业指标、主要工期安排、施工计划日历安排等子类对象，桥梁施工场景的本体概念对象及语义约束如图4所示。通过提炼本体概念对象搭建桥梁施工场景的概念层次知识体系，为本体概念对象进行子类和属性的派生奠定了基础。
在明确本体概念对象之后，依据施工组织方案、施工进度安排表等桥梁工程施工方案进行自上而下的划分，确定各本体概念对象的子类对象，人工手动抽取各本体概念对象之间的实体、关系、属性等信息，描述施工构件的属性特征并厘清桥梁施工场景中各概念对象之间的语义关系，即本发明面向桥梁施工场景中错综复杂的构件关系，剖析各工程方案之间的关联关系，从桥梁工程施工方案约束、设计参数约束、初始三维场景约束等方面来描述桥梁施工过程中各施工构件之间的施工顺序关系和空间关系。考虑桥梁工程项目管理需求等因素，本发明对桥梁的工程结构进行分解，主要分为墩台、桩基、承台、梁段等构件。其中，墩台的属性信息包含中心里程、类型、编号、几何参数(宽、墩身高等)等；桩基的属性信息包含长度、个数、排布方式、编号等；承台的属性信息包含个数、编号、长度、宽度、高度等；梁段的属性信息包含类型、起始里程、终止里程、编号等。
基于知识图谱的空间语义约束构建：
描述了桥梁施工过程中各施工构件之间的施工顺序关系和空间关系后，实现对复杂场景桥梁施工进度计算的有效引导与约束，为施工进度智能化管理奠定基础。
施工方案(桥梁工程施工方案)约束依托施工工序方案或者施工组织方案、施工设计方案，在给定施工先后顺序、施工构件类别和数量的情况下，根据当前施工构件来实现施工进度的粗判定。桥梁工程遵循从下至上的顺序进行施工，故该约束将施工场景依次划分为下部结构施工、支座施工、上部结构施工，从施工工序的角度对施工进度的判定进行约束。
初始三维场景约束将初始已知的像素尺寸(设计尺寸)、实测尺寸(即指真实尺寸)作为约束条件，结合目标检测模型(改进YOLOV5S模型)输出的施工构件像素尺寸信息，通过监控摄像头的摄影比例转换系数转换得到的实测尺寸可以计算得到真实的施工构件二维尺寸，实现施工进度的精判定。另一方面，该约束提供初始施工场景的三维模型，在得到施工构件已施工真实尺寸之后，通过三维建模软件可以更新三维场景中已施工部分的模型，实现更直观、清晰地展示当前施工进度。
设计参数约束依托BIM设计模型或桥梁工程设计方案，提供桥梁施工结构、各构件尺寸和空间位置关系等方面的约束条件，当得到施工构件的真实二维尺寸时，可以依据构件设计尺寸得到三维尺寸，从几何参数角度对施工构件的三维几何参数进行补全，为施工场景中的三维模型的补全提供数据基础，同时也为施工构件的进度对比提供参考依据。
联合知识驱动与目标检测结果的施工进度智能计算：
该部分主要分为施工进度的计算与进度对比两个部分，在施工进度的计算方面，将改进YOLOV5S模型检测出的施工构件(主体结构)类别、数量、位置等结果信息作为输入数据，结合空间语义约束规则从种类—数量—尺寸的层次顺序计算施工进度，具体进度计算方法如图6所示。
目标检测网络检测出的施工构件类别名称，结合施工工序方案可以判断出在该施工构件之前施工的结构已经完成施工，例如检测出桥墩结构，则桩基和承台结构已经完成施工。当检测出多个同类型的主体结构，将检测得到的该类主体结构的数量与桥梁工程施工方案中同类构件数量进行对比，若数量相等，则该类构件完成施工，若数量小于桥梁工程施工方案中同类构件的数量，进度为
若数量大于桥梁工程施工方案中同类构件的数量，则检测有误，重新进行检测。当检测出正在施工的构件时，根据该构件的识别位置参数得到他的像素尺寸信息，结合初始场景约束中各已知初始参数计算得到施工真实二维尺寸，将其与施工构件的设计尺寸对比，即根据正在施工的各主体结构的设计尺寸与通过监控摄像头监测的实测尺寸的摄影比例转换系数计算得到真实的正在施工的各主体结构二维尺寸，其施工进度计算为/>
真实尺寸(米)＝桥梁图像像素尺寸÷摄影比例转换系数×0.001。完成施工进度计算之后，对施工数据进行存储，设置存储形式为{type；structureIdstate；progress；time；2DSize；}，type为施工构件类别，structureId为施工的构件编号，state为施工状态(true：完成或者false：未完成)，progress为施工进度百分比，time为数据采集时间，2DSize为施工构件二维尺寸。
本发明提出使用最常见的图数据库Neo4j构建包含桥梁施工场景的实体、关系、属性的知识图谱，将构建的图库导出为.json格式，通过查询获取当前施工构件的设计信息，进行统一数据格式处理。数据格式为：
{id；type；startTime；endTime；designSize；designPro}
其中，id为构件编号，type为构件类别，startTime为计划施工开始时间，endTime为计划施工结束时间，designSize为设计尺寸，designPro为计划进度。将当前施工构件信息的施工进度和数据采集时间与计划的计划施工开始时间、计划施工结束时间和计划进度进行比较，判断当前施工状态是正常还是滞留，还原施工构件的三维尺寸。在三维建模软件中增加该时段建设的桥梁构件，进行三维模型的补全，更新三维场景，实现简易的施工进度可视化表达，从三维层面进行施工进度的管理，能够让工程项目负责人更清晰、直观地了解工程进展。
YOLOV5网络模型是深度学习中One-Stage结构的目标检测算法之一，其主要网络结构包括输入端、骨干网络、Neck网络和Head输出层，YOLOV5模型包含YOLOV5-S/M/L/X 4种模型，其中，YOLOV5S是最轻量化的网络模型，非常适用于实际的工程项目应用。将YOLOV5S网络运用于桥梁施工现场的监控视频，该模型算法减少了候选框区域的生成，能够识别检测出施工中的桥梁主体构件类别概率、坐标位置，检测速度快，从而减少捕获施工现场实际进度所消耗的时间。考虑到桥梁施工现场环境的复杂，YOLOV5S网络模型采用单一的卷积核，感受野有限，不能把握施工现场的全局特征信息，本发明引入Transformer类注意力机制模型融入YOLOV5S的骨干网络中，进行特征融合，提高模型特征提取的能力。知识图谱是当前人工智能技术中认知智能领域中的主要技术，它有强大的语义处理能力，为智能化信息应用提供了基础。通过构建桥梁施工工序和进度计划的知识图谱，对桥梁工程施工数据进行分析于挖掘，能够清晰地厘清桥梁各构件对象之间的关联关系。将知识图谱引入桥梁工程施工进度计算领域，可以为施工进度计算构建空间语义约束规则，提高施工进度计算效率。
Claims (10)
1.一种基于改进YOLOV5S的桥梁施工进度智能识别方法，其特征在于，包括如下步骤：
步骤1.基于构建的桥梁构件数据集、获取的桥梁施工现场的视频监控数据和改进YOLOV5S模型得到当前施工构件信息；
步骤2.基于步骤1得到的当前施工构件信息和空间语义约束规则进行桥梁施工进度计算，得到当前施工进度。
2.根据权利要求1所述的一种基于改进YOLOV5S的桥梁施工进度智能识别方法，其特征在于，所述步骤1中改进YOLOV5S模型是在YOLOV5S模型的基础上，在YOLOV5S模型的骨干网络中的每个C3模块后面和最末端各添加一个注意力模块SimAM，使卷积模块Conv、C3模块和注意力模块SimAM整合为CCS模块。
3.根据权利要求2所述的一种基于改进YOLOV5S的桥梁施工进度智能识别方法，其特征在于，所述步骤1的具体步骤为：
步骤1.1.确定桥梁施工的主体结构，并基于获取的桥梁图像构建用于目标检测的桥梁构件数据集，其中，桥梁构件数据集中包括的主体结构有桥墩、桥台、承台、桥面铺装和附属设施；
步骤1.2.基于桥梁构件数据集训练改进YOLOV5S模型，得到训练好的改进YOLOV5S模型；
步骤1.3.获取桥梁施工现场的视频监控数据，提取视频监控数据中关键帧图像和时间信息，并将关键帧图像命名为提取的时间，使关键帧图像与时间信息一一对应；
步骤1.4.将命名后的关键帧图像输入训练好的改进YOLOV5S模型识别该时段正在施工或者已施工完成的构件，得到当前施工构件信息，包括各主体结构的类别、位置信息和构件数量。
4.根据权利要求3所述的一种基于改进YOLOV5S的桥梁施工进度智能识别方法，其特征在于，所述步骤1.1的具体步骤为：
步骤1.11.对采集到的桥梁图像做Mosaic数据增强处理，即将采集到桥梁图像中、随机的4张桥梁图像，分别对4张桥梁图像随机缩放、随机裁减和随机排布，再对处理后的4张桥梁图像拼接为一张新的桥梁图像；
步骤1.12.确定桥梁施工的主体结构，采用开源的图像标注工具LabelImg对新的桥梁图像中的各主体结构进行标记，得到标记类别，并注释以PASCALVOC格式存入.xml文件，.xml文件记录标记后新的桥梁图像的大小、通道数、标签名称和选框位置；
步骤1.13.利用Python将.xml文件转换为txt格式，即得到用于目标检测的桥梁构件数据集。
5.根据权利要求4所述的一种基于改进YOLOV5S的桥梁施工进度智能识别方法，其特征在于，所述步骤2的具体步骤为：
步骤2.1.基于桥梁工程施工方案和BIM设计模型进行桥梁各构件对象间的关联关系分析；
步骤2.2.基于关联关系分析结果，运用知识图谱技术构建知识图谱建立空间语义约束规则；
步骤2.3.基于当前施工构件信息和空间语义约束规则进行桥梁施工进度计算，得到当前施工进度。
6.根据权利要求5所述的一种基于改进YOLOV5S的桥梁施工进度智能识别方法，其特征在于，所述步骤2.1的具体步骤为：
步骤2.11.明确本体概念对象，并依据桥梁工程施工方案进行自上而下的划分，确定各本体概念对象的子类对象，其中，本体概念对象包括桥梁结构、施工工序和进度计划，桥梁结构的子类对象包括上部结构、下部结构、支座和附属设施，施工工序的子类对象包括工程总体概况、预计竣工时间、主体施工顺序和施工阶段，进度计划的子类对象包括施工作业指标、主要工期安排和施工计划日历安排，桥梁工程施工方案包括施工组织方案和施工进度安排表；
步骤2.12.手动抽取各本体概念对象之间的实体、关系和属性后，基于BIM设计模型描述施工的各主体结构的属性特征并厘清桥梁施工场景中各本体概念对象之间的语义关系，即描述桥梁施工过程中各主体结构之间的施工顺序关系和空间关系。
7.根据权利要求6所述的一种基于改进YOLOV5S的桥梁施工进度智能识别方法，其特征在于，所述步骤2.2的具体步骤为：
步骤2.21.基于关联关系分析结果构建知识图谱；
步骤2.22.在知识图谱的基础上，将桥梁工程遵循从下至上的顺序进行施工约束进行施工进度粗判定，即基于该约束将施工场景依次划分为下部结构施工、支座施工、上部结构施工，从施工工序的角度对当前施工构件信息的施工进度进行粗判定；
步骤2.23.在描述了语义关系的BIM设计模型中初始已知的设计尺寸、实测尺寸作为约束条件对正在施工的主体结构进行施工进度精判定，即用于根据施工的各主体结构设计尺寸和实测尺寸信息实现施工进度的精判定。
8.根据权利要求7所述的一种基于改进YOLOV5S的桥梁施工进度智能识别方法，其特征在于，所述步骤2.3的具体步骤为：
步骤2.31.在粗判定的约束条件下，基于当前施工构件信息中各主体结构的施工工序，结合桥梁工程施工方案判断各主体结构的施工进度；
步骤2.32.在精判定的约束条件下，基于粗判定后得到的正在施工的主体结构，根据正在施工的各主体结构的设计尺寸与通过监控摄像头监测的实测尺寸的摄影比例转换系数计算得到真实的正在施工的各主体结构二维尺寸。
9.根据权利要求8所述的一种基于改进YOLOV5S的桥梁施工进度智能识别方法，其特征在于，所述步骤2.31的具体步骤为：
当检测出多个同类型的主体结构，将检测得到的该类主体结构的数量与桥梁工程施工方案中同类构件数量进行对比，若数量相等，则该类构件完成施工，若数量小于桥梁工程施工方案中同类构件的数量，进度为
若数量大于桥梁工程施工方案中同类构件的数量，则检测有误，重新进行检测；
所述步骤2.32的具体步骤为：
根据正在施工的各主体结构的设计尺寸与通过监控摄像头监测的实测尺寸的摄影比例转换系数计算得到真实的正在施工的各主体结构二维尺寸：
根据摄影比例转换系数计算真实尺寸公式如下：
真实尺寸米＝桥梁图像像素尺寸÷摄影比例转换系数×0.001。
10.根据权利要求9所述的一种基于改进YOLOV5S的桥梁施工进度智能识别方法，其特征在于，还包括步骤3：基于当前施工构件信息的施工进度与对应计划施工信息进行比较，判断各主体构件的当前施工状态是正常还是滞留，同时在BIM设计模型中实时更新各主体结构。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310294948.1A CN116363586A (zh) | 2023-03-24 | 2023-03-24 | 基于改进yolov5s的桥梁施工进度智能识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310294948.1A CN116363586A (zh) | 2023-03-24 | 2023-03-24 | 基于改进yolov5s的桥梁施工进度智能识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116363586A true CN116363586A (zh) | 2023-06-30 |
Family
ID=86906961
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310294948.1A Pending CN116363586A (zh) | 2023-03-24 | 2023-03-24 | 基于改进yolov5s的桥梁施工进度智能识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116363586A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116777184A (zh) * | 2023-08-18 | 2023-09-19 | 北京六建集团有限责任公司 | 一种装配式建筑施工进度自动监测方法 |
| CN117115640A (zh) * | 2023-07-04 | 2023-11-24 | 北京市农林科学院 | 一种基于改进YOLOv8的病虫害目标检测方法、装置及设备 |
| CN117252405A (zh) * | 2023-11-20 | 2023-12-19 | 贵州省公路建设养护集团有限公司 | 基于物联网实现桥梁施工下的设备控制方法及装置 |
| CN117671396A (zh) * | 2024-02-02 | 2024-03-08 | 新疆盛诚工程建设有限责任公司 | 施工进度的智能监控预警系统及方法 |
-
2023
- 2023-03-24 CN CN202310294948.1A patent/CN116363586A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117115640A (zh) * | 2023-07-04 | 2023-11-24 | 北京市农林科学院 | 一种基于改进YOLOv8的病虫害目标检测方法、装置及设备 |
| CN116777184A (zh) * | 2023-08-18 | 2023-09-19 | 北京六建集团有限责任公司 | 一种装配式建筑施工进度自动监测方法 |
| CN116777184B (zh) * | 2023-08-18 | 2023-12-12 | 北京六建集团有限责任公司 | 一种装配式建筑施工进度自动监测方法 |
| CN117252405A (zh) * | 2023-11-20 | 2023-12-19 | 贵州省公路建设养护集团有限公司 | 基于物联网实现桥梁施工下的设备控制方法及装置 |
| CN117252405B (zh) * | 2023-11-20 | 2024-01-26 | 贵州省公路建设养护集团有限公司 | 基于物联网实现桥梁施工下的设备控制方法及装置 |
| CN117671396A (zh) * | 2024-02-02 | 2024-03-08 | 新疆盛诚工程建设有限责任公司 | 施工进度的智能监控预警系统及方法 |
| CN117671396B (zh) * | 2024-02-02 | 2024-04-26 | 新疆盛诚工程建设有限责任公司 | 施工进度的智能监控预警系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116363586A (zh) | 基于改进yolov5s的桥梁施工进度智能识别方法 | |
| CN112800913B (zh) | 一种基于多源特征融合的路面损伤数据时空分析方法 | |
| CN111460984A (zh) | 一种基于关键点与梯度均衡损失的全局车道线检测方法 | |
| CN109344285A (zh) | 一种面向监控的视频图谱构建和挖掘方法、设备 | |
| Gao et al. | Fine-grained off-road semantic segmentation and mapping via contrastive learning | |
| CN115049944B (zh) | 一种基于多任务优化的小样本遥感图像目标检测方法 | |
| CN114092697B (zh) | 注意力融合全局和局部深度特征的建筑立面语义分割方法 | |
| CN106960210A (zh) | 目标检测的方法和装置 | |
| CN113592905B (zh) | 基于单目摄像头的车辆行驶轨迹预测方法 | |
| CN107392252A (zh) | 计算机深度学习图像特征并量化感知度的方法 | |
| CN114998744B (zh) | 基于运动与视觉双特征融合的农机轨迹田路分割方法及装置 | |
| CN112329605B (zh) | 一种城市容貌乱贴乱画行为识别方法，存储装置及服务器 | |
| CN115393745A (zh) | 一种基于无人机与深度学习的桥梁形象进度自动识别方法 | |
| CN115203352A (zh) | 车道级定位方法、装置、计算机设备和存储介质 | |
| Nong et al. | Airborne LiDAR point cloud classification using PointNet++ network with full neighborhood features | |
| Wang et al. | Improving facade parsing with vision transformers and line integration | |
| CN118053322A (zh) | 一种基于计算机视觉的工程车辆碰撞检测预警系统及方法 | |
| CN116052110B (zh) | 一种路面标线缺损智能定位方法及系统 | |
| KR102014288B1 (ko) | 드론을 이용한 인공지능 기반 개발압력 예측방법 | |
| Zhang et al. | Urban visual intelligence: Studying cities with AI and street-level imagery | |
| CN116843719A (zh) | 一种基于独立搜索孪生神经网络的目标跟踪方法 | |
| Sun et al. | Automatic building age prediction from street view images | |
| CN116721125A (zh) | 基于数字孪生的车辆运动轨迹可视化预测方法与装置 | |
| Zhou et al. | UGRoadUpd: An Unchanged-Guided Historical Road Database Updating Framework Based on Bi-Temporal Remote Sensing Images | |
| CN114821256A (zh) | 基于小目标数据增强和多视角协同推理的废钢分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |