CN117058624B - 一种应用于建筑工地的工程检测方法及系统 - Google Patents
一种应用于建筑工地的工程检测方法及系统 Download PDFInfo
- Publication number
- CN117058624B CN117058624B CN202311308815.1A CN202311308815A CN117058624B CN 117058624 B CN117058624 B CN 117058624B CN 202311308815 A CN202311308815 A CN 202311308815A CN 117058624 B CN117058624 B CN 117058624B
- Authority
- CN
- China
- Prior art keywords
- image
- module
- processing
- construction site
- site
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims abstract description 73
- 238000001514 detection method Methods 0.000 title claims abstract description 71
- 238000012545 processing Methods 0.000 claims abstract description 75
- 230000004927 fusion Effects 0.000 claims abstract description 42
- 230000011218 segmentation Effects 0.000 claims abstract description 33
- 238000012544 monitoring process Methods 0.000 claims abstract description 28
- 230000002159 abnormal effect Effects 0.000 claims abstract description 11
- 241000287127 Passeridae Species 0.000 claims description 34
- 238000010586 diagram Methods 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 16
- 238000010521 absorption reaction Methods 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 9
- 238000010845 search algorithm Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 7
- 235000020061 kirsch Nutrition 0.000 claims description 6
- 230000007774 longterm Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 5
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 235000008694 Humulus lupulus Nutrition 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 230000002441 reversible effect Effects 0.000 claims description 3
- 238000010191 image analysis Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 7
- 238000007689 inspection Methods 0.000 description 5
- 238000000354 decomposition reaction Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 206010000117 Abnormal behaviour Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及建筑工地检测技术领域，公开了一种应用于建筑工地的工程检测方法及系统，通过获取建筑工地拍摄的现场监控视频，对现场监控视频进行分割处理，以提取出多张施工现场图像；对施工现场图像进行图像处理，得到现场处理图像，并对现场处理图像进行分解得到基础层图像和显著层图像；对基础层图像和显著层图像的进行图像融合，得到待检测图像；将待检测图像输入预先训练的工程检测模型中，通过工程检测模型进行特征增强，识别和检测建筑工地异常事件的发生，并输出工程检测结果；本发明利用工程检测模型进行智能图像分析，对建筑工地的工程进行监控，快速提升建筑工地工程管理的智能化水平，有效地降低了人工成本和监管难度。
Description
技术领域
本发明涉及建筑工地检测技术领域，具体涉及一种应用于建筑工地的工程检测方法及系统。
背景技术
建筑工地的事故隐患识别是建筑业的一个重要问题，大量的近距离工作任务、不可预知及不受控的活动，都增加了建筑工地的事故发生率。与其他行业相比，建筑业的事故率最高，尤其是坠落、碰撞和机械事故；因此建筑工地施工现场的安全质量管理是建筑企业重点关注的管理工作。行业内普遍采用的人工教育、巡查巡检的管理方式存在效率低、成本高、效果差的不足，无法满足实际应用场景中的需求，人工巡查的方式成本较高，监管难度大。
发明内容
本发明的目的是为了解决上述问题，设计了一种应用于建筑工地的工程检测方法及系统。
本发明第一方面提供一种应用于建筑工地的工程检测方法，所述应用于建筑工地的工程检测方法包括以下步骤：
获取建筑工地拍摄的现场监控视频，对所述现场监控视频进行分割处理，以提取出多张施工现场图像；
对所述施工现场图像进行图像处理，得到现场处理图像，并对所述现场处理图像进行分解得到基础层图像和显著层图像；
对所述基础层图像和所述显著层图像的进行图像融合，得到待检测图像；
将所述待检测图像输入预先训练的工程检测模型中，通过所述工程检测模型进行特征增强，识别和检测建筑工地异常事件的发生，并输出工程检测结果。
可选的，在本发明第一方面的第一种实现方式中，所述获取建筑工地拍摄的现场监控视频，对所述现场监控视频进行分割处理，以提取出多张施工现场图像，包括：
读取建筑工地拍摄的现场监控视频，逐帧提取，并跟踪目标，将跟踪结果向外扩展形成感兴趣区域，并得到所述感兴趣区域的超像素；
基于第1帧与当前帧的超像素，以及上一帧与当前帧的超像素，分别建立两条吸收马尔可夫链；
根据吸收马尔可夫链的吸收时间得到超像素标签，进行视频的预分割；
对预分割后的视频基于长期和短期时空线索进行超像素标签优化，根据优化后分割结果和超像素线索，自动生成前景骨架和背景骨架，并将注释信息输入骨架映射网络，得到多张施工现场图像。
可选的，在本发明第一方面的第二种实现方式中，所述对预分割后的视频基于长期和短期时空线索进行超像素标签优化，包括：
获取预分割后的视频，并根据预分割后的视频的超像素构建图模型，将所有前景超像素为图的顶点，两跳内相邻的前景超像素为图的边；
基于图的连通性，采用所述图模型得到候选目标区域，以得到每帧超像素的标签。
可选的，在本发明第一方面的第三种实现方式中，对所述施工现场图像进行图像处理，得到现场处理图像，包括：
对所述施工现场图像进行灰度化处理，提取所述施工现场图像边界像素点，得到灰度边界图像；
对所述灰度边界图像进行差分，得到二值图，并采用形态学处理去除噪点，得到待增强图像；
基于麻雀搜索算法对所述待增强图像进行图像增强处理，得到现场处理图像。
可选的，在本发明第一方面的第四种实现方式中，所述基于麻雀搜索算法对所述待增强图像进行图像增强处理，得到现场处理图像，包括：
对所述待增强图像每个像素点的灰度值进行归一化处理，根据反向学习策略,初始化种群和参数，并对麻雀搜索算法进行迭代处理；
对归一化处理后的待增强图像进行伽马校正，并确定灰度标准方差、熵值及边缘内容，得到每个麻雀个体的适应度值；
更新麻雀最优值，若更新后的适应度值大于原始个体最优值，则将该麻雀位置视为最优个体,若更新后麻雀适应度值大于原始全局最优值，则将该麻雀位置被视全局最优值；
对选取的麻雀个体进行飞行变化,更新麻雀种群位置，并判断麻雀搜索算法是否达到迭代停止条件,若没有达到,则继续更新麻雀种群的位置，若满足迭代停止条件，则结束迭代；
输出最优伽马值以及对应麻雀的位置增强图像,最后对图像进行反归一化处理,得到现场处理图像。
可选的，在本发明第一方面的第五种实现方式中，所述对所述基础层图像和所述显著层图像的进行图像融合，得到待检测图像，包括：
采用VSM方法分别处理所述基础层图像和所述显著层图像，使用加权平均，得到融合基本层；
采用Kirsch算子分别处理所述基础层图像和所述显著层图像得到分解图，采用VGG-19网络提取所述分解图的深层特征，得到权值图；
将所述权值图与所述显著层图像重构，得到融合细节层，将所述融合基本层和所述融合细节层叠加重构，得到待检测图像。
可选的，在本发明第一方面的第六种实现方式中，所述将所述待检测图像输入预先训练的工程检测模型中，通过所述工程检测模型进行特征增强，识别和检测建筑工地异常事件的发生，并输出工程检测结果，包括：
将所述待检测图像输入工程检测模型中，采用ResNet50为主干网络，对所述待检测图像进行特征提取，得到不同尺寸的第一特征图；
在金字塔池化模块中融合经过不同尺寸的全局平均池化层得到第二特征图；
将所述第二特征图进行3次上采样并在每次上采样时和不同尺寸的第一特征图进行融合，得到不同尺寸的第三特征图；
通过双线性插值将不同尺寸的第三特征图放大到原始尺寸并进行融合；
采用3x3的卷积对每个像素进行分类并通过双线性插值将尺寸还原到原始尺寸，得到工程检测结果。
本发明第二方面提供了一种应用于建筑工地的工程检测系统，所述应用于建筑工地的工程检测系统包括视频分割模块、图像处理模块、图像融合模块和工程检测模块，其中，视频分割模块，用于获取建筑工地拍摄的现场监控视频，对所述现场监控视频进行分割处理，以提取出多张施工现场图像；
图像处理模块，用于对所述施工现场图像进行图像处理，得到现场处理图像，并对所述现场处理图像进行分解得到基础层图像和显著层图像；
图像融合模块，用于对所述基础层图像和所述显著层图像的进行图像融合，得到待检测图像；
工程检测模块，用于将所述待检测图像输入预先训练的工程检测模型中，通过所述工程检测模型进行特征增强，识别和检测建筑工地异常事件的发生，并输出工程检测结果。
可选的，在本发明第二方面的第一种实现方式中，所述视频分割模块包括逐帧提取子模块、建立子模块、预分割子模块和自动生成子模块，其中，逐帧提取子模块，用于读取建筑工地拍摄的现场监控视频，逐帧提取，并跟踪目标，将跟踪结果向外扩展形成感兴趣区域，并得到所述感兴趣区域的超像素；
建立子模块，用于基于第1帧与当前帧的超像素，以及上一帧与当前帧的超像素，分别建立两条吸收马尔可夫链；
预分割子模块，用于根据吸收马尔可夫链的吸收时间得到超像素标签，进行视频的预分割；
自动生成子模块，用于对预分割后的视频基于长期和短期时空线索进行超像素标签优化，根据优化后分割结果和超像素线索，自动生成前景骨架和背景骨架，并将注释信息输入骨架映射网络，得到多张施工现场图像。
可选的，在本发明第二方面的第二种实现方式中，所述图像融合模块包括加权平均子模块、提取子模块和图像重构子模块，其中，加权平均子模块，用于采用VSM方法分别处理所述基础层图像和所述显著层图像，使用加权平均，得到融合基本层；
提取子模块，用于采用Kirsch算子分别处理所述基础层图像和所述显著层图像得到分解图，采用VGG-19网络提取所述分解图的深层特征，得到权值图；
图像重构子模块，用于将所述权值图与所述显著层图像重构，得到融合细节层，将所述融合基本层和所述融合细节层叠加重构，得到待检测图像。
本发明提供的技术方案中，通过获取建筑工地拍摄的现场监控视频，对所述现场监控视频进行分割处理，以提取出多张施工现场图像；对所述施工现场图像进行图像处理，得到现场处理图像，并对所述现场处理图像进行分解得到基础层图像和显著层图像；对所述基础层图像和所述显著层图像的进行图像融合，得到待检测图像；将所述待检测图像输入预先训练的工程检测模型中，通过所述工程检测模型进行特征增强，识别和检测建筑工地异常事件的发生，并输出工程检测结果；本发明利用工程检测模型进行智能图像分析，对建筑工地的工程进行监控，快速提升建筑工地工程管理的智能化水平，有效地降低了人工成本和监管难度。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。
图1为本发明实施例提供的应用于建筑工地的工程检测方法的第一个实施例示意图；
图2为本发明实施例提供的应用于建筑工地的工程检测方法的第二个实施例示意图；
图3为本发明实施例提供的应用于建筑工地的工程检测方法的第三个实施例示意图；
图4为本发明实施例提供的应用于建筑工地的工程检测系统的一种结构示意图；
图5为本发明实施例提供的应用于建筑工地的工程检测系统的另一种结构示意图。
具体实施方式
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、设备、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1本发明实施例提供的应用于建筑工地的工程检测方法的第一个实施例示意图，该方法具体包括以下步骤：
步骤101、获取建筑工地拍摄的现场监控视频，对现场监控视频进行分割处理，以提取出多张施工现场图像；
步骤102、对施工现场图像进行图像处理，得到现场处理图像，并对现场处理图像进行分解得到基础层图像和显著层图像；
本实施例中，对施工现场图像进行灰度化处理，提取施工现场图像边界像素点，得到灰度边界图像；对灰度边界图像进行差分，得到二值图，并采用形态学处理去除噪点，得到待增强图像；基于麻雀搜索算法对待增强图像进行图像增强处理，得到现场处理图像。
步骤103、对基础层图像和显著层图像的进行图像融合，得到待检测图像；
本实施例中，采用VSM方法分别处理基础层图像和显著层图像，使用加权平均，得到融合基本层；采用Kirsch算子分别处理基础层图像和显著层图像得到分解图，采用VGG-19网络提取分解图的深层特征，得到权值图；将权值图与显著层图像重构，得到融合细节层，将融合基本层和融合细节层叠加重构，得到待检测图像。
本实施例中，Kirsch算子是一种非线性边缘检测器，可在几个预定方向上找到最大边缘强度，它采用8个模板对图像上的每一个像素点进行卷积求导数，这8个模板代表8个方向，对图像上的8个特定边缘方向作出最大响应，运算中取最大值作为图像的边缘输出。
步骤104、将待检测图像输入预先训练的工程检测模型中，通过工程检测模型进行特征增强，识别和检测建筑工地异常事件的发生，并输出工程检测结果。
本实施例中，将待检测图像输入工程检测模型中，采用ResNet50为主干网络，对待检测图像进行特征提取，得到不同尺寸的第一特征图；在金字塔池化模块中融合经过不同尺寸的全局平均池化层得到第二特征图；将第二特征图进行3次上采样并在每次上采样时和不同尺寸的第一特征图进行融合，得到不同尺寸的第三特征图；通过双线性插值将不同尺寸的第三特征图放大到原始尺寸并进行融合；采用3x3的卷积对每个像素进行分类并通过双线性插值将尺寸还原到原始尺寸，得到工程检测结果。
本实施例中，工程检测模型是基于ResNet50网络作为前端模型经过训练集进行训练得到的，将图像中提取出来的行为特征输入到神经网络中，使用神经网络进行学习和建模，以此来判断建筑工地是否存在异常行为。
本实施例中，获取建筑工地历史现场图像，构建训练集，训练集中的原始图像输入ResNet50网络，ResNeSt50网络具有四个不同维度的卷积模块，分别为Conv2、Conv3、Conv4和Conv5，这些模块都由数量不同的分离注意基础模块组成。对每个Conv模块进行密集连接后输入改进空间域模块，形成拟CBAM结构，完成对通道和空间维度上特征的有效提取，以进行特征增强；随着网络深度的增加，特征图尺寸依次减小，浅层卷积层往往保存清晰的位置信息，然后进行多尺度特征融合操作，从深层卷积层向浅层进行特征图密集连接操作，经过一个基础分离注意模块和改进空间域模块后，通过上采样转置卷积层还原输出图像尺寸，输出检测结果，即工程检测结果，对建筑工地异常事件进行识别及预测；根据检测结果，对模型进行更新，直到模型收敛时，得对应的工程检测模型。
本实施例中，选择某建筑工地拍摄的现场监控视频数据集作为实验数据。该数据集包含2000张图像，视频监控每帧图像像素为640×480，本次实验环境是Windows操作系统，搭配8 GHz处理器，以及32 GB运行内存，卷积层卷积核尺寸为4×4，步长设定为64，初始图像输入尺寸设定为320×240，卷积核数量设定为128，输入层数据输入批量处理参数设定为48，模型学习率设定为0.01，重量系数设定为0.45；对视频监控图像进行图像处理和图像融合，利用工程检测模型识别建筑工地异常行为。
本发明实施例中，通过获取建筑工地拍摄的现场监控视频，对现场监控视频进行分割处理，以提取出多张施工现场图像；对施工现场图像进行图像处理，得到现场处理图像，并对现场处理图像进行分解得到基础层图像和显著层图像；对基础层图像和显著层图像的进行图像融合，得到待检测图像；将待检测图像输入预先训练的工程检测模型中，通过工程检测模型进行特征增强，识别和检测建筑工地异常事件的发生，并输出工程检测结果；本发明利用工程检测模型进行智能图像分析，对建筑工地的工程进行监控，快速提升建筑工地工程管理的智能化水平，有效地降低了人工成本和监管难度。
请参阅图2，本发明实施例提供的应用于建筑工地的工程检测方法的第二个实施例示意图，该方法包括：
步骤201、读取建筑工地拍摄的现场监控视频，逐帧提取，并跟踪目标，将跟踪结果向外扩展形成感兴趣区域，并得到感兴趣区域的超像素；
本实施例中，感兴趣区域为勾勒出需要处理的区域，即跟踪目标后形成的区域。
步骤202、基于第1帧与当前帧的超像素，以及上一帧与当前帧的超像素，分别建立两条吸收马尔可夫链；
本实施例中，马尔可夫链，又称离散时间马尔可夫链，为状态空间中经过从一个状态到另一个状态的转换的随机过程，下一状态的概率分布只能由当前状态决定，在时间序列中它前面的事件均与之无关。在马尔可夫链的每一步，系统根据概率分布，可以从一个状态变到另一个状态，也可以保持当前状态。状态的改变叫做转移，与不同的状态改变相关的概率叫做转移概率。
步骤203、根据吸收马尔可夫链的吸收时间得到超像素标签，进行视频的预分割；
步骤204、对预分割后的视频基于长期和短期时空线索进行超像素标签优化，根据优化后分割结果和超像素线索，自动生成前景骨架和背景骨架，并将注释信息输入骨架映射网络，得到多张施工现场图像。
本实施例中，获取预分割后的视频，并根据预分割后的视频的超像素构建图模型，将所有前景超像素为图的顶点，两跳内相邻的前景超像素为图的边；基于图的连通性，采用图模型得到候选目标区域，以得到每帧超像素的标签。
本实施例中，在交互式视频分割中，用户在关键帧感知并勾画目标的位置和形态；以这些勾画作为引导，可较精准地分割出关键帧的目标轮廓，并在后续帧通过轮廓传播实现目标分割，将骨架代替交互式分割中的用户注释，进而构建骨架传播网络，实现视频初步分割的再优化；对每个前景超像素一跳内的邻接超像素，根据它们之间的空间位置关系，按照上、下、左、右的顺序，依次连接其邻接前景超像素，每个超像素只发生一次连接，最后形成连通骨架，前景骨架描述了目标的姿态、尺寸、位置等重要形态学线索。
请参阅图3，本发明实施例提供的应用于建筑工地的工程检测方法的第三个实施例示意图，该方法包括：
步骤301、对待增强图像每个像素点的灰度值进行归一化处理，根据反向学习策略,初始化种群和参数，并对麻雀搜索算法进行迭代处理；
步骤302、对归一化处理后的待增强图像进行伽马校正，并确定灰度标准方差、熵值及边缘内容，得到每个麻雀个体的适应度值；
步骤303、更新麻雀最优值，若更新后的适应度值大于原始个体最优值，则将该麻雀位置视为最优个体,若更新后麻雀适应度值大于原始全局最优值，则将该麻雀位置被视全局最优值；
步骤304、对选取的麻雀个体进行飞行变化,更新麻雀种群位置，并判断麻雀搜索算法是否达到迭代停止条件,若没有达到,则继续更新麻雀种群的位置，若满足迭代停止条件，则结束迭代；
步骤305、输出最优伽马值以及对应麻雀的位置增强图像,最后对图像进行反归一化处理,得到现场处理图像。
请参阅图4，本发明实施例提供的应用于建筑工地的工程检测系统的一种结构示意图，该系统包括视频分割模块、图像处理模块、图像融合模块和工程检测模块，其中，视频分割模块401，用于获取建筑工地拍摄的现场监控视频，对现场监控视频进行分割处理，以提取出多张施工现场图像；
图像处理模块402，用于对施工现场图像进行图像处理，得到现场处理图像，并对现场处理图像进行分解得到基础层图像和显著层图像；
图像融合模块403，用于对基础层图像和显著层图像的进行图像融合，得到待检测图像；
工程检测模块404，用于将待检测图像输入预先训练的工程检测模型中，通过工程检测模型进行特征增强，识别和检测建筑工地异常事件的发生，并输出工程检测结果。
请参阅图5，本发明实施例中应用于建筑工地的工程检测系统的另一种结构示意图包括：
视频分割模块401，用于获取建筑工地拍摄的现场监控视频，对现场监控视频进行分割处理，以提取出多张施工现场图像；
图像处理模块402，用于对施工现场图像进行图像处理，得到现场处理图像，并对现场处理图像进行分解得到基础层图像和显著层图像；
图像融合模块403，用于对基础层图像和显著层图像的进行图像融合，得到待检测图像；
工程检测模块404，用于将待检测图像输入预先训练的工程检测模型中，通过工程检测模型进行特征增强，识别和检测建筑工地异常事件的发生，并输出工程检测结果。
本实施例中，视频分割模块401包括逐帧提取子模块、建立子模块、预分割子模块和自动生成子模块，其中，逐帧提取子模块4011，用于读取建筑工地拍摄的现场监控视频，逐帧提取，并跟踪目标，将跟踪结果向外扩展形成感兴趣区域，并得到感兴趣区域的超像素；
建立子模块4012，用于基于第1帧与当前帧的超像素，以及上一帧与当前帧的超像素，分别建立两条吸收马尔可夫链；
预分割子模块4013，用于根据吸收马尔可夫链的吸收时间得到超像素标签，进行视频的预分割；
自动生成子模块4014，用于对预分割后的视频基于长期和短期时空线索进行超像素标签优化，根据优化后分割结果和超像素线索，自动生成前景骨架和背景骨架，并将注释信息输入骨架映射网络，得到多张施工现场图像。
本实施例中，图像融合模块403包括加权平均子模块、提取子模块和图像重构子模块，其中，加权平均子模块4031，用于采用VSM方法分别处理基础层图像和显著层图像，使用加权平均，得到融合基本层；
提取子模块4032，用于采用Kirsch算子分别处理基础层图像和显著层图像得到分解图，采用VGG-19网络提取分解图的深层特征，得到权值图；
图像重构子模块4033，用于将权值图与显著层图像重构，得到融合细节层，将融合基本层和融合细节层叠加重构，得到待检测图像。
通过上述方案的实施，利用工程检测模型进行智能图像分析，对建筑工地的工程进行监控，快速提升建筑工地工程管理的智能化水平，有效地降低了人工成本和监管难度。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的仅为本发明的优选例，并不用来限制本发明，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (1)
1.一种应用于建筑工地的工程检测系统，其特征在于，所述应用于建筑工地的工程检测系统包括视频分割模块、图像处理模块、图像融合模块和工程检测模块，其中，视频分割模块，用于获取建筑工地拍摄的现场监控视频，对所述现场监控视频进行分割处理，以提取出多张施工现场图像；
图像处理模块，用于对所述施工现场图像进行图像处理，得到现场处理图像，并对所述现场处理图像进行分解得到基础层图像和显著层图像；
图像融合模块，用于对所述基础层图像和所述显著层图像的进行图像融合，得到待检测图像；
工程检测模块，用于将所述待检测图像输入预先训练的工程检测模型中，通过所述工程检测模型进行特征增强，识别和检测建筑工地异常事件的发生，并输出工程检测结果，其中，将所述待检测图像输入工程检测模型中，采用ResNet50为主干网络，对所述待检测图像进行特征提取，得到不同尺寸的第一特征图；在金字塔池化模块中融合经过不同尺寸的全局平均池化层得到第二特征图；将所述第二特征图进行3次上采样并在每次上采样时和不同尺寸的第一特征图进行融合，得到不同尺寸的第三特征图；通过双线性插值将不同尺寸的第三特征图放大到原始尺寸并进行融合；采用3x3的卷积对每个像素进行分类并通过双线性插值将尺寸还原到原始尺寸，得到工程检测结果；
所述视频分割模块包括逐帧提取子模块、建立子模块、预分割子模块和自动生成子模块，其中，逐帧提取子模块，用于读取建筑工地拍摄的现场监控视频，逐帧提取，并跟踪目标，将跟踪结果向外扩展形成感兴趣区域，并得到所述感兴趣区域的超像素；
建立子模块，用于基于第1帧与当前帧的超像素，以及上一帧与当前帧的超像素，分别建立两条吸收马尔可夫链；
预分割子模块，用于根据吸收马尔可夫链的吸收时间得到超像素标签，进行视频的预分割；
自动生成子模块，用于对预分割后的视频基于长期和短期时空线索进行超像素标签优化，根据优化后分割结果和超像素线索，自动生成前景骨架和背景骨架，并将注释信息输入骨架映射网络，得到多张施工现场图像，其中，获取预分割后的视频，并根据预分割后的视频的超像素构建图模型，将所有前景超像素为图的顶点，两跳内相邻的前景超像素为图的边；基于图的连通性，采用所述图模型得到候选目标区域，以得到每帧超像素的标签；
所述自动生成子模块，用于对所述施工现场图像进行灰度化处理，提取所述施工现场图像边界像素点，得到灰度边界图像；对所述灰度边界图像进行差分，得到二值图，并采用形态学处理去除噪点，得到待增强图像；基于麻雀搜索算法对所述待增强图像进行图像增强处理，得到现场处理图像，其中，对所述待增强图像每个像素点的灰度值进行归一化处理，根据反向学习策略,初始化种群和参数，并对麻雀搜索算法进行迭代处理；对归一化处理后的待增强图像进行伽马校正，并确定灰度标准方差、熵值及边缘内容，得到每个麻雀个体的适应度值；更新麻雀最优值，若更新后的适应度值大于原始个体最优值，则将该麻雀位置视为最优个体,若更新后麻雀适应度值大于原始全局最优值，则将该麻雀位置被视全局最优值；对选取的麻雀个体进行飞行变化,更新麻雀种群位置，并判断麻雀搜索算法是否达到迭代停止条件,若没有达到,则继续更新麻雀种群的位置，若满足迭代停止条件，则结束迭代；输出最优伽马值以及对应麻雀的位置增强图像,最后对图像进行反归一化处理,得到现场处理图像；
所述图像融合模块包括加权平均子模块、提取子模块和图像重构子模块，其中，加权平均子模块，用于采用VSM方法分别处理所述基础层图像和所述显著层图像，使用加权平均，得到融合基本层；
提取子模块，用于采用Kirsch算子分别处理所述基础层图像和所述显著层图像得到分解图，采用VGG-19网络提取所述分解图的深层特征，得到权值图；
图像重构子模块，用于将所述权值图与所述显著层图像重构，得到融合细节层，将所述融合基本层和所述融合细节层叠加重构，得到待检测图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311308815.1A CN117058624B (zh) | 2023-10-11 | 2023-10-11 | 一种应用于建筑工地的工程检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311308815.1A CN117058624B (zh) | 2023-10-11 | 2023-10-11 | 一种应用于建筑工地的工程检测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117058624A CN117058624A (zh) | 2023-11-14 |
| CN117058624B true CN117058624B (zh) | 2023-12-22 |
Family
ID=88667746
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311308815.1A Active CN117058624B (zh) | 2023-10-11 | 2023-10-11 | 一种应用于建筑工地的工程检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117058624B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117765434A (zh) * | 2023-12-14 | 2024-03-26 | 提书工程科技(上海)有限公司 | 用于建筑工程的现场视频图像处理方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107977950A (zh) * | 2017-12-06 | 2018-05-01 | 上海交通大学 | 基于多尺度指导滤波的快速有效视频图像融合方法 |
| CN111368726A (zh) * | 2020-03-04 | 2020-07-03 | 西安咏圣达电子科技有限公司 | 建筑工地作业面人数统计方法、系统、存储介质及装置 |
| CN113936299A (zh) * | 2021-10-18 | 2022-01-14 | 微特技术有限公司 | 建筑工地中危险区域检测方法 |
| CN115631457A (zh) * | 2022-09-30 | 2023-01-20 | 山东建筑大学 | 建筑施工监控视频中的人机协作异常检测方法及系统 |
| CN116429720A (zh) * | 2023-03-28 | 2023-07-14 | 浙江大学 | 一种基于红外视觉图像目标检测的微小气体泄漏检测方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2012101749A4 (en) * | 2010-04-28 | 2013-01-10 | Infa-Safe, Inc. | System for monitoring a person wearing head gear |
| CN107563281A (zh) * | 2017-07-24 | 2018-01-09 | 南京邮电大学 | 一种基于深度学习的建筑工地人员安全隐患监测方法 |
| CN114067134A (zh) * | 2021-11-25 | 2022-02-18 | 西安工业大学 | 烟尘环境下多光谱目标探测方法、系统、设备和存储介质 |
| CN116385953B (zh) * | 2023-01-11 | 2023-12-15 | 哈尔滨市科佳通用机电股份有限公司 | 铁路货车敞车车门折页折断故障图像识别方法 |
-
2023
- 2023-10-11 CN CN202311308815.1A patent/CN117058624B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107977950A (zh) * | 2017-12-06 | 2018-05-01 | 上海交通大学 | 基于多尺度指导滤波的快速有效视频图像融合方法 |
| CN111368726A (zh) * | 2020-03-04 | 2020-07-03 | 西安咏圣达电子科技有限公司 | 建筑工地作业面人数统计方法、系统、存储介质及装置 |
| CN113936299A (zh) * | 2021-10-18 | 2022-01-14 | 微特技术有限公司 | 建筑工地中危险区域检测方法 |
| CN115631457A (zh) * | 2022-09-30 | 2023-01-20 | 山东建筑大学 | 建筑施工监控视频中的人机协作异常检测方法及系统 |
| CN116429720A (zh) * | 2023-03-28 | 2023-07-14 | 浙江大学 | 一种基于红外视觉图像目标检测的微小气体泄漏检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| 房建工地不安全行为检测装置研究;喻远飞;《中国优秀硕士学位论文全文数据库 (工程科技Ⅰ辑)》;第 B026-164页 * |
| 田柯 等.全局双伽马校正与改进SSA的低光照图像增强方法.《 电 子测量技术》.2023,第124-133页. * |
| 联合吸收马尔可夫链和骨架映射的视频分割;梁云 等;《软件学报》;第1-16页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117058624A (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108256562B (zh) | 基于弱监督时空级联神经网络的显著目标检测方法及系统 | |
| Chaudhuri et al. | Automatic building detection from high-resolution satellite images based on morphology and internal gray variance | |
| US20180114071A1 (en) | Method for analysing media content | |
| CN111488826A (zh) | 一种文本识别方法、装置、电子设备和存储介质 | |
| CN117058624B (zh) | 一种应用于建筑工地的工程检测方法及系统 | |
| CN112580523A (zh) | 行为识别方法、装置、设备及存储介质 | |
| CN111738054B (zh) | 一种基于时空自编码器网络和时空cnn的行为异常检测方法 | |
| KR101436369B1 (ko) | 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법 | |
| CN111652181B (zh) | 目标跟踪方法、装置及电子设备 | |
| CN112562255B (zh) | 微光环境下电缆沟道烟雾火情的智能图像检测方法 | |
| CN114187520B (zh) | 一种建筑物提取模型的构建及应用方法 | |
| US20230306742A1 (en) | Computer Vision Systems and Methods for Hazard Detection from Digital Images and Videos | |
| CN111626090A (zh) | 一种基于深度帧差卷积神经网络的运动目标检测方法 | |
| CN108345835B (zh) | 一种基于仿复眼感知的目标识别方法 | |
| Huang et al. | Image saliency detection via multi-scale iterative CNN | |
| Kolluri et al. | Intelligent multimodal pedestrian detection using hybrid metaheuristic optimization with deep learning model | |
| CN112149526A (zh) | 一种基于长距离信息融合的车道线检测方法及系统 | |
| CN114943840A (zh) | 机器学习模型的训练方法、图像的处理方法和电子设备 | |
| CN113920147A (zh) | 基于深度学习的遥感影像建筑物提取方法及设备 | |
| Bunel et al. | Detection of pedestrians at far distance | |
| CN114627292B (zh) | 工业遮挡目标检测方法 | |
| CN114647361A (zh) | 一种基于人工智能的触摸屏物体定位方法及装置 | |
| CN113935466A (zh) | 数据中心智能巡检机器人多任务学习方法 | |
| Poomani et al. | RETRACTED ARTICLE: Wiener filter based deep convolutional network approach for classification of satellite images | |
| KR101192163B1 (ko) | 물체 단위의 배경 영상 분석을 통한 움직이는 물체의 검출 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |