CN115082849A - 基于深度学习的模板支架安全智能监测方法 - Google Patents

基于深度学习的模板支架安全智能监测方法 Download PDF

Info

Publication number
CN115082849A
CN115082849A CN202210562653.3A CN202210562653A CN115082849A CN 115082849 A CN115082849 A CN 115082849A CN 202210562653 A CN202210562653 A CN 202210562653A CN 115082849 A CN115082849 A CN 115082849A
Authority
CN
China
Prior art keywords
template support
image
template
risk
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210562653.3A
Other languages
English (en)
Other versions
CN115082849B (zh
Inventor
魏晨阳
刘昌永
李雪来
唐一栋
闫豪峰
罗干
夏瑞林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Longjian Road and Bridge Co Ltd
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202210562653.3A priority Critical patent/CN115082849B/zh
Publication of CN115082849A publication Critical patent/CN115082849A/zh
Application granted granted Critical
Publication of CN115082849B publication Critical patent/CN115082849B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01GWEIGHING
    • G01G19/00Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于深度学习的模板支架安全智能监测方法,属于施工安全技术领域包括:得到训练好的ResNet50权重参数;基于训练好的ResNet50权重参数,通过对多类型重物识别、施工现场车辆行驶、人员施工信息进行深度学习,实现靠近模板支架的风险识别,用力传感器测量待吊重物的重量信息;通过目标跟踪技术,跟踪风险所处位置,对不安全行为及时预警,判断潜在风险的运动轨迹是否正确。同时对模板支架架体形态进行识别,判断支架是否有倒塌风险;将视觉传感器视野内的模板支架位置划分成若干单元,判断模板支架整体或关键杆件形变是否超过安全值;本发明解决了模板支架发生坍塌事故速度极快,人工极难提前预警的问题,保证了施工安全。

Description

基于深度学习的模板支架安全智能监测方法
技术领域
本发明涉及基于深度学习的模板支架安全智能监测方法,属于施工安全技术领域。
背景技术
钢管模板支架具有搭设简便,循环性高及灵活性强等优点,已经广泛应用于桥梁、隧道以及建筑等工程施工中。在基建及建筑施工中模板支架的成本大约占到工程总造价的30%,模板支架安装拆卸工时占总工时的50%以上,由此看出模板支架工程在建筑施工中占有相当重要的地位。模板支架由众多杆件拼装而成,作为施工现场为工人操作而搭建的各种支架,但由于现今相关的技术存在一定缺陷,在实际施工过程中时常有支撑体系失稳的情况发生,特别是在大型桥梁、超高层建筑施工过程中,一旦发生架体系坍塌事故,无论从人员生命安全还是经济方面而已都是损失重大的。根据建设部发布的《年房屋市政工程生产安全事故情况通报》,因模板支架和模板支架倒塌的事故占建筑行业安全事故总数的51%,因此加强对基建及建筑工程模板支架安全监测具有重要的意义。
在基建施工中,模板支架是承受混凝土浇筑过程的主要受力构件,目前国内外规范均给定了计算模板支架承载能力的荷载标准值,如混凝土自重、人员荷载、设备荷载、风荷载等,但是这些荷载均按照静力进行处理。而在实际工程中,模板支架之上的人员在不停的变换位置,混凝土浇筑过程中会产生动荷载,机械设备也会随机摆放,这样就会造成模板支架实际受力与设计受力不相符合。另外,施工现场运输车辆往来非常频繁,若运输车辆与模板支架发生碰撞,则会造成整个架体以及其所承担的混凝土主体结构发生倒塌。同时吊机、塔吊等大型机械在时刻运转,所吊载的重物由于操作人员的视觉盲区也会造成与模板支架架体发生碰撞的可能。
目前施工现场对于上述的风险观测方法基本均为人工监测和巡视,效率低、成本高。且对于架体的变形,人眼观测非常困难,而且由于碰撞事故的偶发性,事故发生速度极快,不会留给安全监测人员时间去预警。随着计算机视觉与人工智能技术的发展,自动识别技术已越来越成熟并逐渐应用到各行各业。首先利用深度学习技术将施工现场所使用的各类运输车辆、塔吊等机械设备进行学习,然后利用计算机视觉技术,将施工现场监控摄像头传输回来的实时图像进行识别,对移动物体的速度和与模板支架之间的距离进行实时分析,判断是否有发生碰撞的可能,若有则进行提前预警并通知施工人员,以免事故的发生。同时,对于模板支架架体本身的形变进行实时监控,当架体整体或规定的关键杆件达到一定变形值时,则进行警报,以便于施工人员的及时调整,保证施工的安全。
发明内容
本发明提出了基于深度学习的模板支架安全智能监测方法,利用计算机视觉与深度学习技术研究自动识别、划分模板支架位置区域,识别塔吊提取的建筑材料、塔吊行为,实时跟踪吊起物体位置,分析其行为对模板支架的安全影响,以解决人工观察法存在的效率低成本高的问题。
基于深度学习的模板支架安全监测方法,所述基于深度学习的模板支架安全监测方法包括以下步骤:
S000、得到训练好的ResNet50权重参数;
S100、基于训练好的ResNet50权重参数,通过对多类型重物识别、施工现场车辆行驶、人员施工信息进行深度学习,实现靠近模板支架的风险识别,同时用力传感器测量待吊重物的重量信息;同时对模板支架架体形态进行识别,判断支架是否有倒塌风险;
S200、通过在需要监控的模板支架附近布置视觉传感器,经过预处理,将视觉传感器视野内的模板支架位置划分成若干单元,若有风险出现在视野中时,系统将立即识别并判断其所处位置,结合风险信息判断风险对模板支架安全是否会造成影响;
S300、在风险靠近阶段,通过目标跟踪技术与背景分割技术,实时跟踪风险所处位置,判断风险即将进入模板支架的区域位置,对不安全行为及时做出预警,同时判断潜在风险的运动轨迹是否正确。
进一步的,在S000中,具体包括以下步骤:
S010、从各种视频中提取多类重物图片,对图片进行预处理,将经过预处理的图片的分辨率统一降为512×512像素,作为待分类数据;
S020、将待分类数据进行手动分类,放在不同的文件夹中;
S030、对分类好的数据进行数据增强,以此增加图像数据量及增强模型的鲁棒性;
S040、将经过数据增强和数据扩充的数据输入卷积神经网络CNN,对卷积神经网络CNN进行训练,得到训练好的ResNet50权重参数。
进一步的,在S030中,具体的,数据增强的方式为:水平随机翻转图像和相关的框标签、随机缩放图像以及相关的框标签、抖动图像颜色。
进一步的,在S040中,具体包括以下步骤:
S041、建立基于ResNet的图像识别模型框架:
ResNet50结构中包含跨层连接,它通过快捷连接shortcut将输入跨层传递,然后与经过卷积后的输出相加,达到充分训练底层网络的效果,使正确率随着深度的增加得到显著提升。由于Resnet50神经网络输入数据的尺寸为224*224*3,所以需要在输入数据前对图像进行预处理,将图像数据裁剪为指定尺寸224*224*3格式。图像经过残差块的不断卷积操作,图像像素矩阵的通道数Channel越来越深,再经过扁平层Flatten,将图像像素矩阵尺寸变成batch_size*2048,最后输入全连接层FC中,经softmax层输出对应类别概率;
S042、对ResNet网络模型进行训练:
将图像按照8:2的数量比随机划分为训练集和验证集,训练集用于训练模型,验证集用于评估模型训练结果,使用ResNet50预训练权重为初始权重,将数据集输入ResNet进行训练。
超参数设置:学习率为0.001;优化方法使用Adam方法,batch_size的大小为32;损失函数为交叉熵损失函数(CrossEntropyLoss),
Adam优化器主要包含以下几个显著的优点:a.实现简单,计算高效,对内存需求少;b.参数的更新不受梯度的伸缩变换影响;c.超参数具有很好的解释性,且通常无需调整或仅需很少的微调;d.更新的步长能够被限制在大致的范围内(初始学习率);e.能自然地实现步长退火过程(自动调整学习率);f.很适合应用于大规模的数据及参数的场景;g.适用于不稳定目标函数;h.适用于梯度稀疏或梯度存在很大噪声的问题。
其中,Adam优化器更新规则为:
计算t时间步的梯度gt
Figure BDA0003657228550000041
首先,计算梯度的指数移动平均数,m0初始化为0,β1系数为指数衰减率,控制权重分配(动量与当前梯度),通常取接近于1的值,默认为0.9,
mt=β1mt-1+(1-β1)gt
其次,计算梯度平方的指数移动平均数,v0初始化为0,β2系数为指数衰减率,控制之前的梯度平方的影响情况,默认为0.999,
Figure BDA0003657228550000042
第三,由于m0初始化为0,会导致mt偏向于0,尤其在训练初期阶段。所以,此处需要对梯度均值mt进行偏差纠正,降低偏差对训练初期的影响,
Figure BDA0003657228550000043
第四,与m0类似,因为v0初始化为0导致训练初始阶段vt偏向0,对其进行纠正。
Figure BDA0003657228550000044
第六,更新参数,初始的学习率α乘以梯度均值与梯度方差的平方根之比,其中默认学习率α=0.001,ε=10^-8,避免除数变为0,
Figure BDA0003657228550000045
S043、得到训练结果:
训练后应用所得权重对重物进行识别,当次结果平均精确率为:98.15%。
进一步的,在S300中,具体包括以下步骤:
S310、计算前景掩码:使用OpenCV提供的背景分割器BackgroundSubtractorKNN计算前景掩码;
S320、二值化处理:在S310中计算得到的前景掩码含有前景的白色值以及阴影的灰色值,将前景掩码二值化,即将非纯白色的所有像素点均设置为纯白色;
S330、目标跟踪:使用基本的目标跟踪算法检测运动中物体的轮廓,并在原始帧上绘制检测结果。
进一步的,在S200和S300间,还包括S250、对模板支架区域位置进行标定,具体包括以下步骤:
S251、通过相机设备拍摄得到的施工现场模板支架实际图像视频数据;
S252、对模板支架区域进行划分,具体的:
进行阈值分割:使用背景分割算法通过任意选取一个阈值t将图像分为前景和背景两部分,前景像素点占图像的比例为W0、均值为U0,背景像素点占图像的比例为W1、均值为U1,图像整体的均值为U=W0*U0+W1*U1,建立目标函数g(t)=W0*(U0-U)^2+W1*(U1-U)^2,g(t)即为当分割阈值为t时的类间方差,Otsu算法使得g(t)最大时所对应的t为最佳阈值;
进行图像滤波:对阈值分割后的结果进行滤波处理,消除不必要噪点;
进行投影划分区域:对滤波处理后的图像分别进行水平和垂直方向的投影,根据其结果图像,以每个已规定长度的区间内波峰位置为目标点,得知相机视野中的模板支架分为5*5的区域。
进一步的,在S100中,具体包括以下情况:
将待吊重物的重量信息和模板支架的承载标准进行对比,判断待吊重物是否可以上模板支架,若是,则正常执行该动作;否则,对此行为进行预警;
当待吊重物放置在模板支架上时,对模板支架架体形态进行识别,判断模板支架的横向形变是否超过预设的预警值,若是,则对此放置行为进行预警;
当在模板支架上浇筑混凝土时,时刻对模板支架架体形态进行识别,判断模板支架的横向形变是否超过预设的预警值,若是,则进行预警;
当模板支架上存在人或者机械走动时,时刻对模板支架架体形态进行识别,判断模板支架的横向形变是否超过预设的预警值,若是,则进行预警。
进一步的,在S300后,还包括:
S400、若风险撞击到了模板支架,则优先判断发生撞击的单元中,是否发生了横向形变,若是,则进行警报。
进一步的,风险包括:工地车辆和被吊机吊住的重物。
本发明的有益效果:
本发明针对施工过程中模板支架安全风险识别问题,通过将工程施工中的具体问题抽象为实验室方法进行研究,利用深度学习和计算机视觉技术实现了一种模板支架安全监测的方法。在具体研究中,将技术手段拆解为潜在风险识别、风险源跟踪、架体形变监测划分三个部分,其中风险识别部分准确率高达98.15%,风险跟踪及模板支架形变监测方面也克服了复杂背景因素的影响,取得了较为准确的跟踪与识别效果。
通过上述分析模块,本发明利用深度学习技术将施工现场所使用的各类运输车辆、塔吊等机械设备进行学习,然后利用计算机视觉技术,将施工现场监控摄像头传输回来的实时图像进行识别,对移动物体的速度和与模板支架之间的距离进行实时分析,判断是否有发生碰撞的可能,若有则进行提前预警并通知施工人员,可避免由于模板支架部分被撞击而连带其余部分发生连续倒塌的事故发生。同时,对于模板支架架体本身的形变进行实时监控,当架体整体或规定的关键杆件达到一定变形值时,则进行警报,以便于施工人员的及时调整,保证施工的安全。可解决由于模板支架一旦发生,则会连带其上混凝土主体结构(如桥梁主体,隧道混凝土衬砌或楼房楼板、墙体等)迅速倒塌的问题,保证土木工程施工过程中人员生命和财产安全。
附图说明
图1为视觉传感器视野;
图2为图像识别流程图;
图3为ResNet模型训练流程图。
具体实施方式
下面的参照附图将更详细地描述本发明的具体实施例。虽然附图中显示了本发明的具体实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。
需要说明的是,在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可以理解,技术人员可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名词的差异作为区分组件的方式,而是以组件在功能上的差异作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”或“包括”为一开放式用语,故应解释成“包含但不限定于”。说明书后续描述为实施本发明的较佳实施方式,然所述描述乃以说明书的一般原则为目的,并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。
本发明将利用计算机视觉与深度学习技术研究自动识别、划分模板支架位置区域,识别塔吊提取的建筑材料、塔吊行为,实时跟踪吊起物体位置,分析其行为对模板支架的安全影响。
参照图1-图3所示,基于深度学习的模板支架安全监测方法,所述基于深度学习的模板支架安全监测方法包括以下步骤:
S000、得到训练好的ResNet50权重参数;
S100、基于所述训练好的ResNet50权重参数,通过对多类型重物识别、施工现场车辆行驶、人员施工信息进行深度学习,实现靠近模板支架的风险识别,同时用力传感器测量待吊重物的重量信息;同时对模板支架架体形态进行识别,判断支架是否有倒塌风险;
S200、通过在需要监控的模板支架附近布置视觉传感器,经过预处理,将所述视觉传感器视野内的模板支架位置划分成若干单元,若有风险出现在视野中时,系统将立即识别并判断其所处位置,结合风险信息判断所述风险对模板支架安全是否会造成影响;
S300、在风险靠近阶段,通过目标跟踪技术与背景分割技术,实时跟踪所述风险所处位置,判断所述风险即将进入模板支架的区域位置,对不安全行为及时做出预警,同时判断潜在风险的运动轨迹是否正确。
具体的,参照图2所示,本发明通过实现多类型重物识别、目标跟踪与区域定位、模板支架区域划分三个部分内容,利用视觉传感器与计算机识别并跟踪不同种类重物到达模板支架位置区域,对其安全风险做出实时评估,降低施工安全风险。
针对传统机器学习在工程风险监测方面的性能不足、人工提取特征的复杂性高、以及常规深度学习在网络深度较大时会出现网络退化等缺点,本发明提出了基于深度学习的模板支架安全监测方法。该模型主要分为源数据的预训练、迁移学习、目标数据的微调训练、模型性能的检验等内容,模型流程图如图3所示。
本发明是使用Resnet50函数加载。
本模型采用基于现代卷积神经网络的图像类别分类方法,其优点是完全自主学习性。流程是首先是输入的图片(Image),经过一层卷积层(Convolution),然后在用池化(Pooling)方式处理卷积的信息(比如使用Max Pooling的方式),在经过一次同样的处理,把得到的第二次处理的信息传入两层全连接的神经层(Fully Connected),这也是一般的两层神经网络层。
在S100中,对模板支架架体形态进行识别,具体包括模板支架的倾角是否在正常范围内,以及模板支架架体本身是否发生形变。对于模板支架架体本身的形变进行实时监控,当架体整体或规定的关键杆件达到一定变形值时,则进行警报,以便于施工人员的及时调整,保证施工的安全。可解决由于模板支架一旦发生形变,则会连带其上混凝土主体结构(如桥梁主体,隧道混凝土衬砌或楼房楼板、墙体等)迅速倒塌的问题,保证土木工程施工过程中人员生命和财产安全。
对于模板支架架体形态进行识别,在后续步骤中也持续进行。
进一步的,在S000中,具体包括以下步骤:
S010、从各种视频中提取多类重物图片,对图片进行预处理,将经过预处理的图片的分辨率统一降为512×512像素,作为待分类数据;
S020、将待分类数据进行手动分类,放在不同的文件夹中;
S030、对分类好的数据进行数据增强,以此增加图像数据量及增强模型的鲁棒性;
S040、将经过数据增强和数据扩充的数据输入卷积神经网络CNN,对卷积神经网络CNN进行训练,得到训练好的ResNet50权重参数。
进一步的,在S030中,具体的,数据增强的方式为:水平随机翻转图像和相关的框标签、随机缩放图像以及相关的框标签、抖动图像颜色。
进一步的,在S040中,具体包括以下步骤:
S041、建立基于ResNet的图像识别模型框架:
在输入数据前对图像进行预处理,将图像数据裁剪为指定尺寸224*224*3格式,图像经过残差块的不断卷积操作,图像像素矩阵的通道数Channel越来越深,再经过扁平层Flatten,将图像像素矩阵尺寸变成batch_size*2048,最后输入全连接层FC中,经softmax层输出对应类别概率;
S042、对ResNet网络模型进行训练:
将图像按照8:2的数量比随机划分为训练集和验证集,训练集用于训练模型,验证集用于评估模型训练结果,使用ResNet50预训练权重为初始权重,将数据集输入ResNet进行训练。
超参数设置:学习率为0.001;优化方法使用Adam方法,batch_size的大小为32;损失函数为交叉熵损失函数,
其中,Adam优化器更新规则为:
计算t时间步的梯度gt
Figure BDA0003657228550000091
首先,计算梯度的指数移动平均数,m0初始化为0,β1系数为指数衰减率,控制权重分配,通常取接近于1的值,默认为0.9,
mt=β1mt-1+(1-β1)gt
其次,计算梯度平方的指数移动平均数,v0初始化为0,β2系数为指数衰减率,控制之前的梯度平方的影响情况,默认为0.999,
Figure BDA0003657228550000092
第三,对梯度均值mt进行偏差纠正,
Figure BDA0003657228550000101
第四,与m0类似,因为v0初始化为0导致训练初始阶段vt偏向0,对其进行纠正。
Figure BDA0003657228550000102
第七,更新参数,初始的学习率α乘以梯度均值与梯度方差的平方根之比,其中默认学习率α=0.001,ε=10^-8,避免除数变为0,
Figure BDA0003657228550000103
S043、得到训练结果:
训练后应用所得权重对重物进行识别,当次结果平均精确率为:98.15%。
在现实施工项目中,塔吊处于十分复杂的视觉背景环境中,传统的目标跟踪技术(如KCF)往往不能达到很好的使用效果。因此,分割塔吊与施工背景非常有必要,通过背景分割,去除与塔吊运动无关的背景可使得目标跟踪更为准确且有实用价值。通过使用目标跟踪技术,可实时识别和跟踪吊钩和重物位置,结合异常检测技术判断塔吊运行轨迹是否正确、重物是否脱落以及重物有无脱落风险等。
基于模型密度评估的背景提取算法原理是先进行模型密度评估,然后在像素级对图像进行前景与背景分类的方法,它们具有相同的假设前提——各个像素之间是没有相关性的,跟它们算法思想不同的方法主要是基于马尔可夫随机场理论,认为每个像素跟周围的像素是有相关性关系,但是基于马尔可夫随机场的方法速度与执行效率都堪忧!所以OpenCV中没有实现。
K-Nearest(KNN)对应的算法可用来计算背景分割。OpenCV提供了一个称为BackgroundSubtractor的类,在分割前景和背景时很方便,它是一个功能很全的类,不仅执行背景分割,而且能够提高背景检测的效果,并提供将分类结果保存到文件的功能。
为保证数据的真实有效,本发明将施工工作中具体问题抽象出来,选择了具有复杂背景的视角,通过微单数码相机(f=15mm)拍摄了一组塔吊的运动视频。视频内容包括塔吊的水平方向旋转、吊钩的水平方向运动和吊钩的铅锤方向运动。
进一步的,在S300中,具体包括以下步骤:
S310、计算前景掩码:使用OpenCV提供的背景分割器BackgroundSubtractorKNN计算前景掩码;
S320、二值化处理:在S310中计算得到的前景掩码含有前景的白色值以及阴影的灰色值,将所述前景掩码二值化,即将非纯白色的所有像素点均设置为纯白色;
S330、目标跟踪:使用基本的目标跟踪算法检测运动中物体的轮廓,并在原始帧上绘制检测结果。
具体的,根据运行结果,使用背景分割算法的目标跟踪相比于传统目标跟踪在效果上具有十分明显的优势,改善了传统跟踪算法在复杂背景下无法准确跟踪的弊端,准确自动识别并跟踪运行中的塔吊及调取材料的位置。
模板支架上的荷载分布往往会严重影响到其安全性,因此判断荷载位置对于模板支架安全检测和评估有着极其重要的作用,通过对模板支架区域进行识别和标定,利用图像识别与目标检测技术识别重物荷载类型和即将作用在模板支架上的位置,并结合力传感器数据得到荷载大小,在材料落地前判断是否存在安全风险(局部屈曲、倒塌等)。
图像阈值化分割是一种最常用,同时也是最简单的图像分割方法,它特别适用于目标和背景占据不同灰度级范围的图像。它不仅可以极大的压缩数据量,而且也大大简化了分析和处理步骤,因此在很多情况下,是进行图像分析、特征提取与模式识别之前的必要的图像预处理过程。图像阈值化的目的是要按照灰度级,对像素集合进行一个划分,得到的每个子集形成一个与现实景物相对应的区域,各个区域内部具有一致的属性,而相邻区域布局有这种一致属性。这样的划分可以通过从灰度级出发选取一个或多个阈值来实现。OTSU算法是由日本学者OTSU于1979年提出的一种对图像进行二值化的高效算法,是一种自适应的阈值确定的方法,又称大津阈值分割法,是最小二乘法意义下的最优分割。
图像滤波,即在尽量保留图像细节特征的条件下对目标图像的噪声进行抑制,是图像预处理中不可缺少的操作,其处理效果的好坏将直接影响到后续图像处理和分析的有效性和可靠性。由于成像系统、传输介质和记录设备等的不完善,数字图像在其形成、传输记录过程中往往会受到多种噪声的污染。另外,在图像处理的某些环节当输入的像对象并不如预想时也会在结果图像中引入噪声。这些噪声在图像上常表现为一引起较强视觉效果的孤立像素点或像素块。一般,噪声信号与要研究的对象不相关它以无用的信息形式出现,扰乱图像的可观测信息。对于数字图像信号,噪声表为或大或小的极值,这些极值通过加减作用于图像像素的真实灰度值上,对图像造成亮、暗点干扰,极大降低了图像质量,影响图像复原、分割、特征提取、图像识别等后继工作的进行。要构造一种有效抑制噪声的滤波器必须考虑两个基本问题:能有效地去除目标和背景中的噪声;同时,能很好地保护图像目标的形状、大小及特定的几何和拓扑结构特征。
为保证结果真实有效,本发明采用通过相机设备拍摄得到的施工现场模板支架实际图像视频数据。
进一步的,在S200和S300间,还包括S250、对模板支架区域位置进行标定,具体包括以下步骤:
S251、通过相机设备拍摄得到的施工现场模板支架实际图像视频数据;
S252、对模板支架区域进行划分,具体的:
进行阈值分割:使用背景分割算法通过任意选取一个阈值t将图像分为前景和背景两部分,前景像素点占图像的比例为W0、均值为U0,背景像素点占图像的比例为W1、均值为U1,图像整体的均值为U=W0*U0+W1*U1,建立目标函数g(t)=W0*(U0-U)^2+W1*(U1-U)^2,g(t)即为当分割阈值为t时的类间方差,Otsu算法使得g(t)最大时所对应的t为最佳阈值;
进行图像滤波:对阈值分割后的结果进行滤波处理,消除不必要噪点;
进行投影划分区域:对滤波处理后的图像分别进行水平和垂直方向的投影,根据其结果图像,以每个已规定长度的区间内波峰位置为目标点,得知相机视野中的模板支架分为5*5的区域。
进一步的,在S100中,具体包括以下情况:
将待吊重物的重量信息和模板支架的承载标准进行对比,判断待吊重物是否可以上模板支架,若是,则正常执行该动作;否则,对此行为进行预警;
当待吊重物放置在模板支架上时,对模板支架架体形态进行识别,判断模板支架的横向形变是否超过预设的预警值,若是,则对此放置行为进行预警;
当在模板支架上浇筑混凝土时,时刻对模板支架架体形态进行识别,判断模板支架的横向形变是否超过预设的预警值,若是,则进行预警;
当模板支架上存在人或者机械走动时,时刻对模板支架架体形态进行识别,判断模板支架的横向形变是否超过预设的预警值,若是,则进行预警。
进一步的,在S300后,还包括:
S400、若风险撞击到了模板支架,则优先判断发生撞击的单元中,是否发生了横向形变,若是,则进行警报。
进一步的,风险包括:工地车辆和被吊机吊住的重物。
具体的,在混凝土的浇筑过程中,模板支架上的混凝土可能存在重量不均匀的情况,又或者人员、机械在上面来回走动,也会造成了模板支架上重量不均匀。会造成某些杆件儿的受力增大,某些杆件的受力减小。传统的检测过程使用的是应变计或者位移计来监测杆件的形变。在本发明中,使用了计算机视觉来代替传统技术,现实应用本方法时,需要根据模板支架的情况限定安全形变范围,比如限定了安全形变范围为3mm,只要检测到杆件的形变超过了3mm,那么就判定其是危险的,需要进行预警。

Claims (9)

1.基于深度学习的模板支架安全监测方法,其特征在于,所述基于深度学习的模板支架安全监测方法包括以下步骤:
S000、得到训练好的ResNet50权重参数;
S100、基于所述训练好的ResNet50权重参数,通过对多类型重物识别、施工现场车辆行驶、人员施工信息进行深度学习,实现靠近模板支架的风险识别,同时用力传感器测量待吊重物的重量信息;同时对模板支架架体形态进行识别,判断支架是否有倒塌风险;
S200、通过在需要监控的模板支架附近布置视觉传感器,经过预处理,将所述视觉传感器视野内的模板支架位置划分成若干单元,若有风险出现在视野中时,系统将立即识别并判断其所处位置,结合风险信息判断所述风险对模板支架安全是否会造成影响;
S300、在风险靠近阶段,通过目标跟踪技术与背景分割技术,实时跟踪所述风险所处位置,判断所述风险即将进入模板支架的区域位置,对不安全行为及时做出预警,同时判断潜在风险的运动轨迹是否正确。
2.根据权利要求1所述的基于深度学习的模板支架安全智能监测方法,其特征在于,在S000中,具体包括以下步骤:
S010、从各种视频中提取多类重物图片,对图片进行预处理,将经过预处理的图片的分辨率统一降为512×512像素,作为待分类数据;
S020、将待分类数据进行手动分类,放在不同的文件夹中;
S030、对分类好的数据进行数据增强,以此增加图像数据量及增强模型的鲁棒性;
S040、将经过数据增强和数据扩充的数据输入卷积神经网络CNN,对卷积神经网络CNN进行训练,得到训练好的ResNet50权重参数。
3.根据权利要求2所述的基于深度学习的模板支架安全智能监测方法,其特征在于,在S030中,具体的,数据增强的方式为:水平随机翻转图像和相关的框标签、随机缩放图像以及相关的框标签、抖动图像颜色。
4.根据权利要求2所述的基于深度学习的模板支架安全智能监测方法,其特征在于,在S040中,具体包括以下步骤:
S041、建立基于ResNet的图像识别模型框架:
ResNet50结构中包含跨层连接,它通过快捷连接shortcut将输入跨层传递,然后与经过卷积后的输出相加,达到充分训练底层网络的效果,使正确率随着深度的增加得到显著提升。由于Resnet50神经网络输入数据的尺寸为224*224*3,所以需要在输入数据前对图像进行预处理,将图像数据裁剪为指定尺寸224*224*3格式。图像经过残差块的不断卷积操作,图像像素矩阵的通道数Channel越来越深,再经过扁平层Flatten,将图像像素矩阵尺寸变成batch_size*2048,最后输入全连接层FC中,经softmax层输出对应类别概率;
S042、对ResNet网络模型进行训练:
将图像按照8:2的数量比随机划分为训练集和验证集,训练集用于训练模型,验证集用于评估模型训练结果,使用ResNet50预训练权重为初始权重,将数据集输入ResNet进行训练。
超参数设置:学习率为0.001;优化方法使用Adam方法,batch_size的大小为32;损失函数为交叉熵损失函数(CrossEntropyLoss),
Adam优化器主要包含以下几个显著的优点:a.实现简单,计算高效,对内存需求少;b.参数的更新不受梯度的伸缩变换影响;c.超参数具有很好的解释性,且通常无需调整或仅需很少的微调;d.更新的步长能够被限制在大致的范围内(初始学习率);e.能自然地实现步长退火过程(自动调整学习率);f.很适合应用于大规模的数据及参数的场景;g.适用于不稳定目标函数;h.适用于梯度稀疏或梯度存在很大噪声的问题。
其中,Adam优化器更新规则为:
计算t时间步的梯度gt
gt=▽θJ(θt-1)
首先,计算梯度的指数移动平均数,m0初始化为0,β1系数为指数衰减率,控制权重分配(动量与当前梯度),通常取接近于1的值,默认为0.9,
mt=β1mt-1+(1-β1)gt
其次,计算梯度平方的指数移动平均数,v0初始化为0,β2系数为指数衰减率,控制之前的梯度平方的影响情况,默认为0.999,
Figure FDA0003657228540000031
第三,由于m0初始化为0,会导致mt偏向于0,尤其在训练初期阶段。所以,此处需要对梯度均值mt进行偏差纠正,降低偏差对训练初期的影响,
Figure FDA0003657228540000032
第四,与m0类似,因为v0初始化为0导致训练初始阶段vt偏向0,对其进行纠正。
Figure FDA0003657228540000033
第五,更新参数,初始的学习率α乘以梯度均值与梯度方差的平方根之比,其中默认学习率α=0.001,ε=10^-8,避免除数变为0,
Figure FDA0003657228540000034
S043、得到训练结果:
训练后应用所得权重对重物进行识别,当次结果平均精确率为:98.15%。
5.根据权利要求1所述的基于深度学习的模板支架安全智能监测方法,其特征在于,在S300中,具体包括以下步骤:
S310、计算前景掩码:使用OpenCV提供的背景分割器BackgroundSubtractorKNN计算前景掩码;
S320、二值化处理:在S310中计算得到的前景掩码含有前景的白色值以及阴影的灰色值,将所述前景掩码二值化,即将非纯白色的所有像素点均设置为纯白色;
S330、目标跟踪:使用基本的目标跟踪算法检测运动中物体的轮廓,并在原始帧上绘制检测结果。
6.根据权利要求1所述的基于深度学习的模板支架安全智能监测方法,其特征在于,在S200和S300间,还包括S250、对模板支架区域位置进行标定,具体包括以下步骤:
S251、通过相机设备拍摄得到的施工现场模板支架实际图像视频数据;
S252、对模板支架区域进行划分,具体的:
进行阈值分割:使用背景分割算法通过任意选取一个阈值t将图像分为前景和背景两部分,前景像素点占图像的比例为W0、均值为U0,背景像素点占图像的比例为W1、均值为U1,图像整体的均值为U=W0*U0+W1*U1,建立目标函数g(t)=W0*(U0-U)^2+W1*(U1-U)^2,g(t)即为当分割阈值为t时的类间方差,Otsu算法使得g(t)最大时所对应的t为最佳阈值;
进行图像滤波:对阈值分割后的结果进行滤波处理,消除不必要噪点;
进行投影划分区域:对滤波处理后的图像分别进行水平和垂直方向的投影,根据其结果图像,以每个已规定长度的区间内波峰位置为目标点,得知相机视野中的模板支架分为5*5的区域。
7.根据权利要求1所述的基于深度学习的模板支架安全智能监测方法,其特征在于,在S100中,具体包括以下情况:
将待吊重物的重量信息和模板支架的承载标准进行对比,判断所述待吊重物是否可以上模板支架,若是,则正常执行该动作;否则,对此行为进行预警;
当待吊重物放置在模板支架上时,对模板支架架体形态进行识别,判断模板支架的横向形变是否超过预设的预警值,若是,则对此放置行为进行预警;
当在模板支架上浇筑混凝土时,时刻对模板支架架体形态进行识别,判断模板支架的横向形变是否超过预设的预警值,若是,则进行预警;
当模板支架上存在人或者机械走动时,时刻对模板支架架体形态进行识别,判断模板支架的横向形变是否超过预设的预警值,若是,则进行预警。
8.根据权利要求1所述的基于深度学习的模板支架安全智能监测方法,其特征在于,在S300后,还包括:
S400、若所述风险撞击到了模板支架,则优先判断发生撞击的单元中,是否发生了横向形变,若是,则进行警报。
9.根据权利要求8所述的基于深度学习的模板支架安全智能监测方法,其特征在于,所述风险包括:工地车辆和被吊机吊住的重物。
CN202210562653.3A 2022-05-23 2022-05-23 基于深度学习的模板支架安全智能监测方法 Active CN115082849B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210562653.3A CN115082849B (zh) 2022-05-23 2022-05-23 基于深度学习的模板支架安全智能监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210562653.3A CN115082849B (zh) 2022-05-23 2022-05-23 基于深度学习的模板支架安全智能监测方法

Publications (2)

Publication Number Publication Date
CN115082849A true CN115082849A (zh) 2022-09-20
CN115082849B CN115082849B (zh) 2023-05-09

Family

ID=83249336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210562653.3A Active CN115082849B (zh) 2022-05-23 2022-05-23 基于深度学习的模板支架安全智能监测方法

Country Status (1)

Country Link
CN (1) CN115082849B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342473A (zh) * 2022-12-27 2023-06-27 中建三局城建有限公司 一种基于计算机视觉的全装配式地铁车站大型预制构件吊装安全监测方法
CN116576793A (zh) * 2023-07-14 2023-08-11 北京住总基础设施建设集团有限责任公司 一种箱梁模板支架施工的管控系统及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016056006A (ja) * 2014-09-11 2016-04-21 古河ユニック株式会社 作業機用ブーム衝突回避装置
CN109657575A (zh) * 2018-12-05 2019-04-19 国网安徽省电力有限公司检修分公司 室外施工人员智能视频跟踪算法
CN109672863A (zh) * 2018-12-24 2019-04-23 海安常州大学高新技术研发中心 一种基于图像识别的施工人员安全装备智能监测方法
CN110602449A (zh) * 2019-09-01 2019-12-20 天津大学 一种基于视觉的大场景下施工安全智能监控系统方法
CN111383253A (zh) * 2020-03-03 2020-07-07 清华大学 一种针对施工现场起重机械打击事故预警系统
US20200386605A1 (en) * 2017-05-30 2020-12-10 Versatile Natures Ltd. Method for tracking lifting events at a construction site
US20210109497A1 (en) * 2018-01-29 2021-04-15 indus.ai Inc. Identifying and monitoring productivity, health, and safety risks in industrial sites
CN113761264A (zh) * 2021-08-02 2021-12-07 深圳大学 基础设施建设移动式智能巡查装备及智能管理方法
CN113911915A (zh) * 2021-09-13 2022-01-11 杭州大杰智能传动科技有限公司 用于智能塔吊起升异常状态感知的传感物联网系统和方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016056006A (ja) * 2014-09-11 2016-04-21 古河ユニック株式会社 作業機用ブーム衝突回避装置
US20200386605A1 (en) * 2017-05-30 2020-12-10 Versatile Natures Ltd. Method for tracking lifting events at a construction site
US20210109497A1 (en) * 2018-01-29 2021-04-15 indus.ai Inc. Identifying and monitoring productivity, health, and safety risks in industrial sites
CN109657575A (zh) * 2018-12-05 2019-04-19 国网安徽省电力有限公司检修分公司 室外施工人员智能视频跟踪算法
CN109672863A (zh) * 2018-12-24 2019-04-23 海安常州大学高新技术研发中心 一种基于图像识别的施工人员安全装备智能监测方法
CN110602449A (zh) * 2019-09-01 2019-12-20 天津大学 一种基于视觉的大场景下施工安全智能监控系统方法
CN111383253A (zh) * 2020-03-03 2020-07-07 清华大学 一种针对施工现场起重机械打击事故预警系统
CN113761264A (zh) * 2021-08-02 2021-12-07 深圳大学 基础设施建设移动式智能巡查装备及智能管理方法
CN113911915A (zh) * 2021-09-13 2022-01-11 杭州大杰智能传动科技有限公司 用于智能塔吊起升异常状态感知的传感物联网系统和方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JUNQI ZHAO ETC.: "Applying Incremental Deep Neural Networks-based Posture Recognition Model for Injury Risk Assessment in Construction" *
周继忠;蔡雪峰;: "扣件式钢管脚手架施工安全风险识别与应对" *
陈鹏;汪本康;高飒;童小华;卢文胜;徐胜华;: "利用ResNet进行建筑物倒塌评估" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116342473A (zh) * 2022-12-27 2023-06-27 中建三局城建有限公司 一种基于计算机视觉的全装配式地铁车站大型预制构件吊装安全监测方法
CN116576793A (zh) * 2023-07-14 2023-08-11 北京住总基础设施建设集团有限责任公司 一种箱梁模板支架施工的管控系统及方法
CN116576793B (zh) * 2023-07-14 2023-10-03 北京住总基础设施建设集团有限责任公司 一种箱梁模板支架施工的管控系统及方法

Also Published As

Publication number Publication date
CN115082849B (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
Flah et al. Classification and quantification of cracks in concrete structures using deep learning image-based techniques
CN113409314B (zh) 高空钢结构腐蚀的无人机视觉检测与评价方法及系统
CN115082849A (zh) 基于深度学习的模板支架安全智能监测方法
CN110334750B (zh) 输电线路铁塔螺栓锈蚀程度图像分类识别方法
CN109993742B (zh) 基于对角导数算子的桥梁裂缝快速识别方法
KR102660837B1 (ko) 딥러닝 기반 경사지 균열 감지 방법과 이를 이용한 산사태 조기 감지 방법 및 그 장치
CN114998852A (zh) 一种基于深度学习的公路路面病害智能检测方法
CN113379712B (zh) 一种基于计算机视觉的钢桥螺栓病害检测方法及系统
CN111626169B (zh) 一种基于图像的铁路危险落石尺寸判断方法
CN108154498A (zh) 一种裂缝缺陷检测系统及其实现方法
CN114705689A (zh) 一种基于无人机的建筑物外立面裂缝检测方法及系统
CN111507971A (zh) 一种隧道表面缺陷检测方法
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
CN111626170A (zh) 一种铁路边坡落石侵限检测的图像识别方法
CN113989257A (zh) 基于人工智能技术的电力综合管廊沉降裂缝识别方法
CN111539927B (zh) 汽车塑料组合件紧固卡扣缺装检测装置的检测方法
CN105868734A (zh) 基于bow图像表征模型的输电线路大型施工车辆识别方法
CN117132947B (zh) 基于监控视频的危险区域人员识别方法
CN114689600A (zh) 一种桥梁混凝土结构表面裂缝检测方法及系统
CN113379737A (zh) 基于图像处理及深度学习的管道缺陷智能检测方法及应用
CN115082850A (zh) 基于计算机视觉的模板支架安全风险识别方法
CN117610375A (zh) 基于机器视觉的桥梁悬浇施工数字孪生方法、装置和设备
CN116524017A (zh) 一种用于矿山井下检测识别定位系统
CN112329858B (zh) 一种铁路动车防松铁丝折断故障图像识别方法
CN117875549A (zh) 一种基于图像识别的建筑遗产保护评估系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240709

Address after: No.368, Changjiang Road, Nangang District, Harbin City, Heilongjiang Province

Patentee after: LONGJIAN ROAD & BRIDGE Co.,Ltd.

Country or region after: China

Address before: 150001 No. 92 West straight street, Nangang District, Heilongjiang, Harbin

Patentee before: HARBIN INSTITUTE OF TECHNOLOGY

Country or region before: China

TR01 Transfer of patent right