CN116342473A - 一种基于计算机视觉的全装配式地铁车站大型预制构件吊装安全监测方法 - Google Patents

一种基于计算机视觉的全装配式地铁车站大型预制构件吊装安全监测方法 Download PDF

Info

Publication number
CN116342473A
CN116342473A CN202211683440.2A CN202211683440A CN116342473A CN 116342473 A CN116342473 A CN 116342473A CN 202211683440 A CN202211683440 A CN 202211683440A CN 116342473 A CN116342473 A CN 116342473A
Authority
CN
China
Prior art keywords
computer vision
data
image
subway station
assembled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211683440.2A
Other languages
English (en)
Inventor
郭海洋
吴宁
刘鹏
杨康健
王晓隆
衣旭
金辉
王维臣
刘昌永
葛荣荣
郭莹
张贺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China State Railway Investment Construction Group Co Ltd
China Construction Third Bureau Urban Construction Co Ltd
Original Assignee
China State Railway Investment Construction Group Co Ltd
China Construction Third Bureau Urban Construction Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China State Railway Investment Construction Group Co Ltd, China Construction Third Bureau Urban Construction Co Ltd filed Critical China State Railway Investment Construction Group Co Ltd
Priority to CN202211683440.2A priority Critical patent/CN116342473A/zh
Publication of CN116342473A publication Critical patent/CN116342473A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于计算机视觉的全装配式地铁车站大型预制构件吊装安全监测方法，属于地铁构件吊装技术领域。为解决现有地铁预制构件安装时，若摆放位置不对或吊起目标脱落，易造成已装配预制构件的屈曲或坍塌，缺少吊装监测方法降低安全风险的问题。利用计算机视觉与人工智能技术，将技术手段拆解为重物识别、重物跟踪、已装配预制构件区域划分三个部分，根据多次试验结果可知，重物识别部分平均准确率高达98.15％，重物跟踪及已装配预制构件区域划分方面也克服了复杂背景因素的影响，取得了较为准确的跟踪与识别效果；可判断材料的吊放位置，一旦发现存在安全风险，能够在材料落地前提醒塔吊操作员以及时终止操作，从而保证安全。

Description

一种基于计算机视觉的全装配式地铁车站大型预制构件吊装 安全监测方法
技术领域
本发明涉及地铁构件吊装技术领域，具体而言，涉及一种基于计算机视觉的全装配式地铁车站大型预制构件吊装安全监测方法。
背景技术
建筑业作为世界上最大的工业部门之一，在施工过程当中仍面临多种风险的威胁，因此风险识别十分重要。而目前依赖人工观察的方法仍然是监测施工生产力和现场安全的主要手段。随着计算机视觉与人工智能技术的发展，自动识别与评价的方法已成为研究界的重要方向并逐渐应用到各行各业。摄像机已成为建筑工地的标准设备，施工现场的实时监控数据包含有关项目进度和活动的重要视觉信息，对施工现场的风险自动识别有着极大的帮助。
地铁车站站台多为钢筋混凝土结构，通常采用现场浇筑的方式进行施工，由于站台的结构特点以及面积较大，模具的安装和拆除均比较困难，导致建设效率低，施工周期长，并且，存在资源和能源消耗较大、建筑垃圾量大等问题。为了提高施工质量和效率，减少环境污染，近年来，装配式地铁车站得到了广泛应用。
而在预制构件拼装过程中常常伴随着众多施工风险，因此风险识别工作在工程安全管理中属于极其重要的一环，而某一风险常常是由多个至灾因子耦合作用导致。在吊装预制构件时，即重物，需要通过吊塔将建材摆放至相应的位置上进行拼合，一般是从一环的底部构件开始，再对两侧以及顶部的构件进行拼合，完成一环后继续下一环的装配。而地铁构件体积和重量均较大，若地铁构件吊装时由于摆放位置不对或吊起目标脱落时，会导致构件发生屈曲或拼装后的构件发生坍塌，造成安全事故，而现有地铁构架吊装时并没有对吊装过程中的监测方法，存在安全风险，若出现坍塌则易造成人员伤亡。
发明内容
本发明要解决的技术问题是：
为了解决现有地铁预制构件安装时，若地铁构件吊装时由于摆放位置不对或吊起目标脱落，则容易造成已拼合后的构件发生屈曲或坍塌，缺少吊装监测方法来降低安全风险的问题。
本发明为解决上述技术问题所采用的技术方案：
本发明提供了一种基于计算机视觉的全装配式地铁车站大型预制构件吊装安全监测方法，包括以下步骤：
步骤一，多类型重物识别，包括重物类型、重物体积和重物重量，基于现代卷积神经网络的图像类别分类方法进行自主学习，使用Resnet50函数加载，包括对多类型重物进行图像采集并进行统一预处理，对处理后的多类型重物分类，再通过使用数据扩充，增加训练数据大小，获得数据增强，进而得到多类型重物识别数据库；
步骤二，吊塔识别与区域定位，利用K-Nearest对应的算法可用来计算背景分割，基于步骤一中的多类型重物识别数据库的数据，对吊塔吊装过程中的重物进行追踪；
步骤三，已装配预制构件区域划分，利用图像识别与目标检测技术识别重物荷载类型和即将作用在已装配预制构件上的位置，并结合力传感器数据得到荷载大小，在重物落在已装配预制构件前判断是否存在安全风险。
进一步地，步骤一中，包括以下步骤：
1、从采集到的视频中提取多类型重物的图像信息，将采集到的所有图片统一像素，并将不同类型的重物图片分类放入不同的文件夹中，得到多个数据集，每个文件夹为一个类型重物的数据集；
2、将步骤①中的每个数据集中的每个图片进行随机水平翻转图像和相关的框标签、随机缩放图像和相关的框标签以及抖动图像颜色，进而增加训练数据大小，用于对数据进行增强，获取相应的数据集；
3、将步骤②中每个数据集的图片数量统一并随机分割成训练集和验证集，一次性输入每个数据集中训练集的每个图片，进行卷积神经网络模型进行处理，再利用验证集测试多类型重物识别的精确率。
进一步地，步骤一③中，卷积神经网络模型的处理方法为，输入训练集中的图片，经过一层卷积层，然后再用池化方式处理卷积的信息，重复上述操作后把得到的第二次处理的信息传入两层全连接的神经层。
进一步地，卷积层计算：
Figure BDA0004019841570000021
池化层计算：
Figure BDA0004019841570000022
式中：
NJ－卷积层数；
Nc－池化层数；
W－矩阵大小；
F－卷积核个数；
S－步长；
P－填充。
进一步地，输入层是112×1的列向量，每个分量的值为0或1，对于每个子单元，有224×224像素和3个频道；然后进入第一个卷积层，卷积核的大小为7×7，卷积核的个数为64，步长为2，填充为3。
进一步地，每个集合中选取60％的图片作为训练数据，其余40％的图片作为验证数据。
进一步地，步骤二的具体步骤为：
①、计算前景掩码，使用OpenCV提供的背景分割器BackgroundSubtractorKNN计算前景掩码；
②、二值化处理，在步骤①中计算得到的前景掩码含有前景的白色值以及阴影的灰色值，在此将其二值化，即将非纯白色的所有像素点均设置为纯白色；
③、目标跟踪，使用基本的目标跟踪算法检测运动中物体的轮廓，并在原始帧上绘制检测结果。
进一步地，步骤三的已装配预制构件区域划分包括以下步骤：
1、阈值分割，通过若干个图像采集设备对施工现场的已装配预制构件采集实际图像信息数据，通过对任意选取一个阈值t将图像分为两部分，前景像素点占图像的比例为W0、均值为U0，背景像素点占图像的比例为W1、均值为U1，图像整体的均值为U＝W0*U0+W1*U1，建立目标函数g(t)＝W0*(U0-U)2+W1*(U1-U)2，g(t)即为当分割阈值为t时的类间方差，Otsu算法使得g(t)最大时所对应的t为最佳阈值；
2、图像滤波，对阈值分割后的结果进行滤波处理，选取噪点相对较少且图像相对清晰的模糊滤波值；
3、投影划分区域，对滤波处理后的图像分别进行水平和垂直方向的投影，根据其结果图像，以每个已规定长度的区间内波峰位置为目标点划分区域。
进一步地，步骤一①和步骤三①中利用微单数码相机采集图像信息，包括塔吊的水平方向旋转、吊钩的水平方向运动和吊钩的铅锤方向运动。
进一步地，步骤三①中的每个相机视野中已装配预制构件可分为5*5的区域。
相较于现有技术，本发明的有益效果是：
本发明一种基于计算机视觉的全装配式地铁车站大型预制构件吊装安全监测方法，利用计算机视觉与人工智能技术，将技术手段拆解为重物识别、重物跟踪、已装配预制构件区域划分三个部分，根据多次试验结果可知，重物识别部分平均准确率高达98.15％，重物跟踪及已装配预制构件区域划分方面也克服了复杂背景因素的影响，取得了较为准确的跟踪与识别效果。
通过上述分析模块，本方案可以通过及时发现致灾因子，根据风险类别与分级，在致灾因子组合会触发某一风险时，及时发出危险警报和报告风险源，并构建出已装配预制构件施工安全风险分析框架：基于工地现场视觉监测系统，通过重物识别功能准确识别用于塔吊起重的重物种类和体积，进而通过后台程序估算吊起重物的大致重量；通过重物跟踪监视塔吊行为，从而判断材料的吊放位置，再通过已装配预制构件区域识别提前识别吊放位置处已装配预制构件的结构形式；后台根据材料重量估算情况和已装配预制构件设计模型估算材料放置在已装配预制构件上后已装配预制构件的安全情况，一旦发现存在安全风险(局部屈曲、倒塌等)能够在材料落地前提醒塔吊操作员以及时终止操作，从而保证已装配预制构件安全。
附图说明
图1为本发明实施例中一种基于计算机视觉的全装配式地铁车站大型预制构件吊装安全监测方法的流程图；
图2为本发明实施例中目标追踪的原理示意图；
图3为本发明实施例中吊钩水平运动时的目标追踪结果示意图；
图4本发明现场施工时的目标追踪图一；
图5本发明现场施工时的目标追踪图二；
图6本发明现场施工时的目标追踪图三；
图7本发明现场施工时的目标追踪图四。
具体实施方式
在本发明的描述中，应当说明的是，各实施例中的术语名词例如“上”、“下”、“前”、“后”、“左”、“右”等指示方位的词语，只是为了简化描述基于说明书附图的位置关系，并不代表所指的元件和装置等必须按照说明书中特定的方位和限定的操作及方法、构造进行操作，该类方位名词不构成对本发明的限制。
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
结合图1至图7所示，本发明提供一种基于计算机视觉的全装配式地铁车站大型预制构件吊装安全监测方法，包括以下步骤：
步骤一，多类型重物识别，包括重物类型、重物体积和重物重量，基于现代卷积神经网络的图像类别分类方法进行自主学习，使用Resnet50函数加载，包括对多类型重物进行图像采集并进行统一预处理，这里的多类型重物是指一环构件中的多个部分，重物指的是地铁构件，对处理后的多类型重物分类，再通过使用数据扩充，增加训练数据大小，进而得到数据增强，得到多类型重物识别数据库，具体包括：
①、利用图像采集设备对多类型重物进行图像采集，从采集到的视频中提取多类型重物的图像信息，将采集到的所有图片统一像素，并将不同类型的重物图片分类放入不同的文件夹中，得到多个数据集，每个文件夹为一个类型重物的数据集；
②、对数据集进行数据增强，将步骤①中的每个数据集中的每个图片进行随机水平翻转图像和相关的框标签、随机缩放图像和相关的框标签以及抖动图像颜色，进而增加训练数据大小，用于对数据进行增强，获取相应的数据集；通过使用数据扩充，可以增加训练数据大小，而不必实际增加标记训练样本的数量，在不需要采集更多图像信息的情况下可有效扩大数据库；
③、实现多类型重物的自主识别，将步骤②中每个数据集的图片数量统一并随机分割成训练集和验证集，一次性输入每个数据集中训练集的每个图片，通过卷积神经网络模型进行处理，再利用验证集测试多类型重物识别的精确率，具体包括，卷积神经网络模型的处理方法为，输入训练集中的图片，经过一层卷积处理，然后再用池化方式处理卷积的信息，重复上述操作后把得到的第二次处理的信息传入两层全连接的神经层，本模型采用基于现代卷积神经网络的图像类别分类方法，其优点是完全自主学习性，
卷积层计算：
Figure BDA0004019841570000051
池化层计算：
Figure BDA0004019841570000052
式中：
NJ－卷积层数；
Nc－池化层数；
W-矩阵大小；
F－卷积核大小；
S－步长；
P－补零层数。
步骤二，结合图2至图7所示，其中，图2和图3为实验过程中的识别与区域定位，图4至图7为现场施工过程中的识别和区域定位，吊塔识别与区域定位，利用K-Nearest对应的算法可用来计算背景分割，基于步骤一中的多类型重物识别数据库的数据，对吊塔吊装过程中的重物进行追踪，具体步骤为：
①、计算前景掩码，使用OpenCV提供的背景分割器BackgroundSubtractorKNN计算前景掩码；
②、二值化处理，在步骤①中计算得到的前景掩码含有前景的白色值以及阴影的灰色值，在此将其二值化，即将非纯白色的所有像素点均设置为纯白色；
③、目标跟踪，使用基本的目标跟踪算法检测运动中物体的轮廓，并在原始帧上绘制检测结果。
在现实施工项目中，塔吊处于十分复杂的视觉背景环境中，传统的目标跟踪技术，如KCF，往往不能达到很好的使用效果。因此，分割塔吊与施工背景非常有必要，通过背景分割，去除与塔吊运动无关的背景可使得目标跟踪更为准确且有实用价值。通过使用目标跟踪技术，可实时识别和跟踪吊钩和重物位置，结合异常检测技术判断塔吊运行轨迹是否正确、重物是否脱落以及重物有无脱落风险等。
基于模型密度评估的背景提取算法原理是先进行模型密度评估，然后在像素级对图像进行前景与背景分类的方法，它们具有相同的假设前提——各个像素之间是没有相关性的，跟它们算法思想不同的方法主要是基于马尔可夫随机场理论，认为每个像素跟周围的像素是有相关性关系，但是基于马尔可夫随机场的方法速度与执行效率都堪忧，所以OpenCV中没有实现。
K-Nearest(KNN)对应的算法可用来计算背景分割。OpenCV提供了一个称为BackgroundSubtractor的类，在分割前景和背景时很方便，它是一个功能很全的类，不仅执行背景分割，而且能够提高背景检测的效果，并提供将分类结果保存到文件的功能。
根据运行结果，使用背景分割算法的目标跟踪相比于传统目标跟踪在效果上具有十分明显的优势，改善了传统跟踪算法在复杂背景下无法准确跟踪的弊端，准确自动识别并跟踪运行中的塔吊及调取材料的位置。
步骤三，已装配后的预制构件区域划分，利用图像识别与目标检测技术识别重物荷载类型和即将作用在预制构件上的位置，并结合力传感器数据得到荷载大小，在重物落在装配后的预制构件前判断是否存在安全风险，具体步骤为：
1、阈值分割，通过若干个图像采集设备对施工现场的已装配预制构件采集实际图像信息数据，通过对任意选取一个阈值t将图像分为两部分，前景像素点占图像的比例为W0、均值为U0，背景像素点占图像的比例为W1、均值为U1，图像整体的均值为U＝W0*U0+W1*U1，建立目标函数g(t)＝W0*(U0-U)2+W1*(U1-U)2，g(t)即为当分割阈值为t时的类间方差，Otsu算法使得g(t)最大时所对应的t为最佳阈值；
2、图像滤波，对阈值分割后的结果进行滤波处理，选取噪点相对较少且图像相对清晰的模糊滤波值；
3、投影划分区域，对滤波处理后的图像分别进行水平和垂直方向的投影，根据其结果图像，以每个已规定长度的区间内波峰位置为目标点划分区域。
根据多次试验结果可知，重物识别部分平均准确率高达98.15％，重物跟踪及已装配预制构件区域划分方面也克服了复杂背景因素的影响，取得了较为准确的跟踪与识别效果。
通过上述分析模块，本方案可以通过及时发现致灾因子，根据风险类别与分级，在致灾因子组合会触发某一风险时，及时发出危险警报和报告风险源，并构建出预制构件施工安全风险分析框架：基于工地现场视觉监测系统，通过重物识别功能准确识别用于塔吊起重的材料种类和体积，进而通过后台程序估算吊起重物的大致重量；通过重物跟踪监视塔吊行为，从而判断重物的吊放位置，再通过已装配预制构件区域识别提前识别吊放位置处已装配预制构件的结构形式；后台根据重物重量估算情况和已装配预制构件设计模型估算材料放置在已装配预制构件上后的安全情况，一旦发现存在安全风险(局部屈曲、倒塌等)能够在材料落地前提醒塔吊操作员以及时终止操作，从而保证已装配预制构件的安全。
优选地，将步骤一①中的所有图片分辨率统一降为512×512像素。由于图像中不仅仅包含了多类重物信息，还包括了各种具有干扰作用的背景信息，可以较好地模拟真实检测中不可避免地出现众多其他复杂信息的状况。原始图像从数个不同种类的视频文件中提取出来，范围较广，具有多尺度的特征。而图像的分辨率都普遍比较大，且大小不统一，考虑到在识别过程中，塔吊区域在图像中的占比更加重要，并且在实际的工程现场拍摄的塔吊图片也不一定有这么高的分辨率，因此将所有图片的分辨率统一降为512×512像素，输入到深度学习网络模型，如此可以降低计算成本，同时保留了塔吊位置的重要信息。
优选地，输入层是112×1的列向量，每个分量的值为0或1，对于每个子单元，有224×224像素和3个频道；然后进入第一个卷积层，卷积核的大小为7×7，卷积核的个数为64，步长为2，填充即为补零层数为3。
优选地，超参数设置为：学习率为0.1；动量因子为0.9；权重衰减因子为5e-4；卷积层的层数为49；批处理的大小为32；损失函数为“Crossentropyex”。
优选地，每个集合中选取60％的图片作为训练数据，其余40％的图片作为验证数据。随机分割以避免结果产生偏差。训练集和测试集将由卷积神经网络模型进行处理。训练后，平均精确率为：98.15％。
优选地，步骤一①和步骤三①中利用微单数码相机(f＝15mm)采集图像信息，包括塔吊的水平方向旋转、吊钩的水平方向运动和吊钩的铅锤方向运动。
优选地，由于阈值分割后的结果中有很多噪点，在此对其进行滤波处理，消除不必要噪点，经过对比选择，中值模糊滤波结果较为理想，有利于之后的步骤。
优选地，步骤三①中的每个相机视野中已装配预制构件可分为5*5的区域。
虽然本发明公开披露如上，但本发明公开的保护范围并非仅限于此。本发明领域技术人员在不脱离本发明公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。
工作原理：
通过实现多类型重物识别、目标跟踪与区域定位、已装配预制构件区域划分三个部分内容，利用视觉传感器与计算机识别并跟踪不同种类重物到达已装配预制构件位置区域，对其安全风险做出实时评估，降低施工安全风险。具体表现为：
首先，通过实现多类型重物识别，在塔吊起吊重物之前，识别调取重物的材料信息，利用计算机视觉技术识别它是什么材料，同时用力传感器测量它的重量信息。
其次，通过在需监控已装配预制构件附近布置视觉传感器，经过阈值分割、滤波、投影等操作，将视野内的已装配预制构件位置划分成一个个格子的区域。若有荷载(重物)出现在视野中时，系统将立即识别并判断其所处位置，结合结构荷载等信息判断其对已装配预制构件安全是否会造成影响。
在重物提起阶段，通过目标跟踪技术与背景分割技术，实时跟踪吊起目标所处位置，判断其即将落在已装配预制构件的区域位置，对不安全行为及时做出预警，同时也可以判断起吊轨迹是否正确及吊起目标是否脱落，起吊终点是否正确等。

Claims (10)

1.一种基于计算机视觉的全装配式地铁车站大型预制构件吊装安全监测方法，其特征在于，包括以下步骤：
步骤一，多类型重物识别，包括重物类型、重物体积和重物重量，基于现代卷积神经网络的图像类别分类方法进行自主学习，使用Resnet50函数加载，包括对多类型重物进行图像采集并进行统一预处理，对处理后的多类型重物分类，再通过使用数据扩充，增加训练数据大小，获得数据增强，进而得到多类型重物识别数据库；
步骤二，吊塔识别与区域定位，利用K-Nearest对应的算法可用来计算背景分割，基于步骤一中的多类型重物识别数据库的数据，对吊塔吊装过程中的重物进行追踪；
步骤三，已装配预制构件区域划分，利用图像识别与目标检测技术识别重物荷载类型和即将作用在已装配预制构件上的位置，并结合力传感器数据得到荷载大小，在重物落在已装配预制构件前判断是否存在安全风险。
2.根据权利要求1所述的一种基于计算机视觉的全装配式地铁车站大型预制构件吊装安全监测方法，其特征在于，步骤一中，包括以下步骤：
1、从采集到的视频中提取多类型重物的图像信息，将采集到的所有图片统一像素，并将不同类型的重物图片分类放入不同的文件夹中，得到多个数据集，每个文件夹为一个类型重物的数据集；
2、将步骤①中的每个数据集中的每个图片进行随机水平翻转图像和相关的框标签、随机缩放图像和相关的框标签以及抖动图像颜色，进而增加训练数据大小，用于对数据进行增强，获取相应的数据集；
3、将步骤②中每个数据集的图片数量统一并随机分割成训练集和验证集，一次性输入每个数据集中训练集的每个图片，进行卷积神经网络模型进行处理，再利用验证集测试多类型重物识别的精确率。
3.根据权利要求2所述的一种基于计算机视觉的全装配式地铁车站大型预制构件吊装安全监测方法，其特征在于：步骤一③中，卷积神经网络模型的处理方法为，输入训练集中的图片，经过一层卷积层，然后再用池化方式处理卷积的信息，重复上述操作后把得到的第二次处理的信息传入两层全连接的神经层。
4.根据权利要求3所述的一种基于计算机视觉的全装配式地铁车站大型预制构件吊装安全监测方法，其特征在于，
卷积层计算：
Figure FDA0004019841560000011
池化层计算：
Figure FDA0004019841560000021
式中：
NJ－卷积层数；
Nc－池化层数；
W－矩阵大小；
F-卷积核个数；
S-步长；
P-填充。
5.根据权利要求4所述的一种基于计算机视觉的全装配式地铁车站大型预制构件吊装安全监测方法，其特征在于：输入层是112×1的列向量，每个分量的值为0或1，对于每个子单元，有224×224像素和3个频道；然后进入第一个卷积层，卷积核的大小为7×7，卷积核的个数为64，步长为2，填充为3。
6.根据权利要求4所述的一种基于计算机视觉的全装配式地铁车站大型预制构件吊装安全监测方法，其特征在于：每个集合中选取60％的图片作为训练数据，其余40％的图片作为验证数据。
7.根据权利要求6所述的一种基于计算机视觉的全装配式地铁车站大型预制构件吊装安全监测方法，其特征在于，步骤二的具体步骤为：
①、计算前景掩码，使用OpenCV提供的背景分割器BackgroundSubtractorKNN计算前景掩码；
②、二值化处理，在步骤①中计算得到的前景掩码含有前景的白色值以及阴影的灰色值，在此将其二值化，即将非纯白色的所有像素点均设置为纯白色；
③、目标跟踪，使用基本的目标跟踪算法检测运动中物体的轮廓，并在原始帧上绘制检测结果。
8.根据权利要求6所述的一种基于计算机视觉的全装配式地铁车站大型预制构件吊装安全监测方法，其特征在于，步骤三的已装配预制构件区域划分包括以下步骤：
①、阈值分割，通过若干个图像采集设备对施工现场的已装配预制构件采集实际图像信息数据，通过对任意选取一个阈值t将图像分为两部分，前景像素点占图像的比例为W0、均值为U0，背景像素点占图像的比例为W1、均值为U1，图像整体的均值为U＝W0*U0+W1*U1，建立目标函数g(t)＝W0*(U0-U)2+W1*(U1-U)2，g(t)即为当分割阈值为t时的类间方差，Otsu算法使得g(t)最大时所对应的t为最佳阈值；
2、图像滤波，对阈值分割后的结果进行滤波处理，选取噪点相对较少且图像相对清晰的模糊滤波值；
3、投影划分区域，对滤波处理后的图像分别进行水平和垂直方向的投影，根据其结果图像，以每个已规定长度的区间内波峰位置为目标点划分区域。
9.根据权利要求8所述的一种基于计算机视觉的全装配式地铁车站大型预制构件吊装安全监测方法，其特征在于：步骤一①和步骤三①中利用微单数码相机采集图像信息，包括塔吊的水平方向旋转、吊钩的水平方向运动和吊钩的铅锤方向运动。
10.根据权利要求9所述的一种基于计算机视觉的全装配式地铁车站大型预制构件吊装安全监测方法，其特征在于：步骤三①中的每个相机视野中已装配预制构件可分为5*5的区域。
CN202211683440.2A 2022-12-27 2022-12-27 一种基于计算机视觉的全装配式地铁车站大型预制构件吊装安全监测方法 Pending CN116342473A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211683440.2A CN116342473A (zh) 2022-12-27 2022-12-27 一种基于计算机视觉的全装配式地铁车站大型预制构件吊装安全监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211683440.2A CN116342473A (zh) 2022-12-27 2022-12-27 一种基于计算机视觉的全装配式地铁车站大型预制构件吊装安全监测方法

Publications (1)

Publication Number Publication Date
CN116342473A true CN116342473A (zh) 2023-06-27

Family

ID=86886425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211683440.2A Pending CN116342473A (zh) 2022-12-27 2022-12-27 一种基于计算机视觉的全装配式地铁车站大型预制构件吊装安全监测方法

Country Status (1)

Country Link
CN (1) CN116342473A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104743445A (zh) * 2015-02-05 2015-07-01 西安工业大学 基于连通管和姿态的塔吊安全性能检测装置及其分析方法
WO2016177351A2 (zh) * 2016-07-06 2016-11-10 林汉丁 吊钩偏角监测装置、垂直吊装监控装置及移动式起重机
CN114604773A (zh) * 2022-01-24 2022-06-10 杭州大杰智能传动科技有限公司 用于智能塔吊的安全性警示辅助系统及方法
CN114875971A (zh) * 2021-11-26 2022-08-09 中建三局城建有限公司 一种适用于全装配式地铁车站大型预制构件测量装置与精细化安装控制方法
CN115082850A (zh) * 2022-05-23 2022-09-20 哈尔滨工业大学 基于计算机视觉的模板支架安全风险识别方法
CN115082849A (zh) * 2022-05-23 2022-09-20 哈尔滨工业大学 基于深度学习的模板支架安全智能监测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104743445A (zh) * 2015-02-05 2015-07-01 西安工业大学 基于连通管和姿态的塔吊安全性能检测装置及其分析方法
WO2016177351A2 (zh) * 2016-07-06 2016-11-10 林汉丁 吊钩偏角监测装置、垂直吊装监控装置及移动式起重机
CN114875971A (zh) * 2021-11-26 2022-08-09 中建三局城建有限公司 一种适用于全装配式地铁车站大型预制构件测量装置与精细化安装控制方法
CN114604773A (zh) * 2022-01-24 2022-06-10 杭州大杰智能传动科技有限公司 用于智能塔吊的安全性警示辅助系统及方法
CN115082850A (zh) * 2022-05-23 2022-09-20 哈尔滨工业大学 基于计算机视觉的模板支架安全风险识别方法
CN115082849A (zh) * 2022-05-23 2022-09-20 哈尔滨工业大学 基于深度学习的模板支架安全智能监测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MINGYUAN ZHANG等: "Vision and Trajectory–Based Dynamic Collision Prewarning Mechanism for Tower Cranes", 《ASCE》, vol. 148, no. 07, 11 May 2022 (2022-05-11), pages 1 - 17 *
熊晶亮: "大型钢筋笼吊装受力变形分析研究", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》, no. 2019, 15 April 2019 (2019-04-15), pages 038 - 1165 *

Similar Documents

Publication Publication Date Title
Jiang et al. A deep learning approach for fast detection and classification of concrete damage
CN110264466A (zh) 一种基于深度卷积神经网络的钢筋检测方法
CN109448326B (zh) 一种基于快速图像识别的地质灾害智能群防监测系统
CN111738056B (zh) 一种基于改进YOLO v3的重卡盲区目标检测方法
CN109506628A (zh) 一种基于深度学习的卡车环境下目标物测距方法
CN112308826A (zh) 一种基于卷积神经网络的桥梁结构表面缺陷检测方法
CN111738336A (zh) 基于多尺度特征融合的图像检测方法
CN115082849B (zh) 基于深度学习的模板支架安全智能监测方法
CN108229524A (zh) 一种基于遥感图像的烟囱和冷凝塔检测方法
CN111178424A (zh) 一种石油化工生产现场安全合规性实时检测系统及方法
CN113379712A (zh) 一种基于计算机视觉的钢桥螺栓病害检测方法及系统
CN101908214A (zh) 基于邻域相关的背景重构的运动目标检测方法
CN112685812A (zh) 一种动态监管方法、装置、设备及存储介质
CN115082850A (zh) 基于计算机视觉的模板支架安全风险识别方法
CN115995056A (zh) 一种基于深度学习的桥梁病害自动识别方法
Jiang et al. A robust bridge rivet identification method using deep learning and computer vision
CN112613453A (zh) 一种用于电力基建施工现场违章排查方法及系统
CN116824335A (zh) 一种基于YOLOv5改进算法的火灾预警方法及系统
CN114419565A (zh) 基于YOLOv4的特种车辆作业碰撞预警方法及系统
CN113128555B (zh) 一种用于列车闸片部件异常检测的方法
CN116403162B (zh) 一种机场场面目标行为识别方法、系统及电子设备
CN116311081B (zh) 一种基于图像识别的医学实验室监控图像分析方法和系统
CN116524017B (zh) 一种用于矿山井下检测识别定位系统
Ji et al. Bucket teeth detection based on faster region convolutional neural network
CN112329858A (zh) 一种铁路动车防松铁丝折断故障图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination