CN116675127A - 塔机顶升拆卸过程中塔机关键部位连接状态检测系统及方法 - Google Patents
塔机顶升拆卸过程中塔机关键部位连接状态检测系统及方法 Download PDFInfo
- Publication number
- CN116675127A CN116675127A CN202310379068.4A CN202310379068A CN116675127A CN 116675127 A CN116675127 A CN 116675127A CN 202310379068 A CN202310379068 A CN 202310379068A CN 116675127 A CN116675127 A CN 116675127A
- Authority
- CN
- China
- Prior art keywords
- data processing
- image
- lower support
- processing center
- tower crane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000008569 process Effects 0.000 title claims abstract description 33
- 238000001514 detection method Methods 0.000 claims abstract description 68
- 230000004927 fusion Effects 0.000 claims abstract description 21
- 238000012544 monitoring process Methods 0.000 claims abstract description 17
- 230000000007 visual effect Effects 0.000 claims description 33
- 238000006243 chemical reaction Methods 0.000 claims description 21
- 238000005070 sampling Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000013135 deep learning Methods 0.000 claims description 9
- 239000003550 marker Substances 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 238000013441 quality evaluation Methods 0.000 claims description 6
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000005236 sound signal Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 abstract description 10
- 238000005286 illumination Methods 0.000 abstract description 2
- 238000007781 pre-processing Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C23/00—Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes
- B66C23/88—Safety gear
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C13/00—Other constructional features or details
- B66C13/18—Control systems or devices
- B66C13/46—Position indicators for suspended loads or for crane elements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C23/00—Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes
- B66C23/02—Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes with non-adjustable and non-inclinable jibs mounted solely for slewing movements
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66C—CRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
- B66C23/00—Cranes comprising essentially a beam, boom, or triangular structure acting as a cantilever and mounted for translatory of swinging movements in vertical or horizontal planes or a combination of such movements, e.g. jib-cranes, derricks, tower cranes
- B66C23/62—Constructional features or details
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
- G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
- G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Abstract
本发明公开了一种塔机顶升拆卸过程中塔机关键部位连接状态检测系统,包括:数据处理中心、图像获取模块、上位机监控端、嵌入式神经网络处理器、声光报警模块、液压缸距离传感器、电源模块、电源转换模块和运放模块,本发明还公开了一种检测方法,通过使用套架两侧摄像头能够实现顶升拆卸过程中对塔机关键部位的连接状态实时监控,且通过使用自动对比度增强算法对输入图像进行预处理,能够改善现场光照不均匀给图像带来的亮度不均衡问题,通过使用基于多尺度特征融合的改进后YOLOv4目标检测模型对数据增强后的输入图像连接物检测,能够提高复杂场景中的连接物检测效率,还能够在检测到现场施工关键部位未连接时,能够及时发出警报信号。
Description
技术领域
本发明属于施工现场塔机顶升拆卸安全监控技术领域,具体涉及一种塔机顶升拆卸过程中塔机关键部位连接状态检测系统及方法。
背景技术
随着建造业不断发展,保障施工人员的生命安全成为项目顺利推进的首要前提。塔式起重机(简称塔机)顶升拆卸过程中下支座与套件连接和下支座与标准节连接(简称关键部位)是顶升拆卸安全的基本保障。因此,为掌握塔机在顶升拆卸过程中各关键部位之间的连接状态,规避因未及时进行关键部位连接引发的事故风险,塔机各关键部位连接状态的监管作为安全管理的工作之重。
目前工程管理中主要采用传统的人工检测方式,以监控顶升拆卸人员的具体行为。但在实际工程项目中,施工场景较为复杂,人工检测方式的专业性得不到保障,易存在漏检现象,而且顶升拆卸过程中存在监管人员管理不易的问题。因此,实际施工场景中,这些问题的存在严重影响了传统人工检测精度及可靠性,从而导致漏检情况发生,同时无法有效减小人员伤亡概率,削弱了施工场景中人员检测应用对保护人员安全的有效性。
发明内容
本发明的目的在于提供一种塔机顶升拆卸过程中塔机关键部位连接状态检测系统及方法,旨在解决现有施工人员检测方法中存在的人工检测精度低、人工检测可靠性及顶升拆卸监管不易的问题。
本发明的第一个目的是提供一种塔机顶升拆卸过程中塔机关键部位连接状态检测系统,包括:
数据处理中心,用于根据液压缸距离传感器获取的数据对塔基处于顶升还是拆卸阶段进行分析,并对图像获取模块获取的输入图像进行图像增强处理以及图像质量评估,以及根据嵌入式神经网络处理器输出的目标检测结果对塔机回转下支座与套架连接状态或塔机回转下支座与标准节连接状态进行分析;
图像获取模块,用于实时监控回转下支座与套架的连接状态和回转下支座与标准节的连接状态,并将视频流传输至上位机监控端;
上位机监控端,用于将获取的视频流中的图像发送至数据处理中心;
嵌入式神经网络处理器,用于将经数据处理中心进行色彩增强后的输入图像转换为矩阵序列后进行处理,得到初步目标预测结果,并传输至数据处理中心;
声光报警模块,用于在数据处理中心判断图像质量小于设定的阈值以及在数据处理中心判断回转下支座与套架或回转下支座与标准节为未连接状态下时,发出声光报警信号;
液压缸距离传感器,用于获取液压缸行程距离,并将获取的距离数据发送至数据处理中心;
电源模块,用于对整个系统各部件进行供电;
电源转换模块,用于将220V交流电转换成系统各部件的电压;
运放模块,用于放大音频信号。
优选的,所述声光报警模块包含:
声音模块,用于在数据处理中心判断图像质量小于设定的阈值以及在数据处理中心判断回转下支座与套架或回转下支座与标准节为未连接状态下时发出声音报警信号;
灯光模块,用于在数据处理中心判断图像质量小于设定的阈值以及在数据处理中心判断回转下支座与套架或回转下支座与标准节为未连接状态下时发出灯光报警信号。
本发明的第二个目的是提供一种塔机顶升拆卸过程中塔机关键部位连接状态检测方法,包括以下步骤:
S1、数据处理中心采集塔机液压缸距离传感器数据,判断塔机是否开始进行顶升拆卸,若是,则进入下一步;若不是,则继续判断下一时刻的塔机顶升拆卸状态;
S2、数据处理中心发出视频流获取指令,图像获取模块在顶升拆卸过程中实时监控回转下支座与套架的连接状态和回转下支座与标准节的连接状态,并获取连接状态的视频流,将视频流传输至上位机监控端,上位机监控端发送视频流至数据处理中心;
S3、数据处理中心通过获得的视频流获取输入图像,并对输入图像进行图像增强处理;
S4、数据处理中心对图像增强后,进行图像质量评估,若图像质量小于设定的阈值,则向声光报警模块发出提示指令,以产生声光提示信号;若图像质量大于等于设定的阈值,则将图像增强后的图像进行图像缩放后,将图像数据传入嵌入式神经网络处理器内;
S5、嵌入式神经网络处理器将传入的图像数据转换为矩阵序列,并使用基于深度学习的目标检测模型处理矩阵数据,得到初步目标预测结果,传输至数据处理中心;
S6、数据处理中心将获取的初步目标预测结果进行非极大抑制后,得到目标最终预测结果,并传输至数据处理中心;
S7、数据处理中心根据获得的目标最终预测结果,判断当前位置是处于顶升拆卸回转下支座与套架连接阶段还是处于回转下支座与标准节连接阶段;
S8、数据处理中心根据上一步判断的连接阶段,再继续进行塔机回转下支座与套架连接状态或塔机回转下支座与标准节连接状态判断;若已连接,则进入下一步;若未连接,则重复进行S3-S8步骤,并通过声光报警模块发出报警指令,以产生声光报警信号;
S9、数据处理中心采集塔机液压缸距离传感器的数据,判断塔机是否结束顶升拆卸,若是,则结束;若不是,则重复S3-S8步骤。
优选的,步骤S3中,所述数据处理中心通过自适应对比度增强算法对输入图像进行图像增强处理,自适应对比度增强算法的计算公式如下所示:
I(i,j)=M(i,j)+G(f(i,j)-M(i,j))
其中,f为原图,I为增强后的图像,M(i,j)为像素邻域[2m+1,2n+1]内的灰度均值,0<α<1,M为原图f的全局均值,σ(i,j)像素邻域[2m+1,2n+1]内的灰度方差。
优选的,步骤S4包含以下步骤:
S41、数据处理中心对图像增强后,将增强后的彩色图像灰度化后得到灰度图像,接着对灰度图像进行拉普拉斯变换,并对变换后的图像矩阵进行标准差计算,通过标准差对图像质量进行评估,标准差越大图像质量越高,反之,图像质量越差;
S42、数据处理中心同步对灰度图像进行自适应阈值求解,得到二值图像,对二值图像进行连通域计算,选取最大连通域,计算最大连通域像素点占图像像素的比例,比例越大图像质量越差,反之,图像质量越高;
S43、若步骤S42得到的二值图像的图像质量小于步骤S42得到的阈值,则数据处理中心向声光报警模块发出提示指令,以产生声光提示信号;若图像质量大于等于阈值,则数据处理中心将图像增强后的图像进行图像缩放后,将图像数据传入嵌入式神经网络处理器内。
优选的,步骤S5中,所述基于深度学习的目标检测模型由后端主干子网络、中端特征融合子网络和前端预测子网络组成;
所述后端主干子网络用于提取输入图像不同尺度的特征,并发送给中端特征融合子网络;
所述中端特征融合子网络用于将不同尺度特征图进行融合后输送给前端预测子网络;
所述前端预测子网络用于通过卷积层输出图像中的目标类别以及位置预测结果。
优选的,所述后端主干子网络为mobilenetv3-large,由深度可分离卷积模块和注意力模块组成,所述深度可分离卷积模块由卷积核为3x3的卷积层和卷积核为1x1的卷积层组成,所述注意力模块由核为2x2的均值池化层和两个全连接层组成;
所述中端特征融合子网络由上转化模块和特征融合模块组成,所述上转化模块包含上采样转化模块和下采样转化模块;所述上采样转化模块由卷积核为1x1的卷积层和最近邻插值层组成,用于实现上采样功能,将输入特征图尺度增大至原来的2倍,所述下采样转化模块由深度可分离卷积模块组成,用于实现下采样功能,将输入特征图尺寸减少至原来的一半;
所述特征融合模块由拼接层、2个深度可分离卷积模块、若干单独卷积层组成,连接顺序为卷积层→2个深度可分离卷积模块→卷积层→拼接层,不同特征图经过融合后输出新的特征图;
所述前端预测子网络由深度可分离卷积模块和卷积核为1x1的卷积层组成,用于对输入的特征特图进行卷积操作,输出图像中目标类别和位置预测结果。
优选的,步骤S7的具体步骤为:
数据处理中心根据获得的目标最终预测结果,筛选目标检测结果中是否包含标志物目标,若包含,则进行回转下支座与套架连接状态的判断;若不包含,则进行回转下支座与标准节连接状态的判断。
优选的,步骤S8包含以下步骤:
S81、数据处理中心根据上一步判断的连接阶段,再继续进行塔机回转下支座与套架连接状态或塔机回转下支座与标准节连接状态判断;当进行回转下支座与套架连接状态判断时,数据处理中心计算最终目标检测结果中标志物与连接物之间的距离,判断距离与设定的阈值,若小于阈值,则回转下支座与套架已连接,进行下一步;若不小于阈值,则回转下支座与套架未连接;
S82、当进行回转下支座与标准节连接状态判断时,数据处理中心根据目标检测结果判断连接物类型,根据判断的连接物类型,选择相应的检测方法,然后数据处理中心计算最终目标检测结果中连接物的置信度,判断置信度与设定的阈值,若大于阈值,则回转下支座与标准节已连接,进行一下步;若不大于设定的阈值,则回转下支座与标准节未连接;
S83、若回转下支座与套架或回转下支座与标准节已连接,则进入下一步;若未连接,则重复进行S3-S8步骤,并通过声光报警模块发出报警指令,以产生声光报警信号。
优选的,步骤S82具体包含以下步骤:
S821、当进行回转下支座与标准节连接状态判断时,数据处理中心根据目标检测结果判断连接物类型,若为销轴型,则进入销轴连接状态判断;若为螺栓型,则进入螺栓连接状态判断;
S822、当连接物为螺栓型时,数据处理中心计算最终目标检测结果中连接物的置信度,判断置信度与设定的阈值,若置信度大于设定的阈值,则回转下支座与标准节已连接,进行一下步;若置信度不大于设定的阈值,则回转下支座与标准节未连接;
S823、当连接物为销轴型时,数据处理中心筛选最终目标检测结果中销轴型连接物的数量,若销轴型连接物的数量大于2且目标中心点距离小于阈值,则回转下支座与标准节已连接,若销轴型连接物的数量等于1,则回转下支座与标准节为非紧固连接,若销轴型连接物的数量小于1,则回转下支座与标准节未连接。
本发明与现有技术相比,其有益效果在于:
(1)本发明提供的塔机顶升拆卸过程中塔机关键部位连接状态检测方法,通过使用套架两侧摄像头能够实现顶升拆卸过程中对塔机关键部位的连接状态实时监控,提高了工程管理的实时性与准确性;
(2)本发明提供的检测方法,通过使用自动对比度增强算法对输入图像进行预处理,能够改善现场光照不均匀给图像带来的亮度不均衡问题,且通过使用基于多尺度特征融合的改进后YOLOv4目标检测模型对数据增强后的输入图像连接物检测,能够脱离对人工检测方式的依赖提高了复杂场景中的连接物检测效率;
(3)本发明提供的检测方法检测到塔机顶升拆卸现场施工关键部位未连接时,能够及时发出警报信号,及时促使顶升拆卸人员纠正错误操作或者监管人员督促顶升拆卸人员纠正错误施工方式,可减少危险事故发生的概率,解决了现有人工检测方式精度底、可靠性低和监管困难的问题。
附图说明
图1为本发明实施例提供的塔机顶升拆卸过程中塔机关键部位连接状态检测方法中的关键部位整体示意图;
图2为本发明实施例提供的塔机顶升拆卸过程中塔机关键部位连接状态检测的组成框图;
图3为本发明实施例中的图像获取模块的布设示意图;
图4为本发明实施例提供的检测系统在实际应用中的操作界面图;
图5为本发明实施例提供的检测方法在实际应用中套架与下支座连接效果图;
图6为本发明实施例提供的检测方法在实际应用中标准节与下支座连接(销轴型)效果图;
图7为本发明实施例提供的检测方法在实际应用中标准节与下支座连接(螺栓型)效果图;
图8为本发明实施例提供的塔机顶升拆卸过程中塔机关键部位连接状态检测方法的流程图;
图9为本发明实施例中的基于深度学习的目标检测模型的框架图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
如图1所示,本发明实施例中的关键部位连接包含下支座与套架连接和下支座与标准节连接。
如图2至图7所示,本发明实施例提供了一种塔机顶升拆卸过程中塔机关键部位连接状态检测系统,具体包括:
数据处理中心,用于根据液压缸距离传感器获取的数据对塔基处于顶升还是拆卸阶段进行分析,并对图像获取模块获取的输入图像进行图像增强处理以及图像质量评估,以及根据嵌入式神经网络处理器输出的目标检测结果对塔机回转下支座与套架连接状态或塔机回转下支座与标准节连接状态进行分析;
图像获取模块,用于实时监控回转下支座与套架的连接状态和回转下支座与标准节的连接状态,并将视频流传输至上位机监控端;本发明实施例中的图像获取模块选用的是多个摄像头,且多个摄像头分布于套架的两侧。
上位机监控端,用于将获取的视频流中的图像发送至数据处理中心;
嵌入式神经网络处理器,用于将经数据处理中心进行色彩增强后的输入图像转换为矩阵序列后进行处理,得到初步目标预测结果,并传输至数据处理中心;
声光报警模块,用于在数据处理中心判断图像质量小于设定的阈值以及在数据处理中心判断回转下支座与套架或回转下支座与标准节为未连接状态下时,发出声光报警信号;
液压缸距离传感器,用于获取液压缸行程距离,并将获取的距离数据发送至数据处理中心;
电源模块,用于对整个系统各部件进行供电;
电源转换模块,用于将220V交流电转换成系统各部件的电压;
运放模块,用于放大音频信号。
声光报警模块包含:
声音模块,用于在数据处理中心判断图像质量小于设定的阈值以及在数据处理中心判断回转下支座与套架或回转下支座与标准节为未连接状态下时发出声音报警信号,本发明实施例中声音模块具体采用喇叭。
灯光模块,用于在数据处理中心判断图像质量小于设定的阈值以及在数据处理中心判断回转下支座与套架或回转下支座与标准节为未连接状态下时发出灯光报警信号,本发明实施例中的灯光模块具体采用LED灯。
数据处理中心对输入图像进行增强处理的方法为使用自适应对比度增强算法对输入图像预处理。
数据处理中心通过以下方法进行图像质量评估:
数据处理中心将彩色图像灰度化后得到灰度图像,对灰度图像进行拉普拉斯变换,然后对变换后的图像矩阵计算标准差,通过标准差对图像质量进行评估,标准差越大图像质量越高,反之,图像质量越差。
如图8所示,本发明实施例还提供了一种塔机顶升拆卸过程中塔机关键部位连接状态检测方法,包括以下步骤:
S1、数据处理中心采集塔机液压缸距离传感器数据,判断塔机是否开始进行顶升拆卸,若是,则进入下一步;若不是,则继续判断下一时刻的塔机顶升拆卸状态;
具体塔机是否开始进行顶升拆卸通过以下方法进行判断:当数据处理中心检测到液压缸行程持续增大时,则数据处理中心判断塔机开始进行顶升;而当数据处理中心检测到液压缸行程持续减小时,则数据处理中心判断塔机开始进行拆卸。
S2、数据处理中心发出视频流获取指令,图像获取模块在顶升拆卸过程中实时监控回转下支座与套架的连接状态和回转下支座与标准节的连接状态,并获取连接状态的视频流,将视频流传输至上位机监控端,上位机监控端发送视频流至数据处理中心;
S3、数据处理中心通过获得的视频流获取输入图像,数据处理中心获取输入图像的方法为对视频流间隔时间取帧,并对输入图像进行图像增强处理;所述数据处理中心通过自适应对比度增强算法对输入图像进行图像增强处理,自适应对比度增强算法的计算公式如下所示:
I(i,j)=M(i,j)+G(f(i,j)-M(i,j))
其中,f为原图,I为增强后的图像,M(i,j)为像素邻域[2m+1,2n+1]内的灰度均值,0<α<1,M为原图f的全局均值,σ(i,j)为像素邻域[2m+1,2n+1]内的灰度标准差。
M(i,j)的计算公式如下式所示:
σ(i,j)的计算公式如下式所示:
S4、数据处理中心对图像增强后,进行图像质量评估,若图像质量小于设定的阈值,则向声光报警模块发出提示指令,以产生声光提示信号;若图像质量大于等于设定的阈值,则将图像增强后的图像进行图像缩放后,将图像数据传入嵌入式神经网络处理器内,具体包含以下步骤:
S41、数据处理中心对图像增强后,将增强后的彩色图像灰度化后得到灰度图像,接着对灰度图像进行拉普拉斯变换,并对变换后的图像矩阵进行标准差计算,通过标准差对图像质量进行评估,标准差越大图像质量越高,反之,图像质量越差,其中,拉普拉斯变换公式如下所示:
g(x,y)=f(x+1,y)+f(x-1,y)+
f(x,y+1)+f(x,y-1)-4f(x,y)
其中,f为原图,g为拉普拉斯变化后的图像;
S42、数据处理中心同步对灰度图像进行自适应阈值求解,得到二值图像,对二值图像进行连通域计算,选取最大连通域,计算最大连通域像素点占图像像素的比例,比例越大图像质量越差,反之,图像质量越高(像素比例范围0-1);
S43、若步骤S42得到的二值图像的图像质量小于阈值(阈值根据经验可设定为0.6),则数据处理中心向声光报警模块发出提示指令,以产生声光提示信号;若图像质量大于等于步骤S42得到的阈值,则数据处理中心将图像增强后的图像进行图像缩放后,将图像数据传入嵌入式神经网络处理器内;
S5、嵌入式神经网络处理器(neural-networkprocessingunits,NPU)将传入的图像数据转换为矩阵序列,并使用基于深度学习的目标检测模型处理矩阵数据,得到初步目标预测结果,传输至数据处理中心;
基于深度学习的目标检测模型的框架如图9所示,所述基于深度学习的目标检测模型由后端主干子网络、中端特征融合子网络和前端预测子网络组成;
所述后端主干子网络用于提取输入图像不同尺度的特征,并发送给中端特征融合子网络;
所述中端特征融合子网络用于将不同尺度特征图进行融合后输送给前端预测子网络;
所述前端预测子网络用于通过卷积层输出图像中的目标类别以及位置预测结果。
所述后端主干子网络为mobilenetv3-large,由深度可分离卷积模块和注意力模块组成,所述深度可分离卷积模块由卷积核为3x3的卷积层和卷积核为1x1的卷积层组成,所述注意力模块由核为2x2的均值池化层和两个全连接层组成;
所述中端特征融合子网络由上转化模块和特征融合模块组成,所述上转化模块包含上采样转化模块和下采样转化模块;所述上采样转化模块由卷积核为1x1的卷积层和最近邻插值层组成,用于实现上采样功能,将输入特征图尺度增大至原来的2倍,所述下采样转化模块由深度可分离卷积模块组成,用于实现下采样功能,将输入特征图尺寸减少至原来的一半;
所述特征融合模块由拼接层、2个深度可分离卷积模块、若干单独卷积层组成,连接顺序为卷积层→2个深度可分离卷积模块→卷积层→拼接层,不同特征图经过融合后输出新的特征图;
所述前端预测子网络由深度可分离卷积模块和卷积核为1x1的卷积层组成,用于对输入的特征特图进行卷积操作,输出图像中目标类别和位置预测结果;
S6、数据处理中心将获取的初步目标预测结果进行非极大抑制后,得到目标最终预测结果,并传输至数据处理中心;
S7、数据处理中心根据获得的目标最终预测结果,判断当前位置是处于顶升拆卸回转下支座与套架连接阶段还是处于回转下支座与标准节连接阶段,具体为:
数据处理中心根据获得的目标最终预测结果,筛选目标检测结果中是否包含标志物目标,若包含,则进行回转下支座与套架连接状态的判断;若不包含,则进行回转下支座与标准节连接状态的判断;
标志物目标为人为安装的五角星,具体如图5所示,数据处理中心根据获得的目标最终预测结果的目标类别,像素坐标和置信度对目标检测结果中是否包含标志物目标进行筛选;
S8、数据处理中心根据上一步判断的连接阶段,再继续进行塔机回转下支座与套架连接状态或塔机回转下支座与标准节连接状态判断;若已连接,则进入下一步;若未连接,则重复进行S3-S8步骤,并通过声光报警模块发出报警指令,以产生声光报警信号,具体包含以下步骤:
S81、数据处理中心根据上一步判断的连接阶段,再继续进行塔机回转下支座与套架连接状态或塔机回转下支座与标准节连接状态判断;当进行回转下支座与套架连接状态判断时,数据处理中心计算最终目标检测结果中标志物与连接物之间的距离,判断距离与设定的阈值(该阈值根据目标物的像素大小进行设定),若小于阈值,则回转下支座与套架已连接,进行下一步;若不小于阈值,则回转下支座与套架未连接;
S82、当进行回转下支座与标准节连接状态判断时,数据处理中心根据目标检测结果判断连接物类型,根据判断的连接物类型,选择相应的检测方法,然后数据处理中心计算最终目标检测结果中连接物的置信度,判断置信度与设定的阈值,若大于阈值,则回转下支座与标准节已连接,进行一下步;若不大于设定的阈值,则回转下支座与标准节未连接;
步骤S82具体包含以下步骤:
S821、当进行回转下支座与标准节连接状态判断时,数据处理中心根据目标检测结果判断连接物类型,若为销轴型,则进入销轴连接状态判断;若为螺栓型,则进入螺栓连接状态判断;
S822、当连接物为螺栓型时,数据处理中心计算最终目标检测结果中连接物的置信度,判断置信度与设定的阈值(阈值根据目标检测网络模型在测试集的置信度分布来设定),若置信度大于设定的阈值,则回转下支座与标准节已连接,进行一下步;若置信度不大于设定的阈值,则回转下支座与标准节未连接;
S823、当连接物为销轴型时,数据处理中心筛选最终目标检测结果中销轴型连接物的数量,若销轴型连接物的数量大于2且目标中心点距离小于阈值,则回转下支座与标准节已连接,若销轴型连接物的数量等于1,则回转下支座与标准节为非紧固连接,若销轴型连接物的数量小于1,则回转下支座与标准节未连接;
S83、若回转下支座与套架或回转下支座与标准节已连接,则进入下一步;若未连接,则重复进行S3-S8步骤,并通过声光报警模块发出报警指令,以产生声光报警信号;
S9、数据处理中心采集塔机液压缸距离传感器的数据,判断塔机是否结束顶升拆卸,若是,则结束;若不是,则重复S3-S8步骤。
综上所述,本发明实施例提供的检测方法能够在复杂的施工场景中,脱离对人工检测方式的依赖,提高检测效率;同时通过多尺度特征融合方式改进的深度学习的目标检测模型,提高了塔机关键部位连接物的检测速度和检测精度,减少人员伤亡风险,而且能够在得到对塔机顶升拆卸套架、标准节与下支座连接状态检测结果后,及时促使顶升拆卸人员纠正错误操作或者监管人员督促顶升拆卸人员纠正错误施工方式,可减少危险事故发生的概率,解决了现有人工检测方式精度底、可靠性低和监管困难的问题。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种塔机顶升拆卸过程中塔机关键部位连接状态检测系统,其特征在于,包括:
数据处理中心,用于根据液压缸距离传感器获取的数据对塔基处于顶升还是拆卸阶段进行分析,并对图像获取模块获取的输入图像进行图像增强处理以及图像质量评估,以及根据嵌入式神经网络处理器输出的目标检测结果对塔机回转下支座与套架连接状态或塔机回转下支座与标准节连接状态进行分析;
图像获取模块,用于实时监控回转下支座与套架的连接状态和回转下支座与标准节的连接状态,并将视频流传输至上位机监控端;
上位机监控端,用于将获取的视频流中的图像发送至数据处理中心;
嵌入式神经网络处理器,用于将经数据处理中心进行色彩增强后的输入图像转换为矩阵序列后进行处理,得到初步目标预测结果,并传输至数据处理中心;
声光报警模块,用于在数据处理中心判断图像质量小于设定的阈值以及在数据处理中心判断回转下支座与套架或回转下支座与标准节为未连接状态下时,发出声光报警信号;
液压缸距离传感器,用于获取液压缸行程距离,并将获取的距离数据发送至数据处理中心;
电源模块,用于对整个系统各部件进行供电;
电源转换模块,用于将220V交流电转换成系统各部件的电压;
运放模块,用于放大音频信号。
2.如权利要求1所述的塔机顶升拆卸过程中塔机关键部位连接状态检测系统,其特征在于,所述声光报警模块包含:
声音模块,用于在数据处理中心判断图像质量小于设定的阈值以及在数据处理中心判断回转下支座与套架或回转下支座与标准节为未连接状态下时发出声音报警信号;
灯光模块,用于在数据处理中心判断图像质量小于设定的阈值以及在数据处理中心判断回转下支座与套架或回转下支座与标准节为未连接状态下时发出灯光报警信号。
3.一种塔机顶升拆卸过程中塔机关键部位连接状态检测方法,其特征在于,包括以下步骤:
S1、数据处理中心采集塔机液压缸距离传感器数据,判断塔机是否开始进行顶升拆卸,若是,则进入下一步;若不是,则继续判断下一时刻的塔机顶升拆卸状态;
S2、数据处理中心发出视频流获取指令,图像获取模块在顶升拆卸过程中实时监控回转下支座与套架的连接状态和回转下支座与标准节的连接状态,并获取连接状态的视频流,将视频流传输至上位机监控端,上位机监控端发送视频流至数据处理中心;
S3、数据处理中心通过获得的视频流获取输入图像,并对输入图像进行图像增强处理;
S4、数据处理中心对图像增强后,进行图像质量评估,若图像质量小于设定的阈值,则向声光报警模块发出提示指令,以产生声光提示信号;若图像质量大于等于设定的阈值,则将图像增强后的图像进行图像缩放后,将图像数据传入嵌入式神经网络处理器内;
S5、嵌入式神经网络处理器将传入的图像数据转换为矩阵序列,并使用基于深度学习的目标检测模型处理矩阵数据,得到初步目标预测结果,传输至数据处理中心;
S6、数据处理中心将获取的初步目标预测结果进行非极大抑制后,得到目标最终预测结果,并传输至数据处理中心;
S7、数据处理中心根据获得的目标最终预测结果,判断当前位置是处于顶升拆卸回转下支座与套架连接阶段还是处于回转下支座与标准节连接阶段;
S8、数据处理中心根据上一步判断的连接阶段,再继续进行塔机回转下支座与套架连接状态或塔机回转下支座与标准节连接状态判断;若已连接,则进入下一步;若未连接,则重复进行S3-S8步骤,并通过声光报警模块发出报警指令,以产生声光报警信号;
S9、数据处理中心采集塔机液压缸距离传感器的数据,判断塔机是否结束顶升拆卸,若是,则结束;若不是,则重复S3-S8步骤。
4.如权利要求3所述的塔机顶升拆卸过程中塔机关键部位连接状态检测方法,其特征在于,步骤S3中,所述数据处理中心通过自适应对比度增强算法对输入图像进行图像增强处理,自适应对比度增强算法的计算公式如下所示:
I(i,j)=M(i,j)+G(f(i,j)-M(i,j))
其中,f为原图,I为增强后的图像,M(i,j)为像素邻域[2m+1,2n+1]内的灰度均值,0<α<1,M为原图f的全局均值,σ(i,j)像素邻域[2m+1,2n+1]内的灰度方差。
5.如权利要求3所述的塔机顶升拆卸过程中塔机关键部位连接状态检测方法,其特征在于,步骤S4包含以下步骤:
S41、数据处理中心对图像增强后,将增强后的彩色图像灰度化后得到灰度图像,接着对灰度图像进行拉普拉斯变换,并对变换后的图像矩阵进行标准差计算,通过标准差对图像质量进行评估,标准差越大图像质量越高,反之,图像质量越差;
S42、数据处理中心同步对灰度图像进行自适应阈值求解,得到二值图像,对二值图像进行连通域计算,选取最大连通域,计算最大连通域像素点占图像像素的比例,比例越大图像质量越差,反之,图像质量越高;
S43、若步骤S42得到的二值图像的图像质量小于阈值,则数据处理中心向声光报警模块发出提示指令,以产生声光提示信号;若图像质量大于等于阈值,则数据处理中心将图像增强后的图像进行图像缩放后,将图像数据传入嵌入式神经网络处理器内。
6.如权利要求3所述的塔机顶升拆卸过程中塔机关键部位连接状态检测方法,其特征在于,步骤S5中,所述基于深度学习的目标检测模型由后端主干子网络、中端特征融合子网络和前端预测子网络组成;
所述后端主干子网络用于提取输入图像不同尺度的特征,并发送给中端特征融合子网络;
所述中端特征融合子网络用于将不同尺度特征图进行融合后输送给前端预测子网络;
所述前端预测子网络用于通过卷积层输出图像中的目标类别以及位置预测结果。
7.如权利要求6所述的塔机顶升拆卸过程中塔机关键部位连接状态检测方法,其特征在于,所述后端主干子网络为mobilenetv3-large,由深度可分离卷积模块和注意力模块组成,所述深度可分离卷积模块由卷积核为3x3的卷积层和卷积核为1x1的卷积层组成,所述注意力模块由核为2x2的均值池化层和两个全连接层组成;
所述中端特征融合子网络由上转化模块和特征融合模块组成,所述上转化模块包含上采样转化模块和下采样转化模块;所述上采样转化模块由卷积核为1x1的卷积层和最近邻插值层组成,用于实现上采样功能,将输入特征图尺度增大至原来的2倍,所述下采样转化模块由深度可分离卷积模块组成,用于实现下采样功能,将输入特征图尺寸减少至原来的一半;
所述特征融合模块由拼接层、2个深度可分离卷积模块、若干单独卷积层组成,连接顺序为卷积层→2个深度可分离卷积模块→卷积层→拼接层,不同特征图经过融合后输出新的特征图;
所述前端预测子网络由深度可分离卷积模块和卷积核为1x1的卷积层组成,用于对输入的特征特图进行卷积操作,输出图像中目标类别和位置预测结果。
8.如权利要求3所述的塔机顶升拆卸过程中塔机关键部位连接状态检测方法,其特征在于,步骤S7的具体步骤为:
数据处理中心根据获得的目标最终预测结果,筛选目标检测结果中是否包含标志物目标,若包含,则进行回转下支座与套架连接状态的判断;若不包含,则进行回转下支座与标准节连接状态的判断。
9.如权利要求3所述的塔机顶升拆卸过程中塔机关键部位连接状态检测方法,其特征在于,步骤S8包含以下步骤:
S81、数据处理中心根据上一步判断的连接阶段,再继续进行塔机回转下支座与套架连接状态或塔机回转下支座与标准节连接状态判断;当进行回转下支座与套架连接状态判断时,数据处理中心计算最终目标检测结果中标志物与连接物之间的距离,判断距离与设定的阈值,若小于阈值,则回转下支座与套架已连接,进行下一步;若不小于阈值,则回转下支座与套架未连接;
S82、当进行回转下支座与标准节连接状态判断时,数据处理中心根据目标检测结果判断连接物类型,根据判断的连接物类型,选择相应的检测方法,然后数据处理中心计算最终目标检测结果中连接物的置信度,判断置信度与设定的阈值,若大于阈值,则回转下支座与标准节已连接,进行一下步;若不大于设定的阈值,则回转下支座与标准节未连接;
S83、若回转下支座与套架或回转下支座与标准节已连接,则进入下一步;若未连接,则重复进行S3-S8步骤,并通过声光报警模块发出报警指令,以产生声光报警信号。
10.如权利要求9所述的塔机顶升拆卸过程中塔机关键部位连接状态检测方法,其特征在于,步骤S82具体包含以下步骤:
S821、当进行回转下支座与标准节连接状态判断时,数据处理中心根据目标检测结果判断连接物类型,若为销轴型,则进入销轴连接状态判断;若为螺栓型,则进入螺栓连接状态判断;
S822、当连接物为螺栓型时,数据处理中心计算最终目标检测结果中连接物的置信度,判断置信度与设定的阈值,若置信度大于设定的阈值,则回转下支座与标准节已连接,进行一下步;若置信度不大于设定的阈值,则回转下支座与标准节未连接;
S823、当连接物为销轴型时,数据处理中心筛选最终目标检测结果中销轴型连接物的数量,若销轴型连接物的数量大于2且目标中心点距离小于阈值,则回转下支座与标准节已连接,若销轴型连接物的数量等于1,则回转下支座与标准节为非紧固连接,若销轴型连接物的数量小于1,则回转下支座与标准节未连接。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310379068.4A CN116675127B (zh) | 2023-04-11 | 2023-04-11 | 塔机顶升拆卸过程中塔机关键部位连接状态检测系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310379068.4A CN116675127B (zh) | 2023-04-11 | 2023-04-11 | 塔机顶升拆卸过程中塔机关键部位连接状态检测系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116675127A true CN116675127A (zh) | 2023-09-01 |
CN116675127B CN116675127B (zh) | 2024-01-23 |
Family
ID=87787908
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310379068.4A Active CN116675127B (zh) | 2023-04-11 | 2023-04-11 | 塔机顶升拆卸过程中塔机关键部位连接状态检测系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116675127B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010044401A (ko) * | 2001-02-16 | 2001-06-05 | 김종선 | 타워 크레인의 무선 영상감시장치 |
KR20080084094A (ko) * | 2007-03-14 | 2008-09-19 | 김문식 | 타워 크레인의 위험감지 경보 방법 및 안전 장치 |
KR20100037257A (ko) * | 2008-10-01 | 2010-04-09 | 주식회사 서부에너지기술 | 지능형 영상 시스템을 이용한 타워 크레인의 작업 상황 감시 방법 |
US20110278252A1 (en) * | 2010-02-11 | 2011-11-17 | Vinicius De Carvalho Cal | Crane and counterweight control process of a crane in real time |
RU162773U1 (ru) * | 2015-12-15 | 2016-06-27 | Общество с ограниченной ответственностью "Русские Технологии" | Устройство безопасности автогидроподъемника |
CN106966298A (zh) * | 2017-04-17 | 2017-07-21 | 山东建筑大学 | 基于机器视觉的装配式建筑智能吊装方法与系统 |
CN107344696A (zh) * | 2017-08-25 | 2017-11-14 | 上海沪东集装箱码头有限公司 | 基于实时视频图像识别的轮胎吊防碰撞预警系统及其方法 |
-
2023
- 2023-04-11 CN CN202310379068.4A patent/CN116675127B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20010044401A (ko) * | 2001-02-16 | 2001-06-05 | 김종선 | 타워 크레인의 무선 영상감시장치 |
KR20080084094A (ko) * | 2007-03-14 | 2008-09-19 | 김문식 | 타워 크레인의 위험감지 경보 방법 및 안전 장치 |
KR20100037257A (ko) * | 2008-10-01 | 2010-04-09 | 주식회사 서부에너지기술 | 지능형 영상 시스템을 이용한 타워 크레인의 작업 상황 감시 방법 |
US20110278252A1 (en) * | 2010-02-11 | 2011-11-17 | Vinicius De Carvalho Cal | Crane and counterweight control process of a crane in real time |
RU162773U1 (ru) * | 2015-12-15 | 2016-06-27 | Общество с ограниченной ответственностью "Русские Технологии" | Устройство безопасности автогидроподъемника |
CN106966298A (zh) * | 2017-04-17 | 2017-07-21 | 山东建筑大学 | 基于机器视觉的装配式建筑智能吊装方法与系统 |
CN107344696A (zh) * | 2017-08-25 | 2017-11-14 | 上海沪东集装箱码头有限公司 | 基于实时视频图像识别的轮胎吊防碰撞预警系统及其方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116675127B (zh) | 2024-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110031477B (zh) | 基于图像监控数据的桥梁关键构件病害预警系统及方法 | |
CN110197203B (zh) | 基于宽度学习神经网络的桥梁路面裂缝分类识别方法 | |
CN110642109B (zh) | 升降设备的振动检测方法、装置、服务器及存储介质 | |
CN113887412B (zh) | 污染排放的检测方法、检测终端、监控系统及存储介质 | |
US10824885B2 (en) | Method and apparatus for detecting braking behavior of front vehicle of autonomous vehicle | |
CN112149522A (zh) | 电缆通道智能可视化防外破监测系统及方法 | |
CN109348179B (zh) | 一种基于人工智能的道路监控检测系统及方法 | |
CN110120155A (zh) | 一种化工厂区车辆超限超载智能监控报警系统 | |
CN114689600A (zh) | 一种桥梁混凝土结构表面裂缝检测方法及系统 | |
CN111462259B (zh) | 一种基于人工智能的汽车充电桩监控系统 | |
CN110728212B (zh) | 一种基于计算机视觉的道路井盖监控装置及监控方法 | |
CN115452723A (zh) | 一种桥梁工程用的桥梁缺陷检测设备及缺陷识别方法 | |
CN114511519A (zh) | 一种基于图像处理的列车车底螺栓丢失检测方法 | |
CN116675127B (zh) | 塔机顶升拆卸过程中塔机关键部位连接状态检测系统及方法 | |
CN116012762A (zh) | 一种针对电力设备的交通路口视频影像分析方法及系统 | |
CN114708532A (zh) | 一种监控视频质量评估方法、系统及存储介质 | |
CN117235672B (zh) | 一种基于多源数据的综合管廊故障诊断方法及装置 | |
CN112232235B (zh) | 基于5g和算法的智慧工厂远程监控方法及系统 | |
CN108805890A (zh) | 一种基于输电线图像特征点的弧锤测量方法 | |
CN115641431A (zh) | 一种基于改进深度学习的输电线工程车辆检测方法 | |
CN110969081B (zh) | 基于多模块划分的kl散度的输电线路外力破坏检测方法 | |
CN113780178A (zh) | 道路检测方法、装置、电子设备和存储介质 | |
CN113536847A (zh) | 一种基于深度学习的工业场景视频分析系统及其方法 | |
CN115861825B (zh) | 一种基于图像识别的2c检测方法 | |
CN109214390B (zh) | 基于机器视觉原理的栅栏状态检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |