CN114812403A - 基于无人机及机器视觉的大跨度钢结构吊装变形监测方法 - Google Patents
基于无人机及机器视觉的大跨度钢结构吊装变形监测方法 Download PDFInfo
- Publication number
- CN114812403A CN114812403A CN202210704148.8A CN202210704148A CN114812403A CN 114812403 A CN114812403 A CN 114812403A CN 202210704148 A CN202210704148 A CN 202210704148A CN 114812403 A CN114812403 A CN 114812403A
- Authority
- CN
- China
- Prior art keywords
- module
- points
- unmanned aerial
- steel structure
- aerial vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 60
- 239000010959 steel Substances 0.000 title claims abstract description 60
- 238000012544 monitoring process Methods 0.000 title claims abstract description 34
- 230000008569 process Effects 0.000 claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 21
- 239000013307 optical fiber Substances 0.000 claims abstract description 19
- 238000006073 displacement reaction Methods 0.000 claims abstract description 18
- 238000006243 chemical reaction Methods 0.000 claims abstract description 13
- 238000013135 deep learning Methods 0.000 claims abstract description 8
- 238000013461 design Methods 0.000 claims abstract description 8
- 238000013528 artificial neural network Methods 0.000 claims abstract description 7
- 230000000007 visual effect Effects 0.000 claims description 26
- 238000010276 construction Methods 0.000 claims description 25
- 240000007651 Rubus glaucus Species 0.000 claims description 17
- 235000011034 Rubus glaucus Nutrition 0.000 claims description 17
- 235000009122 Rubus idaeus Nutrition 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 17
- 230000005540 biological transmission Effects 0.000 claims description 16
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000012800 visualization Methods 0.000 claims description 4
- 230000005764 inhibitory process Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 9
- 238000000605 extraction Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 13
- 238000005259 measurement Methods 0.000 description 6
- 238000011835 investigation Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/16—Measuring arrangements characterised by the use of optical techniques for measuring the deformation in a solid, e.g. optical strain gauge
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
Abstract
基于无人机及机器视觉技术的大跨度钢结构吊装过程变形监测方法，通过测点标记系统和图像采集系统分段获取无人机拍摄的大跨度钢结构吊装过程，根据图像拼接模块和特征检测模型，对大跨度钢结构吊装过程的测点进行全景拼接和坐标提取。特征检测模型采用yolov5深度学习神经网络，检测和识别图像中的标记点或特征点，得到大跨度钢结构吊装时测点坐标、位移和结构变形，事故预警系统中的坐标转换模块通过比例因子将像素坐标转换为实际坐标，并与阈值模块的结构设计阈值进行对比，对比结果通过光纤网络传输到预警模块判别是否发出警报，实时完成大跨度钢结构吊装过程安全事故预警。
Description
技术领域
本发明涉及无人机图像处理技术领域，尤其涉及无人机对大跨度钢结构吊装过程的变形监测技术。
背景技术
随着建筑产业化迅速升级，大跨度钢结构成为建筑行业中崛起的新秀。大跨度钢结构工程项目迅速增加，特别是大跨度钢结构的投入使用，使得钢结构单根大跨度构件吊装和钢结构整体吊装施工技术在钢结构施工中获得越来越广泛的应用。同时，吊装施工技术是应用最为广泛的一种钢结构施工技术，越来越多的吊装施工问题日益凸显出来。不论是单根大跨度的钢结构构件还是整体吊装的网架结构，吊装施工过程都会影响其受力情况、变形情况，甚至可能造成构件或者整体的破坏。不合理的吊装施工会使单根构件局部受力过大而破坏或变形超出规定范围。为了防止灾难性事故的发生，对大跨度钢结构吊装过程的变形监测就变得尤为重要。
现阶段大跨度钢结构吊装过程变形监测的方法主要依靠接触式测量方法，需要现场布设管线和安装传感器，不仅耗时而且耗力，有时还需要人为高空作业，危险系数较高。非接触式位移测量方法通常包括全球定位系统、激光多普勒仪和计算机视觉位移测量等。其中全球定位系统因其较低的测量精度和采样频率主要应用于高耸结构。激光多普勒仪只能在近距离内进行结构位移测量，而且成本较高，较难实现多点同步测量。
近几年无人机和计算机视觉技术不断发展，基于计算机视觉的结构变形监测方法不断涌现，并在实际工程应用中得到验证。其因远距离、非接触、高精度、省时省力、多点监测等众多优点越来越受到科研和工程人员的关注。该方法主要对移动设备拍摄的被测结构视频进行目标追踪处理以得到测点在图像中的运动轨迹，再通过图像与现实世界的几何关系确定结构的位移信息。移动设备在距被测结构较远处的点上，消除了接触式位移监测方法需要在结构上安装固定支撑点的需求。另外由于移动设备视野可以涵盖结构上多个测量区域，因此容易以较低的成本实现多点测量。
目前无人机对大跨度钢结构吊装过程的变形监测目前仍存在着一些技术难题：第一，大跨度钢结构在吊装过程中，由于一些施工过程较为复杂，施工时无法接触到测点或需要进行夜间作业，这时对于标记点的选取就尤为重要。第二，由于大跨度钢结构体积较大，对于大跨度上的标记点必须要实现全景扫描，这就存在无人机扫描精度的问题。第三，无人机航拍大跨度钢结构吊装过程时，由于拍摄距离较近，无人机对标记点的采样频率不一致，且易与吊装结构发生碰撞，航线规划较为困难。第四，深度学习复杂且耗时，在吊装过程中无法进行实时预测安全信息，导致施工存在安全隐患。
发明内容
本发明的目的是提供一种基于无人机及机器视觉的大跨度钢结构吊装变形监测方法。
本发明是基于无人机及机器视觉的大跨度钢结构吊装变形监测方法，其步骤为：
步骤（1）运用无人机1-1集成搭载的图像采集系统2-1初步进行结构环境现场勘查，同时根据测点标记系统3-1的无标记模块3-2或有标记模块3-3人工选择测点标记类型并在吊装前进行布置；
步骤（2）根据标记点或特征点的个数和方向，运用图像采集系统2-1中的视觉伺服控制模块2-2设置无人机1-1采集频率和最优航行路线，并通过光纤网络控制高清云台相机模块2-3进行图像采集，分段采集的图像通过无线传输模块2-4无线传输到树莓派4-1中，其中，树莓派4-1由图像处理系统5-1和事故预警系统6-1组成；
步骤（3）运用图像处理系统5-1的图像拼接模块5-2和特征识别模块5-3将分段图像信息转换为全景图像信息、测点信息转换为像素坐标后通过光纤网络传输到事故预警系统6-1；
步骤（4）事故预警系统6-1中的坐标转换模块6-2通过比例因子将像素坐标转换为实际坐标，并与阈值模块6-3的结构设计阈值进行对比，对比结果通过光纤网络传输到预警模块6-4判别是否发出警报，实时完成大跨度钢结构吊装过程安全事故预警。
本发明的有益效果是：通过测点标记系统3-1和图像采集系统2-1分段获取无人机1-1拍摄的大跨度钢结构吊装过程，根据图像拼接模块5-2和特征检测模型，对大跨度钢结构吊装过程的测点进行全景拼接和坐标提取。其中，所述特征检测模型采用yolov5深度学习神经网络，能够精准高效的检测和识别图像中的标记点或特征点，最终得到大跨度钢结构吊装时测点坐标、位移和结构变形，并通过事故预警系统6-1进行安全分析，为大跨度钢结构吊装过程的变形监测提供了安全、方便、快捷的渠道，解决了大跨度钢结构吊装过程接触式和非接触式监测现存的种种问题。
附图说明
图1是本发明实施例-基于无人机及机器视觉技术的大跨度钢结构吊装过程变形监测方法的结构框图，图2是本发明实施例中测点标记系统的结构框图，图3是本发明实施例中图像处理系统的结构框图，图4是本发明实施例中图像采集系统的结构框图，图5是本发明实施例中图像拼接模块的流程框图，图6是本发明实施例中训练特征检测模型的流程框图，图7是本发明实施例中事故预警系统的流程框图。
具体实施方式
如图1~图7所示，本发明是基于无人机及机器视觉的大跨度钢结构吊装变形监测方法，其步骤为：
步骤（1）运用无人机1-1集成搭载的图像采集系统2-1初步进行结构环境现场勘查，同时根据测点标记系统3-1的无标记模块3-2或有标记模块3-3人工选择测点标记类型并在吊装前进行布置；
步骤（2）根据标记点或特征点的个数和方向，运用图像采集系统2-1中的视觉伺服控制模块2-2设置无人机1-1采集频率和最优航行路线，并通过光纤网络控制高清云台相机模块2-3进行图像采集，分段采集的图像通过无线传输模块2-4无线传输到树莓派4-1中，其中，树莓派4-1由图像处理系统5-1和事故预警系统6-1组成；
步骤（3）运用图像处理系统5-1的图像拼接模块5-2和特征识别模块5-3将分段图像信息转换为全景图像信息、测点信息转换为像素坐标后通过光纤网络传输到事故预警系统6-1；
步骤（4）事故预警系统6-1中的坐标转换模块6-2通过比例因子将像素坐标转换为实际坐标，并与阈值模块6-3的结构设计阈值进行对比，对比结果通过光纤网络传输到预警模块6-4判别是否发出警报，实时完成大跨度钢结构吊装过程安全事故预警。
如图1~图3所示，以上所述的方法，步骤（1）所述的测点标记系统3-1为人工标记方法，包括：有标记模块3-2和无标记模块3-3，该系统利用无人机1-1集成搭载的图像采集系统2-1对施工环境初步勘查，从而根据施工环境-夜间施工、背景颜色、吊点类型人工选取标记类型并进行现场布置；
所述的有标记模块3-2能根据需求选取标记类型，在采集前需要相机标定时，能采用棋盘标定板；
需要对监测结构附加监测信息时，能采用二维码标定板；
需要进行夜间施工的结构，能采用人工光源标定板；
所述的无标记模块3-3针对于测点特征值较好的大跨度钢结构，将特征点作为无形的标记点进行识别。
如图1、图3所示，以上所述的方法，步骤（2）所述的图像采集系统2-1包括视觉伺服控制模块2-2、高清云台相机模块2-3和无线传输模块2-4，且均通过光纤网络传递数据；
其中，视觉伺服控制模块2-2和无线传输模块2-4集成搭载在无人机1-1内，高清云台相机模块2-3悬挂链接在无人机1-1下方；
所述的视觉伺服控制模块2-2能根据已知的特征图像自动识别与结构不同的标记点或特征点，并控制高清云台相机模块2-3在视觉平面存在三个非同向（任意三角形）标记点或特征点时进行图像采集，即得到采集距离和采集频率，同时视觉伺服控制模块2-2控制无人机1-1随着视觉平面内的非同向标记点或特征点自左向右不断移动，直到不存在三个非同向标记点或特征点时停止，即得到最优航行路线，从而完成对结构的分段采集；
所述的无线传输模块2-4能通过无线网络将分段采集的图像传输到树莓派4-1中。
如图1、图4所示，以上所述的方法，步骤（2）所述的树莓派4-1设备为可视化设备，由图像处理系统5-1和事故预警系统6-1组成，并通过光纤网络相互传输信息，既能接收无人机传输的信息，也能将最终监测结果可视化显示。
如图1、图4所示，以上所述的方法，步骤（3）所述的图像处理系统（5-1）包括：图像拼接模块5-2和特征识别模块5-3；
所述的图像拼接模块5-2主要采用Harris算法从空间上寻找分段图片的角度特征值，寻找的特征值都以标记点的突出点为根据；
其次，对提取的特征值进行自适应非极大值抑制筛选特征值和RANSAC异常值拒绝筛选特征值，其中，RANSAC异常值拒绝所需阈值应根据大跨度钢结构吊装时的背景复杂程度来确定；
最终，对特征值筛选后的特征点加权融合以实现分段图像的无缝拼接。
如图4所示，以上所述的方法，所述的特征识别模块5-3以特征检测模型为核心，该模型是以多种标记板和特征点为数据集进行训练的结果，能将拼接好的图像输入到训练好的特征检测模型中从而对标记点或特征点进行识别、跟踪和像素坐标提取，对吊装前后测点的像素坐标进行对比即可得到结构的像素位移，其中，特征检测模型是基于yolov5的深度学习神经网络。
如图1、图7所示，以上所述的方法，步骤（4）所述的事故预警系统6-1由坐标转换模块6-2、阈值模块6-3和预警模块6-4组成，并通过光纤网络传输信息；
所述的坐标转换模块6-2能设置吊装结构的像素比例因子，将像素坐标转换为实际坐标，从而得到吊装结构实际发生的位移和变形；
所述的阈值模块6-3将坐标转化后的实际坐标与理论安全阈值进行对比，其中，该理论阈值为结构设计值的位移阈值；
所述的预警模块6-4根据阈值模块6-3的对比结果判别是否安全，若安全，通过无线网络在树莓派4-1可视化设备上显示监测结果，若不安全，则发出警报，停止施工。
下面将结合附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是本发明实施例的基于无人机1-1及机器视觉技术的大跨度钢结构吊装过程变形监测方法的结构框图，该方法包括：
第一，通过测点标记系统3-1，选取最适合施工背景的标记类型；
第二，运用图像采集系统2-1对吊装过程进行分段采集；
第三，通过图像处理系统5-1对图片进行全景拼接，运用特征检测模型，对图像中的标记点或特征点进行识别、跟踪，得到各个标记点或特征点的像素坐标和位移；
第四，最终通过事故预警系统6-1进行安全事故分析及预警。
具体地，首先，运用无人机1-1集成搭载的图像采集系统2-1初步进行结构环境现场勘查，同时根据测点标记系统3-1的无标记模块3-2或有标记模块3-3人工选择测点标记类型并在吊装前进行布置。再根据标记点或特征点的个数和方向，运用图像采集系统2-1中的视觉伺服控制模块2-2设置无人机1-1采集频率和最优航行路线，并通过光纤网络控制高清云台相机模块2-3进行图像采集，分段采集的图像通过无线传输模块2-4无线传输到树莓派4-1中，其中，树莓派4-1由图像处理系统5-1和事故预警系统6-1组成。运用图像处理系统5-1的图像拼接模块5-2和特征识别模块5-3将分段图像信息转换为全景图像信息、测点信息转换为像素坐标后通过光纤网络传输到事故预警系统6-1。最终，事故预警系统6-1中的坐标转换模块6-2通过比例因子将像素坐标转换为实际坐标，并与阈值模块6-3的结构设计阈值进行对比，对比结果通过光纤网络传输到预警模块6-4判别是否发出警报，实时完成大跨度钢结构吊装过程安全事故预警。
在一些可能的实施例中，特征检测模型是由yolov5加入注意力机制的区域卷积神经网络训练得到。
图2是本发明实施例中测点标记系统3-1的结构框图。首先根据吊装背景和测点信息考虑是否使用标记。其次，对于使用标记的测点选取标记类型，应优先选择与吊装结构色差较大易于区分的标记模板。本实施例提供的第1类标记类型为平面板上带规则的几何图案，这种图案一般为对称且规则的图形，例如：棋盘标定板，该标定板既可以用于相机标定参考，也可以作为模板进行识别。第二类为平面板不带规则的图案，这种图案呈不规则的图形，但仍有定位点，例如：二维码标定板，该标定板既可以从二维码提取信息，也有定位点作为特征点进行识别。第3类为不规则人工散斑，其可以为结构表面提供人工纹理，纹理的随机性可以更好地进行识别追踪。第4类为人工散斑带规则边界，可以提供大量的表面信息，同样也可以进行相机标定。第5类为人工光源，设置光源的目的是增加标志物在光线变化下的稳健性以及提供在夜晚进行监测的可能性，还可以根据环境光的特点改变光源，提高其在不同环境光下的辨识度。第6类为激光光源，这种光源主要是将激光装置安装于结构上，发射到无人机1-1的视觉系统中作为标记。
无标记识别主要是对所需监测的点进行特征放大或增加不同的环境变量，使监测点具有不同的特征来进行识别。
图3是本发明实施例中图像采集系统2-1的结构框图。主要包括：视觉伺服控制模块2-2、高清云台相机模块2-3和无线传输模块2-4。高清云台相机模块2-3悬挂转动连接于无人机1-1下方，视觉伺服控制模块2-2和无线传输模块2-4集成搭载在无人机1-1搭载平台。
视觉伺服控制模块2-2可根据已知的特征图像自动识别与结构不同的标记点或特征点，并控制高清云台相机模块2-3在视觉平面存在三个非同向（任意三角形）标记点或特征点时进行图像采集，即得到采集距离和采集频率，同时视觉伺服控制模块2-2控制无人机1-1随着视觉平面内的非同向标记点或特征点自左向右不断移动，直到不存在三个非同向标记点或特征点时停止，即得到最优航行路线。例如：每三个标记点进行一次悬停拍摄，大跨度钢结构有30个结点，每个结点均有一个标记点，即有（30/2）15个采集点。一些非对称大跨度钢结构吊装时还需要正反双面进行拍摄取向，则多出一倍的采集点。
高清云台相机模块2-3主要通过视觉伺服控制模块2-2设置的采样频率和最优路线分段采集大跨度钢结构吊装过程图像信息，并将采集到的图像信息反馈到无线传输模块2-4，以便图像存储和传输。
无线传输模块2-4主要用于信息传输和信息存储，既可以存储视频和图像信息，也可将图像信息通过无线网络传输到树莓派设备4-1中，是无人机1-1与树莓派4-1信息传输的桥梁。
图4是本发明实施例中图像处理系统5-1的流程框图。主要包括：图像拼接模块5-2和特征识别模块5-3。图像拼接模块5-2主要是对含有标记点或特征点的分段图像进行拼接，使标记点或特征点清晰且连续。特征识别模块5-3是采用yolov5深度学习神经网络以各种标记点和特征点为数据集进行训练，建立特征检测模型并对需要检测的样本进行处理。
图像拼接模块5-2主要是对分段图片进行图像拼接。由于大跨度结构的体积都相对较大，在吊装过程中，出于对标记点或特征点清晰度的考虑，无人机1-1无法进行全景拍摄，只能将分段图片进行图像拼接，从而达到标记点或特征点高识别度的全景效果。
特征识别模块5-3主要采用labelImg对各种不同的标记点或特征点进行标记，采用yolov5深度学习神经网络以各种标记点和特征点为数据集进行训练且达到效果后，对需要检测的图像进行测试，对标记点或特征点进行识别、跟踪和像素坐标提取。
图5是本发明实施例中图像拼接模块5-2的流程框图。由于大跨度钢结构可能体型过于庞大，全景进行拍摄造成标记点或特征点辨识度过低，故采用一种图像拼接技术对大跨度钢结构图片进行拼接，将无人机1-1近距离分段拍摄的吊装图片拼接为全景图片，同时也不会丢失大跨度钢结构标记点或关键结点的辨识度。
在本实施例中，将大跨度钢结构吊装过程中的多张图片进行同时拼接，且均采用特征匹配的方法。本实施例采用Harris算法从空间上寻找角度特征值，寻找的特征值都以标记点或特征点的突出点为根据，从而进行自适应非极大值抑制和RANSAC异常值拒绝对特征值进行筛选。其中，RANSAC异常值拒绝所需阈值应根据大跨度钢结构吊装时的背景复杂程度来确定。最终对特征值筛选后的特征点加权融合以实现分段图像的无缝拼接。不同的光源对于图像加权融合会产生不同的影响，故在进行选取所需拼接的图片时，应尽量避免产生极大色差的图片进行拼接。
基于特征图像配准主要是用于提取吊装图像中的点、线、边缘等特征信息，不需要其它辅助信息，在减少计算量、提高效率的同时，能够对图像灰度的变化有一定的鲁棒性。
点特征主要是提取需要拼接图片中相同特征的点，并得到特征点的坐标值。
Harris算子为该模块的核心，主要是通过数学计算在图像上发现角度特征值，通过Harris算子提取出吊装过程中所需要拼接图像的特征点。
自适应非极大值抑制主要是对图像中的候选点进行评估，并且对所有评估的点选取最大值区域，对其进行排序。
RANSAC异常值拒绝主要是将匹配图像中的点进行筛查（确定指标阈值），对于不符合匹配的异常点进行剔除处理，从而防止结果出现偏差。
图像加权融合主要是对拼接图像的拼接界做处理，由于需要拼接图像的各个拼接点环境因素不同，故对原图像的像素值直接取相同的权值，然后进行加权平均得到融合图像的像素值，从而得到完整且无不利痕迹的图片。
图6是本发明实施例中特征检测模型训练过程的流程图。如图6所示大跨度钢结构吊装过程特征识别模型由yolov5深度学习神经网络训练得到。本实施例为yolov5m训练模型的输出结果。
输入端表示输入的图片。该阶段通常包含图像预处理阶段，即将输入图像缩放到网络的输入大小，并进行归一化等操作。再通过网络模型使用Mosaic数据增强，提升模型的训练速度和网络精度。
Backbone网络通常是一些性能优异的分类器种的网络，该模块用来提取一些通用的特征表示。本实施例网络中不仅使用了CSPDarknet53结构，而且使用了Focus结构作为基准网络。
Neck网络通常位于基准网络和头网络的中间位置，主要是用来进一步提升特征的多样性及鲁棒性，本实施例网络用到了SPP模块和FPN+PAN模块。
输出端用来完成目标检测结果的输出。针对不同的检测算法，输出端的分支个数不尽相同，通常包含一个分类分支和一个回归分支，本实施例为yolov5m的输出结果。
图7是本发明实施例中事故预警系统6-1的流程框图。该系统首先将特征检测模型输出的像素坐标转换为实际坐标，并与设置好的理论阈值进行对比。其次，预警模块6-4对检测样本进行安全分析，判断出结构是否安全，提出预警。
坐标转换模块6-2主要用于像素坐标转换，可根据设置的像素比例因子将像素坐标转换为实际坐标，从而得到吊装结构的实际位移和变形。
阈值模块6-3主要根据大跨度钢结构的结构设计指标确定处于安全状态下的位移阈值。根据阈值的大小不同，进行判别时结构的安全状态也不同。
预警模块6-4主要用于检测样本与理论阈值的比较判别，对于结构安全的样本，通过树莓派4-1的可视化设备或移动设备上查看测点位移和结构变形的结果。对于结构不安全的样本，可视化设备将发出警报，并输出位移过大的测点，停止施工。
虽然本申请提供了基于无人机及机器视觉技术的大跨度钢结构吊装过程变形监测方法的实施例或流程图，以及实施例或流程图的方法和步骤，但基于常规或无创造性的手段可以包括更多或更少的操作步骤。实施例或流程图中的步骤仅仅是执行方式的一种，不代表所有的执行方式。
本说明书中的各个实施例均采用相关的方式描述，每个实施例都重点说明的是其独特之处，对于相同或相似的部分互相参见即可。以上所述仅为本发明的较佳实施例，并不是用于限定本发明的保护范围。凡是在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围之内。
Claims (7)
1.基于无人机及机器视觉的大跨度钢结构吊装变形监测方法，其特征在于，其步骤为：
步骤（1）运用无人机（1-1）集成搭载的图像采集系统（2-1）初步进行结构环境现场勘查，同时根据测点标记系统（3-1）的无标记模块（3-2）或有标记模块（3-3）人工选择测点标记类型并在吊装前进行布置；
步骤（2）根据标记点或特征点的个数和方向，运用图像采集系统（2-1）中的视觉伺服控制模块（2-2）设置无人机（1-1）采集频率和最优航行路线，并通过光纤网络控制高清云台相机模块（2-3）进行图像采集，分段采集的图像通过无线传输模块（2-4）无线传输到树莓派（4-1）中，其中，树莓派（4-1）由图像处理系统（5-1）和事故预警系统（6-1）组成；
步骤（3）运用图像处理系统（5-1）的图像拼接模块（5-2）和特征识别模块（5-3）将分段图像信息转换为全景图像信息、测点信息转换为像素坐标后通过光纤网络传输到事故预警系统（6-1）；
步骤（4）事故预警系统（6-1）中的坐标转换模块（6-2）通过比例因子将像素坐标转换为实际坐标，并与阈值模块（6-3）的结构设计阈值进行对比，对比结果通过光纤网络传输到预警模块（6-4）判别是否发出警报，实时完成大跨度钢结构吊装过程安全事故预警。
2.根据权利要求1所述的基于无人机及机器视觉的大跨度钢结构吊装变形监测方法，其特征在于：步骤（1）所述的测点标记系统（3-1）为人工标记方法，包括：有标记模块（3-2）和无标记模块（3-3），该系统利用无人机（1-1）集成搭载的图像采集系统（2-1）对施工环境初步勘查，从而根据施工环境-夜间施工、背景颜色、吊点类型人工选取标记类型并进行现场布置；
所述的有标记模块（3-2）能根据需求选取标记类型，在采集前需要相机标定时，能采用棋盘标定板；
需要对监测结构附加监测信息时，能采用二维码标定板；
需要进行夜间施工的结构，能采用人工光源标定板；
所述的无标记模块（3-3）针对于测点特征值较好的大跨度钢结构，将特征点作为无形的标记点进行识别。
3.根据权利要求1所述的基于无人机及机器视觉的大跨度钢结构吊装变形监测方法，其特征在于：步骤（2）所述的图像采集系统（2-1）包括视觉伺服控制模块（2-2）、高清云台相机模块（2-3）和无线传输模块（2-4），且均通过光纤网络传递数据；
其中，视觉伺服控制模块（2-2）和无线传输模块（2-4）集成搭载在无人机（1-1）内，高清云台相机模块（2-3）悬挂链接在无人机（1-1）下方；
所述的视觉伺服控制模块（2-2）能根据已知的特征图像自动识别与结构不同的标记点或特征点，并控制高清云台相机模块（2-3）在视觉平面存在三个非同向（任意三角形）标记点或特征点时进行图像采集，即得到采集距离和采集频率，同时视觉伺服控制模块（2-2）控制无人机（1-1）随着视觉平面内的非同向标记点或特征点自左向右不断移动，直到不存在三个非同向标记点或特征点时停止，即得到最优航行路线，从而完成对结构的分段采集；
所述的无线传输模块（2-4）能通过无线网络将分段采集的图像传输到树莓派（4-1）中。
4.根据权利要求1所述的基于无人机及机器视觉的大跨度钢结构吊装变形监测方法，其特征在于：步骤（2）所述的树莓派（4-1）设备为可视化设备，由图像处理系统（5-1）和事故预警系统（6-1）组成，并通过光纤网络相互传输信息，既能接收无人机传输的信息，也能将最终监测结果可视化显示。
5.根据权利要求1所述的基于无人机及机器视觉的大跨度钢结构吊装变形监测方法，其特征在于：步骤（3）所述的图像处理系统（5-1）包括：图像拼接模块（5-2）和特征识别模块（5-3）；
所述的图像拼接模块（5-2）主要采用Harris算法从空间上寻找分段图片的角度特征值，寻找的特征值都以标记点的突出点为根据；
其次，对提取的特征值进行自适应非极大值抑制筛选特征值和RANSAC异常值拒绝筛选特征值，其中，RANSAC异常值拒绝所需阈值应根据大跨度钢结构吊装时的背景复杂程度来确定；
最终，对特征值筛选后的特征点加权融合以实现分段图像的无缝拼接。
6.根据权利要求1所述的基于无人机及机器视觉的大跨度钢结构吊装变形监测方法，其特征在于：所述的特征识别模块（5-3）以特征检测模型为核心，该模型是以多种标记板和特征点为数据集进行训练的结果，能将拼接好的图像输入到训练好的特征检测模型中从而对标记点或特征点进行识别、跟踪和像素坐标提取，对吊装前后测点的像素坐标进行对比即可得到结构的像素位移，其中，特征检测模型是基于yolov5的深度学习神经网络。
7.根据权利要求1所述的基于无人机及机器视觉的大跨度钢结构吊装变形监测方法，其特征在于：步骤（4）所述的事故预警系统（6-1）由坐标转换模块（6-2）、阈值模块（6-3）和预警模块（6-4）组成，并通过光纤网络传输信息；
所述的坐标转换模块（6-2）能设置吊装结构的像素比例因子，将像素坐标转换为实际坐标，从而得到吊装结构实际发生的位移和变形；
所述的阈值模块（6-3）将坐标转化后的实际坐标与理论安全阈值进行对比，其中，该理论阈值为结构设计值的位移阈值；
所述的预警模块（6-4）根据阈值模块（6-3）的对比结果判别是否安全，若安全，通过无线网络在树莓派（4-1）可视化设备上显示监测结果，若不安全，则发出警报，停止施工。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210704148.8A CN114812403B (zh) | 2022-06-21 | 2022-06-21 | 基于无人机及机器视觉的大跨度钢结构吊装变形监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210704148.8A CN114812403B (zh) | 2022-06-21 | 2022-06-21 | 基于无人机及机器视觉的大跨度钢结构吊装变形监测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114812403A true CN114812403A (zh) | 2022-07-29 |
| CN114812403B CN114812403B (zh) | 2024-02-27 |
Family
ID=82521569
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210704148.8A Active CN114812403B (zh) | 2022-06-21 | 2022-06-21 | 基于无人机及机器视觉的大跨度钢结构吊装变形监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114812403B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116308180A (zh) * | 2023-03-22 | 2023-06-23 | 兰州理工大学 | 基于无人机及机器视觉的风电结构健康监测系统及方法 |
| CN117168344A (zh) * | 2023-11-03 | 2023-12-05 | 杭州鲁尔物联科技有限公司 | 单目全景环视形变监测方法、装置及计算机设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008057243A (ja) * | 2006-08-31 | 2008-03-13 | Penta Ocean Construction Co Ltd | 橋梁架設施工管理方法及び装置 |
| US20110044509A1 (en) * | 2009-08-24 | 2011-02-24 | National Applied Research Laboratories | Bridge structural safety monitoring system and method thereof |
| CN108824816A (zh) * | 2018-05-31 | 2018-11-16 | 浙江大学 | 一种高空大跨网架滑移定位安装及监测方法 |
| CN109612427A (zh) * | 2019-01-16 | 2019-04-12 | 兰州交通大学 | 一种多传感器协同的无人机公路桥梁形变检测方法及系统 |
| CN112882446A (zh) * | 2021-01-12 | 2021-06-01 | 中国十七冶集团有限公司 | 基于bim平台的大型空间钢结构可视化施工监控系统 |
| CN113390358A (zh) * | 2021-06-04 | 2021-09-14 | 中国十七冶集团有限公司 | 一种基于机器视觉识别技术的钢结构变形监测方法 |
-
2022
- 2022-06-21 CN CN202210704148.8A patent/CN114812403B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008057243A (ja) * | 2006-08-31 | 2008-03-13 | Penta Ocean Construction Co Ltd | 橋梁架設施工管理方法及び装置 |
| US20110044509A1 (en) * | 2009-08-24 | 2011-02-24 | National Applied Research Laboratories | Bridge structural safety monitoring system and method thereof |
| CN108824816A (zh) * | 2018-05-31 | 2018-11-16 | 浙江大学 | 一种高空大跨网架滑移定位安装及监测方法 |
| CN109612427A (zh) * | 2019-01-16 | 2019-04-12 | 兰州交通大学 | 一种多传感器协同的无人机公路桥梁形变检测方法及系统 |
| CN112882446A (zh) * | 2021-01-12 | 2021-06-01 | 中国十七冶集团有限公司 | 基于bim平台的大型空间钢结构可视化施工监控系统 |
| CN113390358A (zh) * | 2021-06-04 | 2021-09-14 | 中国十七冶集团有限公司 | 一种基于机器视觉识别技术的钢结构变形监测方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116308180A (zh) * | 2023-03-22 | 2023-06-23 | 兰州理工大学 | 基于无人机及机器视觉的风电结构健康监测系统及方法 |
| CN117168344A (zh) * | 2023-11-03 | 2023-12-05 | 杭州鲁尔物联科技有限公司 | 单目全景环视形变监测方法、装置及计算机设备 |
| CN117168344B (zh) * | 2023-11-03 | 2024-01-26 | 杭州鲁尔物联科技有限公司 | 单目全景环视形变监测方法、装置及计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114812403B (zh) | 2024-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113744270B (zh) | 起重机复杂钢结构表面缺陷的无人机视觉检测与识别方法 | |
| CN114812403B (zh) | 基于无人机及机器视觉的大跨度钢结构吊装变形监测方法 | |
| CN110850723B (zh) | 一种基于变电站巡检机器人系统的故障诊断及定位方法 | |
| CN111272366B (zh) | 一种基于多传感器数据融合的桥梁位移高精度测量方法 | |
| CN110142785A (zh) | 一种基于目标检测的巡检机器人视觉伺服方法 | |
| CN103837087B (zh) | 基于主动形状模型的受电弓自动检测方法 | |
| CN110246175A (zh) | 全景相机与云台相机结合的变电站巡检机器人图像检测系统及方法 | |
| CN109829908B (zh) | 基于双目影像的电力线下方地物安全距离检测方法及设备 | |
| CN110570537B (zh) | 基于视频识别的航标监测方法及船载航标智能巡检设备 | |
| CN105938554B (zh) | 基于图像自动判读的尖轨伸缩位移监测方法及系统 | |
| CN112528979B (zh) | 变电站巡检机器人障碍物判别方法及系统 | |
| CN109342423A (zh) | 一种基于机器视觉管道测绘的城市排水管道验收方法 | |
| CN111896549A (zh) | 一种基于机器学习的建筑物裂缝监测系统和方法 | |
| CN115035141A (zh) | 基于图像处理的隧道裂缝远程监测与预警方法 | |
| CN114941807A (zh) | 一种基于无人机的热力管道泄漏快速监测与定位方法 | |
| CN113884011A (zh) | 一种非接触式混凝土表观裂缝测量设备和方法 | |
| CN115060343A (zh) | 一种基于点云的河流水位检测系统、检测方法及程序产品 | |
| CN115880231A (zh) | 一种基于深度学习的输电线路隐患检测方法和系统 | |
| CN114494845A (zh) | 一种用于施工项目现场人工智能隐患排查系统及其排查方法 | |
| CN105987665B (zh) | 一种特高压输电线路弧垂点变化范围的预警监测装置及方法 | |
| CN109879170B (zh) | 一种起重机吊臂旁弯位移实时检测系统 | |
| CN115797411A (zh) | 一种利用机器视觉在线识别水电站电缆桥架形变的方法 | |
| CN112781518B (zh) | 一种房屋形变监测方法及系统 | |
| JP2003065959A (ja) | 非破壊検査装置 | |
| CN113959339A (zh) | 获取裂缝宽度的方法、装置以及裂缝监测仪及监测系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |