CN111932508A - 一种基于图像处理的钢筋尺寸测量方法及系统 - Google Patents
一种基于图像处理的钢筋尺寸测量方法及系统 Download PDFInfo
- Publication number
- CN111932508A CN111932508A CN202010758955.9A CN202010758955A CN111932508A CN 111932508 A CN111932508 A CN 111932508A CN 202010758955 A CN202010758955 A CN 202010758955A CN 111932508 A CN111932508 A CN 111932508A
- Authority
- CN
- China
- Prior art keywords
- steel bar
- image
- steel bars
- size
- rebar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 229910000831 Steel Inorganic materials 0.000 title claims abstract description 174
- 239000010959 steel Substances 0.000 title claims abstract description 174
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012545 processing Methods 0.000 title claims abstract description 37
- 238000001514 detection method Methods 0.000 claims abstract description 33
- 238000012544 monitoring process Methods 0.000 claims abstract description 30
- 238000013135 deep learning Methods 0.000 claims abstract description 24
- 238000004891 communication Methods 0.000 claims abstract description 21
- 238000007689 inspection Methods 0.000 claims abstract description 17
- 238000005259 measurement Methods 0.000 claims description 32
- 238000000605 extraction Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 230000003014 reinforcing effect Effects 0.000 claims description 9
- 230000002787 reinforcement Effects 0.000 claims description 7
- 230000002146 bilateral effect Effects 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000007670 refining Methods 0.000 claims description 2
- 238000000691 measurement method Methods 0.000 claims 1
- 238000003708 edge detection Methods 0.000 abstract description 9
- 238000013480 data collection Methods 0.000 abstract description 3
- 230000005540 biological transmission Effects 0.000 description 18
- 230000000694 effects Effects 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 238000010276 construction Methods 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000013439 planning Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 102100031315 AP-2 complex subunit mu Human genes 0.000 description 1
- 101000796047 Homo sapiens AP-2 complex subunit mu Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009435 building construction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本公开提出了一种基于图像处理的钢筋尺寸测量方法及系统，包括：数据采集模块、通讯模块及远程综合监控模块，所述数据采集模块通过执行巡检任务采集钢筋图像并通过通讯模块传输至远程综合监控模块；所述远程综合监控模块被配置为：利用深度学习框架在原图像中提取钢筋；根据深度学习框架输出的不同钢筋目标框的坐标信息，区分图像中多个钢筋目标，分别对钢筋双侧边缘检测和直线检测，获得钢筋直径；基于深度学习框架输出的掩膜对图像骨架提取，然后对钢筋直线拟合，通过相邻直线计算，进行钢筋间距测量。
Description
技术领域
本公开属于图像处理技术领域，尤其涉及一种基于图像处理的钢筋尺寸测量方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
传统工程监理采用人工监理方式，主要存在效率低、成本高、安全系数低等缺点，首先监理工程师每日监理范围有限，单纯依赖人工，效率低，尚不满足工程监理的需求。
目前对于钢筋尺寸的测量虽然利用了相关的图像处理技术，引入图像处理与人工智能，在实际施工现场中，绑扎钢筋分布密集、数量繁多、走线复杂、背景复杂、特征不明显等原因导致其检测识别效果较差，无法满足对施工内容的检测要求。
另外，现有的专利中钢筋尺寸需要激光测距等设备协助使用，默认钢筋目标位置已知且固定，但是实际的工程现场中钢筋目标位置并不确定。
发明内容
为克服上述现有技术的不足，本公开提供了一种基于图像处理的钢筋尺寸测量方法，通过远距离无接触式巡检作业，降低监理工程师的工作危险，扩大有效巡检范围，大幅度提高工程监理工作效率。
为实现上述目的，本公开的一个或多个实施例提供了如下技术方案：
第一方面，公开了一种基于图像处理的钢筋尺寸测量系统，包括：
数据采集模块、通讯模块及远程综合监控模块，所述数据采集模块通过通讯模块与远程综合监控模块进行数据传输；
所述数据采集模块通过执行巡检任务采集钢筋图像并传输至远程综合监控模块；
所述远程综合监控模块被配置为：利用深度学习框架在原图像中提取钢筋；
根据深度学习框架输出的不同钢筋目标框的坐标信息，区分图像中多个钢筋目标，分别对钢筋双侧边缘检测和直线检测，获得钢筋直径；
基于深度学习框架输出的掩膜对图像骨架提取，然后对钢筋直线拟合，通过相邻直线计算，进行钢筋间距测量。
第二方面，公开了一种基于图像处理的钢筋尺寸测量方法，包括：
通过执行巡检任务采集钢筋图像并传输至远程综合监控模块；
利用深度学习框架在原图像中提取钢筋；
根据深度学习框架输出的不同钢筋目标框的坐标信息，区分图像中多个钢筋目标，分别对钢筋双侧边缘检测和直线检测，获得钢筋直径；
基于深度学习框架输出的掩膜对图像骨架提取，然后对钢筋直线拟合，通过相邻直线计算，进行钢筋间距测量。
进一步的技术方案，所述网络框架对输入的图像进行处理，包括利用双线性插值进行像素对齐，提取钢筋图像，之后分割同一张图像中不同钢筋目标。
进一步的技术方案，对钢筋双侧边缘检测时，通过图像处理消除螺纹干扰，获得边缘信息。
进一步的技术方案，采用邻近直线融合进行钢筋直线检测，包括：
获取检测到的全部直线极坐标；
判断所有直线分类，包括钢筋左侧拟合直线及钢筋右侧拟合直线；
对于同侧直线，分别求取极坐标半径及角度平均值，计算钢筋单边直线平均极坐标，得到钢筋边缘拟合直线；
通过双边直线极坐标，得到图像坐标中钢筋直径。
进一步的技术方案，将相同方向分布的钢筋掩膜细化进行图像骨架提取。
进一步的技术方案，利用最小二乘法拟合钢筋骨架，通过相邻直线的距离与钢筋直径差值，完成钢筋间距测量；
遍历和计算图像内全部直线间距，获取直线上点到其他直线垂直距离的平均值，作为钢筋间距测量值。
进一步的技术方案，将获得的钢筋直径及间距基于辅助标志进行尺寸转化，获得钢筋尺寸真实数值：
选用标志的编码ID，将钢筋检测的像素值转换为实际尺寸，通过钢筋直径与间距的尺寸输出数值。
以上一个或多个技术方案存在以下有益效果：
本公开技术方案利用无人机进行现场巡检，结合传统图像处理和深度学习技术对无人机回传的图像进行钢筋检测和尺寸测量，根据工程监理规范要求和验收标准，比对和分析测量数据，得到钢筋尺寸测量结果，为工程监理验收提供有效的决策信息。本方案可以进行实时有效巡检，操作简单，方便监理人员使用，不仅可以应用于楼层验收钢筋尺寸及间距的项目中，同时可在施工过程中代替监理人员进行日常巡检，能在施工人员规范作业方面提供有力监督手段，有效提高监理人员工作效率。
本公开技术方案图像算法能够有效提取图片特征，提取识别并检测目标，因此采用无人机搭载可见光设备采集施工现场影像数据，通过图像处理算法提取钢筋，并测量钢筋尺寸，能够提高验收流程效率，实现历史数据存档，保障数据可追溯，使得监理报告制度更为完善，进一步提高工程监理信息化水平，规范监理数字化管理，为工程监理钢筋尺寸验收提供依据。
本公开技术方案采用深度学习框架实现复杂背景下的钢筋目标检测与分割，结合本文对钢筋直径与间距测量的需求，选用Mask R-CNN网络，该网络通过RoIAlign层改进实现目标掩膜与实际目标像素对齐，针对网络框架计算浮点数速率慢的缺点，利用移位计算代替乘法运算，提高算法速度。
本公开技术方案利用改进的Canny边缘检测算法和Hough变换直线检测实现对钢筋双边拟合，实现钢筋直径测量。针对背景干扰较多和颜色相近的特点，对比和分析不同图像预处理算法，结合颜色空间变换与形态学处理，在边缘检测中实现较好的提取效果，针对直线检测中的问题，提出邻近直线融合完成直径检测。
本公开技术方案对钢筋目标实现骨架提取及直线拟合，实现相邻钢筋间距测量。通过迭代算法实现骨架提取，最小二乘法拟合骨架直线，改进垂直钢筋直线拟合算法，用于计算钢筋间距，最后采用辅助标志的方法，实现检测结果的像素与实际尺寸的转换。
本公开技术方案只采用图像处理技术，首先应检测钢筋，对钢筋进行识别与提取，确定钢筋位置，再进行后续测量。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1为本公开实施例系统硬件结构图；
图2为本公开实施例系统整体工作流程图；
图3为本公开实施例测量算法流程图；
图4为本公开实施例Mask R-CNN结构示意图；
图5为本公开实施例双线性插值坐标图；
图6为本公开实施例双线性插值法示意图；
图7(a)-图7(b)为本公开实施例钢筋目标分割效果图；
图8(a)-图8(b)为本公开实施例目标掩膜提取效果及多根钢筋掩膜分离效果图；
图9为本公开实施例改进边缘检测算法流程图；
图10(a)-图10(b)为本公开实施例边缘检测效果对比图；
图11(a)-图11(b)为本公开实施例不同方向钢筋图像示意图；
图12(a)-图12(b)为本公开实施例连续掩膜细化结果及不连续掩膜细化结果图；
图13为本公开实施例相同方向钢筋目标细化效果图；
图14为本公开实施例一般式直线拟合图；
图15为本公开实施例钢筋骨架提取直线拟合图；
图16为本公开实施例Tag36h11系列编码标志图；
图17为本公开实施例钢筋尺寸测量上位机界面图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
本实施例公开了一种基于图像处理的钢筋尺寸测量系统，数据采集模块、数据通讯模块以及远程综合监控模块，其中硬件结构设计如图1所示。
包括：数据采集模块、通讯模块及远程综合监控模块，所述数据采集模块通过通讯模块与远程综合监控模块进行数据传输；
所述数据采集模块通过执行巡检任务采集钢筋图像并传输至远程综合监控模块；
远程综合监控模块被配置为：利用深度学习框架在原图像中提取钢筋；
根据深度学习框架输出的不同钢筋目标框的坐标信息，区分图像中多个钢筋目标，分别对钢筋双侧边缘检测和直线检测，获得钢筋直径；
基于深度学习框架输出的掩膜对图像骨架提取，然后对钢筋直线拟合，通过相邻直线计算，进行钢筋间距测量。
工程监理钢筋尺寸测量方案需要对绑扎钢筋规格和间距等进行检查，基于实际现场钢筋分布判断相关数据是否符合验收标准，其中钢筋直径按照不同规格，可分为8mm、10mm、12mm等，基于不同的板间高度，规定钢筋间距分别不超过200mm和250mm等，误差在±20mm内。
因此将无人机工程监理钢筋尺寸测量方案如图2所示：
(1)无人机搭载高分辨率摄像头，从监理人员可见范围内出发，根据预设航线，拍摄楼体建筑情况和现场铺设钢筋图像，并实时反馈位置信息。
(2)无人机将拍摄画面通过图像传输通讯模块回传至地面终端PC机上，利用钢筋提取和尺寸测量算法，得到钢筋尺寸数据，并借助辅助定位标志确定图像对应楼体建筑区域。
(3)通过尺寸对比和钢筋验收规范标准，判断钢筋尺寸是否符合验收标准，并将数据和结果上传至综合监控平台，实现监理数据可追溯，便于钢筋尺寸和施工数据的审查和复核。
另一实施例子中，公开了一种基于图像处理的钢筋尺寸测量方法，包括：
通过执行巡检任务采集钢筋图像并传输至远程综合监控模块；
利用深度学习框架在原图像中提取钢筋；
根据深度学习框架输出的不同钢筋目标框的坐标信息，区分图像中多个钢筋目标，分别对钢筋双侧边缘检测和直线检测，获得钢筋直径；
基于深度学习框架输出的掩膜对图像骨架提取，然后对钢筋直线拟合，通过相邻直线计算，进行钢筋间距测量。
针对钢筋图像处理，具体算法如图3所示，本实施例子利用目标检测与分割算法实现钢筋检测，并基于网络框架目标框输出与掩膜输出进一步处理，分别对钢筋双侧边缘检测和直线检测，实现钢筋直径测量，通过骨架提取方法，实现钢筋直线拟合，通过相邻直线计算，实现钢筋间距测量。
具体实施例子中，钢筋提取：Mask R-CNN基于Faster R-CNN网络提出mask掩膜，将FCN中的分类和分割任务解耦，分类预测生成类别和目标框，掩膜分支进行像素分割，同时改进RoIAlign层，实现高精度的分割效果，其结构如图4所示。
图像通过共享卷积生成特征图，输入至区域提议网络扫描特征图，对特征图中的每点设定锚框，尽可能利用特征图信息，避免重复计算。结合不同长宽比的锚框和输出信息，RPN为每个锚框输出类别和边框精调，锚框的类别包括前景和背景，即是否一定概率的含有待检测类别的目标，如果目标中心位置和锚框位置存在偏差，将对锚框进行精准调整，使得拟合效果更好，由于锚框个数较多，包含目标的锚框可能相互重叠，采用非极大值抑制筛除锚框，最终获得候选区域，由于分类器无法处理尺寸不一的输入，需将感兴趣区域尺寸归一化后，分别输入Faster R-CNN网络和FCN网络两个分支，实现目标分类定位和分割。
Mask R-CNN网络针对RoI Pooling中最邻近插值法造成的像素不对齐问题提出改进，非整数值坐标点的取值与匹配，利用双线性插值实现。
双线性插值是在不同方向分别进行线性插值，当原图像与目标图像尺寸比例不为整数时，选取目标像素点最近四个坐标点计算，如图5、6所示。
对于点(x,y)，在x轴方向计算线性插值，得到点R1＝(x,y1)和R2＝(x,y2)，其函数值如下式：
在y轴方向进行线性插值，得到目标像素点P的函数值：
将式(1)代入式(2)，得到最终插值f(x,y)如下式：
计算结果与插值顺序无关，由于选取四个相邻坐标点通常相距长度为1，因此插值公式可简化为：
根据Mask R-CNN网络特点，通常待插值像素坐标(x,y)为浮点数，因此该点像素值计算存在大量浮点数乘法运算，导致算法速度减慢，本文将对RoIAlign层进行改进，通过加法与移位实现乘法运算，实现RoIAlign层的优化，加快计算速度。
改进方法为将浮点数取整，小数部分倍率放大，得到相应的整数，对倍率放大的整数与实际像素值进行相应运算，最终将结果进行适当倍率缩小后作为采样点的像素插值。考虑到乘法操作会影响计算速率，移位运算可通过左移或右移若干位实现乘法和除法，因此采用移位运算将数值的小数部分进行倍率计算。根据移位原理，选取倍率应为2的整数幂，本文选用211＝2048作为放大倍率，该取值可以保证移位运算精度较高，并且计算后的数值不会造成溢出。
若采样点(x,y)为浮点数，首先应对该坐标点进行取整计算，如下式：
其中，xint与yint分别表示坐标点取整结果，xdec和ydec分别为小数部分倍率放大的取整计算结果，因此原像素坐标(x,y)可表示为：
式(4)中(1-x)与(1-y)通过倍率方法表示为：
将上述参数代入式(4)，得到插值为：
式(8)中各采样点坐标以及像素值均为整数，因此得到放大倍率为2048的整数值，可通过右移22位实现倍率缩小还原，该计算方法可以在保证数据精度前提下，实现更高效率的计算。
利用改进RoIAlign层的Mask R-CNN网络对样本进行训练，得到目标分割效果如图7(a)-图7(b)所示。
同时为实现不同钢筋目标的尺寸计算，需对同一张图像中不同钢筋目标进行分割，得到提取与分离如图8(a)-图8(b)所示，利用该处理可对不同钢筋掩膜拟合与分析，完成钢筋直径测量与钢筋间距测量。
利用改进网络对钢筋图像进行检测，平均值正确率如表1所示。
表1算法性能指标
其中AP50和AP75表示IoU分别为0.5与0.75时平均正确率，通过该检测性能可知，实现钢筋目标的提取，Mask R-CNN网络的平均精准率可以达到85％以上，对实际施工现场钢筋可以实现较好的检测效果。同时Mask R-CNN网络目标检测运行速度为5.48FPS，本文中通过改进RoIAlign层算法运行速率可达6.25FPS，检测帧率提高约0.8FPS，通过该对比可知利用移位算法改进的浮点运算，可以有效提高算法计算速度，加快目标检测效率。
改进Canny算法的钢筋直径测量：通过深度学习框架在原图像中提取钢筋后，即可对钢筋目标进行尺寸测量，Mask R-CNN网络的分类输出信息包括目标框、目标类别标签以及目标所属类别的得分，根据不同钢筋目标框的坐标信息，区分图像中多个钢筋目标，通过输出掩膜对目标进行直线测量，得出数据结果。
改进钢筋边缘检测算法：根据Canny检测算法原理以及该算法对钢筋处理效果分析，可知钢筋的螺纹对边缘检测影响较大，需要通过图像处理消除螺纹干扰，然而由于钢筋目标与模板颜色相近，提取钢筋时效果不明显。因此本文需要结合钢筋与模板颜色特征，结合形态学操作，去除钢筋螺纹，使其边缘信息明显，改进边缘检测算法流程如图9所示。
通过不同操作得到钢筋检测效果如图10(a)-图10(b)所示：利用传统Canny检测算法边缘定位与实际存在偏离，钢筋边缘不平滑，钢筋的边缘点定位不准确，基于形态学处理的钢筋图像，在钢筋目标方向上处理效果较好，若目标框中存在遮挡或阴影，可在垂直方向上消除钢筋螺纹，但是同时造成了边缘断裂，由于该检测步骤的目的主要应用于直线检测，因此需在直线检测中解决该问题，消除阴影对直线检测的影响。
邻近直线融合的钢筋直线检测：通过分析钢筋在图像中分布特点，单个目标框坐标信息(y1,x1,y2,x2)，图像尺寸为(m,n)＝((x2-x1),(y2-y1))，若钢筋垂直分布，存在m<n，钢筋长度与图像较长边n尺寸一致或相近，且双边直线位置以图像竖直中心线区分，不同方向钢筋图像如图11(a)-图11(b)所示。
以垂直分布钢筋为例，本文提出的邻近直线融合算法流程如下：
(1)获取检测到的全部直线极坐标(ρi,θi)；
(2)判断所有直线分类，当
为钢筋左侧拟合直线，若
为钢筋右侧拟合直线；
(3)对于同侧直线，存在Δρ与Δθ差值较小，通过设定阈值利用累加器计算
分别求取极坐标半径及角度平均值，计算钢筋单边直线平均极坐标
得到钢筋边缘拟合直线；
(4)通过双边直线极坐标(ρ1,θ1),(ρ2,θ2)，得到图像坐标中钢筋直径d＝|ρ2cosθ2-ρ1cosθ1|；
对于水平分布钢筋，存在m>n，钢筋长度与图像较长边m尺寸相近，同样利用上述流程判断，若
则该直线为上方钢筋直线，对同侧钢筋利用求取平均值拟合
钢筋直径为d＝|ρ2sinθ2-ρ1sinθ1|，完成水平方向分布的钢筋直径计算。
因此采用改进的Hough变换算法用于检测钢筋边缘直径，将同侧钢筋邻近直线进行融合，得到直线检测。
基于骨架提取的钢筋间距测量：基于图像细化钢筋骨架提取，通过Zhang-Suen算法，对单个钢筋mask掩膜细化，如图12(a)-图12(b)所示。将相同方向分布的钢筋掩膜细化结果，得到处理结果如图13所示。
改进最小二乘法的直线拟合：根据钢筋隐蔽验收操作要求，需测量相同方向分布的钢筋间距，因此需将垂直相交的钢筋根据其横纵方向分别比对。根据最小二乘法计算原理可知，该方法由于估计观测值yi的竖直距离，对垂直直线无法实现较好的拟合效果，因此提出利用点与直线的垂直距离平方和作为估计的偏差函数，对于直线设定一般方程ax+by+c＝0，如图14所示。
其中，点(xi,yi)到直线距离为：
利用最小二乘法对整体偏差进行评估，为求得参数(a,b,c)，使得偏差平方和函数达到最小极值，结合拉格朗日乘数法，引入约束条件a2+b2＝1，在约束函数为f＝a2+b2-1时，将函数分别对各参数求取一阶导数，即可得到目标函数为极时值的解。
在一般直线方程中，约束条件下函数表示为：
对c求导可得：
解得
其中，
分别为N个输入点的平均值，代入式(10)得到
分别对a和b求取导数，得到
通过令上述等式值为0，得到
利用矩阵表示为：
因此结合约束方程a2+b2＝1，可得到图像空间中拟合任意方向直线参数，应用于垂直钢筋的效果如图15所示。根据处理效果可知利用最小二乘法可以较好拟合钢筋骨架，通过相邻直线的距离与钢筋直径差值，完成钢筋间距测量。
得到钢筋拟合直线ax+by+c＝0后，分别对同向直线进行方向判定，若a1b2＝a2b1，则证明这两条直线相互平行，钢筋间距计算可利用拟合直线的一般表达式求得，若a1b2≠a2b1，则说明钢筋间呈现角度，考虑到钢筋在实际施工现场可能存在弯曲或者倾斜放置等多种情况，需要全部遍历和计算图像内全部直线间距，获取直线上点到其他直线垂直距离的平均值，作为钢筋间距测量值。
基于辅助标志的钢筋尺寸转换方法：在数字图像中，计算钢筋直径与间距时，得到的尺寸数据均以像素为单位，在实际验收时需要得到钢筋尺寸真实数值，由于本文图像采集方式为无人机搭载高分辨率摄像头拍摄，在拍摄过程中会因高空吊车运输钢筋等重物，改变无人机巡检作业高度，同时由于无人机通过气压计实现定高，误差较大且受天气影响，因此不能通过固定无人机飞行高度确定成像比例。本文提出一种基于辅助标志的无人机尺寸确定方法，借助AprilTag标志确定像素与真实尺寸比例，得到钢筋实际尺寸。选用标志的编码ID，将钢筋检测的像素值转换为实际尺寸，通过钢筋直径与间距的尺寸输出数值。经过计算可获得标志宽度w与高度h，在本文中放置于施工现场的标志尺寸统一并且已知，因此可以通过宽度与高度像素值以及实际大小，计算出钢筋尺寸像素检测结果对相应的实际尺寸，得到实用的测量结果以用于验收。
本公开该系统将无人机应用于工程监理中，采用无人机搭载高分辨率摄像头，通过航迹规划实现定位与自主巡检，并实现钢筋数据采集、传输与处理，完成钢筋尺寸测量。
无人机通过飞行控制器实现定位，利用航迹规划实现自主巡检，同时无人机飞行数据通过数据传输模块传至远程综合监控模块，控制和调节无人机飞行状态，将采集图像传至远程监控模块，利用图像处理技术得出检测结果。
关于数据采集模块，数据采集模块的主要功能为执行测量系统的航线任务，通过预设的飞行任务定点采集具有位置信息的钢筋图像，获取无人机各类高精度传感器的数据并缓存。
(1)无人机选型：无人机选用经纬M600，该款无人机操作收纳便捷，可广泛应用于各专业行业领域执行飞行任务进行航拍或监测，重量约9kg，可搭载最大负载6kg，配备高效动力系统，集成稳定、高精度的A3飞行控制系统，支持厘米级精度的D-RTK GNSS模块。
(2)云台相机选型：在实际数据采集过程中，拍摄图像需满足高分辨率以实现毫米级测量，但是施工现场铺设的钢筋周边存在高脚架及吊车等一定高度装备的外界因素干扰，在执行巡检任务时，尽可能将无人机飞行高度调节至15m以上，因此需要使用高清摄像头，根据实际物体成像像素与尺寸比例，本文选用禅思Zenmuse XT2云台相机，该相机分辨率为4000×3000，经过对比分析分辨率与钢筋图像像素，确认该相机成像效果可满足该方案的需求。
(3)辅助定位模块：针对采集的图像数据，不仅要得到钢筋测量数据和结果，同时需要钢筋的具体位置信息，以便对楼层进行分块验收时可将位置信息和钢筋数据整合，实现钢筋精准验收。由于无人机自带GPS采用卫星定位，在卫星信号较弱时位置误差较大，在区分相邻区域时会造成混淆，采用实时动态载波相位差分技术(Real-time kinematic，RTK)可实现无人机高精度定位，主要工作原理为利用高性能传感器获取无人机实时飞行状态，通过状态差分数据实现厘米级精准定向，可弥补GPS和气压计等精度不足，但其需要用户自行搭建接收机系统GNSS移动站，费用较高，且移动站需随验收区域变换不断移动，为具体应用和操作带来不便。因此本文将AprilTag视觉基准标签[23]作为特定标志。
AprilTag是包含特定标志的视觉基准系统，标志采用与二维码类似的图形，按照一定规律黑白相间的矩形拼接而成，通常采用Tag36h11系列编码标志，如图16所示，图标中的不同形状可用于表示编码0～2，通过检测算法将其在拍摄图像中识别，放置于待验收钢筋区域内，在执行飞行任务时可根据标志不同标签编码进行区域划分，作为定位图像中的检测钢筋模块。
系统通讯模块的主要功能是将无人机数据和位置信息实时传输至远程综合监控端，以控制和调节无人机飞行状态，并将无人机采集钢筋图像上传至远程监控模块，通过PC端处理图像数据得出检测结果。现有通讯技术可分为有线通讯和无线通讯，有线通讯技术包括以太网以及串口通讯USB、RS-485和RS-232等，其主要特点是具有较好的抗干扰特性，传输速率稳定，但是有线通讯技术需要连接传输介质和安装通讯线路，不适用于无人机行业应用，因此常用无线通讯技术进行数据传输。无线通讯技术主要特点为功耗低，成本低，覆盖范围广，常用无线通讯技术有蓝牙、WiFi、UWB超宽带、ZigBee等。
其中无人机拍摄图像由A3飞行控制器，通过Lightbridge 2进行图像传输至地面端，Lightbridge是大疆自主研发的高清无线数字图传技术，支持HDMI视频输出，可输出1920×1080视频数据，传统WIFI技术传输需基于TCP/IP协议建立双向握手机制，在确认数据包无误后才进行下一个数据包的传输，导致图像传输延时，Lightbridge采用单向广播数据，无需进行握手重连，拥有2.4GHz传输频段，采用无线链路动态自适应技术，智能调节视频宽带，选择最佳信道，最大限度保持低延时传输，远程控制最远通讯距离可达5km，抗干扰能力强。无人机实时拍摄画面由飞行器通过Lightbridge 2传输至远程显示设备，
采用XBee Pro数传在无人机数据采集模块和远程综合监控模块之间传输数据，XBee Pro数传是基于ZigBee技术的无线传输模块，发射器和接收器分别与飞行控制器和终端相连接，收发器间通过ZigBee无线通路传输数据，再进行串口发送数据，ZigBee基于IEEE802.15.4标准协议栈，使用128位高级加密标准的对称加密算法，可保障数据传输的安全性，XBee Pro主要优点是可实现最远2km低功耗的数据传输，满足本测量系统的应用要求。
远程监控模块的主要功能是将无人机飞行数据和采集数据进行集成、显示和管理，实现无人机数据的处理，在执行飞行任务时实现全程监测，接收无人机回传的图像数据，通过预处理和钢筋检测算法对现场图像进行钢筋识别和尺寸测量，与实际验收标准和现场放置的辅助对比标志，将得到实际数据和检测结果，并将无人机各传感器数据、采集原图像、处理显示结果、以及检测判定结果，根据飞行日志进行分类管理，上传至服务器，以便监理人员或用户可以获取历史数据和记录，实现数据存储于管理，其中钢筋尺寸测量上位机界面如17所示。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。
Claims (10)
1.一种基于图像处理的钢筋尺寸测量系统，该系统将无人机应用于工程监理中，其特征是，包括：
数据采集模块、通讯模块及远程综合监控模块，所述数据采集模块通过执行巡检任务采集钢筋图像并通过通讯模块传输至远程综合监控模块；
所述远程综合监控模块被配置为：
利用深度学习框架在原图像中提取钢筋；
根据深度学习框架输出的不同钢筋目标框的坐标信息，区分图像中多个钢筋目标，分别对钢筋双侧边缘检测和直线检测，获得钢筋直径；
基于深度学习框架输出的掩膜对图像骨架提取，然后对钢筋直线拟合，通过相邻直线计算，进行钢筋间距测量。
2.如权利要求1所述的一种基于图像处理的钢筋尺寸测量系统，其特征是，所述数据采集模块包括无人机及设置在无人机上的云台相机及传感器，所述云台相机获取图像并通过图像发送模块发至远程综合监控模块，所述传感器将无人机所处的位置通过数据发送模块发送至远程综合监控模块。
3.如权利要求1所述的一种基于图像处理的钢筋尺寸测量系统，其特征是，所述远程综合监控模块包括PC机，所述PC机通过图像接收模块及数据接收模块接收所述数据采集模块发送的数据。
4.一种基于图像处理的钢筋尺寸测量方法，其特征是，包括：
通过执行巡检任务采集钢筋图像并传输至远程综合监控模块；
利用深度学习框架在原图像中提取钢筋；
根据深度学习框架输出的不同钢筋目标框的坐标信息，区分图像中多个钢筋目标，分别对钢筋双侧边缘检测和直线检测，获得钢筋直径；
基于深度学习框架输出的掩膜对图像骨架提取，然后对钢筋直线拟合，通过相邻直线计算，进行钢筋间距测量。
5.如权利要求4所述的一种基于图像处理的钢筋尺寸测量方法，其特征是，所述网络框架对输入的图像进行处理，包括利用双线性插值进行像素对齐，提取钢筋图像，之后分割同一张图像中不同钢筋目标。
6.如权利要求4所述的一种基于图像处理的钢筋尺寸测量方法，其特征是，对钢筋双侧边缘检测时，通过图像处理消除螺纹干扰，获得边缘信息。
7.如权利要求4所述的一种基于图像处理的钢筋尺寸测量方法，其特征是，采用邻近直线融合进行钢筋直线检测，包括：
获取检测到的全部直线极坐标；
判断所有直线分类，包括钢筋左侧拟合直线及钢筋右侧拟合直线；
对于同侧直线，分别求取极坐标半径及角度平均值，计算钢筋单边直线平均极坐标，得到钢筋边缘拟合直线；
通过双边直线极坐标，得到图像坐标中钢筋直径。
8.如权利要求4所述的一种基于图像处理的钢筋尺寸测量方法，其特征是，将相同方向分布的钢筋掩膜细化进行图像骨架提取。
9.如权利要求4所述的一种基于图像处理的钢筋尺寸测量方法，其特征是，利用最小二乘法拟合钢筋骨架，通过相邻直线的距离与钢筋直径差值，完成钢筋间距测量；
遍历和计算图像内全部直线间距，获取直线上点到其他直线垂直距离的平均值，作为钢筋间距测量值。
10.如权利要求4所述的一种基于图像处理的钢筋尺寸测量方法，其特征是，将获得的钢筋直径及间距基于辅助标志进行尺寸转化，获得钢筋尺寸真实数值：
选用标志的编码ID，将钢筋检测的像素值转换为实际尺寸，通过钢筋直径与间距的尺寸输出数值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010758955.9A CN111932508B (zh) | 2020-07-31 | 2020-07-31 | 一种基于图像处理的钢筋尺寸测量方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010758955.9A CN111932508B (zh) | 2020-07-31 | 2020-07-31 | 一种基于图像处理的钢筋尺寸测量方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111932508A true CN111932508A (zh) | 2020-11-13 |
| CN111932508B CN111932508B (zh) | 2023-10-10 |
Family
ID=73315033
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010758955.9A Active CN111932508B (zh) | 2020-07-31 | 2020-07-31 | 一种基于图像处理的钢筋尺寸测量方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111932508B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113129271A (zh) * | 2021-03-26 | 2021-07-16 | 广州大学 | 一种建筑中钢筋间距的检测方法、系统、装置及存储介质 |
| CN113326565A (zh) * | 2021-05-26 | 2021-08-31 | 南京航空航天大学 | 一种三维编织物示迹线间距检测方法 |
| CN113850562A (zh) * | 2021-09-03 | 2021-12-28 | 北京兴油工程项目管理有限公司 | 一种智能旁站监理方法及系统 |
| CN114332198A (zh) * | 2021-12-14 | 2022-04-12 | 元准智能科技(苏州)有限公司 | 一种基于图像处理的带标签的钢筋参数测量方法 |
| CN114418973A (zh) * | 2022-01-06 | 2022-04-29 | 中国建筑第八工程局有限公司 | 自动识别钢筋间距实现调直与纠偏的系统及方法 |
| CN114612480A (zh) * | 2022-02-21 | 2022-06-10 | 北京百度网讯科技有限公司 | 检测防振锤弯曲状态的方法、装置、设备、介质及产品 |
| CN115236077A (zh) * | 2022-07-08 | 2022-10-25 | 广州一洲信息技术有限公司 | 一种钢筋断裂位置和形态的识别方法及装置 |
| CN117570911A (zh) * | 2024-01-15 | 2024-02-20 | 张家口市际源路桥工程有限公司 | 一种桥梁用现浇箱梁钢筋施工间距偏差检测系统及方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108710863A (zh) * | 2018-05-24 | 2018-10-26 | 东北大学 | 基于深度学习的无人机航拍场景语义分割方法及系统 |
| CN110738642A (zh) * | 2019-10-08 | 2020-01-31 | 福建船政交通职业学院 | 基于Mask R-CNN的钢筋混凝土裂缝识别及测量方法及存储介质 |
| CN111179232A (zh) * | 2019-12-20 | 2020-05-19 | 山东大学 | 基于图像处理的钢筋尺寸检测系统及方法 |
-
2020
- 2020-07-31 CN CN202010758955.9A patent/CN111932508B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108710863A (zh) * | 2018-05-24 | 2018-10-26 | 东北大学 | 基于深度学习的无人机航拍场景语义分割方法及系统 |
| CN110738642A (zh) * | 2019-10-08 | 2020-01-31 | 福建船政交通职业学院 | 基于Mask R-CNN的钢筋混凝土裂缝识别及测量方法及存储介质 |
| CN111179232A (zh) * | 2019-12-20 | 2020-05-19 | 山东大学 | 基于图像处理的钢筋尺寸检测系统及方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113129271A (zh) * | 2021-03-26 | 2021-07-16 | 广州大学 | 一种建筑中钢筋间距的检测方法、系统、装置及存储介质 |
| CN113326565A (zh) * | 2021-05-26 | 2021-08-31 | 南京航空航天大学 | 一种三维编织物示迹线间距检测方法 |
| CN113850562A (zh) * | 2021-09-03 | 2021-12-28 | 北京兴油工程项目管理有限公司 | 一种智能旁站监理方法及系统 |
| CN114332198A (zh) * | 2021-12-14 | 2022-04-12 | 元准智能科技(苏州)有限公司 | 一种基于图像处理的带标签的钢筋参数测量方法 |
| CN114418973A (zh) * | 2022-01-06 | 2022-04-29 | 中国建筑第八工程局有限公司 | 自动识别钢筋间距实现调直与纠偏的系统及方法 |
| CN114612480A (zh) * | 2022-02-21 | 2022-06-10 | 北京百度网讯科技有限公司 | 检测防振锤弯曲状态的方法、装置、设备、介质及产品 |
| CN115236077A (zh) * | 2022-07-08 | 2022-10-25 | 广州一洲信息技术有限公司 | 一种钢筋断裂位置和形态的识别方法及装置 |
| CN117570911A (zh) * | 2024-01-15 | 2024-02-20 | 张家口市际源路桥工程有限公司 | 一种桥梁用现浇箱梁钢筋施工间距偏差检测系统及方法 |
| CN117570911B (zh) * | 2024-01-15 | 2024-03-26 | 张家口市际源路桥工程有限公司 | 一种桥梁用现浇箱梁钢筋施工间距偏差检测系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111932508B (zh) | 2023-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111932508A (zh) | 一种基于图像处理的钢筋尺寸测量方法及系统 | |
| WO2020098195A1 (zh) | 基于ais与视频数据融合的船舶身份识别方法 | |
| CN104010167B (zh) | 一种实时ais数据虚拟船舶视频化显示方法 | |
| US11467001B2 (en) | Adjustment value calculation method | |
| CN111241988B (zh) | 一种结合定位信息的大场景内运动目标检测识别方法 | |
| US11353162B1 (en) | Unmanned aerial vehicle (UAV)-based intelligent anomaly identification method for petroleum pipeline inspection | |
| CN108469825A (zh) | 一种基于车路协同的智能巡视系统及其构建方法 | |
| CN111275960A (zh) | 一种交通路况分析方法、系统及摄像机 | |
| CN105654732A (zh) | 一种基于深度图像的道路监控系统及方法 | |
| CN105973228A (zh) | 一种基于单摄像头、rssi的室内目标定位系统及方法 | |
| CN111722642A (zh) | 一种光伏电站的巡检方法、巡检装置以及存储介质 | |
| CN112784821A (zh) | 基于YOLOv5的工地行为安全检测识别方法及系统 | |
| CN112083437A (zh) | 一种船用激光雷达与视频联合目标捕捉系统及方法 | |
| CN116182805A (zh) | 基于遥感图像的国土测绘方法 | |
| CN114812403A (zh) | 基于无人机及机器视觉的大跨度钢结构吊装变形监测方法 | |
| CN113286081A (zh) | 机场全景视频的目标识别方法、装置、设备及介质 | |
| CN114923477A (zh) | 基于视觉与激光slam技术的多维度空地协同建图系统和方法 | |
| CN109903308B (zh) | 用于获取信息的方法及装置 | |
| US20230334675A1 (en) | Object tracking integration method and integrating apparatus | |
| CN216647401U (zh) | 一种安全帽识别装置 | |
| CN115900712A (zh) | 一种信源可信度评价组合定位方法 | |
| CN116245933A (zh) | 一种摄像机偏移检测方法、系统及存储介质 | |
| CN112183411A (zh) | 一种面向高压输电线路巡检的单目slam系统 | |
| CN117608302A (zh) | 一种巡检路径自动规划方法、装置、设备及存储介质 | |
| CN110210436A (zh) | 一种车载摄像头巡线图像识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |