CN116958837A - 基于无人机的市政设施故障检测系统 - Google Patents
基于无人机的市政设施故障检测系统 Download PDFInfo
- Publication number
- CN116958837A CN116958837A CN202310890470.9A CN202310890470A CN116958837A CN 116958837 A CN116958837 A CN 116958837A CN 202310890470 A CN202310890470 A CN 202310890470A CN 116958837 A CN116958837 A CN 116958837A
- Authority
- CN
- China
- Prior art keywords
- crack
- image
- aerial vehicle
- unmanned aerial
- transformation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 59
- 230000009466 transformation Effects 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000004364 calculation method Methods 0.000 claims abstract description 30
- 239000012634 fragment Substances 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims abstract description 15
- 230000000877 morphologic effect Effects 0.000 claims description 18
- 230000010339 dilation Effects 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 8
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000006740 morphological transformation Effects 0.000 claims description 3
- 238000000844 transformation Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims 1
- 239000000284 extract Substances 0.000 claims 1
- 238000004458 analytical method Methods 0.000 abstract description 3
- 238000013480 data collection Methods 0.000 abstract description 3
- 238000007689 inspection Methods 0.000 abstract description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000008719 thickening Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/182—Network patterns, e.g. roads or rivers
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Remote Sensing (AREA)
- Educational Administration (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Image Processing (AREA)
Abstract
本发明涉及市政设施故障检测技术领域,公开了基于无人机的市政设施故障检测系统,其技术方案要点是,使用无人机收集路面数据;基于阈值的路面裂纹检测;使用底帽变换提取检测到的裂纹;使用MorphLink‑C对提取的裂纹进行分组;测量每个分组碎片的平均裂缝宽度;先完成数据收集;然后通过直方图分析和峰值检测对所得图像进行聚类,并通过使用局部自适应阈值来检测路面裂纹;路面裂纹检测过程自动进行,缩短了检查时间,也降低了市政设施故障检测的成本费用。接着,通过MorphLink‑C对提取的裂纹进行分组,提高了裂纹分类结果的准确性;最后,测量每个分组碎片的平均裂缝宽度,从而无需对任意裂纹类型进行复杂的裂纹方向、长度和强度计算,进一步缩短检查时间。
Description
技术领域
本发明涉及市政设施故障检测技术领域,更具体地说,它涉及基于无人机的市政设施故障检测系统。
背景技术
市政设施是指由政府、法人、或公民出资建造的公共设施,一般指规划区内的各种城市道路。在城市道路中路面裂缝通常是最为严重的故障之一,其表面裂缝密度较大的路段需要定期进行检测和养护,以保证车辆的安全运行。
然而,现有技术中的裂纹检测一般是基于多个地面移动机器人进行目视检测,该方法会造成故障检测技术既耗时又昂贵;并且由于检查人员的主观判断,使得检测结果的客观性受到限制,降低检测结果的准确性。
由此,本发明提供了基于无人机的市政设施故障检测系统,改善了上述技术问题。
发明内容
本发明的目的是提供基于无人机的市政设施故障检测系统,解决了现有技术中的裂纹检测一般是基于多个地面移动机器人进行目视检测,该方法会造成故障检测技术既耗时又昂贵;并且由于检查人员的主观判断,使得检测结果的客观性受到限制,降低检测结果的准确性的技术问题。
本发明的上述技术目的是通过以下技术方案得以实现的:基于无人机的市政设施故障检测系统,包括如下步骤:S1、使用无人机收集路面数据;
S2、基于阈值的路面裂纹检测;
S3、使用底帽变换提取检测到的裂纹;
S4、使用MorphLink-C对提取的裂纹进行分组;
S5、测量每个分组碎片的平均裂缝宽度。
作为本发明的一种优选技术方案,所述无人机收集路面数据的过程为:
S1.1、无人机对路面进行多角度航拍;
S1.2、点云3D建模;
识别点云中出现的与路面的相同部分和相对应的重叠点,设Pa和Pb为在位置a和b处记录的点云,重叠点由下式确定:
其中和/>是重叠点,用于表示近邻;τ是预先定义的距离阈值;然后通过应用迭代最近点算法找到最小化点云之间距离的变换,来获得点云的对齐;
S1.3、几何特征提取;
设定一个平面方程:(ax+by+cz+d=0);设M表示待辨识的参数向量;其中,M=[a,b,c,d]T;
设一个正常数为∈,其中∈>0;使得簇被定义为一组点:
C={pi∈P|min||pi-pj||>∈};对于不属于该簇的任何其他点,即被认为是障碍物;
S1.4、采集路径规划邻域中的一个像素移动到另一个像素的成本计算如下:
C(k,l,m)=a1k2+a2l2+a3m2;
其中,坐标k,l,m∈{-1,0,1}表示相邻位置,系数a1,a2和a3为每个方向分配特定的权重;每个方向分配特定的权重作为无人机运动控制的参考。
作为本发明的一种优选技术方案,所述基于阈值的路面裂纹检测的过程包括:图像拼接、拼接图案去除和裂纹检测。
作为本发明的一种优选技术方案,所述拼接图像由裂纹区域、拼接图案和空白区域组成;由于裂纹区域、拼接图案和空白区域之间的亮度随着光照度而变化;则需要先检测与这些元素相对应的主峰;分割待检测路面的阈值t1和t2计算为强度平均值:
其中ib、iw和ip分别是空白区域、路面和拼接图案对应的峰值强度值;
根据直方图识别拼接图案,计算公式为:
其中Igr(x,y)和Ir(x,y)分别是P(x,y)点处拼接图像的灰度强度和红色通道强度,β是选择用于区分该图案与其他图案的强度值图像的部分;β设置为255。
作为本发明的一种优选技术方案,所述裂纹检测的过程为:
先利用自动峰值检测对图像进行预处理,仅保留背景和线状物体,然后应用局部调整的阈值来识别潜在的裂缝;
设x和y方向的像素为(xi,yi);其中,i=1,2,...,N2;通过使用N×N确定像素P(x,y)邻域中的窗口,并且m(x,y)和s(x,y)分别作为该窗口中的平均值和标准偏差;m(x,y)和s(x,y)的计算公式为:
作为本发明的一种优选技术方案,所述像素P(x,y)的阈值计算公式为:
其中,R是标准差的动态范围,k是一个可调参数,用于调整标准偏差的影响;
根据其阈值T(x,y)评估每个像素P(x,y);若像素P(x,y)的灰度强度Igr(x,y)高于计算的局部阈值,则该像素P(x,y)属于裂纹,否则认为是背景。
作为本发明的一种优选技术方案,所述底帽变换提取检测到的裂纹过程为:
设{p}为二维数字图像中的像素集;使得{p}能够将x、y平面划分为一个网格,每个网格的中心坐标是笛卡尔坐标中的一对元素(x,y);若(x,y)是{p}中的整数,并且f是为每个不同的(x,y)对分配强度值的映射,则函数f(x,y)为数字图像二值图像的形状应用于输入图像,使得结构元素是二进制图像组件,结构元素边界内的像素被赋予值1,其余像素的值被赋予零;
图像处理中的原始图像o与结构元素S的膨胀和腐蚀分别表示为和/>
设开运算的计算公式为:闭运算的计算公式为:
作为本发明的一种优选技术方案,通过底帽和顶帽变换来提取检测到的裂纹黑白裂纹,底帽Lb和顶帽Lt变换的计算公式分别如下:
其中,L表示作为形态变换输出的灰度图像;O表示原始灰度图像;S{0°,45°,90°,135°}表示线形结构元素旋转0°、45°、90°和135°;°表示开变换;·表示闭变换。
作为本发明的一种优选技术方案,所述MorphLink-C对提取的裂纹进行分组的过程为:
S4.1、将形态膨胀变换应用于包含裂纹碎片的二值图像,计算公式为:
其中,B表示包含裂纹碎片的二值图像;SD表示膨胀变换的结构元素;表示形态膨胀算子;D表示膨胀变换后生成的二值图像;
S4.2、对D应用形态细化变换,将碎片连接为膨胀边界内的连续裂纹线,计算公式为:T=D-hit-and-miss(D,ST);
其中,hit-and-miss是形态学的hit-and-miss算子;ST表示骨架化的结构元素;T表示细化变换后得到的二值图像。
作为本发明的一种优选技术方案,所述测量每个分组碎片的平均裂缝宽度的计算公式为:
其中,∑i(带边框裂纹像素的面积)k表示第k个膨胀边界内碎片裂纹像素的总面积之和;i表示第k个膨胀边界中碎片对象的索引;∑i(连接裂纹的长度)k表示第k个膨胀边界内连接裂纹线的总长度之和。
综上所述,本发明具有以下有益效果:先使用激光扫描仪创建结构的3D模型,再基于该模型,提取几何属性以生成导航无人机拍摄路面图像所需的航路点,完成数据收集;然后通过直方图分析和峰值检测对所得图像进行聚类,并通过使用局部自适应阈值来检测路面裂纹;路面裂纹检测过程自动进行,缩短了检查时间,也降低了市政设施故障检测的成本费用。接着,通过MorphLink-C对提取的裂纹进行分组,提高了裂纹分类结果的准确性;最后,测量每个分组碎片的平均裂缝宽度,从而无需对任意裂纹类型进行复杂的裂纹方向、长度和强度计算,进一步缩短检查时间。
附图说明
图1为本发明实施例提供的基于无人机的市政设施故障检测系统的流程图;
图2为本发明实施例提供的具有菱形结构元素的灰度输入图像的示例;
图3为本发明实施例提供的原始灰度图像;
图4为本发明实施例提供的开运算灰度图像;
图5为本发明实施例提供的闭运算灰度图像;
图6为本发明实施例提供的顶帽变换的结果图像;
图7为本发明实施例提供的底帽变换的结果图像;
图8为本发明实施例提供的原始图像;
图9为本发明实施例提供的使用底帽变换提取裂纹后的碎片物体;
图10为本发明实施例提供的使用膨胀变换进行片段分组的结果;
图11为本发明实施例提供的使用细化变换的片段连接的结果。
具体实施方式
下面结合具体实施例对本申请进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本申请,但不以任何形式限制本申请。应当指出的是,对本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进。这些都属于本申请的保护范围。
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
需要说明的是,如果不冲突,本申请实施例中的各个特征可以相互结合,均在本申请的保护范围之内。另外,虽然在装置示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于装置中的模块划分,或流程图中的顺序执行所示出或描述的步骤。此外,本文所采用的“第一”、“第二”、“第三”等字样并不对物联网数据和执行次序进行限定,仅是对功能和作用基本相同的相同项或相似项进行区分。
除非另有定义,本说明书所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本说明书中在本申请的说明书中所使用的术语只是为了描述具体的实施方式的目的,不是用于限制本申请。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
此外,下面所描述的本申请各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本公开实施例旨在解决现有技术中的裂纹检测一般是基于多个地面移动机器人进行目视检测,该方法会造成故障检测技术既耗时又昂贵;并且由于检查人员的主观判断,使得检测结果的客观性受到限制,降低检测结果的准确性的问题。有鉴于此,本公开实施例提出了基于无人机的市政设施故障检测系统以用于提取几何属性以生成导航无人机拍摄路面图像所需的航路点,完成数据收集;然后通过直方图分析和峰值检测对所得图像进行聚类,并通过使用局部自适应阈值来检测路面裂纹;接着,通过MorphLink-C对提取的裂纹进行分组,提高了裂纹分类结果的准确性;最后,测量每个分组碎片的平均裂缝宽度,从而无需对任意裂纹类型进行复杂的裂纹方向、长度和强度计算。
请参考图1,图1示出了本公开实施例所述基于无人机的市政设施故障检测系统的流程图。整体流程主要包括以下5个步骤:
步骤1:使用无人机收集路面数据。
S1.1、无人机对路面进行多角度航拍;
通过航拍图像获取路面足够的几何和表面信息,用于后处理以检测潜在的裂缝;同时也用于无人机本身的导航。
S1.2、点云3D建模;
使用激光扫描仪从待检测路面的不同位置获取范围信息并将其表示为点云。然后,这些点云在称为配准的过程中逐一合并,以创建3D模型。在配准过程中,首先识别点云中出现的与路面的相同部分和相对应的重叠点。设Pa和Pb为在位置a和b处记录的点云。重叠点由下式确定:
其中和/>是重叠点,用于表示近邻;τ是预先定义的距离阈值。然后通过应用迭代最近点算法找到最小化点云之间距离的变换,来获得点云的对齐。
S1.3、几何特征提取;
路面通常是要检查的主要目标,因此需要从点云中提取它们。给定一个平面方程
(ax+by+cz+d=0);
设M表示待辨识的参数向量;其中,M=[a,b,c,d]T。
检测到路面后,使用凸包算法确定其边界。然后将剩余的点云P聚类成小组,作为无人机飞行的路径规划中要考虑的障碍物。此时,设一个正常数为∈,其中∈>0;使得簇被定义为一组点:
C={pi∈P|min||pi-pj||>∈};对于不属于该簇的任何其他点,即被认为是障碍物;
S1.4、采集路径规划
给定要检测的路面,需要创建航路点列表来导航无人机。航点有两种类型,一种对应拍摄图像的拍摄点,另一种作为路径跟踪和避障的中间点。两者都是:先将操作环境分割成像素而生成的。然后为每个像素定义自由或占用状态以指示该像素中是否存在障碍物。然后根据相机焦距、表面积和最小分辨率等内在参数计算拍摄点。最后基于A-star算法来寻找拍摄点之间的最短路径。在每一步中,从邻域中的一个像素移动到另一个像素的成本计算如下:
C(k,l,m)=a1k2+a2l2+a3m2;
其中,坐标k,l,m∈{-1,0,1}表示相邻位置,系数a1,a2和a3为每个方向分配特定的权重。每个方向分配特定的权重作为无人机运动控制的参考。
步骤2:基于阈值的路面裂纹检测。
基于阈值的裂纹检测的流程包括:图像拼接、拼接图案去除和裂纹检测。
S2.1、图像拼接无人机拍摄的每张图像仅覆盖被检测路面的一小部分区域。因此,需要缝合每张图像以创建全景图像。通常需要连续图像和相应特征之间有一定程度的重叠。采用基于不变特征的方法,包括尺度不变特征变换特征提取、单应性计算和图像匹配验证。如果要检测的路面是均匀的,可以添加手动图案以增强拼接性能并随后删除。
S2.2、拼接图案去除在处理拼接图像之前,去除拼接中使用的图案可以提高检测精度。拼接图像通常由三个元素组成,即裂纹区域、拼接图案和空白区域。三者的亮度往往根据光照度而变化;因此,需要先检测与这些元素相对应的主峰。分割待检测路面的阈值t1和t2计算为强度平均值:
其中ib、iw和ip分别是空白区域、路面和拼接图案对应的峰值强度值。
根据直方图识别拼接图案,计算公式为:
其中Igr(x,y)和Ir(x,y)分别是P(x,y)点处拼接图像的灰度强度和红色通道强度,β是选择用于区分该图案与其他图案的强度值图像的部分。由于裂纹结构处的强度通常小于被检测路面的非缺陷区域的强度,因此需要将β设置为255,以便充分滤除这些特征而不丢失信息。
S2.3、裂纹检测
先利用自动峰值检测对图像进行预处理,仅保留背景和线状物体,然后应用局部调整的阈值来识别潜在的裂缝。与全局方法不同,这里根据每个像素的邻域的灰度强度计算阈值。具体为:
设x和y方向的像素为(xi,yi);其中,i=1,2,...,N2;通过使用N×N确定像素P(x,y)邻域中的窗口,并且m(x,y)和s(x,y)分别作为该窗口中的平均值和标准偏差;m(x,y)和s(x,y)的计算公式为:
像素P(x,y)的阈值计算公式为:
其中,R是标准差的动态范围,k是一个可调参数,用于调整标准偏差的影响。然后根据其阈值T(x,y)评估每个像素P(x,y)。如果像素P(x,y)的灰度强度Igr(x,y)高于计算的局部阈值,则认为该像素P(x,y)属于裂纹,否则认为是背景。
步骤3:使用底帽变换提取检测到的裂纹。
形态学操作是开闭运算、顶帽底(黑)帽变换。因此,通过形态学图像处理技术使用数学形态学作为提取图像分量的工具。具体步骤为:
设{p}为二维数字图像中的像素集。使得{p}能够将x、y平面划分为一个网格,每个网格的中心坐标是笛卡尔坐标中的一对元素(x,y)。如果(x,y)是{p}中的整数,并且f是为每个不同的(x,y)对分配强度值的映射,则函数f(x,y)为数字图像。利用形态学图像处理技术将二值图像的形状(称为结构元素)应用于输入图像。使得结构元素是二进制图像组件,其形状可以设计用于图像处理的不同目的。同时,结构元素的中心称为感兴趣像素(POI)。结构元素边界内的像素被赋予值1,其余像素的值被赋予零。图2示出了具有菱形结构元素的灰度输入图像的示例。
在形态学技术中,膨胀和侵蚀变换是操纵f(x,y)的两个基本算子。由于膨胀变换是扩大或加厚图像中的对象的操作,而腐蚀变换是缩小或细化图像中的对象的操作。所以图像处理中的原始图像(O)与结构元素(S)的膨胀和腐蚀分别表示为和/>
利用形态学技术可以将多个基本算子形成另一个操作以进行更复杂的图像处理。例如:两个常用的操作是开运算和闭运算,分别包括:和
由于裂缝提取是像素级操作,所以需要通过去除随机背景来检测路面图像中的裂缝状对象。对于柔性路面,随机背景通常包括沥青类型、路面涂层、路面纹理和粗糙度。因此,通过底帽和顶帽变换来提取检测到的裂纹黑白裂纹,底帽Lb和顶帽Lt变换的计算公式分别如下:
其中,L表示作为形态变换输出的灰度图像;O表示原始灰度图像;S{0°,45°,90°,135°}表示线形结构元素旋转0°、45°、90°和135°;°表示开变换;·表示闭变换。
实施例,使用底帽变换来提取检测到的裂纹,图3显示了原始灰度图像,其中有10种不同裂纹宽度从10到10的白色和黑色水平裂纹。100像素,增量为10像素。进而将宽度小于50像素的黑色裂纹与灰色背景区分开来;使得结构元素被设计为尺寸为50×1的垂直线。图4-6说明了底帽变换的逐步过程。底帽变换的结果图像,如图7所示。
检测裂纹宽度小于50像素的黑色裂纹。提取检测到的裂纹原本是黑色的,经过底帽变换后变成了灰色,背景由灰色变成为黑色。
由上可知,用于路面裂缝提取的底帽变换的有益效果为:通过精确设计结构元素形状(即水平裂缝的垂直线)、尺寸(即50像素)和形态学算子的组合(即底帽变换),可以在以下基础上选择性地检测路面裂缝:裂缝的形状(例如,水平裂纹)、尺寸(例如,50像素裂纹宽度)和强度(例如,黑色裂纹)。与此同时,底帽变换使用相对少量的用户定义参数。本实施例中,仅需要结构元素长度的一个参数,即可以垂直线作为结构元素来检测裂纹宽度小于50像素的黑色裂纹。
步骤4:使用MorphLink-C对提取的裂纹进行分组。
使用MorphLink-C对提取的裂纹进行分组,由以下两个步骤组成:
S4.1、将形态膨胀变换应用于包含裂纹碎片的二值图像,计算公式为:
其中,B表示包含裂纹碎片的二值图像;SD表示膨胀变换的结构元素;表示形态膨胀算子;D表示膨胀变换后生成的二值图像。
膨胀变换是一种扩展或加厚图像分量的图像操作;在本发明中,图像分量是碎片裂纹像素。SD被选为正方形结构元素。
S4.2、对D应用形态细化变换,将碎片连接为膨胀边界内的连续裂纹线,计算公式为:T=D-hit-and-miss(D,ST);
其中,hit-and-miss是形态学的hit-and-miss算子;ST表示骨架化的结构元素;T表示细化变换后得到的二值图像。
步骤5:测量每个分组碎片的平均裂缝宽度。
测量每个分组碎片的平均裂缝宽度,计算公式为:
其中,∑i(带边框裂纹像素的面积)k表示第k个膨胀边界内碎片裂纹像素的总面积之和;i表示第k个膨胀边界中碎片对象的索引;∑i(连接裂纹线的长度)k表示第k个膨胀边界内连接裂纹线的总长度之和。
此外,虽然底帽变换能够从柔性路面图像中提取裂缝分量,但仍存在两个问题。首先,提取的裂纹对象被破碎,其裂纹路径中存在多个不相交的部分。虽然图像B代表了具有大量局部细节的裂纹形状,但垂直裂纹在其裂纹路径中存在多个脱节。因此,图9中测量的8个连接像素的裂纹面积并不能代表真实垂直裂纹的面积。其次,去除路面背景后,所得图像B仍然包含非裂缝对象。从图9可以看出,中间存在一条垂直裂纹,周围有假裂纹。图10显示了使用膨胀变换进行片段分组的结果。边界范围是根据片段之间的相对接近程度确定的,可以通过SD的大小指定。
本发明中,使用了方形结构元素SD,其尺寸为10×10像素。图10中所示的数字是每个边界中像素簇的像素数的总和。经过MorphLink-C对提取的裂纹进行分组后,可以发现图10中的碎片整理区域比图9中的碎片区域更准确地代表了真实的垂直裂缝。例如:包含垂直裂缝的最大边界包括12个像素簇。最大边界的像素数为1,842个像素,这是12个簇的像素数的总和。最大边界中的最小真实裂纹有10个像素。如果没有边界,该裂纹很容易被错误分类为非裂纹对象,因为图9中最大的非裂纹有44个像素。因此,MorphLink-C提高了裂纹分类结果的准确性。
其中,图11显示了使用细化变换的片段连接的结果。图中所示的数字是宽度为一个像素的细线的长度。裂纹碎片的连接是自适应的,不需要对任意裂纹类型(如单裂纹、分支裂纹、块裂纹)进行复杂的裂纹方向、长度和强度计算。
Claims (10)
1.基于无人机的市政设施故障检测系统,其特征在于,所述方法包括以下步骤:
S1、使用无人机收集路面数据;
S2、基于阈值的路面裂纹检测;
S3、使用底帽变换提取检测到的裂纹;
S4、使用MorphLink-C对提取的裂纹进行分组;
S5、测量每个分组碎片的平均裂缝宽度。
2.根据权利要求1所述的基于无人机的市政设施故障检测系统,其特征在于,所述无人机收集路面数据的过程为:
S1.1、无人机对路面进行多角度航拍;
S1.2、点云3D建模;
识别点云中出现的与路面的相同部分和相对应的重叠点,设Pa和Pb为在位置a和b处记录的点云,重叠点由下式确定:
其中和/>是重叠点,用于表示近邻;τ是预先定义的距离阈值;然后通过应用迭代最近点算法找到最小化点云之间距离的变换,来获得点云的对齐;
S1.3、几何特征提取;
设定一个平面方程:(ax+by+cz+d=0);设M表示待辨识的参数向量;其中,M=[a,b,c,d]T;
设一个正常数为∈,其中∈>0;使得簇被定义为一组点:
C={pi∈P|min||pi-pj||>∈};对于不属于该簇的任何其他点,即被认为是障碍物;
S1.4、采集路径规划
邻域中的一个像素移动到另一个像素的成本计算如下:
C(k,l,m)=a1k2+a2l2+a3m2;
其中,坐标k,l,m∈{-1,0,1}表示相邻位置,系数a1,a2和a3为每个方向分配特定的权重;每个方向分配特定的权重作为无人机运动控制的参考。
3.根据权利要求1所述的基于无人机的市政设施故障检测系统,其特征在于,所述基于阈值的路面裂纹检测的过程包括:图像拼接、拼接图案去除和裂纹检测。
4.根据权利要求3所述的基于无人机的市政设施故障检测系统,其特征在于,所述拼接图像由裂纹区域、拼接图案和空白区域组成;由于裂纹区域、拼接图案和空白区域之间的亮度随着光照度而变化;则需要先检测与这些元素相对应的主峰;分割待检测路面的阈值t1和t2计算为强度平均值:
其中ib、iw和ip分别是空白区域、路面和拼接图案对应的峰值强度值;
根据直方图识别拼接图案,计算公式为:
其中Igr(x,y)和Ir(x,y)分别是P(x,y)点处拼接图像的灰度强度和红色通道强度,β是选择用于区分该图案与其他图案的强度值图像的部分;β设置为255。
5.根据权利要求3所述的基于无人机的市政设施故障检测系统,其特征在于,所述裂纹检测的过程为:
先利用自动峰值检测对图像进行预处理,仅保留背景和线状物体,然后应用局部调整的阈值来识别潜在的裂缝;
设x和y方向的像素为(xi,yi);其中,i=1,2,...,N2;通过使用N×N确定像素P(x,y)邻域中的窗口,并且m(x,y)和s(x,y)分别作为该窗口中的平均值和标准偏差;m(x,y)和s(L,y)的计算公式为:
6.根据权利要求5所述的基于无人机的市政设施故障检测系统,其特征在于,所述像素P(x,y)的阈值计算公式为:
其中,R是标准差的动态范围,k是一个可调参数,用于调整标准偏差的影响;
根据其阈值T(x,y)评估每个像素P(x,y);若像素P(x,y)的灰度强度Igr(x,y)高于计算的局部阈值,则该像素P(x,y)属于裂纹,否则认为是背景。
7.根据权利要求1所述的基于无人机的市政设施故障检测系统,其特征在于,所述底帽变换提取检测到的裂纹过程为:
设{p}为二维数字图像中的像素集;使得{p}能够将x、y平面划分为一个网格,每个网格的中心坐标是笛卡尔坐标中的一对元素(x,y);若(x,y)是{p}中的整数,并且f是为每个不同的(x,y)对分配强度值的映射,则函数f(x,y)为数字图像
二值图像的形状应用于输入图像,使得结构元素是二进制图像组件,结构元素边界内的像素裤赋予值1,其余像素的值裤赋予零;
图像处理中的原始图像o与结构元素S的膨胀和腐蚀分别表示为和/>
设开运算的计算公式为:闭运算的计算公式为:
8.根据权利要求7所述的基于无人机的市政设施故障检测系统,其特征在于,通过底帽和顶帽变换来提取检测到的裂纹黑白裂纹,底帽Lb和顶帽Lt变换的计算公式分别如下:
其中,L表示作为形态变换输出的灰度图像;O表示原始灰度图像;S{0°,45°,90°,135°}表示线形结构元素旋转0°、45°、90°和135°;°表示开变换;·表示闭变换。
9.根据权利要求1所述的基于无人机的市政设施故障检测系统,其特征在于,所述MorphLink-C对提取的裂纹进行分组的过程为:
S4.1、将形态膨胀变换应用于包含裂纹碎片的二值图像,计算公式为:
其中,B表示包含裂纹碎片的二值图像;SD表示膨胀变换的结构元素;表示形态膨胀算子;D表示膨胀变换后生成的二值图像;
S4.2、对D应用形态细化变换,将碎片连接为膨胀边界内的连续裂纹线,计算公式为:
T=D-hit-and-miss(D,ST);
其中,hit-and-miss是形态学的hit-and-miss算子;ST表示骨架化的结构元素;T表示细化变换后得到的二值图像。
10.根据权利要求1所述的基于无人机的市政设施故障检测系统,其特征在于,所述测量每个分组碎片的平均裂缝宽度的计算公式为:
其中,∑i(带边框裂纹像素的面积)k表示第k个膨胀边界内碎片裂纹像素的总面积之和;i表示第k个膨胀边界中碎片对象的索引;∑i(连接裂纹线的长度)k表示第k个膨胀边界内连接裂纹线的总长度之和。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310890470.9A CN116958837A (zh) | 2023-07-20 | 2023-07-20 | 基于无人机的市政设施故障检测系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310890470.9A CN116958837A (zh) | 2023-07-20 | 2023-07-20 | 基于无人机的市政设施故障检测系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116958837A true CN116958837A (zh) | 2023-10-27 |
Family
ID=88452333
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310890470.9A Pending CN116958837A (zh) | 2023-07-20 | 2023-07-20 | 基于无人机的市政设施故障检测系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116958837A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117807550A (zh) * | 2024-02-29 | 2024-04-02 | 山东宙雨消防科技股份有限公司 | 一种建筑消防设施智能化定量检测方法及系统 |
-
2023
- 2023-07-20 CN CN202310890470.9A patent/CN116958837A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117807550A (zh) * | 2024-02-29 | 2024-04-02 | 山东宙雨消防科技股份有限公司 | 一种建筑消防设施智能化定量检测方法及系统 |
CN117807550B (zh) * | 2024-02-29 | 2024-05-17 | 山东宙雨消防科技股份有限公司 | 一种建筑消防设施智能化定量检测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109615611B (zh) | 一种基于巡检影像的绝缘子自爆缺陷检测方法 | |
CN113450307B (zh) | 一种产品边缘缺陷检测方法 | |
Akagic et al. | Pavement crack detection using Otsu thresholding for image segmentation | |
CN107230203B (zh) | 基于人眼视觉注意机制的铸件缺陷识别方法 | |
CN108596165B (zh) | 基于无人机低空航拍图像的道路交通标线检测方法及系统 | |
CN110246130B (zh) | 基于红外和可见光图像数据融合的机场道面裂缝检测方法 | |
CN110910350B (zh) | 一种用于风电塔筒的螺母松动检测方法 | |
CN110473221B (zh) | 一种目标物体自动扫描系统及方法 | |
Phung et al. | Automatic crack detection in built infrastructure using unmanned aerial vehicles | |
CN108663026B (zh) | 一种振动测量方法 | |
Soheilian et al. | 3D road marking reconstruction from street-level calibrated stereo pairs | |
CN113436157B (zh) | 一种用于受电弓故障的车载图像识别方法 | |
CN112734761B (zh) | 工业品图像边界轮廓提取方法 | |
CN111046856A (zh) | 基于动静态特征提取并行位姿跟踪与地图创建的方法 | |
Mathavan et al. | Detection of pavement cracks using tiled fuzzy Hough transform | |
CN116958837A (zh) | 基于无人机的市政设施故障检测系统 | |
CN111882664A (zh) | 一种多窗口累计差分的裂缝提取方法 | |
CN114565675A (zh) | 一种在视觉slam前端去除动态特征点的方法 | |
CN113326846A (zh) | 一种基于机器视觉的桥梁表观病害快速检测方法 | |
CN110348307B (zh) | 一种起重机金属结构攀爬机器人的路径边缘识别方法及系统 | |
Wang et al. | Crack image recognition on fracture mechanics cross valley edge detection by fractional differential with multi-scale analysis | |
CN111091071A (zh) | 基于探地雷达双曲波拟合的地下目标检测方法及系统 | |
Omidalizarandi et al. | Segmentation and classification of point clouds from dense aerial image matching | |
CN114140698A (zh) | 一种基于FasterR-CNN的水系信息提取算法 | |
Xing et al. | A lightweight detection method of pavement potholes based on binocular stereo vision and deep learning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |