CN117094916A - 一种市政桥梁支座视觉检测方法 - Google Patents
一种市政桥梁支座视觉检测方法 Download PDFInfo
- Publication number
- CN117094916A CN117094916A CN202311352370.7A CN202311352370A CN117094916A CN 117094916 A CN117094916 A CN 117094916A CN 202311352370 A CN202311352370 A CN 202311352370A CN 117094916 A CN117094916 A CN 117094916A
- Authority
- CN
- China
- Prior art keywords
- target
- edge line
- image
- line segment
- rectangle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000011179 visual inspection Methods 0.000 title claims description 15
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 230000007547 defect Effects 0.000 claims abstract description 12
- 238000013528 artificial neural network Methods 0.000 claims abstract description 11
- 230000000007 visual effect Effects 0.000 claims abstract description 6
- 102100024210 CD166 antigen Human genes 0.000 claims description 14
- 101000980840 Homo sapiens CD166 antigen Proteins 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 230000008439 repair process Effects 0.000 abstract description 4
- 238000012545 processing Methods 0.000 abstract description 3
- 238000003708 edge detection Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000005484 gravity Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000005336 cracking Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 208000037656 Respiratory Sounds Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像数据处理技术领域,具体涉及一种市政桥梁支座视觉检测方法,包括:采集橡胶桥梁支座图像,分解出IMF分量图像和残差图像,获取IMF分量去噪图像中的边缘线,并分割成若干个边缘线段,根据边缘线段上相邻像素点的位置分布,得到波动程度和线性程度,从而得到不规则程度,根据边缘线段的最小外接矩形内像素点的灰度值和梯度差异,得到置信度,从而得到贡献度,由此重构图像得到桥梁支座增强图像,使用深度神经网络,得到桥梁支座增强图像中的支座缺陷区域。本发明通过增强图像的同时,保护图像内重要的裂纹细节信息,从而提高市政桥梁支座检测的准确性,保障市政桥梁支座后续的修复管理、增加其安全性和使用寿命。
Description
技术领域
本发明涉及图像数据处理技术领域,具体涉及一种市政桥梁支座视觉检测方法。
背景技术
市政桥梁支座是指用于支撑和承载桥梁结构的元件或结构系统,其位于桥梁底部,起到稳定桥梁结构、传递荷载和减小振动的作用,能够保证桥梁的稳定性、安全性和持久性。因此需要定期对市政桥梁支座进行检测,以确保桥梁的结构安全、运行稳定和寿命延长。在基于视觉的市政桥梁支座检测过程中,通常会使用MEMD算法对采集图像进行增强处理,保障后续检测的准确性。MEMD算法会将图像分解为若干个IMF分量图像,对每个IMF分量图像分别进行去噪处理,而后重构图像,以达到图像增强的目的。
现有的问题:每个市政桥梁支座的损伤严重程度不同,因此采集图像内的缺陷细节信息差异较大,MEMD算法中的图像重构只是对IMF分量图像进行简单的叠加,可能导致图像部分细节信息损失,从而影响市政桥梁支座检测的准确性,进而影响市政桥梁支座后续的修复管理、减小桥梁支座的安全性和使用寿命。
发明内容
本发明提供一种市政桥梁支座视觉检测方法,以解决现有的问题。
本发明的一种市政桥梁支座视觉检测方法采用如下技术方案:
本发明一个实施例提供了一种市政桥梁支座视觉检测方法,该方法包括以下步骤:
使用无人机航拍采集橡胶桥梁支座图像,并进行灰度化处理,得到桥梁支座灰度图像;使用MEMD算法,将桥梁支座灰度图像分解为若干个IMF分量图像和一个残差图像;分别对每个IMF分量图像进行滤波去噪,得到每个IMF分量去噪图像;将任意一个IMF分量去噪图像,记为目标图像,并获得目标图像内若干条边缘线;
将目标图像内任意一条边缘线,记为目标边缘线;将目标边缘线分割成若干个边缘线段,并将任意一个边缘线段,记为目标边缘线段;根据目标边缘线段上相邻像素点的位置分布,得到目标边缘线段对应的角度值序列和最小外接矩形;根据角度值序列中的数据值大小,得到目标边缘线段的波动程度;根据目标边缘线段的最小外接矩形的边长差异、目标边缘线段的波动程度,得到目标边缘线段的不规则程度;
根据目标边缘线段的最小外接矩形内像素点的灰度值和梯度差异,得到目标边缘线段的置信度;
根据目标图像内所有边缘线分割的所有边缘线段的置信度和不规则程度,得到目标图像的贡献度;
根据所有IMF分量去噪图像与其贡献度、残差图像,得到桥梁支座增强图像;使用深度神经网络,得到桥梁支座增强图像中的支座缺陷区域。
进一步地,所述将目标边缘线分割成若干个边缘线段,包括的具体步骤如下:
使用拓扑分析方法,得到目标边缘线上的分叉点;
以目标边缘线上的分叉点为分割点,将目标边缘线分割成若干个边缘线段。
进一步地,所述根据目标边缘线段上相邻像素点的位置分布,得到目标边缘线段对应的角度值序列和最小外接矩形,包括的具体步骤如下:
在目标图像中,以水平向右为0度,逆时针旋转一周得到所有方向对应的角度值;其中,预设的0度方向为水平向右,旋转方向为逆时针方向;
在目标边缘线段上,从任意一个端点开始逐个像素点遍历至另一个端点,依次统计遍历到的前一个像素点至后一个像素点的方向对应的角度值,得到目标边缘线段对应的角度值序列;
使用旋转卡壳算法,得到目标边缘线段的最小外接矩形。
进一步地,所述根据角度值序列中的数据值大小,得到目标边缘线段的波动程度,包括的具体步骤如下:
使用一阶导数法,得到角度值序列中的局部极值点;
将角度值序列中局部极值点的数量,记为目标边缘线段的波动程度。
进一步地,所述根据目标边缘线段的最小外接矩形的边长差异、目标边缘线段的波动程度,得到目标边缘线段的不规则程度,包括的具体步骤如下:
将目标边缘线段的最小外接矩形中的长度除以宽度,记为目标边缘线段的线性程度;
将目标边缘线段的波动程度与目标边缘线段的线性程度的乘积,记为目标边缘线段的不规则程度。
进一步地,所述根据目标边缘线段的最小外接矩形内像素点的灰度值和梯度差异,得到目标边缘线段的置信度,包括的具体步骤如下:
将目标边缘线段的最小外接矩形,记为目标矩形;将平行于目标矩形的长边、且经过目标矩形中心点的直线,记为目标矩形的对称线;
根据目标矩形内每个像素点的梯度方向、目标矩形的对称线,得到目标矩形内每个像素点的夹角值;
在目标矩形中,将任意一组沿着对称线对称的两个像素点,记为对称像素点;
根据目标矩形中所有组对称像素点之间的灰度值和夹角值的差异,得到目标边缘线段的置信度。
进一步地,所述根据目标矩形内每个像素点的梯度方向、目标矩形的对称线,得到目标矩形内每个像素点的夹角值,包括的具体步骤如下:
根据目标矩形内像素点的灰度值,使用Sobel算子,得到目标矩形内每个像素点的梯度;
在目标矩形中,将经过每个像素点、且沿其梯度方向的直线,记为目标矩形内每个像素点的参考直线;
计算目标矩形内每个像素点的参考直线与目标矩形的对称线的夹角值,将所述夹角值中的最小值,记为目标矩形内每个像素点的夹角值。
进一步地,所述根据目标矩形中所有组对称像素点之间的灰度值和夹角值的差异,得到目标边缘线段的置信度对应的具体计算公式为:
其中F为目标边缘线段的置信度,m为目标矩形中对称像素点的组数,为目标矩形中第j组对称像素点之间的灰度差值的绝对值,/>为目标矩形中第j组对称像素点之间的夹角值的差值的绝对值,/>为线性归一化函数。
进一步地,所述根据目标图像内所有边缘线分割的所有边缘线段的置信度和不规则程度,得到目标图像的贡献度对应的具体计算公式为:
其中P为目标图像的贡献度,n为目标图像内边缘线的数量,为目标图像内第i个边缘线分割的边缘线段的数量,/>为目标图像内第i个边缘线分割的第x个边缘线段的置信度,/>为目标图像内第i个边缘线分割的第x个边缘线段的不规则程度,/>为线性归一化函数。
进一步地,所述根据所有IMF分量去噪图像与其贡献度、残差图像,得到桥梁支座增强图像对应的具体计算公式为:
其中R为桥梁支座增强图像,T为桥梁支座灰度图像分解的残差图像,为第g个IMF分量去噪图像,/>为第g个IMF分量去噪图像的贡献度,q为IMF分量去噪图像的数量。
本发明的技术方案的有益效果是:
本发明实施例中,使用无人机航拍采集橡胶桥梁支座图像,并进行灰度化和MEMD算法分解,得到若干个IMF分量图像和一个残差图像,再对每个IMF分量图像进行滤波去噪,将任意一个IMF分量去噪图像,记为目标图像,使用Canny边缘算法,得到目标图像内若干条边缘线,并将任意一条边缘线,记为目标边缘线,将目标边缘线分割成若干个边缘线段,并将任意一个边缘线段,记为目标边缘线段。根据目标边缘线段上相邻像素点的位置分布,得到目标边缘线段的波动程度和线性程度,从而得到目标边缘线段的不规则程度。当不规则程度越大时,目标边缘线段为裂纹边缘的可能性越大,则赋予较大的贡献度,用于图像重构时,保护重要的裂纹细节信息。根据目标边缘线段的最小外接矩形内像素点的灰度值和梯度差异,得到目标边缘线段的置信度,由此通过置信度,来区分裂纹边缘和凹凸纹理,识别真正的裂纹边缘。由此根据目标边缘线段的置信度和不规则程度,得到目标图像的贡献度,根据所有IMF分量去噪图像与其贡献度、残差图像,得到桥梁支座增强图像,使用深度神经网络,得到桥梁支座增强图像中的支座缺陷区域。至此本发明通过自适应每个IMF分量图像的贡献度的方式,在增强图像的同时,保护图像内重要的裂纹细节信息,从而提高市政桥梁支座检测的准确性,保障市政桥梁支座后续的修复管理、增加桥梁支座的安全性和使用寿命。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种市政桥梁支座视觉检测方法的步骤流程图。
图2为本实施例所提供的一个待检测橡胶桥梁支座图像示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种市政桥梁支座视觉检测方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种市政桥梁支座视觉检测方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种市政桥梁支座视觉检测方法的步骤流程图,该方法包括以下步骤:
步骤S001:使用无人机航拍采集橡胶桥梁支座图像,并进行灰度化处理,得到桥梁支座灰度图像;使用MEMD算法,将桥梁支座灰度图像分解为若干个IMF分量图像和一个残差图像;分别对每个IMF分量图像进行滤波去噪,得到每个IMF分量去噪图像;将任意一个IMF分量去噪图像,记为目标图像,并获得目标图像内若干条边缘线。
本实施例针对的市政桥梁支座为橡胶桥梁支座,其经过长期的使用会出现裂纹的问题,同时由于重力的挤压会出现凹凸纹理。使用无人机航拍采集橡胶桥梁支座图像,对橡胶桥梁支座图像进行灰度化处理,得到桥梁支座灰度图像。再使用MEMD算法,将桥梁支座灰度图像分解为若干个IMF分量图像和一个残差图像T。所需说明的是,MEMD的中文名称为多元经验模态分解,IMF的中文名称为固有模态函数。其中,图像灰度化和MEMD算法均为公知技术,具体方法在此不做介绍。图2为本实施例所提供的一个待检测橡胶桥梁支座图像示意图。
已知MEMD算法可以自适应捕获图像中不同频率上的细节信息,从而得到具有不同信息的IMF分量图像。对于第一个分解出的IMF分量图像,它代表了原图像中的高频振动成分或细节信息,第二个IMF分量图像它代表了原图像中较高频的信息,依次类推从高频到低频依次排列。这意味着每个IMF分量图像中含有不同的细节信息,同时本实施例的重点是增强橡胶桥梁支座图像中裂纹处区域,因此本实施例通过裂纹特征来估算贡献程度,从而对IMF分量图像进行加权重构,以达到增强图像的效果。
使用高斯滤波算法,分别对每个IMF分量图像进行滤波去噪处理,得到每个IMF分量去噪图像。将任意一个IMF分量去噪图像,记为目标图像。使用Canny边缘算法,得到目标图像内若干条边缘线。其中,高斯滤波算法和Canny边缘算法均为公知技术,具体方法在此不做介绍。
步骤S002:将目标图像内任意一条边缘线,记为目标边缘线;将目标边缘线分割成若干个边缘线段,并将任意一个边缘线段,记为目标边缘线段;根据目标边缘线段上相邻像素点的位置分布,得到目标边缘线段对应的角度值序列和最小外接矩形;根据角度值序列中的数据值大小,得到目标边缘线段的波动程度;根据目标边缘线段的最小外接矩形的边长差异、目标边缘线段的波动程度,得到目标边缘线段的不规则程度。
由于橡胶材料的特性,橡胶桥梁支座在长期的使用过程中会因为桥梁的重力作用及老化作用会产生裂纹和凹凸纹理。故在目标图像进行边缘检测后,这两种缺陷呈现在边缘检测结果中的边缘线为不规则锯齿状。因此本实施例通过计算目标图像中边缘线的不规则程度来衡量其贡献程度,同时由于凹凸纹理与裂纹在边缘检测结果中边缘特征相似,再利用其边缘线最小外接矩形的对称线两侧的像素点的对称程度计算其置信度从而修正其不规则程度,以便区分二者,从而得到更好的以裂纹为主要衡量因素的目标图像的贡献程度,进而对橡胶桥梁支座图像裂纹处进行更好的增强。
已知橡胶支座裂纹的边缘特征通常是不平滑的,呈现锯齿状,即其边缘线会呈现不规律走向。因此,可以利用边缘线上相邻像素点之间的位置关系来表征其不规则程度,其不规则程度越大表示边缘线的走向越不规则,即该边缘线越可能是裂纹的边缘,故目标图像中含有的裂纹信息越多,进而贡献程度越大。
将目标图像内任意一条边缘线,记为目标边缘线。使用拓扑分析方法,得到目标边缘线上的分叉点,以目标边缘线上的分叉点为分割点,将目标边缘线分割成若干个边缘线段。其中,拓扑分析方法为公知技术,具体方法在此不做介绍。
所需说明的是:拓扑分析方法利用边缘线的拓扑结构信息,在边缘线上寻找具有多个连通分支的像素点,这些像素点就是分叉点,因此分割出的边缘线段上无分叉,且边缘线段上存在多个像素点。若目标边缘线上无分叉点,则目标边缘线就是其对应的边缘线段。
将目标边缘线分割的任意一个边缘线段,记为目标边缘线段。在目标图像中,以水平向右为0度,逆时针旋转一周得到所有方向对应的角度值。在目标边缘线段上,从任意一个端点开始逐个像素点遍历至另一个端点,依次统计遍历到的前一个像素点至后一个像素点的方向对应的角度值,得到目标边缘线段对应的角度值序列,其中n为目标边缘线段上的像素点数量,/>为目标边缘线段上遍历到的第n-1个像素点至遍历到的第n个像素点的方向对应的角度值。本实施例在目标图像中设定的0度方向为水平向右,旋转方向为逆时针方向,以此为例进行叙述,其它实施方式中可设置为其它值,本实施例不进行限定。
对于裂纹的形状特征来说,其边缘为锯齿状,当目标边缘线段为裂纹边缘时,角度值序列中的数据变化波动数量应该较多,由此使用一阶导数法,得到角度值序列/>中的局部极值点。将角度值序列/>中局部极值点的数量,记为目标边缘线段的波动程度。
已知橡胶桥梁支座裂纹的形状通常是直线型,因此可用其外形特征来修正其波动程度,避免其他边缘导致估算裂纹信息估算不准确。故使用旋转卡壳算法,得到目标边缘线段的最小外接矩形,将目标边缘线段的最小外接矩形的长度除以最小外接矩形的宽度,记为目标边缘线段的线性程度。当线性程度越大,边缘线段的形状越细长,其为裂纹的可能性越高。所需说明的是,最小外接矩形为正方形时,其长度和宽度相等,即线性程度为1。
其中,一阶导数法和旋转卡壳算法均为公知技术,具体方法在此不做介绍。
由此可知目标边缘线段的不规则程度B的计算公式为:
其中B为目标边缘线段的不规则程度,C为目标边缘线段的波动程度,D为目标边缘线段的线性程度。
所需说明的是:C越大,说明目标边缘线段上的锯齿越多,为裂纹的可能性越高,D越大,说明目标边缘线段的形状越细长,为裂纹的可能性越高。因此用C和D的乘积,表示目标边缘线段的不规则程度。
按照上述方式,得到目标图像内每条边缘线分割的每个边缘线段的不规则程度。
步骤S003:根据目标边缘线段的最小外接矩形内像素点的灰度值和梯度差异,得到目标边缘线段的置信度。
由于橡胶桥梁支座还会因为重力作用导致出现凹凸不平的纹理,其并不是真正严重的缺陷,在边缘检测后,其边缘线与裂纹的边缘线相似,会影响裂纹的识别,因此需要对边缘线段的不规则程度进行修正,即计算其置信度。考虑到凹凸不平的纹理两侧像素点比裂纹边缘线两侧像素点的灰度值及梯度方向对称,因此使用边缘线两侧的对称程度计算其置信度。
将目标边缘线段的最小外接矩形,记为目标矩形。将平行于目标矩形的长边、且经过目标矩形中心点的直线,记为目标矩形的对称线。所需说明的是,当目标矩形为正方形时,将平行与目标矩形任意一边、且经过目标矩形中心点的直线,记为目标矩形的对称线,由于裂纹边缘的线性特征,当目标矩形为正方形时,说明其大概率不是裂纹边缘,因此可任意选取一边进行分析,并且对称线会将目标矩形划分为两个大小相同、且对称的区域。
根据目标矩形内像素点的灰度值,使用Sobel算子,得到目标矩形内每个像素点的梯度。将目标矩形内经过每个像素点、且沿每个像素点的梯度方向的直线,记为目标矩形内每个像素点的参考直线。计算目标矩形内每个像素点的参考直线与目标矩形的对称线的夹角值,将所述夹角值中的最小值,记为目标矩形内每个像素点的夹角值。其中,Sobel算子为公知技术,具体方法在此不做介绍。所需说明的时,当两直线平行时,即两直线不存在夹角,则令夹角值为0,而两直线不平行,一般存在两个不同的夹角值,本实施例取其最小的夹角值为每个像素点的夹角值。
在目标矩形中,将任意一组沿着对称线对称的两个像素点,记为对称像素点。由此可知目标边缘线段的置信度F的计算公式为:
其中F为目标边缘线段的置信度,m为目标矩形中对称像素点的组数,为目标矩形中第j组对称像素点之间的灰度差值的绝对值,/>为目标矩形中第j组对称像素点之间的夹角值的差值的绝对值。/>为线性归一化函数,将数据值归一化至[0,1]区间内。
所需说明的是:表示目标矩形中第j组对称像素点的对称性,当该组对称像素点的灰度值越相似,即/>越小,且梯度方向沿着对称线越对称,即/>越小时,对称性越好。而对称性越好时,为裂纹的可能性越小,即其置信度越小。因此用目标矩形中所有组对称像素点的对称性之和的归一化值/>,表示目标边缘线段的置信度。
按照上述方式,得到目标图像内每条边缘线分割的每个边缘线段的置信度。
步骤S004:根据目标图像内所有边缘线分割的所有边缘线段的置信度和不规则程度,得到目标图像的贡献度。
由此可知目标图像的贡献度P的计算公式为:
其中P为目标图像的贡献度,n为目标图像内边缘线的数量,为目标图像内第i个边缘线分割的边缘线段的数量,/>为目标图像内第i个边缘线分割的第x个边缘线段的置信度,/>为目标图像内第i个边缘线分割的第x个边缘线段的不规则程度。/>为线性归一化函数,将数据值归一化至[0,1]区间内。
所需说明的是:为目标图像内第i个边缘线分割的第x个边缘线段是裂纹边缘的可能性,其值越大,可能性越高,即该边缘线段越重要。因此用目标图像内所有边缘线分割的所有边缘线段是裂纹边缘的可能性之和的归一化值,表示目标图像的贡献度,贡献度越大,目标图像越重要。
按照上述方式,得到桥梁支座灰度图像分解、并去噪后的每个IMF分量去噪图像的贡献度。
步骤S005:根据所有IMF分量去噪图像与其贡献度、残差图像,得到桥梁支座增强图像;使用深度神经网络,得到桥梁支座增强图像中的支座缺陷区域。
根据MEMD算法中的重构方式可知,桥梁支座增强图像R的计算公式为:
其中R为桥梁支座增强图像,T为桥梁支座灰度图像分解的残差图像,为第g个IMF分量去噪图像,/>为第g个IMF分量去噪图像的贡献度,q为IMF分量去噪图像的数量。其中,MEMD算法中的重构方式为公知技术,具体方法在此不做介绍。
本发明实施例采用深度神经网络来识别分割桥梁支座增强图像中的支座缺陷区域。
深度神经网络的相关内容如下:
本实施例使用的深度神经网络为DeepLabV3神经网络;使用的数据集为桥梁支座增强图像数据集。
需要分割的像素,共分为2类,即训练集对应标签标注过程为:单通道的语义标签,对应位置像素属于背景类的标注为0,属于支座缺陷区域的标注为1。
网络的任务是分类,所以使用的loss函数为交叉熵损失函数。
通过深度神经网络得到桥梁支座增强图像中的支座缺陷区域,由此完成市政桥梁支座检测。
至此,本发明完成。
综上所述,在本发明实施例中,使用无人机航拍采集橡胶桥梁支座图像,并进行灰度化和MEMD算法分解,得到若干个IMF分量图像和一个残差图像,再对每个IMF分量图像进行滤波去噪,将任意一个IMF分量去噪图像,记为目标图像,使用Canny边缘算法,得到目标图像内若干条边缘线,并将任意一条边缘线,记为目标边缘线,将目标边缘线分割成若干个边缘线段,并将任意一个边缘线段,记为目标边缘线段。根据目标边缘线段上相邻像素点的位置分布,得到目标边缘线段的波动程度和线性程度,从而得到目标边缘线段的不规则程度,根据目标边缘线段的最小外接矩形内像素点的灰度值和梯度差异,得到目标边缘线段的置信度,从而得到目标图像的贡献度。根据所有IMF分量去噪图像与其贡献度、残差图像,得到桥梁支座增强图像,使用深度神经网络,得到桥梁支座增强图像中的支座缺陷区域。本发明通过自适应每个IMF分量图像的贡献度的方式,在增强图像的同时,保护图像内重要的裂纹细节信息,从而提高市政桥梁支座检测的准确性,保障市政桥梁支座后续的修复管理、增加桥梁支座的安全性和使用寿命。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种市政桥梁支座视觉检测方法,其特征在于,该方法包括以下步骤:
使用无人机航拍采集橡胶桥梁支座图像,并进行灰度化处理,得到桥梁支座灰度图像;使用MEMD算法,将桥梁支座灰度图像分解为若干个IMF分量图像和一个残差图像;分别对每个IMF分量图像进行滤波去噪,得到每个IMF分量去噪图像;将任意一个IMF分量去噪图像,记为目标图像,并获得目标图像内若干条边缘线;
将目标图像内任意一条边缘线,记为目标边缘线;将目标边缘线分割成若干个边缘线段,并将任意一个边缘线段,记为目标边缘线段;根据目标边缘线段上相邻像素点的位置分布,得到目标边缘线段对应的角度值序列和最小外接矩形;根据角度值序列中的数据值大小,得到目标边缘线段的波动程度;根据目标边缘线段的最小外接矩形的边长差异、目标边缘线段的波动程度,得到目标边缘线段的不规则程度;
根据目标边缘线段的最小外接矩形内像素点的灰度值和梯度差异,得到目标边缘线段的置信度;
根据目标图像内所有边缘线分割的所有边缘线段的置信度和不规则程度,得到目标图像的贡献度;
根据所有IMF分量去噪图像与其贡献度、残差图像,得到桥梁支座增强图像;使用深度神经网络,得到桥梁支座增强图像中的支座缺陷区域。
2.根据权利要求1所述一种市政桥梁支座视觉检测方法,其特征在于,所述将目标边缘线分割成若干个边缘线段,包括的具体步骤如下:
使用拓扑分析方法,得到目标边缘线上的分叉点;
以目标边缘线上的分叉点为分割点,将目标边缘线分割成若干个边缘线段。
3.根据权利要求1所述一种市政桥梁支座视觉检测方法,其特征在于,所述根据目标边缘线段上相邻像素点的位置分布,得到目标边缘线段对应的角度值序列和最小外接矩形,包括的具体步骤如下:
在目标图像中,以水平向右为0度,逆时针旋转一周得到所有方向对应的角度值;其中,预设的0度方向为水平向右,旋转方向为逆时针方向;
在目标边缘线段上,从任意一个端点开始逐个像素点遍历至另一个端点,依次统计遍历到的前一个像素点至后一个像素点的方向对应的角度值,得到目标边缘线段对应的角度值序列;
使用旋转卡壳算法,得到目标边缘线段的最小外接矩形。
4.根据权利要求1所述一种市政桥梁支座视觉检测方法,其特征在于,所述根据角度值序列中的数据值大小,得到目标边缘线段的波动程度,包括的具体步骤如下:
使用一阶导数法,得到角度值序列中的局部极值点;
将角度值序列中局部极值点的数量,记为目标边缘线段的波动程度。
5.根据权利要求1所述一种市政桥梁支座视觉检测方法,其特征在于,所述根据目标边缘线段的最小外接矩形的边长差异、目标边缘线段的波动程度,得到目标边缘线段的不规则程度,包括的具体步骤如下:
将目标边缘线段的最小外接矩形中的长度除以宽度,记为目标边缘线段的线性程度;
将目标边缘线段的波动程度与目标边缘线段的线性程度的乘积,记为目标边缘线段的不规则程度。
6.根据权利要求1所述一种市政桥梁支座视觉检测方法,其特征在于,所述根据目标边缘线段的最小外接矩形内像素点的灰度值和梯度差异,得到目标边缘线段的置信度,包括的具体步骤如下:
将目标边缘线段的最小外接矩形,记为目标矩形;将平行于目标矩形的长边、且经过目标矩形中心点的直线,记为目标矩形的对称线;
根据目标矩形内每个像素点的梯度方向、目标矩形的对称线,得到目标矩形内每个像素点的夹角值;
在目标矩形中,将任意一组沿着对称线对称的两个像素点,记为对称像素点;
根据目标矩形中所有组对称像素点之间的灰度值和夹角值的差异,得到目标边缘线段的置信度。
7.根据权利要求6所述一种市政桥梁支座视觉检测方法,其特征在于,所述根据目标矩形内每个像素点的梯度方向、目标矩形的对称线,得到目标矩形内每个像素点的夹角值,包括的具体步骤如下:
根据目标矩形内像素点的灰度值,使用Sobel算子,得到目标矩形内每个像素点的梯度;
在目标矩形中,将经过每个像素点、且沿其梯度方向的直线,记为目标矩形内每个像素点的参考直线;
计算目标矩形内每个像素点的参考直线与目标矩形的对称线的夹角值,将所述夹角值中的最小值,记为目标矩形内每个像素点的夹角值。
8.根据权利要求6所述一种市政桥梁支座视觉检测方法,其特征在于,所述根据目标矩形中所有组对称像素点之间的灰度值和夹角值的差异,得到目标边缘线段的置信度对应的具体计算公式为:
其中F为目标边缘线段的置信度,m为目标矩形中对称像素点的组数,为目标矩形中第j组对称像素点之间的灰度差值的绝对值,/>为目标矩形中第j组对称像素点之间的夹角值的差值的绝对值,/>为线性归一化函数。
9.根据权利要求1所述一种市政桥梁支座视觉检测方法,其特征在于,所述根据目标图像内所有边缘线分割的所有边缘线段的置信度和不规则程度,得到目标图像的贡献度对应的具体计算公式为:
其中P为目标图像的贡献度,n为目标图像内边缘线的数量,为目标图像内第i个边缘线分割的边缘线段的数量,/>为目标图像内第i个边缘线分割的第x个边缘线段的置信度,为目标图像内第i个边缘线分割的第x个边缘线段的不规则程度,/>为线性归一化函数。
10.根据权利要求1所述一种市政桥梁支座视觉检测方法,其特征在于,所述根据所有IMF分量去噪图像与其贡献度、残差图像,得到桥梁支座增强图像对应的具体计算公式为:
其中R为桥梁支座增强图像,T为桥梁支座灰度图像分解的残差图像,为第g个IMF分量去噪图像,/>为第g个IMF分量去噪图像的贡献度,q为IMF分量去噪图像的数量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311352370.7A CN117094916B (zh) | 2023-10-19 | 2023-10-19 | 一种市政桥梁支座视觉检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311352370.7A CN117094916B (zh) | 2023-10-19 | 2023-10-19 | 一种市政桥梁支座视觉检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117094916A true CN117094916A (zh) | 2023-11-21 |
CN117094916B CN117094916B (zh) | 2024-01-26 |
Family
ID=88772179
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311352370.7A Active CN117094916B (zh) | 2023-10-19 | 2023-10-19 | 一种市政桥梁支座视觉检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117094916B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117152163A (zh) * | 2023-11-01 | 2023-12-01 | 安徽乾劲企业管理有限公司 | 一种桥梁施工质量视觉检测方法 |
CN117314940A (zh) * | 2023-11-30 | 2023-12-29 | 诺伯特智能装备(山东)有限公司 | 基于人工智能的激光切割零件轮廓快速分割方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108765317A (zh) * | 2018-05-08 | 2018-11-06 | 北京航空航天大学 | 一种时空一致性与特征中心emd自适应视频稳定的联合优化方法 |
CN110390669A (zh) * | 2019-06-26 | 2019-10-29 | 杭州电子科技大学 | 一种桥梁图像中裂缝的检测方法 |
CN113850228A (zh) * | 2021-10-18 | 2021-12-28 | 北方民族大学 | 基于多模态融合的道路裂缝检测方法和系统 |
CN116168039A (zh) * | 2023-04-26 | 2023-05-26 | 济宁市新华电力特种材料有限公司 | 一种环保节能硅酸铝板质量检测方法 |
CN116452596A (zh) * | 2023-06-20 | 2023-07-18 | 深圳市捷超行模具有限公司 | 一种硅胶玩具注塑溢胶视觉检测方法 |
CN116543317A (zh) * | 2023-03-27 | 2023-08-04 | 郑州大学 | 一种用于无人机检测桥梁缆索振动频率的降噪方法 |
CN116735612A (zh) * | 2023-08-15 | 2023-09-12 | 山东精亿机械制造有限公司 | 一种精密电子元器件焊接缺陷检测方法 |
-
2023
- 2023-10-19 CN CN202311352370.7A patent/CN117094916B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108765317A (zh) * | 2018-05-08 | 2018-11-06 | 北京航空航天大学 | 一种时空一致性与特征中心emd自适应视频稳定的联合优化方法 |
CN110390669A (zh) * | 2019-06-26 | 2019-10-29 | 杭州电子科技大学 | 一种桥梁图像中裂缝的检测方法 |
CN113850228A (zh) * | 2021-10-18 | 2021-12-28 | 北方民族大学 | 基于多模态融合的道路裂缝检测方法和系统 |
CN116543317A (zh) * | 2023-03-27 | 2023-08-04 | 郑州大学 | 一种用于无人机检测桥梁缆索振动频率的降噪方法 |
CN116168039A (zh) * | 2023-04-26 | 2023-05-26 | 济宁市新华电力特种材料有限公司 | 一种环保节能硅酸铝板质量检测方法 |
CN116452596A (zh) * | 2023-06-20 | 2023-07-18 | 深圳市捷超行模具有限公司 | 一种硅胶玩具注塑溢胶视觉检测方法 |
CN116735612A (zh) * | 2023-08-15 | 2023-09-12 | 山东精亿机械制造有限公司 | 一种精密电子元器件焊接缺陷检测方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117152163A (zh) * | 2023-11-01 | 2023-12-01 | 安徽乾劲企业管理有限公司 | 一种桥梁施工质量视觉检测方法 |
CN117152163B (zh) * | 2023-11-01 | 2024-02-27 | 安徽乾劲企业管理有限公司 | 一种桥梁施工质量视觉检测方法 |
CN117314940A (zh) * | 2023-11-30 | 2023-12-29 | 诺伯特智能装备(山东)有限公司 | 基于人工智能的激光切割零件轮廓快速分割方法 |
CN117314940B (zh) * | 2023-11-30 | 2024-02-02 | 诺伯特智能装备(山东)有限公司 | 基于人工智能的激光切割零件轮廓快速分割方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117094916B (zh) | 2024-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117094916B (zh) | 一种市政桥梁支座视觉检测方法 | |
CN110543837B (zh) | 一种基于潜在目标点的可见光机场飞机检测方法 | |
CN115170576B (zh) | 基于机器视觉的铝管表面缺陷检测方法 | |
CN115351598A (zh) | 一种数控机床轴承检测方法 | |
CN110264448B (zh) | 一种基于机器视觉的绝缘子故障检测方法 | |
CN116611748B (zh) | 一种钛合金家具生产质量监控系统 | |
CN113592845A (zh) | 一种电池涂布的缺陷检测方法及装置、存储介质 | |
CN116385450B (zh) | 基于图像处理的ps片材抗耐磨性检测方法 | |
CN114549981A (zh) | 一种基于深度学习的智能巡检指针式仪表识别及读数方法 | |
CN114749342B (zh) | 一种锂电池极片涂布缺陷识别方法、装置及介质 | |
CN116777907A (zh) | 一种钣金件质量检测方法 | |
CN110288571B (zh) | 一种基于图像处理的高铁接触网绝缘子异常检测方法 | |
CN116485779B (zh) | 自适应晶圆缺陷检测方法、装置、电子设备及存储介质 | |
CN109359604B (zh) | 面向巡检机器人的阴影干扰下仪表识别方法 | |
CN109584206B (zh) | 零件表面瑕疵检测中神经网络的训练样本的合成方法 | |
CN114881960A (zh) | 基于特征增强的布匹直线型缺陷检测方法和系统 | |
CN116823725A (zh) | 一种基于支持向量机的航空发动机叶片表面缺陷检测方法 | |
CN114998215A (zh) | 一种缝纫机表面喷漆异常检测方法及系统 | |
CN112396618B (zh) | 一种基于图像处理的晶界提取及晶粒度测量方法 | |
CN117333489A (zh) | 一种薄膜破损检测装置及检测系统 | |
CN117315670A (zh) | 一种基于计算机视觉的水表读数区域检测方法 | |
CN115019159B (zh) | 一种泵轴承故障快速识别方法 | |
CN114648520A (zh) | 轨道缺陷的检测方法、系统、电子设备和存储介质 | |
CN114581364A (zh) | 一种基于X-ray imaging与Sobel-SCN的GIS缺陷检测方法 | |
Yi et al. | Tire body defect detection: From the perspective of industrial applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |