CN116805416A - 排水管道缺陷识别模型训练方法、排水管道缺陷识别方法 - Google Patents
排水管道缺陷识别模型训练方法、排水管道缺陷识别方法 Download PDFInfo
- Publication number
- CN116805416A CN116805416A CN202311050295.9A CN202311050295A CN116805416A CN 116805416 A CN116805416 A CN 116805416A CN 202311050295 A CN202311050295 A CN 202311050295A CN 116805416 A CN116805416 A CN 116805416A
- Authority
- CN
- China
- Prior art keywords
- image
- defect
- drainage pipeline
- module
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 212
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000012549 training Methods 0.000 title claims abstract description 62
- 238000013145 classification model Methods 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 239000013598 vector Substances 0.000 claims description 64
- 239000011159 matrix material Substances 0.000 claims description 31
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 238000005192 partition Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 8
- 238000009826 distribution Methods 0.000 claims description 6
- 239000002131 composite material Substances 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 238000012706 support-vector machine Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000005260 corrosion Methods 0.000 description 4
- 230000007797 corrosion Effects 0.000 description 4
- 230000007849 functional defect Effects 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 230000007847 structural defect Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 239000013049 sediment Substances 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 2
- 238000005336 cracking Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000011152 fibreglass Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 239000004576 sand Substances 0.000 description 2
- 239000010865 sewage Substances 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 239000004568 cement Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000004643 material aging Methods 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012066 statistical methodology Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002351 wastewater Substances 0.000 description 1
Abstract
本发明涉及一种排水管道缺陷识别模型训练方法、排水管道缺陷识别方法。本发明的技术方案为一种排水管道缺陷识别模型训练方法，其特征在于：获取训练样本，训练样本具有排水管道图像及该图像对应的缺陷类型，该训练样本中共有n种缺陷类型；对排水管道图像进行预处理，包括将排水管道图像进行灰度化处理；从各缺陷类型对应的、经预处理的排水管道图像上提取各缺陷类型对应的图像特征；基于所述n种缺陷类型中第i种缺陷类型对应的图像特征和第j种缺陷类型对应的图像特征对初始二元分类模型进行训练，得到针对第i和j种缺陷类型的缺陷识别模型，共得到个缺陷识别模型。本发明适用于图像识别技术领域。
Description
技术领域
本发明涉及一种排水管道缺陷识别模型训练方法、排水管道缺陷识别方法。适用于图像识别技术领域。
背景技术
排水系统是城市健康运作和环境良性循环的重要保障因素之一，其主要作用是通过收集和输送城市内产生的污水、废水及负载的雨水来维持自身的“新陈代谢”。随着排水管道服役时间增长，各类问题随之出现，如管道材料老化、管壁经污水长时间腐蚀等管道出现起伏、变形、破裂、异物插入，渗漏、沉积物等等，或由路面塌陷造成的管道破裂凹陷等，若现状排水管道问题没能够及时解决，将会对后续使用带来安全隐患。
排水管道的缺陷主要包括功能性缺陷与结构性缺陷，现行的普查周期因管道缺陷所属类型的不同而不同，根据规定，功能性缺陷一般4~5年进行一次普查，而结构性缺陷普查一般为1~2年进行一次。
对排水管道进行排查，目前常见方法是采用CCTV管道机器人进行排水管道内窥检测，通过摄像头采集管道状态的原始图像素材，然后依靠相关检测人员对图像素材进行肉眼识别。
虽然人工识别管道内窥检测缺陷能够达到较高的精度，但需要基本的专业水平及长时间的工作经验，所需的人工成本较高，才能给准确的识别。在人工识别的过程中，人工不可能一直连续长时间的对管道内窥检测缺陷进行识别，并且随着时间的推进检测人员的识别准确率也会进一步的下降。
发明内容
本发明要解决的技术问题是：针对上述存在的问题，提供一种排水管道缺陷识别模型训练方法、排水管道缺陷识别方法。
本发明所采用的技术方案是：一种排水管道缺陷识别模型训练方法，其特征在于：
获取训练样本，训练样本具有排水管道图像及该图像对应的缺陷类型，该训练样本中共有n种缺陷类型；
对排水管道图像进行预处理，包括将排水管道图像进行灰度化处理；
从各缺陷类型对应的、经预处理的排水管道图像上提取各缺陷类型对应的图像特征；
基于所述n种缺陷类型中第i种缺陷类型对应的图像特征和第j种缺陷类型对应的
图像特征对初始二元分类模型进行训练，得到针对第i和j种缺陷类型的缺陷识别模型，共
得到个缺陷识别模型。
所述从各缺陷类型对应的、经预处理的排水管道图像上提取各缺陷类型对应的图像特征，包括：
采用Hu不变矩、灰度共生矩阵、傅里叶变换和DB小波变换算法分别提取排水管道图像的特征；
将各算法分别提取的特征进行融合，得到排水管道图像的高纬度特征向量，作为该排水管道图像的图像特征。
所述采用Hu不变矩、灰度共生矩阵、傅里叶变换和DB小波变换算法分别提取排水管道图像的特征中采用灰度共生矩阵提取特征，包括：
将排水管道图像划分成若干个子分区，通过灰度共生矩阵分别获取各个子分区特征向量的特征值；
基于各个子分区特征向量的特征值计算排水管道图像全域特征向量的均值；
将各个子分区特征向量的特征值与全域特征向量的均值进行差值比较，当两者误差小于常数c时，将该子分区特征向量进行提取，基于提取的子分区特征向量得到复合灰度共生特征向量，作为排水管道图像的图像特征。
所述特征向量采用灰度共生矩阵的角二阶矩、熵、对比度和相关性表示。
所述采用Hu不变矩、灰度共生矩阵、傅里叶变换和DB小波变换算法分别提取排水管道图像的特征中采用傅里叶变换提取特征，包括：
1）基于离散傅立叶变换计算公式处理排水管图像；
2）基于离散傅立叶变换计算公式的处理结果，计算得到图像的频谱图；
3）寻址频谱图上的峰值所在位置，依据峰值位置和峰值大小，得到频谱图的几何分布特征向量。
所述采用Hu不变矩、灰度共生矩阵、傅里叶变换和DB小波变换算法分别提取排水管道图像的特征中采用DB小波变换提取特征，包括：
1）对排水管道图像进行灰度化预处理，聚焦管道缺陷图像的局部纹理区域特征较为明显区域；
2）采用平均能量Ep和熵值ES，构建DB小波变换的纹理特征参数；
3）基于平均能量Ep的特征向量和熵值ES的特征向量，构建DB小波特征向量。
一种排水管道缺陷识别模型训练装置，其特征在于，包括：
模块A，用于获取训练样本，训练样本具有包含管道缺陷的排水管道图像及该图像对应的缺陷类型，该训练样本中共有n种缺陷类型；
模块B，用于对排水管道图像进行预处理，包括将排水管道图像进行灰度化处理；
模块C，用于从各缺陷类型对应的、经预处理的排水管道图像上提取各缺陷类型对应的图像特征；
模块D，用于基于所述n种缺陷类型中第i种缺陷类型对应的图像特征和第j种缺陷
类型对应的图像特征对初始二元分类模型进行训练，得到针对第i和j种缺陷类型的缺陷识
别模型，共得到个缺陷识别模型。
一种排水管道缺陷识别方法，其特征在于：
S1、获取待识别的排水管道图像；
S2、对排水管道图像进行预处理，将彩色图像通过加权平均法进行灰度化处理；
S3、从待识别的排水管道图像上提取图像特征；
S4、将图像特征分别输入经所述模型训练方法训练得到的个缺陷识别模型，得
到个模型识别结果；
S5、统计个模型识别结果中各缺陷类型的数量，并以数量最多的缺陷类型作为
该待识别的图像的缺陷类型。
一种排水管道缺陷识别装置，其特征在于，包括：
第一模块，用于获取待识别的排水管道图像；
第二模块，用于对排水管道图像进行预处理，将彩色图像通过加权平均法进行灰度化处理；
第三模块，用于从待识别的排水管道图像上提取对应的图像特征；
第四模块，用于将图像特征分别输入经所述模型训练方法训练得到的个缺陷
识别模型，得到个模型识别结果；
第五模块，用于统计个模型识别结果中各缺陷类型的数量，并以数量最多的缺
陷类型作为该待识别的图像的缺陷类型。
一种存储介质，其上存储有能被处理器执行的计算机程序，其特征在于：所述计算机程序被执行时实现所述训练方法的步骤；
或，所述识别方法的步骤。
一种排水管道缺陷识别设备，具有存储器和处理器，存储器上存储有能被处理器执行的计算机程序，其特征在于：所述计算机程序被执行时实现所述识别方法的步骤。
本发明的有益效果是：本发明针对n种管道缺陷类型，通过构建个二元分类模
型，每个二元分类模型实现n种缺陷类型中的两类区分，每种缺陷类型参与了n-1个模型的
训练，待识别的排水管道图像经个二元分类模型识别输出个模型识别结果，统计
个模型识别结果中各缺陷类型的数量，以数量最多的缺陷类型作为待识别图像的缺陷类
型。本发明中每个二元分类模型仅进行二元分类，可更加高效、准确的识别出模型对应缺陷
类型，且最终结果根据个模型识别结果确定，结果更加可靠。
不同于常见利用多元分类模型解决多元分类问题，本发明通过个二元分类模
型结合解决多元分类问题，由于每个二元分类模型仅对两种缺陷进行分类，分类准确性更
高，并且由于每种缺陷类型参与了n-1个二元分类模型的训练，当个二元分类模型对某
种缺陷进行分类识别时，该缺陷对应类型参与训练的n-1个模型基本都会识别出该缺陷对
应的准确类型；而其余个二元分类模型由于未基于该缺陷类型进行训练，缺陷
结果很难统一，基本不会出现n-1个模型同时输出某另一种缺陷类型的情况，故通过对
个二元分类模型的结果统计便能获取缺陷的准确类型。
管道缺陷类型有多种，如渗漏、变形、破裂等等；管道缺陷类型的识别可能受到管材类型、管径大小以及管道内部缺陷的位置等因素影响，当采用一个多元分类模型进行训练时，由于训练库中的管道缺陷图像既有不同缺陷类型又有不同管材、不同管径、不同的缺陷位置等等，影响因素较多，训练的并不一定准确。但是同时训练多个二元分类模型，可以实现在相同管径、相同管材、相同缺陷位置的前提下对管道内不同缺陷类型进行训练，减少外界因素的干扰，同时采用投票法统计票数，进而得到缺陷类型，可极大提高判别的准确率。
基于排水管道CCTV图像在筛选、纹理提取、判读过程中精度较低的问题，本发明创造性的融合了Hu不变矩、灰度共生矩阵、傅里叶变化和DB小波变换四种特征提取算法，判读过程中从图像平移、缩放、比例、旋转等特性切入，图像分若干子分区、图像全域以及局部强化等纹理特征提取，将纹理特征和频谱特征相互结合，使得提取图像特征向量更加多样化，使得不同管道缺陷类型的图像之间的差异性差别更加大；同时，多特征向量提取从现在常规的低维度转向高维度，有利于提高图像识别的准确率。
本发明融合Hu不变矩、灰度共生矩阵、傅里叶变换和DB小波变换算法提取的特征，作为该排水管道CCTV图像的图像特征，该融合的图像特征能增大管道各缺陷之前的区别，以便于模型准确识别，提高模型分类识别的准确性。
本发明中改进的Hu不变矩具有当图像f(x,y)直接用原点矩或中心矩作为图像的特征，可保证特征同时具有平移、旋转、比例和缩放不变性；灰度共生矩阵可识别图像纹理特征，用以辨别图像区域的重要特征依据，常使用区域的尺寸、可分辨灰度元素的数目以及这些灰度元素（像素）的相互关系来描述一幅图像中的纹理区域；傅里叶变换是图像时域与频域分析的基础，可识别图像的周期性特征，将图像特征的转换到频率域，构建图像全域频谱特征向量；DB小波变换算法具有很高的纹理分类能力，特别是聚焦在局部缺陷特征。
本发明对灰度共生矩阵14项纹理特征进行研究，筛选出4项特征（熵、对比度、相关性和角二阶矩），其相互之间的关联性不强，更加便于计算分类特征，同时创造性的对传统的灰度共生矩阵加以改进，有效解决图像因旋转导致特征量变化的缺陷。
本发明对图像进行分成若干区块，聚焦至管道图像缺陷位置，更加准确有效提取管道图像缺陷特征，形成若干子特征向量；择优选取特征向量平均值误差范围内的特征向量形成复合特征向量，其余特征向量全部剔除，进而更加高效提高特征提取精度。
本发明采用傅里叶变换等应用于管道缺陷图像特征进行全域提取，同时采用DB小波变换，使图像在高频通道和低频通道都能进行分解，强化处理局部纹理特征的提取，有效互补统计方法学的缺陷。
管道缺陷图像指的是在拍摄于管道内部，存在有缺陷的图像。通常排水管道的管道管材有双壁波纹管、钢管、混凝土砼管、玻璃钢夹砂管等，不同管材内部的纹理必然存在区别，如双壁波纹管的管道内壁为波浪状，钢管内壁较为光滑、混凝土砼管内壁为水泥砂浆状等，显然上述不同管材的管道内壁之间的纹理特征较为明显，对纹理特征进行提取，可更加容易判别管道缺陷类型，譬如同一种缺陷类型（破裂），双壁波纹管的“破裂”图像和混凝土砼管的“破裂”图像必然存在区别，为了更好区别不同管材类型的“破裂”，本发明采用灰度共生矩阵提取纹理特征。
管道缺陷内一般存在一定的周期性（或规律性），譬如：“渗流”、“破裂”、“腐蚀”等缺陷一般连续出现在管道顶部；如“腐蚀”一般出现会连续出现在混凝土砼管、玻璃钢夹砂管顶部位置，双壁波纹管因其为塑料材质并不会出现“腐蚀；如“错口”一般出现在两段管道连接处；如“起伏”一般整段管道都会存在；“沉积物”一般出现在管道底部位置等等。同时缺陷出现的位置一般不会覆盖整幅图像，仅仅出现在管道内部的某一处位置，如前文所述在管道内壁顶部或底部位置等等，需要精准聚焦到局部位置，将局部特征有效提取。因此，通过傅里叶变换算法对不同缺陷类型的图像全域频谱特征向量提取，结合DB小波变换算法对局部纹理信息的提取，使得能够获取待处理图像在频率域与空间域、整体全域与局部特征信息相结合的最佳联合分辨率，很好的满足了提取纹理特征的需求。
在对缺陷图像进行纹理特征参数提取时，需对图像f(x,y)进行平移、旋转、比例、缩放以及图像像素点的平移等操作，本发明引入改进的Hu不变矩算法，以消除上述操作的影响。
附图说明
图1为实施例中排水管道缺陷识别方法的流程图。
图2为实施例中排水管道缺陷识别模型训练方法的流程图。
图3为实施例中排水管道缺陷识别装置的结构框图。
图4为实施例中排水管道缺陷识别模型训练装置的结构框图。
具体实施方式
如图1所示，本实施例为一种排水管道缺陷识别方法，具体包括以下步骤：
S1、获取待识别的排水管道图像，该排水管道图像为从CCTV管道机器人采集的视频中提取的且已被判断包含缺陷的视频帧。
S2、对排水管道图像进行预处理，将彩色图像通过加权平均法进行灰度化处理。
本实施例中定义图像数字化组成元素为R、G、B三个通道分量分别对应着红、绿、蓝三色的亮度，亮度范围在0~255之间，白色为亮度最大值（255, 255, 255），黑色为（0, 0,0）。
采用RGB加权平均值法，将彩色图像进行灰度化处理，计算公式如下：
，式中：a，b，c为常数；i , j, k分别RGB坐标轴上表示x，y，z轴上的像素点，一般情况下a=0.299，b=0.593，c=0.108。
S3、采用Hu不变矩、灰度共生矩阵、傅里叶变换和DB小波变换算法分别从待识别的排水管道图像上提取图像的特征，将各算法分别提取的特征进行融合，得到排水管道图像的高纬度特征向量，将该高纬度特征向量作为该排水管道图像的图像特征。
本实施例中对预处理后的图像采用改进的Hu不变矩提取图像的特征，具体包括：
二维的数字图像其灰度用/>表示，其（p+q）阶原点矩为：；其中，/>表示矩定义的基底函数；(p, q=0,1,2……)；
的（p+q）阶中心矩用/>表示：/>；
图像零阶矩阵表示图像的灰度总和，计算公式：/>，图像两个一阶矩/>和/>用来确定图像的灰度重心，图像的重心坐标为：
；/>；中心距/>=/>=0；
图像三个二阶矩用以确定图像的主轴，分别用/>、/>、/>表示图像的惯性矩，惯性矩的特性值/>、/>、/>，主轴方向角/>按照如下公式计算：
，公式中的/>为主轴与坐标轴的夹角/>。
图像两个三阶中心矩/>、/>描述了图像投影的扭曲程度；图像投影在x，y轴的扭曲系数分别为skx，sky，表示图像对坐标轴的扭曲方向，计算公式：
，/> ；
Hu不变矩具有平移不变性、旋转不变性和比例不变性的特点，采用七个不变矩的表达式，分别为M1、M2、M3、M4、M5、M6、M7，计算公式：
；
；
；
；
；
；
；
对Hu不变矩进行改进，使改进Hu不变矩增加缩放不变性的特点，采用如下计算公式：
；/>；/>；/>；/>；/>；/>；/>；；/>；
用零阶中心矩阵进行归一化，得到（p+q）阶归一中心矩；
其中：，/>表示/>的（p+q）阶中心矩，计算公式如下：
；
其中，为图像的重心坐标。
本实施例中对预处理后的图像采用改进的灰度共生矩阵提取图像的特征，具体包括：
对已经过预处理的排水管道图像进行分区处理，聚焦至缺陷位置的区块，以便获取纹理特征；
构建改进的灰度共生特征矩阵：首先矩阵元素表示在方向上，相隔一定的像元距离d，灰度值分别为i和j的像元对出现的频率/>；/>一般取0°、45°、90°和135°等四个方向；
改进的灰度共生矩阵特征参数分别用角二阶矩SE、熵Sp、对比度Sd、相关性特征St表示。
其中，角二阶矩用SE表示，表示灰度共生矩阵元素值的平方和，计算公式如下：
，S E 值表示图像灰度分布均匀程度和纹理粗细程度，S E 值越小，表示图像灰度分布越均匀，纹理越细；S E 值越大，则反之；
熵用Sp表示，用以反映图像纹理的复杂程度或非均匀程度，计算公式如下：
，当图像中没有任何纹理时，S p 熵值接近于零；当图像中布满细纹理，S p 熵值最大max；当图像中具有纹理且未布满时，Sp熵值介于0~max之间；
对比度用Sd表示，反映着纹理的沟纹深浅程度和图像清晰度，计算公式如下所示：
，当对比度S d 越大，表示图像的纹理沟纹越深，图像越清晰；当Sd越小，图像则较为模糊；
相关性用St表示，计算公式如下所示：
；
，/>；
，/>；
当矩阵的元素值均匀相等时，St值就越大；相反，如果矩阵的元素值差别很大，则St值就越小；同时，图像的St值与方向有关，当图像中某个方向的纹理相对较多时，即在该方向上的St值就相对较大。
计算角二阶矩S E 、熵Sp、对比度Sd和相关性特征St中每一类统计量的四个方向上的均值与标准差，用每一类统的均值与标准差计量构建最终的纹理特征向量。
将待处理的管道缺陷图像进行适当的划分若干个子分区，采用常规的灰度共生矩阵分别对各个子分区进行特征向量获取（上述步骤Ⅱ1~Ⅱ4），获得子分区特征向量，每个子分区特征向量记作f (i，j），其中i=1，2，…，M；j=1，2，…，N，累计共M*N个子特征向量。
计算各个子分区特征向量的特征值，并基于各个子分区特征向量的特征值计算得到算术平均值，作为该排水管道图像全域特征向量的均值。
将各个子分区特征向量的特征值与全域特征向量的均值进行差值比较，当两者误差小于常数c时，将该子分区特征向量进行提取，当误差范围大于常数c时，该子分区特征向量作剔除处理，基于提取的子分区特征向量得到复合灰度共生特征向量。
管道缺陷图像可能是因为受到角度、光线、拍摄镜头有雾气以及镜头对焦等的影响，所呈现的图像并非都很清晰，可能某区域是比较模糊或分辨率欠清晰，因此，需要划分各个子区，选取特征向量均值较优的区域提取其特征向量；对较为模糊的区域即便提取特征向量，该特征向量不能很好的反映真实的管道缺陷特征，为后续训练支持向量机，提高识别的精度，采用复合灰度共生特征向量更合适。
本实施例中对预处理后的图像采用傅里叶变换提取图像的特征，具体包括：
基于离散傅立叶变换计算公式处理排水管图像。当图像f（m，n）大小为M×N，则其离散傅立叶变换计算公式如下所示：
，
其中u=0,1,2,3…M-1, v=0,1,2…N-1, f(m, n)表示图像矩阵中的第m行第n列的像素灰度值，变量u和v是频率变量，m和n是图像变量；
基于离散傅立叶变换计算公式的处理结果，计算得到图像的频谱图。表示图像的频谱图，计算公式如下：/>，其中/>和/>分别是/>的实部和虚部；
寻址频谱图上的峰值所在位置，依据峰值位置和峰值大小，得到频谱图的几何分布特征向量。
P ij 为频谱图中第i行第j列的值，最大峰值的位置寻找可通过如下无约束优化公式进行求解，继而可找到M个峰值所在的位置, 相应的峰值为/>,依据峰值位置和峰值大小，得到频谱图的几何分布特征向量。
本实施例中对预处理后的图像采用DB小波变换提取图像的特征，具体包括：
对排水管道图像进行灰度化预处理，聚焦管道缺陷图像的局部纹理区域特征较为明显区域；
构建DB小波变换的频谱纹理特征参数，采用平均能量Ep和熵值ES，平均能量Ep的计算公式如下：
；
；
；
其中，图像像素设有m行、n列，频带大小为M*N，子频带的系数为x，图像的灰度级为L，特征向量d=3*L+1维；
平均能量Ep的特征向量为；熵值ES的特征向量为/>；构建DB小波特征向量/>。
S4、将步骤S3得到的图像特征输入经训练的缺陷识别模型，得到模型识别结果。
如图2所示，本实施例中缺陷识别模型的训练方法，包括以下步骤：
获取大量训练样本，训练样本具有包含管道缺陷的排水管道图像及该图像对应的缺陷类型。
通过CCTV管道机器人等检测城镇地下排水管道，将拍摄得到的海量图片进行收集筛选，筛选出清晰的不同缺陷类型的排水管道图像。
排水管道的缺陷主要分为功能性缺陷和结构性缺陷，功能性缺陷主要包括：沉积、残墙坝根、浮渣、结垢、树根、障碍物、接口材料脱落 7种类目；结构性缺陷包括：破裂、变形、腐蚀、错口、起伏、脱节、支管暗接、异物穿入、渗漏9种类目。
将收集到的海量包含缺陷的排水管道图像按缺陷类型进行分类，将同种缺陷类型的排水管道图像放置在同一个文件夹中，作为训练的数据库。
B、对排水管道图像进行预处理，将彩色图像通过加权平均法进行灰度化处理，预处理具体方法同步骤S2。
C、从各缺陷类型对应的、经预处理的排水管道图像上提取各缺陷类型对应的图像特征，特征提取具体方法同步骤S3。
D、任意两种不同的排水管道缺陷类型的排水管道图像在提取图像特征后结合相
应缺陷类型输入初始二元分类模型（未经训练，可采用支持向量机SVM）进行二元分类训练，
共得到个能进行二元分类的缺陷识别模型。
本实施例中将管道缺陷的所有种类按顺序排列，基于排列中第i种缺陷类型对应的图像特征和排列中第j种缺陷类型对应的图像特征对初始二元分类模型进行训练，得到针对第i和j种缺陷类型的缺陷识别模型，其中i=1,2,3...n，j=1,2,3...n，i≠j，n为待识别的管道缺陷类型总数。
本实施例中将待识别排水管道图像的图像特征分别输入个经训练的、能进行
二元分类的缺陷识别模型中，得到个模型识别结果。
S5、统计个模型识别结果中各缺陷类型的数量，并以统计中数量最多的缺陷类
型作为该待识别的图像的缺陷类型。
如管道有“变形”、“塌陷”、“渗漏”，“破裂”，“沉积物”，“错口”和“脱节”7种缺陷类
型，每两种缺陷类型都可以通过一个SVM分类器进行诊断，总得到个SVM分类器，待识
别的图像将分别由所有21个SVM分类器进行识别。
如21个SVM分类器的识别结果中，变形有6票，塌陷有2票，渗漏有1票，破裂3票，沉积物有4票，错口有4票，脱节有1票，因此，识别结果输出为变形。
同样，如21个SVM分类器的识别结果中，表示变形有3票，塌陷有0票，渗漏有2票，破裂5票，沉积物有6票，错口有4票，脱节有1票，因此识别结果输出为沉积物。
本实施例还提供一种排水管道缺陷识别模型训练装置，包括：模块A、模块B、模块C和模块D。
如图3所示，本实施例还提供一种排水管道缺陷识别装置，包括第一~第五模块，其
中第一模块用于获取待识别的排水管道图像；第二模块用于对排水管道图像进行预处理，
将彩色图像通过加权平均法进行灰度化处理；第三模块用于从待识别的排水管道图像上提
取对应的图像特征；第四模块用于将图像特征分别输入经训练得到的个缺陷识别模型，
得到个模型识别结果；第五模块用于统计个模型识别结果中各缺陷类型的数量，并
以数量最多的缺陷类型作为该待识别的图像的缺陷类型。
如图4所示，本例中模块A用于获取大量训练样本，训练样本具有包含管道缺陷的
排水管道图像及该图像对应的缺陷类型；模块B用于对排水管道图像进行预处理，将彩色图
像通过加权平均法进行灰度化处理；模块C用于从各缺陷类型对应的、经预处理的排水管道
图像上提取各缺陷类型对应的图像特征；模块D用于基于第i种缺陷类型对应的图像特征和
第j种缺陷类型对应的图像特征对初始二元分类模型进行训练，得到针对第i和j种缺陷类
型的缺陷识别模型，其中i=1,2,3...n，j=1,2,3...n，i≠j，n为待识别的管道缺陷类型总
数，共得到个缺陷识别模型。
本实施例还提供一种存储介质，其上存储有能被处理器执行的计算机程序，该计算机程序被执行时实现本例中缺陷识别模型训练方法的步骤。
本实施例还提供一种缺陷识别模型训练设备，具有存储器和处理器，存储器上存储有能被处理器执行的计算机程序，该计算机程序被执行时实现本例中缺陷识别模型训练方法的步骤。
本实施例还提供一种存储介质，其上存储有能被处理器执行的计算机程序，该计算机程序被执行时实现排水管道缺陷识别方法的步骤。
本实施例还提供一种排水管道缺陷识别设备，具有存储器和处理器，存储器上存储有能被处理器执行的计算机程序，该所述计算机程序被执行时实现本例中排水管道缺陷识别方法的步骤。
Claims (11)
1.一种排水管道缺陷识别模型训练方法，其特征在于：
获取训练样本，训练样本具有排水管道图像及该图像对应的缺陷类型，该训练样本中共有n种缺陷类型；
对排水管道图像进行预处理，包括将排水管道图像进行灰度化处理；
从各缺陷类型对应的、经预处理的排水管道图像上提取各缺陷类型对应的图像特征；
基于所述n种缺陷类型中第i种缺陷类型对应的图像特征和第j种缺陷类型对应的图像特征对初始二元分类模型进行训练，得到针对第i和j种缺陷类型的缺陷识别模型，共得到个缺陷识别模型。
2.根据权利要求1所述的排水管道缺陷识别模型训练方法，其特征在于：所述从各缺陷类型对应的、经预处理的排水管道图像上提取各缺陷类型对应的图像特征，包括：
采用Hu不变矩、灰度共生矩阵、傅里叶变换和DB小波变换算法分别提取排水管道图像的特征；
将各算法分别提取的特征进行融合，得到排水管道图像的高纬度特征向量，作为该排水管道图像的图像特征。
3.根据权利要求2所述的排水管道缺陷识别模型训练方法，其特征在于，所述采用Hu不变矩、灰度共生矩阵、傅里叶变换和DB小波变换算法分别提取排水管道图像的特征中采用灰度共生矩阵提取特征，包括：
将排水管道图像划分成若干个子分区，通过灰度共生矩阵分别获取各个子分区特征向量的特征值；
基于各个子分区特征向量的特征值计算排水管道图像全域特征向量的均值；
将各个子分区特征向量的特征值与全域特征向量的均值进行差值比较，当两者误差小于常数c时，将该子分区特征向量进行提取，基于提取的子分区特征向量得到复合灰度共生特征向量，作为排水管道图像的图像特征。
4.根据权利要求3所述的排水管道缺陷识别模型训练方法，其特征在于，所述特征向量采用灰度共生矩阵的角二阶矩、熵、对比度和相关性表示。
5.根据权利要求2所述的排水管道缺陷识别模型训练方法，其特征在于，所述采用Hu不变矩、灰度共生矩阵、傅里叶变换和DB小波变换算法分别提取排水管道图像的特征中采用傅里叶变换提取特征，包括：
1）基于离散傅立叶变换计算公式处理排水管图像；
基于离散傅立叶变换计算公式的处理结果，计算得到图像的频谱图；
寻址频谱图上的峰值所在位置，依据峰值位置和峰值大小，得到频谱图的几何分布特征向量。
6.根据权利要求2所述的排水管道缺陷识别模型训练方法，其特征在于，所述采用Hu不变矩、灰度共生矩阵、傅里叶变换和DB小波变换算法分别提取排水管道图像的特征中采用DB小波变换提取特征，包括：
1) 对排水管道图像进行灰度化预处理，聚焦管道缺陷图像的局部纹理区域特征较为明显区域；
2）采用平均能量Ep和熵值ES，构建DB小波变换的纹理特征参数；
3）基于平均能量Ep的特征向量和熵值ES的特征向量，构建DB小波特征向量。
7.一种排水管道缺陷识别模型训练装置，其特征在于，包括：
模块A，用于获取训练样本，训练样本具有包含管道缺陷的排水管道图像及该图像对应的缺陷类型，该训练样本中共有n种缺陷类型；
模块B，用于对排水管道图像进行预处理，包括将排水管道图像进行灰度化处理；
模块C，用于从各缺陷类型对应的、经预处理的排水管道图像上提取各缺陷类型对应的图像特征；
模块D，用于基于所述n种缺陷类型中第i种缺陷类型对应的图像特征和第j种缺陷类型对应的图像特征对初始二元分类模型进行训练，得到针对第i和j种缺陷类型的缺陷识别模型，共得到个缺陷识别模型。
8.一种排水管道缺陷识别方法，其特征在于：
S1、获取待识别的排水管道图像；
S2、对排水管道图像进行预处理，包括将排水管道图像进行灰度化处理；
S3、从待识别的排水管道图像上提取图像特征；
S4、将图像特征分别输入经权利要求1~6任意一项所述模型训练方法训练得到的个缺陷识别模型，得到/>个模型识别结果；
S5、统计个模型识别结果中各缺陷类型的数量，并以数量最多的缺陷类型作为该待识别的图像的缺陷类型。
9.一种排水管道缺陷识别装置，其特征在于，包括：
第一模块，用于获取待识别的排水管道图像；
第二模块，用于对排水管道图像进行预处理，包括将排水管道图像进行灰度化处理；
第三模块，用于从待识别的排水管道图像上提取图像特征；
第四模块，用于将图像特征分别输入经权利要求1~6任意一项所述模型训练方法训练得到的个缺陷识别模型，得到/>个模型识别结果；
第五模块，用于统计个模型识别结果中各缺陷类型的数量，并以数量最多的缺陷类型作为该待识别的图像的缺陷类型。
10.一种存储介质，其上存储有能被处理器执行的计算机程序，其特征在于：所述计算机程序被执行时实现权利要求1~6任意一项所述训练方法的步骤；
或，权利要求8所述识别方法的步骤。
11.一种排水管道缺陷识别设备，具有存储器和处理器，存储器上存储有能被处理器执行的计算机程序，其特征在于：所述计算机程序被执行时实现权利要求8所述识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311050295.9A CN116805416A (zh) | 2023-08-21 | 2023-08-21 | 排水管道缺陷识别模型训练方法、排水管道缺陷识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311050295.9A CN116805416A (zh) | 2023-08-21 | 2023-08-21 | 排水管道缺陷识别模型训练方法、排水管道缺陷识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116805416A true CN116805416A (zh) | 2023-09-26 |
Family
ID=88079649
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311050295.9A Pending CN116805416A (zh) | 2023-08-21 | 2023-08-21 | 排水管道缺陷识别模型训练方法、排水管道缺陷识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116805416A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117237340A (zh) * | 2023-11-10 | 2023-12-15 | 江西省中鼐科技服务有限公司 | 一种基于人工智能的手机外壳外观检测方法及系统 |
| CN117710365A (zh) * | 2024-02-02 | 2024-03-15 | 中国电建集团华东勘测设计研究院有限公司 | 缺陷管道图像的处理方法、装置及电子设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105938563A (zh) * | 2016-04-14 | 2016-09-14 | 北京工业大学 | 一种基于图像纹理的焊缝表面缺陷识别方法 |
| CN106097360A (zh) * | 2016-06-17 | 2016-11-09 | 中南大学 | 一种带钢表面缺陷识别方法及装置 |
| CN107194383A (zh) * | 2017-07-10 | 2017-09-22 | 上海应用技术大学 | 基于改进Hu不变矩和ELM的交通标志牌识别方法和装置 |
| CN109559302A (zh) * | 2018-11-23 | 2019-04-02 | 北京市新技术应用研究所 | 基于卷积神经网络的管道视频缺陷检测方法 |
| CN113014908A (zh) * | 2019-12-19 | 2021-06-22 | 西安诺瓦星云科技股份有限公司 | 图像检测方法、装置和系统及计算机可读存储介质 |
| US20210319265A1 (en) * | 2020-11-02 | 2021-10-14 | Zhengzhou University | Method for segmentation of underground drainage pipeline defects based on full convolutional neural network |
| CN114565841A (zh) * | 2022-02-18 | 2022-05-31 | 周德生 | 一种基于图像处理的车型识别方法 |
| CN116150687A (zh) * | 2022-09-13 | 2023-05-23 | 重庆邮电大学 | 一种基于多分类g-wlstsvm模型的流体管道泄漏识别方法 |
-
2023
- 2023-08-21 CN CN202311050295.9A patent/CN116805416A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105938563A (zh) * | 2016-04-14 | 2016-09-14 | 北京工业大学 | 一种基于图像纹理的焊缝表面缺陷识别方法 |
| CN106097360A (zh) * | 2016-06-17 | 2016-11-09 | 中南大学 | 一种带钢表面缺陷识别方法及装置 |
| CN107194383A (zh) * | 2017-07-10 | 2017-09-22 | 上海应用技术大学 | 基于改进Hu不变矩和ELM的交通标志牌识别方法和装置 |
| CN109559302A (zh) * | 2018-11-23 | 2019-04-02 | 北京市新技术应用研究所 | 基于卷积神经网络的管道视频缺陷检测方法 |
| CN113014908A (zh) * | 2019-12-19 | 2021-06-22 | 西安诺瓦星云科技股份有限公司 | 图像检测方法、装置和系统及计算机可读存储介质 |
| US20210319265A1 (en) * | 2020-11-02 | 2021-10-14 | Zhengzhou University | Method for segmentation of underground drainage pipeline defects based on full convolutional neural network |
| CN114565841A (zh) * | 2022-02-18 | 2022-05-31 | 周德生 | 一种基于图像处理的车型识别方法 |
| CN116150687A (zh) * | 2022-09-13 | 2023-05-23 | 重庆邮电大学 | 一种基于多分类g-wlstsvm模型的流体管道泄漏识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| XIANGYANG YE 等: "Diagnosis of sewer pipe defects on image recognition of multi-features and support vector machine in a southern Chinese city", 《FRONTIERS OF ENVIRONMENTAL SCIENCE & ENGINEERING》, vol. 13, no. 2, pages 2 - 3, XP037142595, DOI: 10.1007/s11783-019-1102-y * |
| 步亚东: "图像纹理特征提取的研究", 《万方数据知识服务平台》, vol. 2012, pages 3 - 4 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117237340A (zh) * | 2023-11-10 | 2023-12-15 | 江西省中鼐科技服务有限公司 | 一种基于人工智能的手机外壳外观检测方法及系统 |
| CN117237340B (zh) * | 2023-11-10 | 2024-01-26 | 江西省中鼐科技服务有限公司 | 一种基于人工智能的手机外壳外观检测方法及系统 |
| CN117710365A (zh) * | 2024-02-02 | 2024-03-15 | 中国电建集团华东勘测设计研究院有限公司 | 缺陷管道图像的处理方法、装置及电子设备 |
| CN117710365B (zh) * | 2024-02-02 | 2024-05-03 | 中国电建集团华东勘测设计研究院有限公司 | 缺陷管道图像的处理方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111310862B (zh) | 复杂环境下基于图像增强的深度神经网络车牌定位方法 | |
| CN113469177B (zh) | 基于深度学习的排水管道缺陷检测方法及系统 | |
| CN116805416A (zh) | 排水管道缺陷识别模型训练方法、排水管道缺陷识别方法 | |
| CN113240626B (zh) | 一种基于神经网络的玻璃盖板凹凸型瑕疵检测与分类方法 | |
| CN116664559B (zh) | 基于机器视觉的内存条损伤快速检测方法 | |
| CN111563408B (zh) | 多层次感知特征渐进自学习的高分辨率影像滑坡自动检测方法 | |
| CN108564092A (zh) | 基于sift特征提取算法的向日葵病害识别方法 | |
| CN114549981A (zh) | 一种基于深度学习的智能巡检指针式仪表识别及读数方法 | |
| CN112819748B (zh) | 一种带钢表面缺陷识别模型的训练方法及装置 | |
| CN109584206B (zh) | 零件表面瑕疵检测中神经网络的训练样本的合成方法 | |
| CN111598869A (zh) | 一种对显示屏幕的Mura进行检测的方法、设备及存储介质 | |
| CN111950559A (zh) | 一种基于径向灰度的指针仪表自动读数方法 | |
| CN115830004A (zh) | 表面缺陷检测方法、装置、计算机设备和存储介质 | |
| CN116559111A (zh) | 一种基于高光谱成像技术的高粱品种识别方法 | |
| CN115937518A (zh) | 一种基于多源图像融合的路面病害识别方法及系统 | |
| Chen et al. | Real-time defect detection of TFT-LCD displays using a lightweight network architecture | |
| CN112308040A (zh) | 一种基于高清图像的河流排污口检测方法及系统 | |
| CN116883893A (zh) | 基于红外热成像的隧道掌子面地下水智能判识方法及系统 | |
| CN116519710A (zh) | 一种用于复合绝缘子表面污秽状态的检测方法及系统 | |
| CN117392043A (zh) | 一种基于深度学习的钢板表面缺陷视频检测方法及系统 | |
| CN111968136A (zh) | 一种煤岩显微图像分析方法及分析系统 | |
| Sarı et al. | Deep learning application in detecting glass defects with color space conversion and adaptive histogram equalization | |
| CN113420724B (zh) | 一种无人机遥感入河排口识别方法及装置 | |
| CN115359346B (zh) | 基于街景图片的小微空间识别方法、装置及电子设备 | |
| CN114758222B (zh) | 一种基于PointNet++神经网络混凝土管道损伤识别与体积量化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |