CN116385364A - 一种基于视差辅助语义分割的多级导地线缺陷识别方法 - Google Patents
一种基于视差辅助语义分割的多级导地线缺陷识别方法 Download PDFInfo
- Publication number
- CN116385364A CN116385364A CN202310202176.4A CN202310202176A CN116385364A CN 116385364 A CN116385364 A CN 116385364A CN 202310202176 A CN202310202176 A CN 202310202176A CN 116385364 A CN116385364 A CN 116385364A
- Authority
- CN
- China
- Prior art keywords
- area
- ground lead
- image
- ground
- defect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 85
- 230000011218 segmentation Effects 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000001514 detection method Methods 0.000 claims abstract description 71
- 230000003287 optical effect Effects 0.000 claims abstract description 37
- 238000004364 calculation method Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 17
- 239000013598 vector Substances 0.000 claims description 28
- 238000007689 inspection Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 10
- 238000002372 labelling Methods 0.000 claims description 8
- 238000000280 densification Methods 0.000 claims description 4
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 claims description 3
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000010845 search algorithm Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000003313 weakening effect Effects 0.000 claims description 3
- 230000000903 blocking effect Effects 0.000 claims description 2
- 238000012795 verification Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 abstract 1
- 238000013135 deep learning Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- WABPQHHGFIMREM-UHFFFAOYSA-N lead(0) Chemical compound [Pb] WABPQHHGFIMREM-UHFFFAOYSA-N 0.000 description 1
- 238000013332 literature search Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000009671 shengli Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Remote Sensing (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于视差辅助语义分割的多级导地线缺陷识别方法，包括：采用无人机巡检采集的导地线缺陷图像，利用稠密逆搜索(DIS)光流法将无人机采集的前后连续两幅图像的视差划分出前景与背景区域，以减小导地线缺陷图中复杂背景对于缺陷目标检测的影响，再利用针对导地线特征设计的图像语义分割网络模型从前景区域中分割出导地线区域，通过分块检测避免不必要的特征图计算，同时避免图像的下采样淹没导地线细节特征,将正负样本限定在导地线区域内，针对导地线区域设计并训练导地线目标检测识别网络模型，使导地线目标检测识别网络模型专门学习缺陷导地线与正常导地线的区域，滤除复杂背景的影响，实现对细小缺陷区域的检测识别。
Description
技术领域
本发明属于自动化电力巡线领域与图像处理领域，具体涉及一种基于视差辅助语义分割的多级导地线缺陷识别方法。
背景技术
无人机电力巡线已逐渐取代人工电力巡线成为了主流的巡检方法，在深度学习技术出现以前，无人机拍摄的电力巡线图像主要由人工检查进行缺陷识别，少量的特征容易描述的电力缺陷，如导地线专项巡检图像中的导地线缺陷，已利用传统边缘分割算法与直线检测算法在一定程度上实现了自动缺陷检测。但由于传统算法的场景适应性较差，受到复杂环境、光线与角度等因素的影响，识别准确率较低，难以满足实际需求。在深度学习方法被引入目标检测后，很多研究开始利用深度神经网络模型来进行导地线的检测，准确率比基于传统算法的缺陷检测方法有非常大的提升。但目前基于深度学习的导地线检测方法，多使用单阶段目标检测模型或双阶段目标检测模型直接进行导地线缺陷的检测，某一些细小缺陷(比如分辨率为5000*4000的图像上缺陷目标像素面积小于100*100，即占整个图像低于0.05％)难以识别出来，而且易产生误检，从而导致在检测精度上出现了瓶颈。
经过对现有技术的文献检索发现，图像缺陷检测的研究大多集中在基于目标检测技术来定位目标缺陷。在中国专利“一种基于深度学习语义分割的缺陷检测方法”(申请号：CN201910673139.5)中，赵青等人提出了一种基于深度学习语义分割的缺陷检测方法。该方法直接用语义分割网络得到缺陷的分类，在检测识别效果上与单阶段检测相当。在中国专利“基于语义分割和目标检测的绝缘子缺陷检测方法”(申请号：CN202111480007.4)中，王胜利等人提出一种基于语义分割和目标检测模型的缺陷检测方法。该方法采用了语义分割网络与目标检测网络的两阶段检测方法，但由于导地线缺陷图像存在不同的特点，该算法难以直接适用于导地线图像的缺陷检测。
发明内容
有鉴于此，本发明提供一种基于视差辅助语义分割的多级导地线缺陷识别方法，可实现对细小缺陷区域的检测识别。
本发明的目的是通过以下技术方案予以实现，一种基于视差辅助语义分割的多级导地线缺陷识别方法，包括以下步骤：
一种基于视差辅助语义分割的多级导地线缺陷识别方法，包括以下步骤：
对电力巡线导地线图像进行像素级标注，构建导地线语义分割数据集；
对电力巡线导地线缺陷图像进行矩形框标注，构建导地线缺陷检测数据集；
对连续两帧导地线图像求取光流矢量，利用光流矢量判别出图像中距相机较近的前景区域和距相机较远的背景区域；
利用导地线语义分割数据集训练语义分割网络模型；
利用语义分割网络模型从导地线巡线图像的前景区域中分割出导地线区域；
利用导地线缺陷检测数据集训练导地线缺陷检测模型；
利用导地线缺陷检测识别网络模型从导地线区域中检测出缺陷区域。
进一步的，所述对连续两帧导地线图像求取光流矢量，利用光流矢量判别出图像中距相机较近的前景区域和距相机较远的背景区域，采用稠密逆搜索图像视差区分前背景算法进行，所述稠密逆搜索图像视差区分前背景算法的具体步骤包括：
对导地线图像建立图像高斯金字塔，自上向下计算每一层的光流矢量；
对每层图像金字塔进行分块，分块大小和块间重叠率由图像分辨率来确定，根据无人机拍摄图像时的GPS位置对每个分块赋向量初值，由GPS定位计算位移向量作为顶层金字塔的初始值，下一层的金字塔则代入上层金字塔的计算结果；
使用LK反向搜索算法来对每个分块的平移向量进行计算，得到稀疏网格上的光流场；
在稀疏网格上的光流场中使用稠密化算法来计算稠密光流场；
如果当前金字塔非最底层，则把光流计算结果乘以2，并降采样到低层相同分辨率后，再传递给该层金字塔作为初值，并转入金字塔分块流程，否则直接输出结果；
求取每个像素光流矢量的梯度，求全图的梯度均值，并将梯度小于该均值的像素标记为背景区域，其余区域作为前景区域。
进一步的，所述利用语义分割网络模型从导地线巡线图像的前景区域中分割出导地线区域，采用前景区域导地线语义分割算法进行，所述前景区域导地线语义分割算法以YOLACT模型为基线语义分割网络模型，在网络结构上，设计多尺度池化与多级训练的语义分割网络模型，改善全卷积神经网络在获取语义信息的同时消弱类别可区分性特征而导致的分割不完整问题；在输入层，采用较小尺度的输入，对原始图像进行下采样，使导地线图像中的线状目标特征得以保存；在上采样时，采用转置卷积相结合双线性插值的方式，通过转置卷积获得目标属性的稀疏特征图，同时通过双线性插值获得密集特征图，得到更深的语义特征，使得导地线的像素分割结果更精细。
进一步的，所述利用导地线缺陷检测识别网络模型，从导地线区域中再检测出缺陷区域，采用导地线区域缺陷目标检测算法进行，所述导地线区域缺陷目标检测算法选用级联区域卷积神经网络作为基线网络模型，输入层负样本的选取过程中，将负样本约束在导地线区域；特征提取部分，加入空间金字塔池化模块，对高层特征进行多尺度池化以增加导地线轮廓的学习能力，利用底层网络来学习导地线更精细的纹理特征；特征融合部分，加入多尺度特征融合模块，所述多尺度特征融合模块由特征图融合模块与去混叠模块组成，特征图融合模块对网络中不同层的多尺度特征图进行融合，再采用去冗余信息模块对融合后的特征图进行卷积操作；在模型损失函数上，引入聚焦损失函数来进行损失的计算，通过为交叉熵损失函数增加系数来改变其曲线的形状，同时在计算损失函数时，对于样本较多的缺陷加入惩罚项，该惩罚项的值通过交叉验证的方法来进行确定。
进一步的，所述聚焦损失函数计算公式如下：
y取1和-1代表前景和背景，p取值0～1，表示预测为前景的概率。
进一步的，所述地线缺陷检测识别网络模型训练完成后，在导地线区域内进行缺陷的检测时将图像进行分块，分块大小与网络层大小一致，且分块应涵盖所有导地线语义分割结果区域，分块间有5％-15％的重叠区域。
本发明的有益效果在于：
本发明提出一种电力巡线图像导地线缺陷识别方法，相比于当前采用深度学习技术的电力巡线缺陷检测识别方法，本方法利用DIS光流法将无人机采集的前后连续两幅图像的视差划分出前景与背景区域，利用图像语义分割网络模型从前景区域中分割出导地线区域，针对导地线区域训练导地线目标检测识别网络模型，使导地线目标检测识别网络模型专门学习缺陷导地线与正常导地线的区域，滤除复杂背景的影响，实现对细小缺陷区域的检测识别。
附图说明
通过阅读下文优选的具体实施方式中的详细描述，本发明各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。说明书附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图；而且在整个附图中，用相同的附图标记表示相同的部件。
在附图中：
图1为本发明实施例前景区域导地线语义分割过程示意图；
图2为本发明实施例空间金字塔池化模块示意图；
图3为本发明实施例导地线语义分割的结果图；
图4为本发明实施例导地线缺陷的检测识别结果图；
图5为本发明实施例一种基于视差辅助语义分割的多级导地线缺陷识别方法的流程图。
具体实施方式
下面将参照附图1至图5更详细地描述本发明的具体实施例。虽然附图中显示了本发明的具体实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
需要说明的是，在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可以理解，技术人员可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名词的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”或“包括”为一开放式用语，故应解释成“包含但不限定于”。说明书后续描述为实施本发明的较佳实施方式，然所述描述乃以说明书的一般原则为目的，并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。
为便于对本发明实施例的理解，下面将结合附图以具体实施例为例做进一步的解释说明，且各个附图并不构成对本发明实施例的限定。
如图5所示，本发明实施例一种基于视差辅助语义分割的多级导地线缺陷识别方法，包括以下步骤：
1)对电力巡线导地线图像进行像素级标注，构建导地线语义分割数据集；
2)对电力巡线导地线缺陷图像进行矩形框标注，构建导地线缺陷检测数据集；
3)对连续两帧导地线图像求取光流矢量，利用光流矢量判别出图像中距相机较近的前景区域和距相机较远的背景区域；
4)利用导地线语义分割数据集训练语义分割网络模型；
5)利用语义分割网络模型从导地线巡线图像的前景区域中分割出导地线区域，作为导地线缺陷检测模型的输入；
6)利用导地线缺陷检测数据集训练导地线缺陷检测模型；
7)利用导地线缺陷检测模型从导地线区域中检测出缺陷区域。
本发明实施例一种基于视差辅助语义分割的多级导地线缺陷识别方法中，包括稠密逆搜索图像视差区分前背景算法、前景区域导地线语义分割算法和导地线区域缺陷目标检测算法三大模块，下面分别进行说明。
所述稠密逆搜索图像视差区分前背景算法通过对无人机采集的前后连续两幅导地线图像求取光流失量，划分出前景与背景区域。具体包括：
为了实时性和计算速度考虑，对该算法做了优化，保留反向LK(Lukas-Kanade)搜索和稠密化两步骤，相关计算公式为：
其中x表示图像位置中心，It代表参考图像，T代表参考图像中给定的模板补丁，u是我们想要得到的扭曲向量，最小化扭曲向量即最小化模板和查询位置之间的子窗口上的差异的平方和。
具体的算法流程包括：
对导地线图像建立图像高斯金字塔，自上向下计算每一层的光流矢量；
对每层图像金字塔进行分块，分块大小和块间重叠率由图像分辨率来确定，根据无人机拍摄图像时的GPS位置对每个分块赋向量初值，由GPS定位计算位移向量作为顶层金字塔的初始值，下一层的金字塔则代入上层金字塔的计算结果；
使用LK(Lukas-Kanade)反向搜索算法来对每个分块的平移向量进行计算，得到稀疏网格上的光流场；
在稀疏网格上的光流场中使用稠密化算法来计算稠密光流场；
如果当前金字塔非最底层，则把光流计算结果乘以2，并降采样到低层相同分辨率后，再传递给该层金字塔作为初值，并转入金字塔分块流程，否则直接输出结果。
求取每个像素光流矢量的梯度，求全图的梯度均值，并将梯度小于该梯度均值的像素标记为背景区域，其余区域作为前景区域。对于连续拍摄的待检测图像求取前景区域，并选用5*5的矩形形态学结构元素对前景区域进行形态学闭运算，得到导地线待分割区域。
所述前景区域导地线语义分割算法流程如图1所示，以YOLACT模型为基线语义分割网络模型，在网络结构上，设计了多尺度池化与多级训练的语义分割网络模型，改善全卷积神经网络在获取语义信息的同时消弱类别可区分性特征而导致的分割不完整问题；在输入层，采用较小尺度的输入，对原始图像进行下采样，使导地线图像中的线状目标特征得以保存；在上采样时，采用转置卷积相结合双线性插值的方式，通过转置卷积获得目标属性的稀疏特征图，同时通过双线性插值获得密集特征图，得到更深的语义特征，使得导地线的像素分割结果更精细，导地线语义分割结果如图3所示。
所述导地线区域缺陷目标检测算法选用Cascade-RCNN(级联区域卷积神经网络)作为基线网络模型，其特征在于，输入层负样本的选取过程中，将负样本约束在导地线区域，由于原始图像分辨率过大，随机区域选择负样本会导致网络学习难度过大，约束负样本在导地线区域内，检测模型可直接学习有缺陷导地线和无缺陷导地线之间的差异，提升检测的准确率；特征提取部分，加入空间金字塔池化模块如图2所示，对高层特征进行多尺度池化以增加导地线轮廓的学习能力，利用底层网络来学习导地线更精细的纹理特征。特征融合部分，加入多尺度特征融合模块，由特征图融合模块与去混叠模块组成，特征图融合模块对网络中不同层的多尺度特征图进行融合，再采用去冗余信息模块对融合后的特征图进行卷积操作；在模型损失函数上，引入Focal Loss(聚焦损失)函数来进行损失的计算，通过为交叉熵损失函数增加系数来改变其曲线的形状，同时在计算损失函数时，对于样本较多的缺陷加入惩罚项，该惩罚项的值可以通过交叉验证的方法来进行确定，Focal Loss计算公式如下：
y取1和-1代表前景和背景，p取值0～1，表示预测为前景的概率。
导地线缺陷检测模型训练完成后，即可将其用于待检测的导地线缺陷样本图像，在导地线区域内进行缺陷的检测识别，在进行检测时，将图像进行分块，分块大小与网络层大小一致，且分块应涵盖所有导地线语义分割结果区域，分块间有5％-15％的重叠区域。导地线缺陷的检测识别结果如图4所示。
本实施例中训练流程如下：
选用PyTorch开源框架，测试环境为NVIDIA A100 GPU，操作系统为linux，CUDA10.1版本，编译语言为Python3.7。实验采用无人机采集的导地线数据1000张，带缺陷图像500张，并对全部图像进行像素级标注和矩形框标注。按9：1划分训练集和测试集。先利用光流矢量判别图像中的前景区域和背景区域，将前景区域送入语义分割网络模型中训练得到导地线区域图层，将导地线区域图送入目标检测网络进行训练，并使用精确度(precision)和召回率(recall)来衡量检测模型的结果。优化器采用Adam，学习率采用余弦退火的方式，初始学习率为0.0001，采用最后一轮的模型参数作为最终模型。
本发明将导地线语义分割限定在前景区域，降低语义分割的虚警。对于导地线语义分割的结果进行了分块检测处理，一方面避免了图像输入检测网络时下采样淹没了导地线的细节特征，另一方面后续检测也可以采用较小的网络层输入，提升了对于细微缺陷的检测能力。此外，为了迫使后续检测识别网络模型只学习正常导地线与缺陷导地线之前的差别，在后续检测模型的训练阶段，采用了区域约束的方法，负样本不在全图随机选取，而是在分割出的非缺陷导地线区域随机选取，以进一步提高缺陷的识别准确率
尽管以上结合附图对本发明的实施方案进行了描述，但本发明并不局限于上述的具体实施方案和应用领域，上述的具体实施方案仅仅是示意性的、指导性的，而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况下，还可以做出很多种的形式，这些均属于本发明保护之列。
Claims (6)
1.一种基于视差辅助语义分割的多级导地线缺陷识别方法，其特征在于，包括以下步骤：
对电力巡线导地线图像进行像素级标注，构建导地线语义分割数据集；
对电力巡线导地线缺陷图像进行矩形框标注，构建导地线缺陷检测数据集；
对连续两帧导地线图像求取光流矢量，利用光流矢量判别出图像中距相机较近的前景区域和距相机较远的背景区域；
利用导地线语义分割数据集训练语义分割网络模型；
利用语义分割网络模型从导地线巡线图像的前景区域中分割出导地线区域；
利用导地线缺陷检测数据集训练导地线缺陷检测模型；
利用导地线缺陷检测识别网络模型从导地线区域中检测出缺陷区域。
2.根据权利要求1所述的方法，其特征在于，所述对连续两帧导地线图像求取光流矢量，利用光流矢量判别出图像中距相机较近的前景区域和距相机较远的背景区域，采用稠密逆搜索图像视差区分前背景算法进行，所述稠密逆搜索图像视差区分前背景算法的具体步骤包括：
对导地线图像建立图像高斯金字塔，自上向下计算每一层的光流矢量；
对每层图像金字塔进行分块，分块大小和块间重叠率由图像分辨率来确定，根据无人机拍摄图像时的GPS位置对每个分块赋向量初值，由GPS定位计算位移向量作为顶层金字塔的初始值，下一层的金字塔则代入上层金字塔的计算结果；
使用LK反向搜索算法来对每个分块的平移向量进行计算，得到稀疏网格上的光流场；
在稀疏网格上的光流场中使用稠密化算法来计算稠密光流场；
如果当前金字塔非最底层，则把光流计算结果乘以2，并降采样到低层相同分辨率后，再传递给该层金字塔作为初值，并转入金字塔分块流程，否则直接输出结果；
求取每个像素光流矢量的梯度，求全图的梯度均值，并将梯度小于该均值的像素标记为背景区域，其余区域作为前景区域。
3.根据权利要求1所述的方法，其特征在于，所述利用语义分割网络模型从导地线巡线图像的前景区域中分割出导地线区域，采用前景区域导地线语义分割算法进行，所述前景区域导地线语义分割算法以YOLACT模型为基线语义分割网络模型，在网络结构上，设计多尺度池化与多级训练的语义分割网络模型，改善全卷积神经网络在获取语义信息的同时消弱类别可区分性特征而导致的分割不完整问题；在输入层，采用较小尺度的输入，对原始图像进行下采样，使导地线图像中的线状目标特征得以保存；在上采样时，采用转置卷积相结合双线性插值的方式，通过转置卷积获得目标属性的稀疏特征图，同时通过双线性插值获得密集特征图，得到更深的语义特征，使得导地线的像素分割结果更精细。
4.根据权利要求1所述的方法，其特征在于，所述利用导地线缺陷检测识别网络模型，从导地线区域中再检测出缺陷区域，采用导地线区域缺陷目标检测算法进行，所述导地线区域缺陷目标检测算法选用级联区域卷积神经网络作为基线网络模型，输入层负样本的选取过程中，将负样本约束在导地线区域；特征提取部分，加入空间金字塔池化模块，对高层特征进行多尺度池化以增加导地线轮廓的学习能力，利用底层网络来学习导地线更精细的纹理特征；特征融合部分，加入多尺度特征融合模块，所述多尺度特征融合模块由特征图融合模块与去混叠模块组成，特征图融合模块对网络中不同层的多尺度特征图进行融合，再采用去冗余信息模块对融合后的特征图进行卷积操作；在模型损失函数上，引入聚焦损失函数来进行损失的计算，通过为交叉熵损失函数增加系数来改变其曲线的形状，同时在计算损失函数时，对于样本较多的缺陷加入惩罚项，该惩罚项的值通过交叉验证的方法来进行确定。
5.根据权利要求4所述的方法，其特征在于，所述聚焦损失函数计算公式如下：
y取1和-1代表前景和背景，p取值0～1，表示预测为前景的概率。
6.根据权利要求1所述的方法，其特征在于，所述地线缺陷检测识别网络模型训练完成后，在导地线区域内进行缺陷的检测时将图像进行分块，分块大小与网络层大小一致，且分块应涵盖所有导地线语义分割结果区域，分块间有5％-15％的重叠区域。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310202176.4A CN116385364A (zh) | 2023-03-06 | 2023-03-06 | 一种基于视差辅助语义分割的多级导地线缺陷识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310202176.4A CN116385364A (zh) | 2023-03-06 | 2023-03-06 | 一种基于视差辅助语义分割的多级导地线缺陷识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116385364A true CN116385364A (zh) | 2023-07-04 |
Family
ID=86977876
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310202176.4A Pending CN116385364A (zh) | 2023-03-06 | 2023-03-06 | 一种基于视差辅助语义分割的多级导地线缺陷识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116385364A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117474917A (zh) * | 2023-12-27 | 2024-01-30 | 苏州镁伽科技有限公司 | 缺陷检测方法和装置、电子设备以及存储介质 |
-
2023
- 2023-03-06 CN CN202310202176.4A patent/CN116385364A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117474917A (zh) * | 2023-12-27 | 2024-01-30 | 苏州镁伽科技有限公司 | 缺陷检测方法和装置、电子设备以及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110348445B (zh) | 一种融合空洞卷积和边缘信息的实例分割方法 | |
| CN111223088B (zh) | 一种基于深层卷积神经网络的铸件表面缺陷识别方法 | |
| CN110929593B (zh) | 一种基于细节辨别区别的实时显著性行人检测方法 | |
| CN111415329A (zh) | 一种基于深度学习的工件表面缺陷检测方法 | |
| CN108305260B (zh) | 一种图像中角点的检测方法、装置及设备 | |
| CN108109163A (zh) | 一种航拍视频的运动目标检测方法 | |
| CN109146832B (zh) | 一种视频图像的拼接方法、装置、终端设备及存储介质 | |
| CN115272330B (zh) | 基于电池表面图像的缺陷检测方法、系统及相关设备 | |
| CN114742799B (zh) | 基于自监督异构网络的工业场景未知类型缺陷分割方法 | |
| CN112766136A (zh) | 一种基于深度学习的空间车位检测方法 | |
| CN116612106A (zh) | 一种基于yolox算法的光学元件表面缺陷检测方法 | |
| CN116385364A (zh) | 一种基于视差辅助语义分割的多级导地线缺陷识别方法 | |
| CN113673509A (zh) | 一种基于图像文本的仪表检测分类方法 | |
| CN111695373A (zh) | 斑马线的定位方法、系统、介质及设备 | |
| CN115984543A (zh) | 一种基于红外与可见光图像的目标检测算法 | |
| CN111881984A (zh) | 一种基于深度学习的目标检测方法和装置 | |
| CN114550023A (zh) | 一种交通目标静态信息提取装置 | |
| CN114463205A (zh) | 一种基于双分支Unet噪声抑制的车辆目标分割方法 | |
| CN113177956A (zh) | 一种面向无人机遥感影像的语义分割方法 | |
| CN112364687A (zh) | 一种基于改进的Faster R-CNN加油站静电标志识别方法及系统 | |
| CN110889418A (zh) | 一种气体轮廓识别方法 | |
| CN116662930A (zh) | 一种基于地面移动激光雷达的道路标识生成方法和系统 | |
| CN111612803A (zh) | 一种基于图像清晰度的车辆图像语义分割方法 | |
| CN111767919A (zh) | 一种多层双向特征提取与融合的目标检测方法 | |
| CN116363064A (zh) | 融合目标检测模型和图像分割模型的缺陷识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |