CN117036363B - 一种基于多特征融合的遮挡绝缘子检测方法 - Google Patents
一种基于多特征融合的遮挡绝缘子检测方法 Download PDFInfo
- Publication number
- CN117036363B CN117036363B CN202311303346.4A CN202311303346A CN117036363B CN 117036363 B CN117036363 B CN 117036363B CN 202311303346 A CN202311303346 A CN 202311303346A CN 117036363 B CN117036363 B CN 117036363B
- Authority
- CN
- China
- Prior art keywords
- module
- attention
- features
- feature
- insulator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 163
- 239000012212 insulator Substances 0.000 title claims abstract description 150
- 238000001514 detection method Methods 0.000 title claims abstract description 63
- 230000007246 mechanism Effects 0.000 claims abstract description 78
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims abstract description 4
- 238000000605 extraction Methods 0.000 claims description 75
- 238000011176 pooling Methods 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 27
- 238000012216 screening Methods 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 8
- 229910000831 Steel Inorganic materials 0.000 claims description 7
- 239000010959 steel Substances 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 4
- 230000007547 defect Effects 0.000 abstract description 16
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 10
- SPJOZZSIXXJYBT-UHFFFAOYSA-N Fenson Chemical compound C1=CC(Cl)=CC=C1OS(=O)(=O)C1=CC=CC=C1 SPJOZZSIXXJYBT-UHFFFAOYSA-N 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 102100022430 Melanocyte protein PMEL Human genes 0.000 description 1
- 108091058557 SILV Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像处理技术领域，公开了一种基于多特征融合的遮挡绝缘子检测方法，包括获取遮挡绝缘子图像；构建基于改进特征融合算法和注意力机制的YOLOX检测模型；利用获取的遮挡绝缘子图像对构建的基于改进特征融合算法和注意力机制的YOLOX检测模型进行训练；利用训练后的基于改进特征融合算法和注意力机制的YOLOX检测模型对待检测绝缘子图像进行检测。本发明通过构建基于改进特征融合算法和注意力机制的YOLOX检测模型实现对遮挡绝缘子的有效检测，提高了对缺陷绝缘子图像的检测精度和检测效率。
Description
技术领域
本发明图像处理技术领域，涉及绝缘子检测技术，具体涉及一种基于多特征融合的遮挡绝缘子检测方法。
背景技术
绝缘子是电力线路中重要且广泛应用的器件。由于长期暴露在室外条件下，绝缘子很容易受到恶劣天气和机械载荷的损坏，因此有必要对其进行检测。目前，在中国的大部分地区，电力线检查仍是人工进行的，这既危险又低效。为了解决这个问题，无人机正被用作比人工检查更安全、更有效的替代品。在无人机检测绝缘子的过程中，定位绝缘子是缺陷检测的前提。然而，在复杂的传输线环境中，部分绝缘子由于尺寸小，高宽比极大，存在遮挡，导致难以准确定位。
随着深度学习的发展，无人机与机器视觉相结合的传输线检测方案具有实现实时、准确检测的潜力。因此，越来越多的研究人员利用深度学习进行绝缘子故障诊断。
对于绝缘子检测，现有的方法有：通过端到端的方法来快速定位绝缘子；采用级联网络的方法，分别进行绝缘子的定位和检测。虽然这些方法在绝缘子缺陷检测方面取得了一定的效果，但涉及到有遮挡绝缘子检测的研究很少，对于小目标和模糊目标的检测和定位始终存在挑战。在现有的研究中，无遮挡的绝缘子是主要的检测对象，然而在实际的传输线无人机拍摄过程中，在背景中存在许多被遮挡的绝缘子。这些目标泄漏率高、精度低、数量大。而针对有遮挡物体的检测，部分研究人员展开了相应的研究，这些遮挡检测方法为复杂环境中的传输线检测提供了参考。
而对电枢图像直接采用上述分类方法效果差。复杂环境下的特征提取能力和遮挡绝缘子检测结果欠佳；并且现有方法对特征提取不足且特征融合具有冗余性。
发明内容
针对现有技术中的上述不足，本发明提供了一种基于多特征融合的遮挡绝缘子检测方法，可以高效准确地完成对绝缘子图像的缺陷识别，且在精度、查全率和准确率上较其他方法有了较大提升。
为了达到上述发明目的，本发明采用的技术方案为：
一种基于多特征融合的遮挡绝缘子检测方法，包括以下步骤：
获取遮挡绝缘子图像；
构建基于改进特征融合算法和注意力机制的YOLOX检测模型；所述基于改进特征融合算法和注意力机制的YOLOX检测模型具体包括：基于幻影卷积的主干特征提取网络，基于改进特征融合算法和注意力机制的颈部网络，以及预测网络；所述预测网络采用自适应锚框粗提取方法选择绝缘子预测框的中心点，具体包括：
根据输入的遮挡绝缘子图像计算绝缘子的长宽比；
判定绝缘子的长宽比满足设定阈值范围；
若是，则在遮挡绝缘子的中心点设置一个设定边长的正方形，并选择所有中心点落在该正方形中的锚定帧；
否则根据绝缘子的长宽比计算粗筛区域参数，在遮挡绝缘子的中心点根据粗筛区域参数设置一个粗筛区域，并选择所有中心点落在该粗筛区域中的锚定帧；
利用获取的遮挡绝缘子图像对构建的基于改进特征融合算法和注意力机制的YOLOX检测模型进行训练；
利用训练后的基于改进特征融合算法和注意力机制的YOLOX检测模型对待检测绝缘子图像进行检测。
可选地，所述基于幻影卷积的主干特征提取网络具体包括：
Focus模块、第一特征提取层、第二特征提取层、第三特征提取层、第四特征提取层和第五特征提取层；
所述第五特征提取层包括依次连接的CBS卷积模块、基于幻影卷积的SPP模块和CSP模块。
可选地，所述基于幻影卷积的SPP模块具体包括：
第一幻影卷积层、第二幻影卷积层、第三幻影卷积层、第一最大池化层、第二最大池化层、第三最大池化层、第四幻影卷积层、第五幻影卷积层、第六幻影卷积层和第七幻影卷积层；
所述第一幻影卷积层、第二幻影卷积层和第三幻影卷积层依次连接，用于对输入特征进行特征提取，并将提取的卷积特征输出至第一最大池化层；
所述第一最大池化层、第二最大池化层、第三最大池化层依次连接，用于对提取的卷积特征进行最大池化操作，并将第一最大池化层、第二最大池化层、第三最大池化层输出的池化特征与输入的卷积特征进行拼接，并将拼接特征输出至第四幻影卷积层；
所述第四幻影卷积层、第五幻影卷积层、第六幻影卷积层依次连接，用于对输入的拼接特征经过第四幻影卷积层和第五幻影卷积层进行特征提取后，将提取的卷积特征与输入特征经过第七幻影卷积层提取的卷积特征进行拼接，最后将拼接特征经过第六幻影卷积层进行特征提取，得到最终的输出特征。
可选地，所述第一幻影卷积层、第二幻影卷积层、第三幻影卷积层、第四幻影卷积层、第五幻影卷积层、第六幻影卷积层和第七幻影卷积层均采用相同结构，具体包括：
依次连接的幻影卷积层、批归一化层和激活层。
可选地，所述基于改进特征融合算法和注意力机制的颈部网络具体包括：
第一基于注意力机制的CBS模块、第一上采样模块、第一注意力特征融合模块、第一CSP模块、第二基于注意力机制的CBS模块、第二上采样模块、第二注意力特征融合模块、第二CSP模块、第三基于注意力机制的CBS模块、第三注意力特征融合模块、第三CSP模块、第四基于注意力机制的CBS模块、第四注意力特征融合模块、第四CSP模块、第五基于注意力机制的CBS模块、第五注意力特征融合模块、第五CSP模块；
所述第一基于注意力机制的CBS模块对第五特征提取层的输出特征进行注意力特征增强，再将增强的注意力特征经过第一上采样模块进行上采样操作后输出至第一注意力特征融合模块；
所述第一注意力特征融合模块将第四特征提取层的输出特征和第一上采样模块的输出特征进行特征融合，并将融合特征输出至第一CSP模块；
所述第一CSP模块对第一注意力特征融合模块输出的融合特征进行特征增强，再将增强的特征经过第二基于注意力机制的CBS模块进行注意力特征增强，再将增强的注意力特征经过第二上采样模块进行上采样操作后输出至第二注意力特征融合模块；
所述第二注意力特征融合模块将第三特征提取层的输出特征和第二上采样模块的输出特征进行特征融合，并将融合特征输出至第二CSP模块；
所述第二CSP模块对第二注意力特征融合模块输出的融合特征进行特征增强，再将增强的特征输出至第三注意力特征融合模块；
所述第三基于注意力机制的CBS模块对第二特征提取层的输出特征进行注意力特征增强，再将增强的注意力特征输出至第三注意力特征融合模块；
所述第三注意力特征融合模块将第三特征提取层的输出特征、第二CSP模块输出的增强特征以及第三基于注意力机制的CBS模块输出的增强注意力特征进行特征融合，并将融合特征输出至第三CSP模块；
所述第三CSP模块对第三注意力特征融合模块输出的融合特征进行特征增强，并将增强的特征作为第一特征图分别输出至第四基于注意力机制的CBS模块和预测网络；
所述第四基于注意力机制的CBS模块对第三CSP模块输出的增强特征进行注意力特征增强，再将增强的注意力特征输出至第四注意力特征融合模块；
所述第四注意力特征融合模块将第四特征提取层的输出特征、第二基于注意力机制的CBS模块输出的增强注意力特征以及第四基于注意力机制的CBS模块输出的增强注意力特征进行特征融合，并将融合特征输出至第四CSP模块；
所述第四CSP模块对第四注意力特征融合模块输出的融合特征进行特征增强，并将增强的特征作为第二特征图分别输出至第五基于注意力机制的CBS模块和预测网络；
所述第五基于注意力机制的CBS模块对第四CSP模块输出的增强特征进行注意力特征增强，再将增强的注意力特征输出至第五注意力特征融合模块；
所述第五注意力特征融合模块将第五特征提取层的输出特征、第一基于注意力机制的CBS模块输出的增强注意力特征以及第五基于注意力机制的CBS模块输出的增强注意力特征进行特征融合，并将融合特征输出至第五CSP模块；
所述第五CSP模块对第五注意力特征融合模块输出的融合特征进行特征增强，并将增强的特征作为第三特征图输出至预测网络。
可选地，所述第一基于注意力机制的CBS模块、第二基于注意力机制的CBS模块、第三基于注意力机制的CBS模块、第四基于注意力机制的CBS模块和第五基于注意力机制的CBS模块均采用相同结构，具体包括：
依次连接的卷积层、金字塔分割注意力层、批归一化层和激活层。
可选地，预测网络使用的粗筛区域参数的计算方法为：
；
；
；
其中，E min表示锚框最短边，E max表示锚框最长边，d表示正方形锚框的边长，a表示中间变量，abs表示取绝对值函数，R表示绝缘子的长宽比。
可选地，所述获取遮挡绝缘子图像还包括对获取的遮挡绝缘子图像进行数据增强处理，具体包括：
根据绝缘子的标签信息从获取的遮挡绝缘子图像中裁剪出每个绝缘子图像；
设置四种模拟遮挡操作；所述模拟遮挡操作包括调整裁剪后的塔钢构件的尺寸，并将其随机覆盖在绝缘子图像上；将裁剪后的塔钢构件的尺寸调整为与绝缘子相同的尺寸，并进行图像加权融合；使用随机擦除来随机生成噪声映射；使用切口在绝缘子图像上随机生成具有所有0个像素的区域；
对每个绝缘子图像随机选择一种模拟遮挡操作进行增强处理；
根据绝缘子的标签信息将增强处理后的绝缘子图像粘贴回遮挡绝缘子图像的原始位置。
本发明具有以下有益效果：
本发明通过构建基于改进特征融合算法和注意力机制的YOLOX检测模型实现对遮挡绝缘子的有效检测，提高了对缺陷绝缘子图像的检测精度和检测效率。
附图说明
图1为本发明中基于多特征融合的遮挡绝缘子检测方法的流程示意图；
图2为本发明中对遮挡绝缘子图像进行数据增强的示意图；
图3为本发明中基于改进特征融合算法和注意力机制的YOLOX检测模型的结构示意图；
图4为本发明中基于幻影卷积的SPP模块的结构示意图；
图5为本发明中注意力特征融合模块的结构示意图；
图6为本发明中多尺度通道注意力模块的结构示意图；
图7为本发明中金字塔分割注意力层的结构示意图；
图8为本发明中颈部网络的融合结构示意图；
图9为本发明中自适应锚框粗提取方法示意图；图中，A1、A2分别表示绝缘子，B1、B2分别表示目标框，C1、C2分别表示预测帧的中心点。
实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，本发明实施例提供了一种基于多特征融合的遮挡绝缘子检测方法，包括以下步骤S1至S4：
S1、获取遮挡绝缘子图像。
在本发明的一个可选实施例中，本实施例获取的遮挡绝缘子图像由电网检查员手动操作无人机拍摄传输线获得。该遮挡绝缘子图像数据集包含1076张图像，分辨率为5472×3648。其中有3863个绝缘子；处于前景的绝缘子有1883个，处于背景中的绝缘子是1980个。在背景绝缘子中，模糊绝缘子的数量为1806个。
和前景绝缘子相比，处于背景中的绝缘子被严重遮挡，同时只占有很小的像素；因此本实施例提出一种数据增强方法用以模拟被遮挡的绝缘子，具体包括：
根据绝缘子的标签信息从获取的遮挡绝缘子图像中裁剪出每个绝缘子图像；
设置四种模拟遮挡操作；所述模拟遮挡操作包括：
（1）调整裁剪后的塔钢构件的尺寸，并将其随机覆盖在绝缘子图像上；
（2）将裁剪后的塔钢构件的尺寸调整为与绝缘子相同的尺寸，并进行图像加权融合；
（3）使用随机擦除来随机生成噪声映射；
（4）使用切口在绝缘子图像上随机生成具有所有0个像素的区域；
对每个绝缘子图像随机选择一种模拟遮挡操作进行增强处理；
根据绝缘子的标签信息将增强处理后的绝缘子图像粘贴回遮挡绝缘子图像的原始位置。
本实施例在选择模拟遮挡操作时四种模拟遮挡操作被选择的概率都是相同的。由于操作（1）、（3）、（4）可能会掩盖绝缘子缺陷，因此会对缺陷的注释信息和被遮挡区域生成的坐标进行评估。如果缺陷被完全覆盖，则需要删除缺陷的标签。图2显示了增强后的图像。经过数据增强后，遮挡绝缘子图像数据集由1937张绝缘子图像组成。每张图片包含1到10个绝缘子，包括1到3个缺陷。
S2、构建基于改进特征融合算法和注意力机制的YOLOX检测模型。
在本发明的一个可选实施例中，本实施例以YOLOX网络作为基准网络，构建基于改进特征融合算法和注意力机制的YOLOX检测模型，以提高有遮挡绝缘子的检测精度和召回率。
如图3所示，本实施例构建的基于改进特征融合算法和注意力机制的YOLOX检测模型具体包括：
基于幻影卷积的主干特征提取网络，基于改进特征融合算法和注意力机制的颈部网络，以及预测网络。
本实施例构建的基于幻影卷积的主干特征提取网络具体包括：
Focus模块、第一特征提取层、第二特征提取层、第三特征提取层、第四特征提取层和第五特征提取层。
所述第一特征提取层、第二特征提取层、第三特征提取层和第四特征提取层为常规CBS卷积模块，包括依次连接的卷积层、BN层和SILU激活函数。
所述第五特征提取层包括依次连接的CBS卷积模块、基于幻影卷积的SPP模块和CSP模块。
具体而言，被遮挡的绝缘子信息有限，其缺陷在图像中只占很小部分。因此，有必要从骨干网中提取重要的信息。
在原始的YOLOX网络中，使用了SPP模块，它将三个最大池化层和原始输入层进行信道拼接。通过在不同尺度的特征图上池化提取特征，提高了算法的鲁棒性和准确性。SPPCSPC是在YOLOv7中使用的SPP结构。它的池化方法类似于SPP，使用并行方法并添加卷积层来增加特征提取。性能优于SPP，但它的参数和计算工作量增加。
SPPFCSPC的提取能力和快速计算能力非常高。与SPP模块相比，SPPFCSPC具有更复杂的网络结构和更多的参数。然而，一个更轻的网络将更容易在无人机上实现。因此本实施例针对YOLOX网络的主干网络中的SPP模块进行改进，构建了一种新的基于幻影卷积的SPP模块（G-SPP），以增加少量参数为代价，提高了特征提取能力。
如图4所示，本实施例构建的基于幻影卷积的SPP模块具体包括：
第一幻影卷积层、第二幻影卷积层、第三幻影卷积层、第一最大池化层、第二最大池化层、第三最大池化层、第四幻影卷积层、第五幻影卷积层、第六幻影卷积层和第七幻影卷积层；
所述第一幻影卷积层、第二幻影卷积层和第三幻影卷积层依次连接，用于对输入特征进行特征提取，并将提取的卷积特征输出至第一最大池化层；
所述第一最大池化层、第二最大池化层、第三最大池化层依次连接，用于对提取的卷积特征进行最大池化操作，并将第一最大池化层、第二最大池化层、第三最大池化层输出的池化特征与输入的卷积特征进行拼接，并将拼接特征输出至第四幻影卷积层；
所述第四幻影卷积层、第五幻影卷积层、第六幻影卷积层依次连接，用于对输入的拼接特征经过第四幻影卷积层和第五幻影卷积层进行特征提取后，将提取的卷积特征与输入特征经过第七幻影卷积层提取的卷积特征进行拼接，最后将拼接特征经过第六幻影卷积层进行特征提取，得到最终的输出特征。
本实施例中第一幻影卷积层、第二幻影卷积层、第三幻影卷积层、第四幻影卷积层、第五幻影卷积层、第六幻影卷积层和第七幻影卷积层均采用相同结构，具体包括：依次连接的幻影卷积层（Ghost卷积）、批归一化层（BN）和激活层（SILU）。
本实施例构建的基于幻影卷积的SPP模块结合了Ghost卷积和SPPFCSPC的优点。基于幻影卷积的SPP模块对参数进行了控制，保证了特征提取能力。基于幻影卷积的SPP模块首先通过了三个基本卷积模块进行特征提取；然后，它进入池化模块，分为两个分支；上分支与三个最大池化层串联连接，卷积核大小为5；每一层的输出作为后续层的输入；原始数据被保留在较低的分支中，而四层特征被连接起来，以继续基本的卷积操作；基本的卷积模块由Ghost卷积模块、BN处理和SILU组成。本实施例采用Ghost卷积技术增强了主干特征提取网络的特征提取能力，同时保持了参数的小幅增加；在最后一个特征提取层用G-SPP代替SPP，以提高模型的特征提取能力。
本实施例构建的基于改进特征融合算法和注意力机制的颈部网络具体包括：
第一基于注意力机制的CBS模块、第一上采样模块、第一注意力特征融合模块、第一CSP模块、第二基于注意力机制的CBS模块、第二上采样模块、第二注意力特征融合模块、第二CSP模块、第三基于注意力机制的CBS模块、第三注意力特征融合模块、第三CSP模块、第四基于注意力机制的CBS模块、第四注意力特征融合模块、第四CSP模块、第五基于注意力机制的CBS模块、第五注意力特征融合模块、第五CSP模块；
所述第一基于注意力机制的CBS模块对第五特征提取层的输出特征进行注意力特征增强，再将增强的注意力特征经过第一上采样模块进行上采样操作后输出至第一注意力特征融合模块；
所述第一注意力特征融合模块将第四特征提取层的输出特征和第一上采样模块的输出特征进行特征融合，并将融合特征输出至第一CSP模块；
所述第一CSP模块对第一注意力特征融合模块输出的融合特征进行特征增强，再将增强的特征经过第二基于注意力机制的CBS模块进行注意力特征增强，再将增强的注意力特征经过第二上采样模块进行上采样操作后输出至第二注意力特征融合模块；
所述第二注意力特征融合模块将第三特征提取层的输出特征和第二上采样模块的输出特征进行特征融合，并将融合特征输出至第二CSP模块；
所述第二CSP模块对第二注意力特征融合模块输出的融合特征进行特征增强，再将增强的特征输出至第三注意力特征融合模块；
所述第三基于注意力机制的CBS模块对第二特征提取层的输出特征进行注意力特征增强，再将增强的注意力特征输出至第三注意力特征融合模块；
所述第三注意力特征融合模块将第三特征提取层的输出特征、第二CSP模块输出的增强特征以及第三基于注意力机制的CBS模块输出的增强注意力特征进行特征融合，并将融合特征输出至第三CSP模块；
所述第三CSP模块对第三注意力特征融合模块输出的融合特征进行特征增强，并将增强的特征作为第一特征图分别输出至第四基于注意力机制的CBS模块和预测网络；
所述第四基于注意力机制的CBS模块对第三CSP模块输出的增强特征进行注意力特征增强，再将增强的注意力特征输出至第四注意力特征融合模块；
所述第四注意力特征融合模块将第四特征提取层的输出特征、第二基于注意力机制的CBS模块输出的增强注意力特征以及第四基于注意力机制的CBS模块输出的增强注意力特征进行特征融合，并将融合特征输出至第四CSP模块；
所述第四CSP模块对第四注意力特征融合模块输出的融合特征进行特征增强，并将增强的特征作为第二特征图分别输出至第五基于注意力机制的CBS模块和预测网络；
所述第五基于注意力机制的CBS模块对第四CSP模块输出的增强特征进行注意力特征增强，再将增强的注意力特征输出至第五注意力特征融合模块；
所述第五注意力特征融合模块将第五特征提取层的输出特征、第一基于注意力机制的CBS模块输出的增强注意力特征以及第五基于注意力机制的CBS模块输出的增强注意力特征进行特征融合，并将融合特征输出至第五CSP模块；
所述第五CSP模块对第五注意力特征融合模块输出的融合特征进行特征增强，并将增强的特征作为第三特征图输出至预测网络。
具体而言，由于本实施例涉及的传输线路检测环境复杂，干扰较高，目标较小。因此，为了获得有效的结果，需要融合更多的特征。
YOLOX的颈部部分是PANet，它由FPN和PAN组成。FPN使用了自上而下的功能融合，PAN添加了一个自下而上的融合层，特征层通过通道连接进行连接。但结构简单的PANet无法完成复杂环境中的检测。
由于多层特征的融合是通过一个简单的线性操作来实现的，因此网络对每层的特征信息给予同样的关注。这很容易导致网络冗余，防止网络关注重要信息。
为了解决不同尺度特征融合中的注意问题，本实施例采用注意力特征融合模块（AFF）确定不同特征层的权重。注意力特征融合模块的核心是多尺度通道注意力模块（MS-CAM）。注意力特征融合模块的结构如图5所示，多尺度通道注意力模块的结构如图6所示。
多尺度通道注意力模块使用全局平均池来提取全局特征，并使用点向卷积来保持轻量。经过两个分支计算后，将直接添加权重。然后进行s型运算，并将其结果乘以原始特征图，以获得全局和局部关注。
注意力特征融合模块进行不同尺度的特征融合，给定X和Y两个特征图。首先进行初始特征融合，然后参数通过多尺度通道注意力模块。多尺度通道注意力的s型激活函数将输出值调整到0到1之间，其中具有较小感受野的特征层乘以输出值。较大的感受野乘以1减去输出值，然后注意力特征融合模块计算以下计算：
其中，M为多尺度通道注意力模块的输出特征，且为加法运算。、/>是乘法运算。
为了解决特征提取不足和特征融合冗余性的问题，本实施例提出了AFF-BiFPN颈部特征融合方法，AFF-BiFPN向注意模块添加了底层的卷积，此操作增强了模型保存目标信息的能力。BiFPN增加了绝缘子和缺陷的原始信息，AFF防止BiFPN冗余。
由于无人机拍摄角度的变化和复杂的背景，出现了大量的绝缘子，且位置变化显著，许多缺陷和被遮挡的绝缘子占据的像素比较小。原来的20*20、40*40和80*80的特征图不能准确地定位被遮挡的绝缘子和背景中的缺陷。为了更好地提取绝缘子的特征和缺陷，本实施例增加了颈部网络的CBS卷积模块和PSA注意力机制。
本实施例中第一基于注意力机制的CBS模块、第二基于注意力机制的CBS模块、第三基于注意力机制的CBS模块、第四基于注意力机制的CBS模块和第五基于注意力机制的CBS模块均采用相同结构-CPBS模块，具体包括：依次连接的卷积层、金字塔分割注意力层（PSA）、批归一化层（BN）和激活层（SILU）。
第一CSP模块、第二CSP模块、第三CSP模块、第四CSP模块、第五CSP模块均采用相同结构，具体包括五个CPBS模块和卷积层，输入特征分别输入一个CPBS模块和卷积层，从CPBS模块输出的特征分别经三个CPBS模块进行特征增强，输出结果与卷积层输出结果拼接后再经一个CPBS模块输出。
在传输线检查图像中，背景绝缘子和缺陷只占整体图像的一小部分。随着网络的深入，可用的特征信息受到严重限制，可能导致非本地化泄漏和错误检测，因此提出了一种保留更详细特征的注意力机制。常用的注意力机制SE只考虑了通道注意力，而忽略了空间注意力。CBAM虽然引入了空间注意和通道注意，但其缺点是无法捕捉到不同尺度的空间信息，阻碍了特征空间的丰富。空间注意力只考虑局部区域的信息，不能建立长期的依赖关系。金字塔分割注意力层（PSA）考虑了从上述两点出发的通道和全局空间信息。输入张量从通道中被分为S组。每一组用不同的卷积进行卷积，获得感受野，提取不同尺度的信息。然后，SE模块提取每一组的加权通道值。最后，用Softmax对S组的加权值进行归一化处理。PSA结构图如图7所示。嵌入式CBS构成了CPBS基卷积模块。
本实施例采用了BiFPN的思想，在骨干网络和输出网络之间添加了特征融合。颈部网络使用AFF模块替换触点，以提高特征提取能力，同时确保轻量级。降采样P2，与P3和Neck3融合得到P3out。降采样P3out，与Neck4和P4融合得到P4out。降采样P4out，与Neck5和P5融合得到P5out。在P2中补充了详细信息。在P3、P4、P5层上的特征跳转被连接到输出端，这补充了由于卷积和融合而丢失的初始信息。CPBS基卷积模块提高了特征提取能力，AFF确保了不同的特征层在融合时专注于重要的特征。颈部网络的融合结构如图8所示。
由于本实施例涉及的绝缘子是细长的物体。在基于锚点的网络中，经常使用聚类方法来调整锚点框架。而在无锚定网络中，正样本的选择有一个特定的区域。在该区域提取的正样本的质量影响了准确性和召回率。YOLOX是一个无锚框的检测器。为了正确选择绝缘子预测框的中心点，提高绝缘子检测能力，提出了一种自适应锚框粗提取（ACE）方法。
本实施例在预测网络采用自适应锚框粗提取方法选择绝缘子预测框的中心点，具体包括：
根据输入的遮挡绝缘子图像计算绝缘子的长宽比；
判定绝缘子的长宽比满足设定阈值范围；
若是，则在遮挡绝缘子（对于前面给出的遮挡绝缘子图像数据集，即真实标签）的中心点设置一个设定边长的正方形，并选择所有中心点落在该正方形中的锚定帧；
否则根据绝缘子的长宽比计算粗筛区域参数，并在遮挡绝缘子的中心点根据粗筛区域参数设置一个粗筛区域，并选择所有中心点落在该粗筛区域中的锚定帧。
其中粗筛区域参数的计算方法为：
；
；
；
其中，E min表示锚框最短边，E max表示锚框最长边，d表示正方形锚框的边长，a表示中间变量，abs表示取绝对值函数，R表示绝缘子的长宽比。
具体而言，本实施例在选择正样本锚定帧时，需要进行初步筛选，然后基于SimOTA进行细化。初步筛选的规则是在真实标签的中心点设置一个边长为d=5的正方形，并选择所有中心点落在5×5的正方形中的锚定帧。然而，大多数绝缘子的宽长比在4：1或以上。这种情况在背景绝缘子中尤其明显。在具有细长特性的绝缘子中，根据一个正方形选择目标锚定帧，可以在较短的侧方向上提取远离中心点比的锚定帧。相比之下，一些锚定帧在较长的侧方向上接近中心点比，无法提取，影响了绝缘子的检测精度。因此，该方法根据绝缘子长径比调整粗筛框的形状，以提供高质量的正样品。
首先，根据该绝缘子的真实情况，计算长宽比R，判断R的范围。如果0.25<R<4，则绝缘子不是细长物体，中心点为5×5尺寸的矩形盒仍用于目标。如果R≥4或R≤0.25，则计算粗筛区域参数。使用ln函数的目的是使ln函数具有在极端高宽比（如1：10）下越来越平坦的特征，导致粗筛区域太细。
图9显示了自适应锚框粗提取方法在预测帧选择中的有效性。图9中，A1、A2分别表示绝缘子，B1、B2分别表示通过传统方法和本发明方法确定的目标框，C1、C2表示落入目标框中的预测帧中心点。在这个具有细长特性的绝缘子中（长宽比为7.4），原始的5×5区域可能会错过预测帧的中心点。使用真实标签的高宽比调整目标帧，抑制短侧与中心偏差较大的点，并在长侧方向增加预测帧。
S3、利用获取的遮挡绝缘子图像对构建的基于改进特征融合算法和注意力机制的YOLOX检测模型进行训练。
S4、利用训练后的基于改进特征融合算法和注意力机制的YOLOX检测模型对待检测绝缘子图像进行检测。
本实施例通过验证数据集对本发明提出的基于多特征融合的遮挡绝缘子检测方法进行模拟验证，表1给出了本发明与现有方法的检测性能对比。
表1 不同方法对遮挡绝缘子的检测性能对比
由表1可以看出，本发明相较于现有方法，对绝缘子的检测更准确，在精度、查全率和平均精度等方面均优于其他现行方法，同时该方法对被遮挡的绝缘子有着良好的检测效果，使得检测召回率有了较大的提高，减少了绝缘子的漏检次数。虽然YOLOv3绝缘子精确率较高，这是由于该模型所检测到的绝缘子本来就少，这从其召回率较低可以看出。而本发明提供的遮挡绝缘子检测方法是在保证较高召回率的情况下，仍能具有很高的绝缘子精确率。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。
Claims (5)
1.一种基于多特征融合的遮挡绝缘子检测方法，其特征在于，包括以下步骤：
获取遮挡绝缘子图像；
构建基于改进特征融合算法和注意力机制的YOLOX检测模型；所述基于改进特征融合算法和注意力机制的YOLOX检测模型具体包括：基于幻影卷积的主干特征提取网络，基于改进特征融合算法和注意力机制的颈部网络，以及预测网络；所述基于幻影卷积的主干特征提取网络具体包括：Focus模块、第一特征提取层、第二特征提取层、第三特征提取层、第四特征提取层和第五特征提取层；所述第五特征提取层包括依次连接的CBS卷积模块、基于幻影卷积的SPP模块和CSP模块；所述基于幻影卷积的SPP模块具体包括：第一幻影卷积层、第二幻影卷积层、第三幻影卷积层、第一最大池化层、第二最大池化层、第三最大池化层、第四幻影卷积层、第五幻影卷积层、第六幻影卷积层和第七幻影卷积层；所述第一幻影卷积层、第二幻影卷积层和第三幻影卷积层依次连接，用于对输入特征进行特征提取，并将提取的卷积特征输出至第一最大池化层；所述第一最大池化层、第二最大池化层、第三最大池化层依次连接，用于对提取的卷积特征进行最大池化操作，并将第一最大池化层、第二最大池化层、第三最大池化层输出的池化特征与输入的卷积特征进行拼接，并将拼接特征输出至第四幻影卷积层；所述第四幻影卷积层、第五幻影卷积层、第六幻影卷积层依次连接，用于对输入的拼接特征经过第四幻影卷积层和第五幻影卷积层进行特征提取后，将提取的卷积特征与输入特征经过第七幻影卷积层提取的卷积特征进行拼接，最后将拼接特征经过第六幻影卷积层进行特征提取，得到最终的输出特征；所述第一幻影卷积层、第二幻影卷积层、第三幻影卷积层、第四幻影卷积层、第五幻影卷积层、第六幻影卷积层和第七幻影卷积层均采用相同结构，具体包括：依次连接的幻影卷积层、批归一化层和激活层；所述预测网络采用自适应锚框粗提取方法选择绝缘子预测框的中心点，具体包括：根据输入的遮挡绝缘子图像计算绝缘子的长宽比；判定绝缘子的长宽比满足设定阈值范围；若是，则在遮挡绝缘子的中心点设置一个设定边长的正方形，并选择所有中心点落在该正方形中的锚定帧；否则根据绝缘子的长宽比计算粗筛区域参数，在遮挡绝缘子的中心点根据粗筛区域参数设置一个粗筛区域，并选择所有中心点落在该粗筛区域中的锚定帧；
利用获取的遮挡绝缘子图像对构建的基于改进特征融合算法和注意力机制的YOLOX检测模型进行训练；
利用训练后的基于改进特征融合算法和注意力机制的YOLOX检测模型对待检测绝缘子图像进行检测。
2.根据权利要求1所述的基于多特征融合的遮挡绝缘子检测方法，其特征在于，所述基于改进特征融合算法和注意力机制的颈部网络具体包括：
第一基于注意力机制的CBS模块、第一上采样模块、第一注意力特征融合模块、第一CSP模块、第二基于注意力机制的CBS模块、第二上采样模块、第二注意力特征融合模块、第二CSP模块、第三基于注意力机制的CBS模块、第三注意力特征融合模块、第三CSP模块、第四基于注意力机制的CBS模块、第四注意力特征融合模块、第四CSP模块、第五基于注意力机制的CBS模块、第五注意力特征融合模块、第五CSP模块；
所述第一基于注意力机制的CBS模块对第五特征提取层的输出特征进行注意力特征增强，再将增强的注意力特征经过第一上采样模块进行上采样操作后输出至第一注意力特征融合模块；
所述第一注意力特征融合模块将第四特征提取层的输出特征和第一上采样模块的输出特征进行特征融合，并将融合特征输出至第一CSP模块；
所述第一CSP模块对第一注意力特征融合模块输出的融合特征进行特征增强，再将增强的特征经过第二基于注意力机制的CBS模块进行注意力特征增强，再将增强的注意力特征经过第二上采样模块进行上采样操作后输出至第二注意力特征融合模块；
所述第二注意力特征融合模块将第三特征提取层的输出特征和第二上采样模块的输出特征进行特征融合，并将融合特征输出至第二CSP模块；
所述第二CSP模块对第二注意力特征融合模块输出的融合特征进行特征增强，再将增强的特征输出至第三注意力特征融合模块；
所述第三基于注意力机制的CBS模块对第二特征提取层的输出特征进行注意力特征增强，再将增强的注意力特征输出至第三注意力特征融合模块；
所述第三注意力特征融合模块将第三特征提取层的输出特征、第二CSP模块输出的增强特征以及第三基于注意力机制的CBS模块输出的增强注意力特征进行特征融合，并将融合特征输出至第三CSP模块；
所述第三CSP模块对第三注意力特征融合模块输出的融合特征进行特征增强，并将增强的特征作为第一特征图分别输出至第四基于注意力机制的CBS模块和预测网络；
所述第四基于注意力机制的CBS模块对第三CSP模块输出的增强特征进行注意力特征增强，再将增强的注意力特征输出至第四注意力特征融合模块；
所述第四注意力特征融合模块将第四特征提取层的输出特征、第二基于注意力机制的CBS模块输出的增强注意力特征以及第四基于注意力机制的CBS模块输出的增强注意力特征进行特征融合，并将融合特征输出至第四CSP模块；
所述第四CSP模块对第四注意力特征融合模块输出的融合特征进行特征增强，并将增强的特征作为第二特征图分别输出至第五基于注意力机制的CBS模块和预测网络；
所述第五基于注意力机制的CBS模块对第四CSP模块输出的增强特征进行注意力特征增强，再将增强的注意力特征输出至第五注意力特征融合模块；
所述第五注意力特征融合模块将第五特征提取层的输出特征、第一基于注意力机制的CBS模块输出的增强注意力特征以及第五基于注意力机制的CBS模块输出的增强注意力特征进行特征融合，并将融合特征输出至第五CSP模块；
所述第五CSP模块对第五注意力特征融合模块输出的融合特征进行特征增强，并将增强的特征作为第三特征图输出至预测网络。
3.根据权利要求2所述的基于多特征融合的遮挡绝缘子检测方法，其特征在于，所述第一基于注意力机制的CBS模块、第二基于注意力机制的CBS模块、第三基于注意力机制的CBS模块、第四基于注意力机制的CBS模块和第五基于注意力机制的CBS模块均采用相同结构，具体包括：
依次连接的卷积层、金字塔分割注意力层、批归一化层和激活层。
4.根据权利要求1所述的基于多特征融合的遮挡绝缘子检测方法，其特征在于，所述粗筛区域参数的计算方法为：
；
；
；
其中，E min表示锚框最短边，E max表示锚框最长边，d表示正方形锚框的边长，a表示中间变量，abs表示取绝对值函数，R表示绝缘子的长宽比。
5.根据权利要求1所述的基于多特征融合的遮挡绝缘子检测方法，其特征在于，所述获取遮挡绝缘子图像还包括对获取的遮挡绝缘子图像进行数据增强处理，具体包括：
根据绝缘子的标签信息从获取的遮挡绝缘子图像中裁剪出每个绝缘子图像；
设置四种模拟遮挡操作；所述模拟遮挡操作包括调整裁剪后的塔钢构件的尺寸，并将其随机覆盖在绝缘子图像上；将裁剪后的塔钢构件的尺寸调整为与绝缘子相同的尺寸，并进行图像加权融合；使用随机擦除来随机生成噪声映射；使用切口在绝缘子图像上随机生成具有所有0个像素的区域；
对每个绝缘子图像随机选择一种模拟遮挡操作进行增强处理；
根据绝缘子的标签信息将增强处理后的绝缘子图像粘贴回遮挡绝缘子图像的原始位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311303346.4A CN117036363B (zh) | 2023-10-10 | 2023-10-10 | 一种基于多特征融合的遮挡绝缘子检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311303346.4A CN117036363B (zh) | 2023-10-10 | 2023-10-10 | 一种基于多特征融合的遮挡绝缘子检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117036363A CN117036363A (zh) | 2023-11-10 |
| CN117036363B true CN117036363B (zh) | 2024-01-30 |
Family
ID=88624911
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311303346.4A Active CN117036363B (zh) | 2023-10-10 | 2023-10-10 | 一种基于多特征融合的遮挡绝缘子检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117036363B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114022432A (zh) * | 2021-10-28 | 2022-02-08 | 湖北工业大学 | 基于改进的yolov5的绝缘子缺陷检测方法 |
| CN114565900A (zh) * | 2022-01-18 | 2022-05-31 | 广州软件应用技术研究院 | 基于改进YOLOv5和双目立体视觉的目标检测方法 |
| CN115063648A (zh) * | 2022-05-30 | 2022-09-16 | 沈阳化工大学 | 一种绝缘子缺陷检测模型构建方法及系统 |
| CN115171183A (zh) * | 2022-06-22 | 2022-10-11 | 江苏科技大学 | 一种基于改进yolov5的口罩人脸检测方法 |
| CN115205274A (zh) * | 2022-07-26 | 2022-10-18 | 西南石油大学 | 一种基于轻量化级联网络的布匹瑕疵检测方法 |
| CN115240012A (zh) * | 2022-08-19 | 2022-10-25 | 国网四川省电力公司电力科学研究院 | 基于改进YOLOv5的输电线路鸟类检测方法及系统 |
| CN115690542A (zh) * | 2022-11-03 | 2023-02-03 | 国网甘肃省电力公司 | 一种基于改进yolov5的航拍绝缘子定向识别方法 |
| CN116030341A (zh) * | 2022-12-06 | 2023-04-28 | 浙江科技学院 | 基于深度学习的植物叶片病害检测方法、计算机设备和存储介质 |
| CN116363629A (zh) * | 2023-03-31 | 2023-06-30 | 哈尔滨理工大学 | 一种基于改进YOLOv5的交通标志检测方法 |
| CN116385911A (zh) * | 2023-04-11 | 2023-07-04 | 沈阳建筑大学 | 一种用于无人机巡检绝缘子的轻量型目标检测方法 |
| WO2023138300A1 (zh) * | 2022-01-20 | 2023-07-27 | 城云科技（中国）有限公司 | 目标检测方法及应用其的移动目标跟踪方法 |
| CN116503318A (zh) * | 2023-02-15 | 2023-07-28 | 陕西科技大学 | 一种融合CAT-BiFPN与注意力机制的航拍绝缘子多缺陷检测方法、系统及设备 |
| CN116523875A (zh) * | 2023-05-04 | 2023-08-01 | 合肥工业大学 | 基于FPGA预处理与改进YOLOv5的绝缘子缺陷检测方法 |
| WO2023151237A1 (zh) * | 2022-02-11 | 2023-08-17 | 深圳须弥云图空间科技有限公司 | 人脸位姿估计方法、装置、电子设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210073692A1 (en) * | 2016-06-12 | 2021-03-11 | Green Grid Inc. | Method and system for utility infrastructure condition monitoring, detection and response |
| CN113792876B (zh) * | 2021-09-16 | 2023-08-29 | 北京百度网讯科技有限公司 | 骨干网络的生成方法、装置、设备以及存储介质 |
-
2023
- 2023-10-10 CN CN202311303346.4A patent/CN117036363B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114022432A (zh) * | 2021-10-28 | 2022-02-08 | 湖北工业大学 | 基于改进的yolov5的绝缘子缺陷检测方法 |
| CN114565900A (zh) * | 2022-01-18 | 2022-05-31 | 广州软件应用技术研究院 | 基于改进YOLOv5和双目立体视觉的目标检测方法 |
| WO2023138300A1 (zh) * | 2022-01-20 | 2023-07-27 | 城云科技（中国）有限公司 | 目标检测方法及应用其的移动目标跟踪方法 |
| WO2023151237A1 (zh) * | 2022-02-11 | 2023-08-17 | 深圳须弥云图空间科技有限公司 | 人脸位姿估计方法、装置、电子设备及存储介质 |
| CN115063648A (zh) * | 2022-05-30 | 2022-09-16 | 沈阳化工大学 | 一种绝缘子缺陷检测模型构建方法及系统 |
| CN115171183A (zh) * | 2022-06-22 | 2022-10-11 | 江苏科技大学 | 一种基于改进yolov5的口罩人脸检测方法 |
| CN115205274A (zh) * | 2022-07-26 | 2022-10-18 | 西南石油大学 | 一种基于轻量化级联网络的布匹瑕疵检测方法 |
| CN115240012A (zh) * | 2022-08-19 | 2022-10-25 | 国网四川省电力公司电力科学研究院 | 基于改进YOLOv5的输电线路鸟类检测方法及系统 |
| CN115690542A (zh) * | 2022-11-03 | 2023-02-03 | 国网甘肃省电力公司 | 一种基于改进yolov5的航拍绝缘子定向识别方法 |
| CN116030341A (zh) * | 2022-12-06 | 2023-04-28 | 浙江科技学院 | 基于深度学习的植物叶片病害检测方法、计算机设备和存储介质 |
| CN116503318A (zh) * | 2023-02-15 | 2023-07-28 | 陕西科技大学 | 一种融合CAT-BiFPN与注意力机制的航拍绝缘子多缺陷检测方法、系统及设备 |
| CN116363629A (zh) * | 2023-03-31 | 2023-06-30 | 哈尔滨理工大学 | 一种基于改进YOLOv5的交通标志检测方法 |
| CN116385911A (zh) * | 2023-04-11 | 2023-07-04 | 沈阳建筑大学 | 一种用于无人机巡检绝缘子的轻量型目标检测方法 |
| CN116523875A (zh) * | 2023-05-04 | 2023-08-01 | 合肥工业大学 | 基于FPGA预处理与改进YOLOv5的绝缘子缺陷检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| Ghost-YOLOX: A Lightweight and Efficient Implementation of Object Detection Model;Chun-Zhi Wang 等;《2022 26th International Conference on Pattern Recognition (ICPR)》;第4552-4558页 * |
| 基于改进YOLOX-s的车辆检测方法研究;张稀柳 等;《系统仿真学报》;第1-10页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117036363A (zh) | 2023-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109934200B (zh) | 一种基于改进M-Net的RGB彩色遥感图像云检测方法及系统 | |
| CN111126359B (zh) | 基于自编码器与yolo算法的高清图像小目标检测方法 | |
| CN112183788A (zh) | 一种域自适应设备运检系统和方法 | |
| CN111914924B (zh) | 一种快速舰船目标检测方法、存储介质及计算设备 | |
| CN111079739B (zh) | 一种多尺度注意力特征检测方法 | |
| CN113569667B (zh) | 基于轻量级神经网络模型的内河船舶目标识别方法及系统 | |
| CN111222396A (zh) | 一种全天候多光谱行人检测方法 | |
| CN112686274B (zh) | 目标对象的检测方法及设备 | |
| CN110490155B (zh) | 一种禁飞空域无人机检测方法 | |
| CN115035295B (zh) | 一种基于共享卷积核和边界损失函数的遥感图像语义分割方法 | |
| CN112734739B (zh) | 一种基于注意力机制与ResNet融合的建筑裂缝可视化识别方法 | |
| CN110310305B (zh) | 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置 | |
| CN113052834A (zh) | 一种基于卷积神经网络多尺度特征的管道缺陷检测方法 | |
| CN115239710A (zh) | 基于注意力反馈和双空间金字塔的绝缘子缺陷检测方法 | |
| Li et al. | Gated auxiliary edge detection task for road extraction with weight-balanced loss | |
| CN115147745A (zh) | 一种基于城市无人机图像的小目标检测方法 | |
| CN111553337A (zh) | 一种基于改进锚框的高光谱多目标检测方法 | |
| CN114359286A (zh) | 一种基于人工智能的绝缘子缺陷识别方法、设备及介质 | |
| CN116895030A (zh) | 基于目标检测算法和注意力机制的绝缘子检测方法 | |
| CN113033371A (zh) | 基于csp模型的多级特征融合行人检测方法 | |
| CN112101113A (zh) | 一种轻量化的无人机图像小目标检测方法 | |
| CN117036363B (zh) | 一种基于多特征融合的遮挡绝缘子检测方法 | |
| CN116363064A (zh) | 融合目标检测模型和图像分割模型的缺陷识别方法及装置 | |
| CN116168240A (zh) | 基于注意力增强的任意方向密集舰船目标检测方法 | |
| CN113269171B (zh) | 车道线检测方法、电子设备及车辆 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |