CN117409083B - 一种基于红外图像和改进yolov5的电缆终端识别方法及装置 - Google Patents
一种基于红外图像和改进yolov5的电缆终端识别方法及装置 Download PDFInfo
- Publication number
- CN117409083B CN117409083B CN202311716134.9A CN202311716134A CN117409083B CN 117409083 B CN117409083 B CN 117409083B CN 202311716134 A CN202311716134 A CN 202311716134A CN 117409083 B CN117409083 B CN 117409083B
- Authority
- CN
- China
- Prior art keywords
- image
- infrared
- cable terminal
- representing
- formula
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000012360 testing method Methods 0.000 claims abstract description 21
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 15
- 238000012795 verification Methods 0.000 claims abstract description 12
- 238000004140 cleaning Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000002708 enhancing effect Effects 0.000 claims abstract description 5
- 230000007613 environmental effect Effects 0.000 claims abstract description 5
- 238000002372 labelling Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 15
- 230000001186 cumulative effect Effects 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 10
- 230000007246 mechanism Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000000926 separation method Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 3
- 238000013461 design Methods 0.000 claims description 3
- 239000002245 particle Substances 0.000 claims description 3
- 150000003839 salts Chemical class 0.000 claims description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 2
- 238000005520 cutting process Methods 0.000 claims description 2
- 238000007499 fusion processing Methods 0.000 claims description 2
- 230000006872 improvement Effects 0.000 claims description 2
- 238000010200 validation analysis Methods 0.000 claims description 2
- 238000009825 accumulation Methods 0.000 claims 1
- 238000005286 illumination Methods 0.000 abstract description 3
- 230000015654 memory Effects 0.000 description 19
- 238000003860 storage Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于红外图像和改进YOLOV5的电缆终端识别方法及装置，其包括采集包含电缆终端和环境特征的红外图像数据，并对采集到的红外图像数据进行清洗，生成初始数据集；对获取到的数据集进行预处理、标注和数据增强，建立样本数据集，并将样本数据集划分成训练集、验证集与测试集；以YOLOV5为基本框架构建红外目标识别算法模型，并使用样本数据集的训练集和验证集对该模型进行训练与优化，以及使用测试集进行测试模型指标，获取最优目标识别模型；采用最优目标识别模型对拍摄到的包含电缆终端的红外图像进行识别，获得电缆终端的位置。应用本发明能够避免光照条件的限制和拍摄环境的影响，利用红外图像实现电缆终端的高精度识别。
Description
技术领域
本发明涉及目标识别技术领域，尤其是涵盖计算机视觉、图像处理、深度学习等领域，其具体涉及一种基于红外图像和改进YOLOV5的电缆终端识别方法和装置。
背景技术
电缆作为连接变电站和电网的关键桥梁，也是输电线路的主要部件。现有高压输电中，常使用铁塔、钢管杆将电缆架设在高空中，到达电能传输目的地后，需要将高空中的电缆引下来，而电缆终端常被用来将电缆引下来。电缆终端、避雷器、绝缘子、互感器等一般安装在变电站、地坪、平台、杆塔等的上面。为保证输电线路的可靠性和安全性，需要对电缆终端、避雷器等进行实时监测，目前基于视觉的监测越来越普遍，但可见光视觉会受光照条件的限制，无法保证夜间的实时监测。
红外图像不受光照条件的限制，可以保证夜间的实时监测。目前基于红外图像的目标识别主要还是采用传统的图像处理技术，由于红外图像的对比度低、信噪比低、视觉效果模糊、灰度分布与目标反射特征无线性关系等特性，识别精准度低。近年来，深度学习及其在各领域的成功应用为红外图像的目标识别提供了新的机遇。因此，市面上缺乏一种通过结合红外图像和改进YOLOV5算法来提高电缆终端识别精准度的技术方案。
发明内容
为了现有技术中识别精准度低的问题，本发明的目的在于提供一种基于红外图像和改进YOLOV5的电缆终端识别方法及装置，该方法可以结合红外图像和改进YOLOV5算法，提高基于红外图像的电缆终端识别精准度。
本发明通过以下技术方案来实现上述目的：
一种基于红外图像和改进YOLOV5的电缆终端识别方法，该方法包括以下步骤：
采集包含电缆终端和环境特征的红外图像数据，并对采集到的红外图像数据进行清洗，生成初始数据集；
对获取到的红外图像的初始数据集进行预处理、标注和数据增强，建立样本数据集，并将样本数据集划分成训练集、验证集与测试集；
以YOLOV5为基本框架构建红外目标识别算法模型，并使用样本数据集的训练集和验证集对所述红外目标识别算法模型进行训练与优化，以及使用测试集进行测试模型指标，获取最优目标识别模型；
采用所述最优目标识别模型对拍摄到的包含电缆终端的红外图像进行识别，获得电缆终端的位置。
根据本发明提供的一种基于红外图像和改进YOLOV5的电缆终端识别方法，在采集红外图像数据时，通过电缆终端识别装置中的红外摄像机对各种场景下的电缆终端进行多方式拍摄；其中，所述场景包括场内和场外；所述拍摄方式包括近距离拍摄、远距离拍摄和多角度拍摄；
对采集到的包含电缆终端的红外图像进行清洗，以剔除模糊的、低质量的图像。
根据本发明提供的一种基于红外图像和改进YOLOV5的电缆终端识别方法，在进行图像预处理时，对获取的红外图像进行灰度化处理与图像增强处理；
其中，采用组合方法对图像进行增强：
首先，采用自适应中值滤波方法对原始图像进行滤波，去除粒子噪声和椒盐噪声；
然后，利用滤波后的直方图进行平台直方图均衡化，并进行伽玛变换，提高图像的整体对比度，同时，对滤波后的图像进行拉普拉斯锐化，增强图像的边缘信息；
最后，对伽玛变换后的图像与锐化后的图像进行加权组合。
根据本发明提供的一种基于红外图像和改进YOLOV5的电缆终端识别方法，在进行图像标注时，使用rolabelimg标注工具对图像中的电缆终端进行旋转目标框标注，并对标注后的图像进行数据增强，建立样本数据集；
在进行数据增强时，使用角度旋转、对比度变化、镜像翻转、裁剪的方式处理图像数据；
将建立好的样本数据集按照8:1:1的比例划分成训练集、验证集与测试集。
根据本发明提供的一种基于红外图像和改进YOLOV5的电缆终端识别方法，在进行平台直方图均衡化时，根据公式（1）按平均法计算平台阈值T：
（1）
其中，为原始图像，/>和/>为图像的宽和高；
判断原始直方图中灰度级值与阈值T的关系：若原始直方图中某灰度级值大于阈值T，则将该灰度级值设为T；若该灰度级值小于T，则该值保持不变，表示为公式（2）：
（2）
其中，为图像灰度值，/>，/>为平台直方图，/>为原始直方图；
对平台直方图进行计算，得到累积函数，表示为公式（3）：
（3）
利用累积函数重新分配图像的灰度级，得到均衡图像，表示为公式（4）：
（4）
对平台直方图均衡化后的图像进行伽玛变换，得到输出图像，表示为公式（5）：
（5）
其中，C和γ为正的设计参数，x表示输入图像灰度值，表示输出图像灰度值。
根据本发明提供的一种基于红外图像和改进YOLOV5的电缆终端识别方法，对自适应中值滤波后的图像进行拉普拉斯锐化处理，得到输出图像y 2；
将得到的图像按公式（6）进行加权，得到增强后的图像/>：
（6）
其中，为权值系数，取值在[0,1]。
根据本发明提供的一种基于红外图像和改进YOLOV5的电缆终端识别方法，在构建红外目标识别算法模型时，具体包括：
对YOLOV5目标识别网络进行改进，包括：在主干网络设置有S-Ghost模块取代前两个通用卷积层；在颈部网络的起始位置设置有带注意力机制的RSK模块；构建包含置信度损失、分类损失和定位损失的损失函数；
用样本数据集的训练集和验证集对改进YOLOV5网络进行训练与优化；
用测试集测试模型指标，获取最优目标识别模型。
根据本发明提供的一种基于红外图像和改进YOLOV5的电缆终端识别方法，在主干网络上通过S-Ghost模块进行特征提取，表示为公式（7）：
（7）
其中，O表示步长为1的S-Ghost模块输出；表示输入；DWConv3×3，sj表示卷积核为3×3，步长为j的深度可分离卷积；Ghost表示GhostConv；Concat表示通道数量的连接；Shuffle表示通道Shuffle操作。
根据本发明提供的一种基于红外图像和改进YOLOV5的电缆终端识别方法，所述带注意力机制的 RSK模块包括：分离模块、注意力模块、选择与融合模块，其中，分离模块将输入分为两个分支，分离过程如公式（8）所示：
（8）
其中，和/>分别表示分支1和分支2输出的特征；/>表示输入特征；/>和分别表示卷积核为3×3和5×5的/>；
注意力模块对两个分支进行Add操作，生成包含不同感受野信息的特征向量，具体过程表示为公式（9）：
（9）
其中，表示/>操作；S表示/>和/>进行/>操作后输出的特征；/>表示注意力部分输出的特征向量；/>表示全局平均池化；/>表示全局最大池化；/>表示全连接层；
选择与融合模块用于自适应地选择不同的信息空间尺度，将输出与输入/>进行融合，得到RSK模块的输出/>；
一种基于红外图像和改进YOLOV5的电缆终端识别装置，包括：
电源模块，用于为电缆终端识别装置提供供电电源；
数据获取模块，用于从所述电缆终端识别装置中获取红外图像数据；
目标识别模块，用于将所述电缆终端识别装置获取的红外图像输入到训练好的目标识别模型中，得到所述红外图像的电缆终端识别结果；
通讯模块，用于所述电缆终端识别装置与外界进行信号、图像传输。
由此可见，相对于现有技术，本发明基于红外图像和改进YOLOV5 算法对包含电缆终端的红外图像进行识别，通过在主干网络设计S-Ghost模块、在颈部网络设计带注意力机制的RSK模块及F-IOU位置损失函数，使得该算法能够在复杂背景下较为准确地识别出电缆终端的位置，大大降低了红外图像识别的错误概率，使实时效果更加清晰，具有网络参数大大减少，计算速度快，在执行卷积操作时能够更加关注图像中的目标信息的优点。
另外，本发明还设置有一个电缆终端识别装置，能够实时监测电缆终端位置，并捕捉周围环境的变化，为电缆终端的维护和管理提供了有益的工具。
本发明还提供一种电子设备，包括：
存储器，存储有计算机可执行指令；
处理器，配置为运行所述计算机可执行指令，
其中，所述计算机可执行指令被所述处理器运行时实现上述任意一种的基于红外图像和改进YOLOV5的电缆终端识别方法的步骤。
本发明还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现上述任意一种的基于红外图像和改进YOLOV5的电缆终端识别方法的步骤。
由此可见，本发明还提供了一种基于红外图像和改进YOLOV5的电缆终端识别方法的电子设备以及存储介质，其包括：一个或多个存储器，一个或多个处理器。存储器用于存储程序代码和程序运行过程中产生的中间数据、模型输出结果的储存和模型及模型参数的储存；处理器用于代码运行所占用的处理器资源和训练模型时占用的多个处理器资源。
下面结合附图和具体实施方式对本发明作进一步详细说明。
附图说明
图1是本发明一种基于红外图像和改进YOLOV5的电缆终端识别方法实施例的流程图。
图2是本发明一种基于红外图像和改进YOLOV5的电缆终端识别方法实施例的流程原理图。
图3是本发明一种基于红外图像和改进YOLOV5的电缆终端识别方法实施例的图像增强流程示意图。
图4是本发明一种基于红外图像和改进YOLOV5的电缆终端识别方法实施例中关于包含电缆终端的红外图像的示意图。
图5是本发明一种基于红外图像和改进YOLOV5的电缆终端识别方法实施例中关于红外图像预处理后的图像示意图。
图6是本发明一种基于红外图像和改进YOLOV5的电缆终端识别方法实施例中关于红外图像的标注示意图。
图7是本发明一种基于红外图像和改进YOLOV5的电缆终端识别方法实施例中关于电缆终端红外图像的识别结果示意图。
图8是本发明一种基于红外图像和改进YOLOV5的电缆终端识别方法实施例中关于S-Ghost模块的结构示意图。
图9是本发明一种基于红外图像和改进YOLOV5的电缆终端识别方法实施例中关于RSK模块的结构示意图。
图10是本发明一种基于红外图像和改进YOLOV5的电缆终端识别方法实施例中关于电缆终端识别装置的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
参见图1至图10，本发明提供一种基于红外图像和改进YOLOV5的电缆终端识别方法，如图1和图2所示，该方法包括以下步骤：
步骤S1，采集包含电缆终端和环境特征的红外图像数据，并对采集到的红外图像数据进行清洗，生成初始数据集；其中，步骤S1中利用电缆终端识别装置中的红外摄像机采集包含电缆终端和环境特征的红外图像数据。
步骤S2，对获取到的红外图像的初始数据集进行预处理、标注和数据增强，建立样本数据集，并将样本数据集划分成训练集、验证集与测试集；
步骤S3，考虑采集的红外图像特点，以YOLOV5为基本框架构建红外目标识别算法模型，并使用样本数据集的训练集和验证集对所述红外目标识别算法模型进行训练与优化，以及使用测试集进行测试模型指标，获取最优目标识别模型；
步骤S4，采用所述最优目标识别模型对拍摄到的包含电缆终端的红外图像进行识别，获得电缆终端的位置。
在本实施例中，在上述步骤S1中，具体包括以下步骤：
步骤S11，在采集红外图像数据时，首先通过电缆终端识别装置中的红外摄像机对各种场景下的电缆终端进行多方式拍摄；其中，所述场景包括场内（变电站）和场外（室外地桩、平台和杆塔上等）；所述拍摄方式包括近距离拍摄、远距离拍摄和多角度拍摄。
步骤S12，对采集到的包含电缆终端的红外图像进行清洗，以剔除模糊的、低质量的图像。其中，所述模糊的、低质量的图像主要包括以下情况：红外图像中肉眼无法分辨电缆终端的；红外图像中电缆终端大部分面积被遮挡，轮廓无法清晰辨认的；红外图像中无电缆终端的。可见，通过剔除这些模糊的、低质量的图像，可以提高数据集的质量。
在本实施例中，在进行图像预处理时，步骤S2包括：
步骤S21，对初始数据集中的红外图像进行灰度化处理与图像增强处理；具体地，首先对红外图像进行灰度化处理。然后用组合方法对图像进行图像增强，增强电缆终端的边缘和纹理特征，降低干扰。
在本实施例中，如图3所示，步骤S21所述图像增强包括：
首先，采用自适应中值滤波方法对原始图像进行滤波，去除粒子噪声和椒盐噪声；
然后，利用滤波后的直方图进行平台直方图均衡化，并进行伽玛变换，提高图像的整体对比度，同时，对滤波后的图像进行拉普拉斯锐化，增强图像的边缘信息；
最后，对伽玛变换后的图像与锐化后的图像进行加权组合。
在上述步骤S2中，考虑到电缆终端在图像中的角度和方向变化，在进行图像标注时，执行步骤S22，使用rolabelimg标注工具对图像中的电缆终端进行旋转目标框标注，并对标注后的图像进行数据增强，建立样本数据集；在进行数据增强时，使用角度旋转、对比度变化、镜像翻转、裁剪的方式处理图像数据。
步骤S23，将建立好的样本数据集按照8:1:1的比例划分成训练集、验证集与测试集。
在本实施例中，在进行图像增强时，具体包括以下步骤：
步骤S211，对原始图像进行自适应中值滤波
步骤S212，根据公式（1）按平均法计算平台阈值T：
（1）
其中，为原始图像，/>和/>为图像的宽和高；
步骤S213，判断原始直方图中灰度级值与阈值T的关系：若原始直方图中某灰度级值大于阈值T，则将该灰度级值设为T；若该灰度级值小于T，则该值保持不变，表示为公式（2）：
（2）
其中，为图像灰度值，/>，/>为平台直方图，/>为原始直方图；
步骤S214，对平台直方图进行计算，得到累积函数，表示为公式（3）：
（3）
步骤S215，利用累积函数重新分配图像的灰度级，得到均衡图像，表示为公式（4）：
（4）
步骤S216，对平台直方图均衡化后的图像进行伽玛变换，得到输出图像，表示为公式（5）：
（5）
其中，C和γ为正的设计参数，x表示输入图像灰度值，表示输出图像灰度值。
步骤S217，对自适应中值滤波后的图像进行拉普拉斯锐化处理，得到输出图像y 2。
步骤S218，将得到的图像按公式（6）进行加权，得到增强后的图像/>：
（6）
其中，为权值系数，取值在[0,1]。
在本实施例中，在构建红外目标识别算法模型时，步骤S3具体包括：
步骤S31，对YOLOV5目标识别网络进行改进，包括：在主干网络设置有S-Ghost模块取代前两个通用卷积层，S-Ghost通过引入更高级别的卷积结构，可以改进主干网络的特征提取能力，从而提高目标识别网络的准确性和效率；在颈部网络的起始位置设置有带注意力机制的RSK模块，该模块能够使网络动态地关注输入图像中的不同区域，并根据目标识别的需要调整关注的程度；构建包含置信度损失、分类损失和定位损失的损失函数。
步骤S32，用样本数据集的训练集和验证集对改进YOLOV5网络进行训练与优化；
步骤S33，用测试集测试模型指标，获取最优目标识别模型。
在本实施例中，所述步骤S31具体包括以下步骤：
步骤S311，在主干网络中设计S-Ghost模块取代前两个通用卷积层，S-Ghost模块的特征提取过程表示为公式（7）：
（7）
其中，O表示步长为1的S-Ghost模块输出；表示输入；DWConv3×3，sj表示卷积核为3×3，步长为j的深度可分离卷积；Ghost表示GhostConv；Concat表示通道数量的连接；Shuffle表示通道Shuffle操作。
在本实施例中，如图5和6所示，S-Ghost模块，首先将输入通道分为两组，一组经过Ghostconv操作，另一组经过GhostConv、DWConv、GhostConv操作，以降低参数数量和计算复杂度，其中DWConv模块的卷积核大小为3×3。然后，通过通道拼接操作合并这两组的结果。之后，通过Channel Shuffle 操作重新排列通道，以增加特征多样性。最后生成用于后续目标识别任务的特征图。
如图8所示，图8是本实施例中关于S-Ghost模块的结构示意图，在图8中，IN为输入，数字1为第一路输入，数字2为第二路输入，OUT为输出。
如图9所示，图9是本实施例中关于RSK模块的结构示意图，在图9中，IN为输入，HxWxC指特征图的尺寸大小，其中H是特征图的高度，W是宽度，C是通道数，1x1xC指1x1xC的向量，其中1x1是卷积大小，C是通道数，OUT为输出。
步骤S312、在颈部网络的起始位置上设计带注意力机制的 RSK模块。如图9所示，该 RSK模块包括：分离模块、注意力模块、选择与融合模块，其中，分离模块将输入分为两个分支，分离过程如公式（8）所示：
（8）
其中，和/>分别表示分支1和分支2输出的特征；/>表示输入特征；/>和分别表示卷积核为3×3和5×5的/>；在这一部分，RSK 模块会将输入特征图分成多个区域或分块，每个分块代表特征图的一个子区域。这种分离有助于将注意力集中在不同区域，以处理不同区域的特征。
注意力模块对两个分支进行Add操作，生成包含不同感受野信息的特征向量，具体过程表示为公式（9）：
（9）
其中，表示/>操作；S表示/>和/>进行/>操作后输出的特征；/>表示注意力部分输出的特征向量；/>表示全局平均池化；/>表示全局最大池化；/>表示全连接层；注意力部分允许网络动态地分配注意力权重给不同区域，通过学习注意力权重，网络可以决定哪些分块或区域在当前任务中更重要，从而提高对特定区域的关注度。
选择与融合模块用于自适应地选择不同的信息空间尺度，将输出与输入/>进行融合，得到RSK模块的输出/>。
具体的，选择与融合过程包括：
分别两次对特征使用softmax函数得到特征向量/>和/>，如公式（10）：
（10）
其中，表示将特征向量/>变回c个维度后/>的第c行；/>表示/>的第c个元素；/>和/>同理；/>；/>。
将特征和/>与特征向量/>和/>相乘，再相加，得到输出/>，如公式（11）：
（11）
其中，。
将输出与输入/>进行融合，得到RSK模块的输出/>，如公式（12）：
（12）
在上述步骤S313中，置信度损失和分类损失采用二元交叉熵进行计算，定位损失采用F-CIOU，如公式（13）：
（13）
其中，分别为预测框和目标框；/>表示预测框和目标框的中心点；/>表示预测中心点与目标边界框之间的欧氏距离；/>为覆盖两个框的最小框的对角线长度；为目标框的宽度和高度；/>为预测框的宽度和高度。。这样可以保留CIOU损失的优势，同时F-CIOU损失还达到以下效果：
相对于/>和/>的梯度计算为公式（14）：
（14）
从上式可知，和/>这两个变量在任何情况下都可以同时缩放，与实际回归过程一致。
构造的不仅反映了长宽比的差异，而且反映了/>与/>或/>与/>之间的真实关系，解决了预测框的宽和高满足/>时,/>失效的问题。
使用表达式，它的值落在区间(0,1]内，在这个区间内/>值的变化大，使定位损失对长和宽的差异更敏感。
综上可得，本实施例基于红外图像和改进YOLOV5 算法对包含电缆终端的红外图像进行识别，通过在主干网络设计S-Ghost模块、在颈部网络设计带注意力机制的RSK模块及F-IOU位置损失函数，使得该算法能够在复杂背景下较为准确地识别出电缆终端的位置，大大降低了红外图像识别的错误概率，使实时效果更加清晰，具有网络参数大大减少，计算速度快，在执行卷积操作时能够更加关注图像中的目标信息的优点。
本实施例提供了一种基于红外图像和改进YOLOV5的电缆终端识别装置，其结构框图如图10所示，包括：
电源模块（M1），用于为电缆终端识别装置提供供电电源；
数据获取模块（M2），用于从所述电缆终端识别装置中获取红外图像数据；
目标识别模块（M3），用于将所述电缆终端识别装置获取的红外图像输入到训练好的目标识别模型中，得到所述红外图像的电缆终端识别结果；
通讯模块（M4），用于所述电缆终端识别装置与外界进行信号、图像传输。
因此，本实施例设置有一个电缆终端识别装置，能够实时监测电缆终端位置，并捕捉周围环境的变化，为电缆终端的维护和管理提供了有益的工具。
在一个实施例中，提供了一种电子设备，该电子设备可以是服务器。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的数据库用于存储数据。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于红外图像和改进YOLOV5的电缆终端识别方法。
本领域技术人员可以理解，本实施例示出的电子设备结构，仅仅是与本申请方案相关的部分结构，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比本实施例中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
由此可见，本实施例还提供了一种基于红外图像和改进YOLOV5的电缆终端识别方法的电子设备以及存储介质，其包括：一个或多个存储器，一个或多个处理器。存储器用于存储程序代码和程序运行过程中产生的中间数据、模型输出结果的储存和模型及模型参数的储存；处理器用于代码运行所占用的处理器资源和训练模型时占用的多个处理器资源。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
上述实施方式仅为本发明的优选实施方式，不能以此来限定本发明保护的范围，本领域的技术人员在本发明的基础上所做的任何非实质性的变化及替换均属于本发明所要求保护的范围。
Claims (5)
1.一种基于红外图像和改进YOLOV5的电缆终端识别方法，其特征在于，该方法包括以下步骤：
采集包含电缆终端和环境特征的红外图像数据，并对采集到的红外图像数据进行清洗，生成初始数据集；
对获取到的红外图像的初始数据集进行预处理、标注和数据增强，建立样本数据集，并将样本数据集划分成训练集、验证集与测试集；具体的，在进行图像预处理时，对获取的红外图像进行灰度化处理与图像增强处理；其中，采用组合方法对图像进行增强：首先，采用自适应中值滤波方法对原始图像进行滤波，去除粒子噪声和椒盐噪声；然后，利用滤波后的直方图进行平台直方图均衡化，并进行伽玛变换，提高图像的整体对比度，同时，对滤波后的图像进行拉普拉斯锐化，增强图像的边缘信息；最后，对伽玛变换后的图像与锐化后的图像进行加权组合；
以YOLOV5为基本框架构建红外目标识别算法模型，并使用样本数据集的训练集和验证集对所述红外目标识别算法模型进行训练与优化，以及使用测试集进行测试模型指标，获取最优目标识别模型；
采用所述最优目标识别模型对拍摄到的包含电缆终端的红外图像进行识别，获得电缆终端的位置；
其中，在进行平台直方图均衡化时，根据公式（1）按平均法计算平台阈值T：
（1）
其中，为原始图像，/>和/>为图像的宽和高；
判断原始直方图中灰度级值与阈值T的关系：若原始直方图中某灰度级值大于阈值T，则将该灰度级值设为T；若该灰度级值小于T，则该值保持不变，表示为公式（2）：
（2）
其中，为图像灰度值，/>，/>为平台直方图，/>为原始直方图；
对平台直方图进行计算，得到累积函数，表示为公式（3）：
（3）
其中，为图像灰度值，/>是累积函数在灰度值k处的值，表示灰度值小于等于i的像素在整个图像中的累积百分比，/>表示图像中灰度级别为 i 的平台直方图；
利用累积函数重新分配图像的灰度级，得到均衡图像，表示为公式（4）：
（4）
其中，表示经过平台直方图均衡化处理后，原始图像中的灰度级别k被映射到的新的灰度级别，/>是累积函数在图像灰度值为255处的值，表示灰度值小于等于255的像素在整个图像中的累积百分比；
对平台直方图均衡化后的图像进行伽玛变换，得到输出图像，表示为公式（5）：
（5）
其中，c和γ为正的设计参数，x表示输入图像灰度值，表示输出图像灰度值；
对自适应中值滤波后的图像进行拉普拉斯锐化处理，得到输出图像y 2；
将得到的图像按公式（6）进行加权，得到增强后的图像/>：
（6）
其中，为权值系数，取值在[0,1]；
在构建红外目标识别算法模型时，具体包括：
对YOLOV5目标识别网络进行改进，包括：在主干网络上通过S-Ghost模块进行特征提取，表示为公式（7）：
（7）
其中，O表示步长为1的S-Ghost模块输出；表示输入；DWConv3×3，s2表示卷积核为3×3，步长为2的深度可分离卷积；Ghost表示GhostConv；Concat表示通道数量的连接；Shuffle表示通道Shuffle操作；在颈部网络的起始位置设置有带注意力机制的RSK模块；构建包含置信度损失、分类损失和定位损失的损失函数；
用样本数据集的训练集和验证集对改进YOLOV5网络进行训练与优化；
用测试集测试模型指标，获取最优目标识别模型。
2.根据权利要求1所述的方法，其特征在于：
在采集红外图像数据时，通过电缆终端识别装置中的红外摄像机对各种场景下的电缆终端进行多方式拍摄；其中，所述场景包括场内和场外；拍摄方式包括近距离拍摄、远距离拍摄和多角度拍摄；
对采集到的包含电缆终端的红外图像进行清洗，以剔除模糊的、低质量的图像。
3.根据权利要求1所述的方法，其特征在于：
在进行图像标注时，使用rolabelimg标注工具对图像中的电缆终端进行旋转目标框标注，并对标注后的图像进行数据增强，建立样本数据集；
在进行数据增强时，使用角度旋转、对比度变化、镜像翻转、裁剪的方式处理图像数据；
将建立好的样本数据集按照8:1:1的比例划分成训练集、验证集与测试集。
4.根据权利要求1所述的方法，其特征在于：
所述带注意力机制的 RSK模块包括：分离模块、注意力模块、选择与融合模块，其中，分离模块将输入分为两个分支，分离过程如公式（8）所示：
其中，和/>分别表示分支1和分支2输出的特征；/>表示输入特征；/>和/>分别表示卷积核为3×3和5×5的/>；
注意力模块对两个分支进行Add操作，生成包含不同感受野信息的特征向量，具体过程表示为公式（9）：
其中，表示/>操作；S表示/>和/>进行/>操作后输出的特征；/>表示注意力部分输出的特征向量；/>表示全局平均池化；/>表示全局最大池化；/>表示全连接层；
选择与融合模块用于自适应地选择不同的信息空间尺度，将输出与输入/>进行融合，得到RSK模块的输出/>；
具体的，选择与融合过程包括：
分别两次对特征使用softmax函数得到特征向量/>和/>，如公式（10）：
其中，表示将特征向量/>变回c个维度后/>的第c行；/>表示/>的第c个元素；/>和/>同理；/>；/>；
将特征和/>与特征向量/>和/>相乘，再相加，得到输出/>，如公式（11）：
其中，；
将输出与输入/>进行融合，得到RSK模块的输出/>，如公式（12）：
（12）
5.一种基于红外图像和改进YOLOV5的电缆终端识别装置，其特征在于，该装置是采用如权利要求1至4任一项所述的基于红外图像和改进YOLOV5的电缆终端识别方法来进行识别的，该装置包括：
电源模块，用于为电缆终端识别装置提供供电电源；
数据获取模块，用于从所述电缆终端识别装置中获取红外图像数据；
目标识别模块，用于将所述电缆终端识别装置获取的红外图像输入到训练好的目标识别模型中，得到所述红外图像的电缆终端识别结果；
通讯模块，用于所述电缆终端识别装置与外界进行信号、图像传输。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311716134.9A CN117409083B (zh) | 2023-12-14 | 2023-12-14 | 一种基于红外图像和改进yolov5的电缆终端识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311716134.9A CN117409083B (zh) | 2023-12-14 | 2023-12-14 | 一种基于红外图像和改进yolov5的电缆终端识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117409083A CN117409083A (zh) | 2024-01-16 |
| CN117409083B true CN117409083B (zh) | 2024-03-22 |
Family
ID=89487446
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311716134.9A Active CN117409083B (zh) | 2023-12-14 | 2023-12-14 | 一种基于红外图像和改进yolov5的电缆终端识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117409083B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113327255A (zh) * | 2021-05-28 | 2021-08-31 | 宁波新胜中压电器有限公司 | 基于YOLOv3检测定位裁剪及fine-tune的输电线路巡检图像处理方法 |
| CN113902625A (zh) * | 2021-08-19 | 2022-01-07 | 深圳市朗驰欣创科技股份有限公司 | 一种基于深度学习的红外图像增强方法 |
| CN114998165A (zh) * | 2022-06-14 | 2022-09-02 | 中国科学院光电技术研究所 | 一种基于直方图变换的均匀曝光图像对比度增强方法 |
| CN115035563A (zh) * | 2022-05-06 | 2022-09-09 | 中国兵器工业计算机应用技术研究所 | 引入注意力机制的小目标检测方法、装置及设备 |
| CN115410047A (zh) * | 2022-09-29 | 2022-11-29 | 郑州大学 | 基于改进YOLO v5s的红外图像电动自行车目标检测方法 |
| CN116091424A (zh) * | 2022-12-23 | 2023-05-09 | 山西省能源互联网研究院 | 一种基于改进YOLOv5算法的电力设备红外图像缺陷检测方法 |
| CN116342596A (zh) * | 2023-05-29 | 2023-06-27 | 云南电网有限责任公司 | 一种基于YOLOv5改进的变电站设备螺母缺陷识别检测方法 |
| CN117115527A (zh) * | 2023-08-18 | 2023-11-24 | 南方电网数字电网科技(广东)有限公司 | 一种基于红外热成像的电力设备故障检测方法和系统 |
| CN117218026A (zh) * | 2023-09-18 | 2023-12-12 | 中国人民解放军91977部队 | 一种红外图像增强方法及装置 |
-
2023
- 2023-12-14 CN CN202311716134.9A patent/CN117409083B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113327255A (zh) * | 2021-05-28 | 2021-08-31 | 宁波新胜中压电器有限公司 | 基于YOLOv3检测定位裁剪及fine-tune的输电线路巡检图像处理方法 |
| CN113902625A (zh) * | 2021-08-19 | 2022-01-07 | 深圳市朗驰欣创科技股份有限公司 | 一种基于深度学习的红外图像增强方法 |
| CN115035563A (zh) * | 2022-05-06 | 2022-09-09 | 中国兵器工业计算机应用技术研究所 | 引入注意力机制的小目标检测方法、装置及设备 |
| CN114998165A (zh) * | 2022-06-14 | 2022-09-02 | 中国科学院光电技术研究所 | 一种基于直方图变换的均匀曝光图像对比度增强方法 |
| CN115410047A (zh) * | 2022-09-29 | 2022-11-29 | 郑州大学 | 基于改进YOLO v5s的红外图像电动自行车目标检测方法 |
| CN116091424A (zh) * | 2022-12-23 | 2023-05-09 | 山西省能源互联网研究院 | 一种基于改进YOLOv5算法的电力设备红外图像缺陷检测方法 |
| CN116342596A (zh) * | 2023-05-29 | 2023-06-27 | 云南电网有限责任公司 | 一种基于YOLOv5改进的变电站设备螺母缺陷识别检测方法 |
| CN117115527A (zh) * | 2023-08-18 | 2023-11-24 | 南方电网数字电网科技(广东)有限公司 | 一种基于红外热成像的电力设备故障检测方法和系统 |
| CN117218026A (zh) * | 2023-09-18 | 2023-12-12 | 中国人民解放军91977部队 | 一种红外图像增强方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117409083A (zh) | 2024-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111428748B (zh) | 一种基于hog特征和svm的红外图像绝缘子识别检测方法 | |
| CN110222787B (zh) | 多尺度目标检测方法、装置、计算机设备及存储介质 | |
| CN111046880A (zh) | 一种红外目标图像分割方法、系统、电子设备及存储介质 | |
| CN108230291B (zh) | 物体识别系统训练方法、物体识别方法、装置和电子设备 | |
| CN110909690A (zh) | 一种基于区域生成的遮挡人脸图像检测方法 | |
| CN109034184B (zh) | 一种基于深度学习的均压环检测识别方法 | |
| CN110136162B (zh) | 无人机视角遥感目标跟踪方法及装置 | |
| CN112115979B (zh) | 一种红外图像和可见图像的融合方法及设备 | |
| CN112417955B (zh) | 巡检视频流处理方法及装置 | |
| CN115690542A (zh) | 一种基于改进yolov5的航拍绝缘子定向识别方法 | |
| CN107578011A (zh) | 视频关键帧的判定方法及装置 | |
| CN112836625A (zh) | 人脸活体检测方法、装置、电子设备 | |
| CN113515655A (zh) | 一种基于图像分类的故障识别方法及装置 | |
| CN113569981A (zh) | 一种基于单阶段目标检测网络的电力巡检鸟窝检测方法 | |
| CN115239672A (zh) | 缺陷检测方法及装置、设备、存储介质 | |
| CN113378672A (zh) | 基于改进YOLOv3的输电线缺陷多目标检测方法 | |
| CN117409083B (zh) | 一种基于红外图像和改进yolov5的电缆终端识别方法及装置 | |
| CN116612355A (zh) | 人脸伪造识别模型训练方法和装置、人脸识别方法和装置 | |
| CN116664833A (zh) | 一种提高目标重识别模型能力的方法和目标重识别方法 | |
| CN116129417A (zh) | 一种基于低质量图像的数字仪表读数检测方法 | |
| CN114445726B (zh) | 一种基于深度学习的样本库建立方法和装置 | |
| CN112465736B (zh) | 一种用于港口船舶监控的红外视频图像增强方法 | |
| CN113744152A (zh) | 一种潮水图像去噪处理方法、终端及计算机可读存储介质 | |
| Kaur et al. | Deep learning: survey of environmental and camera impacts on internet of things images | |
| CN112949641A (zh) | 图像分割方法及电子设备、计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |