CN116758464A - 基于深度视觉的耐张绝缘子线路环境场景识别方法 - Google Patents
基于深度视觉的耐张绝缘子线路环境场景识别方法 Download PDFInfo
- Publication number
- CN116758464A CN116758464A CN202310803438.2A CN202310803438A CN116758464A CN 116758464 A CN116758464 A CN 116758464A CN 202310803438 A CN202310803438 A CN 202310803438A CN 116758464 A CN116758464 A CN 116758464A
- Authority
- CN
- China
- Prior art keywords
- scene
- network
- module
- robot
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 26
- 239000012211 strain insulator Substances 0.000 title description 8
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 239000012212 insulator Substances 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 26
- 230000000007 visual effect Effects 0.000 claims abstract description 10
- 238000002372 labelling Methods 0.000 claims abstract description 8
- 238000013528 artificial neural network Methods 0.000 claims abstract description 7
- 230000000694 effects Effects 0.000 claims abstract description 6
- 238000004458 analytical method Methods 0.000 claims abstract description 5
- 238000011156 evaluation Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 30
- 230000007246 mechanism Effects 0.000 claims description 24
- 238000009826 distribution Methods 0.000 claims description 17
- 230000006872 improvement Effects 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000009499 grossing Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 8
- 230000002776 aggregation Effects 0.000 claims description 7
- 238000004220 aggregation Methods 0.000 claims description 7
- 230000005284 excitation Effects 0.000 claims description 7
- 238000001125 extrusion Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 230000035772 mutation Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000003825 pressing Methods 0.000 claims 1
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 230000004888 barrier function Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009413 insulation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Physiology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度视觉的耐张绝缘子线路环境场景识别系统，包括：基于云台的机器人视觉模块，用于采集机器人所处架空线路环境图像；离线训练模块，利用深度神经网络对采集的视觉图像进行数据标注和标签生成以构建原始数据集，并基于改进的YOLOv5检测算法进行参数分步训练与评估；实时场景分析模块，基于训练后的模型实时检测架空线路环境下的场景信息，耐张绝缘子检测机器人可以通过此实时场景信息对其运动规划算法作出参数及策略层面上的调整，以提升机器人在架空线上运动及作业的效率及效果。
Description
技术领域
本发明涉及一种基于深度视觉的耐张绝缘子线路环境场景识别方法，属于机器人视觉识别设备技术领域。
背景技术
在电力系统中，耐张绝缘子是一种重要的绝缘元件，它能够将带电的导线与地面有效隔离开来，并使得各架空线保持自身的位置，起到电气绝缘与机械支撑的重要作用。但由于各种原因，耐张绝缘子在使用过程中可能会损坏或老化，这将对电力系统的安全运行带来巨大的风险，因此需要对耐张绝缘子进行定期检测和维护。
传统的耐张绝缘子维护工作主要依靠人工巡检，耗时费力且无法实时有效地获取环境信息。此外，传统的监测方式无法实现对复杂环境下架空线路的准确识别。针对这个问题，目前已出现了各种各样的输电线路耐张绝缘子检测机器人，这种机器人可以代替人工进行架空线路线上作业，对绝缘子进行健康检测。但现阶段耐张绝缘子检测机器人大多数依靠人工遥控作业，且仅能够在没有障碍的架空线上沿着导线运动，但架空线路上出现防震锤、间隔棒等设备时，机器人难以跨越这些不同尺寸的障碍继续作业。为了提高工作效率和降低风险，有必要开发能够在架空线上自主识别场景并采取相应行动的机器人。
智能化作为如今电力机器人领域的重要发展方向，基于视觉传感器的感知技术日趋成熟，并且在移动机器人运动规划领域的应用愈发广泛。对于耐张绝缘子检测机器人的视觉系统而言，针对不同的架空线路环境，其运动规划算法从参数到策略层面都会做相应的调整，因而准确的识别机器人视觉输入中的场景信息具有高度的应用价值和意义。
发明内容
本发明的目的在于提供一种基于深度视觉的耐张绝缘子线路环境场景识别方法，准确的识别机器人视觉输入中的场景信息，为耐张绝缘子检测机器人进行线路智能化作业提供技术支撑。
本发明的目的通过以下技术方案予以实现：
一种基于深度视觉的耐张绝缘子线路环境场景识别方法，包括以下步骤：
步骤S1：使用基于云台的机器人视觉模块采集机器人所处架空线路环境图像；
步骤S2：基于离线训练模块进行离线训练，利用深度神经网络对采集的视觉图像进行数据标注和标签生成以构建原始数据集，并进行神经网络参数分步训练与评估；具体工作步骤为：(1)采集架空线路环境下不同场景的图像数据，形成场景类别的标签集T＝(t1,t2,...,tn)，其中tn代表管道对应的第n种场景；(2)选取不同标签下的多处场景图像数据，形成原始图像数据集P＝(p1,p2,...,pn)，其中pn表示第n个原始图像数据，按照8:1:1的比例将数据集分为训练集、验证集和测试集；(3)利用改进的目标检测算法YOLOv5对样本数据进行特征提取、传递与融合，反复迭代直到满足终止条件，以获取训练后的模型；
步骤S3：进行实时场景分析，基于训练后的模型实时检测架空线路环境下的场景信息，输出耐张绝缘子检测机器人所处架空线路环境的场景类别，并根据检测结果对机器人的运动规划算法作出参数及策略调整，以提升机器人在架空线上运动及作业的效率及效果。
进一步地，步骤S2所述离线训练模块包括数据采集单元、样本标注单元和深度网络参数训练与评估单元；数据采集单元与样本标注单元主要用于提取离散时序训练样本，均衡各类别样本分布，并按照0-导线(无障碍)、1-防震锤、2-竖直绝缘子、3-水平绝缘子、4-杆塔、5-间隔棒、6-耐张线夹、7-异常场景的几种场景类型分配标签。
进一步地，步骤S2所述离线训练模块的深度网络参数训练与评估单元基于改进的YOLOv5算法实现；具体改进为：在原网络中融合注意力机制单元、改进解耦头机制以及对损失函数的优化。
改进的YOLOv5检测网络包括主干特征提取网络(Backbone)、路径聚合网络(Neck)以及预测网络(Head)，网络整体检测流程为：
(1)主干特征提取网络Backbone负责从输入的样本数据中提取信息特征，网络架构包括CBS模块、CONV模块、C3模块及SPP模块；其中，CBS模块中采用SiLU激活函数，公式如下：
(2)路径聚合网络Neck采用上采样和下采样相结合的方式实现不同尺度特征信息的融合，融合后的特征层传入到预测网络Head，通过非极大值抑制(NMS)的方式消除冗余信息，得到置信度高于设定阈值的场景预测类别；
注意力机制单元的整合为：在路径聚合网络Neck中添加SE注意力机制，对无关信息进行过滤，增强特征通道间的关注度，从而提高识别精度；SE注意力机制模块的操作分为挤压(Squeeze)和激励(Excitation)：
(1)挤压，是对输入的通道数为C的特征图进行全局平均池化，生成1*1*C的向量，使每个数值都拥有所在通道的全局感受野，计算方式如下式：
其中Z表示特征图的平均特征值，Fsq代表挤压操作，H表示特征图高度，W表示特征图宽度，u(i,j)表示特征图的单个特征值；
(2)激励，是使用两层全连接层进行自适应学习，并生成权重，计算方式如下式：
S＝Fex＝σ(w2×δ(w1×Z))
其中S表示权重，Fex代表激励操作，w1、w2分别为两个全连接层的权值，×代表全连接层中的乘积，δ表示连接层的Relu激活函数，σ表示Sigmoid函数；
所述解耦头机制改进为：引入用于特定任务的上下文解耦头机制(Task-SpecificContext Decoupling,TSCODE)，在分类任务中融合来自深层的特征，将丰富的语义信息嵌入到当前特征图中，从而提高模型整体性能；
对损失函数的优化为：在YOLOv5原网络所使用的交叉熵损失函数的基础上，引入了随机优化交叉熵改进方法，并结合自适应平滑参数和变异操作。
交叉熵损失函数计算公式为：
其中，H(p,q)代表交叉熵损失，m为样本数据量，n为标签个数，P(xi)是目标的真实分布，Q(xi)是模型预测概率分布；
随机优化交叉熵改进方法的参数更新策略如下式所示：
Vk+1＝α1Vck+α2Vgk+α3Vk-1
其中Vck、Vgk分别为第k轮迭代中当前精英样本和全局精英样本的分布参数，Vk-1为第k-1轮迭代中的样本分布参数，Vk+1为第k+1轮迭代中的样本分布参数，α1、α2、α3代表平滑参数；
进一步地，自适应平滑参数调整公式为：
α2＝1-α1-α3 0.5≤α1≤0.7
其中，KN是预先设定的总迭代次数，K是当前迭代的次数，α3max、α3min代表α3的最大、最小值。
进一步地，采用变异操作对每次迭代过程中更新的参数施加扰动，从而增加样本的随机性，以降低算法陷入局部最优的概率；采用的扰动函数如下式：
其中，表示没有施加扰动时第K+1次迭代中的样本方差，/>表示施加扰动后样本的方差，Zk+1表示第K+1次迭代中添加的扰动。
与现有技术相比，本发明的有益效果是：
(1)本发明利用深度卷积神经网络进行绝缘子线路环境下的场景信息识别，可以有效识别当前耐张绝缘子检测机器人所处的架空线路环境信息，便于对其运动规划策略作出快速调整，具备良好的鲁棒性和实时性，能够满足智能化应用要求。
(2)本发明对YOLOv5算法进行改进，整合了注意力机制单元，并对解耦头机制和损失函数进行优化，实现无关信息过滤、深层特征融合以及样本参数调整策略优化，以提升模型在架空线路环境下的识别精度，具有重要的实际应用价值。
附图说明
图1是本发明的耐张绝缘子线路环境场景识别流程图；
图2是检测网络整体结构图；
图3是SE注意力机制的模块结构图；
图4是TSCODE解耦头的深层特征融合过程示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明。
如图1所示，本发明提供了一种基于深度视觉的耐张绝缘子线路环境场景识别方法，包括以下步骤：
S1：使用基于云台的机器人视觉模块采集机器人所处架空线路环境图像；本实施例中由机器人搭载云台上配备的双目摄像机完成，其可以在机器人沿着架空线路运动时观察到沿线路前后的场景图像，并将图像信息传输到实时场景分析模块，以实现对机器人周边场景状态的实时检测。
S2：离线训练模块，利用深度神经网络对采集的视觉图像进行数据标注和标签生成以构建原始数据集，并进行神经网络参数分步训练与评估。具体工作步骤为：(1)采集架空线路环境下不同场景的图像数据，形成场景类别的标签集T＝(t1,t2,...,tn)，其中tn代表管道对应的第n种场景；(2)选取不同标签下的多处场景图像数据，形成原始图像数据集P＝(p1,p2,...,pn)，其中pn表示第n个原始图像数据，按照8:1:1的比例将数据集分为训练集、验证集和测试集；(3)利用改进的目标检测算法YOLOv5对样本数据进行特征提取、传递与融合，反复迭代直到满足终止条件，以获取相对检测效果最优的模型。
S3：实时场景分析模块，基于训练后的模型实时检测架空线路环境下的场景信息，输出耐张绝缘子检测机器人所处架空线路环境的场景类别，并根据检测结果对机器人的运动规划算法作出参数及策略层面上的调整，以提升机器人在架空线上运动及作业的效率及效果。
本实施例中S2模块涉及的数据集来源于自行采集的绝缘子线路环境场景数据集。该数据集共有1403张图像，包括八种场景类型，分别为0-导线(无障碍)、1-防震锤、2-竖直绝缘子、3-水平绝缘子、4-杆塔、5-间隔棒、6-耐张线夹、7-异常场景。考虑到数据集样本量不大，为了防止模型训练时产生过拟合，使用数据增强技术对原始图片进行随机旋转、平移、缩放及翻转，最终将样本量扩充为5000张。
S2模块的深度网络参数训练与评估单元主要基于改进的YOLOv5算法进行功能实现。具体改进方向为：在原网络中融合注意力机制单元、改进解耦头机制以及对损失函数的优化。
如图2所示，检测网络包括主干特征提取网络(Backbone)、路径聚合网络(Neck)以及预测网络(Head)，网络整体检测流程为：
(1)Backbone负责从输入的样本数据中提取信息特征，网络架构主要包括CBS模块、CONV模块、C3模块及SPP模块等。其中，CBS模块中采用SiLU激活函数，公式如下：
(2)Neck采用上采样和下采样相结合的方式实现不同尺度特征信息的融合，融合后的特征层传入到Head网络，通过非极大值抑制(NMS)的方式消除冗余信息，得到置信度高于设定阈值的场景预测类别。
本实施例中，注意力机制单元的整合主要体现在：在Neck网络中添加SE注意力机制，对无关信息进行过滤，增强特征通道间的关注度，从而提高识别精度。如图3所示，SE模块的操作主要可分为挤压(Squeeze)和激励(Excitation)：
(1)挤压，指的是对输入的通道数为C的特征图进行全局平均池化，生成1*1*C的向量，这样相当于每个数值都拥有所在通道的全局感受野，计算方式如下式：
其中Z表示特征图的平均特征值，Fsq代表挤压操作，H表示特征图高度，W表示特征图宽度，u(i，j)表示特征图的单个特征值。
(2)激励，指使用两层全连接层进行自适应学习，并生成权重。计算方式如下式：
S＝Fex＝σ(w2×δ(w1×Z))
其中S表示权重，Fex代表激励操作，w1、w2分别为两个全连接层的权值，×代表全连接层中的乘积，δ表示连接层的Relu激活函数，σ表示Sigmoid函数；
Relu激活函数公式如下：
δ(x)＝max(0，x)
Sigmiod激活函数公式如下：
max(0，x)代表对x和0取最大值操作。
本实施例中，解耦头机制的改进主要体现在：引入了用于特定任务的上下文解耦头机制(Task-Specific Context Decoupling，TSCODE)。如图4所示，TSCODE机制可以在分类任务中融合来自深层的特征，将丰富的语义信息嵌入到当前特征图中，从而提高模型整体性能。
本实施例中的损失函数优化方面，在YOLOv5原网络所使用的交叉熵损失函数的基础上，引入了随机优化交叉熵改进方法，并结合自适应平滑参数和变异操作。
交叉熵损失函数是分类问题中常用的一种损失函数，它的计算公式为：
其中，H(p，q)代表交叉熵损失，m为样本数据量，n为标签个数，P(xi)是目标的真实分布，Q(xi)是模型预测概率分布。
随机优化交叉熵改进方法将交叉熵损失函数中精英样本的概念进一步细化，其参数更新策略如下式所示：
Vk+1＝α1Vck+α2Vgk+α3Vk-1
其中Vck、Vgk分别为第k轮迭代中当前精英样本和全局精英样本的分布参数，Vk-1为第k-1轮迭代中的样本分布参数，Vk+1为第k+1轮迭代中的样本分布参数，α1、α2、α3代表平滑参数。
自适应平滑参数调整公式为：
α2＝1-α1-α3 0.5≤α1≤0.7
其中，KN是预先设定的总迭代次数，K是当前迭代的次数。α3max、α3min代表α3的最大、最小值。
进一步地，采用变异操作对每次迭代过程中更新的参数施加扰动，从而增加样本的随机性，以降低算法陷入局部最优的概率。采用的扰动函数如下式：
其中，表示没有施加扰动时第K+1次迭代中的样本方差，/>表示施加扰动后样本的方差，Zk+1表示第K+1次迭代中添加的扰动。
基于上述改进后的YOLOv5检测算法进行模型参数分步训练与评估，设置迭代次数为300，初始学习率设置为0.01。使用训练好的检测模型实时检测架空线路环境下的场景状态，并输出对应的环境类别信息，耐张绝缘子检测机器人可以通过此类信息对其运动规划算法作出参数及策略层面上的调整，以提升机器人在架空线上运动及作业的效率及效果。
除上述实施例外，本发明还可以有其他实施方式，凡采用等同替换或等效变换形成的技术方案，均落在本发明要求的保护范围内。
Claims (5)
1.一种基于深度视觉的耐张绝缘子线路环境场景识别方法，其特征在于，包括以下步骤：
步骤S1：使用基于云台的机器人视觉模块采集机器人所处架空线路环境图像；
步骤S2：基于离线训练模块进行离线训练，利用深度神经网络对采集的视觉图像进行数据标注和标签生成以构建原始数据集，并进行神经网络参数分步训练与评估；具体工作步骤为：(1)采集架空线路环境下不同场景的图像数据，形成场景类别的标签集T＝(t1,t2,...,tn)，其中tn代表管道对应的第n种场景；(2)选取不同标签下的多处场景图像数据，形成原始图像数据集P＝(p1,p2,...,pn)，其中pn表示第n个原始图像数据，按照8:1:1的比例将数据集分为训练集、验证集和测试集；(3)利用改进的目标检测算法YOLOv5对样本数据进行特征提取、传递与融合，反复迭代直到满足终止条件，以获取训练后的模型；
步骤S3：进行实时场景分析，基于训练后的模型实时检测架空线路环境下的场景信息，输出耐张绝缘子检测机器人所处架空线路环境的场景类别，并根据检测结果对机器人的运动规划算法作出参数及策略调整，以提升机器人在架空线上运动及作业的效率及效果。
2.如权利要求1所述的基于深度视觉的耐张绝缘子线路环境场景识别方法，其特征在于，步骤S2所述离线训练模块包括数据采集单元、样本标注单元和深度网络参数训练与评估单元；数据采集单元与样本标注单元主要用于提取离散时序训练样本，均衡各类别样本分布，并按照0-导线、1-防震锤、2-竖直绝缘子、3-水平绝缘子、4-杆塔、5-间隔棒、6-耐张线夹、7-异常场景的几种场景类型分配标签。
3.如权利要求1所述的基于深度视觉的耐张绝缘子线路环境场景识别方法，其特征在于，步骤S2所述离线训练模块的深度网络参数训练与评估单元基于改进的YOLOv5算法实现；具体改进为：在原网络中融合注意力机制单元、改进解耦头机制以及对损失函数的优化；
改进的YOLOv5检测网络包括主干特征提取网络Backbone、路径聚合网络Neck以及预测网络Head，网络整体检测流程为：
(1)主干特征提取网络Backbone负责从输入的样本数据中提取信息特征，网络架构包括CBS模块、CONV模块、C3模块及SPP模块；其中，CBS模块中采用SiLU激活函数，公式如下：
(2)路径聚合网络Neck采用上采样和下采样相结合的方式实现不同尺度特征信息的融合，融合后的特征层传入到预测网络Head，通过非极大值抑制的方式消除冗余信息，得到置信度高于设定阈值的场景预测类别；
注意力机制单元的整合为：在路径聚合网络Neck中添加SE注意力机制，对无关信息进行过滤，增强特征通道间的关注度，从而提高识别精度；SE注意力机制模块的操作分为挤压和激励：
(1)挤压，是对输入的通道数为C的特征图进行全局平均池化，生成1*1*C的向量，使每个数值都拥有所在通道的全局感受野，计算方式如下式：
其中Z表示特征图的平均特征值，Fsq代表挤压操作，H表示特征图高度，W表示特征图宽度，u(i,j)表示特征图的单个特征值；
(2)激励，是使用两层全连接层进行自适应学习，并生成权重，计算方式如下式：
S＝Fex＝σ(w2×δ(w1×Z))
其中S表示权重，Fex代表激励操作，w1、w2分别为两个全连接层的权值，×代表全连接层中的乘积，δ表示连接层的Relu激活函数，σ表示Sigmoid函数；
所述解耦头机制改进为：引入用于特定任务的上下文解耦头机制，在分类任务中融合来自深层的特征，将丰富的语义信息嵌入到当前特征图中，从而提高模型整体性能；
对损失函数的优化为：在YOLOv5原网络所使用的交叉熵损失函数的基础上，引入了随机优化交叉熵改进方法，并结合自适应平滑参数和变异操作；
交叉熵损失函数计算公式为：
其中，H(p,q)代表交叉熵损失，m为样本数据量，n为标签个数，P(xi)是目标的真实分布，
Q(xi)是模型预测概率分布；
随机优化交叉熵改进方法的参数更新策略如下式所示：
Vk+1＝α1Vck+α2Vgk+α3Vk-1
其中Vck、Vgk分别为第k轮迭代中当前精英样本和全局精英样本的分布参数，Vk-1为第k-1轮迭代中的样本分布参数，Vk+1为第k+1轮迭代中的样本分布参数，α1、α2、α3代表平滑参数。
4.如权利要求3所述的基于深度视觉的耐张绝缘子线路环境场景识别方法，其特征在于，自适应平滑参数调整公式为：
α2＝1-α1-α3 0.5≤α1≤0.7
其中，KN是预先设定的总迭代次数，K是当前迭代的次数，α3max、α3min代表α3的最大、最小值。
5.如权利要求3所述的基于深度视觉的耐张绝缘子线路环境场景识别方法，其特征在于，采用变异操作对每次迭代过程中更新的参数施加扰动，从而增加样本的随机性，以降低算法陷入局部最优的概率；采用的扰动函数如下式：
其中，表示没有施加扰动时第K+1次迭代中的样本方差，/>表示施加扰动后样本的方差，Zk+1表示第K+1次迭代中添加的扰动。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310803438.2A CN116758464A (zh) | 2023-07-03 | 2023-07-03 | 基于深度视觉的耐张绝缘子线路环境场景识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310803438.2A CN116758464A (zh) | 2023-07-03 | 2023-07-03 | 基于深度视觉的耐张绝缘子线路环境场景识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116758464A true CN116758464A (zh) | 2023-09-15 |
Family
ID=87960798
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310803438.2A Pending CN116758464A (zh) | 2023-07-03 | 2023-07-03 | 基于深度视觉的耐张绝缘子线路环境场景识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116758464A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117422715A (zh) * | 2023-12-18 | 2024-01-19 | 华侨大学 | 一种基于全局信息的乳腺超声肿瘤病变区域检测方法 |
-
2023
- 2023-07-03 CN CN202310803438.2A patent/CN116758464A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117422715A (zh) * | 2023-12-18 | 2024-01-19 | 华侨大学 | 一种基于全局信息的乳腺超声肿瘤病变区域检测方法 |
| CN117422715B (zh) * | 2023-12-18 | 2024-03-12 | 华侨大学 | 一种基于全局信息的乳腺超声肿瘤病变区域检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110135319B (zh) | 一种异常行为检测方法及其系统 | |
| CN111179249A (zh) | 一种基于深度卷积神经网络的电力设备检测方法和装置 | |
| KR20180004898A (ko) | 딥러닝 기반의 이미지 처리 기술 및 그 방법 | |
| CN109218134B (zh) | 一种基于神经风格迁移的测试用例生成系统 | |
| CN116758464A (zh) | 基于深度视觉的耐张绝缘子线路环境场景识别方法 | |
| CN110569875A (zh) | 一种基于特征复用的深度神经网络目标检测方法 | |
| CN115100574A (zh) | 基于融合图卷积网络与Transformer网络的动作识别方法及系统 | |
| CN110688927A (zh) | 一种基于时序卷积建模的视频动作检测方法 | |
| CN109583499B (zh) | 一种基于无监督sdae网络的输电线路背景目标分类系统 | |
| CN109062811B (zh) | 一种基于神经风格迁移的测试用例生成方法 | |
| CN117141518A (zh) | 一种基于意图感知时空注意网络的车辆轨迹预测方法 | |
| KR20180123810A (ko) | Ｘ-Ｒａｙ 의료 영상 판독을 위한 데이터 심화학습 처리 기술 및 그 방법 | |
| CN113837148A (zh) | 一种基于自调节稀疏图transformer的行人轨迹预测方法 | |
| CN113591674A (zh) | 一种面向实时视频流的边缘环境行为识别系统 | |
| CN115273081A (zh) | 基于自适应特征采样的点云语义分割方法及系统 | |
| CN105956604B (zh) | 一种基于两层时空邻域特征的动作识别方法 | |
| CN116502810B (zh) | 一种基于图像识别的标准化生产监测方法 | |
| CN114998779B (zh) | 一种自监督人体行为识别方法及系统 | |
| CN116543338A (zh) | 一种基于注视目标估计的学生课堂行为检测方法 | |
| CN116189299A (zh) | 一种适用于边缘终端的煤矿井下人体动作识别方法 | |
| CN113807243B (zh) | 一种基于对未知目标注意力的水上障碍物检测系统及方法 | |
| CN114724245A (zh) | 基于csi的增量学习人体动作识别方法 | |
| CN115965883A (zh) | 一种基于Transformer的烟雾检测算法 | |
| CN118397842B (zh) | 基于卷积神经网络的行人流密度与流量预测系统及方法 | |
| CN118411765B (zh) | 一种基于云-边-端架构的工人作业行为识别方法、系统、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |