CN116416457B - 一种电力检修车的安全态势感知与危险预警方法 - Google Patents
一种电力检修车的安全态势感知与危险预警方法 Download PDFInfo
- Publication number
- CN116416457B CN116416457B CN202310146206.4A CN202310146206A CN116416457B CN 116416457 B CN116416457 B CN 116416457B CN 202310146206 A CN202310146206 A CN 202310146206A CN 116416457 B CN116416457 B CN 116416457B
- Authority
- CN
- China
- Prior art keywords
- electric power
- crank arm
- maintenance vehicle
- power maintenance
- early warning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012423 maintenance Methods 0.000 title claims abstract description 72
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000007246 mechanism Effects 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- WDLRUFUQRNWCPK-UHFFFAOYSA-N Tetraxetan Chemical compound OC(=O)CN1CCN(CC(O)=O)CCN(CC(O)=O)CCN(CC(O)=O)CC1 WDLRUFUQRNWCPK-UHFFFAOYSA-N 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 6
- 238000002372 labelling Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 241001123248 Arma Species 0.000 description 1
- 206010061274 Malocclusion Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Remote Sensing (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Electromagnetism (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种电力检修车的安全态势感知与危险预警方法，其包括以下步骤：构建电力作业现场三维模型；获取电力检修车在电力作业现场三维模型中的位置坐标；确定曲臂工作的允许阈值；采用训练后的融合注意力机制的R‑YOLOV5网络对目标图像中电力检修车的曲臂进行提取，得到包含电力检修车的曲臂的图像；获取曲臂位置数据；判断电力检修车是否处于禁止区域，若是则预警输出；否则判断电力检修车的曲臂是否处于曲臂工作的允许阈值内，若是则判定为安全；否则预警输出。本发明利用北斗定位技术、三维建模技术、机器视觉技术实现电力检修车的安全态势感知，并在变电站三维模型中实时呈现，最终实现了危险预警。
Description
技术领域
本发明涉及电力作业预警领域，具体涉及一种电力检修车的安全态势感知与危险预警方法。
背景技术
电力生产环境复杂，在电力作业空间中存在高危的设备与线路，电力检修车在变电站作业时风险系数极高，检修车曲臂是引起安全事故发生的几率极高。检修车曲臂的伸展高度、宽度(与水平张角有关)是造成曲臂车安全事故的主要原因。若要有效的降低电力检修车在变电站作业时的风险系数，则需要对电力检修车的工作过程进行监督。现有的方式通常为人工监督，但人工监督存在浪费人力资源，监督存在盲区或空隙，导致效率低下的问题。
发明内容
针对现有技术中的上述不足，本发明提供的一种电力检修车的安全态势感知与危险预警方法解决了人工监督浪费人力资源、效率低下的问题。
为了达到上述发明目的，本发明采用的技术方案为：
提供一种电力检修车的安全态势感知与危险预警方法，其包括以下步骤：
S1、构建电力作业现场三维模型；
S2、通过北斗地基增强定位获取电力检修车在电力作业现场三维模型中的位置坐标；
S3、根据电力检修车的位置坐标确定曲臂工作的允许阈值；
S4、构建并训练融合注意力机制的R-YOLOV5网络；采用训练后的融合注意力机制的R-YOLOV5网络对目标图像中电力检修车的曲臂进行提取，得到包含电力检修车的曲臂的图像；
S5、获取包含电力检修车的曲臂的图像中电力检修车的曲臂位置数据；
S6、判断电力检修车是否处于禁止区域，若是则预警输出；否则进入步骤S7；
S7、根据电力检修车的曲臂位置数据判断电力检修车的曲臂是否处于曲臂工作的允许阈值内，若是则判定为安全；否则预警输出。
进一步地，步骤S1的具体方法包括以下子步骤：
S1-1、通过自带卫星定位模块的无人机进行电力作业现场图片拍摄，得到带有POS数据的现场图片；
S1-2、通过空中三角测量解算出有POS数据的现场图片的每一像对的相对位置；
S1-3、通过多视角影像联合光束平差法获取外方位元素；
S1-4、对带有POS数据的现场图片采用速稳健特征提取方法进行特征点检测，将同一物体的同一特征点标记为同名特征点；
S1-5、基于同名特征点对带有POS数据的现场图片进行匹配，并通过同名特征点的相对位置与外方位元素信息确定像片的具体位置，生成密集点云；
S1-6、采用Delaunay三角剖分算法对点云三角剖分，得到立体网状骨架模型；
S1-7、提取带有POS数据的现场图片的纹理信息并映射到立体网状骨架模型，得到实景三维模型；
S1-8、以站点为基本单位通过激光雷达点云扫描仪获取电力作业现场激光点云数据；
S1-9、将电力作业现场激光点云数据进行点云去噪、过滤、注册，并将所有站点的激光点云数据进行拼接；
S1-10、将拼接后的激光点云数据所在的自由坐标系转换为实景三维模型所在的地理坐标系；
S1-11、将转换了坐标系的拼接后的激光点云数据与实景三维模型进行融合，得到电力作业现场三维模型。
进一步地，步骤S3中曲臂工作的允许阈值包括最高高度、水平展宽的最宽宽度和张角的最大值。
进一步地，步骤S4中构建并训练融合注意力机制的R-YOLOV5网络的具体方法包括以下子步骤：
S4-1、将YOLOV5网络中卷积层的激活函数替换为HardSwish，在YOLOV5网络中neck层与prediction层之间插入注意力机制模块，得到融合注意力机制的R-YOLOV5网络；
S4-2、基于RoLableImg标注软件，采用长边定义法与环形平滑标签对相应图像中电力检修车的曲臂进行标注，将标注完成的文件转化为DOTA数据集的txt格式，并对融合注意力机制的R-YOLOV5网络进行训练。
进一步地，长边定义法包括五个参数的标定，分别为包含电力检修车曲臂的矩形框的中心横坐标、中心纵坐标、短边、长边，以及长边与x轴的夹角。
进一步地，步骤S5的具体方法包括以下子步骤：
S5-1、将包含电力检修车的目标图像转化为灰度图像，并分别与模板[1 0 -1]、[10 -1]T进行卷积，分别得到矩阵Sx和Sy；
S5-2、根据公式：
获取梯度的幅值S；
S5-3、设定幅值阈值，将大于等于幅值阈值的梯度的幅值调整为1，将小于幅值阈值的梯度的幅值调整为0，得到二值梯度幅度图像；
S5-4、获取二值梯度幅度图像中像素值为1的点的坐标；
S5-5、将每个像素值为1的点的横纵坐标带入方程b＝aXi+Yi，获取若干组(a，b)值；
S5-6、获取重复次数最多的两组(a，b)值(a1，b1)和(a2，b2)，并根据公式：
L1:y1＝a1x1+b1
L2:y2＝a2x2+b2
通过反变换得到曲臂的边界线L1和L2；
S5-7、对曲臂的边界线L1和L2的坐标进行平均，得到曲臂的方向直线L；
S5-8、根据曲臂的方向直线L的端点坐标获取曲臂与水平面的角度；
S5-9、根据曲臂的实际长度和曲臂与水平面的角度，获取相应图像中曲臂的真实高度和真实宽度。
进一步地，步骤S7的具体方法为：
若电力检修车的曲臂的真实高度、真实宽度和张角均在阈值范围内时，判定为安全；否则预警输出。
本发明的有益效果为：本发明利用北斗定位技术、三维建模技术、机器视觉技术实现电力检修车的安全态势感知，并在变电站三维模型中实时呈现，最终实现了危险预警。
附图说明
图1为本方法的流程示意图；
图2为融合注意力机制的R-YOLOV5网络的结构框图；
图3为One-hot编码方法示意图
图4环形平滑标签示意图；
图5为融合注意力机制的R-YOLOV5网络输出的曲臂检测结果示意图；
图6为二值梯度幅度图像示意图；
图7为实施例中真实场景图；
图8为实施例中的三维场景图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，该电力检修车的安全态势感知与危险预警方法包括以下步骤：
S1、构建电力作业现场三维模型；
S2、通过北斗地基增强定位获取电力检修车在电力作业现场三维模型中的位置坐标；
S3、根据电力检修车的位置坐标确定曲臂工作的允许阈值；
S4、构建并训练融合注意力机制的R-YOLOV5网络；采用训练后的融合注意力机制的R-YOLOV5网络对目标图像中电力检修车的曲臂进行提取，得到包含电力检修车的曲臂的图像；
S5、获取包含电力检修车的曲臂的图像中电力检修车的曲臂位置数据；
S6、判断电力检修车是否处于禁止区域，若是则预警输出；否则进入步骤S7；
S7、根据电力检修车的曲臂位置数据判断电力检修车的曲臂是否处于曲臂工作的允许阈值内，若是则判定为安全；否则预警输出。
步骤S1的具体方法包括以下子步骤：
S1-1、通过自带卫星定位模块的无人机进行电力作业现场图片拍摄，得到带有POS数据的现场图片；
S1-2、通过空中三角测量解算出有POS数据的现场图片的每一像对的相对位置；
S1-3、通过多视角影像联合光束平差法获取外方位元素；
S1-4、对带有POS数据的现场图片采用速稳健特征提取方法进行特征点检测，将同一物体的同一特征点标记为同名特征点；
S1-5、基于同名特征点对带有POS数据的现场图片进行匹配，并通过同名特征点的相对位置与外方位元素信息确定像片的具体位置，生成密集点云；
S1-6、采用Delaunay三角剖分算法对点云三角剖分，得到立体网状骨架模型；
S1-7、提取带有POS数据的现场图片的纹理信息并映射到立体网状骨架模型，得到实景三维模型；
S1-8、以站点为基本单位通过激光雷达点云扫描仪获取电力作业现场激光点云数据；
S1-9、将电力作业现场激光点云数据进行点云去噪、过滤、注册，并将所有站点的激光点云数据进行拼接；
S1-10、将拼接后的激光点云数据所在的自由坐标系转换为实景三维模型所在的地理坐标系；
S1-11、将转换了坐标系的拼接后的激光点云数据与实景三维模型进行融合，得到电力作业现场三维模型。
步骤S3中曲臂工作的允许阈值包括最高高度、水平展宽的最宽宽度和张角的最大值。
步骤S4中构建并训练融合注意力机制的R-YOLOV5网络的具体方法包括以下子步骤：
S4-1、将YOLOV5网络中卷积层的激活函数替换为HardSwish，在YOLOV5网络中neck层与prediction层之间插入注意力机制模块，得到融合注意力机制的R-YOLOV5网络；
S4-2、基于RoLableImg标注软件，采用长边定义法与环形平滑标签对相应图像中电力检修车的曲臂进行标注，将标注完成的文件转化为DOTA数据集的txt格式，并对融合注意力机制的R-YOLOV5网络进行训练。长边定义法包括五个参数的标定，分别为包含电力检修车曲臂的矩形框的中心横坐标、中心纵坐标、短边、长边，以及长边与x轴的夹角。
步骤S5的具体方法包括以下子步骤：
S5-1、将包含电力检修车的目标图像转化为灰度图像，并分别与模板[1 0 -1]、[10 -1]T进行卷积，分别得到矩阵Sx和Sy；
S5-2、根据公式：
获取梯度的幅值S；
S5-3、设定幅值阈值，将大于等于幅值阈值的梯度的幅值调整为1，将小于幅值阈值的梯度的幅值调整为0，得到二值梯度幅度图像，如图6所示；
S5-4、获取二值梯度幅度图像中像素值为1的点的坐标；
S5-5、将每个像素值为1的点的横纵坐标带入方程b＝aXi+Yi，获取若干组(a，b)值；
S5-6、获取重复次数最多的两组(a，b)值(a1，b1)和(a2，b2)，并根据公式：
L1:y1＝a1x1+b1
L2:y2＝a2x2+b2
通过反变换得到曲臂的边界线L1和L2；
S5-7、对曲臂的边界线L1和L2的坐标进行平均，得到曲臂的方向直线L；
S5-8、根据曲臂的方向直线L的端点坐标获取曲臂与水平面的角度；
S5-9、根据曲臂的实际长度和曲臂与水平面的角度，获取相应图像中曲臂的真实高度和真实宽度。
步骤S7的具体方法为：若电力检修车的曲臂的真实高度、真实宽度和张角均在阈值范围内时，判定为安全；否则预警输出。
在具体实施过程中，北斗地基增强定位可以实现电力检修车的厘米级定位，从而获得电力检修车的GIS地理信息数据，从而确定检修车在3维变电站的位置坐标。
本方法采用HardSwish替换YOLOV5卷积层中的激活函数，并引入CBAM注意力机制，以提高网络的特征提取能力与识别精度。如图2所示，BottleneckCSP1_X：CSP1_X结构；BottleneckCSP2_X：CSP2_X结构；SPPF：快速空间金字塔池化模块；Upsanple：上采样模块；Cancat：连接模块；Conv:卷积模块；Backbone:主干网络；neck：瓶颈网络；prediction:预测模块：CBAM：注意机制模块。Backbone部分主要由特征提取的主干网络CSPDarkNet和空间金字塔池化SPPF组成。包含CSP1_X和CSP2_X结构，CSP1_X应用于CSPDarkNet中，能够加强对图片的特征提取能力。CSP2_X应用于Neck中；SPPF相比于SPP增加了两个CBS模块，提高了网络在识别曲臂的训练效率。Neck部分主要由特征金字塔网络和判别器组成，CSP2_X能够加强特征融合能力，使网络提取到的特征更加丰富。Prediction部分实现对大、中、小3种不同尺度的电力检修车的检测功能，本发明的R-YOLOV5网络在Prediction部分增加了180个角度分类通道，完成对曲臂旋转角度的预测。R-YOLOV5网络的检测结果示意图如图5所示。
电力检修车机械臂具有较大横纵比和带旋转角度的特点，目标检测旋转框的标注方式进行数据标注，虽然通过旋转标注框能够减少特征提取时的冗余信息，提高网络的检测精度和训练效率，但是旋转框的数据标注方式会在网络训练时出现边界问题，包括边的交换(Exchangability of Edges，EoE)问题和角度的周期(Periodicity of Angular，PoA)问题。本方法采用长边定义法与环形平滑标签(Circular Smooth Label,CSL)相结合的方法来解决θ的边界问题。长边定义法解决边的变化问题，环形平滑标签解决角度的周期问题。
采用环形平滑标签将θ的回归问题转变为分类问题，把不同范围内的角度划分为不同的类别，这样就把一个连续问题进行了离散化，规避了θ的边界情况。离散化处理就必然会产生精度损失，为了评估该损失带来的影响，可以计算精度最大损失和平均损失(服从均匀分布)，公式如下：
Max(loss)＝ω/2
当角度范围划分为1°一类(ω＝1)时，精度最大损失和期望损失为0.50和0.25。采用两个横纵比为1:9的旋转矩形框进行测试后，两个旋转矩形框的交并比分别下降了0.05和0.02，本方法的研究对象横纵比几乎很难达到1:9，所以在该方法带来的精度损失是可以接受的。为了使分类损失能够用来预测结果和角度标签的距离，本方法设计了一种One-hot编码方法，假设真实的角度标签是0°，当网络的角度预测值为1°和-90°时的精度损失值是相同的，One-hot编码方法示意图如图3所示。
基于One-hot Lable，引入了环形平滑标签CSL，CSL的示意图如图4所示。CSL的表达式如下：
s.t.
其中g(x)为窗口函数。g(x)要具备周期性、单调性和对称性等条件，半径r决定窗口的大小。本方法采用Gaussian函数作为窗口函数，将窗口半径设置为6，g(x)的函数表达式如下：
其中a、b、c是常数，本文中设置a为1，b为0，c为4；x是角度信息。
在本发明的一个实施例中，本方法使用HardSwish激活函数替换网络中Conv层的SiLU激活函数，HardSwish激活函数具有更强的非线性功能，能够提高模型的精度，通过实验证明HardSwish激活函数确实能够提高模型精度。
由于目前并没有公开的电力检修车数据集，因此使用自制的数据集进行实验。自制数据集的数据标注格式参考遥感目标检测数据集DOTA，采用RoLableImg标注软件对数据集中的电力检修车机械臂进行标注，将标注完成的xml文件通过公式转化为DOTA数据集的txt格式。本文数据集共有12000张曲臂电力检修车图片，设置的检测目标类别为arma。数据集的训练集、验证集、测试集比例设置为4:1:1。
如图7和图8所示，本方法在获取了电力检修车的曲臂位置数据后，还可以将其送入到三维模型中，在三维模型中对应的位置展示电力检修车的真实状态。
Claims (6)
1.一种电力检修车的安全态势感知与危险预警方法，其特征在于，包括以下步骤：
S1、构建电力作业现场三维模型；
S2、通过北斗地基增强定位获取电力检修车在电力作业现场三维模型中的位置坐标；
S3、根据电力检修车的位置坐标确定曲臂工作的允许阈值；
S4、构建并训练融合注意力机制的R-YOLOV5网络；采用训练后的融合注意力机制的R-YOLOV5网络对目标图像中电力检修车的曲臂进行提取，得到包含电力检修车的曲臂的图像；
S5、获取包含电力检修车的曲臂的图像中电力检修车的曲臂位置数据；
S6、判断电力检修车是否处于禁止区域，若是则预警输出；否则进入步骤S7；
S7、根据电力检修车的曲臂位置数据判断电力检修车的曲臂是否处于曲臂工作的允许阈值内，若是则判定为安全；否则预警输出；
步骤S4中构建并训练融合注意力机制的R-YOLOV5网络的具体方法包括以下子步骤：
S4-1、将YOLOV5网络中卷积层的激活函数替换为HardSwish，在YOLOV5网络中neck层与prediction层之间插入注意力机制模块，得到融合注意力机制的R-YOLOV5网络；
S4-2、基于RoLableImg标注软件，采用长边定义法与环形平滑标签对相应图像中电力检修车的曲臂进行标注，将标注完成的文件转化为DOTA数据集的txt格式，并对融合注意力机制的R-YOLOV5网络进行训练。
2.根据权利要求1所述的电力检修车的安全态势感知与危险预警方法，其特征在于，步骤S1的具体方法包括以下子步骤：
S1-1、通过自带卫星定位模块的无人机进行电力作业现场图片拍摄，得到带有POS数据的现场图片；
S1-2、通过空中三角测量解算出有POS数据的现场图片的每一像对的相对位置；
S1-3、通过多视角影像联合光束平差法获取外方位元素；
S1-4、对带有POS数据的现场图片采用速稳健特征提取方法进行特征点检测，将同一物体的同一特征点标记为同名特征点；
S1-5、基于同名特征点对带有POS数据的现场图片进行匹配，并通过同名特征点的相对位置与外方位元素信息确定像片的具体位置，生成密集点云；
S1-6、采用Delaunay三角剖分算法对点云三角剖分，得到立体网状骨架模型；
S1-7、提取带有POS数据的现场图片的纹理信息并映射到立体网状骨架模型，得到实景三维模型；
S1-8、以站点为基本单位通过激光雷达点云扫描仪获取电力作业现场激光点云数据；
S1-9、将电力作业现场激光点云数据进行点云去噪、过滤、注册，并将所有站点的激光点云数据进行拼接；
S1-10、将拼接后的激光点云数据所在的自由坐标系转换为实景三维模型所在的地理坐标系；
S1-11、将转换了坐标系的拼接后的激光点云数据与实景三维模型进行融合，得到电力作业现场三维模型。
3.根据权利要求1所述的电力检修车的安全态势感知与危险预警方法，其特征在于，步骤S3中曲臂工作的允许阈值包括最高高度、水平展宽的最宽宽度和张角的最大值。
4.根据权利要求1所述的电力检修车的安全态势感知与危险预警方法，其特征在于，长边定义法包括五个参数的标定，分别为包含电力检修车曲臂的矩形框的中心横坐标、中心纵坐标、短边、长边，以及长边与x轴的夹角。
5.根据权利要求1所述的电力检修车的安全态势感知与危险预警方法，其特征在于，步骤S5的具体方法包括以下子步骤：
S5-1、将包含电力检修车的目标图像转化为灰度图像，并分别与模板[1 0 -1]、[1 0 -1]T进行卷积，分别得到矩阵和/>；
S5-2、根据公式：
获取梯度的幅值S；
S5-3、设定幅值阈值，将大于等于幅值阈值的梯度的幅值调整为1，将小于幅值阈值的梯度的幅值调整为0，得到二值梯度幅度图像；
S5-4、获取二值梯度幅度图像中像素值为1的点的坐标；
S5-5、将每个像素值为1的点的横纵坐标带入方程，获取若干组/>值；
S5-6、获取重复次数最多的两组值/>和/>，并根据公式：
通过反变换得到曲臂的边界线和/>；
S5-7、对曲臂的边界线和/>的坐标进行平均，得到曲臂的方向直线L；
S5-8、根据曲臂的方向直线L的端点坐标获取曲臂与水平面的角度；
S5-9、根据曲臂的实际长度和曲臂与水平面的角度，获取相应图像中曲臂的真实高度和真实宽度。
6.根据权利要求5所述的电力检修车的安全态势感知与危险预警方法，其特征在于，步骤S7的具体方法为：
若电力检修车的曲臂的真实高度、真实宽度和张角均在阈值范围内时，判定为安全；否则预警输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310146206.4A CN116416457B (zh) | 2023-02-21 | 2023-02-21 | 一种电力检修车的安全态势感知与危险预警方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310146206.4A CN116416457B (zh) | 2023-02-21 | 2023-02-21 | 一种电力检修车的安全态势感知与危险预警方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116416457A CN116416457A (zh) | 2023-07-11 |
| CN116416457B true CN116416457B (zh) | 2023-10-20 |
Family
ID=87052270
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310146206.4A Active CN116416457B (zh) | 2023-02-21 | 2023-02-21 | 一种电力检修车的安全态势感知与危险预警方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116416457B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112465401A (zh) * | 2020-12-17 | 2021-03-09 | 国网四川省电力公司电力科学研究院 | 基于多维信息融合的电力作业安全管控系统及其管控方法 |
| CN113516076A (zh) * | 2021-07-12 | 2021-10-19 | 大连民族大学 | 一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法 |
| CN114972888A (zh) * | 2022-06-27 | 2022-08-30 | 中国人民解放军63791部队 | 一种基于yolo v5的通信检修工具识别方法 |
| CN115457428A (zh) * | 2022-08-16 | 2022-12-09 | 应急管理部沈阳消防研究所 | 融入可调节坐标残差注意力的改进YOLOv5火灾检测方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230042756A1 (en) * | 2021-10-09 | 2023-02-09 | Southeast University | Autonomous mobile grabbing method for mechanical arm based on visual-haptic fusion under complex illumination condition |
-
2023
- 2023-02-21 CN CN202310146206.4A patent/CN116416457B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112465401A (zh) * | 2020-12-17 | 2021-03-09 | 国网四川省电力公司电力科学研究院 | 基于多维信息融合的电力作业安全管控系统及其管控方法 |
| CN113516076A (zh) * | 2021-07-12 | 2021-10-19 | 大连民族大学 | 一种基于注意力机制改进的轻量化YOLO v4安全防护检测方法 |
| CN114972888A (zh) * | 2022-06-27 | 2022-08-30 | 中国人民解放军63791部队 | 一种基于yolo v5的通信检修工具识别方法 |
| CN115457428A (zh) * | 2022-08-16 | 2022-12-09 | 应急管理部沈阳消防研究所 | 融入可调节坐标残差注意力的改进YOLOv5火灾检测方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| "基于 YOLOv5 的多分支注意力 SAR 图像舰船检测";胡欣等;《电子测量与仪器学报》;第36卷(第08期);第141-149页 * |
| "基于旋转 YOLOv5 的电力作业车态势感知方法研究";张劲松;《四川电力技术》;第45卷(第03期);第29-34页 * |
| "CBAM: Convolutional Block Attention Module";Sanghyun Woo et.al.;《European Conference on Computer Vision》;第3-19页 * |
| "Comparing YOLOV3，YOLOV4 and YOLOV5 for Autonomous Landing Spot Detection in Faulty UAVs";Upesh Nepal et.al.;《Sensors》;第22卷(第464期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116416457A (zh) | 2023-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101836304B1 (ko) | 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 방법과 장치 | |
| CN111179345B (zh) | 基于车载机器视觉的前方车辆越线违章行为自动检测方法及系统 | |
| CN110728200A (zh) | 一种基于深度学习的实时行人检测方法及系统 | |
| CN116685873A (zh) | 一种面向车路协同的感知信息融合表征及目标检测方法 | |
| CN115909092A (zh) | 轻量化输电通道隐患测距方法及隐患预警装置 | |
| CN104899852A (zh) | 一种基于遗传算法及支持向量机的微小颗粒检测系统标定方法 | |
| CN110705433A (zh) | 一种基于视觉感知的桥梁变形的监测方法、装置及设备 | |
| CN115619928A (zh) | 用于多相机系统的三维场景重建装置的训练方法 | |
| CN113421217A (zh) | 可行驶区域检测方法和装置 | |
| CN117111055A (zh) | 一种基于雷视融合的车辆状态感知方法 | |
| CN115965578A (zh) | 一种基于通道注意力机制的双目立体匹配检测方法及装置 | |
| CN114332796A (zh) | 一种多传感器融合体素特征图生成方法及系统 | |
| CN116416457B (zh) | 一种电力检修车的安全态势感知与危险预警方法 | |
| CN113378647B (zh) | 基于三维点云的实时轨道障碍物检测方法 | |
| CN116968758A (zh) | 一种基于三维场景表示的车辆控制方法及装置 | |
| CN116486351A (zh) | 行车预警方法、装置、设备及存储介质 | |
| CN110705644B (zh) | 一种目标间方位关系的编码方法 | |
| CN115330935A (zh) | 一种基于深度学习的三维重建方法及系统 | |
| CN111738267B (zh) | 基于线性多步残差学习的视觉感知方法及视觉感知装置 | |
| CN115239648B (zh) | R角突起点云的提取方法、装置、设备及存储介质 | |
| CN112419186B (zh) | 一种车牌图像的批量生成方法、装置及计算机设备 | |
| CN112948459B (zh) | 铁路基础设施巡检装置、方法及系统 | |
| US20230068375A1 (en) | Method and system for detecting a three-dimensional object in a two-dimensional image | |
| CN117788471B (zh) | 一种基于YOLOv5检测飞机蒙皮缺陷和分类的方法 | |
| Chen et al. | Monocular Vehicle Perception Algorithm Based on Improved U-NET |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |