CN115995058A - 基于人工智能的输电通道安全在线监测方法 - Google Patents
基于人工智能的输电通道安全在线监测方法 Download PDFInfo
- Publication number
- CN115995058A CN115995058A CN202211346600.4A CN202211346600A CN115995058A CN 115995058 A CN115995058 A CN 115995058A CN 202211346600 A CN202211346600 A CN 202211346600A CN 115995058 A CN115995058 A CN 115995058A
- Authority
- CN
- China
- Prior art keywords
- loss
- transmission channel
- camera
- safety
- iou
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000012544 monitoring process Methods 0.000 title claims abstract description 35
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 15
- 238000001514 detection method Methods 0.000 claims abstract description 27
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 22
- 238000006243 chemical reaction Methods 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000012216 screening Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 9
- 238000005516 engineering process Methods 0.000 claims description 7
- 238000002474 experimental method Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 239000000463 material Substances 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000007689 inspection Methods 0.000 abstract description 5
- 238000011160 research Methods 0.000 abstract description 2
- 230000005611 electricity Effects 0.000 abstract 1
- 238000004519 manufacturing process Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000002679 ablation Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000003556 assay Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000011900 installation process Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明提供了一种基于人工智能的输电通道安全在线监测方法，通过获取输电通道监拍图像与激光点云数据，对图像进行预处理；利用相机标定和姿态估计算法获取坐标转换关系；构建单阶段检测器，并完成模型的训练与调参；利用目标检测结果和坐标转换关系，计算目标物到电力线的最小距离；最后根据电网公司企业标准中对架空线路安全距离的规定，判断安全等级，及时预警目标物。该方法帮助巡检部门判断隐患风险等级，实现电力线的自动监测及预警，对有效保障人员生命安全、电力企业安全生产和居民用电稳定具有重要研究意义。
Description
技术领域
本发明属于电力设备安全监测技术领域，涉及一种基于人工智能的输电通道安全在线监测方法。
背景技术
传统的输电通道巡检主要依赖于定期的人工检测，存在巡查人员责任意识欠缺、装备水平有限、经验主义误判等诸多弊端；随着科学技术的发展和智能化巡检的推进，基于可视化终端的监拍模式能够较好地解决上述问题，但是仅通过监拍远程获取输电通道状况，存在滞后性，且无法自动预警事故发生。
现有技术中针对架空线路安全监测问题，主要是基于深度学习的输电通道异物目标检测方法。但在架空线路场景下，抓拍并识别出的隐患目标较多，真正有意义的告警数量很少；另外，相关安全规范规定了不同电压等级下架空线路的安全距离，仅依靠目标检测算法无法辨别异物目标是否会对输电线路造成危险；此外，还有部分现有研究是基于双目视觉的三维重建方法，即通过监测异物目标的空间位置，判断隐患目标是否进入所划定的报警区域框，进而达到实时监测预警的效果；然而双目相机在标定与匹配过程对于立体匹配精度要求高，后期安装过程造成的相对位置偏移将导致识别精度降低；因此，缺少一种有效的电力线安全距离监测及预警方法。
发明内容
本发明所要解决的技术问题是提供一种基于人工智能的输电通道安全在线监测方法，结合深度学习方法和多传感器融合技术，解决电力线安全距离测量与监测预警问题；将三维点云数据和二维图像进行特征提取与匹配，结合单阶段检测器目标识别算法，得到异物目标到电力线的三维距离，进而帮助巡检部门判断隐患风险等级，实现输电通道的自动监测及预警。
为实现上述技术效果，本发明所采用的技术方案是：一种基于人工智能的输电通道安全在线监测方法，它包括如下步骤：
S1、获取输电通道监拍图像与激光点云数据，对图像进行筛选及预处理，建立输电通道异物图像的专用数据库：
通过架设在杆塔上的监拍摄像头获取2D图像；利用搭载LiDAR的无人机采集激光点云数据，数据遵循电网公司的《国网设备部关于印发架空输电线路激光扫描技术应用管理规定(试行)》规定；对采集的2D图像进行筛选、标注以及扩充，从基准数据集COCO-datasets中随机提取出包含输电通道异物目标的图像数据及标签，结合自建的电力场景下的数据集，建立输电通道异物图像的专用数据库。
S2、构建优化的YOLOX单阶段检测器，完成模型的训练与调参，以检测输电通道的交通工具，具体方法如下：对YOLOX的骨干网络进行改进，并优化正样本筛选策略。
进一步地，将原始的骨干网络CSPDarkNet替换为性能更佳的ConvNeXt，ConvNeXt模块中主要采用逆瓶颈结构，即按照升维-降维的顺序进行卷积操作，能够避免信息流失；模块中的深度可分离卷积由Depthwise卷积和Pointwise卷积组成，其结构保证了一个卷积核负责一个通道的特征图，大大减少了网络的计算量和参数量；另外，ConvNeXt还大大减少了下采样的次数，仅在每个ConvNeXt块之前设置了下采样层，这是由于过多的下采样操作可能导致特征图的空间分辨率过低，难以恢复，而彻底去除下采样也会增加网络计算量；这些结构设计，让ConvNeXt网络在检测精度与计算复杂度之间取得了一个比较好的平衡。
进一步地，优化SimOTA算法的正样本筛选策略，以保证网络筛选出更高质量的正样本用于损失函数计算。SimOTA算法的实施步骤为：
(1)根据中心点位置预筛选出标签框附近的预测框；
(2)计算每个标签框与每个预测框的IoU；
(3)计算排名前10个IoU的和值ki，即为每个标签框i所需的预测框数目；
(4)计算每个预测框与标签框的cost值，把cost值最小的ki个预测框作为标签框i的正样本，其余的为负样本；最终筛选出的正样本用于计算损失函数中的分类损失和回归损失，所有的样本被用于计算置信度损失；所有的样本被用于计算置信度损失；其中，cost矩阵计算公式为：
cost＝c×losscls+r×lossreg＝BCE_loss+3×IoU_loss
Cost矩阵的目的是为预测框样本自适应的拟合真实框，其遵循的原则是IoU更小、分类更准确、中心点更贴近的样本，其cost值越小。在2D-YOLO中，cost矩阵被优化。其分类损失部分被替换为varifocal loss，回归损失替换为更先进的giouloss，如下式。
cost＝vfl_loss+3×GIoU_loss
其中，
vfl_loss,GIoU_loss分别是varifocal loss和GIoU loss；q是预测框与标签框的IoU，q>0表示正样本，q＝0表示负样本，样本IoU越大，对损失贡献越大；p是预测得分；α是平衡系数；γ是损失缩放因子，以降低负样本的损失贡献，保留正样本的学习信息；Am表示两个框的最小外接矩形的面积，U表示两个框的并集面积。SimOTA算法的目的是从大量的预筛选框中选出正样本预测框，这就需要更聚焦正样本，一方面，varifocal loss通过在负样本的损失中增加缩放因子，降低负样本的损失贡献；另外，它对具有更大IoU的正样本赋予更大的权重，这可以促使模型将训练重点放在更高质量的正样本上。
进一步地，改进的YOLOX模型输出类别信息、目标位置信息和目标置信度信息。所以，针对模型的训练任务，其总损失LYOLOX包括三部分：分类损失Lcls、回归损失Lreg、目标置信度损失Lobj，如下式：
LYOLOX＝a1Lcls+a2Lreg+a3Lobj＝BCE_loss+5×IoU_loss+BCE_loss
其中，
BCE_loss＝-(tlog(p)+(1-t)log(1-p))
BCE_loss,IoU_loss分别表示二元交叉熵损失和IoU损失；p是每个类别的预测概率；t表示是否是对的类别或者目标，其值为0或1；IoU为两个框的交集区域面积与并集区域面积的比值；I(gt,pred)表示标签框与预测框相交的面积，U(gt,pred)表示标签框与预测框并集的面积；其中，只有SimOTA筛选出的正样本预测框参与分类损失和回归损失的计算，置信度损失涉及所有样本；此外，训练过程将分段衰减(Piecewise Decay)策略替换原始的Cosine学习机制，优化学习率衰减方法；利用消融实验对优化方案进行验证；在测试集对训练模型进行测试验证，并与先进的检测器进行对比。
S3、利用相机标定和姿态估计算法获取坐标转换关系，具体方法如下：
S301，利用相机标定技术获取单目相机的内参和畸变系数，为了确保更高的标定精度，试验了不同大小和材质的标定板；标定过程，固定标定板移动相机，从不同位置以及不同角度标定多张图像，尽可能地保证在所有标定图像下标定板的位置合集覆盖了整个相机视场。
S302，利用姿态估计算法，联合匹配2D图像与3D点云的特征点，计算出其坐标转换关系。针孔相机模型的坐标转换关系如下：
其中，(Xc,Yc,Zc)为相机坐标系坐标，Zc也为深度值；(u v)是像素坐标系坐标；(Xw,Yw,Zw)是世界坐标系坐标；dx,dy分别为每个像素在图像坐标系x,y方向的物理尺寸；f为相机焦距，以mm为单位；fx，fy分别是相机在x轴、y轴上的焦距；(u0,v0)为相机光心对应的像素点坐标；fx,fy,u0,v0组成了相机的内参矩阵M；R为3×3的旋转矩阵，T为3×1的平移向量，R和T组成了世界坐标到像极坐标的外参E。此外，坐标转换中需要考虑相机的径向畸变和切向畸变，即畸变系数D，它包括五个关键参数(k1,k2,k3,p1,p2)。
S303，根据上述世界坐标到像素坐标的映射关系，在2D图像和3D点云中选取超过4个匹配点，用于反投影变换的参数求解。
S4、利用目标检测结果和坐标转换关系，计算目标物顶端到电力线的最小距离：
借助目标检测结果以及坐标转换关系，计算目标检测框顶到电力线的最小三维距离，三维欧式距离的公式为：
S5、根据电网公司企业标准中对架空线路安全距离的规定，判断安全等级，及时预警目标物，具体如下：
算法对比预测的三维距离与电网公司企业标准，根据不同电压等级架空线路的安全距离，智能判断安全等级，对于小于或者接近安全距离的目标，及时发出预警。
本发明的有益效果如下：
本发明提供的一种基于人工智能的输电通道安全在线监测方法，建立了输电通道安全距离测量及监测预警模型；通过分析基于深度学习的多目标图像检测算法，聚焦输电通道异物图像识别算法的速度、精度以及模型计算复杂度三个关键指标，研究基于回归检测算法网络结构，实现异物目标的快速准确地定位与识别；探究相机二维坐标与激光雷达三维坐标的映射关系，利用相机标定以及位姿估计算法获取2D-3D坐标转换关系；结合图像的目标检测框与2D-3D映射关系，进一步实现在单目摄像头下测量输电通道异物与电力线最短三维距离的任务；结合相关企业标准，最终实现现场环境下输电通道的安全距离测量与监测预警；提出的优化单阶段检测器能精确的识别并定位出异物目标；将激光雷达数据作为先验信息，利用单目视觉实现有效的测距监测，大大减少了人力及物力消耗。
附图说明
下面结合附图和实施例对本发明作进一步说明。
图1为本发明实施例的流程示意图；
图2为本发明实施例的技术思路流程图；
图3为本发明实施例的骨干网络结构图；
图4为本发明实施例的改进YOLOX的训练损失图；
图5和图6为本发明实施例的YOLOX检测结果图；
图7和图8为本发明实施例的提出方法的检测结果图；
图9为本发明实施例的标定板选取试验图；
图10为本发明实施例的标定时相机的拍摄位置及角度图；
图11为本发明实施例的角点检测图；
图12为本发明实施例的标定重投影误差；
图13为本发明实施例的2D-3D联合匹配图；
图14为本发明实施例的相机成像模型的坐标转换关系图；
图15和图16为本发明实施例的视频帧中面包车到电力线②和③的最小距离图。
具体实施方式
如图1中，一种基于人工智能的输电通道安全在线监测方法，它包括如下步骤：
S1、获取输电通道监拍图像与激光点云数据，对图像进行筛选及预处理，建立输电通道异物图像的专用数据库；
S2、构建优化的YOLOX单阶段检测器，完成模型的训练与调参，以检测输电通道的交通工具；
S3、利用相机标定和姿态估计算法获取坐标转换关系；
S4、利用目标检测结果和坐标转换关系，计算目标物顶端到电力线的最小距离；
优选地，如图2所示，主要分为2D的单阶段检测器和3D的测距两部分构成。
S5、根据电网公司企业标准中对架空线路安全距离的规定，判断安全等级，及时预警目标物。
优选的方案中，在S1中，通过架设在杆塔上的监拍摄像头获取2D图像；利用搭载LiDAR的无人机采集激光点云数据，数据遵循电网公司的《国网设备部关于印发架空输电线路激光扫描技术应用管理规定(试行)》规定；对采集的2D图像进行筛选、标注以及扩充，从基准数据集COCO-datasets中随机提取出包含输电通道异物目标的图像数据及标签，结合自建的电力场景下的数据集，建立输电通道异物图像的专用数据库。
优选的方案中，在S2中，对YOLOX的骨干网络进行改进，并优化正样本筛选策略：
S201，将原始的骨干网络CSPDarkNet替换为性能更佳的ConvNeXt；
优选地，ConvNeXt结合ResNet与Vision Transformer的结构特性，在ImageNet分类数据集上取得了最佳表现。根据模型的性能或复杂度，ConvNeXt被分为四种形式。综合检测性能、速度以及计算量，选取ConvNeXt-S为骨干网络，其结构如图3所示。
进一步地，ConvNeXt网络主要包括基础输入模块C1和4个带ConvNeXt堆叠块的部分C2-C5，其堆叠次数分别为(3,3,27,3)。ConvNeXt模块中主要采用了逆瓶颈结构，即按照升维-降维的顺序进行卷积操作，能够避免信息流失；模块中的深度可分离卷积由Depthwise卷积和Pointwise卷积组成；其结构保证了一个卷积核负责一个通道的特征图，大大减少了网络的计算量和参数量。另外，ConvNeXt还大大减少了下采样的次数，仅在每个ConvNeXt块之前设置了下采样层。这是由于过多的下采样操作可能导致特征图的空间分辨率过低，难以恢复。而彻底去除下采样也会增加网络计算量。这些结构设计，让ConvNeXt网络在检测精度与计算复杂度之间取得了一个比较好的平衡。
S202，优化原始YOLOX模型的SimOTA算法的正样本筛选策略，以保证网络筛选出更高质量的正样本用于损失函数计算。
进一步地，SimOTA算法的实施步骤为：
(1)根据中心点位置预筛选出标签框附近的预测框；
(2)计算每个标签框与每个预测框的IoU；
(3)计算排名前10个IoU的和值ki，即为每个标签框i所需的预测框数目；
(4)计算每个预测框与标签框的cost值，把cost值最小的ki个预测框作为标签框i的正样本，其余的为负样本。最终筛选出的正样本用于计算损失函数中的分类损失和回归损失，所有的样本被用于计算置信度损失；其中，cost矩阵计算公式为：
cost＝c×losscls+r×lossreg＝BCE_loss+3×IoU_loss
优选地，Cost矩阵的目的是为预测框样本自适应的拟合真实框，其遵循的原则是IoU更小、分类更准确、中心点更贴近的样本，其cost值越小；在2D-YOLO中，cost矩阵被优化；其分类损失部分被替换为varifocal loss，回归损失替换为更先进的giouloss，如下式。
cost＝vfl_loss+3×GIoU_loss
其中，
vfl_loss,GIoU_loss分别是varifocal loss和GIoU loss；q是预测框与标签框的IoU，q>0表示正样本，q＝0表示负样本，样本IoU越大，对损失贡献越大；p是预测得分；α是平衡系数；γ是损失缩放因子，以降低负样本的损失贡献，保留正样本的学习信息；Am表示两个框的最小外接矩形的面积，U表示两个框的并集面积。
进一步地，SimOTA算法的目的是从大量的预筛选框中选出正样本预测框，这就需要更聚焦正样本，一方面，varifocal loss通过在负样本的损失中增加缩放因子，降低负样本的损失贡献；另外，它对具有更大IoU的正样本赋予更大的权重，这可以促使模型将训练重点放在更高质量的正样本上。
优选的方案中，改进的YOLOX模型输出类别信息、目标位置信息和目标置信度信息。所以，针对模型的训练任务，其总损失LYOLOX包括三部分：分类损失Lcls、回归损失Lreg、目标置信度损失Lobj，如下式：
LYOLOX＝a1Lcls+a2Lreg+a3Lobj＝BCE_loss+5×IoU_loss+BCE_loss
其中，
BCE_loss＝-(tlog(p)+(1-t)log(1-p))
BCE_loss,IoU_loss分别表示二元交叉熵损失和IoU损失；p是每个类别的预测概率；t表示是否是对的类别或者目标，其值为0或1；IoU为两个框的交集区域面积与并集区域面积的比值；I(gt,pred)表示标签框与预测框相交的面积，U(gt,pred)表示标签框与预测框并集的面积；其中，只有SimOTA筛选出的正样本预测框参与分类损失和回归损失的计算，置信度损失涉及所有样本。
进一步地，训练过程将分段衰减(Piecewise Decay)策略替换原始的Cosine学习机制，优化学习率衰减方法；利用消融实验对优化方案进行验证；在测试集对训练模型进行测试验证，并与先进的检测器进行对比。
优选地，单阶段检测器从ConvNeXt权重开始初始化训练；带Nesterov动量的随机梯度下降和L2正则化项被用于优化目标函数，动量与权重衰减因子分别为0.9和0.0005；训练输入的每个批次大小设置为2，共训练200个epoch，使用Mosaic&Mixup图像增强训练直到185epoch。此外，一系列数据增强策略被加入模型训练：如色域增强、尺度变换、Mosaic&Mixup图像增强等策略。
优选地，对YOLOX的优化方案进行消融实验，将不同方案分别进行训练，并在测试集上进行测试，IoU阈值为0.5时，提出方案不仅取得了最高的检测精度0.855，还达到最快的检测速度23FPS。
优选地，提出方法和Cosine学习机制训练模型的训练损失曲线如图4所示，piecewise学习机制可以让模型收敛更快，并收敛到更低的损失值。
优选地，如图5～8所示，通过对比图5～8，针对复杂环境及小目标对象，提出方法仍然能够精确的识别并定位目标。然而，由于背景遮挡以及目标重叠等原因，导致YOLOX出现误检情况；如图5和图6，出现了多余的检测框，这也证明了优化后的模型具有更强的鲁棒性。
优选的方案中，在S3中，利用相机标定技术获取单目相机的内参和畸变系数；利用姿态估计算法，联合匹配2D图像与3D点云的特征点，计算出其坐标转换关系；
优选地，为了确保更高的标定精度，试验了不同大小和材质的标定板，如图9所示；标定过程，固定标定板移动相机，从不同位置以及不同角度标定多张图像，尽可能地保证载所有标定图像下标定板的位置合集覆盖了整个相机视场。图10展示了实验的拍摄方位及角度；图11和图12分别展示了标定后得到的角点检测效果和重投影误差。
优选地，利用2D-3D联合匹配实现相机图像与激光点云的姿态估计，以边缘点优先的原则，选取超过4对匹配点，如图13所示。
优选地，图14展示了输电通道视频监拍的场景及相机成像模型的四个坐标系，利用架设在电塔上的摄像头获取输电通道的2D图像，搭载LiDAR的无人机(UAV)获取3D点云。其中，LiDAR点云作为先验信息，用于联合监拍图像获取外部参数。联合匹配以二维图像的视角为基准，调整激光雷达的三维点云视角。通过旋转、平移、投影，使三维点的映射与二维点重合，以求得变换参数。针孔相机模型的坐标转换关系如下：
其中，(Xc,Yc,Zc)为相机坐标系坐标，Zc也为深度值；(u v)是像素坐标系坐标；(Xw,Yw,Zw)是世界坐标系坐标；dx,dy分别为每个像素在图像坐标系x,y方向的物理尺寸；f为相机焦距，以mm为单位；fx，fy分别是相机在x轴、y轴上的焦距；(u0,v0)为相机光心对应的像素点坐标；fx,fy,u0,v0组成了相机的内参矩阵M；R为3×3的旋转矩阵，T为3×1的平移向量，R和T组成了世界坐标到像极坐标的外参E。此外，坐标转换中需要考虑相机的径向畸变和切向畸变，即畸变系数D，它包括五个关键参数(k1,k2,k3,p1,p2)。
优选地，根据上述世界坐标到像素坐标的映射关系，在2D图像和3D点云中选取超过4个匹配点，用于反投影变换的参数求解。借助目标检测结果以及坐标转换关系，计算目标检测框顶到电力线的最小三维距离，三维欧式距离的公式为：
优选地，测量激光点云中电力线到地面的距离，作为实验的距离标签。实验将监拍的视频数据作为输入，模型输出逐帧的检测结果。图15～16展示了连续帧中交通工具到电力线的最小距离；根据车辆标准高度，换算预测的电力线到地面的距离，进一步计算测量误差，以验证测距精度。
优选的方案中，在S5中，算法对比预测的三维距离与电网公司企业标准相关规定，根据不同电压等级架空线路的安全距离，智能判断安全等级，对于小于或者接近安全距离的目标，及时发出预警。
Claims (7)
1.一种基于人工智能的输电通道安全在线监测方法，其特征在于：包括如下步骤：
S1、获取输电通道监拍图像与激光点云数据，对图像进行筛选及预处理，建立输电通道异物图像的专用数据库；
S2、构建优化的YOLOX单阶段检测器，完成模型的训练与调参，以检测输电通道的交通工具；
S3、利用相机标定和姿态估计算法获取坐标转换关系；
S4、利用目标检测结果和坐标转换关系，计算目标物顶端到电力线的最小距离；
S5、判断安全等级，及时预警目标物。
2.根据权利要求1所述的基于人工智能的输电通道安全在线监测方法，其特征在于：步骤S1中，通过架设在杆塔上的监拍摄像头获取2D图像；利用搭载LiDAR的无人机采集激光点云数据；对采集的2D图像进行筛选、标注以及扩充，从基准数据集COCO-datasets中随机提取出包含输电通道异物目标的图像数据及标签，结合自建的电力场景下的数据集，建立输电通道异物图像的专用数据库。
3.根据权利要求1所述的基于人工智能的输电通道安全在线监测方法，其特征在于：步骤S2中，对YOLOX的骨干网络进行改进，并优化正样本筛选策略，具体方法如下：
S201，将原始的骨干网络CSPDarkNet替换为ConvNeXt；ConvNeXt模块中的深度可分离卷积由Depthwise卷积和Pointwise卷积组成；
S202，优化SimOTA算法的正样本筛选策略，以保证网络筛选出更高质量的正样本用于损失函数计算，SimOTA算法的实施步骤为：
(1)根据中心点位置预筛选出标签框附近的预测框；
(2)计算每个标签框与每个预测框的IoU；
(3)计算排名前10个IoU的和值ki，即为每个标签框i所需的预测框数目；
(4)计算每个预测框与标签框的cost值，把cost值最小的ki个预测框作为标签框i的正样本，其余的为负样本；最终筛选出的正样本用于计算损失函数中的分类损失和回归损失，所有的样本被用于计算置信度损失；其中，cost矩阵计算公式为：
cost＝c×losscls+r×lossreg＝BCE_loss+3×IoU_loss；
Cost矩阵中，IoU更小、分类更准确、中心点更贴近的样本，其cost值越小；在2D-YOLO中，cost矩阵被优化，其分类损失部分被替换为varifocal loss，回归损失替换为giouloss，如下式：
cost＝vfl_loss+3×GIoU_loss；
其中，
式中，vfl_loss和GIoU_loss分别是varifocal loss和GIoU loss；q是预测框与标签框的IoU，q>0表示正样本，q＝0表示负样本，样本IoU越大，对损失贡献越大；p是预测得分；α是平衡系数；γ是损失缩放因子，以降低负样本的损失贡献，保留正样本的学习信息；Am表示两个框的最小外接矩形的面积，U表示两个框的并集面积。
4.根据权利要求3所述的基于人工智能的输电通道安全在线监测方法，其特征在于：改进的YOLOX模型输出类别信息、目标位置信息和目标置信度信息，因此针对模型的训练任务，其总损失LYOLOX包括三部分：分类损失Lcls、回归损失Lreg和目标置信度损失Lobj，计算公式如下：
LYOLOX＝a1Lcls+a2Lreg+a3Lobj＝BCE_loss+5×IoU_loss+BCE_loss；
其中：
BCE_loss＝-(tlog(p)+(1-t)log(1-p))；
式中，BCE_loss和IoU_loss分别表示二元交叉熵损失和IoU损失；p是每个类别的预测概率；t表示是否是对的类别或者目标，其值为0或1；IoU为两个框的交集区域面积与并集区域面积的比值；I(gt,pred)表示标签框与预测框相交的面积，U(gt,pred)表示标签框与预测框并集的面积。
5.根据权利要求1所述的基于人工智能的输电通道安全在线监测方法，其特征在于：步骤S3包括以下步骤：
S301，利用相机标定技术获取单目相机的内参和畸变系数，为了确保更高的标定精度，通过不同大小和材质的标定板进行试验；标定过程中，固定标定板移动相机，从不同位置以及不同角度标定多张图像，使所有标定图像下标定板的位置合集覆盖了整个相机视场；
S302，利用姿态估计算法，联合匹配2D图像与3D点云的特征点，计算出其坐标转换关系；针孔相机模型的坐标转换关系如下：
其中，(Xc,Yc,Zc)为相机坐标系坐标，Zc也为深度值；(u,v)是像素坐标系坐标；(Xw,Yw,Zw)是世界坐标系坐标；dx,dy分别为每个像素在图像坐标系x,y方向的物理尺寸；f为相机焦距，以mm为单位；fx，fy分别是相机在x轴、y轴上的焦距；(u0,v0)为相机光心对应的像素点坐标；fx,fy,u0,v0组成了相机的内参矩阵M；R为3×3的旋转矩阵，T为3×1的平移向量，R和T组成了世界坐标到像极坐标的外参E；坐标转换中需要考虑相机的径向畸变和切向畸变，即畸变系数D，包括五个关键参数(k1,k2,k3,p1,p2)；
S303，根据上述世界坐标到像素坐标的映射关系，在2D图像和3D点云中选取超过4个匹配点用于反投影变换的参数求解。
6.根据权利要求1所述的基于人工智能的输电通道安全在线监测方法，其特征在于：步骤S4中，借助目标检测结果以及坐标转换关系，计算目标检测框到电力线的最小三维距离，三维欧式距离的计算公式为：
7.根据权利要求1所述的基于人工智能的输电通道安全在线监测方法，其特征在于：步骤S5中，算法对比预测的三维距离与电网公司企业标准相关规定，根据不同电压等级架空线路的安全距离，智能判断安全等级，对于小于或者接近安全距离的目标，及时发出预警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211346600.4A CN115995058A (zh) | 2022-10-31 | 2022-10-31 | 基于人工智能的输电通道安全在线监测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211346600.4A CN115995058A (zh) | 2022-10-31 | 2022-10-31 | 基于人工智能的输电通道安全在线监测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115995058A true CN115995058A (zh) | 2023-04-21 |
Family
ID=85993184
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211346600.4A Pending CN115995058A (zh) | 2022-10-31 | 2022-10-31 | 基于人工智能的输电通道安全在线监测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115995058A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117092641A (zh) * | 2023-10-20 | 2023-11-21 | 江苏翰林正川工程技术有限公司 | 一种基于雷达测距与图像识别的信息融合方法 |
| CN117475365A (zh) * | 2023-12-26 | 2024-01-30 | 国网天津市电力公司高压分公司 | 一种输电通道风险识别方法、系统、设备及存储介质 |
| CN117725839A (zh) * | 2024-01-08 | 2024-03-19 | 宁夏大学 | 基于多源数据专注监测的输电塔易损性评估方法 |
| CN118400543A (zh) * | 2024-06-25 | 2024-07-26 | 湖北华中电力科技开发有限责任公司 | 一种基于图像处理的架空输电线路的异物检测方法及系统 |
-
2022
- 2022-10-31 CN CN202211346600.4A patent/CN115995058A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117092641A (zh) * | 2023-10-20 | 2023-11-21 | 江苏翰林正川工程技术有限公司 | 一种基于雷达测距与图像识别的信息融合方法 |
| CN117092641B (zh) * | 2023-10-20 | 2023-12-15 | 江苏翰林正川工程技术有限公司 | 一种基于雷达测距与图像识别的信息融合方法 |
| CN117475365A (zh) * | 2023-12-26 | 2024-01-30 | 国网天津市电力公司高压分公司 | 一种输电通道风险识别方法、系统、设备及存储介质 |
| CN117725839A (zh) * | 2024-01-08 | 2024-03-19 | 宁夏大学 | 基于多源数据专注监测的输电塔易损性评估方法 |
| CN118400543A (zh) * | 2024-06-25 | 2024-07-26 | 湖北华中电力科技开发有限责任公司 | 一种基于图像处理的架空输电线路的异物检测方法及系统 |
| CN118400543B (zh) * | 2024-06-25 | 2024-09-13 | 湖北华中电力科技开发有限责任公司 | 一种基于图像处理的架空输电线路的异物检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115995058A (zh) | 基于人工智能的输电通道安全在线监测方法 | |
| CN106356757B (zh) | 一种基于人眼视觉特性的电力线路无人机巡检方法 | |
| US11948344B2 (en) | Method, system, medium, equipment and terminal for inland vessel identification and depth estimation for smart maritime | |
| Yang et al. | Deep learning‐based bolt loosening detection for wind turbine towers | |
| CN108734143A (zh) | 一种巡检机器人的基于双目视觉的输电线路在线检测方法 | |
| CN114359181B (zh) | 一种基于图像和点云的智慧交通目标融合检测方法及系统 | |
| CN113269040A (zh) | 结合图象识别与激光雷达点云分割的驾驶环境感知方法 | |
| CN113281780B (zh) | 对图像数据进行标注的方法、装置及电子设备 | |
| CN116385958A (zh) | 一种用于电网巡检和监控的边缘智能检测方法 | |
| CN117670820A (zh) | 一种塑料薄膜生产缺陷检测方法及系统 | |
| CN115809986A (zh) | 一种多传感器融合的输电走廊智能外破检测方法 | |
| CN111354028B (zh) | 基于双目视觉的输电通道隐患物识别追踪方法 | |
| CN115909092A (zh) | 轻量化输电通道隐患测距方法及隐患预警装置 | |
| CN115100741B (zh) | 一种点云行人距离风险检测方法、系统、设备和介质 | |
| CN113569981A (zh) | 一种基于单阶段目标检测网络的电力巡检鸟窝检测方法 | |
| CN113962973A (zh) | 一种基于卫星技术的输电线路无人机智能巡检系统及方法 | |
| CN115409814A (zh) | 一种基于融合图像的光伏组件热斑检测方法及系统 | |
| CN114842340A (zh) | 一种机器人双目立体视觉障碍物感知方法与系统 | |
| CN116703864A (zh) | 基于偏振成像和集成学习的路面病害自动检测系统及方法 | |
| CN115761265A (zh) | 一种用于提取激光雷达点云中变电站设备的方法及装置 | |
| Carratù et al. | Vision-Based System for Measuring the Diameter of Wood Logs | |
| CN114120061A (zh) | 一种面向电力巡检场景的小目标缺陷检测方法及系统 | |
| Yang et al. | DC-KD: double-constraint knowledge distillation for optical satellite imagery object detection based on YOLOX model | |
| CN118314488B (zh) | 一种特高压变电站空天地多尺度重决策目标检测方法 | |
| CN116681955B (zh) | 用于交通护栏异常识别的方法及计算设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |