CN115294476A - 面向无人机电力巡检的边缘计算智能检测方法及设备 - Google Patents
面向无人机电力巡检的边缘计算智能检测方法及设备 Download PDFInfo
- Publication number
- CN115294476A CN115294476A CN202210869351.0A CN202210869351A CN115294476A CN 115294476 A CN115294476 A CN 115294476A CN 202210869351 A CN202210869351 A CN 202210869351A CN 115294476 A CN115294476 A CN 115294476A
- Authority
- CN
- China
- Prior art keywords
- module
- aerial vehicle
- unmanned aerial
- yolo
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 175
- 238000007689 inspection Methods 0.000 title claims abstract description 135
- 238000004364 calculation method Methods 0.000 title claims abstract description 43
- 230000005540 biological transmission Effects 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 54
- 238000000605 extraction Methods 0.000 claims abstract description 42
- 230000007547 defect Effects 0.000 claims abstract description 32
- 238000013461 design Methods 0.000 claims abstract description 8
- 230000004927 fusion Effects 0.000 claims description 48
- 238000012545 processing Methods 0.000 claims description 31
- 238000013135 deep learning Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 25
- 230000007246 mechanism Effects 0.000 claims description 22
- 238000011176 pooling Methods 0.000 claims description 20
- 238000013136 deep learning model Methods 0.000 claims description 11
- 230000008878 coupling Effects 0.000 claims description 10
- 238000010168 coupling process Methods 0.000 claims description 10
- 238000005859 coupling reaction Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 10
- 230000006978 adaptation Effects 0.000 claims description 9
- 230000002159 abnormal effect Effects 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 5
- 230000006641 stabilisation Effects 0.000 claims description 5
- 238000011105 stabilization Methods 0.000 claims description 5
- 230000005856 abnormality Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 230000006872 improvement Effects 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 8
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000011897 real-time detection Methods 0.000 abstract description 4
- 230000004044 response Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 9
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Remote Sensing (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种面向无人机电力巡检的边缘计算智能检测方法及设备。所述方法包括：步骤1至步骤5。本发明构建了一个多类别、多尺度的电力线路的缺陷数据集，并设计了两种不同量级，适用于不同算例设备的网络模型，解决边端计算不同算力负载条件下的稳健电力目标提取与故障判别问题，在无人机设备端提出目标检测速度快的CA‑Yolov4‑Tiny网络，实现电力巡检过程的实时检测；在地面边缘云设备端使用CA‑YOLO网络模型，精化机上检测结果；同时利用5G传输技术有效降低响应时延、提升传输带宽容量，解决无人机巡检AI装置数据传输共享瓶颈。
Description
技术领域
本发明实施例涉及电网运维技术领域，尤其涉及一种面向无人机电力巡检的边缘计算智能检测方法及设备。
背景技术
目前无人机遥感技术发展已经相对成熟，已在电力巡检中得到广泛使用。无人机平台的电力线路巡检系统由于操控方式灵活、运营成本低的特点，得到了电力企业的认可和大规模推广应用，成为了电力巡检和建设规划领域新的发展方向。但是目前无人机巡检存在一些缺陷，一是输电线路类别众多，需要构建一个数量庞大、尺度多样的样本库；二是输电线路的目标类别样本一般呈现长尾分布，同时相比地面相机拍摄的影像尺寸更大、分辨率更高、背景更复杂，传统的卷积神经网络在样本库上无法达到良好的效果；三是目前无人机巡检存在模型检测速度慢同时图像不能实时传输的缺点，因而不能实时检测出电网故障并及时回传给巡检人员，做出及时的决断。因此，开发一种面向无人机电力巡检的边缘计算智能检测方法及设备，可以有效克服上述相关技术中的缺陷，就成为业界亟待解决的技术问题。
发明内容
针对现有技术存在的上述问题，本发明实施例提供了一种面向无人机电力巡检的边缘计算智能检测方法及设备。
第一方面，本发明的实施例提供了一种面向无人机电力巡检的边缘计算智能检测方法，包括：步骤1、确定面向无人机电力巡检的边缘计算智能检测装置，该装置以大疆M300无人机为搭载平台；步骤2、分别设计两种注意力机制耦合YOLO方法的高效目标检测深度学习网络CA-YOLO-Tiny与CA-YOLO，采用构建的样本库分别对CA-YOLO与CA-YOLO-Tiny进行训练，得到电力线路目标与缺陷隐患识别深度学习模型；步骤3、将CA-YOLO-Tiny与CA-YOLO分别部署于无人机机上AI计算装置上与边缘计算设备上；步骤4、无人机实时采集电力线路待检测巡检影像，将电力线路待检测巡检影像输入CA-YOLO-Tiny进行初步检测，将检测异常的数据传输到地面边缘云装置通过CA-YOLO进行二次精华提取；步骤5、通过互联网传输检测结果，在终端查看、回放无人机电力巡检数据、检测到的部件及缺陷隐患。
在上述方法实施例内容的基础上，本发明实施例中提供的面向无人机电力巡检的边缘计算智能检测方法，所述步骤1的具体实现包括：步骤1.1，设计智能检测装置中的图像采集模块，模块中的主要设备为D455深度实感摄像头，用于调整拍摄角度、自动对焦以及自动白平衡的功能，图像采集模块用于采集输电线路无人机巡检影像，然后通过巡检图像AI数据处理模块进行处理；步骤1.2：设计智能检测装置中的数据传输模块，数据传输模块中的主要设备包含5G图像传输模块，采用MainLink MK-V0201型号的无线图传硬件，MainLinkMK-V0201提供长距离、高带宽的数据传输功能，其主要功能为通过高速带宽和远距离将原始图像以及识别完成后的结果图像传输带地面边缘云设备，以完成与边端、云端的图像相关数据传输以及设备工作状况检校；步骤1.3：设计智能检测装置中的电源适配模块，以OSDK模块以及电源模块构成，电源模块通过大疆OSDK的电源接口将机载24V电源改变为机载设备使用的电压，用于降压和稳压；步骤1.4：设计智能检测装置中的巡检图像AI数据处理模块，位于无人机设备最上方，由嵌入式Linux高性能计算机Xavier及相关计算机组件组成，包括一个8核NVIDIA Carmel ARMv8.2 64位CPU，由8个流多处理器组成的512核Volta架构的GPU，该模块内置Ubuntu操作系统并搭载一种面向无人机电力巡检的边缘计算智能检测方法，可以接受数据采集模块接收来的数据进行实时处理，设计智能检测装置中的巡检图像AI数据处理模块的主要作用是将采集的巡检图像，进行深度学习模型推理，识别杆塔部件和缺陷；步骤1.5：设计智能检测装置中的GNSS定位模块，以GNSS天线和配置的ATK-S1216F8-BDGPS/北斗模块组成，用于接收GNSS信号实现无人机实时定位，设计智能检测装置中的GNSS定位模块为设备采集的数据以及识别的数据提供实时的北斗GNSS系统定位信息。
在上述方法实施例内容的基础上，本发明实施例中提供的面向无人机电力巡检的边缘计算智能检测方法，所述步骤2的具体实现包括：步骤2.1：按照国家电力巡检的相关要求设置采集区域并规划航线，根据无人机巡检规范以及无人机分析准则采集电力线路区域影像，确保图像待标记区域占据图像预定比例；采集完成的图像通过无人机设备数据传输模块传送到云端，获取无人机电力巡检规范化影像，使用labelimg标注软件对巡检影像中的多目标、缺陷进行规范化标注，并通过固定的格式进行原始、标注数据处理，形成标准数据集；步骤2.2：基于YOLOv4、YOLOv4-Tiny网络结构进行改进，分别设计两种注意力机制耦合YOLO方法的高效目标检测深度学习网络CA-YOLO-Tiny与CA-YOLO；所改进得到的CA-YOLO算法模型包括特征提取骨干网结构、SPP空间金字塔池化模块、PANet特征融合模块和检测网；特征提取骨干网使用CSPDarknet53作为骨干网络，其中Darknet53包含了5个大残差块，这5个大残差块包含的小残差单元个数分别为1、2、8、8、4，输入的图像通过Darknet53进行特征提取后，第五层输出的结果作为SPP池化模块的输入，第三层、第四层及SPP层的输出作为PANet特征融合模块的输入；SPP层包含三个最大池化层，池化核大小分别为5×5、9×9、13×13，输出时将输入和经过三个池化处理的特征进行融合；PANet特征融合模块通过融合自底向上和自顶向下两个路径的特征增加模型的表征能力，将Darknet53第三层和第四层以及第五层经过SPP层处理的结果作为输入，第五层输入经过上采样和第四层融合后，融合结果再进行上采样与第三层融合，完成自底向上的融合，随后将第三层进行下采样与融合的第四层进行融合，融合结果再与第五层进行融合，完成自顶向下的融合；各层的融合结果经过CA注意力机制模块后，通过与YOLOv3相同的检测头进行多尺度检测；改进得到的CA-YOLO-Tiny算法模型包括特征提取骨干网结构和多尺度检测网；特征提取骨干网使用CSPDarknet53-Tiny作为骨干网络，包含三个CBL模块和三个CSP模块，用于提取输入特征，CBL的设计是相同的，基本模块由二维卷积、批量归一化和Leaky激活函数组成，通过两个CBL模块对特征图进行降采样并增加特征通道，然后通过三个连续的CSP模块来实现更丰富的梯度组合信息，最后连接到一个CBL模块进行特征提取，通道数分别等于32、64、128、256、512、512；多尺度检测网包含两个子网络，子网络1通过CBL模块和卷积层提取骨干网第三CSP模块输出的512通道的特征，然后通过CA注意力机制模块、CBL模块和卷积层进行处理，随后输入到26×26×255检测头进行回归和预测，子网络2将通过FPN结构从子网络1获得的特征与骨干网中第二个CSP层输出的特征合并，用于自上而下地将高层语义信息与自身的低层语义信息融合，再通过CA注意力机制模块、CBL模块和卷积层，随后送入13×13×255检测头进行回归和预测；步骤2.3：利用步骤2.1中得到的标准数据集，使用随机梯度下降法和反向传播法对CA-YOLO-Tiny与CA-YOLO深度学习卷积神经网络进行训练，获得收敛的电力线路目标检测与故障检测模型权重。
在上述方法实施例内容的基础上，本发明实施例中提供的面向无人机电力巡检的边缘计算智能检测方法，所述步骤3的具体实现包括：步骤3.1：在无人机机上AI计算装置上与边缘计算设备上配置深度学习环境，包括深度学习框架及相关软件安装包；步骤3.2：将目标检测深度学习网络CA-YOLO-Tiny与CA-YOLO对应安装至计算平台上；步骤3.3，将训练好的权重文件配置到对应的网络模型中。
在上述方法实施例内容的基础上，本发明实施例中提供的面向无人机电力巡检的边缘计算智能检测方法，所述步骤4的具体实现包括：步骤4.1：由边缘计算智能检测装置进行任务执行，对待巡检的电力线路进行巡检工作，获得巡检影像；步骤4.2：将巡检影像输入到无人机装置中的巡检图像AI数据处理模块，使用CA-YOLO-Tiny目标检测模型进行初步的目标检测与缺陷检测；步骤4.3：将检测结果中存在异常的数据通过数据传输模块传输至边缘计算设备上；步骤4.4：由边缘计算平台中的CA-YOLO网络模型，对步骤4.3中的异常数据进行二次精华提取，获得更精细的检测结果。
第二方面，本发明的实施例提供了一种面向无人机电力巡检的边缘计算智能检测装置，包括：第一主模块，用于实现步骤1、确定面向无人机电力巡检的边缘计算智能检测装置，该装置以大疆M300无人机为搭载平台；第二主模块，用于实现步骤2、分别设计两种注意力机制耦合YOLO方法的高效目标检测深度学习网络CA-YOLO-Tiny与CA-YOLO，采用构建的样本库分别对CA-YOLO与CA-YOLO-Tiny进行训练，得到电力线路目标与缺陷隐患识别深度学习模型；第三主模块，用于实现步骤3、将CA-YOLO-Tiny与CA-YOLO分别部署于无人机机上AI计算装置上与边缘计算设备上；第四主模块，用于实现步骤4、无人机实时采集电力线路待检测巡检影像，将电力线路待检测巡检影像输入CA-YOLO-Tiny进行初步检测，将检测异常的数据传输到地面边缘云装置通过CA-YOLO进行二次精华提取；第五主模块，用于实现步骤5、通过互联网传输检测结果，在终端查看、回放无人机电力巡检数据、检测到的部件及缺陷隐患。
第三方面，本发明的实施例提供了一种电子设备，包括：
至少一个处理器；以及
与处理器通信连接的至少一个存储器，其中：
存储器存储有可被处理器执行的程序指令，处理器调用程序指令能够执行第一方面的各种实现方式中任一种实现方式所提供的面向无人机电力巡检的边缘计算智能检测方法。
第四方面，本发明的实施例提供了一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行第一方面的各种实现方式中任一种实现方式所提供的面向无人机电力巡检的边缘计算智能检测方法。
本发明实施例提供的面向无人机电力巡检的边缘计算智能检测方法及设备，构建了一个多类别、多尺度的电力线路的缺陷数据集，并设计了两种不同量级，适用于不同算例设备的网络模型，解决边端计算不同算力负载条件下的稳健电力目标提取与故障判别问题，在无人机设备端提出目标检测速度快的CA-Yolov4-Tiny网络，实现电力巡检过程的实时检测；在地面边缘云设备端使用CA-YOLO网络模型，精化机上检测结果；同时利用5G传输技术有效降低响应时延、提升传输带宽容量，解决无人机巡检AI装置数据传输共享瓶颈。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单的介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的面向无人机电力巡检的边缘计算智能检测方法流程图；
图2为本发明实施例提供的面向无人机电力巡检的边缘计算智能检测装置结构示意图；
图3为本发明实施例提供的电子设备的实体结构示意图；
图4为本发明实施例提供的面向无人机电力巡检的边缘计算智能检测方法与装置的设备模块结构图；
图5为本发明实施例提供的面向无人机电力巡检的边缘计算智能检测方法与装置的CA-YOLO-Tiny神经网络结构图；
图6为本发明实施例提供的面向无人机电力巡检的边缘计算智能检测方法与装置的CA-YOLO神经网络结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，本发明提供的各个实施例或单个实施例中的技术特征可以相互任意结合，以形成可行的技术方案，这种结合不受步骤先后次序和/或结构组成模式的约束，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
以无人机电力巡检图像为研究对象，采用针对于长尾分布的无人机数据集的目标识别网络模型，解决传统神经网络检测效果差的问题，同时采用移动边缘云计算的方式解决无人机电力巡检无法实时检测难点，在无人机终端上部署现场级边缘计算节点，而电力巡检的侧边缘节点部署于地面即地面服务器。移动边缘计算能够将通信、计算和存储资源下沉到设备终端侧，从而能够有效的降低无人机电力巡检的数据传输时延，实现电力实时巡检。基于这种思想，本发明实施例提供了一种面向无人机电力巡检的边缘计算智能检测方法，参见图1，该方法包括：步骤1、确定面向无人机电力巡检的边缘计算智能检测装置，该装置以大疆M300无人机为搭载平台；步骤2、分别设计两种注意力机制耦合YOLO方法的高效目标检测深度学习网络CA-YOLO-Tiny与CA-YOLO，采用构建的样本库分别对CA-YOLO与CA-YOLO-Tiny进行训练，得到电力线路目标与缺陷隐患识别深度学习模型；步骤3、将CA-YOLO-Tiny与CA-YOLO分别部署于无人机机上AI计算装置上与边缘计算设备上；步骤4、无人机实时采集电力线路待检测巡检影像，将电力线路待检测巡检影像输入CA-YOLO-Tiny进行初步检测，将检测异常的数据传输到地面边缘云装置通过CA-YOLO进行二次精华提取；步骤5、通过互联网传输检测结果，在终端查看、回放无人机电力巡检数据、检测到的部件及缺陷隐患。
基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的面向无人机电力巡检的边缘计算智能检测方法，所述步骤1的具体实现包括：步骤1.1，设计智能检测装置中的图像采集模块，模块中的主要设备为D455深度实感摄像头，用于调整拍摄角度、自动对焦以及自动白平衡的功能，图像采集模块用于采集输电线路无人机巡检影像，然后通过巡检图像AI数据处理模块进行处理；步骤1.2：设计智能检测装置中的数据传输模块，数据传输模块中的主要设备包含5G图像传输模块，采用MainLink MK-V0201型号的无线图传硬件，MainLink MK-V0201提供长距离、高带宽的数据传输功能，其主要功能为通过高速带宽和远距离将原始图像以及识别完成后的结果图像传输带地面边缘云设备，以完成与边端、云端的图像相关数据传输以及设备工作状况检校；步骤1.3：设计智能检测装置中的电源适配模块，以OSDK模块以及电源模块构成，电源模块通过大疆OSDK的电源接口将机载24V电源改变为机载设备使用的电压，用于降压和稳压；步骤1.4：设计智能检测装置中的巡检图像AI数据处理模块，位于无人机设备最上方，由嵌入式Linux高性能计算机Xavier及相关计算机组件组成，包括一个8核NVIDIA Carmel ARMv8.2 64位CPU，由8个流多处理器组成的512核Volta架构的GPU，该模块内置Ubuntu操作系统并搭载一种面向无人机电力巡检的边缘计算智能检测方法，可以接受数据采集模块接收来的数据进行实时处理，设计智能检测装置中的巡检图像AI数据处理模块的主要作用是将采集的巡检图像，进行深度学习模型推理，识别杆塔部件和缺陷；步骤1.5：设计智能检测装置中的GNSS定位模块，以GNSS天线和配置的ATK-S1216F8-BDGPS/北斗模块组成，用于接收GNSS信号实现无人机实时定位，设计智能检测装置中的GNSS定位模块为设备采集的数据以及识别的数据提供实时的北斗GNSS系统定位信息。
基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的面向无人机电力巡检的边缘计算智能检测方法，所述步骤2的具体实现包括：步骤2.1：按照国家电力巡检的相关要求设置采集区域并规划航线，根据无人机巡检规范以及无人机分析准则采集电力线路区域影像，确保图像待标记区域占据图像预定比例；采集完成的图像通过无人机设备数据传输模块传送到云端，获取无人机电力巡检规范化影像，使用labelimg标注软件对巡检影像中的多目标、缺陷进行规范化标注，并通过固定的格式进行原始、标注数据处理，形成标准数据集；步骤2.2：基于YOLOv4、YOLOv4-Tiny网络结构进行改进，分别设计两种注意力机制耦合YOLO方法的高效目标检测深度学习网络CA-YOLO-Tiny与CA-YOLO；所改进得到的CA-YOLO算法模型包括特征提取骨干网结构、SPP空间金字塔池化模块、PANet特征融合模块和检测网；特征提取骨干网使用CSPDarknet53作为骨干网络，其中Darknet53包含了5个大残差块，这5个大残差块包含的小残差单元个数分别为1、2、8、8、4，输入的图像通过Darknet53进行特征提取后，第五层输出的结果作为SPP池化模块的输入，第三层、第四层及SPP层的输出作为PANet特征融合模块的输入；SPP层包含三个最大池化层，池化核大小分别为5×5、9×9、13×13，输出时将输入和经过三个池化处理的特征进行融合；PANet特征融合模块通过融合自底向上和自顶向下两个路径的特征增加模型的表征能力，将Darknet53第三层和第四层以及第五层经过SPP层处理的结果作为输入，第五层输入经过上采样和第四层融合后，融合结果再进行上采样与第三层融合，完成自底向上的融合，随后将第三层进行下采样与融合的第四层进行融合，融合结果再与第五层进行融合，完成自顶向下的融合；各层的融合结果经过CA注意力机制模块后，通过与YOLOv3相同的检测头进行多尺度检测；改进得到的CA-YOLO-Tiny算法模型包括特征提取骨干网结构和多尺度检测网；特征提取骨干网使用CSPDarknet53-Tiny作为骨干网络，包含三个CBL模块和三个CSP模块，用于提取输入特征，CBL的设计是相同的，基本模块由二维卷积、批量归一化和Leaky激活函数组成，通过两个CBL模块对特征图进行降采样并增加特征通道，然后通过三个连续的CSP模块来实现更丰富的梯度组合信息，最后连接到一个CBL模块进行特征提取，通道数分别等于32、64、128、256、512、512；多尺度检测网包含两个子网络，子网络1通过CBL模块和卷积层提取骨干网第三CSP模块输出的512通道的特征，然后通过CA注意力机制模块、CBL模块和卷积层进行处理，随后输入到26×26×255检测头进行回归和预测，子网络2将通过FPN结构从子网络1获得的特征与骨干网中第二个CSP层输出的特征合并，用于自上而下地将高层语义信息与自身的低层语义信息融合，再通过CA注意力机制模块、CBL模块和卷积层，随后送入13×13×255检测头进行回归和预测；步骤2.3：利用步骤2.1中得到的标准数据集，使用随机梯度下降法和反向传播法对CA-YOLO-Tiny与CA-YOLO深度学习卷积神经网络进行训练，获得收敛的电力线路目标检测与故障检测模型权重。需要说明的是，CA-YOLO与CA-YOLO-Tiny模型网络结构分别参见图5和图6，此处不再赘述。
基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的面向无人机电力巡检的边缘计算智能检测方法，所述步骤3的具体实现包括：步骤3.1：在无人机机上AI计算装置上与边缘计算设备上配置深度学习环境，包括深度学习框架及相关软件安装包；步骤3.2：将目标检测深度学习网络CA-YOLO-Tiny与CA-YOLO对应安装至计算平台上；步骤3.3，将训练好的权重文件配置到对应的网络模型中。
基于上述方法实施例的内容，作为一种可选的实施例，本发明实施例中提供的面向无人机电力巡检的边缘计算智能检测方法，所述步骤4的具体实现包括：步骤4.1：由边缘计算智能检测装置进行任务执行，对待巡检的电力线路进行巡检工作，获得巡检影像；步骤4.2：将巡检影像输入到无人机装置中的巡检图像AI数据处理模块，使用CA-YOLO-Tiny目标检测模型进行初步的目标检测与缺陷检测；步骤4.3：将检测结果中存在异常的数据通过数据传输模块传输至边缘计算设备上；步骤4.4：由边缘计算平台中的CA-YOLO网络模型，对步骤4.3中的异常数据进行二次精华提取，获得更精细的检测结果。
本发明实施例提供的面向无人机电力巡检的边缘计算智能检测方法，构建了一个多类别、多尺度的电力线路的缺陷数据集，并设计了两种不同量级，适用于不同算例设备的网络模型，解决边端计算不同算力负载条件下的稳健电力目标提取与故障判别问题，在无人机设备端提出目标检测速度快的CA-Yolov4-Tiny网络，实现电力巡检过程的实时检测；在地面边缘云设备端使用CA-YOLO网络模型，精化机上检测结果；同时利用5G传输技术有效降低响应时延、提升传输带宽容量，解决无人机巡检AI装置数据传输共享瓶颈。
本发明阐述了一种面向无人机电力巡检的边缘计算智能检测装置，包括以下模块(见附图4)：模块1：图像采集模块，用于采集输电线路无人机巡检影像；模块2：数据传输模块，主要包含5G图像传输模块，用以与边端、云端的图像等相关数据传输以及设备工作状况检校；模块3：电源适配模块，将机载24V电源改变为机载设备使用的电压，主要作用为降压和稳压；模块4：巡检图像AI数据处理模块，主要作用是将采集的巡检图像，进行深度学习模型推理，识别杆塔部件和缺陷；模块5：GNSS定位模块，主要为设备采集的数据以及识别的数据提供实时的北斗等GNSS系统定位信息。
本发明各个实施例的实现基础是通过具有处理器功能的设备进行程序化的处理实现的。因此在工程实际中，可以将本发明各个实施例的技术方案及其功能封装成各种模块。基于这种现实情况，在上述各实施例的基础上，本发明的实施例提供了一种面向无人机电力巡检的边缘计算智能检测装置，该装置用于执行上述方法实施例中的面向无人机电力巡检的边缘计算智能检测方法。参见图2，该装置包括：第一主模块，用于实现步骤1、确定面向无人机电力巡检的边缘计算智能检测装置，该装置以大疆M300无人机为搭载平台；第二主模块，用于实现步骤2、分别设计两种注意力机制耦合YOLO方法的高效目标检测深度学习网络CA-YOLO-Tiny与CA-YOLO，采用构建的样本库分别对CA-YOLO与CA-YOLO-Tiny进行训练，得到电力线路目标与缺陷隐患识别深度学习模型；第三主模块，用于实现步骤3、将CA-YOLO-Tiny与CA-YOLO分别部署于无人机机上AI计算装置上与边缘计算设备上；第四主模块，用于实现步骤4、无人机实时采集电力线路待检测巡检影像，将电力线路待检测巡检影像输入CA-YOLO-Tiny进行初步检测，将检测异常的数据传输到地面边缘云装置通过CA-YOLO进行二次精华提取；第五主模块，用于实现步骤5、通过互联网传输检测结果，在终端查看、回放无人机电力巡检数据、检测到的部件及缺陷隐患。
本发明实施例提供的面向无人机电力巡检的边缘计算智能检测装置，采用图2中的若干模块，构建了一个多类别、多尺度的电力线路的缺陷数据集，并设计了两种不同量级，适用于不同算例设备的网络模型，解决边端计算不同算力负载条件下的稳健电力目标提取与故障判别问题，在无人机设备端提出目标检测速度快的CA-Yolov4-Tiny网络，实现电力巡检过程的实时检测；在地面边缘云设备端使用CA-YOLO网络模型，精化机上检测结果；同时利用5G传输技术有效降低响应时延、提升传输带宽容量，解决无人机巡检AI装置数据传输共享瓶颈。
需要说明的是，本发明提供的装置实施例中的装置，除了可以用于实现上述方法实施例中的方法外，还可以用于实现本发明提供的其他方法实施例中的方法，区别仅仅在于设置相应的功能模块，其原理与本发明提供的上述装置实施例的原理基本相同，只要本领域技术人员在上述装置实施例的基础上，参考其他方法实施例中的具体技术方案，通过组合技术特征获得相应的技术手段，以及由这些技术手段构成的技术方案，在保证技术方案具备实用性的前提下，就可以对上述装置实施例中的装置进行改进，从而得到相应的装置类实施例，用于实现其他方法类实施例中的方法。例如：
基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的面向无人机电力巡检的边缘计算智能检测装置，还包括：第一子模块，用于实现所述步骤1的具体实现包括：步骤1.1，设计智能检测装置中的图像采集模块，模块中的主要设备为D455深度实感摄像头，用于调整拍摄角度、自动对焦以及自动白平衡的功能，图像采集模块用于采集输电线路无人机巡检影像，然后通过巡检图像AI数据处理模块进行处理；步骤1.2：设计智能检测装置中的数据传输模块，数据传输模块中的主要设备包含5G图像传输模块，采用MainLink MK-V0201型号的无线图传硬件，MainLink MK-V0201提供长距离、高带宽的数据传输功能，其主要功能为通过高速带宽和远距离将原始图像以及识别完成后的结果图像传输带地面边缘云设备，以完成与边端、云端的图像相关数据传输以及设备工作状况检校；步骤1.3：设计智能检测装置中的电源适配模块，以OSDK模块以及电源模块构成，电源模块通过大疆OSDK的电源接口将机载24V电源改变为机载设备使用的电压，用于降压和稳压；步骤1.4：设计智能检测装置中的巡检图像AI数据处理模块，位于无人机设备最上方，由嵌入式Linux高性能计算机Xavier及相关计算机组件组成，包括一个8核NVIDIA CarmelARMv8.2 64位CPU，由8个流多处理器组成的512核Volta架构的GPU，该模块内置Ubuntu操作系统并搭载一种面向无人机电力巡检的边缘计算智能检测方法，可以接受数据采集模块接收来的数据进行实时处理，设计智能检测装置中的巡检图像AI数据处理模块的主要作用是将采集的巡检图像，进行深度学习模型推理，识别杆塔部件和缺陷；步骤1.5：设计智能检测装置中的GNSS定位模块，以GNSS天线和配置的ATK-S1216F8-BDGPS/北斗模块组成，用于接收GNSS信号实现无人机实时定位，设计智能检测装置中的GNSS定位模块为设备采集的数据以及识别的数据提供实时的北斗GNSS系统定位信息。
基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的面向无人机电力巡检的边缘计算智能检测装置，还包括：第二子模块，用于实现所述步骤2的具体实现包括：步骤2.1：按照国家电力巡检的相关要求设置采集区域并规划航线，根据无人机巡检规范以及无人机分析准则采集电力线路区域影像，确保图像待标记区域占据图像预定比例；采集完成的图像通过无人机设备数据传输模块传送到云端，获取无人机电力巡检规范化影像，使用labelimg标注软件对巡检影像中的多目标、缺陷进行规范化标注，并通过固定的格式进行原始、标注数据处理，形成标准数据集；步骤2.2：基于YOLOv4、YOLOv4-Tiny网络结构进行改进，分别设计两种注意力机制耦合YOLO方法的高效目标检测深度学习网络CA-YOLO-Tiny与CA-YOLO；所改进得到的CA-YOLO算法模型包括特征提取骨干网结构、SPP空间金字塔池化模块、PANet特征融合模块和检测网；特征提取骨干网使用CSPDarknet53作为骨干网络，其中Darknet53包含了5个大残差块，这5个大残差块包含的小残差单元个数分别为1、2、8、8、4，输入的图像通过Darknet53进行特征提取后，第五层输出的结果作为SPP池化模块的输入，第三层、第四层及SPP层的输出作为PANet特征融合模块的输入；SPP层包含三个最大池化层，池化核大小分别为5×5、9×9、13×13，输出时将输入和经过三个池化处理的特征进行融合；PANet特征融合模块通过融合自底向上和自顶向下两个路径的特征增加模型的表征能力，将Darknet53第三层和第四层以及第五层经过SPP层处理的结果作为输入，第五层输入经过上采样和第四层融合后，融合结果再进行上采样与第三层融合，完成自底向上的融合，随后将第三层进行下采样与融合的第四层进行融合，融合结果再与第五层进行融合，完成自顶向下的融合；各层的融合结果经过CA注意力机制模块后，通过与YOLOv3相同的检测头进行多尺度检测；改进得到的CA-YOLO-Tiny算法模型包括特征提取骨干网结构和多尺度检测网；特征提取骨干网使用CSPDarknet53-Tiny作为骨干网络，包含三个CBL模块和三个CSP模块，用于提取输入特征，CBL的设计是相同的，基本模块由二维卷积、批量归一化和Leaky激活函数组成，通过两个CBL模块对特征图进行降采样并增加特征通道，然后通过三个连续的CSP模块来实现更丰富的梯度组合信息，最后连接到一个CBL模块进行特征提取，通道数分别等于32、64、128、256、512、512；多尺度检测网包含两个子网络，子网络1通过CBL模块和卷积层提取骨干网第三CSP模块输出的512通道的特征，然后通过CA注意力机制模块、CBL模块和卷积层进行处理，随后输入到26×26×255检测头进行回归和预测，子网络2将通过FPN结构从子网络1获得的特征与骨干网中第二个CSP层输出的特征合并，用于自上而下地将高层语义信息与自身的低层语义信息融合，再通过CA注意力机制模块、CBL模块和卷积层，随后送入13×13×255检测头进行回归和预测；步骤2.3：利用步骤2.1中得到的标准数据集，使用随机梯度下降法和反向传播法对CA-YOLO-Tiny与CA-YOLO深度学习卷积神经网络进行训练，获得收敛的电力线路目标检测与故障检测模型权重。
基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的面向无人机电力巡检的边缘计算智能检测装置，还包括：第三子模块，用于实现所述步骤3的具体实现包括：步骤3.1：在无人机机上AI计算装置上与边缘计算设备上配置深度学习环境，包括深度学习框架及相关软件安装包；步骤3.2：将目标检测深度学习网络CA-YOLO-Tiny与CA-YOLO对应安装至计算平台上；步骤3.3，将训练好的权重文件配置到对应的网络模型中。
基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的面向无人机电力巡检的边缘计算智能检测装置，还包括：第四子模块，用于实现所述步骤4的具体实现包括：步骤4.1：由边缘计算智能检测装置进行任务执行，对待巡检的电力线路进行巡检工作，获得巡检影像；步骤4.2：将巡检影像输入到无人机装置中的巡检图像AI数据处理模块，使用CA-YOLO-Tiny目标检测模型进行初步的目标检测与缺陷检测；步骤4.3：将检测结果中存在异常的数据通过数据传输模块传输至边缘计算设备上；步骤4.4：由边缘计算平台中的CA-YOLO网络模型，对步骤4.3中的异常数据进行二次精华提取，获得更精细的检测结果。
基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的面向无人机电力巡检的边缘计算智能检测装置，还包括：第五子模块，用于实现所述，包括：。
基于上述装置实施例的内容，作为一种可选的实施例，本发明实施例中提供的面向无人机电力巡检的边缘计算智能检测装置，还包括：第六子模块，用于实现所述，包括：。
本发明实施例的方法是依托电子设备实现的，因此对相关的电子设备有必要做一下介绍。基于此目的，本发明的实施例提供了一种电子设备，如图3所示，该电子设备包括：至少一个处理器(processor)、通信接口(Communications Interface)、至少一个存储器(memory)和通信总线，其中，至少一个处理器，通信接口，至少一个存储器通过通信总线完成相互间的通信。至少一个处理器可以调用至少一个存储器中的逻辑指令，以执行前述各个方法实施例提供的方法的全部或部分步骤。
此外，上述的至少一个存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备)执行本发明各个方法实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的一些部分所述的方法。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。基于这种认识，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
需要说明的是，术语"包括"、"包含"或者其任何其它变体意在涵盖非排它性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句"包括……"限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种面向无人机电力巡检的边缘计算智能检测方法，其特征在于，包括：步骤1、确定面向无人机电力巡检的边缘计算智能检测装置，该装置以大疆M300无人机为搭载平台；步骤2、分别设计两种注意力机制耦合YOLO方法的高效目标检测深度学习网络CA-YOLO-Tiny与CA-YOLO，采用构建的样本库分别对CA-YOLO与CA-YOLO-Tiny进行训练，得到电力线路目标与缺陷隐患识别深度学习模型；步骤3、将CA-YOLO-Tiny与CA-YOLO分别部署于无人机机上AI计算装置上与边缘计算设备上；步骤4、无人机实时采集电力线路待检测巡检影像，将电力线路待检测巡检影像输入CA-YOLO-Tiny进行初步检测，将检测异常的数据传输到地面边缘云装置通过CA-YOLO进行二次精华提取；步骤5、通过互联网传输检测结果，在终端查看、回放无人机电力巡检数据、检测到的部件及缺陷隐患。
2.根据权利要求1所述的面向无人机电力巡检的边缘计算智能检测方法，其特征在于，所述步骤1的具体实现包括：步骤1.1，设计智能检测装置中的图像采集模块，模块中的主要设备为D455深度实感摄像头，用于调整拍摄角度、自动对焦以及自动白平衡的功能，图像采集模块用于采集输电线路无人机巡检影像，然后通过巡检图像AI数据处理模块进行处理；步骤1.2：设计智能检测装置中的数据传输模块，数据传输模块中的主要设备包含5G图像传输模块，采用MainLink MK-V0201型号的无线图传硬件，MainLink MK-V0201提供长距离、高带宽的数据传输功能，其主要功能为通过高速带宽和远距离将原始图像以及识别完成后的结果图像传输带地面边缘云设备，以完成与边端、云端的图像相关数据传输以及设备工作状况检校；步骤1.3：设计智能检测装置中的电源适配模块，以OSDK模块以及电源模块构成，电源模块通过大疆OSDK的电源接口将机载24V电源改变为机载设备使用的电压，用于降压和稳压；步骤1.4：设计智能检测装置中的巡检图像AI数据处理模块，位于无人机设备最上方，由嵌入式Linux高性能计算机Xavier及相关计算机组件组成，包括一个8核NVIDIACarmelARMv8.2 64位CPU，由8个流多处理器组成的512核Volta架构的GPU，该模块内置Ubuntu操作系统并搭载一种面向无人机电力巡检的边缘计算智能检测方法，可以接受数据采集模块接收来的数据进行实时处理，设计智能检测装置中的巡检图像AI数据处理模块的主要作用是将采集的巡检图像，进行深度学习模型推理，识别杆塔部件和缺陷；步骤1.5：设计智能检测装置中的GNSS定位模块，以GNSS天线和配置的ATK-S1216F8-BDGPS/北斗模块组成，用于接收GNSS信号实现无人机实时定位，设计智能检测装置中的GNSS定位模块为设备采集的数据以及识别的数据提供实时的北斗GNSS系统定位信息。
3.根据权利要求2所述的面向无人机电力巡检的边缘计算智能检测方法，其特征在于，所述步骤2的具体实现包括：步骤2.1：按照国家电力巡检的相关要求设置采集区域并规划航线，根据无人机巡检规范以及无人机分析准则采集电力线路区域影像，确保图像待标记区域占据图像预定比例；采集完成的图像通过无人机设备数据传输模块传送到云端，获取无人机电力巡检规范化影像，使用labelimg标注软件对巡检影像中的多目标、缺陷进行规范化标注，并通过固定的格式进行原始、标注数据处理，形成标准数据集；步骤2.2：基于YOLOv4、YOLOv4-Tiny网络结构进行改进，分别设计两种注意力机制耦合YOLO方法的高效目标检测深度学习网络CA-YOLO-Tiny与CA-YOLO；所改进得到的CA-YOLO算法模型包括特征提取骨干网结构、SPP空间金字塔池化模块、PANet特征融合模块和检测网；特征提取骨干网使用CSPDarknet53作为骨干网络，其中Darknet53包含了5个大残差块，这5个大残差块包含的小残差单元个数分别为1、2、8、8、4，输入的图像通过Darknet53进行特征提取后，第五层输出的结果作为SPP池化模块的输入，第三层、第四层及SPP层的输出作为PANet特征融合模块的输入；SPP层包含三个最大池化层，池化核大小分别为5×5、9×9、13×13，输出时将输入和经过三个池化处理的特征进行融合；PANet特征融合模块通过融合自底向上和自顶向下两个路径的特征增加模型的表征能力，将Darknet53第三层和第四层以及第五层经过SPP层处理的结果作为输入，第五层输入经过上采样和第四层融合后，融合结果再进行上采样与第三层融合，完成自底向上的融合，随后将第三层进行下采样与融合的第四层进行融合，融合结果再与第五层进行融合，完成自顶向下的融合；各层的融合结果经过CA注意力机制模块后，通过与YOLOv3相同的检测头进行多尺度检测；改进得到的CA-YOLO-Tiny算法模型包括特征提取骨干网结构和多尺度检测网；特征提取骨干网使用CSPDarknet53-Tiny作为骨干网络，包含三个CBL模块和三个CSP模块，用于提取输入特征，CBL的设计是相同的，基本模块由二维卷积、批量归一化和Leaky激活函数组成，通过两个CBL模块对特征图进行降采样并增加特征通道，然后通过三个连续的CSP模块来实现更丰富的梯度组合信息，最后连接到一个CBL模块进行特征提取，通道数分别等于32、64、128、256、512、512；多尺度检测网包含两个子网络，子网络1通过CBL模块和卷积层提取骨干网第三CSP模块输出的512通道的特征，然后通过CA注意力机制模块、CBL模块和卷积层进行处理，随后输入到26×26×255检测头进行回归和预测，子网络2将通过FPN结构从子网络1获得的特征与骨干网中第二个CSP层输出的特征合并，用于自上而下地将高层语义信息与自身的低层语义信息融合，再通过CA注意力机制模块、CBL模块和卷积层，随后送入13×13×255检测头进行回归和预测；步骤2.3：利用步骤2.1中得到的标准数据集，使用随机梯度下降法和反向传播法对CA-YOLO-Tiny与CA-YOLO深度学习卷积神经网络进行训练，获得收敛的电力线路目标检测与故障检测模型权重。
4.根据权利要求3所述的面向无人机电力巡检的边缘计算智能检测方法，其特征在于，所述步骤3的具体实现包括：步骤3.1：在无人机机上AI计算装置上与边缘计算设备上配置深度学习环境，包括深度学习框架及相关软件安装包；步骤3.2：将目标检测深度学习网络CA-YOLO-Tiny与CA-YOLO对应安装至计算平台上；步骤3.3，将训练好的权重文件配置到对应的网络模型中。
5.根据权利要求4所述的面向无人机电力巡检的边缘计算智能检测方法，其特征在于，所述步骤4的具体实现包括：步骤4.1：由边缘计算智能检测装置进行任务执行，对待巡检的电力线路进行巡检工作，获得巡检影像；步骤4.2：将巡检影像输入到无人机装置中的巡检图像AI数据处理模块，使用CA-YOLO-Tiny目标检测模型进行初步的目标检测与缺陷检测；步骤4.3：将检测结果中存在异常的数据通过数据传输模块传输至边缘计算设备上；步骤4.4：由边缘计算平台中的CA-YOLO网络模型，对步骤4.3中的异常数据进行二次精华提取，获得更精细的检测结果。
6.一种面向无人机电力巡检的边缘计算智能检测装置，其特征在于，包括：第一主模块，用于实现步骤1、确定面向无人机电力巡检的边缘计算智能检测装置，该装置以大疆M300无人机为搭载平台；第二主模块，用于实现步骤2、分别设计两种注意力机制耦合YOLO方法的高效目标检测深度学习网络CA-YOLO-Tiny与CA-YOLO，采用构建的样本库分别对CA-YOLO与CA-YOLO-Tiny进行训练，得到电力线路目标与缺陷隐患识别深度学习模型；第三主模块，用于实现步骤3、将CA-YOLO-Tiny与CA-YOLO分别部署于无人机机上AI计算装置上与边缘计算设备上；第四主模块，用于实现步骤4、无人机实时采集电力线路待检测巡检影像，将电力线路待检测巡检影像输入CA-YOLO-Tiny进行初步检测，将检测异常的数据传输到地面边缘云装置通过CA-YOLO进行二次精华提取；第五主模块，用于实现步骤5、通过互联网传输检测结果，在终端查看、回放无人机电力巡检数据、检测到的部件及缺陷隐患。
7.一种电子设备，其特征在于，包括：
至少一个处理器、至少一个存储器和通信接口；其中，
所述处理器、存储器和通信接口相互间进行通信；
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以执行权利要求1至5任一项权利要求所述的方法。
8.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行权利要求1至5中任一项权利要求所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210869351.0A CN115294476B (zh) | 2022-07-22 | 2022-07-22 | 面向无人机电力巡检的边缘计算智能检测方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210869351.0A CN115294476B (zh) | 2022-07-22 | 2022-07-22 | 面向无人机电力巡检的边缘计算智能检测方法及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115294476A true CN115294476A (zh) | 2022-11-04 |
| CN115294476B CN115294476B (zh) | 2024-01-23 |
Family
ID=83823323
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210869351.0A Active CN115294476B (zh) | 2022-07-22 | 2022-07-22 | 面向无人机电力巡检的边缘计算智能检测方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115294476B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117132914A (zh) * | 2023-10-27 | 2023-11-28 | 武汉大学 | 通用电力设备识别大模型方法及系统 |
| CN117152646A (zh) * | 2023-10-27 | 2023-12-01 | 武汉大学 | 无人电力巡检ai轻量大模型方法及系统 |
| CN117557556A (zh) * | 2024-01-09 | 2024-02-13 | 南京市特种设备安全监督检验研究院 | 起重装备缺陷智能检测方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200242153A1 (en) * | 2019-01-29 | 2020-07-30 | Samsung Electronics Co., Ltd. | Method, apparatus, electronic device and computer readable storage medium for image searching |
| CN114240878A (zh) * | 2021-12-16 | 2022-03-25 | 国网河南省电力公司电力科学研究院 | 面向巡检场景的绝缘子缺陷检测神经网络构建与优化方法 |
-
2022
- 2022-07-22 CN CN202210869351.0A patent/CN115294476B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200242153A1 (en) * | 2019-01-29 | 2020-07-30 | Samsung Electronics Co., Ltd. | Method, apparatus, electronic device and computer readable storage medium for image searching |
| CN114240878A (zh) * | 2021-12-16 | 2022-03-25 | 国网河南省电力公司电力科学研究院 | 面向巡检场景的绝缘子缺陷检测神经网络构建与优化方法 |
Non-Patent Citations (2)
| Title |
|---|
| RUINAN WU无: "Flame and Smoke Detection Algorithm for UAV Based on Improved YOLOv4-Tiny", PRICAI 2021:TRENDS IN ARTIFICIAL INTELLIGENCE * |
| 赵玥萌等: "基于优化YOLOv4 算法的低空无人机检测与跟踪", 激光与光电子学进展, vol. 59, no. 12 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117132914A (zh) * | 2023-10-27 | 2023-11-28 | 武汉大学 | 通用电力设备识别大模型方法及系统 |
| CN117152646A (zh) * | 2023-10-27 | 2023-12-01 | 武汉大学 | 无人电力巡检ai轻量大模型方法及系统 |
| CN117132914B (zh) * | 2023-10-27 | 2024-01-30 | 武汉大学 | 通用电力设备识别大模型方法及系统 |
| CN117152646B (zh) * | 2023-10-27 | 2024-02-06 | 武汉大学 | 无人电力巡检ai轻量大模型方法及系统 |
| CN117557556A (zh) * | 2024-01-09 | 2024-02-13 | 南京市特种设备安全监督检验研究院 | 起重装备缺陷智能检测方法 |
| CN117557556B (zh) * | 2024-01-09 | 2024-03-26 | 南京市特种设备安全监督检验研究院 | 起重装备缺陷智能检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115294476B (zh) | 2024-01-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115294476A (zh) | 面向无人机电力巡检的边缘计算智能检测方法及设备 | |
| CN107742093B (zh) | 一种红外图像电力设备部件实时检测方法、服务器及系统 | |
| WO2020215241A1 (zh) | 一种面向计算资源局限平台部署的实时目标检测的方法 | |
| CN112990211A (zh) | 一种神经网络的训练方法、图像处理方法以及装置 | |
| CN114937016A (zh) | 一种基于边缘计算和Transformer的桥梁混凝土裂缝实时检测方法及装置 | |
| Dutta et al. | Image analysis-based automatic detection of transmission towers using aerial imagery | |
| CN114863118A (zh) | 一种基于输电线路外部隐患自学习识别系统、方法 | |
| CN112614130A (zh) | 基于5G传输和YOLOv3的无人机输电线路绝缘子故障检测方法 | |
| CN112327930A (zh) | 一种巡检路径确定方法和装置 | |
| CN115147383A (zh) | 一种基于轻量化YOLOv5模型的绝缘子状态快速检测方法 | |
| CN113486779A (zh) | 输电线路全景智能巡检系统 | |
| CN116823793A (zh) | 设备缺陷检测方法、装置、电子设备和可读存储介质 | |
| CN114926916A (zh) | 一种5g无人机动态ai巡检系统 | |
| Costello et al. | Transference of training for a dnn to complete the aerial refueling task | |
| CN116310689B (zh) | 一种无人智能多模态信息融合与目标感知系统及作业方法 | |
| Gudmundsson et al. | Porting Computer Vision Models to the Edge for Smart City Applications: Enabling Autonomous Vision-Based Power Line Inspection at the Smart Grid Edge for Unmanned Aerial Vehicles (UAVs). | |
| KR101381292B1 (ko) | 인공위성 시스템의 제어 방법 및 장치. | |
| CN117197571A (zh) | 一种光伏组件故障检测方法、装置、电子设备及存储介质 | |
| CN117333807A (zh) | 空地一体化无人机群云边协同目标锁定系统 | |
| CN113139650A (zh) | 深度学习模型的调优方法和计算装置 | |
| CN115457411A (zh) | 航油管线无人化巡视方法、装置和航油安全运维系统 | |
| Hensel et al. | Object Detection and Mapping with Unmanned Aerial Vehicles Using Convolutional Neural Networks | |
| Nazir et al. | Object classification and visualization with edge artificial intelligence for a customized camera trap platform | |
| Tao et al. | Known Knowns and Unknowns: Near-realtime Earth Observation Via Query Bifurcation in Serval | |
| Xuan et al. | UAV transmission line inspection algorithm based on cross-scale feature fusion and attention mechanism |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |