CN114665608A - 用于变电站的智能感知巡检系统及方法 - Google Patents
用于变电站的智能感知巡检系统及方法 Download PDFInfo
- Publication number
- CN114665608A CN114665608A CN202210541404.6A CN202210541404A CN114665608A CN 114665608 A CN114665608 A CN 114665608A CN 202210541404 A CN202210541404 A CN 202210541404A CN 114665608 A CN114665608 A CN 114665608A
- Authority
- CN
- China
- Prior art keywords
- inspection
- subsystem
- equipment
- target
- analysis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 367
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000004458 analytical method Methods 0.000 claims abstract description 175
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 136
- 238000012549 training Methods 0.000 claims abstract description 103
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 claims description 103
- 239000000741 silica gel Substances 0.000 claims description 103
- 229910002027 silica gel Inorganic materials 0.000 claims description 103
- 238000001514 detection method Methods 0.000 claims description 100
- 230000006399 behavior Effects 0.000 claims description 52
- 230000007547 defect Effects 0.000 claims description 47
- 230000008859 change Effects 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 23
- 238000012544 monitoring process Methods 0.000 claims description 21
- 238000004891 communication Methods 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 230000008447 perception Effects 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 14
- 238000002845 discoloration Methods 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 230000003993 interaction Effects 0.000 claims description 12
- 238000002372 labelling Methods 0.000 claims description 10
- 238000005457 optimization Methods 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 6
- 239000007787 solid Substances 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims description 5
- 238000012986 modification Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 5
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 238000012806 monitoring device Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000001960 triggered effect Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000013145 classification model Methods 0.000 claims description 3
- 238000007418 data mining Methods 0.000 claims description 3
- 238000012217 deletion Methods 0.000 claims description 3
- 230000037430 deletion Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000009413 insulation Methods 0.000 claims 1
- 238000012423 maintenance Methods 0.000 abstract description 15
- 238000002955 isolation Methods 0.000 description 16
- 239000011159 matrix material Substances 0.000 description 16
- 238000000605 extraction Methods 0.000 description 13
- 238000012545 processing Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000009471 action Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 230000008901 benefit Effects 0.000 description 4
- 238000007405 data analysis Methods 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 230000017105 transposition Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 210000003423 ankle Anatomy 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003578 releasing effect Effects 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J13/00—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network
- H02J13/00032—Systems characterised by the controlled or operated power network elements or equipment, the power network elements or equipment not otherwise provided for
- H02J13/00034—Systems characterised by the controlled or operated power network elements or equipment, the power network elements or equipment not otherwise provided for the elements or equipment being or involving an electric power substation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- H—ELECTRICITY
- H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
- H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
- H02J13/00—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network
- H02J13/00002—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by monitoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Power Engineering (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Remote Monitoring And Control Of Power-Distribution Networks (AREA)
Abstract
本发明公开了一种用于变电站的智能感知巡检系统及方法，涉及电力系统巡检技术领域。该系统包括：边缘端数据采集及分析子系统、站端管理子系统以及云端人工智能子系统，其中，边缘端数据采集及分析子系统用于基于巡检任务采集目标巡检数据，并基于人工智能模型对目标巡检数据进行边缘分析，得到巡检分析结果；站端管理子系统用于生成并下发巡检任务，管理巡检相关数据，生成用于训练和优化人工智能模型的原始样本集；云端人工智能子系统用于根据原始样本集训练和优化人工智能模型及下发人工智能模型。通过对变电站现有设备复用和智能化装备部署，实现对变电站的智能化及自动化巡检，节省人工运维成本，实现高质量运维。
Description
技术领域
本发明涉及电力系统巡检技术领域，尤其涉及用于变电站的智能感知巡检系统及方法。
背景技术
随着电网飞速发展，变电站数量及变电设备成倍增加，电网的巡检工作量也越来越大,如果巡检不到位可能导致变电站设备发生事故,甚至危及电力系统的安全运行。随着电力系统的优化升级及安全意识的不断提高，对电力巡检的巡检任务的增设以及安全性提升也提出了新要求。目前，各个变电站的巡检工作通常是人工巡检方式和传统单一巡检设备方式进行。然而，这两种要求都不能很好地适配巡检需求。
人工巡检方式是针对项巡检任务设置专业巡检人员和专业巡检人员所需的巡检设备，由专业巡检人员根据自己的专业经验来判断设备采集的数据所表征的巡检情况。存在如下不足：人员需求量大、巡检费事费力；对人员经验依赖度高，巡检结果可靠性难以判断；还存在巡检人员缺口与巡检任务增长的矛盾，不满足巡检实时性要求。
传统单一巡检设备方式依托单类巡检设备，巡检设备按设定轨迹通过采集终端进行设备数据获取，传输至由后台管理系统由人工进行数据分析，但也存在如下不足：巡检数据处理系统只针对单个种类巡检设备的数据进行处理，且多个种类的巡检设备之间不能进行数据统筹交互；单一种类的巡检设备易受周围环境及周边设备影响，导致对电力系统中待巡检的对象的巡检结果分析不到位；巡检设备智能化水平不足，需依赖后端系统完成全部数据处理，对无线网络稳定及数据传输安全依赖度高。
为缓解运维人员紧缺的不足和变电站巡检的智能化水平低的问题，解决以上巡检方式存在不足，存在以下技术瓶颈：
（1）多种类巡检设备异构数据交互低。同种类的巡检设备需要采用不同的巡检数据处理系统进行处理，一旦巡检设备的种类发生变化，则需要相应地增加或者删减巡检数据处理系统，操作繁琐。
（2）前端分析能力不足、实时性低。现有巡检设备需依赖后端系统完成全部数据处理，网络带宽要求和网络稳定性高，不具备实时处理能力。
（3）检测识别算法鲁棒性弱。检测算法不能屏蔽磁场噪声对采集数据影响，无法很好地保证后端系统的分析结果可靠性。
因此需提升变电站内智能感知能力，亟需具备智能感知的变电站巡检系统，实现对站内设备的全方位及多维度的实时巡检分析，保障电力设备的安全稳定运行。
发明内容
本发明提供了一种用于变电站的智能感知巡检系统及方法，以实现对变电站的自动化及智能化巡检。
根据本发明的一方面，提供了一种用于变电站的智能感知巡检系统，该系统包括：边缘端数据采集及分析子系统、站端管理子系统以及云端人工智能子系统，其中，
所述边缘端数据采集及分析子系统，与所述站端管理子系统通讯连接，用于接收所述站端管理子系统下发的巡检任务，基于所述巡检任务采集变电站中的目标巡检对象的目标巡检数据，并基于与所述目标巡检数据对应的人工智能模型对所述目标巡检数据进行边缘分析，得到巡检分析结果，并将所述目标巡检数据和所述巡检分析结果发送给所述站端管理子系统；
所述站端管理子系统，与所述云端人工智能系统通讯连接，用于生成并下发巡检任务，以及，将接收到的所述目标巡检数据和所述巡检分析结果按照时间维度进行分类归集管理，以及，根据分类归集管理后的所述目标巡检数据生成与目标巡检对象对应的原始样本集，并按照预设的数据传输规范将所述原始样本集上传至云端人工智能子系统，以及，接收云端人工智能子系统下发的与所述目标巡检数据对应的人工智能模型，并将所述人工智能模型下发至所述边缘端数据采集及分析子系统；
所述云端人工智能子系统，用于接收所述原始样本集，并根据与目标巡检对象对应的原始样本集中的目标巡检数据进行数据清洗、数据扩增和数据标注，根据原始样本集以及原始样本集对应的标注结果构建训练样本集，以及，根据训练样本集对所述目标巡检数据对应的人工智能模型进行模型训练及优化迭代，并将所述目标巡检数据对应的人工智能模型下发至所述站端管理子系统。
根据本发明的另一方面，提供了一种用于变电站的智能感知巡检方法，应用于用于变电站的智能感知巡检系统，所述用于变电站的智能感知巡检包括边缘端数据采集及分析子系统、站端管理子系统以及云端人工智能子系统，所述站端管理子系统分别与所述边缘端数据采集及分析子系统和所述云端人工智能子系统通信连接，其中，所述用于变电站的智能感知巡检方法包括：
通过边缘端数据采集及分析子系统，接收所述站端管理子系统下发的巡检任务，基于所述巡检任务采集变电站中的目标巡检对象的目标巡检数据，并基于与所述目标巡检数据对应的人工智能模型对所述目标巡检数据进行边缘分析，得到巡检分析结果，并将所述目标巡检数据和所述巡检分析结果发送给所述站端管理子系统；
通过所述站端管理子系统生成并下发巡检任务，以及，将接收到的所述目标巡检数据和所述巡检分析结果按照时间维度进行分类归集管理，以及，根据分类归集管理后的所述目标巡检数据生成与目标巡检对象对应的原始样本集，并按照预设的数据传输规范将所述原始样本集上传至云端人工智能子系统，以及，接收云端人工智能子系统下发的与所述目标巡检数据对应的人工智能模型，并将所述人工智能模型下发至所述边缘端数据采集及分析子系统；
通过所述云端人工智能子系统根据与目标巡检对象对应的原始样本集中的目标巡检数据进行数据清洗、数据扩增和数据标注，根据原始样本集以及原始样本集对应的标注结果构建训练样本集，以及，根据训练样本集对所述目标巡检数据对应的人工智能模型进行模型训练及优化迭代，并将所述目标巡检数据对应的人工智能模型下发至所述站端管理子系统。
本发明实施例的技术方案，以站端管理子系统作为边缘端数据采集及分析子系统以及云端人工智能子系统的枢纽，建立起用于变电站的智能感知巡检系统，可以实现对变电站巡检的智能感知：
1）边缘端数据采集及分析子系统，能够根据接收到的站端管理子系统下发的巡检任务，采集目标巡检数据，并基于人工智能模型对所述目标巡检数据进行边缘分析，得到巡检分析结果，实现了对变电站的自动化巡检以及前端智能化分析；
2）站端管理子系统能够生成并下发巡检任务，并对将接收到的目标巡检数据和巡检分析结果进行管理，还可以根据目标巡检数据生成原始样本集以供云端人工智能子系统训练及优化人工智能模型，并可以将云端人工智能子系统下发的人工智能模型下发至边缘端数据采集及分析子系统，不仅能够下发巡检任务，对巡检结果进行管理，还起到了衔接云端人工智能子系统和边缘端数据采集及分析子系统的作用，使得边缘端数据采集及分析子系统能够借助云端人工智能子系统的人工智能模型，使得目标巡检数据的分析更加智能化，减少人为干预，输出可靠性更高的巡检结果；
3）云端人工智能子系统，可以根据原始样本集中的目标巡检数据对人工智能模型进行模型训练及优化迭代，并将所述目标巡检数据对应的人工智能模型下发至所述站端管理子系统，实现了对巡检数据的合理应用，构建具有高应用价值的电力专用样本库，并生成具备全面实用化效果的人工智能模型。
本发明实施例的用于变电站的智能感知巡检系统，通过对变电站现有设备复用和智能化装备部署，解决了现有巡检方式中对巡检人员要求较高，人员配置困难，人员管理成本较高以及巡检结果的可靠性难以判断等问题，实现了对变电站的智能化及自动化巡检，节省了人工运维成本，实现了高质量的安全运维。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种用于变电站的智能感知巡检系统的结构框图；
图2是根据本发明实施例一提供的另一种用于变电站的智能感知巡检系统的结构框图；
图3是根据本发明实施例二提供的一种用于变电站的智能感知巡检方法的流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供了一种用于变电站的智能感知巡检系统的结果框图。图2是根据本发明实施例一提供的另一种用于变电站的智能感知巡检系统的结构框图。如图1和图2所示，该系统包括：边缘端数据采集及分析子系统11、站端管理子系统12以及云端人工智能子系统13，其中，边缘端数据采集及分析子系统11，与站端管理子系统12通讯连接，用于接收站端管理子系统12下发的巡检任务，基于所述巡检任务采集变电站中的目标巡检对象的目标巡检数据，并基于与所述目标巡检数据对应的人工智能模型对所述目标巡检数据进行边缘分析，得到巡检分析结果，并将所述目标巡检数据和所述巡检分析结果发送给站端管理子系统12；站端管理子系统12，与所述云端人工智能系统通讯连接，用于生成并下发巡检任务，以及，接收并管理所述目标巡检数据和所述巡检分析结果，以及，根据所述目标巡检数据生成与目标巡检对象对应的原始样本集，并将所述原始样本集上传至云端人工智能子系统13，以及，接收云端人工智能子系统13下发的人工智能模型，并将所述人工智能模型下发至边缘端数据采集及分析子系统11； 云端人工智能子系统13，用于接收所述原始样本集，并根据原始样本集以及原始样本集对应的标注结果构建训练样本集，以及，根据训练样本集对人工智能模型进行模型训练及优化迭代，并将所述人工智能模型下发至所述站端管理子系统12。
具体的，站端管理子系统12，用于将接收到的所述目标巡检数据和所述巡检分析结果按照时间维度进行分类归集管理，以及，根据分类归集管理后的所述目标巡检数据生成与目标巡检对象对应的原始样本集，并按照预设的数据传输规范将所述原始样本集上传至云端人工智能子系统，以及，接收云端人工智能子系统下发的与所述目标巡检数据对应的人工智能模型，并将所述人工智能模型下发至边缘端数据采集及分析子系统11。
可选地，云端人工智能子系统13具体用于接收所述原始样本集，并根据与目标巡检对象对应的原始样本集中的目标巡检数据进行数据清洗、数据扩增和数据标注，根据原始样本集以及原始样本集对应的标注结果构建训练样本集；还可进一步根据训练样本集对所述目标巡检数据对应的人工智能模型进行模型训练及优化迭代，并将所述目标巡检数据对应的人工智能模型下发至站端管理子系统12。
可选地，边缘端数据采集及分析子系统11，可用于采用模型裁剪量化重训练技术，结合变电站内目标图像信息的目标占比以及图像特征等因素，对人工智能模型进行裁剪，实现模型参数由浮点型数据类型到整数类型的转换；进一步的，边缘端数据采集及分析子系统11，还可以对人工智能模型进行模型压缩，在保证人工智能模型的模型精度的条件下，实现人工智能模型的轻量化。
可选地，本发明实施例中，边缘端数据采集及分析子系统11具体还可包括变电站部署的边缘分析装置。其中，所述终端采集装置，与所述边缘分析装置通讯连接，用于接收站端管理子系统12下发的巡检任务，确定与所述巡检任务对应的至少一台巡检设备，基于所述巡检设备采集与所述巡检任务对应的设备运行数据和/或人员作业数据，并将采集到的所述设备运行数据和/或所述人员作业数据发送给所述边缘分析装置；所述边缘分析装置，用于接收所述设备运行数据和/或所述人员作业数据，并确定与接收到的所述设备运行数据和/或所述人员作业数据对应的人工智能模型，并基于确定出的人工智能模型对所述设备运行数据和/或所述人员作业数据进行人员行为检测、设备状态检测以及设备缺陷识别分析，得到与巡检任务对应的巡检分析结果，以及，将所述设备运行数据和/或所述人员作业数据及其对应的巡检分析结果发送给站端管理子系统。
通过软件和硬件结合的方式构建边缘端数据采集及分析子系统，实现巡检数据的前端分析，提升巡检分析结果的输出效率。
示例性地，所述终端采集装置还可以包括巡检无人机、巡检机器人、监控摄像头和红外线探测设备等设备中的至少一种巡检设备。
可选地，边缘端数据采集及分析子系统11还包括视频跟踪装置，其中，所述双目云台监控设备，用于采集作业现场的双目视频信息，将所述双目视频信息传输给所述视频跟踪装置；所述视频跟踪装置，用于接收所述双目云台监控设备传输的双目视频信息，并对所述双目视频信息进行目标检测，确定出所述双目视频信息中的待跟踪对象，对检测出的待跟踪对象进行实时跟踪，其中，所述待跟踪对象包括所述作业现场的作业人员和电力设备。使系统具备设备实时识别定位以及现场作业人员行为的实时跟踪和识别的功能，智能分析能力更强。
在此基础上，可选地，边缘端数据采集及分析子系统11还包括沉浸式显示装置，所述沉浸式显示装置与所述视频跟踪装置通讯连接，其中，所述视频跟踪装置，还用于将所述待跟踪对象的跟踪信息突出显示于所述双目视频信息中，并将所述双目视频信息发送给所述沉浸式显示装置；所述沉浸式显示装置，配置有头戴显示设备，用于接收所述视频跟踪装置发送的双目视频信息，并将所述双目视频信息，分别显示在所述头戴显示设备的左右显示器中。这样设置的好处在于，可将现场双目作业视频实时传输到后台，操作人员通过沉浸式显示模块，可以获取作业现场的具有立体感的视频，增加后台监控人员的临场感。
电力作业环境复杂，作业流程繁琐，同时周围存在带电设备，作业人员的安全存在一定风险，需要查看现场作业过程是否有违规操作，以保证作业人员的作业安全。可选地，所述边缘分析装置包括人员行为分析模块；其中，所述双目云台监控设备，还用于将所述双目视频信息传输给所述人员行为分析模块；所述人员行为分析模块，用于根据所述双目视频信息中的左目视频信息和右目视频信息获取的人员关键点的平面坐标，利用双目立体几何算法，获取作业人员的人员关键点的三维空间坐标，构建人员关键点在三维坐标下的人员特例序列，并根据所述双目视频信息以及双目立体几何算法确定出设备空间坐标信息，根据所述人员特例序列和所述设备空间坐标信息确定所述作业人员的行为状态，并确定所述行为状态是否符合预设作业规范。
在具体实施中，所述人员行为分析模块可接收确定空间坐标模块发送的特征序列，将包含有各人工关键点的空间坐标的特征序列输入至预先建立的行为识别模型中。行为识别模型可确定出该特征序列对应的行为动作。行为动作包括跌倒、翻越围栏、作业常规动作和臂下站人等。基于行为识别模型的输出的行为动作和预先存储的规范标准，确定当前作业的作业人员的行为动作是否为规范标准中禁止的危险动作；若为危险动作，则确定作业人员的作业行为不合格；若为安全动作，则确定作业人员的作业行为合格。
本技术方案，通过左目视频和右目视频得到现场的三维立体信息，能够更精准地了解作业现场的情况，并且，基于行为识别模型确定作业行为是否合格，避免了人工识别主观因素导致的误差，提高识别结果的准确性，能够更好地确保现场作业的安全性。
可选地，所述双目云台监控设备包括双目模块、云台模块以及云台控制模块，所述双目模块设置于所述云台模块上，具备红外与可见光双摄像头，其中，所述云台控制模块，用于接收用于控制所述云台模块的云台运动控制指令，并根据所述云台运动控制指令控制所述云台模块在预设方向上运动，以使所述双目模块随所述云台模块运动而运动。
具体地，所述云台模块，可用于基于接收到的控制指令，确定当前的转动参数，并按照转动参数控制自身转轴转动以使所述双目模块移动至与控制指令对应的目标位置。其中，转动参数包括所述云台模块的转动角度、转动时刻、转动速度、转动加速度和转动方向等数据。所述云台模块可从俯仰角和偏航角两个方向进行转动，转动角度包括转动俯仰角和/或转动偏航角。
在此技术方案中，由于双目模块具备红外与可见光双摄像头，可以同步获取设备的红外和可见光图像数据，而且采用仿人眼双可见光相机结构（双目基线距离与人眼基线距离一致），可实时获取现场三维环境信息，而传统单可见光监控相机无法获取视频中的深度信息，环境感知能力更强。
为了使得巡检机器人能够更好地适配巡检需求，可选地，边缘端数据采集及分析子系统11还包括机器人交互装置，其中，巡检机器人交互模块，用于接收用于控制所述巡检机器人的机器人运动控制指令，并根据巡检机器人运动控制指令控制巡检机器人的运动轨迹。其中，巡检机器人交互模块可以基于软件和/或硬件实现。巡检机器人交互模块可以包括但不限于包括参数设置控件（如物理按键或触控模块等）、语音采集模块、语音识别模块、声音播放模块以及图像采集模块等。这样设置的好处在于，通过巡检机器人交互模块，可实时输出现场设备位置三维坐标，实现机器人的视觉伺服控制，按需支配巡检机器人进行运动，引导机器人自动完成相关作业内容。在满足用户个性化交互方式的同事，满足定制化巡检需求，增加巡检配置的灵活性。
可选地，站端管理子系统12还可以提供巡检方案定制化的功能。具体地，站端管理子系统12，还用于接收用户输入的巡检方案的方案配置信息，根据方案配置信息生成与所述巡检方案，以及，向边缘端数据采集及分析子系统11下发包含有巡检方案的巡检任务，其中，所述巡检方案包括目标巡检对象、目标巡检设备和目标巡检方式，所述目标巡检对象包括作业人员和电力设备，所述目标巡检方式包括采用单个巡检设备进行巡检的方式和采用多个巡检设备进行联合巡检的方式。这样设置的好处在于，可以根据巡检方案自动触发巡检任务的执行，且便于巡检方案的定制和同一管理。
在此基础上，所述终端采集装置，用于接收站端管理子系统12下发的包含有巡检方案的巡检任务，确定与所述巡检任务对应的目标巡检设备，从各个未处于工作状态的备用巡检设备中确定出巡检执行设备，并基于目标巡检方式控制所述巡检执行设备采集与所述巡检任务对应的设备运行数据和/或人员作业数据，并将采集到的所述设备运行数据和/或所述人员作业数据发送给所述边缘分析装置。
示例性地，终端采集装置采用多个巡检设备进行联合巡检的方式进行巡检时，可以是通过巡检无人机、巡检机器人和监控摄像头等多源终端设备同步联合巡检。
进一步地，站端管理子系统12，还用于对不同巡检设备采集的目标巡检数据进行融合分析，实现对目标检测对象的检测，以及，对不同巡检设备采集的目标巡检数据及其对应的巡检分析结果进行数据挖掘，并将所述目标巡检数据及其对应的巡检分析结果存储于以时间维度和空间维度两个维度建立的数据库中，以及，对目标巡检数据及其对应的巡检分析结果执行预设数据操作，其中，预设数据操作包括增加操作、删除操作、修改操作、压缩操作、加密操作、解密操作及查询操作中的至少一种。
在本发明实施例中，边缘端数据采集及分析子系统11除了可以接收站端管理子系统下发的巡检任务之外，还可以执行定时触发的常规巡检任务。具体地，边缘端数据采集及分析子系统11，还用于当接收到定时触发的常规巡检指令时，建立用于对变电站中的各设备表和各类绝缘设备进行巡检的第一常规任务，将所述第一常规任务发送至巡检机器人，以及，建立用于对所述变电站中的各类油枕、变压器和开关设备进行巡检的第二常规任务，将所述第二常规任务发送至巡检无人机。
示例性的，第一常规任务可为控制巡检机器人按照预设路线每天两次对变电站内设备表获取数据、设备渗漏油情况检查、各类绝缘子完整性检测等；第二常规任务可为控制巡检无人机按照预设悬停点每周三次从设备顶部进对各类油枕的油位数据进行获取、确定变压器等设备顶部缺陷和各类开关的状态情况。
进一步的，当边缘端数据采集及分析子系统11接收到的巡检指令为用于进行倒闸巡检任务的特定巡检指令时，可控制巡检无人机和巡检机器人分别进入预先设定的检测机位，进行倒闸状态校核，巡检机器人从底部位置、巡检无人机从顶部位置进行设采集倒闸操作的相关设备的设备状态，并将设备状态反馈至倒闸控制系统。
本发明实施例的技术方案，能够在实际使用中巡检无人机和巡检机器人配合应用于巡检场景，将即使涉及到机器人无法检测到的设备，可采用无人机完成，实现了对站内设备的全方位巡检，无需人工进行补充作业，提高了巡检效率和准确性，避免了资源浪费。
示例性地， 所述云端人工智能子系统包括人体姿态识别模型、隔离开关状态识别模型、继电器状态识别模型、设备缺陷识别模型、设备状态检测模型、地面油污语义识别模型中、硅胶桶检测模型以及硅胶变色检测模型的至少一种。
目前在电网巡检过程中，仍然需要大量作业人员到电力设备现场开展设备检修和隐患消缺等作业。电力作业现场属高危环境，人员、设备众多，为提高电网运维的安全规范，需对电力施工场景下人员行为进行实时监管，保障监管范围内的作业安全。可选地，所述云端人工智能子系统可包括人体姿态识别模型。
具体地，所述云端人工智能子系统，用于获取与作业人员的作业过程对应的训练样本集，基于所述训练样本集中的作业巡检图像对卷积神经网络进行训练，以得到人体姿态识别模型，以及，基于更新后的训练样本集对所述人体姿态识别模型进行优化，以及，将所述人体姿态识别模型下发至站端管理子系统12；站端管理子系统12，用于将所述人体姿态识别模型下发至边缘端数据采集及分析子系统11；边缘端数据采集及分析子系统11，用于采集电力施工现场中作业人员作业过程的作业图像，基所述人体姿态识别模型确定所述作业图像中所述作业人员的人体关键点和各所述人体关键点之间的关联关系，确定与所述人体关键点和所述关联关系对应的所述作业人员的作业行为，将所述作业行为与预先设定的违规行为进行对比，确定所述作业人员是否存在违规行为。
示例性的，人体关键点可包括鼻子、脖颈、右肩、右肘、右手、左肩、左肘、左手、右髋、右膝、右踝、左髋、左膝、左踝、右眼、左眼、右耳和左耳。进一步的，可确定出作业图像中作业人员的人体关键点之间的关联关系。需要说明的是，关联关系为各人体关键点在作业图像中的位置关系及连接关系，基于人体关键点和关联关系，可确定出作业人员的当前姿态。
具体的，基于人体关键点和关联关系，可确定出作业人员当前的动作姿态，例如，抬腿、下蹲、站立、躺平以及抬手等动作姿态。仅仅从动作姿态无法准确地判断出作业人员是在进行正常任务操作还是违规行为。为提高确定过程的准确性，可通过人体姿态识别模型输出的信息，确定出作业图像中对应的电力施工现场的作业背景信息。基于作业背景信息和作业人员当前的动作姿态，确定出作业人员当前的作业行为。确定作业人员的作业行为是否在行为规范中设定的违规行为范围中，如果是，则说明作业人员当前违规操作；如果否，则说明作业人员当前正常工作，无违规行为。
采用上述技术方案，通过电力施工现场中作业人员的作业过程的作业图像以及人体姿态识别模型，即可确定作业图像中作业人员的人体关键点和各人体关键点之间的关联关系，进而，确定与人体关键点和关联关系对应的作业人员的作业行为，将作业行为与预先设定的违规行为进行对比，确定作业人员是否存在违规行为，无需安全监管人员对作业图像进行查看，减少了资源浪费，且提高了确定违规行为的准确率和有效性。
可选地，所述云端人工智能子系统，具体用于获取与隔离开关状态识别对应的训练样本集，基于所述训练样本集中的隔离开关图像对深度学习网络进行训练，以得到隔离开关状态识别模型，以及，基于更新后的训练样本集对隔离开关状态识别模型进行优化，以及，将所述隔离开关状态识别模型下发至站端管理子系统12；站端管理子系统12，用于将所述隔离开关状态识别模型下发至边缘端数据采集及分析子系统11；边缘端数据采集及分析子系统11，用于采集隔离开关图像，基于所述隔离开关状态识别模型，确定所述隔离开关图像中是否包含与隔离开关两端连接的刀闸臂对应的两条直线，若否，则确定所述隔离开关的状态为分开状态，若是，则计算所述两条直线之间的夹角，确定所述夹角是否小于预设角度阈值，若小于，则确定所述隔离开关的状态为闭合状态，若大于，则确定所述隔离开关的状态为未合好状态。
可选地，所述云端人工智能子系统，具体用于获取与继电器状态识别对应的训练样本集，基于所述训练样本集中的继电器图像对深度学习网络进行训练，以得到继电器状态识别模型，以及，基于更新后的训练样本集对继电器状态识别模型进行优化，以及，将所述继电器状态识别模型下发至站端管理子系统12；
站端管理子系统12，用于将所述继电器状态识别模型下发至边缘端数据采集及分析子系统11；
边缘端数据采集及分析子系统11，用于采集隔离开关图像，对所述继电器图像进行预处理操作，得到所述继电器图像中的目标字符，基于所述继电器状态识别模型，确定所述目标字符是否为分字符，若是分字符，则确定所述继电器的状态为分开状态，其中，所述继电器状态识别模型最邻近分类模型。
其中，所述目标巡检设备对所述继电器图像进行预处理操作，具体可以是对所述继电器图像进行灰度化和直方图均衡化处理，得到均衡化图像，基于最大类间方差算法对所述均衡化图像进行图像分割操作。
变电站是电力系统中重要的组成部分之一，其场所内部有着众多的电力设备，电力设备在长时间的工作使用后，其表面容易产生破损，从而导致内部金属容易产生锈蚀现象，因此，需要不定时的对变电站设备进行缺陷检测，以防发生严重的电力事故。可选地，所述云端人工智能子系统可包括设备缺陷识别模型。
具体地，所述云端人工智能子系统，用于获取与待检测的变电站设备对应的训练样本集，基于所述训练样本集中的设备样本图像对卷积神经网络进行训练，以得到设备缺陷识别模型，以及，基于更新后的训练样本集对设备缺陷识别模型进行优化，以及，将所述设备缺陷识别模型下发至站端管理子系统12，其中，所述卷积神经网络包括并联的卷积模块与全连接模块，所述卷积模块包括至少一个卷积层和与所述卷积层串联的至少一个全连接层，所述全连接模块包括至少一个全连接层组成的全连接模块；站端管理子系统12，用于将所述设备缺陷识别模型下发至边缘端数据采集及分析子系统11；边缘端数据采集及分析子系统11，用于获取待检测的变电站设备的目标设备图像，并将所述目标设备图像发送至所述设备缺陷识别模型，将所述目标设备图像输入至所述设备缺陷识别模型中，得到变电站设备缺陷的缺陷区域和缺陷类型。
采用上述技术方案，通过获取待检测变电站设备的目标设备图像，并将目标设备图像输入至预先训练完成的设备缺陷识别模型中，得到变电站设备缺陷的识别结果，其中，设备缺陷识别模型采用并行连接的卷积模块与全连接模块，相比于串行连接的模型结构，可以有效提高设备缺陷识别模型的鲁棒性，从而提高识别准确率，并且解决了现有技术中由于采用人工对变电站设备缺陷进行检测而导致的检测工作量大、检测效率低且不准确的问题，达到了在降低人力成本的同时，还可以精准识别变电站设备缺陷的技术效果。而且，识别出变电站设备缺陷的缺陷区域和缺陷类型能够为后续维修提供重要依据。
为了保证电力传输线路工作的稳定性和可靠性，往往需要实时关注电力设备的状态，因此巡检过程中可以对电力设备的状态进行检测。可选地，所述云端人工智能子系统可包括设备状态检测模型。
具体地，所述云端人工智能子系统，用于获取与待检测的变电站设备对应的训练样本集，基于所述训练样本集中的设备巡检图像和设备标准图像对卷积神经网络进行训练，以得到设备状态检测模型，以及，基于更新后的训练样本集对设备状态检测模型进行优化，以及，将所述设备状态检测模型下发至站端管理子系统12；站端管理子系统12，用于将所述设备状态检测模型下发至边缘端数据采集及分析子系统11；边缘端数据采集及分析子系统11，用于获取待检测电力设备的设备巡检图像以及设备标准图像，并确定所述设备巡检图像和所述设备标准图像的图像相似度，如果所述图像相似度不满足预设的设备状态正常条件，则根据所述设备巡检图像和设备标准图像确定待检测图像，将所述待检测图像输入至所述设备状态检测模型中，得到所述待检测电力设备的设备状态检测结果。
可选地，站端管理子系统12，用于将所述巡检灰度图与所述标准灰度图对齐，通过移植对齐后的所述巡检灰度图以及所述标准灰度图的其中一张图像合成所述待检测图像的第一颜色通道和第三颜色通道，并移植另一张图像合成所述待检测图像的第二颜色通道，以得到三通道的待检测图像。如果检测到对齐后的巡检灰度图存在黑边像素，则对设备巡检图像进行像素插值，以填补所述黑边像素。
其中，黑边像素可以理解为由一个个不确定像素值的像素点所构成的平面。像素插值可以理解为用来填充图像变换时像素之间的空隙的一种方法。例如可以是，根据黑边像素周围的其他像素点的像素值计算得到黑边像素中像素点的像素值，从而实现黑边像素的填补。可选地，通过像素插值可以将巡检灰度图中因存在黑边像素而导致的部分图像信息缺失的问题进行填补，以实现缺失图像信息的补充，从而可以得到更加准确的待检测图像。
其中，所述设备状态检测模型的模型结构包括深度残差网络和特征金字塔结构；所述特征金字塔结构采用上采样相加的方式确定所述待检测图像的多个候选区域，通过非极大值抑制方法确定多个候选区域中的目标区域。
需要说明的是，深度残差网络的初始化权值参数可以通过对训练图像数据集进行统计分析后，设定网络步长以及卷积核尺寸等各项参数。示例性地，深度残差网络层数可以采用18、34、50、101或者152等多种层数，网络层数的选择可以通过与图像尺度大小或者运算硬件算力成正比来进行选择，本实施例对此不作限定。
上述技术方案，能够通过获取待检测电力设备的设备巡检图像和设备标准图像，并对其进行图像相似度的判定，如果图像相似度不满足预设的设备状态正常条件，则需要根据设备巡检图像和设备标准图像确定待检测图像，并将待检测图像输入至设备状态检测模型中，从而可以得到待检测设备的设备状态检测结果，解决了现有技术中在电力设备状态的检测过程中出现的人工巡检范围以及检测工作量大，且不利于对设备状态进行评估的问题，通过对待检测电力设备的巡检图像和正常状态下的标准图像进行对比，再应用设备状态检测模型，实现电力设备的状态检测，达到辅助技术人员掌握设备运行状态，降低工作强度的同时，还可以精准进行运维检修的技术效果。
在电力系统中，如果变电器发生漏油且未被及时发现，会对变电器的使用寿命造成影响，并且影响电力系统的安全运行。可选地，所述云端人工智能子系统可包括地面油污语义识别模型。
具体地，所述云端人工智能子系统，用于获取与目标变电站的待检测的原始地面对应的训练样本集，基于所述训练样本集中的地面图像对全卷积神经网络及残差网络进行训练，以得到地面油污语义识别模型，以及，基于更新后的训练样本集对地面油污语义识别模型进行优化，以及，将所述地面油污语义识别模型下发至站端管理子系统12，其中，所述地面油污语义识别模型中的模型参数基于随机权值平均方法确定；站端管理子系统12，用于将所述地面油污语义识别模型下发至边缘端数据采集及分析子系统11，以及，如果所述目标地面图像标注有至少一处地面油污，则生成地面油污提示信息，并展示所述地面油污提示信息；边缘端数据采集及分析子系统11，用于获取目标变电站的待检测的原始地面图像，将所述原始地面图像输入至所述地面油污语义识别模型中，得到目标地面图像，并将所述目标地面图像发送至站端管理子系统12。
需要说明的是，模型训练的过程是不断学习和调整模型参数，对损失函数进行优化求最小化的过程。损失函数用于度量样本地面图像的计算输出和样本地面图像的真实输出之间的损失函数，其优化过程是通常是通过随机梯度下降法（Stochastic GradientDescent，SGD）来逐步迭代完成的。传统的SGD是寻找单个局部最优解，该方法通常采用带衰减系数的学习率。先将学习率设为较大值，损失函数会快速下降。为避免模型在极小值点附近区域来回震荡或者越过极小值点，一般会采用学习率衰减策略，随着学习率减小，损失函数最终收敛。然而本实施例中采用的随机权值平均方法（Stochastic Weight Averaging，SWA），通过平均多个随机梯度下降的权重参数，从而使损失函数不会陷入单个极小值点。SWA中加入了周期性滑动平均来限制权重的变化，解决了传统梯度下降在反向过程中的权重震荡问题，达到改善深度学习模型泛化的能力的效果。
考虑到油污区域的不规则性，通过平均多个随机梯度下降的模型参数，这样会兼顾所有训练样本的油污特征，解决了地面油污形状复杂导致的识别准确率低的问题，从而更有利于模型识别率的提升。并且，自动识别油污区域以及漏油程度，将漏油程度、目标设备以及目标地面图像输出至待测变电站的管理平台，达到了及时反馈提醒的技术效果。
本技术方案中，地面油污语义识别模型通过语义分割网络采用跃层结构将浅层的位置信息和深层的语义信息结合起来，得到更佳鲁棒的模型，解决了由于油污信息识别不准确导致的变电站地面油污识别准确性低的问题，实现了提升地面油污识别的识别准确率的效果，可以使该模型在工业领域的油污识别中的使用范围更广果。
变压器呼吸器用于清除吸入空气中的杂质和水分，以保证变压器稳定可靠的运行。一旦呼吸器硅胶受潮变色后，造成变压器呼吸不畅，变压器内部压力过大，可能会引起保护跳闸或者释放阀动作。由于硅胶桶破损或者其它原因导致呼吸器硅胶受潮，进而引起硅胶变色，当硅胶变色区域占到整体的三分之二以上时，硅胶吸收水分的性能基本达到饱和，应该及时更换。可选地，所述云端人工智能子系统可以包括硅胶桶检测模型和硅胶变色检测模型。
具体地，所述云端人工智能子系统，具体用于获取目标变电站内的变压器呼吸器对应的训练样本集，基于所述训练样本集中的呼吸器硅胶图像和硅胶桶标注图像对构建的初始硅胶桶模型进行训练，以得到硅胶桶检测模型，以及，基于更新后的训练样本集对所述硅胶桶检测模型进行优化，以及，将所述硅胶桶检测模型下发至站端管理子系统12，其中，所述硅胶桶标注图像中包括至少一个硅胶桶区域，所述初始硅胶桶模型基于残差网络以及自注意力模块构建；所述云端人工智能子系统，具体还用于获取目标变电站内的变压器呼吸器对应的训练样本集，基于所述训练样本集中的硅胶桶标注图像和硅胶变色标注图像对构建的初始变色检测模型进行训练，以得到硅胶变色检测模型，以及，基于更新后的训练样本集对所述硅胶变色检测模型进行优化，以及，将所述硅胶变色检测模型下发至站端管理子系统12， 其中，所述硅胶变色标注图像中包括所述硅胶桶区域中的变色区域和/或不变色区域，所述初始变色检测模型基于残差网络以及自注意力模块构建；站端管理子系统12，用于将所述硅胶桶检测模型和所述硅胶变色检测模型下发至边缘端数据采集及分析子系统11；边缘端数据采集及分析子系统11，用于获取目标变电站内的变压器呼吸器的呼吸器硅胶图像，将所述呼吸器硅胶图像输入至所述硅胶桶检测模型中，确定硅胶桶标注图像，针对所述硅胶桶标注图像中的每一个硅胶桶区域，基于所述硅胶变色检测模型，对所述硅胶桶区域进行检测，确定硅胶变色标注图像。
需要说明的是，在整体特征提取网络中可以插入一个或多个注意力特征提取网络。例如：若整体特征提取网络共有5层，则为了更好地获取不同特征层的特征，可以将自注意力模块分别置于第2层与第3层特征层之间与最后一层特征层后，自注意力模块的输入为上一层特征层输出的特征图，输出则是与原特征图相加的结果。
还需要说明的是，当将注意力特征提取网络置于中间特征层（任意两层残差网络之间）时，主要用于整合提取到的中层特征，抑制非必要的特征，显著化利于硅胶桶或硅胶变色识别的中层特征。当将注意力特征提取网络置于最后一层特征层之后时，主要用于高层语义特征提取，将该特征层作为当将注意力特征提取网络置于的输入，有利于提取全局的关联性特征。
可选的，所述自注意力模块包括通道自注意力模块以及空间自注意力模块；其中，所述通道自注意力模块与所述空间自注意力模块的连接方式为串联或并联。
具体地，所述自注意力模块包括通道自注意力模块，所述通道自注意力模块，用于对输入所述通道自注意力模块的输入特征图进行转置处理，得到转置特征图；将所述通道自注意力模块的输入特征图与所述转置特征图进行矩阵相乘，并进行归一化处理，得到通道注意力权重矩阵，并对所述通道注意力权重矩阵进行转置；将转置后的所述通道注意力权重矩阵与所述转置特征图进行矩阵相乘，得到通道过程矩阵；将所述通道过程矩阵与输入所述通道自注意力模块的输入特征图进行逐元素相加，得到所述通道自注意力模块的输出特征图。
可选的，所述自注意力模块包括空间自注意力模块，所述空间自注意力模块，用于将输入所述空间自注意力模块的输入特征图重复输入所述空间自注意力模块中的一维卷积层，得到两张卷积特征图；将两张卷积特征图分别进行矩阵重构，得到第一重构特征图和第二重构特征图，并对所述第一重构特征图进行转置；将所述第二重构特征图与转置后的所述第一重构特征图进行矩阵相乘，并进行归一化处理，得到空间注意力权重矩阵，并对所述空间注意力权重矩阵进行转置；对输入所述空间自注意力模块的输入特征图进行矩阵重构，得到第三重构特征图，将所述第三重构特征图与转置后的所述空间注意力权重矩阵进行矩阵相乘，得到空间过程矩阵；将所述空间过程矩阵与输入所述空间自注意力模块的输入特征图进行逐元素相加，得到所述自注意力模块的输出特征图。
采用上述技术方案，解决了呼吸器的硅胶变色识别不准确以及不及时的问题将注意力特征提取网络插入到整体特征提取网络中间，可以使得构建的初始硅胶桶模型以及初始硅胶变色模型同时具有整体特征提取的作用，以及上下文关联特征提取的作用，实现了提高呼吸器硅胶变色检测准确率以及检测效率的技术效果。
为了保证数据安全，边缘端数据采集及分析子系统11与站端管理子系统12之间的数据传输以及站端管理子系统12与所述云端人工智能子系统之间的数据传输，传输数据经过数据加密处理，并通过有线通讯方式或无线通信方式进行传输。这样设置的好处在于，传输经由数据加密处理后的数据，能够有效防止数据被篡改，使得数据的传输更加安全。
需要说明的是，数据的接收端在使用加密的数据之前需要对数据进行解密。其中，数据加密处理的方式有多种，例如可以采用对称加密算法，如AES加密算法、DES加密算法或3DE S加密算法，或者，也可以采用非对称加密算法，如，RSA加密算法、DSA加密算法或ECC加密算法等，在此并不做限定。
可选地，站端管理子系统12，还具体用于如果巡检分析结果为存在异常，则生成包含异常电力设和/或异常作业人员的维修关联信息的维修单，并基预先存储的运维人员的联系方式，将所述维修单推送至各运维人员终端。
在本发明实施例中，站端管理子系统12，可用于对所花边缘端数据采集及分析子系统的巡检任务的任务管理，还可用于对监管的多个变电站内的电力设备及巡检设备进行设备调度，又可用于对人工智能模型的模型部署，以及，可用于针对不同的巡检任务将目标巡检数据以及巡检分析结果进行分类归集管理，如，可以将未穿工装、吸烟等巡检相关数据作为人员行为相关数据进行管理；将呼吸硅胶变色以及表计损坏等巡检相关数据作为设备缺陷相关数据进行管理；将隔离开关开合以及道闸状态等巡检相关数据作为设备状态相关数据进行管理，等等。
可选地，所述云端人工智能子系统还可用于对站端管理子系统的数据更新等操作进行远程监控。
本发明实施例的用于变电站的智能感知巡检系统，通过对变电站现有设备复用和智能化装备部署，解决了现有巡检方式中对巡检人员要求较高，人员配置困难，人员管理成本较高以及巡检结果的可靠性难以判断等问题，实现了对变电站的智能化及自动化巡检，节省了人工运维成本，实现了高质量的安全运维。
实施例二
图3为本发明实施例二提供的一种用于变电站的智能感知巡检方法，其特征在于，应用于用于变电站的智能感知巡检系统，所述用于变电站的智能感知巡检包括边缘端数据采集及分析子系统、站端管理子系统以及云端人工智能子系统，所述站端管理子系统分别与所述边缘端数据采集及分析子系统和所述云端人工智能子系统通信连接。如图3所示，所述用于变电站的智能感知巡检方法包括：
S210、通过边缘端数据采集及分析子系统，接收站端管理子系统下发的巡检任务，基于所述巡检任务采集变电站中的目标巡检对象的目标巡检数据，并基于与所述目标巡检数据对应的人工智能模型对所述目标巡检数据进行边缘分析，得到巡检分析结果，并将所述目标巡检数据和所述巡检分析结果发送给站端管理子系统。
其中，通过所述双目云台监控设备采集作业现场的双目视频信息，将所述双目视频信息传输给所述视频跟踪装置；通过所述视频跟踪装置接收所述双目云台监控设备传输的双目视频信息，并对所述双目视频信息进行目标检测，确定出所述双目视频信息中的待跟踪对象，对检测出的待跟踪对象进行实时跟踪，并将所述待跟踪对象的跟踪信息突出显示于所述双目视频信息中，并将所述双目视频信息发送给所述沉浸式显示装置；其中，所述待跟踪对象包括所述作业现场的作业人员和电力设备；通过所述沉浸式显示装置接收所述视频跟踪装置发送的双目视频信息，并将所述双目视频信息，分别显示在所述头戴显示设备的左右显示器中。
S220、通过站端管理子系统生成并下发巡检任务，以及，接收并管理所述目标巡检数据和所述巡检分析结果，以及，根据所述目标巡检数据生成与目标巡检对象对应的原始样本集，并将所述原始样本集上传至云端人工智能子系统，以及，接收云端人工智能子系统下发的人工智能模型，并将所述人工智能模型下发至边缘端数据采集及分析子系统。
S230、通过云端人工智能子系统根据原始样本集以及原始样本集对应的标注结果构建训练样本集，以及，根据训练样本集对人工智能模型进行模型训练及优化迭代，并将所述人工智能模型下发至站端管理子系统。
可选地，所述边缘端数据采集及分析子系统包括变电站部署的终端采集装置和与终端采集装置通讯连接的边缘分析装置，所述终端采集装置包括巡检无人机、巡检机器人、监控摄像头、红外线探测设备和双目云台监控设备中的至少一种巡检设备。
其中，通过所述终端采集装置接收所述站端管理子系统下发的巡检任务，确定与所述巡检任务对应的至少一台巡检设备，基于所述巡检设备采集与所述巡检任务对应的设备运行数据和/或人员作业数据，并将采集到的所述设备运行数据和/或所述人员作业数据发送给所述边缘分析装置；
通过所述边缘分析装置接收所述设备运行数据和/或所述人员作业数据，并确定与接收到的所述设备运行数据和/或所述人员作业数据对应的人工智能模型，并基于确定出的人工智能模型对所述设备运行数据和/或所述人员作业数据进行人员行为检测、设备状态检测以及设备缺陷识别分析，得到与巡检任务对应的巡检分析结果，以及，将所述设备运行数据和/或所述人员作业数据及其对应的巡检分析结果发送给站端管理子系统。
可选地，所述边缘端数据采集及分析子系统还包括视频跟踪装置，其中，
通过所述双目云台监控设备采集作业现场的双目视频信息，将所述双目视频信息传输给所述视频跟踪装置；
通过所述视频跟踪装置接收所述双目云台监控设备传输的双目视频信息，并对所述双目视频信息进行目标检测，确定出所述双目视频信息中的待跟踪对象，对检测出的待跟踪对象进行实时跟踪，其中，所述待跟踪对象包括所述作业现场的作业人员和电力设备。
可选地，所述边缘端数据采集及分析子系统还包括配置有头戴显示设备的沉浸式显示装置，所述沉浸式显示装置与所述视频跟踪装置通讯连接，其中，
通过所述视频跟踪装置将所述待跟踪对象的跟踪信息突出显示于所述双目视频信息中，并将所述双目视频信息发送给所述沉浸式显示装置；
通过所述沉浸式显示装置接收所述视频跟踪装置发送的双目视频信息，并将所述双目视频信息，分别显示在所述头戴显示设备的左右显示器中。
可选地，所述边缘分析装置包括人员行为分析模块；其中，
通过所述双目云台监控设备将所述双目视频信息传输给所述人员行为分析模块；
通过所述人员行为分析模块根据所述双目视频信息中的左目视频信息和右目视频信息获取的人员关键点的平面坐标，利用双目立体几何算法，获取作业人员的人员关键点的三维空间坐标，构建人员关键点在三维坐标下的人员特例序列，并根据所述双目视频信息以及双目立体几何算法确定出设备空间坐标信息，根据所述人员特例序列和所述设备空间坐标信息确定所述作业人员的行为状态，并确定所述行为状态是否符合预设作业规范。
可选地，通过所述双目云台监控设备包括双目模块、云台模块以及云台控制模块，所述双目模块设置于所述云台模块上，具备红外与可见光双摄像头，其中，通过所述云台控制模块接收用于控制所述云台模块的云台运动控制指令，并根据所述云台运动控制指令控制所述云台模块在预设方向上运动，以使所述双目模块随所述云台模块运动而运动。
可选地，所述边缘端数据采集及分析子系统还包括机器人交互装置，其中，通过巡检机器人交互模块接收用于控制所述巡检机器人的机器人运动控制指令，并根据巡检机器人运动控制指令控制巡检机器人的运动轨迹。
可选地，通过所述站端管理子系统接收用户输入的巡检方案的方案配置信息，根据方案配置信息生成与所述巡检方案，以及，向所述边缘端数据采集及分析子系统下发包含有巡检方案的巡检任务，其中，所述巡检方案包括目标巡检对象、目标巡检设备和目标巡检方式，所述目标巡检对象包括作业人员和电力设备，所述目标巡检方式包括采用单个巡检设备进行巡检的方式和采用多个巡检设备进行联合巡检的方式。
可选地，通过所述终端采集装置接收所述站端管理子系统下发的包含有巡检方案的巡检任务，确定与所述巡检任务对应的目标巡检设备，从各个未处于工作状态的备用巡检设备中确定出巡检执行设备，并基于目标巡检方式控制所述巡检执行设备采集与所述巡检任务对应的设备运行数据和/或人员作业数据，并将采集到的所述设备运行数据和/或所述人员作业数据发送给所述边缘分析装置。
可选地，通过所述站端管理子系统对不同巡检设备采集的目标巡检数据进行融合分析，实现对目标检测对象的检测，以及，对不同巡检设备采集的目标巡检数据及其对应的巡检分析结果进行数据挖掘，并将所述目标巡检数据及其对应的巡检分析结果存储于以时间维度和空间维度两个维度建立的数据库中，以及，对目标巡检数据及其对应的巡检分析结果执行预设数据操作，其中，预设数据操作包括增加操作、删除操作、修改操作、压缩操作、加密操作、解密操作及查询操作中的至少一种。
可选地，当所述边缘端数据采集及分析子系统接收到定时触发的常规巡检指令时，建立用于对变电站中的各设备表和各类绝缘设备进行巡检的第一常规任务，将所述第一常规任务发送至巡检机器人，以及，建立用于对所述变电站中的各类油枕、变压器和开关设备进行巡检的第二常规任务，将所述第二常规任务发送至巡检无人机。
示例性地， 所述云端人工智能子系统包括人体姿态识别模型、隔离开关状态识别模型、继电器状态识别模型、设备缺陷识别模型、设备状态检测模型、地面油污语义识别模型中、硅胶桶检测模型以及硅胶变色检测模型等模型中的至少一种。
可选地，当所述云端人工智能子系统包括人体姿态识别模型时，通过所述云端人工智能子系统获取与作业人员的作业过程对应的训练样本集，基于所述训练样本集中的作业巡检图像对卷积神经网络进行训练，以得到人体姿态识别模型，以及，基于更新后的训练样本集对所述人体姿态识别模型进行优化，以及，将所述人体姿态识别模型下发至所述站端管理子系统；
通过所述站端管理子系统将所述人体姿态识别模型下发至所述边缘端数据采集及分析子系统；
通过所述边缘端数据采集及分析子系统采集电力施工现场中作业人员作业过程的作业图像，基所述人体姿态识别模型确定所述作业图像中所述作业人员的人体关键点和各所述人体关键点之间的关联关系，确定与所述人体关键点和所述关联关系对应的所述作业人员的作业行为，将所述作业行为与预先设定的违规行为进行对比，确定所述作业人员是否存在违规行为。
可选地，当所述云端人工智能子系统包括隔离开关状态识别模型时，具体地，通过所述云端人工智能子系统获取与隔离开关状态识别对应的训练样本集，基于所述训练样本集中的隔离开关图像对深度学习网络进行训练，以得到隔离开关状态识别模型，以及，基于更新后的训练样本集对隔离开关状态识别模型进行优化，以及，将所述隔离开关状态识别模型下发至所述站端管理子系统；
通过所述站端管理子系统将所述隔离开关状态识别模型下发至所述边缘端数据采集及分析子系统；
通过所述边缘端数据采集及分析子系统采集隔离开关图像，基于所述隔离开关状态识别模型，确定所述隔离开关图像中是否包含与隔离开关两端连接的刀闸臂对应的两条直线，若否，则确定所述隔离开关的状态为分开状态，若是，则计算所述两条直线之间的夹角，确定所述夹角是否小于预设角度阈值，若小于，则确定所述隔离开关的状态为闭合状态，若大于，则确定所述隔离开关的状态为未合好状态。
可选地，当所述云端人工智能子系统包括继电器状态识别模型时，具体地，通过所述云端人工智能子系统获取与继电器状态识别对应的训练样本集，基于所述训练样本集中的继电器图像对深度学习网络进行训练，以得到继电器状态识别模型，以及，基于更新后的训练样本集对继电器状态识别模型进行优化，以及，将所述继电器状态识别模型下发至所述站端管理子系统；
通过所述站端管理子系统将所述继电器状态识别模型下发至所述边缘端数据采集及分析子系统；
通过所述边缘端数据采集及分析子系统采集隔离开关图像，对所述继电器图像进行预处理操作，得到所述继电器图像中的目标字符，基于所述继电器状态识别模型，确定所述目标字符是否为分字符，若是分字符，则确定所述继电器的状态为分开状态，其中，所述继电器状态识别模型最邻近分类模型。
可选地，当所述云端人工智能子系统包括设备缺陷识别模型时，具体地， 通过所述云端人工智能子系统获取与待检测的变电站设备对应的训练样本集，基于所述训练样本集中的设备样本图像对卷积神经网络进行训练，以得到设备缺陷识别模型，以及，基于更新后的训练样本集对设备缺陷识别模型进行优化，以及，将所述设备缺陷识别模型下发至所述站端管理子系统，其中，所述卷积神经网络包括并联的卷积模块与全连接模块，所述卷积模块包括至少一个卷积层和与所述卷积层串联的至少一个全连接层，所述全连接模块包括至少一个全连接层组成的全连接模块；
通过所述站端管理子系统将所述设备缺陷识别模型下发至所述边缘端数据采集及分析子系统；
通过所述边缘端数据采集及分析子系统获取待检测的变电站设备的目标设备图像，并将所述目标设备图像发送至所述设备缺陷识别模型，将所述目标设备图像输入至所述设备缺陷识别模型中，得到变电站设备缺陷的缺陷区域和缺陷类型。
可选地，当所述云端人工智能子系统包括设备状态检测模型时，具体地，通过所述云端人工智能子系统获取与待检测的变电站设备对应的训练样本集，基于所述训练样本集中的设备巡检图像和设备标准图像对卷积神经网络进行训练，以得到设备状态检测模型，以及，基于更新后的训练样本集对设备状态检测模型进行优化，以及，将所述设备状态检测模型下发至所述站端管理子系统；
通过所述站端管理子系统将所述设备状态检测模型下发至所述边缘端数据采集及分析子系统；
通过所述边缘端数据采集及分析子系统获取待检测电力设备的设备巡检图像以及设备标准图像，并确定所述设备巡检图像和所述设备标准图像的图像相似度，如果所述图像相似度不满足预设的设备状态正常条件，则根据所述设备巡检图像和设备标准图像确定待检测图像，将所述待检测图像输入至所述设备状态检测模型中，得到所述待检测电力设备的设备状态检测结果。
可选地，当所述云端人工智能子系统包括地面油污语义识别模型时，具体地，所述云端人工智能子系统，具体用于获取与目标变电站的待检测的原始地面对应的训练样本集，基于所述训练样本集中的地面图像对全卷积神经网络及残差网络进行训练，以得到地面油污语义识别模型，以及，基于更新后的训练样本集对地面油污语义识别模型进行优化，以及，将所述地面油污语义识别模型下发至所述站端管理子系统，其中，所述地面油污语义识别模型中的模型参数基于随机权值平均方法确定；
所述站端管理子系统，用于将所述地面油污语义识别模型下发至所述边缘端数据采集及分析子系统，以及，如果所述目标地面图像标注有至少一处地面油污，则生成地面油污提示信息，并展示所述地面油污提示信息；
所述边缘端数据采集及分析子系统，用于获取目标变电站的待检测的原始地面图像，将所述原始地面图像输入至所述地面油污语义识别模型中，得到目标地面图像，并将所述目标地面图像发送至所述站端管理子系统。
可选地，当所述云端人工智能子系统包括硅胶桶检测模型和硅胶变色检测模型时，具体地，通过所述云端人工智能子系统获取目标变电站内的变压器呼吸器对应的训练样本集，基于所述训练样本集中的呼吸器硅胶图像和硅胶桶标注图像对构建的初始硅胶桶模型进行训练，以得到硅胶桶检测模型，以及，基于更新后的训练样本集对所述硅胶桶检测模型进行优化，以及，将所述硅胶桶检测模型下发至所述站端管理子系统，其中，所述硅胶桶标注图像中包括至少一个硅胶桶区域，所述初始硅胶桶模型基于残差网络以及自注意力模块构建；
通过所述云端人工智能子系统获取目标变电站内的变压器呼吸器对应的训练样本集，基于所述训练样本集中的硅胶桶标注图像和硅胶变色标注图像对构建的初始变色检测模型进行训练，以得到硅胶变色检测模型，以及，基于更新后的训练样本集对所述硅胶变色检测模型进行优化，以及，将所述硅胶变色检测模型下发至所述站端管理子系统， 其中，所述硅胶变色标注图像中包括所述硅胶桶区域中的变色区域和/或不变色区域，所述初始变色检测模型基于残差网络以及自注意力模块构建；
通过所述站端管理子系统将所述硅胶桶检测模型和所述硅胶变色检测模型下发至所述边缘端数据采集及分析子系统；
通过所述边缘端数据采集及分析子系统获取目标变电站内的变压器呼吸器的呼吸器硅胶图像，将所述呼吸器硅胶图像输入至所述硅胶桶检测模型中，确定硅胶桶标注图像，针对所述硅胶桶标注图像中的每一个硅胶桶区域，基于所述硅胶变色检测模型，对所述硅胶桶区域进行检测，确定硅胶变色标注图像。
在本发明实施例中，所述边缘端数据采集及分析子系统与所述站端管理子系统之间的数据传输以及所述站端管理子系统与所述云端人工智能子系统之间的数据传输，传输数据经过数据加密处理，并通过有线通讯方式或无线通信方式进行传输。
本发明实施例所提供用于变电站的智能感知巡检系统可执行本发明任意实施例所提供的用于变电站的智能感知巡检方法，具备执行方法相应的功能模块和有益效果。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (20)
1.一种用于变电站的智能感知巡检系统，其特征在于，包括：边缘端数据采集及分析子系统、站端管理子系统以及云端人工智能子系统，其中，
所述边缘端数据采集及分析子系统，与所述站端管理子系统通讯连接，用于接收所述站端管理子系统下发的巡检任务，基于所述巡检任务采集变电站中的目标巡检对象的目标巡检数据，并基于与所述目标巡检数据对应的人工智能模型对所述目标巡检数据进行边缘分析，得到巡检分析结果，并将所述目标巡检数据和所述巡检分析结果发送给所述站端管理子系统；
所述站端管理子系统，与所述云端人工智能系统通讯连接，用于生成并下发巡检任务，以及，接收并管理所述目标巡检数据和所述巡检分析结果，以及，根据所述目标巡检数据生成与目标巡检对象对应的原始样本集，并将所述原始样本集上传至云端人工智能子系统，以及，接收云端人工智能子系统下发的人工智能模型，并将所述人工智能模型下发至所述边缘端数据采集及分析子系统；
所述云端人工智能子系统，用于接收所述原始样本集，并根据原始样本集以及原始样本集对应的标注结果构建训练样本集，以及，根据训练样本集对人工智能模型进行模型训练及优化迭代，并将所述人工智能模型下发至所述站端管理子系统；
其中，所述边缘端数据采集及分析子系统包括变电站部署的终端采集装置、视频跟踪装置和沉浸式显示装置，所述终端采集装置包括双目云台监控设备，其中，
所述双目云台监控设备，用于采集作业现场的双目视频信息，将所述双目视频信息传输给所述视频跟踪装置；
所述视频跟踪装置，与所述沉浸式显示装置通讯连接，用于接收所述双目云台监控设备传输的双目视频信息，并对所述双目视频信息进行目标检测，确定出所述双目视频信息中的待跟踪对象，对检测出的待跟踪对象进行实时跟踪，并将所述待跟踪对象的跟踪信息突出显示于所述双目视频信息中，并将所述双目视频信息发送给所述沉浸式显示装置；其中，所述待跟踪对象包括所述作业现场的作业人员和电力设备；
所述沉浸式显示装置，配置有头戴显示设备，用于接收所述视频跟踪装置发送的双目视频信息，并将所述双目视频信息，分别显示在所述头戴显示设备的左右显示器中。
2.根据权利要求1所述的用于变电站的智能感知巡检系统，其特征在于，所述终端采集装置包括巡检无人机、巡检机器人、监控摄像头和红外线探测设备中的至少一种巡检设备。
3.根据权利要求1所述的用于变电站的智能感知巡检系统，其特征在于，所述边缘端数据采集及分析子系统包括变电站部署的边缘分析装置；其中，
所述终端采集装置，与所述边缘分析装置通讯连接，用于接收所述站端管理子系统下发的巡检任务，确定与所述巡检任务对应的至少一台巡检设备，基于所述巡检设备采集与所述巡检任务对应的设备运行数据和/或人员作业数据，并将采集到的所述设备运行数据和/或所述人员作业数据发送给所述边缘分析装置；
所述边缘分析装置，用于接收所述设备运行数据和/或所述人员作业数据，并确定与接收到的所述设备运行数据和/或所述人员作业数据对应的人工智能模型，并基于确定出的人工智能模型对所述设备运行数据和/或所述人员作业数据进行人员行为检测、设备状态检测以及设备缺陷识别分析，得到与巡检任务对应的巡检分析结果，以及，将所述设备运行数据和/或所述人员作业数据及其对应的巡检分析结果发送给站端管理子系统。
4.根据权利要求3所述的用于变电站的智能感知巡检系统，其特征在于，所述边缘分析装置包括人员行为分析模块；其中，
所述双目云台监控设备，还用于将所述双目视频信息传输给所述人员行为分析模块；
所述人员行为分析模块，用于根据所述双目视频信息中的左目视频信息和右目视频信息获取的人员关键点的平面坐标，利用双目立体几何算法，获取作业人员的人员关键点的三维空间坐标，构建人员关键点在三维坐标下的人员特例序列，并根据所述双目视频信息以及双目立体几何算法确定出设备空间坐标信息，根据所述人员特例序列和所述设备空间坐标信息确定所述作业人员的行为状态，并确定所述行为状态是否符合预设作业规范。
5.根据权利要求1所述的用于变电站的智能感知巡检系统，其特征在于，所述双目云台监控设备包括双目模块、云台模块以及云台控制模块，所述双目模块设置于所述云台模块上，具备红外与可见光双摄像头，其中，所述云台控制模块，用于接收用于控制所述云台模块的云台运动控制指令，并根据所述云台运动控制指令控制所述云台模块在预设方向上运动，以使所述双目模块随所述云台模块运动而运动。
6.根据权利要求1所述的用于变电站的智能感知巡检系统，其特征在于，所述边缘端数据采集及分析子系统还包括机器人交互装置，其中，巡检机器人交互模块，用于接收用于控制所述巡检机器人的机器人运动控制指令，并根据巡检机器人运动控制指令控制巡检机器人的运动轨迹。
7.根据权利要求2所述的用于变电站的智能感知巡检系统，其特征在于，所述站端管理子系统，还用于接收用户输入的巡检方案的方案配置信息，根据方案配置信息生成与所述巡检方案，以及，向所述边缘端数据采集及分析子系统下发包含有巡检方案的巡检任务，其中，所述巡检方案包括目标巡检对象、目标巡检设备和目标巡检方式，所述目标巡检对象包括作业人员和电力设备，所述目标巡检方式包括采用单个巡检设备进行巡检的方式和采用多个巡检设备进行联合巡检的方式。
8.根据权利要求7所述的用于变电站的智能感知巡检系统，其特征在于，
所述终端采集装置，用于接收所述站端管理子系统下发的包含有巡检方案的巡检任务，确定与所述巡检任务对应的目标巡检设备，从各个未处于工作状态的备用巡检设备中确定出巡检执行设备，并基于目标巡检方式控制所述巡检执行设备采集与所述巡检任务对应的设备运行数据和/或人员作业数据，并将采集到的所述设备运行数据和/或所述人员作业数据发送给所述边缘分析装置。
9.根据权利要求1所述的用于变电站的智能感知巡检系统，其特征在于，所述站端管理子系统，还用于对不同巡检设备采集的目标巡检数据进行融合分析，实现对目标检测对象的检测，以及，对不同巡检设备采集的目标巡检数据及其对应的巡检分析结果进行数据挖掘，并将所述目标巡检数据及其对应的巡检分析结果存储于以时间维度和空间维度两个维度建立的数据库中，以及，对目标巡检数据及其对应的巡检分析结果执行预设数据操作，其中，预设数据操作包括增加操作、删除操作、修改操作、压缩操作、加密操作、解密操作及查询操作中的至少一种。
10.根据权利要求1所述的用于变电站的智能感知巡检系统，其特征在于，所述边缘端数据采集及分析子系统，还用于当接收到定时触发的常规巡检指令时，建立用于对变电站中的各设备表和各类绝缘设备进行巡检的第一常规任务，将所述第一常规任务发送至巡检机器人，以及，建立用于对所述变电站中的各类油枕、变压器和开关设备进行巡检的第二常规任务，将所述第二常规任务发送至巡检无人机。
11.根据权利要求1所述的用于变电站的智能感知巡检系统，其特征在于， 所述云端人工智能子系统包括人体姿态识别模型、隔离开关状态识别模型、继电器状态识别模型、设备缺陷识别模型、设备状态检测模型、地面油污语义识别模型中、硅胶桶检测模型以及硅胶变色检测模型的至少一种。
12.根据权利要求11所述的用于变电站的智能感知巡检系统，其特征在于，所述云端人工智能子系统，具体用于获取与作业人员的作业过程对应的训练样本集，基于所述训练样本集中的作业巡检图像对卷积神经网络进行训练，以得到人体姿态识别模型，以及，基于更新后的训练样本集对所述人体姿态识别模型进行优化，以及，将所述人体姿态识别模型下发至所述站端管理子系统；
所述站端管理子系统，用于将所述人体姿态识别模型下发至所述边缘端数据采集及分析子系统；
所述边缘端数据采集及分析子系统，用于采集电力施工现场中作业人员作业过程的作业图像，基所述人体姿态识别模型确定所述作业图像中所述作业人员的人体关键点和各所述人体关键点之间的关联关系，确定与所述人体关键点和所述关联关系对应的所述作业人员的作业行为，将所述作业行为与预先设定的违规行为进行对比，确定所述作业人员是否存在违规行为。
13.根据权利要求11所述的用于变电站的智能感知巡检系统，其特征在于，所述云端人工智能子系统，具体用于获取与隔离开关状态识别对应的训练样本集，基于所述训练样本集中的隔离开关图像对深度学习网络进行训练，以得到隔离开关状态识别模型，以及，基于更新后的训练样本集对隔离开关状态识别模型进行优化，以及，将所述隔离开关状态识别模型下发至所述站端管理子系统；
所述站端管理子系统，用于将所述隔离开关状态识别模型下发至所述边缘端数据采集及分析子系统；
所述边缘端数据采集及分析子系统，用于采集隔离开关图像，基于所述隔离开关状态识别模型，确定所述隔离开关图像中是否包含与隔离开关两端连接的刀闸臂对应的两条直线，若否，则确定所述隔离开关的状态为分开状态，若是，则计算所述两条直线之间的夹角，确定所述夹角是否小于预设角度阈值，若小于，则确定所述隔离开关的状态为闭合状态，若大于，则确定所述隔离开关的状态为未合好状态。
14.根据权利要求11所述的用于变电站的智能感知巡检系统，其特征在于，所述云端人工智能子系统，具体用于获取与继电器状态识别对应的训练样本集，基于所述训练样本集中的继电器图像对深度学习网络进行训练，以得到继电器状态识别模型，以及，基于更新后的训练样本集对继电器状态识别模型进行优化，以及，将所述继电器状态识别模型下发至所述站端管理子系统；
所述站端管理子系统，用于将所述继电器状态识别模型下发至所述边缘端数据采集及分析子系统；
所述边缘端数据采集及分析子系统，用于采集隔离开关图像，对所述继电器图像进行预处理操作，得到所述继电器图像中的目标字符，基于所述继电器识别模型，确定所述目标字符是否为分字符，若是分字符，则确定所述继电器的状态为分开状态，其中，所述继电器识别模为最邻近分类模型。
15.根据权利要求11所述的用于变电站的智能感知巡检系统，其特征在于， 所述云端人工智能子系统，具体用于获取与待检测的变电站设备对应的训练样本集，基于所述训练样本集中的设备样本图像对卷积神经网络进行训练，以得到设备缺陷识别模型，以及，基于更新后的训练样本集对设备缺陷识别模型进行优化，以及，将所述设备缺陷识别模型下发至所述站端管理子系统，其中，所述卷积神经网络包括并联的卷积模块与全连接模块，所述卷积模块包括至少一个卷积层和与所述卷积层串联的至少一个全连接层，所述全连接模块包括至少一个全连接层组成的全连接模块；
所述站端管理子系统，用于将所述设备缺陷识别模型下发至所述边缘端数据采集及分析子系统；
所述边缘端数据采集及分析子系统，用于获取待检测的变电站设备的目标设备图像，并将所述目标设备图像发送至所述设备缺陷识别模型，将所述目标设备图像输入至所述设备缺陷识别模型中，得到变电站设备缺陷的缺陷区域和缺陷类型。
16.根据权利要求11所述的用于变电站的智能感知巡检系统，其特征在于，所述云端人工智能子系统，具体用于获取与待检测的变电站设备对应的训练样本集，基于所述训练样本集中的设备巡检图像和设备标准图像对卷积神经网络进行训练，以得到设备状态检测模型，以及，基于更新后的训练样本集对设备状态检测模型进行优化，以及，将所述设备状态检测模型下发至所述站端管理子系统；
所述站端管理子系统，用于将所述设备状态检测模型下发至所述边缘端数据采集及分析子系统；
所述边缘端数据采集及分析子系统，用于获取待检测电力设备的设备巡检图像以及设备标准图像，并确定所述设备巡检图像和所述设备标准图像的图像相似度，如果所述图像相似度不满足预设的设备状态正常条件，则根据所述设备巡检图像和设备标准图像确定待检测图像，将所述待检测图像输入至所述设备状态检测模型中，得到所述待检测电力设备的设备状态检测结果。
17.根据权利要求11所述的用于变电站的智能感知巡检系统，其特征在于，所述云端人工智能子系统，具体用于获取与目标变电站的待检测的原始地面对应的训练样本集，基于所述训练样本集中的地面图像对全卷积神经网络及残差网络进行训练，以得到地面油污语义识别模型，以及，基于更新后的训练样本集对地面油污语义识别模型进行优化，以及，将所述地面油污语义识别模型下发至所述站端管理子系统，其中，所述地面油污语义识别模型中的模型参数基于随机权值平均方法确定；
所述站端管理子系统，用于将所述地面油污语义识别模型下发至所述边缘端数据采集及分析子系统，以及，如果所述目标地面图像标注有至少一处地面油污，则生成地面油污提示信息，并展示所述地面油污提示信息；
所述边缘端数据采集及分析子系统，用于获取目标变电站的待检测的原始地面图像，将所述原始地面图像输入至所述地面油污语义识别模型中，得到目标地面图像，并将所述目标地面图像发送至所述站端管理子系统。
18.根据权利要求11所述的用于变电站的智能感知巡检系统，其特征在于，所述云端人工智能子系统，具体用于获取目标变电站内的变压器呼吸器对应的训练样本集，基于所述训练样本集中的呼吸器硅胶图像和硅胶桶标注图像对构建的初始硅胶桶模型进行训练，以得到硅胶桶检测模型，以及，基于更新后的训练样本集对所述硅胶桶检测模型进行优化，以及，将所述硅胶桶检测模型下发至所述站端管理子系统，其中，所述硅胶桶标注图像中包括至少一个硅胶桶区域，所述初始硅胶桶模型基于残差网络以及自注意力模块构建；
所述云端人工智能子系统，具体用于获取目标变电站内的变压器呼吸器对应的训练样本集，基于所述训练样本集中的硅胶桶标注图像和硅胶变色标注图像对构建的初始变色检测模型进行训练，以得到硅胶变色检测模型，以及，基于更新后的训练样本集对所述硅胶变色检测模型进行优化，以及，将所述硅胶变色检测模型下发至所述站端管理子系统， 其中，所述硅胶变色标注图像中包括所述硅胶桶区域中的变色区域和/或不变色区域，所述初始变色检测模型基于残差网络以及自注意力模块构建；
所述站端管理子系统，用于将所述硅胶桶检测模型和所述硅胶变色检测模型下发至所述边缘端数据采集及分析子系统；
所述边缘端数据采集及分析子系统，用于获取目标变电站内的变压器呼吸器的呼吸器硅胶图像，将所述呼吸器硅胶图像输入至所述硅胶桶检测模型中，确定硅胶桶标注图像，针对所述硅胶桶标注图像中的每一个硅胶桶区域，基于所述硅胶变色检测模型，对所述硅胶桶区域进行检测，确定硅胶变色标注图像。
19.根据权利要求1所述的用于变电站的智能感知巡检系统，其特征在于，所述边缘端数据采集及分析子系统与所述站端管理子系统之间的数据传输以及所述站端管理子系统与所述云端人工智能子系统之间的数据传输，传输数据经过数据加密处理，并通过有线通讯方式或无线通信方式进行传输。
20.一种用于变电站的智能感知巡检方法，其特征在于，应用于用于变电站的智能感知巡检系统，所述用于变电站的智能感知巡检包括边缘端数据采集及分析子系统、站端管理子系统以及云端人工智能子系统，所述站端管理子系统分别与所述边缘端数据采集及分析子系统和所述云端人工智能子系统通信连接，所述边缘端数据采集及分析子系统包括变电站部署的终端采集装置、视频跟踪装置和沉浸式显示装置，所述终端采集装置包括双目云台监控设备，所述沉浸式显示装置配置有头戴显示设备，其中，所述用于变电站的智能感知巡检方法包括：
通过边缘端数据采集及分析子系统，接收所述站端管理子系统下发的巡检任务，基于所述巡检任务采集变电站中的目标巡检对象的目标巡检数据，并基于与所述目标巡检数据对应的人工智能模型对所述目标巡检数据进行边缘分析，得到巡检分析结果，并将所述目标巡检数据和所述巡检分析结果发送给所述站端管理子系统；
通过所述站端管理子系统生成并下发巡检任务，以及，接收并管理所述目标巡检数据和所述巡检分析结果，以及，根据所述目标巡检数据生成与目标巡检对象对应的原始样本集，并将所述原始样本集上传至云端人工智能子系统，以及，接收云端人工智能子系统下发的人工智能模型，并将所述人工智能模型下发至所述边缘端数据采集及分析子系统；
通过所述云端人工智能子系统根据原始样本集以及原始样本集对应的标注结果构建训练样本集，以及，根据训练样本集对人工智能模型进行模型训练及优化迭代，并将所述人工智能模型下发至所述站端管理子系统；其中，
通过所述双目云台监控设备采集作业现场的双目视频信息，将所述双目视频信息传输给所述视频跟踪装置；
通过所述视频跟踪装置接收所述双目云台监控设备传输的双目视频信息，并对所述双目视频信息进行目标检测，确定出所述双目视频信息中的待跟踪对象，对检测出的待跟踪对象进行实时跟踪，并将所述待跟踪对象的跟踪信息突出显示于所述双目视频信息中，并将所述双目视频信息发送给所述沉浸式显示装置；其中，所述待跟踪对象包括所述作业现场的作业人员和电力设备；
通过所述沉浸式显示装置接收所述视频跟踪装置发送的双目视频信息，并将所述双目视频信息，分别显示在所述头戴显示设备的左右显示器中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210541404.6A CN114665608B (zh) | 2022-05-19 | 2022-05-19 | 用于变电站的智能感知巡检系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210541404.6A CN114665608B (zh) | 2022-05-19 | 2022-05-19 | 用于变电站的智能感知巡检系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114665608A true CN114665608A (zh) | 2022-06-24 |
| CN114665608B CN114665608B (zh) | 2022-10-11 |
Family
ID=82037705
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210541404.6A Active CN114665608B (zh) | 2022-05-19 | 2022-05-19 | 用于变电站的智能感知巡检系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114665608B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115512098A (zh) * | 2022-09-26 | 2022-12-23 | 重庆大学 | 一种桥梁电子化巡检系统及巡检方法 |
| CN116452186A (zh) * | 2023-03-30 | 2023-07-18 | 中泰信达环保科技(武汉)有限公司 | 应用于污水处理厂的巡检管理系统及方法 |
| CN117984333A (zh) * | 2024-04-03 | 2024-05-07 | 广东电网有限责任公司东莞供电局 | 一种油浸式变压器的巡检方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103001319A (zh) * | 2011-09-08 | 2013-03-27 | 湖南省电力勘测设计院 | 一种集成型智能组件 |
| CN107680195A (zh) * | 2017-11-13 | 2018-02-09 | 国网内蒙古东部电力有限公司 | 一种变电站智能机器人巡检辅助分析系统及方法 |
| CN108833828A (zh) * | 2018-06-01 | 2018-11-16 | 安徽师范大学 | 一种基于fpga的双目云台摄像头视频监控系统及方法 |
| US20200044449A1 (en) * | 2017-04-10 | 2020-02-06 | Abb Schweiz Ag | Method and apparatus for monitoring the condition of subsystems within a renewable generation plant or microgrid |
| CN111784026A (zh) * | 2020-05-28 | 2020-10-16 | 国网信通亿力科技有限责任公司 | 基于云边端协同感知的变电站电气设备全方位体检系统 |
| CN114092279A (zh) * | 2021-11-29 | 2022-02-25 | 苏州绿萝软件科技有限公司 | 全业务泛在可视化智慧电力运维系统 |
-
2022
- 2022-05-19 CN CN202210541404.6A patent/CN114665608B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103001319A (zh) * | 2011-09-08 | 2013-03-27 | 湖南省电力勘测设计院 | 一种集成型智能组件 |
| US20200044449A1 (en) * | 2017-04-10 | 2020-02-06 | Abb Schweiz Ag | Method and apparatus for monitoring the condition of subsystems within a renewable generation plant or microgrid |
| CN107680195A (zh) * | 2017-11-13 | 2018-02-09 | 国网内蒙古东部电力有限公司 | 一种变电站智能机器人巡检辅助分析系统及方法 |
| CN108833828A (zh) * | 2018-06-01 | 2018-11-16 | 安徽师范大学 | 一种基于fpga的双目云台摄像头视频监控系统及方法 |
| CN111784026A (zh) * | 2020-05-28 | 2020-10-16 | 国网信通亿力科技有限责任公司 | 基于云边端协同感知的变电站电气设备全方位体检系统 |
| CN114092279A (zh) * | 2021-11-29 | 2022-02-25 | 苏州绿萝软件科技有限公司 | 全业务泛在可视化智慧电力运维系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115512098A (zh) * | 2022-09-26 | 2022-12-23 | 重庆大学 | 一种桥梁电子化巡检系统及巡检方法 |
| CN115512098B (zh) * | 2022-09-26 | 2023-09-01 | 重庆大学 | 一种桥梁电子化巡检系统及巡检方法 |
| CN116452186A (zh) * | 2023-03-30 | 2023-07-18 | 中泰信达环保科技(武汉)有限公司 | 应用于污水处理厂的巡检管理系统及方法 |
| CN116452186B (zh) * | 2023-03-30 | 2024-03-01 | 中泰信达环保科技(武汉)有限公司 | 应用于污水处理厂的巡检管理系统及方法 |
| CN117984333A (zh) * | 2024-04-03 | 2024-05-07 | 广东电网有限责任公司东莞供电局 | 一种油浸式变压器的巡检方法、装置、设备及存储介质 |
| CN117984333B (zh) * | 2024-04-03 | 2024-06-21 | 广东电网有限责任公司东莞供电局 | 一种油浸式变压器的巡检方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114665608B (zh) | 2022-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114665608B (zh) | 用于变电站的智能感知巡检系统及方法 | |
| US11869192B2 (en) | System and method for vegetation modeling using satellite imagery and/or aerial imagery | |
| CN112650183B (zh) | 工业互联网平台 | |
| CN113705372B (zh) | 一种应用于配网作业现场违章的ai识别系统 | |
| CN112950400A (zh) | 数据处理平台 | |
| CN115393566A (zh) | 电力设备的故障识别与预警方法、装置、存储介质、设备 | |
| CN116108397B (zh) | 融合多模态数据分析的电力现场作业违章行为识别方法 | |
| CN117853078B (zh) | 基于无人机的建筑工程施工现场动态安全报警系统及方法 | |
| CN117910811B (zh) | 基于多模态ai大模型的智慧消防管理方法及系统 | |
| CN115664006B (zh) | 一种增量配电网智能管控一体化平台 | |
| CN113177614A (zh) | 一种城市轨道交通供电开关柜图像识别系统及方法 | |
| CN111354028B (zh) | 基于双目视觉的输电通道隐患物识别追踪方法 | |
| CN117235443A (zh) | 一种基于边缘ai的电力作业安全监测方法及系统 | |
| CN115880631A (zh) | 一种配电站故障识别系统、方法、介质 | |
| CN113722870B (zh) | 一种电网运行全空间监测方法、系统、设备及介质 | |
| CN102646312B (zh) | 一种适于分布式并行处理的森林烟火监测识别方法 | |
| CN115909645B (zh) | 一种车间生产安全预警系统和预警方法 | |
| CN116665419A (zh) | 电力生产作业中基于ai分析的故障智能预警系统及方法 | |
| CN116524428A (zh) | 基于目标检测及场景融合的电力作业安全风险识别方法 | |
| CN115296193A (zh) | 变电站智能巡检系统及方法 | |
| CN115457411A (zh) | 航油管线无人化巡视方法、装置和航油安全运维系统 | |
| CN115829324A (zh) | 一种人员安全风险静默监视方法 | |
| CN114821806A (zh) | 作业人员行为确定方法、装置、电子设备及存储介质 | |
| CN114241400A (zh) | 电网系统的监控方法及其装置、计算机可读存储介质 | |
| CN114241401A (zh) | 异常判定方法、装置、设备、介质及产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Wang Wanguo Inventor after: Liu Haibo Inventor after: Zhang Hailong Inventor after: Yang Yuechen Inventor after: Zhang Zhi Inventor after: Wang Qi Inventor after: Wang Zhenli Inventor after: Zhang Bin Inventor after: Guo Rui Inventor after: Sun Zhizhou Inventor after: Xu Ronghao Inventor after: Li Zhenyu Inventor after: Guo Xiuxiao Inventor before: Wang Wanguo Inventor before: Liu Haibo Inventor before: Zhang Hailong Inventor before: Yang Yuechen Inventor before: Zhang Zhi Inventor before: Wang Qi Inventor before: Wang Zhenli Inventor before: Zhang Bin Inventor before: Guo Rui Inventor before: Sun Zhizhou Inventor before: Xu Ronghao Inventor before: Li Zhenyu Inventor before: Guo Xiuxiao |