CN116824481A - 基于图像识别的变电站巡检方法及其系统 - Google Patents

基于图像识别的变电站巡检方法及其系统 Download PDF

Info

Publication number
CN116824481A
CN116824481A CN202310567574.6A CN202310567574A CN116824481A CN 116824481 A CN116824481 A CN 116824481A CN 202310567574 A CN202310567574 A CN 202310567574A CN 116824481 A CN116824481 A CN 116824481A
Authority
CN
China
Prior art keywords
image
state detection
sequence
context
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310567574.6A
Other languages
English (en)
Other versions
CN116824481B (zh
Inventor
邱凯义
刘洁
张正超
方梦然
陈广亮
马洪波
何伟
李净雅
肖迪
薛文凤
王琪
蔡立
陈沭沭
陈琳
席跃卿
孙迎雪
马立军
陈兴伟
张天天
师春林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Information and Telecommunication Branch of State Grid Beijing Electric Power Co Ltd
Original Assignee
Information and Telecommunication Branch of State Grid Beijing Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Information and Telecommunication Branch of State Grid Beijing Electric Power Co Ltd filed Critical Information and Telecommunication Branch of State Grid Beijing Electric Power Co Ltd
Priority to CN202310567574.6A priority Critical patent/CN116824481B/zh
Publication of CN116824481A publication Critical patent/CN116824481A/zh
Application granted granted Critical
Publication of CN116824481B publication Critical patent/CN116824481B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J13/00—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network
    • H02J13/00001—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by the display of information or by user interaction, e.g. supervisory control and data acquisition systems [SCADA] or graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02J—CIRCUIT ARRANGEMENTS OR SYSTEMS FOR SUPPLYING OR DISTRIBUTING ELECTRIC POWER; SYSTEMS FOR STORING ELECTRIC ENERGY
    • H02J13/00—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network
    • H02J13/00002—Circuit arrangements for providing remote indication of network conditions, e.g. an instantaneous record of the open or closed condition of each circuitbreaker in the network; Circuit arrangements for providing remote control of switching means in a power distribution network, e.g. switching in and out of current consumers by using a pulse code signal carried by the network characterised by monitoring
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Power Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • Operations Research (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Primary Health Care (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

公开了一种基于图像识别的变电站巡检方法及其系统。其首先将变电站二次系统的状态检测图像和参考图像分别进行图像分块处理以得到状态检测图像块的序列和参考图像块的序列，接着，将所述状态检测图像块的序列和参考图像块的序列分别通过孪生检测模型以得到上下文状态检测语义特征向量和上下文参考图像语义特征向量，然后，计算所述上下文状态检测语义特征向量和所述上下文参考图像语义特征向量之间的转移矩阵作为分类特征矩阵，最后，对所述分类特征矩阵进行规划化程度强化后通过分类器以得到用于表示变电站的二次系统的运行状态是否正常的分类结果。这样，可以提高检测的效率和准确性。

Description

基于图像识别的变电站巡检方法及其系统
技术领域
本申请涉及智能化巡检领域，且更为具体地，涉及一种基于图像识别的变电站巡检方法及其系统。
背景技术
目前，无人值守的巡维方式已经基本成型，较之于以往的变电站值守方式，其运行维护工作无论是内容还是范围都大量增加，同时变电站二次系统设备数量急剧增加、设备种类也不断增加，新设备、新技术不断投入到电网运行中来，同时变电站二次系统在电网中的作用也越来越重要，其运行情况直接关系到变电站乃至整个电网的安全稳定运行。
变电站二次系统的巡检工作内容繁杂、工作量大，包含二次系统设备的运行指示灯、操作\切换把手、设备压板等各项内容，进行逐一核对、核查工作将耗费大量的人员精力，同时，其较大的信息量也容易导致核对错误情况的产生。
因此，期待一种优化的用于变电站的二次系统的巡检方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于图像识别的变电站巡检方法及其系统。其首先将变电站二次系统的状态检测图像和参考图像分别进行图像分块处理以得到状态检测图像块的序列和参考图像块的序列，接着，将所述状态检测图像块的序列和参考图像块的序列分别通过孪生检测模型以得到上下文状态检测语义特征向量和上下文参考图像语义特征向量，然后，计算所述上下文状态检测语义特征向量和所述上下文参考图像语义特征向量之间的转移矩阵作为分类特征矩阵，最后，对所述分类特征矩阵进行规划化程度强化后通过分类器以得到用于表示变电站的二次系统的运行状态是否正常的分类结果。这样，可以提高检测的效率和准确性。
根据本申请的一个方面，提供了一种基于图像识别的变电站巡检方法，其包括：
获取由摄像头采集的变电站二次系统的状态检测图像，以及，所述变电站二次系统的运行正常的参考图像；
将所述状态检测图像和所述参考图像分别进行图像分块处理以得到状态检测图像块的序列和参考图像块的序列；
将所述状态检测图像块的序列和参考图像块的序列分别通过包含第一图像编码器和第二图像编码器的孪生检测模型以得到上下文状态检测语义特征向量和上下文参考图像语义特征向量，其中，所述第一图像编码器和第二图像编码器具有相同的网络结构；
计算所述上下文状态检测语义特征向量和所述上下文参考图像语义特征向量之间的转移矩阵作为分类特征矩阵；
对所述分类特征矩阵进行规划化程度强化以得到优化分类特征矩阵；和
将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示变电站的二次系统的运行状态是否正常。
在上述的基于图像识别的变电站巡检方法中，将所述状态检测图像和所述参考图像分别进行图像分块处理以得到状态检测图像块的序列和参考图像块的序列，包括：
对所述状态检测图像和所述参考图像分别进行均匀分块处理以得到所述状态检测图像块的序列和所述参考图像块的序列，其中，所述状态检测图像块的序列中各个状态检测图像块具有相同的尺寸，所述参考图像块的序列中各个参考图像块具有相同的尺寸。
在上述的基于图像识别的变电站巡检方法中，所述第一图像编码器和所述第二图像编码器为包含嵌入层的ViT模型。
在上述的基于图像识别的变电站巡检方法中，将所述状态检测图像块的序列和参考图像块的序列分别通过包含第一图像编码器和第二图像编码器的孪生检测模型以得到上下文状态检测语义特征向量和上下文参考图像语义特征向量，包括：
使用所述孪生检测模型的第一图像编码器对所述状态检测图像块的序列进行基于转化器结构的上下文语义编码以得到所述上下文状态检测语义特征向量；以及
使用所述孪生检测模型的第二图像编码器对所述参考图像块的序列进行基于转化器结构的上下文语义编码以得到所述上下文参考图像语义特征向量。
在上述的基于图像识别的变电站巡检方法中，使用所述孪生检测模型的第一图像编码器对所述状态检测图像块的序列进行基于转化器结构的上下文语义编码以得到所述上下文状态检测语义特征向量，包括：
使用所述第一图像编码器的嵌入层分别对所述状态检测图像块的序列中各个状态检测图像块进行嵌入化以得到多个状态检测图像块嵌入向量的序列；
将所述多个状态检测图像块嵌入向量的序列通过所述第一图像编码器进行基于全局的上下文语义编码以得到多个状态检测理解特征向量；以及
将所述多个状态检测理解特征向量进行级联以得到所述上下文状态检测语义特征向量。
在上述的基于图像识别的变电站巡检方法中，计算所述上下文状态检测语义特征向量和所述上下文参考图像语义特征向量之间的转移矩阵作为分类特征矩阵，包括：
以如下转移矩阵计算公式计算所述上下文状态检测语义特征向量和所述上下文参考图像语义特征向量之间的转移矩阵作为所述分类特征矩阵；
其中，所述转移矩阵计算公式为：
其中，V表示所述上下文状态检测语义特征向量，V1表示所述上下文参考图像语义特征向量，M表示所述分类特征矩阵，表示向量相乘。
在上述的基于图像识别的变电站巡检方法中，对所述分类特征矩阵进行规划化程度强化以得到优化分类特征矩阵，包括：
以如下优化公式对所述分类特征矩阵进行规划化程度强化以得到所述优化分类特征矩阵；
其中，所述优化公式为：
mi ′ ,j＝(μσ)mi,j 2+mi,jμ+(mi,j-σ)μ2
其中，mi,j是所述分类特征矩阵的第(i,j)位置的特征值，μ和σ是所述分类特征矩阵的特征值集合的均值和标准差，m′i,j是所述优化分类特征矩阵的第(i,j)位置的特征值。
在上述的基于图像识别的变电站巡检方法中，将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示变电站的二次系统的运行状态是否正常，包括：
将所述优化分类特征矩阵按照行向量或列向量展开为优化分类特征向量；
使用所述分类器的多个全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；以及
将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
根据本申请的另一个方面，提供了一种基于图像识别的变电站巡检系统，其包括：
图像获取模块，用于获取由摄像头采集的变电站二次系统的状态检测图像，以及，所述变电站二次系统的运行正常的参考图像；
图像分块模块，用于将所述状态检测图像和所述参考图像分别进行图像分块处理以得到状态检测图像块的序列和参考图像块的序列；
孪生编码模块，用于将所述状态检测图像块的序列和参考图像块的序列分别通过包含第一图像编码器和第二图像编码器的孪生检测模型以得到上下文状态检测语义特征向量和上下文参考图像语义特征向量，其中，所述第一图像编码器和第二图像编码器具有相同的网络结构；
转移矩阵计算模块，用于计算所述上下文状态检测语义特征向量和所述上下文参考图像语义特征向量之间的转移矩阵作为分类特征矩阵；
优化模块，用于对所述分类特征矩阵进行规划化程度强化以得到优化分类特征矩阵；和
分类模块，用于将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示变电站的二次系统的运行状态是否正常。
在上述的基于图像识别的变电站巡检系统中，所述图像分块模块，用于：
对所述状态检测图像和所述参考图像分别进行均匀分块处理以得到所述状态检测图像块的序列和所述参考图像块的序列，其中，所述状态检测图像块的序列中各个状态检测图像块具有相同的尺寸，所述参考图像块的序列中各个参考图像块具有相同的尺寸。
与现有技术相比，本申请提供的基于图像识别的变电站巡检方法及其系统，其首先将变电站二次系统的状态检测图像和参考图像分别进行图像分块处理以得到状态检测图像块的序列和参考图像块的序列，接着，将所述状态检测图像块的序列和参考图像块的序列分别通过孪生检测模型以得到上下文状态检测语义特征向量和上下文参考图像语义特征向量，然后，计算所述上下文状态检测语义特征向量和所述上下文参考图像语义特征向量之间的转移矩阵作为分类特征矩阵，最后，对所述分类特征矩阵进行规划化程度强化后通过分类器以得到用于表示变电站的二次系统的运行状态是否正常的分类结果。这样，可以提高检测的效率和准确性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在没有做出创造性劳动的前提下，还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本申请的主旨。
图1为根据本申请实施例的基于图像识别的变电站巡检方法的应用场景图。
图2为根据本申请实施例的基于图像识别的变电站巡检方法的流程图。
图3为根据本申请实施例的基于图像识别的变电站巡检方法的架构示意图。
图4为根据本申请实施例的基于图像识别的变电站巡检方法的子步骤S130的流程图。
图5为根据本申请实施例的基于图像识别的变电站巡检方法的子步骤S131的流程图。
图6为根据本申请实施例的基于图像识别的变电站巡检方法的子步骤S160的流程图。
图7为根据本申请实施例的基于图像识别的变电站巡检系统的框图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本申请的部分实施例，而不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本申请保护的范围。
如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
针对上述技术问题，本申请的技术构思为：通过摄像头采集变电站的二次系统的实时状态拍摄图像，进而将所述变电站的二次系统的实时状态拍摄图像与参考图像进行对比分析以判断变电站的二次系统的运行状态是否正常，通过这样的方式，实现对所述变电站的二次系统的无人智能巡检。
具体地，首先获取由摄像头采集的变电站二次系统的状态检测图像，以及，所述变电站二次系统的运行正常的参考图像。这里，所述状态检测图像可以反映当前时间点的设备状态，而参考图像则是指已知设备处于正常运行状态时所拍摄的图像。通过比较状态检测图像和参考图像，可以检测出设备是否存在异常，并及时采取措施修复问题。值得一提的是，使用摄像头采集这些图像可以实现实时监控，并且可以避免人工巡检的盲区和漏检现象，提高了巡检的效率和准确性。
接着，将所述状态检测图像和所述参考图像分别进行图像分块处理以得到状态检测图像块的序列和参考图像块的序列。这里，将所述状态检测图像和所述参考图像进行图像分块处理是为了使得这些图像能够更加精细地被处理和比较。通过图像分块，可以将大的图像拆分成多个小的图像块，每个小块都对应着设备中的一个局部区域，通过这样的方式，可以更精确地检测出设备是否存在异常，并且可以针对特定区域进行修复或调整。
进而，将所述状态检测图像块的序列和参考图像块的序列分别通过包含第一图像编码器和第二图像编码器的孪生检测模型以得到上下文状态检测语义特征向量和上下文参考图像语义特征向量，其中，所述第一图像编码器和第二图像编码器具有相同的网络结构。应注意到，在本申请的技术方案中，所述孪生检测模型包含两个完全相同结构的神经网络，通过共享权重和参数来处理不同的输入，这样所述状态检测图像块的序列和参考图像块的序列之间的差异能够被捕捉与放大。
具体地，在本申请的技术方案中，所述第一图像编码器和第二图像编码器采用ViT模型，即基于Transformer架构的视觉注意力模型。利用ViT模型可以有效地学习图像的上下文信息，并将其表示为一组抽象的语义特征向量。具体的，通过对状态检测图像块序列和参考图像块序列进行基于转换器结构的上下文语义编码以得到所述上下文状态检测语义特征向量和所述上下文参考图像语义特征向量，其中，所述上下文状态检测语义特征向量和所述上下文参考图像语义特征向量包含设备的各个局部区域的运行状态特征和全局的运行状态特征。
接着，计算所述上下文状态检测语义特征向量和所述上下文参考图像语义特征向量之间的转移矩阵作为分类特征矩阵。也就是说，在本申请的技术方案中，以所述上下文状态检测语义特征向量和所述上下文参考图像语义特征向量之间的转移矩阵来表示所述上下文状态检测语义特征向量和所述上下文参考图像语义特征向量之间的差异，即，所述变电站的二次系统的实时运行状态特征与正常运行状态特征之间的差异。
进而，将所述分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示变电站的二次系统的运行状态是否正常。也就是，使用所述分类器来判断所述分类特征矩阵所属的类概率标签，所述类概率标签用于表示变电站的二次系统的运行状态是否正常。应可以理解，在本申请的技术方案中，所述分类特征矩阵用于表示所述变电站的二次系统的实时运行状态特征与正常运行状态特征之间的差异信息在高维语义特征空间中的表达，在将所述分类特征矩阵输入分类器后，所述分类器用于确定所述分类特征矩阵在高维特征空间中的类边界以此来确定所述分类特征矩阵所属的类概率标签。
特别地，在本申请的技术方案中，由于所述上下文状态检测语义特征向量和所述上下文参考图像语义特征向量分别是状态检测图像块的序列和参考图像块的序列通过ViT模型进行图像分块语义的上下文关联特征提取后进行语义集成得到的，因此其特征维度较高，这样，所述第一图像编码器和所述第二图像编码器也难以在特征提取性能上维持一致。由此，在计算所述上下文状态检测语义特征向量和所述上下文参考图像语义特征向量之间的转移矩阵作为分类特征矩阵时，所述转移矩阵在表达高维特征的特征域转移时，由于各个局部分布难以遵循一致性规则，从而使得作为所述转移矩阵的所述分类特征矩阵的整体特征分布的规则化程度也会较低，从而影响所述分类特征矩阵的分类准确性。
基于此，本申请的申请人对所述分类特征矩阵，例如记为M进行流形曲面的高斯概率密度参数二次正则化，具体表示为：
m′i,j＝×(μσ)mi,j 2+mi,jμ+(mi,j-σ)μ2
其中μ和σ是特征值集合mi,j∈M的均值和标准差，且m′i,j是优化后的所述分类特征矩阵M′的第(i,j)位置的特征值。
具体地，为了解决所述分类特征矩阵M的特征集合的高维特征分布在响应性融合的高维特征空间内的分布不规则化的问题，通过特征值针对分类器的类概率分布的高斯概率密度参数的似然性进行所述分类特征矩阵M的各个特征值的二次正则化，来将基于目标类概率的高斯概率密度参数的参数空间内的等距离分布进行特征值的平滑约束，以获得高维特征的流形曲面表达的原始概率密度似然函数在参数空间内的规则化重整，从而提升优化后的所述分类特征矩阵M′的特征分布的规则性，以提升优化后的所述分类特征矩阵M′通过分类器的分类准确性。
图1为根据本申请实施例的基于图像识别的变电站巡检方法的应用场景图。如图1所示，在该应用场景中，首先，获取由摄像头采集的变电站二次系统的状态检测图像(例如，图1中所示意的D1)，以及，所述变电站二次系统的运行正常的参考图像(例如，图1中所示意的D2)，然后，将所述状态检测图像和所述参考图像输入至部署有基于图像识别的变电站巡检算法的服务器中(例如，图1中所示意的S)，其中，所述服务器能够使用所述基于图像识别的变电站巡检算法对所述状态检测图像和所述参考图像进行处理以得到用于表示变电站的二次系统的运行状态是否正常的分类结果。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
图2为根据本申请实施例的基于图像识别的变电站巡检方法的流程图。如图2所示，根据本申请实施例的基于图像识别的变电站巡检方法，包括步骤：S110，获取由摄像头采集的变电站二次系统的状态检测图像，以及，所述变电站二次系统的运行正常的参考图像；S120，将所述状态检测图像和所述参考图像分别进行图像分块处理以得到状态检测图像块的序列和参考图像块的序列；S130，将所述状态检测图像块的序列和参考图像块的序列分别通过包含第一图像编码器和第二图像编码器的孪生检测模型以得到上下文状态检测语义特征向量和上下文参考图像语义特征向量，其中，所述第一图像编码器和第二图像编码器具有相同的网络结构；S140，计算所述上下文状态检测语义特征向量和所述上下文参考图像语义特征向量之间的转移矩阵作为分类特征矩阵；S150，对所述分类特征矩阵进行规划化程度强化以得到优化分类特征矩阵；和，S160，将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示变电站的二次系统的运行状态是否正常。
图3为根据本申请实施例的基于图像识别的变电站巡检方法的架构示意图。如图3所示，在该网络架构中，首先，获取由摄像头采集的变电站二次系统的状态检测图像，以及，所述变电站二次系统的运行正常的参考图像；接着，将所述状态检测图像和所述参考图像分别进行图像分块处理以得到状态检测图像块的序列和参考图像块的序列；然后，将所述状态检测图像块的序列和参考图像块的序列分别通过包含第一图像编码器和第二图像编码器的孪生检测模型以得到上下文状态检测语义特征向量和上下文参考图像语义特征向量，其中，所述第一图像编码器和第二图像编码器具有相同的网络结构；接着，计算所述上下文状态检测语义特征向量和所述上下文参考图像语义特征向量之间的转移矩阵作为分类特征矩阵；然后，对所述分类特征矩阵进行规划化程度强化以得到优化分类特征矩阵；最后，将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示变电站的二次系统的运行状态是否正常。
更具体地，在步骤S110中，获取由摄像头采集的变电站二次系统的状态检测图像，以及，所述变电站二次系统的运行正常的参考图像。这里，所述状态检测图像可以反映当前时间点的设备状态，而参考图像则是指已知设备处于正常运行状态时所拍摄的图像。通过比较状态检测图像和参考图像，可以检测出设备是否存在异常，并及时采取措施修复问题。值得一提的是，使用摄像头采集这些图像可以实现实时监控，并且可以避免人工巡检的盲区和漏检现象，提高了巡检的效率和准确性。
更具体地，在步骤S120中，将所述状态检测图像和所述参考图像分别进行图像分块处理以得到状态检测图像块的序列和参考图像块的序列。将所述状态检测图像和所述参考图像进行图像分块处理是为了使得这些图像能够更加精细地被处理和比较。通过图像分块，可以将大的图像拆分成多个小的图像块，每个小块都对应着设备中的一个局部区域，通过这样的方式，可以更精确地检测出设备是否存在异常，并且可以针对特定区域进行修复或调整。
相应地，在一个具体示例中，将所述状态检测图像和所述参考图像分别进行图像分块处理以得到状态检测图像块的序列和参考图像块的序列，包括：对所述状态检测图像和所述参考图像分别进行均匀分块处理以得到所述状态检测图像块的序列和所述参考图像块的序列，其中，所述状态检测图像块的序列中各个状态检测图像块具有相同的尺寸，所述参考图像块的序列中各个参考图像块具有相同的尺寸。
更具体地，在步骤S130中，将所述状态检测图像块的序列和参考图像块的序列分别通过包含第一图像编码器和第二图像编码器的孪生检测模型以得到上下文状态检测语义特征向量和上下文参考图像语义特征向量，其中，所述第一图像编码器和第二图像编码器具有相同的网络结构。应注意到，在本申请的技术方案中，所述孪生检测模型包含两个完全相同结构的神经网络，通过共享权重和参数来处理不同的输入，这样所述状态检测图像块的序列和参考图像块的序列之间的差异能够被捕捉与放大。
相应地，在一个具体示例中，所述第一图像编码器和所述第二图像编码器为包含嵌入层的ViT模型。
具体地，在本申请的技术方案中，所述第一图像编码器和第二图像编码器采用ViT模型，即基于Transformer架构的视觉注意力模型。利用ViT模型可以有效地学习图像的上下文信息，并将其表示为一组抽象的语义特征向量。具体的，通过对状态检测图像块序列和参考图像块序列进行基于转换器结构的上下文语义编码以得到所述上下文状态检测语义特征向量和所述上下文参考图像语义特征向量，其中，所述上下文状态检测语义特征向量和所述上下文参考图像语义特征向量包含设备的各个局部区域的运行状态特征和全局的运行状态特征。
相应地，在一个具体示例中，如图4所示，将所述状态检测图像块的序列和参考图像块的序列分别通过包含第一图像编码器和第二图像编码器的孪生检测模型以得到上下文状态检测语义特征向量和上下文参考图像语义特征向量，包括：S131，使用所述孪生检测模型的第一图像编码器对所述状态检测图像块的序列进行基于转化器结构的上下文语义编码以得到所述上下文状态检测语义特征向量；以及，S132，使用所述孪生检测模型的第二图像编码器对所述参考图像块的序列进行基于转化器结构的上下文语义编码以得到所述上下文参考图像语义特征向量。
相应地，在一个具体示例中，如图5所示，使用所述孪生检测模型的第一图像编码器对所述状态检测图像块的序列进行基于转化器结构的上下文语义编码以得到所述上下文状态检测语义特征向量，包括：S1311，使用所述第一图像编码器的嵌入层分别对所述状态检测图像块的序列中各个状态检测图像块进行嵌入化以得到多个状态检测图像块嵌入向量的序列；S1312，将所述多个状态检测图像块嵌入向量的序列通过所述第一图像编码器进行基于全局的上下文语义编码以得到多个状态检测理解特征向量；以及，S1313，将所述多个状态检测理解特征向量进行级联以得到所述上下文状态检测语义特征向量。
相应地，在一个具体示例中，使用所述孪生检测模型的第二图像编码器对所述参考图像块的序列进行基于转化器结构的上下文语义编码以得到所述上下文参考图像语义特征向量，包括：使用所述第二图像编码器的嵌入层分别对所述参考图像块的序列中各个参考图像块进行嵌入化以得到多个参考图像块嵌入向量的序列；将所述多个参考图像块嵌入向量的序列通过所述第二图像编码器进行基于全局的上下文语义编码以得到多个参考理解特征向量；以及，将所述多个参考理解特征向量进行级联以得到所述上下文参考图像语义特征向量。
更具体地，在步骤S140中，计算所述上下文状态检测语义特征向量和所述上下文参考图像语义特征向量之间的转移矩阵作为分类特征矩阵。也就是说，在本申请的技术方案中，以所述上下文状态检测语义特征向量和所述上下文参考图像语义特征向量之间的转移矩阵来表示所述上下文状态检测语义特征向量和所述上下文参考图像语义特征向量之间的差异，即，所述变电站的二次系统的实时运行状态特征与正常运行状态特征之间的差异。
相应地，在一个具体示例中，计算所述上下文状态检测语义特征向量和所述上下文参考图像语义特征向量之间的转移矩阵作为分类特征矩阵，包括：以如下转移矩阵计算公式计算所述上下文状态检测语义特征向量和所述上下文参考图像语义特征向量之间的转移矩阵作为所述分类特征矩阵；其中，所述转移矩阵计算公式为：
其中，V表示所述上下文状态检测语义特征向量，V1表示所述上下文参考图像语义特征向量，M表示所述分类特征矩阵，表示向量相乘。
更具体地，在步骤S150中，对所述分类特征矩阵进行规划化程度强化以得到优化分类特征矩阵。
特别地，在本申请的技术方案中，由于所述上下文状态检测语义特征向量和所述上下文参考图像语义特征向量分别是状态检测图像块的序列和参考图像块的序列通过ViT模型进行图像分块语义的上下文关联特征提取后进行语义集成得到的，因此其特征维度较高，这样，所述第一图像编码器和所述第二图像编码器也难以在特征提取性能上维持一致。由此，在计算所述上下文状态检测语义特征向量和所述上下文参考图像语义特征向量之间的转移矩阵作为分类特征矩阵时，所述转移矩阵在表达高维特征的特征域转移时，由于各个局部分布难以遵循一致性规则，从而使得作为所述转移矩阵的所述分类特征矩阵的整体特征分布的规则化程度也会较低，从而影响所述分类特征矩阵的分类准确性。基于此，本申请的申请人对所述分类特征矩阵，例如记为M进行流形曲面的高斯概率密度参数二次正则化。
相应地，在一个具体示例中，对所述分类特征矩阵进行规划化程度强化以得到优化分类特征矩阵，包括：以如下优化公式对所述分类特征矩阵进行规划化程度强化以得到所述优化分类特征矩阵；其中，所述优化公式为：
mi ′ ,j＝(μσ)mi,j 2+mi,jμ+(mi,j-σ)μ2
其中，mi,j是所述分类特征矩阵的第(i,j)位置的特征值，μ和σ是所述分类特征矩阵的特征值集合的均值和标准差，m′i,j是所述优化分类特征矩阵的第(i,j)位置的特征值。
具体地，为了解决所述分类特征矩阵的特征集合的高维特征分布在响应性融合的高维特征空间内的分布不规则化的问题，通过特征值针对分类器的类概率分布的高斯概率密度参数的似然性进行所述分类特征矩阵的各个特征值的二次正则化，来将基于目标类概率的高斯概率密度参数的参数空间内的等距离分布进行特征值的平滑约束，以获得高维特征的流形曲面表达的原始概率密度似然函数在参数空间内的规则化重整，从而提升优化后的所述分类特征矩阵的特征分布的规则性，以提升优化后的所述分类特征矩阵通过分类器的分类准确性。
更具体地，在步骤S160中，将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示变电站的二次系统的运行状态是否正常。
也就是，在本申请的技术方案中，所述分类器的标签包括变电站的二次系统的运行状态正常(第一标签)，以及，变电站的二次系统的运行状态不正常(第二标签)，其中，所述分类器通过软最大值函数来确定所述分类特征向量属于哪个分类标签。值得注意的是，这里的所述第一标签p1和所述第二标签p2并不包含人为设定的概念，实际上在训练过程当中，计算机模型并没有“变电站的二次系统的运行状态是否正常”这种概念，其只是有两种分类标签且输出特征在这两个分类标签下的概率，即p1和p2之和为一。因此，变电站的二次系统的运行状态是否正常的分类结果实际上是通过分类标签转化为符合自然规律的二分类的类概率分布，实质上用到的是标签的自然概率分布的物理意义，而不是“变电站的二次系统的运行状态是否正常”的语言文本意义。
应可以理解，分类器的作用是利用给定的类别、已知的训练数据来学习分类规则和分类器，然后对未知数据进行分类(或预测)。逻辑回归(logistics)、SVM等常用于解决二分类问题，对于多分类问题(multi-class classification)，同样也可以用逻辑回归或SVM，只是需要多个二分类来组成多分类，但这样容易出错且效率不高，常用的多分类方法有Softmax分类函数。
相应地，在一个具体示例中，如图6所示，将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示变电站的二次系统的运行状态是否正常，包括：S161，将所述优化分类特征矩阵按照行向量或列向量展开为优化分类特征向量；S162，使用所述分类器的多个全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；以及，S163，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
综上，基于本申请实施例的基于图像识别的变电站巡检方法，其首先将变电站二次系统的状态检测图像和参考图像分别进行图像分块处理以得到状态检测图像块的序列和参考图像块的序列，接着，将所述状态检测图像块的序列和参考图像块的序列分别通过孪生检测模型以得到上下文状态检测语义特征向量和上下文参考图像语义特征向量，然后，计算所述上下文状态检测语义特征向量和所述上下文参考图像语义特征向量之间的转移矩阵作为分类特征矩阵，最后，对所述分类特征矩阵进行规划化程度强化后通过分类器以得到用于表示变电站的二次系统的运行状态是否正常的分类结果。这样，可以提高检测的效率和准确性。
图7为根据本申请实施例的基于图像识别的变电站巡检系统100的框图。如图7所示，根据本申请实施例的基于图像识别的变电站巡检系统100，包括：图像获取模块110，用于获取由摄像头采集的变电站二次系统的状态检测图像，以及，所述变电站二次系统的运行正常的参考图像；图像分块模块120，用于将所述状态检测图像和所述参考图像分别进行图像分块处理以得到状态检测图像块的序列和参考图像块的序列；孪生编码模块130，用于将所述状态检测图像块的序列和参考图像块的序列分别通过包含第一图像编码器和第二图像编码器的孪生检测模型以得到上下文状态检测语义特征向量和上下文参考图像语义特征向量，其中，所述第一图像编码器和第二图像编码器具有相同的网络结构；转移矩阵计算模块140，用于计算所述上下文状态检测语义特征向量和所述上下文参考图像语义特征向量之间的转移矩阵作为分类特征矩阵；优化模块150，用于对所述分类特征矩阵进行规划化程度强化以得到优化分类特征矩阵；和，分类模块160，用于将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示变电站的二次系统的运行状态是否正常。
在一个示例中，在上述基于图像识别的变电站巡检系统100中，所述图像分块模块120，用于：对所述状态检测图像和所述参考图像分别进行均匀分块处理以得到所述状态检测图像块的序列和所述参考图像块的序列，其中，所述状态检测图像块的序列中各个状态检测图像块具有相同的尺寸，所述参考图像块的序列中各个参考图像块具有相同的尺寸。
在一个示例中，在上述基于图像识别的变电站巡检系统100中，所述第一图像编码器和所述第二图像编码器为包含嵌入层的ViT模型。
在一个示例中，在上述基于图像识别的变电站巡检系统100中，所述孪生编码模块130，用于：使用所述孪生检测模型的第一图像编码器对所述状态检测图像块的序列进行基于转化器结构的上下文语义编码以得到所述上下文状态检测语义特征向量；以及，使用所述孪生检测模型的第二图像编码器对所述参考图像块的序列进行基于转化器结构的上下文语义编码以得到所述上下文参考图像语义特征向量。
在一个示例中，在上述基于图像识别的变电站巡检系统100中，使用所述孪生检测模型的第一图像编码器对所述状态检测图像块的序列进行基于转化器结构的上下文语义编码以得到所述上下文状态检测语义特征向量，包括：使用所述第一图像编码器的嵌入层分别对所述状态检测图像块的序列中各个状态检测图像块进行嵌入化以得到多个状态检测图像块嵌入向量的序列；将所述多个状态检测图像块嵌入向量的序列通过所述第一图像编码器进行基于全局的上下文语义编码以得到多个状态检测理解特征向量；以及，将所述多个状态检测理解特征向量进行级联以得到所述上下文状态检测语义特征向量。
在一个示例中，在上述基于图像识别的变电站巡检系统100中，所述转移矩阵计算模块140，用于：以如下转移矩阵计算公式计算所述上下文状态检测语义特征向量和所述上下文参考图像语义特征向量之间的转移矩阵作为所述分类特征矩阵；其中，所述转移矩阵计算公式为：
其中，V表示所述上下文状态检测语义特征向量，V1表示所述上下文参考图像语义特征向量，M表示所述分类特征矩阵，表示向量相乘。
在一个示例中，在上述基于图像识别的变电站巡检系统100中，所述优化模块150，用于：以如下优化公式对所述分类特征矩阵进行规划化程度强化以得到所述优化分类特征矩阵；其中，所述优化公式为：
mi ′ ,j＝(μσ)mi,j 2+mi,jμ+(mi,j-σ)μ2
其中，mi,j是所述分类特征矩阵的第(i,j)位置的特征值，μ和σ是所述分类特征矩阵的特征值集合的均值和标准差，m′i,j是所述优化分类特征矩阵的第(i,j)位置的特征值。
在一个示例中，在上述基于图像识别的变电站巡检系统100中，所述分类模块160，用于：将所述优化分类特征矩阵按照行向量或列向量展开为优化分类特征向量；使用所述分类器的多个全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
这里，本领域技术人员可以理解，上述基于图像识别的变电站巡检系统100中的各个模块的具体功能和操作已经在上面参考图1到图6的基于图像识别的变电站巡检方法的描述中得到了详细介绍，并因此，将省略其重复描述。
如上所述，根据本申请实施例的基于图像识别的变电站巡检系统100可以实现在各种无线终端中，例如具有基于图像识别的变电站巡检算法的服务器等。在一个示例中，根据本申请实施例的基于图像识别的变电站巡检系统100可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如，该基于图像识别的变电站巡检系统100可以是该无线终端的操作系统中的一个软件模块，或者可以是针对于该无线终端所开发的一个应用程序；当然，该基于图像识别的变电站巡检系统100同样可以是该无线终端的众多硬件模块之一。
替换地，在另一示例中，该基于图像识别的变电站巡检系统100与该无线终端也可以是分立的设备，并且该基于图像识别的变电站巡检系统100可以通过有线和/或无线网络连接到该无线终端，并且按照约定的数据格式来传输交互信息。
根据本申请的另一方面，还提供了一种非易失性的计算机可读存储介质，其上存储有计算机可读的指令，当利用计算机执行所述指令时可以执行如前所述的方法。
技术中的程序部分可以被认为是以可执行的代码和/或相关数据的形式而存在的“产品”或“制品”，通过计算机可读的介质所参与或实现的。有形的、永久的储存介质可以包括任何计算机、处理器、或类似设备或相关的模块所用到的内存或存储器。例如，各种半导体存储器、磁带驱动器、磁盘驱动器或者类似任何能够为软件提供存储功能的设备。
所有软件或其中的一部分有时可能会通过网络进行通信，如互联网或其他通信网络。此类通信可以将软件从一个计算机设备或处理器加载到另一个。例如：从视频目标检测设备的一个服务器或主机计算机加载至一个计算机环境的硬件平台，或其他实现系统的计算机环境，或与提供目标检测所需要的信息相关的类似功能的系统。因此，另一种能够传递软件元素的介质也可以被用作局部设备之间的物理连接，例如光波、电波、电磁波等，通过电缆、光缆或者空气等实现传播。用来载波的物理介质如电缆、无线连接或光缆等类似设备，也可以被认为是承载软件的介质。在这里的用法除非限制了有形的“储存”介质，其他表示计算机或机器“可读介质”的术语都表示在处理器执行任何指令的过程中参与的介质。
本申请使用了特定词语来描述本申请的实施例。如“第一/第二实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
此外，本领域技术人员可以理解，本申请的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本申请的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本申请的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。

Claims (10)

1.一种基于图像识别的变电站巡检方法，其特征在于，包括：
获取由摄像头采集的变电站二次系统的状态检测图像，以及，所述变电站二次系统的运行正常的参考图像；
将所述状态检测图像和所述参考图像分别进行图像分块处理以得到状态检测图像块的序列和参考图像块的序列；
将所述状态检测图像块的序列和参考图像块的序列分别通过包含第一图像编码器和第二图像编码器的孪生检测模型以得到上下文状态检测语义特征向量和上下文参考图像语义特征向量，其中，所述第一图像编码器和第二图像编码器具有相同的网络结构；
计算所述上下文状态检测语义特征向量和所述上下文参考图像语义特征向量之间的转移矩阵作为分类特征矩阵；
对所述分类特征矩阵进行规划化程度强化以得到优化分类特征矩阵；和
将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示变电站的二次系统的运行状态是否正常。
2.根据权利要求1所述的基于图像识别的变电站巡检方法，其特征在于，将所述状态检测图像和所述参考图像分别进行图像分块处理以得到状态检测图像块的序列和参考图像块的序列，包括：
对所述状态检测图像和所述参考图像分别进行均匀分块处理以得到所述状态检测图像块的序列和所述参考图像块的序列，其中，所述状态检测图像块的序列中各个状态检测图像块具有相同的尺寸，所述参考图像块的序列中各个参考图像块具有相同的尺寸。
3.根据权利要求2所述的基于图像识别的变电站巡检方法，其特征在于，所述第一图像编码器和所述第二图像编码器为包含嵌入层的ViT模型。
4.根据权利要求3所述的基于图像识别的变电站巡检方法，其特征在于，将所述状态检测图像块的序列和参考图像块的序列分别通过包含第一图像编码器和第二图像编码器的孪生检测模型以得到上下文状态检测语义特征向量和上下文参考图像语义特征向量，包括：
使用所述孪生检测模型的第一图像编码器对所述状态检测图像块的序列进行基于转化器结构的上下文语义编码以得到所述上下文状态检测语义特征向量；以及
使用所述孪生检测模型的第二图像编码器对所述参考图像块的序列进行基于转化器结构的上下文语义编码以得到所述上下文参考图像语义特征向量。
5.根据权利要求4所述的基于图像识别的变电站巡检方法，其特征在于，使用所述孪生检测模型的第一图像编码器对所述状态检测图像块的序列进行基于转化器结构的上下文语义编码以得到所述上下文状态检测语义特征向量，包括：
使用所述第一图像编码器的嵌入层分别对所述状态检测图像块的序列中各个状态检测图像块进行嵌入化以得到多个状态检测图像块嵌入向量的序列；
将所述多个状态检测图像块嵌入向量的序列通过所述第一图像编码器进行基于全局的上下文语义编码以得到多个状态检测理解特征向量；以及
将所述多个状态检测理解特征向量进行级联以得到所述上下文状态检测语义特征向量。
6.根据权利要求5所述的基于图像识别的变电站巡检方法，其特征在于，计算所述上下文状态检测语义特征向量和所述上下文参考图像语义特征向量之间的转移矩阵作为分类特征矩阵，包括：
以如下转移矩阵计算公式计算所述上下文状态检测语义特征向量和所述上下文参考图像语义特征向量之间的转移矩阵作为所述分类特征矩阵；
其中，所述转移矩阵计算公式为：
其中，V表示所述上下文状态检测语义特征向量，V1表示所述上下文参考图像语义特征向量，M表示所述分类特征矩阵，表示向量相乘。
7.根据权利要求6所述的基于图像识别的变电站巡检方法，其特征在于，对所述分类特征矩阵进行规划化程度强化以得到优化分类特征矩阵，包括：
以如下优化公式对所述分类特征矩阵进行规划化程度强化以得到所述优化分类特征矩阵；
其中，所述优化公式为：
mi ′ ,j＝(μσ)mi,j 2+mi,μ+(mi,-σ)μ2
其中，mi,是所述分类特征矩阵的第(i,j)位置的特征值，μ和σ是所述分类特征矩阵的特征值集合的均值和标准差，mi ′ ,是所述优化分类特征矩阵的第(i,j)位置的特征值。
8.根据权利要求7所述的基于图像识别的变电站巡检方法，其特征在于，将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示变电站的二次系统的运行状态是否正常，包括：
将所述优化分类特征矩阵按照行向量或列向量展开为优化分类特征向量；
使用所述分类器的多个全连接层对所述优化分类特征向量进行全连接编码以得到编码分类特征向量；以及
将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。
9.一种基于图像识别的变电站巡检系统，其特征在于，包括：
图像获取模块，用于获取由摄像头采集的变电站二次系统的状态检测图像，以及，所述变电站二次系统的运行正常的参考图像；
图像分块模块，用于将所述状态检测图像和所述参考图像分别进行图像分块处理以得到状态检测图像块的序列和参考图像块的序列；
孪生编码模块，用于将所述状态检测图像块的序列和参考图像块的序列分别通过包含第一图像编码器和第二图像编码器的孪生检测模型以得到上下文状态检测语义特征向量和上下文参考图像语义特征向量，其中，所述第一图像编码器和第二图像编码器具有相同的网络结构；
转移矩阵计算模块，用于计算所述上下文状态检测语义特征向量和所述上下文参考图像语义特征向量之间的转移矩阵作为分类特征矩阵；
优化模块，用于对所述分类特征矩阵进行规划化程度强化以得到优化分类特征矩阵；和
分类模块，用于将所述优化分类特征矩阵通过分类器以得到分类结果，所述分类结果用于表示变电站的二次系统的运行状态是否正常。
10.根据权利要求9所述的基于图像识别的变电站巡检系统，其特征在于，所述图像分块模块，用于：
对所述状态检测图像和所述参考图像分别进行均匀分块处理以得到所述状态检测图像块的序列和所述参考图像块的序列，其中，所述状态检测图像块的序列中各个状态检测图像块具有相同的尺寸，所述参考图像块的序列中各个参考图像块具有相同的尺寸。
CN202310567574.6A 2023-05-18 2023-05-18 基于图像识别的变电站巡检方法及其系统 Active CN116824481B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310567574.6A CN116824481B (zh) 2023-05-18 2023-05-18 基于图像识别的变电站巡检方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310567574.6A CN116824481B (zh) 2023-05-18 2023-05-18 基于图像识别的变电站巡检方法及其系统

Publications (2)

Publication Number Publication Date
CN116824481A true CN116824481A (zh) 2023-09-29
CN116824481B CN116824481B (zh) 2024-04-09

Family

ID=88117536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310567574.6A Active CN116824481B (zh) 2023-05-18 2023-05-18 基于图像识别的变电站巡检方法及其系统

Country Status (1)

Country Link
CN (1) CN116824481B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152545A (zh) * 2023-10-31 2023-12-01 江苏启宸新材料有限公司 水刺无纺布成品率管理系统
CN117372528A (zh) * 2023-11-21 2024-01-09 南昌工控机器人有限公司 用于手机壳体模块化装配的视觉图像定位方法
CN117478511A (zh) * 2023-11-21 2024-01-30 国网江苏省电力有限公司南通供电分公司 一种继电保护业务管理系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111897332A (zh) * 2020-07-30 2020-11-06 国网智能科技股份有限公司 一种语义智能变电站机器人仿人巡视作业方法及系统
CN113486668A (zh) * 2021-08-25 2021-10-08 广东电网有限责任公司 一种电力知识实体识别方法、装置、设备和介质
CN113642687A (zh) * 2021-07-16 2021-11-12 国网上海市电力公司 一种融合二维码识别和惯性系统的变电站巡检室内位置推算方法
CN115203380A (zh) * 2022-09-19 2022-10-18 山东鼹鼠人才知果数据科技有限公司 基于多模态数据融合的文本处理系统及其方法
US20230112749A1 (en) * 2021-10-12 2023-04-13 Wuhan University Transformer state evaluation method based on echo state network and deep residual neural network

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111897332A (zh) * 2020-07-30 2020-11-06 国网智能科技股份有限公司 一种语义智能变电站机器人仿人巡视作业方法及系统
CN113642687A (zh) * 2021-07-16 2021-11-12 国网上海市电力公司 一种融合二维码识别和惯性系统的变电站巡检室内位置推算方法
CN113486668A (zh) * 2021-08-25 2021-10-08 广东电网有限责任公司 一种电力知识实体识别方法、装置、设备和介质
US20230112749A1 (en) * 2021-10-12 2023-04-13 Wuhan University Transformer state evaluation method based on echo state network and deep residual neural network
CN115203380A (zh) * 2022-09-19 2022-10-18 山东鼹鼠人才知果数据科技有限公司 基于多模态数据融合的文本处理系统及其方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
DASOM AHN等: "Shift-ViT: Siamese Vision Transformer using Shifted Branches", 《2022 37TH INTERNATIONAL TECHNICAL CONFERENCE ON CIRCUITS/SYSTEMS, COMPUTERS AND COMMUNICATIONS (ITC-CSCC)》, 3 October 2022 (2022-10-03), pages 1 - 3 *
GITZEL, R等: "Maps of infrared images to detect equipment faults", 《2022 IEEE INTERNATIONAL CONFERENCE ON BIG DATA COMPUTING SERVICE AND APPLICATIONS》, 1 November 2022 (2022-11-01), pages 167 - 72 *
王有元;周立玮;梁玄鸿;刘航;辜超;杨;: "基于关联规则分析的电力变压器故障马尔科夫预测模型", 高电压技术, no. 04, 16 April 2018 (2018-04-16), pages 17 - 24 *
贺兴;艾芊;朱天怡;邱才明;张东霞;: "数字孪生在电力系统应用中的机遇和挑战", 电网技术, no. 06, 30 June 2020 (2020-06-30), pages 6 - 16 *
郭俊韬等: "数字孪生技术在电网工程中的应用研究", 《南方能源建设》, 10 March 2023 (2023-03-10), pages 136 - 142 *
陈婷等: "基于改进YOLOv4的变电站缺陷检测", 《计算机系统应用》, 30 June 2022 (2022-06-30), pages 245 - 251 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117152545A (zh) * 2023-10-31 2023-12-01 江苏启宸新材料有限公司 水刺无纺布成品率管理系统
CN117372528A (zh) * 2023-11-21 2024-01-09 南昌工控机器人有限公司 用于手机壳体模块化装配的视觉图像定位方法
CN117478511A (zh) * 2023-11-21 2024-01-30 国网江苏省电力有限公司南通供电分公司 一种继电保护业务管理系统及方法
CN117372528B (zh) * 2023-11-21 2024-05-28 南昌工控机器人有限公司 用于手机壳体模块化装配的视觉图像定位方法

Also Published As

Publication number Publication date
CN116824481B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
CN116824481B (zh) 基于图像识别的变电站巡检方法及其系统
CN113076215B (zh) 一种独立于数据类型的无监督异常检测方法
CN116150566B (zh) 船舶燃料供应安全监测系统及其方法
CN116577677B (zh) 退役动力电池的放电测试系统及其方法
CN117578715A (zh) 一种电力运维智能监测预警方法、系统及存储介质
CN116929815A (zh) 基于物联网的设备工作状态监测系统及其方法
CN116893336A (zh) 高低压开关设备及其方法
CN117689278B (zh) 施工质量智能管理系统及方法
CN116992226A (zh) 一种水泵电机故障检测方法、系统
CN116704431A (zh) 水污染的在线监测系统及其方法
CN116597377A (zh) 牛养殖的智能监控管理方法及其系统
CN116611453B (zh) 基于大数据的智能派单跟单方法及系统、存储介质
CN116451139B (zh) 一种基于人工智能的直播数据快速分析方法
CN116363441B (zh) 具备标记功能的管道腐蚀检测系统
CN116482524A (zh) 输配电开关状态检测方法及系统
Xu et al. Global attention mechanism based deep learning for remaining useful life prediction of aero-engine
CN117951646A (zh) 一种基于边缘云的数据融合方法及系统
CN116957315A (zh) 雨衣布的智能化加工方法及其系统
CN116624903A (zh) 一种用于油烟管道的智能监测方法及系统
CN117676099B (zh) 基于物联网的安全预警方法及系统
CN116402777B (zh) 基于机器视觉的电力设备检测方法及系统
CN117333717A (zh) 基于网络信息技术的安全监控方法及系统
He et al. Few-shot fault diagnosis of turnout switch machine based on flexible semi-supervised meta-learning network
CN116520154A (zh) 锂电池极片检测的性能评估方法及其系统
CN116863406A (zh) 一种基于人工智能的智能报警安防系统及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant