CN116612481B - 基于知识图谱和多元图像的电力设备缺陷识别方法及系统 - Google Patents

基于知识图谱和多元图像的电力设备缺陷识别方法及系统 Download PDF

Info

Publication number
CN116612481B
CN116612481B CN202310889300.9A CN202310889300A CN116612481B CN 116612481 B CN116612481 B CN 116612481B CN 202310889300 A CN202310889300 A CN 202310889300A CN 116612481 B CN116612481 B CN 116612481B
Authority
CN
China
Prior art keywords
power equipment
image
text
defect
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310889300.9A
Other languages
English (en)
Other versions
CN116612481A (zh
Inventor
李勇
孔德强
丁亮
张红梅
王冉
张芷有
赵旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qufu Power Supply Co Of State Grid Shandong Electric Power Co
Jining Power Supply Co
Original Assignee
Qufu Power Supply Co Of State Grid Shandong Electric Power Co
Jining Power Supply Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qufu Power Supply Co Of State Grid Shandong Electric Power Co, Jining Power Supply Co filed Critical Qufu Power Supply Co Of State Grid Shandong Electric Power Co
Priority to CN202310889300.9A priority Critical patent/CN116612481B/zh
Publication of CN116612481A publication Critical patent/CN116612481A/zh
Application granted granted Critical
Publication of CN116612481B publication Critical patent/CN116612481B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本公开提供了基于知识图谱和多元图像的电力设备缺陷识别方法及系统，涉及电力设备图像识别技术领域，方法包括获取电力设备的多张巡检图像；对所述巡检图像进行电力设备文字属性识别以及电力设备缺陷识别，获取电力设备文本数据以及带缺陷标签的电力设备分类结果；制定第一缺陷图像标签和第二属性文本标签；将第一缺陷图像标签与第二属性文本标签进行关联，使用第二属性文本标签及第一缺陷图像标签，构建包含电力设备三元组以及每个实体的图像和文本标签知识的多模态知识图谱，对图像和文本多源异构数据进行知识表示，并输出电力设备缺陷可视化结果。本公开提高电力设备巡检效率。

Description

基于知识图谱和多元图像的电力设备缺陷识别方法及系统
技术领域
本公开涉及电力设备图像识别技术领域，具体涉及基于知识图谱和多元图像的电力设备缺陷识别方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
电力设备具有数量多、面积广、长期暴露野外等特点，运行过程中易受外界环境等多方面因素影响。外界环境因素包括风偏、鸟害、覆冰、雷击、山火等，其他因素还有设备老化、质量、设计、验收、运维等，单一因素或多个综合因素都可导致设备故障缺陷，进而造成大面积停电，严重影响设备运行。
为了保证电力设备的可靠运行，需要及时发现电力设备缺陷，并采取有效措施加以控制和解决。目前，电力系统的检测应用往往采用智能检测设备，节省了电力设备的运行与维护成本，现有的视频监控系统仅能实现录制与传输显示，仍然需要人工处理图像信息。面对海量的图像信息，需要一种自动分析解决的方案，来对电力设备的缺陷进实现有效的识别判断。
当前对电力设备结构的研究集中在对电力设备显著的部件，如导线及绝缘子等方面的研究，没有考虑到电力设备的整体结构特性，没有建立识别电力设备这类复杂人造对象的约束机制。识别电力设备结构的关键是识别其各部分连接之处，这些区域是容易发生缺陷与故障的主要位置（如电力设备相连部件等）。
为了准确完整识别出电力设备目标，许多研究学者开展了基于改进Freeman链码、Radon变换、线段聚类、卡尔曼滤波器等经典图像处理算法的电力设备分割算法研究，但传统图像分割方法只在简单背景下有一定效果，而在复杂背景中分割效果的稳定性不高。此外，对于电力设备缺陷检测，目前学者们主要对图像中缺陷特征和边缘统计特征进行分析，实现电力设备缺陷检测，但电力设备缺陷结构特性呈现复杂多样，现有方法极易出现错检、漏检，难以实现对电力设备本体缺陷状态的准确识别，将图像进行分析，判断出所存在的缺陷以及所属的电力设备本体是主要解决的问题。
虽然当前的电力文本知识图谱拥有不错的性能，但是单纯依赖语义信息会缺乏图像内容的指导，导致其对多源异构的电力数据挖掘表现不佳，缺乏将视觉特征与语义特征进行结合来充分挖掘图像中的视觉信息和语句中的文本信息，无法实现对电力设备的多模态数据缺陷的识别。
发明内容
本公开为了解决上述问题，提出了基于知识图谱和多元图像的电力设备缺陷识别方法及系统，利用无人机设备采集小目标电力设备图像，结合电力设备实时采集的图像转化为电力设备缺陷数据，融合电力设备多目标的图像，构建知识图谱，实现电力设备缺陷的识别。
根据一些实施例，本公开采用如下技术方案：
基于知识图谱和多元图像的电力设备缺陷识别方法，包括：
获取电力设备的多张巡检图像并进行预处理；
对所述巡检图像进行电力设备文字属性识别以及电力设备缺陷识别，获取电力设备文本数据以及带缺陷标签的电力设备分类结果；
其中，将所述巡检图像输入至改进 YOLOv5 的电力设备图像识别模型，输出电力设备缺陷结果，制定第一缺陷图像标签；基于所述缺陷电力设备的巡检图像提取图像的文本区域，将提取的文本区域输入文本识别模型，确定文本区域中的文本信息，获取缺陷电力设备的属性，制定第二属性文本标签；
将第一缺陷图像标签与第二属性文本标签进行关联，使用第二属性文本标签及第一缺陷图像标签，构建包含电力设备三元组以及每个实体的图像和文本标签知识的多模态知识图谱，对图像和文本多源异构数据进行知识表示，并输出电力设备缺陷可视化结果。
根据一些实施例，本公开采用如下技术方案：
基于知识图谱和多元图像的电力设备缺陷识别系统，包括：
数据获取模块，获取电力设备的多张巡检图像并进行预处理；
识别分类模块，用于对所述巡检图像进行电力设备文字属性识别以及电力设备缺陷识别，获取电力设备文本数据以及带缺陷标签的电力设备分类结果；
其中，将所述巡检图像输入至改进 YOLOv5 的电力设备图像识别模型，输出电力设备缺陷结果，制定第一缺陷图像标签；基于所述缺陷电力设备的巡检图像提取图像的文本区域，将提取的文本区域输入文本识别模型，确定文本区域中的文本信息，获取缺陷电力设备的属性，制定第二属性文本标签；
知识图谱构建模块，用于将第一缺陷图像标签与第二属性文本标签进行关联，使用第二属性文本标签及第一缺陷图像标签，构建包含电力设备三元组以及每个实体的图像和文本标签知识的多模态知识图谱，对图像和文本多源异构数据进行知识表示，并输出电力设备缺陷可视化结果。
与现有技术相比，本公开的有益效果为：
本公开通过将第一缺陷图像标签与第二属性文本标签进行关联，使用第二属性文本标签及第一缺陷图像标签，构建包含电力设备三元组以及每个实体的图像和文本标签知识的多模态知识图谱，构建的知识图谱可以实现多种实体与多模态知识的有序化存储，拥有灵活的查询方式，可以根据实体节点属性、关系属性、设备图像等进行查询，获取更丰富的知识信息，并且可以快速准确地给出可视化结果，展示电力知识间的组织结构联系，改善了电力设备知识不集中，关联性弱的现状。通过返回的缺陷电力设备的文本属性与缺陷图像多模态结果，巡检员可以从各种不同角度来看待同一段知识，获得丰富细节特征的知识，有助于对设备状态的研判，提高电力巡检效率。
本公开通过收集无人机巡检作业的电力设备巡检图像数据，基于4T的巡检影像资料，建立无人机巡检图像库。可以对电力设备常见的杆塔、导线、地线、绝缘子和金具等种类的小目标缺陷进行识别。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1为本公开实施例的方法流程图；
图2为本公开实施例的知识图谱导线示例包含关系示意图。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例1
本公开的一种实施例中提供了一种基于知识图谱和多元图像的电力设备缺陷识别方法，包括：
步骤一：获取电力设备的多张巡检图像并进行预处理；
步骤二：对所述巡检图像进行电力设备文字属性识别以及电力设备缺陷识别，获取电力设备文本数据以及带缺陷标签的电力设备分类结果；
其中，将所述巡检图像输入至改进 YOLOv5 的电力设备图像识别模型，输出电力设备缺陷结果，制定第一缺陷图像标签；基于所述缺陷电力设备的巡检图像提取图像的文本区域，将提取的文本区域输入文本识别模型，确定文本区域中的文本信息，获取缺陷电力设备的属性，制定第二属性文本标签；
步骤三：将第一缺陷图像标签与第二属性文本标签进行关联，使用第二属性文本标签及第一缺陷图像标签，构建包含电力设备三元组以及每个实体的图像和文本标签知识的多模态知识图谱，对图像和文本多源异构数据进行知识表示，并输出电力设备缺陷可视化结果。
作为一种实施例，本公开的基于知识图谱和多元图像的电力设备缺陷识别方法的具体实施过程包括：
步骤1：获取电力设备的多张巡检图像并进行预处理；
具体的，采用无人机巡检，利用无人机对电力设备的运行图像进行采集，当无人机进行图像采集时，派遣多个无人机进行工作采集，划定电力设备的工作区域，根据高处电力设备以及低处电力设备进行划分，将无人机划分为高处工作无人机和低处工作无人机；具体的图像采集方式为：利用搭载摄像头的无人机导航至目标位置，利用无人机上的高清摄像头对电力设备进行多角度拍摄；
无人机之间可实现通讯，无人机发出请求支援信号至其它在该沿线上进行工作的无人机，若是已经完成自身图像采集任务的无人机对该支援信号进行接收，并从当前的位置利用信号对另一无人机进行定位，自行规划路径，对其实施支援；
若是还未完成自身图像采集任务的无人机可忽略该请求支援信号，而是转发该信号至控制平台，由控制平台重新派遣支援无人机。
所述无人机上设置有第二云台可进行接收请求支援信号，并进行判断是否能够去执行支援，若是可以，则利用其上的定位导航系统对所在请求支援的无人机的具体位置进行定位，并进行路径导航，直接执行支援，可节省时间，提高电力设备图像采集的效率。
若是判断自身的任务没有完成，无法进行支援，则直接忽略并转发该信号至控制平台，控制平台重新规划派遣闲置无人机进行支援。
通过收集无人机巡检作业各试点单位的巡检数据，基于4T的巡检影像资料，研究建立了无人机巡检典型缺陷影像库。对电力设备常见的杆塔、导线、地线、绝缘子、金具、变压器、开关、散热器、储油柜以及油箱等种类缺陷进行识别。
进一步的，在进行电力设备图像采集完成后，对采集的巡检图像进行预处理，所述预处理方式包括有灰度变化、图像增强以及图像滤波。
具体的，图像增强步骤为将输入图像进行格式转换成指定的模式；根据模式对输入图像的指定一个或多个通道实施限制对比度自适应直方图均衡方法后获得增强图像。图像增强步骤中的模式包括HSV模式、LAB模式和BGR模式。根据模式对输入图像的指定模式参数来实施图像增强的具体方法为：判断模式，若模式为HSV模式，则指定V通道实施图像增强；若模式为LAB模式，则指定L通道实施图像增强；若模式既不是HSV模式，也不是LAB模式，则全部通道实施图像增强。
其中，限制对比度自适应直方图均衡方法包括以下步骤：
(1)设定K值为大于1的整数，将输入图像分割成K×K个连续不重复的子块；设定K＝8。
(2)根据每个子块的像素值建立直方图，每个子块中所有的像素值都减去当前子块中最小的像素值；
(3)依据裁剪公式对直方图进行裁剪；
(4)对所有像素点进行重分配，先对直方图中每个像素计算超出阈值的像素值；把所有的超出阈值的像素值全部加起来，得到总值Etotal；计算平均值Bav，实现把Etotal平均分配到所有像素点上；然后重新计算超出阈值的像素值，一直反复迭代；直到Etotal小于1时候，停止迭代；
其中，Bav是平均添加到每个像素点上的像素值结果；Etotal是超过阈值的像素值总数；
(5)根据灰度变换公式后变换灰度值并获得新的图像块；
(6)得到新的图像块后，对于位于全部图像块内部的图像块，在与图像块相邻的4个图像块形成的边界进行线性插值运算，淡化过度；对于位于全部图像块边缘的图像块，在与图像块相邻的3个图像块形成的边界进行线性插值运算，淡化过度；对于位于全部图像块角落的图像块，不做任何变换。
图像后处理步骤为根据用户预设指令判断是否对增强图像进行灰度转换，并输出预处理后的图像；
步骤2：对预处理后的巡检图像进行电力设备文字属性识别以及电力设备缺陷识别，获取电力设备文本数据以及带缺陷标签的电力设备分类结果；
将所述巡检图像输入至改进 YOLOv5 的电力设备图像识别模型，输出电力设备缺陷结果，制定第一缺陷图像标签；基于所述缺陷电力设备的巡检图像提取图像的文本区域，将提取的文本区域输入文本识别模型，确定文本区域中的文本信息，获取缺陷电力设备的属性，制定第二属性文本标签；
具体的，利用文本识别模型进行电力设备文字属性识别，利用改进的YOLOv5电力设备图像识别模型进行电力设备缺陷识别，所述电力设备文字属性包括电力设备铭牌以及每个电力设备对应管控区域编号。
其中，利用改进的YOLOv5电力设备图像识别模型进行电力设备缺陷识别，改进YOLOv5 的电力设备图像识别模型为通过添加一个融合层，将输出层以及锚框的数量进行增加，引入复合缩放，提高输入分辨率并降低宽度和深度乘数，使用CIOU损失函数代替GIOU损失函数，利用 DIoU-NMS 代替NMS作为预测的边界框抑制。
基于改进 YOLOv5 的电力设备图像识别模型，通过添加一个融合层进一步改进了架构小目标的融合层，有效地将输出层的数量增加到 5个，将锚框的数量增加到 15 个，提高了对电力设备锈蚀，绝缘子缺陷等小目标检测的性能，该特征融合层具有较小的感受野，可以捕获特征图中的小细节。同时引入复合缩放，提高输入分辨率并降低了宽度和深度乘数，防止特征信息丢失到网络更深处，并使用 CIOU损失函数代替 GIOU 损失函数，快速准确地定位图像缺陷区域，利用 DIoU-NMS 代替NMS 作为预测的边界框抑制，使其更适合边界框抑制。
修改 YOLOv5 网络的损失函数，使用 CIoU 损失函数，与 GIoU计算真实框与预测框的交集和并集不同，CIoU计算真实框与预测框中心点的欧几里得距离，所以 CIoU 可以解决使用 GIoU 时出现的问题。预测边界框有3个重要的因素，分别是真实框的中心点与预测框的距离、重叠区域以及纵横比。当预测框和真实框重叠时，CIoU 考虑了预测框和真实框的重叠区域以及它们的中心点之间的距离。边界框纵横比的一致性是另一个重要的几何因素，CIoU 可以归一化两个中心点之间的距离，从而加速网络的收敛。
其中，R CIoU是惩罚项公式，ρ表示X和Y的两个预测框的中心点之间的欧式距离，b表示可以同时包含X和Y的最小闭合区域的对角线距离，α是平衡比参数，υ表示测量预测框和真实框的长度和宽度的相似度参数。
将所述巡检图像输入至改进 YOLOv5 的电力设备图像识别模型，输出电力设备缺陷结果，制定第一缺陷图像标签，所述第一缺陷图像标签包括当前图像中所识别出来的缺陷类型，所述缺陷类型包括为锈蚀、塔材被盗取、杆塔有异物、覆冰、螺丝松动、导线断股，变压器漏油、储油柜油位高低、散热器故障，开关锈蚀、受潮等。
利用文本识别模型进行缺陷电力设备文字属性识别之前，获取电力设备属性库以及字体库，生成电力设备文本数据集；当提取缺陷电力设备文字区域的文本信息后，将获取的文本区域的文本信息与电力设备文本数据集进行匹配对比，确定当前缺陷电力设备的属性，并制定第二属性文本标签，所述标签包括当前缺陷电力设备的铭牌信息以及管控区域编号。
基于所述缺陷电力设备的巡检图像提取图像的文本区域具体包括：将所述缺陷电力设备图像进行双边滤波处理，获取边缘保存图像，通过颜色空间转换算法，将所述边缘保存图像转换至HSV颜色空间；其中，所述颜色空间转换算法用于将RGB色彩模式与所述HSV颜色空间进行转换；通过限制对比度自适应直方图均衡CLAHE算法，将转换至所述HSV颜色空间的所述边缘保存图像的亮度分量，进行对比度处理，得到预处理图像；将所述预处理图像转换RGB色彩模式，将RGB色彩模式的图像输入所述文本识别模型，确定缺陷电力图像的文本区域。
将提取的文本区域输入文本识别模型，确定文本区域中的文本信息包括：对文本区域图像进行卷积处理，得到所述文本区域图像相应的特征向量；根据注意力机制，将文本区域图像输入所述文本识别模型的注意力层，得到文本区域图像的若干注意力图；将各所述注意力图相应向量与所述特征向量进行点乘运算，并将所述点乘运算的运算结果输入所述文本识别模型的全连接层，得到所述区域图像相应的所述文本信息。
进一步的，所述文本识别模型为卷积神经网络CNN，文本识别模型为卷积神经网络CNN，文本识别模型的ResNet45结构对区域图像进行卷积处理，得到特征向量。然后根据注意力机制，将区域图像输入文本识别模型的注意力层，得到区域图像的若干注意力图。区域图像输入文本识别模型的注意力层，得到若干注意力图，获取若干特征向量，并根据多层transformer结构，建立长序列依赖关系。长序列依赖关系可以在区域图像中有遮挡时，根据区域图像未被遮挡的文本，预测遮挡文本。将各注意力图相应向量与特征向量进行点乘运算，并将点乘运算的运算结果输入文本识别模型的全连接层，得到文本区域图像相应的文本信息。
将获取的文本区域的文本信息与电力设备文本数据集进行匹配对比，确定当前缺陷电力设备的属性，并制定第二属性文本标签；将第一缺陷图像标签与第二属性文本标签进行关联。
将第一缺陷图像标签与第二属性文本标签进行关联包括：所述第一缺陷图像标签包括电力设备的缺陷类型，所述第二属性文本标签包括电力设备的铭牌以及所属管控区域编号，将两个标签进行融合关联，获取电力设备、该电力铭牌属性以及该电力设备所属管控区域编号的标签链，将缺陷信息以及属性信息与电力设备实体关联。
获取多个电力设备的标签链，每个电力设备的标签链文本的每个句子对应一个电力设备、电力设备缺陷以及电力设备管控区域编号，根据电力设备标签链提取电力设备实体关系三元组，建立所有电力设备的全部三元组，将电力设备缺陷图像以及电力设备缺陷以及管控区域编号以视觉和文字的方式进行匹配融合，构成多模态知识图谱，并采用图的方式进行可视化。
具体的，图数据库用于存储数据并构建知识图谱结构。将实体以及实体关系导入图数据库，导入实体之间的联系，构成了包含电力设备节点和所述电力设备各个边的电力设备缺陷知识图谱，不同大小的节点代表不同实体类别的电力设备实体。实体由表示电力设备实体、电力设备缺陷以及电力设备所在管控区域编号之间关系的有向边连接，形成知识图谱的图结构。
将利用上述模型进行获取的实体、电力设备缺陷以及区域编号作为三元组，利用Neo4j图数据库进行存取，Py2neo应用程序与命令行能够与Neo4j建立连接，Py2neo封装官方驱动程序，添加了对HTTP的支持、高级别的API、OGM、管理工具、交互式控制台和用于Pygaments的Cypher-Lexer功能，Py2neo包提供了Neo4j的解析和存储功能，利用py2neo包，可以在计算机内存中建立和存储Neo4j的模型，通过生成节点与关系、过滤重复的数据，最终可生成图形数据库。实体由表示实体之间关系的有向边连接，形成知识图谱的图结构。知识图谱可以存储知识实体、关系等知识信息；知识图谱的核心三元组是实体、属性和关系在约定的框架内，将客观世界的二元关系以结构化三元组的形式描述，即 G =（ E ，R， S），其中，E= {e1，e2......e | E |} 代表实体集；R={r1，r2...... r | R |} 表示关系集；表示知识图中三个元组的集合，具有“头部实体-关系-尾部实体”的形式。如“XX1 号变压器-外壳缺陷-变电设备1号区域”。也有“实体-属性-属性值”的形式，如“No.2变压器-外壳缺陷-AC1"。并由三元组构成一个有向边标记图，节点代表实体和属性，边代表实体间的关系。两个节点与相应的链接可以被识别为一条知识。此外，两个节点允许有多个链接，因为两个实体之间存在不止一种关系。例如，（油箱，是变压器的一部分），（油箱的运行状况，严重影响，变压器）。这样的结构形式可以揭示事物之间的普遍联系，寻找事物之间内在的联系，从而可以达到自动联想、分析趋势、辅助决策等功能。
在所述图结构中融合电力设备图像，将电力设备实体采用图像代替，电力设备缺陷类型以及管控区域编号采用文字表示，构成多模态知识图谱，所构建的电力设备缺陷数据多模态知识图谱能够完成对相应数据的语义搜索与图像查询，呈现设备类型，诊断文本和关联知识等信息，并将查询图像融合入多模态知识图谱中，具有可扩展性。
实施例2
基于知识图谱和多元图像的电力设备缺陷识别系统，包括：
数据获取模块，获取电力设备的多张巡检图像并进行预处理；
识别分类模块，用于对所述巡检图像进行电力设备文字属性识别以及电力设备缺陷识别，获取电力设备文本数据以及带缺陷标签的电力设备分类结果；
其中，将所述巡检图像输入至改进 YOLOv5 的电力设备图像识别模型，输出电力设备缺陷结果，制定第一缺陷图像标签；基于所述缺陷电力设备的巡检图像提取图像的文本区域，将提取的文本区域输入文本识别模型，确定文本区域中的文本信息，获取缺陷电力设备的属性，制定第二属性文本标签；
知识图谱构建模块，用于将第一缺陷图像标签与第二属性文本标签进行关联，使用第二属性文本标签及第一缺陷图像标签，构建包含电力设备三元组以及每个实体的图像和文本标签知识的多模态知识图谱，对图像和文本多源异构数据进行知识表示，并输出电力设备缺陷可视化结果。
还包括控制中心，所述控制中心用于接收电力设备缺陷类型并及时进行修复，同时控制接收各种信号以及发出各种指令。
本公开是参照根据本公开实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (8)

1.基于知识图谱和多元图像的电力设备缺陷识别方法，其特征在于，包括：
获取电力设备的多张巡检图像并进行预处理；
对所述巡检图像进行电力设备文字属性识别以及电力设备缺陷识别，获取电力设备文本数据以及带缺陷标签的电力设备分类结果；
其中，将所述巡检图像输入至改进 YOLOv5 的电力设备图像识别模型，输出电力设备缺陷结果，制定第一缺陷图像标签；基于缺陷电力设备的巡检图像提取图像的文本区域，将提取的文本区域输入文本识别模型，确定文本区域中的文本信息，获取缺陷电力设备的属性，制定第二属性文本标签；
所述改进 YOLOv5 的电力设备图像识别模型为通过添加一个融合层，将输出层以及锚框的数量进行增加，引入复合缩放，提高输入分辨率并降低宽度和深度乘数，使用CIOU损失函数代替GIOU 损失函数，利用 DIoU-NMS 代替NMS作为预测的边界框抑制；
将第一缺陷图像标签与第二属性文本标签进行关联，使用第二属性文本标签及第一缺陷图像标签，构建包含电力设备三元组以及每个实体的图像和文本标签知识的多模态知识图谱，对图像和文本多源异构数据进行知识表示，并输出电力设备缺陷可视化结果；
所述将第一缺陷图像标签与第二属性文本标签进行关联包括：所述第一缺陷图像标签包括电力设备的缺陷类型，所述第二属性文本标签包括电力设备的铭牌以及所属管控区域编号，将两个标签进行融合关联，获取电力设备、电力铭牌属性以及电力设备所属管控区域编号的标签链，将缺陷信息以及属性信息与电力设备实体关联。
2.如权利要求1所述的基于知识图谱和多元图像的电力设备缺陷识别方法，其特征在于，所述电力设备包括塔杆、导线、地线、绝缘子、金具、变压器、开关、散热器、储油柜、油箱。
3.如权利要求1所述的基于知识图谱和多元图像的电力设备缺陷识别方法，其特征在于，利用文本识别模型进行电力设备文字属性识别，利用改进的YOLOv5电力设备图像识别模型进行电力设备缺陷识别，所述电力设备文字属性包括电力设备铭牌以及每个电力设备对应管控区域编号。
4.如权利要求3所述的基于知识图谱和多元图像的电力设备缺陷识别方法，其特征在于，利用文本识别模型进行电力设备文字属性识别之前，获取电力设备属性库以及字体库，生成电力设备文本数据集；当提取缺陷电力设备文字区域的文本信息后，将获取的文本区域的文本信息与电力设备文本数据集进行匹配对比，确定当前缺陷电力设备的属性，并制定第二属性文本标签，所述标签包括当前缺陷电力设备的铭牌信息以及管控区域编号。
5.如权利要求1所述的基于知识图谱和多元图像的电力设备缺陷识别方法，其特征在于，基于所述缺陷电力设备的巡检图像提取图像的文本区域具体包括：将所述缺陷电力设备图像进行双边滤波处理，获取边缘保存图像，通过颜色空间转换算法，将所述边缘保存图像转换至HSV颜色空间；其中，所述颜色空间转换算法用于将RGB色彩模式与所述HSV颜色空间进行转换；通过限制对比度自适应直方图均衡CLAHE算法，将转换至所述HSV颜色空间的所述边缘保存图像的亮度分量，进行对比度处理，得到预处理图像；将所述预处理图像转换RGB色彩模式，将RGB色彩模式的图像输入所述文本识别模型，确定缺陷电力图像的文本区域。
6.如权利要求1所述的基于知识图谱和多元图像的电力设备缺陷识别方法，其特征在于，将提取的文本区域输入文本识别模型，确定文本区域中的文本信息包括：对文本区域图像进行卷积处理，得到所述文本区域图像相应的特征向量；根据注意力机制，将文本区域图像输入所述文本识别模型的注意力层，得到文本区域图像的若干注意力图；将各所述注意力图相应向量与所述特征向量进行点乘运算，并将所述点乘运算的运算结果输入所述文本识别模型的全连接层，得到所述区域图像相应的所述文本信息。
7.如权利要求1所述的基于知识图谱和多元图像的电力设备缺陷识别方法，其特征在于，获取多个电力设备的标签链，每个电力设备的标签链文本的每个句子对应一个电力设备、电力设备缺陷以及电力设备管控区域编号，根据电力设备标签链提取电力设备实体关系三元组，建立所有电力设备的全部三元组，将电力设备缺陷图像以及电力设备缺陷以及管控区域编号以视觉和文字的方式进行匹配融合，构成多模态知识图谱，并采用图的方式进行可视化。
8.基于知识图谱和多元图像的电力设备缺陷识别系统，其特征在于，包括：
数据获取模块，获取电力设备的多张巡检图像并进行预处理；
识别分类模块，用于对所述巡检图像进行电力设备文字属性识别以及电力设备缺陷识别，获取电力设备文本数据以及带缺陷标签的电力设备分类结果；
其中，将所述巡检图像输入至改进 YOLOv5 的电力设备图像识别模型，输出电力设备缺陷结果，制定第一缺陷图像标签；基于缺陷电力设备的巡检图像提取图像的文本区域，将提取的文本区域输入文本识别模型，确定文本区域中的文本信息，获取缺陷电力设备的属性，制定第二属性文本标签；
所述改进 YOLOv5 的电力设备图像识别模型为通过添加一个融合层，将输出层以及锚框的数量进行增加，引入复合缩放，提高输入分辨率并降低宽度和深度乘数，使用CIOU损失函数代替GIOU 损失函数，利用 DIoU-NMS 代替NMS作为预测的边界框抑制；
知识图谱构建模块，用于将第一缺陷图像标签与第二属性文本标签进行关联，使用第二属性文本标签及第一缺陷图像标签，构建包含电力设备三元组以及每个实体的图像和文本标签知识的多模态知识图谱，对图像和文本多源异构数据进行知识表示，并输出电力设备缺陷可视化结果；所述将第一缺陷图像标签与第二属性文本标签进行关联包括：所述第一缺陷图像标签包括电力设备的缺陷类型，所述第二属性文本标签包括电力设备的铭牌以及所属管控区域编号，将两个标签进行融合关联，获取电力设备、电力铭牌属性以及电力设备所属管控区域编号的标签链，将缺陷信息以及属性信息与电力设备实体关联。
CN202310889300.9A 2023-07-20 2023-07-20 基于知识图谱和多元图像的电力设备缺陷识别方法及系统 Active CN116612481B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310889300.9A CN116612481B (zh) 2023-07-20 2023-07-20 基于知识图谱和多元图像的电力设备缺陷识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310889300.9A CN116612481B (zh) 2023-07-20 2023-07-20 基于知识图谱和多元图像的电力设备缺陷识别方法及系统

Publications (2)

Publication Number Publication Date
CN116612481A CN116612481A (zh) 2023-08-18
CN116612481B true CN116612481B (zh) 2023-10-13

Family

ID=87685704

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310889300.9A Active CN116612481B (zh) 2023-07-20 2023-07-20 基于知识图谱和多元图像的电力设备缺陷识别方法及系统

Country Status (1)

Country Link
CN (1) CN116612481B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117195860B (zh) * 2023-11-07 2024-03-26 品茗科技股份有限公司 智能巡检方法、系统、电子设备和计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115048492A (zh) * 2022-06-17 2022-09-13 广东电网有限责任公司 电力设备缺陷信息的处理方法、装置、设备及存储介质
CN115391547A (zh) * 2022-06-29 2022-11-25 上海大学 多模态文物知识图谱构建方法、装置及系统和存储介质
WO2023061049A1 (zh) * 2021-10-11 2023-04-20 国网智能科技股份有限公司 一种配网车载智能巡检机器人系统及方法
CN116361474A (zh) * 2021-12-27 2023-06-30 国家电网有限公司华东分部 一种电力设备缺陷文本知识图谱更新方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023061049A1 (zh) * 2021-10-11 2023-04-20 国网智能科技股份有限公司 一种配网车载智能巡检机器人系统及方法
CN116361474A (zh) * 2021-12-27 2023-06-30 国家电网有限公司华东分部 一种电力设备缺陷文本知识图谱更新方法及装置
CN115048492A (zh) * 2022-06-17 2022-09-13 广东电网有限责任公司 电力设备缺陷信息的处理方法、装置、设备及存储介质
CN115391547A (zh) * 2022-06-29 2022-11-25 上海大学 多模态文物知识图谱构建方法、装置及系统和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于知识图谱技术的电力设备缺陷记录检索方法;刘梓权;王慧芳;;电力系统自动化(14);全文 *

Also Published As

Publication number Publication date
CN116612481A (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN116612481B (zh) 基于知识图谱和多元图像的电力设备缺陷识别方法及系统
CN115205264A (zh) 一种基于改进YOLOv4的高分辨率遥感船舶检测方法
CN113888754B (zh) 一种基于雷达视觉融合的车辆多属性识别方法
CN113313166B (zh) 基于特征一致性学习的船舶目标自动标注方法
CN111044149A (zh) 电压互感器的温度异常点检测方法、装置及可读存储介质
CN113255590A (zh) 一种缺陷检测模型训练方法、缺陷检测方法、装置及系统
Yuan et al. Identification method of typical defects in transmission lines based on YOLOv5 object detection algorithm
CN114694130A (zh) 基于深度学习的铁路沿线电线杆及杆号检测方法和装置
CN113536944A (zh) 基于图像识别的配电线路巡检数据识别及分析方法
CN112683916A (zh) 集电线路杆塔小金具缺失或安装错误的识别方法及装置
CN117612136A (zh) 一种基于增量小样本学习的自动驾驶目标检测方法
CN117197571A (zh) 一种光伏组件故障检测方法、装置、电子设备及存储介质
CN116452848A (zh) 一种基于改进注意力机制的金具分类检测方法
CN116739963A (zh) 一种基于多层级多尺度特征融合的电网设备缺陷检测方法
CN115100546A (zh) 一种基于mobilenet的电力设备小目标缺陷识别方法及系统
CN114627400A (zh) 一种车道拥堵检测方法、装置、电子设备和存储介质
Sheng et al. A YOLOX-Based Detection Method of Triple-Cascade Feature Level Fusion for Power System External Defects
Das et al. Object Detection on Scene Images: A Novel Approach
CN111930982A (zh) 一种电网图像智能标签方法
Han et al. Decoupling the Curve Modeling and Pavement Regression for Lane Detection
CN116883390B (zh) 模糊抵抗性半监督缺陷检测方法、装置及存储介质
CN112329863B (zh) 一种牵引变电所内隔离开关状态识别方法
CN113239731B (zh) 断路器热故障红外热像谱的图像数字特征提取方法
Chen et al. Intelligent Identification of Transmission Line Defects Based on Fast Neural Network Model
Feng et al. A Power Grid Equipment Fault Prediction Model Based on Faster RCNN and Video Streaming

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant