CN113670929A - 输电线异物检测方法与装置、存储介质、终端设备 - Google Patents

输电线异物检测方法与装置、存储介质、终端设备 Download PDF

Info

Publication number
CN113670929A
CN113670929A CN202110758730.8A CN202110758730A CN113670929A CN 113670929 A CN113670929 A CN 113670929A CN 202110758730 A CN202110758730 A CN 202110758730A CN 113670929 A CN113670929 A CN 113670929A
Authority
CN
China
Prior art keywords
power transmission
transmission line
foreign
detection
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110758730.8A
Other languages
English (en)
Other versions
CN113670929B (zh
Inventor
何宁辉
沙伟燕
张佩
吴旭涛
马飞越
马波
郝金鹏
田禄
王剑
马云龙
徐玉华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Smartchip Microelectronics Technology Co Ltd
Electric Power Research Institute of State Grid Ningxia Electric Power Co Ltd
Original Assignee
Beijing Smartchip Microelectronics Technology Co Ltd
Electric Power Research Institute of State Grid Ningxia Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Smartchip Microelectronics Technology Co Ltd, Electric Power Research Institute of State Grid Ningxia Electric Power Co Ltd filed Critical Beijing Smartchip Microelectronics Technology Co Ltd
Priority to CN202110758730.8A priority Critical patent/CN113670929B/zh
Publication of CN113670929A publication Critical patent/CN113670929A/zh
Application granted granted Critical
Publication of CN113670929B publication Critical patent/CN113670929B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106—General arrangement of respective parts
    • G01N2021/0112—Apparatus in one mechanical, optical or electronic block
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种输电线异物检测方法与装置、存储介质、终端设备，其中，输电线异物检测方法包括：获取输电线图像数据；将输电线图像数据输入预先训练好的多任务学习模型进行模型推理，以获得输电线检测结果和异物检测结果；根据输电线检测结果和异物检测结果进行输电线异物检测。由此，该实施例的输电线异物检测方法能够准确检测出输电线上较小的异物，防止异物漏检，以使输电线能够安全工作。

Description

输电线异物检测方法与装置、存储介质、终端设备
技术领域
本发明涉及异物检测技术领域，尤其涉及一种输电线异物检测方法、一种计算机可读存储介质、一种终端设备和一种输电线异物检测装置。
背景技术
近年来，针对目标检测的算法不断的更新换代，对于简单的应用场景，已经可以达到很好的检测效果。但是对于一些难任务场景，单一的检测算法还是不能满足任务需求。输电线异物检测是目前输电线检测中较难的应用场景，主要原因是输电线异物一般较小，如果直接对异物进行标注，极容易出现漏检。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的第一个目的在于提出一种输电线异物检测方法，能够准确检测出输电线上较小的异物，防止异物漏检，以使输电线能够安全工作。
本发明的第二个目的在于提出一种计算机可读存储介质。
本发明的第三个目的在于提出一种终端设备。
本发明的第四个目的在于提出一种输电线异物检测装置。
为达上述目的，本发明第一方面实施例提出了一种输电线异物检测方法，该方法包括获取输电线图像数据；将所述输电线图像数据输入预先训练好的多任务学习模型进行模型推理，以获得输电线检测结果和异物检测结果；根据所述输电线检测结果和所述异物检测结果进行输电线异物检测。
本发明实施例的输电线异物检测方法首先获取输电线图像数据，然后将该输电线图像数据输入到预先训练好的多任务学习模型中进行模型推理，并得到输电线检测结果和异物检测结果，再根据输电线检测结果和异物检测结果检测输电线上的异物。由此，该实施例的输电线异物检测方法能够准确检测出输电线上较小的异物，防止异物漏检，以使输电线能够安全工作。
在本发明的一些实施例中，将所述输电线图像数据输入预先训练好的多任务学习模型进行模型推理，包括：采用主干网络对所述输电线图像数据进行特征提取，获得特征图数据；将所述特征图数据输入到异物检测网络进行异物检测，以输出所述异物检测结果，并将所述特征图数据输入输电线检测网络进行输电线检测，以输出所述输电线检测结果。
在本发明的一些实施例中，所述主干网络为GhostNet网络。
在本发明的一些实施例中，所述特征图数据包括浅层特征图和深层特征图。
在本发明的一些实施例中，所述异物检测网络为PANet网络。
在本发明的一些实施例中，将所述特征图数据输入到异物检测网络进行异物检测，包括：将多种不同尺寸的浅层特征图和深层特征图输入所述PANet网络，并通过concat操作将所述浅层特征图和深层特征图进行融合，以增加所述浅层特征图的语义信息和所述深层特征图的位置信息，以及采用多个检测头进行异物检测，获得异物坐标信息。
在本发明的一些实施例中，所述输电线检测网络采用锚点分类策略对所述特征图数据进行图像网格化处理，以判断每个网格内是否存在输电线，并在所述网格内存在输电线时，将网格中心作为输电线的坐标点，以获得输电线坐标信息。
在本发明的一些实施例中，根据所述输电线检测结果和所述异物检测结果进行输电线异物检测，包括：根据所述异物坐标信息和所述输电线坐标信息判断异物是否在输电线上，以获得输电线异物检测结果。
为达上述目的，本发明第二方面实施例提出了一种计算机可读存储介质，其上存储有输电线异物检测程序，该输电线异物检测程序被处理器执行时实现根据上述实施例所述的输电线异物检测方法。
本发明实施例的计算机可读存储介质通过处理器执行存储在其上的输电线异物检测程序，能够准确检测出输电线上较小的异物，防止异物漏检，以使输电线能够安全工作。
为达上述目的，本发明第三方面实施例提出了一种终端设备，该终端设备包括存储器、处理器及存储在存储器上并可在处理器上运行的输电线异物检测程序，所述处理器执行所述输电线异物检测程序时，实现根据上述实施例所述的输电线异物检测方法。
本发明实施例的终端设备包括存储器和处理器，处理器执行存储在存储器上的输电线异物检测程序，能够准确检测出输电线上较小的异物，防止异物漏检，以使输电线能够安全工作。
为达上述目的，本发明第四方面实施例提出了一种输电线异物检测装置，该输电线异物检测装置包括：获取模块，用于获取输电线图像数据；多任务模型推理模块，用于将所述输电线图像数据输入预先训练好的多任务学习模型进行模型推理，以获得输电线检测结果和异物检测结果；异物检测模块，用于根据所述输电线检测结果和所述异物检测结果进行输电线异物检测。
本发明实施例的输电线异物检测装置包括获取模块、多任务模型推理模块和异物检测模块，其中，先通过获取模块获取输电线图像数据，然后利用多任务模型推理模块将输电线图像数据输入预先训练好的多任务学习模型进行模型推理，并获得输电线检测结果和异物检测结果，最后利用异物检测模块根据输电线检测结果和异物检测结果对输电线异物进行检测。由此，本发明实施例的输电线异物检测装置能够准确检测出输电线上较小的异物，防止异物漏检，以使输电线能够安全工作。
在本发明的一些实施例中，所述多任务模型推理模块还用于，采用主干网络对所述输电线图像数据进行特征提取，获得特征图数据；将所述特征图数据输入到异物检测网络进行异物检测，以输出所述异物检测结果，并将所述特征图数据输入输电线检测网络进行输电线检测，以输出所述输电线检测结果。
在本发明的一些实施例中，所述主干网络为GhostNet网络，所述特征图数据包括浅层特征图和深层特征图，所述异物检测网络为PANet网络，其中，所述多任务模型推理模块还用于，将多种不同尺寸的浅层特征图和深层特征图输入所述PANet网络，并通过concat操作将所述浅层特征图和深层特征图进行融合，以增加所述浅层特征图的语义信息和所述深层特征图的位置信息，以及采用多个检测头进行异物检测，获得异物坐标信息。
在本发明的一些实施例中，所述输电线检测网络采用锚点分类策略对所述特征图数据进行图像网格化处理，以判断每个网格内是否存在输电线，并在所述网格内存在输电线时，将网格中心作为输电线的坐标点，以获得输电线坐标信息。
在本发明的一些实施例中，所述异物检测模块还用于，根据所述异物坐标信息和所述输电线坐标信息判断异物是否在输电线上，以获得输电线异物检测结果。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
图1是根据本发明一个实施例的输电线异物检测方法的流程图；
图2是根据本发明另一个实施例的输电线异物检测方法的流程图；
图3是根据本发明又一个实施例的输电线异物检测方法的流程图；
图4是根据本发明一个具体实施例的输电线检测方法的示意图；
图5是根据本发明一个实施例的输电线异物检测方法的流程图；
图6是根据本发明实施例的终端设备的结构框图；
图7是根据本发明实施例的输电线异物检测装置的结构框图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的输电线异物检测方法与装置、存储介质和终端设备。
图1是根据本发明一个实施例的输电线异物检测方法的流程图。
如图1所示，本发明提出了一种输电线异物检测方法，该方法包括以下步骤：
S10，获取输电线图像数据。
具体地，举例而言，本实施例中的输电线异物检测方法可以应用于输电线塔摄像头上，通过输电线塔摄像头对输电线进行获取。其中，具体获取方法可以是进行数据抽帧的方式进行获取，如每隔30分钟抽取一张输电线监控图像，以对该图像进行异物检测。
当然，也可以应用于其他非摄像类型的终端设备，当应用于其他类型的终端设备的情况下，则可以将图像输入到对应的设备中，以使设备能够获取到输电线图像数据。
S20，将输电线图像数据输入预先训练好的多任务学习模型进行模型推理，以获得输电线检测结果和异物检测结果。
具体地，在获取到输电线图像数据之后，则可以将输电线图像数据输入到预先训练好的多任务学习模型中，可以理解的，在将输电线图像数据输入多任务学习模型之前，可以先对多任务学习模型进行训练。更具体地，本发明实施例中多任务学习模型的训练可以是，向该多任务学习模型输入标注好的输电线异物数据集，获得多任务学习模型参数。由于输电线异物的数据比较难获取，所以该实施例中还可以通过GAN(Generative AdversarialNetworks，生成式对抗网络)或者镜像等数据增强方法对输电线异物的数据进行处理，从而可以降低数据采集的难度和提高多任务学习模型的可信度。
在完成多任务学习模型的训练之后，则可以将输电线图像输入到该训练好的多任务学习模型中，通过该多任务学习模型处理之后，可以获得输电线检测结果和异物检测结果两种数据。
在本发明的一些实施例中，如图2所示，步骤S20中，将输电线图像数据输入预先训练好的多任务学习模型进行模型推理，还包括：
S201，采用主干网络对输电线图像数据进行特征提取，获得特征图数据。
具体地，多任务学习模型在对输电线图像数据进行处理的过程中，可以先利用主干网络对该输电线图像数据进行特征提取，需要说明的是，主干网络可以对输电线图像数据中出现的所有特征进行提取，其中，输电线图像数据中的特征可以包括输电线特征、输电线异物特征和其他杂物的特征，其他杂物的特征例如可以包括出现在输电线图像中的房子、树木、交通工具等所对应的特征。可选地，如图3所示，本实施例中的主干网络可以为GhostNet网络，也就是说，输电线图像数据在经过GhostNet网络处理之后，可以提取各个特征图数据。更具体地，GhostNet网络中的Ghost模块可以将深度神经网络中的普通卷积层分为两部分，先使用卷积核较少的来生成少量内在特征图，再通过线性变化操作进一步高效的生成Ghost特征图。
需要说明的是，通过GhostNet网络对输电线图像数据进行处理，可以在不更改输出特征图数量的情况下，降低计算参数总数和计算复杂度，提高数据处理速度，并且，由于GhostNet网络是一种轻量级网络，可以应用于边端设备上，如可以应用到输电线塔摄像头上，进而输电线图像数据可以在输电线塔摄像头上进行处理，然后在输电线没有检测到异物的情况下，则可以不将输电线数据上传至云端服务器，而在检测到输电线上存在异物的情况下，则可以将存在异物的输电线上传至云端服务器，然后工作人员可以从服务器中获取到出现异物的输电线的数据，进而及时对输电线进行处理。
在该实施例中，特征图数据包括浅层特征图和深层特征图。
可以理解的，卷积层特征具有层次性，不同的卷积层具有不同的语义层次，如浅层特征图通常是获取图像数据中的边/角等特征，而高层特征图则通常是获取图像数据中的整体特征，所以选用不同的层次可以达到完全不同的效果，本实施例中特征图数据是包括有浅层特征图和深层特征图的。
S202，将特征图数据输入到异物检测网络进行异物检测，以输出异物检测结果，并将特征图数据输入输电线检测网络进行输电线检测，以输出输电线检测结果。
具体地，在通过GhostNet网络处理得到特征图数据之后，可以将该特征图数据输入到异物检测网络和输电线检测网络中进行相对应的检测，并输出对应的检测结果，即异物检测输出异物检测结果，输电线检测输出输电线检测结果。
在本发明的一些实施例中，如图3所示，异物检测网络可以为PANet网络，并且，步骤S202中，将特征图数据输入到异物检测网络进行异物检测，可以包括：将多种不同尺寸的浅层特征图和深层特征图输入PANet网络，并通过concat(合并连接)操作将浅层特征图和深层特征图进行融合，以增加浅层特征图的语义信息和深层特征图的位置信息，以及采用多个检测头进行异物检测，获得异物坐标信息。
具体地，可以理解的是，低层大尺寸的特征图对检测小物体更有利，由于输电线上的异物在整个图像中往往较小，所以GhostNet网络提取特征图后，可以将多种不同尺寸的特征图都输入到了PANet中，例如在图3实施例中，可以将三种不同尺寸的特征图输入到PANet中，然后通过concat操作将深层特征图和浅层特征图进行融合，以增加浅低层特征图的语义信息和深层特征图的位置信息，该方法能够更加准确的检测出输电线上尺寸较小的异物。同时，该实施例该可以沿用yolov5的三个检测头对特征进行检测，进而有助于不同尺寸异物的检测，最终通过分类和回归的方式找到异物的坐标信息。
在一些实施例中，输电线检测网络在对特征图中的输电线数据进行检测的过程中，可以采用锚点分类策略对特征图数据进行图像网格化处理，以判断每个网格内是否存在输电线，并在网格内存在输电线时，将网格中心作为输电线的坐标点，以获得输电线坐标信息。
具体地，在获取输电线检测结果的时候，可以采用行anchor的思想，将每一行划分成等距网格，如图4所示，全连接层输出通道数为每一行的网格数量，用于判断每个网格是否存在输电线。如果网格内存在输电线，则将网格中心作为输电线的坐标点，进而获取到当前网格中输电线的坐标信息，通过该方法可以最终获得整个输电线的坐标信息。需要说明的是，该实施例中还可以增加structural loss，解决输电线由于光照或者在复杂的背景下视觉不可见的问题。
需要说明的是，输电线检测网络中的loss损失可以由三部分损失相加构成，分别为多分类损失、分割损失和输电线结构化损失，其中，多分类损失和分割损失均为交叉熵损失，并且，输电线结构化损失的目的是利用输电线结构的先验知识来约束预测出来的输电线形状。
S30，根据输电线检测结果和异物检测结果进行输电线异物检测。
在一些实施例中，根据输电线检测结果和异物检测结果进行输电线异物检测，可以包括：根据异物坐标信息和输电线坐标信息判断异物是否在输电线上，以获得输电线异物检测结果。
具体地，在上述方法中获取到输电线的坐标信息和异物的坐标信息之后，可以将这两个坐标信息进行比较，如果异物坐标信息和输电线坐标信息相同的话，则表示当前异物出现在输电线上；如果异物坐标信息和输电线坐标信息不同的话，则表示当前异物没有出现在输电线上，通过该方法可以获得输电线异物的检测结果。
总结，图5是本发明一个实施例的输电线异物检测方法的流程图，如图5所示，首先可以向多任务模型输入图像进行推理，多任务模型进行推理之后可以同时输出输电线结果和异物结果，然后对输电线结果和异物结果进行位置关系判断，如果位置重复，则表示输电线上存在异物，则可以发出报警；如果位置不重复，则表示输电线没有存在异物，属于正常情况，无需进行报警。
综上，本发明实施例的输电线异物检测方法能够准确检测出输电线上较小的异物，防止异物漏检，以使输电线能够安全工作。
进一步地，本发明提出一种计算机可读存储介质，该存储介质上存储有输电线异物检测程序，该输电线异物检测程序被处理器执行时实现根据上述实施例中的输电线异物检测方法。
本发明实施例的计算机可读存储介质通过处理器执行存储在其上的输电线异物检测程序，能够准确检测出输电线上较小的异物，防止异物漏检，以使输电线能够安全工作。
图6是根据本发明实施例的终端设备的结构框图。
进一步地，如图6所示，本发明提出了一种终端设备10，该终端设备10包括存储器11、处理器12及存储在存储器11上并可在处理器12上运行的输电线异物检测程序，处理器12执行输电线异物检测程序时，实现根据上述实施例中的输电线异物检测方法。
本发明实施例的终端设备包括存储器和处理器，处理器执行存储在存储器上的输电线异物检测程序，能够准确检测出输电线上较小的异物，防止异物漏检，以使输电线能够安全工作。
图7是根据本发明实施例的输电线异物检测装置的结构框图。
进一步地，如图7所示，本发明提出了一种输电线异物检测装置100，该检测装置100包括获取模块101、多任务模型推理模块102和异物检测模块103。
其中，获取模块101用于获取输电线图像数据；多任务模型推理模块102用于将输电线图像数据输入预先训练好的多任务学习模型进行模型推理，以获得输电线检测结果和异物检测结果；异物检测模块103用于根据输电线检测结果和异物检测结果进行输电线异物检测。
具体地，举例而言，本实施例中的输电线异物检测装置100可以是电线塔摄像头，通过输电线塔摄像头上的获取模块101对输电线进行获取。其中，获取模块101的具体获取方法可以是进行数据抽帧的方式进行获取，如每隔30分钟抽取一张输电线监控图像，以对该图像进行异物检测。当然，输电线异物检测装置100也可以应用于其他非摄像类型的终端设备，当应用于其他类型的终端设备的情况下，则可以将图像输入到对应的设备中，以使设备能够获取到输电线图像数据。
在获取模块101获取到输电线图像数据之后，则多任务模型推理模块102可以将输电线图像数据输入到预先训练好的多任务学习模型中，可以理解的，在将输电线图像数据输入多任务学习模型之前，可以先对多任务学习模型进行训练。更具体地，本发明实施例中多任务学习模型的训练可以是，向该多任务学习模型输入标注好的输电线异物数据集，获得多任务学习模型参数。由于输电线异物的数据比较难获取，所以该实施例中还可以通过GAN(Generative Adversarial Networks，生成式对抗网络)或者镜像等数据增强方法对输电线异物的数据进行处理，从而可以降低数据采集的难度和提高多任务学习模型的可信度。
在完成多任务学习模型的训练之后，则可以将输电线图像输入到该训练好的多任务学习模型中，通过多任务模型推理模块102对该多任务学习模型进行推理处理之后，可以获得输电线检测结果和异物检测结果两种数据。
在本发明的一些实施例中，多任务模型推理模块102还用于：采用主干网络对所述输电线图像数据进行特征提取，获得特征图数据；将所述特征图数据输入到异物检测网络进行异物检测，以输出所述异物检测结果，并将所述特征图数据输入输电线检测网络进行输电线检测，以输出所述输电线检测结果。
具体地，多任务模型推理模块102在对输电线图像数据进行处理的过程中，可以先利用主干网络对该输电线图像数据进行特征提取，需要说明的是，主干网络可以对输电线图像数据中出现的所有特征进行提取，其中，输电线图像数据中的特征可以包括输电线特征、输电线异物特征和其他杂物的特征，其他杂物的特征例如可以包括出现在输电线图像中的房子、树木、交通工具等所对应的特征。可选地，如图3所示，本实施例中的主干网络可以为GhostNet网络，也就是说，输电线图像数据在经过GhostNet网络处理之后，可以提取各个特征图数据。更具体地，GhostNet网络中的Ghost模块可以将深度神经网络中的普通卷积层分为两部分，先使用卷积核较少的来生成少量内在特征图，再通过线性变化操作进一步高效的生成Ghost特征图。
需要说明的是，通过GhostNet网络对输电线图像数据进行处理，可以在不更改输出特征图数量的情况下，降低计算参数总数和计算复杂度，提高数据处理速度，并且，由于GhostNet网络是一种轻量级网络，因此可以应用于边端设备上，如可以应用到输电线塔摄像头上，进而输电线图像数据可以在输电线塔摄像头上进行处理，然后在输电线没有检测到异物的情况下，则可以不将输电线数据上传至云端服务器，而在检测到输电线上存在异物的情况下，则可以将存在异物的输电线上传至云端服务器，然后工作人员可以从服务器中获取到出现异物的输电线的数据，进而及时对输电线进行处理。
在该实施例中，特征图数据包括浅层特征图和深层特征图。
可以理解的，卷积层特征具有层次性，不同的卷积层具有不同的语义层次，如浅层特征图通常是获取图像数据中的边/角等特征，而高层特征图则通常是获取图像数据中的整体特征，所以选用不同的层次可以达到完全不同的效果，本实施例中特征图数据是包括有浅层特征图和深层特征图的。
在通过GhostNet网络处理得到特征图数据之后，可以将该特征图数据输入到异物检测网络和输电线检测网络中进行相对应的检测，并输出对应的检测结果，即异物检测输出异物检测结果，输电线检测输出输电线检测结果。
在本发明的一些实施例中，如图3所示，异物检测网络可以为PANet网络，并且，多任务模型推理模块102将特征图数据输入到异物检测网络进行异物检测，可以包括：将多种不同尺寸的浅层特征图和深层特征图输入PANet网络，并通过concat(合并连接)操作将浅层特征图和深层特征图进行融合，以增加浅层特征图的语义信息和深层特征图的位置信息，以及采用多个检测头进行异物检测，获得异物坐标信息。
具体地，可以理解的是，低层大尺寸的特征图对检测小物体更有利，由于输电线上的异物在整个图像中往往较小，所以GhostNet网络提取特征图后，可以将多种不同尺寸的特征图都输入到了PANet中，例如在图3实施例中，可以将三种不同尺寸的特征图输入到PANet中，然后通过concat操作将深层特征图和浅层特征图进行融合，以增加浅低层特征图的语义信息和深层特征图的位置信息，该方法能够更加准确的检测出输电线上尺寸较小的异物。同时，该实施例该可以沿用yolov5的三个检测头对特征进行检测，进而有助于不同尺寸异物的检测，最终通过分类和回归的方式找到异物的坐标信息。
在一些实施例中，输电线检测网络在对特征图中的输电线数据进行检测的过程中，可以采用锚点分类策略对特征图数据进行图像网格化处理，以判断每个网格内是否存在输电线，并在网格内存在输电线时，将网格中心作为输电线的坐标点，以获得输电线坐标信息。
具体地，在获取输电线检测结果的时候，可以采用行anchor的思想，将每一行划分成等距网格，如图4所示，全连接层输出通道数为每一行的网格数量，用于判断每个网格是否存在输电线。如果网格内存在输电线，则将网格中心作为输电线的坐标点，进而获取到当前网格中输电线的坐标信息，通过该方法可以最终获得整个输电线的坐标信息。需要说明的是，该实施例中还可以增加structural loss，解决输电线由于光照或者在复杂的背景下视觉不可见的问题。
需要说明的是，输电线检测网络中的loss损失可以由三部分损失相加构成，分别为多分类损失、分割损失和输电线结构化损失，其中，多分类损失和分割损失均为交叉熵损失，并且，输电线结构化损失的目的是利用输电线结构的先验知识来约束预测出来的输电线形状。
在多任务模型推理模块102推理得到输电线检测结果和异物检测结果两种数据之后，异物检测模块103可以根据输电线检测结果和异物检测结果进行输电线异物检测。更具体地，在得到输电线的坐标信息和异物的坐标信息之后，异物检测模块103可以将这两个坐标信息进行比较，如果异物坐标信息和输电线坐标信息相同的话，则表示当前异物出现在输电线上；如果异物坐标信息和输电线坐标信息不同的话，则表示当前异物没有出现在输电线上，通过该方法可以获得输电线异物的检测结果。
总结，首先，本实施例中的输电线异物检测装置可以向多任务模型输入图像并利用多任务模型推理模块进行推理，多任务模型推理模块进行推理之后可以同时输出输电线结果和异物结果，然后异物检测模块对输电线结果和异物结果进行位置关系判断，如果位置重复，则表示输电线上存在异物，则可以发出报警；如果位置不重复，则表示输电线没有存在异物，属于正常情况，无需进行报警。
需要说明的是，本发明实施例的输电线异物检测装置的具体实施方式，可以参见上述实施例中的输电线异物检测方法的具体实施方式，在此不再赘述。
综上，本发明实施例的输电线异物检测装置能够准确检测出输电线上较小的异物，防止异物漏检，以使输电线能够安全工作。
需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，本发明实施例中所使用的“第一”、“第二”等术语，仅用于描述目的，而不可以理解为指示或者暗示相对重要性，或者隐含指明本实施例中所指示的技术特征数量。由此，本发明实施例中限定有“第一”、“第二”等术语的特征，可以明确或者隐含地表示该实施例中包括至少一个该特征。在本发明的描述中，词语“多个”的含义是至少两个或者两个及以上，例如两个、三个、四个等，除非实施例中另有明确具体的限定。
在本发明中，除非实施例中另有明确的相关规定或者限定，否则实施例中出现的术语“安装”、“相连”、“连接”和“固定”等应做广义理解，例如，连接可以是固定连接，也可以是可拆卸连接，或成一体，可以理解的，也可以是机械连接、电连接等；当然，还可以是直接相连，或者通过中间媒介进行间接连接，或者可以是两个元件内部的连通，或者两个元件的相互作用关系。对于本领域的普通技术人员而言，能够根据具体的实施情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (15)

1.一种输电线异物检测方法，其特征在于，包括：
获取输电线图像数据；
将所述输电线图像数据输入预先训练好的多任务学习模型进行模型推理，以获得输电线检测结果和异物检测结果；
根据所述输电线检测结果和所述异物检测结果进行输电线异物检测。
2.根据权利要求1所述的输电线异物检测方法，其特征在于，将所述输电线图像数据输入预先训练好的多任务学习模型进行模型推理，包括：
采用主干网络对所述输电线图像数据进行特征提取，获得特征图数据；
将所述特征图数据输入到异物检测网络进行异物检测，以输出所述异物检测结果，并将所述特征图数据输入输电线检测网络进行输电线检测，以输出所述输电线检测结果。
3.根据权利要求2所述的输电线异物检测方法，其特征在于，所述主干网络为GhostNet网络。
4.根据权利要求2或3所述的输电线异物检测方法，其特征在于，所述特征图数据包括浅层特征图和深层特征图。
5.根据权利要求4所述的输电线异物检测方法，其特征在于，所述异物检测网络为PANet网络。
6.根据权利要求5所述的输电线异物检测方法，其特征在于，将所述特征图数据输入到异物检测网络进行异物检测，包括：
将多种不同尺寸的浅层特征图和深层特征图输入所述PANet网络，并通过concat操作将所述浅层特征图和深层特征图进行融合，以增加所述浅层特征图的语义信息和所述深层特征图的位置信息，以及采用多个检测头进行异物检测，获得异物坐标信息。
7.根据权利要求6所述的输电线异物检测方法，其特征在于，所述输电线检测网络采用锚点分类策略对所述特征图数据进行图像网格化处理，以判断每个网格内是否存在输电线，并在所述网格内存在输电线时，将网格中心作为输电线的坐标点，以获得输电线坐标信息。
8.根据权利要求7所述的输电线异物检测方法，其特征在于，根据所述输电线检测结果和所述异物检测结果进行输电线异物检测，包括：
根据所述异物坐标信息和所述输电线坐标信息判断异物是否在输电线上，以获得输电线异物检测结果。
9.一种计算机可读存储介质，其特征在于，其上存储有输电线异物检测程序，该输电线异物检测程序被处理器执行时实现根据权利要求1-8中任一项所述的输电线异物检测方法。
10.一种终端设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的输电线异物检测程序，所述处理器执行所述输电线异物检测程序时，实现根据权利要求1-8中任一项所述的输电线异物检测方法。
11.一种输电线异物检测装置，其特征在于，包括：
获取模块，用于获取输电线图像数据；
多任务模型推理模块，用于将所述输电线图像数据输入预先训练好的多任务学习模型进行模型推理，以获得输电线检测结果和异物检测结果；
异物检测模块，用于根据所述输电线检测结果和所述异物检测结果进行输电线异物检测。
12.根据权利要求11所述的输电线异物检测装置，其特征在于，所述多任务模型推理模块还用于，
采用主干网络对所述输电线图像数据进行特征提取，获得特征图数据；
将所述特征图数据输入到异物检测网络进行异物检测，以输出所述异物检测结果，并将所述特征图数据输入输电线检测网络进行输电线检测，以输出所述输电线检测结果。
13.根据权利要求12所述的输电线异物检测装置，其特征在于，所述主干网络为GhostNet网络，所述特征图数据包括浅层特征图和深层特征图，所述异物检测网络为PANet网络，其中，所述多任务模型推理模块还用于，
将多种不同尺寸的浅层特征图和深层特征图输入所述PANet网络，并通过concat操作将所述浅层特征图和深层特征图进行融合，以增加所述浅层特征图的语义信息和所述深层特征图的位置信息，以及采用多个检测头进行异物检测，获得异物坐标信息。
14.根据权利要求13所述的输电线异物检测装置，其特征在于，所述输电线检测网络采用锚点分类策略对所述特征图数据进行图像网格化处理，以判断每个网格内是否存在输电线，并在所述网格内存在输电线时，将网格中心作为输电线的坐标点，以获得输电线坐标信息。
15.根据权利要求14所述的输电线异物检测装置，其特征在于，所述异物检测模块还用于，根据所述异物坐标信息和所述输电线坐标信息判断异物是否在输电线上，以获得输电线异物检测结果。
CN202110758730.8A 2021-07-05 2021-07-05 输电线异物检测方法与装置、存储介质、终端设备 Active CN113670929B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110758730.8A CN113670929B (zh) 2021-07-05 2021-07-05 输电线异物检测方法与装置、存储介质、终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110758730.8A CN113670929B (zh) 2021-07-05 2021-07-05 输电线异物检测方法与装置、存储介质、终端设备

Publications (2)

Publication Number Publication Date
CN113670929A true CN113670929A (zh) 2021-11-19
CN113670929B CN113670929B (zh) 2024-06-14

Family

ID=78538753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110758730.8A Active CN113670929B (zh) 2021-07-05 2021-07-05 输电线异物检测方法与装置、存储介质、终端设备

Country Status (1)

Country Link
CN (1) CN113670929B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114663724A (zh) * 2022-03-21 2022-06-24 国网江苏省电力有限公司南通供电分公司 一种风筝挂线图像的智能识别方法及系统
CN114723678A (zh) * 2022-03-21 2022-07-08 盛视科技股份有限公司 基于视频图像的高压电线异物检测方法及检测系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003070101A (ja) * 2001-08-29 2003-03-07 Meidensha Corp パンタグラフの離線検出装置
US20180172866A1 (en) * 2016-12-21 2018-06-21 Cable Detection Limited Underground utility line detection
CN108647655A (zh) * 2018-05-16 2018-10-12 北京工业大学 基于轻型卷积神经网络的低空航拍影像电力线异物检测方法
CN110020598A (zh) * 2019-02-28 2019-07-16 中电海康集团有限公司 一种基于深度学习检测电线杆上异物的方法及装置
CN110335270A (zh) * 2019-07-09 2019-10-15 华北电力大学（保定） 基于层级区域特征融合学习的输电线路缺陷检测方法
WO2020003621A1 (ja) * 2018-06-29 2020-01-02 オムロン株式会社 無線で電力を供給する送電装置及び異物検出方法
CN111667461A (zh) * 2020-05-06 2020-09-15 青岛科技大学 一种输电线路异常目标检测方法
CN112464851A (zh) * 2020-12-08 2021-03-09 国网陕西省电力公司电力科学研究院 一种基于视觉感知的智能电网异物入侵检测方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003070101A (ja) * 2001-08-29 2003-03-07 Meidensha Corp パンタグラフの離線検出装置
US20180172866A1 (en) * 2016-12-21 2018-06-21 Cable Detection Limited Underground utility line detection
CN108647655A (zh) * 2018-05-16 2018-10-12 北京工业大学 基于轻型卷积神经网络的低空航拍影像电力线异物检测方法
WO2020003621A1 (ja) * 2018-06-29 2020-01-02 オムロン株式会社 無線で電力を供給する送電装置及び異物検出方法
CN110020598A (zh) * 2019-02-28 2019-07-16 中电海康集团有限公司 一种基于深度学习检测电线杆上异物的方法及装置
CN110335270A (zh) * 2019-07-09 2019-10-15 华北电力大学（保定） 基于层级区域特征融合学习的输电线路缺陷检测方法
CN111667461A (zh) * 2020-05-06 2020-09-15 青岛科技大学 一种输电线路异常目标检测方法
CN112464851A (zh) * 2020-12-08 2021-03-09 国网陕西省电力公司电力科学研究院 一种基于视觉感知的智能电网异物入侵检测方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
徐兆国等: "宁夏电网输电线路防风策略研究", 《内蒙古电力技术》, vol. 36, no. 3, 15 June 2018 (2018-06-15), pages 67 - 71 *
徐振磊;曾懿辉;郭圣;邵校嘉;麦俊佳;胡壮丽;: "基于图像识别技术的输电线路智能监控系统应用", 计算机系统应用, no. 01, pages 71 - 76 *
杨剑锋等: "基于深度学习网络的输电线路异物入侵监测和识别方法", 《电力系统保护与控制》, vol. 49, no. 04, pages 37 - 44 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114663724A (zh) * 2022-03-21 2022-06-24 国网江苏省电力有限公司南通供电分公司 一种风筝挂线图像的智能识别方法及系统
CN114723678A (zh) * 2022-03-21 2022-07-08 盛视科技股份有限公司 基于视频图像的高压电线异物检测方法及检测系统
CN114723678B (zh) * 2022-03-21 2024-08-02 盛视科技股份有限公司 基于视频图像的高压电线异物检测方法及检测系统

Also Published As

Publication number Publication date
CN113670929B (zh) 2024-06-14

Similar Documents

Publication Publication Date Title
CN113670929A (zh) 输电线异物检测方法与装置、存储介质、终端设备
KR102476022B1 (ko) 얼굴검출 방법 및 그 장치
CN110059646B (zh) 训练动作规划模型的方法及目标搜索方法
CN110599484A (zh) 缺陷检测方法、装置及存储介质
CN111213154A (zh) 一种车道线检测方法、设备、移动平台及存储介质
CN111295666A (zh) 一种车道线检测方法、装置、控制设备及存储介质
CN116309265A (zh) 电芯极片检测方法、装置与电子设备
CN116778581A (zh) 一种基于改进YOLOv7模型的考场异常行为检测方法
CN115115863A (zh) 水面多尺度目标检测方法、装置及系统和存储介质
CN116883390B (zh) 模糊抵抗性半监督缺陷检测方法、装置及存储介质
CN111914766B (zh) 一种城市管理业务游商行为检测方法
CN115147642B (zh) 基于视觉的渣土车检测方法、装置、计算机及存储介质
CN116342955A (zh) 一种基于改进的特征金字塔网络的目标检测方法及系统
CN116091784A (zh) 一种目标跟踪方法、设备及存储介质
CN115908999A (zh) 配电杆塔顶部金具锈蚀检测方法、介质和边缘终端设备
Ziabari et al. A two-tier convolutional neural network for combined detection and segmentation in biological imagery
CN113674215B (zh) 光伏板的光斑识别方法、装置及计算机可读存储介质
CN113283286B (zh) 一种驾驶员异常行为检测方法和装置
EP4124998A1 (en) Generative adversarial network for processing and generating images and label maps
CN113887300A (zh) 目标、人脸、人脸关键点检测方法、装置及存储介质
KR101972095B1 (ko) 물체탐지 성능 향상용 인공물체 추가 방법 및 장치
CN116343132B (zh) 一种复杂场景电力设备缺陷识别方法、装置和计算机设备
CN118425167B (zh) 一种缺陷检测方法及系统
CN116188998B (zh) 输电架空线路缺陷识别方法、装置、设备和存储介质
WO2022174397A1 (zh) 图像检测方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant