CN115294047A - 一种缺陷检测方法、装置、检测设备和存储介质 - Google Patents

一种缺陷检测方法、装置、检测设备和存储介质 Download PDF

Info

Publication number
CN115294047A
CN115294047A CN202210914444.0A CN202210914444A CN115294047A CN 115294047 A CN115294047 A CN 115294047A CN 202210914444 A CN202210914444 A CN 202210914444A CN 115294047 A CN115294047 A CN 115294047A
Authority
CN
China
Prior art keywords
defect
detected
wall
image
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210914444.0A
Other languages
English (en)
Inventor
赵雷
徐加龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Xiaoling Internet Technology Co ltd
Original Assignee
Suzhou Xiaoling Internet Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Xiaoling Internet Technology Co ltd filed Critical Suzhou Xiaoling Internet Technology Co ltd
Priority to CN202210914444.0A priority Critical patent/CN115294047A/zh
Publication of CN115294047A publication Critical patent/CN115294047A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明公开了一种缺陷检测方法、装置、检测设备和存储介质。其中，该方法包括：在油浸式变压器内部获取内壁待检测视频；基于所述内壁待检测视频确定待检测内壁图像；根据预先训练的缺陷检测模型识别所述待检测内壁图像内的目标缺陷，其中，所述缺陷检测模型基于具有缺陷标记的缺陷样本集训练生成。本发明实施例实现了油浸式变压器的油中缺陷检测，可减少检测时间，可降低油浸式变压器检测的经济成本，避免检测人员进入油浸式变压器内部，保障了缺陷检测作业人员的人身安全。

Description

一种缺陷检测方法、装置、检测设备和存储介质
技术领域
本发明涉及计算机应用技术领域，尤其涉及一种缺陷检测方法、装置、检测设备和存储介质。
背景技术
油浸式变压器是电网配电系统中的重要设备之一，一旦出现异常将会对电网业务造成巨大影响，带来的经济损失极大。油浸式变压器需要保证在生产过程中没有火花放电现象，因此需要对油浸式变压器进行定期检查，以避免火花放电等缺陷出现。现有的检查方式以人工检测为主，需要在油浸式变压器停机状态下放油后进行检测，检查人员需要穿戴防护服进入油浸式变压器的油舱内部进行检查，这种方式的检查周期往往需要耗费半个月，期间油浸变压器处于停机状态，经济成本较高，且存在较大人员安全风险。
发明内容
本发明提供了一种缺陷检测方法、装置、检测设备和存储介质，以实现油浸式变压器的油中缺陷检测，减少检测时间，可降低油浸式变压器的经济成本，降低人员的作业风险。
根据本发明的一方面，提供了一种缺陷检测方法，其中，该方法包括：
在油浸式变压器内部获取内壁待检测视频；
基于所述内壁待检测视频确定待检测内壁图像；
根据预先训练的缺陷检测模型识别所述待检测内壁图像内的目标缺陷，其中，所述缺陷检测模型基于具有缺陷标记的缺陷样本集训练生成。
根据本发明的另一方面，提供了一种缺陷检测装置，其中，该装置包括：
视频采集模块，用于在油浸式变压器内部获取内壁待检测视频；
图像提取模块，用于基于所述内壁待检测视频确定待检测内壁图像；
缺陷识别模块，用于根据预先训练的缺陷检测模型识别所述待检测内壁图像内的目标缺陷，其中，所述缺陷检测模型基于具有缺陷标记的缺陷样本集训练生成。
根据本发明的另一方面，提供了一种检测设备，所述检测设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的缺陷检测方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的缺陷检测方法。
本发明实施例的技术方案，通过在油浸式变压器内部获取内壁待检测视频，获取内壁待检测视频的待检测内壁图像，使用预先训练的缺陷检测模型检测待检测内壁图像从而确定目标缺陷，实现了油浸式变压器内部目标缺陷的自动化检测，提高了缺陷的检测速度，减少了油浸式变压器的停工时间，可减少缺陷检测带来的经济损耗，油浸式变压器检测过程无需人员进入，保障了监测人员的人身安全。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种缺陷检测方法的流程图；
图2是根据本发明实施例一提供的一种目标缺陷的示例图；
图3是根据本发明实施例二提供的一种缺陷检测方法的流程图；
图4是根据本发明实施例二提供的一种缺陷检测模型训练过程的流程图；
图5是根据本发明实施例二提供的一种神经网络模型结构的示意图；
图6是根据本发明实施例三提供的一种缺陷检测方法的示例图；
图7是根据本发明实施例四提供的一种缺陷检测装置的结构示意图；
图8是根据本发明实施例五提供的一种检测设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1是根据本发明实施例一提供的一种缺陷检测方法的流程图，本实施例可适用于检测油浸式变压器内部缺陷的情况，该方法可以由缺陷检测装置来执行，该缺陷检测装置可以采用硬件和/或软件的形式实现，该缺陷检测装置可配置于检测设备，例如，潜航式机器人中，如图1所示，该方法包括：
步骤110、在油浸式变压器内部获取内壁待检测视频。
其中，油浸式变压器在电网实现电能转换，也即变换电压等级，目前油浸式变压器主要包括油箱、储油柜等器件，由于油浸式变压器特性导致定时需要对油箱内部的缺陷进行检测。内壁待检测视频可以是通过采集油浸式变压器内部的图像产生的视频，内壁待检测视频可以通过采集设备在油浸式变压器内部采集获取，内壁待检测视频可以至少包括油浸式变压器内部的图像。
在本申请实施例中，可以在油浸式变压器的内部进行图像采集，可以将采集到的数据作为内壁待检测视频，可以理解的是，该采集过程可以包括将检测设备的图像采集装置探入油浸式变压器的内部，还可以将检测设备直接放入油浸式变压器的内部，该内部可以包括油浸式变压器的油箱以及储油柜等部分。在一个示例性的实施方式中，检测设备可以放置在油浸式变压器的油箱或储油柜中，该油箱或储油柜可以包括油浸式变压器使用的油料，检测设备可以对油箱或储油柜的内壁进行图像采集，可以将采集到的数据作为内壁待检测视频，可以理解的是，在检测设备采集内壁待检测视频的过程中，油浸式变压器的油料无需放空，可降低检测过程的时间消耗。
步骤120、基于内壁待检测视频确定待检测内壁图像。
其中，待检测内壁图像可以用于进行目标缺陷检测的图像，待检测内壁图像可以为内壁待检测视频中的部分数据，待检测内壁图像可以为包括油浸式变压器内壁的图像数据。
具体的，可以采集到的内壁待检测视频进行预处理，在内壁待检测视频中确定出用于进行目标缺陷检测的待检测内壁图像，可以包括在内壁待检测视频中抽取视频帧作为待检测内壁图像以及初步识别具有缺陷的图像作为待检测内壁图像，可以通过预处理降低目标缺陷检测的数据量，以提高检测效率。
步骤130、根据预先训练的缺陷检测模型识别待检测内壁图像内的目标缺陷，其中，缺陷检测模型基于具有缺陷标记的缺陷样本集训练生成。
其中，缺陷检测模型可以为用于识别油浸式变压器内缺陷的神经网络模型，缺陷检测模型经过缺陷样本集训练生成，该缺陷样本集内的训练样本可以具有缺陷标记，也即每个样本图像可以通过人工或者自动化方式标注了缺陷类型，缺陷检测模型可以预先使用经过标注的样本图像训练生成。
在本发明实施例中，可以将获取到的待检测内壁图像输入到缺陷检测模型进行处理，从而识别出待检测内壁图像中具有的目标缺陷，其中，目标缺陷可以为油浸式变压器内壁的缺陷，按照缺陷生成的类型可以将目标缺陷划分为异物遗留缺陷、气泡缺陷、放电缺陷等。
在一个示例性的实施方式中，缺陷检测模型可以对待检测内壁图像进行缺陷识别，在识别到目标缺陷时，参见图2，可以将目标缺陷在待检测内壁图像中进行标记，可以理解的是，目标缺陷的标记方式不限制于标记箭头、标记缺陷类型文字、标记选择框等。
本发明实施例，通过在油浸式变压器内部获取内壁待检测视频，获取内壁待检测视频的待检测内壁图像，使用预先训练的缺陷检测模型检测待检测内壁图像从而确定目标缺陷，实现了油浸式变压器内部目标缺陷的自动化检测，提高了缺陷的检测速度，减少了油浸式变压器的停工时间，可减少缺陷检测带来的经济损耗，油浸式变压器检测过程无需人员进入，保障了监测人员的人身安全。
实施例二
图3是根据本发明实施例二提供的一种缺陷检测方法的流程图，本发明实施例是在上述发明实施例基础上的具体化，参见图3，本发明实施例提供的方法具体包括如下步骤：
步骤210、控制检测设备按照阈值巡航速度在油浸式变压器内部移动。
其中，阈值巡航速度可以是控制检测设备移动在油浸式变压器内部移动的速度，阈值巡航速度的取值可以基于油浸式变压器的规格以及油料种类确定，检测设备按照阈值巡航速度在油浸式变压器移动时可以获取满足清晰度需求的图像数据。
在本发明实施例中，检测设备可以按照阈值巡航速度在油浸式变压器内部移动，该阈值巡航速度可以预先配置于检测设备，也可以由检测人员在检测过程中发送到检测设备，例如，在检测设备为潜航式机器人时，可以按照阈值巡航速度在油浸式变压器内部进行巡航游动。
步骤220、控制辅助光源照射油浸式变压器内部。
其中，辅助光源可以是辅助检测设备采集图像的光源。
具体的，检测设备中还可以设置有辅助光源，可以在上述的移动过程中启动辅助光源，便于检测设备在油浸式变压器内部采集清晰的图像。进一步的，由于辅助光源为主动照明，在增强成像光束能量的同时，也会产生大量的后向散射光，影响检测设备的成像质量，检测设备中的辅助光源可以与内壁待检测视频的采集装置采取分离布局，以降低候选散射对内壁待检测视频的成像影响。
步骤230、在移动过程中采集油浸式变压器内部的内壁待检测视频。
具体的，检测设备在移动过程中采集油浸式变压器内部的图像数据作为内壁待检测视频。
步骤240、按照阈值时间间隔在内壁待检测视频内抽取图像帧；将抽取到的图像帧作为待检测内壁图像。
其中，阈值时间间隔可以是在内壁待检测视频内分段抽取图像帧的时间间隔，该阈值时间间隔可以由维护人员配置或检测设备预配置。
在本发明实施例中，可以在内壁待检测视频中每隔一个阈值时间间隔则抽取一帧图像帧作为待检测内壁图像，可以理解的是，该阈值时间间隔的大小可以影响待检测内壁图像的采集数量，可以通过阈值时间间隔的合理设置在缺陷检测的检测准确性的前提下，减少检测量，从而提高缺陷检测效率。
步骤250、将待检测内壁图像输入到缺陷检测模型。
在本发明实施例中，可以将采集到的待检测内壁图像输入到缺陷检测模型的输入层，以便缺陷检测模型对待检测内壁图像进行处理。可以理解的是，在将待检测内壁图像输入到缺陷检测模型之前还可以对待检测内壁图像进行预处理，该预处理可以包括亮度调整、清晰度调整、尺寸调整等。
步骤260、在缺陷检测模型识别待检测内壁图像目标缺陷的缺陷类型。
其中，缺陷类型可以是标识目标缺陷产生原因的信息，缺陷类型可以包括异物遗留缺陷、气泡缺陷、放电缺陷等，再进一步划分还可以包括弹性垫片异物遗留缺陷、铁屑遗留缺陷、螺母异物遗留缺陷、螺栓异物遗留缺陷、普通垫片异物遗留缺陷。
在本发明实施例中，检测设备中缺陷检测模型可以对输入的待检测内壁图像进行识别，确定出待检测内壁图像中包括的目标缺陷的缺陷类型。
步骤270、按照缺陷类型生成标记信息以标记目标缺陷。
其中，标记信息可以是标识目标缺陷的产生原因的信息，标记信息可以包括缺陷类型的文字描述、缺陷类型的标识信息以及缺陷类型的标识图形等。
具体的，可以按照检测出的目标缺陷的缺陷类型在生成对应的标记信息，该标记信息可以为文字描述、标识信息以及标识图形中至少之一，进一步的，还可以将标记信息标识在产生目标缺陷的待检测内壁图像中，以便检测人员直观了解目标缺陷。进一步的，还可以将目标缺陷的标记信息保存在检测设备或者上传到云端服务器。
步骤280、实时传输目标缺陷到监控平台，以使监控平台根据目标缺陷生成报警信息用于警报。
其中，监控平台可以是为检测设备的上位控制平台，监控平台具体可以为云端服务器或上位机，监控平台可以通过有线连接方式或无线连接方式连接到检测设备，检测设备可以将目标缺陷传输到监控平台。报警信息可以是提供检测人员出现目标缺陷的信息，报警信息的具体形式可以包括位置、语音、图像或提示音等。
在本发明实施例中，检测设备可以与监控平台进行实时数据传输，每当获取到目标缺陷，则检测设备可以将目标缺陷传输到监控平台，监控平台中可以在接收到目标缺陷时，可以按照目标缺陷生成报警信息，可以理解的是，监控平台中针对不同类型的目标缺陷可以设置不同的报警信息，监控平台可以按照生成的报警信息进行报警，以提示检测人员油浸式变压器内部存在缺陷。
本发明实施例，通过控制检测设备按照阈值巡航速度在油浸式变压器内部移动，并控制辅助光源照射油浸式变压器内部，在移动过程中检测设备采集内壁待检测视频，按照阈值时间间隔在内壁待检测视频中提取图像帧作为待检测内壁图像，通过缺陷检测模型识别待检测内壁图像中的目标缺陷的缺陷类型，生成缺陷类型对应的标记信息，检测设备实施传输目标缺陷到监控平台，使得监控平台按照目标缺陷生成报警信息进行警报，实现了油浸式变压器内部目标缺陷的自动化检测，提高了缺陷的检测速度，减少了油浸式变压器的停工时间，可减少缺陷检测带来的经济损耗，油浸式变压器检测过程无需人员进入，保障了监测人员的人身安全。
在一个示例性的实施方式中，图4是根据本发明实施例二提供的一种缺陷检测模型训练过程的流程图，参见图4，缺陷检测模型的训练包括：
步骤310、采集缺陷检测样本图像，并在缺陷样本图像内标记缺陷标记，其中，缺陷标记包括以下至少之一：异物遗留缺陷标记、气泡缺陷标记、放电缺陷标记。
其中，缺陷检测样本图像可以是用于训练缺陷检测模型的图像信息，缺陷检测样本图像可以通过人工或机器人在油浸式变压器内部采集获得，缺陷检测样本图像包含有缺陷标记，该缺陷标记标识缺陷检测样本图像中包括的缺陷类型，缺陷标记可以采用自动化方式或者人工方式标记。具体的，缺陷标记包括异物遗留缺陷标记、气泡缺陷标记、放电缺陷标记中至少之一，可以理解的是，此处仅为举例不作限制，缺陷标记可以进一步基于缺陷产生原因进行细化，例如，缺陷标记还可以包括弹性垫片异物遗留缺陷、铁屑遗留缺陷、螺母异物遗留缺陷、螺栓异物遗留缺陷、普通垫片异物遗留缺陷等。
在本发明实施例中，可以采集足够数量的缺陷检测样本图像，该数量至少满足20000张，在获取缺陷检测样本图像后可以自动化方式或者人工方式标记缺陷标记，例如，可以在缺陷检测样本图像中生成标识框来标识缺陷。在一种示例性的实施方式中，采用自动标注的方式来提高标注效率，首先利用小模型如YOLOs网络，利用数据集中随机的500张图片人工标注后，基于预训练模型上迁移学习，可以快速训练出一个小模型，使用该小模型来粗略的检测缺陷在缺陷检测样本图像中的目标位置，结合人工辅助的方式对目标位置进行微调修正，从而提升海量图片标注的效率。
步骤320、针对具有各缺陷标记的缺陷样本图像构建缺陷样本集，其中，缺陷样本集内各缺陷标记对应的缺陷样本图像的比例相同。
在本发明实施例中，可以使用具有缺陷标记的缺陷样本图像构建缺陷样本集，在构建的缺陷样本集中具有不同的缺陷标记的缺陷样本图像的数量可以大致相同，也即每种缺陷标记的缺陷样本图像在缺陷样本集中具有的比例相同。
步骤330、按照缺陷样本集训练预先搭建的神经网络模型结构，其中，神经网络模型结构包括Faster R-CNN网络结构，Faster R-CNN网络结构至少包括13个卷积层、3个全连接层和5个池化层。
其中，神经网络模型结构可以是按照Faster R-CNN网络结构搭建的神经网络模型，神经网络模型结构中的骨干网络可以包括13个卷积层、3个全连接层和5个池化层，参见图5，神经网络模型结果为aster R-CNN网络结构，该网络结构中骨干网络采用VGG-16，也即，Faster R-CNN网络结构中包括13个卷积层、3个全连接层和5个池化层，其中，13个卷积层的卷积核可以分别为64、64、128、128、256、256、256、512、512、512、512、512、512,网络参数量计算公式为：CoHWCi+Co，其中Ci为输入通道Co为输出通道，H和W分别为图像的高和宽。
在本发明实施例中，可以按照Faster R-CNN网络结构搭建神经网络模型，其中，神经网络模型的骨干网络采用VGG-16，设置13个卷积层、3个全连接层以及5个池化层，可以使用缺陷样本集对该神经网络模型结构进行训练，在训练过程中可以不断调整神经网络模型的参数和权重。
步骤340、确定神经网络模型的训练结果中预测正确的数量与预测总数量的比值记作召回率。
其中，预测正确的数量可以是神经网络模型输出的预测结果与缺陷样本集中真实结果相同的数量，预测总数量可以是神经网络模型输出的预测结果的总数量。
在本发明实施例中，可以确定神经网络模型的召回率，该召回率可以为训练结果中预测正确的数量与预测总数量的比值。在一个示例性的实施方式中，召回率公式为：
Recall＝TP/(TP+FN)
其中，TP表示模型推断正确的带检测目标(缺陷)的图像，FN为模型将缺陷目标的图像预测为背景的图像。
步骤350、在召回率大于或等于阈值时，确定神经网络模型训练完成，并将神经网络模型作为缺陷检测模型。
具体的，阈值可以是判定神经网络模型训练完成的临界值，在召回率大于或等于阈值时，可以确定训练的神经网络模型检测缺陷的准确率符合要求，可以确定该神经网络模型训练完成，可以将该神经网络模型作为缺陷检测模型。
进一步的，在上述发明实施例的基础上，在所述神经网络模型训练完成之后，还包括：
按照检测设备的软件运行环境调用预设优化工具对神经网络模型进行性能优化；其中，预设优化工具包括以下至少之一：NCNN优化框架、TensorRT优化框架、OpenVINO优化框架。
其中，软件运行环境可以是支持本发明方法执行所需要的软件支持和硬件支持，软件运行环境至少包括操作系统环境参数。
在本发明实施例中，神经网络模型可以在云端服务器或者其他高性能处理设备中进行训练，在训练完成后，可以按照检测设备的软件运行环境对该神经网络模型进行优化，使得神经网络模型可以在检测设备中高性能运行，该优化可以通过NCNN优化框架、TensorRT优化框架、OpenVINO优化框架等实现。在一个实施例中，检测设备的软件运行环境为基于ARM架构的CPU计算平台，而神经网络模型的训练设备为X86架构的GPU计算平台，神经网络模型在训练设备完成训练后，可以通过调用NCNN优化框架将神经网络模型处理为适用于基于ARM架构的CPU计算平台下运行的神经网络模型。
实施例三
图6是根据本发明实施例三提供的一种缺陷检测方法的示例图，由于油浸式变压器内部油中放电、闪络等问题，造成油浸式变压器需要定时检测，但是由于油浸式变压器密闭环境，检测环境为低光亮昏暗的场景，并且由于油浑浊进一步加大了缺陷检测的难度，因此，参见图6，本发明实施例提供以下步骤实现缺陷检测：
步骤1：使用潜航式机器人携带视频采集装置实时采集油浸式变压器内部油中状况，因为是密闭的环境需要借助辅助式光源进行补光，且应保证光线辐射范围，其次潜航式机器人巡航速度尽可能平稳低速，尽可能沿着变压器内壁行驶，可以保证目标被抓拍时光线有足够的亮度，同时可以保证目标有较好的清晰度。由于辅助式光源为主动式照明，在增强成像光束能量的同时，也会产生大量的后向散射光，影响成像质量。因此，潜航式机器人中采集装置和辅助式光源采用分离布局，以减少后向散射对成像的影响。
步骤2：进行数据集准备，首先将采集到的视频通过隔段取帧的方式汇总成图片数据，为了模型的鲁棒性，需要将正负样本的数量尽可能对等分，且数据最低保留20000以上的量级，其次进行数据标注，20000万张图像标框大概在4-5万框之间，标注方式如果采用人工大概需要耗时10天左右，且如果考虑后续模型迭代标注工作将投入更多，本发明采用自动标注的方式来提高标注效率，首先利用小模型如YOLOs网络，利用数据集中随机的500张图片人工标注后，基于预训练模型上迁移学习，在英伟达GeForce RTX 3090显卡上3小时内可以快速训练出一个小模型，使用小模型来粗略的检测闪络目标位置，结合人工辅助的方式进行微调修正，从而提升海量图片标注的效率。
步骤3：模型训练，本发明使用Faster R-CNN网络，骨干网络采用VGG-16，VGG-16的各层卷积核为[64,64,128,128,256,256,256,512,512,512,512,512,512]，再加上三层全连接层一共16层，网络参数量计算公式为：CoHWCi+Co，其中Ci为输入通道Co为输出通道，H和W分别为图像的高和宽，加上三层全连接层可以计算出VGG16的参数量在138Mparameters，参数体量足够大，可以保证目标特征被充分提取。
模型训练按照常规方式即可，参数配置可默认，训练依然会基于COCO这样的大型目标检测数据集训练的模型做迁移学习，如何可保证在较短的时间内训练好闪络放电的模型。本发明采用召回率指标来评估模型性能，召回率公式为：
Recall＝TP/(TP+FN)
其中TP表示模型推断正确的带检测目标(缺陷)的图像，FN为模型将缺陷目标的图像预测为背景的图像。
步骤4：部署模型，本发明采用ncnn模型优化框架来将训练好的Faster R-CNN-VGG16的模型嵌入潜航式机器人设备内部，本方案中潜航式机器人内部承载模型的硬件为树莓派4B 8G，系统为Raspberry Pi OS 64位系统，采用嵌入式的模型部署方式可以保证图像识别的速度，更进一步地可减少潜航式机器人和外部控制中心信息通信数据量，提高通信效率。潜航式机器人采集实时的油舱内部视频，并将视频检测的结果通过无线网络传输发送到监控平台，监控平台实时回显油舱内部环境实况，如果由闪络放电现象则给目标打框并警报提示运检人员。
实施例四
图7是根据本发明实施例四提供的一种缺陷检测装置的结构示意图。如图7所示，该装置包括：视频采集模块401、图像提取模块402和缺陷识别模块403。
视频采集模块401，用于在油浸式变压器内部获取内壁待检测视频。
图像提取模块402，用于基于所述内壁待检测视频确定待检测内壁图像。
缺陷识别模块403，用于根据预先训练的缺陷检测模型识别所述待检测内壁图像内的目标缺陷，其中，所述缺陷检测模型基于具有缺陷标记的缺陷样本集训练生成。
本发明实施例，通过视频采集模块在油浸式变压器内部获取内壁待检测视频，图像提取模块获取内壁待检测视频的待检测内壁图像，缺陷识别模块使用预先训练的缺陷检测模型检测待检测内壁图像从而确定目标缺陷，实现了油浸式变压器内部目标缺陷的自动化检测，提高了缺陷的检测速度，减少了油浸式变压器的停工时间，可减少缺陷检测带来的经济损耗，油浸式变压器检测过程无需人员进入，保障了监测人员的人身安全。
在一个实施例中，视频采集模块401包括：
移动控制单元，用于控制所述检测设备按照阈值巡航速度在所述油浸式变压器内部移动。
辅助光源单元，用于控制辅助光源照射所述油浸式变压器内部。
视频采集单元，用于在所述移动过程中控制图像采集装置采集所述油浸式变压器内部的所述内壁待检测视频。
在另一个实施例中，图像提取模块402具体用于按照阈值时间间隔在所述内壁待检测视频内抽取图像帧；将抽取到的所述图像帧作为所述待检测内壁图像。
在一个实施例中，装置中的缺陷检测模型的训练包括：采集缺陷检测样本图像，并在所述缺陷样本图像内标记所述缺陷标记，其中，所述缺陷标记包括以下至少之一：异物遗留缺陷标记、气泡缺陷标记、放电缺陷标记；
针对具有各所述缺陷标记的所述缺陷样本图像构建所述缺陷样本集，其中，所述缺陷样本集内各所述缺陷标记对应的所述缺陷样本图像的比例相同；
按照所述缺陷样本集训练预先搭建的神经网络模型结构，其中，所述神经网络模型结构包括Faster R-CNN网络结构，所述Faster R-CNN网络结构至少包括13个卷积层、3个全连接层和5个池化层；
确定所述神经网络模型的训练结果中预测正确的数量与预测总数量的比值记作召回率；
在所述召回率大于或等于阈值时，确定所述神经网络模型训练完成，并将所述神经网络模型作为所述缺陷检测模型。
在一个实施例中，在所述神经网络模型训练完成之后，还包括：
按照所述检测设备的软件运行环境调用预设优化工具对所述神经网络模型进行性能优化；其中，所述预设优化工具包括以下至少之一：NCNN优化框架、TensorRT优化框架、OpenVINO优化框架。
在另一个实施例中，缺陷识别模块403包括：
图像输入单元，用于将所述待检测内壁图像输入到所述缺陷检测模型。
类型确定单元，用于在所述缺陷检测模型识别所述待检测内壁图像所述目标缺陷的缺陷类型。
标记信息单元，用于按照所述缺陷类型生成标记信息以标记所述目标缺陷。
在另一个实施例中，装置还包括：传输模块，用于实时传输所述目标缺陷到监控平台，以使所述监控平台根据所述目标缺陷生成报警信息用于警报。
本发明实施例所提供的缺陷检测装置可执行本发明任意实施例所提供的缺陷检测方法，具备执行方法相应的功能模块和有益效果。
实施例五
图8是根据本发明实施例五提供的一种检测设备的结构示意图。检测设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。检测设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)、潜航式机器人和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图8所示，检测设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储检测设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
检测设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许检测设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如缺陷检测方法。
在一些实施例中，缺陷检测方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到检测设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的缺陷检测方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行缺陷检测方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在检测设备上实施此处描述的系统和技术，该检测设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给检测设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种缺陷检测方法，其特征在于，应用于检测设备，所述方法包括：
在油浸式变压器内部获取内壁待检测视频；
基于所述内壁待检测视频确定待检测内壁图像；
根据预先训练的缺陷检测模型识别所述待检测内壁图像内的目标缺陷，其中，所述缺陷检测模型基于具有缺陷标记的缺陷样本集训练生成。
2.根据权利要求1所述方法，其特征在于，所述在油浸式变压器油舱内部获取内壁待检测视频，包括：
控制所述检测设备按照阈值巡航速度在所述油浸式变压器内部移动；
控制辅助光源照射所述油浸式变压器内部；
在所述移动过程中控制图像采集装置采集所述油浸式变压器内部的所述内壁待检测视频。
3.根据权利要求1所述方法，其特征在于，所述基于所述内壁待检测视频确定待检测内壁图像，包括：
按照阈值时间间隔在所述内壁待检测视频内抽取图像帧；
将抽取到的所述图像帧作为所述待检测内壁图像。
4.根据权利要求1所述方法，其特征在于，所述缺陷检测模型的训练包括：
采集缺陷检测样本图像，并在所述缺陷样本图像内标记所述缺陷标记，其中，所述缺陷标记包括以下至少之一：异物遗留缺陷标记、气泡缺陷标记、放电缺陷标记；
针对具有各所述缺陷标记的所述缺陷样本图像构建所述缺陷样本集，其中，所述缺陷样本集内各所述缺陷标记对应的所述缺陷样本图像的比例相同；
按照所述缺陷样本集训练预先搭建的神经网络模型结构，其中，所述神经网络模型结构包括Faster R-CNN网络结构，所述Faster R-CNN网络结构至少包括13个卷积层、3个全连接层和5个池化层；
确定所述神经网络模型的训练结果中预测正确的数量与预测总数量的比值记作召回率；
在所述召回率大于或等于阈值时，确定所述神经网络模型训练完成，并将所述神经网络模型作为所述缺陷检测模型。
5.根据权利要求4所述方法，其特征在于，在所述神经网络模型训练完成之后，还包括：
按照所述检测设备的软件运行环境调用预设优化工具对所述神经网络模型进行性能优化；
其中，所述预设优化工具包括以下至少之一：NCNN优化框架、TensorRT优化框架、OpenVINO优化框架。
6.根据权利要求1所述方法，其特征在于，所述根据预先训练的缺陷检测模型识别所述待检测内壁图像内的目标缺陷，包括：
将所述待检测内壁图像输入到所述缺陷检测模型；
在所述缺陷检测模型识别所述待检测内壁图像所述目标缺陷的缺陷类型；
按照所述缺陷类型生成标记信息以标记所述目标缺陷。
7.根据权利要求1-6中任一所述方法，其特征在于，还包括：
实时传输所述目标缺陷到监控平台，以使所述监控平台根据所述目标缺陷生成报警信息用于警报。
8.一种缺陷检测装置，其特征在于，应用于检测设备，所述装置包括：
视频采集模块，用于在油浸式变压器内部获取内壁待检测视频；
图像提取模块，用于基于所述内壁待检测视频确定待检测内壁图像；
缺陷识别模块，用于根据预先训练的缺陷检测模型识别所述待检测内壁图像内的目标缺陷，其中，所述缺陷检测模型基于具有缺陷标记的缺陷样本集训练生成。
9.一种检测设备，其特征在于，所述检测设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的缺陷检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的缺陷检测方法。
CN202210914444.0A 2022-08-01 2022-08-01 一种缺陷检测方法、装置、检测设备和存储介质 Pending CN115294047A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210914444.0A CN115294047A (zh) 2022-08-01 2022-08-01 一种缺陷检测方法、装置、检测设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210914444.0A CN115294047A (zh) 2022-08-01 2022-08-01 一种缺陷检测方法、装置、检测设备和存储介质

Publications (1)

Publication Number Publication Date
CN115294047A true CN115294047A (zh) 2022-11-04

Family

ID=83827133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210914444.0A Pending CN115294047A (zh) 2022-08-01 2022-08-01 一种缺陷检测方法、装置、检测设备和存储介质

Country Status (1)

Country Link
CN (1) CN115294047A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117984333A (zh) * 2024-04-03 2024-05-07 广东电网有限责任公司东莞供电局 一种油浸式变压器的巡检方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117984333A (zh) * 2024-04-03 2024-05-07 广东电网有限责任公司东莞供电局 一种油浸式变压器的巡检方法、装置、设备及存储介质
CN117984333B (zh) * 2024-04-03 2024-06-21 广东电网有限责任公司东莞供电局 一种油浸式变压器的巡检方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN110807429B (zh) 基于tiny-YOLOv3的施工安全检测方法及系统
CN108846841A (zh) 显示屏质量检测方法、装置、电子设备及存储介质
CN111950812B (zh) 一种自动识别与预测雨量的方法及其装置
CN113252701B (zh) 基于云边协同的输电线路绝缘子自爆缺陷检测系统及方法
CN113177469A (zh) 人体属性检测模型的训练方法、装置、电子设备及介质
CN108921840A (zh) 显示屏外围电路检测方法、装置、电子设备及存储介质
CN115294047A (zh) 一种缺陷检测方法、装置、检测设备和存储介质
CN115376130A (zh) 电力施工现场识别模型的生成方法、装置、设备及介质
CN111815576B (zh) 金属部件腐蚀状况检测方法、装置、设备和存储介质
CN112884717A (zh) 实时工件表面检测与刀具寿命预测的系统及方法
CN117190900A (zh) 一种隧道围岩变形监测方法
CN113469938A (zh) 基于嵌入式前端处理服务器的管廊视频分析方法及系统
CN117201565A (zh) 一种基于5g传输的网联无人机管理云平台
CN116758280A (zh) 目标检测方法、装置、设备以及存储介质
CN115908843A (zh) 过热度识别模型训练方法、识别方法、设备及存储介质
CN115689206A (zh) 一种基于深度学习的变电站基建进度智能监测方法
CN115100546A (zh) 一种基于mobilenet的电力设备小目标缺陷识别方法及系统
CN112818836B (zh) 一种变电站场景的人员目标检测方法及系统
CN114170515A (zh) 一种配电网设备异常类型检测方法
CN115100592A (zh) 一种输电通道外破隐患识别方法、装置及存储介质
CN113781388A (zh) 基于图像增强的输电线路通道隐患图像识别方法及装置
CN113074797A (zh) 一种无水尺测量水位装置及水位标定方法
CN113834520B (zh) 面向馆藏文物的状态监测和预防性保护系统、方法、设备
CN117475294A (zh) 一种基于机器视觉技术的养殖鱼类缺氧检测方法及终端
CN117975666A (zh) 一种水位监测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination