CN113989684A - 一种机巡缺陷图片图像标注定级方法及缺陷定级系统 - Google Patents

一种机巡缺陷图片图像标注定级方法及缺陷定级系统 Download PDF

Info

Publication number
CN113989684A
CN113989684A CN202111232210.XA CN202111232210A CN113989684A CN 113989684 A CN113989684 A CN 113989684A CN 202111232210 A CN202111232210 A CN 202111232210A CN 113989684 A CN113989684 A CN 113989684A
Authority
CN
China
Prior art keywords
defect
grading
picture
target
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111232210.XA
Other languages
English (en)
Inventor
杜昊
毛先胤
张啟黎
邹雕
黄欢
张伟
陈沛龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Power Grid Co Ltd
Original Assignee
Guizhou Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Power Grid Co Ltd filed Critical Guizhou Power Grid Co Ltd
Priority to CN202111232210.XA priority Critical patent/CN113989684A/zh
Publication of CN113989684A publication Critical patent/CN113989684A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Electricity, gas or water supply
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/20—Checking timed patrols, e.g. of watchman

Abstract

本发明公开了一种机巡缺陷图片图像标注定级方法及缺陷定级系统，它包括：步骤1、使用无人机对电路设备目标区域进行图像采集得到目标图片；步骤2、对目标图片进行筛查筛选出需要进行缺陷定级的图片；步骤3、将筛选出的图片样本分为两份：一份进行缺陷目标物标注用于缺陷识别；一份进行缺陷元素标注用于缺陷定级；步骤4、将标注后的图片导入缺陷定级系统进行训练学习；步骤5、将需要进行缺陷定级的图片上传到已训练完成的缺陷定级系统进行缺陷定级，输出定级结果；解决了现有技术对机巡图像标注费时费力，效率低下，容易导致重大缺陷无法及时被发现并处置，从而对电网运行带来巨大的安全隐患等技术问题。

Description

一种机巡缺陷图片图像标注定级方法及缺陷定级系统
技术领域
本发明属于电力设备巡检技术；尤其涉及一种机巡缺陷图片图像标注定级方法及缺陷定级系统。
背景技术
随着无人机巡检和图片识别技术在电力设备巡检领域中的应用，智能图像识别技术可通过对缺陷图片的处理、提取、识别和分析，建立缺陷特性库，在训练达到一定程度后将可替代人工进行缺陷识别。但是在输电线路巡检过程中，缺陷识别工作除了要识别相应的缺陷类型，还需要对缺陷进行定级，便于按照优先级开展消缺工作。但是传统的图像标注方法，只能告诉模型“是什么”，即模型只能对缺陷类型进行识别，而对缺陷的定级却只能依靠人工进行处理，费时费力，效率低下，容易导致重大缺陷无法及时被发现并处置，从而对电网运行带来巨大的安全隐患。
发明内容
本发明要解决的技术问题：提供一种机巡缺陷图片图像标注定级方法及缺陷定级系统，以解决现有技术对机巡图像标注方法，只能告诉模型“是什么”，即模型只能对缺陷类型进行识别，而对缺陷的定级却只能依靠人工进行处理，费时费力，效率低下，容易导致重大缺陷无法及时被发现并处置，从而对电网运行带来巨大的安全隐患等技术问题。
本发明技术方案：
一种机巡缺陷图片图像标注方法，它包括：
步骤1、使用无人机对电路设备目标区域进行图像采集得到目标图片；
步骤2、对目标图片进行筛查筛选出需要进行缺陷定级的图片；
步骤3、将筛选出的图片样本分为两份：一份进行缺陷目标物标注用于缺陷识别；一份进行缺陷元素标注用于缺陷定级；
步骤4、将标注后的图片导入缺陷定级系统进行训练学习；
步骤5、将需要进行缺陷定级的图片上传到已训练完成的缺陷定级系统进行缺陷定级，输出定级结果。
步骤1所述图像采集的方法包括：多角度采集：对缺陷设备分别从正面、侧面、俯视及仰视角度进行拍摄；整体采集：对缺陷设备的整个部件进行拍摄；局部采集：对缺陷设备出现故障的部位进行局部拍摄。
缺陷目标物标注的方法为：针对缺陷目标物的标注，在每张样本图片中将目标物整体一一完整标注出来；针对缺陷元素的标注，将每张图片中影响缺陷级别判定标准的元素标注出来。
步骤4所述将标注后的图片导入缺陷定级系统进行训练学习的方法包括：
步骤（1）、将两组样本图片分别导入缺陷定级系统；
步骤（2）、进行训练模型参数配置，包括：将数据集设置为导入的样本图片；修改cfg/voc.data为自己的路径；修改data/voc.names和coco.names为自己的程序类
步骤（3）、开始训练，使用sh train.sh命令启动训练；
步骤（4）、在一个训练周期结束后形成特征库。
一种机巡缺陷图片图像缺陷定级系统，它包括：
所述接收模块，用于接收标注完成后的样本图片；
训练模块，用于对标注后的图片进行特征提取，建立模型特征库；
识别模块，用于根据模型特征库对目标图片进行缺陷识别；
逻辑分析模块，用于将识别模块识别出的缺陷进行逻辑分析并定级；
报告模块，用于根据逻辑分析模块得出的分析结果，生成缺陷定级结果。
接收标注完成后的样本图片的方法为：通过系统的导入功能，批量导入zip或者rar的图片压缩包。
所述训练模块包括学习子模块和特征库；所述学习子模块采用YOLO神经网络结构，将一幅幅的原图分割成一个个网格，每个网格预测两个预选框的坐标，每个网格还预测框内是否包含物体的置信度，以及物体属于每一类类别的概率，最终形成的特征库；所述特征库用于建立目标特征库，包括缺陷目标物特征库和缺陷元素特征库；目标物特征库包含的每个缺陷设备整体的特征信息；缺陷元素特征库包含的缺陷部位局部的特征信息。
识别模块的识别方法为：使用基于YOLO v3的神经网络目标识别和检测方法进行识别；YOLO算法通过将样本图片进行N*N的栅格化，在每个格周围以一定大小范围去寻找所有满足对象特征的像素，经过一次以上训练后找到这个准确的范围；YOLO 算法将位置检测和类别识别结合到一个CNN网络中预测，通过扫描图片推理出图片中所有对象的位置信息和类别。
识别模块的识别方法为：逻辑分析模块的实现方法包括：
步骤（1）、从识别模块获取目标识别结果；
步骤（2）、根据目标识别结果进行初步逻辑判断：如果识别到的目标不需要进行缺陷定级，则转到步骤（5）；如果识别到需要缺陷定级的目标则执行步骤（3）；
步骤（3）、结合参数进行组合分析，通过无人机拍摄角度及识别到的两个目标物之间的距离判断二个目标物之间的空间方位，根据空间方位结果来对缺陷定级；
步骤（4）、进一步对识别到的单个需要进行缺陷定级的目标物根据影响缺陷定级的元素再次调用识别模块进行识别；重复步骤（3），直至将所有需要进行缺陷定级的目标分析完成；
步骤（5）、输出缺陷识别及定级结果。
本发明的有益效果：
本发明通过采用整体及局部标注的方式，结合缺陷定级系统的缺陷识别结果，根据缺陷定级标准进行相应的逻辑判断，必要时会对缺陷进行二次识别从而实现定级。本发明发明实现了在缺陷识别的同时完成了对缺陷的定级，节省了人工缺陷定级的工作量，极大地提高了巡检效率，降低了劳动强度，有效保证了电力系统的安全可靠运行。解决了现有技术对机巡图像标注方法，只能告诉模型“是什么”，即模型只能对缺陷类型进行识别，而对缺陷的定级却只能依靠人工进行处理，费时费力，效率低下，容易导致重大缺陷无法及时被发现并处置，从而对电网运行带来巨大的安全隐患等技术问题。
附图说明
图1为本发明流程示意图；
图2为本发明系统组成示意图。
具体实施方式
请参照以下实施例，其中实施例一侧重于图像标注、定级的基础流程，实施例二侧重于缺陷定级系统。可以理解的是：虽然各实施例的侧重不同，但其设计思想是一致的。在某个实施例中没有详述的部分，可以参见说明书全文的详细描述，不再赘述。
实施例一
请参阅图1，所示为电路缺陷标注、定级工作流程示意图，包括以下步骤：
步骤S101，使用无人机对电路设备目标区域进行图像采集，得到目标图片。
该步骤目的在于采集用于进行缺陷识别训练的图像，因此在进行采集时，需要对缺陷设备进行多角度、整体以及局部多维度的拍摄采集，具体而言：
（1）多角度采集：对缺陷设备分别从正面、侧面、俯视、仰视角度进行拍摄；
（2）整体采集：对缺陷设备的整个部件进行拍摄；
（3）局部采集：对缺陷设备出现故障的部位进行局部拍摄，如绝缘子自爆位置、销钉缺失位置等。
步骤S102中，对目标图片进行筛查，筛选出需要进行缺陷定级的图片。
在本实施例中，筛选的标准有：
（1）采集的图片包含了需要定级的缺陷设备，且清晰、完整，无噪点、遮挡以及过度曝光；
（2）包含缺陷设备多个角度的局部细节；
（3）每张图片尽可能只包含一种缺陷，或者与缺陷定级相关的两种缺陷。
在S103中，将筛选出的图片样本分为两份：一份进行缺陷目标物标注，用于缺陷识别；一份进行缺陷元素标注，用于缺陷定级；
在本实施例中，所述的具体图像标注方法包括：
（1）针对缺陷目标物的标注，在每张样本图片中将目标物整体一一完整标注出来。
（2）针对缺陷元素的标注，将每张图片中影响缺陷级别判定标准的元素标注出来。例如针对绝缘子自爆的缺陷定级，跟自爆的绝缘子片与总绝缘子片数的比例相关，因此在图像标注时，就需要将完整的绝缘子片与自爆的绝缘子片标注出来。
S104，将标注后的图片导入电路缺陷定级系统进行训练学习。
具体而言，本步骤包括：
（1）将两组样本图片分别导入缺陷定级系统；
（2）进行训练模型参数配置，包括：
将数据集设置为导入的样本图片；
修改cfg/voc.data为自己的路径；
修改data/voc.names和coco.names为自己的程序类。
（3）开始训练，使用sh train.sh命令启动训练；
（4）在一个训练周期结束后（通常为一个月），形成特征库。
S105，将需要定级的缺陷图片上传到已训练完成的电路缺陷定级系统进行定级，输出定级结果，本步骤包括：
（1）上传缺陷图片进行定级；
（2）获取定级结果。
实施例二。
请参阅图2，所示为电路缺陷定级系统的模块示意图。包括：
接收模块1、训练模块2、识别模块3、逻辑分析模块4、报告模块5。
具体而言，所述接收模块1，用于接收标注完成后的样本图片，可以通过系统的导入功能，批量导入zip或者rar的图片压缩包。
训练模块2，用于根据样本图片对模型进行训练，形成特征库；
具体而言，所述训练模块2包括了学习子模块21和特征库22：
学习子模块21，采用YOLO神经网络结构，将一幅幅的原图分割成多个网格，每个网格预测两个预选框的坐标，每个网格还会预测框内是否包含物体的置信度，以及物体属于每一类类别的概率，最终形成的特征库。
特征库22，用于建立目标特征库，包括缺陷目标物特征库和缺陷元素特征库。目标物特征库包含的是每个缺陷设备整体的特征信息，用于进行缺陷的识别；缺陷元素特征库包含的是缺陷部位局部的特征信息，用于逻辑分析模块4进行缺陷定级的逻辑判断。
识别模块3，用于根据特征库对目标图片进行识别，该模块使用基于YOLO v3的神经网络目标识别和检测方法。YOLO算法是通过将样本图片进行N*N的栅格化，在每格周围以一定大小范围去寻找所有满足对象特征的像素，经过多次训练后，它就能找到这个准确的范围。YOLO 算法将位置检测和类别识别结合到一个CNN网络中预测，只需要扫描一遍图片就能推理出图片中所有对象的位置信息和类别。推理速度相较于其它对象检测算法都要高。
逻辑分析模块4，用于根据识别模块识别的结果，结合特定参数信息进行逻辑分析并定级。必要时，逻辑分析模块将重新调用识别模块对目标图片进行二次识别并进一步分析；
具体而言，逻辑分析模块的具体运行分析过程为：
（1）从识别模块获取目标识别结果；
（2）根据目标识别结果进行初步逻辑判断：如果识别到的目标不需要进行缺陷定级，则转到步骤（5）；如果识别到了需要缺陷定级的目标，例如在一张图片中同时识别到了鸟巢和绝缘子串，进行下一步；
（3）结合相应参数进行组合分析，例如通过无人机拍摄角度及识别到的两个目标物（鸟巢和绝缘子串）之间的距离，判断鸟巢与绝缘子串的空间方位，根据空间方位结果来对缺陷定级为重大或者一般；又例如通过对识别到的完整绝缘子片和自爆的绝缘子片数量根据缺陷定级标准进行计算，根据计算结果来对缺陷定级为紧急、重大、一般或其它；
（4）进一步对识别到的单个需要进行缺陷定级的目标物（如绝缘子串）根据影响缺陷定级的元素再次调用识别模块进行识别。
然后重复步骤（3），直至将所有需要进行缺陷定级的目标分析完成。
（5）输出缺陷识别及定级结果。
报告模块5，用于根据逻辑分析模块得出的结果，组合最终的缺陷识别信息及定级结果以表格及接口两种方式展示结果，其中：
表格展示：以列表的方式展示识别的图片编号、缺陷类型、缺陷等级信息，当识别到多种缺陷时，表格中将有多行数据，每行数据为一项缺陷识别结果；
接口展示：以接口的方式返回识别结果，也有利于第三方系统动态调用及系统集成。

Claims (9)

1.一种机巡缺陷图片图像标注方法，它包括：
步骤1、使用无人机对电路设备目标区域进行图像采集得到目标图片；
步骤2、对目标图片进行筛查筛选出需要进行缺陷定级的图片；
步骤3、将筛选出的图片样本分为两份：一份进行缺陷目标物标注用于缺陷识别；一份进行缺陷元素标注用于缺陷定级；
步骤4、将标注后的图片导入缺陷定级系统进行训练学习；
步骤5、将需要进行缺陷定级的图片上传到已训练完成的缺陷定级系统进行缺陷定级，输出定级结果。
2.根据权利要求1所述的一种机巡缺陷图片图像标注方法，其特征在于：步骤1所述图像采集的方法包括：多角度采集：对缺陷设备分别从正面、侧面、俯视及仰视角度进行拍摄；整体采集：对缺陷设备的整个部件进行拍摄；局部采集：对缺陷设备出现故障的部位进行局部拍摄。
3.根据权利要求1所述的一种机巡缺陷图片图像标注方法，其特征在于：缺陷目标物标注的方法为：针对缺陷目标物的标注，在每张样本图片中将目标物整体一一完整标注出来；针对缺陷元素的标注，将每张图片中影响缺陷级别判定标准的元素标注出来。
4.根据权利要求1所述的一种机巡缺陷图片图像标注方法，其特征在于：步骤4所述将标注后的图片导入缺陷定级系统进行训练学习的方法包括：
步骤（1）、将两组样本图片分别导入缺陷定级系统；
步骤（2）、进行训练模型参数配置，包括：将数据集设置为导入的样本图片；修改cfg/voc.data为自己的路径；修改data/voc.names和coco.names为自己的程序类
步骤（3）、开始训练，使用sh train.sh命令启动训练；
步骤（4）、在一个训练周期结束后形成特征库。
5.一种机巡缺陷图片图像缺陷定级系统，它包括：
所述接收模块（1），用于接收标注完成后的样本图片；
训练模块（2），用于对标注后的图片进行特征提取，建立模型特征库；
识别模块（3），用于根据模型特征库对目标图片进行缺陷识别；
逻辑分析模块（4），用于将识别模块识别出的缺陷进行逻辑分析并定级；
报告模块（5），用于根据逻辑分析模块得出的分析结果，生成缺陷定级结果。
6.根据权利要求5所述的一种机巡缺陷图片图像缺陷定级系统，其特征在于：接收标注完成后的样本图片的方法为：通过系统的导入功能，批量导入zip或者rar的图片压缩包。
7.根据权利要求5所述的一种机巡缺陷图片图像缺陷定级系统，其特征在于：所述训练模块包括学习子模块（21）和特征库（22）；所述学习子模块（21）采用YOLO神经网络结构，将一幅幅的原图分割成一个个网格，每个网格预测两个预选框的坐标，每个网格还预测框内是否包含物体的置信度，以及物体属于每一类类别的概率，最终形成的特征库；所述特征库（22）用于建立目标特征库，包括缺陷目标物特征库和缺陷元素特征库；目标物特征库包含的每个缺陷设备整体的特征信息；缺陷元素特征库包含的缺陷部位局部的特征信息。
8.根据权利要求5所述的一种机巡缺陷图片图像缺陷定级系统，其特征在于：识别模块（3）的识别方法为：使用基于YOLO v3的神经网络目标识别和检测方法进行识别；YOLO算法通过将样本图片进行N*N的栅格化，在每个格周围以一定大小范围去寻找所有满足对象特征的像素，经过一次以上训练后找到这个准确的范围；YOLO 算法将位置检测和类别识别结合到一个CNN网络中预测，通过扫描图片推理出图片中所有对象的位置信息和类别。
9.根据权利要求5所述的一种机巡缺陷图片图像缺陷定级系统，其特征在于：识别模块（3）的识别方法为：逻辑分析模块的实现方法包括：
步骤（1）、从识别模块获取目标识别结果；
步骤（2）、根据目标识别结果进行初步逻辑判断：如果识别到的目标不需要进行缺陷定级，则转到步骤（5）；如果识别到需要缺陷定级的目标则执行步骤（3）；
步骤（3）、结合参数进行组合分析，通过无人机拍摄角度及识别到的两个目标物之间的距离判断二个目标物之间的空间方位，根据空间方位结果来对缺陷定级；
步骤（4）、进一步对识别到的单个需要进行缺陷定级的目标物根据影响缺陷定级的元素再次调用识别模块进行识别；重复步骤（3），直至将所有需要进行缺陷定级的目标分析完成；
步骤（5）、输出缺陷识别及定级结果。
CN202111232210.XA 2021-10-22 2021-10-22 一种机巡缺陷图片图像标注定级方法及缺陷定级系统 Pending CN113989684A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111232210.XA CN113989684A (zh) 2021-10-22 2021-10-22 一种机巡缺陷图片图像标注定级方法及缺陷定级系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111232210.XA CN113989684A (zh) 2021-10-22 2021-10-22 一种机巡缺陷图片图像标注定级方法及缺陷定级系统

Publications (1)

Publication Number Publication Date
CN113989684A true CN113989684A (zh) 2022-01-28

Family

ID=79740304

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111232210.XA Pending CN113989684A (zh) 2021-10-22 2021-10-22 一种机巡缺陷图片图像标注定级方法及缺陷定级系统

Country Status (1)

Country Link
CN (1) CN113989684A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820543A (zh) * 2022-05-07 2022-07-29 苏州方石科技有限公司 缺陷检测方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820543A (zh) * 2022-05-07 2022-07-29 苏州方石科技有限公司 缺陷检测方法和装置

Similar Documents

Publication Publication Date Title
WO2021042682A1 (zh) 变电站异物识别方法、装置、系统、电子设备和存储介质
CN108686978B (zh) 基于arm的水果类别和色泽的分拣方法及系统
CN110569841B (zh) 基于卷积神经网络的接触网关键部件目标检测方法
CN111784685A (zh) 一种基于云边协同检测的输电线路缺陷图像识别方法
CN111008961B (zh) 一种输电线路设备缺陷检测方法及其系统、设备、介质
CN111401418A (zh) 一种基于改进Faster r-cnn的员工着装规范检测方法
CN110675395A (zh) 输电线路智能在线监测方法
CN115294117B (zh) Led灯珠的缺陷检测方法及相关装置
CN111222478A (zh) 一种工地安全防护检测方法和系统
CN112183313A (zh) 一种基于SlowFast的电力作业现场动作识别方法
CN102706274A (zh) 工业结构化场景中机器视觉精确定位机械零件的系统
CN111932639B (zh) 一种基于卷积神经网络的不均衡缺陷样本的检测方法
CN106645180A (zh) 检查基板玻璃缺陷的方法、现场终端及服务器
CN114943923B (zh) 基于深度学习的视频识别炮弹爆炸火光烟雾方法及系统
CN110910360A (zh) 电网图像的定位方法和图像定位模型的训练方法
CN110503014B (zh) 基于多尺度掩码感知回馈卷积神经网络的人数统计方法
CN113989684A (zh) 一种机巡缺陷图片图像标注定级方法及缺陷定级系统
CN115170988A (zh) 基于深度学习的电网线路故障识别方法及系统
CN113033386B (zh) 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统
CN111915565B (zh) 一种基于yolact算法对输变电线路瓷瓶裂缝实时分析方法
CN112906488A (zh) 一种基于人工智能的安防视频质量评价系统
CN109741315A (zh) 一种基于深度强化学习的无参考图像质量客观评价方法
CN109255805A (zh) 机器学习的工业智能数据收集系统和方法
CN113850773A (zh) 一种检测方法、装置、设备及计算机可读存储介质
CN111507316A (zh) 一种光交箱智能识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination