CN115731478B - 一种基于多级目标检测的输电线路开口销目标检测方法 - Google Patents
一种基于多级目标检测的输电线路开口销目标检测方法 Download PDFInfo
- Publication number
- CN115731478B CN115731478B CN202211484410.9A CN202211484410A CN115731478B CN 115731478 B CN115731478 B CN 115731478B CN 202211484410 A CN202211484410 A CN 202211484410A CN 115731478 B CN115731478 B CN 115731478B
- Authority
- CN
- China
- Prior art keywords
- cotter pin
- target
- target detection
- data
- level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 94
- 230000005540 biological transmission Effects 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 14
- 238000012805 post-processing Methods 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 22
- 238000007781 pre-processing Methods 0.000 claims description 15
- 238000012795 verification Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 238000007689 inspection Methods 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 239000012212 insulator Substances 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000002372 labelling Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多级目标检测的输电线路开口销目标检测方法，包括以下步骤准备多级目标检测的开口销数据集；建立开口销的多级目标检测器，通过多级目标检测器，获得不同层级的标注物体和得到开口销的位置信息；多级目标检测器的推理结果后处理，通过整理和分析输电线图像中的不同层级的目标关系和螺栓小部件的类型，判断开口销是否存在及开口销的存在状态。本发明的有益效果是：创新式的提出了多层级目标学习，每个层级根据标注信息学习该层级的目标物体特征和开口销位置特征，同时下一层级在上一层级生成的特征基础上进行学习，通过该方式充分利用了标注信息中的每个层级的目标信息，通过综合学习得到开口销的检测结果。
Description
技术领域
本发明涉及一种输电线路中开口销目标检测方法，具体为一种基于多级目标检测的输电线路开口销目标检测方法，属于输电线路异常检测技术领域。
背景技术
输电线路开口销目标检测需要对图像细小的特征点进行识别，在输电线路异常检测中开口销的状态包含重要的关键信息。比如开口销缺失，有可能导致输电线路的断线引起大面积停电，甚至导致人员伤亡。因此，输电线路中开口销的识别是有重要意义。
当前开口销检测方法主要有以下几点不足：
(1)开口销目标太小在图像中只有10-20像素甚至几个像素大小，算法处理时容易出现误检或无法检测到开口销的存在，导致识别准确率低，开口销召回率低；
(2)检测数据集标注信息单一，只有需要识别的目标标签，例如在开口销目标检测任务中，数据集只有标注了开口销的信息，没有其他辅助或多层级的标注信息，导致算法无法利用其他有效的信息进行学习。
发明内容
本发明的目的就在于为了解决上述至少一个技术问题而提供一种基于多级目标检测的输电线路开口销目标检测方法，有效地提高输电线路中开口销目标检测的召回率和准确率
本发明通过以下技术方案来实现上述目的：一种基于多级目标检测的输电线路开口销目标检测方法，包括以下步骤
步骤一、准备多级目标检测的开口销数据集；
步骤二、建立开口销的多级目标检测器，基于开口销数据集，将具有目标检测学习能力的多级目标检测器训练，通过所述多级目标检测器，获得不同层级的标注物体和得到开口销的位置信息；
步骤三、多级目标检测器的推理结果后处理，通过整理和分析输电线图像中的不同层级的目标关系和螺栓小部件的类型，判断开口销是否存在及开口销的存在状态。
作为本发明再进一步的方案：所述步骤一中，准备多级目标检测的开口销数据集包括：多级目标检测开口销数据采集；多级目标检测开口销数据标注；输电线路多级目标检测数据预处理。
作为本发明再进一步的方案：所述多级目标检测开口销数据采集包括开口销的输电线路无人机巡检图像数据。
作为本发明再进一步的方案：所述多级目标检测开口销数据标注是指对采集开口销图像的目标框和开口销中心点标注，并按照目标层级从小到大分层标注：
第一层目标标注类型：开口销所在物体上；
第二层目标标注类型：包括开口销所在物体的物体上，并以此类推。
作为本发明再进一步的方案：所述输电线路多级目标检测数据预处理是指带有多级目标标签的数据集的预处理，其中，所述多级目标包括但不限于挂点、线夹、均压环、绝缘子、跳线、螺栓或开口销。
作为本发明再进一步的方案：不同级目标之间存在包含关系和同级关系；
对于所述包含关系的层级中，按照物体大小，从大到小逐层标注；
对于所述同级关系的层级中，若存在开口销，则以开口销所在位置为中心坐标；若不存在开口销，则该位置坐标为原点。
作为本发明再进一步的方案：所述步骤二中，建立开口销的多级目标检测器包括：输电线路多级目标检测器的推理模块搭建；模型结构搭建；模型训练多级目标检测器的推理模块。
作为本发明再进一步的方案：所述输电线路多级目标检测器的推理模块搭建是基于输电线路多级目标检测数据预处理，对已经标注的数据进行层级分类预处理，将第一层目标标注的数据作为第一层推理器的训练数据，依次类推，并且每个层级的推理器都有对应的训练数据。
作为本发明再进一步的方案：每个所述模型训练多级目标检测器的推理模块是一个具有独立目标检测功能的目标检测模型，根据不同层级的推理任务，选择合适的目标检测模型。
作为本发明再进一步的方案：所述步骤三中，多级目标检测器的推理结果后处理包括多级目标检测器的推理模块效果验证和推理数据后处理；
其中，所述多级目标检测器的推理模块效果验证包括多级目标检测开口销数据分割为训练集、验证集和测试集，其中，测试集将用于验证多级目标检测的准确性；
所述推理数据后处理包括：
1)使用多级目标检测器从输电线路挂点类型到挂点中各个组件类型；
2)对各组件中的螺栓进行逐层目标检测；
3)对螺栓中开口销进行检测，以获得识别开口销的存在状态。
本发明的有益效果是：通过学习不同层级的标注信息，将开口销的检测，拆分成多层级的任务，从大目标到小目标识别出目标的具体位置，同时将不同层级的识别信息进行融合，实现了多层级信息的学习，而不是只学习开口销一个物体；
创新式的提出了多层级目标学习，每个层级根据标注信息学习该层级的目标物体特征和开口销位置特征。同时下一层级在上一层级生成的特征基础上进行学习，通过该方式充分利用了标注信息中的每个层级的目标信息，通过综合学习得到开口销的检测结果，相比其他仅学习开口销目标的特征的信息可以提高识别准确率。
附图说明
图1为本发明流程示意图；
图2为本发明开口销检测实例示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
如图1所示，一种基于多级目标检测的输电线路开口销目标检测方法，包括以下步骤：
第一：准备多级目标检测的开口销数据集。
多级目标检测的开口销数据集包括：多级目标检测开口销数据采集；多级目标检测开口销数据标注；输电线路多级目标检测数据预处理。
其中，多级目标检测开口销数据采集包括开口销的输电线路无人机巡检图像数据，所采集的图像数据是可以看到细小物体的存在图像，这种图像可以是清晰可见的，也可以是看清细小物体轮廓的模糊图像。
多级目标检测开口销数据标注是指对采集开口销图像的目标框和开口销中心点标注，并按照目标层级从小到大分层标注：
第一层目标标注类型：开口销所在物体上；
第二层目标标注类型：包括开口销所在物体的物体上，并以此类推。
输电线路多级目标检测数据预处理是指带有多级目标标签的数据集的预处理，其中，所述多级目标包括但不限于挂点、线夹、均压环、绝缘子、跳线、螺栓或开口销。
不同级目标之间存在包含关系和同级关系；
对于所述包含关系的层级中，按照物体大小，从大到小逐层标注；
对于所述同级关系的层级中，若存在开口销，则以开口销所在位置为中心坐标；若不存在开口销，则该位置坐标为原点。
使用两种方式同时对需要识别的目标进行标注。
第二：建立开口销的多级目标检测器，基于开口销数据集，将具有目标检测学习能力的多级目标检测器训练，通过所述多级目标检测器，获得不同层级的标注物体和得到开口销的位置信息。
建立开口销的多级目标检测器包括：输电线路多级目标检测器的推理模块搭建；模型结构搭建；模型训练多级目标检测器的推理模块。
输电线路多级目标检测器的推理模块搭建是基于输电线路多级目标检测数据预处理，对已经标注的数据进行层级分类预处理，将第一层目标标注的数据作为第一层推理器的训练数据，依次类推，并且每个层级的推理器都有对应的训练数据。
输电线路多级目标检测器的推理模块搭建方法主要用于多级目标检测器的每个推理模块是一个具有独立目标检测功能的目标检测模型，目标检测模型根据不同层级的推理任务不同选择合适的目标检测模型，比如，对第一层级较大目标的检测，选择推理速度较快的yolo进行模型改进对目标检测测，对目标较小的目标检测采用两段式的目标检测模型进行改进。
模型结构搭建主要用于多级目标检测器的推理结果获取主要用于多级目标检测结构中，每级目标检测模块都可以推理识别出该层级下的目标，这样一张输电线路图片经过多级目标检测可以识别出不同层级的目标。根据标注的不同层级关系，建立不同推理模块的串联和并联关系。
模型训练多级目标检测器的推理模块主要用于训练多级目标检测器的推理模块方法主要用于每个模块有独立的损失函数，用于训练该目标检测模块模型。使用优化器对目标检测模块进行参数更新，经过不断迭代计算实现模型的优化。
模型训练多级目标检测器的推理模块主要用于训练多级目标检测器的推理模块方法，用于每个模块有独立的损失函数，用于训练该目标检测模块模型，使用优化器对目标检测模块进行参数更新，经过不断迭代计算实现模型的优化。每个所述模型训练多级目标检测器的推理模块是一个具有独立目标检测功能的目标检测模型，根据不同层级的推理任务，选择合适的目标检测模型。
第三：多级目标检测器的推理结果后处理，通过整理和分析输电线图像中的不同层级的目标关系和螺栓小部件的类型，判断开口销是否存在及开口销的存在状态。
多级目标检测器的推理结果后处理包括多级目标检测器的推理模块效果验证和推理数据后处理；
其中，所述多级目标检测器的推理模块效果验证包括多级目标检测开口销数据分割为训练集、验证集和测试集，其中，测试集将用于验证多级目标检测的准确性；
所述推理数据后处理包括：
1)使用多级目标检测器从输电线路挂点类型到挂点中各个组件类型；
2)对各组件中的螺栓进行逐层目标检测；
3)对螺栓中开口销进行检测，以获得识别开口销的存在状态。
实施例二
如图2所示，一种基于多级目标检测检测的输电线路小部件图像目标检测方法，使用多级目标检测从输电线路挂点类型到挂点中各个组件类型，然后对各组件中的螺栓进行逐层目标检测，最后对螺栓中开口销进行检测。通过该方法可以获得识别开口销的存在状态。
包括以下步骤：
步骤一、首先进行一级目标检测，输入：巡检图像，输出：开口销位置特征的地线挂点特征图；
步骤二、进行二级目标检测，输入：开口销坐标特征向量以及图像特征图，输出：开口销位置特征的线夹特征图；
步骤三、进行三级目标检测，输入：开口销坐标特征向量以及图像特征图，输出：开口销位置特征的螺栓特征图；
步骤四、目标检测结果输出：开口销检测结果。
工作原理：准备多级目标检测的开口销数据集，然后建立开口销多级目标检测器，使用准备的多级目标检测的开口销数据集对多级目标检测器进行训练，最后对多级目标检测器的推理结果后处理。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (3)
1.一种基于多级目标检测的输电线路开口销目标检测方法，其特征在于：包括以下步骤
步骤一、准备多级目标检测的开口销数据集；
所述步骤一中，准备多级目标检测的开口销数据集包括：多级目标检测开口销数据采集；多级目标检测开口销数据标注；输电线路多级目标检测数据预处理；
所述多级目标检测开口销数据标注是指对采集开口销图像的目标框和开口销中心点标注，并按照目标层级从小到大分层标注：
第一层目标标注类型：开口销所在物体上；
第二层目标标注类型：包括开口销所在物体的物体上，并以此类推；
所述输电线路多级目标检测数据预处理是指带有多级目标标签的数据集的预处理，其中，所述多级目标包括挂点、线夹、均压环、绝缘子、跳线、螺栓或开口销；
不同级目标之间存在包含关系和同级关系；
对于所述包含关系的层级中，按照物体大小，从大到小逐层标注；
对于所述同级关系的层级中，若存在开口销，则以开口销所在位置为中心坐标；若不存在开口销，则该位置坐标为原点；
步骤二、建立开口销的多级目标检测器，基于开口销数据集，将具有目标检测学习能力的多级目标检测器训练，通过所述多级目标检测器，获得不同层级的标注物体和得到开口销的位置信息；
所述步骤二中，建立开口销的多级目标检测器包括：输电线路多级目标检测器的推理模块搭建；模型结构搭建；模型训练多级目标检测器的推理模块；
所述输电线路多级目标检测器的推理模块搭建是基于输电线路多级目标检测数据预处理，对已经标注的数据进行层级分类预处理，将第一层目标标注的数据作为第一层推理器的训练数据，依次类推，并且每个层级的推理器都有对应的训练数据；
步骤三、多级目标检测器的推理结果后处理，通过整理和分析输电线图像中的不同层级的目标关系和螺栓小部件的类型，判断开口销是否存在及开口销的存在状态；
所述步骤三中，多级目标检测器的推理结果后处理包括多级目标检测器的推理模块效果验证和推理数据后处理；
其中，所述多级目标检测器的推理模块效果验证包括多级目标检测开口销数据分割为训练集、验证集和测试集，其中，测试集将用于验证多级目标检测的准确性；
所述推理数据后处理包括：
1）使用多级目标检测器从输电线路挂点类型到挂点中各个组件类型；
2）对各组件中的螺栓进行逐层目标检测；
3）对螺栓中开口销进行检测，以获得识别开口销的存在状态。
2.根据权利要求1所述的输电线路开口销目标检测方法，其特征在于：所述多级目标检测开口销数据采集包括开口销的输电线路无人机巡检图像数据。
3.根据权利要求1所述的输电线路开口销目标检测方法，其特征在于：每个所述模型训练多级目标检测器的推理模块是一个具有独立目标检测功能的目标检测模型，根据不同层级的推理任务，选择合适的目标检测模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211484410.9A CN115731478B (zh) | 2022-11-24 | 2022-11-24 | 一种基于多级目标检测的输电线路开口销目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211484410.9A CN115731478B (zh) | 2022-11-24 | 2022-11-24 | 一种基于多级目标检测的输电线路开口销目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115731478A CN115731478A (zh) | 2023-03-03 |
| CN115731478B true CN115731478B (zh) | 2023-12-22 |
Family
ID=85298077
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211484410.9A Active CN115731478B (zh) | 2022-11-24 | 2022-11-24 | 一种基于多级目标检测的输电线路开口销目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115731478B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110688925A (zh) * | 2019-09-19 | 2020-01-14 | 国网山东省电力公司电力科学研究院 | 基于深度学习的级联目标识别方法及系统 |
| CN111815623A (zh) * | 2020-07-28 | 2020-10-23 | 南方电网数字电网研究院有限公司 | 输电线路开口销缺失识别方法 |
| CN114170144A (zh) * | 2021-11-11 | 2022-03-11 | 国网福建省电力有限公司漳州供电公司 | 一种输电线路销钉缺陷检测方法、设备及介质 |
| WO2022111219A1 (zh) * | 2020-11-30 | 2022-06-02 | 华南理工大学 | 一种域自适应设备运检系统和方法 |
| CN114998576A (zh) * | 2022-08-08 | 2022-09-02 | 广东电网有限责任公司佛山供电局 | 一种输电线路开口销缺失检测方法、装置、设备和介质 |
| CN115619763A (zh) * | 2022-10-31 | 2023-01-17 | 国网湖北省电力有限公司超高压公司 | 基于多级推理检测的输电线路小部件图像目标检测方法 |
-
2022
- 2022-11-24 CN CN202211484410.9A patent/CN115731478B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110688925A (zh) * | 2019-09-19 | 2020-01-14 | 国网山东省电力公司电力科学研究院 | 基于深度学习的级联目标识别方法及系统 |
| CN111815623A (zh) * | 2020-07-28 | 2020-10-23 | 南方电网数字电网研究院有限公司 | 输电线路开口销缺失识别方法 |
| WO2022111219A1 (zh) * | 2020-11-30 | 2022-06-02 | 华南理工大学 | 一种域自适应设备运检系统和方法 |
| CN114170144A (zh) * | 2021-11-11 | 2022-03-11 | 国网福建省电力有限公司漳州供电公司 | 一种输电线路销钉缺陷检测方法、设备及介质 |
| CN114998576A (zh) * | 2022-08-08 | 2022-09-02 | 广东电网有限责任公司佛山供电局 | 一种输电线路开口销缺失检测方法、装置、设备和介质 |
| CN115619763A (zh) * | 2022-10-31 | 2023-01-17 | 国网湖北省电力有限公司超高压公司 | 基于多级推理检测的输电线路小部件图像目标检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115731478A (zh) | 2023-03-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111339882B (zh) | 基于实例分割的输电线路隐患检测方法 | |
| CN112183788B (zh) | 一种域自适应设备运检系统和方法 | |
| CN110569841B (zh) | 基于卷积神经网络的接触网关键部件目标检测方法 | |
| CN111008961B (zh) | 一种输电线路设备缺陷检测方法及其系统、设备、介质 | |
| CN110992349A (zh) | 一种基于深度学习的地下管道异常自动化定位与识别方法 | |
| CN114627360A (zh) | 基于级联检测模型的变电站设备缺陷识别方法 | |
| CN107004266A (zh) | 检测轮胎表面上缺陷的方法 | |
| CN111598855B (zh) | 一种基于深度学习和迁移学习的2c设备高铁接触网吊弦缺陷检测方法 | |
| US20200034626A1 (en) | Method for recognizing an object of a mobile unit | |
| CN114331949A (zh) | 一种图像数据处理方法、计算机设备以及可读存储介质 | |
| Lam et al. | Real-time traffic status detection from on-line images using generic object detection system with deep learning | |
| CN115546223A (zh) | 一种列车车下设备紧固螺栓的缺失检测方法和系统 | |
| CN116486240A (zh) | 图像识别算法在输电线路无人机智能巡检方法上的应用 | |
| CN112837281B (zh) | 基于级联卷积神经网络的销钉缺陷识别方法、装置和设备 | |
| Manninen et al. | Multi-stage deep learning networks for automated assessment of electricity transmission infrastructure using fly-by images | |
| CN117541534A (zh) | 一种基于无人机和CNN-BiLSTM模型的输电线路巡检方法 | |
| CN115731478B (zh) | 一种基于多级目标检测的输电线路开口销目标检测方法 | |
| Yang et al. | Recognition of taxi violations based on semantic segmentation of PSPNet and improved YOLOv3 | |
| CN117252815A (zh) | 基于2d-3d多模态图像的工业零件缺陷检测方法、系统、设备及存储介质 | |
| CN115619763A (zh) | 基于多级推理检测的输电线路小部件图像目标检测方法 | |
| CN116823793A (zh) | 设备缺陷检测方法、装置、电子设备和可读存储介质 | |
| CN116309407A (zh) | 一种铁路接触网螺栓异常状态的检测方法 | |
| US20230084761A1 (en) | Automated identification of training data candidates for perception systems | |
| CN114638989A (zh) | 一种基于目标检测和细粒度识别的故障分类可视化方法 | |
| Ashraf et al. | Efficient Pavement Crack Detection and Classification Using Custom YOLOv7 Model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |