CN115830518A - 一种红外场景下电力巡检视频智能抽帧的方法 - Google Patents

Abstract

本发明属于电力设备巡检技术领域，具体涉及一种红外场景下电力巡检视频智能抽帧的方法。相对于固定方式抽帧，本方法使用结构化视频分析抽帧算法，保留典型金具目标完整化，同时抽帧图片数据量最小化，实现较高程度冗余图片去除。本方法考虑视频格式兼容性以及实际业务差异化，分为视频目标段提取以及连续性智能抽帧部分，视频片段提取有效过滤掉不包含非典型目标区域，抽帧阶段基于巡检知识和目标连续性出现特点，完成智能抽帧目标。

Description

一种红外场景下电力巡检视频智能抽帧的方法

技术领域

本发明属于电力设备巡检技术领域，具体涉及一种红外场景下电力巡检视频智能抽帧的方法。

背景技术

随着电力行业迅速发展，为应对人工巡检方式难以满足跨区域维护电网的新需求，已全面推广直升机、无人机和人工巡检相互协同巡检新模式，降低人工巡检故障率和成本预算的同时显著提高了输电线路维护检修的速度和效率。该模式在巡检过程中保存输电线路上存在异常的图片，但仍然需要人工二次核验巡检视频比对异常图片。

鉴于此，本发明为解决上述问题，设计一种红外场景下电力巡检视频智能抽帧的方法。

发明内容

发明目的：本发明的目的是针对目前技术中的不足，提供了一种红外场景下电力巡检视频智能抽帧的方法。

技术方案：为实现上述目的，本发明提供了一种红外场景下电力巡检视频智能抽帧的方法，利用旋转目标检测算法对红外场景下的电力巡检视频进行目标检测并提取金具目标视频段；对经过旋转目标检测提取出的金具目标视频段根据存在的不同金具类别采用不同的抽帧方法；

根据存在的不同金具类别采用不同的抽帧方法包括如下方法：

方法一：不存在扫描过程的金具，每个视频段只需要提取出一帧较为清晰的图像，记录待抽取帧图像帧号，并输出帧图像；

方法二：存在扫描过程的绝缘子金具，则对独立绝缘子金具帧序列进行划分，采用最少的帧图像保存完整属于同一个目标的局部细节，记录待抽取帧图像帧号，并输出帧图像。

进一步的，在所述的方法二中，在扫描绝缘子金具的过程中，需要判断视频段中扫描到绝缘子金具中部时目标框长度是否达到一个稳定状态。

进一步的，如果视频段中扫描到绝缘子金具中部时目标框长度达到一个稳定状态，则对每次抽取的帧图像计算它与上一张抽取出的帧图像的时间差值，直到差值小于0.5s，记录待抽取帧图像帧号，并输出帧图像；

如果视频段中扫描到绝缘子金具中部时目标框长度不存在稳定状态，记录待抽取帧图像帧号，并输出帧图像。

进一步的，差值计算公式如下：

进一步的，独立绝缘子金具扫描过程分为两个阶段，包括激活阶段和扫描阶段。

进一步的，所述激活阶段即一个绝缘子金具从画面一端进入巡检视角并随着扫描自身目标框长度不断增加的过程。

进一步的，所述扫描阶段即触发激活阶段后，跟踪符合条件的绝缘子目标与后续帧能够一直找到与其iou高度匹配、目标检测框倾斜方向一致的绝缘子目标。

有益效果：1.相对于固定方式抽帧，本方法使用结构化视频分析抽帧算法，保留典型金具目标完整化，同时抽帧图片数据量最小化，实现较高程度冗余图片去除。

2.本方法考虑视频格式兼容性以及实际业务差异化，分为视频目标段提取以及连续性智能抽帧部分，视频片段提取有效过滤掉不包含非典型目标区域，抽帧阶段基于巡检知识和目标连续性出现特点，完成智能抽帧目标。

附图说明

图1为本发明智能抽帧流程图；

图2为本发明红外场景下电力巡检视频智能抽帧方法框架图。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向，词语“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。

实施例1，根据图1-图2作进一步解释说明。

本发明提供一种红外场景下电力巡检视频智能抽帧的方法，利用旋转目标检测算法对红外场景下的电力巡检视频进行目标检测并提取金具目标视频段；对经过旋转目标检测提取出的金具目标视频段根据存在的不同金具类别采用不同的抽帧方法；

根据存在的不同金具类别采用不同的抽帧方法包括如下方法：

方法一：不存在扫描过程的金具，每个视频段只需要提取出一帧较为清晰的图像，记录待抽取帧图像帧号，并输出帧图像；

方法二：存在扫描过程的绝缘子金具，则对独立绝缘子金具帧序列进行划分，采用最少的帧图像保存完整属于同一个目标的局部细节，记录待抽取帧图像帧号，并输出帧图像。

进一步实施例中，在所述的方法二中，在扫描绝缘子金具的过程中，需要判断视频段中扫描到绝缘子金具中部时目标框长度是否达到一个稳定状态。

进一步实施例中，如果视频段中扫描到绝缘子金具中部时目标框长度达到一个稳定状态，则对每次抽取的帧图像计算它与上一张抽取出的帧图像的时间差值，直到差值小于0.5s，记录待抽取帧图像帧号，并输出帧图像；

如果视频段中扫描到绝缘子金具中部时目标框长度不存在稳定状态，记录待抽取帧图像帧号，并输出帧图像。

进一步实施例中，差值计算公式如下：

进一步实施例中，独立绝缘子金具扫描过程分为两个阶段，包括激活阶段和扫描阶段。

进一步实施例中，所述激活阶段即一个绝缘子金具从画面一端进入巡检视角并随着扫描自身目标框长度不断增加的过程。

进一步实施例中，所述扫描阶段即触发激活阶段后，跟踪符合条件的绝缘子目标与后续帧能够一直找到与其iou高度匹配、目标检测框倾斜方向一致的绝缘子目标。

红外场景下电力巡检视频智能抽帧的方法，具体工作流程为以下步骤：

一、金具目标视频段提取

旋转目标检测算法对红外场景下的电力巡检视频进行目标检测，提取出存在金具目标的视频段以及对应视频段中金具的旋转目标检测框坐标、类别信息等，去除大部分无金具目标的巡检视频段；

将巡检视频进行旋转目标检测，只保存画面中存在金具目标的视频帧号、检测出的目标框五点坐标(cx,cy,w,h,θ)、金具类别以及运用目标框的五点坐标计算出的目标框中轴线斜率等；

根据全部存储的相邻帧号间的差值完成金具目标视频段的划分，计算相邻帧号相差小于一定阈值则归为一个视频段，否则从此处划分视频段及对应检测结果信息。

二、智能抽帧方法

智能抽帧方法对经过旋转目标检测提取出的金具目标视频段根据存在的不同金具类别采用不同的抽帧方式，将巡检中的金具目标分为不存在扫描过程的如耐张线夹、地线绝缘子此类金具和存在扫描过程的绝缘子金具两类，前者每个视频段中只存在一个金具目标，后者每个视频段可能为多个绝缘子金具连续扫描的过程。

1.不存在扫描过程的金具抽帧方法

红外场景下不存在扫描态的金具在巡检视频中呈现出独占某个旋转目标检测提取出的视频段，且无需放大金具局部细节进行扫描，所以属于此类金具的每个视频段只需要提取出一帧较为清晰的图像；提取属于每个视频段的帧序列旋转目标检测结果中与中心视角区域存在iou匹配最大的帧图像并按一定命名规范存储。

2.存在扫描过程的绝缘子金具抽帧方法

存在扫描过程的绝缘子金具由于巡检摄像头聚焦金具后，从金具的一端扫描向另一端，每一帧的目标只是金具的局部信息，所以需要采用最少的帧图像保存完整属于同一个目标的局部细节；真实巡检场景中，一个视频段往往存在多个金具目标连续扫描，因而需要先划分出各个独立金具目标，再针对每个独立金具目标进行抽帧。

1）独立绝缘子金具目标视频序列划分

结合绝缘子金具扫描过程中目标框长度变化和巡检视角等多方面因素分析，视频段中扫描到绝缘子金具中部时目标框长度达到一个稳定状态，连续帧之间变化较小，而扫描到尾端时连续帧之间目标框长度变化大，得出由视角问题导致连续帧中目标框长度变化的稳定非线性规律；将独立绝缘子金具扫描过程分为激活阶段和扫描阶段，通过这两个阶段的依次触发来确保视频段划分出的子视频序列中只存在一个独立绝缘子金具目标的完整扫描过程。

a、激活阶段

激活阶段，即一个绝缘子金具从画面一端进入巡检视角并随着扫描自身目标框长度不断增加的过程。

视频段中每一帧图像存在的绝缘子目标能否触发条件进入激活阶段，需要判断连续帧是否存在绝缘子目标框iou高度匹配、目标检测框倾斜方向一致以及目标框的长度大幅度递增；同时，下一帧图像中存在一个绝缘子与当前帧和下下帧绝缘子目标框匹配中都能符合条件，确认该绝缘子目标为被扫描的金具目标，开始记录视频序列帧号及对应检测结果，并通过记录当前帧符合条件的绝缘子序列号以及当前帧和下一帧iou匹配情况来获取跟踪的下一帧的绝缘子序列号。

b、扫描阶段

扫描阶段，即触发激活阶段后，跟踪符合条件的绝缘子目标与后续帧能够一直找到与其iou高度匹配、目标检测框倾斜方向一致的绝缘子目标。

若连续三帧之间符合iou高度匹配、目标框倾斜方向一致且目标框长度大幅度递减，则认为扫描到达绝缘子金具的尾端，此时绝缘子金具随着扫描在巡检视角中沿目标框倾斜方向消失，将三帧中的最后一帧作为独立绝缘子目标视频帧序列的结束帧。

若触发激活阶段后，在跟踪时因旋转目标检测漏检、巡检扫描摄像头抖动等因素导致的iou未匹配成功从而无法获取的下一帧跟踪的绝缘子序列号，依据后续帧是否存在绝缘子目标框超过一定长度来持续跟踪，直至某一帧全部绝缘子目标长度皆未达到阈值，判定为独立绝缘子目标视频帧序列的结束帧。

根据激活阶段记录的视频帧号和扫描阶段触发的结束帧号提取出只存在一个绝缘子金具目标的子视频序列。

2）抽帧步长计算

提取出的独立绝缘子金具视频帧序列及对应帧的检测结果，通过该序列中目标框长度达稳定状态的长度大小和位置初始化步长，并对每次抽取的帧图像计算它与上一张抽取出的帧图像的时间差值是否小于0.5s，若两者时间差值大于阈值则缩小此次抽帧步长，保证1s能至少抽取两张帧图像。

根据独立绝缘子金具目标检测框的斜率设置一定阈值，判断独立绝缘子金具视频帧序列的长度是否存在稳定状态，不存在则存储开始、中间、结束这三帧，存在则通过开始帧到长度稳定状态的第一帧之间的相邻帧中绝缘子金具目标框长度差值除以帧数差来计算扫描速率，再通过长度稳定状态的第一帧目标检测框长度除以扫描速率确定长度稳定状态下相隔几帧来抽取帧图像，公式如下。

从长度稳定态第一帧和最后一帧作为划分独立绝缘子视频帧序列的依据，分为头部、中部、尾部三段，针对头部、尾部直接存储最中间一帧，中部则从长度稳定态第一帧开始按照步长抽取帧图像，并计算当前抽取的帧图像与上一张抽帧的帧图像之间的时间差，大于0.5s缩小当前步长重新抽取帧图像并计算与上一张抽帧的帧图像之间的时间差，重复以上步骤直至找到合适步长抽取正确帧图像，再使用初始化步长寻找下一个抽取的帧图像。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种红外场景下电力巡检视频智能抽帧的方法，其特征在于：利用旋转目标检测算法对红外场景下的电力巡检视频进行目标检测并提取金具目标视频段；对经过旋转目标检测提取出的金具目标视频段根据存在的不同金具类别采用不同的抽帧方法；

根据存在的不同金具类别采用不同的抽帧方法包括如下方法：

方法一：不存在扫描过程的金具，每个视频段只需要提取出一帧较为清晰的图像，记录待抽取帧图像帧号，并输出帧图像；

方法二：存在扫描过程的绝缘子金具，则对独立绝缘子金具帧序列进行划分，采用最少的帧图像保存完整属于同一个目标的局部细节，记录待抽取帧图像帧号，并输出帧图像。

2.根据权利要求1所述的一种红外场景下电力巡检视频智能抽帧的方法，其特征在于：在所述的方法二中，在扫描绝缘子金具的过程中，需要判断视频段中扫描到绝缘子金具中部时目标框长度是否达到一个稳定状态。

3.根据权利要求2所述的一种红外场景下电力巡检视频智能抽帧的方法，其特征在于：如果视频段中扫描到绝缘子金具中部时目标框长度达到一个稳定状态，则对每次抽取的帧图像计算它与上一张抽取出的帧图像的时间差值，直到差值小于0.5s，记录待抽取帧图像帧号，并输出帧图像；

如果视频段中扫描到绝缘子金具中部时目标框长度不存在稳定状态，记录待抽取帧图像帧号，并输出帧图像。

4.根据权利要求3所述的一种红外场景下电力巡检视频智能抽帧的方法，其特征在于：差值计算公式如下：

。

5.根据权利要求1所述的一种红外场景下电力巡检视频智能抽帧的方法，其特征在于：独立绝缘子金具扫描过程分为两个阶段，包括激活阶段和扫描阶段。

6.根据权利要求1所述的一种红外场景下电力巡检视频智能抽帧的方法，其特征在于：所述激活阶段即一个绝缘子金具从画面一端进入巡检视角并随着扫描自身目标框长度不断增加的过程。

7.根据权利要求1所述的一种红外场景下电力巡检视频智能抽帧的方法，其特征在于：所述扫描阶段即触发激活阶段后，跟踪符合条件的绝缘子目标与后续帧能够一直找到与其iou高度匹配、目标检测框倾斜方向一致的绝缘子目标。

Images