CN111814734A - 识别刀闸状态的方法 - Google Patents

识别刀闸状态的方法 Download PDF

Info

Publication number
CN111814734A
CN111814734A CN202010721023.7A CN202010721023A CN111814734A CN 111814734 A CN111814734 A CN 111814734A CN 202010721023 A CN202010721023 A CN 202010721023A CN 111814734 A CN111814734 A CN 111814734A
Authority
CN
China
Prior art keywords
target
image data
disconnecting link
knife switch
switch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010721023.7A
Other languages
English (en)
Other versions
CN111814734B (zh
Inventor
曾群生
李鹏
赵继光
黄文琦
吴洋
卢铭翔
梁凌宇
董召杰
朱信德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern Power Grid Digital Grid Research Institute Co Ltd
Original Assignee
Southern Power Grid Digital Grid Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern Power Grid Digital Grid Research Institute Co Ltd filed Critical Southern Power Grid Digital Grid Research Institute Co Ltd
Priority to CN202010721023.7A priority Critical patent/CN111814734B/zh
Publication of CN111814734A publication Critical patent/CN111814734A/zh
Application granted granted Critical
Publication of CN111814734B publication Critical patent/CN111814734B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本申请涉及一种识别刀闸状态的方法。包括对样本进行训练，获取Tiny‑DSOD检测模型。获取待检测图像数据，利用Tiny‑DSOD检测模型，对目标刀闸的位置进行初步定位，并对目标刀闸进行分类。将待检测图像数据输入KCF滤波跟踪模型中，并根据初步定位后的目标刀闸位置，对目标刀闸位置进行追踪，实现目标刀闸的精确定位。根据目标刀闸的定位信息，利用Tiny‑DSOD检测模型，对目标刀闸的状态进行判断。上述方法利用Tiny‑DSOD检测模型和KCF滤波跟踪模型配合使用，能够给定位的刀闸目标进行ID确认，当出现多个目标刀闸或者刀闸目标重叠时，在初始化KCF滤波跟踪模型时，会根据刀闸的类型进行分配ID，根据KCF滤波跟踪模型和对应的ID，就能够较好地区分目标刀闸，从而提高跟踪的准确率和稳定性。

Description

识别刀闸状态的方法
技术领域
本申请涉及隔离开关检测技术领域，特别是涉及一种识别刀闸状态的方法。
背景技术
由于电网安全运行水平和服务质量的要求不断提高，智能变电站运行维护工作量日益增多，安全形势愈发严峻，必须通过提升电网自动化和智能化水平，提高劳动生产效率才能适应未来的发展需要。现有的变电站大多采用电动目标刀闸作为隔离器件。电动目标刀闸是带有电动操作机构的隔离开关，用于在没有负荷电流的情况下实现对线路的分合闸，起到电力系统电路隔离的重要作用。
目前，针对变电站目标刀闸的分合状态主要是通过人工进行查看，当目标刀闸状态异常时记录对应设备的状态。因此，目前亟需一种动态识别刀闸状态的方法以对目标刀闸状态进行识别。
发明内容
基于此，本申请提供一种识别刀闸状态的方法，以提高目标刀闸状态识别的稳定性。
一种识别刀闸状态的方法，包括：
对样本进行训练，获取Tiny-DSOD检测模型；
获取待检测图像数据，利用所述Tiny-DSOD检测模型，对目标刀闸的位置进行初步定位，并对目标刀闸进行分类；
将待检测图像数据输入KCF滤波跟踪模型中，并根据初步定位后的目标刀闸位置，对目标刀闸位置进行追踪，实现目标刀闸的精确定位；
根据目标刀闸的定位信息，利用所述Tiny-DSOD检测模型，对目标刀闸的状态进行判断。
在其中一个实施例中，所述获取待检测图像数据的步骤包括：
获取视频流；
利用编码器对所述视频流进行编解码，获取解码后的视频数据；
对所述视频数据进行采样，获取所述待检测图像数据。
在其中一个实施例中，利用Linear插值、Cubic插值、Lanczos插值或者AREA插值中的一种对所述视频数据进行插值采样。
在其中一个实施例中，当所述将待检测图像数据为第一帧图像数据时，所述将待检测图像数据输入KCF滤波跟踪模型中，并根据初步定位后的目标刀闸位置，对目标刀闸位置进行追踪，实现目标刀闸的精确定位的步骤包括：
将所述第一帧图像数据和所述初步定位后的目标刀闸位置坐标输入KCF滤波跟踪模型中；
利用所述初步定位后的目标刀闸位置坐标，确定目标刀闸的感兴趣区域图像；
从所述感兴趣区域图像上提取梯度信息；
根据所述梯度信息，输出目标刀闸的精确定位的位置坐标。
在其中一个实施例中，还包括：
当所述将待检测图像数据不是第一帧图像数据时，判断所述Tiny-DSOD检测模型是否可以对当前的图像数据中的目标刀闸的位置进行初步定位。
在其中一个实施例中，当所述Tiny-DSOD检测模型能够对当前的图像数据中的目标刀闸的位置进行初步定位时，提取上一帧感兴趣区域图像上的梯度信息，输出目标刀闸的精确定位的位置坐标，并更新所述KCF滤波跟踪模型。
在其中一个实施例中，当所述Tiny-DSOD检测模型不能够对当前的图像数据中的目标刀闸的位置进行初步定位时，根据上一次更新后的所述KCF滤波跟踪模型，对目标刀闸位置进行预测，获取最大响应后，更新目标刀闸的精确定位的位置坐标，并更新所述KCF滤波跟踪模型。
在其中一个实施例中，所述目标刀闸的类型包括单臂垂直伸缩目标刀闸、七式目标刀闸、四式目标刀闸中的一种或多种。
在其中一个实施例中，所述目标刀闸的状态包括目标刀闸处于开状态、目标刀闸处于合状态、目标刀闸处于由开至合状态以及目标刀闸处于由合至开状态。
一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例中任一项所述的识别刀闸状态的方法的步骤。
上述识别刀闸状态的方法，包括对样本进行训练，获取Tiny-DSOD检测模型。获取待检测图像数据，利用所述Tiny-DSOD检测模型，对目标刀闸的位置进行初步定位，并对目标刀闸进行分类。将待检测图像数据输入KCF滤波跟踪模型中，并根据初步定位后的目标刀闸位置，对目标刀闸位置进行追踪，实现目标刀闸的精确定位。根据目标刀闸的定位信息，利用所述Tiny-DSOD检测模型，对目标刀闸的状态进行判断。上述方法，利用KCF滤波跟踪模型代替单通道(灰度图像)原始像素特征对目标刀闸特征进行特征提取，提高跟踪的稳定性。并且利用Tiny-DSOD检测模型和KCF滤波跟踪模型配合使用，能够给定位的刀闸目标进行ID确认，当出现多个目标刀闸或者刀闸目标重叠时，在初始化KCF滤波跟踪模型时，会根据刀闸的类型进行分配ID，根据KCF滤波跟踪模型和对应的ID，就能够较好地区分目标刀闸，从而提高跟踪的准确率和稳定性。
附图说明
为了更清楚地说明本申请实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一个实施例提供的识别刀闸状态的方法的流程示意图；
图2为本申请另一个实施例提供的识别刀闸状态的方法的流程示意图；
图3为本申请再一个实施例提供的识别刀闸状态的方法的流程示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似改进，因此本申请不受下面公开的具体实施的限制。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一获取模块称为第二获取模块，且类似地，可将第二获取模块称为第一获取模块。第一获取模块和第二获取模块两者都是获取模块，但其不是同一个获取模块。
需要说明的是，当元件被称为“设置于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
请参见图1，本申请提供一种识别刀闸状态的方法。所述识别刀闸状态的方法包括：
S10，对样本进行训练，获取Tiny-DSOD检测模型。
步骤S10中，可以利用Tiny-DSOD算法对样本进行训练。Tiny-DSOD算法由主干网络和融合模块组合，基于前馈卷积神经网络，对目标生成一系列固定大小的锚框，并输出这些检测框中包含某类物体实例的得分，然后通过非极大值抑制，输出最终的检测结果。
可以理解的是，获取样本的方式不做具体限定。在一个可选的实施例中，可以利用移动机器人采集刀闸各个状态下的图像作为样本。所述各个状态下的图像主要包括不同角度、不同状态、不同形状和不同环境的刀闸图像，以保证训练的模型具有更强的适应性。
S20，获取待检测图像数据，利用所述Tiny-DSOD检测模型，对目标刀闸的位置进行初步定位，并对目标刀闸进行分类。
步骤S20中，所述目标刀闸的类型不做具体限定。在其中一个可选的实施例中，所述目标刀闸的类型包括单臂垂直伸缩目标刀闸、七式目标刀闸、四式目标刀闸中的一种或多种。获取待检测图像数据的方式不做具体限定。在一个可选的实施例中，可以利用移动机器人采集视频流。对视频流进行数据处理后获得所述待检测图像数据。所述待检测图像数据可以是一帧图像。所述待检测图像数据还可以是图像数据序列。所述图像数据序列包括很多帧图像。当所述待检测图像数据是图像数据序列时，可以记录某一时间内，目标刀闸的状态信息。
S30，将待检测图像数据输入KCF滤波跟踪模型中，并根据初步定位后的目标刀闸位置，对目标刀闸位置进行追踪，实现目标刀闸的精确定位。
步骤S30中，将待检测图像数据输入KCF滤波跟踪模型中后，所述KCF滤波跟踪模型可以根据刀闸的类型给每一个刀闸分配ID(身份信息)。利用每一个刀闸对应的ID可以较好区分目标刀闸，当出现多个目标刀闸或者刀闸目标重叠时，可以提高跟踪的准确率和稳定性。
当所述待检测图像数据为第一帧图像时，利用所述第一帧图像对所述KCF滤波跟踪模型进行初始化。具体的，初始化过程请参见图3，S310，将所述第一帧图像数据和所述初步定位后的目标刀闸位置坐标输入KCF滤波跟踪模型中。S320，利用所述初步定位后的目标刀闸位置坐标，确定目标刀闸的感兴趣区域图像。S330，从所述感兴趣区域图像上提取梯度信息。S340，根据所述梯度信息，输出目标刀闸的精确定位的位置坐标。
可以通过将图像划分成较小的局部块单元，在局部块单元里提取所述梯度信息。根据所述梯度信息可以获取梯度方向直方图。根据梯度方向直方图可以初始化所述KCF滤波跟踪模型。
当所述将待检测图像数据不是第一帧图像数据时，判断所述Tiny-DSOD检测模型是否可以对当前的图像数据中的目标刀闸的位置进行初步定位。
在其中一个实施例中，当所述Tiny-DSOD检测模型能够对当前的图像数据中的目标刀闸的位置进行初步定位时，提取上一帧感兴趣区域图像上的梯度信息，输出目标刀闸的精确定位的位置坐标，并更新所述KCF滤波跟踪模型。
在其中一个实施例中，当所述Tiny-DSOD检测模型不能够对当前的图像数据中的目标刀闸的位置进行初步定位时，根据上一次更新后的所述KCF滤波跟踪模型，对目标刀闸位置进行预测，获取最大响应后，更新目标刀闸的精确定位的位置坐标，并更新所述KCF滤波跟踪模型。
当由于拍摄视频的元件发生抖动或者由于拍摄角度问题，目标刀闸可能会发生较大的偏移时，会导致无法利用Tiny-DSOD检测模型对当前的图像数据中的目标刀闸的位置进行初步定位。此时，如果还利用上一帧感兴趣区域图像上的梯度信息，输出目标刀闸的位置坐标可能会出现偏差，导致无法Tiny-DSOD检测模型对当前的图像数据中的目标刀闸的状态进行判断。此时需要对目标刀闸的位置进行预测，通过寻找最大响应确定目标刀闸的精确定位的位置坐标。此种在线训练的方式，能够让KCF滤波跟踪模型快速适应图像环境的变化，在面对包含复杂的图像场景(复杂背景，不同亮度变化、镜头畸变、画面抖动)仍然存在较高的稳定性。
S40，根据目标刀闸的定位信息，利用所述Tiny-DSOD检测模型，对目标刀闸的状态进行判断。
步骤S40中，当所述待检测图像数据是一帧图像时，利用所述Tiny-DSOD检测模型可以检测所述目标刀闸的状态包括目标刀闸处于开状态和目标刀闸处于合状态两种状态。当所述待检测图像数据是图像数据序列时，利用所述Tiny-DSOD检测模型可以检测所述目标刀闸的状态包括目标刀闸处于开状态、目标刀闸处于合状态、目标刀闸处于由开至合状态以及目标刀闸处于由合至开状态。例如，根据图像数据序列的前部分图像数据，检测到目标刀闸处于开状态。根据图像数据序列的后部分图像数据，检测到目标刀闸处于合状态，那么通过综合分析，可知此时段内的目标刀闸处于由开至合状态。根据图像数据序列的前部分图像数据，检测到目标刀闸处于合状态。根据图像数据序列的后部分图像数据，检测到目标刀闸处于开状态，那么通过综合分析，可知此时段内的目标刀闸处于由合至开状态。
本实施例中，上述识别刀闸状态的方法，包括对样本进行训练，获取Tiny-DSOD检测模型。获取待检测图像数据，利用所述Tiny-DSOD检测模型，对目标刀闸的位置进行初步定位，并对目标刀闸进行分类。将待检测图像数据输入KCF滤波跟踪模型中，并根据初步定位后的目标刀闸位置，对目标刀闸位置进行追踪，实现目标刀闸的精确定位。根据目标刀闸的定位信息，利用所述Tiny-DSOD检测模型，对目标刀闸的状态进行判断。上述方法，利用KCF滤波跟踪模型代替单通道(灰度图像)原始像素特征对目标刀闸特征进行特征提取，提高跟踪的稳定性。并且利用Tiny-DSOD检测模型和KCF滤波跟踪模型配合使用，能够给定位的刀闸目标进行ID确认，当出现多个目标刀闸或者刀闸目标重叠时，在初始化KCF滤波跟踪模型时，会根据刀闸的类型进行分配ID，根据KCF滤波跟踪模型和对应的ID，就能够较好地区分目标刀闸，从而提高跟踪的准确率和稳定性。
请参见图2，在其中一个实施例中，所述获取待检测图像数据的步骤包括：
S210，获取视频流。
步骤S210中，获取所述视频流的方式不做具体限定。在一个可选的实施例中，可以利用移动机器人采集视频流。从所述移动机器人的摄像头中获取所述视频流。
S220，利用编码器对所述视频流进行编解码，获取解码后的视频数据。
步骤S220中，可以采用h265/h264编码器对视频进行编解码，获取到解码后的视频数据。所述视频数据包括图像的宽、高、通道数以及帧率(如25)等参数。
S230，对所述视频数据进行采样，获取所述待检测图像数据。
步骤S230中，对所述视频数据进行采样的方式不做具体限定。在其中一个实施例中，利用Linear插值、Cubic插值、Lanczos插值或者AREA插值中的一种对所述视频数据进行插值采样，以获取所述待检测图像数据。所述待检测图像数据可以为320x320尺寸的图像。例如所述视频数据包括25帧图像数据，获取其中一帧图像数据。
本申请一个实施例中提供一种计算机设备。所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述实施例中任一项所述的识别刀闸状态的方法的步骤。
存储器作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本申请实施例中的识别刀闸状态的方法对应的程序指令/模块。处理器通过运行存储在存储器中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现识别刀闸状态的方法。
处理器通过运行存储在存储器中的软件程序、指令以及模块，可以实现对样本进行训练，获取Tiny-DSOD检测模型。获取待检测图像数据，利用所述Tiny-DSOD检测模型，对目标刀闸的位置进行初步定位，并对目标刀闸进行分类。将待检测图像数据输入KCF滤波跟踪模型中，并根据初步定位后的目标刀闸位置，对目标刀闸位置进行追踪，实现目标刀闸的精确定位。根据目标刀闸的定位信息，利用所述Tiny-DSOD检测模型，对目标刀闸的状态进行判断的步骤。
可以利用Tiny-DSOD算法对样本进行训练。Tiny-DSOD算法由主干网络和融合模块组合，基于前馈卷积神经网络，对目标生成一系列固定大小的锚框，并输出这些检测框中包含某类物体实例的得分，然后通过非极大值抑制，输出最终的检测结果。
可以理解的是，获取样本的方式不做具体限定。在一个可选的实施例中，可以利用移动机器人采集刀闸各个状态下的图像作为样本。所述各个状态下的图像主要包括不同角度、不同状态、不同形状和不同环境的刀闸图像，以保证训练的模型具有更强的适应性。
所述目标刀闸的类型不做具体限定。在其中一个可选的实施例中，所述目标刀闸的类型包括单臂垂直伸缩目标刀闸、七式目标刀闸、四式目标刀闸中的一种或多种。获取待检测图像数据的方式不做具体限定。在一个可选的实施例中，可以利用移动机器人采集视频流。对视频流进行数据处理后获得所述待检测图像数据。所述待检测图像数据可以是一帧图像。所述待检测图像数据还可以是图像数据序列。所述图像数据序列包括很多帧图像。当所述待检测图像数据是图像数据序列时，可以记录某一时间内，目标刀闸的状态信息。
将待检测图像数据输入KCF滤波跟踪模型中后，所述KCF滤波跟踪模型可以根据刀闸的类型给每一个刀闸分配ID(身份信息)。利用每一个刀闸对应的ID可以较好区分目标刀闸，当出现多个目标刀闸或者刀闸目标重叠时，可以提高跟踪的准确率和稳定性。
当所述待检测图像数据为第一帧图像时，利用所述第一帧图像对所述KCF滤波跟踪模型进行初始化。具体的，初始化过程请参见图3，S310，将所述第一帧图像数据和所述初步定位后的目标刀闸位置坐标输入KCF滤波跟踪模型中。S320，利用所述初步定位后的目标刀闸位置坐标，确定目标刀闸的感兴趣区域图像。S330，从所述感兴趣区域图像上提取梯度信息。S340，根据所述梯度信息，输出目标刀闸的精确定位的位置坐标。
可以通过将图像划分成较小的局部块单元，在局部块单元里提取所述梯度信息。根据所述梯度信息可以获取梯度方向直方图。根据梯度方向直方图可以初始化所述KCF滤波跟踪模型。
当所述将待检测图像数据不是第一帧图像数据时，判断所述Tiny-DSOD检测模型是否可以对当前的图像数据中的目标刀闸的位置进行初步定位。
在其中一个实施例中，当所述Tiny-DSOD检测模型能够对当前的图像数据中的目标刀闸的位置进行初步定位时，提取上一帧感兴趣区域图像上的梯度信息，输出目标刀闸的精确定位的位置坐标，并更新所述KCF滤波跟踪模型。
在其中一个实施例中，当所述Tiny-DSOD检测模型不能够对当前的图像数据中的目标刀闸的位置进行初步定位时，根据上一次更新后的所述KCF滤波跟踪模型，对目标刀闸位置进行预测，获取最大响应后，更新目标刀闸的精确定位的位置坐标，并更新所述KCF滤波跟踪模型。
当由于拍摄视频的元件发生抖动或者由于拍摄角度问题，目标刀闸可能会发生较大的偏移时，会导致无法利用Tiny-DSOD检测模型对当前的图像数据中的目标刀闸的位置进行初步定位。此时，如果还利用上一帧感兴趣区域图像上的梯度信息，输出目标刀闸的位置坐标可能会出现偏差，导致无法Tiny-DSOD检测模型对当前的图像数据中的目标刀闸的状态进行判断。此时需要对目标刀闸的位置进行预测，通过寻找最大响应确定目标刀闸的精确定位的位置坐标。此种在线训练的方式，能够让KCF滤波跟踪模型快速适应图像环境的变化，在面对包含复杂的图像场景(复杂背景，不同亮度变化、镜头畸变、画面抖动)仍然存在较高的稳定性。
当所述待检测图像数据是一帧图像时，利用所述Tiny-DSOD检测模型可以检测所述目标刀闸的状态包括目标刀闸处于开状态和目标刀闸处于合状态两种状态。当所述待检测图像数据是图像数据序列时，利用所述Tiny-DSOD检测模型可以检测所述目标刀闸的状态包括目标刀闸处于开状态、目标刀闸处于合状态、目标刀闸处于由开至合状态以及目标刀闸处于由合至开状态。例如，根据图像数据序列的前部分图像数据，检测到目标刀闸处于开状态。根据图像数据序列的后部分图像数据，检测到目标刀闸处于合状态，那么通过综合分析，可知此时段内的目标刀闸处于由开至合状态。根据图像数据序列的前部分图像数据，检测到目标刀闸处于合状态。根据图像数据序列的后部分图像数据，检测到目标刀闸处于开状态，那么通过综合分析，可知此时段内的目标刀闸处于由合至开状态。
存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序。存储数据区可存储根据终端的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述计算机设备，包括对样本进行训练，获取Tiny-DSOD检测模型。获取待检测图像数据，利用所述Tiny-DSOD检测模型，对目标刀闸的位置进行初步定位，并对目标刀闸进行分类。将待检测图像数据输入KCF滤波跟踪模型中，并根据初步定位后的目标刀闸位置，对目标刀闸位置进行追踪，实现目标刀闸的精确定位。根据目标刀闸的定位信息，利用所述Tiny-DSOD检测模型，对目标刀闸的状态进行判断。上述方法，利用KCF滤波跟踪模型代替单通道(灰度图像)原始像素特征对目标刀闸特征进行特征提取，提高跟踪的稳定性。并且利用Tiny-DSOD检测模型和KCF滤波跟踪模型配合使用，能够给定位的刀闸目标进行ID确认，当出现多个目标刀闸或者刀闸目标重叠时，在初始化KCF滤波跟踪模型时，会根据刀闸的类型进行分配ID，根据KCF滤波跟踪模型和对应的ID，就能够较好地区分目标刀闸，从而提高跟踪的准确率和稳定性。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种识别刀闸状态的方法，其特征在于，包括：
对样本进行训练，获取Tiny-DSOD检测模型；
获取待检测图像数据，利用所述Tiny-DSOD检测模型，对目标刀闸的位置进行初步定位，并对目标刀闸进行分类；
将待检测图像数据输入KCF滤波跟踪模型中，并根据初步定位后的目标刀闸位置，对目标刀闸位置进行追踪，实现目标刀闸的精确定位；
根据目标刀闸的定位信息，利用所述Tiny-DSOD检测模型，对目标刀闸的状态进行判断。
2.根据权利要求1所述的识别刀闸状态的方法，其特征在于，所述获取待检测图像数据的步骤包括：
获取视频流；
利用编码器对所述视频流进行编解码，获取解码后的视频数据；
对所述视频数据进行采样，获取所述待检测图像数据。
3.根据权利要求2所述的识别刀闸状态的方法，其特征在于，利用Linear插值、Cubic插值、Lanczos插值或者AREA插值中的一种对所述视频数据进行插值采样。
4.根据权利要求3所述的识别刀闸状态的方法，其特征在于，当所述将待检测图像数据为第一帧图像数据时，所述将待检测图像数据输入KCF滤波跟踪模型中，并根据初步定位后的目标刀闸位置，对目标刀闸位置进行追踪，实现目标刀闸的精确定位的步骤包括：
将所述第一帧图像数据和所述初步定位后的目标刀闸位置坐标输入KCF滤波跟踪模型中；
利用所述初步定位后的目标刀闸位置坐标，确定目标刀闸的感兴趣区域图像；
从所述感兴趣区域图像上提取梯度信息；
根据所述梯度信息，输出目标刀闸的精确定位的位置坐标。
5.根据权利要求4所述的识别刀闸状态的方法，其特征在于，还包括：
当所述将待检测图像数据不是第一帧图像数据时，判断所述Tiny-DSOD检测模型是否可以对当前的图像数据中的目标刀闸的位置进行初步定位。
6.根据权利要求5所述的识别刀闸状态的方法，其特征在于，当所述Tiny-DSOD检测模型能够对当前的图像数据中的目标刀闸的位置进行初步定位时，提取上一帧感兴趣区域图像上的梯度信息，输出目标刀闸的精确定位的位置坐标，并更新所述KCF滤波跟踪模型。
7.根据权利要求6所述的识别刀闸状态的方法，其特征在于，当所述Tiny-DSOD检测模型不能够对当前的图像数据中的目标刀闸的位置进行初步定位时，根据上一次更新后的所述KCF滤波跟踪模型，对目标刀闸位置进行预测，获取最大响应后，更新目标刀闸的精确定位的位置坐标，并更新所述KCF滤波跟踪模型。
8.根据权利要求7所述的识别刀闸状态的方法，其特征在于，所述目标刀闸的类型包括单臂垂直伸缩目标刀闸、七式目标刀闸、四式目标刀闸中的一种或多种。
9.根据权利要求8所述的识别刀闸状态的方法，其特征在于，所述目标刀闸的状态包括目标刀闸处于开状态、目标刀闸处于合状态、目标刀闸处于由开至合状态以及目标刀闸处于由合至开状态。
10.一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的识别刀闸状态的方法的步骤。
CN202010721023.7A 2020-07-24 2020-07-24 识别刀闸状态的方法 Active CN111814734B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010721023.7A CN111814734B (zh) 2020-07-24 2020-07-24 识别刀闸状态的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010721023.7A CN111814734B (zh) 2020-07-24 2020-07-24 识别刀闸状态的方法

Publications (2)

Publication Number Publication Date
CN111814734A true CN111814734A (zh) 2020-10-23
CN111814734B CN111814734B (zh) 2024-01-26

Family

ID=72861251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010721023.7A Active CN111814734B (zh) 2020-07-24 2020-07-24 识别刀闸状态的方法

Country Status (1)

Country Link
CN (1) CN111814734B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569736A (zh) * 2021-07-28 2021-10-29 南方电网数字电网研究院有限公司 刀闸状态识别方法、装置、计算机设备和存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108053419A (zh) * 2017-12-27 2018-05-18 武汉蛋玩科技有限公司 基于背景抑制和前景抗干扰的多尺度目标跟踪方法
CN108470161A (zh) * 2018-03-12 2018-08-31 国网电力科学研究院武汉南瑞有限责任公司 一种基于目标跟踪的高压隔离开关状态识别方法
CN109285179A (zh) * 2018-07-26 2019-01-29 昆明理工大学 一种基于多特征融合的运动目标跟踪方法
US20190139232A1 (en) * 2017-11-03 2019-05-09 Beijing Deephi Technology Co., Ltd. Target tracking hardware implementation system and method
CN109741369A (zh) * 2019-01-03 2019-05-10 北京邮电大学 一种用于机器人跟踪目标行人的方法及系统
CN110378260A (zh) * 2019-07-05 2019-10-25 国网安徽省电力有限公司铜陵供电公司 基于kcf的实时刀闸状态跟踪方法及系统
CN110543800A (zh) * 2018-05-29 2019-12-06 北京京东尚科信息技术有限公司 用于吊舱的目标识别跟踪方法、装置和吊舱
CN110706266A (zh) * 2019-12-11 2020-01-17 北京中星时代科技有限公司 一种基于YOLOv3的空中目标跟踪方法
US20200160061A1 (en) * 2017-12-11 2020-05-21 Zhuhai Da Hengqin Technology Development Co., Ltd. Automatic ship tracking method and system based on deep learning network and mean shift
CN111260630A (zh) * 2020-01-16 2020-06-09 高新兴科技集团股份有限公司 一种改进的轻量化的小目标检测方法
CN111428642A (zh) * 2020-03-24 2020-07-17 厦门市美亚柏科信息股份有限公司 一种多目标跟踪算法、电子装置及计算机可读存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190139232A1 (en) * 2017-11-03 2019-05-09 Beijing Deephi Technology Co., Ltd. Target tracking hardware implementation system and method
US20200160061A1 (en) * 2017-12-11 2020-05-21 Zhuhai Da Hengqin Technology Development Co., Ltd. Automatic ship tracking method and system based on deep learning network and mean shift
CN108053419A (zh) * 2017-12-27 2018-05-18 武汉蛋玩科技有限公司 基于背景抑制和前景抗干扰的多尺度目标跟踪方法
CN108470161A (zh) * 2018-03-12 2018-08-31 国网电力科学研究院武汉南瑞有限责任公司 一种基于目标跟踪的高压隔离开关状态识别方法
CN110543800A (zh) * 2018-05-29 2019-12-06 北京京东尚科信息技术有限公司 用于吊舱的目标识别跟踪方法、装置和吊舱
CN109285179A (zh) * 2018-07-26 2019-01-29 昆明理工大学 一种基于多特征融合的运动目标跟踪方法
CN109741369A (zh) * 2019-01-03 2019-05-10 北京邮电大学 一种用于机器人跟踪目标行人的方法及系统
CN110378260A (zh) * 2019-07-05 2019-10-25 国网安徽省电力有限公司铜陵供电公司 基于kcf的实时刀闸状态跟踪方法及系统
CN110706266A (zh) * 2019-12-11 2020-01-17 北京中星时代科技有限公司 一种基于YOLOv3的空中目标跟踪方法
CN111260630A (zh) * 2020-01-16 2020-06-09 高新兴科技集团股份有限公司 一种改进的轻量化的小目标检测方法
CN111428642A (zh) * 2020-03-24 2020-07-17 厦门市美亚柏科信息股份有限公司 一种多目标跟踪算法、电子装置及计算机可读存储介质

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CHRISTOPH FEICHTENHOFER等: "Detect to Track and Track to Detect", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》, pages 3038 - 3046 *
台德群等: "基于改进Meanshift算法的刀闸实时状态的精准跟踪", 《安徽大学学报（自然科学版）》, vol. 44, no. 1, pages 51 - 56 *
钟立军等: "基于位置预测的靶场图像实时判读方法", 《国防科技大学学报》, vol. 42, no. 2, pages 85 - 91 *
陆柳艳: "两起220kV_GIS线型隔离开关故障分析及处理", 《红水河》, vol. 36, no. 3, pages 83 - 86 *
黄立勤等: "车载视频下改进的核相关滤波跟踪算法", 《电子与信息学报》, vol. 40, no. 8, pages 1887 - 1894 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569736A (zh) * 2021-07-28 2021-10-29 南方电网数字电网研究院有限公司 刀闸状态识别方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN111814734B (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
CN108353208B (zh) 优化媒体指纹保持以提高系统资源利用率
CN108882020B (zh) 一种视频信息处理方法、装置及系统
CN108846365B (zh) 视频中打架行为的检测方法、装置、存储介质及处理器
CN109299703B (zh) 对鼠情进行统计的方法、装置以及图像采集设备
US9241094B2 (en) Capturing event information using a digital video camera
CN107222660B (zh) 一种分布式网络视觉监控系统
US10269123B2 (en) Methods and apparatus for video background subtraction
EP3082065A1 (en) Duplicate reduction for face detection
US10373458B2 (en) Automatic threat detection based on video frame delta information in compressed video streams
US20100124356A1 (en) Detecting objects crossing a virtual boundary line
CN110610150A (zh) 一种目标运动物体的跟踪方法、装置、计算设备和介质
US9864900B2 (en) Entropy-reducing low pass filter for face-detection
CN111401239B (zh) 一种视频分析方法、装置、系统、设备及存储介质
CN111814734B (zh) 识别刀闸状态的方法
US20180122087A1 (en) Video analysis method and apparatus and computer program
CA2658020A1 (en) Event detection method and video surveillance system using said method
CN113487559A (zh) 一种变电站隔离开关开合状态实时检测方法
KR20190021993A (ko) 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법
CN110896475B (zh) 显示终端通道切换检测方法和装置
US20200098132A1 (en) Object region detection method, object region detection apparatus, and non-transitory computer-readable medium thereof
CN115147752A (zh) 一种视频分析方法、装置及计算机设备
US11398091B1 (en) Repairing missing frames in recorded video with machine learning
WO2014038924A2 (en) A method for producing a background model
CN113515986A (zh) 视频处理、数据处理方法及设备
CN116156149B (zh) 一种用于检测摄像头移动的检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 86, room 406, No.1, Yichuang street, Zhongxin Guangzhou Knowledge City, Huangpu District, Guangzhou City, Guangdong Province

Applicant after: Southern Power Grid Digital Grid Research Institute Co.,Ltd.

Address before: 511458 Room 1301, Chengtou Building, 106 Fengze East Road, Nansha District, Guangzhou City, Guangdong Province (self-compiled 1301-12159)

Applicant before: Southern Power Grid Digital Grid Research Institute Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant