CN111814734B - 识别刀闸状态的方法 - Google Patents
识别刀闸状态的方法 Download PDFInfo
- Publication number
- CN111814734B CN111814734B CN202010721023.7A CN202010721023A CN111814734B CN 111814734 B CN111814734 B CN 111814734B CN 202010721023 A CN202010721023 A CN 202010721023A CN 111814734 B CN111814734 B CN 111814734B
- Authority
- CN
- China
- Prior art keywords
- target
- disconnecting link
- image data
- knife
- target disconnecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000001514 detection method Methods 0.000 claims abstract description 52
- 238000001914 filtration Methods 0.000 claims abstract description 47
- 238000012549 training Methods 0.000 claims abstract description 11
- 230000004044 response Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 4
- 238000012790 confirmation Methods 0.000 abstract description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nonlinear Science (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种识别刀闸状态的方法。包括对样本进行训练,获取Tiny‑DSOD检测模型。获取待检测图像数据,利用Tiny‑DSOD检测模型,对目标刀闸的位置进行初步定位,并对目标刀闸进行分类。将待检测图像数据输入KCF滤波跟踪模型中,并根据初步定位后的目标刀闸位置,对目标刀闸位置进行追踪,实现目标刀闸的精确定位。根据目标刀闸的定位信息,利用Tiny‑DSOD检测模型,对目标刀闸的状态进行判断。上述方法利用Tiny‑DSOD检测模型和KCF滤波跟踪模型配合使用,能够给定位的刀闸目标进行ID确认,当出现多个目标刀闸或者刀闸目标重叠时,在初始化KCF滤波跟踪模型时,会根据刀闸的类型进行分配ID,根据KCF滤波跟踪模型和对应的ID,就能够较好地区分目标刀闸,从而提高跟踪的准确率和稳定性。
Description
技术领域
本申请涉及隔离开关检测技术领域,特别是涉及一种识别刀闸状态的方法。
背景技术
由于电网安全运行水平和服务质量的要求不断提高,智能变电站运行维护工作量日益增多,安全形势愈发严峻,必须通过提升电网自动化和智能化水平,提高劳动生产效率才能适应未来的发展需要。现有的变电站大多采用电动目标刀闸作为隔离器件。电动目标刀闸是带有电动操作机构的隔离开关,用于在没有负荷电流的情况下实现对线路的分合闸,起到电力系统电路隔离的重要作用。
目前,针对变电站目标刀闸的分合状态主要是通过人工进行查看,当目标刀闸状态异常时记录对应设备的状态。因此,目前亟需一种动态识别刀闸状态的方法以对目标刀闸状态进行识别。
发明内容
基于此,本申请提供一种识别刀闸状态的方法,以提高目标刀闸状态识别的稳定性。
一种识别刀闸状态的方法,包括:
对样本进行训练,获取Tiny-DSOD检测模型;
获取待检测图像数据,利用所述Tiny-DSOD检测模型,对目标刀闸的位置进行初步定位,并对目标刀闸进行分类;
将待检测图像数据输入KCF滤波跟踪模型中,并根据初步定位后的目标刀闸位置,对目标刀闸位置进行追踪,实现目标刀闸的精确定位;
根据目标刀闸的定位信息,利用所述Tiny-DSOD检测模型,对目标刀闸的状态进行判断。
在其中一个实施例中,所述获取待检测图像数据的步骤包括:
获取视频流;
利用编码器对所述视频流进行编解码,获取解码后的视频数据;
对所述视频数据进行采样,获取所述待检测图像数据。
在其中一个实施例中,利用Linear插值、Cubic插值、Lanczos插值或者AREA插值中的一种对所述视频数据进行插值采样。
在其中一个实施例中,当所述将待检测图像数据为第一帧图像数据时,所述将待检测图像数据输入KCF滤波跟踪模型中,并根据初步定位后的目标刀闸位置,对目标刀闸位置进行追踪,实现目标刀闸的精确定位的步骤包括:
将所述第一帧图像数据和所述初步定位后的目标刀闸位置坐标输入KCF滤波跟踪模型中;
利用所述初步定位后的目标刀闸位置坐标,确定目标刀闸的感兴趣区域图像;
从所述感兴趣区域图像上提取梯度信息;
根据所述梯度信息,输出目标刀闸的精确定位的位置坐标。
在其中一个实施例中,还包括:
当所述将待检测图像数据不是第一帧图像数据时,判断所述Tiny-DSOD检测模型是否可以对当前的图像数据中的目标刀闸的位置进行初步定位。
在其中一个实施例中,当所述Tiny-DSOD检测模型能够对当前的图像数据中的目标刀闸的位置进行初步定位时,提取上一帧感兴趣区域图像上的梯度信息,输出目标刀闸的精确定位的位置坐标,并更新所述KCF滤波跟踪模型。
在其中一个实施例中,当所述Tiny-DSOD检测模型不能够对当前的图像数据中的目标刀闸的位置进行初步定位时,根据上一次更新后的所述KCF滤波跟踪模型,对目标刀闸位置进行预测,获取最大响应后,更新目标刀闸的精确定位的位置坐标,并更新所述KCF滤波跟踪模型。
在其中一个实施例中,所述目标刀闸的类型包括单臂垂直伸缩目标刀闸、七式目标刀闸、四式目标刀闸中的一种或多种。
在其中一个实施例中,所述目标刀闸的状态包括目标刀闸处于开状态、目标刀闸处于合状态、目标刀闸处于由开至合状态以及目标刀闸处于由合至开状态。
一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述实施例中任一项所述的识别刀闸状态的方法的步骤。
上述识别刀闸状态的方法,包括对样本进行训练,获取Tiny-DSOD检测模型。获取待检测图像数据,利用所述Tiny-DSOD检测模型,对目标刀闸的位置进行初步定位,并对目标刀闸进行分类。将待检测图像数据输入KCF滤波跟踪模型中,并根据初步定位后的目标刀闸位置,对目标刀闸位置进行追踪,实现目标刀闸的精确定位。根据目标刀闸的定位信息,利用所述Tiny-DSOD检测模型,对目标刀闸的状态进行判断。上述方法,利用KCF滤波跟踪模型代替单通道(灰度图像)原始像素特征对目标刀闸特征进行特征提取,提高跟踪的稳定性。并且利用Tiny-DSOD检测模型和KCF滤波跟踪模型配合使用,能够给定位的刀闸目标进行ID确认,当出现多个目标刀闸或者刀闸目标重叠时,在初始化KCF滤波跟踪模型时,会根据刀闸的类型进行分配ID,根据KCF滤波跟踪模型和对应的ID,就能够较好地区分目标刀闸,从而提高跟踪的准确率和稳定性。
附图说明
为了更清楚地说明本申请实施例或传统技术中的技术方案,下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一个实施例提供的识别刀闸状态的方法的流程示意图;
图2为本申请另一个实施例提供的识别刀闸状态的方法的流程示意图;
图3为本申请再一个实施例提供的识别刀闸状态的方法的流程示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂,下面结合附图对本申请的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似改进,因此本申请不受下面公开的具体实施的限制。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一获取模块称为第二获取模块,且类似地,可将第二获取模块称为第一获取模块。第一获取模块和第二获取模块两者都是获取模块,但其不是同一个获取模块。
需要说明的是,当元件被称为“设置于”另一个元件,它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件,它可以是直接连接到另一个元件或者可能同时存在居中元件。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
请参见图1,本申请提供一种识别刀闸状态的方法。所述识别刀闸状态的方法包括:
S10,对样本进行训练,获取Tiny-DSOD检测模型。
步骤S10中,可以利用Tiny-DSOD算法对样本进行训练。Tiny-DSOD算法由主干网络和融合模块组合,基于前馈卷积神经网络,对目标生成一系列固定大小的锚框,并输出这些检测框中包含某类物体实例的得分,然后通过非极大值抑制,输出最终的检测结果。
可以理解的是,获取样本的方式不做具体限定。在一个可选的实施例中,可以利用移动机器人采集刀闸各个状态下的图像作为样本。所述各个状态下的图像主要包括不同角度、不同状态、不同形状和不同环境的刀闸图像,以保证训练的模型具有更强的适应性。
S20,获取待检测图像数据,利用所述Tiny-DSOD检测模型,对目标刀闸的位置进行初步定位,并对目标刀闸进行分类。
步骤S20中,所述目标刀闸的类型不做具体限定。在其中一个可选的实施例中,所述目标刀闸的类型包括单臂垂直伸缩目标刀闸、七式目标刀闸、四式目标刀闸中的一种或多种。获取待检测图像数据的方式不做具体限定。在一个可选的实施例中,可以利用移动机器人采集视频流。对视频流进行数据处理后获得所述待检测图像数据。所述待检测图像数据可以是一帧图像。所述待检测图像数据还可以是图像数据序列。所述图像数据序列包括很多帧图像。当所述待检测图像数据是图像数据序列时,可以记录某一时间内,目标刀闸的状态信息。
S30,将待检测图像数据输入KCF滤波跟踪模型中,并根据初步定位后的目标刀闸位置,对目标刀闸位置进行追踪,实现目标刀闸的精确定位。
步骤S30中,将待检测图像数据输入KCF滤波跟踪模型中后,所述KCF滤波跟踪模型可以根据刀闸的类型给每一个刀闸分配ID(身份信息)。利用每一个刀闸对应的ID可以较好区分目标刀闸,当出现多个目标刀闸或者刀闸目标重叠时,可以提高跟踪的准确率和稳定性。
当所述待检测图像数据为第一帧图像时,利用所述第一帧图像对所述KCF滤波跟踪模型进行初始化。具体的,初始化过程请参见图3,S310,将所述第一帧图像数据和所述初步定位后的目标刀闸位置坐标输入KCF滤波跟踪模型中。S320,利用所述初步定位后的目标刀闸位置坐标,确定目标刀闸的感兴趣区域图像。S330,从所述感兴趣区域图像上提取梯度信息。S340,根据所述梯度信息,输出目标刀闸的精确定位的位置坐标。
可以通过将图像划分成较小的局部块单元,在局部块单元里提取所述梯度信息。根据所述梯度信息可以获取梯度方向直方图。根据梯度方向直方图可以初始化所述KCF滤波跟踪模型。
当所述将待检测图像数据不是第一帧图像数据时,判断所述Tiny-DSOD检测模型是否可以对当前的图像数据中的目标刀闸的位置进行初步定位。
在其中一个实施例中,当所述Tiny-DSOD检测模型能够对当前的图像数据中的目标刀闸的位置进行初步定位时,提取上一帧感兴趣区域图像上的梯度信息,输出目标刀闸的精确定位的位置坐标,并更新所述KCF滤波跟踪模型。
在其中一个实施例中,当所述Tiny-DSOD检测模型不能够对当前的图像数据中的目标刀闸的位置进行初步定位时,根据上一次更新后的所述KCF滤波跟踪模型,对目标刀闸位置进行预测,获取最大响应后,更新目标刀闸的精确定位的位置坐标,并更新所述KCF滤波跟踪模型。
当由于拍摄视频的元件发生抖动或者由于拍摄角度问题,目标刀闸可能会发生较大的偏移时,会导致无法利用Tiny-DSOD检测模型对当前的图像数据中的目标刀闸的位置进行初步定位。此时,如果还利用上一帧感兴趣区域图像上的梯度信息,输出目标刀闸的位置坐标可能会出现偏差,导致无法Tiny-DSOD检测模型对当前的图像数据中的目标刀闸的状态进行判断。此时需要对目标刀闸的位置进行预测,通过寻找最大响应确定目标刀闸的精确定位的位置坐标。此种在线训练的方式,能够让KCF滤波跟踪模型快速适应图像环境的变化,在面对包含复杂的图像场景(复杂背景,不同亮度变化、镜头畸变、画面抖动)仍然存在较高的稳定性。
S40,根据目标刀闸的定位信息,利用所述Tiny-DSOD检测模型,对目标刀闸的状态进行判断。
步骤S40中,当所述待检测图像数据是一帧图像时,利用所述Tiny-DSOD检测模型可以检测所述目标刀闸的状态包括目标刀闸处于开状态和目标刀闸处于合状态两种状态。当所述待检测图像数据是图像数据序列时,利用所述Tiny-DSOD检测模型可以检测所述目标刀闸的状态包括目标刀闸处于开状态、目标刀闸处于合状态、目标刀闸处于由开至合状态以及目标刀闸处于由合至开状态。例如,根据图像数据序列的前部分图像数据,检测到目标刀闸处于开状态。根据图像数据序列的后部分图像数据,检测到目标刀闸处于合状态,那么通过综合分析,可知此时段内的目标刀闸处于由开至合状态。根据图像数据序列的前部分图像数据,检测到目标刀闸处于合状态。根据图像数据序列的后部分图像数据,检测到目标刀闸处于开状态,那么通过综合分析,可知此时段内的目标刀闸处于由合至开状态。
本实施例中,上述识别刀闸状态的方法,包括对样本进行训练,获取Tiny-DSOD检测模型。获取待检测图像数据,利用所述Tiny-DSOD检测模型,对目标刀闸的位置进行初步定位,并对目标刀闸进行分类。将待检测图像数据输入KCF滤波跟踪模型中,并根据初步定位后的目标刀闸位置,对目标刀闸位置进行追踪,实现目标刀闸的精确定位。根据目标刀闸的定位信息,利用所述Tiny-DSOD检测模型,对目标刀闸的状态进行判断。上述方法,利用KCF滤波跟踪模型代替单通道(灰度图像)原始像素特征对目标刀闸特征进行特征提取,提高跟踪的稳定性。并且利用Tiny-DSOD检测模型和KCF滤波跟踪模型配合使用,能够给定位的刀闸目标进行ID确认,当出现多个目标刀闸或者刀闸目标重叠时,在初始化KCF滤波跟踪模型时,会根据刀闸的类型进行分配ID,根据KCF滤波跟踪模型和对应的ID,就能够较好地区分目标刀闸,从而提高跟踪的准确率和稳定性。
请参见图2,在其中一个实施例中,所述获取待检测图像数据的步骤包括:
S210,获取视频流。
步骤S210中,获取所述视频流的方式不做具体限定。在一个可选的实施例中,可以利用移动机器人采集视频流。从所述移动机器人的摄像头中获取所述视频流。
S220,利用编码器对所述视频流进行编解码,获取解码后的视频数据。
步骤S220中,可以采用h265/h264编码器对视频进行编解码,获取到解码后的视频数据。所述视频数据包括图像的宽、高、通道数以及帧率(如25)等参数。
S230,对所述视频数据进行采样,获取所述待检测图像数据。
步骤S230中,对所述视频数据进行采样的方式不做具体限定。在其中一个实施例中,利用Linear插值、Cubic插值、Lanczos插值或者AREA插值中的一种对所述视频数据进行插值采样,以获取所述待检测图像数据。所述待检测图像数据可以为320x320尺寸的图像。例如所述视频数据包括25帧图像数据,获取其中一帧图像数据。
本申请一个实施例中提供一种计算机设备。所述计算机设备包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述实施例中任一项所述的识别刀闸状态的方法的步骤。
存储器作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本申请实施例中的识别刀闸状态的方法对应的程序指令/模块。处理器通过运行存储在存储器中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现识别刀闸状态的方法。
处理器通过运行存储在存储器中的软件程序、指令以及模块,可以实现对样本进行训练,获取Tiny-DSOD检测模型。获取待检测图像数据,利用所述Tiny-DSOD检测模型,对目标刀闸的位置进行初步定位,并对目标刀闸进行分类。将待检测图像数据输入KCF滤波跟踪模型中,并根据初步定位后的目标刀闸位置,对目标刀闸位置进行追踪,实现目标刀闸的精确定位。根据目标刀闸的定位信息,利用所述Tiny-DSOD检测模型,对目标刀闸的状态进行判断的步骤。
可以利用Tiny-DSOD算法对样本进行训练。Tiny-DSOD算法由主干网络和融合模块组合,基于前馈卷积神经网络,对目标生成一系列固定大小的锚框,并输出这些检测框中包含某类物体实例的得分,然后通过非极大值抑制,输出最终的检测结果。
可以理解的是,获取样本的方式不做具体限定。在一个可选的实施例中,可以利用移动机器人采集刀闸各个状态下的图像作为样本。所述各个状态下的图像主要包括不同角度、不同状态、不同形状和不同环境的刀闸图像,以保证训练的模型具有更强的适应性。
所述目标刀闸的类型不做具体限定。在其中一个可选的实施例中,所述目标刀闸的类型包括单臂垂直伸缩目标刀闸、七式目标刀闸、四式目标刀闸中的一种或多种。获取待检测图像数据的方式不做具体限定。在一个可选的实施例中,可以利用移动机器人采集视频流。对视频流进行数据处理后获得所述待检测图像数据。所述待检测图像数据可以是一帧图像。所述待检测图像数据还可以是图像数据序列。所述图像数据序列包括很多帧图像。当所述待检测图像数据是图像数据序列时,可以记录某一时间内,目标刀闸的状态信息。
将待检测图像数据输入KCF滤波跟踪模型中后,所述KCF滤波跟踪模型可以根据刀闸的类型给每一个刀闸分配ID(身份信息)。利用每一个刀闸对应的ID可以较好区分目标刀闸,当出现多个目标刀闸或者刀闸目标重叠时,可以提高跟踪的准确率和稳定性。
当所述待检测图像数据为第一帧图像时,利用所述第一帧图像对所述KCF滤波跟踪模型进行初始化。具体的,初始化过程请参见图3,S310,将所述第一帧图像数据和所述初步定位后的目标刀闸位置坐标输入KCF滤波跟踪模型中。S320,利用所述初步定位后的目标刀闸位置坐标,确定目标刀闸的感兴趣区域图像。S330,从所述感兴趣区域图像上提取梯度信息。S340,根据所述梯度信息,输出目标刀闸的精确定位的位置坐标。
可以通过将图像划分成较小的局部块单元,在局部块单元里提取所述梯度信息。根据所述梯度信息可以获取梯度方向直方图。根据梯度方向直方图可以初始化所述KCF滤波跟踪模型。
当所述将待检测图像数据不是第一帧图像数据时,判断所述Tiny-DSOD检测模型是否可以对当前的图像数据中的目标刀闸的位置进行初步定位。
在其中一个实施例中,当所述Tiny-DSOD检测模型能够对当前的图像数据中的目标刀闸的位置进行初步定位时,提取上一帧感兴趣区域图像上的梯度信息,输出目标刀闸的精确定位的位置坐标,并更新所述KCF滤波跟踪模型。
在其中一个实施例中,当所述Tiny-DSOD检测模型不能够对当前的图像数据中的目标刀闸的位置进行初步定位时,根据上一次更新后的所述KCF滤波跟踪模型,对目标刀闸位置进行预测,获取最大响应后,更新目标刀闸的精确定位的位置坐标,并更新所述KCF滤波跟踪模型。
当由于拍摄视频的元件发生抖动或者由于拍摄角度问题,目标刀闸可能会发生较大的偏移时,会导致无法利用Tiny-DSOD检测模型对当前的图像数据中的目标刀闸的位置进行初步定位。此时,如果还利用上一帧感兴趣区域图像上的梯度信息,输出目标刀闸的位置坐标可能会出现偏差,导致无法Tiny-DSOD检测模型对当前的图像数据中的目标刀闸的状态进行判断。此时需要对目标刀闸的位置进行预测,通过寻找最大响应确定目标刀闸的精确定位的位置坐标。此种在线训练的方式,能够让KCF滤波跟踪模型快速适应图像环境的变化,在面对包含复杂的图像场景(复杂背景,不同亮度变化、镜头畸变、画面抖动)仍然存在较高的稳定性。
当所述待检测图像数据是一帧图像时,利用所述Tiny-DSOD检测模型可以检测所述目标刀闸的状态包括目标刀闸处于开状态和目标刀闸处于合状态两种状态。当所述待检测图像数据是图像数据序列时,利用所述Tiny-DSOD检测模型可以检测所述目标刀闸的状态包括目标刀闸处于开状态、目标刀闸处于合状态、目标刀闸处于由开至合状态以及目标刀闸处于由合至开状态。例如,根据图像数据序列的前部分图像数据,检测到目标刀闸处于开状态。根据图像数据序列的后部分图像数据,检测到目标刀闸处于合状态,那么通过综合分析,可知此时段内的目标刀闸处于由开至合状态。根据图像数据序列的前部分图像数据,检测到目标刀闸处于合状态。根据图像数据序列的后部分图像数据,检测到目标刀闸处于开状态,那么通过综合分析,可知此时段内的目标刀闸处于由合至开状态。
存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序。存储数据区可存储根据终端的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述计算机设备,包括对样本进行训练,获取Tiny-DSOD检测模型。获取待检测图像数据,利用所述Tiny-DSOD检测模型,对目标刀闸的位置进行初步定位,并对目标刀闸进行分类。将待检测图像数据输入KCF滤波跟踪模型中,并根据初步定位后的目标刀闸位置,对目标刀闸位置进行追踪,实现目标刀闸的精确定位。根据目标刀闸的定位信息,利用所述Tiny-DSOD检测模型,对目标刀闸的状态进行判断。上述方法,利用KCF滤波跟踪模型代替单通道(灰度图像)原始像素特征对目标刀闸特征进行特征提取,提高跟踪的稳定性。并且利用Tiny-DSOD检测模型和KCF滤波跟踪模型配合使用,能够给定位的刀闸目标进行ID确认,当出现多个目标刀闸或者刀闸目标重叠时,在初始化KCF滤波跟踪模型时,会根据刀闸的类型进行分配ID,根据KCF滤波跟踪模型和对应的ID,就能够较好地区分目标刀闸,从而提高跟踪的准确率和稳定性。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (6)
1.一种识别刀闸状态的方法,其特征在于,包括:
对样本进行训练,获取Tiny-DSOD检测模型;
获取待检测图像数据,利用所述Tiny-DSOD检测模型,对目标刀闸的位置进行初步定位,并对目标刀闸进行分类;
将待检测图像数据输入KCF滤波跟踪模型中,并根据初步定位后的目标刀闸位置,对目标刀闸位置进行追踪,实现目标刀闸的精确定位;
根据目标刀闸的定位信息,利用所述Tiny-DSOD检测模型,对目标刀闸的状态进行判断;
其中,所述KCF滤波跟踪模型用于根据刀闸的类型给每个刀闸分配身份信息,利用每一个刀闸对应的身份信息能够区分所述目标刀闸,所述将待检测图像数据输入KCF滤波跟踪模型中,并根据初步定位后的目标刀闸位置,对目标刀闸位置进行追踪,实现目标刀闸的精确定位,包括:
当所述将待检测图像数据为第一帧图像数据时,将所述第一帧图像数据和所述初步定位后的目标刀闸位置坐标输入KCF滤波跟踪模型中;利用所述初步定位后的目标刀闸位置坐标,确定目标刀闸的感兴趣区域图像;从所述感兴趣区域图像上提取梯度信息;根据所述梯度信息,输出目标刀闸的精确定位的位置坐标;
当所述将待检测图像数据不是第一帧图像数据时,当所述Tiny-DSOD检测模型能够对当前的图像数据中的目标刀闸的位置进行初步定位时,提取上一帧感兴趣区域图像上的梯度信息,输出目标刀闸的精确定位的位置坐标,并更新所述KCF滤波跟踪模型;当所述Tiny-DSOD检测模型不能够对当前的图像数据中的目标刀闸的位置进行初步定位时,根据上一次更新后的所述KCF滤波跟踪模型,对目标刀闸位置进行预测,获取最大响应后,更新目标刀闸的精确定位的位置坐标,并更新所述KCF滤波跟踪模型。
2.根据权利要求1所述的识别刀闸状态的方法,其特征在于,所述获取待检测图像数据的步骤包括:
获取视频流;
利用编码器对所述视频流进行编解码,获取解码后的视频数据;
对所述视频数据进行采样,获取所述待检测图像数据。
3.根据权利要求2所述的识别刀闸状态的方法,其特征在于,利用Linear插值、Cubic插值、Lanczos插值或者AREA插值中的一种对所述视频数据进行插值采样。
4.根据权利要求1所述的识别刀闸状态的方法,其特征在于,所述目标刀闸的类型包括单臂垂直伸缩目标刀闸、七式目标刀闸、四式目标刀闸中的一种或多种。
5.根据权利要求4所述的识别刀闸状态的方法,其特征在于,所述目标刀闸的状态包括目标刀闸处于开状态、目标刀闸处于合状态、目标刀闸处于由开至合状态以及目标刀闸处于由合至开状态。
6.一种计算机设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的识别刀闸状态的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010721023.7A CN111814734B (zh) | 2020-07-24 | 2020-07-24 | 识别刀闸状态的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010721023.7A CN111814734B (zh) | 2020-07-24 | 2020-07-24 | 识别刀闸状态的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111814734A CN111814734A (zh) | 2020-10-23 |
CN111814734B true CN111814734B (zh) | 2024-01-26 |
Family
ID=72861251
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010721023.7A Active CN111814734B (zh) | 2020-07-24 | 2020-07-24 | 识别刀闸状态的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111814734B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113569736A (zh) * | 2021-07-28 | 2021-10-29 | 南方电网数字电网研究院有限公司 | 刀闸状态识别方法、装置、计算机设备和存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108053419A (zh) * | 2017-12-27 | 2018-05-18 | 武汉蛋玩科技有限公司 | 基于背景抑制和前景抗干扰的多尺度目标跟踪方法 |
CN108470161A (zh) * | 2018-03-12 | 2018-08-31 | 国网电力科学研究院武汉南瑞有限责任公司 | 一种基于目标跟踪的高压隔离开关状态识别方法 |
CN109285179A (zh) * | 2018-07-26 | 2019-01-29 | 昆明理工大学 | 一种基于多特征融合的运动目标跟踪方法 |
CN109741369A (zh) * | 2019-01-03 | 2019-05-10 | 北京邮电大学 | 一种用于机器人跟踪目标行人的方法及系统 |
CN110378260A (zh) * | 2019-07-05 | 2019-10-25 | 国网安徽省电力有限公司铜陵供电公司 | 基于kcf的实时刀闸状态跟踪方法及系统 |
CN110543800A (zh) * | 2018-05-29 | 2019-12-06 | 北京京东尚科信息技术有限公司 | 用于吊舱的目标识别跟踪方法、装置和吊舱 |
CN110706266A (zh) * | 2019-12-11 | 2020-01-17 | 北京中星时代科技有限公司 | 一种基于YOLOv3的空中目标跟踪方法 |
CN111260630A (zh) * | 2020-01-16 | 2020-06-09 | 高新兴科技集团股份有限公司 | 一种改进的轻量化的小目标检测方法 |
CN111428642A (zh) * | 2020-03-24 | 2020-07-17 | 厦门市美亚柏科信息股份有限公司 | 一种多目标跟踪算法、电子装置及计算机可读存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109753846A (zh) * | 2017-11-03 | 2019-05-14 | 北京深鉴智能科技有限公司 | 目标跟踪硬件实现系统和方法 |
CN107818571B (zh) * | 2017-12-11 | 2018-07-20 | 珠海大横琴科技发展有限公司 | 基于深度学习网络和均值漂移的船只自动跟踪方法及系统 |
-
2020
- 2020-07-24 CN CN202010721023.7A patent/CN111814734B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108053419A (zh) * | 2017-12-27 | 2018-05-18 | 武汉蛋玩科技有限公司 | 基于背景抑制和前景抗干扰的多尺度目标跟踪方法 |
CN108470161A (zh) * | 2018-03-12 | 2018-08-31 | 国网电力科学研究院武汉南瑞有限责任公司 | 一种基于目标跟踪的高压隔离开关状态识别方法 |
CN110543800A (zh) * | 2018-05-29 | 2019-12-06 | 北京京东尚科信息技术有限公司 | 用于吊舱的目标识别跟踪方法、装置和吊舱 |
CN109285179A (zh) * | 2018-07-26 | 2019-01-29 | 昆明理工大学 | 一种基于多特征融合的运动目标跟踪方法 |
CN109741369A (zh) * | 2019-01-03 | 2019-05-10 | 北京邮电大学 | 一种用于机器人跟踪目标行人的方法及系统 |
CN110378260A (zh) * | 2019-07-05 | 2019-10-25 | 国网安徽省电力有限公司铜陵供电公司 | 基于kcf的实时刀闸状态跟踪方法及系统 |
CN110706266A (zh) * | 2019-12-11 | 2020-01-17 | 北京中星时代科技有限公司 | 一种基于YOLOv3的空中目标跟踪方法 |
CN111260630A (zh) * | 2020-01-16 | 2020-06-09 | 高新兴科技集团股份有限公司 | 一种改进的轻量化的小目标检测方法 |
CN111428642A (zh) * | 2020-03-24 | 2020-07-17 | 厦门市美亚柏科信息股份有限公司 | 一种多目标跟踪算法、电子装置及计算机可读存储介质 |
Non-Patent Citations (5)
Title |
---|
Detect to Track and Track to Detect;Christoph Feichtenhofer等;《2017 IEEE International Conference on Computer Vision (ICCV)》;第3038-3046页 * |
两起220kV_GIS线型隔离开关故障分析及处理;陆柳艳;《红水河》;第36卷(第3期);第83-86页 * |
基于位置预测的靶场图像实时判读方法;钟立军等;《国防科技大学学报》;第42卷(第2期);第85-91页 * |
基于改进Meanshift算法的刀闸实时状态的精准跟踪;台德群等;《安徽大学学报(自然科学版)》;第44卷(第1期);第51-56页 * |
车载视频下改进的核相关滤波跟踪算法;黄立勤等;《电子与信息学报》;第40卷(第8期);第1887-1894页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111814734A (zh) | 2020-10-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109872341B (zh) | 一种基于计算机视觉的高空抛物检测方法与系统 | |
RU2737315C1 (ru) | Способ и устройство кодирования изображения и способ и устройство декодирования изображения | |
CN109299703B (zh) | 对鼠情进行统计的方法、装置以及图像采集设备 | |
US9241094B2 (en) | Capturing event information using a digital video camera | |
EP2782340B1 (en) | Motion analysis method based on video compression code stream, code stream conversion method and apparatus thereof | |
CN107222660B (zh) | 一种分布式网络视觉监控系统 | |
CN101535941B (zh) | 自适应视频呈现的方法和装置 | |
CN112102204A (zh) | 图像增强方法、装置及电子设备 | |
US20180144476A1 (en) | Cascaded-time-scale background modeling | |
CN112534818A (zh) | 使用运动和对象检测的用于视频编码的译码参数的基于机器学习的自适应 | |
US20200128252A1 (en) | Variable Frame Rate Encoding Method and Device, Computer Device and Computer Readable Storage Medium | |
KR102187376B1 (ko) | 딥러닝 이미지 분석과 연동하는 신택스 기반의 선별 관제 제공 방법 | |
KR20090043416A (ko) | 카메라 이동 영향을 검출하고 억제하는 감시 카메라 장치및 그 제어 방법 | |
CN111814734B (zh) | 识别刀闸状态的方法 | |
CN110674787A (zh) | 一种基于Hog特征和lgb分类器的视频解压缩方法及系统 | |
CN112883783B (zh) | 一种视频浓缩方法、装置、终端设备及存储介质 | |
US20200221115A1 (en) | Syntax-based Method of Extracting Region of Moving Object in Compressed Video | |
CN111369591A (zh) | 一种运动物体的跟踪方法、装置及设备 | |
KR102061915B1 (ko) | 압축영상에 대한 신택스 기반의 객체 분류 방법 | |
CN116682035A (zh) | 一种高帧率视频缺陷的检测方法、装置、设备和程序产品 | |
CN116489385A (zh) | 视频编码方法、解码方法、装置、电子设备及存储介质 | |
CN113569771B (zh) | 视频分析方法及装置、电子设备和存储介质 | |
KR20200067682A (ko) | 상용분류기 외부 연동 학습형 신경망을 이용한 압축영상에 대한 신택스 기반의 객체 분류 방법 | |
CN112861698B (zh) | 一种基于多尺度时序感受野的压缩域行为识别方法 | |
CN115147752A (zh) | 一种视频分析方法、装置及计算机设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: Room 86, room 406, No.1, Yichuang street, Zhongxin Guangzhou Knowledge City, Huangpu District, Guangzhou City, Guangdong Province Applicant after: Southern Power Grid Digital Grid Research Institute Co.,Ltd. Address before: 511458 Room 1301, Chengtou Building, 106 Fengze East Road, Nansha District, Guangzhou City, Guangdong Province (self-compiled 1301-12159) Applicant before: Southern Power Grid Digital Grid Research Institute Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |