CN111191641B - 一种对开式刀闸运动状态的精确检测方法 - Google Patents
一种对开式刀闸运动状态的精确检测方法 Download PDFInfo
- Publication number
- CN111191641B CN111191641B CN202010214399.9A CN202010214399A CN111191641B CN 111191641 B CN111191641 B CN 111191641B CN 202010214399 A CN202010214399 A CN 202010214399A CN 111191641 B CN111191641 B CN 111191641B
- Authority
- CN
- China
- Prior art keywords
- state
- knife switch
- disconnecting link
- frame image
- switch arm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 65
- 238000012937 correction Methods 0.000 claims abstract description 58
- 238000012544 monitoring process Methods 0.000 claims abstract description 28
- 238000004458 analytical method Methods 0.000 claims abstract description 21
- 238000012549 training Methods 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000009897 systematic effect Effects 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000011897 real-time detection Methods 0.000 abstract description 3
- 239000012212 insulator Substances 0.000 description 8
- 239000013598 vector Substances 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
- G01R31/327—Testing of circuit interrupters, switches or circuit-breakers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种对开式刀闸运动状态的精确检测方法,包括采集对开式刀闸的实时监控视频,根据实时监控视频的初始帧图像同步确定刀闸的初始状态和运动方向;对于初始帧图像后的每一帧图像利用同样的方式依次进行精确分析,精确分析方式为:计算下一帧图像中左刀闸臂和右刀闸臂之间的初始夹角,结合该帧图像的前一帧图像估算系统误差,结合系统误差利用加权移动平均法确定该帧图像中左刀闸臂和右刀闸臂间的校正夹角,根据校正夹角精确分析该帧图像中刀闸的状态并记录;同样的方式继续处理下一帧图像,直至检测到刀闸停止运动,验证视频中刀闸运动的最终状态。本发明解决了对开式刀闸状态的实时检测精度低的问题。
Description
技术领域
本发明涉及图像识别技术领域,特别涉及一种对开式刀闸运动状态的精确检测方法。
背景技术
刀闸是高压开关电器中使用次数非常频繁的一种电器,在电路中起隔离作用。在实际应用中,由于刀闸的长期运转,会出现刀闸闭合或打开不到位的情形,该情形会导致刀闸的左右刀闸臂之间产生电弧,造成火灾或威胁人身安全或造成漏电事件,损坏刀闸设备;因此,刀闸是否闭合到位需要准确的检测。
实际使用中,变电站需要对刀闸的开合状态进行实时检测,目前采用的主要技术方案是通过计算左右刀闸臂间的夹角获取刀闸的状态,但是采集设备架设的位置受限,计算速度达不到实时检测要求,不具备实际应用价值,而且,在刀闸臂间角度计算的过程中,存在系统误差以及图像噪声,导致刀闸臂间角度计算存在误差,影响刀闸实时状态的精确分析。此外,在对刀闸运动的实时状态分析时容易出现错误和跳变的情形,影响检测结果;在进行刀闸实时监控中,当刀闸停止运动后还继续检测分析,造成资源浪费,更容易对检测结果造成错误的影响。
发明内容
为了解决现有技术中刀闸状态实时状态分析出现跳变的问题,本发明提出一种对开式刀闸运动状态的精确检测方法。
本发明的技术方案是这样实现的:
一种对开式刀闸运动状态的精确检测方法,包括:采集对开式刀闸的实时监控视频,根据实时监控视频的初始帧图像同步确定刀闸的初始状态和运动方向;对于初始帧图像后的每一帧图像利用同样的方式依次进行精确分析,对下一帧图像的精确分析方式为:计算下一帧图像中左刀闸臂和右刀闸臂之间的初始夹角,结合该帧图像的前一帧图像估算系统误差,结合系统误差利用加权移动平均法确定该帧图像中左刀闸臂和右刀闸臂间的校正夹角,根据校正夹角精确分析该帧图像中刀闸的状态并记录;同样的方式继续处理下一帧图像,直至检测到刀闸停止运动,验证视频中刀闸运动的最终状态。
优选的是,根据实时监控视频的初始帧图像同步确定刀闸的初始状态和运动方向的具体方式为:
未给定刀闸的初始状态和运动方向,获取实时监控视频第一帧图像中刀闸的状态,若第一帧图像中刀闸的状态是闭合,运动方向是从闭合到打开,若刀闸的状态是打开,运动方向是从打开到闭合,若刀闸的状态是虚合,继续检测下一帧图像直至刀闸的状态改变后再确定运动方向,第一帧图像中刀闸的状态为刀闸的初始状态,第一帧图像为初始帧图像;
给定刀闸的初始状态和运动方向,获取实时监控视频第一帧图像中刀闸的状态,用于验证初始状态,若第一帧图像中刀闸的状态与初始状态不一致,同样的方式依次处理下一帧图像,直至出现刀闸状态和初始状态一致的一帧图像,该帧图像至第一帧图像为初始帧图像。
优选的是,计算下一帧图像中左刀闸臂和右刀闸臂之间的初始夹角的具体计算方式为:
利用采集实时监控视频的监控设备在同样的位置下获取对开式刀闸的任一帧图像,利用该帧图像建立对开式刀闸的刀闸臂的边界线模型并保存为模型文件,根据模型文件计算刀闸臂的中点和中线;
通过多种途径获取对开式刀闸的样本图像,利用深度学习对样本图像进行训练获取训练模型,利用训练模型对该帧图像进行检测,获取该帧图像中所有的刀闸区域和刀闸状态,再结合模型文件对该帧图像中的刀闸进行定位;
根据上述定位的结果对该帧图像进行边缘检测,获取边缘线集合,计算该帧图像中刀闸臂的左中点和右中点到边缘线集合中的每条边缘线的距离,将不在阈值范围内的距离所对应的边缘线剔除,获取更新边缘线集合;
利用中线将更新边缘线集合左右区分,分别获取左刀闸臂边缘线集合和右刀闸臂边缘线集合,将左刀闸臂边缘线集合和右刀闸臂边缘线集合进行权重分配,将权重分配后的左刀闸臂边缘线集合和右刀闸臂边缘线集合进行对称配对,确定最终的左刀闸臂边缘线和右刀闸臂边缘线,以最终的左刀闸臂边缘线和右刀闸臂边缘线为基准,计算左刀闸臂和右刀闸臂之间的初始夹角。
优选的是,结合该帧图像的前一帧图像估算系统误差,结合系统误差利用加权移动平均法确定该帧图像中左刀闸臂和右刀闸臂间的校正夹角的具体方式为:
计算当前帧图像中最终的左刀闸臂边缘线和右刀闸臂边缘线分别与闭合状态刀闸臂所在直线的夹角γ1和θ1,计算前一帧图像中最终的左刀闸臂边缘线和右刀闸臂边缘线分别与闭合状态刀闸臂所在直线的夹角γ2和θ2,系统误差记为noise=|(γ1-γ2)-(θ1-θ2)|;
前一帧图像中左刀闸臂和右刀闸臂之间的夹角记为|θ2-γ2)|,当前帧图像中左刀闸臂和右刀闸臂之间的夹角记为|θ1-γ1)|,采用加权移动平均法更新当前帧图像中左刀闸臂和右刀闸臂间的夹角为θn,θnew=w1_coe*|θ2-γ2|+w2_coe*|θ1-γ1|,其中,w1_coe和w2_coe分别为前一帧图像和当前帧图像的权重系数,且w1_coe+w2_coe=1,结合系统误差,当前帧图像的左刀闸臂和右刀闸臂间的校正夹角记为θfinal,θfinal=w1_coe*|θ2-γ2|+w2_coe*|θ1-γ1|+noise。
优选的是,获取实时监控视频第一帧图像中刀闸的状态的方式为:计算第一帧图像中左刀闸臂和右刀闸臂的夹角,根据该夹角判断刀闸的状态;
根据用户需求设定刀闸的左刀闸臂和右刀闸臂在打开状态下的角度阈值T-o和闭合状态下的角度阈值T-c;
若第一帧图像中的左刀闸臂和右刀闸臂之间的夹角大于T-o,判定刀闸是打开状态,若该夹角小于T-c,判定刀闸是闭合状态,若该夹角介于T-o和T-c之间,判定刀闸是虚合状态;
计算第一帧图像中左刀闸臂和右刀闸臂间的夹角的方式与上述计算下一帧图像中左刀闸臂和右刀闸臂之间的初始夹角的方式一致。
优选的是,根据校正夹角精确分析该帧图像中刀闸的状态的具体方式为:
根据该帧图像之前的所有帧图像确定刀闸运动的可靠状态,根据训练模型获取的该帧图像中的刀闸状态,结合可靠状态和校正夹角确定刀闸运动过程中的预测状态;
若出现当前帧图像的预测状态不同于可靠状态,且连续N_conti帧图像的预测状态均不同于可靠状态,将连续N_conti帧图像的预测状态作为更新后的可靠状态;
根据预测状态和运动方向确定刀闸的输出状态,刀闸的输出状态即为最终的精确分析结果。
优选的是,根据训练模型获取的该帧图像中的刀闸状态,结合可靠状态和校正夹角确定刀闸运动过程中的预测状态的方式为:
根据实际需求设定刀闸的左刀闸臂和右刀闸臂在闭合状态下的角度中阈值T-d、角度高阈值hT-d和角度低阈值lT-d,hT-d>T-d>lT-d,
若根据训练模型获取的当前帧图像中的刀闸状态为打开状态,则预测状态为打开状态;
若根据训练模型获取的当前帧图像中的刀闸状态为虚合或闭合状态,且可靠状态为虚合状态,对于刀闸从开到合的运动方向,刀闸的左刀闸臂和右刀闸臂间的校正夹角小于等于T-d,预测状态为闭合状态,否则为可靠状态,对于刀闸从合到开的运动方向,刀闸的左刀闸臂和右刀闸臂间的校正夹角小于等于lT-d,预测状态为闭合状态,否则为可靠状态;
若根据训练模型获取的当前帧图像中的刀闸状态为虚合或闭合状态,且可靠状态为闭合状态,刀闸的左刀闸臂和右刀闸臂间的校正夹角大于hT-d,预测状态为虚合状态,否则为可靠状态;
若根据训练模型获取的当前帧图像中的刀闸状态为虚合或闭合状态,且可靠状态为打开状态,则预测状态为虚合状态。
优选的是,根据预测状态和运动方向确定刀闸的输出状态的具体方式为:
根据实际需求设定刀闸的左刀闸臂和右刀闸臂在打开状态下的角度中阈值T-e、角度高阈值和hT-e和角度低阈值lT-e,hT-e>T-e>lT-e,
若当前帧图像中刀闸的预测状态是虚合状态,若上一帧图像的输出状态为打开,刀闸的运动方向为从闭合到打开,左刀闸臂和右刀闸臂间的校正夹角小于lT-e,则刀闸的最终输出状态为虚合状态,否则最终输出状态为打开状态;若刀闸的运动方向为打开到闭合,左刀闸臂和右刀闸臂间的校正夹角小于T-e,则刀闸的最终输出状态为虚合状态,否则最终输出状态为打开状态;若上一帧图像的输出状态为虚合,刀闸的运动方向为从闭合到打开,左刀闸臂和右刀闸臂间的校正夹角小于T-e,则刀闸的最终输出状态为虚合状态,否则最终输出状态为打开状态;若刀闸的运动方向为打开到闭合,左刀闸臂和右刀闸臂间的校正夹角小于hT-e,则刀闸的最终输出状态为虚合状态,否则最终输出状态为打开状态;若上一帧图像的输出状态为闭合或未知,则最终输出状态为预测状态;
若当前帧刀闸的预测状态是闭合或打开状态,则最终输出状态为预测状态。
优选的是,检测到刀闸停止运动的具体方式为:给定连续帧数阈值,若连续帧图像中经过精确分析的刀闸状态保持不变,且连续帧数大于连续帧数阈值,表明刀闸维持同一个状态,此时停止检测,验证最终状态。
优选的是,验证视频中刀闸运动的最终状态的具体方式为:
若刀闸的初始状态是打开状态,验证最终状态时是闭合状态则操作完成,验证最终状态时是虚合状态,则报警提示并请示工作人员人工确认和处理;若刀闸的初始状态是闭合状态,验证最终状态时是打开状态则操作完成,验证最终状态时是虚合状态,则报警提示并请示工作人员人工确认和处理;
若刀闸的初始状态是虚合状态,若刀闸的运动方向为由闭合到打开,验证最终状态是打开状态则操作完成,验证最终状态是虚合状态,则报警提示并请示工作人员人工确认和处理;若刀闸的运动方向为由打开到闭合,验证最终状态是闭合状态则操作完成,验证最终状态是虚合状态,则报警提示并请示工作人员人工确认和处理;若刀闸的运动方向未知,则表明刀闸一直处于虚合状态,报警提示并请示工作人员人工确认和处理。
本发明的有益效果为:本发明的对开式刀闸运动状态的精确检测方法,采集刀闸实时监控视频,先根据初始帧图像确定刀闸的初始状态和运动方向,再对初始帧图像后的下一帧图像进行精确分析,更有助于对刀闸整个运动过程的精确分析;在对下一帧图像进行精确分析时,先计算该帧图像中左刀闸臂和右刀闸臂之间的夹角,再结合前一帧图像估算系统误差,最后结合加权移动平均法获取左刀闸臂和右刀闸臂间的校正夹角,根据校正夹角精确分析该帧图像中刀闸的状态,提高该帧图像中左刀闸臂和右刀闸臂之间夹角计算的精度,减少精确分析时刀闸运动状态发生跳变的情形,提高分析的稳定性。检测到刀闸停止运动时,验证刀闸运动的最终状态,避免刀闸停止运动后还处于检测状态。
根据校正夹角精确分析图像中刀闸的状态时,更改检测过程中出现的与运动方向不一致的跳变状态,确定刀闸运动过程中的可靠状态,结合刀闸运动方向,确定刀闸的输出状态,减少跳变情形,提高实时检测精度。
具体实施方式
下面对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例:一种对开式刀闸运动状态的精确检测方法,包括:采集对开式刀闸的实时监控视频,根据实时监控视频的初始帧图像同步确定刀闸的初始状态和运动方向;对于初始帧图像后的每一帧图像利用同样的方式依次进行精确分析,对下一帧图像的精确分析方式为:计算下一帧图像中左刀闸臂和右刀闸臂之间的初始夹角,结合该帧图像的前一帧图像估算系统误差,结合系统误差利用加权移动平均法确定该帧图像中左刀闸臂和右刀闸臂间的校正夹角,根据校正夹角精确分析该帧图像中刀闸的状态并记录;同样的方式继续处理下一帧图像,直至检测到刀闸停止运动,验证视频中刀闸运动的最终状态。
将初始帧图像和初始帧图像后的图像分开的缘由:在对初始帧图像后的每一帧图像进行精确分析时需要获取刀闸的运动方向,而运动方向主要根据初始帧图像状态和既定的运动方式获取的,对初始帧图像进行分析时,已知信息太少只能先粗略估计,无法进行精确分析,故确定了初始状态和运动方向后再精确分析;如果初始帧图像的状态估计错误,后面精确分析时也会根据可靠状态修改过来,而且在处理初始帧时没有任何已知信息,只能相信初始帧的检测结果是可靠的。
根据实时监控视频的初始帧图像同步确定刀闸的初始状态和运动方向的具体方式为:未给定刀闸的初始状态和运动方向,获取实时监控视频第一帧图像中刀闸的状态,若第一帧图像中刀闸的状态是闭合,运动方向是从闭合到打开,若刀闸的状态是打开,运动方向是从打开到闭合,若刀闸的状态是虚合,继续检测下一帧图像直至刀闸的状态改变后再确定运动方向,第一帧图像中刀闸的状态为刀闸的初始状态,第一帧图像为初始帧图像;给定刀闸的初始状态和运动方向,获取实时监控视频第一帧图像中刀闸的状态,用于验证初始状态,若第一帧图像中刀闸的状态与初始状态不一致,同样的方式依次处理下一帧图像,直至出现刀闸状态和初始状态一致的一帧图像,该帧图像至第一帧图像为初始帧图像。若第一帧图像为虚合,无法确定运动方向,确定运动方向的方式为:若改变后的刀闸状态为打开,则运动方向为从闭合到打开,若改变后的刀闸状态为闭合,则运动方向为从打开到闭合。
获取实时监控视频第一帧图像中刀闸的状态的方式为:计算第一帧图像中左刀闸臂和右刀闸臂的夹角,根据该夹角判断刀闸的状态;根据用户需求设定刀闸在打开状态下的角度阈值T-o和闭合状态下的角度阈值T-c;若第一帧图像中的左刀闸臂和右刀闸臂之间的夹角大于T-o,判定刀闸是打开状态,若该夹角小于T-c,判定刀闸是闭合状态,若该夹角介于T-o和T-c之间,判定刀闸是虚合状态;计算第一帧图像中左刀闸臂和右刀闸臂间的夹角的方式与上述计算下一帧图像中左刀闸臂和右刀闸臂之间的初始夹角的方式一致。
计算下一帧图像中左刀闸臂和右刀闸臂之间的初始夹角的具体计算方式为:利用采集实时监控视频的监控设备在同样的位置下获取对开式刀闸的任一帧图像,利用该帧图像建立对开式刀闸的刀闸臂的边界线模型并保存为模型文件,根据模型文件计算刀闸臂的中点和中线;通过多种途径获取对开式刀闸的样本图像,利用深度学习对样本图像进行训练获取训练模型,利用训练模型对该帧图像进行检测,获取该帧图像中所有的刀闸区域和刀闸状态,再结合模型文件对该帧图像中的刀闸进行定位;根据上述定位的结果对该帧图像进行边缘检测,获取边缘线集合,计算该帧图像中刀闸臂的左中点和右中点到边缘线集合中的每条边缘线的距离,将不在阈值范围内的距离所对应的边缘线剔除,获取更新边缘线集合;利用中线将更新边缘线集合左右区分,分别获取左刀闸臂边缘线集合和右刀闸臂边缘线集合,将左刀闸臂边缘线集合和右刀闸臂边缘线集合进行权重分配,将权重分配后的左刀闸臂边缘线集合和右刀闸臂边缘线集合进行对称配对,确定最终的左刀闸臂边缘线和右刀闸臂边缘线,以最终的左刀闸臂边缘线和右刀闸臂边缘线为基准,计算左刀闸臂和右刀闸臂之间的初始夹角;若最终的左刀闸臂边缘线相对于闭合状态刀闸臂所在直线的角度为γ,最终的
右刀闸臂边缘线相对于闭合状态刀闸臂所在直线的角度为θ,则最终的左刀闸臂边缘线和右刀闸臂边缘线间的夹角为|θ-γ|,当前帧图像中左刀闸臂和右刀闸臂之间的初始夹角为|θ-γ|。左中点为左绝缘子中心线延长线和左刀闸臂上下边界线延长线的两个交点的中心点,右中点为右绝缘子中心线延长线和右刀闸臂上下边界线延长线的两个交点的中心点。
计算下一帧图像中左刀闸臂和右刀闸臂之间的夹角后,结合该帧图像的前一帧图像估算系统误差,结合系统误差利用加权移动平均法确定该帧图像中左刀闸臂和右刀闸臂间的校正夹角的具体方式为:计算当前帧图像中最终的左刀闸臂边缘线和右刀闸臂边缘线分别与闭合状态刀闸臂所在直线的夹角γ1和θ1,计算前一帧图像中最终的左刀闸臂边缘线和右刀闸臂边缘线分别与闭合状态刀闸臂所在直线的夹角γ2和θ2,系统误差记为noise=|(γ1-γ2)-(θ1-θ2)|;
前一帧图像中左刀闸臂和右刀闸臂之间的夹角记为|θ2-γ2)|,当前帧图像中左刀闸臂和右刀闸臂之间的夹角记为|θ1-γ1)|,采用加权移动平均法更新当前帧图像中左刀闸臂和右刀闸臂间的夹角为θn,θnew=w1_coe*|θ2-γ2|+w2_coe*|θ1-γ1|,其中,w1_coe和w2_coe分别为前一帧图像和当前帧图像的权重系数,且w1_coe+w2_coe=1,结合系统误差,当前帧图像的左刀闸臂和右刀闸臂间的校正夹角记为θfinal,θfinal=w1_coe*|θ2-γ2|+w2_coe*|θ1-γ1|+noise。
该校正夹角为该帧图像中左刀闸臂和右刀闸臂之间的夹角。下一帧图像中的左刀闸臂和右刀闸臂之间的夹角的计算方式与该帧图像中相同。该校正夹角的计算方式既考虑到系统误差,同时考虑到图像噪声,提高了左刀闸臂和右刀闸臂之间夹角计算的精确度。
根据校正夹角精确分析该帧图像中刀闸的状态的具体方式为:根据该帧图像之前的所有帧图像确定刀闸运动的可靠状态,根据训练模型获取的该帧图像中的刀闸状态,结合可靠状态和校正夹角确定刀闸运动过程中的预测状态;若出现当前帧图像的预测状态不同于可靠状态,且连续N_conti帧图像的预测状态均不同于可靠状态,将连续N_conti帧图像的预测状态作为更新后的可靠状态;根据预测状态和运动方向确定刀闸的输出状态,刀闸的输出状态即为最终的精确分析结果。
根据训练模型获取的该帧图像中的刀闸状态,结合可靠状态和校正夹角确定刀闸运动过程中的预测状态的方式为:根据实际需求设定刀闸的左刀闸臂和右刀闸臂在闭合状态下的角度中阈值T-d、角度高阈值hT-d和角度低阈值lT-d,hT-d>T-d>lT-d,若当前帧图像中的刀闸状态为打开状态,则预测状态为打开状态;若当前帧图像中的刀闸状态为虚合或闭合状态,且可靠状态为虚合状态,对于刀闸从开到合的运动方向,刀闸的左刀闸臂和右刀闸臂间的校正夹角小于等于T-d,预测状态为闭合状态,否则为可靠状态,对于刀闸从合到开的运动方向,刀闸的左刀闸臂和右刀闸臂间的校正夹角小于等于lT-d,预测状态为闭合状态,否则为可靠状态;若当前帧图像中的刀闸状态为虚合或闭合状态,且可靠状态为闭合状态,刀闸的左刀闸臂和右刀闸臂间的校正夹角大于hT-d,预测状态为虚合状态,否则为可靠状态;若当前帧图像中的刀闸状态为虚合或闭合状态,且可靠状态为打开状态,则预测状态为虚合状态。
刀闸在开合运动过程中运动方向是单一的,由打开到闭合或由闭合到打开,因此刀闸的开合状态是循序渐进的过程,不应该出现跳动,比如刀闸运动方向为由打开到闭合,则刀闸最开始状态为打开,打开状态持续一段时间后变为虚合,虚合状态持续一段时间后变为闭合,以此完成整个开合运动,而刀闸的可靠状态是基于当前帧图像之前的所有帧图像,之前所有帧图像的持续不变的状态为刀闸的可靠状态,如果当前帧图像的状态发生改变,但可靠状态不能立即发生改变,除非持续大于给定阈值的帧数状态均发生改变,可靠状态才更新为改变后的状态,可靠状态是根据刀闸的运动特性定义的,能够帮助减少刀闸状态跳变。刀闸可靠状态的初始值为刀闸初始状态,因为最开始没有任何刀闸状态的已知信息,只能相信刀闸初始状态是可靠的,在检测过程中会根据检测结果和刀闸运行方向不断更新刀闸可靠状态。
根据预测状态和运动方向确定刀闸的输出状态的具体方式为:根据实际需求设定刀闸的左刀闸臂和右刀闸臂在打开状态下的角度中阈值T-e、角度低阈值lT-e和角度高阈值hT-e,hT-e>T-e>lT-e,若当前帧图像中刀闸的预测状态是虚合状态,刀闸的运动方向为从闭合到打开,左刀闸臂和右刀闸臂间的校正夹角小于lT-e,则刀闸的最终输出状态为虚合状态,否则最终输出状态为打开状态;若刀闸的运动方向为打开到闭合,左刀闸臂和右刀闸臂间的校正夹角小于T-e,则刀闸的最终输出状态为虚合状态,否则最终输出状态为打开状态;若上一帧图像的输出状态为虚合,刀闸的运动方向为从闭合到打开,左刀闸臂和右刀闸臂间的校正夹角小于T-e,则刀闸的最终输出状态为虚合状态,否则最终输出状态为打开状态;若刀闸的运动方向为打开到闭合,左刀闸臂和右刀闸臂间的校正夹角小于hT-e,则刀闸的最终输出状态为虚合状态,否则最终输出状态为打开状态;若上一帧图像的输出状态为闭合或未知,则最终输出状态为预测状态;若当前帧刀闸的预测状态是闭合或打开状态,则最终输出状态为预测状态。
检测到刀闸停止运动的具体方式为:给定连续帧数阈值,若连续帧图像中经过精确分析的刀闸状态保持不变,且连续帧数大于连续帧数阈值,表明刀闸维持同一个状态,此时停止检测,验证最终状态。检测到刀闸停止运动还包括另外两种方式,一种方式是给定校正夹角差值阈值,若连续帧图像中校正夹角差值小于给定的校正夹角差值阈值,且连续帧数大于连续帧数阈值,则表明刀闸臂间的角度基本保持不变,此时停止检测,验证最终状态;另一种方式是根据训练模型获取图像中刀闸的位置矩形框,计算刀闸位置矩形框中心点坐标,给定坐标差值阈值,若连续帧图像中中心点坐标差值小于给定的坐标差值阈值,且连续帧数大于连续帧数阈值,则表明刀闸臂的位置基本保持不变,此时停止检测,验证最终状态。
验证视频中刀闸运动的最终状态的具体方式为:若刀闸的初始状态是打开状态,验证最终状态是闭合状态则操作完成,验证最终状态是虚合状态,则报警提示并请示工作人员人工确认和处理;若刀闸的初始状态是闭合状态,验证最终状态是打开状态则操作完成,验证最终状态是虚合状态,则报警提示并请示工作人员人工确认和处理。若刀闸的初始状态是虚合状态,若刀闸的运动方向为由闭合到打开,验证最终状态是打开状态则操作完成,验证最终状态是虚合状态,则报警提示并请示工作人员人工确认和处理;若刀闸的运动方向为由打开到闭合,验证最终状态是闭合状态则操作完成,验证最终状态是虚合状态,则报警提示并请示工作人员人工确认和处理;若刀闸的运动方向未知,则表明刀闸一直处于虚合状态,报警提示并请示工作人员人工确认和处理。由于待处理的刀闸实时视频中刀闸的运动状态是单向的,从打开到闭合或从闭合到打开,因此验证最终状态也相对单一。
计算下一帧图像中左刀闸臂和右刀闸臂间的夹角中,利用任一帧图像建立对开式刀闸的刀闸臂的边界线模型并保存为模型文件的方式为:在计算机上设置一个程序,利用该程序打开该帧图像并对其中的刀闸臂上下边界线进行描边,画出左绝缘子中心线和右绝缘子中心线,将描边对应的线段端点坐标和左右绝缘子中心线对应的线段端点坐标保存为模型文件;若上述任一帧图像中刀闸为闭合状态,对整体刀闸臂的上下边界进行描边;若上述任一帧图像中刀闸为打开或虚合状态,根据实际左右刀闸臂的上下边界进行描边,该帧图像中刀闸的状态为人为识别。
根据模型文件计算刀闸臂中点的方式为:当刀闸是闭合状态,根据模型文件分别获取整体刀闸臂的上下边界线延长线和左绝缘子中心线延长线的两个交点,记为两个左侧端点,获取整体刀闸臂的上下边界线延长线和右绝缘子中心线延长线的两个交点,记为两个右侧端点;两个左侧端点和两个右侧端点形成的闭合框的中点为刀闸臂中点;当刀闸是打开或虚合状态,根据模型文件分别获取左刀闸臂的上下边界线延长线和左绝缘子中心线延长线的两个交点,记为两个左侧端点,获取右刀闸臂的上下边界线延长线和右绝缘子中心线延长线的两个交点,记为两个右侧端点;根据两个左侧端点和两个右侧端点获取左中点和右中点,左中点和右中点之间的线段的中点为刀闸臂中点。
根据模型文件计算刀闸臂中线的方式为:将建立模型文件时用的图像标记为模板图像,当刀闸是闭合状态,获取采集视频的相机的畸变系数,并根据模板图像尺寸计算相机矩阵camera_matrix=[focal_length,0,center.x;0,focal_length,center.y;0,0,1],其中focal_length为模板图像宽度,center.x和center.y分别为模板图像中点的x坐标和y坐标;根据所述两个左侧端点、两个右侧端点、畸变系数和相机矩阵获取相机采集时相对于刀闸的坐标位置,相机的Z轴在模板图像上的投影方向为刀闸臂的中线方向,结合刀闸臂的中点确定刀闸臂的中线;当刀闸是虚合或打开状态,根据所述左中点和左刀闸臂上下边界线的平均斜率获取左中心线,根据所述右中点和右刀闸臂上下边界线的平均斜率获取右中心线,左中心线和右中心线延长形成一个交点;通过该交点和所述中点的连线为刀闸臂的中线。
通过多种途径获取对开式刀闸的样本图像的方式包括现场采集、软件模拟和实物模型途径,现场采集的具体方式为采集对开式刀闸在不同状态下的样本图像;软件模拟的具体方式为利用设计软件对现场采集的样本图像进行建模,获取对应的三维模型,在三维模型中配置不同的环境条件,设置开合动作并渲染,获取对开式刀闸的开合运动视频,根据运动视频获取不同状态不同环境不同角度下的刀闸样本图像;实物模型的具体方式为将实物模型放在不同环境下手动开合刀闸并拍摄视频,根据拍摄视频获取不同状态下的刀闸图像。
利用训练模型对下一帧图像进行检测,获取该帧图像中一个或一个以上的刀闸所在的区域,再结合模型文件对该帧图像中的刀闸定位的具体方式为:利用训练模型对该图像进行检测,获取该帧图像中的所有刀闸区域及每个刀闸区域对应的刀闸状态,“闭合”和“虚合”状态的刀闸对应的所在区域为包含左右刀闸臂的整体矩形框区域,“打开”状态的刀闸对应的所在区域为包含左刀闸臂的左矩形框区域和包含右刀闸臂的右矩形框区域;对于“闭合”和“虚合”状态的刀闸同时获取其左右刀闸臂的接触点位置矩形框;此处是深度学习后的检测结果,不同于建立模型文件的方式。
根据模型文件获取闭合状态的刀闸的闭合四边形框区域,计算该帧图像中整体矩形框区域、左矩形框区域、右矩形框区域分别与闭合四边形框区域的重叠面积,遍历第一帧图像中所有“闭合”和“虚合”状态的刀闸所在的区域,给定重叠面积阈值,获取包含左中点和右中点且重叠面积最大并大于重叠面积阈值的区域为最终的左右刀闸臂整体区域,同时计算左右刀闸臂的接触点位置矩形框的中心点并将其记为接触点,以过接触点且与该左右刀闸臂整体区域矩形框短边平行的中心直线为界限,左侧矩形框为左刀闸臂矩形框,右侧矩形框为右刀闸臂矩形框,实现对该帧图像中“闭合”或“虚合”状态的刀闸定位;
若不存在上述包含左中点和右中点且重叠面积最大并大于重叠面积阈值的区域,则表明该帧图像中待检测的刀闸的状态不是“闭合”或“虚合”状态,遍历该帧图像中所有“打开”状态且重叠面积大于重叠面积阈值的刀闸所在的区域,获取包含左中点且重叠面积最大的区域记作第一打开左刀闸臂区域;获取包含右中点且重叠面积最大的区域记作第一打开右刀闸臂区域;遍历第一帧图像中所有“打开”状态且重叠面积小于等于重叠面积阈值的刀闸所在的区域,获取前两个包含左中点且重叠面积最大的区域记为左刀闸臂匹配区域;获取前两个包含右中点且重叠面积最大的区域记为右刀闸臂匹配区域,左刀闸臂匹配区域、右刀闸臂匹配区域均为矩形框状;
计算任一个左刀闸臂匹配区域的4个顶点到左中点的距离并选取左侧最小距离,相比两个左侧最小距离并将较小的左侧最小距离对应的左刀闸臂匹配区域记为第二打开左刀闸臂区域;计算任一个右刀闸臂匹配区域的4个顶点到右中点的距离并选取右侧最小距离,相比两个右侧最小距离并将较小的右侧最小距离对应的右刀闸臂匹配区域记为第二打开右刀闸臂区域;
给定刀闸臂面积阈值,大于刀闸臂面积阈值的第一打开左刀闸臂区域记为最终左刀闸臂区域,否则大于刀闸臂面积阈值的第二打开左刀闸臂区域记为最终左刀闸臂区域;大于刀闸臂面积阈值的第一打开右刀闸臂区域记为最终右刀闸臂区域,否则大于刀闸臂面积阈值的第二打开右刀闸臂区域记为最终右刀闸臂区域,实现“打开”状态的刀闸定位。对于采集的视频中的每帧图像中的刀闸定位均采取相同的方式。
将模型文件中对开式刀闸的左中点和右中点对应到该帧图像中,得到该帧图像的刀闸臂的左中点和右中点,计算该帧图像中刀闸臂的左中点和右中点到边缘线集合中的每条边缘线的距离,将不在阈值范围内的距离所对应的边缘线剔除,获取更新边缘线集合。对于每一帧图像中获取更新边缘线集合的方式与该帧图像中获取更新边缘线的方式相同。
利用中线将更新边缘线集合左右区分,分别获取左刀闸臂边缘线集合和右刀闸臂边缘线集合”的具体方式为:将根据模型文件计算的刀闸臂的中点和中线直接对应到目标图像中,在目标图像上计算以中点为起点的垂直于中线的方向向左或方向向右的单位方向向量
遍历更新边缘线集合中的边缘线,对其中任一条边缘线的两个端点记作T1和T2,将T1与中点的向量记作将T2与中点的向量记作/>计算/>和/>对于方向向右的单位方向向量/>若/>则T1在中线右侧,否则在中线左侧,若/>则T2在中线右侧,否则中线左侧;对于方向向左的单位方向向量/>若/>则T1在中线左侧,否则在中线右侧;若/>则T2在中线左侧,否则中线右侧;若T1和T2均在中线左侧,则该边缘线为左边缘线,若T1和T2均在中线右侧,则该边缘线为右边缘线,若T1和T2分别在中线两侧,计算该边缘线以中线为分割线的左右线段长度,该边缘线为左右侧线段较长侧的边缘线;如此获取左刀闸臂边缘线集合和右刀闸臂边缘线集合。
单位方向向量计算的具体方式为:设定目标图像上刀闸臂的中线为y=kx+b,中点坐标为(Cx,Cy),设定垂直于中线且过中点的垂线的直线方程为y=cx+d,c=-1/k,Cy=-1/k*Cx+d,d=Cy+1/k*Cx;根据垂线的直线方程计算以中点为起点且方向向右的单位方向向量/>设单位方向向量的终点坐标为(nx,ny),则(ny-Cy)/(nx-Cx)=-1/k,(ny-Cy)2+(nx-Cx)2=1,求nx和ny,单位方向向量/>
对于左刀闸臂边缘线集合分配权重的方式为:遍历左刀闸臂边缘线集合中的所有边缘线,计算每条左刀闸臂边缘线角度并根据其对左刀闸臂边缘进行分类,给定高角度阈值和低角度阈值,将左刀闸臂边缘线角度大于高角度阈值对应的左刀闸臂边缘线设定为垂直边缘线,将左刀闸臂边缘线角度小于低角度阈值对应的左刀闸臂边缘线设定为水平边缘线,将左刀闸臂边缘线角度介于低角度阈值和高角度阈值之间对应的左刀闸臂边缘线设定为倾斜边缘线;
对左刀闸臂的所有垂直边缘线,设定左刀闸臂左中点的x坐标值L_x,在左刀闸臂左中点的左右两侧分别寻找两个与L_x相差最小的x坐标所对应的边缘点,左侧两个边缘点的x坐标值记作L_x1和L_x2,L_x 1大于L_x2;右侧两个边缘点的x坐标值记作R_x1和R_x2,R_x 1大于R_x2;
对左刀闸臂的所有水平边缘线,设定左刀闸臂左中点的y坐标值为L_y,在左刀闸臂左中点的上下两侧分别寻找两个与L_y相差最小的y坐标所对应的边缘点,上侧两个边缘点的y坐标值记作T_y1和T_y2,T_y1大于T_y2;下侧两个边缘点的y坐标值记作B_y1和B_y2,B_y1大于B_y2;
对左刀闸臂的所有倾斜边缘线,设定左刀闸臂左中点的x坐标值和y坐标值为L_xx和L_yy,在左刀闸臂左中点的左上侧和右下侧分别寻找两个与L_xx相差最小的x坐标对应的边缘点,与L_yy相差最小的y坐标对应的边缘点,左上侧两个边缘点的x坐标值记作L_xx1和L_xx2,L_xx1大于_xx2,y坐标值记作T_yy1和T_yy2,T_yy1大于T_yy2;右下侧两个边缘点的x坐标值记作R_xx1和R_xx2,R_xx1大于R_xx2,y坐标值记作B_yy1和B_yy2,B_yy1大于B_yy2;
获取每条垂直边缘线的权重的方式为:遍历位于左刀闸臂左中点左侧的每条垂直边缘线上的每个边缘点,该边缘点的x坐标值大于等于L_x1时其贡献权值为Value_W,该边缘点的x坐标值大于等于L_x2小于L_x1时其贡献权值为Value_W/2,否则该边缘点贡献权值为0;遍历位于左刀闸臂左中点右侧的每条垂直边缘线上的每个边缘点,该边缘点的x坐标值小于等于L_x2时其贡献权值为Value_W,该边缘点的x坐标值大于L_x2小于等于L_x1时其贡献权值为Value_W/2,否则该边缘点贡献权值为0,所有边缘点的贡献权值的总和为当前垂直边缘线的权重;
获取每条水平边缘线的权重的方式为:遍历位于左刀闸臂左中点上侧的每条水平边缘线上的每个边缘点,该边缘点的y坐标值大于等于T_y1时其贡献权值为Value_W,该边缘点的y坐标值大于等于T_y2小于T_y1时其贡献权值为Value_W/2,否则该边缘点的贡献权值为0;遍历位于左刀闸臂左中点下侧的每条水平边缘线上的每个边缘点,该边缘点的y坐标值小于等于B_y2时其贡献权值为Value_W,该边缘点y坐标值大于B_y2小于等于B_y1时其贡献权值为Value_W/2,否则该边缘点的贡献权值为0,所有边缘点的贡献权值的总和为当前水平边缘线的权重;
获取每条倾斜边缘线的权重的方式为:遍历位于左刀闸臂左中点左上侧的每条倾斜边缘线上的每个边缘点,该边缘点的x坐标值大于等于L_xx1时其贡献权值为Value_W,该边缘点的x坐标值大于等于L_xx2小于L_xx1时其贡献权值为Value_W/2,否则该边缘点的贡献权值为0,该边缘点的y坐标值大于等于T_yy1时其贡献权值为Value_W,该边缘点的y坐标值大于等于T_yy2小于T_yy1时其贡献权值为Value_W/2,否则该边缘点的贡献权值为0;遍历位于左刀闸臂左中点右下侧的每条倾斜边缘线上的每个边缘点,该边缘点的x坐标值小于等于L_xx2时其贡献权值为Value_W,该边缘点的x坐标值大于L_xx2小于等于L_xx1时其贡献权值为Value_W/2,否则该边缘点的贡献权值为0,该边缘点的y坐标值小于等于B_yy2时其贡献权值为Value_W,该边缘点的y坐标值大于B_yy2小于等于B_yy1时其贡献权值为Value_W/2,否则该边缘点的贡献权值为0,所有边缘点的贡献权值的总和为当前倾斜边缘线的权重;
对于右刀闸臂边缘线集合分配权重的方式和左刀闸臂边缘线集合分配权重的方式一样。
将分配权重后的左边缘线集合和右边缘线集合进行对称配对,确定最终的左刀闸臂边缘线和右刀闸臂边缘线的方式为:
给定角度阈值,将分配权重后的左刀闸臂边缘线集合中的任一条边缘线相对于水平位置的角度记为Mh,h代表不同的左刀闸臂边缘线,将任两个左刀闸臂边缘线的角度差值位于角度阈值内的划分为同组,将同组内的左刀闸臂边缘线按照从长到短排序;将分配权重后的右刀闸臂边缘线集合中的任一条边缘线相对于水平位置的角度记为Nm,m代表不同的右刀闸臂边缘线,将任两个右刀闸臂边缘线的角度差值位于角度阈值内的划分为同组,将同组内的右刀闸臂边缘线按照从长到短排序,遍历左刀闸臂边缘线集合的所有同组和右刀闸臂边缘线集合的所有同组进行一一配对;
计算所有同组的平均角度,根据左刀闸臂边缘线集合的每个同组的平均角度和左中点获取每个同组的校正左刀闸臂边缘线,设任一左刀闸臂边缘线集合的同组的平均角度为Ave_L,左中点坐标为(L_x,L_y),则校正左刀闸臂边缘线的斜率为tan(Ave_L),截距为L_y-tan(Ave_L)*L_x,所以校正左刀闸臂边缘线为y=tan(Ave_L)*x+L_y-tan(Ave_L)*L_x,根据实施例2中边缘线权重分配的方法计算每个同组的校正左刀闸臂边缘线的权重w_L,将校正左刀闸臂边缘线与中线的交点记作A点;根据右刀闸臂边缘线集合的每个同组的平均角度和右中点获取每个同组的校正右刀闸臂边缘线,设任一右刀闸臂边缘线集合的同组的平均角度为Ave_R,右中点坐标为(R_x,R_y),则校正右刀闸臂边缘线的斜率为tan(Ave_R),截距为R_y-tan(Ave_R)*R_x,所以校正右刀闸臂边缘线为y=tan(Ave_R)*x+R_y-tan(Ave_R)*R_x,根据实施例2中边缘线权重分配的方法计算每个同组的校正右刀闸臂边缘线的权重w_R,将校正右刀闸臂边缘线与中线的交点记作B点,计算A点和B点之间的距离dAB,刀闸臂左中点和右中点间的距离记作d0;若dAB/d0>0.5则剔除A点所在的同组和B点所在的同组;
计算目标图像中刀闸定位的左矩形框区域角度和右矩形框区域角度,计算左矩形框区域角度和校正左刀闸臂边缘线的角度的差d_A_L,计算右矩形框区域角度和校正右刀闸臂边缘线的角度的差d_A_R,对称配对的配对分数设定为S1,结合刀闸定位的最终配对分数为S,
配对分数S1和S的计算方式为:
设定ratio=dAB/d0,
S1=a*exp(-(ratio*ratio*a2))*w_L*w_R
a是调节参数,
配对公式的含义:每对配对的校正左刀闸臂边缘线与中线的交点和校正右刀闸臂边缘线与中线的交点间的距离dAB越小,校正左刀闸臂边缘线的权重和校正右刀闸臂边缘线的权重越大,刀闸定位的左矩形框区域角度和校正左刀闸臂边缘线的角度的差越小,刀闸定位的右矩形框区域角度和校正右刀闸臂边缘线的角度的差越小,配对分数越高,对应的校正左刀闸臂边缘线和校正右刀闸臂边缘线是最终的左刀闸臂边缘线和右刀闸臂边缘线的概率越高;分数最高的配对组合对应的校正左刀闸臂边缘线和校正右刀闸臂边缘线即为最终的左刀闸臂边缘线和右刀闸臂边缘线。调节参数a根据实验和先验知识确定。
本发明中的左右刀闸臂指的是左刀闸臂和右刀闸臂,本发明中的刀闸指的是对开式刀闸。对开式刀闸指的是双柱中心断口式隔离开关,双柱指的是左右两侧竖直的绝缘子,中心断口指的是左右刀闸臂在虚合或闭合状态时的接触位置,该类隔离开关在开合过程中左右刀闸臂以绝缘子上端点为旋转点,左右刀闸臂同步对称开合。刀闸在运动过程中三个状态:打开、闭合和虚合状态,建立模型文件和根据训练模型获取刀闸状态时,刀闸的闭合状态指的是左右刀闸臂在同一直线上,虚合状态指的是左右刀闸臂间存在接触但不在同一直线上,打开状态指的是左右刀闸臂间不存在接触。这里的刀闸状态是笼统的,不同于根据刀闸臂间的夹角获取的刀闸的实时状态,根据刀闸臂间夹角获取的刀闸的实时状态为每帧图像中刀闸的最终状态。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种对开式刀闸运动状态的精确检测方法,其特征在于,包括:采集对开式刀闸的实时监控视频,根据实时监控视频的初始帧图像同步确定刀闸的初始状态和运动方向;对于初始帧图像后的每一帧图像利用同样的方式依次进行精确分析,对下一帧图像的精确分析方式为:计算下一帧图像中左刀闸臂和右刀闸臂之间的初始夹角,结合该帧图像的前一帧图像估算系统误差,结合系统误差利用加权移动平均法确定该帧图像中左刀闸臂和右刀闸臂间的校正夹角,根据校正夹角精确分析该帧图像中刀闸的状态并记录;同样的方式继续处理下一帧图像,直至检测到刀闸停止运动,验证视频中刀闸运动的最终状态;
计算下一帧图像中左刀闸臂和右刀闸臂之间的初始夹角的具体计算方式为:
利用采集实时监控视频的监控设备在同样的位置下获取对开式刀闸的任一帧图像,利用该帧图像建立对开式刀闸的刀闸臂的边界线模型并保存为模型文件,根据模型文件计算刀闸臂的中点和中线;
通过多种途径获取对开式刀闸的样本图像,利用深度学习对样本图像进行训练获取训练模型,利用训练模型对该帧图像进行检测,获取该帧图像中所有的刀闸区域和刀闸状态,再结合模型文件对该帧图像中的刀闸进行定位;
根据上述定位的结果对该帧图像进行边缘检测,获取边缘线集合,计算该帧图像中刀闸臂的左中点和右中点到边缘线集合中的每条边缘线的距离,将不在阈值范围内的距离所对应的边缘线剔除,获取更新边缘线集合;
利用中线将更新边缘线集合左右区分,分别获取左刀闸臂边缘线集合和右刀闸臂边缘线集合,将左刀闸臂边缘线集合和右刀闸臂边缘线集合进行权重分配,将权重分配后的左刀闸臂边缘线集合和右刀闸臂边缘线集合进行对称配对,确定最终的左刀闸臂边缘线和右刀闸臂边缘线,以最终的左刀闸臂边缘线和右刀闸臂边缘线为基准,计算左刀闸臂和右刀闸臂之间的初始夹角。
2.根据权利要求1所述的对开式刀闸运动状态的精确检测方法,其特征在于,根据实时监控视频的初始帧图像同步确定刀闸的初始状态和运动方向的具体方式为:
未给定刀闸的初始状态和运动方向,获取实时监控视频第一帧图像中刀闸的状态,若第一帧图像中刀闸的状态是闭合,运动方向是从闭合到打开,若刀闸的状态是打开,运动方向是从打开到闭合,若刀闸的状态是虚合,继续检测下一帧图像直至刀闸的状态改变后再确定运动方向,第一帧图像中刀闸的状态为刀闸的初始状态,第一帧图像为初始帧图像;
给定刀闸的初始状态和运动方向,获取实时监控视频第一帧图像中刀闸的状态,用于验证初始状态,若第一帧图像中刀闸的状态与初始状态不一致,同样的方式依次处理下一帧图像,直至出现刀闸状态和初始状态一致的一帧图像,该帧图像为初始帧图像。
3.根据权利要求1所述的对开式刀闸运动状态的精确检测方法,其特征在于,结合该帧图像的前一帧图像估算系统误差,结合系统误差利用加权移动平均法确定该帧图像中左刀闸臂和右刀闸臂间的校正夹角的具体方式为:
计算当前帧图像中最终的左刀闸臂边缘线和右刀闸臂边缘线分别与闭合状态刀闸臂所在直线的夹角γ1和θ1,计算前一帧图像中最终的左刀闸臂边缘线和右刀闸臂边缘线分别与闭合状态刀闸臂所在直线的夹角γ2和θ2,系统误差记为noise=|(γ1-γ2)-(θ1-θ2)|;
前一帧图像中左刀闸臂和右刀闸臂之间的夹角记为|θ2-γ2)|,当前帧图像中左刀闸臂和右刀闸臂之间的夹角记为|θ1-γ1)|,采用加权移动平均法更新当前帧图像中左刀闸臂和右刀闸臂间的夹角为θnew,θnew=w1_coe*|θ2-γ2|+w2_coe*|θ1-γ1|,
其中,w1_coe和w2_coe分别为前一帧图像和当前帧图像的权重系数,且w1_coe+w2_coe=1,结合系统误差,当前帧图像的左刀闸臂和右刀闸臂间的校正夹角记为θfinal,θfinal=w1_coe*|θ2-γ2|+w2_coe*|θ1-γ1|+noise。
4.根据权利要求2所述的对开式刀闸运动状态的精确检测方法,其特征在于,获取实时监控视频第一帧图像中刀闸的状态的方式为:计算第一帧图像中左刀闸臂和右刀闸臂的夹角,根据该夹角判断刀闸的状态;
根据用户需求设定刀闸在打开状态下的角度阈值T-o和闭合状态下的角度阈值T-c;
若第一帧图像中的左刀闸臂和右刀闸臂之间的夹角大于T-o,判定刀闸是打开状态,若该夹角小于T-c,判定刀闸是闭合状态,若该夹角介于T-o和T-c之间,判定刀闸是虚合状态;
计算第一帧图像中左刀闸臂和右刀闸臂间的夹角的方式与上述计算下一帧图像中左刀闸臂和右刀闸臂间的初始夹角的方式一致。
5.根据权利要求1所述的对开式刀闸运动状态的精确检测方法,其特征在于,根据校正夹角精确分析该帧图像中刀闸的状态的具体方式为:
根据该帧图像之前的所有帧图像确定刀闸运动的可靠状态,根据训练模型获取的该帧图像中的刀闸状态,结合可靠状态和校正夹角确定刀闸运动过程中的预测状态;
若出现当前帧图像的预测状态不同于可靠状态,且连续N_conti帧图像的预测状态均不同于可靠状态,将连续N_conti帧图像的预测状态作为更新后的可靠状态;
根据预测状态和运动方向确定刀闸的输出状态,刀闸的输出状态即为最终的精确分析结果。
6.根据权利要求5所述的对开式刀闸运动状态的精确检测方法,其特征在于,根据训练模型获取的该帧图像中的刀闸状态,结合可靠状态和校正夹角确定刀闸运动过程中的预测状态的方式为:
根据实际需求设定刀闸在闭合状态下的角度中阈值T-d、角度高阈值hT-d和角度低阈值lT-d,hT-d>T-d>lT-d,
若根据训练模型获取的当前帧图像中的刀闸状态为打开状态,则预测状态为打开状态;
若根据训练模型获取的当前帧图像中的刀闸状态为虚合或闭合状态,且可靠状态为虚合状态,对于刀闸从开到合的运动方向,刀闸的左刀闸臂和右刀闸臂间的校正夹角小于等于T-d,预测状态为闭合状态,否则为可靠状态,对于刀闸从合到开的运动方向,刀闸的左刀闸臂和右刀闸臂间的校正夹角小于等于lT-d,预测状态为闭合状态,否则为可靠状态;
若根据训练模型获取的当前帧图像中的刀闸状态为虚合或闭合状态,且可靠状态为闭合状态,刀闸的左刀闸臂和右刀闸臂间的校正夹角大于hT-d,预测状态为虚合状态,否则为可靠状态;
若根据训练模型获取的当前帧图像中的刀闸状态为虚合或闭合状态,且可靠状态为打开状态,则预测状态为虚合状态。
7.根据权利要求5所述的对开式刀闸运动状态的精确检测方法,其特征在于,根据预测状态和运动方向确定刀闸的输出状态的具体方式为:
根据实际需求设定刀闸在打开状态下的角度中阈值T-e、角度高阈值和hT-e和角度低阈值lT-e,hT-e>T-e>lT-e,
若当前帧图像中刀闸的预测状态是虚合状态,若上一帧图像的输出状态为打开,刀闸的运动方向为从闭合到打开,左刀闸臂和右刀闸臂间的校正夹角小于lT-e,则刀闸的最终输出状态为虚合状态,否则最终输出状态为打开状态;若刀闸的运动方向为打开到闭合,左刀闸臂和右刀闸臂间的校正夹角小于T-e,则刀闸的最终输出状态为虚合状态,否则最终输出状态为打开状态;若上一帧图像的输出状态为虚合,刀闸的运动方向为从闭合到打开,左刀闸臂和右刀闸臂间的校正夹角小于T-e,则刀闸的最终输出状态为虚合状态,否则最终输出状态为打开状态;若刀闸的运动方向为打开到闭合,左刀闸臂和右刀闸臂间的校正夹角小于hT-e,则刀闸的最终输出状态为虚合状态,否则最终输出状态为打开状态;若上一帧图像的输出状态为闭合或未知,则最终输出状态为预测状态;
若当前帧刀闸的预测状态是闭合或打开状态,则最终输出状态为预测状态。
8.根据权利要求5所述的对开式刀闸运动状态的精确检测方法,其特征在于,检测到刀闸停止运动的具体方式为:给定连续帧数阈值,若连续帧图像中经过精确分析的刀闸状态保持不变,且连续帧数大于连续帧数阈值,表明刀闸维持同一个状态,此时停止检测,验证最终状态。
9.根据权利要求5所述的对开式刀闸运动状态的精确检测方法,其特征在于,验证视频中刀闸运动的最终状态的具体方式为:
若刀闸的初始状态是打开状态,验证最终状态时是闭合状态则操作完成,验证最终状态时是虚合状态,则报警提示并请示工作人员人工确认和处理;若刀闸的初始状态是闭合状态,验证最终状态时是打开状态则操作完成,验证最终状态时是虚合状态,则报警提示并请示工作人员人工确认和处理;
若刀闸的初始状态是虚合状态,若刀闸的运动方向为由闭合到打开,验证最终状态是打开状态则操作完成,验证最终状态是虚合状态,则报警提示并请示工作人员人工确认和处理;若刀闸的运动方向为由打开到闭合,验证最终状态是闭合状态则操作完成,验证最终状态是虚合状态,则报警提示并请示工作人员人工确认和处理;若刀闸的运动方向未知,则表明刀闸一直处于虚合状态,报警提示并请示工作人员人工确认和处理。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910895608 | 2019-09-21 | ||
CN2019108956088 | 2019-09-21 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111191641A CN111191641A (zh) | 2020-05-22 |
CN111191641B true CN111191641B (zh) | 2024-04-09 |
Family
ID=70710913
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010214399.9A Active CN111191641B (zh) | 2019-09-21 | 2020-03-24 | 一种对开式刀闸运动状态的精确检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111191641B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112540292B (zh) * | 2020-10-26 | 2023-06-27 | 国网宁夏电力有限公司检修公司 | 一种断路器动作次数计数装置及方法 |
CN113569819B (zh) * | 2021-09-23 | 2021-12-24 | 泰豪软件股份有限公司 | 刀闸开合状态的识别方法、系统、存储介质及计算机设备 |
CN116660741B (zh) * | 2023-07-26 | 2023-11-14 | 天津宜科自动化股份有限公司 | 一种用于智能基站的断路器关断检测方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109063764A (zh) * | 2018-07-26 | 2018-12-21 | 福建和盛高科技产业有限公司 | 一种基于机器视觉的隔离开关合闸操作到位的判断方法 |
CN109308447A (zh) * | 2018-07-29 | 2019-02-05 | 国网上海市电力公司 | 在电力远程监控中自动提取设备运行参数和运行状态的方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8627993B2 (en) * | 2007-02-12 | 2014-01-14 | Ethicon Endo-Surgery, Inc. | Active braking electrical surgical instrument and method for braking such an instrument |
-
2020
- 2020-03-24 CN CN202010214399.9A patent/CN111191641B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109063764A (zh) * | 2018-07-26 | 2018-12-21 | 福建和盛高科技产业有限公司 | 一种基于机器视觉的隔离开关合闸操作到位的判断方法 |
CN109308447A (zh) * | 2018-07-29 | 2019-02-05 | 国网上海市电力公司 | 在电力远程监控中自动提取设备运行参数和运行状态的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111191641A (zh) | 2020-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111191641B (zh) | 一种对开式刀闸运动状态的精确检测方法 | |
CN110942443A (zh) | 一种对开式刀闸状态的实时检测方法 | |
EP1859411B1 (en) | Tracking objects in a video sequence | |
CN106408591B (zh) | 一种抗遮挡的目标跟踪方法 | |
CN109034095A (zh) | 一种人脸对齐检测方法、装置和存储介质 | |
CN107014294A (zh) | 一种基于红外图像的接触网几何参数检测方法及系统 | |
CN110717409B (zh) | 一种对开式刀闸状态的实时精确检测方法 | |
JP2007128513A (ja) | シーン解析 | |
CN110705571A (zh) | 一种剪刀式刀闸开合状态检测方法 | |
CN112985263B (zh) | 一种弓网几何参数检测方法、装置及设备 | |
CN108647597B (zh) | 一种手腕识别方法、手势识别方法、装置和电子设备 | |
CN112017173B (zh) | 基于目标检测网络和结构化定位的电力设备缺陷检测方法 | |
CN105574891A (zh) | 检测图像中的运动目标的方法及系统 | |
CN108509975A (zh) | 一种异常在线聚类方法及装置,电子设备 | |
CN110689528B (zh) | 一种基于自动定位的对开式刀闸开合角度检测方法 | |
CN110675452A (zh) | 一种实时跟踪的对开式刀闸状态的检测方法 | |
CN110717932B (zh) | 一种实时跟踪的剪刀式刀闸状态的检测方法 | |
CN111008951B (zh) | 一种基于定位识别的对开式刀闸开合角度的计算方法 | |
CN110689574B (zh) | 一种对开式刀闸运动状态的检测方法 | |
CN116503957B (zh) | 一种燃气入户作业行为识别方法 | |
CN108229251A (zh) | 一种动作识别方法及装置 | |
CN116721559A (zh) | 一种基于kcf算法的干线绿波控制方法及系统 | |
CN110689574A (zh) | 一种对开式刀闸运动状态的检测方法 | |
CN110717923B (zh) | 一种能够快速识别电线的刀闸状态检测方法 | |
CN113313734B (zh) | 一种基于线性外推预测的运动目标跟踪方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |