CN110689574A - 一种对开式刀闸运动状态的检测方法 - Google Patents

Abstract

本发明提出一种对开式刀闸运动状态的检测方法，包括采集对开式刀闸的实时监控视频，根据实时监控视频的第一帧图像同步确定刀闸的初始状态和运动方向；依次对下一帧图像进行精确分析，直至检测到刀闸停止运动，验证视频中刀闸运动的最终状态；对下一帧图像精确分析方式为：计算下一帧图像中左刀闸臂和右刀闸臂之间的夹角，结合该帧图像的前一帧图像估算系统误差，结合系统误差利用加权移动平均法确定该帧图像中左刀闸臂和右刀闸臂间的校正夹角，根据校正夹角精确分析该帧图像中刀闸的状态并记录。同样的方式继续处理下一帧图像，直至检测到刀闸停止运动，验证视频中刀闸运动的最终状态。本发明解决了对开式刀闸状态的实时检测精度低的问题。

Description

一种对开式刀闸运动状态的检测方法

技术领域

本发明涉及图像识别技术领域，特别涉及一种对开式刀闸运动状态的检测方法。

背景技术

刀闸是高压开关电器中使用次数非常频繁的一种电器，在电路中起隔离作用。在实际应用中，由于刀闸的长期运转，会出现刀闸闭合或打开不到位的情形，该情形会导致刀闸的左右刀闸臂之间产生电弧，造成火灾或威胁人身安全或造成漏电事件，损坏刀闸设备；因此，刀闸是否闭合到位需要准确的检测。

实际使用中，变电站需要对刀闸的开合状态进行实时检测，目前采用的主要技术方案是通过计算左右刀闸臂间的夹角获取刀闸的状态，但是采集设备架设的位置受限，计算速度达不到实时检测要求，不具备实际应用价值，而且，在刀闸臂间角度计算的过程中，存在系统误差以及图像噪声，导致刀闸臂间角度计算存在误差，影响刀闸实时状态的精确分析。此外，在对刀闸运动的实时状态分析时容易出现错误和跳变的情形，影响检测结果；在进行刀闸实时监控中，当刀闸停止运动后还继续检测分析，造成资源浪费，更容易对检测结果造成错误的影响。

发明内容

为了解决现有技术中刀闸状态实时状态分析出现跳变的问题，本发明提出一种对开式刀闸运动状态的检测方法。

本发明的技术方案是这样实现的：

一种对开式刀闸运动状态的检测方法，包括：采集对开式刀闸的实时监控视频，根据实时监控视频的第一帧图像同步确定刀闸的初始状态和运动方向；依次精确分析下一帧图像，直至检测到刀闸停止运动，验证视频中刀闸运动的最终状态；

下一帧图像的精确分析方式为：计算下一帧图像中左刀闸臂和右刀闸臂之间的初始夹角，结合该帧图像的前一帧图像估算系统误差，结合系统误差利用加权移动平均法确定该帧图像中左刀闸臂和右刀闸臂间的校正夹角，根据校正夹角精确分析该帧图像中刀闸的状态并记录。

优选的是，根据实时监控视频的第一帧图像同步确定刀闸的初始状态和运动方向的具体方式为：利用采集实时监控视频的监控设备在同样的位置下获取对开式刀闸的任一帧图像，利用该帧图像建立对开式刀闸的刀闸臂的边界线模型并保存为模型文件；

通过多种途径获取对开式刀闸的样本图像，利用深度学习对样本图像进行训练获取训练模型，利用训练模型对该帧图像进行检测，获取该帧图像中所有的刀闸区域和刀闸状态，再结合模型文件对该帧图像中的刀闸进行定位；

获取实时监控视频第一帧图像中定位刀闸的状态，若第一帧图像中刀闸的状态是闭合，运动方向是从闭合到打开，若刀闸的状态是打开，运动方向是从打开到闭合，若刀闸的状态是虚合，继续检测下一帧图像直至刀闸的状态改变后再确定运动方向，第一帧图像中刀闸的状态为刀闸的初始状态，第一帧图像为初始帧图像。

优选的是，计算下一帧图像中左刀闸臂和右刀闸臂的初始夹角的具体计算方式为：

利用训练模型对该帧图像进行检测，获取该帧图像中所有的刀闸区域和刀闸状态，根据模型文件计算刀闸臂的中点和中线，中点和中线直接对应在目标图像中，再结合模型文件对该帧图像中的刀闸进行定位；

根据上述定位的结果对该帧图像进行边缘检测，获取边缘线集合，计算该帧图像中刀闸臂的左中点和右中点到边缘线集合中的每条边缘线的距离，将不在阈值范围内的距离所对应的边缘线剔除，获取更新边缘线集合；

利用中线将更新边缘线集合左右区分，分别获取左刀闸臂边缘线集合和右刀闸臂边缘线集合，将左刀闸臂边缘线集合和右刀闸臂边缘线集合进行权重分配，将权重分配后的左刀闸臂边缘线集合和右刀闸臂边缘线集合进行对称配对，确定最终的左刀闸臂边缘线和右刀闸臂边缘线，计算左刀闸臂和右刀闸臂之间的初始夹角。

优选的是，结合该帧图像的前一帧图像估算系统误差，结合系统误差利用加权移动平均法确定该帧图像中左刀闸臂和右刀闸臂间的校正夹角的具体方式为：

计算当前帧图像中最终的左刀闸臂边缘线和右刀闸臂边缘线分别与闭合状态刀闸臂所在直线的夹角γ₁和θ₁，计算前一帧图像中最终的左刀闸臂边缘线和右刀闸臂边缘线分别与闭合状态刀闸臂所在直线的夹角γ₂和θ₂，系统误差记为noise＝|(γ₁-γ₂)-(θ₁-θ₂)|；

前一帧图像中左刀闸臂和右刀闸臂之间的夹角记为|θ₂-γ₂)|，当前帧图像中左刀闸臂和右刀闸臂之间的夹角记为|θ₁-γ₁)|，采用加权移动平均法更新当前帧图像中左刀闸臂和右刀闸臂间的夹角为θ_new，θ_new＝w1_coe*|θ₂-γ₂|+w2_coe*|θ₁-γ₁|，其中，w1_coe和w2_coe分别为前一帧图像和当前帧图像的权重系数，且w1_coe+w2_coe＝1，结合系统误差，当前帧图像的左刀闸臂和右刀闸臂间的校正夹角记为θ_final，θ_final＝w1_coe*|θ₂-γ₂|+w2_coe*|θ₁-γ₁|+noise。优选的是，根据校正夹角精确分析该帧图像中刀闸的状态的具体方式为：

根据该帧图像之前的所有帧图像确定刀闸运动的可靠状态，根据训练模型获取该帧图像中的刀闸状态，结合可靠状态和校正夹角确定刀闸运动过程中的预测状态；

若出现当前帧图像的预测状态不同于可靠状态，且连续N_conti帧图像的预测状态均不同于可靠状态，将连续N_conti帧图像的预测状态作为更新后的可靠状态；

刀闸的预测状态即为最终的精确分析结果。

优选的是，根据训练模型获取的该帧图像中的刀闸状态，结合可靠状态和校正夹角确定刀闸运动过程中的预测状态的方式为：

根据实际需求设定刀闸在闭合状态下的角度中阈值T-d、角度高阈值hT-d和角度低阈值lT-d，hT-d>T-d>lT-d，

若根据训练模型获取的当前帧图像中的刀闸状态为打开状态，则预测状态为打开状态；

若根据训练模型获取的当前帧图像中的刀闸状态为虚合或闭合状态，且可靠状态为虚合状态，对于刀闸从开到合的运动方向，刀闸的左刀闸臂和右刀闸臂间的校正夹角小于等于T-d，预测状态为闭合状态，否则为可靠状态，对于刀闸从合到开的运动方向，刀闸的左刀闸臂和右刀闸臂间的校正夹角小于等于lT-d，预测状态为闭合状态，否则为可靠状态；

若根据训练模型获取的当前帧图像中的刀闸状态为虚合或闭合状态，且可靠状态为闭合状态，刀闸的左刀闸臂和右刀闸臂间的校正夹角大于hT-d，预测状态为虚合状态，否则为可靠状态；

若根据训练模型获取的当前帧图像中的刀闸状态为虚合或闭合状态，且可靠状态为打开状态，则预测状态为虚合状态。

优选的是，检测到刀闸停止运动的具体方式为：根据训练模型获取检测中的图像中刀闸的位置矩形框，计算刀闸位置矩形框中心点坐标，给定坐标差值阈值，若连续帧图像中中心点坐标差值小于给定的坐标差值阈值，且连续帧数大于连续帧数阈值，则表明刀闸臂的位置基本保持不变，此时停止检测，验证最终状态。

优选的是，验证视频中刀闸运动的最终状态的具体方式为：

若刀闸的初始状态是打开状态，验证最终状态时是闭合状态则操作完成，验证最终状态时是虚合状态，则报警提示并请示工作人员人工确认和处理；若刀闸的初始状态是闭合状态，验证最终状态时是打开状态则操作完成，验证最终状态时是虚合状态，则报警提示并请示工作人员人工确认和处理；

若刀闸的初始状态是虚合状态，若刀闸的运动方向为由闭合到打开，验证最终状态是打开状态则操作完成，验证最终状态是虚合状态，则报警提示并请示工作人员人工确认和处理；若刀闸的运动方向为由打开到闭合，验证最终状态是闭合状态则操作完成，验证最终状态是虚合状态，则报警提示并请示工作人员人工确认和处理；若刀闸的运动方向未知，则表明刀闸一直处于虚合状态，报警提示并请示工作人员人工确认和处理。

本发明的有益效果为：本发明的对开式刀闸运动状态的检测方法，采集刀闸实时监控视频，先根据第一帧图像确定刀闸的初始状态和运动方向，再对第一帧图像后的下一帧图像进行精确分析，更有助于对刀闸整个运动过程的精确分析；在对下一帧图像进行精确分析时，先计算该帧图像中左刀闸臂和右刀闸臂之间的初始夹角，再结合前一帧图像估算系统误差，最后结合加权移动平均法获取左刀闸臂和右刀闸臂间的校正夹角，根据校正夹角精确分析该帧图像中刀闸的状态，提高该帧图像中左刀闸臂和右刀闸臂之间夹角计算的精度，减少精确分析时刀闸运动状态发生跳变的情形，提高分析的稳定性。检测到刀闸停止运动时，验证刀闸运动的最终状态，避免刀闸停止运动后还处于检测状态。

根据校正夹角精确分析图像中刀闸的状态时，更改检测过程中出现的与运动方向不一致的跳变状态，确定刀闸运动过程中的可靠状态，结合刀闸运动方向，确定刀闸的输出状态，减少跳变情形，提高实时检测精度。

具体实施方式

下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：一种对开式刀闸运动状态的检测方法，包括：采集对开式刀闸的实时监控视频，根据实时监控视频的第一帧图像同步确定刀闸的初始状态和运动方向；依次精确分析下一帧图像，直至检测到刀闸停止运动，验证视频中刀闸运动的最终状态；下一帧图像的精确分析方式为：计算下一帧图像中左刀闸臂和右刀闸臂之间的初始夹角，结合该帧图像的前一帧图像估算系统误差，结合系统误差利用加权移动平均法确定该帧图像中左刀闸臂和右刀闸臂间的校正夹角，根据校正夹角精确分析该帧图像中刀闸的状态并记录。

对第一帧图像进行分析时，已知信息太少只能先粗略估计，无法进行精确分析，故确定了初始状态和运动方向后对下一帧图像进行精确分析；如果第一帧图像的状态估计错误，后面精确分析时也会根据可靠状态修改过来，而且在处理第一帧图像时没有任何已知信息，只能相信对第一帧图像的检测结果是可靠的。

根据实时监控视频的第一帧图像同步确定刀闸的初始状态和运动方向的具体方式为：利用采集实时监控视频的监控设备在同样的位置下获取对开式刀闸的任一帧图像，利用该帧图像建立对开式刀闸的刀闸臂的边界线模型并保存为模型文件；通过多种途径获取对开式刀闸的样本图像，利用深度学习对样本图像进行训练获取训练模型，利用训练模型对该帧图像进行检测，获取该帧图像中所有的刀闸区域和刀闸状态，再结合模型文件对该帧图像中的刀闸进行定位；获取第一帧图像中的定位刀闸的状态，若第一帧图像中刀闸的状态是闭合，运动方向是从闭合到打开，若刀闸的状态是打开，运动方向是从打开到闭合，若刀闸的状态是虚合，继续检测下一帧图像直至刀闸的状态改变后再确定运动方向，第一帧图像中刀闸的状态为刀闸的初始状态。若第一帧图像为虚合，无法确定运动方向，确定运动方向的方式为：若出现下一帧图像中改变后的刀闸状态为打开，则运动方向为从闭合到打开，若改变后的刀闸状态为闭合，则运动方向为从打开到闭合。

对第一帧图像中刀闸定位的具体方式为：利用训练模型对第一帧图像进行检测，获取第一帧图像中的所有刀闸区域及每个刀闸区域对应的刀闸状态，“闭合”和“虚合”状态的刀闸对应的所在区域为包含左右刀闸臂的整体矩形框区域，“打开”状态的刀闸对应的所在区域为包含左刀闸臂的左矩形框区域和包含右刀闸臂的右矩形框区域；对于“闭合”和“虚合”状态的刀闸同时获取其左右刀闸臂的接触点位置矩形框；根据模型文件获取闭合状态的刀闸的闭合四边形框区域，计算上述第一帧图像中整体矩形框区域、左矩形框区域、右矩形框区域分别与闭合四边形框区域的重叠面积；遍历第一帧图像中所有“闭合”和“虚合”状态的刀闸所在的区域，给定重叠面积阈值，获取包含左中点和右中点且重叠面积最大并大于重叠面积阈值的区域为最终的左右刀闸臂整体区域，同时计算左右刀闸臂的接触点位置矩形框的中心点并将其记为接触点，以过接触点且与该左右刀闸臂整体区域矩形框短边平行的中心直线为界限，左侧矩形框为左刀闸臂矩形框，右侧矩形框为右刀闸臂矩形框，实现对第一帧图像中“闭合”或“虚合”状态的刀闸定位；若不存在上述包含左中点和右中点且重叠面积最大并大于重叠面积阈值的区域，则表明第一帧图像中待检测的刀闸的状态不是“闭合”或“虚合”状态，遍历第一帧图像中所有“打开”状态且重叠面积大于重叠面积阈值的刀闸所在的区域，获取包含左中点且重叠面积最大的区域记作第一打开左刀闸臂区域；获取包含右中点且重叠面积最大的区域记作第一打开右刀闸臂区域；遍历第一帧图像中所有“打开”状态且重叠面积小于等于重叠面积阈值的刀闸所在的区域，获取前两个包含左中点且重叠面积最大的区域记为左刀闸臂匹配区域；获取前两个包含右中点且重叠面积最大的区域记为右刀闸臂匹配区域；计算任一个左刀闸臂匹配区域的4个顶点到左中点的距离并选取左侧最小距离，相比两个左侧最小距离并将较小的左侧最小距离对应的左刀闸臂匹配区域记为第二打开左刀闸臂区域；计算任一个右刀闸臂匹配区域的4个顶点到右中点的距离并选取右侧最小距离，相比两个右侧最小距离并将较小的右侧最小距离对应的右刀闸臂匹配区域记为第二打开右刀闸臂区域；给定刀闸臂面积阈值，大于刀闸臂面积阈值的第一打开左刀闸臂区域记为最终左刀闸臂区域，否则大于刀闸臂面积阈值的第二打开左刀闸臂区域记为最终左刀闸臂区域；大于刀闸臂面积阈值的第一打开右刀闸臂区域记为最终右刀闸臂区域，否则大于刀闸臂面积阈值的第二打开右刀闸臂区域记为最终右刀闸臂区域，实现对第一帧图像中“打开”状态的刀闸定位。对下一帧图像中刀闸定位的方式与对第一帧图像中刀闸定位的方式一致。左中点为左绝缘子中心线延长线和左刀闸臂上下边界线延长线的两个交点的中心点，右中点为右绝缘子中心线延长线和右刀闸臂上下边界线延长线的两个交点的中心点。

获取实时监控视频第一帧图像中刀闸的状态的方式还有一种：计算第一帧图像中左刀闸臂和右刀闸臂的初始夹角，根据该夹角判断刀闸的状态；根据用户需求设定刀闸在打开状态下的角度阈值T-o和闭合状态下的角度阈值T-c；若第一帧图像中的左刀闸臂和右刀闸臂之间的夹角大于T-o，判定刀闸是打开状态，若该夹角小于T-c，判定刀闸是闭合状态，若该夹角介于T-o和T-c之间，判定刀闸是虚合状态；计算第一帧图像中左刀闸臂和右刀闸臂间的初始夹角的方式与上述计算下一帧图像中左刀闸臂和右刀闸臂间的初始夹角的方式一致。第一帧图像中左刀闸臂和右刀闸臂之间的初始夹角为第一帧图像中左刀闸臂和右刀闸臂之间的夹角。

计算下一帧图像中左刀闸臂和右刀闸臂的初始夹角的具体计算方式为：利用与第一帧图像中相同的定位方式对该帧图像中的刀闸定位，根据模型文件计算刀闸臂的中点和中线，中点和中线直接对应在该帧图像中，根据上述定位的结果对该帧图像进行边缘检测，获取边缘线集合，计算该帧图像中刀闸臂的左中点和右中点到边缘线集合中的每条边缘线的距离，将不在阈值范围内的距离所对应的边缘线剔除，获取更新边缘线集合；利用中线将更新边缘线集合左右区分，分别获取左刀闸臂边缘线集合和右刀闸臂边缘线集合，将左刀闸臂边缘线集合和右刀闸臂边缘线集合进行对称配对，确定最终的左刀闸臂边缘线和右刀闸臂边缘线，计算左刀闸臂和右刀闸臂之间的初始夹角，以最终的左刀闸臂边缘线和右刀闸臂边缘线作为基准，若最终的左刀闸臂边缘线相对于闭合状态刀闸臂所在直线的角度为γ，最终的右刀闸臂边缘线相对于闭合状态刀闸臂所在直线的角度为θ，则最终的左刀闸臂边缘线和右刀闸臂边缘线间的夹角为θ-γ|，当前帧图像中左刀闸臂和右刀闸臂之间的初始夹角为θ-γ|。

计算下一帧图像中左刀闸臂和右刀闸臂之间的初始夹角后，结合该帧图像的前一帧图像估算系统误差，结合系统误差利用加权移动平均法确定该帧图像中左刀闸臂和右刀闸臂间的校正夹角的具体方式为：

计算当前帧图像中最终的左刀闸臂边缘线和右刀闸臂边缘线分别与闭合状态刀闸臂所在直线的夹角γ₁和θ₁，计算前一帧图像中最终的左刀闸臂边缘线和右刀闸臂边缘线分别与闭合状态刀闸臂所在直线的夹角γ₂和θ₂，系统误差记为noise＝|(γ₁-γ₂)-(θ₁-θ₂)|；

前一帧图像中左刀闸臂和右刀闸臂之间的夹角记为|θ₂-γ₂)|，当前帧图像中左刀闸臂和右刀闸臂之间的夹角记为|θ₁-γ₁)|，采用加权移动平均法更新当前帧图像中左刀闸臂和右刀闸臂间的夹角为θ_new，θ_new＝w1_coe*|θ₂-γ₂|+w2_coe*|θ₁-γ₁|，其中，w1_coe和w2_coe分别为前一帧图像和当前帧图像的权重系数，且w1_coe+w2_coe＝1，结合系统误差，当前帧图像的左刀闸臂和右刀闸臂间的校正夹角记为θ_final，θ_final＝w1_coe*|θ₂-γ₂|+w2_coe*|θ₁-γ₁|+noise。

下一帧图像中的左刀闸臂和右刀闸臂间的校正夹角为下一帧图像中的左刀闸臂和右刀闸臂间的夹角。该校正夹角的计算方式既考虑到系统误差，同时考虑到图像噪声，提高了左刀闸臂和右刀闸臂之间夹角计算的精确度。

根据校正夹角精确分析该帧图像中刀闸的状态的具体方式为：根据该帧图像之前的所有帧图像确定刀闸运动的可靠状态，根据训练模型获取的该帧图像中的刀闸状态、可靠状态和校正夹角确定刀闸运动过程中的预测状态；若出现当前帧图像的预测状态不同于可靠状态，且连续N_conti帧图像的预测状态均不同于可靠状态，将连续N_conti帧图像的预测状态作为更新后的可靠状态；刀闸的预测状态即为最终的精确分析结果。

根据训练模型获取的该帧图像中的刀闸状态、可靠状态和校正夹角确定刀闸运动过程中的预测状态的方式为：根据实际需求设定刀闸的左刀闸臂和右刀闸臂在闭合状态下的角度中阈值T-d、角度高阈值hT-d和角度低阈值lT-d，hT-d>T-d>lT-d，若当前帧图像中的刀闸状态为打开状态，则预测状态为打开状态；若当前帧图像中的刀闸状态为虚合或闭合状态，且可靠状态为虚合状态，对于刀闸从开到合的运动方向，刀闸的左刀闸臂和右刀闸臂间的校正夹角小于等于T-d，预测状态为闭合状态，否则为可靠状态，对于刀闸从合到开的运动方向，刀闸的左刀闸臂和右刀闸臂间的校正夹角小于等于lT-d，预测状态为闭合状态，否则为可靠状态；若当前帧图像中的刀闸状态为虚合或闭合状态，且可靠状态为闭合状态，刀闸的左刀闸臂和右刀闸臂间的校正夹角大于hT-d，预测状态为虚合状态，否则为可靠状态；若当前帧图像中的刀闸状态为虚合或闭合状态，且可靠状态为打开状态，则预测状态为虚合状态。

刀闸在开合运动过程中运动方向是单一的，由打开到闭合或由闭合到打开，因此刀闸的开合状态是循序渐进的过程，不应该出现跳动，比如刀闸运动方向为由打开到闭合，则刀闸最开始状态为打开，打开状态持续一段时间后变为虚合，虚合状态持续一段时间后变为闭合，以此完成整个开合运动，而刀闸的可靠状态是基于当前帧图像之前的所有帧图像，之前所有帧图像的持续不变的状态为刀闸的可靠状态，如果当前帧图像的状态发生改变，但可靠状态不能立即发生改变，除非持续大于给定阈值的帧数状态均发生改变，可靠状态才更新为改变后的状态，可靠状态是根据刀闸的运动特性定义的，能够帮助减少刀闸状态跳变。刀闸可靠状态的初始值为刀闸初始状态，因为最开始没有任何刀闸状态的已知信息，只能相信刀闸初始状态是可靠的，在检测过程中会根据检测结果和刀闸运行方向不断更新刀闸可靠状态。

检测到刀闸停止运动的具体方式为：根据训练模型获取检测中的图像中刀闸的位置矩形框，计算刀闸位置矩形框中心点坐标，给定坐标差值阈值，若连续帧图像中中心点坐标差值小于给定的坐标差值阈值，且连续帧数大于连续帧数阈值，则表明刀闸臂的位置基本保持不变，此时停止检测，验证最终状态。

验证视频中刀闸运动的最终状态的具体方式为：若刀闸的初始状态是打开状态，验证最终状态是闭合状态则操作完成，验证最终状态是虚合状态，则报警提示并请示工作人员人工确认和处理；若刀闸的初始状态是闭合状态，验证最终状态是打开状态则操作完成，验证最终状态是虚合状态，则报警提示并请示工作人员人工确认和处理。若刀闸的初始状态是虚合状态，若刀闸的运动方向为由闭合到打开，验证最终状态是打开状态则操作完成，验证最终状态是虚合状态，则报警提示并请示工作人员人工确认和处理；若刀闸的运动方向为由打开到闭合，验证最终状态是闭合状态则操作完成，验证最终状态是虚合状态，则报警提示并请示工作人员人工确认和处理；若刀闸的运动方向未知，则报警提示并请示工作人员人工确认和处理。

在根据实时监控视频的第一帧图像同步确定刀闸的初始状态和运动方向的过程中，利用任一帧图像建立对开式刀闸的刀闸臂的边界线模型并保存为模型文件的方式为：在计算机上设置一个程序，利用该程序打开该帧图像并对其中的刀闸臂上下边界线进行描边，画出左绝缘子中心线和右绝缘子中心线，将描边对应的线段端点坐标和左右绝缘子中心线对应的线段端点坐标保存为模型文件；若上述任一帧图像中刀闸为闭合状态，对整体刀闸臂的上下边界进行描边；若上述任一帧图像中刀闸为打开或虚合状态，根据实际左右刀闸臂的上下边界进行描边。

在根据实时监控视频的第一帧图像同步确定刀闸的初始状态和运动方向的过程中，通过多种途径获取对开式刀闸的样本图像的方式包括现场采集、软件模拟和实物模型途径，现场采集的具体方式为采集对开式刀闸在不同状态下的样本图像；软件模拟的具体方式为利用设计软件对现场采集的样本图像进行建模，获取对应的三维模型，在三维模型中配置不同的环境条件，设置开合动作并渲染，获取对开式刀闸的开合运动视频，根据运动视频获取不同状态不同环境不同角度下的刀闸样本图像；实物模型的具体方式为将实物模型放在不同环境下手动开合刀闸并拍摄视频，根据拍摄视频获取不同状态下的刀闸图像。

在电站现场采集，对开式刀闸基本处于完全闭合或完全打开状态，很难获取刀闸开合过程的图像；为了丰富训练样本，通过软件模拟获取刀闸图像的方式为利用UG、Cura、3Dmax、premiere、photoshop等设计软件，根据现场采集的多张刀闸图像进行建模，获取对开式刀闸的三维模型，根据具体情形配置不同的背景、天气和光线等外界环境因素，将建立好的三维模型放入配置好的环境当中，设置开合动作并渲染，获取对开式刀闸的运动视频，根据视频获取不同状态不同环境下以及不同角度下的刀闸图像；实物模型目前可利用3D打印机根据实际对开式刀闸按比例缩放打印制作，也可根据实际比例直接加工制作；大量的样本图像，保证训练模型具有更强的适应性。

在计算任一帧图像中刀闸的左刀闸臂和右刀闸臂之间的初始夹角的过程中，根据模型文件计算刀闸臂中点的方式为：当刀闸是闭合状态，根据模型文件分别获取整体刀闸臂的上下边界线延长线和左绝缘子中心线延长线的两个交点，记为两个左侧端点，获取整体刀闸臂的上下边界线延长线和右绝缘子中心线延长线的两个交点，记为两个右侧端点；两个左侧端点和两个右侧端点形成的闭合框的中点为刀闸臂中点或左中点和右中点之间的线段的中点为刀闸臂中点；当刀闸是打开或虚合状态，根据模型文件分别获取左刀闸臂的上下边界线延长线和左绝缘子中心线延长线的两个交点，记为两个左侧端点，获取右刀闸臂的上下边界线延长线和右绝缘子中心线延长线的两个交点，记为两个右侧端点；根据两个左侧端点和两个右侧端点获取左中点和右中点，左中点和右中点之间的线段的中点为刀闸臂中点或两个左侧端点和两个右侧端点形成的闭合框的中点为刀闸臂中点。

对于同一位置同一相机采集的同一个刀闸的图像，其中点是唯一的，因此在处理过程中刀闸臂的中点只需计算一次，并将其对应到视频的任一帧图像中使用。

在计算任一帧图像中刀闸的左刀闸臂和右刀闸臂之间的初始夹角的过程中，根据模型文件计算刀闸臂中线的方式为：将建立模型文件时用的任一帧图像标记为模板图像，当刀闸是闭合状态，获取采集视频的相机的畸变系数，并根据模板图像尺寸计算相机矩阵camera_matrix＝[focal_length,0,center.x；0,focal_length,center.y；0,0,1]，其中focal_length为模板图像宽度，center.x和center.y分别为模板图像中的x坐标和y坐标；根据所述两个左侧端点、两个右侧端点、畸变系数和相机矩阵获取相机采集时相对于刀闸的坐标位置，相机的Z轴在模板图像上的投影方向为刀闸臂的中线方向，结合刀闸臂的中点确定刀闸臂的中线；当刀闸臂是虚合或打开状态，根据所述左中点和左刀闸臂上下边界线的平均斜率获取左中心线，根据所述右中点和右刀闸臂上下边界线的平均斜率获取右中心线，左中心线和右中心线延长形成一个交点；通过该交点和所述中点的连线为刀闸臂的中线。对于同一位置同一相机采集的同一个刀闸的图像，其中线是唯一的，因此在处理过程中刀闸臂的中线只需计算一次，并将其对应到视频的任一帧图像中使用。

在计算任一帧图像中刀闸的左刀闸臂和右刀闸臂之间的初始夹角的过程中，确定最终的左刀闸臂边缘线和右刀闸臂边缘线的具体方式为：将根据模型文件计算的对开式刀闸的左中点和右中点对应到该帧图像中，得到该帧图像的刀闸臂的左中点和右中点，计算该帧图像中刀闸臂的左中点和右中点到边缘线集合中的每条边缘线的距离，将不在阈值范围内的距离所对应的边缘线剔除，获取更新边缘线集合。将根据模型文件计算的刀闸臂的中点和中线直接对应在该帧图像中，在该帧图像上计算以中点为起点的垂直于中线的方向向左或方向向右的单位方向向量

遍历更新边缘线集合中的边缘线，对其中任一条边缘线的两个端点记作T1和T2，将T1与中点的向量记作

将T2与中点的向量记作

计算

和对于方向向右的单位方向向量

若则T1在中线右侧，否则在中线左侧，若

则T2在中线右侧，否则中线左侧；对于方向向左的单位方向向量

若

则T1在中线左侧，否则在中线右侧；若

则T2在中线左侧，否则中线右侧；若T1和T2均在中线左侧，则该边缘线为左边缘线，若T1和T2均在中线右侧，则该边缘线为右边缘线，若T1和T2分别在中线两侧，计算该边缘线以中线为分割线的左右线段长度，该边缘线为左右侧线段较长侧的边缘线；如此获取左刀闸臂边缘线集合和右刀闸臂边缘线集合。给定角度阈值，对于左刀闸臂边缘线集合中的任一条边缘线相对于水平位置的角度记为M_h，h代表不同的左刀闸臂边缘线，将任两个左刀闸臂边缘线的角度差值位于角度阈值内的划分为同组，将同组内的左刀闸臂边缘线按照从长到短排序；对于右刀闸臂边缘线集合中的任一条边缘线相对于水平位置的角度记为N_m，m代表不同的右刀闸臂边缘线，将任两个右刀闸臂边缘线的角度差值位于角度阈值内的划分为同组，将同组内的右刀闸臂边缘线按照从长到短排序；遍历左刀闸臂边缘线集合的所有同组和右刀闸臂边缘线集合的所有同组，计算每组的平均角度，左刀闸臂边缘线集合中的每组的平均角度结合左中点获取左刀闸臂边缘线集合的每组的校正左刀闸臂边缘线，校正左刀闸臂边缘线与中线的交点记作A点；右刀闸臂边缘线集合的每组的平均角度结合右中点获取右刀闸臂边缘线集合的每组的校正右刀闸臂边缘线，校正右刀闸臂边缘线与中线的交点记作B点，计算A点和B点之间的距离d_AB；

刀闸臂左中点和右中点的距离为d₀，d_AB/d₀＞0.5则剔除A点所在的同组和B点所在的同组；

设定任两组配对分数的计算公式为

其中系数S_L表示任一个左刀闸臂边缘线集合的同组内边缘线长度的平方和；S_R表示任一个右刀闸臂边缘线集合的同组内边缘线长度的平方和；β为可调节的灵敏度参数；最高的配对分数S对应的A点所在的校正左刀闸臂边缘线和B点所在的校正右刀闸臂边缘线为最终的左刀闸臂边缘线和右刀闸臂边缘线。

本发明中的左右刀闸臂指的是左刀闸臂和右刀闸臂，本发明中的刀闸指的是对开式刀闸。对开式刀闸指的是双柱中心断口式隔离开关，双柱指的是左右两侧竖直的绝缘子，中心断口指的是左右刀闸臂在虚合或闭合状态时的接触位置，该类隔离开关在开合过程中左右刀闸臂以绝缘子上端点为旋转点，左右刀闸臂同步对称开合。刀闸在运动过程中三个状态：打开、闭合和虚合状态，建立模型文件和根据训练模型获取刀闸状态时，刀闸的闭合状态指的是左右刀闸臂在同一直线上，虚合状态指的是左右刀闸臂间存在接触但不在同一直线上，打开状态指的是左右刀闸臂间不存在接触。这里的刀闸状态是笼统的，不同于根据刀闸臂间的夹角获取的刀闸的实时状态，根据刀闸臂间夹角获取的刀闸的实时状态为每帧图像中刀闸的最终状态。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种对开式刀闸运动状态的检测方法，其特征在于，包括：采集对开式刀闸的实时监控视频，根据实时监控视频的第一帧图像同步确定刀闸的初始状态和运动方向；依次精确分析下一帧图像，直至检测到刀闸停止运动，验证视频中刀闸运动的最终状态；

下一帧图像的精确分析方式为：计算下一帧图像中左刀闸臂和右刀闸臂之间的初始夹角，结合该帧图像的前一帧图像估算系统误差，结合系统误差利用加权移动平均法确定该帧图像中左刀闸臂和右刀闸臂间的校正夹角，根据校正夹角精确分析该帧图像中刀闸的状态并记录。

2.根据权利要求1所述的对开式刀闸运动状态的检测方法，其特征在于，根据实时监控视频的第一帧图像同步确定刀闸的初始状态和运动方向的具体方式为：利用采集实时监控视频的监控设备在同样的位置下获取对开式刀闸的任一帧图像，利用该帧图像建立对开式刀闸的刀闸臂的边界线模型并保存为模型文件；

通过多种途径获取对开式刀闸的样本图像，利用深度学习对样本图像进行训练获取训练模型，利用训练模型对该帧图像进行检测，获取该帧图像中所有的刀闸区域和刀闸状态，再结合模型文件对该帧图像中的刀闸进行定位；

获取实时监控视频第一帧图像中定位刀闸的状态，若第一帧图像中刀闸的状态是闭合，运动方向是从闭合到打开，若刀闸的状态是打开，运动方向是从打开到闭合，若刀闸的状态是虚合，继续检测下一帧图像直至刀闸的状态改变后再确定运动方向，第一帧图像中刀闸的状态为刀闸的初始状态，第一帧图像为初始帧图像。

3.根据权利要求2所述的对开式刀闸运动状态的检测方法，其特征在于，计算下一帧图像中左刀闸臂和右刀闸臂的初始夹角的具体计算方式为：

利用训练模型对该帧图像进行检测，获取该帧图像中所有的刀闸区域和刀闸状态，根据模型文件计算刀闸臂的中点和中线，中点和中线直接对应在该帧图像中，再结合模型文件对该帧图像中的刀闸进行定位；

根据上述定位的结果对该帧图像进行边缘检测，获取边缘线集合，计算该帧图像中刀闸臂的左中点和右中点到边缘线集合中的每条边缘线的距离，将不在阈值范围内的距离所对应的边缘线剔除，获取更新边缘线集合；

利用中线将更新边缘线集合左右区分，分别获取左刀闸臂边缘线集合和右刀闸臂边缘线集合，将左刀闸臂边缘线集合和右刀闸臂边缘线集合进行对称配对，确定最终的左刀闸臂边缘线和右刀闸臂边缘线，计算左刀闸臂和右刀闸臂之间的初始夹角。

4.根据权利要求1所述的对开式刀闸运动状态的检测方法，其特征在于，结合该帧图像的前一帧图像估算系统误差，结合系统误差利用加权移动平均法确定该帧图像中左刀闸臂和右刀闸臂间的校正夹角的具体方式为：

计算当前帧图像中最终的左刀闸臂边缘线和右刀闸臂边缘线分别与闭合状态刀闸臂所在直线的夹角γ₁和θ₁，计算前一帧图像中最终的左刀闸臂边缘线和右刀闸臂边缘线分别与闭合状态刀闸臂所在直线的夹角γ₂和θ₂，系统误差记为noise＝|(γ₁-γ₂)-(θ₁-θ₂)|；

前一帧图像中左刀闸臂和右刀闸臂之间的夹角记为|θ₂-γ₂)|，当前帧图像中左刀闸臂和右刀闸臂之间的夹角记为|θ₁-γ₁)|，采用加权移动平均法更新当前帧图像中左刀闸臂和右刀闸臂间的夹角为θ_new，θ_new＝w1_coe*|θ₂-γ₂|+w2_coe*|θ₁-γ₁|，

其中，w1_coe和w2_coe分别为前一帧图像和当前帧图像的权重系数，且w1_coe+w2_coe＝1，结合系统误差，当前帧图像的左刀闸臂和右刀闸臂间的校正夹角记为θ_final，θ_final＝w1_coe*|θ₂-γ₂|+w2_coe*|θ₁-γ₁|+noise。

5.根据权利要求3所述的对开式刀闸运动状态的检测方法，其特征在于，根据校正夹角精确分析该帧图像中刀闸的状态的具体方式为：

根据该帧图像之前的所有帧图像确定刀闸运动的可靠状态，根据训练模型获取该帧图像中的刀闸状态，结合可靠状态和校正夹角确定刀闸运动过程中的预测状态；

若出现当前帧图像的预测状态不同于可靠状态，且连续N_conti帧图像的预测状态均不同于可靠状态，将连续N_conti帧图像的预测状态作为更新后的可靠状态；

刀闸的预测状态即为最终的精确分析结果。

6.根据权利要求5所述的对开式刀闸运动状态的检测方法，其特征在于，根据训练模型获取的该帧图像中的刀闸状态，结合可靠状态和校正夹角确定刀闸运动过程中的预测状态的方式为：

根据实际需求设定刀闸在闭合状态下的角度中阈值T-d、角度高阈值hT-d和角度低阈值lT-d，hT-d>T-d>lT-d，

若根据训练模型获取的当前帧图像中的刀闸状态为打开状态，则预测状态为打开状态；

若根据训练模型获取的当前帧图像中的刀闸状态为虚合或闭合状态，且可靠状态为虚合状态，对于刀闸从开到合的运动方向，刀闸的左刀闸臂和右刀闸臂间的校正夹角小于等于T-d，预测状态为闭合状态，否则为可靠状态，对于刀闸从合到开的运动方向，刀闸的左刀闸臂和右刀闸臂间的校正夹角小于等于lT-d，预测状态为闭合状态，否则为可靠状态；

若根据训练模型获取的当前帧图像中的刀闸状态为虚合或闭合状态，且可靠状态为闭合状态，刀闸的左刀闸臂和右刀闸臂间的校正夹角大于hT-d，预测状态为虚合状态，否则为可靠状态；

若根据训练模型获取的当前帧图像中的刀闸状态为虚合或闭合状态，且可靠状态为打开状态，则预测状态为虚合状态。

7.根据权利要求5所述的对开式刀闸运动状态的检测方法，其特征在于，检测到刀闸停止运动的具体方式为：根据训练模型获取检测中的图像中刀闸的位置矩形框，计算刀闸位置矩形框中心点坐标，给定坐标差值阈值，若连续帧图像中中心点坐标差值小于给定的坐标差值阈值，且连续帧数大于连续帧数阈值，则表明刀闸臂的位置基本保持不变，此时停止检测，验证最终状态。

8.根据权利要求5所述的对开式刀闸运动状态的检测方法，其特征在于，验证视频中刀闸运动的最终状态的具体方式为：

若刀闸的初始状态是打开状态，验证最终状态时是闭合状态则操作完成，验证最终状态时是虚合状态，则报警提示并请示工作人员人工确认和处理；若刀闸的初始状态是闭合状态，验证最终状态时是打开状态则操作完成，验证最终状态时是虚合状态，则报警提示并请示工作人员人工确认和处理；

若刀闸的初始状态是虚合状态，若刀闸的运动方向为由闭合到打开，验证最终状态是打开状态则操作完成，验证最终状态是虚合状态，则报警提示并请示工作人员人工确认和处理；若刀闸的运动方向为由打开到闭合，验证最终状态是闭合状态则操作完成，验证最终状态是虚合状态，则报警提示并请示工作人员人工确认和处理；若刀闸的运动方向未知，则表明刀闸一直处于虚合状态，报警提示并请示工作人员人工确认和处理。