CN112036402A - 一种对开式刀闸状态识别方法及设备 - Google Patents

一种对开式刀闸状态识别方法及设备 Download PDF

Info

Publication number
CN112036402A
CN112036402A CN202010873468.7A CN202010873468A CN112036402A CN 112036402 A CN112036402 A CN 112036402A CN 202010873468 A CN202010873468 A CN 202010873468A CN 112036402 A CN112036402 A CN 112036402A
Authority
CN
China
Prior art keywords
key point
rocker arm
disconnecting link
tail end
head end
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010873468.7A
Other languages
English (en)
Other versions
CN112036402B (zh
Inventor
刘洪源
蔡富东
吕昌峰
刘焕云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Xinxinda Electric Technology Co ltd
Original Assignee
Jinan Xinxinda Electric Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Xinxinda Electric Technology Co ltd filed Critical Jinan Xinxinda Electric Technology Co ltd
Priority to CN202010873468.7A priority Critical patent/CN112036402B/zh
Publication of CN112036402A publication Critical patent/CN112036402A/zh
Application granted granted Critical
Publication of CN112036402B publication Critical patent/CN112036402B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种对开式刀闸状态识别方法及设备，用以解决传统的刀闸状态识别方法容易受外界环境因素干扰，鲁棒性及准确性较差的技术问题。方法包括：获取与刀闸有关的第一图像，并通过目标检测神经网络模型，识别刀闸感兴趣区域；基于刀闸感兴趣区域扣取第二图像；将第二图像输入关键点检测神经网络模型中，以确定刀闸的第一摇臂首端关键点与末端关键点的位置信息，以及第二摇臂首端关键点与末端关键点的位置信息；基于第一摇臂首端关键点与末端关键点的位置信息，以及第二摇臂首端关键点与末端关键点的位置信息，通过几何算法，确定刀闸的状态。本申请通过上述方法摆脱了易受环境因素干扰的缺点，保证了刀闸状态识别的准确性及鲁棒性。

Description

一种对开式刀闸状态识别方法及设备
技术领域
本申请涉及图像识别技术领域，尤其涉及一种对开式刀闸状态识别方法及设备。
背景技术
对开式刀闸开关作为变电站中的一种常用开关，主要应用于变电站室外场景。刀闸变位开关的分合状态是变电站巡检人员重要关注的内容之一。
但由于变电站场景复杂、环境特殊，使用传统方法识别刀闸的状态难以做到鲁棒性及稳定性。且采集图像的摄像头往往只能安装在固定位置，就会使得采集到的图像中包含各种姿态的刀闸，并且引入了外界干扰因素，因此，需要更加鲁棒、准确的刀闸状态识别方法。
发明内容
本申请实施例提供了一种对开式刀闸状态识别方法及设备，以解决传统的刀闸状态识别方法容易受外界环境因素干扰，鲁棒性及准确性较差的技术问题。
一方面，本申请实施例提供了一种对开式刀闸状态识别方法，包括：获取与刀闸有关的第一图像，并通过目标检测神经网络模型，识别第一图像中的刀闸感兴趣区域；基于刀闸感兴趣区域，在第一图像上扣取第二图像；将第二图像输入关键点检测神经网络模型中，以确定刀闸的第一摇臂首端关键点与末端关键点的位置信息，以及第二摇臂首端关键点与末端关键点的位置信息；基于第一摇臂首端关键点与末端关键点的位置信息，以及第二摇臂首端关键点与末端关键点的位置信息，通过几何算法，确定刀闸的状态。
本申请实施例提供的一种对开式刀闸状态识别方法，通过目标检测神经网络模型识别刀闸的感兴趣区域，并基于刀闸的感兴趣区域扣取得到第二图像，将环境因素排除在外，由此避免了环境因素的干扰。通过关键点检测神经网络模型将刀闸摇臂的首端关键点与末端关键点检测出来，基于该关键点通过几何算法确定刀闸状态，使得该状态识别方法彻底摆脱了环境因素干扰的缺点，并且能够保证较好的鲁棒性及状态识别准确性。
在本申请的一种实现方式中，通过几何算法，确定刀闸的状态，具体包括：以第二图像的上边界为横轴，左边界为纵轴，上边界与左边界的交点为原点，建立二维平面坐标系；在二维平面坐标系中，基于第一摇臂首端关键点与末端关键点的位置信息，以及第二摇臂首端关键点与末端关键点的位置信息，确定第一摇臂首端关键点与末端关键点，以及第二摇臂首端关键点与末端关键点的二维坐标；基于第一摇臂末端关键点对应的二维坐标，以及第二摇臂末端关键点对应的二维坐标，确定第一摇臂末端关键点与第二摇臂末端关键点之间的欧式距离。
在本申请的一种实现方式中，确定第一摇臂末端关键点与第二摇臂末端关键点之间的欧氏距离，具体为：
通过
Figure BDA0002651872820000021
确定第一摇臂末端关键点与第二摇臂末端关键点之间的欧氏距离；其中，(x1，y1)用于指示第一摇臂末端关键点的二维坐标；(x4，y4)用于指示第二摇臂末端关键点的二维坐标；d表示第一摇臂末端关键点与第二摇臂末端关键点之间的欧式距离。
在本申请的一种实现方式中，方法还包括：确定欧式距离与第一预设阈值之间的大小关系；在欧氏距离小于第一预设阈值的情况下，确定刀闸的状态为合状态。
在本申请的一种实现方式中，刀闸的第一摇臂首端与第二摇臂首端通过线缆连接；方法还包括：在二维平面坐标系中，通过第一摇臂首端关键点与末端关键点，以及第二摇臂首端关键点与末端关键点分别对应的二维坐标，确定第一摇臂与线缆之间的第一夹角，以及确定第二摇臂与线缆之间的第二夹角；在第一夹角和/或第二夹角大于第二预设阈值的情况下，确定刀闸的状态为开状态。
本申请实施例提供的一种对开式刀闸状态识别方法，将刀闸两个摇臂与线缆接触的一端记为刀闸的首端，将刀闸两个摇臂相互接触的一端记为末端，在摄像头安装位置不正对刀闸时，通过计算各个摇臂与线缆之间的夹角，并通过夹角与预设阈值之间的大小关系，能够更加准确的确定刀闸的开合状态，避免了由于摄像头采集图像容易出现视觉错位而导致刀闸状态识别错误的情况出现，导致进一步保证了刀闸状态识别的准确性。
在本申请的一种实现方式中，第一摇臂首端关键点为第一摇臂与线缆的接触点；第一摇臂末端关键点为第一摇臂闭合端的中心点；第二摇臂首端关键点为第二摇臂与线缆的接触点；第二摇臂末端关键点为第二摇臂闭合端的中心点；第一摇臂的闭合端用于与第二摇臂的闭合端接触，以使刀闸闭合。
在本申请的一种实现方式中，目标检测神经网络模型包括合并层；合并层用于对数据进行卷积及归一化处理；合并层通过以下算法实现：
Figure BDA0002651872820000031
其中，xout为合并层的输出；xi为合并层的输入；β′为偏置参数；W′i为权重参数。
本申请实施例中提出的目标检测神经网络模型中，通过合并层实现数据的卷积及归一化处理，减少了模型的计算过程，进而加快了模型的推导inference速度，从而使得该目标检测神经网络模型更加适应本申请实施例中的刀闸状态识别过程。
在本申请的一种实现方式中，在将第二图像数据输入关键点检测神经网络模型之前，方法还包括：获取若干与对开式刀闸有关的图像数据；对图像数据进行预处理，以剔除不包含完整刀闸区域的图像数据，构建训练数据集；将训练数据集输入至神经网络模型中进行训练；训练直至输出收敛，得到关键点检测神经网络模型。
在本申请的一种实现方式中，目标检测神经网络模型采用Yolov3算法；关键点检测神经网络模型采用卷积姿态网络CPM。
本申请实施例中采用通常应用于人体关键点识别的卷积姿态网络CPM来进行关键点检测神经网络模型的训练过程，使得对刀闸摇臂关键点的监测更具有准确性，从而进一步保证了刀闸状态识别的准确性。
另一方面，本申请实施例还提供了一种对开式刀闸状态识别设备，包括：处理器；及存储器，其上存储有可执行代码，当可执行代码被执行时，使得处理器执行如上述的一种对开式刀闸状态识别方法。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请实施例提供的一种对开式刀闸合状态示意图；
图2为本申请实施例提供的一种对开式刀闸开状态示意图；
图3为本申请实施例提供的一种对开式刀闸状态识别方法流程图；
图4为本申请实施例提供的一种二维平面坐标系示意图；
图5为本申请实施例提供的一种对开式刀闸状态识别设备内部结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
对开式刀闸是变电站中一种常用的开关，该种刀闸多应用于室外场景，在室外环境下容易受到天气，以及光照条件的影响。刀闸的开合状态成为变电站人员主要的巡视内容之一。
现有的一种状态识别方法是通过安装摄像头采集刀闸的图像数据，然后通过传统的视觉算法判别刀闸的状态。但由于变电站场景复杂、环境特殊，采集图像的摄像头往往只能安装到固定位置，不能很好的根据应用场景调整拍摄角度以适应算法的需求，这就使得同类刀闸拍摄出各种姿态的图像数据，并且容易引入外界环境因素的干扰。且传统的视觉算法需要人为的设置先验参数，需要适应多种场景的任务，这就使得传统的算法难以做到识别刀闸状态的准确性与鲁棒性。
因此，本申请实施例提供了一种对开式刀闸状态识别方法及设备，通过采用深度学习神经网络模型进行目标检测及关键点检测，然后利用几何算法确定刀闸的状态，不仅避免了环境因素的干扰，也增加了刀闸状态识别的准确性及鲁棒性。
下面通过附图对本申请实施例提出的技术方案进行详细的说明。
本申请实施例中，对对开式刀闸的开合状态进行识别的关键在于确定刀闸两个摇臂末端的位置。只要确定了刀闸两个摇臂末端的位置，就能够判断两个摇臂是否连接、是否分离，进而得到刀闸的状态是开状态还是合状态。其中，刀闸的合状态示意图如图1所示，分状态示意图如图2所示。
图1为本申请实施例提供的一种对开式刀闸合状态示意图。如图1所示，对开式刀闸包括两个摇臂，为方便描述，本申请实施例中记为第一摇臂、第二摇臂。且每个摇臂包括首末两端，其中，第一摇臂、第二摇臂的首端为与线缆接触的一端；第一摇臂、第二摇臂的末端为两个摇臂相互接触的一端。
如图1所示，第一摇臂的末端与第二摇臂的末端接触，以使刀闸闭合，使得对开式刀闸此时的状态为合状态。
图2为本申请实施例提供的一种对开式刀闸开状态示意图。
如图2所示，第一摇臂的末端与第二摇臂的末端分离，二者不相互接触，以使刀闸断开，此时对开式刀闸的状态为开状态。
下面的对刀闸的状态识别过程进行详细说明。
图3为本申请实施例提供的一种对开式刀闸状态识别方法流程图。如图3所示，刀闸的状态识别过程，主要包括以下步骤：
步骤301、获取第一图像，识别第一图像中的感兴趣区域。
在对刀闸的状态进行识别时，首先需要获取与刀闸有关的图像数据，即第一图像。
需要说明的是，本申请实施例中需要获取的第一图像并不要求是摄像头正对刀闸拍摄的图像数据。为了适应的变电站的复杂的环境因素，本申请实施例中的第一图像仅要求其中含有完整的刀闸图像，而并不作其他要求。
在获取到与刀闸有关的第一图像之后，将第一图像输入至目标检测神经网络模型中，以确定刀闸的感兴趣区域。
在本申请的一个实施例中，在将第一图像送入目标检测神经网络模型之前，需要对该模型进行训练，具体过程如下：
首先，获取若干与刀闸有关的图像数据。然后，对获取到的图像数据进行预处理。具体地，通过预设方式识别图像数据中是否包含完整的刀闸图像，并将不包含完整的刀闸图像的图像数据剔除，仅保留含有完整刀闸图像的图像数据，构建训练数据集。
进一步地，将构建完成的训练数据集输入至神经网络模型中，训练直至输出收敛，得到目标检测神经网络模型。
在本申请的一个实施例中，目标检测神经网络模型采用Yolov3算法进行训练。
在本申请的另一实施例中，训练好的目标检测神经网络模型中，包括合并层。且该合并层是在模型训练时将卷积层与批次化标准化(Batch Normalization，BN)层合并得到的，主要用于对输入目标检测神经网络模型的数据进行卷积及归一化处理。
具体地，在模型的训练过程中，BN层能够加速网络收敛，并且能够控制过拟合现象的发生，一般放在卷积层之后，激活层之前。BN层将数据进行归一化处理之后，能够有效地解决梯度消失与梯度爆炸问题。
但是，BN层也是的在神经网络进行推导inference时增加了计算过程，影响了模型的性能，且占用了较多的内存或者显存空间。因此，本申请实施例中将BN层与卷积层进行合并，构建一个合并层，减少计算来提升模型的inference的速度。合并层的计算过程如下：
在Yolov3算法中，BN层的计算过程如下：
Figure BDA0002651872820000071
其中，xout为BN层的输出结果，γ为缩放因子，μ为均值，σ为标准差，β为偏置参数，xconv为BN层前面的卷积层的输出结果。
进一步地，卷积层的计算过程如下：
Figure BDA0002651872820000072
其中，xi为卷积层输入数据，Wi为权重参数。
进一步地，将卷积层与BN层合并得到：
Figure BDA0002651872820000073
即：
Figure BDA0002651872820000074
由此可得，合并层的权重参数变为：
Figure BDA0002651872820000081
偏置参数变为：
Figure BDA0002651872820000082
由此得到合并层的计算过程为：
Figure BDA0002651872820000083
至此，得到完整的训练完成的目标检测神经网络模型。
进一步地，将第一图像输入目标检测网络模型中，进行目标检测，输出的图像数据中包括刀闸的感兴趣区域。且该感兴趣区域通过标注框的形式展示出来。
步骤302、在第一图像中扣取第二图像。
在对第一图像进行目标检测完成之后，得到带有感兴趣区域的第一图像。基于感兴趣区域的标注框，对第一图像进行扣取，得到第二图像。即第二图像中仅包含刀闸图像，以排除环境因素的干扰。
需要说明的是，基于刀闸的感兴趣区域扣取得到第二图像的过程，可以通过现有的算法或者设备完成，本申请实施例在此不做赘述。
步骤303、在第二图像中，确定刀闸第一摇臂、第二摇臂的首端关键点与末端关键点的位置信息。
在得到第二图像之后，接下来进行刀闸摇臂的关键点检测，此时需要得到摇臂的首端关键点与末端关键点的位置信息。
具体地，将第二图像输入至关键点检测神经网络模型中进行关键点检测，确定第一摇臂的首端关键点与末端关键点的位置信息，以及第二摇臂的首端关键点与末端关键点的位置信息。
在本申请的一个实施例中，从人体骨骼关键点检测得到启发，考虑通过基于深度学习的关键点定位的思路实现对刀闸摇臂首端关键点与末端关键点进行检测定位。卷积姿态网络(Convolutional Pose Machine，CPM)是应用于人体骨骼关键点检测的网络结构，对人体骨骼关键点的检测精度较高。因此，基于CPM网络对刀闸图像数据进行训练，使得该CPM网络能够检测出刀闸摇臂的首端关键点与末端关键点。
进一步地，关键点检测神经网络模型具体地训练过程如下：首先，获取若干与刀闸有关的图像数据。然后，对获取到的图像数据进行预处理。具体地，通过预设方式识别图像数据中是否包含完整的刀闸图像，并将不包含完整的刀闸图像的图像数据剔除，仅保留含有完整刀闸图像的图像数据，构建训练数据集。将构建完成的训练数据集输入至CPM神经网络模型中，训练直至输出收敛，得到关键点检测神经网络模型。
更进一步地，将第二图像输入训练完成的关键点检测神经网络模型中，输出包含第一摇臂首端关键点与末端关键点，以及第二摇臂首端关键点与末端关键点的位置信息的图像数据。
步骤304、通过几何算法，确定刀闸状态。
在确定刀闸的第一摇臂首端关键点与末端关键点，以及第二臂首端关键点与末端关键点的位置信息之后，基于该位置信息，通过计算第一摇臂末端关键点与第二摇臂末端关键点之间的欧氏距离，确定刀闸的状态。具体实现过程如下：
首先，以第二图像的左边界为纵轴，上边界为横轴，左边界与上边界的交点为原点，建立二维平面坐标系，如图4所示。
图4为本申请实施例提供的一种二维平面坐标系示意图。如图4所示，基于第二图像建立的二维平面坐标系中，以上边界往右边界延伸的方向为横轴的正方向，以左边界往下边界延伸的方向为纵轴的正方向，左边界与上边界的交点为原点。
然后，在二维平面坐标系中，基于关键点检测神经网络模型检测到的第一摇臂的首端关键点与末端关键点的位置信息，以及第二摇臂首端关键点与末端关键点的位置信息，确定第一摇臂的首端关键点与末端关键点的二维坐标，以及第二摇臂首端关键点与末端关键点的二维坐标。
进一步地，根据第一摇臂末端关键点的二维坐标及第二摇臂末端关键点的位置坐标，计算第一摇臂末端关键点与第二摇臂末端关键点之间的欧氏距离。具体为：
Figure BDA0002651872820000101
通过上述公式确定第一摇臂末端关键点与第二摇臂末端关键点之间的欧氏距离。
其中，(x1，y1)用于指示第一摇臂末端关键点的二维坐标；(x4，y4)用于指示第二摇臂末端关键点的二维坐标；d表示第一摇臂末端关键点与第二摇臂末端关键点之间的欧式距离。
更进一步地，确定第一摇臂末端关键点与第二摇臂末端关键点之间的欧氏距离，与第一预设阈值之间的大小关系。
更进一步地，在上述欧氏距离小于第一预设阈值的情况下，确定刀闸的状态为合状态。否则，确定刀闸的状态为分状态。
但是，考虑到一种特殊情况，由于拍摄原因导致图片中的刀闸摇臂位置不清楚，或者关键点检测神经网络模型检测失误时，通过上述计算欧氏距离的方式确定刀闸的开合状态并不能满足较高准确性的要求。因此，本申请实施例还提供了另外一种几何算法。
本申请实施例中第一摇臂的首端关键点与第二摇臂的首端关键点之间连接有线缆。通过确定线缆与第一摇臂、第二摇臂之间的夹角，就可以确定第一摇臂、第二摇臂分别所处的位置，进而可确定刀闸的状态。
具体地，在确定第一摇臂首端关键点与末端关键点，以及第二摇臂首端关键点与末端关键点分别对应的二维坐标之后，基于各个关键点分别对应的二维坐标，确定第一摇臂与线缆之间的夹角以及第二摇臂与线缆之间的夹角。为方便描述，本申请实施例中将第一摇臂与线缆之间的夹角记为第一夹角α，将第二摇臂与线缆之间的夹角记为第二夹角β。其具体的实现过程如下：
将第一摇臂的末端关键点的二维坐标记为X1(x1，y1)，将第一摇臂的首端关键点的二维坐标记为X2(x2，y2)；将第二摇臂的首端关键点的二维坐标记为X3(x3，y3)，将第二摇臂的末端关键点的二维坐标记为X4(x4，y4)。
进一步地，通过X1、X2、X3构成的第一三角形，计算第一摇臂与线缆之间的第一夹角α。
Figure BDA0002651872820000111
Figure BDA0002651872820000112
Figure BDA0002651872820000113
其中，a、b、c分别表示第一三角形的三边。且边a对应的夹角为第一夹角α，α通过以下公式确定：
Figure BDA0002651872820000114
由此，可以得到刀闸的第一摇臂与线缆之间的第一夹角α。基于类似的方法，可以得到刀闸的第二摇臂与线缆之间的第二夹角β，本申请实施例在此不做赘述。
更进一步地，确定第一夹角α与第二夹角β分别与第二预设阈值之间的大小关系。并在第一夹角α和/或第二夹角β大于第二预设阈值的情况下，确定刀闸的状态为开状态。
由于外界环境因素可能导致刀闸的其中一个摇臂与线缆之间的夹角小于第二预设阈值，而另一个夹角大于第二预设阈值，此时，如果仅通过一个夹角判断刀闸的状态就容易出现判断失误的情况。因此，本申请实施例中提出的判断方法，只有在两个夹角的值全部小于第二预设阈值时，才确定刀闸的状态为合状态。或者，在任意一个夹角的值大于第二预设阈值时，确定刀闸的状态为开状态。
在本申请的一个实施例中，第一摇臂首端关键点为第一摇臂与线缆的接触点；第一摇臂末端关键点为第一摇臂闭合端的中心点。第二摇臂首端关键点为第二摇臂与线缆的接触点；第二摇臂末端关键点为第二摇臂闭合端的中心点。且第一摇臂的闭合端用于与第二摇臂的闭合端接触，以使刀闸闭合。
以上为本申请的方法实施例，基于同样的发明构思，本申请实施例还提供了一种对开式刀闸状态识别设备，其内部结构如图5所示。
图5为本申请实施例提供的一种对开式刀闸状态识别设备内部结构示意图。如图5所示，本申请实施例提供的刀闸状态识别设备主要包括处理器501、及存储器502，其上存储有可执行代码，当可执行代码被执行时，使得处理器501执行如上述的一种对开式刀闸状态识别方法。
在本申请的一个实施例中，处理器501用于获取与刀闸有关的第一图像，并通过目标检测神经网络模型，识别第一图像中的刀闸感兴趣区域；以及用于基于刀闸感兴趣区域，在第一图像上扣取第二图像；还用于将第二图像输入关键点检测神经网络模型中，以确定刀闸的第一摇臂首端关键点与末端关键点的位置信息，以及第二摇臂首端关键点与末端关键点的位置信息；还用于基于第一摇臂首端关键点与末端关键点的位置信息，以及第二摇臂首端关键点与末端关键点的位置信息，通过几何算法，确定刀闸的状态。
本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种对开式刀闸状态识别方法，其特征在于，所述方法包括：
获取与刀闸有关的第一图像，并通过目标检测神经网络模型，识别所述第一图像中的刀闸感兴趣区域；
基于所述刀闸感兴趣区域，在所述第一图像上扣取第二图像；
将所述第二图像输入关键点检测神经网络模型中，以确定所述刀闸的第一摇臂首端关键点与末端关键点的位置信息，以及第二摇臂首端关键点与末端关键点的位置信息；
基于所述第一摇臂首端关键点与末端关键点的位置信息，以及所述第二摇臂首端关键点与末端关键点的位置信息，通过几何算法，确定所述刀闸的状态。
2.根据权利要求1所述的一种对开式刀闸状态识别方法，其特征在于，所述通过几何算法，确定所述刀闸的状态，具体包括：
以所述第二图像的上边界为横轴，左边界为纵轴，上边界与左边界的交点为原点，建立二维平面坐标系；
在所述二维平面坐标系中，基于所述第一摇臂首端关键点与末端关键点的位置信息，以及所述第二摇臂首端关键点与末端关键点的位置信息，确定所述第一摇臂首端关键点与末端关键点，以及所述第二摇臂首端关键点与末端关键点的二维坐标；
基于所述第一摇臂末端关键点对应的二维坐标，以及所述第二摇臂末端关键点对应的二维坐标，确定所述第一摇臂末端关键点与所述第二摇臂末端关键点之间的欧式距离。
3.根据权利要求2所述的一种对开式刀闸状态识别方法，其特征在于，确定所述第一摇臂末端关键点与所述第二摇臂末端关键点之间的欧氏距离，具体为：
通过确定所述第一摇臂末端关键点与所述第二摇臂末端关键点之间的欧氏距离；其中，(x1，y1)用于指示所述第一摇臂末端关键点的二维坐标；(x4，y4)用于指示所述第二摇臂末端关键点的二维坐标；d表示所述第一摇臂末端关键点与所述第二摇臂末端关键点之间的欧式距离。
4.根据权利要求3所述的一种对开式刀闸状态识别方法，其特征在于，所述方法还包括：
确定所述欧式距离与第一预设阈值之间的大小关系；
在所述欧氏距离小于第一预设阈值的情况下，确定所述刀闸的状态为合状态。
5.根据权利要求2所述的一种对开式刀闸状态识别方法，其特征在于，所述刀闸的第一摇臂首端与第二摇臂首端通过线缆连接；
所述方法还包括：
在所述二维平面坐标系中，通过所述第一摇臂首端关键点与末端关键点，以及所述第二摇臂首端关键点与末端关键点分别对应的二维坐标，确定第一摇臂与所述线缆之间的第一夹角，以及确定第二摇臂与所述线缆之间的第二夹角；
在所述第一夹角和/或所述第二夹角大于第二预设阈值的情况下，确定所述刀闸的状态为开状态。
6.根据权利要求1所述的一种对开式刀闸状态识别方法，其特征在于，
所述第一摇臂首端关键点为所述第一摇臂与线缆的接触点；所述第一摇臂末端关键点为所述第一摇臂闭合端的中心点；
所述第二摇臂首端关键点为所述第二摇臂与线缆的接触点；所述第二摇臂末端关键点为所述第二摇臂闭合端的中心点；
所述第一摇臂的闭合端用于与所述第二摇臂的闭合端接触，以使所述刀闸闭合。
7.根据权利要求1所述的一种对开式刀闸状态识别方法，其特征在于，所述目标检测神经网络模型包括合并层；
所述合并层用于对数据进行卷积及归一化处理；所述合并层通过以下算法实现：
Figure FDA0002651872810000031
其中，xout为合并层的输出；xi为合并层的输入；β′为偏置参数；W′i为权重参数。
8.根据权利要求1所述的一种对开式刀闸状态识别方法，其特征在于，在将所述第二图像数据输入关键点检测神经网络模型之前，所述方法还包括：
获取若干与对开式刀闸有关的图像数据；
对所述图像数据进行预处理，以剔除不包含完整刀闸区域的图像数据，构建训练数据集；
将所述训练数据集输入至神经网络模型中进行训练；
训练直至输出收敛，得到所述关键点检测神经网络模型。
9.根据权利要求1所述的一种对开式刀闸状态识别方法，其特征在于，所述目标检测神经网络模型采用Yolov3算法；
所述关键点检测神经网络模型采用卷积姿态网络CPM。
10.一种对开式刀闸状态识别设备，其特征在于，所述设备包括：
处理器；
及存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如权利要求1-9任一项所述的一种对开式刀闸状态识别方法。
CN202010873468.7A 2020-08-26 2020-08-26 一种对开式刀闸状态识别方法及设备 Active CN112036402B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010873468.7A CN112036402B (zh) 2020-08-26 2020-08-26 一种对开式刀闸状态识别方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010873468.7A CN112036402B (zh) 2020-08-26 2020-08-26 一种对开式刀闸状态识别方法及设备

Publications (2)

Publication Number Publication Date
CN112036402A true CN112036402A (zh) 2020-12-04
CN112036402B CN112036402B (zh) 2024-04-26

Family

ID=73580063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010873468.7A Active CN112036402B (zh) 2020-08-26 2020-08-26 一种对开式刀闸状态识别方法及设备

Country Status (1)

Country Link
CN (1) CN112036402B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622615A (zh) * 2012-02-24 2012-08-01 山东鲁能智能技术有限公司 基于刀闸臂特征点间距离的刀闸状态合位可靠性判别方法
CN107944396A (zh) * 2017-11-27 2018-04-20 国网安徽省电力有限公司经济技术研究院 一种基于改进深度学习的刀闸状态识别方法
CN109063764A (zh) * 2018-07-26 2018-12-21 福建和盛高科技产业有限公司 一种基于机器视觉的隔离开关合闸操作到位的判断方法
WO2019104767A1 (zh) * 2017-11-28 2019-06-06 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN110705571A (zh) * 2019-09-21 2020-01-17 南京鑫和汇通电子科技有限公司 一种剪刀式刀闸开合状态检测方法
CN110717923A (zh) * 2019-09-21 2020-01-21 南京鑫和汇通电子科技有限公司 一种能够快速识别电线的刀闸状态检测方法
CN110942443A (zh) * 2019-09-21 2020-03-31 南京鑫和汇通电子科技有限公司 一种对开式刀闸状态的实时检测方法
CN111126253A (zh) * 2019-12-23 2020-05-08 国网福建省电力有限公司 基于图像识别的刀闸状态检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622615A (zh) * 2012-02-24 2012-08-01 山东鲁能智能技术有限公司 基于刀闸臂特征点间距离的刀闸状态合位可靠性判别方法
CN107944396A (zh) * 2017-11-27 2018-04-20 国网安徽省电力有限公司经济技术研究院 一种基于改进深度学习的刀闸状态识别方法
WO2019104767A1 (zh) * 2017-11-28 2019-06-06 河海大学常州校区 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法
CN109063764A (zh) * 2018-07-26 2018-12-21 福建和盛高科技产业有限公司 一种基于机器视觉的隔离开关合闸操作到位的判断方法
CN110705571A (zh) * 2019-09-21 2020-01-17 南京鑫和汇通电子科技有限公司 一种剪刀式刀闸开合状态检测方法
CN110717923A (zh) * 2019-09-21 2020-01-21 南京鑫和汇通电子科技有限公司 一种能够快速识别电线的刀闸状态检测方法
CN110942443A (zh) * 2019-09-21 2020-03-31 南京鑫和汇通电子科技有限公司 一种对开式刀闸状态的实时检测方法
CN111126253A (zh) * 2019-12-23 2020-05-08 国网福建省电力有限公司 基于图像识别的刀闸状态检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张骥;张金锋;朱能富;余娟;陈子亮;: "基于改进深度学习的刀闸状态识别方法研究", 电测与仪表, no. 05 *

Also Published As

Publication number Publication date
CN112036402B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
CN109934115B (zh) 人脸识别模型的构建方法、人脸识别方法及电子设备
CN109615611B (zh) 一种基于巡检影像的绝缘子自爆缺陷检测方法
CN105740780B (zh) 人脸活体检测的方法和装置
CN112199993B (zh) 基于人工智能识别任意方向变电站绝缘子红外图像检测模型的方法
CN109684925B (zh) 一种基于深度图像的人脸活体检测方法及设备
CN112883819A (zh) 多目标跟踪方法、装置、系统及计算机可读存储介质
CN111428748A (zh) 一种基于hog特征和svm的红外图像绝缘子识别检测方法
CN110533654A (zh) 零部件的异常检测方法及装置
CN108647597B (zh) 一种手腕识别方法、手势识别方法、装置和电子设备
CN116052222A (zh) 自然采集牛脸图像的牛脸识别方法
Chen et al. Guide local feature matching by overlap estimation
CN111428815A (zh) 一种基于Anchor angle机制的机械臂抓取检测方法
CN113706579A (zh) 一种基于工厂化养殖的对虾多目标跟踪系统及方法
CN115527050A (zh) 图像特征匹配方法、计算机设备和可读存储介质
CN115100497A (zh) 基于机器人的通道异常物体巡检方法、装置、设备及介质
CN110163112B (zh) 一种考生姿态分割与平滑方法
CN110334703B (zh) 一种昼夜图像中的船舶检测和识别方法
CN112036402A (zh) 一种对开式刀闸状态识别方法及设备
CN112308061B (zh) 一种车牌字符识别方法及装置
CN112069997B (zh) 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置
CN114927236A (zh) 一种面向多重目标图像的检测方法及系统
CN113470073A (zh) 一种基于深度学习的动物中心追踪方法
CN114612563A (zh) 航空线缆自动化插接方法、系统及存储介质
CN113792700A (zh) 一种电瓶车入箱检测方法、装置、计算机设备及存储介质
CN111160179A (zh) 一种基于头部分割和卷积神经网络的摔倒检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant