CN112541890B - 刀闸行程状态的检测方法、设备和可读存储介质 - Google Patents

刀闸行程状态的检测方法、设备和可读存储介质 Download PDF

Info

Publication number
CN112541890B
CN112541890B CN202011418778.6A CN202011418778A CN112541890B CN 112541890 B CN112541890 B CN 112541890B CN 202011418778 A CN202011418778 A CN 202011418778A CN 112541890 B CN112541890 B CN 112541890B
Authority
CN
China
Prior art keywords
disconnecting link
target
image
area
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011418778.6A
Other languages
English (en)
Other versions
CN112541890A (zh
Inventor
刘晓康
马剑勋
谢楠
夏天雷
吴晨媛
丁翼
陈浩
蒋君
黄奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Jiangsu Electric Power Co Ltd
Changzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Jiangsu Electric Power Co Ltd
Changzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Jiangsu Electric Power Co Ltd, Changzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202011418778.6A priority Critical patent/CN112541890B/zh
Publication of CN112541890A publication Critical patent/CN112541890A/zh
Application granted granted Critical
Publication of CN112541890B publication Critical patent/CN112541890B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Abstract

本发明提供一种刀闸行程状态的检测方法、设备和可读存储介质，该方法包括：基于包含刀闸和绝缘子的多个样本图像数据训练初始神经网络，获得目标神经网路；获取包含目标刀闸和目标绝缘子的待识别图像传到目标神经网络，检测待识别图像中的刀闸区域和绝缘子区域；根据刀闸区域的两侧边缘的目标刀闸中心点，生成刀闸圆形区域，在确定刀闸区域和绝缘子区域有效后，识别待识别图像中目标刀闸的接触点；根据接触点检测目标刀闸运行的间隔距离，并根据间隔距离，与待识别图像相邻的上一待识别图像对应的上一距离及下一待识别图像对应的下一距离，检测目标刀闸的行程状态。实现在准确有效检测目标刀闸行程状态的同时，反映目标刀闸的动态行程状态。

Description

刀闸行程状态的检测方法、设备和可读存储介质
技术领域
本发明涉及电力系统技术领域，具体涉及一种刀闸行程状态的检测方法、设备和可读存储介质。
背景技术
在变电站中，刀闸是非常重要的设备，用于将电气设备与带电的电网隔离，保证被隔离的电器设备明显断开点进行电压隔离，以便能安全进行检修。因此，刀闸运行的准确开合，对变电站以及整个电力系统的稳定运行起着至关重要的作用。
目前，为了确定刀闸运行是否可实现准确开合，针对刀闸设置有状态检测机制。并且，检测的方式包含：①判断刀闸的位置，当刀闸处于绝缘子之间时，判断刀闸为闭合状态，否则判断刀闸为断开状态；②根据刀闸主体直线的角度确定刀闸的状态；③利用绝缘子和刀闸之间的几何关系来识别刀闸的状态。但无论上述何种方法，均存在因外界因素的影响或者因刀闸自身因素的影响而检测不准确的问题；并且是针对刀闸最后所在位置的状态进行检测，难以反映刀闸的动态行程状态。
发明内容
基于上述现状，本发明的主要目的在于提供一种刀闸行程状态的检测方法、设备和可读存储介质，以提高刀闸行程状态的检测的准确性，并通过刀闸行程状态的变化趋势，来反映刀闸的动态行程状态。
为实现上述目的，本发明采用的技术方案如下：
一种刀闸行程状态的检测方法，所述刀闸行程状态的检测方法包括以下步骤：
S100，获取包含刀闸和绝缘子的多个样本图像数据，基于所述多个样本图像数据训练初始神经网络，获得能够检测刀闸区域和绝缘子区域的目标神经网络；
S200，获取包含目标刀闸和目标绝缘子的待识别图像，并将所述待识别图像传输到所述目标神经网络中，检测所述待识别图像中的刀闸区域和绝缘子区域；
S300，根据所述刀闸区域的两侧边缘的目标刀闸中心点，生成刀闸圆形区域，并根据所述刀闸圆形区域和所述绝缘子区域，确定所述刀闸区域和所述绝缘子区域的有效性，若确定有效，则执行步骤S400，若确定无效，则执行步骤S200；
S400，对所述刀闸区域进行图像处理，识别所述待识别图像中目标刀闸的接触点；
S500，根据所述接触点，检测所述目标刀闸运行的间隔距离，并根据所述间隔距离，与所述待识别图像前后相邻帧的上一待识别图像对应的上一距离，以及下一待识别图像对应的下一距离，检测所述目标刀闸的行程状态。
优选地，所述刀闸区域包含两片目标刀闸，所述步骤S500包括：
S510，检测所述两片目标刀闸的接触点之间的坐标值，并根据所述坐标值确定所述两片目标刀闸之间的间隔距离；
S520，根据所述上一距离、所述间隔距离和所述下一距离之间的数值大小关系，检测所述目标刀闸的行程状态。
优选地，所述步骤S520包括：
若所述上一距离大于所述间隔距离，且所述下一距离大于所述间隔距离，则判定所述目标刀闸在与所述间隔距离对应当前时刻的行程状态为极限合闸；
若所述上一距离小于所述间隔距离，且所述下一距离小于所述间隔距离，则判定所述目标刀闸在与所述间隔距离对应当前时刻的行程状态为极限开闸；
若所述上一距离大于所述间隔距离，且所述下一距离小于所述间隔距离，则判定所述目标刀闸在与所述间隔距离对应当前时刻的行程状态为未合闸到位；
若所述上一距离小于所述间隔距离，且所述下一距离大于所述间隔距离，则判定所述目标刀闸在与所述间隔距离对应当前时刻的行程状态为未开闸到位；
若所述上一距离等于所述间隔距离，且所述下一距离等于所述间隔距离，则判定所述目标刀闸在与所述间隔距离对应当前时刻的行程状态为静止。
优选地，在所述步骤S300中，所述根据所述刀闸圆形区域和所述绝缘子区域，确定所述刀闸区域和所述绝缘子区域的有效性包括：
识别所述绝缘子区域的区域中心点，并判断所述区域中心点是否包含于所述刀闸圆形区域内；
若包含于所述刀闸圆形区域内，则确定所述刀闸区域和所述绝缘子区域有效；
若不包含于所述刀闸圆形区域内，则确定所述刀闸区域和所述绝缘子区域无效。
优选地，所述步骤S400包括：
S410，对所述刀闸区域进行灰度化处理和二值化处理，获得二值图像，并对所述二值图像进行欧式距离变换，获得所述二值图像中各像素点到二值图像边界的最短距离；
S420，将各所述最短距离中的最大距离值确定为骨架提取点，并确定所述二值图像中与所述骨架提取点对应的连通区域；
S430，根据所述骨架提取点和所述连通区域，生成所述目标刀闸的骨架点，并判断所述二值图像中是否存在剩余连通区域，若是则执行步骤S440，若否则执行步骤S450；
S440，基于所述骨架点确定新的骨架点，并对新的所述骨架点添加覆盖标记，以及更新所述二值图像中的剩余连通区域，直到所述二值图像中不存在剩余连通区域；
S450，将所述目标刀闸的骨架点生成为刀闸传动杆骨架，并根据所述刀闸传动杆骨架，识别所述目标刀闸的两个端节点；
S460，根据所述两个端节点分别与所述目标刀闸中心点之间距离的远近，确定所述待识别图像中目标刀闸的接触点。
优选地，所述步骤S100包括：
S110，获取包含刀闸和绝缘子的多个初始样本图像数据，并对所述初始样本图像数据进行颜色参数的处理，以及几何变换处理，生成样本图像数据；
S120，将所述样本图像数据基于预设比例划分为正样本集和负样本集，并基于所述正样本集和所述负样本集对所述初始神经网络进行训练；
S130，在所述初始神经网络的训练满足所述初始神经网络的迭代结束条件时，将所述初始神经网络生成为所述目标神经网络。
优选地，在所述步骤S120中，所述基于所述正样本集和所述负样本集对所述初始神经网络进行训练包括：
S121，将所述正样本集和所述负样本集中的待训练图像均传输到所述初始神经网络中的检测网络进行特征融合，获得特征提取图；
S122，将所述特征提取图传输到所述初始神经网络中的全卷积网络，提取所述特征提取图中的候选框；
S123，将所述候选框中的候选图像传输到所述初始神经网络中的分类网络进行训练，提取所述候选框中的预测框，并确定所述预测框的设备类型得分；
S124，根据与所述分类网络对应的分类损失函数，计算与所述初始神经网络当前训练的分类损失值；
S125，判断所述分类损失值是否大于所述初始神经网络上一次训练的上一损失值，若是则执行步骤S126，若否则执行步骤S127；
S126，判定所述初始神经网络的训练满足所述迭代结束条件；
S127，根据所述分类损失值中与所述正样本集对应的正样本损失值，以及与所述负样本值对应的负样本损失值，对所述样本图像数据进行筛选，获得新的正样本集和新的负样本集，执行步骤S121。
优选地，所述步骤S122包括：
将所述特征提取图传输到所述全卷积网络，并基于所述全卷积网络对所述待训练图像进行分割，获得第一引导信息；
基于所述全卷积网络将所述特征提取图和所述第一引导信息，融合到与所述全卷积网络对应的第一骨干网络，以供所述第一骨干网络基于所述第一引导信息对所述特征提取图进行识别，提取所述特征提取图中的待定候选框；
根据与所述全卷积网络对应的全卷积损失函数，计算与所述待定候选框对应的全卷积损失值，并根据所述全卷积损失值，将所述待定候选框标识为正候选框和负候选框；
将所述正候选框和所述负候选框确定为从所述特征提取图中提取的候选框。
优选地，所述步骤S123包括：
将所述候选图像传输到所述分类网络，并基于所述分类网络对所述待训练图像进行分割，获得第二引导信息；
基于所述分类网络将所述候选图像和所述第二引导信息，融合到与所述分类网络对应的第二骨干网络，以供所述第二骨干网络基于所述第二引导信息对所述候选图像进行识别，提取所述候选框中的预测框；
基于所述第二骨干网络对所述预测框中的电力设备进行预测，获得所述设备类型得分。
优选地，所述步骤S127包括：
将所述正样本损失值和所述负样本损失值按照数值从小到大的顺序排列，筛选排列在前预设位的目标数值；
查找与各所述目标数值分别对应的新的正样本集和新的负样本集，并根据所述新的正样本值，计算分类损失权重；
基于所述分类损失值和所述分类损失权重，计算与所述初始神经网络对应的梯度参数，并基于所述梯度参数、新的正样本集以及新的负样本集，执行步骤S121。
本发明还提供一种刀闸行程状态的检测设备，所述刀闸行程状态的检测设备包括存储器、处理器和存储在所述存储器上并在所述处理器上运行的检测程序，所述检测程序被所述处理器执行时实现如上所述的刀闸行程状态的检测方法的步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有检测程序，所述检测程序被处理器执行时实现如上所述的刀闸行程状态的检测方法的步骤。
【有益效果】
本发明的刀闸行程状态的检测方法，先通过大量包含刀闸和绝缘子的样本图像数据对初始神经网络进行训练，得到能够检测刀闸区域和绝缘子区域的目标神经网络；再获取包含目标刀闸和目标绝缘子的待识别图像传输到目标神经网络中，通过目标神经网络检测待识别图像中的刀闸区域和绝缘子区域；此后依据刀闸区域的两侧边缘的目标刀闸中心点，生成刀闸圆形区域，并在依据刀闸圆形区域和绝缘子区域，确定出刀闸区域和绝缘子区域有效后，通过对刀闸区域的图像处理，识别待识别图像中目标刀闸的接触点；进而依据接触点检测目标刀闸运行的间隔距离，并根据间隔距离和与待识别图像前后相邻帧的上一待识别图像对应的上一距离，以及下一待识别图像对应的下一距离，检测目标刀闸的行程状态。其中，用于初始神经网络训练的包含刀闸和绝缘子的多个样本图像数据经增强处理，使得训练得到的目标神经网络更为准确，因而有利于通过目标神经网络对待识别图像中刀闸区域和绝缘子区域检测的准确性；同时，对检测的刀闸区域和绝缘子区域在经确定有效后才进行图像处理，以识别接触点来检测目标刀闸的行程状态，确保准确有效的检测目标刀闸的行程状态；此外，待识别图像，以及与待识别图像前后相邻帧的上一待识别图像和下一待识别图像，体现了目标刀闸在连续时间上的状态变化情况，由各自接触点所得到的间隔距离、上一距离和下一距离体现了目标刀闸在连续不同时间上的位置情况，反映了目标刀闸行程状态的变化趋势，实现在准确有效检测目标刀闸行程状态的同时，反映目标刀闸的动态行程状态。
本发明的其他有益效果，将在具体实施方式中通过具体技术特征和技术方案的介绍来阐述，本领域技术人员通过这些技术特征和技术方案的介绍，应能理解所述技术特征和技术方案带来的有益技术效果。
附图说明
以下将参照附图对根据本发明的优选实施方式进行描述。图中：
图1是本发明一实施例的刀闸行程状态的检测方法流程框图；
图2是本发明另一实施例的刀闸行程状态的检测方法流程框图；
图3是本发明实施例中刀闸区域和绝缘子区域有效性验证示意图；
图4是本发明实施例中目标刀闸接触点与目标刀闸连接点的示意图。
具体实施方式
现结合附图，对本发明的较佳实施例作详细说明。
需要说明的是，本发明中采用步骤编号(字母或数字编号)来指代某些具体的方法步骤，仅仅是出于描述方便和简洁的目的，而绝不是用字母或数字来限制这些方法步骤的顺序。本领域的技术人员能够明了，相关方法步骤的顺序，应由技术本身决定，不应因步骤编号的存在而被不适当地限制。
图1是本发明一实施例的刀闸行程状态的检测方法流程框图，该方法包括如下步骤。
步骤S100，获取包含刀闸和绝缘子的多个样本图像数据，基于所述多个样本图像数据训练初始神经网络，获得能够检测刀闸区域和绝缘子区域的目标神经网络；
步骤S200，获取包含目标刀闸和目标绝缘子的待识别图像，并将所述待识别图像传输到所述目标神经网络中，检测所述待识别图像中的刀闸区域和绝缘子区域；
步骤S300，根据所述刀闸区域的两侧边缘的目标刀闸中心点，生成刀闸圆形区域，并根据所述刀闸圆形区域和所述绝缘子区域，确定所述刀闸区域和所述绝缘子区域的有效性，若确定有效，则执行步骤S400，若确定无效，则执行步骤S200；
步骤S400，对所述刀闸区域进行图像处理，识别所述待识别图像中目标刀闸的接触点；
步骤S500，根据所述接触点，检测所述目标刀闸运行的间隔距离，并根据所述间隔距离，与所述待识别图像前后相邻帧的上一待识别图像对应的上一距离，以及下一待识别图像对应的下一距离，检测所述目标刀闸的行程状态。
本实施例在对刀闸行程状态进行检测前，预先训练用于识别刀闸区域和绝缘子区域的目标神经网络，并且，用于初始神经网络训练的包含刀闸和绝缘子的多个样本图像数据经增强处理，使得训练得到的目标神经网络更为准确，因而有利于通过目标神经网络对待识别图像中刀闸区域和绝缘子区域检测的准确性；同时，对检测的刀闸区域和绝缘子区域在经确定有效后才进行图像处理，以识别接触点来检测目标刀闸的行程状态，确保准确有效的检测目标刀闸的行程状态；此外，因待识别图像，以及与待识别图像前后相邻帧的上一待识别图像和下一待识别图像，体现了目标刀闸在连续时间上的状态变化情况，故可由各自接触点所得到的间隔距离、上一距离和下一距离所体现的目标刀闸在连续不同时间上的位置情况，来反映目标刀闸行程状态的变化趋势，实现在准确有效检测目标刀闸行程状态的同时，反映目标刀闸的动态行程状态。
具体地，对于步骤S100，先对刀闸和绝缘子等电力设备以红外和可见光的形式进行图像采集，得到大量包含刀闸和绝缘子的样本图像数据，并且预先构建初始神经网络，该初始神经网络至少可包括Faster RCNN网络和SARCNN网络。将采集的多个样本图像数据传输到初始神经网络中，对初始神经网络进行训练，获得目标神经网络，用以对包含刀闸图像中的刀闸区域与绝缘子区域进行识别检测。
对于步骤S200，进一步地，当具有对刀闸行程状态进行检测的需求时，可通过摄像头拍摄照片或者拍摄视频的方式获得该刀闸及其绝缘子的图像，并且将该刀闸及其绝缘子分别作为目标刀闸和目标绝缘子，该图像即为包含目标刀闸和目标绝缘子的待识别图像。其中，若以拍摄照片的方式获得图像，则可设定定时拍摄，将定时拍摄的各帧图像逐一作为待识别图像；若以拍摄视频的方式获得图像，则从视频中抽取连续的多个图像帧作为待识别图像。
更进一步地，将获取的待识别图像传输到目标神经网络中，通过目标神经网络的识别处理，检测出待识别图像中的刀闸区域和绝缘子区域。需要说明的是，电力系统中包含多个刀闸和绝缘子，每个刀闸与绝缘子之间，可以是单个刀闸对应两个绝缘子的一对二关系，也可以是两个刀闸对应两个绝缘子的二对二关系。对于单个刀闸与两个绝缘子的一对二关系，刀闸的一端与其中一个绝缘子连接，绕该绝缘子转动；刀闸的另一端可与另一个绝缘子接触，在刀闸朝向该接触的绝缘子转动时实现刀闸的闭合，在刀闸远离该接触的绝缘子转动时实现刀闸的开启。对于两个刀闸与两个绝缘子的二对二关系，两个刀闸的一端分别与两个绝缘子连接，绕各自连接的绝缘子转动，而两个刀闸的另一端则在刀闸转动到闭合的状态时相互接触。本实施例优选以二对二关系加以说明，具体请参照图3。
对于步骤S300，进一步地，对刀闸区域进行识别，确定两侧边缘的目标刀闸中心点，并以该中心点为圆心，生成刀闸圆形区域。其中，预先依据需求设定有半径阈值，从0开始逐步增加半径值，直到半径值增大到半径阈值停止增加。此时，所形成的圆形区域即为刀闸圆形区域。此后，依据刀闸圆形区域和绝缘子区域，对刀闸区域和绝缘子区域的有效性进行确定，以验证通过目标神经网络所检测的刀闸区域和绝缘子区域是否有效。具体地，对于步骤S300，根据刀闸圆形区域和绝缘子区域，确定刀闸区域和绝缘子区域的有效性包括：
步骤a1，识别所述绝缘子区域的区域中心点，并判断所述区域中心点是否包含于所述刀闸圆形区域内；
步骤a2，若包含于所述刀闸圆形区域内，则确定所述刀闸区域和所述绝缘子区域有效；
步骤a3，若不包含于所述刀闸圆形区域内，则确定所述刀闸区域和所述绝缘子区域无效。
进一步地，对绝缘子区域进行识别，识别出区域中心位置的点，确定为区域中心点。此后将区域中心点的位置和刀闸圆形区域进行对比，判断区域中心点是否包含在刀闸圆形区域内。若经确定包含在刀闸圆形区域内，则说明目标绝缘子与目标刀闸之间的位置关系正确，两者之间具有对应关系，从而判定经目标神经网络所识别检测的刀闸区域和绝缘子区域有效，执行步骤S400。反之，若经确定区域中心点不包含在刀闸圆形区域内，则说明目标绝缘子与目标刀闸之间的位置关系异常，两者之间不具有对应关系，而判定刀闸区域和绝缘子区域无效，执行步骤S200，以重新获取待识别图像，由目标神经网络从该新的待识别图像中，检测出新的刀闸区域和绝缘子区域，直到检测的刀闸区域和绝缘子区域有效。
更进一步地，请参照图3，图3示出了生成刀闸圆形区域，以及对刀闸区域和绝缘子区域有效性的验证过程。具体地，对于电网系统中的各个刀闸区域，先计算每个刀闸区域的区域长度和区域宽度的特征参数，进而得出区域宽度的中心点，确定为刀闸区域的两侧边缘的目标刀闸中心点，即图3中的Am1和Am2。同时，识别每个绝缘子区域的中心位置，得到目标绝缘子的区域中心点，即图3中的Bn1和Bn2。若预先设定的半径阈值为5cm，则分别以两个目标刀闸中心点Am1和Am2为圆心，逐渐增到半径值到5cm，形成刀闸圆形区域Smn1和Smn2。此后，判断Smn1和Smn2在增大的过程中，是否各自覆盖Bn1和Bn2。若各自覆盖Bn1和Bn2，则判定区域中心点包含于刀闸圆形区域内，说明图3中所示的目标绝缘子与目标刀闸之间的对应关系正确，确定刀闸区域和绝缘子区域有效；反之，若存在任意一个区域中心点不包含于刀闸圆形区域内，则说明图3中所示的目标绝缘子与目标刀闸之间的对应关系不正确，判定刀闸区域和绝缘子区域无效。
对于步骤S400，进一步地，若经判定刀闸区域和绝缘子区域有效，则对刀闸区域进行灰度化和二值化的图像处理，并以图像处理后的刀闸区域为基础，提取刀闸传动杆骨架，进而识别刀闸传动杆骨架中目标刀闸的接触点。其中，该目标刀闸的接触点为目标刀闸上远离目标刀闸与目标绝缘子连接端的端点；对于一对二关系的目标刀闸和目标绝缘子来说，该接触点与目标绝缘子接触实现目标刀闸的闭合；对于二对二关系的目标刀闸和目标绝缘子来说，两片目标刀闸的接触电相互接触实现目标刀闸的闭合。
进一步地，对于步骤S500，依据识别的接触点，对目标刀闸运行的间隔距离进行检测。并且，该间隔距离依据目标绝缘子与目标刀闸之间对应关系的不同而具有差异。对于一对二关系的目标刀闸与目标绝缘子，该间隔距离为目标刀闸的接触点与目标刀闸闭合时在目标绝缘子上落点之间的距离；对于二对二关系的目标刀闸与目标绝缘子，该间隔距离为两片目标刀闸各自接触点之间的距离。
更进一步地，在待识别图像采集时刻的上一时刻，以及下一时刻采集的图像为与待识别图像前后相邻帧的图像，将该前后相邻帧的图像分别作为上一待识别图像，以及下一待识别图像。对于上一待识别图像，依据与待识别图像同样的处理方式，检测目标刀闸在上一时刻的间隔距离作为上一距离；对于下一待识别图像，同样检测目标刀闸在下一时刻的的间隔距离作为下一距离。进而依据当前的间隔距离、上一距离和下一距离之间数值大小关系，所反应的目标刀闸运行状态，检测目标刀闸的行程状态。具体地，对于两片目标刀闸，步骤S500包括：
S510，检测所述两片目标刀闸的接触点之间的坐标值，并根据所述坐标值确定所述两片目标刀闸之间的间隔距离；
S520，根据所述上一距离、所述间隔距离和所述下一距离之间的数值大小关系，检测所述目标刀闸的行程状态。
进一步地，对于二对二关系的目标刀闸与目标绝缘子，两片目标刀闸均具有各自的接触点。识别两个接触点各自的坐标值，进而计算两个坐标值之间的欧式距离，得到两片目标刀闸之间的间隔距离。进而将该间隔距离存储，并在采集到下一时刻的下一待识别图像进行处理，得到下一距离后，调用存储的上一距离和间隔距离。此后，将上一距离、间隔距离和下一距离对比，确定三者之间的数值大小关系，并依据数值大小关系，检测目标刀闸的行程状态。具体地，步骤S520包括：
步骤b1，若所述上一距离大于所述间隔距离，且所述下一距离大于所述间隔距离，则判定所述目标刀闸在与所述间隔距离对应当前时刻的行程状态为极限合闸；
步骤b2，若所述上一距离小于所述间隔距离，且所述下一距离小于所述间隔距离，则判定所述目标刀闸在与所述间隔距离对应当前时刻的行程状态为极限开闸；
步骤b3，若所述上一距离大于所述间隔距离，且所述下一距离小于所述间隔距离，则判定所述目标刀闸在与所述间隔距离对应当前时刻的行程状态为未合闸到位；
步骤b4，若所述上一距离小于所述间隔距离，且所述下一距离大于所述间隔距离，则判定所述目标刀闸在与所述间隔距离对应当前时刻的行程状态为未开闸到位；
步骤b5，若所述上一距离等于所述间隔距离，且所述下一距离等于所述间隔距离，则判定所述目标刀闸在与所述间隔距离对应当前时刻的行程状态为静止。
进一步地，若经对比确定上一距离大于间隔距离，且下一距离也大于间隔距离，则说明两片目标刀闸的运动为先靠近再远离，目标刀闸在获得间隔距离的当前时刻处于完全合闸的状态，从而判定目标刀闸在该当前时刻的行程状态为极限合闸。
若经对比确定上一距离小于间隔距离，且下一距离也小于间隔距离，则说明两片目标刀闸的运动为先远离再靠近，目标刀闸在获得间隔距离的当前时刻处于完全开闸的状态，从而判定目标刀闸在该当前时刻的行程状态为极限开闸。
若经对比确定上一距离大于间隔距离，且下一距离小于间隔距离，则说明两片目标刀闸的运动为逐渐靠近，目标刀闸在获得间隔距离的当前时刻朝向合闸的状态运动，从而判定目标刀闸在该当前时刻的行程状态为未合闸到位。
若经对比确定上一距离小于间隔距离，且下一距离大于间隔距离，则说明两片目标刀闸的运动为逐渐远离，目标刀闸在获得间隔距离的当前时刻朝向开闸的状态运动，从而判定目标刀闸在该当前时刻的行程状态为未开闸到位。
若经对比确定上一距离等于间隔距离，且下一距离也等于间隔距离，则说明两片目标刀闸在上一时刻、当前时刻和下一时刻的位置均未变动，目标刀闸未运动，从而判定目标刀闸在当前时刻的行程状态为静止。以此，通过两片目标刀闸的接触点在不同时刻的距离变化，所反应的目标刀闸位置状态变化，实现对目标刀闸的动态行程状态检测。
进一步地，提出本发明刀闸行程状态的检测方法另一实施例。
请参照图2，所述刀闸行程状态的检测方法另一实施例与上述刀闸行程状态的检测方法的实施例的区别在于，所述步骤S400包括：
S410，对所述刀闸区域进行灰度化处理和二值化处理，获得二值图像，并对所述二值图像进行欧式距离变换，获得所述二值图像中各像素点到二值图像边界的最短距离；
S420，将各所述最短距离中的最大距离值确定为骨架提取点，并确定所述二值图像中与所述骨架提取点对应的连通区域；
S430，根据所述骨架提取点和所述连通区域，生成所述目标刀闸的骨架点，并判断所述二值图像中是否存在剩余连通区域，若是则执行步骤S440，若否则执行步骤S450；
S440，基于所述骨架点确定新的骨架点，并对新的所述骨架点添加覆盖标记，以及更新所述二值图像中的剩余连通区域，直到所述二值图像中不存在剩余连通区域；
S450，将所述目标刀闸的骨架点生成为刀闸传动杆骨架，并根据所述刀闸传动杆骨架，识别所述目标刀闸的两个端节点；
S460，根据所述两个端节点分别与所述目标刀闸中心点之间距离的远近，确定所述待识别图像中目标刀闸的接触点。
本实施例确定出刀闸区域和绝缘子区域有效后，对刀闸区域进行图像处理，所进行的图像处理包括但不限于灰度化处理和二值化处理，得到二值图像。进而在二值图像的基础上进行骨架生长，提取出刀闸传动杆骨架。此后，从刀闸传动杆骨架中识别出目标刀闸两端的两个端节点，并依据两个端节点与目标刀闸中心点之间距离的远近，识别目标刀闸的接触点。以此，通过骨架生长提取的刀闸传动杆骨架，准确识别出端节点，进而有利于接触点的准确识别，提升了刀闸行程状态的检测的准确性。
具体地，对于步骤S410，对彩色的刀闸区域图像中各像素点的三分量亮度求平均，得到灰度值，实现对刀闸区域的灰度化处理。此后，计算每个灰度值的概率并计算前景(电力设备，如刀闸、绝缘子等)和背景的分布概率以及平均灰度值和方差，进而计算前景和背景之间的类间差，取类间差最大的灰度值作为阈值。在通过阈值判断出前景和背景之间划分准确后，完成对刀闸区域的二值化处理，获得二值图像。
对于步骤S420，进一步地，对二值图像进行欧式距离变化，计算二值图像中每个像素点到二值图像边界的距离。因二值图像包含四条边界，故每个像素点可计算得到四个距离值，在各个距离值之间对比，确定其中的最短距离。在各个像素点的最短距离之间比较，查找其中数值最大的最大距离值，并将该最大距离值确定为初始的骨架提取点。同时，将该初始的骨架提取点周围的像素点形成为骨架提取点对应的连通区域，并且，骨架提取点周围的像素点可以是周围四个像素点形成的四邻域，也可以是周围八个像素点形成的八邻域。
进一步地，依据骨架提取点和连通区域进行骨架生长，生成目标刀闸的骨架点。此后，判断二值图像中是否存在尚未进行骨架生长的剩余连通区域，若存在则将生成的骨架点作为新的骨架提取点，并以该新的骨架提取点继续骨架生长，获得新的骨架点，同时对于新的骨架点添加覆盖标识，以表示对该骨架点进行了生长处理。此外，还对二值图像中尚未处理的剩余连通区域进行更新，直到二值图像中不存在剩余连通区域，完成对二值图像的骨架生长。
进一步地，若二值图像中不存在剩余连通区域，则将针对目标刀闸生成的骨架点生成为刀闸传动杆骨架，并对刀闸传动杆骨架进行识别，获得目标刀闸两端的两个端节点。此后，将两个端节点分别与目标刀闸中心点进行计算，确定各自与目标刀闸中心点的距离。在两个距离之间进行对比，确定其中数值较小的距离，该数值较小距离对应的端节点为目标刀闸连接点，另一数值较大距离对应的端节点则为目标刀闸的接触点，具体请参照图4所示。以此，确定目标刀闸的接触点，用于计算间隔距离。通过准确识别出接触点，来确保计算间隔距离的准确性，进而提升刀闸行程状态的检测的准确性。
进一步地，提出本发明刀闸行程状态的检测方法又一实施例。
所述刀闸行程状态的检测方法又一实施例与上述刀闸行程状态的检测方法的实施例的区别在于，所述步骤S100包括：
S110，获取包含刀闸和绝缘子的多个初始样本图像数据，并对所述初始样本图像数据进行颜色参数的处理，以及几何变换处理，生成样本图像数据；
S120，将所述样本图像数据基于预设比例划分为正样本集和负样本集，并基于所述正样本集和所述负样本集对所述初始神经网络进行训练；
S130，在所述初始神经网络的训练满足所述初始神经网络的迭代结束条件时，将所述初始神经网络生成为所述目标神经网络。
本实施例通过样本图像数据对初始神经网络模型进行训练，得到用于准确检测刀闸区域和绝缘子区域的目标神经网络。具体地，先以红外或可见光形式收集大量包含刀闸和绝缘子的初始样本图像数据，并对初始样本图像数据进行颜色参数的处理，以及几何变换处理的数据增强，用以对初始样本图像数据进行扩充，得到样本图像数据。其中，颜色参数的处理，以及几何变换处理，依据SSD(Single Shot MultiBox Detector)的数据增强实现。
进一步地，颜色参数的数据增强包含噪声、模糊、颜色变化、擦除、填充等处理。用相应的概率参数来控制每种颜色增强是否执行，针对初始样本图像数据随机生成每种颜色增强的概率，如果大于相应的参数就执行颜色增强，否则不执行颜色增强。同时，几何变换的数据增强包含翻转、旋转、裁剪、变形等处理，同样由几何变换的概率参数来控制几何变换增强是否执行。即，针对初始样本图像数据随机生成几何变换增强的概率，如果大于相应的参数就执行几何变换增强，否则不执行几何变换增强。以此，通过颜色参数的数据增强和几何变换的数据增强，实现对初始样本图像数据的扩充，将初始样本图像数据生成为样本图像数据。
更进一步地，对于步骤S120，预先依据需求设置有预设比例，如4：1；基于该预设比例，将样本图像数据划分为正样本集和负样本集。此后，将正样本集和负样本集传输到初始神经网络，对初始神经网络进行训练。
进一步地，对于步骤S130，预先设置有表征初始神经网络训练结束的迭代结束条件，每次在对初始神经网络训练后，均判断该次训练是否满足初始神经网络的迭代结束条件。若满足则结束对初始神经网络的训练，并将初始神经网络生成为目标神经网络。反之，若不满足则继续对初始神经网络迭代训练，直到训练满足迭代结束条件，将初始神经网络生成为目标神经网络。
具体地，对于步骤S120，所述基于所述正样本集和所述负样本集对所述初始神经网络进行训练包括：
S121，将所述正样本集和所述负样本集中的待训练图像均传输到所述初始神经网络中的检测网络进行特征融合，获得特征提取图；
S122，将所述特征提取图传输到所述初始神经网络中的全卷积网络，提取所述特征提取图中的候选框；
S123，将所述候选框中的候选图像传输到所述初始神经网络中的分类网络进行训练，提取所述候选框中的预测框，并确定所述预测框的设备类型得分；
S124，根据与所述分类网络对应的分类损失函数，计算与所述初始神经网络当前训练的分类损失值；
S125，判断所述分类损失值是否大于所述初始神经网络上一次训练的上一损失值，若是则执行步骤S126，若否则执行步骤S127；
S126，判定所述初始神经网络的训练满足所述迭代结束条件；
S127，根据所述分类损失值中与所述正样本集对应的正样本损失值，以及与所述负样本值对应的负样本损失值，对所述样本图像数据进行筛选，获得新的正样本集和新的负样本集，执行步骤S121。
进一步地，初始神经网络包含Faster RCNN网络，而Faster RCNN网络又包含有检测网络Fast RCNN以及全卷积网络RPN。将正样本集中的样本图像数据，以及负样本集中的样本图像数据，分别作为给各自的待训练图像，并将该待训练图像传输到初始神经网络中的检测网络Fast RCNN，由检测网络Fast RCNN进行单尺度图像的多尺度特征融合，得到特征提取图。并且，特征融合依据残差学习以及注意力机制实现，即将低层特征作为高层特征的注意力模板进行多尺度特征融合，如式H(x)＝(1+M(x))·T(x)中，x为输入的待训练图像，H(x)为输出的特征提取图，M(x)为注意力模板，T(x)为卷积分支。
更进一步地，对于步骤S122，将得到的特征提取图传输到传输到初始神经网络中的全卷积网络RPN，由全卷积网络RPN对特征提取图进行处理，提取出其中的候选框。具体地，步骤S122包括：
步骤c1，将所述特征提取图传输到所述全卷积网络，并基于所述全卷积网络对所述待训练图像进行分割，获得第一引导信息；
步骤c2，基于所述全卷积网络将所述特征提取图和所述第一引导信息，融合到与所述全卷积网络对应的第一骨干网络，以供所述第一骨干网络基于所述第一引导信息对所述特征提取图进行识别，提取所述特征提取图中的待定候选框；
步骤c3，根据与所述全卷积网络对应的全卷积损失函数，计算与所述待定候选框对应的全卷积损失值，并根据所述全卷积损失值，将所述待定候选框标识为正候选框和负候选框；
步骤c4，将所述正候选框和所述负候选框确定为从所述特征提取图中提取的候选框。
进一步地，在将特征提取图传输到全卷积网络的同时，还将待训练图像作为全卷积网络的输入，由全卷积网络对其进行分割，获得第一引导信息。其中，全卷积网络基于阈值分割法对待训练图像进行分割，得到第一引导信息作为显著信息，用以对特征提取图中包含的诸如刀闸或绝缘子等电力设备的检测进行引导。
更进一步地，通过全卷积网络将特征提取图和第一引导信息，融合到全卷积网络对应的第一骨干网络。其中，待训练图像中电力设备以红外和可见光形式进行图像采集，特征提取图包含电力设备红外成像的发热信息，以及可见光成像的颜色信息和纹理信息，将该各类信息和以第一引导信息均融合到第一骨干网络，实现多元信息的协同。由第一骨干网络依据第一引导信息对特征提取图进行识别，提取其中的待定候选框。该待定候选框为将绝缘子、刀闸等电力设备从待训练图像选择出来的框。
可理解地，全卷积网络所提取的待定候选框可能可以准确选择出电力设备，也可能不准确，即电力设备和非电力设备的分类可能准确也可能不准确。为了确保准确性，本实施例针对全卷积网络预先设置有全卷积损失函数，且该全卷积损失函数如公式(1)所示，公式(1)为：
Lrpn＝αc1Lc1+βr1Lr1+γs1Ls1 (1)
其中，Lrpn为全卷积损失值，Lc1、Lr1和Ls1分别为分类的交叉熵损失，边界框回归的平滑损失和分割损失；并且
Figure BDA0002821313410000171
为待定候选框中电力设备的面积，
Figure BDA0002821313410000172
为待定候选框的面积；αc1、βr1和γs1是各自相应的损失函数权重。
在从特征提取图中提取出待定候选框后，依据该全卷积损失函数，计算全卷积损失值，并依据全卷积损失值将待定候选框标识为正候选框和负候选框。具体地，在Si1和
Figure BDA0002821313410000173
之间计算交并比IOU，并计算交并比IOU与标注正确框里电力设备的面积Ground truth之间的交集。若该交集大于0.5，则将待定候选框标识为正候选框(电力设备的候选框)，反之若交集小于0.5，则将待定候选框标识为负候选框(非电力设备的候选框)。此后，将正候选框和负候选框一并作为从特征提取图中提取的候选框对初始神经网络中的SARCNN网络继续训练。
进一步地，对于步骤S123，将提取的包含正候选框和负候选框的候选框中的候选图像，传输到初始神经网络中的分类网络，对该分类网络进行训练。由分类网络提取候选框中的预测框，反应候选框中所包含的电力设备类型。同时计算预测框的设备类型得分，以体现预测框中所预测电力设备类型的可能性大小。其中，设备类型得分越高，由预测框所预测的电力设备类型的可能性越大，分类网络对电力设备类型的分类识别准确性越高。
具体地，步骤S123包括：
步骤d1，将所述候选图像传输到所述分类网络，并基于所述分类网络对所述待训练图像进行分割，获得第二引导信息；
步骤d2，基于所述分类网络将所述候选图像和所述第二引导信息，融合到与所述分类网络对应的第二骨干网络，以供所述第二骨干网络基于所述第二引导信息对所述候选图像进行识别，提取所述候选框中的预测框；
步骤d3，基于所述第二骨干网络对所述预测框中的电力设备进行预测，获得所述设备类型得分。
进一步地，在将候选图像传输到分类网络的同时，还将待训练图像作为分类网络的输入，由分类网络对其进行分割，获得第二引导信息。其中，分类网络基于阈值分割法对待训练图像进行分割，得到第二引导信息作为显著信息，用以对候选图像中包含的诸如刀闸或绝缘子等电力设备的类型检测进行引导。
更进一步地，通过分类网络将候选图像和第二引导信息，融合到分类网络对应的第二骨干网络。由第二骨干网络依据第二引导信息对候选图像进行识别，从候选框中提取出预测框，通过预测框预测待定候选框中电力设备的类型，即预测待定候选框中的电力设备是绝缘子还是刀闸等。
进一步地，对于预测框中所预测电力设备的类型，通过设备类型得分表示类型可能性大小。并且，设备类型得分包括全卷积网络RPN的得分和SARCNN网络的得分两部分，具体可由公式(2)计算，公式(2)为：
Figure BDA0002821313410000181
其中，
Figure BDA0002821313410000182
为RPN的得分，
Figure BDA0002821313410000183
为SARCNN的得分，
Figure BDA0002821313410000184
为第i个待定候选框属于背景的得分，
Figure BDA0002821313410000185
为RPN中第i个待定候选框属于电力设备的得分，
Figure BDA0002821313410000186
为SARCNN中第i个待定候选框属于第j类电力设备的得分。
对于步骤S124，为了体现分类网络所提取预测框的准确性，本实施例针对分类网络预先设置有分类损失函数，且该分类损失函数如公式(3)所示，公式(3)为：
Lrcnn＝αc3Lc3+γs3Ls3+γs4Ls4 (3)
其中，Lrcnn为分类损失值，Lc3、Ls3和Ls4分别为分类、边界框回归和分割约束，αc3、γs3和γs4是各自相应的权重。
依据该分类损失函数，对分类损失值进行计算，并依据分类损失值确定训练的初始神经网络是否呈现收敛特性。其中，收敛特性依据每次训练后所计算的分类损失值是否最小确定。
具体地，对于步骤S125，将分类损失值和初始神经网络上一次训练所得到的上一损失值对比，判断分类损失值是否大于上一损失值；若大于则说明上一次训练的分类损失值达到最小值，初始神经网络呈现收敛特性；否则，判定初始神经网络未收敛需要继续训练。此外，也可依据需求设定预设阈值，通过分类损失值与预设阈值之间的大小关系来确定初始神经网络是否呈现收敛特性。即，若分类损失值大于预设阈值，则判定初始神经网络呈现收敛特性；反之，若分类损失值小于或等于预设阈值，则判定初始神经网络未呈现收敛特性需要继续训练。
对于步骤S126，若经对比确定分类损失值大于上一损失值，说明初始神经网络呈现收敛特性，则判定初始神经网络的训练满足迭代结束条件，将初始神经网络生成为目标神经网络。
进一步地，对于步骤S127，若经对比确定分类损失值不大于上一损失值，说明初始神经网络未呈现收敛特性，则判定初始神经网络的训练未满足迭代结束条件，而需要对初始神经网络继续训练。并且，在继续训练时，依据分类损失值中与正样本集对应的正样本损失值，以及与负样本集对应的负样本损失值，对样本图像数据进行筛选，获得新的正样本集和新的负样本集执行步骤S121，以对初始神经网络继续训练。
具体地，步骤S127包括：
步骤e1，将所述正样本损失值和所述负样本损失值按照数值从小到大的顺序排列，筛选排列在前预设位的目标数值；
步骤e2，查找与各所述目标数值分别对应的新的正样本集和新的负样本集，并根据所述新的正样本值，计算分类损失权重；
步骤e3，基于所述分类损失值和所述分类损失权重，计算与所述初始神经网络对应的梯度参数，并基于所述梯度参数、新的正样本集以及新的负样本集，执行步骤S121。
更进一步地，依据OHEM(Online Hard Example Mining)方法，将正样本损失值和负样本损失值按照各自数值从小到大的顺序排列，筛选排列在前预设位的目标数值。其中，前预设位可依据需求设定，如设定前100位、200位等。进而查找生成前预设位目标数值的正样本集和负样本集，作为与各目标数值分别对应的新的正样本集和新的负样本集。
进一步地，依据新的正样本集，计算分类损失权重。并且，该分类损失权重依据新的正样本集与其样本标签之间的面积重合比进行计算，具体可通过公式(4)计算，公式(4)为：
Wi＝1-IoU(Li，Pi) (4)
其中，Wi为分类损失权重，IoU(Li，Pi)为新的正样本集与其样本标签之间的面积重合比，Pi为新的正样本集，Li为样本标注。
更进一步地，在得到分类损失值和分类损失权重之后，通过链式法则反向计算与初始神经网络对应的梯度参数，进而依据梯度参数对初始神经网络的模型参数进行更新，并通过新的正样本集和新的负样本集，对更新模型参数后的初始神经网络进行训练，直到初始神经网络呈现收敛特性，生成目标神经网络，用以对刀闸区域和绝缘子区域进行检测。
本实施例通过初始样本图像数据的数据增强处理，使得样本图像数据更为丰富，有利于所训练得到的目标神经网络的准确性。同时，对于全卷积网络，设定残差学习以及注意力机制的特征融合，并且设定第一引导信息的引导机制，使得提取的待定候选区更为准确，进而有利于所提取候选框以及预测框的准确性，促进了目标神经网络训练的准确性。
本发明还提出一种刀闸行程状态的检测设备，所述刀闸行程状态的检测设备包括存储器、处理器和存储在所述存储器上并在所述处理器上运行的检测程序，所述检测程序被所述处理器执行时实现如上所述的刀闸行程状态的检测方法的步骤。
本发明刀闸行程状态的检测设备的具体实施方式与上述刀闸行程状态的检测方法各实施例基本相同，在此不再重复赘述。
本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有检测程序，所述检测程序被处理器执行时实现如上所述刀闸行程状态的检测方法的步骤。
本发明计算机可读存储介质的具体实施方式与上述刀闸行程状态的检测方法各实施例基本相同，在此不再重复赘述。
本领域的技术人员能够理解的是，在不冲突的前提下，上述各优选方案可以自由地组合、叠加。
应当理解，上述的实施方式仅是示例性的，而非限制性的，在不偏离本发明的基本原理的情况下，本领域的技术人员可以针对上述细节做出的各种明显的或等同的修改或替换，都将包含于本发明的权利要求范围内。

Claims (12)

1.一种刀闸行程状态的检测方法，其特征在于，所述刀闸行程状态的检测方法包括以下步骤：
S100，获取包含刀闸和绝缘子的多个样本图像数据，基于所述多个样本图像数据训练初始神经网络，获得能够检测刀闸区域和绝缘子区域的目标神经网络；
S200，获取包含目标刀闸和目标绝缘子的待识别图像，并将所述待识别图像传输到所述目标神经网络中，检测所述待识别图像中的刀闸区域和绝缘子区域；
S300，根据所述刀闸区域的两侧边缘的目标刀闸中心点，生成刀闸圆形区域，并根据所述刀闸圆形区域和所述绝缘子区域，确定所述刀闸区域和所述绝缘子区域的有效性，若确定有效，则执行步骤S400，若确定无效，则执行步骤S200；
S400，对所述刀闸区域进行图像处理，识别所述待识别图像中目标刀闸的接触点；
S500，根据所述接触点，检测所述目标刀闸运行的间隔距离，并根据所述间隔距离，与所述待识别图像前后相邻帧的上一待识别图像对应的上一距离，以及下一待识别图像对应的下一距离，检测所述目标刀闸的行程状态。
2.根据权利要求1所述的刀闸行程状态的检测方法，其特征在于，所述刀闸区域包含两片目标刀闸，步骤S500包括：
S510，检测所述两片目标刀闸的接触点之间的坐标值，并根据所述坐标值确定所述两片目标刀闸之间的间隔距离；
S520，根据所述上一距离、所述间隔距离和所述下一距离之间的数值大小关系，检测所述目标刀闸的行程状态。
3.根据权利要求2所述的刀闸行程状态的检测方法，其特征在于，步骤S520包括：
若所述上一距离大于所述间隔距离，且所述下一距离大于所述间隔距离，则判定所述目标刀闸在与所述间隔距离对应当前时刻的行程状态为极限合闸；
若所述上一距离小于所述间隔距离，且所述下一距离小于所述间隔距离，则判定所述目标刀闸在与所述间隔距离对应当前时刻的行程状态为极限开闸；
若所述上一距离大于所述间隔距离，且所述下一距离小于所述间隔距离，则判定所述目标刀闸在与所述间隔距离对应当前时刻的行程状态为未合闸到位；
若所述上一距离小于所述间隔距离，且所述下一距离大于所述间隔距离，则判定所述目标刀闸在与所述间隔距离对应当前时刻的行程状态为未开闸到位；
若所述上一距离等于所述间隔距离，且所述下一距离等于所述间隔距离，则判定所述目标刀闸在与所述间隔距离对应当前时刻的行程状态为静止。
4.根据权利要求1所述的刀闸行程状态的检测方法，其特征在于，在步骤S300中，所述根据所述刀闸圆形区域和所述绝缘子区域，确定所述刀闸区域和所述绝缘子区域的有效性包括：
识别所述绝缘子区域的区域中心点，并判断所述区域中心点是否包含于所述刀闸圆形区域内；
若包含于所述刀闸圆形区域内，则确定所述刀闸区域和所述绝缘子区域有效；
若不包含于所述刀闸圆形区域内，则确定所述刀闸区域和所述绝缘子区域无效。
5.根据权利要求1所述的刀闸行程状态的检测方法，其特征在于，步骤S400包括：
S410，对所述刀闸区域进行灰度化处理和二值化处理，获得二值图像，并对所述二值图像进行欧式距离变换，获得所述二值图像中各像素点到二值图像边界的最短距离；
S420，将各所述最短距离中的最大距离值确定为骨架提取点，并确定所述二值图像中与所述骨架提取点对应的连通区域；
S430，根据所述骨架提取点和所述连通区域，生成所述目标刀闸的骨架点，并判断所述二值图像中是否存在剩余连通区域，若是则执行步骤S440，若否则执行步骤S450；
S440，基于所述骨架点确定新的骨架点，并对新的所述骨架点添加覆盖标记，以及更新所述二值图像中的剩余连通区域，直到所述二值图像中不存在剩余连通区域；
S450，将所述目标刀闸的骨架点生成为刀闸传动杆骨架，并根据所述刀闸传动杆骨架，识别所述目标刀闸的两个端节点；
S460，根据所述两个端节点分别与所述目标刀闸中心点之间距离的远近，确定所述待识别图像中目标刀闸的接触点。
6.根据权利要求1-5任一项所述的刀闸行程状态的检测方法，其特征在于，步骤S100包括：
S110，获取包含刀闸和绝缘子的多个初始样本图像数据，并对所述初始样本图像数据进行颜色参数的处理，以及几何变换处理，生成样本图像数据；
S120，将所述样本图像数据基于预设比例划分为正样本集和负样本集，并基于所述正样本集和所述负样本集对所述初始神经网络进行训练；
S130，在所述初始神经网络的训练满足所述初始神经网络的迭代结束条件时，将所述初始神经网络生成为所述目标神经网络。
7.根据权利要求6所述的刀闸行程状态的检测方法，其特征在于，在步骤S120中，所述基于所述正样本集和所述负样本集对所述初始神经网络进行训练包括：
S121，将所述正样本集和所述负样本集中的待训练图像均传输到所述初始神经网络中的检测网络进行特征融合，获得特征提取图；
S122，将所述特征提取图传输到所述初始神经网络中的全卷积网络，提取所述特征提取图中的候选框；
S123，将所述候选框中的候选图像传输到所述初始神经网络中的分类网络进行训练，提取所述候选框中的预测框，并确定所述预测框的设备类型得分；
S124，根据与所述分类网络对应的分类损失函数，计算与所述初始神经网络当前训练的分类损失值；
S125，判断所述分类损失值是否大于所述初始神经网络上一次训练的上一损失值，若是则执行步骤S126，若否则执行步骤S127；
S126，判定所述初始神经网络的训练满足所述迭代结束条件；
S127，根据所述分类损失值中与所述正样本集对应的正样本损失值，以及与负样本集对应的负样本损失值，对所述样本图像数据进行筛选，获得新的正样本集和新的负样本集，执行步骤S121。
8.根据权利要求7所述的刀闸行程状态的检测方法，其特征在于，步骤S122包括：
将所述特征提取图传输到所述全卷积网络，并基于所述全卷积网络对所述待训练图像进行分割，获得第一引导信息；
基于所述全卷积网络将所述特征提取图和所述第一引导信息，融合到与所述全卷积网络对应的第一骨干网络，以供所述第一骨干网络基于所述第一引导信息对所述特征提取图进行识别，提取所述特征提取图中的待定候选框；
根据与所述全卷积网络对应的全卷积损失函数，计算与所述待定候选框对应的全卷积损失值，并根据所述全卷积损失值，将所述待定候选框标识为正候选框和负候选框；
将所述正候选框和所述负候选框确定为从所述特征提取图中提取的候选框。
9.根据权利要求7所述的刀闸行程状态的检测方法，其特征在于，步骤S123包括：
将所述候选图像传输到所述分类网络，并基于所述分类网络对所述待训练图像进行分割，获得第二引导信息；
基于所述分类网络将所述候选图像和所述第二引导信息，融合到与所述分类网络对应的第二骨干网络，以供所述第二骨干网络基于所述第二引导信息对所述候选图像进行识别，提取所述候选框中的预测框；
基于所述第二骨干网络对所述预测框中的电力设备进行预测，获得所述设备类型得分。
10.根据权利要求7所述的刀闸行程状态的检测方法，其特征在于，步骤S127包括：
将所述正样本损失值和所述负样本损失值按照数值从小到大的顺序排列，筛选排列在前预设位的目标数值；
查找与各所述目标数值分别对应的新的正样本集和新的负样本集，并根据所述新的正样本值，计算分类损失权重；
基于所述分类损失值和所述分类损失权重，计算与所述初始神经网络对应的梯度参数，并基于所述梯度参数、新的正样本集以及新的负样本集，执行步骤S121。
11.一种刀闸行程状态的检测设备，所述刀闸行程状态的检测设备包括存储器、处理器和存储在所述存储器上并在所述处理器上运行的检测程序，其特征在于，所述检测程序被所述处理器执行时实现如权利要求1-10任一项所述的刀闸行程状态的检测方法的步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有检测程序，所述检测程序被处理器执行时实现如权利要求1-10任一项所述的刀闸行程状态的检测方法的步骤。
CN202011418778.6A 2020-12-07 2020-12-07 刀闸行程状态的检测方法、设备和可读存储介质 Active CN112541890B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011418778.6A CN112541890B (zh) 2020-12-07 2020-12-07 刀闸行程状态的检测方法、设备和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011418778.6A CN112541890B (zh) 2020-12-07 2020-12-07 刀闸行程状态的检测方法、设备和可读存储介质

Publications (2)

Publication Number Publication Date
CN112541890A CN112541890A (zh) 2021-03-23
CN112541890B true CN112541890B (zh) 2022-08-30

Family

ID=75016321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011418778.6A Active CN112541890B (zh) 2020-12-07 2020-12-07 刀闸行程状态的检测方法、设备和可读存储介质

Country Status (1)

Country Link
CN (1) CN112541890B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113569736A (zh) * 2021-07-28 2021-10-29 南方电网数字电网研究院有限公司 刀闸状态识别方法、装置、计算机设备和存储介质
CN113569819B (zh) * 2021-09-23 2021-12-24 泰豪软件股份有限公司 刀闸开合状态的识别方法、系统、存储介质及计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106290388A (zh) * 2016-08-03 2017-01-04 国网山东省电力公司电力科学研究院 一种绝缘子故障自动检测方法
CN110675452A (zh) * 2019-09-21 2020-01-10 南京鑫和汇通电子科技有限公司 一种实时跟踪的对开式刀闸状态的检测方法
CN110796733A (zh) * 2019-10-24 2020-02-14 深圳市商汤科技有限公司 数据处理方法和装置
CN111126253A (zh) * 2019-12-23 2020-05-08 国网福建省电力有限公司 基于图像识别的刀闸状态检测方法
CN111950606A (zh) * 2020-07-28 2020-11-17 北京恒通智控机器人科技有限公司 一种刀闸状态识别方法、装置、设备和存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106290388A (zh) * 2016-08-03 2017-01-04 国网山东省电力公司电力科学研究院 一种绝缘子故障自动检测方法
CN110675452A (zh) * 2019-09-21 2020-01-10 南京鑫和汇通电子科技有限公司 一种实时跟踪的对开式刀闸状态的检测方法
CN110796733A (zh) * 2019-10-24 2020-02-14 深圳市商汤科技有限公司 数据处理方法和装置
CN111126253A (zh) * 2019-12-23 2020-05-08 国网福建省电力有限公司 基于图像识别的刀闸状态检测方法
CN111950606A (zh) * 2020-07-28 2020-11-17 北京恒通智控机器人科技有限公司 一种刀闸状态识别方法、装置、设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于改进深度学习的刀闸状态识别方法研究;张骥 等;《电测与仪表》;20180310;第55卷(第5期);第8-13页 *

Also Published As

Publication number Publication date
CN112541890A (zh) 2021-03-23

Similar Documents

Publication Publication Date Title
CN108765373B (zh) 一种基于集成分类器在线学习的绝缘子异常自动检测方法
CN109086785B (zh) 一种图像标定模型的训练方法和装置
CN109118479B (zh) 基于胶囊网络的绝缘子缺陷识别定位装置及方法
CN106446896B (zh) 一种字符分割方法、装置及电子设备
CN110472675B (zh) 图像分类方法、图像分类装置、存储介质与电子设备
CN112966691B (zh) 基于语义分割的多尺度文本检测方法、装置及电子设备
CN103136504B (zh) 人脸识别方法及装置
EP3171332A1 (en) Methods and systems for inspecting goods
CN112541890B (zh) 刀闸行程状态的检测方法、设备和可读存储介质
CN107918379B (zh) 基于图半监督代价敏感的工业大数据早期故障检测方法
CN109492706B (zh) 一种基于循环神经网络的染色体分类预测装置
EP3203417B1 (en) Method for detecting texts included in an image and apparatus using the same
CN111461068B (zh) 一种染色体中期图识别和分割方法
CN110969130A (zh) 一种基于yolov3司机危险动作识别方法及系统
CN108734145B (zh) 一种基于密度自适应人脸表征模型的人脸识别方法
CN105654054A (zh) 基于半监督近邻传播学习和多视觉词典模型的智能视频分析方法
CN110458022A (zh) 一种基于域适应的可自主学习目标检测方法
US20220164990A1 (en) Image processing apparatus, image processing method, and nontransitory computer readable medium storing program
CN113223011B (zh) 基于引导网络和全连接条件随机场的小样本图像分割方法
CN111340124A (zh) 图像中实体类别的识别方法和装置
CN113536944A (zh) 基于图像识别的配电线路巡检数据识别及分析方法
CN115131590B (zh) 目标检测模型的训练方法、目标检测方法及相关设备
CN116597197A (zh) 一种自适应消除分类负梯度的长尾目标检测方法
CN115797701A (zh) 目标分类方法、装置、电子设备及存储介质
CN115272242A (zh) 一种基于YOLOv5的光学遥感图像目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant