CN114220068B - 刀闸分合状态确定方法、装置、设备、介质及产品 - Google Patents
刀闸分合状态确定方法、装置、设备、介质及产品 Download PDFInfo
- Publication number
- CN114220068B CN114220068B CN202111314122.4A CN202111314122A CN114220068B CN 114220068 B CN114220068 B CN 114220068B CN 202111314122 A CN202111314122 A CN 202111314122A CN 114220068 B CN114220068 B CN 114220068B
- Authority
- CN
- China
- Prior art keywords
- disconnecting link
- image
- position area
- closing
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Constituent Portions Of Griding Lathes, Driving, Sensing And Control (AREA)
- Spinning Or Twisting Of Yarns (AREA)
- Electrical Discharge Machining, Electrochemical Machining, And Combined Machining (AREA)
Abstract
本发明实施例提供一种刀闸分合状态确定方法、装置、设备、介质及产品,该方法包括:获取刀闸监控图像;提取所述刀闸监控图像中多个预设区域的图像特征;所述多个预设区域至少包括刀闸处于合位状态时刀闸所处的合位位置区域和刀闸处于分位状态时刀闸所处的分位位置区域;将所述刀闸监控图像中各所述预设区域的图像特征与预设刀闸模板图像对应预设区域的图像特征进行结构相似性比较;根据结构相似性比较的结果确定刀闸分合状态。本发明实施例的刀闸分合状态确定方法,不管传感器是否故障,都可以根据比较结果确定出刀闸所处的刀闸分合状态。
Description
技术领域
本发明实施例涉及轨道交通技术领域,尤其涉及一种刀闸分合状态确定方法、装置、设备、介质及产品。
背景技术
在轨道交通领域中,轨道内设备状态管理与轨道交通的安全息息相关。在这其中,轨道中刀闸设备的监控管理是其中较为重要的一环。
传统的刀闸设备的监控管理方式是通过电气是否连通,或物理力学传感器等判别刀闸分合状态。这种刀闸确认方式需要在设备本体中添加传感器,一旦传感器故障将无法确定刀闸分合状态,且在使用维修或改造时需要关停运作设备。
因此,轨道交通领域需要一种新的刀闸分合状态确认方法,以解决传感器故障时无法确定刀闸分合状态的问题。
发明内容
本发明提供一种刀闸分合状态确定方法、装置、设备、介质及产品,用以提供一种刀闸分合状态确认方法,以解决传感器故障时无法确定刀闸分合状态的问题。
本发明实施例第一方面提供一种刀闸分合状态确定方法,包括:
获取刀闸监控图像;所述刀闸监控图像为摄像装置根据刀闸控制装置发送的图像发送指令拍摄刀闸监控区域生成并发送的;所述图像发送指令为所述刀闸控制装置在控制刀闸闭合或断开的预设时间段内生成的;
提取所述刀闸监控图像中多个预设区域的图像特征;所述多个预设区域至少包括刀闸处于合位状态时刀闸所处的合位位置区域和刀闸处于分位状态时刀闸所处的分位位置区域;
将所述刀闸监控图像中各所述预设区域的图像特征与预设刀闸模板图像对应预设区域的图像特征进行结构相似性比较;
根据结构相似性比较的结果确定刀闸分合状态。
可选的,如上所述的方法,所述提取所述刀闸监控图像中多个预设区域的图像特征,包括:
获取预设刀闸模板图像中各预设区域在预设刀闸模板图像中的坐标范围;
根据各所述坐标范围提取所述刀闸监控图像中对应预设区域的图像特征。
可选的,如上所述的方法,所述预设区域为刀闸处于合位状态时刀闸所处的合位位置区域和刀闸处于分位状态时刀闸所处的分位位置区域;
所述预设刀闸模板图像为预先拍摄的刀闸处于合位状态时的合位模板图像和刀闸处于分位状态时的分位模板图像;所述合位模板图像包括刀闸处于合位状态时的合位位置区域和刀闸处于合位状态时的分位位置区域;所述分位模板图像包括刀闸处于分位状态时的合位位置区域和刀闸处于分位状态时的分位位置区域;
所述将所述刀闸监控图像中各所述预设区域的图像特征与预设刀闸模板图像对应预设区域的图像特征进行结构相似性比较,包括:
将所述刀闸监控图像中的合位位置区域分别与所述合位模板图像中的合位位置区域以及所述分位模板图像中的合位位置区域进行结构相似性比较,以确定合位位置区域比较结果;
将所述刀闸监控图像中的分位位置区域分别与所述合位模板图像中的分位位置区域以及所述分位模板图像中的分位位置区域进行结构相似性比较,以确定分位位置区域比较结果。
可选的,如上所述的方法,将所述刀闸监控图像中的合位位置区域分别与所述合位模板图像中的合位位置区域以及所述分位模板图像中的合位位置区域进行结构相似性比较,以确定合位位置区域比较结果,包括:
若刀闸监控图像中的合位位置区域与所述合位模板图像中的合位位置区域之间的结构相似性大于刀闸监控图像中的合位位置区域与所述分位模板图像中的合位位置区域之间的结构相似性,则确定合位位置区域比较结果为合位位置区域存在刀闸;
若刀闸监控图像中的合位位置区域与所述合位模板图像中的合位位置区域之间的结构相似性小于刀闸监控图像中的合位位置区域与所述分位模板图像中的合位位置区域之间的结构相似性,则确定合位位置区域比较结果为合位位置区域不存在刀闸。
可选的,如上所述的方法,将所述刀闸监控图像中的分位位置区域分别与所述合位模板图像中的分位位置区域以及所述分位模板图像中的分位位置区域进行结构相似性比较,以确定分位位置区域比较结果,包括:
若刀闸监控图像中的分位位置区域与所述合位模板图像中的分位位置区域之间的结构相似性大于刀闸监控图像中的分位位置区域与所述分位模板图像中的分位位置区域之间的结构相似性,则确定分位位置区域比较结果为分位位置区域不存在刀闸;
若刀闸监控图像中的分位位置区域与所述合位模板图像中的分位位置区域之间的结构相似性小于刀闸监控图像中的分位位置区域与所述分位模板图像中的分位位置区域之间的结构相似性,则确定分位位置区域比较结果为分位位置区域存在刀闸。
可选的,如上所述的方法,所述根据结构相似性比较的结果确定刀闸分合状态,包括:
若合位位置区域比较结果为合位位置区域存在刀闸,分位位置区域比较结果为分位位置区域不存在刀闸,则确定刀闸状态为处于合位状态;
若合位位置区域比较结果为合位位置区域不存在刀闸,分位位置区域比较结果为分位位置区域存在刀闸,则确定刀闸状态为处于分位状态;
若合位位置区域比较结果为合位位置区域不存在刀闸,分位位置区域比较结果为分位位置区域不存在刀闸,则确定刀闸状态为处于非分位且非合位状态。
可选的,如上所述的方法,所述提取所述刀闸监控图像中多个预设区域的图像特征之前,还包括:
提取所述刀闸监控图像的图像特征和预设刀闸模板图像的图像特征;
将所述刀闸监控图像的图像特征与预设刀闸模板图像的图像特征进行匹配,以生成多个图像特征对;
根据所述多个图像特征对和预设的投影变换算法确定所述刀闸监控图像与所述预设刀闸模板图像之间的变换矩阵;
根据所述变换矩阵对所述刀闸监控图像进行矫正,以使矫正后的刀闸监控图像与预设刀闸模板图像对齐。
可选的,如上所述的方法,所述根据所述多个图像特征对和预设的投影变换算法确定所述刀闸监控图像与所述预设刀闸模板图像之间的变换矩阵,包括:
判断所述多个图像特征对数量是否大于或等于预设阈值;
若确定所述多个图像特征对数量大于或等于预设阈值,则根据所述多个图像特征对和预设的投影变换算法确定所述刀闸监控图像与所述预设刀闸模板图像之间的变换矩阵。
可选的,如上所述的方法,所述根据结构相似性比较的结果确定刀闸分合状态之后,还包括:
向所述刀闸控制装置发送刀闸分合状态,以使所述刀闸控制装置根据所述刀闸分合状态和传感器反馈的刀闸运行信息二次确定刀闸分合状态。
本发明实施例第二方面提供一种刀闸分合状态确定装置,包括:
获取模块,用于获取刀闸监控图像;所述刀闸监控图像为摄像装置根据刀闸控制装置发送的图像发送指令拍摄刀闸监控区域生成并发送的;所述图像发送指令为所述刀闸控制装置在控制刀闸闭合或断开的预设时间段内生成的;
提取模块,用于提取所述刀闸监控图像中多个预设区域的图像特征;所述多个预设区域至少包括刀闸处于合位状态时刀闸所处的合位位置区域和刀闸处于分位状态时刀闸所处的分位位置区域;
比较模块,用于将所述刀闸监控图像中各所述预设区域的图像特征与预设刀闸模板图像对应预设区域的图像特征进行结构相似性比较;
确定模块,用于根据结构相似性比较的结果确定刀闸分合状态。
可选的,如上所述的装置,所述提取模块具体用于:
获取预设刀闸模板图像中各预设区域在预设刀闸模板图像中的坐标范围;根据各所述坐标范围提取所述刀闸监控图像中对应预设区域的图像特征。
可选的,如上所述的装置,所述预设区域为刀闸处于合位状态时刀闸所处的合位位置区域和刀闸处于分位状态时刀闸所处的分位位置区域;
所述预设刀闸模板图像为预先拍摄的刀闸处于合位状态时的合位模板图像和刀闸处于分位状态时的分位模板图像;所述合位模板图像包括刀闸处于合位状态时的合位位置区域和刀闸处于合位状态时的分位位置区域;所述分位模板图像包括刀闸处于分位状态时的合位位置区域和刀闸处于分位状态时的分位位置区域;
所述比较模块具体用于:
将所述刀闸监控图像中的合位位置区域分别与所述合位模板图像中的合位位置区域以及所述分位模板图像中的合位位置区域进行结构相似性比较,以确定合位位置区域比较结果;将所述刀闸监控图像中的分位位置区域分别与所述合位模板图像中的分位位置区域以及所述分位模板图像中的分位位置区域进行结构相似性比较,以确定分位位置区域比较结果。
可选的,如上所述的装置,所述比较模块在将所述刀闸监控图像中的合位位置区域分别与所述合位模板图像中的合位位置区域以及所述分位模板图像中的合位位置区域进行结构相似性比较,以确定合位位置区域比较结果时,具体用于:
若刀闸监控图像中的合位位置区域与所述合位模板图像中的合位位置区域之间的结构相似性大于刀闸监控图像中的合位位置区域与所述分位模板图像中的合位位置区域之间的结构相似性,则确定合位位置区域比较结果为合位位置区域存在刀闸;若刀闸监控图像中的合位位置区域与所述合位模板图像中的合位位置区域之间的结构相似性小于刀闸监控图像中的合位位置区域与所述分位模板图像中的合位位置区域之间的结构相似性,则确定合位位置区域比较结果为合位位置区域不存在刀闸。
可选的,如上所述的装置,所述比较模块在将所述刀闸监控图像中的分位位置区域分别与所述合位模板图像中的分位位置区域以及所述分位模板图像中的分位位置区域进行结构相似性比较,以确定分位位置区域比较结果时,具体用于:
若刀闸监控图像中的分位位置区域与所述合位模板图像中的分位位置区域之间的结构相似性大于刀闸监控图像中的分位位置区域与所述分位模板图像中的分位位置区域之间的结构相似性,则确定分位位置区域比较结果为分位位置区域不存在刀闸;若刀闸监控图像中的分位位置区域与所述合位模板图像中的分位位置区域之间的结构相似性小于刀闸监控图像中的分位位置区域与所述分位模板图像中的分位位置区域之间的结构相似性,则确定分位位置区域比较结果为分位位置区域存在刀闸。
可选的,如上所述的装置,所述确定模块具体用于:
若合位位置区域比较结果为合位位置区域存在刀闸,分位位置区域比较结果为分位位置区域不存在刀闸,则确定刀闸状态为处于合位状态;若合位位置区域比较结果为合位位置区域不存在刀闸,分位位置区域比较结果为分位位置区域存在刀闸,则确定刀闸状态为处于分位状态;若合位位置区域比较结果为合位位置区域不存在刀闸,分位位置区域比较结果为分位位置区域不存在刀闸,则确定刀闸状态为处于非分位且非合位状态。
可选的,如上所述的装置,所述装置还包括:
图像对齐模块,用于提取所述刀闸监控图像的图像特征和预设刀闸模板图像的图像特征;将所述刀闸监控图像的图像特征与预设刀闸模板图像的图像特征进行匹配,以生成多个图像特征对;根据所述多个图像特征对和预设的投影变换算法确定所述刀闸监控图像与所述预设刀闸模板图像之间的变换矩阵;根据所述变换矩阵对所述刀闸监控图像进行矫正,以使矫正后的刀闸监控图像与预设刀闸模板图像对齐。
可选的,如上所述的装置,所述图像对齐模块在根据所述多个图像特征对和预设的投影变换算法确定所述刀闸监控图像与所述预设刀闸模板图像之间的变换矩阵时,具体用于:
判断所述多个图像特征对数量是否大于或等于预设阈值;若确定所述多个图像特征对数量大于或等于预设阈值,则根据所述多个图像特征对和预设的投影变换算法确定所述刀闸监控图像与所述预设刀闸模板图像之间的变换矩阵。
可选的,如上所述的装置,所述装置还包括:
二次确定模块,用于向所述刀闸控制装置发送刀闸分合状态,以使所述刀闸控制装置根据所述刀闸分合状态和传感器反馈的刀闸运行信息二次确定刀闸分合状态。
本发明实施例第三方面提供一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如第一方面任一项所述的刀闸分合状态确定方法。
本发明实施例第四方面提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现第一方面任一项所述的刀闸分合状态确定方法。
本发明实施例第五方面提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现第一方面任一项所述的刀闸分合状态确定方法。
本发明实施例提供的一种刀闸分合状态确定方法、装置、设备、介质及产品,该方法包括:获取刀闸监控图像;所述刀闸监控图像为摄像装置根据刀闸控制装置发送的图像发送指令拍摄刀闸监控区域生成并发送的;所述图像发送指令为所述刀闸控制装置在控制刀闸闭合或断开的预设时间段内生成的;提取所述刀闸监控图像中多个预设区域的图像特征;所述多个预设区域至少包括刀闸处于合位状态时刀闸所处的合位位置区域和刀闸处于分位状态时刀闸所处的分位位置区域;将所述刀闸监控图像中各所述预设区域的图像特征与预设刀闸模板图像对应预设区域的图像特征进行结构相似性比较;根据结构相似性比较的结果确定刀闸分合状态。本发明实施例的刀闸分合状态确定方法,对刀闸监控图像的预设区域和预设刀闸模板图像的预设区域进行结构相似性比较,由于预设区域至少包括刀闸处于合位状态时刀闸所处的合位位置区域和刀闸处于分位状态时刀闸所处的分位位置区域,因而,不管传感器是否故障,都可以根据比较结果确定出刀闸所处的刀闸分合状态。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1为可以实现本发明实施例的刀闸分合状态确定方法的场景图;
图2为本发明第一实施例提供的刀闸分合状态确定方法的流程示意图;
图3为本发明第二实施例提供的刀闸分合状态确定方法的流程示意图;
图4为本发明第二实施例提供的刀闸分合状态确定方法的预设区域示意图;
图5为本发明第三实施例提供的刀闸分合状态确定方法的图像对齐流程示意图;
图6为本发明第四实施例提供的刀闸分合状态确定方法的交互流程示意图;
图7为本发明第四实施例提供的刀闸分合状态确定方法的图像对齐流程示意图;
图8为本发明第五实施例提供的刀闸分合状态确定装置的结构示意图;
图9为本发明第六实施例提供的电子设备的结构示意图。
通过上述附图,已示出本发明明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围,而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本发明的实施例进行描述。
为了清楚理解本申请的技术方案,首先对现有技术的方案进行详细介绍。计算机视觉技术是计算机模拟人类的视觉过程,是图像处理、人工智能和模式识别等技术的综合。随着轨道交通的不断发展,计算机视觉技术在轨道内设备状态管理的应用也越来越多。传统的轨道中刀闸设备的监控管理由于需要在设备本体中添加传感器,一旦传感器故障将无法确定刀闸分合状态,且在使用维修或改造时需要关停运作设备,因而,轨道交通领域需要一种新的刀闸分合状态确认方法,结合计算机视觉技术来解决传感器故障时无法确定刀闸分合状态的问题。
所以针对现有技术中轨道交通领域需要一种新的刀闸分合状态确认方法,以解决传感器故障时无法确定刀闸分合状态的问题,发明人在研究中发现,为了解决该问题,可以获取监控刀闸设备运作状态的摄像装置所拍摄的刀闸监控图像,并根据刀闸监控图像和预设刀闸模板图像确定刀闸分合状态。
具体为,在刀闸控制装置控制刀闸设备闭合或断开时,获取摄像装置拍摄刀闸监控区域生成的刀闸监控图像,并提取刀闸监控图像中多个预设区域的图像特征。多个预设区域至少包括刀闸处于合位状态时刀闸所处的合位位置区域和刀闸处于分位状态时刀闸所处的分位位置区域。然后,将刀闸监控图像中各预设区域的图像特征与预设刀闸模板图像对应预设区域的图像特征进行结构相似性比较。根据结构相似性比较的结果确定刀闸分合状态。从而,不管传感器是否故障,都可以根据比较结果确定出刀闸所处的刀闸分合状态。
发明人基于上述的创造性发现,提出了本申请的技术方案。
下面对本发明实施例提供的刀闸分合状态确定方法的应用场景进行介绍。如图1所示,其中,1为电子设备,2为刀闸控制装置,3为刀闸设备,4为摄像装置。本发明实施例提供的刀闸分合状态确定方法对应的应用场景的网络架构中包括:电子设备1、刀闸控制装置2、刀闸设备3和摄像装置4。刀闸控制装置2可以控制刀闸设备3的刀闸闭合或断开,摄像装置4可以拍摄包括刀闸设备3在内的刀闸监控区域。
在刀闸控制装置2控制刀闸设备3的刀闸闭合或断开后,刀闸设备3会通过设置在期内的传感器反馈刀闸运行信息。同时,刀闸控制装置2会在预设时间段内,如5秒,发送图像发送指令至摄像装置4,以使摄像装置4将拍摄刀闸监控区域所生成的刀闸监控图像发送至电子设备1。电子设备1在获取刀闸监控图像后,提取刀闸监控图像中多个预设区域的图像特征。该多个预设区域至少包括刀闸处于合位状态时刀闸所处的合位位置区域和刀闸处于分位状态时刀闸所处的分位位置区域。同时,电子设备1将刀闸监控图像中各预设区域的图像特征与预设刀闸模板图像对应预设区域的图像特征进行结构相似性比较,并根据结构相似性比较的结果确定刀闸分合状态。电子设备1在确定出刀闸分合状态后,可以将刀闸分合状态发送至刀闸控制装置2以使刀闸控制装置2可以根据刀闸分合状态和刀闸运行信息进一步的确定刀闸分合状态。
下面结合说明书附图对本发明实施例进行介绍。
图2为本发明第一实施例提供的刀闸分合状态确定方法的流程示意图,如图2所示,本实施例中,本发明实施例的执行主体为刀闸分合状态确定装置,该刀闸分合状态确定装置可以集成在电子设备中。则本实施例提供的刀闸分合状态确定方法包括以下几个步骤:
步骤S101,获取刀闸监控图像。刀闸监控图像为摄像装置根据刀闸控制装置发送的图像发送指令拍摄刀闸监控区域生成并发送的。图像发送指令为刀闸控制装置在控制刀闸闭合或断开的预设时间段内生成的。
本实施例中,拍摄装置可以实时拍摄包括刀闸在内的刀闸监控区域,也可以在接收到图像发送指令后再拍摄刀闸监控区域,本实施例对此不作限定。在刀闸控制装置控制刀闸闭合或断开的预设时间段内,刀闸控制装置会发送图像发送指令至拍摄装置,以使拍摄装置将拍摄刀闸监控区域生成的刀闸监控图像发送至刀闸分合状态确定装置。
该预设时间段内可以根据实际需求进行设置,如刀闸从完全闭合到完全分开需要4秒时间,则可以将预设时间段设为4秒或5秒等,从而降低拍摄装置拍摄的图像是刀闸正处于完全闭合与完全分开之间状态的概率。
步骤S102,提取刀闸监控图像中多个预设区域的图像特征。多个预设区域至少包括刀闸处于合位状态时刀闸所处的合位位置区域和刀闸处于分位状态时刀闸所处的分位位置区域。
本实施例中,提取的图像特征可以是提取尺度不变特征变换(英文全称为:Scale-invariant feature transform,英文简称为:SIFT)特征,使提取出的特征更为稳定,也可以使后续与预设刀闸模板图像之间进行结构相似性比较时更为稳定。
刀闸处于合位状态时刀闸所处的合位位置区域指刀闸在完全合位时,所处的位置区域。刀闸处于分位状态时刀闸所处的分位位置区域指刀闸在完全分位时,所处的位置区域。
预设区域如图4中a、b虚线框所示,其中,a虚线框可以指代刀闸处于分位状态时刀闸所处的分位位置区域,b虚线框可以指代刀闸处于合位状态时刀闸所处的合位位置区域。该预设区域需要至少包括刀闸处于合位状态时刀闸所处的合位位置区域和刀闸处于分位状态时刀闸所处的分位位置区域,从而在后续与预设刀闸模板图像比较时,判断出刀闸分合状态是合位状态、分位状态还是即不处于合位状态又不处于分位状态。
步骤S103,将刀闸监控图像中各预设区域的图像特征与预设刀闸模板图像对应预设区域的图像特征进行结构相似性比较。
本实施例中,预设刀闸模板图像指预先拍摄的刀闸处于各种状态的图像,比如处于合位状态时,拍摄的模板图像以及处于分位状态时,拍摄的模板图像。单次配置预设刀闸模板图像后可重复使用原有配置,无需进行模型训练,提高了配置效率。
结构相似性用于比较两幅图像的相似程度,结构相似性英文简称为:SSIM,英文全称为:structural similarity index,是一种衡量两幅图像相似度的指标。
步骤S104,根据结构相似性比较的结果确定刀闸分合状态。
本实施例中,结构相似性可以确定刀闸监控图像和预设刀闸模板图像之间的相似度,根据相似度可以确定刀闸监控图像中的刀闸是否处于与预设刀闸模板图像中刀闸所处状态,从而确定刀闸监控图像中的刀闸分合状态。
本发明实施例提供的一种刀闸分合状态确定方法,该方法包括:获取刀闸监控图像。刀闸监控图像为摄像装置根据刀闸控制装置发送的图像发送指令拍摄刀闸监控区域生成并发送的。图像发送指令为刀闸控制装置在控制刀闸闭合或断开的预设时间段内生成的。提取刀闸监控图像中多个预设区域的图像特征。多个预设区域至少包括刀闸处于合位状态时刀闸所处的合位位置区域和刀闸处于分位状态时刀闸所处的分位位置区域。将刀闸监控图像中各预设区域的图像特征与预设刀闸模板图像对应预设区域的图像特征进行结构相似性比较。根据结构相似性比较的结果确定刀闸分合状态。
本发明实施例的刀闸分合状态确定方法,对刀闸监控图像的预设区域和预设刀闸模板图像的预设区域进行结构相似性比较,由于预设区域至少包括刀闸处于合位状态时刀闸所处的合位位置区域和刀闸处于分位状态时刀闸所处的分位位置区域,因而,不管传感器是否故障,都可以根据比较结果确定出刀闸所处的刀闸分合状态。
图3为本发明第二实施例提供的刀闸分合状态确定方法的流程示意图,如图3所示,本实施例提供的刀闸分合状态确定方法,是在本发明上一实施例提供的刀闸分合状态确定方法的基础上,对各个步骤进行了进一步的细化。则本实施例提供的刀闸分合状态确定方法包括以下步骤。
步骤S201,获取刀闸监控图像。刀闸监控图像为摄像装置根据刀闸控制装置发送的图像发送指令拍摄刀闸监控区域生成并发送的。图像发送指令为刀闸控制装置在控制刀闸闭合或断开的预设时间段内生成的。
本实施例中,步骤201的实现方式与本发明上一实施例中的步骤101的实现方式类似,在此不再一一赘述。
步骤S202,获取预设刀闸模板图像中各预设区域在预设刀闸模板图像中的坐标范围。其中,预设刀闸模板图像为预先拍摄的刀闸处于合位状态时的合位模板图像和刀闸处于分位状态时的分位模板图像。合位模板图像包括刀闸处于合位状态时的合位位置区域和刀闸处于合位状态时的分位位置区域。分位模板图像包括刀闸处于分位状态时的合位位置区域和刀闸处于分位状态时的分位位置区域。
本实施例中,在配置预设刀闸模板图像时,每个预设区域都会以坐标范围的形式表示。预设区域可以为方形区域的形式,如图4中虚线框a和b所示,也可以设置为圆形或其他形状。
步骤S203,根据各坐标范围提取刀闸监控图像中对应预设区域的图像特征。
本实施例中,由于刀闸监控图像的预设区域与预设刀闸模板图像的预设区域相对应,因而,可以根据预设刀闸模板图像的各坐标范围提取刀闸监控图像中对应预设区域的图像特征。也可以通过其他方式来提取刀闸监控图像中对应预设区域的图像特征,本实施例对此不作限定。
需要说明的是,预设区域为刀闸处于合位状态时刀闸所处的合位位置区域和刀闸处于分位状态时刀闸所处的分位位置区域。
步骤S204,将刀闸监控图像中的合位位置区域分别与合位模板图像中的合位位置区域以及分位模板图像中的合位位置区域进行结构相似性比较,以确定合位位置区域比较结果。
本实施例中,将刀闸监控图像中的合位位置区域分别与合位模板图像中的合位位置区域以及分位模板图像中的合位位置区域进行结构相似性比较是为了确定刀闸监控图像中的合位位置区域是否存在刀闸。如图4所示,虚线框b区域是预设区域中的合位位置区域,当刀闸处于合位状态时,虚线框b区域中存在刀闸,而在刀闸处于分位状态时,虚线框b区域中不存在刀闸。
同时,具体的结构相似性比较流程如下:
若刀闸监控图像中的合位位置区域与合位模板图像中的合位位置区域之间的结构相似性大于刀闸监控图像中的合位位置区域与分位模板图像中的合位位置区域之间的结构相似性,则确定合位位置区域比较结果为合位位置区域存在刀闸。
若刀闸监控图像中的合位位置区域与合位模板图像中的合位位置区域之间的结构相似性小于刀闸监控图像中的合位位置区域与分位模板图像中的合位位置区域之间的结构相似性,则确定合位位置区域比较结果为合位位置区域不存在刀闸。
结构相似性以数值的形式表示,一般数值为0-1之间,数值越大代表相似程度越高。当刀闸监控图像中的合位位置区域与合位模板图像中的合位位置区域之间的结构相似性更大时,代表合位位置区域存在刀闸。
步骤S205,将刀闸监控图像中的分位位置区域分别与合位模板图像中的分位位置区域以及分位模板图像中的分位位置区域进行结构相似性比较,以确定分位位置区域比较结果。
本实施例中,将刀闸监控图像中的分位位置区域分别与合位模板图像中的分位位置区域以及分位模板图像中的分位位置区域进行结构相似性比较是为了确定刀闸监控图像中的分位位置区域是否存在刀闸。如图4所示,虚线框a区域是预设区域中的分位位置区域,当刀闸处于分位状态时,虚线框a区域中存在刀闸,而在刀闸处于合位状态时,虚线框a区域中不存在刀闸。
同时,具体的结构相似性比较流程如下:
若刀闸监控图像中的分位位置区域与合位模板图像中的分位位置区域之间的结构相似性大于刀闸监控图像中的分位位置区域与分位模板图像中的分位位置区域之间的结构相似性,则确定分位位置区域比较结果为分位位置区域不存在刀闸。
若刀闸监控图像中的分位位置区域与合位模板图像中的分位位置区域之间的结构相似性小于刀闸监控图像中的分位位置区域与分位模板图像中的分位位置区域之间的结构相似性,则确定分位位置区域比较结果为分位位置区域存在刀闸。
分位位置区域与合位位置区域的判定方式类似,当刀闸监控图像中的分位位置区域与分位模板图像中的分位位置区域之间的结构相似性更大时,代表分位位置区域存在刀闸。
步骤S206,根据合位位置区域比较结果和分位位置区域比较结果确定刀闸分合状态。
本实施例中,根据合位位置区域比较结果和分位位置区域比较结果确定刀闸分合状态可以具体为:
若合位位置区域比较结果为合位位置区域存在刀闸,分位位置区域比较结果为分位位置区域不存在刀闸,则确定刀闸状态为处于合位状态。
若合位位置区域比较结果为合位位置区域不存在刀闸,分位位置区域比较结果为分位位置区域存在刀闸,则确定刀闸状态为处于分位状态。
若合位位置区域比较结果为合位位置区域不存在刀闸,分位位置区域比较结果为分位位置区域不存在刀闸,则确定刀闸状态为处于非分位且非合位状态。
步骤S207,向刀闸控制装置发送刀闸分合状态,以使刀闸控制装置根据刀闸分合状态和传感器反馈的刀闸运行信息二次确定刀闸分合状态。
本实施例中,可以通过向刀闸控制装置发送刀闸分合状态,使刀闸控制装置可以根据刀闸分合状态和传感器反馈的刀闸运行信息二次确定刀闸分合状态,提高确定刀闸分合状态的精确性和稳定性。
图5为本发明第三实施例提供的刀闸分合状态确定方法的图像对齐流程示意图,如图5所示,本实施例提供的刀闸分合状态确定方法,是在本发明上一实施例提供的刀闸分合状态确定方法的基础上,增加了图像对齐流程,图像对齐流程包括以下步骤。
步骤S301,提取刀闸监控图像的图像特征和预设刀闸模板图像的图像特征。
本实施例中,提取刀闸监控图像的图像特征以SIFT特征为佳,可以更好地提高图像特征对的匹配度以及变换矩阵的稳定性。
步骤S302,将刀闸监控图像的图像特征与预设刀闸模板图像的图像特征进行匹配,以生成多个图像特征对。
图像特征对是由匹配的两个图像特征组成的特征对。
匹配方式可以采用FLANN(中文为:快速最近邻搜索包,英文全称为:Fast Libraryfor Approximate Nearest Neighbors)或BF(中文为暴力,英文全称为:Brute Force)算法,进一步提高匹配图像特征对的精确性和稳定性。
步骤S303,根据多个图像特征对和预设的投影变换算法确定刀闸监控图像与预设刀闸模板图像之间的变换矩阵。
预设的投影变换算法可以采用RANSAC鲁棒求解算法,其英文全称为:RandomSample Consensus,从而确定出更稳定、精确度更高的变换矩阵。
同时,在根据多个图像特征对和预设的投影变换算法确定刀闸监控图像与预设刀闸模板图像之间的变换矩阵时,可以先判断多个图像特征对数量是否大于或等于预设阈值。
若确定多个图像特征对数量大于或等于预设阈值,则根据多个图像特征对和预设的投影变换算法确定刀闸监控图像与预设刀闸模板图像之间的变换矩阵。
若确定多个图像特征对数量小于预设阈值,可以确定刀闸监控图像与预设刀闸模板图像之间匹配度太低,可以采用下一个刀闸监控图像进行图像对齐的流程。
步骤S304,根据变换矩阵对刀闸监控图像进行矫正,以使矫正后的刀闸监控图像与预设刀闸模板图像对齐。
本实施例中,对刀闸监控图像进行矫正处理是由于轨道车辆实际运行时,容易产生较大的震动,从而使拍摄装置产生角度偏移的问题。如果拍摄装置产生角度偏移会导致拍摄出来的刀闸监控图像也存在角度偏移问题,影响后续刀闸分合状态的确定。因而,可以通过对刀闸监控图像进行矫正,解决拍摄装置的角度偏移问题。
同时,为了更好的理解本发明的刀闸分合状态确定方法,下面将结合附图进一步的说明。如图6所示,本实施例中,以刀闸控制装置二次确定刀闸状态来进行举例说明。刀闸控制装置采用常用的一键顺控系统中的控制装置,在图中以一键顺控表示。本实施例采用的拍摄装置为摄像头。
总体流程为:一键顺控系统发出信号控制刀闸闭合或断开,等待若干秒后刀闸动作到位,刀闸设备中的传感器会反馈刀闸运行信息,即是否合位或分位。同时,一键顺控系统会发送图像发送指令至摄像头,以使摄像头传输拍摄的刀闸监控图像至刀闸分合状态确定装置,以判别刀闸分合状态,将结果返回一键件顺控系统。一键顺控系统综合传感器和刀闸分合状态确定装置的状态判别信息,综合得出刀闸分合状态,完成刀闸分合闸的双确认。
具体流程:
在确定刀闸分合状态分析前,截取刀闸处于分位与合位的图像,进行标注配置。在单次配置完成后可重复使用原有配置,无需进行模型训练。
具体的,首先,保存两张刀闸分别处于分位与合位的照片作为模板图像。并在其中标记刀闸活动连接处所在位置a和b两个虚线框,如图4中所示,图4上方为合位时的状态,下方为分位时的状态。由此,可以得到4张匹配模板,分别是合位(有刀闸)、合位(无刀闸)、分位(有刀闸)与分位(无刀闸)。这4个区域将用于刀闸分合状态的识别。
然后,如图7所示,先对刀闸监控图像进行摄像头角度的矫正,使刀闸监控图像与模板图像对齐。具体为:刀闸分合状态确定装置从摄像头处取得需要确定刀闸状态的刀闸监控图像,提取该图像的SIFT特征,然后通过FLANN或BF算法匹配刀闸监控图像与模板图像的SIFT特征,得到成对的特征点。此时,判断该特征点对数量是否大于或等于10,若否,则等待下一次摄像头输入的图像,若是,则按照仿射或投影变换关系,利用RANSAC鲁棒求解算法,求出刀闸监控图像到模板图像的变换矩阵M。将刀闸监控图像根据M进行仿射或投影变换,对齐两个图像,纠正摄像头的角度偏移,完成图像对齐。
在完成图像对齐后,对刀闸监控图像和模板图像进行结构相似性比较。首先,根据模板图像虚线框区域a和b的坐标,选取对齐后刀闸监控图像上的对应虚线框区域a与b,来与保存的模板图像的虚线框区域a与b作比较。通过SSIM相似性比较,得出a、b区域是否存在刀闸,从而判断刀闸的分合状态。分合状态判别如表1刀闸分合位状态表所示。
表1刀闸分合位状态表
a区域状态 | b区域状态 | 刀闸状态 |
无刀闸 | 有刀闸 | 合位 |
有刀闸 | 无刀闸 | 分位 |
无刀闸 | 无刀闸 | 动作不到位 |
有刀闸 | 有刀闸 | 分析出错 |
从表1读取对应状态后,刀闸分合状态确定装置将刀闸分合状态发送到一键顺控系统。
图8为本发明第五实施例提供的刀闸分合状态确定装置的结构示意图,如图8所示,本实施例中,该刀闸分合状态确定装置400包括:
获取模块401,用于获取刀闸监控图像。刀闸监控图像为摄像装置根据刀闸控制装置发送的图像发送指令拍摄刀闸监控区域生成并发送的。图像发送指令为刀闸控制装置在控制刀闸闭合或断开的预设时间段内生成的。
提取模块402,用于提取刀闸监控图像中多个预设区域的图像特征。多个预设区域至少包括刀闸处于合位状态时刀闸所处的合位位置区域和刀闸处于分位状态时刀闸所处的分位位置区域。
比较模块403,用于将刀闸监控图像中各预设区域的图像特征与预设刀闸模板图像对应预设区域的图像特征进行结构相似性比较。
确定模块404,用于根据结构相似性比较的结果确定刀闸分合状态。
本实施例提供的刀闸分合状态确定装置可以执行图2所示方法实施例的技术方案,其实现原理和技术效果与图2所示方法实施例类似,在此不再一一赘述。
同时,本发明提供的刀闸分合状态确定装置在上一实施例提供的刀闸分合状态确定装置的基础上,对刀闸分合状态确定装置400进行了进一步的细化。
可选的,本实施例中,提取模块402具体用于:
获取预设刀闸模板图像中各预设区域在预设刀闸模板图像中的坐标范围。根据各坐标范围提取刀闸监控图像中对应预设区域的图像特征。
可选的,本实施例中,预设区域为刀闸处于合位状态时刀闸所处的合位位置区域和刀闸处于分位状态时刀闸所处的分位位置区域。
预设刀闸模板图像为预先拍摄的刀闸处于合位状态时的合位模板图像和刀闸处于分位状态时的分位模板图像。合位模板图像包括刀闸处于合位状态时的合位位置区域和刀闸处于合位状态时的分位位置区域。分位模板图像包括刀闸处于分位状态时的合位位置区域和刀闸处于分位状态时的分位位置区域。
比较模块403具体用于:
将刀闸监控图像中的合位位置区域分别与合位模板图像中的合位位置区域以及分位模板图像中的合位位置区域进行结构相似性比较,以确定合位位置区域比较结果。将刀闸监控图像中的分位位置区域分别与合位模板图像中的分位位置区域以及分位模板图像中的分位位置区域进行结构相似性比较,以确定分位位置区域比较结果。
可选的,本实施例中,比较模块403在将刀闸监控图像中的合位位置区域分别与合位模板图像中的合位位置区域以及分位模板图像中的合位位置区域进行结构相似性比较,以确定合位位置区域比较结果时,具体用于:
若刀闸监控图像中的合位位置区域与合位模板图像中的合位位置区域之间的结构相似性大于刀闸监控图像中的合位位置区域与分位模板图像中的合位位置区域之间的结构相似性,则确定合位位置区域比较结果为合位位置区域存在刀闸。若刀闸监控图像中的合位位置区域与合位模板图像中的合位位置区域之间的结构相似性小于刀闸监控图像中的合位位置区域与分位模板图像中的合位位置区域之间的结构相似性,则确定合位位置区域比较结果为合位位置区域不存在刀闸。
可选的,本实施例中,比较模块403在将刀闸监控图像中的分位位置区域分别与合位模板图像中的分位位置区域以及分位模板图像中的分位位置区域进行结构相似性比较,以确定分位位置区域比较结果时,具体用于:
若刀闸监控图像中的分位位置区域与合位模板图像中的分位位置区域之间的结构相似性大于刀闸监控图像中的分位位置区域与分位模板图像中的分位位置区域之间的结构相似性,则确定分位位置区域比较结果为分位位置区域不存在刀闸。若刀闸监控图像中的分位位置区域与合位模板图像中的分位位置区域之间的结构相似性小于刀闸监控图像中的分位位置区域与分位模板图像中的分位位置区域之间的结构相似性,则确定分位位置区域比较结果为分位位置区域存在刀闸。
可选的,本实施例中,确定模块404具体用于:
若合位位置区域比较结果为合位位置区域存在刀闸,分位位置区域比较结果为分位位置区域不存在刀闸,则确定刀闸状态为处于合位状态。若合位位置区域比较结果为合位位置区域不存在刀闸,分位位置区域比较结果为分位位置区域存在刀闸,则确定刀闸状态为处于分位状态。若合位位置区域比较结果为合位位置区域不存在刀闸,分位位置区域比较结果为分位位置区域不存在刀闸,则确定刀闸状态为处于非分位且非合位状态。
可选的,本实施例中,刀闸分合状态确定装置400还包括:
图像对齐模块,用于提取刀闸监控图像的图像特征和预设刀闸模板图像的图像特征。将刀闸监控图像的图像特征与预设刀闸模板图像的图像特征进行匹配,以生成多个图像特征对。根据多个图像特征对和预设的投影变换算法确定刀闸监控图像与预设刀闸模板图像之间的变换矩阵。根据变换矩阵对刀闸监控图像进行矫正,以使矫正后的刀闸监控图像与预设刀闸模板图像对齐。
可选的,本实施例中,图像对齐模块在根据多个图像特征对和预设的投影变换算法确定刀闸监控图像与预设刀闸模板图像之间的变换矩阵时,具体用于:
判断多个图像特征对数量是否大于或等于预设阈值。若确定多个图像特征对数量大于或等于预设阈值,则根据多个图像特征对和预设的投影变换算法确定刀闸监控图像与预设刀闸模板图像之间的变换矩阵。
可选的,本实施例中,刀闸分合状态确定装置400还包括:
二次确定模块,用于向刀闸控制装置发送刀闸分合状态,以使刀闸控制装置根据刀闸分合状态和传感器反馈的刀闸运行信息二次确定刀闸分合状态。
本实施例提供的刀闸分合状态确定装置可以执行图2-图7所示方法实施例的技术方案,其实现原理和技术效果与图2-图7所示方法实施例类似,在此不再一一赘述。
根据本发明的实施例,本发明还提供了一种电子设备、一种计算机可读存储介质和一种计算机程序产品。
如图9所示,图9是本发明第六实施例提供的电子设备的结构示意图。电子设备旨在各种形式适用于刀闸分合状态确定训练的数字计算机,诸如,膝上型计算机、个人数字助理、和其它适合的计算机。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图9所示,该电子设备包括:处理器501、存储器502。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理。
存储器502即为本发明所提供的非瞬时计算机可读存储介质。其中,存储器存储有可由至少一个处理器执行的指令,以使至少一个处理器执行本发明所提供的刀闸分合状态确定方法。本发明的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本发明所提供的刀闸分合状态确定方法。
存储器502作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本发明实施例中的刀闸分合状态确定方法对应的程序指令/模块(例如,附图8所示的获取模块401、提取模块402、比较模块403和确定模块404)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的刀闸分合状态确定方法。
同时,本实施例还提供一种计算机产品,当该计算机产品中的指令由电子设备的处理器执行时,使得电子设备能够执行上述实施例的刀闸分合状态确定方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明实施例的其它实施方案。本发明旨在涵盖本发明实施例的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明实施例的一般性原理并包括本发明实施例未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的。
应当理解的是,本发明实施例并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明实施例的范围仅由所附的权利要求书来限制。
Claims (11)
1.一种刀闸分合状态确定方法,其特征在于,包括:
获取刀闸监控图像;所述刀闸监控图像为摄像装置根据刀闸控制装置发送的图像发送指令拍摄刀闸监控区域生成并发送的;所述图像发送指令为所述刀闸控制装置在控制刀闸闭合或断开的预设时间段内生成的;
提取所述刀闸监控图像中多个预设区域的图像特征;所述多个预设区域至少包括刀闸处于合位状态时刀闸所处的合位位置区域和刀闸处于分位状态时刀闸所处的分位位置区域;
将所述刀闸监控图像中各所述预设区域的图像特征与预设刀闸模板图像对应预设区域的图像特征进行结构相似性比较;所述预设区域为刀闸处于合位状态时刀闸所处的合位位置区域和刀闸处于分位状态时刀闸所处的分位位置区域;所述预设刀闸模板图像为预先拍摄的刀闸处于合位状态时的合位模板图像和刀闸处于分位状态时的分位模板图像;所述合位模板图像包括刀闸处于合位状态时的合位位置区域和刀闸处于合位状态时的分位位置区域;所述分位模板图像包括刀闸处于分位状态时的合位位置区域和刀闸处于分位状态时的分位位置区域;
根据结构相似性比较的结果确定刀闸分合状态;
所述将所述刀闸监控图像中各所述预设区域的图像特征与预设刀闸模板图像对应预设区域的图像特征进行结构相似性比较,包括:
将所述刀闸监控图像中的合位位置区域分别与所述合位模板图像中的合位位置区域以及所述分位模板图像中的合位位置区域进行结构相似性比较,以确定合位位置区域比较结果;
将所述刀闸监控图像中的分位位置区域分别与所述合位模板图像中的分位位置区域以及所述分位模板图像中的分位位置区域进行结构相似性比较,以确定分位位置区域比较结果;
所述根据结构相似性比较的结果确定刀闸分合状态,包括:
若合位位置区域比较结果为合位位置区域存在刀闸,分位位置区域比较结果为分位位置区域不存在刀闸,则确定刀闸状态为处于合位状态;
若合位位置区域比较结果为合位位置区域不存在刀闸,分位位置区域比较结果为分位位置区域存在刀闸,则确定刀闸状态为处于分位状态;
若合位位置区域比较结果为合位位置区域不存在刀闸,分位位置区域比较结果为分位位置区域不存在刀闸,则确定刀闸状态为处于非分位且非合位状态。
2.根据权利要求1所述的方法,其特征在于,所述提取所述刀闸监控图像中多个预设区域的图像特征,包括:
获取预设刀闸模板图像中各预设区域在预设刀闸模板图像中的坐标范围;
根据各所述坐标范围提取所述刀闸监控图像中对应预设区域的图像特征。
3.根据权利要求1所述的方法,其特征在于,所述将所述刀闸监控图像中的合位位置区域分别与所述合位模板图像中的合位位置区域以及所述分位模板图像中的合位位置区域进行结构相似性比较,以确定合位位置区域比较结果,包括:
若刀闸监控图像中的合位位置区域与所述合位模板图像中的合位位置区域之间的结构相似性大于刀闸监控图像中的合位位置区域与所述分位模板图像中的合位位置区域之间的结构相似性,则确定合位位置区域比较结果为合位位置区域存在刀闸;
若刀闸监控图像中的合位位置区域与所述合位模板图像中的合位位置区域之间的结构相似性小于刀闸监控图像中的合位位置区域与所述分位模板图像中的合位位置区域之间的结构相似性,则确定合位位置区域比较结果为合位位置区域不存在刀闸。
4.根据权利要求3所述的方法,其特征在于,所述将所述刀闸监控图像中的分位位置区域分别与所述合位模板图像中的分位位置区域以及所述分位模板图像中的分位位置区域进行结构相似性比较,以确定分位位置区域比较结果,包括:
若刀闸监控图像中的分位位置区域与所述合位模板图像中的分位位置区域之间的结构相似性大于刀闸监控图像中的分位位置区域与所述分位模板图像中的分位位置区域之间的结构相似性,则确定分位位置区域比较结果为分位位置区域不存在刀闸;
若刀闸监控图像中的分位位置区域与所述合位模板图像中的分位位置区域之间的结构相似性小于刀闸监控图像中的分位位置区域与所述分位模板图像中的分位位置区域之间的结构相似性,则确定分位位置区域比较结果为分位位置区域存在刀闸。
5.根据权利要求1至4任一项所述的方法,其特征在于,所述提取所述刀闸监控图像中多个预设区域的图像特征之前,还包括:
提取所述刀闸监控图像的图像特征和预设刀闸模板图像的图像特征;
将所述刀闸监控图像的图像特征与预设刀闸模板图像的图像特征进行匹配,以生成多个图像特征对;
根据所述多个图像特征对和预设的投影变换算法确定所述刀闸监控图像与所述预设刀闸模板图像之间的变换矩阵;
根据所述变换矩阵对所述刀闸监控图像进行矫正,以使矫正后的刀闸监控图像与预设刀闸模板图像对齐。
6.根据权利要求5所述的方法,其特征在于,所述根据所述多个图像特征对和预设的投影变换算法确定所述刀闸监控图像与所述预设刀闸模板图像之间的变换矩阵,包括:
判断所述多个图像特征对数量是否大于或等于预设阈值;
若确定所述多个图像特征对数量大于或等于预设阈值,则根据所述多个图像特征对和预设的投影变换算法确定所述刀闸监控图像与所述预设刀闸模板图像之间的变换矩阵。
7.根据权利要求6所述的方法,其特征在于,所述根据结构相似性比较的结果确定刀闸分合状态之后,还包括:
向所述刀闸控制装置发送刀闸分合状态,以使所述刀闸控制装置根据所述刀闸分合状态和传感器反馈的刀闸运行信息二次确定刀闸分合状态。
8.一种刀闸分合状态确定装置,其特征在于,包括:
获取模块,用于获取刀闸监控图像;所述刀闸监控图像为摄像装置根据刀闸控制装置发送的图像发送指令拍摄刀闸监控区域生成并发送的;所述图像发送指令为所述刀闸控制装置在控制刀闸闭合或断开的预设时间段内生成的;
提取模块,用于提取所述刀闸监控图像中多个预设区域的图像特征;所述多个预设区域至少包括刀闸处于合位状态时刀闸所处的合位位置区域和刀闸处于分位状态时刀闸所处的分位位置区域;
比较模块,用于将所述刀闸监控图像中各所述预设区域的图像特征与预设刀闸模板图像对应预设区域的图像特征进行结构相似性比较;所述预设区域为刀闸处于合位状态时刀闸所处的合位位置区域和刀闸处于分位状态时刀闸所处的分位位置区域;所述预设刀闸模板图像为预先拍摄的刀闸处于合位状态时的合位模板图像和刀闸处于分位状态时的分位模板图像;所述合位模板图像包括刀闸处于合位状态时的合位位置区域和刀闸处于合位状态时的分位位置区域;所述分位模板图像包括刀闸处于分位状态时的合位位置区域和刀闸处于分位状态时的分位位置区域;
确定模块,用于根据结构相似性比较的结果确定刀闸分合状态;
所述比较模块,具体用于将所述刀闸监控图像中的合位位置区域分别与所述合位模板图像中的合位位置区域以及所述分位模板图像中的合位位置区域进行结构相似性比较,以确定合位位置区域比较结果;将所述刀闸监控图像中的分位位置区域分别与所述合位模板图像中的分位位置区域以及所述分位模板图像中的分位位置区域进行结构相似性比较,以确定分位位置区域比较结果;
所述确定模块,具体用于若合位位置区域比较结果为合位位置区域存在刀闸,分位位置区域比较结果为分位位置区域不存在刀闸,则确定刀闸状态为处于合位状态;若合位位置区域比较结果为合位位置区域不存在刀闸,分位位置区域比较结果为分位位置区域存在刀闸,则确定刀闸状态为处于分位状态;若合位位置区域比较结果为合位位置区域不存在刀闸,分位位置区域比较结果为分位位置区域不存在刀闸,则确定刀闸状态为处于非分位且非合位状态。
9.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如权利要求1至7任一项所述的刀闸分合状态确定方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1至7任一项所述的刀闸分合状态确定方法。
11.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至7任一项所述的刀闸分合状态确定方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111314122.4A CN114220068B (zh) | 2021-11-08 | 2021-11-08 | 刀闸分合状态确定方法、装置、设备、介质及产品 |
PCT/CN2022/129042 WO2023078254A1 (zh) | 2021-11-08 | 2022-11-01 | 刀闸分合状态确定方法、装置、设备、介质及产品 |
GB2308674.7A GB2616993A (en) | 2021-11-08 | 2022-11-01 | Method and apparatus for determining open/closed state of knife switch, and device, medium and product |
AU2022381656A AU2022381656B2 (en) | 2021-11-08 | 2022-11-01 | Method and apparatus for determining open/closed state of knife switch, and device, medium and product |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111314122.4A CN114220068B (zh) | 2021-11-08 | 2021-11-08 | 刀闸分合状态确定方法、装置、设备、介质及产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114220068A CN114220068A (zh) | 2022-03-22 |
CN114220068B true CN114220068B (zh) | 2023-09-01 |
Family
ID=80696642
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111314122.4A Active CN114220068B (zh) | 2021-11-08 | 2021-11-08 | 刀闸分合状态确定方法、装置、设备、介质及产品 |
Country Status (4)
Country | Link |
---|---|
CN (1) | CN114220068B (zh) |
AU (1) | AU2022381656B2 (zh) |
GB (1) | GB2616993A (zh) |
WO (1) | WO2023078254A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114220068B (zh) * | 2021-11-08 | 2023-09-01 | 珠海优特电力科技股份有限公司 | 刀闸分合状态确定方法、装置、设备、介质及产品 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102262734A (zh) * | 2011-01-07 | 2011-11-30 | 浙江省电力公司 | 判别刀闸开合与否的方法及其系统 |
CN102509100A (zh) * | 2011-10-26 | 2012-06-20 | 山东电力研究院 | 一种基于图像模式识别的刀闸分合可靠性识别方法 |
CN106250902A (zh) * | 2016-07-29 | 2016-12-21 | 武汉大学 | 基于图像特征模板匹配的电力系统开关状态检测方法 |
CN108009551A (zh) * | 2017-11-21 | 2018-05-08 | 武汉中元华电软件有限公司 | 适用于电力作业机器人的电力刀闸分合位状态识别方法 |
CN108460727A (zh) * | 2018-03-28 | 2018-08-28 | 中南大学 | 一种基于投影几何与sift特征的图像拼接方法 |
JP2019067163A (ja) * | 2017-10-02 | 2019-04-25 | 富士フイルム株式会社 | 画像抽出装置,画像抽出方法および画像抽出プログラムならびにそのプログラムを格納した記録媒体 |
CN109711567A (zh) * | 2018-12-14 | 2019-05-03 | 珠海优特电力科技股份有限公司 | 检修工作安全措施信息自动生成方法和系统 |
CN110555824A (zh) * | 2019-07-22 | 2019-12-10 | 深圳供电局有限公司 | 开关位置判别方法及开关位置检测系统的控制方法 |
CN110599446A (zh) * | 2019-07-26 | 2019-12-20 | 深圳供电局有限公司 | 隔离开关合闸位置判别方法 |
CN112004012A (zh) * | 2020-08-26 | 2020-11-27 | 西安咏圣达电子科技有限公司 | 一种开关柜运行状态管理检测系统、方法、计算机设备 |
CN113033578A (zh) * | 2021-03-30 | 2021-06-25 | 上海星定方信息科技有限公司 | 基于多尺度特征匹配的图像校准方法、系统、终端及介质 |
US11048773B1 (en) * | 2021-01-26 | 2021-06-29 | Coupang Corp. | Systems and methods for modeling item similarity and correlating item information |
CN113592923A (zh) * | 2021-06-30 | 2021-11-02 | 国网浙江省电力有限公司营销服务中心 | 一种基于深度局部特征匹配的批图像配准方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9576221B2 (en) * | 2014-07-09 | 2017-02-21 | Ditto Labs, Inc. | Systems, methods, and devices for image matching and object recognition in images using template image classifiers |
CN111126253A (zh) * | 2019-12-23 | 2020-05-08 | 国网福建省电力有限公司 | 基于图像识别的刀闸状态检测方法 |
CN114220068B (zh) * | 2021-11-08 | 2023-09-01 | 珠海优特电力科技股份有限公司 | 刀闸分合状态确定方法、装置、设备、介质及产品 |
-
2021
- 2021-11-08 CN CN202111314122.4A patent/CN114220068B/zh active Active
-
2022
- 2022-11-01 AU AU2022381656A patent/AU2022381656B2/en active Active
- 2022-11-01 WO PCT/CN2022/129042 patent/WO2023078254A1/zh unknown
- 2022-11-01 GB GB2308674.7A patent/GB2616993A/en active Pending
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102262734A (zh) * | 2011-01-07 | 2011-11-30 | 浙江省电力公司 | 判别刀闸开合与否的方法及其系统 |
CN102509100A (zh) * | 2011-10-26 | 2012-06-20 | 山东电力研究院 | 一种基于图像模式识别的刀闸分合可靠性识别方法 |
CN106250902A (zh) * | 2016-07-29 | 2016-12-21 | 武汉大学 | 基于图像特征模板匹配的电力系统开关状态检测方法 |
JP2019067163A (ja) * | 2017-10-02 | 2019-04-25 | 富士フイルム株式会社 | 画像抽出装置,画像抽出方法および画像抽出プログラムならびにそのプログラムを格納した記録媒体 |
CN108009551A (zh) * | 2017-11-21 | 2018-05-08 | 武汉中元华电软件有限公司 | 适用于电力作业机器人的电力刀闸分合位状态识别方法 |
CN108460727A (zh) * | 2018-03-28 | 2018-08-28 | 中南大学 | 一种基于投影几何与sift特征的图像拼接方法 |
CN109711567A (zh) * | 2018-12-14 | 2019-05-03 | 珠海优特电力科技股份有限公司 | 检修工作安全措施信息自动生成方法和系统 |
CN110555824A (zh) * | 2019-07-22 | 2019-12-10 | 深圳供电局有限公司 | 开关位置判别方法及开关位置检测系统的控制方法 |
CN110599446A (zh) * | 2019-07-26 | 2019-12-20 | 深圳供电局有限公司 | 隔离开关合闸位置判别方法 |
CN112004012A (zh) * | 2020-08-26 | 2020-11-27 | 西安咏圣达电子科技有限公司 | 一种开关柜运行状态管理检测系统、方法、计算机设备 |
US11048773B1 (en) * | 2021-01-26 | 2021-06-29 | Coupang Corp. | Systems and methods for modeling item similarity and correlating item information |
CN113033578A (zh) * | 2021-03-30 | 2021-06-25 | 上海星定方信息科技有限公司 | 基于多尺度特征匹配的图像校准方法、系统、终端及介质 |
CN113592923A (zh) * | 2021-06-30 | 2021-11-02 | 国网浙江省电力有限公司营销服务中心 | 一种基于深度局部特征匹配的批图像配准方法 |
Non-Patent Citations (1)
Title |
---|
变电站机器人自动巡检中的刀闸开合状态分析;马啸川,等;电子测量与仪器学报(第06期);69-76 * |
Also Published As
Publication number | Publication date |
---|---|
WO2023078254A1 (zh) | 2023-05-11 |
CN114220068A (zh) | 2022-03-22 |
GB202308674D0 (en) | 2023-07-26 |
AU2022381656B2 (en) | 2024-06-20 |
GB2616993A (en) | 2023-09-27 |
AU2022381656A1 (en) | 2023-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108921874B (zh) | 人体跟踪处理方法、装置及系统 | |
US20200074646A1 (en) | Method for obtaining image tracking points and device and storage medium thereof | |
US10679364B2 (en) | Image matching method, image matching apparatus, image matching system, and storage medium | |
CN114220068B (zh) | 刀闸分合状态确定方法、装置、设备、介质及产品 | |
CN107257161A (zh) | 一种基于状态识别算法的变电站刀闸遥控辅助校核方法及系统 | |
CN112784718A (zh) | 一种基于边缘计算与深度学习的绝缘子状态识别方法 | |
CN110472613B (zh) | 对象行为识别方法和装置 | |
CN111612820A (zh) | 多目标跟踪方法、特征提取模型的训练方法和装置 | |
CN109034418B (zh) | 作业现场信息传输方法及系统 | |
CN103226831B (zh) | 利用分块布尔运算的图像匹配方法 | |
CN111885419B (zh) | 姿态处理方法及装置、存储介质、电子装置 | |
JP2021174554A (ja) | 画像深度確定方法及び生き物認識方法、回路、装置、記憶媒体 | |
KR20100104272A (ko) | 행동인식 시스템 및 방법 | |
CN113158773B (zh) | 一种活体检测模型的训练方法及训练装置 | |
CN114565952A (zh) | 行人轨迹生成方法、装置、设备和存储介质 | |
CN115830342A (zh) | 检测框的确定方法、装置、存储介质及电子装置 | |
CN105512664A (zh) | 图像识别方法及装置 | |
CN115268285A (zh) | 设备控制方法、装置、电子设备以及存储介质 | |
CN114119405A (zh) | 图像处理方法及装置、计算机可读存储介质和电子设备 | |
CN114693721A (zh) | 运动规划方法、装置及机器人 | |
CN114091503A (zh) | 人脸图像的校验方法、装置、电子设备及存储介质 | |
CN112990076A (zh) | 一种基于人工智能的数据整理方法和装置 | |
CN113409373B (zh) | 图像处理方法及相关终端、设备和存储介质 | |
CN116612358B (zh) | 一种数据处理的方法、相关装置、设备以及存储介质 | |
CN113837270B (zh) | 一种目标识别方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |