CN109598177A - 用于识别电气设备的状态的方法和装置 - Google Patents

用于识别电气设备的状态的方法和装置 Download PDF

Info

Publication number
CN109598177A
CN109598177A CN201710917722.7A CN201710917722A CN109598177A CN 109598177 A CN109598177 A CN 109598177A CN 201710917722 A CN201710917722 A CN 201710917722A CN 109598177 A CN109598177 A CN 109598177A
Authority
CN
China
Prior art keywords
electrical equipment
state
image
predefined
original appearance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710917722.7A
Other languages
English (en)
Other versions
CN109598177B (zh
Inventor
费维和
E·德雷纳
F·皮洛
P·劳林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Schneider Electric Industries SAS
Original Assignee
Schneider Electric Industries SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Schneider Electric Industries SAS filed Critical Schneider Electric Industries SAS
Priority to CN201710917722.7A priority Critical patent/CN109598177B/zh
Priority to US16/652,102 priority patent/US11302099B2/en
Priority to PCT/CN2018/108037 priority patent/WO2019062818A1/zh
Priority to EP18860822.8A priority patent/EP3678048A4/en
Publication of CN109598177A publication Critical patent/CN109598177A/zh
Application granted granted Critical
Publication of CN109598177B publication Critical patent/CN109598177B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/243—Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32128—Gui graphical user interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • Manufacturing & Machinery (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本公开的实施例涉及用于自动识别电气设备的状态的方法和装置。该方法包括：获取所述电气设备在现场环境中的图像，其中所述电气设备设置在所述现场环境中的预定义多边形的平面上；通过将所述图像中的所述预定义多边形还原成所述预定义多边形的原貌来获得所述电气设备在现场环境中的原貌图像；以及基于所述电气设备在现场环境中的原貌图像，确定所述电气设备的状态。

Description

用于识别电气设备的状态的方法和装置
技术领域
本公开的实施例涉及电气领域，并且更具体地涉及用于识别电气设备的状态的方法和装置。
背景技术
电气设备的数字化监控是实现工业设备数字化管理和网络化管理的基本要素。为了便于人们对设备状态的掌控，通常的电气设备都设计了方便用户观察的其状态的部件，例如按钮的伸缩、指示灯的亮暗或颜色的变化、断路器手柄位置的改变、仪表指针指示值的变化等等。这些可视化部件对于人眼来讲很容易能识别出来，但是在自动化信息时代，我们更希望能通过电子的方法远程探测到电气设备的状态，并通过信息数字化进行智能监控和决策分析。
目前已经出现了利用摄像机自动识别电气设备状态的相关方案，但是受限于现场环境的复杂多变性和摄像机自动识别性能不够稳定等因素，这一技术还没有达到实用的阶段。
一般的摄像机图像识别的方法是，首先对图像进行预处理，包括颜色提取、灰阶转换、降噪处理、对比度增强等处理技术，然后扫描整幅预处理后的图像来判断是否存在与电气设备状态相关的目标图形特征，通过已知的图像识别方法，如空间匹配算法、目标边缘提取算法、颜色提取和匹配算法等工具来分析图像与电气设备目标特征的吻合程度，以此来判断电气设备的状态。这种方法的缺点是图像预处理计算量大，预处理参数需要根据实际的照明环境的不同而调整，由于需要对整幅图像进行扫描判断，计算量大，效率不高，而且在实际应用中由于受电气设备型号的多样性、环境照明的多变性、摄像机位置的不确定性等影响，造成目标识别的稳定性差，通用性不强，容易造成误判。
发明内容
本公开的实施例目的在于提供至少部分地解决现有技术的上述问题的方法、设备和系统。
根据一些实施例，提供了一种用于识别电气设备的状态的方法。该方法包括：获取所述电气设备在现场环境中的图像，其中所述电气设备设置在所述现场环境中的预定义多边形的平面上；通过将所述图像中的所述预定义多边形还原成所述预定义多边形的原貌来获得所述电气设备在所述现场环境中的原貌图像；以及基于所述电气设备在所述现场环境中的原貌图像，确定所述电气设备的状态。
在一些实施例中，该方法还包括：接收在所述原貌图像中对所述电气设备的选择，以确定所述电气设备在所述原貌图像中的位置，并作为所述电气设备的预定义位置，并且确定与所述电气设备处于第一状态相关联的第一特征图像；响应于所述电气设备的状态从所述第一状态改变到所述第二状态，获取第二原貌图像并确定与所述电气设备处于第二状态相关联的第二特征图像。
在一些实施例中，所述电气设备的状态具有数字量特征，确定所述电气设备的状态包括：获取所述电气设备的预定义位置和特征图像以及与所述特征图像对应的状态；在所述原貌图像内，基于所述预定义位置搜索与所述特征图像匹配的区域；以及基于与所述特征图像对应的状态来确定所述电气设备的状态。
在一些实施例中，所述电气设备的状态具有模拟量特征，并且确定所述电气设备的状态包括：获取所述电气设备的预定义位置和多个特征图像以及与所述多个特征图像分别对应的多个状态，所述多个状态对应于所述电气设备的模拟量特征的多个数值；在所述原貌图像内，基于所述预定义位置搜索与所述多个特征图像匹配的区域；在所述区域中识别所述模拟量特征的状态的指示；以及基于所述模拟量特征的状态的指示，通过所述电气设备的状态的变化与所述多个数值之间的预定义关系来确定所述电气设备的状态。
根据一些实施例，提供了一种用于识别电气设备的状态的装置。该装置包括：图像采集设备，被配置为获取所述电气设备在现场环境中的图像，其中所述电气设备设置在所述现场环境中的预定义多边形的平面上；处理设备，被配置为：通过将所述图像中的所述预定义多边形还原成所述预定义多边形的原貌来获得所述电气设备在所述现场环境中的原貌图像；以及基于所述电气设备在所述现场环境中的原貌图像，确定所述电气设备的状态。
根据一些实施例，提供了一种用于识别电气设备的状态的设备。该设备包括：处理单元；以及存储器，耦合至所述处理单元并且包括存储于其上的指令，所述指令在由所述处理单元执行时使所述设备执行动作，所述动作包括：接收所述电气设备在现场环境中的图像，其中所述电气设备设置在所述现场环境中的预定义多边形的平面上；通过将所述图像中的所述预定义多边形还原成所述预定义多边形的原貌来获得所述电气设备在所述现场环境中的原貌图像；以及基于所述电气设备在所述现场环境中的原貌图像，确定所述电气设备的状态。
根据一些实施例，提供了一种存储有指令的计算机可读存储介质，所述指令响应于由计算设备的执行而使得所述计算设备执行动作，所述动作包括：接收电气设备在现场环境中的图像，其中所述电气设备设置在所述现场环境中的预定义多边形的平面上；将所述图像中的所述预定义多边形还原成所述预定义多边形的原貌来获得所述电气设备在所述现场环境中的原貌图像；以及基于所述电气设备在现场环境中的原貌图像，确定所述电气设备的状态。
本公开的实施例可以解决相机视觉识别速度慢并且识别误判、以及识别性能容易受现场环境和相机位置改变而受影响的问题。在一些实施例中，可以实现快速稳定的相机视觉识别，使电气设备状态视觉识别数字化达到实用的阶段。在这些实施例中，相机图像识别处理计算量小，识别效率高。此外，目标识别的性能稳定，具备更高的正确率和可靠性。而且，用户可以对现场识别目标重新进行计算机现场学习，重新配置识别内容而不需要改变源程序。以这种方式，可以适应各种现场设备的型号和布局，适应各种不同的照明环境。而且，这些实施例还可以具备自动适应相机位置和角度变化的功能，对相机位置变化的宽容性大。
附图说明
图1示出了根据本公开的一个实施例的电气设备状态识别系统的框图；
图2示出了目标在相机图像中的畸变的示意图；
图3示出了如何对畸变图像进行透视校正的示意图；
图4示出了根据本公开的一个实施例的可视化矩形的示意图；
图5示出了根据本公开的另一实施例的可视化矩形的示意图；
图6示出了根据本公开的一个实施例的用于电气设备的状态识别方法的流程图；
图7示出了根据本公开的一个实施例的用于电气设备状态识别的装置的框图；以及
图8示出了根据本公开的一个实施例的用于电气设备状态识别的方法的流程图。
具体实施方式
图1示出了根据本公开的一个实施例的用于电气设备的状态识别的系统100的框图。如图1所示，系统100包括电气设备现场120、图像采集设备140和处理设备160。电气设备现场120是电气设备所在的环境，其包括各种电气设备，包括但不限于：断路器、数码显示仪表、指针式仪表、指示灯、按钮等电气设备或部件。一般而言，这些电气设备或部件的安装位置是固定的，即，一旦安装完成不会轻易改变其位置。本公开的实施例可以利用这一特性来对电气设备的状态进行识别。
图像采集设备140可以是照相机、摄像机等用于采集图像的设备。为描述方便起见，下文有时将图像采集设备简称为相机。图像采集设备140所获得图像中的断路器、数码显示仪表、指针式仪表、指示灯、按钮等是系统100或处理设备160需要识别的对象。处理设备160可以是例如计算机。由于图像采集设备140所处的位置和拍摄角度的不同，现场电气设备在相机二维投影平面上所成的像存在几何畸变。为了识别这些电气设备或部件的状态，本公开的一些实施例在电气设备现场120布置了具有预定义多边形形状的参照物。例如，可以在电气设备现场120放置矩形框架，并且将电气设备放置在矩形框架所在平面上。优选地，可以将电气设备设置在矩形框架内。
图2示出了目标在相机图像中的畸变的示意图。矩形210在相机拍摄的图像中可能是梯形220，或者其他不规则的四边形。这种几何畸变在理论上可以用透视变换公式来加以描述。设一个点的坐标为(u,v)，经相机投影成像后，其坐标变为(x,y)。考虑到坐标系统的平移、缩放、旋转和点投影，其坐标变换在理论上满足以下透视变换公式
其中矩阵为透视变换矩阵。
如果知道了透视变换矩阵，就可以针对目标的几何位置坐标{(u1,v1),(u2,v2),…(un,vn)}来计算目标在相机图像中的坐标位置{(x1,y1),(x2,y2),…(xn,yn)}。反过来，也可以针对目标在相机图像中的位置通过透视逆变换来算得目标的原貌坐标位置。这种方法就称为透视校准法。图3示出了如何使用透视校准法对畸变图像进行透视校正的示意图，其中将梯形220校准为矩形210。
透视校准法的关键是怎样获得透视变换矩阵。根据本公开的一些实施例，提出了一种在现场放置已知几何多边形的方法来确定透视变换矩阵。具体而言，在现场环境中放置具有已知形状的几何多边形。例如，该多边形可以是已知的矩形，并且可以将需要识别的目标设置在这个矩形所在的平面上，例如在已知矩形的范围内。矩形四个顶点坐标已知，设为{(u1,v1),(u2,v1),(u1,v2),(u2,v2)}。从相机所拍摄的图像中，可以获取这四个顶点的坐标{(x1,y1),(x2,y2),(x3,y3),(x4,y4)}。因此，可以通过以上透视变换公式计算出透视变换矩阵[aij]。由于所要识别的目标在这个已知矩形的平面上，则可以将这一矩形所对应的相机图像的每一个像素进行透视逆变换，从而可以获得识别目标的原貌图像。
在实际应用中，相机的位置一旦发生变动，处理设备160会检测到已知几何多边形的顶点在相机图像中的位置发生了变动。系统100会根据新的顶点位置坐标根据以上所述方法重新计算透视变换矩阵，然后根据新的透视变换矩阵对相机图像进行透视校准，进而获得识别目标的原貌图像。这一过程也可以称为透视校准调整模式。由于这一过程可以是实时动态的，所以系统始终可以获得识别目标的原貌图像。这为后续的图像识别提供了可靠的保障。
图4示出了根据本公开的一个实施例的可视化矩形的示意图。如图4所示，可以在电气设备盘柜的边缘放置可视化的矩形框架，便于计算机对这一矩形框架进行识别和跟踪。例如，可视化特性可以通过特定颜色来指示。
图5示出了根据本公开的另一实施例的可视化矩形的示意图。如图5所示，可以在电气设备盘柜的边缘放置四个可视化的标签，使得这四个可视化的标签作为顶点形成矩形。例如，可视化特性可以通过特定颜色来指示。
通过将电气设备设置在可视化矩形内部，可以比较方便地界定电气设备的位置以便于对电气设备的状态进行识别。尽管图4和图5示出了在电气设备盘柜的边缘设置可视化矩形的两个实施例，但是预定义多边形也可以设置在电气设备盘柜或其他环境的其他位置处，只要满足电气设备在预定义多边形的平面内的条件即可。
总体而言，在获得校准后的现场设备原貌图像之后，可以使用计算机现场学习法对电气设备的状态进行快速识别。计算机现场学习法是在系统启动图像识别前，预先建立目标识别配置数据库。例如，在校准后的现场设备原貌图像中，通过人机操作，逐个选取包含电气设备状态特征的图像区域，把这些区域的位置信息和所有反映电气设备状态变化特征图像都全部保存下来，形成目标识别配置数据库。
由于现场设备的安装位置固定不变，在系统进行识别时，系统读取目标识别配置数据库，根据数据库所指定的图像位置来搜索和匹配指定的电气设备特征图像，根据匹配结果来判定电气设备的数字量特征(如开、关、分、合等)。
如果电气设备具有模拟量特征(如指针仪表)，则在这局部范围内根据目标识别配置数据库所预定义的模拟量位置图像信息(例如，与模拟量的极大值和极小值对应的图像信息)、结合图像分析算法得出电气设备的模拟量数值。在识别过程中由于系统不需要对整个图像范围进行扫描判别，仅仅是对指定范围进行识别分析，所以可以实现快速判别。又由于每个设备状态的特征图像都单独定义，所以目标识别选择性强，误判率极低。
图6示出了根据本公开的一个实施例的识别电气设备的状态的方法600的流程图。图6可以由图1所示的系统100来实现，具体地，可以由系统100中的图像采集设备140和处理设备160来实现。
在602，图像采集设备140获取电气设备所处的环境的图像，其中电气设备设置在环境中的预定义多边形的平面上。该环境也可以称为电气设备现场或现场环境，如图1所示的电气设备现场120。在一些实施例中，预定义多边形是矩形，并且矩形的顶点的坐标已知。在一些实施例中，环境包括具有多边形的形状的可视化框架，例如，如图4所示。在一些实施例中，环境包括设置在所述多边形的顶点处的可视化标签，例如，如图5所示。
在604，处理设备160通过将所述图像中的所述预定义多边形还原成所述预定义多边形的原貌来获得所述电气设备在所述现场环境中的原貌图像。具体地，可以通过结合图2-图3所述的透视校准方法来获得原貌图像。
在606，处理设备160基于环境的原貌图像来确定电气设备的状态。这可以通过计算机现场学习法来实现。在一些实施例中，方法600还包括接收在原貌图像中对电气设备的选择，以确定电气设备在原貌图像中的位置，并将该位置作为电气设备的预定义位置。此外，还可以确定与电气设备处于第一状态相关联的第一特征图像。这一特征图像可以是原貌图像在电气设备的预定义位置处的一部分。
在电气设备的状态从第一状态改变到第二状态时，可以获取第二原貌图像，并确定与电气设备处于第二状态相关联的第二特征图像。状态的改变可以通过自动控制或人工操作来实现，本公开在此不受限制。例如，对于开关而言，第一状态可以是开状态，并且第二状态是关状态。在这种情况下，针对开状态和关状态分别获取相应的特征图像。
在一些实施例中，所述电气设备的状态具有模拟量特征，所述第一状态和所述第二状态对应于所述电气设备的模拟量特征的第一数值和第二数值，并且所述电气设备的状态的变化与所述第一数值和第二数值具有预定义关系。例如，对于指针类模拟量，第一数值和第二数值可以是模拟量的极大值和极小值。在这种情况下，模拟量特征的变化可以与两个数值具有预定义的线性或指数关系等。此外，在电气设备的温度测量中，可以使用不同的颜色来表示不同的温度。在这种情况下，第一数值和第二数值可以对应于两个不同的颜色或者温度。相应地，颜色或温度的变化可以与两个数值具有预定义的关系，例如可以由表格的形式来呈现。
以上介绍了方法300的现场学习模式的方法步骤。通常而言，学习模式是正常工作模式的基础。以下将结合模拟量和数字量分别介绍正常工作模式的若干实施例。
在一些实施例中，电气设备的状态具有数字量特征，确定电气设备的状态包括：获取电气设备的预定义位置和特征图像以及与特征图像对应的状态；在原貌图像内，基于预定义位置搜索与特征图像匹配的区域；以及基于与特征图像对应的状态来确定电气设备的状态。具体而言，可以在预定义位置周围一定范围内来搜索与特征图像匹配的区域。以这种方式，可以不用对整个图像进行处理来确定电气设备的状态，而只需对与该电气设备最相关的图像部分进行处理，从而可以节省计算资源，提升计算效率。
在一些实施例中，电气设备的状态具有模拟量特征，并且确定电气设备的状态包括：获取所述电气设备的预定义位置和多个特征图像以及与所述多个特征图像分别对应的多个状态，所述多个状态对应于所述电气设备的模拟量特征的多个数值；在所述原貌图像内，基于预定义位置搜索与所述多个特征图像匹配的区域；在所述区域中识别所述模拟量特征的状态的指示；以及基于所述模拟量特征的状态的指示，通过所述电气设备的状态的变化与所述多个数值之间的预定义关系来确定所述电气设备的状态。如上所述，对于一些应用，多个状态可以对应于模拟量的极大值和极小值。为了清楚起见，在此不再赘述。
图7示出了根据本公开的一个实施例的电气设备状态识别装置700的框图。如图7所示，装置700包括相机模块760、主控模块740、图像识别模块710、目标识别配置数据库720、人机界面模块770、电气识别状态模块730、通信模块750和电源模块780。应当理解，以上功能模块的划分只是为了方便对图像识别方法和原理的说明。在具体应用中，多个模块可以合并在一个模块中，一个模块可以进一步拆分为多个模块，并且也可以省略其中的一个或多个模块。
相机模块760可以获取电气设备现场的图像，并且将图像数据传输给主控模块740。主控模块740将相机模块760获取的图像传输给图像识别模块710进行图像识别。图像识别模块710接收主控模块740传输来的图像数据，并结合目标识别配置数据库720的预定义信息进行图像校准和图像识别，并将数字化的识别结果传输给电气设备状态模块730。电气设备状态模块730保存现场电气设备的状态信息，并且在一些实施例中用数字化方式来存在电气设备的状态信息，以便于管理和传输。目标识别配置数据库740中的信息是用户使用人机界面模块770，通过人机操作对需要识别的目标图像进行计算机现场学习而获得的。主控模块740读取电气设备状态模块730中的数据，并对数据进行处理。通信模块750将电气设备状态信息发送给远程服务器，以实现数字化、网络化的信息共享和决策分析。电源模块780可以为装置700中的模块提供电源。
以下结合图8进一步详细描述图7所示的装置700的原理，其中图8示出了根据本公开的一个实施例的识别电气设备的状态的方法800的流程图。
在802，主控模块740从相机模块760中获取电气设备现场的图像。电气设备现场包括一个或多个电气设备或部件，并且设置有具有预定义形状的多边形。
在804，主控模块740识别多边形的顶点在图像中的坐标，并对图像进行透视校准，获得现场设备的原貌图像。具体地，可以通过结合图2-图3所述的透视校准方法来获得原貌图像。
在806，主控模块740从人机界面模块770获取系统的当前工作模式，其中工作模式可以包括：透视校准调整模式、计算机现场学习模式和正常工作模式等。
如果在806确定为透视校准调整模式，则在810通过人机界面模块770获取多边形顶点的坐标定义，启动透视校准，并且在812将透视校准参数(例如，如上所述的透视变换矩阵)保存在目标识别配置数据库720中。然后，系统可以进入下一循环，返回702。
如果在806确定为计算机现场学习模式，则在820通过人机界面模块，在现场设备原貌图像中选定电气设备特征图像的位置和区域，定义每个设备状态与该特征图像的关系，建立目标识别配置数据库720。例如，如果电气设备是一个具有开和关这两种状态的开关，则针对开和关这两种状态分别获取现场的原貌图像，并分别选取与开关对应的特征图像的区域和与该特征图像相对应的状态，也称为目标识别参数。以这种方式，建立目标识别配置数据库720。然后，系统可以进入下一循环，返回702。
对于具有模拟量特征的电气设备，可以针对预定义范围内的极限状态获取现场的原貌图像，并定义相应的模拟量数值。例如，对于仪表指针，可以针对仪表指针中的起始位置和终止位置来获取现场的原貌图像，并针对两个图像定义相应的模拟量数值。
如果在808确定为正常工作模式，则在830，图像识别模块710读取目标识别配置数据库720中的目标识别参数。在832，可以根据目标识别参数所指定的区域在原貌图像中搜索与指定目标相匹配的图像。如上所述，设备现场通常是保持固定不变的，因此，可以在指定区域进行搜索，而不用对整个图像进行搜索，从而具有更高的准确性并节省计算量。
如果在834确定图像匹配成功，则在836确定电气设备的状态信息。对于具有数字量特征的电气设备(例如，开关)，由于在目标识别数据库720中所匹配的图像具有相对应的状态，可以直接确定电气设备的状态。对于具有模拟量特征的电气设备，根据目标识别配置数据库720中定义的模拟量的极限状态的特征图像，结合图像分析算法得到设备的模拟量数值。例如，对于仪表指针，可以在匹配的区域中标识指示模拟量特征的指示符的位置，并且基于指示符的位置和数据库中定义的模拟量的极限状态的特征图像来确定电气设备的状态。此外，图像识别模块710可以根据识别结果更新电气设备状态模块730中的信息。
如果在834确定图像匹配识别不成功，则将错误信息保存在电气设备状态模块730中。主控模块740可以在840将电气设备状态模块730中的信息通过通信模块760发送给远程网络。然后，系统可以进入下一循环，返回702。
在这些实施例中，相机图像识别处理计算量小，识别效率高。此外，目标识别的性能稳定，具备更高的正确率和可靠性。方便用户对现场识别目标重新进行计算机现场学习、重新配置识别内容而不需要改变源程序。从而使本方法能适应各种现场设备的型号和布局，适应各种不同的照明环境。本方法具备自动适应相机位置和角度变化的功能，对相机位置变化的宽容性大。
以上结合图1-图8描述了根据本公开的一些实施例的用于识别电气设备的状态的方法、设备和系统。应当理解，本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
此外，虽然采用特定次序描绘了各操作，但是这应当理解为要求这样操作以所示出的特定次序或以顺序次序执行，或者要求所有图示的操作应被执行以取得期望的结果。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实现的上下文中描述的某些特征还可以组合地实现在单个实现中。相反地，在单个实现的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

Claims (24)

1.一种用于识别电气设备的状态的方法，包括：
获取所述电气设备在现场环境中的图像，其中所述电气设备设置在所述现场环境中的预定义多边形的平面上；
通过将所述图像中的所述预定义多边形还原成所述预定义多边形的原貌来获得所述电气设备在所述现场环境中的原貌图像；以及
基于所述电气设备在所述现场环境中的原貌图像，确定所述电气设备的状态。
2.根据权利要求1所述的方法，其中所述预定义多边形是矩形，并且所述矩形的顶点的坐标已知。
3.根据权利要求1所述的方法，其中所述现场环境包括以下至少一项：
具有所述预定义多边形的形状的可视化框架；和
设置在所述预定义多边形的顶点处的可视化标签。
4.根据权利要求1所述的方法，其中所述电气设备设置在预定义多边形内。
5.根据权利要求1所述的方法，还包括：
接收在所述原貌图像中对所述电气设备的选择，以确定所述电气设备在所述原貌图像中的位置，并作为所述电气设备的预定义位置，并且确定与所述电气设备处于第一状态相关联的第一特征图像；以及
响应于所述电气设备的状态从所述第一状态改变到所述第二状态，获取第二原貌图像并确定与所述电气设备处于第二状态相关联的第二特征图像。
6.根据权利要求5所述的方法，其中所述电气设备的状态具有模拟量特征，所述第一状态和所述第二状态对应于所述电气设备的模拟量特征的第一数值和第二数值，并且所述电气设备的状态的变化与所述第一数值和第二数值具有预定义关系。
7.根据权利要求1所述的方法，其中所述电气设备的状态具有数字量特征，确定所述电气设备的状态包括：
获取所述电气设备的预定义位置和特征图像以及与所述特征图像对应的状态；
在所述原貌图像内，基于所述预定义位置搜索与所述特征图像匹配的区域；以及
基于与所述特征图像对应的状态来确定所述电气设备的状态。
8.根据权利要求1所述的方法，其中所述电气设备的状态具有模拟量特征，并且确定所述电气设备的状态包括：
获取所述电气设备的预定义位置和多个特征图像以及与所述多个特征图像分别对应的多个状态，所述多个状态对应于所述电气设备的模拟量特征的多个数值；
在所述原貌图像内，基于所述预定义位置搜索与所述多个特征图像匹配的区域；
在所述区域中识别所述模拟量特征的状态的指示；以及
基于所述模拟量特征的状态的指示，通过所述电气设备的状态的变化与所述多个数值之间的预定义关系来确定所述电气设备的状态。
9.一种用于识别电气设备的状态的装置，包括：
图像采集设备，被配置为获取所述电气设备在现场环境中的图像，其中所述电气设备设置在所述现场环境中的预定义多边形的平面上；
处理设备，被配置为：
通过将所述图像中的所述预定义多边形还原成所述预定义多边形的原貌来获得所述电气设备在所述现场环境中的原貌图像；以及
基于所述电气设备在所述现场环境中的原貌图像，确定所述电气设备的状态。
10.根据权利要求9所述的装置，其中所述预定义多边形是矩形，并且所述矩形的顶点的坐标已知。
11.根据权利要求9所述的装置，其中所述现场环境包括以下至少一项：
具有所述预定义多边形的形状的可视化框架；和
设置在所述预定义多边形的顶点处的可视化标签。
12.根据权利要求9所述的装置，其中所述电气设备设置在预定义多边形内。
13.根据权利要求9所述的装置，其中所述处理设备还被配置为：
接收在所述原貌图像中对所述电气设备的选择，以确定所述电气设备在所述原貌图像中的位置，并作为所述电气设备的预定义位置，并且确定与所述电气设备处于第一状态相关联的第一特征图像；以及
响应于所述电气设备的状态从所述第一状态改变到所述第二状态，获取第二原貌图像并确定与所述电气设备处于第二状态相关联的第二特征图像。
14.根据权利要求13所述的装置，其中所述电气设备的状态具有模拟量特征，所述第一状态和所述第二状态指示所述电气设备的模拟量特征的第一数值和第二数值，所述电气设备的状态的变化与所述第一数值和第二数值具有预定义关系。
15.根据权利要求9所述的装置，其中所述电气设备的状态具有数字量特征，确定所述电气设备的状态包括：
获取所述电气设备的预定义位置和特征图像以及与所述特征图像对应的状态；
在所述原貌图像内，基于所述预定义位置搜索与所述特征图像匹配的区域；以及
基于与所述特征图像对应的状态来确定所述电气设备的状态。
16.根据权利要求9所述的装置，其中所述电气设备的状态具有模拟量特征，并且确定所述电气设备的状态包括：
获取所述电气设备的预定义位置和多个特征图像以及与所述多个特征图像分别对应的多个状态，所述多个状态对应于所述电气设备的模拟量特征的多个数值；
在所述原貌图像内，基于所述预定义位置搜索与所述多个特征图像匹配的区域；
在所述区域中识别所述模拟量特征的状态的指示；以及
基于所述模拟量特征的状态的指示，通过所述电气设备的状态的变化与所述多个数值之间的预定义关系来确定所述电气设备的状态。
17.一种用于识别电气设备的状态的设备，包括：
处理单元；以及
存储器，耦合至所述处理单元并且包括存储于其上的指令，所述指令在由所述处理单元执行时使所述设备执行动作，所述动作包括：
接收所述电气设备在现场环境中的图像，其中所述电气设备设置在所述现场环境中的预定义多边形的平面上；
通过将所述图像中的所述预定义多边形还原成所述预定义多边形的原貌来获得所述电气设备在所述现场环境中的原貌图像；以及
基于所述电气设备在所述现场环境中的原貌图像，确定所述电气设备的状态。
18.根据权利要求17所述的设备，其中所述动作还包括：
接收在所述原貌图像中对所述电气设备的选择，以确定所述电气设备在所述原貌图像中的位置，并作为所述电气设备的预定义位置，并且确定与所述电气设备处于第一状态相关联的第一特征图像；
响应于所述电气设备的状态从所述第一状态改变到所述第二状态，获取第二原貌图像并确定与所述电气设备处于第二状态相关联的第二特征图像。
19.根据权利要求17所述的设备，其中所述电气设备的状态具有数字量特征，并且其中确定所述电气设备的状态包括：
获取所述电气设备的预定义位置和特征图像以及与所述特征图像对应的状态；
在所述原貌图像内，基于所述预定义位置搜索与所述特征图像匹配的区域；以及
基于与所述特征图像对应的状态来确定所述电气设备的状态。
20.根据权利要求17所述的设备，其中所述电气设备的状态具有模拟量特征，并且确定所述电气设备的状态包括：
获取所述电气设备的预定义位置和多个特征图像以及与所述多个特征图像分别对应的多个状态，所述多个状态对应于所述电气设备的模拟量特征的多个数值；
在所述原貌图像内，基于所述预定义位置搜索与所述多个特征图像匹配的区域；
在所述区域中识别所述模拟量特征的状态的指示；以及
基于所述模拟量特征的状态的指示，通过所述电气设备的状态的变化与所述多个数值之间的预定义关系来确定所述电气设备的状态。
21.一种存储有指令的计算机可读存储介质，所述指令响应于由计算设备的执行而使得所述计算设备执行动作，所述动作包括：
接收电气设备在现场环境中的图像，其中所述电气设备设置在所述现场环境中的预定义多边形的平面上；
将所述图像中的所述预定义多边形还原成所述预定义多边形的原貌来获得所述电气设备在所述现场环境中的原貌图像；以及
基于所述电气设备在现场环境中的原貌图像，确定所述电气设备的状态。
22.根据权利要求21所述的计算机可读存储介质，其中所述动作还包括：
接收在所述原貌图像中对所述电气设备的选择，以确定所述电气设备在所述原貌图像中的位置，并作为所述电气设备的预定义位置，并且确定与所述电气设备处于第一状态相关联的第一特征图像；
响应于所述电气设备的状态从所述第一状态改变到所述第二状态，获取第二原貌图像并确定与所述电气设备处于第二状态相关联的第二特征图像。
23.根据权利要求21所述的计算机可读存储介质，其中所述电气设备的状态具有数字量特征，并且其中确定所述电气设备的状态包括：
获取所述电气设备的预定义位置和特征图像以及与所述特征图像对应的状态；
在所述原貌图像内，基于所述预定义位置搜索与所述特征图像匹配的区域；以及
基于与所述特征图像对应的状态来确定所述电气设备的状态。
24.根据权利要求21所述的计算机可读存储介质，其中所述电气设备的状态具有模拟量特征，并且确定所述电气设备的状态包括：
获取所述电气设备的预定义位置和多个特征图像以及与所述多个特征图像分别对应的多个状态，所述多个状态对应于所述电气设备的模拟量特征的多个数值；
在所述原貌图像内，基于所述预定义位置搜索与所述多个特征图像匹配的区域；
在所述区域中识别所述模拟量特征的状态的指示；以及
基于所述模拟量特征的状态的指示，通过所述电气设备的状态的变化与所述多个数值之间的预定义关系来确定所述电气设备的状态。
CN201710917722.7A 2017-09-30 2017-09-30 用于识别电气设备的状态的方法和装置 Active CN109598177B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710917722.7A CN109598177B (zh) 2017-09-30 2017-09-30 用于识别电气设备的状态的方法和装置
US16/652,102 US11302099B2 (en) 2017-09-30 2018-09-27 Method and device for recognizing states of electrical devices
PCT/CN2018/108037 WO2019062818A1 (zh) 2017-09-30 2018-09-27 用于识别电气设备的状态的方法和装置
EP18860822.8A EP3678048A4 (en) 2017-09-30 2018-09-27 METHOD AND DEVICE FOR IDENTIFYING THE CONDITION OF AN ELECTRICAL DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710917722.7A CN109598177B (zh) 2017-09-30 2017-09-30 用于识别电气设备的状态的方法和装置

Publications (2)

Publication Number Publication Date
CN109598177A true CN109598177A (zh) 2019-04-09
CN109598177B CN109598177B (zh) 2023-12-01

Family

ID=65900846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710917722.7A Active CN109598177B (zh) 2017-09-30 2017-09-30 用于识别电气设备的状态的方法和装置

Country Status (4)

Country Link
US (1) US11302099B2 (zh)
EP (1) EP3678048A4 (zh)
CN (1) CN109598177B (zh)
WO (1) WO2019062818A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112085654B (zh) * 2020-08-10 2024-06-14 国网上海市电力公司 一种可配置式模拟屏识别系统
EP4033397A1 (en) * 2021-01-21 2022-07-27 ABB S.p.A. A computer-implemented method for assisting a user in interacting with an electronic relay for electric power distribution grids
US20230011330A1 (en) * 2021-07-09 2023-01-12 At&T Intellectual Property I, L.P. Device condition determination
CN114359844B (zh) * 2022-03-21 2022-06-21 广州银狐科技股份有限公司 一种基于色彩识别的aed设备状态监测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070236366A1 (en) * 2004-07-25 2007-10-11 Joshua Gur Method and system for the acquisition of data and for the display of data
CN103324943A (zh) * 2013-06-18 2013-09-25 中国人民解放军第二炮兵工程大学 一种复杂设备面板图像多子区状态识别方法
WO2013167523A1 (fr) * 2012-05-07 2013-11-14 Schneider Electric Industries Sas Procede d'affichage en realite augmentee d'une information relative à un equipement cible sur un ecran d'un dispositif electronique, produit programme d'ordinateur, dispositif electronique et equipement electrique associes
WO2015028978A1 (en) * 2013-08-29 2015-03-05 Umpi Elettronica - Societa' A Responsabilita' Limitata Method and system for the inspection and/or the maintenance of an electrical panel by means of augmented reality
CN105930837A (zh) * 2016-05-17 2016-09-07 杭州申昊科技股份有限公司 基于自主巡检机器人的变电站仪表设备图像识别方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9122921B2 (en) * 2013-06-12 2015-09-01 Kodak Alaris Inc. Method for detecting a document boundary
US9076241B2 (en) * 2013-08-15 2015-07-07 Xerox Corporation Methods and systems for detecting patch panel ports from an image having perspective distortion
US9576348B2 (en) * 2014-11-14 2017-02-21 Adobe Systems Incorporated Facilitating text identification and editing in images
US9940521B2 (en) * 2015-02-27 2018-04-10 Sony Corporation Visibility enhancement devices, systems, and methods
JP6670585B2 (ja) * 2015-10-30 2020-03-25 Juki株式会社 管理装置
CN105894015B (zh) 2016-03-28 2019-08-20 国网浙江省电力公司宁波供电公司 一种道闸状态分析方法和系统
CN105825204A (zh) 2016-04-08 2016-08-03 国家电网公司 一种智能相机夜间识别电力设备表计的方法
CN106355187A (zh) 2016-09-07 2017-01-25 西华大学 视觉信息在电力设备监测中的应用

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070236366A1 (en) * 2004-07-25 2007-10-11 Joshua Gur Method and system for the acquisition of data and for the display of data
WO2013167523A1 (fr) * 2012-05-07 2013-11-14 Schneider Electric Industries Sas Procede d'affichage en realite augmentee d'une information relative à un equipement cible sur un ecran d'un dispositif electronique, produit programme d'ordinateur, dispositif electronique et equipement electrique associes
CN103324943A (zh) * 2013-06-18 2013-09-25 中国人民解放军第二炮兵工程大学 一种复杂设备面板图像多子区状态识别方法
WO2015028978A1 (en) * 2013-08-29 2015-03-05 Umpi Elettronica - Societa' A Responsabilita' Limitata Method and system for the inspection and/or the maintenance of an electrical panel by means of augmented reality
CN105930837A (zh) * 2016-05-17 2016-09-07 杭州申昊科技股份有限公司 基于自主巡检机器人的变电站仪表设备图像识别方法

Also Published As

Publication number Publication date
US20200250431A1 (en) 2020-08-06
EP3678048A4 (en) 2021-05-05
CN109598177B (zh) 2023-12-01
EP3678048A1 (en) 2020-07-08
US11302099B2 (en) 2022-04-12
WO2019062818A1 (zh) 2019-04-04

Similar Documents

Publication Publication Date Title
US11481999B2 (en) Maintenance work support system and maintenance work support method
CN109598177A (zh) 用于识别电气设备的状态的方法和装置
CN104574267B (zh) 引导方法和信息处理设备
CN108304075B (zh) 一种在增强现实设备进行人机交互的方法与设备
CN109032348B (zh) 基于增强现实的智能制造方法与设备
US20130182103A1 (en) Automatic Configuration of Cameras in Building Information Modeling
CN110400315A (zh) 一种缺陷检测方法、装置及系统
JP2011530706A (ja) ３ｄ−ｔｏｆカメラ装置及びそのための位置・向き較正方法
KR101181967B1 (ko) 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
CN111340960B (zh) 图像的建模方法、装置、存储介质和电子设备
US11989827B2 (en) Method, apparatus and system for generating a three-dimensional model of a scene
CN111770450B (zh) 一种车间生产监控服务器、移动终端及应用
JP2014106597A (ja) 自律移動体、物体情報取得装置、および物体情報取得方法
Radanovic et al. Aligning the real and the virtual world: Mixed reality localisation using learning-based 3D–3D model registration
CN108875500A (zh) 行人再识别方法、装置、系统及存储介质
CN112950759B (zh) 基于房屋全景图的三维房屋模型构建方法及装置
US11989928B2 (en) Image processing system
CN112612714A (zh) 红外目标检测器的安全性测试方法和装置
CN110320544A (zh) 识别终端设备位置的方法、装置、设备及存储介质
CN107690656B (zh) 检测光学模组的方法、装置和电子设备
CN114723923B (zh) 一种传动解决方案模拟展示系统和方法
Zhao et al. CNN-based indoor occupant localization via active scene illumination
KR101036107B1 (ko) 고유식별 정보를 이용한 증강 현실 구현시스템
CN114241046A (zh) 数据标注方法、装置、计算机设备及存储介质
CN111476087A (zh) 目标检测方法及其相关的模型训练方法、设备、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant