CN115116083B - 监控画面电力图元自动标识及修正方法、系统及存储介质 - Google Patents

监控画面电力图元自动标识及修正方法、系统及存储介质 Download PDF

Info

Publication number
CN115116083B
CN115116083B CN202210711493.4A CN202210711493A CN115116083B CN 115116083 B CN115116083 B CN 115116083B CN 202210711493 A CN202210711493 A CN 202210711493A CN 115116083 B CN115116083 B CN 115116083B
Authority
CN
China
Prior art keywords
image
electric
primitive
graphic element
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210711493.4A
Other languages
English (en)
Other versions
CN115116083A (zh
Inventor
李文琢
张金虎
赵娜
刘筱萍
李亚蕾
李昂
纪欣
崔旭
姜佳宁
王化鹏
张炜
张海燕
沈艳
徐歆
徐静
万泽鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chaoyang Power Supply Co Of State Grid Liaoning Electric Power Supply Co ltd
State Grid Corp of China SGCC
China Electric Power Research Institute Co Ltd CEPRI
Original Assignee
Chaoyang Power Supply Co Of State Grid Liaoning Electric Power Supply Co ltd
State Grid Corp of China SGCC
China Electric Power Research Institute Co Ltd CEPRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chaoyang Power Supply Co Of State Grid Liaoning Electric Power Supply Co ltd, State Grid Corp of China SGCC, China Electric Power Research Institute Co Ltd CEPRI filed Critical Chaoyang Power Supply Co Of State Grid Liaoning Electric Power Supply Co ltd
Priority to CN202210711493.4A priority Critical patent/CN115116083B/zh
Publication of CN115116083A publication Critical patent/CN115116083A/zh
Application granted granted Critical
Publication of CN115116083B publication Critical patent/CN115116083B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422—Technical drawings; Geographical maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/147—Determination of region of interest
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

一种监控画面电力图元自动标识及修正方法、系统及存储介质，方法包括：创建电力图元典型模板库，载入到电力监控系统中；在电力监控系统的监控画面上进行感兴趣区域提取；在感兴趣区域内，通过图像模板匹配进行电力图元的自动识别及定位，对搜索到的匹配电力图元，确定对应电力图元典型模板库中的类型，确定最优图元区域；在最优图元区域内，根据已识别电力图元的位置和方向，按距离最近原则自动确定电力图元调度编号的位置，并通过图像处理技术自动匹配识别电力图元调度编号信息；对电力图元通过图像模板匹配获取到的识别及定位信息、电力图元调度编号信息交互修正，并在模板图像中可视化地显示。本发明能够提高图元检测效率，规避识别信息错误。

Description

监控画面电力图元自动标识及修正方法、系统及存储介质
技术领域
本发明属于电力监控系统图像处理领域，具体涉及一种监控画面电力图元自动标识及修正方法、系统及存储介质。
背景技术
图像处理(Image Processing)是指用计算机对图像信息进行处理的技术。主要包括图像数字化、图像增强和复原、图像数据编码、图像分割和图像识别等。图像处理技术在近些年伴随着移动互联网的快速兴起实现了飞跃的发展，在工业生产、建筑交通、医疗保健、娱乐传媒乃至尖端国防工业中都有着越来越深入的渗透和越来越广泛的应用。
图像处理最早可以追溯到1920年人们利用铺设在北大西洋海底的电缆从英国伦敦到美国纽约传输了一张经过简单数字压缩技术处理过后的照片，这一创举可谓是图像处理技术的起源。在上世纪50年代随着电子计算机的发展，计算机呈现出的呈指数级上升的数据分析处理能力让人们看到了新的突破方向，数字图像处理(Digital ImageProcessing，DIP)的研究也开始成为热点，并在上世纪60年代正式宣告了数字图像处理这一全新学科的诞生。
图像处理与识别二者之间是相互联系的，图像处理是图像识别的基础条件，图像识别又促进了图像处理技术的提升。通过计算机对图像进行处理、分析，最终达到需要的技术效果，能够对处理对象进行识别。图像处理与识别的最终目的是识别，文字识别、数字图像识别、物体识别是图像识别经历的3个阶段。在我国的很多领域中，对于很精细的对象用肉眼是无法满足需求的，此时就需要利用计算机的图像处理与识别技术，通过精细的技术代替人类处理大量的物理信息，从而提高识别效率，降低错误率。
近年来，图像处理技术也被逐渐被应用到电力系统尤其是无人值守变电站当中。无人值守的变电站特别是小型变电站的智能化监测可以使得工作人员从简单枯燥的监测工作中解脱出来，并可避免人员因素造成的监测错误，也有利于提高工作效率，减少企业经营成本。目前主要采用智能化仪表和相关自动控制元器仪表以组成比较复杂的智能化监测系统。利用图像识别技术对无人值守变电站进行智能化监测系统本身的成本相对较小，而且基本不需要更换现存相应监测仪表和控制用元器件。具体而言，利用图像识别技术能够比较容易地实现对无人值守变电站内现存数字式仪表和指针式仪表进行读数识别、对于各类报警或指示灯进行颜色识别、对于开关类器件进行档位识别等，并且可以对无人值守变电站进行火情识别和门禁管理等，以此为基础实现对无人值守变电站的智能化监测和控制，效益成本比十分显著。
另外，变电站监控系统的日常运行监控界面主要包括主接线图和间隔图，主接线图由现场服务人员根据设计院提供的主接线图绘出，若能将设计院提供的主接线图自动转换成监控系统所用的主接线图，则能减少很多工作量；而且在日常运行维护界面，如果可以自动检测并识别到特定电力图元的动态变化，与监控系统的预警信息相互验证，也可以有效的减少误报、漏报的情况发生，因而在工程中也具有较大的应用价值。
发明内容
本发明的目的在于针对上述现有技术中的问题，提供一种监控画面电力图元自动标识及修正方法、系统及存储介质，提高检测工作效率，规避可能导致的识别信息错误。
为了实现上述目的，本发明有如下的技术方案：
第一方面，提供一种监控画面电力图元自动标识及修正方法，包括：
创建电力图元典型模板库，载入到电力监控系统中；
在电力监控系统的监控画面上通过图像处理技术进行感兴趣区域提取；
在提取到的感兴趣区域内，在电力图元典型模板库中通过图像模板匹配进行电力图元的自动识别及定位，对搜索到的匹配电力图元，确定电力图元对应电力图元典型模板库中的类型，确定最优图元区域；
在最优图元区域内，根据已识别电力图元的位置和方向，按距离最近原则自动确定电力图元调度编号的位置，并通过图像处理技术自动匹配识别电力图元调度编号信息；
对电力图元通过图像模板匹配获取到的识别及定位信息、通过图像处理技术匹配识别出的电力图元调度编号信息交互修正，并在模板图像中可视化地进行显示。
作为本发明监控画面电力图元自动标识及修正方法的一种优选方案，所述创建电力图元典型模板库的步骤，对于同一类型的电力图元，从监控界面上裁剪获得所需识别电力图元的截图文件；对于存在多种展示状态的电力图元，覆盖区域存在差异，逐一创建对应的图元模板，并选择最大覆盖区域按类别保存到电力图元典型模板库中。
作为本发明监控画面电力图元自动标识及修正方法的一种优选方案，所述在电力监控系统的监控画面上通过图像处理技术进行感兴趣区域提取的步骤，包括：
图像灰度二值化处理、中值滤波处理、轮廓提取以及轮廓裁剪；
所述图像灰度二值化处理包括：首先结合监控界面图像的灰度分布特点，采用加权平均法把彩色图像转换为灰度图像，其次，根据计算得到的全局自适应阈值实现图像的二值化；
所述中值滤波处理包括：将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值，消除孤立的噪声点，保留监控画面图像的边缘特征；
所述轮廓提取包括：设定感兴趣区域的像素值为1，其它像素值为0，从图像的边缘由外到内，检测像素值从0变为1的所有边界点得到外轮廓像素集合，根据监控信息区域的目标画面先验知识，对外轮廓像素集合进行筛选，去除提取的错误外轮廓像素；
所述轮廓裁剪包括：在图像主轴90°范围内将待判断图像按照一定的间隔进行旋转，并记录每次旋转后外接矩形的参数，通过计算并比较面积得到最小外接矩形；以及，根据最小外接矩形的顶点坐标对监控画面进行裁剪。
作为本发明监控画面电力图元自动标识及修正方法的一种优选方案，所述通过图像模板匹配进行电力图元的自动识别及定位的步骤，在识别过程中，电力图元的位置信息使用原始图像空间坐标进行记录，再在电力监控系统的界面视图坐标空间中进行绘制；
按照如下方法进行视图坐标与图像坐标的相互转换：
假设原始图像的宽和高分别为Iw和Ih，视图显示框的宽和高分别为Vw和Vh；
按下式计算视图显示框与模板图像的宽度比例和高度比例：
WidR＝Vw/Iw
HeiR＝Vh/Ih
如果WidR<HeiR，则用WidR作为图像的等比例缩放倍数ScaleRatio；
否则用HeiR作为图像的等比例缩放倍数ScaleRatio；
按下式计算图像在界面显示框中的实际显示宽度和高度：
ActW＝Iw*ScaleRatio
ActH＝Ih*ScaleRatio
按下式计算图像在视图显示框中居中显示时，在宽度方向和高度方向上可能的边缘留白：
BlankW＝(Vw-ActW)/2
BlankH＝(Vh-ActH)/2
将图像坐标(ImageX,ImageY)与视图坐标(ViewX,ViewY)按下式进行相互转换：
视图坐标转换为图像坐标：
ImageX＝int((ViewX–BlankW)/ScaleRatio)
ImageY＝int((ViewY–BlankH)/ScaleRatio)
图像坐标转换为视图坐标：
ViewX＝int(ImageX*ScaleRatio+BlankW)
ViewY＝int(ImageY*ScaleRatio+BlankH)。
作为本发明监控画面电力图元自动标识及修正方法的一种优选方案，所述确定电力图元对应电力图元典型模板库中的类型，确定最优图元区域的步骤，包括在监控信息区域中依次遍历像素，每次截取与图元模板尺寸相同的子图，并通过计算子图与模板图像的匹配相似度得到与模板相似的区域；利用模板匹配检测图元区域时，针对一个电力图元得到若干个候选区域的情况，采用非极大值抑制方法筛选并确定最优图元区域；
所述采用非极大值抑制方法筛选并确定最优图元区域的步骤包括：根据位置匹配置信度过滤掉小于匹配阈值的区域候选框；计算局部匹配置信度最高的候选框与其他候选框的交并比，过滤掉交并比值大于重叠阈值的区域候选框；通过迭代得到局部唯一最优区域位置。
作为本发明监控画面电力图元自动标识及修正方法的一种优选方案，所述根据已识别电力图元的位置和方向，按距离最近原则自动确定电力图元调度编号的位置，并通过图像处理技术自动匹配识别电力图元调度编号信息的步骤，包括：
调度编号的定位、调度编号的分割以及调度编号的匹配识别；
所述调度编号的定位包括：
根据所获取的图元位置坐标信息，按两者间的相对位置关系依据仿射变换原理获取编号可能存在的位置信息，在可能存在的位置上搜索匹配识别是否存在最邻近位置的编号图符；
仿射变换的矩阵处理公式如下：
式中，a11、a12、a21、a22均为缩放因子，b1、b2为平移因子；
x0、y0为图元位置坐标，x、y为调度编号的位置坐标；
所述调度编号的分割包括：
结合监控画面中的电力图元调度编号特点，将编号区域二值化，然后通过编号的水平投影得到字符包裹区域；对包裹区域进行垂直投影，实现编号字符的粗分割；对粗分割得到的所有字符图像按照高度H进行等比例缩放，对于每个字符图像，假定其缩放后的实际宽度为Ws，并假设根据字符高宽比先验知识计算得到期望宽度的上限为Wm；当Ws>Wm时，判定粗分割字符图像存在粘连，则单个字符的宽度W＝Ws/[(Ws/Wm)]，式中的符号[]表示四舍五入取整运算，根据单个字符的宽度W再次分割后得到最终图元编号分割图像；
调度编号的匹配识别包括：
使用双线性插值方法将分割得到的每个字统一符缩放为与图元模板匹配的像素尺寸；根据监控画面中的图元编号的字体制作相应数字的模板图像，并统一缩放为匹配像素尺寸大小；利用归一化相关系数匹配方式识别出图元调度编号信息。
作为本发明监控画面电力图元自动标识及修正方法的一种优选方案，所述对电力图元识别及定位信息交互修正的步骤，包括：在每一个识别出的电力图元上以矩形框的方式将电力图元覆盖区域标识展示出来，接收图元标识框出现位置偏差时用户通过鼠标选中的图元标识框对象，加载用户通过键盘和鼠标改变的图元标识框位置或图元标识框大小信息，以及用户在选定图元标识框后，直接在界面上进行编辑与修改的电力图元调度编号和状态信息；在上述交互修正过程中，被标识的电力图元的坐标信息在界面视图和原始图像间不断进行调整变化，并将换算信息即刻修改到XML格式的结果记录文件中。
第二方面，提供一种监控画面电力图元自动标识及修正系统，包括：
模板库加载模块，用于创建电力图元典型模板库，载入到电力监控系统中；
感兴趣区域提取模块，用于在电力监控系统的监控画面上通过图像处理技术进行感兴趣区域提取；
最优图元区域确定模块，用于在提取到的感兴趣区域内，在电力图元典型模板库中通过图像模板匹配进行电力图元的自动识别及定位，对搜索到的匹配电力图元，确定电力图元对应电力图元典型模板库中的类型，确定最优图元区域；
图元调度编号确定模块，用于在最优图元区域内，根据已识别电力图元的位置和方向，按距离最近原则自动确定电力图元调度编号的位置，并通过图像处理技术自动匹配识别电力图元调度编号信息；
修正显示模块，用于对电力图元通过图像模板匹配获取到的识别及定位信息、通过图像处理技术匹配识别出的电力图元调度编号信息交互修正，并在模板图像中可视化地进行显示。
作为本发明监控画面电力图元自动标识及修正系统的一种优选方案，所述模板库加载模块对于同一类型的电力图元，从监控界面上裁剪获得所需识别电力图元的截图文件；对于存在多种展示状态的电力图元，覆盖区域存在差异，逐一创建对应的图元模板，并选择最大覆盖区域按类别保存到电力图元典型模板库中。
作为本发明监控画面电力图元自动标识及修正系统的一种优选方案，所述感兴趣区域提取模块在电力监控系统的监控画面上通过图像处理技术进行感兴趣区域提取的步骤，包括：图像灰度二值化处理、中值滤波处理、轮廓提取以及轮廓裁剪；
所述图像灰度二值化处理包括：首先结合监控界面图像的灰度分布特点，采用加权平均法把彩色图像转换为灰度图像，其次，根据计算得到的全局自适应阈值实现图像的二值化；
所述中值滤波处理包括：将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值，消除孤立的噪声点，保留监控画面图像的边缘特征；
所述轮廓提取包括：设定感兴趣区域的像素值为1，其它像素值为0，从图像的边缘由外到内，检测像素值从0变为1的所有边界点得到外轮廓像素集合，根据监控信息区域的目标画面先验知识，对外轮廓像素集合进行筛选，去除提取的错误外轮廓像素；
所述轮廓裁剪包括：在图像主轴90°范围内将待判断图像按照一定的间隔进行旋转，并记录每次旋转后外接矩形的参数，通过计算并比较面积得到最小外接矩形；以及，根据最小外接矩形的顶点坐标对监控画面进行裁剪。
作为本发明监控画面电力图元自动标识及修正系统的一种优选方案，所述最优图元区域确定模块在识别过程中，电力图元的位置信息使用原始图像空间坐标进行记录，再在电力监控系统的界面视图坐标空间中进行绘制；
按照如下方法进行视图坐标与图像坐标的相互转换：
假设原始图像的宽和高分别为Iw和Ih，视图显示框的宽和高分别为Vw和Vh；
按下式计算视图显示框与模板图像的宽度比例和高度比例：
WidR＝Vw/Iw
HeiR＝Vh/Ih
如果WidR<HeiR，则用WidR作为图像的等比例缩放倍数ScaleRatio；
否则用HeiR作为图像的等比例缩放倍数ScaleRatio；
按下式计算图像在界面显示框中的实际显示宽度和高度：
ActW＝Iw*ScaleRatio
ActH＝Ih*ScaleRatio
按下式计算图像在视图显示框中居中显示时，在宽度方向和高度方向上可能的边缘留白：
BlankW＝(Vw-ActW)/2
BlankH＝(Vh-ActH)/2
将图像坐标(ImageX,ImageY)与视图坐标(ViewX,ViewY)按下式进行相互转换：
视图坐标转换为图像坐标：
ImageX＝int((ViewX–BlankW)/ScaleRatio)
ImageY＝int((ViewY–BlankH)/ScaleRatio)
图像坐标转换为视图坐标：
ViewX＝int(ImageX*ScaleRatio+BlankW)
ViewY＝int(ImageY*ScaleRatio+BlankH)。
作为本发明监控画面电力图元自动标识及修正系统的一种优选方案，所述最优图元区域确定模块在监控信息区域中依次遍历像素，每次截取与图元模板尺寸相同的子图，并通过计算子图与模板图像的匹配相似度得到与模板相似的区域；利用模板匹配检测图元区域时，针对一个电力图元得到若干个候选区域的情况，采用非极大值抑制方法筛选并确定最优图元区域；所述采用非极大值抑制方法筛选并确定最优图元区域的步骤包括：根据位置匹配置信度过滤掉小于匹配阈值的区域候选框；计算局部匹配置信度最高的候选框与其他候选框的交并比，过滤掉交并比值大于重叠阈值的区域候选框；通过迭代得到局部唯一最优区域位置。
作为本发明监控画面电力图元自动标识及修正系统的一种优选方案，所述图元调度编号确定模块进行调度编号的定位、调度编号的分割以及调度编号的匹配识别；
所述调度编号的定位包括：
根据所获取的图元位置坐标信息，按两者间的相对位置关系依据仿射变换原理获取编号可能存在的位置信息，在可能存在的位置上搜索匹配识别是否存在最邻近位置的编号图符；
仿射变换的矩阵处理公式如下：
式中，a11、a12、a21、a22均为缩放因子，b1、b2为平移因子；
x0、y0为图元位置坐标，x、y为调度编号的位置坐标；
所述调度编号的分割包括：
结合监控画面中的电力图元调度编号特点，将编号区域二值化，然后通过编号的水平投影得到字符包裹区域；对包裹区域进行垂直投影，实现编号字符的粗分割；对粗分割得到的所有字符图像按照高度H进行等比例缩放，对于每个字符图像，假定其缩放后的实际宽度为Ws，并假设根据字符高宽比先验知识计算得到期望宽度的上限为Wm；当Ws>Wm时，判定粗分割字符图像存在粘连，则单个字符的宽度W＝Ws/[(Ws/Wm)]，式中的符号[]表示四舍五入取整运算，根据单个字符的宽度W再次分割后得到最终图元编号分割图像；
调度编号的匹配识别包括：
使用双线性插值方法将分割得到的每个字统一符缩放为与图元模板匹配的像素尺寸；根据监控画面中的图元编号的字体制作相应数字的模板图像，并统一缩放为匹配像素尺寸大小；利用归一化相关系数匹配方式识别出图元调度编号信息。
作为本发明监控画面电力图元自动标识及修正系统的一种优选方案，所述修正显示模块在每一个识别出的电力图元上以矩形框的方式将电力图元覆盖区域标识展示出来，接收图元标识框出现位置偏差时用户通过鼠标选中的图元标识框对象，加载用户通过键盘和鼠标改变的图元标识框位置或图元标识框大小信息，以及用户在选定图元标识框后，直接在界面上进行编辑与修改的电力图元调度编号和状态信息；在上述交互修正过程中，被标识的电力图元的坐标信息在界面视图和原始图像间不断进行调整变化，并将换算信息即刻修改到XML格式的结果记录文件中。
第三方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述的监控画面电力图元自动标识及修正方法。
相较于现有技术，本发明第一方面至少具有如下的有益效果：
本发明方法首先对用户需要识别的特定电力图元创建图元模板，然后对待识别监控界面的接线图和间隔图提取感兴趣区域，再通过模板匹配和定位图元，匹配成功后将图元坐标信息与识别的类型信息保存，并提供用户在线编辑工具对上述结果进行确认和修正。通过将图像识别技术引入对电力系统监控画面中的关注电力图元的智能自动识别，可以为无人值守变电站监控及主站调度系统的智能高级应用提供数据支持。通过对监控画面电力图元自动标识及修正，取代了测试工作的人工识别与判断，提高检测工作效率。本发明支持图元识别及定位信息的交互修改，可以由于图像质量、运行环境等因素可能导致的识别信息错误。
可以理解的是，上述第二方面至第三方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1本发明实施例监控画面电力图元自动标识及修正方法流程图；
图2本发明实施例设计的基于三层结构的程序系统框架示意图；
图3(a)本发明实施例调度编号的分割过程字符包裹区域示意图；
图3(b)本发明实施例调度编号的分割过程编号字符的粗分割示意图；
图3(c)本发明实施例调度编号的分割过程最终图元编号分割图像示意图；
图4本发明实施例监控画面电力图元自动标识及修正系统框图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请的实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在电力调度主站和变电站的监控系统中，应用计算机视觉处理技术对一次接线图和二次信息图中电力图元进行智能化识别，是近年来在电力系统无人值守变电站和智能调度应用中的研究热点。现有技术中，例如，文献“电气符号识别的HOG方法[J].刘剑,龚志恒,高恩阳等,沈阳建筑大学学报(自然科学版),2013,29(03):571-576”，“基于不变矩和神经网络的常用电气符号自动识别方法研究[J].谷彩连,孙国凯,王立地.沈阳农业大学学报,2005,36(6):687-690”以及“基于PHOG特征的电路图中电气符号识别[J].肖豆,侯晓荣.舰船电子工程,2017,37(1):90-93”分别介绍了目前已有一些针对电气图元的自动识别方法，但是这些方法在应用范围、识别效率和识别准确率方面都难以满足监控画面自动识别及定位的要求。又如文献“基于快速傅里叶变换和积分图的快速相关匹配[J].殷松峰,王一程,曹良才.光子学报,2010,39(12):2246-2250”提出了一种快速相关模板匹配算法，利用快速傅里叶变换和积分图来计算相关性系数，降低了匹配算法复杂度，并有效提高了抗干扰能力。公开号为CN202010867681.7的专利申请给出了一种变电站监控界面电力图符动态感知的识别系统及方法，根据其技术方案的记载内容，重点介绍了基于界面图符识别的一种自动测试系统，文献中的关键技术包括图像信号获取方式、识别结果与预期值的智能比对等方法，但未对图像处理的具体方式进行说明。
如图1所示，本发明实施例监控画面电力图元自动标识及修正方法，主要包括以下步骤：
S1.创建电力图元典型模板库，载入到电力监控系统中；
S2.在电力监控系统的监控画面上通过图像处理技术进行感兴趣区域提取；
S3.在提取到的感兴趣区域内，在电力图元典型模板库中通过图像模板匹配进行电力图元的自动识别及定位，对搜索到的匹配电力图元，确定电力图元对应电力图元典型模板库中的类型，确定最优图元区域；
S4.在最优图元区域内，根据已识别电力图元的位置和方向，按距离最近原则自动确定电力图元调度编号的位置，并通过图像处理技术自动匹配识别电力图元调度编号信息；
S5.对电力图元通过图像模板匹配获取到的识别及定位信息、通过图像处理技术匹配识别出的电力图元调度编号信息交互修正，并在模板图像中可视化地进行显示。
模板匹配(Template matching)：是一种最原始、最基本的模式识别方法，研究某一特定对象物的图案位于图像的什么地方，进而识别对象物，这就是一个匹配问题。模板匹配是图像处理中最基本、最常用的匹配方法。模板匹配具有自身的局限性，主要表现在它只能进行平行移动，若原图像中的匹配目标发生旋转或大小变化，该算法无效。
在一种可能的实施方式中，步骤S1所述创建电力图元典型模板库包括：
在电力监控系统中，界面展示的一二次电力图元的尺寸大小和形态特征都需遵循电力系统图形描述规范Q/GDW 624 2011要求，因此对同一类型的电力图元可以通过截屏软件或录屏设备等方式，从监控界面上裁剪获得所需识别电力图元的截图文件。另外还要注意的是，部分电力图元存在多种展示状态，如开关设备就有分、合、异常等多种状态，其覆盖区域也存在差异，也需逐一创建对应的图元模板，并选择最大覆盖区域按类别保存到模板库中。
在一种可能的实施方式中，步骤S2进行感兴趣区域提取的步骤包括：
通过截屏软件或录屏设备提取的监控画面中除了变电站监控信息区域以外，一般还存在菜单栏、工具栏和任务栏等，为了保证最后识别的电力图元定位信息的准确性，需要首先应用图像处理技术提取监控界面中用户关注的感兴趣区域，也就是主接线图在视图窗口的展示区域。所谓感兴趣区域(ROI，region of interest))是指在机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域，ROI。在Halcon、OpenCV、Matlab等机器视觉软件上常用到各种算子(Operator)和函数来求得感兴趣区域ROI，并进行图像的下一步处理。本实施例感兴趣区域的图像处理提取过程由图像灰度二值化、中值滤波、轮廓提取、轮廓裁剪四个步骤构成，具体实施详述如下：
(1)图像灰度二值化处理
图像二值化就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果的过程。处理时首先结合监控界面图像的灰度分布特点，采用加权平均法把彩色图像转换为灰度图像。加权平均模型如下面的公式所示，其中R(x,y)、G(x,y)和B(x,y)分别表示(x,y)处像素的红、绿和蓝分量。Gray(x,y)表示计算得到的(x,y)处像素的灰度值。
Gray(x,y)＝0.114*(x,y)+0.578*(x,y)+0.299*(x,y)
其次，根据计算得到的全局自适应阈值实现图像的二值化。采用最大类间方差法实现全局自适应阈值的计算，该方法能够更好的区分图像背景信息与前景信息。
(2)中值滤波处理
中值滤波法是一种非线性平滑技术，它将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值。中值滤波法的基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近真实值，从而消除孤立的噪声点。中值滤波法的算法过程简单，但能够有效抑制脉冲噪声并保护图像的边缘信息。由于监控画面的监控信息区域中具有背景底色较多的特点，对经过灰度二值化后的监控画面图像进行中值滤波，可以有效去除细小特征，并保留边缘特征。
(3)轮廓提取
二值化图像中的区域轮廓可以分为外轮廓和内轮廓两种。对于监控信息区域的展示特性，只需检测其外轮廓。设感兴趣区域的像素值为1，其它像素值为0，提取过程为：
首先，从图像的边缘由外到内，通过检测像素值从0变为1的所有边界点得到外轮廓像素集合；然后，根据监控信息区域的形状为矩形、长宽比例在2.2到4.4之间、长宽均超过400像素等先验知识，先验知识可以根据目标画面进行调整，对外轮廓像素集合进行筛选，去除由于状态栏、工具栏、菜单栏等区域的影响而提取的错误外轮廓像素。
(4)轮廓裁剪
本实施例采用等间隔旋转搜索方法实现监控信息区域的轮廓裁剪：
首先，在图像主轴90°范围内将待判断图像按照一定的间隔进行旋转，并记录每次旋转后外接矩形的参数，通过计算并比较面积得到最小外接矩形；然后，根据最小外接矩形的顶点坐标对监控画面进行裁剪，即可完成监控信息区域的正确提取。
在一种可能的实施方式中，步骤S3通过图像模板匹配进行电力图元的自动识别及定位的过程要进行视图与图像的坐标转换，视图与图像的坐标转换具体包括：
在识别过程中，图元位置信息是用原始图像空间坐标进行记录，再在管理程序的界面视图坐标空间中进行绘制，需要实现视图坐标与图像坐标的相互转换。
具体转换方法详述如下：假设原始图像的宽和高分别为Iw和Ih，视图显示框的宽和高分别为Vw和Vh，需要通过下面的初始化过程来计算相关转换参数：
(1)计算视图显示框与模板图像的宽度比例和高度比例：
WidR＝Vw/Iw
HeiR＝Vh/Ih
(2)如果WidR<HeiR，则用WidR作为图像的等比例缩放倍数ScaleRatio；否则用HeiR作为图像的等比例缩放倍数ScaleRatio。
(3)计算图像在界面显示框中的实际显示宽度和高度：
ActW＝Iw*ScaleRatio
ActH＝Ih*ScaleRatio
(4)计算图像在视图显示框中居中显示时，在宽度方向和高度方向上可能的边缘留白：
BlankW＝(Vw-ActW)/2
BlankH＝(Vh-ActH)/2
在完成上述的坐标信息初始化参数计算后，在后续的处理过程中即可将图像坐标(ImageX,ImageY)与视图坐标(ViewX,ViewY)的进行相互转换，具体转换的计算公式如下：
(1)视图坐标转换为图像坐标：
ImageX＝int((ViewX–BlankW)/ScaleRatio)
ImageY＝int((ViewY–BlankH)/ScaleRatio)
(2)图像坐标转换为视图坐标：
ViewX＝int(ImageX*ScaleRatio+BlankW)
ViewY＝int(ImageY*ScaleRatio+BlankH)
在一种可能的实施方式中，步骤S3确定最优图元区域具体包括：
首先，对监控界面中搜索匹配图：在监控信息区域中依次遍历像素，每次截取与图元模板尺寸相同的子图，并通过计算子图与模板图像的匹配相似度得到与模板相似的区域。通过测试对比分析，选用归一化相关系数匹配方法实现模板匹配相似度的计算。
其次，确定最优图元区域：利用模板匹配检测图元区域时，可能出现一个电力图元得到若干个候选区域的情况，采用非极大值抑制方法筛选并确定最优电力图元区域，步骤包括：
(1)根据位置匹配置信度过滤掉小于匹配阈值的一部分区域候选框；
(2)计算局部匹配置信度最高的候选框与其他候选框的交并比，过滤掉交并比值大于重叠阈值的区域候选框；
(3)通过迭代得到局部唯一最优区域位置。
图元调度编号，是指在电力系统中，为便于调度管理，会对需要操作控制或监视的一次设备对象进行统一编号，调度编号信息一般采用英文字母与数字的组合构成，编号在调度电网范围是唯一的。在一种可能的实施方式中，步骤S4自动匹配识别电力图元调度编号信息具体包括：按照电力系统图形描述规范Q/GDW 624 2011要求，每个用户关注的特定电力图元，都会在界面上图元的邻近位置标注出其唯一对应的调度编号，电力图元的调度编号格式统一采用字母与数字的组合进行编码，因此对界面上每个电力图元自动识别其对应的唯一调度编号也是本发明的关注重点。图元编号自动识别包括定位、分割和识别等步骤，具体如下：
(1)调度编号的定位
根据前述步骤所获取的图元坐标位置信息，根据两者间的相对位置关系(上、下、左、右)依据仿射变换原理获取编号可能存在的位置信息，在其可能的位置上搜索匹配识别是否存在最临近位置的编号图符，其中仿射变换的矩阵处理公式如下：
式中，a11、a12、a21、a22均为缩放因子，b1、b2为平移因子；
x0、y0为图元位置坐标，x、y为调度编号的位置坐标。
(2)调度编号的分割
监控画面中的图元编号具有以下特点：编号颜色与背景颜色存在明显区别；编号全部为数字字符；除个别数字外，字符间具有一定的间隙；字符的高度与宽度的比例固定。结合以上特点，以及字符的高宽比例等先验信息，设置图元编号分割算法简要说明如下：
(a)把编号区域二值化，然后通过编号的水平投影得到字符包裹区域，如图3(a)所示；
(b)对包裹区域进行垂直投影，实现编号字符的粗分割，一般可能有部分像素粘连，如图3(b)所示。
(c)对粗分割得到的所有字符图像按照高度H进行等比例缩放，对于每个字符图像，假定其缩放后的实际宽度为Ws，并假设根据字符高宽比先验知识计算得到期望宽度的上限为Wm；
(d)当Ws>Wm时，判定粗分割字符图像存在粘连，则单个字符的宽度W＝Ws/[(Ws/Wm)]，式中，符号[]表示四舍五入取整运算，根据W再次分割后得到最终图元编号分割图像，如图3(c)所示。
(3)调度编号的匹配识别
首先，使用双线性插值方法将分割得到的每个字统一符缩放为与图元模板匹配的像素尺寸；然后，根据监控画面中的图元编号的字体制作相应数字的模板图像，并把它们统一缩放为匹配像素尺寸大小；最后，利用归一化相关系数匹配方式识别出图元调度编号信息。
在一种可能的实施方式中，步骤S5对电力图元识别及定位信息交互修正具体包括：
根据本发明实施例上文介绍的技术内容和步骤，获取到电力图元相关的类型、定位以及调度编号等信息，将结果信息保存到XML格式文件，同时考虑到由于图像质量、运行环境等因素可能导致的识别信息错误，本发明实施例界面交互程序还提供了图元识别及定位信息的交互修改功能，交互修改功能的具体实现方式详述如下：在每一个识别出的图元上以矩形框的方式将其覆盖区域标识展示出来，当用户判断自动识别和定位的图元标识框出现较大的位置偏差时，可以通过鼠标选中图元标识框，然后通过键盘和鼠标改变其位置，或改变其大小；对于电力图元的编号、状态等信息，可以在选定图元标识框后，直接在界面上对其进行编辑与修改；在上述的交互修改过程中，被标识的电力图元的坐标信息将在程序视图和原始图像间不断进行调整变化，需要用到上文所述的“视图与图像的坐标转换”方法，不断在两种坐标系间进行换算，并将换算信息即刻修改到XML格式的结果记录文件中。
在一种可能的实施方式中，本发明实施例监控画面电力图元自动标识及修正方法上述各项功能均以PyCharm和PyQt5为开发工具，使用Python语言并基于OpenCV库开发完成。
参见图2，本发明实施例设计的基于三层结构的程序系统框架如下：
交互界面层实现操作命令、信息显示、用户交互等功能；
业务逻辑层根据交互界面层发出的各种命令，实现感兴趣区域提取、视-像坐标转换、图元自动匹配与定位、识别及定位信息编辑、系统配置等业务逻辑功能；
数据处理层与业务逻辑层交换数据，实现监控画面图像及图元图像的载入、XML文件格式的识别定位信息的存取、配置信息的存取功能。
请参阅图4，本发明另一实施例提出一种监控画面电力图元自动标识及修正系统，包括：
模板库加载模块1，用于创建电力图元典型模板库，载入到电力监控系统中；
感兴趣区域提取模块2，用于在电力监控系统的监控画面上通过图像处理技术进行感兴趣区域提取；
最优图元区域确定模块3，用于在提取到的感兴趣区域内，在电力图元典型模板库中通过图像模板匹配进行电力图元的自动识别及定位，对搜索到的匹配电力图元，确定电力图元对应电力图元典型模板库中的类型，确定最优图元区域；
图元调度编号确定模块4，用于在最优图元区域内，根据已识别电力图元的位置和方向，按距离最近原则自动确定电力图元调度编号的位置，并通过图像处理技术自动匹配识别电力图元调度编号信息；
修正显示模块5，用于对电力图元通过图像模板匹配获取到的识别及定位信息、通过图像处理技术匹配识别出的电力图元调度编号信息交互修正，并在模板图像中可视化地进行显示。
可选的，模板库加载模块1所创建电力图元的尺寸大小和形态特征都遵循电力系统图形描述规范Q/GDW 624 2011的要求，对于同一类型的电力图元，从监控界面上裁剪获得所需识别电力图元的截图文件；对于存在多种展示状态的电力图元，覆盖区域存在差异，逐一创建对应的图元模板，并选择最大覆盖区域按类别保存到电力图元典型模板库中。
可选的，感兴趣区域提取模块2在电力监控系统的监控画面上通过图像处理技术进行感兴趣区域提取的步骤，包括：图像灰度二值化处理、中值滤波处理、轮廓提取以及轮廓裁剪；
所述图像灰度二值化处理包括：首先结合监控界面图像的灰度分布特点，采用加权平均法把彩色图像转换为灰度图像，其次，根据计算得到的全局自适应阈值实现图像的二值化；
所述中值滤波处理包括：将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值，消除孤立的噪声点，保留监控画面图像的边缘特征；
所述轮廓提取包括：设定感兴趣区域的像素值为1，其它像素值为0，从图像的边缘由外到内，检测像素值从0变为1的所有边界点得到外轮廓像素集合，根据监控信息区域的目标画面先验知识，对外轮廓像素集合进行筛选，去除提取的错误外轮廓像素；
所述轮廓裁剪包括：在图像主轴90°范围内将待判断图像按照一定的间隔进行旋转，并记录每次旋转后外接矩形的参数，通过计算并比较面积得到最小外接矩形；以及，根据最小外接矩形的顶点坐标对监控画面进行裁剪。
可选的，最优图元区域确定模块3在识别过程中，电力图元的位置信息使用原始图像空间坐标进行记录，再在电力监控系统的界面视图坐标空间中进行绘制；
按照如下方法进行视图坐标与图像坐标的相互转换：
假设原始图像的宽和高分别为Iw和Ih，视图显示框的宽和高分别为Vw和Vh；
按下式计算视图显示框与模板图像的宽度比例和高度比例：
WidR＝Vw/Iw
HeiR＝Vh/Ih
如果WidR<HeiR，则用WidR作为图像的等比例缩放倍数ScaleRatio；
否则用HeiR作为图像的等比例缩放倍数ScaleRatio；
按下式计算图像在界面显示框中的实际显示宽度和高度：
ActW＝Iw*ScaleRatio
ActH＝Ih*ScaleRatio
按下式计算图像在视图显示框中居中显示时，在宽度方向和高度方向上可能的边缘留白：
BlankW＝(Vw-ActW)/2
BlankH＝(Vh-ActH)/2
将图像坐标(ImageX,ImageY)与视图坐标(ViewX,ViewY)按下式进行相互转换：
视图坐标转换为图像坐标：
ImageX＝int((ViewX–BlankW)/ScaleRatio)
ImageY＝int((ViewY–BlankH)/ScaleRatio)
图像坐标转换为视图坐标：
ViewX＝int(ImageX*ScaleRatio+BlankW)
ViewY＝int(ImageY*ScaleRatio+BlankH)。
可选的，最优图元区域确定模块3在监控信息区域中依次遍历像素，每次截取与图元模板尺寸相同的子图，并通过计算子图与模板图像的匹配相似度得到与模板相似的区域；利用模板匹配检测图元区域时，针对一个电力图元得到若干个候选区域的情况，采用非极大值抑制方法筛选并确定最优图元区域；
所述采用非极大值抑制方法筛选并确定最优图元区域的步骤包括：根据位置匹配置信度过滤掉小于匹配阈值的区域候选框；计算局部匹配置信度最高的候选框与其他候选框的交并比，过滤掉交并比值大于重叠阈值的区域候选框；通过迭代得到局部唯一最优区域位置。
可选的，图元调度编号确定模块4进行调度编号的定位、调度编号的分割以及调度编号的匹配识别；调度编号的定位、调度编号的分割以及调度编号的匹配识别具体如下：
所述调度编号的定位包括：
根据所获取的图元位置坐标信息，按两者间的相对位置关系依据仿射变换原理获取编号可能存在的位置信息，在可能存在的位置上搜索匹配识别是否存在最邻近位置的编号图符；
仿射变换的矩阵处理公式如下：
式中，a11、a12、a21、a22均为缩放因子，b1、b2为平移因子；
x0、y0为图元位置坐标，x、y为调度编号的位置坐标；
所述调度编号的分割包括：
结合监控画面中的电力图元调度编号的以下特点：编号颜色与背景颜色存在明显区别；编号全部为数字字符；除个别数字外，字符间具有一定的间隙；字符的高度与宽度的比例固定；以及，字符的先验信息；执行：将编号区域二值化，然后通过编号的水平投影得到字符包裹区域；对包裹区域进行垂直投影，实现编号字符的粗分割；对粗分割得到的所有字符图像按照高度H进行等比例缩放，对于每个字符图像，假定其缩放后的实际宽度为Ws，并假设根据字符高宽比先验知识计算得到期望宽度的上限为Wm；当Ws>Wm时，判定粗分割字符图像存在粘连，则单个字符的宽度W＝Ws/[(Ws/Wm)]，式中的符号[]表示四舍五入取整运算，根据单个字符的宽度W再次分割后得到最终图元编号分割图像；
调度编号的匹配识别包括：
首先，使用双线性插值方法将分割得到的每个字统一符缩放为与图元模板匹配的像素尺寸；然后，根据监控画面中的图元编号的字体制作相应数字的模板图像，并统一缩放为匹配像素尺寸大小；最后，利用归一化相关系数匹配方式识别出图元调度编号信息。
可选的，修正显示模块5在每一个识别出的电力图元上以矩形框的方式将电力图元覆盖区域标识展示出来，当用户判断自动识别和定位的图元标识框出现位置偏差时，通过鼠标选中图元标识框，然后通过键盘和鼠标改变图元标识框位置，或改变图元标识框大小；对于电力图元的编号、状态信息，在选定图元标识框后，直接在界面上进行编辑与修改；在上述交互修正过程中，被标识的电力图元的坐标信息在界面视图和原始图像间不断进行调整变化，并将换算信息即刻修改到XML格式的结果记录文件中。
本发明的另一实施例还提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本发明前面实施例所述的监控画面电力图元自动标识及修正方法。
所述计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。为了便于说明，以上内容仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质是非暂时性的，可以存储在各种电子设备形成的存储装置当中，能够实现本发明实施例方法记载的执行过程。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解为可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (11)

1.一种监控画面电力图元自动标识及修正方法，其特征在于，包括：
创建电力图元典型模板库，载入到电力监控系统中；
在电力监控系统的监控画面上通过图像处理技术进行感兴趣区域提取；
在提取到的感兴趣区域内，在电力图元典型模板库中通过图像模板匹配进行电力图元的自动识别及定位，对搜索到的匹配电力图元，确定电力图元对应电力图元典型模板库中的类型，确定最优图元区域；
在最优图元区域内，根据已识别电力图元的位置和方向，按距离最近原则自动确定电力图元调度编号的位置，并通过图像处理技术自动匹配识别电力图元调度编号信息；
对电力图元通过图像模板匹配获取到的识别及定位信息、通过图像处理技术匹配识别出的电力图元调度编号信息交互修正，并在模板图像中可视化地进行显示；
所述通过图像模板匹配进行电力图元的自动识别及定位的步骤，在识别过程中，电力图元的位置信息使用原始图像空间坐标进行记录，再在电力监控系统的界面视图坐标空间中进行绘制；
按照如下方法进行视图坐标与图像坐标的相互转换：
假设原始图像的宽和高分别为Iw和Ih，视图显示框的宽和高分别为Vw和Vh；
按下式计算视图显示框与模板图像的宽度比例和高度比例：
WidR＝Vw/Iw
HeiR＝Vh/Ih
如果WidR<HeiR，则用WidR作为图像的等比例缩放倍数ScaleRatio；
否则用HeiR作为图像的等比例缩放倍数ScaleRatio；
按下式计算图像在界面显示框中的实际显示宽度和高度：
ActW＝Iw*ScaleRatio
ActH＝Ih*ScaleRatio
按下式计算图像在视图显示框中居中显示时，在宽度方向和高度方向上可能的边缘留白：
BlankW＝(Vw-ActW)/2
BlankH＝(Vh-ActH)/2
将图像坐标(ImageX,ImageY)与视图坐标(ViewX,ViewY)按下式进行相互转换：
视图坐标转换为图像坐标：
ImageX＝int((ViewX–BlankW)/ScaleRatio)
ImageY＝int((ViewY–BlankH)/ScaleRatio)
图像坐标转换为视图坐标：
ViewX＝int(ImageX*ScaleRatio+BlankW)
ViewY＝int(ImageY*ScaleRatio+BlankH)
所述根据已识别电力图元的位置和方向，按距离最近原则自动确定电力图元调度编号的位置，并通过图像处理技术自动匹配识别电力图元调度编号信息的步骤，包括：
调度编号的定位、调度编号的分割以及调度编号的匹配识别；
所述调度编号的定位包括：
根据所获取的图元位置坐标信息，按两者间的相对位置关系依据仿射变换原理获取编号可能存在的位置信息，在可能存在的位置上搜索匹配识别是否存在最邻近位置的编号图符；
仿射变换的矩阵处理公式如下：
式中，a11、a12、a21、a22均为缩放因子，b1、b2为平移因子；
x0、y0为图元位置坐标，x、y为调度编号的位置坐标；
所述调度编号的分割包括：
结合监控画面中的电力图元调度编号特点，将编号区域二值化，然后通过编号的水平投影得到字符包裹区域；对包裹区域进行垂直投影，实现编号字符的粗分割；对粗分割得到的所有字符图像按照高度H进行等比例缩放，对于每个字符图像，假定其缩放后的实际宽度为Ws，并假设根据字符高宽比先验知识计算得到期望宽度的上限为Wm；当Ws>Wm时，判定粗分割字符图像存在粘连，则单个字符的宽度W＝Ws/[(Ws/Wm)]，式中的符号[]表示四舍五入取整运算，根据单个字符的宽度W再次分割后得到最终图元编号分割图像；
调度编号的匹配识别包括：
使用双线性插值方法将分割得到的每个字统一符缩放为与图元模板匹配的像素尺寸；根据监控画面中的图元编号的字体制作相应数字的模板图像，并统一缩放为匹配像素尺寸大小；利用归一化相关系数匹配方式识别出图元调度编号信息。
2.根据权利要求1所述的监控画面电力图元自动标识及修正方法，其特征在于，所述创建电力图元典型模板库的步骤，对于同一类型的电力图元，从监控界面上裁剪获得所需识别电力图元的截图文件；对于存在多种展示状态的电力图元，覆盖区域存在差异，逐一创建对应的图元模板，并选择最大覆盖区域按类别保存到电力图元典型模板库中。
3.根据权利要求1所述的监控画面电力图元自动标识及修正方法，其特征在于，所述在电力监控系统的监控画面上通过图像处理技术进行感兴趣区域提取的步骤，包括：
图像灰度二值化处理、中值滤波处理、轮廓提取以及轮廓裁剪；
所述图像灰度二值化处理包括：首先结合监控界面图像的灰度分布特点，采用加权平均法把彩色图像转换为灰度图像，其次，根据计算得到的全局自适应阈值实现图像的二值化；
所述中值滤波处理包括：将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值，消除孤立的噪声点，保留监控画面图像的边缘特征；
所述轮廓提取包括：设定感兴趣区域的像素值为1，其它像素值为0，从图像的边缘由外到内，检测像素值从0变为1的所有边界点得到外轮廓像素集合，根据监控信息区域的目标画面先验知识，对外轮廓像素集合进行筛选，去除提取的错误外轮廓像素；
所述轮廓裁剪包括：在图像主轴90°范围内将待判断图像按照一定的间隔进行旋转，并记录每次旋转后外接矩形的参数，通过计算并比较面积得到最小外接矩形；以及，根据最小外接矩形的顶点坐标对监控画面进行裁剪。
4.根据权利要求1所述的监控画面电力图元自动标识及修正方法，其特征在于，所述确定电力图元对应电力图元典型模板库中的类型，确定最优图元区域的步骤，包括在监控信息区域中依次遍历像素，每次截取与图元模板尺寸相同的子图，并通过计算子图与模板图像的匹配相似度得到与模板相似的区域；利用模板匹配检测图元区域时，针对一个电力图元得到若干个候选区域的情况，采用非极大值抑制方法筛选并确定最优图元区域；
所述采用非极大值抑制方法筛选并确定最优图元区域的步骤包括：根据位置匹配置信度过滤掉小于匹配阈值的区域候选框；计算局部匹配置信度最高的候选框与其他候选框的交并比，过滤掉交并比值大于重叠阈值的区域候选框；通过迭代得到局部唯一最优区域位置。
5.根据权利要求1所述的监控画面电力图元自动标识及修正方法，其特征在于，所述对电力图元识别及定位信息交互修正的步骤，包括：在每一个识别出的电力图元上以矩形框的方式将电力图元覆盖区域标识展示出来，接收图元标识框出现位置偏差时用户通过鼠标选中的图元标识框对象，加载用户通过键盘和鼠标改变的图元标识框位置或图元标识框大小信息，以及用户在选定图元标识框后，直接在界面上进行编辑与修改的电力图元调度编号和状态信息；在上述交互修正过程中，被标识的电力图元的坐标信息在界面视图和原始图像间不断进行调整变化，并将换算信息即刻修改到XML格式的结果记录文件中。
6.一种监控画面电力图元自动标识及修正系统，其特征在于，包括：
模板库加载模块，用于创建电力图元典型模板库，载入到电力监控系统中；
感兴趣区域提取模块，用于在电力监控系统的监控画面上通过图像处理技术进行感兴趣区域提取；
最优图元区域确定模块，用于在提取到的感兴趣区域内，在电力图元典型模板库中通过图像模板匹配进行电力图元的自动识别及定位，对搜索到的匹配电力图元，确定电力图元对应电力图元典型模板库中的类型，确定最优图元区域；
图元调度编号确定模块，用于在最优图元区域内，根据已识别电力图元的位置和方向，按距离最近原则自动确定电力图元调度编号的位置，并通过图像处理技术自动匹配识别电力图元调度编号信息；
修正显示模块，用于对电力图元通过图像模板匹配获取到的识别及定位信息、通过图像处理技术匹配识别出的电力图元调度编号信息交互修正，并在模板图像中可视化地进行显示；
所述最优图元区域确定模块在识别过程中，电力图元的位置信息使用原始图像空间坐标进行记录，再在电力监控系统的界面视图坐标空间中进行绘制；
按照如下方法进行视图坐标与图像坐标的相互转换：
假设原始图像的宽和高分别为Iw和Ih，视图显示框的宽和高分别为Vw和Vh；
按下式计算视图显示框与模板图像的宽度比例和高度比例：
WidR＝Vw/Iw
HeiR＝Vh/Ih
如果WidR<HeiR，则用WidR作为图像的等比例缩放倍数ScaleRatio；
否则用HeiR作为图像的等比例缩放倍数ScaleRatio；
按下式计算图像在界面显示框中的实际显示宽度和高度：
ActW＝Iw*ScaleRatio
ActH＝Ih*ScaleRatio
按下式计算图像在视图显示框中居中显示时，在宽度方向和高度方向上可能的边缘留白：
BlankW＝(Vw-ActW)/2
BlankH＝(Vh-ActH)/2
将图像坐标(ImageX,ImageY)与视图坐标(ViewX,ViewY)按下式进行相互转换：
视图坐标转换为图像坐标：
ImageX＝int((ViewX–BlankW)/ScaleRatio)
ImageY＝int((ViewY–BlankH)/ScaleRatio)
图像坐标转换为视图坐标：
ViewX＝int(ImageX*ScaleRatio+BlankW)
ViewY＝int(ImageY*ScaleRatio+BlankH)
所述图元调度编号确定模块进行调度编号的定位、调度编号的分割以及调度编号的匹配识别；
所述调度编号的定位包括：
根据所获取的图元位置坐标信息，按两者间的相对位置关系依据仿射变换原理获取编号可能存在的位置信息，在可能存在的位置上搜索匹配识别是否存在最邻近位置的编号图符；
仿射变换的矩阵处理公式如下：
式中，a11、a12、a21、a22均为缩放因子，b1、b2为平移因子；
x0、y0为图元位置坐标，x、y为调度编号的位置坐标；
所述调度编号的分割包括：
结合监控画面中的电力图元调度编号特点，将编号区域二值化，然后通过编号的水平投影得到字符包裹区域；对包裹区域进行垂直投影，实现编号字符的粗分割；对粗分割得到的所有字符图像按照高度H进行等比例缩放，对于每个字符图像，假定其缩放后的实际宽度为Ws，并假设根据字符高宽比先验知识计算得到期望宽度的上限为Wm；当Ws>Wm时，判定粗分割字符图像存在粘连，则单个字符的宽度W＝Ws/[(Ws/Wm)]，式中的符号[]表示四舍五入取整运算，根据单个字符的宽度W再次分割后得到最终图元编号分割图像；
调度编号的匹配识别包括：
使用双线性插值方法将分割得到的每个字统一符缩放为与图元模板匹配的像素尺寸；根据监控画面中的图元编号的字体制作相应数字的模板图像，并统一缩放为匹配像素尺寸大小；利用归一化相关系数匹配方式识别出图元调度编号信息。
7.根据权利要求6所述的监控画面电力图元自动标识及修正系统，其特征在于，所述模板库加载模块对于同一类型的电力图元，从监控界面上裁剪获得所需识别电力图元的截图文件；对于存在多种展示状态的电力图元，覆盖区域存在差异，逐一创建对应的图元模板，并选择最大覆盖区域按类别保存到电力图元典型模板库中。
8.根据权利要求6所述的监控画面电力图元自动标识及修正系统，其特征在于，所述感兴趣区域提取模块在电力监控系统的监控画面上通过图像处理技术进行感兴趣区域提取的步骤，包括：图像灰度二值化处理、中值滤波处理、轮廓提取以及轮廓裁剪；
所述图像灰度二值化处理包括：首先结合监控界面图像的灰度分布特点，采用加权平均法把彩色图像转换为灰度图像，其次，根据计算得到的全局自适应阈值实现图像的二值化；
所述中值滤波处理包括：将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值，消除孤立的噪声点，保留监控画面图像的边缘特征；
所述轮廓提取包括：设定感兴趣区域的像素值为1，其它像素值为0，从图像的边缘由外到内，检测像素值从0变为1的所有边界点得到外轮廓像素集合，根据监控信息区域的目标画面先验知识，对外轮廓像素集合进行筛选，去除提取的错误外轮廓像素；
所述轮廓裁剪包括：在图像主轴90°范围内将待判断图像按照一定的间隔进行旋转，并记录每次旋转后外接矩形的参数，通过计算并比较面积得到最小外接矩形；以及，根据最小外接矩形的顶点坐标对监控画面进行裁剪。
9.根据权利要求6所述的监控画面电力图元自动标识及修正系统，其特征在于，所述最优图元区域确定模块在监控信息区域中依次遍历像素，每次截取与图元模板尺寸相同的子图，并通过计算子图与模板图像的匹配相似度得到与模板相似的区域；利用模板匹配检测图元区域时，针对一个电力图元得到若干个候选区域的情况，采用非极大值抑制方法筛选并确定最优图元区域；
所述采用非极大值抑制方法筛选并确定最优图元区域的步骤包括：根据位置匹配置信度过滤掉小于匹配阈值的区域候选框；计算局部匹配置信度最高的候选框与其他候选框的交并比，过滤掉交并比值大于重叠阈值的区域候选框；通过迭代得到局部唯一最优区域位置。
10.根据权利要求6所述的监控画面电力图元自动标识及修正系统，其特征在于，所述修正显示模块在每一个识别出的电力图元上以矩形框的方式将电力图元覆盖区域标识展示出来，接收图元标识框出现位置偏差时用户通过鼠标选中的图元标识框对象，加载用户通过键盘和鼠标改变的图元标识框位置或图元标识框大小信息，以及用户在选定图元标识框后，直接在界面上进行编辑与修改的电力图元调度编号和状态信息；在上述交互修正过程中，被标识的电力图元的坐标信息在界面视图和原始图像间不断进行调整变化，并将换算信息即刻修改到XML格式的结果记录文件中。
11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的监控画面电力图元自动标识及修正方法。
CN202210711493.4A 2022-06-22 2022-06-22 监控画面电力图元自动标识及修正方法、系统及存储介质 Active CN115116083B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210711493.4A CN115116083B (zh) 2022-06-22 2022-06-22 监控画面电力图元自动标识及修正方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210711493.4A CN115116083B (zh) 2022-06-22 2022-06-22 监控画面电力图元自动标识及修正方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN115116083A CN115116083A (zh) 2022-09-27
CN115116083B true CN115116083B (zh) 2024-09-06

Family

ID=83328842

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210711493.4A Active CN115116083B (zh) 2022-06-22 2022-06-22 监控画面电力图元自动标识及修正方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN115116083B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117215528B (zh) * 2023-08-02 2024-08-20 南京国电南自维美德自动化有限公司 一种动态图元坐标生成方法及系统
CN117409110B (zh) * 2023-10-17 2024-08-13 广州中望龙腾软件股份有限公司 一种视图显示方法、装置、设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108563984A (zh) * 2018-03-02 2018-09-21 山东科技大学 一种流程模型图的自动识别与理解方法
CN109308447A (zh) * 2018-07-29 2019-02-05 国网上海市电力公司 在电力远程监控中自动提取设备运行参数和运行状态的方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10740955B2 (en) * 2017-12-01 2020-08-11 Cesium GS, Inc. Systems and methods for real-time large-scale point cloud surface reconstruction
CN112181549B (zh) * 2020-08-26 2022-09-09 南京国电南自电网自动化有限公司 变电站监控界面电力图符动态感知的识别系统及方法
CN112529004A (zh) * 2020-12-08 2021-03-19 平安科技（深圳）有限公司 智能图像识别方法、装置、计算机设备及存储介质
CN113688829B (zh) * 2021-08-05 2024-02-20 南京国电南自电网自动化有限公司 一种变电站监控画面自动识别方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108563984A (zh) * 2018-03-02 2018-09-21 山东科技大学 一种流程模型图的自动识别与理解方法
CN109308447A (zh) * 2018-07-29 2019-02-05 国网上海市电力公司 在电力远程监控中自动提取设备运行参数和运行状态的方法

Also Published As

Publication number Publication date
CN115116083A (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
CN115116083B (zh) 监控画面电力图元自动标识及修正方法、系统及存储介质
CN109815865B (zh) 一种基于虚拟水尺的水位识别方法及系统
CN112990086B (zh) 遥感影像建筑物检测方法、装置及计算机可读存储介质
CN111191570B (zh) 图像识别方法和装置
CN105069754B (zh) 基于在图像上无标记增强现实的系统和方法
CN110346699B (zh) 基于紫外图像处理技术的绝缘子放电信息提取方法及装置
RU2008129793A (ru) Способ улучшения последующей обработки изображений с использованием деформируемых сеток
CN112752158A (zh) 一种视频展示的方法、装置、电子设备及存储介质
CN110264523A (zh) 一种确定测试图像中的目标图像的位置信息的方法与设备
CN112330597A (zh) 一种图像差异检测方法、装置及计算机设备
CN110986889A (zh) 一种基于遥感图像技术的高压变电站全景态监测方法
CN116883887A (zh) 一种针对红外视频的泄漏气体检测方法
CN104766330B (zh) 一种图像处理方法及电子设备
CN108900895B (zh) 一种对视频流的目标区域的屏蔽方法及其装置
CN112380940A (zh) 一种高空抛物监控图像的处理方法、装置、电子设备和存储介质
CN111079752A (zh) 识别红外图像中的断路器的方法、装置及可读存储介质
CN111107264A (zh) 图像处理方法、装置、存储介质以及终端
JP6831396B2 (ja) 映像監視装置
CN113487697B (zh) 简笔画生成方法、装置、电子设备及存储介质
CN116862920A (zh) 一种人像分割方法、装置、设备及介质
CN115346138A (zh) 基于无人机的航拍图像的目标检测方法、装置以及设备
CN114445751A (zh) 视频关键帧图像轮廓特征的提取方法和装置
CN118097477A (zh) 基于增强现实的电力设备巡检方法及ar移动设备
JPH07121710A (ja) 画像セグメンテーション方法及び装置
CN117197558A (zh) 基于机器视觉的变电站监控界面实体识别测试方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant