CN111652055B - 一种基于两阶段定位的开关仪表智能识别方法 - Google Patents

一种基于两阶段定位的开关仪表智能识别方法 Download PDF

Info

Publication number
CN111652055B
CN111652055B CN202010329977.3A CN202010329977A CN111652055B CN 111652055 B CN111652055 B CN 111652055B CN 202010329977 A CN202010329977 A CN 202010329977A CN 111652055 B CN111652055 B CN 111652055B
Authority
CN
China
Prior art keywords
instrument
image
positioning
channel
switch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010329977.3A
Other languages
English (en)
Other versions
CN111652055A (zh
Inventor
张方
周开源
闫希颖
张沛方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Innovision Technology Co ltd
Original Assignee
Xi'an Innovision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Innovision Technology Co ltd filed Critical Xi'an Innovision Technology Co ltd
Priority to CN202010329977.3A priority Critical patent/CN111652055B/zh
Publication of CN111652055A publication Critical patent/CN111652055A/zh
Application granted granted Critical
Publication of CN111652055B publication Critical patent/CN111652055B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching

Abstract

本发明公开了一种基于两阶段定位的开关仪表智能识别方法，实现了在采集的图像上精准定位仪表位置并识别仪表状态，可以用于变电站控制室的仪表读数采集工作，主要解决了变电站仪表人工读数效率低的问题。其实现步骤为：(1)仪表区域粗定位；(2)仪表区域细定位；(3)截取定位结果区域子图；(4)仪表状态识别。可以实现开关仪表状态的智能识别功能，可以针对小型巡检机器人或固定摄像头采集的图像进行快速处理，得到各种开关仪表的开合状态，并由网络功能实时的传输到后台服务器，从而实现了远程监控变电站控制室仪表设备的功能。

Description

一种基于两阶段定位的开关仪表智能识别方法
技术领域
本发明涉及一种基于两阶段定位的开关仪表智能识别方法，可用于在变电站室内进行开关仪表状态的数据采集。
背景技术
变电站存在大量仪表来监测变电设备的工作状态，目前我国变电站仪表的巡检读数工作普遍采用人工巡视、手工记录的方式。人工读表工作耗费大量的人力劳动，特别是随着变电站规模的扩大和巡检区域的不断增加，与此同时，人工读表简单依赖于巡视人员的感官和经验、效率低以及易受雨雪风沙等环境因素的干扰，很难做到全面准确巡检，这样使得变电站设备和电网的安全运行存在隐患。
随着计算机视觉、通信、自动化控制等技术的发展和成熟，利用机器人对变电站的各种仪表进行自动化巡检成为可能。目前国内已经有多家单位推出了可稳定运行的变电站智能巡检机器人产品，并已在多个现场进行应用。比如山东鲁能集团的变电站智能巡检机器人、上海谱萌光电的红外热像仪智能机器人、杭州申昊的变电站巡检机器人等，这些机器人的使用很好地提高了变电站巡检的效率，但无一例外的是，这些机器人只能识别指针式仪表，而且由体积大，笨重，成本高昂的缺点，不适用于变电站配备有多种仪表设备的环境。
因此，利用图像处理，模式识别等相关技术实现开关仪表的识别功能，既填补了目前巡检机器人在开关仪表识别方面的不足，又可以结合体积小，行动灵活的巡检机器人代替人工进行变电站控制室的巡检，促进智能变电站和无人值守变电站巡检技术的发展，具有很大的理论和实际价值。
发明内容
本发明针对现有变电站在仪表智能识别功能方面的不足，提出一种基于两阶段定位的开关仪表的智能识别算法。本发明实现了对巡检机器人或摄像头采集到的图像进行开关仪表区域定位和状态识别的功能，具体流程见图1。
本发明的实现步骤包括：
步骤1：仪表区域粗定位
(1a)图像预处理：对摄像头或巡检机器人采集到的输入图像和本地保存的模板图像进行灰度化，使图像特征位于灰度空间，便于处理。采用中值滤波法对灰度子图进行平滑去噪处理，这里的中值滤波法是一种非线性平滑技术，它将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值，中值滤波模板的大小与本地仪表模板的大小保持一致；
(1b)位置尺度粗估计：采用基于AKAZE特征点检测与匹配的方法实现仪表区域的粗定位和尺度估计，首先分别对滤波后的本地模板图像和输入图像构造尺度空间，然后提取AKAZE特征点和生成相应的特征描述子，最后进行特征描述子匹配算法，根据匹配结果得到仪表区域的大致位置和尺度。
步骤2：仪表区域细定位
(2a)候选区域子图截取：以粗定位区域中心，截取相比粗定位结果尺度更大的区域作为细定位的候选区域；
(2b)图像预处理：对于基于统计区间的颜色直方图匹配算法，预处理部分需要对各通道进行高斯滤波处理平滑噪声；对于基于金字塔灰度图像的模板匹配算法，预处理部分包括灰度化、高斯滤波平滑噪声、归一化减弱光照影响；
(2c)位置尺度细估计：采用基于金字塔灰度图像的模板匹配算法在粗定位后的候选区域进行目标位置估计和尺度估计；
(2d)位置微调：基于区间统计的颜色直方图匹配算法对位置进行微调和修正，实现精确定位。
步骤3：截取定位结果区域子图
依据细定位结果，截取相应位置和尺度的图像作为仪表状态识别步骤中的输入。
步骤4：仪表状态识别
开关仪表的状态由两种颜色的指示灯表示，灯光为红色表示开关处于打开状态，灯光为绿色表示开关处于闭合状态，因此可以通过计算开关位置的图像颜色更靠近红色还是绿色来判断灯光为绿色还是红色，进而判断开关的开合状态。
步骤1：白平衡：对输入图像进行白平衡操作，减弱图像颜色受光照环境的影响；
步骤2：通道分离：分离输入图像的R、G、B三通道图像；
步骤3：仪表识别：计算R通道和G通道的均值Rm和Gm，比较两者的大小，根据比较结果断定仪表的开合状态。
附图说明
图1是本发明的实现流程图
图2是AKAZE特征点检测与匹配流程图
图3是开关仪表状态识别流程图
图4是实验效果图
具体实施方式
下面结合附图对本发明做进一步描述。
参照图1，本发明的具体实施步骤如下。
步骤1：仪表区域粗定位
对摄像头或巡检机器人采集到的输入图像和本地保存的模板图像，采用基于AKAZE特征点检测与匹配的方法实现仪表区域的粗定位和尺度估计。
(1a)图像预处理：对输入图像和模板图像进行预处理，包含灰度化和中值滤波。灰度化的目的在于便于特征点的提取，计算公式如下：
f(i，j)＝0.30R(i，j)+0.59G(i，j)+0.11B(i，j)
中值滤波的目的在于过滤掉噪声和奇异点，其中中值滤波的模板与模板图像的大小一致，计算公式如下：
Figure BSA0000207173930000031
其中，median表示取中值操作，s表示滤波模板的大小。
(1b)位置尺度粗估计：基于AKAZE特征点检测与匹配算法实现仪表区域的粗略定位和尺度估计，主要包括四个步骤：通过非线性滤波和快速扩散FED算法构建非线性尺度空间；利用不同尺度归一化的Hessian矩阵寻找局部极值点进行特征点检测和提取；计算特征点的主方向并利用M-LDB方法生成二值特征描述子；基于Hamming距离度量标准，进行特征描述子匹配过程。其中，在特征点检测之后，我们使用RANSAC算法对检测到的特征点进行提纯，提高匹配的鲁棒性。在得到匹配结果后，提取输入图像上所有匹配点的对应位置，生成一个最小包含匹配点的矩形框作为粗定位的结果。包括位置和尺度信息。
步骤2：仪表区域细定位
在步骤1的基础上，采用基于金字塔灰度图像的模板匹配算法同时对目标进行二次位置估计和尺度估计。为提高定位的准确行和鲁棒性，同时基于统计区间的颜色直方图匹配算法对位置结果进行微调作为细定位的结果。
(2a)候选区域子图截取：粗定位步骤会生成一个矩形框，为了更精确的估计目标的位置，保证定位效率的前提下微扩候选区域的范围，具体操作是以此矩形框的中心为中心，以矩形框尺度的1.2倍大小为尺度，截取对应的区域子图作为细定位的输入图像。
(2b)图像预处理：对于基于统计区间的颜色直方图匹配算法，预处理部分需要对各通道进行高斯滤波处理平滑噪声，其中高斯滤波模板的大小与本地模板图像大小一致；对于基于金字塔灰度图像的模板匹配算法，预处理部分包括灰度化、高斯滤波平滑噪声、归一化减弱光照影响，其中归一化操作具体为各位置像素灰度值除以全图中的最大灰度值，归一化的公式如下：
Figure BSA0000207173930000041
其中，MIN(image)和MAX(image)分别表示输入图像灰度的最小值和最大值。
(2c)位置尺度细估计：粗定位对仪表位置和尺度进行了粗略估计，在粗定位生成的候选区域内，采用基于金字塔灰度图像的模板匹配算法对目标进行二次位置估计和尺度估计。以粗定位尺度结果S作为中心尺度，采用0.9S、S、1.1S三种尺度以滑窗的方式进行遍历模板匹配相关操作，得到每个位置及尺度的响应值，取最大值对应的位置和尺度作为结果，相关操作的计算公式如下：
(2d)位置微调：基于统计区间的颜色直方图匹配算法对位置结果进行微调。将输入图像的R、G、B三通道各分为4个区间，即将RGB颜色空间划分为4*4*4＝64个bin，这样可以维护一个64bin的直方图。在候选区域内以(2-3)得到的尺度为滑窗的大小，计算每个滑窗与本地模板的直方图相似度，取相似度较大同时最靠近(2-3)结果位置对应的坐标作为最终细定位的结果。
步骤3：截取定位结果区域子图
依据细定位结果，截取相应位置和尺度的图像作为仪表状态识别步骤中的输入。
步骤4：仪表状态识别
开关仪表的状态由指示灯表示，通过计算定位后的目标图像颜色更靠近红色还是绿色来判断灯光为绿色还是红色，进而判断开关的开合状态。
步骤1：白平衡：在非理想的拍摄环境下，物体本身的颜色与镜头拍摄下的颜色会有差异，使得后续处理出现偏差。为减弱这一影响，采用灰度世界法对输入图像进行白平衡操作，减弱图像颜色受环境光的影响。基于灰度世界法的白平衡包含四个步骤：RGB三通道分离；分别求RGB三通道分量的均值；计算各通道需要调整的增益，并根据增益调整通道像素值；RGB通道合并。
步骤2：通道分离：分离输入图像的R、G、B三通道图像，方便对各通道单独处理；
步骤3：仪表识别：计算R通道和G通道的均值Rm和Gm，若Rm＞Gm，则表示仪表区域更靠近红色，灯光为红色，开关处于断开状态，反之处于闭合状态。
实施效果
为了验证本发明的效果，使用50张变电站对开关仪表较远距离拍摄的监控画面图做测试，效果如图4所示。

Claims (4)

1.一种基于两阶段定位的开关仪表智能识别方法，包括：
步骤1：仪表区域粗定位：
1a：图像预处理：对摄像头或巡检机器人采集到的输入图像和本地保存的模板图像进行灰度化和中值滤波处理；
1b：位置尺度粗估计：采用AKAZE特征点检测与匹配算法实现仪表区域位置和尺度的粗略估计；
步骤2：仪表区域细定位：
结合基于金字塔灰度图像的模板匹配算法和基于区间统计的颜色直方图匹配算法实现仪表位置的细定位；
2a：候选区域子图截取：根据粗定位结果，截取相应位置和尺度的子图区域；
2b：图像预处理：对于基于统计区间的颜色直方图匹配算法，需要对各通道进行高斯滤波处理；对于基于金字塔灰度图像的模板匹配算法，预处理部分包括灰度化、高斯滤波、归一化；
2c：位置尺度细估计：采用基于金字塔灰度图像的模板匹配算法在粗定位后的候选区域进行目标位置估计和尺度估计；
2d：位置微调：基于区间统计的颜色直方图匹配算法对位置进行微调和修正；
步骤3：截取定位结果区域子图
根据细定位的结果，截取相应位置和尺度的子图作为仪表状态识别阶段的输入
步骤4：仪表状态识别
通过计算和比较输入图像R通道均值和G通道均值的大小来判定灯光的颜色，进而判断仪表的开闭状态；
步骤1：白平衡：对输入图像进行白平衡操作，减弱图像颜色受光照环境的影响；
步骤2：通道分离：分离输入图像的R、G、B三通道图像；
步骤3：仪表识别：计算R通道和G通道的均值Rm和Gm，比较两者的大小，根据比较结果断定仪表的开合状态。
2.根据权利要求1所述的一种基于两阶段定位的开关仪表智能识别方法，其特征在于，步骤(1)中的AKAZE特征点检测与匹配方法包括以下步骤：
步骤1：构造尺度空间；
步骤2：利用Hessian矩阵提取特征点；
步骤3：计算特征点主方向，生成特征描述子；
步骤4：基于特征描述子进行特征点匹配。
3.根据权利要求1所述的基于两阶段定位的开关仪表智能识别方法，其特征在于，步骤(2)中的基于区间统计的颜色直方图匹配方法包括以下步骤：
步骤1：将模板图像的RGB三通道划分为4个区间，形成4*4*4＝64个bin，维护64个bin的直方图；
步骤2：在输入图像区域采用滑窗方式计算每个候选窗的对应直方图，并与模板图像进行直方图相似度匹配。
4.根据权利要求1所述的一种基于两阶段定位的开关仪表智能识别方法，其特征在于，步骤(4)仪表状态识别包括以下步骤：
步骤1：对输入图像进行白平衡处理，减弱环境光的影响；
步骤2：对输入图像进行通道分离；
步骤3：计算R通道像素值的均值Rm与G通道像素值的均值Gm；
步骤4：若Rm＞Gm，则指示灯为红色，开关处于断开状态，反之处于闭合状态。
CN202010329977.3A 2020-04-17 2020-04-17 一种基于两阶段定位的开关仪表智能识别方法 Active CN111652055B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010329977.3A CN111652055B (zh) 2020-04-17 2020-04-17 一种基于两阶段定位的开关仪表智能识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010329977.3A CN111652055B (zh) 2020-04-17 2020-04-17 一种基于两阶段定位的开关仪表智能识别方法

Publications (2)

Publication Number Publication Date
CN111652055A CN111652055A (zh) 2020-09-11
CN111652055B true CN111652055B (zh) 2023-03-24

Family

ID=72348465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010329977.3A Active CN111652055B (zh) 2020-04-17 2020-04-17 一种基于两阶段定位的开关仪表智能识别方法

Country Status (1)

Country Link
CN (1) CN111652055B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113343917A (zh) * 2021-06-30 2021-09-03 上海申瑞继保电气有限公司 基于直方图的变电站设备识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011175523A (ja) * 2010-02-25 2011-09-08 Nippon Syst Wear Kk 計器読み取り装置、方法、プログラム、および該ソフトウェアを格納したコンピュータ可読媒体
CN103927507A (zh) * 2013-01-12 2014-07-16 山东鲁能智能技术有限公司 一种改进的变电站巡检机器人的多仪表读数识别方法
CN105913095A (zh) * 2016-05-17 2016-08-31 杭州申昊科技股份有限公司 一种适用于变电站巡检机器人的仪表识别方法
CN108573261A (zh) * 2018-04-17 2018-09-25 国家电网公司 一种适用于变电站巡检机器人的数字显示仪表识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011175523A (ja) * 2010-02-25 2011-09-08 Nippon Syst Wear Kk 計器読み取り装置、方法、プログラム、および該ソフトウェアを格納したコンピュータ可読媒体
CN103927507A (zh) * 2013-01-12 2014-07-16 山东鲁能智能技术有限公司 一种改进的变电站巡检机器人的多仪表读数识别方法
CN105913095A (zh) * 2016-05-17 2016-08-31 杭州申昊科技股份有限公司 一种适用于变电站巡检机器人的仪表识别方法
CN108573261A (zh) * 2018-04-17 2018-09-25 国家电网公司 一种适用于变电站巡检机器人的数字显示仪表识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
一种适用于变电站巡检机器人的仪表识别算法;房桦等;《自动化与仪表》;20130515(第05期);全文 *
一种适用于智能变电站巡检机器人的双针仪表读数的识别算法;房桦等;《山东电力技术》;20130515(第03期);全文 *
变电站巡检机器人智能仪表识别检测算法;彭彩平等;《黑龙江科技信息》;20170225(第06期);全文 *
变电站智能巡检系统仪表定位算法设计与实现;吕瑞峰等;《电子制作》;20141015(第19期);全文 *

Also Published As

Publication number Publication date
CN111652055A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
CN110807355B (zh) 一种基于移动机器人的指针仪表检测与读数识别方法
CN113139521B (zh) 一种用于电力监控的行人越界标监测方法
Wang et al. Recognition and drop-off detection of insulator based on aerial image
CN112149543B (zh) 一种基于计算机视觉的建筑扬尘识别系统与方法
CN110910350B (zh) 一种用于风电塔筒的螺母松动检测方法
CN103034838A (zh) 一种基于图像特征的特种车辆仪表类型识别与标定方法
CN111563896B (zh) 一种用于接触网异常检测的图像处理方法
CN111402247A (zh) 一种基于机器视觉的输电线路上悬垂线夹缺陷检测方法
CN111292321A (zh) 一种输电线路绝缘子缺陷图像识别方法
CN101964293A (zh) 一种金相显微组织图像处理方法
CN107240112A (zh) 一种复杂场景下个体x角点提取方法
CN111105398A (zh) 一种基于可见光图像数据的输电线路部件裂纹检测方法
CN113688817A (zh) 一种自动巡检的仪表识别方法及识别系统
KR101874968B1 (ko) 이미지 정보 기반의 시정거리 측정 시스템 및 이를 이용한 시정거리 측정 방법
CN112288682A (zh) 基于图像配准的电力设备缺陷定位方法
CN111652055B (zh) 一种基于两阶段定位的开关仪表智能识别方法
CN114581760A (zh) 一种机房巡检的设备故障检测方法及系统
CN107977959B (zh) 一种适用于电力作业机器人的呼吸器状态识别方法
CN111539330B (zh) 一种基于双svm多分类器的变电站数显仪表识别方法
CN103578121B (zh) 干扰运动环境下基于共享高斯模型的运动检测方法
CN109544608B (zh) 一种无人机图像采集特征配准方法
CN109658405B (zh) 一种农作物实景观测中图像数据质量控制方法及系统
CN108734158B (zh) 一种实时列车车号识别方法及装置
CN111539329B (zh) 一种自适应的变电站指针仪表识别方法
CN114820707A (zh) 一种用于摄像头目标自动追踪的计算方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 11203, building 1, Jinshi Bailang, 39 Taibai South Road, Xi'an City, Shaanxi Province, 710065

Applicant after: Xi'an innovision Technology Co.,Ltd.

Address before: Room 11203, building 1, Jinshi Bailang, 39 Taibai South Road, Xi'an City, Shaanxi Province, 710065

Applicant before: XI'AN INNOVATIVE VIDEO COM INFO.TECH. Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant