CN107045633A - 一种基于st‑mser的能源计量表具的数字定位分割方法 - Google Patents

一种基于st‑mser的能源计量表具的数字定位分割方法 Download PDF

Info

Publication number
CN107045633A
CN107045633A CN201611218957.9A CN201611218957A CN107045633A CN 107045633 A CN107045633 A CN 107045633A CN 201611218957 A CN201611218957 A CN 201611218957A CN 107045633 A CN107045633 A CN 107045633A
Authority
CN
China
Prior art keywords
mser
region
gray
image
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611218957.9A
Other languages
English (en)
Inventor
严军
王臣
周夏杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ShangHai Getsoon Electronics Co Ltd
University of Shanghai for Science and Technology
Original Assignee
ShangHai Getsoon Electronics Co Ltd
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ShangHai Getsoon Electronics Co Ltd, University of Shanghai for Science and Technology filed Critical ShangHai Getsoon Electronics Co Ltd
Priority to CN201611218957.9A priority Critical patent/CN107045633A/zh
Publication of CN107045633A publication Critical patent/CN107045633A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于ST‑MSER的能源计量表具的数字定位分割方法。本发明基于最大稳定极值区域MSER（Maximally Stable Extremal Regions）方法改进，适用于的能源计量表具表盘数字定位分割，称为特定匹配模板最大稳定极值区域ST‑MSER（Specific Template Maximally Stable Extremal Regions）提取方法。ST‑MSER方法提取的区域内部灰度Gray与匹配区域形状Shape几乎不变但是和背景的噪声灰度的变化及匹配区域对比十分强烈，并且该区域能够在多重阈值下保持形状不变。ST‑MSER基于MSER研究方法，将特定的读数匹配区域模板作为区域提取的另一个因素，将MSER（gray）提取方法扩展为二维的ST‑MSER（gray，shape）提取方法。这样将会更加精确地（和快速地）对目标区域RoI（Region of Interest）进行定位分割。

Description

一种基于ST-MSER的能源计量表具的数字定位分割方法
技术领域
本发明涉及一种基于ST-MSER(Specific Template Maximally Stable ExtremalRegions，特定模板的最大稳定极值区域)的能源计量表具的数字定位分割方法。属于工业级图像处理应用领域。
背景技术
能源计量表具(水、气、电表)在日常生活中是不可或缺的，而对能源计量表具数据的抄写技术革新是家居智能化过程中的一个重要环节。在智慧生活发展进程中，时间成本是研发人员所要解决的一大问题，近年来，相关机构、企业等对能源计量表具数据的智能化抄写技术做了大量的工作及研究。
传统的人工入室抄表不仅扰民，还会给居民用户带来不安全因素；同时，对于各职能公司来说，派人上门抄表不仅耗时、费力，多而杂的抄表任务还会造成抄表员的误抄、错抄以及居民用户拒付费等现象，给国家企业经营的形象和效益带来影响，无形中制约了行业的发展。
目前，国内的能源计量表具从数据的获取方式上大致分为流量计类表具和外置式图像采集类表具。对于外置式图像采集类表具而言，由于表具内部没有相应的数据计量模块及数据远程传输模块，故对该类表具的数据获取由早期的人工抄表方式实现，随着图像识别技术和无线远程传输技术的发展，研究人员将图像采集识别模组和无线数据远程传输模组整合并外置于表具表盘数字前方，将表具表盘数据图像采集并识别，通过无线数据远程传输模组将数据传送至云端服务器。
对于外置式图像采集类表具的表盘数字识别过程不仅受制于硬件成本，还要求快速的图像处理过程和低功耗的外置式模组。外置式图像采集类表具的表盘图像的处理一般分为图像数字定位分割、数字识别以及数据处理远传三大步骤。
由Matas等人于2002年提出的MSER(Maximally Stable Extremal Regions，最大稳定极值区域)可以用于图像的斑点区域检测及图像字符识别。MSER由于其文字区域提取的准确性成为了自然场景下文字检测的主流方法，MSER提取的基本原理是：对一幅灰度图像(灰度值为0～255)取不断变化的阈值(阈值从0到255依次递增)进行二值化处理，在阈值的递增过程中所得到的所有二值图像中，图像中的某些连通区域变化很小甚至没有变化，得到的这些区域就被称为最大稳定极值区域。其数学定义为：
q(i)＝|Qi+δ-Qi-δ|/|Qi|，
其中，Qi表示阈值为i时的某一连通区域，δ为灰度阈值的微小变化量，q(i)为阈值是i时的区域Qi的变化率。当q(i)为局部极小值时，则Qi为最大稳定极值区域MSER。
综上，本发明结合相关应用场景，对MSER算法进行改进，得到适用于外置式图像采集类表具的图像数字定位分割方法。缩短图像处理时间，降低外置模组功耗，延长外置模组寿命，节约能源。
发明内容
本发明基于现有能源计量表具数据的抄写技术的发展情况，并针对外置式图像采集类表具抄写技术中所存在的不足(如：图像处理算法复杂度高、耗电量大等)，提供一种基于ST-MSER的能源计量表具的数字定位分割方法。
该方法基于最大极值稳定区域MSER检测方法，在最大稳定极值区域MSER的提取过程中，将表具图像读数区域的特定模板作为目标区域提取的限制参数，将普通MSER(gray)提取方法扩展为二维的ST-MSER(gray，shape)提取方法，降低最大稳定极值区域MSER提取过程中背景噪声区域的影响，从而快速获取到有效区域，通过缩短数字定位分割时间降低算法复杂度，达到快速的图像处理的目的。
为达到上述目的，本发明采用如下技术方案：
一种基于ST-MSER的能源计量表具的数字定位分割方法，包括感兴趣区域RoI(Region of Interest)定位及STR(Specific Template Region)提取，ST-MSER提取两个过程，具体步骤如下：
1)RoI定位及STR提取：
S1-1初始化：首先对待处理图像进行灰度化处理，得到含背景噪声的灰度图片GIN(Gray Image with Noise)，GIN将用作数字区域切割；
S1-2用特定参数(尺寸及倾斜程度)的模板窗ST(Specific Template，通常为长方形状)，对灰度图像GIN从图像中心按照特定邻域以顺时针方向开始扫描(通常，RoI的几何中心位于图像采集设备采集到的图像几何中心周围)；
S1-3扫描的同时记录模板与当前区域的匹配程度M，直至整幅图像扫描结束；
S1-4取出并记录匹配度最高的准感兴趣区域iRoI；
S1-5调整模板窗参数，重复S1-2至S1-4步骤N次，其中N值由特定场景下的硬件资源及场景特征决定；
S1-6比较N轮匹配结果，求出最佳匹配区域RoI；
S1-7将该区域截取并保存为目标灰度图GI(Goal Image)；
2)ST-MSER提取：
S2-1对STR得到的灰度图GI取变化阈值进行二值化处理，阈值从0～255逐渐递增；
S2-2对于每个阈值得到的二值图像BI(i)(Binary Image)，其中i表示阈值索引，关注并分析相应的黑色区域与白色区域；
S2-3根据变化率公式q(i)＝|Qi+δ-Qi-δ|/|Qi|，求出q(i)的局部极小值；其中，Qi表示阈值为i时BI的某一连通区域，δ为灰度阈值的微小变化量，q(i)为阈值是i时的区域Qi的变化率；
S2-4在比较宽的灰度阈值范围内保持形状稳定的区域就是最大稳定极值区域MSER；
S2-5对MSER进行切割，得到各表盘读数区块。
本方法适用于外置式图像采集类能源计量表具，其对已有的MSER提取过程根据场景需求做出了特殊的提取限制，即在MSER提取参数的基础上，将置于能源计量表具表盘前方的图像采集设备所采集到的图像感兴趣区域RoI作为MSER方法的另一个参数，该过程将会过滤掉图像中的背景噪声区域，使得接下来的数字定位分割会在相对确定的区域进行。
与现有技术相比，本发明具有如下的优点：
传统的MSER提取方法会将整幅图像作为字符提取源，并会根据算法流程将符合计算条件的所有区域均提取出来并作为目标进行处理。而就本发明所针对的应用场景而言，由于环境因素及硬件设施所限，有效图像区块(或RoI)一般只占据所采集图像面积的二分之一或更少，于是，先通过有效区域模板匹配方法将有效区域固定，再对有效区域进行MSER提取，通过锁定目标图像区块缩短图像处理时间，从而达到快速、准确的表盘读数定位与分割。
附图说明
图1是本发明的实现过程框图。
图2是本发明RoI定位与STR提取的流程图。
图3是本发明ST-MSER提取的流程图。
具体实施方式
下面结合附图，对本发明的具体实施做进一步的说明。
如图1所示：图像采集模块对表具的表盘读数图像进行获取，得到的图像一般为含有背景噪声的RGB图像；RGB图经过灰度化处理后得到含有灰度背景噪声的相同尺寸的灰度图，先通过模板匹配将既定目标区域模板ST(长方形状)对有效读数区域RoI进行匹配定位，再对RoI进行STR提取，最终对STR进行二维ST-MSER(gray，shape)提取。
如图2所示：本发明中的目标区域模板ST针对特定场景，设计为1行5列的等分表格形式，每列代表表盘读数的一位数字，每个数字区域设计为正方形状。根据特定场景下的硬件处理限制及相关计算经验，单个数字区域边长由15px到60px之间变化，并定义该区域倾斜度为模板与水平方向的夹角(的取值根据经验取-30°到30°之间的值)。
匹配过程为：1)先将ST几何中心与含背景噪声的灰度图GIN的几何中心对准，初始设定单个数字区域边长为15px，值为0°；2)以GIN几何中心为圆心，变化r为半径(r从1px到80px之间逐步递增)，从距圆心水平向右r处开始以顺时针方向按8r邻域路径进行扫描匹配，每个r循环完一周记录固定边长及值情况下的最佳匹配因子Mrini并保存最佳匹配时对应的模板STrini；3)按照1px的步长逐渐增加单个数字区域边长至60px，重复步骤1)和步骤2)，选出变化边长情况下最佳匹配因子Mr并保存最佳匹配时对应的模板STr；4)按照绝对值为1°的步长逐渐增加模板的倾斜度，重复步骤1)、步骤2)和步骤3)，选出变化模板倾斜度情况下最佳匹配因子M并保存最佳匹配时对应的模板ST。
如图3所示，ST-MSER提取：1)对提取出的ST取初始值为1、步进为1、终值为254的阈值th进行二值化；2)分析每一幅二值图像BI的黑色区域与白色区域的变化情况，根据变化率q(i)＝|Qi+δ-Qi-δ|/|Qi|求出局部极小值qmin；3)在比较宽的灰度阈值范围内保持形状稳定的区域就是最大稳定极值区域MSER；4)对MSER进行切割，得到各表盘读数区块。

Claims (1)

1.一种基于ST-MSER的能源计量表具的数字定位分割方法，其特征在于，包括感兴趣区域RoI定位及STR提取，ST-MSER提取两个过程，具体步骤如下：
1)RoI定位及STR提取：
S1-1初始化：首先对待处理图像进行灰度化处理，得到含背景噪声的灰度图片GIN，GIN将用作数字区域切割；
S1-2用特定参数，即尺寸及倾斜程度的模板窗ST对灰度图像GIN从图像中心按照特定邻域以顺时针方向开始扫描，通常，RoI的几何中心位于图像采集设备采集到的图像几何中心周围；
S1-3扫描的同时记录模板与当前区域的匹配程度M，直至整幅图像扫描结束；
S1-4取出并记录匹配度最高的准感兴趣区域iRoI；
S1-5调整模板窗参数，重复S1-2至S1-4步骤N次，其中N值由特定场景下的硬件资源及场景特征决定；
S1-6比较N轮匹配结果，求出最佳匹配区域RoI；
S1-7将该区域截取并保存为目标灰度图GI；
2)ST-MSER提取：
S2-1对STR得到的灰度图GI取变化阈值进行二值化处理，阈值从0～255逐渐递增；
S2-2对于每个阈值得到的二值图像BI(i)，其中i表示阈值索引，关注并分析相应的黑色区域与白色区域；
S2-3根据变化率公式q(i)＝|Qi+δ-Qi-δ|/|Qi|，求出q(i)的局部极小值；其中，Qi表示阈值为i时BI的某一连通区域，δ为灰度阈值的微小变化量，q(i)为阈值是i时的区域Qi的变化率；
S2-4在比较宽的灰度阈值范围内保持形状稳定的区域就是最大稳定极值区域MSER；
S2-5对MSER进行切割，得到各表盘读数区块。
CN201611218957.9A 2016-12-26 2016-12-26 一种基于st‑mser的能源计量表具的数字定位分割方法 Pending CN107045633A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611218957.9A CN107045633A (zh) 2016-12-26 2016-12-26 一种基于st‑mser的能源计量表具的数字定位分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611218957.9A CN107045633A (zh) 2016-12-26 2016-12-26 一种基于st‑mser的能源计量表具的数字定位分割方法

Publications (1)

Publication Number Publication Date
CN107045633A true CN107045633A (zh) 2017-08-15

Family

ID=59542895

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611218957.9A Pending CN107045633A (zh) 2016-12-26 2016-12-26 一种基于st‑mser的能源计量表具的数字定位分割方法

Country Status (1)

Country Link
CN (1) CN107045633A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107688810A (zh) * 2017-09-07 2018-02-13 湖北民族学院 一种伪牌照车贴检测方法
CN107918935A (zh) * 2017-12-05 2018-04-17 深圳市北电仪表有限公司 嵌入式系统的图像匹配切割装置及切割方法
CN110837834A (zh) * 2019-09-30 2020-02-25 杭州朗阳科技有限公司 一种数字仪表读数方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218787A (zh) * 2013-04-23 2013-07-24 国家测绘地理信息局卫星测绘应用中心 多源异构遥感影像控制点自动采集方法
CN103886319A (zh) * 2014-03-24 2014-06-25 北京大学深圳研究生院 一种基于机器视觉的举牌智能识别方法
CN105865570A (zh) * 2016-06-15 2016-08-17 天津大学 一种基于机器视觉的玻璃瓶液位检测方法
CN106156711A (zh) * 2015-04-21 2016-11-23 华中科技大学 文本行的定位方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103218787A (zh) * 2013-04-23 2013-07-24 国家测绘地理信息局卫星测绘应用中心 多源异构遥感影像控制点自动采集方法
CN103886319A (zh) * 2014-03-24 2014-06-25 北京大学深圳研究生院 一种基于机器视觉的举牌智能识别方法
CN106156711A (zh) * 2015-04-21 2016-11-23 华中科技大学 文本行的定位方法及装置
CN105865570A (zh) * 2016-06-15 2016-08-17 天津大学 一种基于机器视觉的玻璃瓶液位检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
肖意等: ""基于最大稳定极值区域的车牌定位与字符分割"", 《计算机与数字工程》 *
郝博闻等: ""基于颜色空间和模板匹配的交通标志检测方法"", 《智能计算机与应用》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107688810A (zh) * 2017-09-07 2018-02-13 湖北民族学院 一种伪牌照车贴检测方法
CN107918935A (zh) * 2017-12-05 2018-04-17 深圳市北电仪表有限公司 嵌入式系统的图像匹配切割装置及切割方法
CN107918935B (zh) * 2017-12-05 2022-03-08 深圳市北电仪表有限公司 嵌入式系统的图像匹配切割装置及切割方法
CN110837834A (zh) * 2019-09-30 2020-02-25 杭州朗阳科技有限公司 一种数字仪表读数方法及系统
CN110837834B (zh) * 2019-09-30 2023-04-18 杭州朗阳科技有限公司 一种数字仪表读数方法及系统

Similar Documents

Publication Publication Date Title
CN108921176B (zh) 一种基于机器视觉的指针式仪表定位与识别方法
CN100380391C (zh) 掌纹识别方法和设备
CN106600600A (zh) 基于特征匹配的晶圆缺陷检测方法
CN106824806B (zh) 基于机器视觉的小模数塑料齿轮的检测方法
CN109919960B (zh) 一种基于多尺度Gabor滤波器的图像连续边缘检测方法
CN1506903A (zh) 基于模板学习的自动指纹识别系统和方法
CN105913095A (zh) 一种适用于变电站巡检机器人的仪表识别方法
Laga et al. Image-based plant stornata phenotyping
Labati et al. A neural-based minutiae pair identification method for touch-less fingerprint images
CN111539330B (zh) 一种基于双svm多分类器的变电站数显仪表识别方法
CN109344820A (zh) 基于计算机视觉和深度学习的数字式电表读数识别方法
CN106599890A (zh) 变电站巡检机器人数字式仪表识别算法
Liu et al. Iterating tensor voting: A perceptual grouping approach for crack detection on EL images
CN107045633A (zh) 一种基于st‑mser的能源计量表具的数字定位分割方法
CN108133211B (zh) 一种基于移动终端视觉图像的检测配电柜的方法
CN109886170A (zh) 一种钉螺智能检测识别与统计系统
Zheng et al. Robust and automatic cell detection and segmentation from microscopic images of non‐setae phytoplankton species
CN103886319A (zh) 一种基于机器视觉的举牌智能识别方法
CN113705564B (zh) 一种指针式仪表识别读数方法
CN104966283A (zh) 图像分层配准方法
CN113628252A (zh) 一种基于热成像视频的泄漏气体云团检测方法
CN112132823A (zh) 一种基于人工智能的光伏电池图像局部光照不均处理方法
Imran et al. Image-based automatic energy meter reading using deep learning
EP3137895A1 (en) Method and apparatus for processing block to be processed of urine sediment image
CN112036410B (zh) 基于深度学习和图像梯度的电力设备红外图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170815

RJ01 Rejection of invention patent application after publication