CN106169080B - 一种基于图像的燃气指数自动识别方法 - Google Patents

一种基于图像的燃气指数自动识别方法 Download PDF

Info

Publication number
CN106169080B
CN106169080B CN201610518252.2A CN201610518252A CN106169080B CN 106169080 B CN106169080 B CN 106169080B CN 201610518252 A CN201610518252 A CN 201610518252A CN 106169080 B CN106169080 B CN 106169080B
Authority
CN
China
Prior art keywords
image
character
feature
index
dial plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201610518252.2A
Other languages
English (en)
Other versions
CN106169080A (zh
Inventor
陈恒鑫
高明琦
赵兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201610518252.2A priority Critical patent/CN106169080B/zh
Publication of CN106169080A publication Critical patent/CN106169080A/zh
Application granted granted Critical
Publication of CN106169080B publication Critical patent/CN106169080B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words

Abstract

本发明涉及一种基于图像的燃气指数自动识别方法,属于图像识别技术领域。该方法在表盘定位与字符识别过程中对传统的方案做了改进,提升了对燃气表图像噪声的鲁棒性,能够更准确的、不包含其他杂质的字符子图像;同时,该方法使用图像的结构信息描述不同字符图像的特征,分类器使用基于3‑近邻的方法构造,由于提取的0~9之间10个字符特征信息可分性很好,所以无需复杂的识别过程即可实现准确提取燃气指数的目标,因而在效率方面要远优于现有的燃气指数识别方法,从图像采集到特征识别成功整个过程不超过0.08s,因此能够集成到具有实时要求的燃气指数识别系统中;此外,本方法不依赖于任何第三方软件,可以移植到任何有需要的平台中,如PC平台或智能手机客户端等。

Description

一种基于图像的燃气指数自动识别方法
技术领域
本发明属于图像识别技术领域,涉及一种基于图像的燃气指数自动识别方法。
背景技术
目前,在现有的与燃气表读数提取方法相关的技术方案中,多基于定位、分割、特征提取与识别这样的方法流程来设计。首先使用形态学滤波的方法对图像进行预处理,通过水平和垂直的灰度投影法实现燃气表图像的粗定位,利用边缘检测与形态学处理相结合的方法对粗定位表盘进行再次定位,使用垂直投影法分割字符子图像。这些方法的不同之处体现在特征的提取与识别方面,其中论文“燃气表读数的数字图像识别研究”使用了基于BP神经网络的方法实现读数的识别,虽然能够有效的提取燃气表的读数,但BP神经网络的读数识别算法在识别过程中耗时较长,难以集成到实时性要求高的识别系统中。论文“煤气表数字图像识别算法研究”根据不同位置煤气表数字的不同特点,设计了独立的识别网络获取字符内容,但其方法仅针对于煤气表个位、十位与百位读数的识别,其固定形式的设计不适用于燃气表指数的提取。论文“基于HALCON的燃气表表盘字符识别方法研究”在HALCON软件的ORC系统之上实现了燃气指数的识别过程,虽然能够准确地提取燃气表指数,但识别方法过于依赖第三方工具。
发明内容
有鉴于此,本发明的目的在于提供一种基于图像的燃气指数自动识别方法,该方法简化了特征提取与识别的过程,提升了方法的效率;同时,优化了表盘提取与字符分割过程,能够更快速、更准确地提取字符子图像区域;并且该方法不依赖任何第三方软件,可应用于任何需要的平台。
为达到上述目的,本发明提供如下技术方案:
一种基于图像的燃气指数自动识别方法,该方法包括以下步骤:
S1:用户启动智能手机客户端,通过智能手机摄像头实时拍摄燃气表图像;
S2:智能手机客户端对拍摄的燃气表图像进行识别,检测用气指数,检测成功后自动将其显示出来,询问用户是否识别正确,如果得到用户确认,则将燃气的指数数据和燃气表图像上传至燃气公司后台服务器;
S3:燃气公司的数据管理员通过服务器查看报表与修正异常数据;如果用户没能按时上传数据,则向用户发送提醒信息,通知用户及时上传。
进一步,在步骤S1中,手机客户端将自动打开手机的后置摄像头,其拍摄的燃气表图像数据将显示在用户的手机页面中;为引导用户将扫描区域对准表盘,客户端对拍摄的燃气表图像中的扫描区域做高亮处理,通过对字符的定位来帮助用户调整摄像头的距离与角度。
进一步,在步骤S2中,燃气指数数字的识别方法采用特征匹配法,在扫描过程前,客户端加载燃气指数特征库;在自动扫描期间,系统对视频拍摄的每一帧都做扫描处理,通过图像预处理改善图像质量;使用投影法定位表盘、分割不同字符,实现字符分割;最后使用骨骼化字符图像的方法细化图像,获取其结构特征,经过特征匹配后得到最终的识别结果。
进一步,在所述的特征匹配过程中,首先计算当前字符特征与0~9所有模板特征的欧式距离,取距离最小的3个模板特征,若3个特征中有2个或以上的模板属于同一个字符,同时欧式距离小于给定阈值时,判断当前字符属于对应的模板字符,识别成功,否则,识别失败;仅当表盘的前5个字符都识别成功,且连续两帧图像识别结果完全相同的情况下,客户端才跳转到燃气指数上传页面。自动扫描燃气指数成功后,系统将自动跳转至燃气指数上传页面,在当前页面,包括识别结果数字(燃气表表盘前5位数字)、识别成功时摄像头拍摄的视频截图,其中,视频截图作为上传数据的佐证,无法人工修改。
进一步,所述图像预处理具体包括以下步骤:
1)对图像进行灰度化;
2)对燃气表灰度图像做水平方向的灰度值累加和投影,表盘区域行方向的定位通过水平投影的方式找到,即宽度最大的一对过均值索引所标记的行信息;
3)对燃气表灰度图像做垂直方向的灰度值累加和投影,完成从垂直方向对表盘进行提取,从而实现整个表盘的提取任务。
进一步,所述字符分割是将表盘内的字符分为单独的字符图像,以便特征的提取和识别过程,通过投影直方图的方法实现对表盘图像的字符分割:
首先,使用顶帽操作解决整幅图像的像素值分布不均匀的问题;其次,将直方图绘制的曲线描绘为一组包含波峰波谷的波形,那么波峰处对应的图形即为每个字符图像,而波谷对应的区域即作为不同字符子图像的分割点,对于直方图向量P,其对应的波峰波谷索引定义为:遍历直方图向量P,若在第i个索引处满足P(i)≥P(i-1)且P(i)≥P(i+1),则i属于波峰索引,加入结合Ppeak,若P(i)≤P(i-1)且P(i)≤P(i+1),则i属于波谷索引,存入集合Pvalley;最后,提取前5个波峰索引对应的子区域作为字符子图像,提取的算法如下:1)按照索引的升序方向提取前5个波峰索引Ppeak(1)~Ppeak(5),并找到与之距离最近的5个波谷索引,计算与对应波峰的距离D(1)~D(5);2)对每个波峰i,提取以波峰Ppeak(i)索引为中心,Ppeak(i)-D(i),Ppeak(i)+D(i)为起始与终止索引用于分割字符子图像。
进一步,所述特征匹配法包括特征提取与特征识别,特征提取是通过相应的方法提取表征图像特征的信息,特征识别是根据给定的图像信息,决定其是否属于某种图像类别的过程;
所述特征提取包括:在字符分割的环节,已经能够得到仅包含一个字符的子图像,从0~9这10个字符的形状结构特征比较明显,将其作为区分不同字符的特征;为了获取图像的结构特征首先对图像进行细化,在细化前,为了突出字符内容,对字符子图像做二值化处理,突出图像中的字符部分,并通过开运算消除二值化过程中产生的噪点;经过二值化的子图像消除了背景与其他影响特征提取的因素,仅包含字符部分,为了统一表征图像的信息,在图像细化之前对字符进行归一化,统一为32×32大小的子图像,接下来对图像做细化操作,即可获取到图像的结构特征;
所述特征识别包括:首先通过采集多种燃气表、多个数字的结构特征建立了一个供字符图像匹配的特征库,利用待识别字符的特征向量与特征库中特征向量之间的欧式距离作为匹配程度;采用3-近邻法进行字符识别的过程,在特征匹配开始后,利用欧式距离的度量方式,使用当前字符的特征向量与样本库中的特征向量逐一计算相应的匹配程度;通过排序获取前3个距离最小即匹配程度最好的样本字符,对这3个距离做阈值判断,距离大于阈值说明当前字符与样本字符的差别较大,将结束识别过程,度量距离小于阈值时,识别过程可继续进行;若其中有超过2个样本字符属于相同字符类别,判断当前字符所代表的数字与该样本字符代表的类别相同,字符匹配成功,当5个字符图像都匹配成功时即为表盘指数识别成功,否则识别失败。
本发明的有益效果在于:与现有技术相比,本方法在表盘定位与字符识别过程中对传统的方案做了改进,提升了对燃气表图像噪声的鲁棒性,能够更准确的、不包含其他杂质的字符子图像;同时,该方法使用图像的结构信息描述不同字符图像的特征,分类器使用基于3-近邻的方法构造,由于提取的0~9之间10个字符特征信息可分性很好,所以无需复杂的识别过程即可实现准确提取燃气指数的目标,因而在效率方面要远优于现有的燃气指数识别方法,从图像采集到特征识别成功整个过程不超过0.08s,因此能够集成到具有实时要求的燃气指数识别系统中;此外,本方法不依赖于任何第三方软件,可以移植到任何有需要的平台中,如PC平台或智能手机客户端等。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚,本发明提供如下附图进行说明:
图1为本发明的系统概要图;
图2为实施例中灰度化后的燃气表图像;
图3为水平方向的灰度值累积直方图;
图4为标记有过均值索引的直方图;
图5为水平提取燃气表图像的垂直方向灰度累加和投影;
图6为对垂直投影直方图做1阶差分取绝对值的效果图;
图7为标记有过均值索引的直方图;
图8为表盘图像的垂直灰度投影直方图;
图9为描绘了波峰波谷索引的直方图;
图10为匹配算法流程图。
具体实施方式
下面将结合附图,对本发明的优选实施例进行详细的描述。
图1为本发明的系统概要图,本发明提供的基于图像的燃气指数自动识别方法包括以下步骤:S1:用户启动智能手机客户端,通过智能手机摄像头实时拍摄燃气表图像;S2:智能手机客户端对拍摄的燃气表图像进行识别,检测用气指数,检测成功后自动将其显示出来,询问用户是否识别正确,如果得到用户确认,则将燃气的指数数据和燃气表图像上传至燃气公司后台服务器;S3:燃气公司的数据管理员通过服务器查看报表与修正异常数据;如果用户没能按时上传数据,则向用户发送提醒信息,通知用户及时上传。
本发明所提供的方法的目标是从燃气表图像中提取表盘的前5位数字(不记小数位)作为用户使用的用气指数数据,供燃气公司统计。该方法主要分为图像预处理、字符分割、特征提取与识别3个阶段。
燃气表图像预处理:
预处理步骤的主要任务是对表盘区域实现定位,即从原表盘图像中找到表盘位置,以便进行下一步字符分割的过程。为了减少数据量,提升算法效率,首先需要对图像进行灰度化,由于从图像的整体和局部色彩以及亮度等级的分布特征来看,灰度图像的描述与彩色图像的描述是一致的,所以灰度化处理并不影响接下来的处理过程。图2为实施例中灰度化后的燃气表图像。
与燃气表的其他区域相比,表盘区域整体的灰度值偏低,若对燃气表灰度图像做水平方向的灰度值累加和投影,那么表盘区域所对应灰度值的行累加和将会远低于其他区域对应行的灰度值累加和。对于给定的灰度图像I,第r行水平方向的灰度值累加和Phorizontal(r)可以定义为以下形式:
其中,I(r,c)表示图像第r行第c列的灰度值,cols为图像的总列数。经过累加和的计算,得到与图像行数相同数量的灰度投影向量:
Phorizontal=[Phorizontal(1),Phorizontal(2),...,Phorizontal(rows)] (2)
rows表示图像的总行数,对经过灰度处理后的图像做水平方向的投影得到直方图,如图3所示。
从直方图(图3)中可以看到3个比较明显的“沟壑”区域,即直方图下降幅度较大,并在低谷处维持平稳后上升的区域,直观看起来就像是“沟壑”的形状。通过观察这三个“沟壑”出现的行索引的信息,发现从左向右分别是图1和2的条形码区域、表盘区域、文字区域。由于表盘区域低像素区域过多、密度较大,其对应的“沟壑”宽度、深度都为最大。若以直方图的均值作为阈值,列出其过均值的索引,即可通过累计直方图的信息定位表盘区域的位置。
对给定的一个直方图向量P,其过均值索引由以下流程计算得到:
1)计算直方图向量的均值Pmeans,并初始化两个集合:上升方向索引集合S1与下降方向索引集合S2
2)对直方图的索引从小到大进行扫描,若在第i个索引处,有P(i-1)<Pmeans并且P(i+1)>Pmeans,则视i为上升方向索引,将i加入集合S1;若P(i-1)>Pmeans且P(i+1)<Pmeans,视i为下降方向索引,加入集合S2
对图3做过均值点检测的结果如图4所示,其中,绿色圆圈标明是向下方向的过均值索引,红色反之,绿色圆圈与红色圆圈构成了一对沟壑的左右边界,而其中长度最长的一对边界点放在原图像中就是表盘的上下边界。由此,可以得出一个结论:在含有表盘区域的燃气表图像中,表盘区域行方向的定位可通过水平投影的方式找到,即宽度最大的一对过均值索引所标记的行信息。
找到最大“沟壑”的算法定义如下:
1)遍历下降索引集合S2,若进行到第i个索引,从上升索引集合S1中选取一个上升索引j与其匹配,选择条件为:S1(i)<S2(j)且S1(i)与S2(j)之间的距离最短;
2)对于第i个索引,得到合适的j后,计算D(i)=S2(j)-S1(i)作为“沟壑”的宽度,并记录与宽度对应的“沟壑”起始索引:S1(i)与S2(j);
3)遍历下降索引集合结束后,选择宽度最大的一对索引S1(i)与S2(j)分别作为“沟壑”的起始与终止位置,算法结束。
经过水平方向的表盘提取后,由于在图像采集过程中无法精确的保持水平拍摄,会产生一定程度的倾斜,而倾斜的图像将会对后续的预处理过程造成错误影响。为了矫正倾斜,在表盘的上下两侧有两条与表盘区域平行的线框,若表盘的数字发生倾斜,则线框也会发生同样角度的倾斜,所以可以利用线框的角度测量来确定表盘的倾斜情况,为了突出线框位置,将水平提取的表盘图像做了扩展。得到包含表盘水平线框的图像后,使用直线检测的方式对线框进行提取,直线检测方法使用Hough变换。通过Hough变换可以检测出多条直线,但水平线框的直线长度是其中最长的,根据这样的特点,提取图中最长的一条直线。通过对线框直线的提取,发现线框的倾斜角度与表盘区域的倾斜角度是一致的,所以首先计算直线的倾斜角度,并根据角度做反向旋转,即可完成表盘的倾斜校正任务。
经过水平提取燃气表表盘区域后,下一步需要从垂直方向来对表盘进行提取,从而实现整个表盘的提取任务。为了引出接下来的结论,首先来看垂直方向的灰度像素累加和的直方图,如图5所示。与上述水平方向的直方图相同,对于图像I第c列垂直方向的灰度值的累加和,做如下定义:
Pvertical=[Pvertical(1),Pvertical(2),...,Pvertical(cols)] (4)
其中,Pvertical(c)代表第c列垂直方向灰度值的累加和,从而构成灰度投影向量Pvertical,rows与cols分别表示图像的总行数与总列数。
通过垂直投影直方图与原图像的对照观察,发现在表盘左右两侧的边界处,其对应的直方图区域投影值存在巨大跳变,即列对应索引100~200区间、800~900区间内的直方图曲线。但在直方图的后半段索引区域,由于表盘小数位灰度值低的区域较少,导致其对应的直方图区域较整数位偏高,无法使用水平提取时通过“沟壑”判断完整的表盘区域。为了消除直方图局部不均匀,同时又保留跳变信息,对直方图做了1阶差分取绝对值的处理,设向量dPvertical=|diff(Pvertical)|为Pvertical的差分绝对值,其对应的直方图如图6所示。
通过1阶差分取绝对值的处理,发现左右边界的跳变更加明显,同时淡化了局部升高对区域判断的影响,此时再使用“沟壑”判断的方法来提取表盘将会得到较好的效果。图7为标记有过均值索引的直方图。
经过水平、垂直两个方向提取的表盘图像除表盘之外再无其他的区域信息,此时图像的预处理结束,可以进行字符分割处理了。
字符分割:
字符分割的目的是将表盘内的字符分为单独的字符图像,以便特征的提取和识别过程。该阶段仍然通过投影直方图的方法实现对表盘图像的字符分割,但由于燃气表小数位背景区域的灰度值偏高,导致整幅图像的像素值分布不均匀,所以在进行投影之前,需要消除分布不均匀的问题,本发明中使用顶帽操作解决不均匀的问题。
经过顶帽变换的表盘图像中,影响像素值分布不均匀的背景已经消失,此时对图像做垂直方向的灰度投影可得到直方图如图8所示。
若将直方图绘制的曲线描绘为一组包含波峰波谷的波形,那么波峰处对应的图形即为每个字符图像,而波谷对应的区域即可作为不同字符子图像的分割点,对于直方图向量P,其对应的波峰波谷索引定义为:遍历直方图向量P,若在第i个索引处满足P(i)≥P(i-1)且P(i)≥P(i+1),则i属于波峰索引,加入结合Ppeak,若P(i)≤P(i-1)且P(i)≤P(i+1),则i属于波谷索引,存入集合Pvalley。根据如上定义,描绘出了图8对应直方图的波峰点与波谷索引,如图9所示。
如图所示,红色圆圈标记为波峰,绿色圆圈标记为波谷,由于最终的识别目标是表盘的整数位即前五位数字,所以算法只提取前5个波峰索引对应的子区域作为字符子图像。提取的算法如下:
1)按照索引的升序方向提取前5个波峰索引Ppeak(1)~Ppeak(5),并找到与之距离最近的5个波谷索引,计算与对应波峰的距离D(1)~D(5);
2)对每个波峰i,提取以波峰Ppeak(i)索引为中心,Ppeak(i)-D(i),Ppeak(i)+D(i)为起始与终止索引用于分割字符子图像。
从分割效果来看,该方法能够将表盘图像通过直方图投影的方法切分为多个子图像,且分割后每个字符子图像仅包含一个字符。
字符特征提取与识别:
本阶段包含两部分内容:特征提取与特征识别,其中特征提取主要指的是通过相应的方法提取表征图像特征的信息,特征识别指的是根据给定的图像信息,决定其是否属于某种图像类别的过程。
对于特征提取,在字符分割的环节,已经能够得到仅包含一个字符的子图像,通过对字符图像的观察,发现从0~9这10个字符的形状结构特征比较明显,可以作为区分不同字符的特征。为了获取到图像的结构特征需要对图像进行细化,在细化前,为了突出字符内容,对字符子图像做二值化处理,突出图像中的字符部分,并通过开运算消除二值化过程中产生的噪点。经过二值化的子图像消除了背景与其他影响特征提取的因素,仅包含字符部分。为了统一表征图像的信息,在图像细化之前需要对字符进行归一化,统一为32×32大小的子图像;接下来对图像做细化操作,即可获取到图像的结构特征。
但在细化过程中,由于字符图像的结构边缘会产生类似毛刺的效果,若此时统计字符特征将计入很多不属于字符本身的结构,需要消除这些毛刺信息。消除毛刺后,得到了结构清晰、不包含其他杂质的字符图像,可进行下一步的特征提取过程。
字符图像经过数字化后,通常被描述为黑白像素的矩阵。若直接使用矩阵数据作为字符图像的描述参数,那么当矩阵规模很大的情况下,将会增加特征的存储空间,同时也会降低算法的效率。为此需要进行合适的特征抽取过程,用于描述最能反应目标本质的因素,同时减少存储量和计算量。
在本发明中,通过ET1特征和DT12特征描述文字结构,ET1特征和DT12特征能够较好的用于文字的特征表述与识别过程。
ET1和DT12的描述如下:
ET1特征:从边缘起始的像素点位置向终止方向进行扫描,在遇到第一个白色像素点后停止,统计其中经过的黑色像素点的数量即为ET1特征;
DT12特征:从边缘起始的像素点位置向终止方向进行扫描,遇到第一个白色像素点后继续扫描,直到再次扫描到白色像素点为止,统计两个白色像素点中间经过的黑色像素点的数量即为DT12特征。
在实际的扫描过程中,由于特征图像是经过骨骼化处理的单像素宽度的结构图像,所以适用于ET1与DT12特征的采集。为了减少扫描过程出现的误差,使用多个相邻扫描结果的均值作为1个扫描特征值。
在本实施例中,由于字符子图像是32×32的二值化的骨骼图像,所以对一幅图像的4个边界,每个边界均分为8等分,每部分提取4个特征的均值作为这部分的特征,最后使用图像的尺寸对特征进行归一化处理,使特征值位于0~1之间。则ET1特征可提取32个,DT12也可以提取32个。共64个特征。其中,特征的组合方式为:
F=[ET1Left,DT12Left,ET1Right,DT12Right,ET1Top,DT12Top,ET1Bottom,DT12Bottom]
其中,ET1Left,DT12Left表示从左边界开始扫描的ET1特征与DT12特征,ET1Right,DT12Right表示从右边界开始扫描的ET1特征与DT12特征,ET1Top,DT12Top表示从顶部边界开始扫描的ET1特征与DT12特征,ET1Bottom,DT12Bottom表示从底部边界开始扫描的ET1特征与DT12特征。
通过特征直方图的方式来观察不同数字字符的特征向量以及他们的区别,结果表明,相同字符之间的特征向量相似度很大,不同字符特征向量之间的差别较大容易分辨。
在特征识别的环节,首先通过采集多种燃气表、多个数字的结构特征建立了一个供字符图像匹配的特征库,利用待识别字符的特征向量与特征库中特征向量之间的欧式距离作为匹配程度。距离的特征识别流程如图10所示。
算法采用3-近邻法进行字符识别的过程,在特征匹配开始后,利用欧式距离的度量方式,使用当前字符的特征向量与样本库中的特征向量逐一计算相应的匹配程度。通过排序获取前3个距离最小即匹配程度最好的样本字符,对这3个距离做阈值判断,距离大于阈值说明当前字符与样本字符的差别较大,将结束识别过程,度量距离小于阈值时,识别过程可继续进行。若其中有超过2个样本字符属于相同字符类别,判断当前字符所代表的数字与该样本字符代表的类别相同,字符匹配成功,当5个字符图像都匹配成功时即为表盘指数识别成功,否则识别失败。
最后说明的是,以上优选实施例仅用以说明本发明的技术方案而非限制,尽管通过上述优选实施例已经对本发明进行了详细的描述,但本领域技术人员应当理解,可以在形式上和细节上对其作出各种各样的改变,而不偏离本发明权利要求书所限定的范围。

Claims (4)

1.一种基于图像的燃气指数自动识别方法,其特征在于:该方法包括以下步骤:
S1:用户启动智能手机客户端,通过智能手机摄像头实时拍摄燃气表图像;
S2:智能手机客户端对拍摄的燃气表图像进行识别,检测用气指数,检测成功后自动将其显示出来,询问用户是否识别正确,如果得到用户确认,则将燃气的指数数据和燃气表图像上传至燃气公司后台服务器;
S3:燃气公司的数据管理员通过服务器查看报表与修正异常数据;如果用户没能按时上传数据,则向用户发送提醒信息,通知用户及时上传;
在步骤S1中,手机客户端将自动打开手机的后置摄像头,其拍摄的燃气表图像数据将显示在用户的手机页面中;为引导用户将扫描区域对准表盘,客户端对拍摄的燃气表图像中的扫描区域做高亮处理,通过对字符的定位来帮助用户调整摄像头的距离与角度;
在步骤S2中,燃气指数数字的识别方法采用特征匹配法,在扫描过程前,客户端加载燃气指数特征库;在自动扫描期间,系统对视频拍摄的每一帧都做扫描处理,通过图像预处理改善图像质量;使用投影法定位表盘、分割不同字符,实现字符分割;最后使用骨骼化字符图像的方法细化图像,获取其结构特征,经过特征匹配后得到最终的识别结果;
所述特征匹配法包括特征提取与特征识别,特征提取是通过相应的方法提取表征图像特征的信息,特征识别是根据给定的图像信息,决定其是否属于某种图像类别的过程;
所述特征提取包括:在字符分割的环节,已经能够得到仅包含一个字符的子图像,从0~9这10个字符的形状结构特征比较明显,将其作为区分不同字符的特征;为了获取图像的结构特征首先对图像进行细化,在细化前,为了突出字符内容,对字符子图像做二值化处理,突出图像中的字符部分,并通过开运算消除二值化过程中产生的噪点;经过二值化的子图像消除了背景与其他影响特征提取的因素,仅包含字符部分,为了统一表征图像的信息,在图像细化之前对字符进行归一化,统一为32×32大小的子图像,接下来对图像做细化操作,即可获取到图像的结构特征;
通过ET1特征和DT12特征描述文字结构,ET1特征:从边缘起始的像素点位置向终止方向进行扫描,在遇到第一个白色像素点后停止,统计其中经过的黑色像素点的数量即为ET1特征;DT12特征:从边缘起始的像素点位置向终止方向进行扫描,遇到第一个白色像素点后继续扫描,直到再次扫描到白色像素点为止,统计两个白色像素点中间经过的黑色像素点的数量即为DT12特征;
所述特征识别包括:首先通过采集多种燃气表、多个数字的结构特征建立了一个供字符图像匹配的特征库,利用待识别字符的特征向量与特征库中特征向量之间的欧式距离作为匹配程度;采用3-近邻法进行字符识别的过程,在特征匹配开始后,利用欧式距离的度量方式,使用当前字符的特征向量与样本库中的特征向量逐一计算相应的匹配程度;通过排序获取前3个距离最小即匹配程度最好的样本字符,对这3个距离做阈值判断,距离大于阈值说明当前字符与样本字符的差别较大,将结束识别过程,度量距离小于阈值时,识别过程可继续进行;若其中有超过2个样本字符属于相同字符类别,判断当前字符所代表的数字与该样本字符代表的类别相同,字符匹配成功,当5个字符图像都匹配成功时即为表盘指数识别成功,否则识别失败。
2.根据权利要求1所述的一种基于图像的燃气指数自动识别方法,其特征在于:在所述的特征匹配过程中,首先计算当前字符特征与0~9所有模板特征的欧式距离,取距离最小的3个模板特征,若3个特征中有2个或以上的模板属于同一个字符,同时欧式距离小于给定阈值时,判断当前字符属于对应的模板字符,识别成功,否则,识别失败;仅当表盘的前5个字符都识别成功,且连续两帧图像识别结果完全相同的情况下,客户端才跳转到燃气指数上传页面。
3.根据权利要求1所述的一种基于图像的燃气指数自动识别方法,其特征在于:所述图像预处理具体包括以下步骤:
1)对图像进行灰度化;
2)对燃气表灰度图像做水平方向的灰度值累加和投影,表盘区域行方向的定位通过水平投影的方式找到,即宽度最大的一对过均值索引所标记的行信息;
3)对燃气表灰度图像做垂直方向的灰度值累加和投影,完成从垂直方向对表盘进行提取,从而实现整个表盘的提取任务。
4.根据权利要求1所述的一种基于图像的燃气指数自动识别方法,其特征在于:所述字符分割是将表盘内的字符分为单独的字符图像,以便特征的提取和识别过程,通过投影直方图的方法实现对表盘图像的字符分割:
首先,使用顶帽操作解决整幅图像的像素值分布不均匀的问题;其次,将直方图绘制的曲线描绘为一组包含波峰波谷的波形,那么波峰处对应的图形即为每个字符图像,而波谷对应的区域即作为不同字符子图像的分割点,对于直方图向量P,其对应的波峰波谷索引定义为:遍历直方图向量P,若在第i个索引处满足P(i)≥P(i-1)且P(i)≥P(i+1),则i属于波峰索引,加入结合Ppeak,若P(i)≤P(i-1)且P(i)≤P(i+1),则i属于波谷索引,存入集合Pvalley;最后,提取前5个波峰索引对应的子区域作为字符子图像,提取的算法如下:1)按照索引的升序方向提取前5个波峰索引Ppeak(1)~Ppeak(5),并找到与之距离最近的5个波谷索引,计算与对应波峰的距离D(1)~D(5);2)对每个波峰i,提取以波峰Ppeak(i)索引为中心,Ppeak(i)-D(i),Ppeak(i)+D(i)为起始与终止索引用于分割字符子图像。
CN201610518252.2A 2016-07-04 2016-07-04 一种基于图像的燃气指数自动识别方法 Expired - Fee Related CN106169080B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610518252.2A CN106169080B (zh) 2016-07-04 2016-07-04 一种基于图像的燃气指数自动识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610518252.2A CN106169080B (zh) 2016-07-04 2016-07-04 一种基于图像的燃气指数自动识别方法

Publications (2)

Publication Number Publication Date
CN106169080A CN106169080A (zh) 2016-11-30
CN106169080B true CN106169080B (zh) 2019-04-19

Family

ID=58064565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610518252.2A Expired - Fee Related CN106169080B (zh) 2016-07-04 2016-07-04 一种基于图像的燃气指数自动识别方法

Country Status (1)

Country Link
CN (1) CN106169080B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108133213A (zh) * 2016-12-01 2018-06-08 西安米特电子科技有限公司 一种面向燃气表外壳式摄像的嵌入式数字识别方法
CN107452144A (zh) * 2017-08-17 2017-12-08 成都工业学院 自动计费方法与装置
CN107808159B (zh) * 2017-11-20 2019-01-29 杭州先锋电子技术股份有限公司 一种用于计量仪表机械表盘的数字自动识别抄表方法
CN108229482B (zh) * 2017-12-28 2021-06-22 新智数字科技有限公司 燃气表的识别方法及系统
CN108269256A (zh) * 2018-02-07 2018-07-10 国网福建省电力有限公司 一种基于图像识别的局放监测方案的自动生成方法
CN108427954B (zh) * 2018-03-19 2021-08-27 上海壹墨图文设计制作有限公司 一种标牌信息采集与识别系统
CN109785522A (zh) * 2019-02-18 2019-05-21 石家庄科林物联网科技有限公司 一种计量表的预付费方法
CN109813385A (zh) * 2019-02-18 2019-05-28 石家庄科林物联网科技有限公司 一种家用计量表数据的读取及校验方法
CN112163583A (zh) * 2020-09-25 2021-01-01 珠海智通信息技术有限公司 数字表读数的识别方法、识别设备以及计算机可读存储介质
CN112418226B (zh) * 2020-10-23 2022-11-25 济南信通达电气科技有限公司 一种鱼眼分合闸状态识别的方法及装置
CN112529003A (zh) * 2020-12-09 2021-03-19 安徽工业大学 一种基于Faster-RCNN的仪表盘数字识别方法
CN112818973B (zh) * 2021-01-26 2022-09-09 浙江国自机器人技术股份有限公司 一种用于表计识别的定位及读数的复查方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663377A (zh) * 2012-03-15 2012-09-12 华中科技大学 一种基于模板匹配的字符识别方法
CN202816133U (zh) * 2012-10-10 2013-03-20 大连东锐软件有限公司 一种燃气用户自传数据的移动抄表系统
KR20150065197A (ko) * 2013-12-04 2015-06-15 금오공과대학교 산학협력단 스마트폰 앱을 이용한 가스 검침과 가스 차단 시스템
CN104780500A (zh) * 2015-04-23 2015-07-15 四川鹏翔电子科技有限责任公司 一种基于app物联网抄表系统及其抄表方法
CN104899587A (zh) * 2015-06-19 2015-09-09 四川大学 一种基于机器学习的数字式表计识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015114956A (ja) * 2013-12-13 2015-06-22 公立大学法人大阪市立大学 ガスメータに表示されるガスの使用量の読取りシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663377A (zh) * 2012-03-15 2012-09-12 华中科技大学 一种基于模板匹配的字符识别方法
CN202816133U (zh) * 2012-10-10 2013-03-20 大连东锐软件有限公司 一种燃气用户自传数据的移动抄表系统
KR20150065197A (ko) * 2013-12-04 2015-06-15 금오공과대학교 산학협력단 스마트폰 앱을 이용한 가스 검침과 가스 차단 시스템
CN104780500A (zh) * 2015-04-23 2015-07-15 四川鹏翔电子科技有限责任公司 一种基于app物联网抄表系统及其抄表方法
CN104899587A (zh) * 2015-06-19 2015-09-09 四川大学 一种基于机器学习的数字式表计识别方法

Also Published As

Publication number Publication date
CN106169080A (zh) 2016-11-30

Similar Documents

Publication Publication Date Title
CN106169080B (zh) 一种基于图像的燃气指数自动识别方法
CN109657665B (zh) 一种基于深度学习的发票批量自动识别系统
CN105046252B (zh) 一种人民币冠字码识别方法
US7480408B2 (en) Degraded dictionary generation method and apparatus
CN108596166A (zh) 一种基于卷积神经网络分类的集装箱箱号识别方法
CN108133216B (zh) 基于机器视觉的可实现小数点读取的数码管读数识别方法
CN111353961B (zh) 一种文档曲面校正方法及装置
CN109784342A (zh) 一种基于深度学习模型的ocr识别方法及终端
CN109740572A (zh) 一种基于局部彩色纹理特征的人脸活体检测方法
CN111539330B (zh) 一种基于双svm多分类器的变电站数显仪表识别方法
CN105260428A (zh) 图片处理方法和装置
CN106778717A (zh) 一种基于图像识别和k近邻的测评表识别方法
CN110929562A (zh) 一种基于改进Hough变换的答题卡识别方法
CN112036259A (zh) 一种基于图像处理与深度学习相结合的表格矫正与识别的方法
CN110689003A (zh) 低照度成像车牌识别方法、系统、计算机设备及存储介质
CN114429649B (zh) 目标图像识别方法及装置
CN115082922A (zh) 基于深度学习的水表数字图片处理方法及系统
CN114359538A (zh) 一种水表读数定位与识别方法
CN115082776A (zh) 一种基于图像识别的电能表自动检测系统及方法
CN106682670B (zh) 一种台标识别方法及系统
CN115578741A (zh) 一种基于Mask R-cnn算法和类型分割的扫描文件版面分析方法
CN108197624A (zh) 证书图像校正识别方法及装置、计算机存储介质
CN104077562B (zh) 一种答卷的扫描方向判断方法
CN110766001B (zh) 基于cnn和rnn的银行卡卡号定位与端到端识别方法
CN110298236B (zh) 一种基于深度学习的盲文图像自动识别方法和系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190419

Termination date: 20200704

CF01 Termination of patent right due to non-payment of annual fee