CN112040198A

CN112040198A - 一种基于图像处理的智能水表读数识别系统与方法

Info

Publication number: CN112040198A
Application number: CN202010974297.7A
Authority: CN
Inventors: 王文郁; 夏圣奎; 吉训生
Original assignee: Nantong Tiancheng Modern Agricultural Technology Co ltd
Current assignee: Nantong Tiancheng Modern Agricultural Technology Co ltd
Priority date: 2020-09-16
Filing date: 2020-09-16
Publication date: 2020-12-04

Abstract

本发明公开了一种基于图像处理的智能水表读数识别系统与方法，具体涉及水表图像处理技术领域，包括包括抄表终端模块与远程中心模块，所述抄表终端模块包括抄表器，所述抄表器包括树莓派微型电脑，所述树莓派微型电脑上分别连接有图像采集模块、图像处理模块与数据通讯模块，所述远程中心模块包括数据库模块、数据通讯模块、数据管理软件模块与监听模块。本发明解决了现有水表的远程抄表系统的弊端，同时避免了把采集图像回传至控制中心所造成的数据流量与存储资源的浪费。

Description

一种基于图像处理的智能水表读数识别系统与方法

技术领域

本发明涉及水表图像处理技术领域，更具体地说，本发明涉及一种基于图像处理的智能水表读数识别系统与方法。

背景技术

水是人类赖以生存和发展不可替代的自然资源，但它是有限的，不能毫无节制的浪费。水表作为水流量的计量仪器，直观反映用水量。目前，大多数供水部门或企业都是雇用专门的抄表员来抄取水表读数，每月抄取一次。然而人工抄表有其天然弊端，首先对于大型城市，需要雇用大量抄表人员并付出不小的人力成本和时间成本。其次人工抄表难免会发生误抄或漏抄等现象，并且还需对纸质资料进行整理并录入指定系统，这也是一项费时费力且容易出错的过程。最后人工抄表不够实时，不能及时掌握居民或企业的实时用水情况。对于一些紧急情况，如严重漏水、偷水现象等不能及时处理，给供水部门带来严重损失。

新一代信息技术——物联网技术也越来越多的应用到了远程抄表系统中。远程抄表系统中的实时监控视频能够为各级用户提供较为直观、清晰、准确、稳定的水表读数获取,为设备维修和故障诊断提供多方面的可能性。

现有的水表读数检测方法，大多采用灰度直方图模板匹配的方法来检测数字读数，由于在水表外被环境复杂，容易受到光照、背景环境等因素影响。目前使用较多的基于方向梯度直方图HOG特征和支持向量机SVM分类器的识别方法，大部分是确定行水表读数位置后，提取字符的方向梯度直方图HOG特征，利用支持向量机SVM训练成分类器进行字符分类。在字符识别中，方向梯度直方图HOG特征加支持向量机SVM算法由于采用了方向梯度直方图HOG特征，方向梯度直方图 HOG描述子生成过程冗长，导致速度慢，实时性查，由于梯度的性质，该描述子对噪点相对敏感。

近年来，随着深度学习研究的发展，卷积神经网络CNN成为计算机视觉领域的研究热点，其权值共享方式降低了网络模型的复杂度，减少权值的数量。该优点在目标检测领域表现更明显，网络输入为图像，避免了传统检测算法中复杂的特征提取和数据重建。

针对水表的远程抄表的问题，提供了一种基于图像处理的智能水表读数识别系统与方法用于改进FasterR-CNN的水表读数检测。

发明内容

为了克服现有技术的上述缺陷，本发明的实施例提供一种基于图像处理的智能水表读数识别系统与方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

根据本发明的一个方面，提供了一种基于图像处理的智能水表读数识别系统，包括抄表终端模块与远程中心模块，所述抄表终端模块包括抄表器，所述抄表器包括树莓派微型电脑，所述树莓派微型电脑上分别连接有图像采集模块、图像处理模块与数据通讯模块，所述远程中心模块包括数据库模块、数据通讯模块、数据管理软件模块与监听模块。

在上述技术方案的基础上，所述图像采集模块包括摄像头。

在上述技术方案的基础上，所述抄表器内安装有存储器。

在上述技术方案的基础上，所述抄表终端模块上连接有警报器。

在上述技术方案的基础上，所述图像处理模块包括图像预处理单元、水表读数识别单元与硬件处理单元。

根据本发明的另一方面，提供了一种基于图像处理的智能水表读数识别方法，用于基于图像处理的智能水表读数识别系统的识别，包括以下步骤：

S1：图像采集，通过摄像头拍摄水表读数图片；

S2：图片处理，通过图像处理模块进行图片处理，采用VGG-16 网络的13层卷积层作为特征提取层，将提取到的特征共享给后续的 RPN模块和分类模块进行识别；

S3：数据上传，将图像数据上传至远程中心模块；

S4：数据常规处理，远程中心模块将获得的水表读数存放到数据库模块中，同时将水表的相关信息，如水表对应的用户信息、终端信息等均存储在数据库模块中，由数据管理软件模块进行管理；

S5：数据异常处理，图像数据在RPN模块和分类模块进行识别后发现异常情况，警报器发出警报，让操作人员进行处理。

本发明的技术效果和优点：

1、与现有技术相比，本发明解决了现有水表的远程抄表系统的弊端，同时开发了基于图像处理的摄像直读式远程抄表系统，该系统的抄表终端定时控制摄像头拍摄水表图像并调用算法获取水表读数，然后通过无线网络将识别结果发送至远程中心，由远程中心完成数据的存储和管理，避免了把采集图像回传至控制中心所造成的数据流量与存储资源的浪费。

附图说明

图1为本发明的系统图。

图2为本发明的流程图。

图3为Faster R-CNN基础模型示意图。

图4为VGG-16网络的示意图。

图5为RPN示意图。

图6为读数识别流程图。

图7为树莓派微型电脑工作示意图。

图8为数据的发送和接收示意图。

图9为远程控制监听示意图。

附图标记为：1、抄表终端模块；2、远程中心模块；3、抄表器； 4、树莓派微型电脑；5、图像采集模块；6、图像处理模块；7、数据通讯模块；8、数据库模块；9、数据通讯模块；10、数据管理软件模块；11、监听模块；12、摄像头；13、存储器；14、警报器；15、图像预处理单元；16、水表读数识别单元；17、硬件处理单元。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如附图1-2所示的一种基于图像处理的智能水表读数识别系统，包括抄表终端模块1与远程中心模块2，抄表终端模块1包括抄表器 3，抄表器3包括树莓派微型电脑4，树莓派微型电脑4上分别连接有图像采集模块5、图像处理模块6与数据通讯模块7，远程中心模块2包括数据库模块8、数据通讯模块9、数据管理软件模块10与监听模块11。

进一步的，图像采集模块5包括摄像头12。

进一步的，抄表器3内安装有存储器13。

进一步的，抄表终端模块1上连接有警报器14。

进一步的，图像处理模块6包括图像预处理单元15、水表读数识别单元16与硬件处理单元17。

一种基于图像处理的智能水表读数识别方法，用于基于图像处理的智能水表读数识别系统的识别，包括以下步骤：

S1：图像采集，通过摄像头12拍摄水表读数图片；

S2：图片处理，通过图像处理模块6进行图片处理，采用VGG-16 网络的13层卷积层作为特征提取层，将提取到的特征共享给后续的 RPN模块和分类模块进行识别；

S3：数据上传，将图像数据上传至远程中心模块2。

S4：数据常规处理，远程中心模块2将获得的水表读数存放到数据库模块8中，同时将水表的相关信息，如水表对应的用户信息、终端信息等均存储在数据库模块8中，由数据管理软件模块10进行管理。

S5：数据异常处理，图像数据在RPN模块和分类模块进行识别后发现异常情况，警报器14发出警报，让操作人员进行处理。

本发明工作原理：抄表终端模块1向摄像头12发送图像采集的指令，摄像头12把获取的图像返回给抄表器3并存储，然后抄表终端模块1采用传统图像处理算法或深度学习算法对水表图像进行处理和数字识别，并比较多次的识别结果，如果结果一致就将识别结果发送给远程中心模块2，否则将水表相关信息上传，同时发出警报让操作人员进行处理，远程中心模块2将获得的水表读数存放到数据库模块8中，同时将水表的相关信息，如水表对应的用户信息、终端信息等均存储在数据库模块8中，由数据管理软件模块10进行管理。

本系统的抄表终端定时控制摄像头12拍摄水表图像并调用算法获取水表读数，然后通过无线网络将识别结果发送至远程中心模块2，由远程中心完成数据的存储和管理，图像处理模块6包括图像预处理单元15、水表读数识别单元16以及硬件处理单元17，其中：图像预处理单元15主要针对图像进行预处理，包括彩色图像转为灰度图像、图像增强等，然后采用canny边缘检测算法获取图像边缘，通过Hough 圆检测法去掉圆形金属外壳所在区域像素点干扰，再根据m标识符与字轮区域的相对位置进行定位；水表读数识别单元16针对数字字符的长宽比特点，优化区域建议网络，然后引入多尺度特征融合，结合浅层网络的语义信息提取候选区域卷积特征，有效提高的水表字符的检测精度；硬件处理单元17针对传输图像至控制中心而造成的流量和空间浪费问题，本系统采用树莓派3B+搭载摄像头12拍摄水表图像，然后调用算法获取水表读数并上传，远程中心模块2主要包括数据库模块8、数据通讯模块9、数据管理软件模块10；首先基于用户需求，设计并搭建了数据库；然后基于TCP/IP协议的套接字(socket) 和多线程技术实现远程中心与树莓派之间的通信；最后数据管理软件实现人员管理，抄表管理以及统计管理等功能需求。

本方法采用了Faster R-CNN模型作为基础模型，其实现方案是：(1)输入采集到的水表图像；(2)使用RPN网络生成候选区域(region proposals)；(3)通过ROI pooling获得固定大小的特征图；(4)通过一个全连接层(FC)得到分类的特征向量；通过另一个全连接层：对每一类的Bounding box回归，利用softmax loss和SmoothL1Loss 对分类概率和边框回归进行联合训练，

Faster R-CNN的损失函数包括分类损失和目标样本的窗口位置偏差，如下式表示：

其中，p_i表示anchor预测为目标的概率；

表示真实区域的标签，负样本时

正样本时

t_i＝{t_x,t_y,t_w,t_h}表示预测的包围盒坐标位置，

表示anchor对应的真实区域包围盒坐标位置；

分类损失

的计算公式：

对于回归损失，通过

来计算，R是smoothL1函数，

P_i ^**L_reg意味着只有正anchor(P_i ^*＝1)，才会有回归损失，其他情况下由于P_i ^*＝0，回归损失不存在，其中{P_i}和t_i分别组成了分类层和回归层的输出，又经由N_cls和N_reg及权重平衡系数λ进行归一化，对于回归所用的四个坐标：

其中，x、y、w、h 分别表示中心纵横坐标、宽、高；x、x_a、x^*分别表示预测包围盒、anchor 包围盒、真值包围盒的横坐标，真实区域包围盒的x坐标。

在工作时，本发明采用VGG-16网络的13层卷积层作为特征提取层，将提取到的特征共享给后续的RPN模块和分类模块。

本发明为解决Conv5_3卷积层特征图的分辨率较低的问题，通过多尺度特征融合的方式提高准确率。由于原始Faster R-CNN模型是在VGG16网络的最后一个卷积层Conv5_3上应用ROI pooling，虽然 Conv5_3卷积层有高级语义信息，但是特征图的分辨率较低。为了更好地利用多层卷积特征，丰富每个边界框的判别信息，本文先将 Conv4_3和Conv5_3的feature map单独进行ROI pooling，然后把这两层Pooling后的feature map通过add方式融合，再用1*1的卷积核对拼接得到的特征图进行卷积操作。1*1的卷积有两个作用：一是融合多通道信息；二是降维，为下一步的FC做准备。这样既不增加计算量，又能利用更高分辨率的conv4_3层特征；

本发明采用add特征融合通过对应特征图的相加，增加每一维度下的信息量，再进行下一步卷积操作，add的卷积公式如式所示：

式中D_add表示单个通道，X_i、Y_i表示输入通道，K_i表示对应通道的卷积核；

本发明还使用RPN生成预测候选区域：RPN是一个全卷积网络 (fully connectionnetwork，FCN)，由一个卷积核大小为1x1的卷积层与2个全连接层组成。先通过生成一个特定大小的滑动窗口，在本文中滑动窗口的大小为3x3，然后将滑窗在输入的特征映射图F上的每一个中心点上滑动，在每个中心点位置生成9个标定框，为解决检测目标大小比例不一样的问题，将anchor赋予不同的面积和不同长宽比，在原Faster R-CNN中长宽比为(1:1,1:2,2:1)，可以很好的预测标定目标，本文根据水表数字字符的特点，将标定框的长宽比优化为(1:1,1.5:1,2:1)，并根据训练经验设置成三种规格大小，这样更适合对数字字符的检测。

本发明的远程抄表系统主要由抄表终端和远程中心组成，嵌入式抄表终端主要由控制器、摄像头以及补光灯等组成，完成对水表图像采集、处理以及识别等任务。远程中心主主要由服务器、数据库、客户端等组成，负责数据库存储、统计管理等功能；

抄表终端软件采用Python语言进行开发。树莓派上电启动后进行一系列初始化，自动执行启动脚本，运行Python语言程序；然后在合适的时机建立相应的线程来实现树莓派的模块化功能，比如图像采集、图像处理和数据通讯等模块。

抄表终端根据设置好的参数，定时控制摄像头进行水表图像的采集，并进行命名和存储。通过在Python程序和picamera库代用摄像头进行拍照，基本的调用语句如下：

import picamera

from time import sleep

camera＝picamera.PiCamera()

camera.capture('image.jpg')

camera.start_preview()

camera.vflip＝True

camera.hflip＝True

camera.brightness＝60

camera.start_recording('video.h264')

sleep(5)

camera.stop_recording()；

数据通讯模块7的主要功能是负责数据的发送和接收，一是定时将数据包队列中的数据包上传到远程中心，二是接受来自远程中心下发的设置参数的命令；服务端首先调用socket()创建套接字；其次通过bind()绑定到本机IP地址以及可用的端口上；然后使用listen()指定最大的连接数目并开始监听，等待客户端接入；客户端调用socket()创建套接字后利用connect()发出连接请求；当客户端发来连接请求时，使用accept()接受请求，与客户端成功建立连接；当双方成功建立连接时，分别调用send()以及recv() 开始数据的发送和接收，实现双方的通信；当通讯结束后，客户端使用close()关闭套接字并向服务端进行反馈；服务端会受到客户端退出的消息，同样调用close()关闭与该客户端之间的通讯。

远程中心按功能设计划分具体由数据库、数据通讯以及一个数据管理软件来实现，数据库负责系统数据的存储；数据通讯负责与树莓派端进行通讯，接受与解析数据，并与数据库进行交互；数据管理软件与数据库进行交互，并进行检测数据；

由于远程控制中心需要同时监听多个树莓派的连接请求，还要同时处理不同树莓派发来的数据或命令，因此采用多线程技术解决并发通信的问题。开启一个子线程作为主监听线程，等待树莓派的socket 连接，为每一个连接开启一个接受数据的线程，根据设计好了的通信协议完成数据解析，然后使用Python通过PyMySQL库连接数据库，使用原生的sql语句对数据表进行CRUD操作。

最后应说明的几点是：首先，在本申请的描述中，需要说明的是，除非另有规定和限定，术语“安装”、“相连”、“连接”应做广义理解，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变，则相对位置关系可能发生改变；

其次：本发明公开实施例附图中，只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计，在不冲突情况下，本发明同一实施例及不同实施例可以相互组合；

最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种基于图像处理的智能水表读数识别系统，其特征在于：包括抄表终端模块（1）与远程中心模块（2），所述抄表终端模块（1）包括抄表器（3），所述抄表器（3）包括树莓派微型电脑（4），所述树莓派微型电脑（4）上分别连接有图像采集模块（5）、图像处理模块（6）与数据通讯模块（7），所述远程中心模块（2）包括数据库模块（8）、数据通讯模块（9）、数据管理软件模块（10）与监听模块（11）。

2.根据权利要求1所述的一种基于图像处理的智能水表读数识别系统，其特征在于：所述图像采集模块（5）包括摄像头（12）。

3.根据权利要求1所述的一种基于图像处理的智能水表读数识别系统，其特征在于：所述抄表器（3）内安装有存储器（13）。

4.根据权利要求1所述的一种基于图像处理的智能水表读数识别系统，其特征在于：所述抄表终端模块（1）上连接有警报器（14）。

5.根据权利要求1所述的一种基于图像处理的智能水表读数识别系统，其特征在于：所述图像处理模块（6）包括图像预处理单元（15）、水表读数识别单元（16）与硬件处理单元（17）。

6.一种基于图像处理的智能水表读数识别方法，其特征在于：用于权利要求1所述的基于图像处理的智能水表读数识别系统的识别，包括以下步骤：

S1：图像采集，通过摄像头（12）拍摄水表读数图片；S2：图片处理，通过图像处理模块（6）进行图片处理，采用VGG-16网络的13层卷积层作为特征提取层，将提取到的特征共享给后续的RPN模块和分类模块进行识别；S3：数据上传，将图像数据上传至远程中心模块（2）。

7.S4：数据常规处理，远程中心模块（2）将获得的水表读数存放到数据库模块（8）中，同时将水表的相关信息，如水表对应的用户信息、终端信息等均存储在数据库模块（8）中，由数据管理软件模块（10）进行管理。

8.S5：数据异常处理，图像数据在RPN模块和分类模块进行识别后发现异常情况，警报器（14）发出警报，让操作人员进行处理。