CN116343228A - 一种水表智能读数方法及系统 - Google Patents

Abstract

本发明涉及一种水表智能读数方法及系统。所述方法包括获取待识别表盘图像；对获取的表盘图像进行预处理；对预处理后的表盘图像进行图像校正；利用数字框检测模型对经过图像校正后的表盘图像中的每个数字框位置进行检测，然后基于数字框检测模型获得每个数字框且同时得到相应数字框的坐标信息；利用数字分类模型对获得的数字框进行数据分类，并根据坐标信息对数值进行排序，从而得到正确的水表数据。本发明提供的一种水表智能读数方法及系统，利用图像信息化和AI模型识别技术实现自动化获取水表读数，既解决人工效率低下的问题，又提升了水表读数的效率。

Description

一种水表智能读数方法及系统

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种水表智能读数方法及系统。

背景技术

生活离不开水，为了节约水资源，国家对生活用水通过水表来进行计量收费。每家每户都有水表，传统的获取水表读数的方式是自来水公司每个月派遣大量工人去到小区的家家户户抄水表，这种传统的抄表方式不仅耗时费力，还容易出现登记错误、漏记、私自乱调表、抄人情表、以及私自修改用户的用水量等行为。

随着AI技术的发展，水表及水表读数智能化是大势所趋，现开发智能水表读数技术，既解决人工效率低下的问题，又提升了水表读数的效率。

发明内容

为了解决上述的问题，本申请的实施例中提供了一种水表智能读数方法和系统；其中，本申请的智能读数方法能够快速准确的读取水表中的数字，解决人工效率低下的问题；本申请提供的智能抄表系统能够实现水表的自动抄表，提升了水表读数的效率。

为实现上述目的，第一方面，本发明实施例记载了一种水表智能读数方法，包括：

获取待识别表盘图像；

对获取的表盘图像进行预处理；

对预处理后的表盘图像进行图像校正；

利用数字框检测模型对经过图像校正后的表盘图像中的每个数字框位置进行检测，然后基于数字框检测模型获得每个数字框且同时得到相应数字框的坐标信息；

利用数字分类模型对获得的数字框进行数据分类，并根据坐标信息对数值进行排序，从而得到正确的水表数据。

本发明首先对图像进行一系列预处理，接着对图片进行校正，然后利用数字框检测模型对每个数字框位置进行检测，然后基于此模型获得小的数字框且同时得到小的数字框的坐标信息，再利用数字分类模型对小的数字框进行数据分类，并根据坐标信息对数值进行排序，从而得到正确的水表数据。

作为一个可以实现的实施方式，所述数字框检测模型的网络结构包括依次连接的输入端、主干网络、颈部网络和输出端；

其中，所述输入端完成对图像进行自适应增强填充和自适应锚框计算；

所述主干网络用于提取图像特征；

所述颈部网络用于对提取的图像特征进行融合；

所述输出端采用提取到的多尺度特征图对目标物体进行预测，并输出的每个数字框坐标。

在该实施方式中，数字框检测模型中的输入端完成对图像进行自适应增强填充和自适应锚框计算，使得在训练数据集前，模型通过对数据集的标签框进行聚类获得初始锚框大小,自适应的计算出最佳的锚点框；

主干网络用于提取图像特征，包括C3模块和SPPF模块，其中C3模块用于减少模型计算量和提高推理速度，SPPF模块用于对同一个特征图进行多尺度特征提取,以此提升模型的精度；

颈部网络主要由特征金字塔和路径聚合结构组成；其中，特征金字塔将高层的特征信息通过上采样的方式进行传递融合，得到进行预测的特征图；路径聚合结构是自下而上传递定位信息,使低层信息更容易传播到顶层，路径聚合结构能融合不同尺寸特征图的特征信息,有助于提升模型对不同形状大小物体的检测能力；

输出端采用提取到的多尺度特征图对目标物体进行预测，并输出的每个数字框坐标，输出端的锚框机制通过聚类提取先验框尺度,并约束预测边框的位置，从而便于后续数字的正确读取。

作为一个可以实现的实施方式，所述数字分类模型的网络结构包括相互连接的卷积层、全连接层和池化层；其中，所述卷积层的卷积核为3*3，卷积层和池化层用于进行特征的提取，全连接层用于完成分类任务。

在该实施方式中，在经过上个数字框检测模型以后，根据输出的每个数字框坐标对各个数字框进行裁剪，得到五个含有数字的数字框，利用数字分类模型对每个数字框进行分类得到各个数值，并按照上个模型输出的各个数字框坐标值对数字进行排序从而正确得到表盘数字。

作为一个可以实现的实施方式，所述对获取的表盘图像进行预处理，具体包括：

采用加权平均值法对获取的表盘图像进行灰度处理，得到灰度图；

采用Sobel算子对灰度图进行边缘检测，获取表盘内部边缘轮廓；

采用自适应Otsu阈值分割法对获取表盘内部边缘轮廓进行二值化处理，对表盘内部轮廓不清晰的边缘进行滤除，留下较突出的边缘；

采用霍夫直线检测对表盘内数据框直线进行检测，获取偏转角度。

在该实施方式中，由于拍摄的角度及光照等因素影响，所拍摄水表图片需经过适当的预处理：首先对图片进行加权平均值灰度化处理，获得灰度图，然后在此基础上进行sobel边缘检测，主要目的在于表盘内部数据框的检测，其次采用自适应阈值分割方法，对表盘内部轮廓不清晰的边缘进行滤除，留下较突出的边缘，最后利用霍夫直线检测对表盘内数据框直线进行检测，获取偏转角度。

作为一个可以实现的实施方式，采用加权平均值法对获取的表盘图像进行灰度处理，得到灰度图，具体包括：

采用如下公式对获取的表盘图像进行灰度处理：

A(x,y)＝W×R+V×G+U×B

其中，A(x，y)代表灰度化后的图像上位置(x，y)处的灰度值，(x，y)为该像素点的像素坐标；x，y分别表示该像素点到图像两坐标轴的像素距离，x为像素的行值，y为像素的列值；W,V,U分别表示三种色彩分量的权重；R、G、B分别为彩色图像的色彩分量。

在该实施方式中，由于抄表员在工作时大多采用手机进行水表图像的拍摄，因此获得的水表图像一般为RGB真彩色图像。为了方便后续数字框边缘检测，因此图像预处理中首先对图像进行加权平均值法灰度化。

作为一个可以实现的实施方式，采用Sobel算子对灰度图进行边缘检测，获取表盘内部边缘轮廓，具体包括：

采用Sobel算子对灰度图做卷积，计算生成的新像素灰度值并选取合适的阈值，将像素点的灰度值与阈值进行比较，若大于阈值，则改点为图像的边缘点，以此来确定水表图像中各轮廓边缘。

sobel算子抑噪能力较好，检测出的边缘容易出现多像素宽度，可以区分出明显的直线边缘和其他不明显纹理的虚假边缘，提高了直线检测容错率，使得更有利于后续直线的检测。

作为一个可以实现的实施方式，采用自适应Otsu阈值分割法对获取表盘内部边缘轮廓进行二值化处理，对表盘内部轮廓不清晰的边缘进行滤除，留下较突出的边缘，具体包括：

设图像像素总数N，w、h是图像宽和高，则

N＝w×h

根据像素总数与灰度级范围L求出每个灰度级的概率，n_i表示灰度级i的像素个数，则

根据选取的最佳阈值T将图像分为了两类背景点C₀和前景点C₁，C₀由[0，T]之间的像素组成，C₁由[T+1，L-1]之间的像素组成，设N₀为小于阈值的像素的个数，N₁为大于阈值的像素个数，则

N＝N₀+N₁

定义图像均值为

同理可以得到C₀和C₁的均值u₀和u₁：

定义类间方差

δ²＝w₀(u₀-u)²+w₁(u₁-u)²＝w₀w₁(u₀-u₁)²

其中，w₀为背景点C₀占图像的比例，u₀为背景点C₀占图像的均值，w₁为前景点C₁占图像比例，u₁为前景点C₁占图像均值，u为整个图像的均值，u＝w₀×u₀+w₁×u₁，当类间方差δ²取得全局最大值，此时的T为最佳阈值；选定使得类间方差最大的阈值T，则像素值小于这个阈值的为背景，设置为0，大于这个阈值为前景，设置为1，即可得到二值图。

在该实施方式中，数字框的直线边缘采用Sobel算子处理后更加明显，但仍存在许多虚假边缘，由于虚假边缘与表盘内部清晰的轮廓边缘二者之间对比度较高，为了较好的观测到边缘信息，采用OTSU算法进行自适应阈值分割，选取一个分割阈值T，判断图像中每个像素与T的大小关系，将所有像素分为背景C₀和前景C₁两类，且当选取到最佳T阈值时，背景部分与前景部分的差别最大，此时利用最大类间方差来衡量，对一些细小的噪点及模糊边缘进行滤除，从而保留突出的边缘，方便后续检测。

作为一个可以实现的实施方式，所述采用霍夫直线检测对表盘内数据框直线进行检测，获取偏转角度，具体包括：

设共直线的点映射到参数空间中的所有正弦曲线交点为(ρ，θ)，该点即为共直线的法向角和原点到直线的法向距离，该直线可用以下式子表示：

ρ＝x×cosθ+y×sinθ

式中，ρ表示直线到图像圆点的距离，θ表示图像原点到直线的垂线与x轴的夹角，通过θ对图像进行倾斜校正，x和y的绝对值分别表示图像上像素点到y轴和x轴的距离。

作为一个可以实现的实施方式，所述对预处理后的表盘图像进行图像校正，具体包括：

根据得到的A(ρ，θ)中的θ的值对图像进行角度校正；当θ的值为0-90度范围内，根据θ的值对图像进行顺时针进行校正；当θ的值为90-180度范围内，根据π-θ的值对图像进行逆时针旋转进行校正。

在该实施方式中，由于拍摄角度及光照影响，表盘上数字框的上下边缘之一会比另一条更清晰且容易识别，所以有且仅有一条最长直线，根据最长直线进行水表图像的倾斜校正，保证后续检测的便捷。

第二方面，本发明实施例记载了一种水表智能读数系统，包括：

数据层，用于图像采集和数据存储，获取待识别表盘图像；

应用层，用于模型云端部署和图片本地存储，其中模型包括数字框检测模型和数字分类模型，所述应用层可对获取的表盘图像进行预处理，以校正图像，利用数字框检测模型对经过图像校正后的表盘图像中的每个数字框位置进行检测，然后基于数字框检测模型获得每个数字框且同时得到相应数字框的坐标信息；利用数字分类模型对获得的数字框进行数据分类，并根据坐标信息对数值进行排序，从而得到正确的水表数据；

展现层，用以与应用层进行后台调度、图片获取、数据读取及其数据传输交互，并用以展示水表读数。

本发明实施例的水表智能读数系统，不仅方便抄表员抄录水表，而且方便用户使用该系统进行缴费。

综上，本申请的有益效果在于∶能够快速准确的读取水表中的数字，提升了水表读数的效率，解决人工效率低下的问题。

附图说明

图1为本发明实施例提供的一种水表智能读数方法的执行流程图；

图2为本发明实施例提供的表盘图像预处理的处理流程图；

图3为本发明实施例获取的水表表盘图像的原图；

图4为本发明实施例对获取的表盘图像进行灰度处理后得到的灰度图；

图5为本发明实施例采用Sobel算子处理灰度图后获得的边缘检测效果图；

图6为本发明实施例采用自适应Otsu阈值分割法处理边缘检测效果图后获得的二值化图；

图7为本发明实施例采用霍夫直线检测对表盘内数据框直线进行检测获得直线检测图；

图8为本发明实施例对预处理后的表盘图像进行图像校正获得校正图；

图9为本发明实施例采用数字框检测模型对校正图进行检测后获得的数字框图；

图10为本发明实施例提供的数字分类模型的网络结构图；

图11为本发明实施例提供的智能抄表系统的架构图；

图12为本发明实施例提供的智能抄表系统的具体执行流程图；

图13为本发明实施例提供的智能抄表系统的具体使用流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。基于本发明中的实施例，本技术领域的技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

随着现代社会信息化、智能化程度的不断提高，越来越多的智能产品涌入我们的生活，水表作为现代社会广泛应用的计量产品，对自来水厂统计用户用水量起到重要的作用。传统的人工抄表的方式需要逐渐被淘汰，因为这样不仅会造成大量的人力物力浪费，还会出现各种各样的错误。

为此，本申请提供一种水表智能读数方法及系统，工作人员只需获得仪表图像，随后通过对图像进行一系列预处理，接着对图片进行校正，然后利用数字框检测模型对每个数字框位置进行检测，然后基于此模型获得五个小的数字框且同时得到五个小的数字框的坐标信息，再利用数字分类模型对五个小的数字框进行数据分类，并根据坐标信息对数值进行排序，从而得到正确的水表数据。

本申请利用图像信息化和AI模型识别技术实现自动化获取水表读数，这样不但有效避免了人力的浪费，具有投资费用和运作费用低，抄表过程快速、高效、易操作等优点，而且避免了漏抄、抄错数据等影响真实数据的问题，同时还减少了环境等因素对电表读数准确性的影响，一定程度上提高了读表的准确性和可靠性，适应现代用户对用水缴费的新需求。

为了更完全地理解本申请，给出了下面的实施例。这些实施例是用于具体说明本申请的实施方案，而不应以任何方式将其理解为是对本申请范围的限制。

实施例1

图1为本发明实施例提供的一种水表智能读数方法的执行流程图，依次包括：步骤S110、获取图像，步骤S120、图像预处理，步骤S130、图像校正，步骤S140、数字框检测和步骤S150、数字读取。

示例的，水表智能读数方法由电子设备执行，该电子设备可以为服务器也可以是终端设备，其中，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此，该终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例在此不做限制。

在一个具体的实施例中，步骤S110、获取图像，包括获取待识别表盘图像。

具体示例，工作人员可通过移动终端对待识别表盘进行拍照，并上传当前图像，或通过移动终端上传待识别表盘已拍摄的图像。示例性的，移动终端可以是智能手机、笔记本电脑、PAD(平板电脑)中的任意一种，本申请对此并不限制。

图2为本发明实施例提供的表盘图像预处理的处理流程图。如图2所示，在一些实施例中，步骤S120、图像预处理，具体包括：

步骤S121、采用加权平均值法对获取的表盘图像进行灰度处理，得到灰度图。

在该步骤中，需要说明的是，本实施方式中获取的表盘图像的原图如图3所示。由图3可知，由于抄表员在工作时大多采用手机进行水表图像的拍摄采集，因此获得的水表图像一般为RGB真彩色图像。在RGB真彩色图像中，每个像素的颜色由R、G、B三个分量决定，而每个分量有255个值可取，这样一个像素点可以有1600多万种(255*255*255)的颜色变化范围。如果R＝G＝B时，则彩色此时为一种灰度颜色，其中R＝G＝B的值叫做灰度值，因此灰度图像每个像素只需要一个字节来存放灰度值(又称为强度值、亮度值)，灰度范围为0-255。

为了方便后续数字框边缘检测，减少图像计算量，因此图像预处理中首先对图像进行加权平均值法灰度化。其中，加权平均值灰度化方法将彩色图像中像素的R分量、G分量和B分量3个数值的加权平均值作为灰度图的灰度值。

具体的，采用如下公式对获取的表盘图像进行灰度处理：

A(x，y)＝W×R+V×G+U×B

其中，A(x，y)代表灰度化后的图像上位置(x，y)处的灰度值，(x，y)为该像素点的像素坐标；x，y分别表示该像素点到图像两坐标轴的像素距离，x为像素的行值，y为像素的列值；W，V，U分别表示三种色彩分量的权重；R、G、B分别为彩色图像的色彩分量。

示例的，可赋予W，V，U三种色彩分量的权重为0.299，0.587，0.114，获得的灰度图如图4所示。

步骤S122、采用Sobel算子对灰度图进行边缘检测，获取表盘内部边缘轮廓。

在一个具体的实施例中，采用Sobel算子对灰度图做卷积，计算生成的新像素灰度值并选取合适的阈值，将像素点的灰度值与阈值进行比较，若大于阈值，则改点为图像的边缘点，以此来确定水表图像中各轮廓边缘。

其中，Sobel算子包含两组3*3的矩阵(一个为横向，一个为纵向)，将其与图像做平面卷积，方向是从上到下和从左到右，分别得出横向及纵向的亮度差分近似值，以A代表原始图像，G_x和G_y分别代表经横向及纵向边缘的图像灰度值，数学公式如下：

图像上每个像素点的横向及纵向梯度值通过如下公式结合，来计算该点图像灰度值G的大小：

为了减少运算时间，提高运算效率，使用不开平方的近似值作为该点的图像灰度值：

|G|＝|G_x|+|G_y|

带入图像A，则计算结果为：

|G|＝|(P₁+2×P₂+P₃)-(P₇+2×P₈+P₉)+(P₃+2×P₆+P₉)-(P₁+2×P₄+P₇)|

Sobel算子处理灰度图后获得的边缘检测效果图如图5所示，从图5中可以看出，图5中数字框的直线边缘采用Sobel算子处理后更加明显，但仍存在许多细小的噪点及模糊边缘。

步骤S123、采用自适应Otsu阈值分割法对获取表盘内部边缘轮廓进行二值化处理，对表盘内部轮廓不清晰的边缘进行滤除，留下较突出的边缘。

设图像像素总数N，w、h是图像宽和高，则

N＝w×h

根据像素总数与灰度级范围L求出每个灰度级的概率，n_i表示灰度级i的像素个数，则

根据选取的最佳阈值T将图像分为了两类背景点C₀和前景点C₁，C₀由[0，T]之间的像素组成，C₁由[T+1，L-1]之间的像素组成，设N₀为小于阈值的像素的个数，N₁为大于阈值的像素个数，则

N＝N₀+N₁

定义图像均值为

同理可以得到C₀和C₁的均值u₀和u₁：

定义类间方差

δ²＝w₀(u₀-u)²+ω₁(u₁-u)²＝w₀w₁(u₀-u₁)²

其中，w₀为背景点C₀占图像的比例，u₀为背景点C₀占图像的均值，w₁为前景点C₁占图像比例，u₁为前景点C₁占图像均值，u为整个图像的均值，u＝w₀×u₀+w₁×u₁，当类间方差δ²取得全局最大值，此时的T为最佳阈值。选定使得类间方差最大的阈值T，则像素值小于这个阈值的为背景，设置为0，大于这个阈值为前景，设置为1，完成对图像的阈值分割，即可得到二值图，如图6所示，与图5进行对比，可以看出图5滤除了大部分的虚假边缘且保留突出的边缘，方便后续检测。

步骤S124、采用霍夫直线检测对表盘内数据框直线进行检测，获取偏转角度。

在该步骤中，需要说明的是，阈值分割完毕对图像进行直线检测时，采用霍夫变换直线检测，这是由于图像空间中的直线与参数空间中的点是一一对应的，参数空间中的直线与图像空间中的点也是一一对应的，因此图像空间中的每条直线在参数空间中都由单独一个点来表示，且图像空间中的直线上任何一部分线段在参数空间对应的是同一个点。一幅图像中的像素构成一条直线，那么这些像素坐标值(x，y)在参数空间对应的曲线一定相交于一个点，霍夫直线检测就是把图像空间中的直线变换到参数空间中的点，在参数空间检测曲线交点来确定直线。

具体的，设共直线的点映射到参数空间中的所有正弦曲线交点为(p，θ)，该点即为共直线的法向角和原点到直线的法向距离，该直线可用以下式子表示：

ρ＝x×cosθ+y×sinθ

式中，ρ表示直线到图像圆点的距离，θ表示图像原点到直线的垂线与x轴的夹角，通过θ对图像进行倾斜校正，x和y的绝对值分别表示图像上像素点到y轴和x轴的距离。

在参数空间中建立一个二维累加数组A，初始值为0，第一维为[-d，d]，d为图像的对角线长度；第二维为[-90°，90°]，对图像空间中的所有点用Hough变换计算出所有的(ρ，θ)值，每计算一次，数组元素A(ρ，θ)的值加1，当计算结束时，A(ρ，θ)的值即为图像空间中共直线上点的数目。采用霍夫直线检测对表盘内数据框直线进行检测获得直线检测图如图7所示，从图7中可以看出，由于拍摄角度及光照影响，表盘上数字框的上下边缘之一会比另一条更清晰且容易识别，所以有且仅有一条最长直线。

步骤S130、图像校正，对预处理后的表盘图像进行图像校正，具体包括：

根据得到的A(ρ，θ)中的θ的值对图像进行角度校正；当θ的值为0-90度范围内，根据θ的值对图像进行顺时针进行校正；当θ的值为90-180度范围内，根据π-θ的值对图像进行逆时针旋转进行校正，校正后的图像如图8所示。

步骤S140、数字框检测，利用数字框检测模型对经过图像校正后的表盘图像中的每个数字框位置进行检测，然后基于数字框检测模型获得每个数字框且同时得到相应数字框的坐标信息。

在一个具体的实施例中，数字框检测模型的网络结构包括依次连接的输入端、主干网络、颈部网络和输出端。

其中，输入端完成对图像进行自适应增强填充和自适应锚框计算。

主干网络用于提取图像特征，主要使用了C3模块和SPPF模块，其中C3模块用于减少模型计算量和提高推理速度，SPPF模块用于对同一个特征图进行多尺度特征提取，以此提升模型的精度。

颈部网络用于对提取的图像特征进行融合，且颈部网络由特征金字塔和路径聚合结构组成。其中FPN将高层的特征信息通过上采样的方式进行传递融合的，得到进行预测的特征图。PAN是自下而上传递定位信息，使低层信息更容易传播到顶层。PAN能融合不同尺寸特征图的特征信息，有助于提升模型对不同形状大小物体的检测能力。

输出端采用提取到的多尺度特征图对目标物体进行预测，并输出的每个数字框坐标。输出端作为模型的检测部分，主要是对目标物体进行预测。通过输出端的锚框机制通过聚类提取先验框尺度，并约束预测边框的位置。

具体的，图像进行校正后利用LabelImg对表盘上每个数字框进行标注，随后输入端首先对图像进行自适应数据增强，且输入端集成自适应锚框计算，预设边框先大致在可能的位置“框”出来目标，然后再在这些预设边框的基础上进行调整，使得在训练数据集前，模型通过对数据集的标签框进行聚类获得初始锚框大小，自适应的计算出最佳的锚点框。接着经过Focus结构、SPPF结构及C3结构，对图像进行切片操作，每一张图片采集间隔的像素点的值，将获得的拼接图片进行卷积操作得到没有特征信息丢失的特征图。再将特征图通过FPN+PAN结构，高层特征首先通过上采样和低层特征做特征融合，再将低层的定位信息传导到高层增强多个尺度的定位能力，预测时使用非极大值抑制与GIou损失函数结合来减少对重叠目标的影响，从而更好地输出预测边框的位置。数字框检测模型对校正图进行检测后获得的数字框图如图9所示。

值得一提的是，数字框检测模型按4:1的比例将样本集划分为训练集和验证集，将训练集中的样本图像输入数字框检测模型算法，通过不断迭代训练得到数字框检测最优的权重文件并将该文件加载至数字框检测模型算法中得到作为目标检测的目标检测网络。

步骤S150、数字读取，利用数字分类模型对获得的数字框进行数据分类，并根据坐标信息对数值进行排序，从而得到正确的水表数据。

在该步骤中，在经过上个数字框检测模型以后，根据输出的每个数字框坐标对各个数字框进行裁剪，得到五个含有数字的数字框及每个数字框的坐标信息，利用数字分类模型对每个数字框进行分类得到各个数值，并按照上个模型输出的各个数字框坐标值对数字进行排序从而正确得到表盘数字。

图10为本发明实施例提供的数字分类模型的网络结构图。如图10所示，数字分类模型的网络结构包括相互连接的13个卷积层(conv Layer)、3个全连接层(FC Layer)和5个池化层(Pooling Layer)；其中，卷积层的卷积核为3*3，一方面是用于减少参数数量，另一方面是增加了非线性映射，可以增加网络的拟合能力，13层卷积层和5层池化层用于进行特征的提取，全连接层用于完成分类任务。

需要说明的是，本实施方式中的数字分类模型按照4:1的比例划分训练集和验证集。具体的，参阅图10，将经过上述数字框检测模型检测后的数字框利用LabelImg按照0-9十个标签进行标注，标注完毕后输入数字分类模型，依次经历两次64个卷积核的卷积处理，卷积核为3*3，接着进行一次最大池化层，池化层使用的卷积核是2*2*64，第一层卷积结果经过池化后到达第二层，得到的矩阵维数为原来的一半；然后经历两次128个卷积核的卷积处理，并进行一次最大池化层，第二层卷积结果经过池化后到达第二层，得到的矩阵维数为原来的一半；进入到第三层，再经历三次256个卷积核的卷积处理之后，采用一次最大池化层，同理；最后再重复经历两次三个512个卷积核的卷积处理，并且进行一次最大池化层，进入到全连接层。全连接层有3层。其每一个节点都与上一层每个节点相连接，它可以把前一层的输出特征都整体综合起来，在最后一层进行数字分类识别结果及概率输出。

实施例二

接下来，对本申请实施例提供的一种智能抄表系统进行介绍，该系统主要是基于前述图1中所描述的水表智能读数方法提出的。

示例性的，图11为本发明实施例提供的智能抄表系统的架构图。参照图11，该系统可以包括：数据层、应用层和展现层。

其中，数据层，用于图像采集和数据存储MySQL，获取待识别表盘图像并进行存储；且数据层数据存储MySQL可用以存储执行本申请方案的应用程序代码，并由应用层中的处理器来控制执行。

应用层，用于模型云端部署和图片本地存储，其中模型包括数字框检测模型和数字分类模型，所述应用层可对获取的表盘图像进行预处理，以校正图像，利用数字框检测模型对经过图像校正后的表盘图像中的每个数字框位置进行检测，然后基于数字框检测模型获得每个数字框且同时得到相应数字框的坐标信息；利用数字分类模型对获得的数字框进行数据分类，并根据坐标信息对数值进行排序，从而得到正确的水表数据。

展现层，用以与应用层进行后台调度、图片获取、数据读取及其数据传输交互，并用以展示水表读数以及缴费操作。示例的，展现层可以通过移动终端如手机端APP进行展现，从而便于抄表员和用户进行使用，当然，移动终端还可以是笔记本电脑、PAD(平板电脑)、PMP(便携式多媒体播放器)，本申请对此并不限制。

在读数过程中，数据层接收到水表的表盘图像，并将表盘图像发送到应用层。应用层对获取的表盘图像进行存储和进行一系列预处理后，对表盘图像进行校正，然后利用数字框检测模型对每个数字框位置进行检测，然后基于此模型获得五个小的数字框且同时得到五个小的数字框的坐标信息，再利用数字分类模型对五个小的数字框进行数据分类，并根据坐标信息对数值进行排序，从而得到正确的水表数据。

应当理解的是，上述系统用于执行上述实施例中的方法，系统中相应的程序模块，其实现原理和技术效果与上述方法中的描述类似，该系统更加详细的解释内容可参考上述方法中的对应内容，此处不再赘述。

示例性的，图12为本发明实施例提供的智能抄表系统的具体执行流程图。如图12所示，当用户使用软件系统时，首先需要进行用户登录，系统会判断用户的所属类型(抄表员用户或普通用户)，若为抄表员用户，登录后，首先需要选择当前待抄录水表的所属区域用户，然后抄表员拍照时，软件系统首先会调用手机摄像头，如果调用失败，则会退出软件，若调用成功，抄录员拍摄水表图片，软件系统接收到图片后会将图片上传至模型服务端，同时图片保存至本体服务端(近期三张)，模型服务端加载预先部署好的模型算法对水表图片进行识别，将水表识别结果存储在MySQL数据库并计算用户应缴水费。

若登录用户为普通用户，软件会提示当前需缴费用，用户点击缴费后可选择直接缴费，也可以查看缴费详情，软件系统则从MySQL数据库中获取近三次的当前用户的水表识别结果，经渲染后在软件中呈现出来，供用户复核数据，复核无误后，点击缴费并跳转到缴费页面。

示例性的，图13为本发明实施例提供的智能抄表系统的具体使用流程图。如图13所示，抄表员使用软件系统抄录水表时，首先需要打开软件系统并进行抄表员登录，选择待抄录水表所属区域用户后，然后进行图片拍摄，即拍摄水表表盘图片并将表盘图片进行图片上传，图片保存至本地服务端(近期三张)；然后继续选择另一区域用户进行水表图像的拍摄上传，反复操作。

用户使用软件缴费时，首先需要打开软件系统并进行用户登录，点击缴费，用户可以选择直接缴费，也可进一步点击缴费详情，在缴费详情页面可查看近三次自家水表图片识别结果，进行水表应缴费用的复核，计算应缴水费是否准确，确认无误后缴费。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所以理解的是，以上所述仅为本发明的具体实施方式之一而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做出的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种水表智能读数方法，其特征在于，包括：

获取待识别表盘图像；

对获取的表盘图像进行预处理；

对预处理后的表盘图像进行图像校正；

利用数字框检测模型对经过图像校正后的表盘图像中的每个数字框位置进行检测，然后基于数字框检测模型获得每个数字框且同时得到相应数字框的坐标信息；

利用数字分类模型对获得的数字框进行数据分类，并根据坐标信息对数值进行排序，从而得到正确的水表数据。

2.根据权利要求1所述的方法，其特征在于，所述数字框检测模型的网络结构包括依次连接的输入端、主干网络、颈部网络和输出端；

其中，所述输入端完成对图像进行自适应增强填充和自适应锚框计算；

所述主干网络用于提取图像特征；

所述颈部网络用于对提取的图像特征进行融合；

所述输出端采用提取到的多尺度特征图对目标物体进行预测，并输出每个数字框坐标。

3.根据权利要求1所述的方法，其特征在于，所述数字分类模型的网络结构包括相互连接的卷积层、全连接层和池化层；其中，所述卷积层的卷积核为3*3，卷积层和池化层用于进行特征的提取，全连接层用于完成分类任务。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述对获取的表盘图像进行预处理，具体包括：

采用加权平均值法对获取的表盘图像进行灰度处理，得到灰度图；

采用Sobel算子对灰度图进行边缘检测，获取表盘内部边缘轮廓；

采用自适应Otsu阈值分割法对获取表盘内部边缘轮廓进行二值化处理，对表盘内部轮廓不清晰的边缘进行滤除，留下较突出的边缘；

采用霍夫直线检测对表盘内数据框直线进行检测，获取偏转角度。

5.根据权利要求4所述的方法，其特征在于，采用加权平均值法对获取的表盘图像进行灰度处理，得到灰度图，具体包括：

采用如下公式对获取的表盘图像进行灰度处理：

A(x,y)＝W×R+V×G+U×B

其中，A(x,y)代表灰度化后的图像上位置(x，y)处的灰度值，(x,y)为该像素点的像素坐标；x,y分别表示该像素点到图像两坐标轴的像素距离，x为像素的行值，y为像素的列值；W,V,U分别表示三种色彩分量的权重；R、G、B分别为彩色图像的色彩分量，其中，R代表red，G代表green，B代表blue。

6.根据权利要求4所述的方法，其特征在于，采用Sobel算子对灰度图进行边缘检测，获取表盘内部边缘轮廓，具体包括：

采用Sobel算子对灰度图做卷积，计算生成的新像素灰度值并选取合适的阈值，将像素点的灰度值与阈值进行比较，若大于阈值，则改点为图像的边缘点，以此来确定水表图像中各轮廓边缘。

7.根据权利要求4所述的方法，其特征在于，采用自适应Otsu阈值分割法对获取表盘内部边缘轮廓进行二值化处理，对表盘内部轮廓不清晰的边缘进行滤除，留下较突出的边缘，具体包括：

设图像像素总数N，w、h是图像宽和高，则

N＝w×h

根据像素总数与灰度级范围L求出每个灰度级的概率，n_i表示灰度级i的像素个数，则

根据选取的最佳阈值T将图像分为了两类背景点C₀和前景点C₁，C₀由[0,T]之间的像素组成，C₁由[T+1,L-1]之间的像素组成，设N₀为小于阈值的像素的个数，N₁为大于阈值的像素个数，则

N＝N₀+N₁

定义图像均值为

同理可以得到C₀和C₁的均值u₀和u₁：

定义类间方差

δ²＝w₀(u₀-u)²+w₁(u₁-u)²＝w₀w₁(u₀-u₁)²

其中，w₀为背景点C₀占图像的比例，u₀为背景点C₀占图像的均值，w₁为前景点C₁占图像比例，u₁为前景点C₁占图像均值，u为整个图像的均值，u＝w₀×u₀+w₁×u₁，当类间方差δ²取得全局最大值，此时的T为最佳阈值；选定使得类间方差最大的阈值T，则像素值小于这个阈值的为背景，设置为0，大于这个阈值为前景，设置为1，即可得到二值图。

8.根据权利要求4所述的方法，其特征在于，所述采用霍夫直线检测对表盘内数据框直线进行检测，获取偏转角度，具体包括：

设共直线的点映射到参数空间中的所有正弦曲线交点为(ρ，θ)，该点即为共直线的法向角和原点到直线的法向距离，该直线可用以下式子表示：

ρ＝x×cosθ+y×sinθ

式中，ρ表示直线到图像圆点的距离，θ表示图像原点到直线的垂线与x轴的夹角，通过θ对图像进行倾斜校正，x和y的绝对值分别表示图像上像素点到y轴和x轴的距离。

9.根据权利要求8所述的方法，其特征在于，所述对预处理后的表盘图像进行图像校正，具体包括：

根据得到的A(ρ，θ)中的θ的值对图像进行角度校正；当θ的值为0-90度范围内，根据θ的值对图像进行顺时针进行校正；当θ的值为90-180度范围内，根据π-θ的值对图像进行逆时针旋转进行校正。

10.一种智能抄表系统，其特征在于，包括：

数据层，用于图像采集和数据存储，获取待识别表盘图像；

应用层，用于模型云端部署和图片本地存储，其中模型包括数字框检测模型和数字分类模型，所述应用层可对获取的表盘图像进行预处理，以校正图像，利用数字框检测模型对经过图像校正后的表盘图像中的每个数字框位置进行检测，然后基于数字框检测模型获得每个数字框且同时得到相应数字框的坐标信息；利用数字分类模型对获得的数字框进行数据分类，并根据坐标信息对数值进行排序，从而得到正确的水表数据；

展现层，用以与应用层进行后台调度、图片获取、数据读取及其数据传输交互，并用以展示水表读数。

Images