CN108898813A - 一种基于物联网架构的云识别抄表系统 - Google Patents

Abstract

本发明公开了图像识别领域中的一种基于物联网架构的云识别抄表系统，包括图像采集系统和云识别服务器，二者相互配合共同完成本系统的功能，图像采集系统包括图像采集器、中继器、集中器以及移动采集终端，其完成现场仪表图像的采集和上传，云识别服务器包括数据接口模块、鉴权接入模块、数据处理及识别服务模块、数据存储模块以及云识别纠错模块，其完成仪表图像数据的接入、服务请求分发、数据处理与识别、数据存储、云识别纠错。本发明具有成本低廉、可扩展性好、数据客观准确等特点，同时，保存于云识别服务器的大规模读数数据，也方便进行数据分析与挖掘，可以用于数据监管以及提供个性化服务中。

Description

一种基于物联网架构的云识别抄表系统

技术领域

本发明涉及图像识别领域，具体的说，是涉及一种基于物联网架构的云识别抄表系统。

背景技术

仪表读数的采集（抄表）在各种测量和监测系统中具有广泛的应用。例如水电气热的抄表计费应用中，需要定期读取仪表读数。在监测系统中，也需要定期地读取仪表读数，以实现对系统的监测与管理。目前，仪表读数的获取主要有以下几种方式：

（1）在一些应用领域中，仪表读数还主要采用人工读取的方式，例如水电气热数据的人工抄表。这种方式费时费力，抄表数据缺乏客观凭证，容易出现人为因素造成的数据误差；同时，人工抄表数据也不方便历史数据的查询，以及后续的大数据分析与数据挖掘。

（2）仪表读数的自动获取可以通过对测量仪表数字化改造，以直接获取数字化读数。然而这种方式需要较大的成本投入，例如对现有水表进行数字化改造，需要拆卸管道并更换数字化水表，投入较大，也给用户带来不便；另外，在一些领域，机械表具有数字化表难以替代的优势，例如机械水表具有成本低，测量准确，无需电源等优势。

上述缺陷，值得解决。

发明内容

为了克服现有的技术的不足，本发明提供一种基于物联网架构的云识别抄表系统，解决了人工抄表中存在的问题，以及测量仪表数字化改造成本高的不足，利用图像采集系统拍照获取仪表读数图像，然后上传至云识别服务器进行自动识别，获取仪表读数。

本发明技术方案如下所述：

一种基于物联网架构的云识别抄表系统，其特征在于，包括图像采集系统和云识别服务器；

所述图像采集系统包括图像采集器、中继器、集中器以及移动采集终端：

所述图像采集器完成仪表读数图像的采集，并通过有线或者无线传输方式，将图像上传到所述云识别服务器，所述中继器完成采集图像数据的转发、载波无线信号转换等功能，所述集中器负责接收现场图像采集数据，并上传至所述云识别服务器，所述移动采集终实现仪表读数图像的采集、上传及识别结果显示；

所述云识别服务器包括数据接口模块、鉴权接入模块、数据处理及识别服务模块、数据存储模块以及云识别纠错模块：

所述数据接口模块接收仪表图像后，提交给所述云识别服务器的鉴权接入模块进行服务验证及请求分发，所述鉴权接入模块提供基于签名的鉴权方法，实现对服务请求的预先处理，所述数据处理及识别服务模块提供仪表图像的读数区域检测与识别服务，所述数据存储模块完成上传的仪表图像、识别结果的存储，并实现数据的同步、定时备份，所述云识别纠错模块实现仪表读数识别错误的人工纠错。

根据上述方案的本发明，其特征在于，所述图像采集器包括CMOS摄像头模块、DSP模块、采集器无线射频模块、采集器串口模块、采集器电力线载波模块以及采集器嵌入式处理器：

所述CMOS摄像头模块完成图像采集；所述DSP模块实现快速地解析处理CMOS摄像头传出的图像信号；所述采集器无线射频模块实现采集图像的无线传输；所述采集器串口模块和所述采集器电力线载波模块实现采集图像的有线方式传输；采集器嵌入式处理器实现数据运算和传输控制。

根据上述方案的本发明，其特征在于，所述中继器包括中继器无线射频模块、中继器串口模块、中继器电力线载波模块、中继器4G模块、中继器以太网接口模块、中继器嵌入式处理器。

根据上述方案的本发明，其特征在于，所述移动采集终端的处理过程包括：

S11：所述移动采集终端拍照获取仪表图像数据；

S12：对仪表图像进行旋转矫正；

S13：将仪表图像上传至云识别服务器进行识别，并接收服务器返回的识别结果，显示到屏幕上。

根据上述方案的本发明，其特征在于，所述数据接口模块包括移动客户端接口、硬件客户端接口以及网页客户端接口：所述移动客户端接口接收所述移动采集终端上传的仪表图像；所述硬件客户端接口接收所述图像采集器、所述中继器、所述集中器上传的仪表图像；所述网页客户端接口接收通过浏览器上传的仪表图像。

根据上述方案的本发明，其特征在于，所述数据处理及识别服务模块的处理过程包括：

S21：采用基于卷积神经网络的检测模型，对上传的仪表图像进行读数区域的检测，如果检测不到读数区域，则返回false，表示输入图像无效；

S22：根据步骤S21的检测结果，将读数区域图像输入读数识别模型进行读数识别，然后将识别结果及仪表图像输入所述数据存储模块，进行数据存储。

进一步的，在所述步骤S21中，所述检测模型的处理步骤如下：

S211：对采集的仪表图像进行裁剪、缩放处理：

S212：对仪表图像进行标记label的制作；

S213：构建深度卷积神经网络模型；

S214：训练检测网络模型。

进一步的，在所述步骤S22中，所述读数识别模型的处理步骤如下：

S221：对仪表图像进行标记label的制作；

S222：构建深度网络模型，并进行模型训练；

S223：仪表读数识别。

根据上述方案的本发明，其特征在于，所述云识别纠错模块采用服务器-客户端结构，纠错客户端以远程访问的方式接入所述云识别服务器，对所述数据处理及识别服务模块中出现的定位和识别结果错误进行实时地人工纠错，纠错内容包括读数定位区域、读数识别结果。

进一步的，所述云识别纠错的处理过程具体包括：

S31：所述云识别纠错模块构建一个纠错仪表信息表，所述纠错仪表信息表的一条信息对应一块仪表，并将所述纠错仪表信息表初始化为空；

S32：对于所述数据处理及识别服务模块给出的仪表图像定位及识别结果进行如下处理：

（1）如果该仪表ID未在所述纠错仪表信息表中，则根据定位及识别置信度计算结果置信度，连同仪表图像信息插入到所述纠错仪表信息表中；

（2）如果该仪表ID已经存在于所述纠错仪表信息表中，且当前读数识别结果存在明显错误，则根据定位及识别置信度计算结果置信度，连同仪表图像信息更新所述纠错仪表信息表中该仪表的信息；

（3）如果该仪表ID已经存在于所述纠错仪表信息表中，且当前读数识别结果无法判断存在明显错误，则根据定位及识别置信度、历史日平均读数差计算结果置信度，连同仪表图像信息更新所述纠错仪表信息表中该仪表的信息；

S33：对于所述纠错仪表信息表中的仪表读数信息，根据结果置信度进行从小到大排序，依次发送到纠错客户端，进行人工纠错，并将纠错后的结果更新到所述云识别服务器的存储结果中。

根据上述方案的本发明，其有益效果在于：

1、相对于现有的人工抄表方式，本发明可以节约人力物力投入，避免出现人为因素造成的数据误差，减少深入千家万户可能带来的安全隐患，提高数据采集的自动化水平。

2、相对于通过计量仪表数字化改造实现自动抄表，本发明具有成本低廉、即装即用、无需更换现有计量表等特点，可以避免拆卸管道及更换数字化仪表的不足；同时，在一些机械表具有数字化表难以替代优势的领域，例如水务领域的机械水表具有成本低，测量准确，无需电源等优势，本发明可以更有效地利用已有计量表的优势。

3、本发明可以在一个系统中实现不同规格仪表的数据采集，现场图像采集设备采用相同规范，读数识别在云识别服务器完成。因此，具有可扩展性好，方便不同计量表的接入，也具有维护和升级管理方便等特点。

4、本发明包含了基于置信度的人工纠错模块，理论上可以达到100%的读数识别正确率。

5、本发明采用云识别服务器的仪表图像处理与识别模式，历史图像数据方便备查，保存于服务器的大规模读数数据，也方便进行数据分析与挖掘，可以用于数据监管以及提供个性化服务中。

附图说明

图1为本发明的结构示意图。

图2为本发明中云识别服务器的架构图。

具体实施方式

下面结合附图以及实施方式对本发明进行进一步的描述：

如图1所示，一种基于物联网架构的云识别抄表系统，包括图像采集系统和云识别服务器，二者相互配合共同完成本系统的功能。图像采集系统完成仪表图像的采集，以及图像和仪表信息的上传，云识别服务器完成仪表图像数据的接入、服务请求分发、数据处理与识别、数据存储、云识别纠错。

一、图像采集系统

图像采集系统包括图像采集器、中继器、集中器以及移动采集终端。其中：

1、图像采集器

图像采集器安装于仪表的上方，完成仪表读数图像的采集，并通过有线或者无线传输方式，将图像上传到云识别服务器。其包括图像采集器、中继器、集中器以及移动采集终端。其包括CMOS摄像头模块、DSP模块、采集器无线射频模块、采集器串口模块、采集器电力线载波模块以及采集器嵌入式处理器。

CMOS摄像头模块完成图像采集；DSP模块实现快速地解析处理CMOS摄像头传出的图像信号；采集器无线射频模块实现采集图像的无线传输，支持FSK/Lora、ZigBee、NB-IoT等无线传输协议；采集器串口模块和采集器电力线载波模块等实现采集图像的有线方式传输，可以支持Mbus总线、电力线载波、485总线等有线传输方式；采集器嵌入式处理器实现数据运算和传输控制。

2、中继器

中继器完成采集图像数据的转发、载波无线信号转换等功能，解决信号覆盖、信号盲点、跨楼层信号的穿透等问题。中继器支持的有线传输方式包括Mbus总线、电力线载波、485总线等；支持的无线传输方式包括FSK/Lora、ZigBee、NB-IoT等无线传输协议。其包括中继器无线射频模块、中继器串口模块、中继器电力线载波模块、中继器4G模块、中继器以太网接口模块、中继器嵌入式处理器。、

3、集中器

集中器负责接收现场图像采集数据，并上传至云识别服务器。集中器与图像采集器或中继器的通信方式，有线传输方式支持包括Mbus总线、电力线载波、485总线等；无线传输方式支持包括FSK/Lora、ZigBee等无线传输协议。其包括集中器无线射频模块、集中器串口模块、集中器电力线载波模块、集中器4G模块、集中器以太网接口模块、集中器嵌入式处理器。

4、移动采集终端

移动采集终端主要为智能手机、平板电脑等具有拍照功能的移动设备，内置图像采集软件，实现仪表读数图像的采集、上传及识别结果显示。其具体处理过程包括以下步骤：

步骤1：移动采集终端拍照获取仪表图像数据，图像应包含完整的仪表读数区域；

步骤2：对仪表图像进行旋转矫正，使仪表读数与水平线的倾斜角度不大于±15°；

步骤3：将仪表图像上传至云识别服务器进行识别，并接收服务器返回的识别结果，显示到屏幕上。

优选地，图像采集系统将采集的仪表图像连同仪表信息一起上传至云识别服务器，传输协议采用HTTP超文本传输协议，上传的仪表信息包含客户端类型、仪表编号、仪表类型、采集日期等。

二、云识别服务器

如图2所示，云识别服务器包括数据接口模块（外部接入层）、鉴权接入模块（鉴权接入层）、数据处理及识别服务模块（数据服务层）、数据存储模块（数据存储层）以及云识别纠错模块。

1、数据接口模块

数据接口模块接收仪表图像后，提交给云识别服务器的鉴权接入模块进行服务验证及请求分发。

数据接口模块包括移动客户端接口、硬件客户端接口、网页客户端接口：移动客户端接口接收移动采集终端上传的仪表图像，硬件客户端接口接收图像采集器、中继器、集中器上传的仪表图像，网页客户端接口接收通过浏览器上传的仪表图像。

2、鉴权接入模块

鉴权接入模块提供基于签名的鉴权方法，实现对服务请求的预先处理，包括用户验证、API接口验证和服务请求分发。

3、数据处理及识别服务模块

数据处理及识别服务模块提供仪表图像的读数区域检测与识别服务，根据数据接口模块提供的3种不同类型的数据接入，分别提供3个相应的读数区域检测与识别服务。读数区域检测与识别服务采用如下的处理步骤：

步骤1：采用基于卷积神经网络的检测模型，对上传的仪表图像进行读数区域的检测，如果检测不到读数区域，则返回false，表示输入图像无效；

步骤2：根据步骤1的检测结果，将读数区域图像输入读数识别模型进行读数识别，然后将识别结果及仪表图像输入云识别服务器的数据存储模块，进行数据存储。识别模型采用基于卷积神经网络的识别模型。

在上述步骤1中，检测模型的处理步骤如下：

（1）对采集的仪表图像进行裁剪、缩放处理：处理后图像大小为500*500；

（2）对仪表图像进行标记label的制作：读数区域的检测采用有监督方式进行模型参数的训练，因此需要人工方式对预先采集的仪表图像进行监督信息的标定，包括读数区域的上下左右坐标，实际应用中采集的水表图像不少于10000张，其中涵盖不同表盘格式的仪表；

（3）构建深度卷积神经网络模型：仪表读数检测采用基于深度卷积网络的检测模型；

（4）训练检测网络模型：经过标记后的仪表图像及相应的标记信息输入到构建的卷积神经网络模型中，采用随机梯度下降算法进行网络参数的学习。

在上述步骤2中，读数识别模型的处理步骤如下：

（1）对仪表图像进行标记label的制作：仪表读数识别采用有监督方式进行模型参数的训练，需要人工方式对预先采集的仪表图像进行监督信息的标定，包括读数区域的上下左右坐标、仪表读数，读数的每个数字之间使用“，”隔开，对于正在进位的读数位，标注格式为X.5（例如某读数位的值介于7和8之间，则需要标注为“7.5”），每位共有0-9即10个数字状态，加上进位状态，则每位共存在20类标注状态。

实际应用中采集的水表图像不少于100000张，其中涵盖不同表盘格式的仪表。

（2）构建深度网络模型，并进行模型训练：所采用深度神经网络模型包括特征提取模块、上下文信息融合模块、分类模块，将仪表图像和相应标注数据输入到深度网络模型进行训练，训练过程中采用残差回传算法进行参数学习。

特征提取模块采用卷积神经网络结构；上下文信息融合模块中，长短时记忆层为LSTM模型结构；分类模块采用具有17个位置的预测结构，将预测结果进行CTC（Connectionist Temporal Classification）解码，得到最终的仪表读数。

（3）仪表读数识别：输入一张仪表图像，深度网络模型给出相应的仪表读数识别结果和识别置信度。

4、数据存储模块

数据存储模块完成上传的仪表图像、识别结果的存储，并实现数据的同步、定时备份。

5、云识别纠错模块

云识别纠错模块实现仪表读数识别错误的人工纠错。尽管数据处理及识别服务模块可以达到较高的识别正确率（例如99%以上），但对于图像质量较差或者模糊的仪表读数图像，仍然会出现少量的识别错误。

云识别纠错采用服务器-客户端结构，纠错客户端以远程访问的方式接入云识别服务器，对数据处理及识别服务模块中出现的定位和识别结果错误，进行实时地人工纠错，纠错内容包括读数定位区域、读数识别结果。云识别纠错的处理过程如下：

步骤1：云识别纠错模块构建一个纠错仪表信息表（即IDList），IDList的一条信息对应一块仪表，并将IDList初始化为空。其中每条信息包含：仪表纠错优先级、仪表编号（ID）、仪表读数区域、仪表读数位数、历史日平均读数差、最近一次的历史识别读数和识别时间、结果置信度等信息。

步骤2：对于云识别服务器的数据处理及识别服务模块给出的仪表图像定位及识别结果进行如下处理：

（1）如果该仪表ID未在IDList中，则根据定位及识别置信度计算结果置信度，连同仪表图像信息插入到IDList中，并置仪表的纠错优先级为Level-1。

（2）如果该仪表ID已经存在于IDList中，且当前读数识别结果存在明显错误，则根据定位及识别置信度计算结果置信度，连同仪表图像信息更新IDList中该仪表的信息，并置仪表的纠错优先级为Level-2。

其中当前读数识别结果存在明显错误的判读规则为：（）读数识别结果的位数不正确；（）与最近一次的历史识别读数的差大于一定阈值，或者小于0。

（3）如果该仪表ID已经存在于IDList中，且当前读数识别结果无法判断存在明显错误，则根据定位及识别置信度、历史日平均读数差计算结果置信度，连同仪表图像信息更新IDList中该仪表的信息，并置仪表的纠错优先级为Level-3。

步骤3：对于IDList中的仪表读数信息，分别按照3个不同优先级，根据结果置信度进行从小到大排序，依次发送到纠错客户端，进行人工纠错，并将纠错后的结果更新到云识别服务器的存储结果中。

发送到纠错客户端的顺序为：优先发送纠错优先级为Level-1的读数信息，然后发送优先级为Level-2的读数信息，最后为优先级为Level-3的读数信息。相同优先级的信息，则按照结果置信度从小到大顺序发送。

本发明在涉及仪表读数采集的领域，如水、电、气、热等各种计量表读数的采集中具有广泛应用，其具有以下优点：

（1）成本低廉：在一个系统中实现多种规格仪表的数据采集，无需升级现有计量表设备；

（2）可扩展性好：方便不同规格的计量表接入；

（3）数据客观准确：可避免人为因素造成的数据误差，历史图像数据方便备查等特点；

（4）保存于云识别服务器的大规模读数数据，也方便进行数据分析与挖掘，可以用于数据监管以及提供个性化服务中。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

上面结合附图对本发明专利进行了示例性的描述，显然本发明专利的实现并不受上述方式的限制，只要采用了本发明专利的方法构思和技术方案进行的各种改进，或未经改进将本发明专利的构思和技术方案直接应用于其它场合的，均在本发明的保护范围内。

Claims (10)

1.一种基于物联网架构的云识别抄表系统，其特征在于，包括图像采集系统和云识别服务器；

所述图像采集系统包括图像采集器、中继器、集中器以及移动采集终端：

所述图像采集器完成仪表读数图像的采集，并通过有线或者无线传输方式，将图像上传到所述云识别服务器，所述中继器完成采集图像数据的转发、载波无线信号转换的功能，所述集中器负责接收现场图像采集数据，并上传至所述云识别服务器，所述移动采集终实现仪表读数图像的采集、上传及识别结果显示；

所述云识别服务器包括数据接口模块、鉴权接入模块、数据处理及识别服务模块、数据存储模块以及云识别纠错模块：

所述数据接口模块接收仪表图像后，提交给所述鉴权接入模块进行服务验证及请求分发，所述鉴权接入模块提供基于签名的鉴权方法，实现对服务请求的预先处理，所述数据处理及识别服务模块提供仪表图像的读数区域检测与识别服务，所述数据存储模块完成上传的仪表图像、识别结果的存储，并实现数据的同步、定时备份，所述云识别纠错模块实现仪表读数识别错误的人工纠错。

2.根据权利要求1所述的基于物联网架构的云识别抄表系统，其特征在于，所述图像采集器包括CMOS摄像头模块、DSP模块、采集器无线射频模块、采集器串口模块、采集器电力线载波模块以及采集器嵌入式处理器：

所述CMOS摄像头模块完成图像采集；所述DSP模块实现快速地解析处理所述CMOS摄像头模块传出的图像信号；所述采集器无线射频模块实现采集图像的无线传输；所述采集器串口模块和所述采集器电力线载波模块实现采集图像的有线方式传输；采集器嵌入式处理器实现数据运算和传输控制。

3.根据权利要求1所述的基于物联网架构的云识别抄表系统，其特征在于，所述中继器包括中继器无线射频模块、中继器串口模块、中继器电力线载波模块、中继器4G模块、中继器以太网接口模块、中继器嵌入式处理器。

4.根据权利要求1所述的基于物联网架构的云识别抄表系统，其特征在于，所述移动采集终端的处理过程包括：

S11：所述移动采集终端拍照获取仪表图像数据；

S12：对仪表图像进行旋转矫正；

S13：将仪表图像上传至云识别服务器进行识别，并接收服务器返回的识别结果，显示到屏幕上。

5.根据权利要求1所述的基于物联网架构的云识别抄表系统，其特征在于，所述数据接口模块包括移动客户端接口、硬件客户端接口以及网页客户端接口：所述移动客户端接口接收所述移动采集终端上传的仪表图像；所述硬件客户端接口接收所述图像采集器、所述中继器、所述集中器上传的仪表图像；所述网页客户端接口接收通过浏览器上传的仪表图像。

6.根据权利要求1所述的基于物联网架构的云识别抄表系统，其特征在于，所述数据处理及识别服务模块的处理过程包括：

S21：采用基于卷积神经网络的检测模型，对上传的仪表图像进行读数区域的检测，如果检测不到读数区域，则返回false，表示输入图像无效；

S22：根据步骤S21的检测结果，将读数区域图像输入读数识别模型进行读数识别，然后将识别结果及仪表图像输入所述数据存储模块，进行数据存储。

7.根据权利要求6所述的基于物联网架构的云识别抄表系统，其特征在于，在所述步骤S21中，所述检测模型的处理步骤如下：

S211：对采集的仪表图像进行裁剪、缩放处理：

S212：对仪表图像进行标记label的制作；

S213：构建深度卷积神经网络模型；

S214：训练检测网络模型。

8.根据权利要求6所述的基于物联网架构的云识别抄表系统，其特征在于，在所述步骤S22中，所述读数识别模型的处理步骤如下：

S221：对仪表图像进行标记label的制作；

S222：构建深度网络模型，并进行模型训练；

S223：仪表读数识别。

9.根据权利要求1所述的基于物联网架构的云识别抄表系统，其特征在于，所述云识别纠错模块采用服务器-客户端结构，纠错客户端以远程访问的方式接入所述云识别服务器，对所述数据处理及识别服务模块中出现的定位和识别结果错误进行实时地人工纠错，纠错内容包括读数定位区域、读数识别结果。

10.根据权利要求9所述的基于物联网架构的云识别抄表系统，其特征在于，所述云识别纠错的处理过程具体包括：

S31：所述云识别纠错模块构建一个纠错仪表信息表，所述纠错仪表信息表的一条信息对应一块仪表，并将所述纠错仪表信息表初始化为空；

S32：对于所述数据处理及识别服务模块给出的仪表图像定位及识别结果进行如下处理：

（1）如果该仪表ID未在所述纠错仪表信息表中，则根据定位及识别置信度计算结果置信度，连同仪表图像信息插入到所述纠错仪表信息表中；

（2）如果该仪表ID已经存在于所述纠错仪表信息表中，且当前读数识别结果存在明显错误，则根据定位及识别置信度计算结果置信度，连同仪表图像信息更新所述纠错仪表信息表中该仪表的信息；

（3）如果该仪表ID已经存在于所述纠错仪表信息表中，且当前读数识别结果无法判断存在明显错误，则根据定位及识别置信度、历史日平均读数差计算结果置信度，连同仪表图像信息更新所述纠错仪表信息表中该仪表的信息；

S33：对于所述纠错仪表信息表中的仪表读数信息，根据结果置信度进行从小到大排序，依次发送到纠错客户端，进行人工纠错，并将纠错后的结果更新到所述云识别服务器的存储结果中。