CN108600690A - 基于图像识别的仪表盘抄表方法及系统、存储介质及服务器 - Google Patents

Abstract

本发明提供一种基于图像识别的仪表盘抄表方法及系统、存储介质及服务器，包括以下步骤：按照预设时间间隔获取图像采集装置实时采集的仪表盘图像；对所述仪表盘图像进行图像识别，获取仪表数据。本发明的基于图像识别的仪表盘抄表方法及系统、存储介质及服务器通过对图像采集装置实时获取的仪表盘图像进行识别处理，实现仪表数据的自动化、高频率、高精确度的统计与记录。

Description

基于图像识别的仪表盘抄表方法及系统、存储介质及服务器

技术领域

本发明涉及图像识别的技术领域，特别是涉及一种基于图像识别的仪表盘抄表方法及系统、存储介质及服务器。

背景技术

能耗分项计量系统是指通过对建筑安装分类和分项能耗计量装置，采用远程传输等手段及时采集能耗数据，实现重点建筑能耗的在线监测和动态分析功能的硬件系统和软件系统的统称。分类能耗是指根据建筑消耗的主要能源种类划分进行采集和整理的能耗数据。分项能耗是指根据建筑消耗的各类能源的主要用途划分进行采集和整理的能耗数据。随着大型公共建筑节能管理需求的提升，能耗分项计量系统正在拓展至实现燃气表/水表等流量计数据的在线监测采集。

由于各方面条件的约束，当前市场上主流的能源表管理工作是通过人工上门定期登记记录的方式进行的。但是该方式具有低效、低实时性、高成本支出等缺点，耗费了大量的人力物力。

另外，也有通过现场加装智能表具，通过数据采集器实现数据采集及上传的方式来进行能耗数据的实时监测和管理。例如，通过对现场加装或者更换智能燃气表/水表等流量计，通过RS485的接线方式将表具或流量计与数据采集器连接，数据采集器通过Modbus标准通讯协议采集数据并上传至能耗分项计量系统。但是，通过加装或者更换智能燃气表/水表等流量计的方式成本高昂且施工难度较大，同时由于需要对燃气管道或者自来水管道进行切割施工，也存在泄露、爆炸等较大安全隐患。同时，由于现场施工技术、现场安装条件、安装方式及设备选型等问题，均会极大程度影响数据的准确性。不准确的能耗数据不具有分析及比较的价值。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种基于图像识别的仪表盘抄表方法及系统、存储介质及服务器，通过对图像采集装置实时获取的仪表盘图像进行识别处理，实现仪表数据的自动化、高频率、高精确度的统计与记录。

为实现上述目的及其他相关目的，本发明提供一种基于图像识别的仪表盘抄表方法，包括以下步骤：按照预设时间间隔获取图像采集装置实时采集的仪表盘图像；对所述仪表盘图像进行图像识别，获取仪表数据。

于本发明一实施例中，所述仪表盘为字符型和/或数字型仪表盘。

于本发明一实施例中，还包括：

对所述仪表数据进行校验；

将校验后的仪表数据存储至系统数据库，以进行运算和/或展示。

于本发明一实施例中，对所述仪表盘图像进行图像识别包括以下步骤：

对所述仪表盘图像进行表框检测；

对所检测到的表框内的字符进行分割；

识别所分割的字符。

于本发明一实施例中，通过边缘检测算法、直线纹理检测增强算法和四边形拟合算法进行表框检测；通过字符边缘检测算法进行字符分割；通过卷积神经网络算法进行字符识别。

于本发明一实施例中，按照预设时间间隔获取图像采集装置实时采集到的仪表盘图像时，还包括配置源图像读取目录、解析文件和日志存放目录、预设时间间隔以及识别后图像存储目录。

于本发明一实施例中，还包括基于txt文档格式存储所述仪表数据。

于本发明一实施例中，还包括在以下任一情况下在日志中进行异常标识：

1)所述仪表盘图像不存在；

2)所述仪表盘图像存在但不可读；

3)所述仪表数据与预设格式不一致；

4)所述仪表盘图像无法识别。

于本发明一实施例中，还包括对日志进行分析，针对所述异常标识进行数据纠错，并在纠错后将错误日志进行标记，进行统一归档整理。

对应地，本发明提供一种基于图像识别的仪表盘抄表系统，包括第一获取模块和第二获取模块；

所述第一获取模块用于按照预设时间间隔获取图像采集装置实时采集的仪表盘图像；

所述第二获取模块用于对所述仪表盘图像进行图像识别，获取仪表数据。

本发明提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的基于图像识别的仪表盘抄表方法。

本发明提供一种服务器，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述服务器执行上述的基于图像识别的仪表盘抄表方法。

最后，本发明提供一种基于图像识别的仪表盘抄表系统，包括上述的服务器和图像采集装置；

所述图像采集装置用于实时采集仪表盘图像，发送至所述服务器。

于本发明一实施例中，还包括终端，与所述图像采集装置和所述服务器均相连，用于存储所述仪表盘图像，并上传至所述服务器。

如上所述，本发明的对字符型和数字型表盘仪表图像识别抄表方法及系统、存储介质及服务器，具有以下有益效果：

(1)通过对图像采集装置实时获取的字符型和数字型表盘仪表图像进行识别处理，实现能源表数据的自动化、高频率、高准确度的统计与记录；

(2)解决由于现场安装条件有限等问题导致能耗数据无法采集的情况，同时也能避免由施工技术、设备选型等问题导致的数据准确性问题；

(3)在保证原有数据准确性及现场施工安全性的同时，大大降低了项目成本、人力资源成本和现场施工风险(能源泄露、爆炸等)。

附图说明

图1显示为本发明的基于图像识别的仪表盘抄表方法于一实施例中的流程图；

图2显示为本发明的基于图像识别的仪表盘抄表系统于一实施例中的结构示意图；

图3显示为本发明的服务器于一实施例中的结构示意图；

图4显示为本发明的基于图像识别的仪表盘抄表系统于另一实施例中的结构示意图。

元件标号说明

21 第一获取模块

22 第二获取模块

31 处理器

32 存储器

41 服务器

42 图像采集装置

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

如图1所示，于一实施例中，本发明的基于图像识别的仪表盘抄表方法包括以下步骤：

步骤S1、按照预设时间间隔获取图像采集装置实时采集的仪表盘图像。

在发明中，所采集的仪表为为字符型和/或数字型仪表盘。

具体地，图像采集装置对仪表盘进行图像采集，获取仪表数据，并上传至服务器。优选地，所述图像采集装置采用网络摄像机或网络相机。其中，图像采集装置的具体部署位置，需考虑光照、角度以及尽可能的规避环境复杂性对算法鲁棒性带来负面干扰，因而要根据实际场景进行调试确定。

优选地，所述预设时间间隔为5分钟。因此，所述服务器每个5分钟即可获取一个实时的字符型和数字型表盘仪表图像。

步骤S2、对所述仪表盘图像进行图像识别，获取仪表数据。

具体地，服务器将通过图像识别技术对所述仪表盘图像进行表盘数据解析，从中提取中业务需求的关键信息并进行字符识别，解析得到当前的字符型和/或数字型的仪表数据，从而实现仪表数据的自动化、高频率、高精确度的统计与记录。

于本发明一实施例中，本发明的基于图像识别的仪表盘抄表方法还包括：对所述仪表数据进行校验；将校验后的仪表数据存储至系统数据库，以进行运算和/或展示。具体地，通过一定的校验算法对所述仪表数据进行校验，以保证图像识别的准确性，然后将所述校验后的仪表数据存储至系统数据库，以便后续的查看、处理等操作，极大地提升了用户体验。

于本发明一实施例中，对所述仪表盘图像进行图像识别包括以下步骤：

21)对所述仪表盘图像进行表框检测。

本发明通过环境增强的方式来增加表框检测的可靠性，具体措施为采用一个尺寸符合表框尺度的环状矩形框外接在表框的边缘来实现环境增强。具体地，由于表框呈现的形状通常为矩形，因此，在经过边缘检测之后会呈现出矩形特征，然而由于环境的复杂性以及其他环境因素的干扰，边缘检测算法在检测出表框纹理以外还将检测出其他的各种纹理信息。因此，之后采用了直线纹理增强算法来增强直线特征，滤除其余的复杂纹理特征，并在此之后进行四边形拟合，检测得到候选四边形框。由于摄像头视野范围有限，因此在有限的视野范围内可能存在或仅存在一个或者若干个四边形框，在利用表框尺度特征滤除后基本可以得到目标表盘框。

22)对所检测到的表框内的字符进行分割。

优选地，本发明采用了字符边缘检测的方式进行字符分割。更为优选地，还可以通过引入一些表盘先验信息来辅助字符分割功能更好的实现。

具体地，本发明通过版面分析算法对表盘文字进行划分，从而分割得出其中的每一行记录中的字符。由于目前本发明的应用场景相对比较理想，光照也受控，同时，每一块表盘的版式固定，因此仅需通过字符像素垂直投影以及波形尖峰点搜索算法即可实现表盘字符的切割。

23)识别所分割的字符。

具体地，本发明采用卷积神经网络算法来进行字符识别。在输入的字符图片经过神经网络的计算之后，将会直接输出各个字符图片对应的字符识别结果。

卷积神经网络模型是一种端到端端模型，在对输入做好预处理之后，将数据加载进模型中进行前馈计算即可得到最终该字符属于各个类别的概率，而系统会自动选择最高概率的类别作为该字符的类别。由于考虑到系统实时性到需求以及实际应用场景，本发明所采用的卷积神经网络模型比较简单，但性能足以达到很高的识别率。

优选地，对于图像识别的结果，以txt文档的格式进行保存，并按照时间或序列号进行排序。对于每一个仪表盘图像在图像识别后都将生成一个对应的txt的文件数据来进行识别结果输出。

于本发明一实施例中，按照预设时间间隔获取图像采集装置实时采集的字符型和数字型表盘仪表图像之前，还包括配置源图像读取目录、解析文件和日志存放目录、预设时间间隔以及识别后图像存储目录。

具体地，服务器通过任务管理模块来配置源图像读取目录、解析文件和日志存放目录、预设时间间隔以及识别后图像存储目录。任务管理模块主要通过读取解析配置文件的方式来对当前的系统任务进行任务配置。配置文件的文件格式为yaml格式。

配置源图像读取目录功能为配置源图像的读取路径，源图像是由图像采集装置进行定时图像采集生成的。

配置解析文件以及日志存放目录功能为配置解析文件以及日志存放路径。当对每一个批次的字符型和数字型表盘仪表图像数据进行解析后会根据当前的解析对象生成一个解析文件目录以及解析日志，其中解析文件目录下的文件均为txt格式，每一个txt文件的文件名与字符型和数字型表盘仪表图像文件名一致，文件内存放的内容为该图像的解析结果，而日志则为该批次文件的解析过程(含有异常报警信息)。

由于本发明是一个定时信息获取以及信息处理的系统，因此，可以配置任务定期读取的预设时间间隔。优选地，默认读取的预设时间间隔为5分钟，可根据系统性能以及需求在配置文件中重新设定。具体地，设定方式可为一个十进制数值，该数值以秒为单位。

配置识别后图像存储目录功能为配置源图像的识别完成后的存放路径，存放格式与源图像的存放路径类似。

于本发明一实施例中，本发明的对字符型和数字型表盘仪表图像识别抄表方法还包括在以下任一情况下在日志中进行异常标识：

1)所述字符型和数字型表盘仪表图像不存在。

具体地，当发生网络问题或者如配置文件错误设置时，所读取的字符型和数字型表盘仪表图像不存在，则产生异常状态，对于这种异常状况将会在日志中以固定的错误代码进行异常标识。

2)所述字符型和数字型表盘仪表图像存在但不可读。

具体地，读取的字符型和数字型表盘仪表数据存在，然而由于图像采集装置采集数据至数据保存传输过程中产生了数据乱码等问题造成了数据不可读，则产生异常状态。对于这种异常状况，将以固定的错误代码在日志中进行异常标识。

3)所述字符型和数字型表盘仪表数据与预设格式不一致。

由于对于每一个表盘，可以通过配置文件来明确该表盘的一些属性，如字符个数等信息，因此，若本次检测识别的结果为7个数码，而实际该表盘只有6个数码时，那么由于两个数值不符，也会在日志中以特殊代码进行异常标识。

4)所述仪表盘图像由于色彩、光照等外部因素而无法识别。

具体地，由于仪表盘所在处的光照、色彩等因素，使得所获取的仪表盘图像不清楚，无法准确识别仪表数据。

于本发明一实施例中，还包括对日志进行分析，针对所述异常标识进行数据纠错，并在纠错后将错误日志进行标记，进行统一归档整理。具体地，服务器通过数据管理模块来对日志进行分析，针对所述异常标识进行数据纠错。其中，数据管理模块包括日志回放模块和数据查询与纠错模块。日志回放模块主要对日志进行回放。由于在解析过程中，对解析过程中出现的一些异常进行了记录，因此日志回放模块主要对日志进行分析，根据预先设定的错误代码的搜索对异常对象进行摘取，并形成一份当前解析任务的解析情况报告单，该报告单对解析结果进行了详细的统计。数据查询以及纠错模块主要根据上述的解析日志报告单生成的结果，通过人工介入的方式来进行数据纠错。针对所述仪表盘图像不存在的情况，在经过网络连接状况检查以及路径配置检查之后，当确保最新配置无误的前提下，通过人工启动来重启数据解析。针对所述仪表盘图像存在但不可读的情况，在确认该错误发生的原因之后，将根据前一时间记录与后一时间记录的数据取均值生成当前仪表数据。针对所述仪表数据与预设格式不一致的情况，则由人工进行识别并记录，从而确保本发明的基于图像识别的仪表盘抄表方法的正确运行。

优选地，本发明的基于图像识别的仪表盘抄表方法所采用的开发语言为Java，C++；所采用的开发工具为IntelliJ IDEA，所采用的操作系统为Window server，所采用的第三方组件为ZBar，FlexCell等。

如图2所示，于一实施例中，本发明的基于图像识别的仪表盘抄表系统包括第一获取模块21和第二获取模块22。

所述第一获取模块21用于按照预设时间间隔获取图像采集装置实时采集的仪表盘图像。

所述第二获取模块22与所述第一获取模块21相连，用于对所述仪表盘图像进行图像识别，获取仪表数据。

需要说明的是，第一获取模块21和第二获取模块22的结构和原理与上述基于图像识别的仪表盘抄表方法中的步骤一一对应，故在此不再赘述。

需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，x模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)，或，一个或多个微处理器(digitalsingnalprocessor，简称DSP)，或，一个或者多个现场可编程门阵列(FieldProgrammableGateArray，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessingUnit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。

本发明的存储介质上存储有计算机程序，该程序被处理器执行时实现上述的基于图像识别的仪表盘抄表方法。优选地，所述存储介质包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。

如图3所示，于一实施例中，本发明的服务器包括：处理器31及存储器32。

所述存储器32用于存储计算机程序。

所述存储器32包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。

所述处理器31与所述存储器32相连，用于执行所述存储器32存储的计算机程序，以使所述车载终端执行上述的基于图像识别的仪表盘抄表方法。

优选地，所述处理器31可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessor，简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)、现场可编程门阵列(Field－ProgrammableGateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

如图4所示，于一实施例中，本发明的基于图像识别的仪表盘抄表系统包括上述的服务器41和图像采集装置42。

所述图像采集装置42与所述服务器41通信连接，用于实时采集仪表盘图像，并发送至所述服务器41。

优选地，所述图像采集装置42采用网络摄像机或网络相机。其中，图像采集装置42的具体部署位置，需考虑光照、角度以及尽可能的规避环境复杂性对算法鲁棒性带来负面干扰，因而要根据实际场景进行调试确定。更为优选地，所述图像采集装置42还用于对所采集的仪表盘图像进行再校验。

于本发明一实施例中，本发明的基于图像识别的仪表盘抄表系统还包括终端，与所述图像采集装置42和所述服务器41均相连，用于存储所述仪表盘图像，并上传至所述服务器41。

具体地，所述终端用于实现所述图像采集装置42与所述服务器41之间的数据中继，具有断点续传功能，从而保证本发明的基于图像识别的仪表盘抄表的正常运行。

综上所述，本发明的对字符型和数字型表盘仪表图像识别抄表方法及系统、存储介质及服务器通过对图像采集装置实时获取的字符型和数字型表盘仪表图像进行识别处理，实现能源表数据的自动化、高频率、高准确度的统计与记录；解决由于现场安装条件有限等问题导致能耗数据无法采集的情况，同时也能避免由施工技术、设备选型等问题导致的数据准确性问题；在保证原有数据准确性及现场施工安全性的同时，大大降低了项目成本和人力资源成本。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (14)

1.一种基于图像识别的仪表盘抄表方法，其特征在于，包括以下步骤：

按照预设时间间隔获取图像采集装置实时采集的仪表盘图像；

对所述仪表盘图像进行图像识别，获取仪表数据。

2.根据权利要求1所述的基于图像识别的仪表盘抄表方法，其特征在于，所述仪表盘为字符型和/或数字型仪表盘。

3.根据权利要求1所述的基于图像识别的仪表盘抄表方法，其特征在于，还包括：

对所述仪表数据进行校验；

将校验后的仪表数据存储至系统数据库，以进行运算和/或展示。

4.根据权利要求1所述的基于图像识别的仪表盘抄表方法，其特征在于，对所述仪表盘图像进行图像识别包括以下步骤：

对所述仪表盘图像进行表框检测；

对所检测到的表框内的字符进行分割；

识别所分割的字符。

5.根据权利要求4所述的基于图像识别的仪表盘抄表方法，其特征在于，通过边缘检测算法、直线纹理检测增强算法和四边形拟合算法进行表框检测；通过字符边缘检测算法进行字符分割；通过卷积神经网络算法进行字符识别。

6.根据权利要求1所述的基于图像识别的仪表盘抄表方法，其特征在于，按照预设时间间隔获取图像采集装置实时采集到的仪表盘图像时，还包括配置源图像读取目录、解析文件和日志存放目录、预设时间间隔以及识别后图像存储目录。

7.根据权利要求1所述的基于图像识别的仪表盘抄表方法，其特征在于，还包括基于txt文档格式存储所述仪表数据。

8.根据权利要求1所述的基于图像识别的仪表盘抄表方法，其特征在于，还包括在以下任一情况下在日志中进行异常标识：

1)所述仪表盘图像不存在；

2)所述仪表盘图像存在但不可读；

3)所述仪表数据与预设格式不一致；

4)所述仪表盘图像无法识别。

9.根据权利要求8所述的基于图像识别的仪表盘抄表方法，其特征在于，还包括对日志进行分析，针对所述异常标识进行数据纠错，并在纠错后将错误日志进行标记，进行统一归档整理。

10.一种基于图像识别的仪表盘抄表系统，其特征在于，包括第一获取模块和第二获取模块；

所述第一获取模块用于按照预设时间间隔获取图像采集装置实时采集的仪表盘图像；

所述第二获取模块用于对所述仪表盘图像进行图像识别，获取仪表数据。

11.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至9中任一项所述的基于图像识别的仪表盘抄表方法。

12.一种服务器，其特征在于，包括：处理器及存储器；

所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述服务器执行权利要求1至9中任一项所述的基于图像识别的仪表盘抄表方法。

13.一种基于图像识别的仪表盘抄表系统，其特征在于，包括权利要求12所述的服务器和图像采集装置；

所述图像采集装置用于实时采集仪表盘图像，发送至所述服务器。

14.根据权利要求13所述的基于图像识别的仪表盘抄表系统，其特征在于，还包括终端，与所述图像采集装置和所述服务器均相连，用于存储所述仪表盘图像，并上传至所述服务器。