CN112766253A - 一种基于图像的复杂环境下全自动仪表分析的智能系统 - Google Patents

Abstract

一种基于图像的复杂环境下全自动仪表分析的智能系统，涉及深度学习和智能应用系统。包含客户端、智能服务端和系统管理端；客户端包括摄像头、网络连接单元和存储单元；智能服务端包括仪表检测器、角度校正模块、特征点定位模块、数字识别模块和指针识别模块；系统管理端包括安全防护单元、权限管理单元和数据管理单元。系统结构之间分工明确，使得信息流转的过程更为清晰，也进一步降低信息在流传及传输过程中被篡改的风险。优化并促进日常生活中的劳动密集型仪表分析任务，实现仪表信息数字化。能完成仪表信息的普查与数字化，采用自动化方法代替传统人工分析，减轻劳动密集型任务，加快智慧城市建设的步伐，具有极大社会价值和良好经济效益。

Description

一种基于图像的复杂环境下全自动仪表分析的智能系统

技术领域

本发明涉及深度学习和智能应用系统，尤其是涉及一种基于图像的复杂环境下全自动仪表分析的智能系统。

背景技术

自动化被广泛用于优化流程并促进日常生活中的劳动密集型任务。在智慧城市领域，自动仪表分析技术变得越来越关键，近年来，已经提出许多与仪表分析有关的系统，以使这项工作更加方便。但是，当前的自动仪表分析系统不能很好地推广到典型的日常使用情况。不论是在仪表上配备微型摄像机或者是将传感器集成到仪表中，都涉及高昂的转换成本。但是传统人工作业的仪表分析既乏味又容易出错。因此，引入深度学习的技术方法并集成到系统中，既无需高昂的转换成本，又能对新型老型的仪表进行自动化分析，加快智慧城市的建设步伐。

发明内容

本发明的目的在于针对现有技术存在的上述问题，提供一种基于图像的复杂环境下全自动仪表分析的智能系统。

基于图像的复杂环境下全自动仪表分析的智能系统包括三个端，分别是客户端、智能服务端和系统管理端；客户端用于拍摄仪表图片，并传输至智能服务端；智能服务端用于接收图像并对仪表图像中有价值的数值信息进行识别，输出仪表的最终读数给客户端并同步存储至系统管理端；系统管理端对智能服务端的分析流程和结果进行存储，对数据及人员权限进行管理。

所述客户端包括摄像头、网络连接单元和存储单元；

所述摄像头用于获取待检测的仪表图片；

所述网络连接单元用于与智能服务端进行数据传输；

所述存储单元用于存储拍摄的仪表图片以及分析记录。

所述智能服务端包括仪表检测器、角度校正模块、特征点定位模块、数字识别模块和指针识别模块；

所述检测器包括仪表检测器和组件检测器，仪表检测器用于检测出仪表在图片中的位置，组件检测器用于获取仪表中的数字框和指针圆盘的位置；

所述角度校正模块以仪表检测器的结果作为输入，将输入的仪表图像调整到合适的读数角度；

所述特征点定位模块以组件检测器检测出的数字框作为输入，用于定位数字框中的每个数字，并进行切割用于后续的数字识别模块；

所述数字识别模块以特征点定位模块切割出的数字作为输入，用于识别每个数字的值；

所述指针识别模块以组件检测器检测出的指针圆盘作为输入，用于对采集到的待检仪表的表盘图像进行指针识别，得到待检仪表指针指向的参数值。

所述系统管理端包括安全防护单元、权限管理单元和数据管理单元；

所述安全防护单元拥有防火墙，IP过滤等安全防护措施，用于使系统不易受到攻击，拥有足够的稳定性；

所述权限管理单元严格管控不同角色的权限，用于使系统的安全不会受到人为操作的影响；

所述数据管理单元详细记录整个系统的数据，包含系统日志、人员操作、仪表分析等记录、可进行全面的数据监控与分析，数据异常波动时会给出预警，且数据管理单元定期对数据进行备份，在系统出现故障时可快速进行修复还原。

本发明还提供一种基于图像的复杂环境下全自动仪表分析的智能方法，包括以下步骤：

S1：客户端拍摄仪表图片，传输至智能服务端；

S2：智能服务端接收图片，并将图片输入至仪表检测器，仪表检测器检测出仪表在图片中的位置，并根据位置信息将仪表裁剪出来；

S3：使用仪表检测器的结果作为角度校正算法的输入，将仪表图像旋转到合适的读数角度；

S4：将旋转校正后的仪表图片作为组件检测器的输入，以获取仪表中的数字框和指针圆盘；

S5：将组件检测器检测出的数字框作为特征点定位算法的输入，算法利用共线等距的约束，定位出数字框中的每个数字，并将数字裁剪出来；

S6：将特征点定位裁剪出的数字作为数字识别算法的输入，将组件检测器检测出指针圆盘作为指针识别算法的输入，而后分别对数字和指针圆盘进行识别读数，并根据权重单位将每个读数结果进行拼接，输出仪表的最终读数；

S7：将读数结果返回传输至客户端，客户端完成一轮仪表分析，并将拍摄的仪表图片和分析结果传输至系统管理端，进行数据记录并完成存储。

所述角度校正算法根据数字框的首尾来确定一条直线，并结合直线的sin值和cos值来消除角度的歧义性，使得系统能够在将仪表图像调整到合适的读数角度。

所述特征点定位算法利用共线等距的约束，使得系统能够在各种复杂环境下准确定位仪表中的每个数字。

所述数字识别算法既能识别常规的数字，也能识别处于滚动状态的数字，且识别率高。

所述指针识别算法受图片质量影响小，且指针极易识别，可十分精准识别出指针指向的参数值。

本发明所述基于图像的复杂环境下全自动仪表分析的智能系统，只需输入一张仪表的图片，即可自动完成所有的中间分析过程，得到最终的分析结果。系统结构之间分工明确，使得信息流转的过程更为清晰，也进一步降低信息在流传及传输过程中被篡改的风险。

本发明基于图像的复杂环境下全自动仪表分析的智能系统能够优化并促进日常生活中的劳动密集型仪表分析任务。即使十分老旧的仪表也能够实现自动化的分析，同时每次仪表分析的结果都能得到记录，实现仪表信息的数字化。本发明能够完成智慧城市建设中仪表信息的普查与数字化，并采用自动化的方法代替传统人工分析的方法，很大程度上减轻劳动密集型任务，加快智慧城市建设的步伐，具有极大的社会价值和良好的经济效益。

附图说明

图1为本发明实施例基于图像的复杂环境下全自动仪表分析的智能系统的整体结构图。

图2为本发明实施例基于图像的复杂环境下全自动仪表分析的智能方法流程图。

图3为本发明实施例特征点定位算法的示意图。

图4为本发明实施例数字识别算法的示意图。

具体实施方式

以下实施例将结合附图对本发明作进一步的说明。

参见图1，本发明实施例所述基于图像的复杂环境下全自动仪表分析的智能系统包含三个端，分别是客户端、智能服务端和系统管理端；

所述客户端包括摄像头、网络连接单元和存储单元；

所述摄像头用于获取待检测的仪表图片；

所述网络连接单元用于与智能服务端进行数据传输；

所述存储单元用于存储拍摄的仪表图片以及分析记录；

所述智能服务端包括仪表检测器、角度校正模块、特征点定位模块、数字识别模块和指针识别模块；仪表检测器的输出端接角度校正模块的输入端，角度校正模块的输出端接组件检测器的输入端，组件检测器的输出端分别连接特征点定位模块和指针识别模块的输入端；特征点定位模块的输出端链接数字识别模块的输入端；数字识别模块和指针识别模块的输出端接系统管理端的数据管理单元；

所述检测器包括仪表检测器和组件检测器，仪表检测器用于检测出仪表在图片中的位置，组件检测器用于获取仪表中的数字框和指针圆盘的位置；

所述角度校正模块以仪表检测器的结果作为输入，将输入的仪表图像调整到合适的读数角度；

所述特征点定位模块以组件检测器检测出的数字框作为输入，用于定位数字框中的每个数字，并进行切割用于后续的数字识别模块；

所述数字识别模块以特征点定位模块切割出的数字作为输入，用于识别每个数字的值；

所述指针识别模块以组件检测器检测出的指针圆盘作为输入，用于对采集到的待检仪表的表盘图像进行指针识别，得到待检仪表指针指向的参数值；

所述系统管理端包括安全防护单元、权限管理单元和数据管理单元；

所述安全防护单元拥有防火墙，IP过滤等安全防护措施，用于使系统不易受到攻击，拥有足够的稳定性；

所述权限管理单元严格管控不同角色的权限，用于使系统的安全不会受到人为操作的影响；

所述数据管理单元详细记录整个系统的数据，包含系统日志、人员操作、仪表分析等记录、可进行全面的数据监控与分析，数据异常波动时会给出预警，且数据管理单元定期对数据进行备份，在系统出现故障时可快速进行修复还原。

参考图2，采用本实施例系统进行基于图像的复杂环境下全自动仪表分析的智能分析，其运作流程如下：

S1：客户端拍摄仪表图片，传输至智能服务端；

S2：智能服务端接收图片，并将图片输入至仪表检测器，仪表检测器检测出仪表在图片中的位置，并根据位置信息将仪表裁剪出来；

S3：使用仪表检测器的结果作为角度校正算法的输入，将仪表图像旋转到合适的读数角度；

S4：将旋转校正后的仪表图片作为组件检测器的输入，以获取仪表中的数字框和指针圆盘；

S5：将组件检测器检测出的数字框作为特征点定位算法的输入，算法利用共线等距的约束，定位出数字框中的每个数字，并将数字裁剪出来；

S6：将特征点定位裁剪出的数字作为数字识别算法的输入，将组件检测器检测出指针圆盘作为指针识别算法的输入，而后分别对数字和指针圆盘进行识别读数，并根据权重单位将每个读数结果进行拼接，输出仪表的最终读数；

S7：将读数结果返回传输至客户端，客户端完成一轮仪表分析，并将拍摄的仪表图片和分析结果传输至系统管理端，进行数据记录并完成存储。

所述角度校正算法根据数字框的首尾来确定一条直线，并结合直线的sin值和cos值来消除角度的歧义性，使得系统能够在将仪表图像调整到合适的读数角度。

所述特征点定位算法利用共线等距的约束，使得系统能够在各种复杂环境下准确定位仪表中的每个数字。

所述数字识别算法既能识别常规的数字，也能识别处于滚动状态的数字，且识别率高。

所述指针识别算法受图片质量影响小，且指针极易识别，可十分精准识别出指针指向的参数值。

所述基于图像的复杂环境下全自动仪表分析的智能系统，只需输入一张仪表的图片，即可自动完成所有的中间分析过程，得到最终的分析结果。

所述基于图像的复杂环境下全自动仪表分析的智能系统，系统结构之间分工明确，使得信息流转的过程更为清晰，也进一步降低信息在流传及传输过程中被篡改的风险。

仪表主要由结构化的数字面板和相应的单元组成。尽管不同公司生产的仪表的结构不同，但它们具有相似的面板布局和阅读规则。因此，基于划分和分析方法的自动分析仪表方法可以容易地适用于具有相似结构的各种仪表。仪表的分析可以分为以下几个步骤：(1)找出要分析的仪表；(2)将仪表旋转至正确的读数角度；(3)提取出仪表中有价值的信息；(4)分别读取仪表中不同类型的信息；(5)依据每个信息的权重将所有信息拼接起来，以取得最终的分析结果。

为了改进传统人工进行仪表分析的方式，利用深度学习的技术开发一种基于图像的复杂环境下全自动仪表分析的智能系统。本发明系统能够完成仪表的自动化分析，并且将分析结果进行数字化存储，以备大数据分析使用。本系统的运作流程包含3个部分：(1)用户端拍摄仪表图片；(2)智能服务端将自动化分析结果返回；(3)系统管理端对分析的流程和结果进行存储，完成仪表自动化分析作业。

在S3中，所述角度校正算法：

客户端硬件拍摄的仪表图片角度无法得到保障，大部分拍摄的仪表图片角度偏差大，需要旋转校正到合适的角度以方便后续要进行的读数步骤。为此，提出角度校正算法，此算法的过程如下：

1、输入仪表图像。

2、根据数字框的首尾来确定一条直线，并结合直线的sin值和cos值来消除角度的歧义性。

3、根据sin值和cos值得到具体的角度，并进行旋转校正。

在步骤S5中，所述特征点定位算法：

为读取仪表中数字框的值，需要从数字框中提取每个数字。而数字框中的信息存在冗余，并且可能受颜色、分辨率，光照等噪声条件的干扰。为此，提出特征点定位算法，可以在各种复杂的环境下精准定位每个数字，为后续的数字识别提供基础。参考图3，此算法的过程如下：

1、将组件检测器检查出的数字框作为输入。

2、

代表两点直接的距离，通过约束所有点之间都在一条直线上且相邻两点之间的距离相等，然后对数字框中的数字进行预测。

3、根据预测结果计算出等距的距离，并根据每个点的坐标和等距的距离对数字框进行裁剪，得到分割出的所有数字。

在步骤S6中，所述数字识别算法：

在用特征点定位算法得到所有的数字后，需要对每个数字进行识别以获取读数结果，同时还要保证正处于滚动状态的数字也要正确识别。为此，提出数字识别算法，参考图4，具体过程如下：

1、把0至9的数字看成一个圆形概率分布，μ代表实际值，p∈[0，1]，代表环形概率，预测每个数字的概率，然后取概率最高点的值。

2、使用高斯分布N(μ，σ²)计算每个离散整数的概率，其中μ是真实值，σ设成0.05。

3、最后训练好的数字识别模型得出高斯分布的中心，中心点即是预测的最终结果。

在步骤S6中，所述指针识别算法：

组件定位到圆盘指针以后，将圆盘指针进行裁剪，然后通过指针识别算法得出圆盘指针的值。此算法的过程如下：

1、输入仪表的圆盘指针图片。

2、识别出指针，计算指针跟水平线的夹角。

3、根据角度推算指针在圆盘中的指向，得到待检仪表指针指向的参数值。

本实施例中，在客户端拍摄仪表图片，并传输至智能服务端。智能服务端接收到图像后，使用仪表检测器自动检测出仪表在图片中的位置，并根据位置信息将仪表裁剪出来；再使用角度校正算法，将裁剪出的仪表图像旋转到合适的读数角度；而后使用组件检测器从角度校正后的仪表图像中获取仪表中的数字框和指针圆盘；接着使用特征点定位算法，利用共线等距的约束，定位出数字框中的每个数字，并将数字裁剪出来；最后使用数字识别算法和指针识别算法分别对数字和指针圆盘进行读数，并根据权重单位将每个读数结果进行拼接，输出仪表的最终读数。系统管理端对分析的流程和结果进行存储，可便利的查看每次分析记录的详细内容。

本实施例中，基于图像的复杂环境下全自动仪表分析的智能系统能够完成智慧城市建设中仪表信息的普查与数字化，并采用自动化的方法代替传统人工分析的方法，很大程度上减轻劳动密集型任务，加快智慧城市建设的步伐，具有极大的社会价值和良好的经济效益。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种基于图像的复杂环境下全自动仪表分析的智能系统，其特征在于包括三个端，分别是客户端、智能服务端和系统管理端；所述客户端包括摄像头、网络连接单元和存储单元；客户端用于拍摄仪表图片，并传输至智能服务端；所述智能服务端包括仪表检测器、角度校正模块、特征点定位模块、数字识别模块和指针识别模块；智能服务端用于接收图像并对仪表图像中有价值的数值信息进行识别，输出仪表的最终读数给客户端并同步存储至系统管理端；所述系统管理端包括安全防护单元、权限管理单元和数据管理单元；系统管理端对智能服务端的分析流程和结果进行存储，对数据及人员权限进行监管。

2.如权利要求1所述一种基于图像的复杂环境下全自动仪表分析的智能系统，其特征在于所述客户端包括摄像头、网络连接单元和存储单元；

所述摄像头用于获取待检测的仪表图片；

所述网络连接单元用于与智能服务端进行数据传输；

所述存储单元用于存储拍摄的仪表图片以及分析记录。

3.如权利要求1所述一种基于图像的复杂环境下全自动仪表分析的智能系统，其特征在于所述检测器包括仪表检测器和组件检测器，仪表检测器用于检测出仪表在图片中的位置，组件检测器用于获取仪表中的数字框和指针圆盘的位置；

所述角度校正模块以仪表检测器的结果作为输入，将输入的仪表图像调整到合适的读数角度；

所述特征点定位模块以组件检测器检测出的数字框作为输入，用于定位数字框中的每个数字，并进行切割用于后续的数字识别模块；

所述数字识别模块以特征点定位模块切割出的数字作为输入，用于识别每个数字的值；

所述指针识别模块以组件检测器检测出的指针圆盘作为输入，用于对采集到的待检仪表的表盘图像进行指针识别，得到待检仪表指针指向的参数值。

4.如权利要求1所述一种基于图像的复杂环境下全自动仪表分析的智能系统，其特征在于所述安全防护单元拥有防火墙，IP过滤等安全防护措施，用于使系统不易受到攻击，拥有足够的稳定性；

所述权限管理单元严格管控不同角色的权限，用于使系统的安全不会受到人为操作的影响；

所述数据管理单元详细记录整个系统的数据，包含系统日志、人员操作、仪表分析等记录、可进行全面的数据监控与分析，数据异常波动时会给出预警，且数据管理单元定期对数据进行备份，在系统出现故障时可快速进行修复还原。

5.一种基于图像的复杂环境下全自动仪表分析的智能方法，其特征在于包括以下步骤：

S1：客户端拍摄仪表图片，传输至智能服务端；

S2：智能服务端接收图片，并将图片输入至仪表检测器，仪表检测器检测出仪表在图片中的位置，并根据位置信息将仪表裁剪出来；

S3：使用仪表检测器的结果作为角度校正算法的输入，将仪表图像旋转到合适的读数角度；

S4：将旋转校正后的仪表图片作为组件检测器的输入，以获取仪表中的数字框和指针圆盘；

S5：将组件检测器检测出的数字框作为特征点定位算法的输入，算法利用共线等距的约束，定位出数字框中的每个数字，并将数字裁剪出来；

S6：将特征点定位裁剪出的数字作为数字识别算法的输入，将组件检测器检测出指针圆盘作为指针识别算法的输入，而后分别对数字和指针圆盘进行识别读数，并根据权重单位将每个读数结果进行拼接，输出仪表的最终读数；

S7：将读数结果返回传输至客户端，客户端完成一轮仪表分析，并将拍摄的仪表图片和分析结果传输至系统管理端，进行数据记录并完成存储。

6.如权利要求5所述一种基于图像的复杂环境下全自动仪表分析的智能方法，其特征在于在步骤S3中，所述角度校正算法的具体方法为：

1)输入仪表图像；

2)根据数字框的首尾来确定一条直线，并结合直线的sin值和cos值来消除角度的歧义性；

3)根据sin值和cos值得到具体的角度，并进行旋转校正。

7.如权利要求5所述一种基于图像的复杂环境下全自动仪表分析的智能方法，其特征在于在步骤S5中，所述特征点定位算法的具体步骤为：

1)将组件检测器检查出的数字框作为输入；

2)约束所有点之间都在一条直线上且相邻两点之间的距离相等，然后对数字框中的数字位置进行预测；

3)根据预测结果计算出等距的距离，并根据每个点的坐标和等距的距离对数字框进行裁剪，得出分割出的所有数字。

8.如权利要求5所述一种基于图像的复杂环境下全自动仪表分析的智能方法，其特征在于在步骤S6中，所述数字识别算法的具体步骤为：

1)将0至9的数字看成一个圆形概率分布；

2)使用高斯分布N(μ，σ²)计算每个离散证书的概率，其中，μ是真实值，σ设为0.05；

3)训练好的数字识别模型得出高斯分布的中心，中心点即是预测的最终结果。

9.如权利要求5所述一种基于图像的复杂环境下全自动仪表分析的智能方法，其特征在于在步骤S6中，所述指针识别算法的具体步骤为：

1)输入仪表的圆盘指针图片；

2)识别出指针，计算指针跟水平线的夹角；

3)根据角度推算指针在圆盘中的指向，得到待检仪表指针指向的参数值。

Images