CN114268621A - 基于深度学习的数字仪表读表方法及装置 - Google Patents
基于深度学习的数字仪表读表方法及装置 Download PDFInfo
- Publication number
- CN114268621A CN114268621A CN202111572915.6A CN202111572915A CN114268621A CN 114268621 A CN114268621 A CN 114268621A CN 202111572915 A CN202111572915 A CN 202111572915A CN 114268621 A CN114268621 A CN 114268621A
- Authority
- CN
- China
- Prior art keywords
- image
- ftp server
- file
- processing
- uploading
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000013135 deep learning Methods 0.000 title claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 51
- 230000006870 function Effects 0.000 claims abstract description 50
- 230000008569 process Effects 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 239000013598 vector Substances 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 230000009191 jumping Effects 0.000 claims description 6
- 238000012423 maintenance Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 238000003708 edge detection Methods 0.000 claims description 4
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 claims description 3
- 229910052782 aluminium Inorganic materials 0.000 claims description 3
- 239000011888 foil Substances 0.000 claims description 3
- 238000012015 optical character recognition Methods 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000009434 installation Methods 0.000 description 3
- 230000006855 networking Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000002427 irreversible effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开一种基于深度学习的数字仪表读表方法及装置，其中方法包括：S1：将摄像头对准仪表盘的表面，配置心跳线程、文件存储、FTP服务器、重启功能及看门狗功能；S2：配置图像旋转函数，并预存在配置文件中；S3：启动设备，通过摄像头实时对数字仪表进行视频采集，并对采集到的视频进行实时处理，得到当前读数值图像，具体包括摄像头自动进行矩形检测过程及图像识别比对过程；S4：根据步骤S1中的配置将当前读数值图像上传至FTP服务器，并在上传后检测是否上传成功，如果上传成功则向FTP服务器发送带有文件名称的心跳，用于通知FTP服务器查收数据。
Description
技术领域
本发明涉及计算机技术领域，具体而言，涉及一种基于深度学习的数字仪表读表方法及装置。
背景技术
目前很多传统数字仪器仪表设备不具备记录数据及联网传输数据的功能，故无法进行远程读取数据，从而不能达到及时对数据进行记录、筛查、清洗等工作。现有技术中的读表方法对于仪表的识别准确度不高，所采集的无法使用的照片过多，极大的降低了服务器的效率，为机器智能的判断造成了很大的障碍。一些读表方法例如申请号为201910715886.0的发明专利，其需要先对采集的图像进行预处理，识别效率无法做到实时快速。因此，需要一种快速读表的方法，且能够对传统数字仪表设备增加信息传输功能，达到可远程监控设备的目的，为大数据服务做基础的数据支撑工作，以实现远程监控、数据获取，并能够配合大数据服务到达实时报警、预警等功能，提高工作效率。
发明内容
为了解决上述问题，本发明提供一种基于深度学习的数字仪表读表方法及装置，采用深度学习技术通过摄像头实时读取数字仪表表面，并实时上传服务器，实现所检测设备数据可远程传输，且图像处理对比准确，可实现实时发现图像5秒内的变化数据，安装配置简便，适用范围广泛，对于仪器仪表类数字显示的设备都有很好的适配性，可自动适配检测设备屏幕的数值。
为达到上述目的，本发明提供了一种基于深度学习的数字仪表读表方法，其包括以下步骤：
步骤S1：将摄像头对准仪表盘的表面，配置心跳线程、文件存储、FTP服务器、重启功能及看门狗功能；
步骤S2：配置图像旋转函数，并预存在配置文件中；
步骤S3：启动设备，通过摄像头实时对数字仪表进行视频采集，并对采集到的视频进行实时处理，得到当前读数值图像，具体包括摄像头自动进行矩形检测过程及图像识别比对过程；
步骤S4：根据步骤S1中的配置将当前读数值图像上传至FTP服务器，并在上传后检测是否上传成功，如果上传成功则向FTP服务器发送带有文件名称的心跳，用于通知FTP服务器查收数据。
在本发明一实施例中，其中，步骤S1中心跳线程的配置具体为：配置心跳发送的间隔，并设置将本地心跳发送至服务器的报文格式。
在本发明一实施例中，其中，步骤S1中文件存储的配置具体为：
步骤S111：检测本地存储的文件夹的时间与当前时间的时间差；
步骤S112：若时间差大于等于预设阈值，则将对应文件夹及其内容删除；若时间差小于预设阈值，则保留。
在本发明一实施例中，其中，步骤S1中FTP服务器的配置具体为：将配置文件放入预设文件夹中，并在配置文件中写入FTP服务器的用户名和密码。
在本发明一实施例中，其中，步骤S1中看门狗功能的配置具体为：
步骤S121：对看门狗进行初始化；
步骤S122：生成看门狗文件，并将当前时间的分针数存储在文件中；
步骤S123：设置系统每次操作后均自动获取系统NTP服务器时间的分针数，并与看门狗文件中存储的分针数进行比对；
步骤S124：若比对结果大于等于看门狗阈值，则重启系统；若比对结果小于看门狗阈值，则继续运行。
在本发明一实施例中，其中，步骤S2中的图像旋转函数为线性变换函数，包括线性与变换两部分，具体为：
步骤S201：按向量旋转θ角度，将矩阵
旋转，得到旋转矩阵Q-θ；
步骤S202：根据旋转矩阵性质得到任一向量x的线性变换关系Ax＝b，其中A为变换函数，b为变换后的向量。
在本发明一实施例中，其中，步骤S3中摄像头自动进行矩形检测的过程具体包括：
步骤S301：使用OpenCV通过阈值分解的多级中值滤波去噪的算法，依次提取图像中不同的颜色通道检测矩形；
步骤S302：对于图像进行灰度处理后，进行高斯核滤波处理，其中，通过对于图像进行离散化的一维高斯函数处理，自动确定参数得到一维高斯核向量；对于图像进行离散化的二维高斯函数处理，自动确定参数得到二维高斯核向量；根据一维高斯核向量与二维高斯核向量得到高斯核后，对图像整体进行归一化处理；
步骤S303：对归一化处理后的图像进行梯度下降算法处理，得到最小二乘数图像；
步骤S304：对图像的每一颜色通道进行边缘检测，其中，采用的处理方式包括铝箔处理与图像梯度增强；
步骤S305：将图像进行二值化处理，以加快后续检测速度；
步骤S306：对图像进行查找轮廓处理，具体为：通过轮廓检索模式，进行偏移量检查，然后进行填充模式处理；
步骤S307：对图像进行多边形拟合曲线处理，用于去除多边形轮廓中一些小的波折以形成一个矩形；
步骤S308：找到图像中同时满足面积大与一预设值且形状为凸的四边形区域；
步骤S309：判断四边形区域轮廓中两两邻接的边的夹角余弦是否小于0.3，若是则判断此四边形为所要找的矩形。
在本发明一实施例中，其中，步骤S3中图像识别比对是提取每秒视频帧的第一帧作为这一秒视频的基准图像，具体过程为：
步骤S311：提取第一秒视频帧的第一帧图像作为一基准图像，并对基准图像进行OCR文字识别，如果能够检测到文字，则判定仪表正常工作，同时将对应基准图像保存至内存中，并将识别出的文字存储到对应的文本文件内；
步骤S312：提取下一秒视频帧的第一帧图像，并对其进行OCR文字识别，然后将识别出的文字与文本文件中识别出的文字进行对比，
若对比结果为两次文字识别相同，则认为仪表图像没有变化，继续对下一下秒图像进行OCR文字识别，重复对比步骤；
若对比结果为两次文字识别不同，则进入步骤S313；
步骤S313：将步骤S311提取的图像帧与步骤S312提取的图像帧进行直方图变化率对比；
步骤S314：若比对结果不同，则认定仪表的显示发生了变化，并将后面一张图像储存至本地，同时检测存储图片中的黑色占比及图像大小；
步骤S315：当判断图像中的黑色占比超过99％，且通过图像大小判断为有效图像，则将此图像作为数字仪表的当前读数值图像；
其中，在步骤S314中还包括无效图片检测，具体为：检测待识别图像的大小，如果检测待识别图像的大小大于等于预设图像大小阈值，则认定此图像为有效图像；否则认定此图像为无效图像。
在本发明一实施例中，其中步骤S4的具体过程为：
步骤S401：上传当前读数值图像到FTP服务器，并通过文件名检测FTP服务器内是否有这张图像；
步骤S402：如果检测到FTP服务器中有这张图像，直接跳转到步骤S405；如果没有检测到这张图像，进入步骤S403；
步骤S403：再次发送当前读数值图像到FTP服务器，并通过文件名检测FTP服务器内是否有这张图像；
步骤S404：如果检测到FTP服务器中有这张图像，直接跳转到步骤S405；如果没有检测到这张图像，则向FTP服务器发送带有文件名的心跳，并进入步骤S406；
步骤S405：向FTP服务器发送带有文件名称的心跳，以通知FTP服务器查收数据，完成图像上传；
步骤S406：FTP服务器检测到心跳的内容，但无法获取到实际的图像文件，则认定FTP服务器出现存储或传输故障，向运维人员发送检修通知；
其中，在步骤S401和步骤S403中，在上传图像与检测图像之间还设置一延时时间。
为达到上述目的，本发明还提供了一种基于深度学习的数字仪表读表装置，其包括：
一主机，其包括处理器、内存模块及电源模块，且通过有线或无线网络连接远程服务器，用于对采集的图像进行识别、存储并上传；
一摄像头，与所述主机电性连接；
所述摄像头通过一可调节连杆架设于待检测仪表设备上，且所述摄像头的镜头面向数字仪表盘面。
与现有技术相比，本发明具有以下优势：
1)可以解决传统数字仪器仪表设备不具备记录数据及联网传输数据的功能，从而达到及时对数据的记录、筛查、清洗等工作，以达到可远程监控设备的目的，为大数据服务做基础的数据支撑，实现远程监控、数据获取，并配合大数据服务实现实时报警、预警等功能，极大的提高了工作效率。
2)对比市场主流方案，本发明的方法和装置可实现无需对检测设备图像变化进行学习，只需简单配置即可实现开箱即用，安装配置简便，适用范围广泛。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例的流程图；
图2为本发明一实施例看门狗功能流程图；
图3为本发明一实施例图像线性变换的示意图；
图4为本发明一实施例图像识别比对的流程图；
图5为本发明一实施例的装置示意图。
附图标记说明：501-水分仪；502-主机；503-摄像头；504-可调节连杆。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明一实施例的流程图，如图1所示，本实施例提供了一种基于深度学习的数字仪表读表方法，其包括以下步骤：
步骤S1：将摄像头对准仪表盘的表面，配置心跳线程、文件存储、FTP(FileTransfer Protocol，文件传输协议)服务器、重启功能及看门狗功能等；
在本实施例中，其中，步骤S1中心跳线程的配置具体为：配置心跳发送的间隔，并设置将本地心跳发送至服务器的报文格式。
本实施例配置的心跳发送间隔可以为每个整点发送一次，即每次分针数为00时发送一次，由于本实施例采用linux系统，而linux系统是以毫秒计算的，因此还需要过滤秒针00秒内其他毫秒产生的干扰。其他实施例也可以根据需求将时间间隔配置为其他值，本发明不对此进行限制。本实施例中的报文可以例如为：
{"status"："1"，"fileName"："2021-7-11-10-13-29-BJShuiFenDev1001.jpg"，"createTime"："2021-07-11 14:48:30"，"toolType"："BJShuiFenDev"，“devId”：“BJShuiFenDev1001”}，此报文仅为举例，并非用以限制本发明的报文格式，在其他实施例中，报文格式还可以根据需求进行修改，在此不做赘述。
在本实施例中，其中，步骤S1中文件存储的配置具体为：
步骤S111：检测本地存储的文件夹的时间与当前时间的时间差；
步骤S112：若时间差大于等于预设阈值，则将对应文件夹及其内容删除；若时间差小于预设阈值，则保留。
本实施例例如预设阈值为2个月，文件夹名称可以按照建立时间命名，例如检测文件夹名称为2021-07-11，采用字符串拼接方法得到时间为2021711，假设当前时间为2021-11-07，得到字符串为20211107，将两个数值进行相减，如果大于200则认为是两个月之前的内容，进行删除，如果小于200，则保留。
在本实施例中，其中，步骤S1中FTP服务器的配置具体为：将配置文件放入预设文件夹中，并在配置文件中写入FTP服务器的用户名和密码。
本实施例例如可将配置文件放在文件夹内congfig.txt的ftpgroup中，并写入FTP服务器的用户名和密码。
在本实施例中重启功能的配置具体为：设定每天工作的重启时间，以防止log文件产生过大的问题。例如可以设置每天0点定时重启。
图2为本发明一实施例看门狗功能流程图，如图2所示，在本实施例中，其中，步骤S1中看门狗功能的配置具体为：
步骤S121：对看门狗进行初始化；
步骤S122：生成看门狗文件，并将当前时间的分针数存储在文件中；例如在软件设定位置处生成看文狗文件为watchdog.txt，当前时间的分针数为46，则将46储存到watchdog.txt中。
步骤S123：设置系统每次操作后均自动获取系统NTP(网络时间协议)服务器时间的分针数，并与看门狗文件中存储的分针数进行比对；例如设定系统每次操作后自动获取NTP服务器时间的分针数并与watchdog.txt中的分针数做相减。
步骤S124：若比对结果大于等于看门狗阈值，则重启系统；若比对结果小于看门狗阈值，则继续运行。例如看门狗阈值设定为5分钟，NTP服务器时间的分针数与watchdog.txt中的分针数相减大于等于5，则认定系统死机了，则自动重启系统，反之，系统可继续运行。
步骤S2：配置图像旋转函数，并预存在配置文件中；由于摄像头可能为不同的方向照向仪器仪表，故需要对图像进行旋转处理，本功能作为配置函数出现在配置文件config.txt的rotgroup中，可以预设rot＝0即为不需要旋转，否则对图像进行逆时针旋转。
在图像处理中，有的时候会有对图片进行角度旋转的处理，尤其是在计算机视觉中对于图像扩充，旋转角度扩充图片是一种常见的处理。这种旋转图片的应用场景也比较多，比如用户上传图片是竖着的时候，不好进行处理，也需要对其进行旋转，以便后续算法处理。常见的旋转处理有两种方式，一种是转化为NumPy(Numerical Python，为Python的一种开源的数值计算扩展)矩阵后，对NumPy矩阵进行处理，另外一种是使用OpenCV(一个基于Apache2.0许可发行的跨平台计算机视觉和机器学习软件库)自带的函数进行各种变换处理，以实现旋转角度的结果。
图3为本发明一实施例图像线性变换的示意图，如图3所示，在本实施例中，其中，步骤S2中的图像旋转函数为线性变换函数，包括线性与变换两部分，具体为：
步骤S201：按向量旋转θ角度，将矩阵
旋转，得到旋转矩阵Q-θ；
旋转矩阵的性质包括：QθQ-θ＝I，即反向旋转相同角度后回到原位；
旋转两次等效一次旋转两角和的效果。θ表示向量夹角，两条直线(或向量)相交所形成的最小正角称为这两条直线(或向量)的夹角，QθQ-θ＝I表示一个矩阵的转置与本身相乘得到对称矩阵一个矩阵的逆矩阵，与本身相乘得到单位矩阵行列式不等于零，矩阵可逆，反之不可逆，满秩矩阵一定是可逆的。
步骤S202：根据旋转矩阵性质得到任一向量x的线性变换关系Ax＝b，其中A为变换函数，b为变换后的向量。
步骤S3：启动设备，通过摄像头实时对数字仪表进行视频采集，并对采集到的视频进行实时处理，得到当前读数值图像，具体包括摄像头自动进行矩形检测过程及图像识别比对过程；
由于目前所设计的带有屏幕的数字显示仪器仪表的文字框都是矩形的形状，因此需要对图像进行矩形判断，通过自动检测将所要识别的区域，以进行后续图像处理操作。在本实施例中，其中，步骤S3中摄像头自动进行矩形检测的过程具体包括：
步骤S301：使用OpenCV通过阈值分解的多级中值滤波去噪的算法(Thresholddecomposition of multilevel median filter denoising algorithm)，依次提取图像中不同的颜色通道(BGR)检测矩形；
步骤S302：对于图像进行灰度处理后，进行高斯核滤波处理(Gaussian kernelfilter processing)，其中，通过对于图像进行离散化的一维高斯函数处理，自动确定参数得到一维高斯核向量；对于图像进行离散化的二维高斯函数处理，自动确定参数得到二维高斯核向量；根据一维高斯核向量与二维高斯核向量得到高斯核后，对图像整体进行归一化处理；
步骤S303：对归一化处理后的图像进行梯度下降算法(Gradient descentalgorithm)处理，得到最小二乘数图像；
步骤S304：对图像的每一颜色通道(BGR)进行边缘检测(canny)，其中，采用的处理方式包括铝箔处理与图像梯度增强；
步骤S305：将图像进行二值化处理，以加快后续检测速度；
步骤S306：对图像进行查找轮廓(findContours)处理，具体为：通过轮廓检索模式，进行偏移量检查，然后进行填充模式处理；
步骤S307：对图像进行多边形拟合曲线处理(approxPolyDP)，用于去除多边形轮廓中一些小的波折以形成一个矩形；由于检测出来的轮廓可能是离散的点，故应在此做近似计算，使其形成一个矩形，做精度控制，原始轮廓到近似轮廓的最大的距离，较小时可能为多边形；较大时可能为矩形。
步骤S308：找到图像中同时满足面积大与一预设值且形状为凸的四边形区域；
步骤S309：判断四边形区域轮廓中两两邻接的边的夹角余弦是否小于0.3，若是则判断此四边形为所要找的矩形。根据三角函数原理，夹角余弦小于0.3，意味着角度在90度附近。
图4为本发明一实施例图像识别比对的流程图，如图4所示，在本实施例中，其中，步骤S3中图像识别比对是提取每秒视频帧的第一帧作为这一秒视频的基准图像，具体过程为：
步骤S311：提取第一秒视频帧的第一帧图像作为一基准图像，并对基准图像进行OCR(Optical Character Recognition，光学字符识别)文字识别，如果能够检测到文字，则判定仪表正常工作，同时将对应基准图像保存至内存中，并将识别出的文字存储到对应的文本(txt)文件内；
步骤S312：提取下一秒视频帧的第一帧图像，并对其进行OCR文字识别，然后将识别出的文字与文本(txt)文件中识别出的文字进行对比，
若对比结果为两次文字识别相同，则认为仪表图像没有变化，继续对下一下秒图像进行OCR文字识别，重复对比步骤；
若对比结果为两次文字识别不同，则进入步骤S313；
步骤S313：将步骤S311提取的图像帧与步骤S312提取的图像帧进行直方图变化率对比；由于仪表可能会在图像环境复杂的地方，因此可以通过直方图变化率对比自动调节阈值的变化，例如：在光线比较单一的房间内，两次拍照的直方图变化率会在200以内；在光线复杂的环境内，直方图变化率会在1000以上，因此可以针对不同的照片，自动进行阈值判断识别。
步骤S314：若比对结果不同，则认定仪表的显示发生了变化，并将后面一张图像储存至本地，同时，由于光线环境可能发生变化，因此检测存储图片中的黑色占比及图像大小；
步骤S315：当判断图像中的黑色占比超过99％，且通过图像大小判断为有效图像，则将此图像作为数字仪表的当前读数值图像。
在本实施例中，其中，在步骤S314中还包括无效图片检测，具体为：检测待识别图像的大小，如果检测待识别图像的大小大于等于预设图像大小阈值，则认定此图像为有效图像；否则认定此图像为无效图像。由于摄像头在拍摄视频时可能在一帧的图像中不能进行全部的拍照，因此需要根据图像的大小判断图像是否有效，以此略过无效图像。
步骤S4：根据步骤S1中的配置将当前读数值图像上传至FTP服务器，并在上传后检测是否上传成功，如果上传成功则向FTP服务器发送带有文件名称的心跳，用于通知FTP服务器查收数据。
在本实施例中，其中步骤S4的具体过程为：
步骤S401：上传当前读数值图像到FTP服务器，并通过文件名检测FTP服务器内是否有这张图像；
步骤S402：如果检测到FTP服务器中有这张图像，直接跳转到步骤S405；如果没有检测到这张图像，进入步骤S403；
步骤S403：再次发送当前读数值图像到FTP服务器，并通过文件名检测FTP服务器内是否有这张图像；
步骤S404：如果检测到FTP服务器中有这张图像，直接跳转到步骤S405；如果没有检测到这张图像，则向FTP服务器发送带有文件名的心跳，并进入步骤S406；
步骤S405：向FTP服务器发送带有文件名称的心跳，用于通知FTP服务器查收数据，完成图像上传；
步骤S406：FTP服务器检测到心跳的内容，但无法获取到实际的图像文件，则认定FTP服务器出现存储或传输故障，向运维人员发送检修通知；
其中，在步骤S401和步骤S403中，在上传图像与检测图像之间还设置一延时时间。由于网络传输可能存在延迟，因此设置了延时时间(timeout)，例如为3秒，以避免当在服务器检测图像时实际上还没有传送完毕的情况发生。
由于本实施例的实施过程是一智慧终端的边缘检测过程，因此还可以包括将所识别出文字的文本(txt)文件发给FTP服务器，其上传过程可以与图像上传过程相同，在此不做赘述。
图5为本发明一实施例的装置示意图，如图5所示，本实施例提供了一种基于深度学习的数字仪表读表装置，其包括：
一主机(502)，其包括处理器、内存模块及电源模块，且通过有线或无线网络连接远程服务器，用于对采集的图像进行识别、存储并上传；
一摄像头(503)，与主机(502)电性连接；
摄像头(503)通过一可调节连杆(504)架设于待检测仪表设备上，且摄像头(503)镜头面向数字仪表盘面。
本实施例以架设在水分仪(501)为例，也可架设在其他仪器仪表上使用，本发明不对其进行限定，摄像头(503)通过可调节连杆(504)安装在水分仪(501)上，且镜头面向数字仪表盘面，摄像头(503)与主机(502)电性连接。主机(502)可以选用linux小主机，内部设置香橙派zero2+32G内存卡，可实现断网一年的存储，且功耗较低；摄像头(503)采用医用级内窥镜USB摄像头(200w)，可实现近距离拍摄，不影响原有视野，综合功耗2W，24小时耗电量0.48千瓦时，正常工作可以通过type-c供电方式工作，也可配合充电宝实现户外移动办公的工作需求，本实施例的装置识别率高，图片可用性能达到99.9％。
本发明具有以下优势：
1)可以解决传统数字仪器仪表设备不具备记录数据及联网传输数据的功能，从而达到及时对数据的记录、筛查、清洗等工作，以达到可远程监控设备的目的，为大数据服务做基础的数据支撑，实现远程监控、数据获取，并配合大数据服务实现实时报警、预警等功能，极大的提高了工作效率。
2)对比市场主流方案，本发明的方法和装置可实现无需对检测设备图像变化进行学习，只需简单配置即可实现开箱即用，安装配置简便，适用范围广泛。
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。
Claims (10)
1.一种基于深度学习的数字仪表读表方法，其特征在于，包括以下步骤：
步骤S1：将摄像头对准仪表盘的表面，配置心跳线程、文件存储、FTP服务器、重启功能及看门狗功能；
步骤S2：配置图像旋转函数，并预存在配置文件中；
步骤S3：启动设备，通过摄像头实时对数字仪表进行视频采集，并对采集到的视频进行实时处理，得到当前读数值图像，具体包括摄像头自动进行矩形检测过程及图像识别比对过程；
步骤S4：根据步骤S1中的配置将当前读数值图像上传至FTP服务器，并在上传后检测是否上传成功，如果上传成功则向FTP服务器发送带有文件名称的心跳，用于通知FTP服务器查收数据。
2.根据权利要求1所述的数字仪表读表方法，其特征在于，步骤S1中心跳线程的配置具体为：配置心跳发送的间隔，并设置将本地心跳发送至服务器的报文格式。
3.根据权利要求1所述的数字仪表读表方法，其特征在于，步骤S1中文件存储的配置具体为：
步骤S111：检测本地存储的文件夹的时间与当前时间的时间差；
步骤S112：若时间差大于等于预设阈值，则将对应文件夹及其内容删除；若时间差小于预设阈值，则保留。
4.根据权利要求1所述的数字仪表读表方法，其特征在于，步骤S1中FTP服务器的配置具体为：将配置文件放入预设文件夹中，并在配置文件中写入FTP服务器的用户名和密码。
5.根据权利要求1所述的数字仪表读表方法，其特征在于，步骤S1中看门狗功能的配置具体为：
步骤S121：对看门狗进行初始化；
步骤S122：生成看门狗文件，并将当前时间的分针数存储在文件中；
步骤S123：设置系统每次操作后均自动获取系统NTP服务器时间的分针数，并与看门狗文件中存储的分针数进行比对；
步骤S124：若比对结果大于等于看门狗阈值，则重启系统；若比对结果小于看门狗阈值，则继续运行。
6.根据权利要求1所述的数字仪表读表方法，其特征在于，步骤S2中的图像旋转函数为线性变换函数，包括线性与变换两部分，具体为：
步骤S201：按向量旋转θ角度，将矩阵
旋转，得到旋转矩阵Q-θ；
步骤S202：根据旋转矩阵性质得到任一向量x的线性变换关系Ax＝b，其中A为变换函数，b为变换后的向量。
7.根据权利要求1所述的数字仪表读表方法，其特征在于，步骤S3中摄像头自动进行矩形检测的过程具体包括：
步骤S301：使用OpenCV通过阈值分解的多级中值滤波去噪的算法，依次提取图像中不同的颜色通道检测矩形；
步骤S302：对于图像进行灰度处理后，进行高斯核滤波处理，其中，通过对于图像进行离散化的一维高斯函数处理，自动确定参数得到一维高斯核向量；对于图像进行离散化的二维高斯函数处理，自动确定参数得到二维高斯核向量；根据一维高斯核向量与二维高斯核向量得到高斯核后，对图像整体进行归一化处理；
步骤S303：对归一化处理后的图像进行梯度下降算法处理，得到最小二乘数图像；
步骤S304：对图像的每一颜色通道进行边缘检测，其中，采用的处理方式包括铝箔处理与图像梯度增强；
步骤S305：将图像进行二值化处理，以加快后续检测速度；
步骤S306：对图像进行查找轮廓处理，具体为：通过轮廓检索模式，进行偏移量检查，然后进行填充模式处理；
步骤S307：对图像进行多边形拟合曲线处理，用于去除多边形轮廓中一些小的波折以形成一个矩形；
步骤S308：找到图像中同时满足面积大与一预设值且形状为凸的四边形区域；
步骤S309：判断四边形区域轮廓中两两邻接的边的夹角余弦是否小于0.3，若是则判断此四边形为所要找的矩形。
8.根据权利要求1所述的数字仪表读表方法，其特征在于，步骤S3中图像识别比对是提取每秒视频帧的第一帧作为这一秒视频的基准图像，具体过程为：
步骤S311：提取第一秒视频帧的第一帧图像作为一基准图像，并对基准图像进行OCR文字识别，如果能够检测到文字，则判定仪表正常工作，同时将对应基准图像保存至内存中，并将识别出的文字存储到对应的文本文件内；
步骤S312：提取下一秒视频帧的第一帧图像，并对其进行OCR文字识别，然后将识别出的文字与文本文件中识别出的文字进行对比，
若对比结果为两次文字识别相同，则认为仪表图像没有变化，继续对下一下秒图像进行OCR文字识别，重复对比步骤；
若对比结果为两次文字识别不同，则进入步骤S313；
步骤S313：将步骤S311提取的图像帧与步骤S312提取的图像帧进行直方图变化率对比；
步骤S314：若比对结果不同，则认定仪表的显示发生了变化，并将后面一张图像储存至本地，同时检测存储图片中的黑色占比及图像大小；
步骤S315：当判断图像中的黑色占比超过99％，且通过图像大小判断为有效图像，则将此图像作为数字仪表的当前读数值图像；
其中，在步骤S314中还包括无效图片检测，具体为：检测待识别图像的大小，如果检测待识别图像的大小大于等于预设图像大小阈值，则认定此图像为有效图像；否则认定此图像为无效图像。
9.根据权利要求1所述的数字仪表读表方法，其特征在于，步骤S4的具体过程为：
步骤S401：上传当前读数值图像到FTP服务器，并通过文件名检测FTP服务器内是否有这张图像；
步骤S402：如果检测到FTP服务器中有这张图像，直接跳转到步骤S405；如果没有检测到这张图像，进入步骤S403；
步骤S403：再次发送当前读数值图像到FTP服务器，并通过文件名检测FTP服务器内是否有这张图像；
步骤S404：如果检测到FTP服务器中有这张图像，直接跳转到步骤S405；如果没有检测到这张图像，则向FTP服务器发送带有文件名的心跳，并进入步骤S406；
步骤S405：向FTP服务器发送带有文件名称的心跳，以通知FTP服务器查收数据，完成图像上传；
步骤S406：FTP服务器检测到心跳的内容，但无法获取到实际的图像文件，则认定FTP服务器出现存储或传输故障，向运维人员发送检修通知；
其中，在步骤S401和步骤S403中，在上传图像与检测图像之间还设置一延时时间。
10.一种基于深度学习的数字仪表读表装置，用于实现权利要求1～9任一项的方法，其特征在于，包括：
一主机，其包括处理器、内存模块及电源模块，且通过有线或无线网络连接远程服务器，用于对采集的图像进行识别、存储并上传；
一摄像头，与所述主机电性连接；
所述摄像头通过一可调节连杆架设于待检测仪表设备上，且所述摄像头的镜头面向数字仪表盘面。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111572915.6A CN114268621B (zh) | 2021-12-21 | 2021-12-21 | 基于深度学习的数字仪表读表方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111572915.6A CN114268621B (zh) | 2021-12-21 | 2021-12-21 | 基于深度学习的数字仪表读表方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114268621A true CN114268621A (zh) | 2022-04-01 |
| CN114268621B CN114268621B (zh) | 2024-04-19 |
Family
ID=80828903
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111572915.6A Active CN114268621B (zh) | 2021-12-21 | 2021-12-21 | 基于深度学习的数字仪表读表方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114268621B (zh) |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003042921A1 (en) * | 2001-11-13 | 2003-05-22 | Koninklijke Philips Electronics Nv | Method and apparatus for three-dimensional filtering of angiographic volume data |
| JP2005157648A (ja) * | 2003-11-25 | 2005-06-16 | Toyota Motor Corp | 運転者認識装置 |
| WO2016025071A1 (en) * | 2014-08-14 | 2016-02-18 | Alibaba Group Holding Limited | Method and system for verifying user identity using card features |
| KR20170102603A (ko) * | 2016-03-02 | 2017-09-12 | 김정환 | 네트워크 카메라 에러 검출 시스템 |
| CN108198367A (zh) * | 2018-01-16 | 2018-06-22 | 西门子工厂自动化工程有限公司 | 数据采集与监视控制方法、系统、装置及计算机存储介质 |
| US20180260793A1 (en) * | 2016-04-06 | 2018-09-13 | American International Group, Inc. | Automatic assessment of damage and repair costs in vehicles |
| CN109426757A (zh) * | 2017-08-18 | 2019-03-05 | 安徽三联交通应用技术股份有限公司 | 基于深度学习的驾驶人头部姿态监测方法、系统、介质及设备 |
| CN109949340A (zh) * | 2019-03-04 | 2019-06-28 | 湖北三江航天万峰科技发展有限公司 | 基于OpenCV的目标尺度自适应跟踪方法 |
| EP3540643A1 (en) * | 2018-03-16 | 2019-09-18 | Ricoh Company, Ltd. | Image processing apparatus and image processing method |
| CN110276759A (zh) * | 2019-06-28 | 2019-09-24 | 东北大学 | 一种基于机器视觉的手机屏坏线缺陷诊断方法 |
| CN110569849A (zh) * | 2019-08-19 | 2019-12-13 | 北京猫眼视觉科技有限公司 | 一种基于ar眼镜的多仪表同时识别及空间定位方法及系统 |
| CN110717462A (zh) * | 2019-10-12 | 2020-01-21 | 上海市建筑科学研究院 | 数字仪表读数识别方法、装置、设备和介质 |
| CN110942059A (zh) * | 2019-09-12 | 2020-03-31 | 广东互动电子网络媒体有限公司 | 一种基于机器视觉识别的设备数据实时读取方法及装置 |
| CN111860042A (zh) * | 2019-04-26 | 2020-10-30 | 杭州海康威视数字技术股份有限公司 | 仪表读数的方法和装置 |
| CN111915704A (zh) * | 2020-06-13 | 2020-11-10 | 东北林业大学 | 一种基于深度学习的苹果分级识别方法 |
| CN113221893A (zh) * | 2021-05-31 | 2021-08-06 | 深圳源动创新科技有限公司 | 仪表图像处理方法、装置、计算机设备和存储介质 |
| CN113792616A (zh) * | 2021-08-26 | 2021-12-14 | 南方电网深圳数字电网研究院有限公司 | 一种基于边缘计算的远程读表系统及其工作方法 |
-
2021
- 2021-12-21 CN CN202111572915.6A patent/CN114268621B/zh active Active
Patent Citations (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003042921A1 (en) * | 2001-11-13 | 2003-05-22 | Koninklijke Philips Electronics Nv | Method and apparatus for three-dimensional filtering of angiographic volume data |
| JP2005157648A (ja) * | 2003-11-25 | 2005-06-16 | Toyota Motor Corp | 運転者認識装置 |
| WO2016025071A1 (en) * | 2014-08-14 | 2016-02-18 | Alibaba Group Holding Limited | Method and system for verifying user identity using card features |
| US20160048837A1 (en) * | 2014-08-14 | 2016-02-18 | Alibaba Group Holding Limited | Method and system for verifying user identity using card features |
| KR20170102603A (ko) * | 2016-03-02 | 2017-09-12 | 김정환 | 네트워크 카메라 에러 검출 시스템 |
| US20180260793A1 (en) * | 2016-04-06 | 2018-09-13 | American International Group, Inc. | Automatic assessment of damage and repair costs in vehicles |
| CN109426757A (zh) * | 2017-08-18 | 2019-03-05 | 安徽三联交通应用技术股份有限公司 | 基于深度学习的驾驶人头部姿态监测方法、系统、介质及设备 |
| CN108198367A (zh) * | 2018-01-16 | 2018-06-22 | 西门子工厂自动化工程有限公司 | 数据采集与监视控制方法、系统、装置及计算机存储介质 |
| EP3540643A1 (en) * | 2018-03-16 | 2019-09-18 | Ricoh Company, Ltd. | Image processing apparatus and image processing method |
| CN109949340A (zh) * | 2019-03-04 | 2019-06-28 | 湖北三江航天万峰科技发展有限公司 | 基于OpenCV的目标尺度自适应跟踪方法 |
| CN111860042A (zh) * | 2019-04-26 | 2020-10-30 | 杭州海康威视数字技术股份有限公司 | 仪表读数的方法和装置 |
| CN110276759A (zh) * | 2019-06-28 | 2019-09-24 | 东北大学 | 一种基于机器视觉的手机屏坏线缺陷诊断方法 |
| CN110569849A (zh) * | 2019-08-19 | 2019-12-13 | 北京猫眼视觉科技有限公司 | 一种基于ar眼镜的多仪表同时识别及空间定位方法及系统 |
| CN110942059A (zh) * | 2019-09-12 | 2020-03-31 | 广东互动电子网络媒体有限公司 | 一种基于机器视觉识别的设备数据实时读取方法及装置 |
| CN110717462A (zh) * | 2019-10-12 | 2020-01-21 | 上海市建筑科学研究院 | 数字仪表读数识别方法、装置、设备和介质 |
| CN111915704A (zh) * | 2020-06-13 | 2020-11-10 | 东北林业大学 | 一种基于深度学习的苹果分级识别方法 |
| CN113221893A (zh) * | 2021-05-31 | 2021-08-06 | 深圳源动创新科技有限公司 | 仪表图像处理方法、装置、计算机设备和存储介质 |
| CN113792616A (zh) * | 2021-08-26 | 2021-12-14 | 南方电网深圳数字电网研究院有限公司 | 一种基于边缘计算的远程读表系统及其工作方法 |
Non-Patent Citations (1)
| Title |
|---|
| 赵立蒙;张云洲;白秋石;师恩义;齐子新;: "基于无线与图像的家用仪表数值识读装置", 机电工程, no. 10 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114268621B (zh) | 2024-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106446873B (zh) | 人脸检测方法及装置 | |
| CN109360396B (zh) | 基于图像识别技术和NB-IoT技术的远程抄表方法及系统 | |
| US10402944B1 (en) | Determining a position of an object in a rotation corrected image | |
| CN109145759B (zh) | 车辆属性识别方法、装置、服务器及存储介质 | |
| EP3152706B1 (en) | Image capturing parameter adjustment in preview mode | |
| CN108875731B (zh) | 目标识别方法、装置、系统及存储介质 | |
| CN110163087B (zh) | 一种人脸姿态识别方法及系统 | |
| US10303969B2 (en) | Pose detection using depth camera | |
| CN111079571A (zh) | 证卡信息识别及其边缘检测模型训练方法、装置 | |
| CN109413411B (zh) | 一种监控线路的黑屏识别方法、装置及服务器 | |
| CN111626163B (zh) | 一种人脸活体检测方法、装置及计算机设备 | |
| WO2022021029A1 (zh) | 检测模型训练方法、装置、检测模型使用方法及存储介质 | |
| CN112040198A (zh) | 一种基于图像处理的智能水表读数识别系统与方法 | |
| CN115937546A (zh) | 图像匹配、三维图像重建方法、装置、电子设备以及介质 | |
| CN115880260A (zh) | 基站施工的检测方法、装置、设备及计算机可读存储介质 | |
| WO2019196240A1 (zh) | 拍摄照片的方法、装置、计算机设备及存储介质 | |
| CN115410240A (zh) | 智能人脸的痘痘和色斑分析方法、装置及存储介质 | |
| CN113077524A (zh) | 一种双目鱼眼相机自动标定方法、装置、设备及存储介质 | |
| CN114268621B (zh) | 基于深度学习的数字仪表读表方法及装置 | |
| CN108304840B (zh) | 一种图像数据处理方法以及装置 | |
| CN113269730B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN108696637A (zh) | 信息显示方法、装置、服务器和存储介质 | |
| CN114359147A (zh) | 裂缝检测方法、装置、服务器及存储介质 | |
| KR20230043419A (ko) | Ai 기반의 건물 하자 점검 시스템 | |
| CN113780269A (zh) | 图像识别方法、装置、计算机系统及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |