CN109508714B - 一种低成本多通道实时数字仪表盘视觉识别方法及系统 - Google Patents

一种低成本多通道实时数字仪表盘视觉识别方法及系统 Download PDF

Info

Publication number
CN109508714B
CN109508714B CN201810967846.0A CN201810967846A CN109508714B CN 109508714 B CN109508714 B CN 109508714B CN 201810967846 A CN201810967846 A CN 201810967846A CN 109508714 B CN109508714 B CN 109508714B
Authority
CN
China
Prior art keywords
digital
roi
model
sub
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810967846.0A
Other languages
English (en)
Other versions
CN109508714A (zh
Inventor
罗晓忠
毛子靖
蒋晟龙
林清华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinjian Intelligent Control Shenzhen Technology Co ltd
Original Assignee
Xinjian Intelligent Control Shenzhen Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinjian Intelligent Control Shenzhen Technology Co ltd filed Critical Xinjian Intelligent Control Shenzhen Technology Co ltd
Priority to CN201810967846.0A priority Critical patent/CN109508714B/zh
Publication of CN109508714A publication Critical patent/CN109508714A/zh
Application granted granted Critical
Publication of CN109508714B publication Critical patent/CN109508714B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Abstract

本发明提供了一种低成本多通道实时数字仪表盘视觉识别方法及系统，包括：S1、数字区域配置；包括数码管区域配置和数码管小数点信息配置S2：子区域ROI预处理；S3：子区域识别；S4：子区域后处理；S5：对数字识别模型进行训练、更新、测试；S6：发布完成模型。本发明针对仪表盘的识别难点逐一解决，从而更好的应用于工业生产监控中。

Description

一种低成本多通道实时数字仪表盘视觉识别方法及系统
技术领域
本发明属于工业生产监控领域，特别是涉及到一种低成本多通道实时数字仪表盘视觉识别方法及系统。
背景技术
识别各种仪器仪表示数任务不同于传统的光学字符识别(OCR)问题，更接近于自然场景的文本识别问题，这方面的研究从整体上可以分为检测(Detection)和识别(Recognition)两个部分；与文档类的OCR问题不同的是，各种仪器仪表示数中的数字检测本身是一件十分困难的事情，许多学者进行了很多的尝试。
在深度学习方法出现之前，基于传统的手工设计特征(Handcraft Features)，包括基于连通区域，以及基于HOG的检测框描述的方法是比较主流的；如通过最大稳定极值区域(MSER-Maximally Stable Extremal Regions)得到字符的候选，并将这些字符候选看作连通图(graph)的顶点，此时就可以将文本行的寻找过程视为聚类(clustering)的过程，因为来自相同文本行的文本通常具有相同的方向、颜色、字体以及形状。在OPENCV中实现了MSER的场景文字检测和识别的算法。
在基于深度学习的办法中，目前看到的大多数解决办法还是检测和识别分开来研究，并没有真正的看检测和识别的端到端完成识别的成果。
Detection部分大多数也是基于备选框(proposal)的，一般先借助Faster R-CNN算法或者SSD算法得到许多个proposal，然后训练分类器对proposal进行分类，最后再做细致处理得到精细的文本区域；这个过程中学者们也解决了文字的方向，大小等的问题。同时，也有基于图像分割来做的，但不是很多，具体可见参考文献。
如果已经检测到了稳定的文本区域，Recognition部分可以采用比较通用的做法：对字符进行分割后单独识别，也可以进行序列识别。CNN+RNN+CTC算法是常用在验证码的自动识别上面。在Detection方面，比较常用的算法是Connectionist Text ProposalNetwork(CPTN)。将CPTN作为Detection算法和将CRNN作为Recognition算法想结合应用于文字识别中，也是常用的一种方式，但该种方法需要大量的训练数据来提高准确率，且算法计算量过大导致文字无法快速的被识别，同样不适用于前期缺乏数据样本的仪器仪表示数任务。
这些算法总结下来有如下问题需要解决：
1.仪器仪表示数任务大多以数码二极管的形式展示，数码二极管有固定的刷新频率，这会导致在连续拍摄一段视频的时候存在较多的图片中显示原本应该被点亮的二极管应为刷新到该频率而变暗，增加了识别稳定性的难度；
2.仪器仪表在实际拍摄中的噪声很大，每一帧图像的前后差异非常高，如图1所示，尽管人的肉眼无法察觉但计算机需要保证在噪声较大的环境中稳定识别仪表盘中的数值依然有很大的难度；
3.实时数据更新有速度要求，在实际生产数据记录中，数字变化的频率较快，如何保证高速实时的识别出拍摄数据对于目前较为综合的OCR算法依然有难度；
4.成本限制下分辨率要求，对于工业上数字仪表盘的监控有大量的需求，但如果采用过高分辨率的相机尽管可以提升准确率，但是速度下降，成本上升对于实际应用也不可接受，因此如何在低分辨率下识别数字也是本算法较其他OCR算法的一个创新之处；
5.在实际生产线上需要同时监控多个仪表盘，因此必然导致拍摄中大多仪表盘并非完全正对，存在各种扭曲情况，如何保证对于各种扭曲情况下仪表盘数字的识别是该项任务的难点之一。
综上所述，如何实现数字仪表视频识别为到正确有意义的输出还有许多的工作要做。
发明内容
有鉴于此，本发明提供一种低成本多通道实时数字仪表盘视觉识别方法及系统，针对仪表盘的识别难点逐一解决，从而更好的应用于工业生产监控中。
为达到上述目的，本发明的技术方案是这样实现的：
一种低成本多通道实时数字仪表盘视觉识别方法，包括：
S1、数字区域配置：其中包括数码管区域配置和数码管小数点信息配置；
数码管区域配置：假设有N个数字仪表盘，相机拍摄的分辨率为W×H，每个仪表盘占据的像素点为Wn×Hn，n＝1，2，...，N，针对每个仪表盘，设置4个点分别表示仪表盘读数的四个角，P1n＝(w1n，h1n)，P2n＝(w2n，h2n)，P3n＝(w3n，h3n)，P4n＝(w4n，h4n)，其中四个角因为拍摄角度不一定为矩形，因此：
Figure GDA0002762944640000031
数码管小数点信息配置：针对每个数字仪表盘预先设置小数点位置信息，得到位置信息数据dotn，n＝1，2，...，N，其中dotn∈[0，dign)，
Figure GDA0002762944640000032
dign为每个数码管最大位数；
S2：子区域ROI预处理，分割为长宽相等的数字图片Rni；所述预处理为并行运算，对每一个ROIn，通过多核处理器并行运行；
S3：子区域识别，得到数字标签rni，将rni组合成ROIn的数字字符串l′n；所述子区域识别为并行运算，对每一个ROIn中的每个数字图片Rni，通过多核处理器并行运行；
S4：子区域后处理，ROI子串识别、ROI中值滤波、ROI数字截取保存；所述子区域后处理为并行运算，对每一个ROIn，通过多核处理器并行运行；
S5：对数字识别模型进行训练、更新、测试；
S6：发布完成模型。
进一步的，步骤S2所述预处理的方法为：
S2.1：ROI透视算法转换；包括：
数码管区域点排序：根据P1n＝(w1n，h1n)，P2n＝(w2n，h2n)，P3n＝(w3n，h3n)，P4n＝(w4n，h4n)给出的信息，找到
Figure GDA0002762944640000033
和
Figure GDA0002762944640000034
两个点，截取这两个点对应的矩形图片
Figure GDA0002762944640000035
并对坐标点进行排序，确保每次获取的坐标信息在顺序上保持一致；其中si＝win+hin，di＝|win-hin|，
Figure GDA0002762944640000036
Figure GDA0002762944640000037
ROI透视转换：根据排序后的坐标进行透视转换，转换后的图像为
Figure GDA0002762944640000038
Figure GDA0002762944640000039
S2.2：ROI对比度亮度调整：对每一个像素点
Figure GDA00027629446400000310
执行
Figure GDA00027629446400000311
Figure GDA00027629446400000312
的操作，扩大亮度对比度，其中γ通常取值为[4，8]之间；转换后的图像为
Figure GDA00027629446400000313
S2.3：ROI灰度图转化，转化后的ROI标注为
Figure GDA00027629446400000314
S2.4：ROI二值化，对每一个像素点
Figure GDA00027629446400000315
执行
Figure GDA00027629446400000316
的操作，扩大亮度对比度，其中α通常取值为[20,50]之间；转换后的图像为
Figure GDA0002762944640000041
Figure GDA0002762944640000042
S2.5：ROI数字分割：根据每一个dign将ROIn分割为长宽相等的数字图片Rni。
进一步的，步骤S3所述子区域识别的方法包括：
S3.1：模型识别特征：判断是否存在已训练好的数字识别模型，如果是，则通过数字识别模型对数码管数字进行识别，得到数字标签rni，将rni组合成ROIn的数字字符串ln，如果否，则跳到3.2；
S3.2：ROI二极管截取法识别特征，得到数字标签rni，将rni组合成ROIn的数字字符串l′n。
进一步的，步骤S4所述子区域后处理的具体方法包括：
S4.1：ROI子串识别算法，判断当前ROIn所识别出的数字dn(t)，t-1＞0与前一帧的数字dn(t-1)进行对比，如当前帧t显示的数字为前一帧t-1的数字的子字符串，则说明数字识别变化为二极管刷新变暗导致，设置dn(t)＝dn(t-1)；否则，说明数字识别变化为数字真实变化，dn(t)保持不变；
S4.2：ROI中值滤波算法，针对给定时间点t和时间段Δt，给定区域ROIn，保留所有该时间段的数字
Figure GDA0002762944640000043
对
Figure GDA0002762944640000044
取中位数得到
Figure GDA0002762944640000045
有效过滤掉视频噪声对数码管数字识别的影响；
S4.3：ROI数字截取保存，每个ROIn所获得的数字图片Rni和其对应的标签rni，即(Rni，rni)，与数据匹配保存；
S4.4：数字结果展示。
进一步的，步骤S5所述数字识别模型的训练、更新、测试的方法包括：
S5.1：CNN模型数字训练：将所有带标签的数据(Rni，rni)输入数字识别CNN模型中进行训练，得到数字识别模型DiodeNetCNN；
S5.2：DiodeNetCNN模型更新：如已存在DiodeNetCNN模型，则通过迁移学习进行再训练，发布最新的DiodeNetCNN模型；
S5.3：DiodeNetCNN模型测试：将从步骤S3获取得到的最新还未进行训练的数据用于测试模型的精度，如果测试精度超过99.9％，则进入步骤S6，否则不发布模型。
本发明的另一方面，还提供了一种低成本多通道实时数字仪表盘视觉识别系统，包括：
数字区域配置模块：用于数码管区域配置和数码管小数点信息配置；数码管区域配置：假设有N个数字仪表盘，相机拍摄的分辨率为W×H，每个仪表盘占据的像素点为Wn×Hn，n＝1，2，...，N，针对每个仪表盘，设置4个点分别表示仪表盘读数的四个角，P1n＝(w1n，h1n)，P2n＝(w2n，h2n)，P3n＝(w3n，h3n)，P4n＝(w4n，h4n)，其中四个角因为拍摄角度不一定为矩形，因此：
Figure GDA0002762944640000051
Figure GDA0002762944640000052
数码管小数点信息配置：针对每个数字仪表盘预先设置小数点位置信息，得到位置信息数据dotn，n＝1，2，...，N，其中dotn∈[0，dign)，
Figure GDA0002762944640000053
dign为每个数码管最大位数；
子区域ROI预处理模块：用于子区域ROI预处理，分割为长宽相等的数字图片Rni；所述预处理为并行运算，对每一个ROIn，通过多核处理器并行运行；
子区域识别模块：用于子区域识别，得到数字标签rni，将rni组合成ROIn的数字字符串l′n；所述子区域识别为并行运算，对每一个ROIn中的每个数字图片Rni，通过多核处理器并行运行；
子区域后处理模块：用于子区域后处理，ROI子串识别、ROI中值滤波、ROI数字截取保存；所述子区域后处理为并行运算，对每一个ROIn，通过多核处理器并行运行；
模型模块：用于对数字识别模型进行训练、更新、测试；
发布模块：用于发布完成模型。
进一步的，子区域ROI预处理模块包括：
ROI透视算法转换单元；用于：数码管区域点排序：根据P1n＝(w1n，h1n)，P2n＝(w2n，h2n)，P3n＝(w3n，h3n)，P4n＝(w4n，h4n)给出的信息，找到
Figure GDA0002762944640000054
和
Figure GDA0002762944640000055
两个点，截取这两个点对应的矩形图片
Figure GDA0002762944640000056
并对坐标点进行排序，确保每次获取的坐标信息在顺序上保持一致；其中si＝win+hin，di＝|win-hin|，
Figure GDA0002762944640000057
Figure GDA0002762944640000058
ROI透视转换：根据排序后的坐标进行透视转换，转换后的图像为
Figure GDA0002762944640000059
ROI对比度亮度调整单元：用于对每一个像素点
Figure GDA00027629446400000510
执行
Figure GDA00027629446400000511
Figure GDA0002762944640000061
的操作，扩大亮度对比度，其中γ通常取值为[4，8]之间；转换后的图像为
Figure GDA0002762944640000062
ROI灰度图转化单元：用于转化后的ROI标注为
Figure GDA0002762944640000063
ROI二值化单元，用于对每一个像素点
Figure GDA0002762944640000064
执行
Figure GDA0002762944640000065
的操作，扩大亮度对比度，其中α通常取值为[20,50]之间；转换后的图像为
Figure GDA0002762944640000066
Figure GDA0002762944640000067
ROI数字分割单元：根据每一个dign将ROIn分割为长宽相等的数字图片Rni。
进一步的，子区域识别模块包括：
模型识别特征单元：用于判断是否存在已训练好的数字识别模型，如果是，则通过数字识别模型对数码管数字进行识别，得到数字标签rni，将rni组合成ROIn的数字字符串ln，如果否，则跳到ROI二极管截取法识别特征单元；
ROI二极管截取法识别特征单元：用于ROI二极管截取法得到数字标签rni，将rni组合成ROIn的数字字符串l′n。
进一步的，子区域后处理模块包括：
ROI子串识别单元：用于判断当前ROIn所识别出的数字dn(t)，t-1＞0与前一帧的数字dn(t-1)进行对比，如当前帧t显示的数字为前一帧t-1的数字的子字符串，则说明数字识别变化为二极管刷新变暗导致，设置dn(t)＝dn(t-1)；否则，说明数字识别变化为数字真实变化，dn(t)保持不变；
ROI中值滤波单元：用于针对给定时间点t和时间段Δt，给定区域ROIn，保留所有该时间段的数字
Figure GDA0002762944640000068
对
Figure GDA0002762944640000069
取中位数得到
Figure GDA00027629446400000610
有效过滤掉视频噪声对数码管数字识别的影响；
ROI数字截取保存单元：用于每个ROIn所获得的数字图片Rni和其对应的标签rni，即(Rni，rni)，与数据匹配保存；
数字结果展示：用于数字结果展示。
进一步的，模型模块包括：
CNN模型数字训练单元：将所有带标签的数据(Rni，rni)输入数字识别CNN模型中进行训练，得到数字识别模型DiodeNetCNN；
DiodeNetCNN模型更新单元：如已存在DiodeNetCNN模型，则通过迁移学习进行再训练，发布最新的DiodeNetCNN模型；
DiodeNetCNN模型测试单元：将从子区域识别模块获取得到的最新还未进行训练的数据用于测试模型的精度，如果测试精度超过99.9％，则进入步骤S6，否则不发布模型。
与现有技术相比，本发明的有益效果为：
1.在识别识别数码管变暗是因为数码管刷新，还是因为数码管数字变化，本发明采用的子字符串对比法可以保证每一帧识别的稳定性上本算法较现有的技术更加稳定，且针对不同的刷新频率的二极管均可稳定是识别数字。
2.相较于传统视觉识别，本发明采用的数值区中值滤波算法可以保证在数字仪表盘的视频检测上更加稳定，能有效过滤视频噪声，从每一帧识别出数字的精度更高。
3.在数码管数字识别中，本发明与现有算法不同，并不直接采用深度学习算法进行识别，而是先通过二极管截取法对数字特征进行识别，同时进行数据的采集记录，再通过深度学习算法模型进行训练识别，从而保证数字识别的稳定性和精度。
4.同样在该过程中，数字截取法和训练算法可以支持非常低分辨率的数字识别与训练，从而让每个数字的分辨率最低可以达到375个像素点，较现有的算法的识别所需分辨率需求低了1倍，可以进一步降低对相机分辨率的要求。
5.针对仪表盘因镜头出现扭曲的情况，本发明对扭曲仪表盘进行的区域透视(Regional Perspection)算法较现有的Radon或Hough变换方法的速度更快，且无需检测数字区域，缩短了识别的时间，更加容易保证数字在实时情况下的监测。
6.在相较于现有的OCR算法进行数字识别中，本发明通过二极管截取法先将数字进行一轮标注，从而免去了人工标注数据的过程，大大节省了训练神经网络的时间，同时简化了神经网络算法的复杂度，增加了通过本发明实时识别数字仪表盘的效率。
附图说明
图1是现有技术中噪声影响仪表盘拍摄的示意图；
图2是本发明实施例有效区分二极管由于刷新变暗的示意图；
图3是本发明实施例采用简单的核心算法模型识别每个二极；管数字的示意图
图4是本发明实施例在简单CNN模型下对二极管数字的有效识别的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
本发明提出了一种低成本且多通道(多个仪表盘同时识别)实时数字仪表盘识别算法：DiodeNet，针对仪表盘的识别难点逐一解决，从而更好的应用于工业生产监控中。
具体包括：
步骤一、数字区域配置
1.1.数码管区域配置：假设有N个数字仪表盘N通常大于10，相机拍摄的分辨率为W×H，W通常为1920，H通常为1080，每个仪表盘占据的像素点为Wn×Hn，n＝1，2，...，N，针对每个仪表盘，我们设置4个点分别表示仪表盘读数的四个角，P1n＝(w1n，h1n)，P2n＝(w2n，h2n)，P3n＝(w3n，h3n)，P4n＝(w4n，h4n)，其中四个角因为拍摄角度不一定为矩形，因此我们有
Figure GDA0002762944640000081
Figure GDA0002762944640000082
1.2.数码管小数点信息配置：针对每个数字仪表盘预先设置小数点位置信息，得到位置信息数据dotn，n＝1，2，...，N，其中dotn∈[0，dign)，
Figure GDA0002762944640000083
dign为每个数码管最大位数。
步骤二、子区域(ROI)预处理(并行运算)：对每一个ROIn，通过多核处理器并行运行，执行如下操作。
2.1.ROI透视算法转换
2.1.1.数码管区域点排序：根据P1n＝(w1n，h1n)，P2n＝(w2n，h2n)，P3n＝(w3n，h3n)，P4n＝(w4n，h4n)给出的信息，找到
Figure GDA0002762944640000084
和
Figure GDA00027629446400000811
两个点，截取这两个点对应的矩形图片
Figure GDA0002762944640000085
并对坐标点进行排序，确保每次获取的坐标信息在顺序上保持一致。其中si＝win+hin，di＝|win-hin|，
Figure GDA0002762944640000086
Figure GDA0002762944640000087
2.1.2.ROI透视转换算法：根据排序后的坐标进行透视转换，转换后的图像为
Figure GDA0002762944640000088
2.2.ROI对比度亮度调整：对每一个像素点
Figure GDA0002762944640000089
执行
Figure GDA00027629446400000810
Figure GDA0002762944640000091
的操作，扩大亮度对比度，其中γ通常取值为[4，8]之间。转换后的图像为
Figure GDA0002762944640000092
2.3.ROI灰度图转化，转化后的ROI标注为
Figure GDA0002762944640000093
2.4.ROI二值化，对每一个像素点
Figure GDA0002762944640000094
执行
Figure GDA0002762944640000095
的操作，扩大亮度对比度，其中α通常取值为[20,50]之间。转换后的图像为
Figure GDA0002762944640000096
Figure GDA0002762944640000097
2.5.ROI数字分割：根据每一个dign将ROIn分割为长宽相等的数字图片Rni。
步骤三、子区域识别(并行运算)：对每一个ROIn中的每个数字图片Rni，通过多核处理器并行运行，执行如下操作。
3.1.DiodeNetCNN模型识别特征：判断是否存在已训练好的DiodeNetCNN模型，如果是，则通过DiodeNetCNN模型对数码管数字进行识别，得到数字标签rni，将rni组合成ROIn的数字字符串ln，如果否，则跳到3.2。
3.2.ROI二极管截取法识别特征，得到数字标签rni，将rni组合成ROIn的数字字符串l′n。
步骤四、子区域后处理(并行运算)：对每一个ROIn，通过多核处理器并行运行，执行如下操作。
4.1.ROI子串识别算法：判断当前ROIn所识别出的数字dn(t)，t-1＞0与前一帧的数字dn(t-1)进行对比，如当前帧t显示的数字为前一帧t-1的数字的子字符串，则说明数字识别变化为二极管刷新变暗导致，设置dn(t)＝dn(t-1)；否则，说明数字识别变化为数字真实变化，dn(t)保持不变。
4.2.ROI中值滤波算法：针对给定时间点t和时间段Δt，通常Δt取值为150ms至300ms，给定区域ROIn，保留所有该时间段的数字
Figure GDA0002762944640000098
对
Figure GDA0002762944640000099
取中位数得到的值
Figure GDA00027629446400000910
可以有效过滤掉视频噪声对数码管数字识别的影响，从而保证数字的稳定性。
4.3.ROI数字截取保存：将每个ROIn所获得的数字图片Rni和其对应的标签rni，即(Rni，rni)，并将标签与数据匹配保存。
4.4.数字结果展示
步骤五、训练DiodeNet
5.1.DiodeNet中CNN模型数字训练：将所有带标签的数据(Rni,rni)输入数字识别CNN模型中进行训练，得到DiodeNetCNN。
5.2.DiodeNetCNN模型更新：如已存在DiodeNetCNN模型，则通过迁移学习进行再训练，发布最新的DiodeNetCNN模型。
5.3.DiodeNetCNN模型测试：将从3.2获取得到的最新数据(还未进行训练)用于测试模型的精度，如果测试精度超过99.9％，则进入步骤六，否则则不发布模型。
步骤六、发布完成模型
CNN模型发布：根据步骤五得到的DiodeNetCNN的测试结果给出数字模型的识别精度，并且保存冻结每一级DiodeNetCNN的权重WI，发布对应的DiodeNetCNN模型。
本发明的关键技术点如下：
1.DiodeNet采用的子字符串对比算法可以保证每一帧识别的稳定性上本算法较现有的技术更加稳定，且针对不同的刷新频率的二极管均可稳定是识别数字，如图2所示。
2.DiodeNet采用的ROI中值滤波算法可以保证在数字仪表盘的视频检测上更加稳定，能有效过滤视频噪声，从每一帧识别出数字的精度更高。
3.如图3所示，DiodeNet先通过二极管截取法对数字特征进行识别，同时进行数据的采集记录，再通过CNN算法模型进行训练识别，可保证CNN模型不稳定是的检测效果依然有效，同时在实际产线中还可积累数据进行模型升级，保证数字识别算法能越来越稳定和精确。
4.DiodeNet采用数字截取法和CNN相结合的算法可以支持非常低分辨率的数字识别与训练，从而让每个数字的分辨率最低可以达到375个像素点，较现有的算法的识别所需分辨率需求低了1倍。
5.DiodeNet对扭曲仪表盘进行的区域透视(Regional Perspection)算法较现有的Radon或Hough变换方法的速度更快，且无需检测数字区域，缩短了识别的时间，更加容易保证数字在实时情况下的监测。
6.如图4所示，DiodeNet通过二极管截取法先将数字进行一轮标注，从而免去了人工标注数据的过程，大大节省了训练神经网络的时间，同时简化了神经网络算法的复杂度，增加了通过DiodeNet实时识别数字仪表盘的效率。
以上描述了本发明的基本原理、主要特征和实施方案等信息，但是本发明不受上述实施过程的限制，在不脱离发明精神和范围的前提下，本发明还可以有各种变化和改进。因此，除非这种变化和改进脱离了本发明的范围，它们应该被看作包含在本发明中。

Claims (6)

1.一种低成本多通道实时数字仪表盘视觉识别方法，其特征在于，包括：
S1、数字区域配置：其中包括数码管区域配置和数码管小数点信息配置；
数码管区域配置：有N个数字仪表盘，相机拍摄的分辨率为W×H，每个仪表盘占据的像素点为Wn×Hn，n＝1，2，...，N，针对每个仪表盘，设置4个点分别表示仪表盘读数的四个角，P1n＝(w1n，h1n)，P2n＝(w2n，h2n)，P3n＝(w3n，h3n)，P4n＝(w4n，h4n)，其中四个角因为拍摄角度不一定为矩形，因此：
Figure FDA0002711878440000011
数码管小数点信息配置：针对每个数字仪表盘预先设置小数点位置信息，得到位置信息数据dotn，n＝1，2，...，N，其中dotn∈[0，dign)，
Figure FDA0002711878440000012
dign为每个数码管最大位数；
S2：子区域ROI预处理，分割为长宽相等的数字图片Rni；所述预处理为并行运算，对每一个ROIn，通过多核处理器并行运行；
S3：子区域识别，得到数字标签rni，将rni组合成ROIn的数字字符串l′n；所述子区域识别为并行运算，对每一个ROIn中的每个数字图片Rni，通过多核处理器并行运行；
S4：子区域后处理，ROI子串识别、ROI中值滤波、ROI数字截取保存；所述子区域后处理为并行运算，对每一个ROIn，通过多核处理器并行运行；
S5：对数字识别模型进行训练、更新、测试；
S6：发布完成模型；
步骤S2所述预处理的方法为：
S2.1：ROI透视算法转换；包括：
数码管区域点排序：根据P1n＝(w1n，h1n)，P2n＝(w2n，h2n)，P3n＝(w3n，h3n)，P4n＝(w4n，h4n)给出的信息，找到
Figure FDA0002711878440000013
和
Figure FDA0002711878440000014
两个点，截取这两个点对应的矩形图片
Figure FDA0002711878440000015
并对坐标点进行排序，确保每次获取的坐标信息在顺序上保持一致；其中si＝win+hin，di＝|win-hin|，
Figure FDA0002711878440000016
Figure FDA0002711878440000017
ROI透视转换：根据排序后的坐标进行透视转换，转换后的图像为
Figure FDA0002711878440000018
Figure FDA0002711878440000021
S2.2：ROI对比度亮度调整：对每一个像素点
Figure FDA0002711878440000022
执行
Figure FDA0002711878440000023
Figure FDA0002711878440000024
的操作，扩大亮度对比度，其中γ通常取值为[4，8]之间；转换后的图像为
Figure FDA0002711878440000025
S2.3：ROI灰度图转化，转化后的ROI标注为
Figure FDA0002711878440000026
S2.4：ROI二值化，对每一个像素点
Figure FDA0002711878440000027
执行
Figure FDA0002711878440000028
的操作，扩大亮度对比度，其中α通常取值为[20，50]之间；转换后的图像为
Figure FDA0002711878440000029
Figure FDA00027118784400000210
S2.5：ROI数字分割：根据每一个dign将ROIn分割为长宽相等的数字图片Rni；
步骤S4所述子区域后处理的具体方法包括：
S4.1：ROI子串识别算法，判断当前ROIn所识别出的数字dn(t)，t-1＞0与前一帧的数字dn(t-1)进行对比，如当前帧t显示的数字为前一帧t-1的数字的子字符串，则说明数字识别变化为二极管刷新变暗导致，设置dn(t)＝dn(t-1)；否则，说明数字识别变化为数字真实变化，dn(t)保持不变；
S4.2：ROI中值滤波算法，针对给定时间点t和时间段Δt，给定区域ROIn，保留所有该时间段的数字
Figure FDA00027118784400000211
对
Figure FDA00027118784400000212
取中位数得到
Figure FDA00027118784400000213
有效过滤掉视频噪声对数码管数字识别的影响；
S4.3：ROI数字截取保存，每个ROIn所获得的数字图片Rni和其对应的标签rni，即(Rni，rni)，与数据匹配保存；
S4.4：数字结果展示。
2.根据权利要求1所述的方法，其特征在于，步骤S3所述子区域识别的方法包括：
S3.1：模型识别特征：判断是否存在已训练好的数字识别模型，如果是，则通过数字识别模型对数码管数字进行识别，得到数字标签rni，将rni组合成ROIn的数字字符串ln，如果否，则跳到3.2；
S3.2：ROI二极管截取法识别特征，得到数字标签rni，将rni组合成ROIn的数字字符串l′n。
3.根据权利要求1所述的方法，其特征在于，步骤S5所述数字识别模型的训练、更新、测试的方法包括：
S5.1：CNN模型数字训练：将所有带标签的数据(Rni，rni)输入数字识别CNN模型中进行训练，得到数字识别模型DiodeNetCNN；
S5.2：DiodeNetCNN模型更新：如已存在DiodeNetCNN模型，则通过迁移学习进行再训练，发布最新的DiodeNetCNN模型；
S5.3：DiodeNetCNN模型测试：将从步骤S3获取得到的最新还未进行训练的数据用于测试模型的精度，如果测试精度超过99.9％，则进入步骤S6，否则不发布模型。
4.一种低成本多通道实时数字仪表盘视觉识别系统，其特征在于，包括：
数字区域配置模块：用于数码管区域配置和数码管小数点信息配置；数码管区域配置：有N个数字仪表盘，相机拍摄的分辨率为W×H，每个仪表盘占据的像素点为Wn×Hn，n＝1，2，...，N，针对每个仪表盘，设置4个点分别表示仪表盘读数的四个角，P1n＝(w1n，h1n)，P2n＝(w2n，h2n)，P3n＝(w3n，h3n)，P4n＝(w4n，h4n)，其中四个角因为拍摄角度不一定为矩形，因此：
Figure FDA0002711878440000031
Figure FDA0002711878440000032
数码管小数点信息配置：针对每个数字仪表盘预先设置小数点位置信息，得到位置信息数据dotn，n＝1，2，...，N，其中dotn∈[0，dign)，
Figure FDA0002711878440000033
dign为每个数码管最大位数；
子区域ROI预处理模块：用于子区域ROI预处理，分割为长宽相等的数字图片Rni；所述预处理为并行运算，对每一个ROIn，通过多核处理器并行运行；
子区域识别模块：用于子区域识别，得到数字标签rni，将rni组合成ROIn的数字字符串l′n；所述子区域识别为并行运算，对每一个ROIn中的每个数字图片Rni，通过多核处理器并行运行；
子区域后处理模块：用于子区域后处理，ROI子串识别、ROI中值滤波、ROI数字截取保存；所述子区域后处理为并行运算，对每一个ROIn，通过多核处理器并行运行；
模型模块：用于对数字识别模型进行训练、更新、测试；
发布模块：用于发布完成模型；
子区域ROI预处理模块包括：
ROI透视算法转换单元；用于：数码管区域点排序：根据P1n＝(w1n，h1n)，P2n＝(w2n，h2n)，P3n＝(w3n，h3n)，P4n＝(w4n，h4n)给出的信息，找到
Figure FDA0002711878440000041
和
Figure FDA0002711878440000042
两个点，截取这两个点对应的矩形图片
Figure FDA0002711878440000043
并对坐标点进行排序，确保每次获取的坐标信息在顺序上保持一致；其中si＝win+hin，di＝|win-hin|，
Figure FDA0002711878440000045
Figure FDA0002711878440000046
ROI透视转换：根据排序后的坐标进行透视转换，转换后的图像为
Figure FDA0002711878440000047
ROI对比度亮度调整单元：用于对每一个像素点
Figure FDA0002711878440000048
执行
Figure FDA0002711878440000049
Figure FDA00027118784400000410
的操作，扩大亮度对比度，其中γ通常取值为[4，8]之间；转换后的图像为
Figure FDA00027118784400000411
ROI灰度图转化单元：用于转化后的ROI标注为
Figure FDA00027118784400000412
ROI二值化单元，用于对每一个像素点
Figure FDA00027118784400000413
执行
Figure FDA00027118784400000414
的操作，扩大亮度对比度，其中α通常取值为[20，50]之间；转换后的图像为
Figure FDA00027118784400000415
Figure FDA00027118784400000416
ROI数字分割单元：根据每一个dign将ROIn分割为长宽相等的数字图片Rni；
子区域后处理模块包括：
ROI子串识别单元：用于判断当前ROIn所识别出的数字dn(t)，t-1＞0与前一帧的数字dn(t-1)进行对比，如当前帧t显示的数字为前一帧t-1的数字的子字符串，则说明数字识别变化为二极管刷新变暗导致，设置dn(t)＝dn(t-1)；否则，说明数字识别变化为数字真实变化，dn(t)保持不变；
ROI中值滤波单元：用于针对给定时间点t和时间段Δt，给定区域ROIn，保留所有该时间段的数字
Figure FDA00027118784400000417
对
Figure FDA00027118784400000418
取中位数得到
Figure FDA00027118784400000419
有效过滤掉视频噪声对数码管数字识别的影响；
ROI数字截取保存单元：用于每个ROIn所获得的数字图片Rni和其对应的标签rni，即(Rni，rni)，与数据匹配保存；
数字结果展示：用于数字结果展示。
5.根据权利要求4所述的系统，其特征在于，子区域识别模块包括：
模型识别特征单元：用于判断是否存在已训练好的数字识别模型，如果是，则通过数字识别模型对数码管数字进行识别，得到数字标签rni，将rni组合成ROIn的数字字符串ln，如果否，则跳到ROI二极管截取法识别特征单元；
ROI二极管截取法识别特征单元：用于ROI二极管截取法得到数字标签rni，将rni组合成ROIn的数字字符串l′n。
6.根据权利要求4所述的系统，其特征在于，模型模块包括：
CNN模型数字训练单元：将所有带标签的数据(Rni，rni)输入数字识别CNN模型中进行训练，得到数字识别模型DiodeNetCNN；
DiodeNetCNN模型更新单元：如已存在DiodeNetCNN模型，则通过迁移学习进行再训练，发布最新的DiodeNetCNN模型；
DiodeNetCNN模型测试单元：将从子区域识别模块获取得到的最新还未进行训练的数据用于测试模型的精度，如果测试精度超过99.9％，则进入步骤S6，否则不发布模型。
CN201810967846.0A 2018-08-23 2018-08-23 一种低成本多通道实时数字仪表盘视觉识别方法及系统 Active CN109508714B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810967846.0A CN109508714B (zh) 2018-08-23 2018-08-23 一种低成本多通道实时数字仪表盘视觉识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810967846.0A CN109508714B (zh) 2018-08-23 2018-08-23 一种低成本多通道实时数字仪表盘视觉识别方法及系统

Publications (2)

Publication Number Publication Date
CN109508714A CN109508714A (zh) 2019-03-22
CN109508714B true CN109508714B (zh) 2021-02-09

Family

ID=65745601

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810967846.0A Active CN109508714B (zh) 2018-08-23 2018-08-23 一种低成本多通道实时数字仪表盘视觉识别方法及系统

Country Status (1)

Country Link
CN (1) CN109508714B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110211361B (zh) * 2019-07-03 2020-08-28 安徽大学 一种家用燃气自助抄表方法及其自助抄表设备
CN113295253B (zh) * 2020-02-24 2023-04-25 上海华位物联网科技有限公司 一种无感知地磅车辆称重数据异常监控方法及系统
CN113486892B (zh) * 2021-07-02 2023-11-28 东北大学 基于智能手机图像识别的生产信息采集方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102176228A (zh) * 2011-01-28 2011-09-07 河海大学常州校区 一种用于识别多个指针式仪表表盘信息的机器视觉方法
US8786706B2 (en) * 2011-08-31 2014-07-22 Next Future, LLC Analog utility meter reading
CN106529537A (zh) * 2016-11-22 2017-03-22 亿嘉和科技股份有限公司 一种数字仪表读数图像识别方法
CN106682665A (zh) * 2016-12-27 2017-05-17 陕西科技大学 一种基于计算机视觉的七段式数显仪表数字识别方法
CN106960208A (zh) * 2017-03-28 2017-07-18 哈尔滨工业大学 一种仪表液晶数字自动切分和识别的方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7349588B2 (en) * 2004-08-25 2008-03-25 Avago Technologies Ecbu Ip Pte Ltd Automatic meter reading

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102176228A (zh) * 2011-01-28 2011-09-07 河海大学常州校区 一种用于识别多个指针式仪表表盘信息的机器视觉方法
US8786706B2 (en) * 2011-08-31 2014-07-22 Next Future, LLC Analog utility meter reading
CN106529537A (zh) * 2016-11-22 2017-03-22 亿嘉和科技股份有限公司 一种数字仪表读数图像识别方法
CN106682665A (zh) * 2016-12-27 2017-05-17 陕西科技大学 一种基于计算机视觉的七段式数显仪表数字识别方法
CN106960208A (zh) * 2017-03-28 2017-07-18 哈尔滨工业大学 一种仪表液晶数字自动切分和识别的方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A low-cost direct reading system for gas meter based on machine vision;Zhiwei He et al.;《 2017 12th IEEE Conference on Industrial Electronics and Applications (ICIEA)》;IEEE;20180208;第1189-1194页 *
七段式数显仪表中数字识别的研究与实现;刘文亮;《万方中国学位论文全文数据库》;20131231;全文 *

Also Published As

Publication number Publication date
CN109508714A (zh) 2019-03-22

Similar Documents

Publication Publication Date Title
Liao et al. Rotation-sensitive regression for oriented scene text detection
CN106529537B (zh) 一种数字仪表读数图像识别方法
CN111325203A (zh) 一种基于图像校正的美式车牌识别方法及系统
CN108921163A (zh) 一种基于深度学习的包装喷码检测方法
CN109508714B (zh) 一种低成本多通道实时数字仪表盘视觉识别方法及系统
AU2020103716A4 (en) Training method and device of automatic identification device of pointer instrument with numbers in natural scene
CN113033558B (zh) 一种用于自然场景的文本检测方法及装置、存储介质
CN109886978B (zh) 一种基于深度学习的端到端告警信息识别方法
CN111310662A (zh) 一种基于集成深度网络的火焰检测识别方法及系统
CN110659637A (zh) 一种结合深度神经网络和sift特征的电能表示数与标签自动识别方法
CN110223310A (zh) 一种基于深度学习的线结构光中心线和箱体边缘检测方法
CN114241469A (zh) 一种面向电表轮换过程的信息识别方法和装置
CN113252614A (zh) 一种基于机器视觉的透明度检测方法
CN112686872B (zh) 基于深度学习的木材计数方法
CN116704490B (zh) 车牌识别方法、装置和计算机设备
CN111832497B (zh) 一种基于几何特征的文本检测后处理方法
CN112101336A (zh) 一种基于计算机视觉的智能数据采集方式
CN109635808B (zh) 一种在自然场景图像中对中文关键词及上下文的提取方法
CN111539330A (zh) 一种基于双svm多分类器的变电站数显仪表识别方法
CN106127118A (zh) 一种英语单词识别方法和装置
CN108734158B (zh) 一种实时列车车号识别方法及装置
CN116363655A (zh) 一种财务票据识别方法及系统
CN110276759A (zh) 一种基于机器视觉的手机屏坏线缺陷诊断方法
CN115908774A (zh) 一种基于机器视觉的变形物资的品质检测方法和装置
CN113743251B (zh) 一种基于弱监督场景的目标搜索方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518000 4th floor, Zhongdian Difu building, Zhenhua Road, Fuqiang community, Huaqiang North Street, Futian District, Shenzhen City, Guangdong Province

Applicant after: Xinjian intelligent control (Shenzhen) Technology Co.,Ltd.

Address before: 510000 unit 404, 4th floor, building B3, creative building, 162 science Avenue, Science City, Guangzhou high tech Industrial Development Zone, Guangdong Province

Applicant before: GUANGZHOU XINJIAN ZHIKONG TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant