CN110188746A - 一种面向数字液晶的分割和识别方法 - Google Patents
一种面向数字液晶的分割和识别方法 Download PDFInfo
- Publication number
- CN110188746A CN110188746A CN201910321657.0A CN201910321657A CN110188746A CN 110188746 A CN110188746 A CN 110188746A CN 201910321657 A CN201910321657 A CN 201910321657A CN 110188746 A CN110188746 A CN 110188746A
- Authority
- CN
- China
- Prior art keywords
- digital
- segmentation
- dial plate
- display screen
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 30
- 239000004973 liquid crystal related substance Substances 0.000 claims abstract description 15
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 12
- 238000012549 training Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 description 7
- 239000011248 coating agent Substances 0.000 description 3
- 238000000576 coating method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Character Discrimination (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种新的面向数字液晶的分割和识别方法。本发明定义了一种新的标定方法，能应用于显示屏有污渍和划痕的情况，通过标定准确分割数字表。本发明解决了无液晶数字集的问题，即对已有的数字集进行预处理，使其和待处理数字分布一致。本发明提出了卷积神经网络结构，适用于小尺寸、小数量级数字图片的识别。
Description
技术领域
本发明涉及一种新的面向数字液晶的分割和识别方法。
背景技术
计算机视觉在目标检测和识别等方面有很多应用，可以分为数字图像处理技术和卷积神经网络两大类技术。数字图像处理技术可以在无样本或者少量样本的情况下进行几何图形或者简单物体的检测。随着深度学习方法的流行，尤其是卷积神经网络，能够提取图像更高语义的特征，但是需要大量的样本，神经网络模型有较好的泛化性能，训练集充足情况下识别效果更好。
液晶数字表的自动识别在工业领域有很高的应用价值，但是数字的准确分割和数字识别是难点。不同的液晶数字表有不同的读数，小数点个数存在差异，整数部分也存在差异，甚至存在非数字字符。
图像处理技术可以进行图像增强和特征点匹配，SIFT特征点匹配可以实现检测和定位物体，但是对于复杂背景的图片或者无明显特征的物体检测效果不好，因此需要对图片进行预处理，去除干扰。由于每个数字的大小相同，可以根据预先标注信息进行自动分割。对每个数字图像进行图像增强、去噪、二值化，利用卷积神经网络模型进行数字识别。
卷积神经网络需要大量的样本，识别效果取决于训练样本和测试样本的分别是否一致。虽然液晶数字表图片较少，但是手写体数字识别和车牌数字识别技术已经比较成熟，并且有对应的数据集。将车牌数字集进行预处理，使其和分割数字一样尺寸，可以用来训练。
卷积神经网络主要包括卷积层、激活函数、池化层、全连接层、损失函数和优化方法，卷积核参数和学习率等参数需要根据识别效果自行设计。当训练数据集较小时，卷积神经网络很容易出现过拟合问题，可以利用批归一化、Dropout等方法来解决过拟合问题。
发明内容
发明目的：本发明针对液晶数字表，提出一种新的数字分割和识别方法，适用于各种类型的液晶数字表。数字分割方法能应用于有污渍和划痕的表盘，数字识别模型具有很强的抗噪能力，能有效进行数字识别。
技术方案：主要包括表盘定位、数字分割和数字识别。
(1)表盘定位：对输入图像进行图像增强，根据预存的表盘模板图片进行SIFT特征点匹配，根据特征信息检测和定位表盘，在输入图像上截取出匹配的液晶表盘；
(2)数字分割：标定表盘中显示屏的位置信息，截取显示屏区域保存，待识别数字的位置信息，小数点的位置信息；对输入图像由(1)定位到表盘并截取出表盘图片，根据标定信息从表盘图片中截取出显示屏区域，此时显示屏区域可能是倾斜的，将显示屏区域根据标定信息进行放缩和矫正，此时显示屏区域和预存的显示屏图片尺寸和图片方向都是一致的，文字也是相对应的，根据标定的数字位置进行分割，得到多个分割数字图片；
(3)数字识别：对(2)分割出来的数字进行图像增强和二值化处理，用训练好的卷积神经网络模型进行识别，最后根据标定信息得到最终读数。图像增强和二值化可以在输入图像上进行，也可以对每个分割数字进行。
数字识别的具体步骤包括：
(3.1)对数字进行图像增强、去噪；
(3.2)对数字图像进行自适应二值化；
(3.3)利用车牌数字集，对数字进行预处理，放缩成和分割图片一样尺寸，随机添加噪声；
(3.4)设计卷积神经网络模型，通过实验选择合适的网络结构和参数；
(3.5)对分割数字进行识别；
(3.6)根据标定信息，确定小数点位置，拼接单个数字和小数点，得到表盘读数。
有益效果
本发明的显著优点是数字分割准确，分割数字位于图片中间，几乎占据整张图片，减少了背景噪声；数字标定和数字分割方法能应用于有污渍和划痕的液晶表盘；在液晶表盘有划痕和污渍的情况下，卷积神经网络模型在测试集上的识别准确率为96％，对人眼可判断的数字，模型也能判断准确。
本发明中的数字识别模型，将车牌数字集作为训练样本，解决了训练样本少的难题，将车牌数字图片放缩成分割数字的尺寸，添加噪声使得车牌数字集的分布和表盘分割数字分布相似，实践证明，通过这种方法能取得较好的识别效果。
附图说明
图1是本发明的总体结构图。
图2是本发明的整体效果图。
图3液晶表盘标定方法。
图4图像增强和二值化效果图。
图5卷积神经网络结构图。
具体实施方式
图1给出了本发明的整体流程，本发明主要包括表盘定位、数字分割和数字识别。
(1)表盘定位是在输入图像上找出液晶表盘的位置，并截取出表盘图片，详细说明表盘定位的具体实现步骤：
(1.1)预存不同类型的数字液晶表模板图片，截取包含整个表盘的区域，为了得到多个稳定的特征点，截取时要尽可能保留边角区域；在表盘模板图片上标注显示屏区域的坐标，存成json文件格式；
(1.2)采用Sift算法得到输入图像的特征矩阵和对应模板图片的特征矩阵，计算特征距离得到表盘的位置，在输入图像中截取出表盘；
(2)数字分割包括数字标定和数字分割，数字标定记录表盘区域的数字位置信息，数字分割是根据数字标定信息分割数字，下面详细说明数字标定和数字分割的具体实现步骤：
(2.1)截取显示屏区域并保存，在(1.1)仪表模板图片上截取显示屏区域，注意截取时要保持显示屏是端正无倾斜的；将截取的显示屏的大小添加到json文件中；
(2.2)数字标定：在(2.1)中显示屏区域进行待识别数字的标定，为了分割数字和识别数字，需要标记每个数字的区域和小数点的位置，如图3所示，左边是显示屏，右边是标记信息，红色的点表示单个数字的坐标，黄色的点表示小数点的位置。右边“rectangle”记录液晶显示屏的宽和高，液晶显示屏的左上角坐标对应坐标原点；“widthSplit”记录数字的横坐标；“heightSplit”记录数字的纵坐标；“decimal”记录小数点的位置，默认从0开始。对于有多个读数的表盘，延纵轴方向的数字间隔较大，因此对每行数字，记录纵坐标方向的起点和终点位置，例如图3中的[4，29]表示第一行读数纵坐标的起点和终点位置，[32,61]表示第二行读数纵坐标的起点和终点位置。数字的横坐标只需要记录开始位置，注意小数点也要算作一个数字，因为有的数字表上小数点会单独占一个字符的位置。可以编写简单的小程序协助完成标定任务。
(2.3)数字分割：对输入图像根据(1)得到表盘图片，根据(2.1)的显示屏标注信息，在表盘图片上截取显示屏区域，将显示屏区域进行放缩和矫正，使其和预存的显示屏图片的尺寸和方向保持一致；对校正后的显示屏区域进行高斯模糊、图像增强、自适应二值化；根据(2.2)的数字标注信息，进行数字分割；
(3)数字识别：
(3.1)利用车牌数字集，对数字进行预处理，和分割图片一样尺寸，随机添加噪声。经过二值化后的数字图片放缩成28x28大小。
(3.2)设计卷积神经网络模型，通过实验选择合适的网络结构和参数，对分割数字进行识别。如图5所示，网络一共有4层CONV层，第一层CONV的输出通道数是16，卷积核大小是(3,3)，填充1圈保持尺寸不变。第二层CONV同第一层CONV设置一致，然后是最大池化层，接着第三层卷积层，输出通道数是32，第四层卷积层和第三层卷积层相同。最后两个全连接层，然后Softmax进行分类。
(3.3)卷积网络主要由CONV层和全连接层、Softmax组成，CONV主要是由深度学习的基本组件卷积层、批归一化层、激活层、池化层组成，详细信息如下：
a)卷积层：每一个CONV的卷积层都使用(3,3)大小的卷积核，填充padding为1；卷积的公式定义为：
三维张量表示卷积神经网络第l层的输入，(il,jl,dl)表示第l层上通道d第i行第j列位置的元素，第l层的卷积核fl有D个，y是第l层的输入经过卷积操作之后的输出，
0≤il+1＜Hl-H+1＝Hl+1
0≤jl+1＜Wl-W+1＝Wl+1
前两层卷积层的输出通道是16，后两层卷积层的输出通道是32。
b)激活层，激活层采用ReLU激活函数，避免梯度消失；
c)池化层，本发明中采用2x2，步长为2的最大池化层，对特征图进行下采样；
d)全连接层，网络中使用了两层全连接层，第一层全连接层的输入大小是32x5x5，输出大小是128维；第二层全连接层的输入是128维度，输出是11维；11维是0～9共10个数字加上非数字类型；
e)Softmax，将最后一层全连接层的输出结果转化为概率，用于计算交叉熵损失；
f)损失函数，采用交叉熵损失，定义为
N是训练样本总数，C是类别数11，yi是第i个样本的真实标记，
h＝(h1,h2,…,hc)是网络模型的预测结果；
g)优化器，采用Adam优化器，初始学习率为0.001，超参数weight_decay为0.00001，超参数batch size大小为128。
Claims (6)
1.一种面向数字液晶表的分割和识别方法，其特征在于，表盘定位和数字标定方法，有如下步骤：
（1）、表盘定位: 对不同类型的表盘，截取表盘区域，存成模板图片；
（2）、显示屏区域标定：在(1)中的模板图片上标记显示屏区域的位置，并进行矫正，记录显示屏图片矫正之后的大小；
（3）、数字标定方法：在(2)中矫正之后的显示屏图片上，需要标记每个数字的位置区域坐标和小数点的位置，如图3所示，左边是显示屏，右边是标记信息。
2.权利1要求的表盘定位方法，其特征在于，步骤(1)中，对输入图片，利用SIFT特征匹配，找到液晶数字表的位置并截取。
3.权利1要求的数字标定方法，其特征在于，在步骤(2)中，对输入图像上截取的表盘图片，根据标注信息截取出显示屏区域，进行矫正和放缩到固定大小。
4.一种面向数字液晶表的分割和识别方法，其特征在于，数字分割流程，根据权利1的表盘定位和数字标定方法，对显示屏区域进行数字分割。
5.权利4要求的数字分割方法，其特征在于，能适应有污渍和划痕的表盘，对数字进行图像增强、去噪、阈值自适应二值化。
6.一种面向数字液晶表的分割和识别方法，其特征在于，数字识别方法，有如下步骤：
（a）、利用车牌数字集，对数字进行预处理，和分割图片一样尺寸，添加噪声，自适应二值化，和分割图片分布保持一致；
（b）、设计卷积神经网络模型，通过实验选择合适的网络结构和参数，对分割数字进行识别；
（c）、将已识别的液晶数字加入训练样本集，模型重新训练之后，在测试集上准确率提升。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910321657.0A CN110188746A (zh) | 2019-04-19 | 2019-04-19 | 一种面向数字液晶的分割和识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910321657.0A CN110188746A (zh) | 2019-04-19 | 2019-04-19 | 一种面向数字液晶的分割和识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110188746A true CN110188746A (zh) | 2019-08-30 |
Family
ID=67714865
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910321657.0A Pending CN110188746A (zh) | 2019-04-19 | 2019-04-19 | 一种面向数字液晶的分割和识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110188746A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110659637A (zh) * | 2019-09-24 | 2020-01-07 | 国网河北省电力有限公司电力科学研究院 | 一种结合深度神经网络和sift特征的电能表示数与标签自动识别方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102254159A (zh) * | 2011-07-07 | 2011-11-23 | 清华大学深圳研究生院 | 一种数显仪表判读方法 |
| CN106529537A (zh) * | 2016-11-22 | 2017-03-22 | 亿嘉和科技股份有限公司 | 一种数字仪表读数图像识别方法 |
| CN106778823A (zh) * | 2016-11-22 | 2017-05-31 | 国网湖北省电力公司宜昌供电公司 | 一种指针式仪表读数自动识别方法 |
| CN106960208A (zh) * | 2017-03-28 | 2017-07-18 | 哈尔滨工业大学 | 一种仪表液晶数字自动切分和识别的方法及系统 |
| CN108052943A (zh) * | 2017-12-29 | 2018-05-18 | 杭州占峰科技有限公司 | 一种仪表字轮识别方法及设备 |
| CN108229480A (zh) * | 2017-12-25 | 2018-06-29 | 新智数字科技有限公司 | 一种数字表读数的识别方法、装置及设备 |
| CN109214378A (zh) * | 2018-08-16 | 2019-01-15 | 新智数字科技有限公司 | 一种基于神经网络整体识别计量表读数的方法和系统 |
| CN109360396A (zh) * | 2018-09-27 | 2019-02-19 | 长江大学 | 基于图像识别技术和NB-IoT技术的远程抄表方法及系统 |
-
2019
- 2019-04-19 CN CN201910321657.0A patent/CN110188746A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102254159A (zh) * | 2011-07-07 | 2011-11-23 | 清华大学深圳研究生院 | 一种数显仪表判读方法 |
| CN106529537A (zh) * | 2016-11-22 | 2017-03-22 | 亿嘉和科技股份有限公司 | 一种数字仪表读数图像识别方法 |
| CN106778823A (zh) * | 2016-11-22 | 2017-05-31 | 国网湖北省电力公司宜昌供电公司 | 一种指针式仪表读数自动识别方法 |
| CN106960208A (zh) * | 2017-03-28 | 2017-07-18 | 哈尔滨工业大学 | 一种仪表液晶数字自动切分和识别的方法及系统 |
| CN108229480A (zh) * | 2017-12-25 | 2018-06-29 | 新智数字科技有限公司 | 一种数字表读数的识别方法、装置及设备 |
| CN108052943A (zh) * | 2017-12-29 | 2018-05-18 | 杭州占峰科技有限公司 | 一种仪表字轮识别方法及设备 |
| CN109214378A (zh) * | 2018-08-16 | 2019-01-15 | 新智数字科技有限公司 | 一种基于神经网络整体识别计量表读数的方法和系统 |
| CN109360396A (zh) * | 2018-09-27 | 2019-02-19 | 长江大学 | 基于图像识别技术和NB-IoT技术的远程抄表方法及系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110659637A (zh) * | 2019-09-24 | 2020-01-07 | 国网河北省电力有限公司电力科学研究院 | 一种结合深度神经网络和sift特征的电能表示数与标签自动识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109800754B (zh) | 一种基于卷积神经网络的古字体分类方法 | |
| US20210142479A1 (en) | Segmenting Objects in Vector Graphics Images | |
| US20190294921A1 (en) | Field identification in an image using artificial intelligence | |
| CN108710866A (zh) | 汉字模型训练方法、汉字识别方法、装置、设备及介质 | |
| CN106548192B (zh) | 基于神经网络的图像处理方法、装置和电子设备 | |
| CN104408449B (zh) | 智能移动终端场景文字处理方法 | |
| CN109285162A (zh) | 一种基于局部区域条件随机场模型的图像语义分割方法 | |
| CN111860537B (zh) | 基于深度学习的绿色柑橘识别方法、设备及装置 | |
| CN112883926B (zh) | 表格类医疗影像的识别方法及装置 | |
| CN109544564A (zh) | 一种医疗图像分割方法 | |
| CN113269257A (zh) | 一种图像分类方法、装置、终端设备及存储介质 | |
| Cai et al. | A novel saliency detection algorithm based on adversarial learning model | |
| CN116704516B (zh) | 一种用于水溶肥料包装的视觉检测方法 | |
| CN111191569A (zh) | 人脸属性的识别方法及其相关装置 | |
| CN110781890A (zh) | 身份证识别方法、装置、电子设备及可读取存储介质 | |
| Yu et al. | A recognition method of soybean leaf diseases based on an improved deep learning model | |
| CN108154153A (zh) | 场景分析方法和系统、电子设备 | |
| CN111563563A (zh) | 一种手写体识别的联合数据的增强方法 | |
| EP3671635A1 (en) | Curvilinear object segmentation with noise priors | |
| CN110287930A (zh) | 皱纹分类模型训练方法及装置 | |
| CN110188746A (zh) | 一种面向数字液晶的分割和识别方法 | |
| CN110188662A (zh) | 一种水表数字的ai智能识别方法 | |
| CN113269752A (zh) | 一种图像检测方法、装置终端设备及存储介质 | |
| EP3671634A1 (en) | Curvilinear object segmentation with geometric priors | |
| CN108229516A (zh) | 用于解译遥感图像的卷积神经网络训练方法、装置和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190830 |