CN109255344A - 一种基于机器视觉的数显式仪表定位与读数识别方法 - Google Patents

一种基于机器视觉的数显式仪表定位与读数识别方法 Download PDF

Info

Publication number
CN109255344A
CN109255344A CN201810932764.2A CN201810932764A CN109255344A CN 109255344 A CN109255344 A CN 109255344A CN 201810932764 A CN201810932764 A CN 201810932764A CN 109255344 A CN109255344 A CN 109255344A
Authority
CN
China
Prior art keywords
digital display
display instrument
image
positioning
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810932764.2A
Other languages
English (en)
Other versions
CN109255344B (zh
Inventor
彭刚
杜兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201810932764.2A priority Critical patent/CN109255344B/zh
Publication of CN109255344A publication Critical patent/CN109255344A/zh
Application granted granted Critical
Publication of CN109255344B publication Critical patent/CN109255344B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于机器视觉的数显式仪表定位与读数识别方法，包括：利用孤立森林分类器对HSV颜色空间的数显式仪表图像进行颜色检测，得到分类后的二值图，利用分类后的二值图得到初定位数显式仪表区域图像；使用大津阈值法和标记分水岭算法区分初定位数显式仪表区域图像的前景区域和背景区域，并在前景区域使用投影分割得到疑似单个数显式仪表字符区域图像；提取疑似单个数显式仪表字符区域图像的HOG特征，并使用SVM分类器通过HOG特征排除非单个数显式仪表字符区域，得到单个数显式仪表字符区域图像；使用卷积神经网络识别单个数显式仪表字符区域图像的数字类别，得到数显式仪表的读数。本发明数显式仪表定位和读数识别准确率高。

Description

一种基于机器视觉的数显式仪表定位与读数识别方法
技术领域
本发明属于图像处理和模式识别技术领域，更具体地，涉及一种基于机器视觉的数显式仪表定位与读数识别方法。
背景技术
随着图像处理和模式识别技术的发展，对广泛应用于电信、电力、石油、化工等行业的各类数显式仪表，需要进行机器人自动化智能巡检，实现数显式仪表定位与读数识别，以代替人工巡检，提高巡检效率，降低人工巡检的危险和巡检成本。
对于数显式仪表定位与读数识别，现有的方法往往采用手动设定阈值进行图像分割，算法鲁棒性不好，而且易受光线影响，无法准确描述颜色特征分类的判别逻辑，降低了数显式仪表数码管分割的准确性；在数显式仪表数码管字符区域判别时，常用的LBP特征(局部二值特征：Local Binary Pattern)，没有有效地利用字符的边缘梯度信息，无法提高数显式仪表字符区域判别准确率；在读数识别时，传统的穿线法识别方法只对固定几个区域敏感，而其他区域不参与决策，导致穿线法不具有旋转不变性和尺度不变性，并且字符存在部分缺失时，还会导致识别错误。
因此，现有的数显式仪表定位与读数识别方法存在定位不精确、读数识别准确率不高、实用性不好的技术问题。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于机器视觉的数显式仪表定位与读数识别方法，由此解决现有的数显式仪表定位与读数识别方法存在定位不精确、读数识别准确率不高、实用性不好的技术问题。
为实现上述目的，本发明提供了一种基于机器视觉的数显式仪表定位与读数识别方法，包括：
(1)将数显式仪表图像由RGB颜色空间转换至HSV颜色空间，利用孤立森林分类器对HSV颜色空间的数显式仪表图像进行颜色检测，得到分类后的二值图，利用分类后的二值图得到初定位数显式仪表区域图像；
(2)使用大津阈值法和标记分水岭算法区分初定位数显式仪表区域图像的前景区域和背景区域，并在前景区域使用投影分割得到疑似单个数显式仪表字符区域图像；
(3)提取疑似单个数显式仪表字符区域图像的HOG特征，并使用SVM分类器通过HOG特征排除疑似单个数显式仪表字符区域图像中的非单个数显式仪表字符区域，得到单个数显式仪表字符区域图像；
(4)使用卷积神经网络识别单个数显式仪表字符区域图像的字符，得到数显式仪表的读数。
进一步地，步骤(1)包括：
将数显式仪表图像由RGB(红-绿-蓝：Red-Green-Blue)颜色空间转换至HSV(色调-饱和度-亮度值：Hue-Saturation-Value)颜色空间，利用孤立森林分类器对HSV颜色空间的数显式仪表图像进行颜色检测，得到分类后的二值图，使用数字形态学方法消除分类后的二值图中的孤立点后合并邻近区域，然后利用连通域标记算法找到分类后的二值图中所有连通域，通过腐蚀运算消除分类后的二值图的边缘毛刺和噪点，利用连通域的几何特征过滤掉非数显式仪表区域，得到初定位数显式仪表区域图像。
进一步地，步骤(1)的连通域的几何特征为：
数显式仪表区域的面积与数显式仪表图像总面积的比值在t1到t2之间，t1的取值范围为0.0001-0.0003，t2的取值范围为0.4-0.5。
进一步地，步骤(1)的孤立森林分类器为训练好的孤立森林分类器，训练包括：
对样本数显式仪表区域图像进行标记，将标记后的样本数显式仪表区域图像的像素点作为训练样本数据，提取训练样本数据的HSV颜色空间特征，训练孤立森林分类器，训练步骤包括：
(S1)将训练样本数据放在孤立森林二分树的根节点中，作为初始的当前节点；
(S2)随机指定当前节点的HSV颜色空间特征中任一个特征维度q，在当前节点中随机选择一个切割值p，切割值p的取值范围在指定的特征维度的最大值和最小值之间；
(S3)利用切割值p生成一个超平面，将当前节点划分为左子节点和右子节点，把指定的特征维度里比p小的训练样本数据放到左子节点，比p大的训练样本数据放在右子节点；
(S4)重复执行步骤(S2)-(S3)，不断构造新的子节点，直到每个子节点中只有一个训练样本数据或多个相同的训练样本数据，即每个训练样本数据都被孤立了，也就是无法再继续切割，或者达到限定的孤立森林二分树的高度，则完成了孤立森林分类器的训练。
进一步地，步骤(2)包括：
对初定位数显式仪表区域图像使用平均灰度值进行灰度化后进行灰度拉伸，归一化灰度级，得到处理后的初定位数显式仪表区域图像，使用大津阈值法得到基础阈值L，将基础阈值加上一个固定值d1得到上界阈值m，将基础阈值减去另一个固定值d2得到下界阈值n，然后联合上界阈值、下界阈值和标记分水岭算法区分初定位数显式仪表区域图像的前景区域和背景区域，并在前景区域使用投影分割得到疑似单个数显式仪表字符区域图像。
进一步地，步骤(3)的SVM分类器为训练好的SVM分类器，训练包括：
提取单个数显式仪表字符区域样本图像的HOG(方向梯度直方图，Histogram ofOriented Gradient)特征作为训练数据集，训练SVM(支持向量机：Support VectorMachine)分类器，采用交叉验证法选取SVM的参数，以避免过度拟合，SVM的参数包括核参数和惩罚系数，然后通过网格搜索法，将使得训练数据集分类准确率最高的SVM的参数作为SVM分类器的最优参数，得到训练好的SVM分类器。
进一步地，步骤(4)的卷积神经网络为训练好的卷积神经网络，训练包括：
将单个数显式仪表字符区域样本图像作为训练数据，使用泛化方法泛化训练数据后训练卷积神经网络，计算交叉熵误差(CEE：Cross Entropy Error)损失函数，使用随机梯度下降(SGD：Stochastic Gradient Descent)算法更新卷积神经网络的全连接分类网络参数，经过多次迭代训练，当交叉熵误差损失函数小于等于设定阈值TH时，得到训练好的卷积神经网络。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
(1)本发明方法可以实现电力、化工、石油等行业的智能巡检系统中数显式仪表的定位与读数识别，方法实用性好，实时性强，数显式仪表定位和读数识别准确率高。
(2)本发明利用孤立森林分类器对HSV颜色空间的数显式仪表图像进行颜色检测，相比RGB颜色空间进行颜色检测，对光线具有更好的适应性；对比传统的手工设定阈值的方法，克服了手动设定阈值容易受到人的主观意识的影响，以及图像的不同导致阈值的鲁棒性不够；此外简单的线性关系无法准确描述颜色特征分类的判别逻辑，而采用孤立深林分类器可以通过训练的方式降低人为因素的干扰提高描述复杂逻辑的能力，从而提高了颜色分类的准确性。
(3)本发明联合采用HOG特征和SVM分类器排除非单个数显式仪表字符区域。对比常用的LBP(局部二值特征：Local Binary Pattern)特征，HOG特征能够有效利用字符的边缘梯度信息，因此HOG比LBP特征具有更加有效的区分性。而SVM能够根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折中，以获得最好的判别能力，从而提高了单个数显式仪表字符区域判别准确率。
(4)本发明采用卷积神经网络方法进行数显式仪表字符读数识别，相比传统的穿线法，提高了判别准确率。由于穿线法只检测数显式仪表字符特定的几个区域，所以穿线法只对固定的几个区域敏感，而其他区域不参与识别，因此导致穿线法不仅不具有旋转不变性和尺度不变性，而且，当字符存在部分缺失或受遮挡时容易造成识别错误或无法识别。本发明采用卷积神经网络方法进行数显式仪表字符读数识别，对字符图像具有旋转不变性和尺度不变性，字符图像的每一个像素都参与卷积神经网络识别，从而克服了字符缺失或受遮挡时容易造成识别错误或无法识别的问题，提高了读数识别的准确率。
附图说明
图1是本发明实施例提供的一种基于机器视觉的数显式仪表定位与识别方法的流程图；
图2是本发明实施例1提供的数显式仪表图像；
图3是本发明实施例1提供的分类后的二值图；
图4是本发明实施例1提供的数显式仪表的初定位区域示意图；
图5(a)是本发明实施例1提供的样本数显式仪表图像；
图5(b)是本发明实施例1提供的标记后的样本数显式仪表图像；
图6是本发明实施例1提供的疑似单个数显式仪表字符区域示意图；
图7是本发明实施例1提供的数显式仪表定位结果示意图；
图8是本发明实施例1提供的数显式仪表定位结果与读数识别示意图；
图9是本发明实施例1提供的卷积神经网络结构示意图；
图10是本发明实施例1提供的穿线法示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
如图1所示，一种基于机器视觉的数显式仪表定位与读数识别方法，包括：
(1)将数显式仪表图像由RGB颜色空间转换至HSV颜色空间，利用孤立森林分类器对HSV颜色空间的数显式仪表图像进行颜色检测，得到分类后的二值图，利用分类后的二值图得到初定位数显式仪表区域图像；
(2)使用大津阈值法和标记分水岭算法区分初定位数显式仪表区域图像的前景区域和背景区域，并在前景区域使用投影分割得到疑似单个数显式仪表字符区域图像；
(3)提取疑似单个数显式仪表字符区域图像的HOG特征，并使用SVM分类器通过HOG特征排除疑似单个数显式仪表字符区域图像中的非单个数显式仪表字符区域，得到单个数显式仪表字符区域图像；
(4)使用卷积神经网络识别单个数显式仪表字符区域图像的字符，得到数显式仪表的读数。
实施例1
本发明实施例1的数显式仪表图像，如图2所示，经过以下几个步骤实现数显式仪表定位与读数识别：
步骤(1)：将数显式仪表图像由RGB颜色空间转换至HSV颜色空间，利用训练好的孤立森林分类器对HSV颜色空间的数显式仪表图像进行颜色检测，得到如图3所示的分类后的二值图。使用数字形态学方法消除分类后的二值图中的孤立点后合并邻近区域，然后利用连通域标记算法找到分类后的二值图中所有连通域，通过腐蚀运算消除分类后的二值图的边缘毛刺和噪点，利用连通域的几何特征过滤掉非数显式仪表区域，得到初定位数显式仪表区域图像，如图4所示。
进一步地，连通域的几何特征为：数显式仪表区域的面积与数显式仪表图像总面积的比值在t1到t2之间，t1的取值范围为0.0001-0.0003，t2的取值范围为0.4-0.5。
进一步地，孤立森林分类器训练包括：对如图5(a)所示的样本数显式仪表区域图像进行标记，标记结果如图5(b)所示，将标记后的样本数显式仪表区域图像的像素点作为训练样本数据，提取训练样本数据的HSV颜色空间特征，训练孤立森林分类器，训练步骤包括：
(S1)将训练样本数据放在孤立森林二分树的根节点中，作为初始的当前节点；
(S2)随机指定当前节点的HSV颜色空间特征中任一个特征维度q，在当前节点中随机选择一个切割值p，切割值p的取值范围在指定的特征维度的最大值和最小值之间；
(S3)利用切割值p生成一个超平面，将当前节点划分为左子节点和右子节点，把指定的特征维度里比p小的训练样本数据放到左子节点，比p大的训练样本数据放在右子节点；
(S4)重复执行步骤(S2)-(S3)，不断构造新的子节点，直到每个子节点中只有一个训练样本数据或多个相同的训练样本数据，即每个训练样本数据都被孤立了，也就是无法再继续切割，或者达到限定的孤立森林二分树的高度，则完成了孤立森林分类器的训练。
步骤(2)：对初定位数显式仪表区域图像使用自适应性较好的平均灰度值进行灰度化后，再进行灰度拉伸，归一化灰度级，以提高输出图片质量，得到处理后的初定位数显式仪表区域图像，使用大津阈值法得到基础阈值L＝70，将基础阈值加上一个固定值d1＝80得到上界阈值m(150)，将基础阈值减去另一个固定值d2＝50得到下界阈值n(20)，然后联合上界阈值、下界阈值和标记分水岭算法区分初定位数显式仪表区域图像的前景区域和背景区域，并在前景区域使用投影分割得到疑似单个数显式仪表字符区域图像，如图6所示。
进一步的，由于不同图像有不相同的灰度级范围，为了便于后续处理，需要图像具有相同的灰度级范围，因此将图像进行灰度拉伸，归一化灰度级。I(x，y)表示由公式(F1)得到的图像原始灰度图，H(x，y)表示拉伸后的灰度图，灰度拉伸方法如公式(F2)所示，从而将8位灰度图像的灰度级归一化到0～255。
其中，f(x，y)mean(R，G，B)表示图像的RGB平均值。
A＝min(I(x，y))，B＝max(I(x，y)) (F3)
步骤(3)：将步骤(2)得到的疑似单个数显式仪表字符区域样本图像缩放到32*48像素大小，提取缩放后的样本图像的HOG特征，使用训练好的SVM分类器通过HOG特征排除疑似单个数显式仪表字符区域图像中的非单个数显式仪表字符区域，得到单个数显式仪表字符区域图像，如图7所示，选框标出的即为最终结果。
进一步的，SVM分类器的训练包括：将单个数显式仪表字符区域样本图像缩放到32*48像素大小，提取缩放后的样本图像的HOG特征(图像分为4*4块，共16个区域，每个区域由2*3个像素构成)，作为训练数据集，训练SVM分类器，采用交叉验证法选取SVM的参数(包括核参数和惩罚系数)，以避免过度拟合，然后通过网格搜索法，取使得训练数据集分类准确率最高的参数作为SVM分类器的最优参数，得到训练好的SVM分类器。
步骤(4)：将步骤(3)得到的单个数显式仪表字符区域图像缩放到32*32像素大小后，使用训练好的卷积神经网络识别字符，得到数显式仪表的读数，结果如图8所示。本发明设计的卷积神经网络结构如图9所示，一共由11层构成，依次为：
输入层Conv2d_1_input：输入向量为32*32*3，前面两个32代表单个字符区域图像缩放到32*32像素的宽和高，3代表深度，即3个RGB值，本实例中输入层的批尺寸(BatchSize)大小为64，是一次训练或识别的样本数目，该值的大小是算法执行效率和内存容量之间的最佳平衡；
卷积层Conv2d_1：卷积核大小为5*5，个数为32，卷积层输出结果做非线性映射的激励函数(也叫激活函数)采用ReLU(修正线性单元)；
卷积层Conv2d_2：卷积核大小为5*5，个数为64，激励函数采用ReLU；
池化层Max_pooling2d_1：池化层采用MaxPooling(取滑动窗口里最大的值)方法，通过降采样的方式，在不影响图像质量的情况下，压缩图片，本实例中缩放大小为2*2；
卷积层Conv2d_3：卷积核大小为5*5，个数为32，激励函数采用ReLU；
卷积层Conv2d_4：卷积核大小为5*5，个数为64，激励函数采用ReLU；
池化层Max_pooling2d_2：缩放大小为2*2；
Flatten层flatten_1：将池化层Max_pooling2d_2的输出“拍平”，即变换成列为1的向量；
全连接层Dense_1：本实例中大小为64，激励函数采用ReLU；
Dropout层dropout_1：Dropout层是为了提高卷积神经网络的泛化能力，防止模型过拟合，本实例中Dropout层的丢弃概率设置为0.25；
全连接层Dense_2：本实例中大小为10，激励函数采用softmax，计算后得到数显式仪表字符的读数。
进一步的，卷积神经网络的训练包括：将单个数显式仪表字符区域样本图像缩放到32*32像素大小后作为训练数据，使用泛化方法泛化训练数据后训练卷积神经网络，泛化标准为：图像大小变化为0.85～1.15，图像的透视变换幅度不大于5度，随机选取10％区域被遮挡，以及不大于5度的随机扭曲数码管字符。卷积神经网络的训练是最小化损失函数(Loss Function)的值，本实例采用交叉熵误差作为损失函数，计算交叉熵误差损失函数，使用随机梯度下降算法更新卷积神经网络的全连接分类网络参数，经过多次迭代训练，当交叉熵误差损失函数小于等于设定阈值TH(不超过0.2，一般在0.1～0.2之间)时，得到训练好的卷积神经网络。
进一步的，步骤(4)采用卷积神经网络方法进行数显式仪表字符读数识别，相比传统的穿线法，提高了判别准确率。如图10所示，穿线法采用两根水平的3等分线line1和line2，以及一根竖直的2等分线line3穿过数字字符，H代表字符高度，W代表字符宽度。穿线法的三根线与数字字符形成7段相交，对这7段按照一定顺序进行编号，进行数字字符识别。由图10可以看出，穿线法只检测数显式仪表字符特定的几个区域，所以穿线法只对固定的几个区域敏感，而其他区域不参与识别，因此导致穿线法不仅不具有旋转不变性和尺度不变性，而且，当字符存在部分缺失或受遮挡时容易造成识别错误或无法识别。本发明采用卷积神经网络方法进行数显式仪表字符读数识别，对字符图像具有旋转不变性和尺度不变性，字符图像的每一个像素都参与卷积神经网络识别，从而克服了字符缺失或受遮挡时容易造成识别错误或无法识别的问题，提高了读数识别的准确率。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于机器视觉的数显式仪表定位与读数识别方法，其特征在于，包括：
(1)将数显式仪表图像由RGB颜色空间转换至HSV颜色空间，利用孤立森林分类器对HSV颜色空间的数显式仪表图像进行颜色检测，得到分类后的二值图，利用分类后的二值图得到初定位数显式仪表区域图像；
(2)使用大津阈值法和标记分水岭算法区分初定位数显式仪表区域图像的前景区域和背景区域，并在前景区域使用投影分割得到疑似单个数显式仪表字符区域图像；
(3)提取疑似单个数显式仪表字符区域图像的HOG特征，并使用SVM分类器通过HOG特征排除疑似单个数显式仪表字符区域图像中的非单个数显式仪表字符区域，得到单个数显式仪表字符区域图像；
(4)使用卷积神经网络识别单个数显式仪表字符区域图像的字符，得到数显式仪表的读数。
2.如权利要求1所述的一种基于机器视觉的数显式仪表定位与读数识别方法，其特征在于，所述步骤(1)包括：
将数显式仪表图像由RGB颜色空间转换至HSV颜色空间，利用孤立森林分类器对HSV颜色空间的数显式仪表图像进行颜色检测，得到分类后的二值图，使用数字形态学方法消除分类后的二值图中的孤立点后合并邻近区域，然后利用连通域标记算法找到分类后的二值图中所有连通域，通过腐蚀运算消除分类后的二值图的边缘毛刺和噪点，利用连通域的几何特征过滤掉非数显式仪表区域，得到初定位数显式仪表区域图像。
3.如权利要求1或2所述的一种基于机器视觉的数显式仪表定位与读数识别方法，其特征在于，所述连通域的几何特征为：
数显式仪表区域的面积与数显式仪表图像总面积的比值在t1到t2之间，t1的取值范围为0.0001-0.0003，t2的取值范围为0.4-0.5。
4.如权利要求1或2所述的一种基于机器视觉的数显式仪表定位与读数识别方法，其特征在于，所述步骤(1)的孤立森林分类器为训练好的孤立森林分类器，训练包括：
对样本数显式仪表区域图像进行标记，将标记后的样本数显式仪表区域图像的像素点作为训练样本数据，提取训练样本数据的HSV颜色空间特征，训练孤立森林分类器，训练步骤包括：
(S1)将训练样本数据放在孤立森林二分树的根节点中，作为初始的当前节点；
(S2)随机指定当前节点的HSV颜色空间特征中任一个特征维度q，在当前节点中随机选择一个切割值p，切割值p的取值范围在指定的特征维度的最大值和最小值之间；
(S3)利用切割值p生成一个超平面，将当前节点划分为左子节点和右子节点，把指定的特征维度里比p小的训练样本数据放到左子节点，比p大的训练样本数据放在右子节点；
(S4)重复执行步骤(S2)-(S3)，不断构造新的子节点，直到每个子节点中只有一个训练样本数据或多个相同的训练样本数据，即每个训练样本数据都被孤立了，也就是无法再继续切割，或者达到限定的孤立森林二分树的高度，则完成了孤立森林分类器的训练。
5.如权利要求1或2所述的一种基于机器视觉的数显式仪表定位与读数识别方法，其特征在于，所述步骤(2)包括：
对初定位数显式仪表区域图像使用平均灰度值进行灰度化后，再进行灰度拉伸，归一化灰度级，得到处理后的初定位数显式仪表区域图像，使用大津阈值法得到基础阈值L，将基础阈值加上一个固定值d1得到上界阈值m，将基础阈值减去另一个固定值d2得到下界阈值n，然后联合上界阈值、下界阈值和标记分水岭算法区分初定位数显式仪表区域图像的前景区域和背景区域，并在前景区域使用投影分割得到疑似单个数显式仪表字符区域图像。
6.如权利要求1或2所述的一种基于机器视觉的数显式仪表定位与读数识别方法，其特征在于，所述步骤(3)的SVM分类器为训练好的SVM分类器，训练包括：
提取单个数显式仪表字符区域样本图像的HOG特征作为训练数据集，训练SVM分类器，采用交叉验证法选取SVM的参数，以避免过度拟合，SVM的参数包括核参数和惩罚系数，然后通过网格搜索法，将使得训练数据集分类准确率最高的SVM的参数作为SVM分类器的最优参数，得到训练好的SVM分类器。
7.如权利要求1或2所述的一种基于机器视觉的数显式仪表定位与读数识别方法，其特征在于，所述步骤(4)的卷积神经网络为训练好的卷积神经网络，训练包括：
将单个数显式仪表字符区域样本图像作为训练数据，使用泛化方法泛化训练数据后训练卷积神经网络，计算交叉熵误差损失函数，使用随机梯度下降算法更新卷积神经网络的全连接分类网络参数，经过多次迭代训练，当交叉熵误差损失函数小于等于设定阈值TH时，得到训练好的卷积神经网络。
CN201810932764.2A 2018-08-15 2018-08-15 一种基于机器视觉的数显式仪表定位与读数识别方法 Active CN109255344B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810932764.2A CN109255344B (zh) 2018-08-15 2018-08-15 一种基于机器视觉的数显式仪表定位与读数识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810932764.2A CN109255344B (zh) 2018-08-15 2018-08-15 一种基于机器视觉的数显式仪表定位与读数识别方法

Publications (2)

Publication Number Publication Date
CN109255344A true CN109255344A (zh) 2019-01-22
CN109255344B CN109255344B (zh) 2022-02-18

Family

ID=65050045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810932764.2A Active CN109255344B (zh) 2018-08-15 2018-08-15 一种基于机器视觉的数显式仪表定位与读数识别方法

Country Status (1)

Country Link
CN (1) CN109255344B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222681A (zh) * 2019-05-31 2019-09-10 华中科技大学 一种基于卷积神经网络的铸件缺陷识别方法
CN110781884A (zh) * 2019-10-17 2020-02-11 广西电网有限责任公司电力科学研究院 一种实现电表数据智能读取的方法
CN110807416A (zh) * 2019-10-31 2020-02-18 国网湖北省电力有限公司电力科学研究院 适用于移动检测装置的数字式仪表智能识别装置及方法
CN111127448A (zh) * 2019-12-26 2020-05-08 西南交通大学 一种基于孤立森林检测空气弹簧故障的模型及方法
CN111199194A (zh) * 2019-12-25 2020-05-26 吉林大学 基于机器视觉和深度学习的汽车智能座舱仪表测试方法
GB2580675A (en) * 2019-01-23 2020-07-29 Wheelright Ltd Tyre sidewall imaging method
CN111832565A (zh) * 2020-07-24 2020-10-27 桂林电子科技大学 一种基于决策树的数码管识别方法
CN112508017A (zh) * 2020-12-15 2021-03-16 通号智慧城市研究设计院有限公司 数显仪表读数智能识别方法、系统、处理设备和存储介质
CN112598005A (zh) * 2020-12-24 2021-04-02 深圳市信义科技有限公司 一种武警车牌字符分割方法、存储介质及计算机设备
CN113052178A (zh) * 2019-12-27 2021-06-29 沈阳新松机器人自动化股份有限公司 一种基于机器视觉的玻璃液位计识别方法及其系统
CN113469162A (zh) * 2021-06-02 2021-10-01 广东白云学院 基于双尺度分割的指针仪表识读方法、装置、设备和介质
CN113610085A (zh) * 2021-10-10 2021-11-05 成都千嘉科技有限公司 基于注意力机制的字轮图像识别方法
CN114519694A (zh) * 2021-12-28 2022-05-20 河南大学 基于深度学习的七段数码管液晶显示屏识别方法及系统
CN114926841A (zh) * 2022-07-22 2022-08-19 广州能源检测研究院 基于改进穿线法的电子式水表读数图像识别方法及装置
CN116645682A (zh) * 2023-07-24 2023-08-25 济南瑞泉电子有限公司 一种水表表盘数字识别方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529537A (zh) * 2016-11-22 2017-03-22 亿嘉和科技股份有限公司 一种数字仪表读数图像识别方法
CN107563374A (zh) * 2017-08-14 2018-01-09 华中科技大学 一种数显式仪表数码管定位方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529537A (zh) * 2016-11-22 2017-03-22 亿嘉和科技股份有限公司 一种数字仪表读数图像识别方法
CN107563374A (zh) * 2017-08-14 2018-01-09 华中科技大学 一种数显式仪表数码管定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
彭刚 等: "《变电站二次设备的数显仪表定位方法》", 《自动化仪表》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2580675A (en) * 2019-01-23 2020-07-29 Wheelright Ltd Tyre sidewall imaging method
US11922683B2 (en) 2019-01-23 2024-03-05 Wheelright Limited Tyre sidewall imaging method
CN110222681A (zh) * 2019-05-31 2019-09-10 华中科技大学 一种基于卷积神经网络的铸件缺陷识别方法
CN110781884A (zh) * 2019-10-17 2020-02-11 广西电网有限责任公司电力科学研究院 一种实现电表数据智能读取的方法
CN110807416A (zh) * 2019-10-31 2020-02-18 国网湖北省电力有限公司电力科学研究院 适用于移动检测装置的数字式仪表智能识别装置及方法
CN111199194A (zh) * 2019-12-25 2020-05-26 吉林大学 基于机器视觉和深度学习的汽车智能座舱仪表测试方法
CN111127448B (zh) * 2019-12-26 2022-05-10 西南交通大学 一种基于孤立森林检测空气弹簧故障的方法
CN111127448A (zh) * 2019-12-26 2020-05-08 西南交通大学 一种基于孤立森林检测空气弹簧故障的模型及方法
CN113052178A (zh) * 2019-12-27 2021-06-29 沈阳新松机器人自动化股份有限公司 一种基于机器视觉的玻璃液位计识别方法及其系统
CN111832565A (zh) * 2020-07-24 2020-10-27 桂林电子科技大学 一种基于决策树的数码管识别方法
CN111832565B (zh) * 2020-07-24 2022-10-28 桂林电子科技大学 一种基于决策树的数码管识别方法
CN112508017A (zh) * 2020-12-15 2021-03-16 通号智慧城市研究设计院有限公司 数显仪表读数智能识别方法、系统、处理设备和存储介质
CN112598005A (zh) * 2020-12-24 2021-04-02 深圳市信义科技有限公司 一种武警车牌字符分割方法、存储介质及计算机设备
CN113469162A (zh) * 2021-06-02 2021-10-01 广东白云学院 基于双尺度分割的指针仪表识读方法、装置、设备和介质
CN113469162B (zh) * 2021-06-02 2023-09-26 广东白云学院 基于双尺度分割的指针仪表识读方法、装置、设备和介质
CN113610085B (zh) * 2021-10-10 2021-12-07 成都千嘉科技有限公司 基于注意力机制的字轮图像识别方法
CN113610085A (zh) * 2021-10-10 2021-11-05 成都千嘉科技有限公司 基于注意力机制的字轮图像识别方法
CN114519694A (zh) * 2021-12-28 2022-05-20 河南大学 基于深度学习的七段数码管液晶显示屏识别方法及系统
CN114519694B (zh) * 2021-12-28 2024-06-18 河南大学 基于深度学习的七段数码管液晶显示屏识别方法及系统
CN114926841A (zh) * 2022-07-22 2022-08-19 广州能源检测研究院 基于改进穿线法的电子式水表读数图像识别方法及装置
CN116645682A (zh) * 2023-07-24 2023-08-25 济南瑞泉电子有限公司 一种水表表盘数字识别方法及系统
CN116645682B (zh) * 2023-07-24 2023-10-20 济南瑞泉电子有限公司 一种水表表盘数字识别方法及系统

Also Published As

Publication number Publication date
CN109255344B (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN109255344A (zh) 一种基于机器视觉的数显式仪表定位与读数识别方法
CN111401372B (zh) 一种扫描文档图文信息提取与鉴别的方法
CN108596166B (zh) 一种基于卷积神经网络分类的集装箱箱号识别方法
CN104408449B (zh) 智能移动终端场景文字处理方法
CN110210475B (zh) 一种非二值化和边缘检测的车牌字符图像分割方法
Tavallali et al. Robust cascaded skin detector based on AdaBoost
CN110298376B (zh) 一种基于改进b-cnn的银行票据图像分类方法
CN109948566B (zh) 一种基于权重融合与特征选择的双流人脸反欺诈检测方法
CN105809121A (zh) 多特征协同的交通标志检测与识别方法
CN106203539B (zh) 识别集装箱箱号的方法和装置
CN112464942B (zh) 基于计算机视觉的重叠烟叶智能化分级方法
CN106529380A (zh) 图像的识别方法及装置
CN109740572A (zh) 一种基于局部彩色纹理特征的人脸活体检测方法
CN112686248B (zh) 证件增减类别检测方法、装置、可读存储介质和终端
CN104680130A (zh) 一种身份证汉字识别方法
CN112163511A (zh) 一种图像真伪鉴别方法
Roy et al. Script identification from handwritten document
CN111259893A (zh) 一种基于深度学习的智能工具管理方法
CN110415222A (zh) 一种基于纹理特征的丝饼侧面缺陷识别方法
CN107392115B (zh) 一种基于分层特征提取的交通标志识别方法
Kefali et al. Evaluation of several binarization techniques for old Arabic documents images
CN114387592B (zh) 一种复杂背景下字符定位和识别方法
CN112070116B (zh) 一种基于支持向量机的艺术画作自动分类系统及方法
CN110349119B (zh) 基于边缘检测神经网络的路面病害检测方法和装置
CN112200789A (zh) 一种图像识别的方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant