CN106960196B - 基于模板匹配和svm的工业视频小数字识别方法 - Google Patents

基于模板匹配和svm的工业视频小数字识别方法 Download PDF

Info

Publication number
CN106960196B
CN106960196B CN201710195500.9A CN201710195500A CN106960196B CN 106960196 B CN106960196 B CN 106960196B CN 201710195500 A CN201710195500 A CN 201710195500A CN 106960196 B CN106960196 B CN 106960196B
Authority
CN
China
Prior art keywords
digital
image
value
industrial
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710195500.9A
Other languages
English (en)
Other versions
CN106960196A (zh
Inventor
刘凯
李玲
鲍迪
吕灵玥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201710195500.9A priority Critical patent/CN106960196B/zh
Publication of CN106960196A publication Critical patent/CN106960196A/zh
Application granted granted Critical
Publication of CN106960196B publication Critical patent/CN106960196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于模板匹配和SVM的工业视频小数字识别方法。用于解决工业生产多场景模式下，识别方法无法保证鲁棒性及识别率低的难题。实现步骤是：将采集的视频图像经过gamma反矫正回到原始状态；样本采用RGB最小分量二值化并依照水平垂直投影进行切割；采用基于结构特征的模板匹配和基于HOG特征的SVM级联识别对数字样本识别；根据生产现场输出条件将符合需求的识别结果通过串口输出。应用本发明进行工业领域监控视频中小数字识别具有：自适应行强、识别率高、识别速度快、操作简单等优点。相比于现有的识别方法，本发明在满足同等工业速度要求下对小数字的识别率提高了30％，并可根据不同的输出条件，应用于多种工业场景。

Description

基于模板匹配和SVM的工业视频小数字识别方法
技术领域
本发明属于计算机应用技术领域，主要涉及应用于工业领域监控视频中的小数字识别方法，具体是一种基于模板匹配和SVM的工业视频小数字识别方法，应用于工业生产领域的实时监控。
背景技术
印刷体数字识别技术是模式识别领域的一个重要分支，在实际应用中一直被推广，主要包括以下领域：车牌识别系统、电表数字识别系统和电子账单识别。同时，随着工业生产逐步机械化，很多工厂也开始采用印刷体数字识别技术来监控生产流程。比如：沥青生产现场，采集设备获取监控显示设备中的视频图像，通过识别系统捕获视频中的有用数字信息，从而达到监控生产过程。再例如玻璃生产现场，通过识别视频中的数字来获取原料温度、湿度、风干程度、搅拌程度等信息。然而工业实际生产过程中的复杂条件使监控视频中的数字信息存在以下几个问题：数字像素少、数字模糊、有毛刺、工业场景多变，这就导致了以往的印刷体数字识别方法并不能得到很好的适用性。结合数字识别技术目前主流的方法有三种：
第一种是早期提出的基于目标点数目的模板匹配识别方法，该方法实现简单，速度快，但该方法的识别效果依赖于样本特征向量的提取。此前，关于印刷体数字模板匹配的特征选取，主要采用不同区域内像素点权重值组合成特征向量。由于监控视频中的图像变动快，经常出现图像模糊，被监控对象包含的有效像素点少，数字有毛刺等现象。单纯的选取区域像素值作为特征进行匹配是不够的。
第二种是YingWen在2011年IEEE Transactions on IntelligentTransportation System上发表的文章An Algorithm for License Plate RecognitionApplied to Intelligent Transportation System提出的车牌识别方法。文章中提出的方法主要采用基于伯尔尼兹和卡尔曼滤波的阴影剔除方法和支持向量机分类。使得该方法在光照下的车牌也能有很好的识别结果。然而车牌号码存在这样的特性：字符间间距大，字符不会发生黏连现象，字符像素点多，即时存在拍摄角度问题，字符尺寸也在10*14Pixel以上；考虑车牌特性，将YingWen提出的车牌识别方法引入到工业生产场景，对黏连的字符不够鲁棒，实用性不高。
第三种是背景文通科技有限公司推出的一款准确度高、速度快能够应用于多平台的字符OCR识别算法；包含智能图像处理、亚洲文字识别、手写识别、二维条码识别等功能，广泛应用于金融保险、智能交通、税务、公共安全、政府等行业领域。该软件功能强大，通用性强，但该系统专用型不强，在自动化的工业生产场景中，不能够达到实时识别监控视频效果，识别率低、不适合工业生产现场。
综上，现有的三种识别方法应用于工业领域场景中，识别监控视频中的数字信息存在数字识别率低，识别速度慢，系统不鲁棒的缺陷。
发明内容
本发明的目的在于避免上述已有技术的不足，提出一种识别率高、系统稳定、满足工业速度要求、能适应多种工业自动化过程的基于模板匹配和SVM的工业视频小数字识别方法。
本发明是一种基于模板匹配和支持向量机的工业视频小数字识别监控方法，其特征在于，包括有如下步骤：
(1)工业自动化场景图像数据初始化：创建样本结构特征数组strFeature，样本训练文件svm.xml，切割数字样本集VecImg；读取工业自动化场景的初始化文件param.xml，获得自动化场景的模板样本、图像二值化灰度阈值threshold、获取输出条件end、待识别数字数目num、数字矩形框的位置recti,其中i为0,1,...,num-1；根据以上各参数计算模板样本的结构特征并将特征保存到数组strFeature中；对特殊数字(‘3’‘5’‘6’‘8’‘9’)模板进行基于方向梯度直方图(HOG)的SVM训练，并将训练结果保存到svm.xml文件中；
(2)对输入视频进行反gamma矫正：根据工业场景初始化的数字矩形框参数recti，获取输入当前帧中所有数字区域样本Mati,其中i为0,1,j...,num-1；对Mati进行反gamma＝0.4的矫正，使其还原到显示设备之前的效果，称作反gamma矫正后的数字样本；
(3)对反gamma矫正后的数字样本进行切割：首先针对当前帧所有数字区域样本Mati调用minGray()函数进行图像二值化处理，其中minGray()函数是选取RGB分量的最小值作为其灰度值并对图像二值处理；其次创建ImgCut类调用preCut()方法获得水平、垂直方向的投影结果；最后调用Cut()方法根据投影结果对数字切割和归一化并把切割结果保存到VecImg中；
(4)对VecImg中的样本进行级联识别：对VecImg中的样本调用TemplateRec()方法进行基于结构特征的模板匹配，得到初级结果；若初级结果为特殊数字，则样本作为次级分类的输入，反之以初级识别结果作为数字的识别结果；次级分类对输入样本进行基于HOG特征的SVM分类；若次级分类结果与初级结果相同，则该结果为样本数字的识别结果；若两次识别结果不同则参考数字的“洞特性”，如果数字存在‘上洞’或者‘下洞’特征，则以初级结果作为样本的识别结果，反之以次级结果作为样本识别结果；最后将所有数字Mati的识别结果组合得到其结果值result；
(5)设置输出条件并做判断：根据工业生产现场需求输出条件包括：end＝1输出各组数的周期峰值，end＝2间隔一定时间输出所有数字，end＝3当标志位变化时输出所有数字，end＝4当数字信息全部显示时输出，end＝5当温度值变动超过30℃时输出，end＝6实时输出；满足以上任意一组条件执行步骤(6)，否则返回步骤(2)，对下一帧的样本进行反gamma矫正并继续之后的步骤；
(6)对识别结果进行串口输出：对步骤(5)的识别结果通过串口输出保存到后台数据库并参与工业过程的实时自动控制，之后返回步骤(2)，进行下一帧识别过程，反复执行步骤(2)～(6)，完成整个基于模板匹配和SVM分类的工业视频数字监控识别。
针对工业生产现场的视频数字识别监控，本发明利用gamma矫正和自适应灰度转变方法提高数字分割的精准度，利用基于梯度直方图特征(HOG)的支持向量机分类(SVM)和模板匹配算法在满足工业速度的情况下提高系统的识别率，使印刷体数字识别技术更具有工业实用性。
本发明采用基于7维结构特征的模板匹配和基于方向梯度直方图的SVM级联识别方法，在检测和识别过程中，能够克服数字像素少，数字有毛刺、系统鲁棒性差等困难；此外，本发明还设定了多种工业监控输出条件以满足不同的工业应用场景。
本发明还是一种基于模板匹配和SVM的工业视频小数字识别方法的用途，其特征在于，基于模板匹配和SVM的工业视频小数字识别方法能够应用于，工业生产领域的骨料生产现场通过对视频中小数字的识别监控生产流程；智能交通领域对车牌号码的远距离识别；数据分析领域电子报表中数字信息提取；医学研究领域对仪器表盘中数字的识别；以及需要能够通过工业视频小数字信息识别场合。本发明可适用于多种工业生产场景，扩大了工业应用范围。
本发明与现有技术对比具有如下特点：
(1)本发明采用基于模板匹配和SVM的级联分类器，算法实现简单高效，数字识别达到200字/s；相比于现有的OCR识别方法，本发明能够避免大量训练导致的识别速度减慢，使得本识别系统能够实时反映监控效果。
(2)本发明采用gamma矫正、HOG特征和7维数字结构特征，即时数字像素少、模糊有毛刺仍能够准确表征它们，相比于现有的基于像素目标点的模板匹配方法和YingWen提出的车牌识别方法，本发明提高了工业监控视频中数字的识别率和系统可靠性。
(3)本发明采用可选择性的条件end作为判断输出条件，其中end的值为1～6，代表6种工业视频识别监控系统中常用的输出条件，如若6种输出条件都不符合工业视频识别监控场景的输出条件，该工业场景可以添加适用本场景的新条件；相比基于像素目标点的模板匹配方法和YingWen提出的车牌识别方法，本发明能够应用于多种工业应用场景中，方法适用性更广泛。
(4)本发明与现有技术在识别率和和速度方面相比均有提高，在不影响识别速度的条件下，本发明对工业实际生产场景监控视频的识别率提高了30％。
附图说明
图1是本发明的实现流程图；
图2是本发明具体实施方式中次级分类中HOG特征提取的实例图，该步骤得到一个1260维的HOG特征向量f＝{x1,x2,xj...,x1260}；
图3是本发明具体实施方式中初级分类中结构特征提取的示例图，该步骤得到一个7维的结构特征向量μ＝(s1,s2,...s7)；其中图(3a)表示数字‘5’的7维结构特征向量μ＝[77 19 22 12 1 0 0]，图(3b)表示数字‘6’的结构特征向量μ＝[77 15 17 19 0 0 1]。
具体实施方式
以下结合附图对本发明的技术方案详细描述
实施例1
现有的数字识别方法应用于工业领域场景中，对视频中数字的识别效果，不能满足工业场景要求，主要存在数字识别率低,识别速度慢,系统不鲁棒的不足。
为解决现有技术的以上不足，本发明经过研究与试验提出一种基于模板匹配和支持向量机的工业视频数字识别监控方法，参见图1，包括有如下步骤：
(1)工业自动化场景图像数据初始化：需要首先为样本创建结构特征数组strFeature、训练文件svm.xml、数字样本集VecImg。读取工业自动化场景的初始化文件param.xml，从初始化文件中获得自动化场景的模板样本、二值化的阈值threshold，输出条件参数end、待识别的数字数目num、数字矩形框的位置recti,其中i为0,1,...,num-1。根据初始化文件中的各参数计算模板样本的结构特征并保存到数组strFeature中；对特殊数字的模板样本提取HOG特征进行SVM训练，将训练结果保存到svm.xml文件中。
本实例是对于衡水老安曼沥青工业生产现场的识别与监控，读取老安曼沥青工业生产现场的初始化文件param.xml，获得初始化参数threshold＝190，end＝1，num＝50。
(2)对输入视频进行反gamma矫正：根据工业场景初始化的数字矩形框参数recti，获取输入当前帧中所有数字区域样本Mati；工业场景中涉及的视频流是由采集卡采集监控显示设备得到的序列，显示设备为适应人眼观察模式自带gamma校对；对所有待识别区域recti的图像进行gamma反矫正，使其还原到显示设备之前的效果，称作反gamma矫正后的数字样本。
(3)对反gamma矫正后的数字样本进行切割：首先针对当前帧所有数字区域样本Mati调用minGray()函数进行图像二值化处理，其中minGray()函数是选取RGB分量的最小值作为其灰度值并对图像二值处理；其次创建ImgCut类调用preCut()方法获得水平、垂直方向的投影结果；最后调用Cut()方法根据投影结果对数字切割和归一化并把切割结果保存到VecImg中。
(4)对VecImg中的样本进行数字级联识别：对VecImg中的样本调用TemplateRec()方法进行基于结构特征的模板匹配，得到初级结果；若初级结果为’3’、’5’、’6’、’8’或’9’，则样本作为次级分类的输入，反之以初级结构作为数字的识别结果；次级分类对输入样本进行基于HOG特征的SVM分类；若次级分类结果与初级结果相同，则该结果为样本数字的识别结果；若两次识别结果不同则参考数字的“洞特性”，如果数字存在‘上洞’或者‘下洞’特征，则以初级结果作为样本的识别结果，反之以次级结果作为样本识别结果；最后将所有数字Mati的识别结果组合得到其结果值result。
(5)设置输出条件并做判断：根据工业生产现场需求输出条件包括：end＝1输出各组数的周期峰值，end＝2间隔一定时间输出所有数字，end＝3当标志位变化时输出，end＝4当数字信息全部显示时输出，end＝5当温度值变动超过30℃时输出，end＝6实时输出；满足以上任意一组条件执行步骤(6)，否则返回步骤(2)，对下一帧的样本进行反gamma矫正并继续之后的步骤。
本例中，由于是应用于衡水老安曼沥青工业生产现场，监控视频中的各原料计量值具有周期性变化特点，所以本实例输出条件选取end＝1，以各组数字的周期峰值作为输出数据。
(6)对识别结果进行串口输出：对步骤(6)得到的识别结果通过串口输出保存到后台数据库并参与工业过程的实时自动控制。之后返回步骤(2)，进行下一帧识别过程，反复执行步骤(2)～(6)，完成整个基于模板匹配和SVM分类的工业视频数字监控识别。
本例中的识别数据包括各原料的计量值、温度、湿度、搅拌时间等各种控制数据，可以根据不同的控制数据对输出条件做调整，如温度突变时选取输出条件end＝5。
本发明采用基于模板匹配和SVM的级联分类器，算法实现简单高效，数字识别达到200字/s；此外，本发明采用输入视频的反gamma矫正和自适应的二值化函数minGray()。相比于现有技术，本发明能够提高数字的识别率，并满足工业速度要求。
本发明采用gamma矫正、HOG特征和数字结构特征，即时数字像素少、模糊有毛刺仍能够准确表征它们，相比于现有的基于像素目标点的模板匹配方法和YingWen提出的车牌识别方法，本发明提高了工业监控视频中数字的识别率和系统可靠性。
实施例2
基于模板匹配和支持向量机的工业视频小数字识别监控方法同实施例1-1，
其中步骤(2)所述的对输入视频图像进行反gamma校正，包括有如下步骤：
(2a)获得当前图像的所有recti区域图像Mati,对Mati样本做gamma＝0.4的反校正，调整各像素点的RGB值，使图像恢复到显示设备之前状态。
(2b)重复步骤(2a)，直到num个recti区域全部被校正完毕。
因工业场景中涉及的视频流是由采集卡采集监控显示设备得到的序列，显示设备为适应人眼观察模式自带gamma校对；为得到数据真实值,我们需要对所有待识别区域的图像进行gamma反矫正，使其还原到显示设备之前的效果，减小因显示设备导致的物理误差。
实施例3
基于模板匹配和支持向量机的工业视频小数字识别监控方法同实施例1-2，
其中步骤(3)中的数字样本的图像分割，包括有如下步骤:
(3a)对提取的Mati调用minGray()自适应二值化函数将其转化成二值图像binaryImg；其中minGray()函数选取RGB分量的最小值作为其灰度值输入图像转化成灰度图像gray，并根据阈值threshold对gray进行二值化处理。
(3b)创建二值图像binaryImg的ImgCut类并调用preCut()方法获得数字的水平、垂直投影；其中preCut()方法对binaryImg做切割前预处理，主要包括图像膨胀和锐化两项操作。
(3c)调用Cut()方法对数字组切割成单一数字并归一化，将切割结果保存到VecImg中。
本实例应用于衡水新安曼沥青工业生产现场，其中二值化阈值经初始化取值threshold＝170；步骤(3b)中的preCut()切割预处理函数为提高后续切割的准确性，加入了图像的膨胀和锐化处理，增加了目标与背景的对比度；步骤(3c)中的切割后的数字尺寸为6*8Pixel左右，本发明经试验将数字尺寸放大归一化尺寸设为48*64Pixel识别效果最佳。
实施例4
基于模板匹配和支持向量机的工业视频小数字识别监控方法同实施例1-3，
其中步骤(4)中所述的级联识别，其中基于结构特征的模板匹配和基于HOG特征的SVM分类，包括有如下步骤:
(4a)数字样本的结构特征提取：参见图(3a)，数字样本垂直方向上平均分三段，水平分两段，数字被平均分成左上、中上、右上、左下、中下、右下6个区域；数字间在右下区域和中间区域的相异性小，只统计左上、右上、左下三个特殊区域的目标点数目为特征值，此外加入目标点总数为另一特征值。图(3a)中表征的是数字‘5’的结构特征中包含一条直线特征，其特征向量为[77192212100]。
结构特征向量是由区域目标点数、横线特征和洞特征组成的7维向量，其中区域目标像素点数包含样本总目标点数、左上、右上、左下各区域目标点数；横线特征的取值为0或1，0表示数字不含横线，1表示含有；上洞、下洞特征的取值为0或1，0表示数字含有上洞、下洞，1表示不含有。图(3b)中表征的是数字‘6’的结构特征中包含一个下洞特征，其特征向量为[77151719001]。
根据待识别数字的结构特征与模板样本的结构特征数组strFeature的元素逐一比较，选择相似度最大的元素为待识别数字的初级识别结果。相比于现有的基于目标点数的模板匹配，本发明提出的结构特征更能表征数字信息，识别结果具有更高的准确性，此外本发明采用的结构特征向量只有7维，保持了模板匹配方法原有的识别速度。
(4b)数字样本的HOG特征提取：HOG特征值用f＝{x1,x2,xj...,x1260}表示，其中j为1,2,…,1260；样本归一化尺寸为(48*64)，扫描窗口window的尺寸winSize设置为(48*64)Pixel；块block的尺寸blockSize为(16*16)Pixel，步长blockStrite为(8*8)Pixel；单元cell的大小cSize为(8*8)Pixel，梯度方向范围为360度，平均分为9个bins；每个cell里的像素做梯度方向直方图统计，得到9维向量{x1,x2,...,x9}；相邻4个cell组成block，将所有cell特征串起来得到block特征{x1,x2,...,x36}；block按步长(8*8)Pixel扫描窗口window，串联所有block特征，得到1260维的图像HOG特征向量。
根据待识别数字的HOG特征，对该数字做SVM分类，得到分类结果，作为待识别数字的次级识别结果。
本发明采用基于结构特征的模板匹配和基于HOG的SVM分类的级联识别方法，首先基于7维结构特征向量的模板匹配识别效果较为准确，其次利用SVM分类来修正模板匹配容易识别错误的数字，既保留了模板匹配的识别速度，又提高了整体的识别率。相对于现有技术，本发明提高了数字的识别率和准确性。
实施例5
基于模板匹配和支持向量机的工业视频小数字识别监控方法同实施例1-4，
步骤(3a)所述的图像二值化minGray()函数，采用像素点RGB分量最小值作为其灰度图像的像素值替代其原有灰度转换函数，公式如下:
valuegray＝min(valueR,valueG,valueB) (1)
Figure BDA0001257241820000081
其中valuegray表示灰度图像的像素值，valuebin表示二值图像的像素值，valueR、valueG、valueB表示像素点RGB的分量值，min函数表示取输入参数的最小值，经过公式(1)的计算得到图像的灰度值valuegray；再经过公式(2)进行计算得到了二值图像的像素点值valuebin。
本发明选用自定义的二值化转换函数minGray()，相比于原有的二值化转换函数，该函数利用RGB分量最小值，能够更清晰的表征图像和背景之间的差异性，捕获更多的数字信息，进一步提高数字的识别率。
实施例6
本发明还是一种基于模板匹配和SVM的工业视频小数字识别方法的用途，基于模板匹配和支持向量机的工业视频小数字识别监控方法同实施例1-5，基于模板匹配和SVM的工业视频小数字识别方法能够应用于：工业生产领域的骨料生产现场通过对视频中小数字的识别监控生产流程；智能交通领域对车牌号码的远距离识别；数据分析领域电子报表中数字信息提取；医学研究领域对仪器表盘中数字的识别；以及需要能够通过工业视频小数字信息识别场合。
本发明采用可选择性的条件end作为判断输出条件，其中end的值为1～6，代表6种工业视频识别监控系统中常用的输出条件，如若6种输出条件都不符合工业视频识别监控场景的输出条件，该工业场景可以添加适用本场景的新条件；相比基于像素目标点的模板匹配方法和YingWen提出的车牌识别方法，本发明能够应用于多种工业应用场景中，方法适用性更广泛。
本发明在实验和仿真的过程中就曾用于车牌识别和电子报表数字识别等领域，经测试本发明能在远距离条件下依然能够准确识别出车牌中的数字，对报表中数字的识别率也达到98％以上。
实例7
基于模板匹配和支持向量机的工业视频小数字识别监控方法及其用途同实施例1-6。本发明用于多种工业生产场景，主要是用在输出条件具有规律性生产现场，如：原料供应具有周期性的生产场景需要输出数字的峰值；原料供应以时间为基准的生产场景需要间隔一定时间后输出数据；监控标志位发生切换的工业生产场景需要当标志位改变时输出数据；原料供应有间歇性的应用场景需要数字信息全部显示时输出数据；温度变化剧烈的工业生产场景需要设置当温度变动一定数值时输出数据；对过程数据敏感的生产场景需要实时输出识别结果；此外，本发明也可对专用领域输入特定的输出条件，经过配套的参数设定自动适应新条件进行输出控制，扩大了工业应用范围。
下面给出一个详尽的例子，结合附图对本发明的技术方案做进一步详细描述
实施例8
基于模板匹配和支持向量机的工业视频小数字识别监控方法及其用途同实施例1-7，
参照图1，本发明提出的基于模板匹配和支持向量机的榆林安曼沥青生产线监控视频小数字识别方法，按如下步骤进行：
步骤一：初始化软件系统
(1a)读取初始化文件param.xml中默认参数值，其中包括：自动化场景的模板样本、图像二值化的默认灰度阈值threshold，输出条件end,待识别的数字总数num、各数字矩形框的位置recti,其中i为0,1,...,num-1。
(1b)创建模板样本的结构特征数组strFeature，样本训练文件svm.xml，切割数字样本集VecImg；根据(1a)中得到的各参数，计算每个样本的结构特征保存到数组strFeauture中，并提取数字样本‘3’‘5’‘6’‘8’‘9’的HOG特征进行SVM训练，训练结果保存到svm.xml。
榆林安曼沥青生产现场的监控数据视频中设有标志位信息自然数N，N表示各原料加入的次数，当次数发生变动时输出识别结果。为满足该工业生产的需求，本例中初始化参数end＝3，threshold＝155，num＝30；
步骤二：对对输入视频进行反gamma矫正
获取采集数据，根据recti获取当前帧中的待识别样本区域图像Mat,并进行gamma＝0.4的矫正操作，确保Mat还原为输入显示设备之前的状态。
步骤三：切割反gamma矫正后的数字样本，得到切割结果VecImg
(3a)样本Mat中的每个像素点选取RGB分量的最小值作为其灰度图像的像素值valuegray得到灰度图像grayMat,并以threshold为阈值将grayMat转化为二值图binaryMat；
(3b)以binaryMat为初始条件创建ImgCut类，调用preCut()方法对binaryMat水平和垂直方向投影，并根据投影结果调用cut()方法对进行数字分割，将分割结果保存VecImg中。
步骤四：对VecImg中的样本级联识别，得到识别结果并将结果组合成result
(4a)对VecImg中的每个数字样本提取结构特征strFeature1，strFeature1与模板样本的strFeature特征数组进行匹配，选取相似度最大的元素作为初级识别结果res1；
(4b)如果res1为非特殊数字，则以res1作为数字样本的识别结果；如果res1为特殊数字，则对提进行基于HOG特征的SVM分类得到次级识别结果res2；若res1与res2相同则res2为数字样本的识别结果；反之，根据strFeature1中是否包含“洞特性”为标准，若包含“下洞”或“上洞”则以res1为输出结果，否则res2为输出结果；
(4c)将所有VecImg中的所有数字样本的识别结果组合成数字Mati的结果值result。
步骤五：输设置输出条件并做判断
根据输出条件end＝3判断当前帧的识别结果是否满足条件，如若满足条件则执行步骤六,反之返回到步骤二，重新识别下一帧视频。
步骤六：串口输出识别结果
对步骤五的识别结果进行串口输出，若出现采集设备异常、突然断电、人工停止识别操作等突发状况保存识别结果，关闭程序，识别结束，反之返回步骤二，进行下一周期的识别操作。
本发明采用基于模板匹配和SVM的级联分类器，算法实现简单高效，达到200字/s；相比于现有的OCR识别方法，本发明能够避免大量训练导致的识别速度减慢，使得本识别系统能够实时反映监控效果；相比于现有的基于像素目标点的模板匹配方法和YingWen提出的车牌识别方法，本发明提高了工业监控视频中数字的识别率和系统可靠性。与现有技术在识别率和和速度方面相比均有提高，在不影响识别速度的条件下，本发明对工业实际生产场景监控视频的识别率提高了30％。
下面通过实验数据和图表对本发明的技术效果再做说明
实施例9
基于模板匹配和支持向量机的工业视频小数字识别监控方法及其用途同实施例1-8，
表1是本发明与现有技术在识别率和速度方面的比较，表中给出了分别采用现有的模板匹配方法、基于LPR的识别系统、ORC识别系统和本发明对识别率和运行时间上做比较，分别以新安曼、老安曼和玛连尼三种工业生产场景为例，监控其30个生产周期的流程，统计结果如下：
表1本发明与现有技术在识别率和速度方面的比较(时间:ms结果遗漏：fps)
Figure BDA0001257241820000111
从表1可见，本发明在满足工业处理速度的基础上，对视频中的数字识别率大幅度提高，且没有遗漏任一周期的输出数据；证明在工业生产监控视频中，本发明对数字的识别率提高97％以上，更具有工业应用意义。
简而言之，本发明公开的基于模板匹配和SVM的工业视频小数字识别方法。用于解决工业生产多场景模式下，现有的识别方法无法保证鲁棒性及识别率低的难题。实现步骤是：首先采集的视频图像经过gamma反矫正回到原始状态；然后样本采用RGB最小分量二值化并依照水平垂直投影进行切割；再采用基于结构特征的模板匹配和基于HOG特征的SVM级联识别对数字样本进行识别，得到识别结果；最后根据工业生产现场的输出条件将符合需求的数字通过串口输出，参与工业控制。应用本发明的方法进行工业领域监控视频中小数字识别具有：自适应行强、识别率高、识别速度快、操作简单等优点。相比于现有的识别方法，在工业生产应用中，本发明在满足工业速度要求下对小数字的识别率提高了30％，并可根据不同的输出条件，应用于多种工业场景。
以上是本发明参照当前的较佳实施方式进行的描述，显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (7)

1.一种基于模板匹配和支持向量机的工业视频小数字识别监控方法，其特征在于，包括有如下步骤：
(1)工业自动化场景图像数据初始化：创建样本结构特征数组strFeature，样本训练文件svm.xml，切割数字样本集VecImg；读取工业自动化场景的初始化文件param.xml，获得自动化场景的模板样本和自动化场景图像二值化的默认灰度阈值threshold，获取输出条件end、待识别的数字总数num、各数字矩形框recti的位置，其中i为0,1,...,num-1；根据自动化场景的模板样本和自动化场景图像二值化的默认灰度阈值threshold、输出条件end、待识别的数字总数num、各数字矩形框recti的位置，计算模板样本的结构特征保存到数组strFeature中；对特殊数字‘3’‘5’‘6’‘8’‘9’模板的梯度直方图(HOG)特征进行SVM训练，并将训练结果保存到svm.xml文件中；
(2)对输入视频图像进行反gamma矫正：根据工业场景初始化的数字矩形框recti参数，获取输入视频图像当前帧中所有数字矩形框recti所对应的数字样本图像Mati，其中i为0,1,...,num-1；对所有待识别区域中的各数字矩形框recti的数字样本图像Mati进行反gamma矫正，使其还原到显示设备之前的状态，称作反gamma矫正后的数字样本；
(3)对反gamma矫正后的数字样本进行切割：首先针对当前帧所有数字样本图像Mati，调用minGray()函数进行图像二值化处理，其中minGray()函数是选取RGB分量的最小值作为其灰度值并对图像二值化处理；其次创建ImgCut类调用preCut()方法获得水平、垂直方向的投影结果；最后调用Cut()方法根据投影结果对数字切割和归一化并把切割结果保存到VecImg中；
(4)对VecImg中的样本进行数字级联识别：对VecImg中的样本调用TemplateRec()方法进行基于7维结构特征的模板匹配，得到初级结果；若初级结果为特殊数字，则样本作为次级分类的输入，反之以初级结果作为数字的识别结果；次级分类对输入样本进行基于HOG特征的SVM分类；若次级分类结果与初级结果相同，则该结果为样本数字的识别结果；若两次识别结果不同则参考数字的“洞特性”，如果数字存在‘上洞’或者‘下洞’特征，则以初级结果作为样本的识别结果，反之以次级结果作为样本识别结果，得到识别结果，并将结果组合；
(5)设置输出条件并做判断：根据工业生产现场需求输出条件包括：end＝1输出各组数的周期峰值，end＝2间隔一定时间输出所有数字，end＝3当标志位变化时输出，end＝4当数字信息全部显示时输出，end＝5当温度值变动超过30℃时输出，end＝6实时输出；满足以上任意一个条件执行步骤(6)，否则返回步骤(2)，对下一帧的样本进行反gamma矫正并继续步骤(3)-(5)；
(6)对识别结果进行串口输出：对步骤(5)的识别结果通过串口输出保存到后台数据库并参与工业过程的实时自动控制，之后返回步骤(2)，进行下一帧识别过程，反复执行步骤(2)～(6)，最后将所有数字样本图像Mati的识别结果组合得到其结果值result，完成整个基于模板匹配和SVM分类的工业视频数字监控识别。
2.根据权利要求1所述的基于模板匹配和支持向量机的工业视频小数字识别监控方法，其特征在于：步骤(2)所述的对输入视频图像进行反gamma校正，包括有如下步骤：
(2a)获得当前图像的所有数字矩形框recti区域所对应的数字样本图像Mati，对数字样本图像Mati做gamma＝0.4的反校正，使数字样本图像Mati的RGB值恢复到显示设备之前状态；
(2b)重复步骤(2a)，直到num个数字矩形框recti区域全部被校正完毕。
3.根据权利要求1所述的基于模板匹配和支持向量机的工业视频小数字识别监控方法，其特征在于:步骤(3)中的数字样本的图像分割，包括有如下步骤:
(3a)对提取的数字样本图像Mati调用minGray()方法将其转化成二值图像binaryImg；其中minGray()函数选取RGB分量的最小值作为其灰度值将输入图像转化成灰度图像gray，并根据阈值threshold对gray进行二值化处理；
(3b)创建二值图像binaryImg的ImgCut类并调用preCut()方法获得数字的水平、垂直投影；其中preCut()方法对binaryImg做切割前预处理，包括图像膨胀和锐化两项操作；
(3c)调用Cut()方法对数字组切割成单一数字并归一化，将切割结果保存到VecImg中；其中归一化尺寸为48*64Pixel。
4.根据权利要求1所述的基于模板匹配和支持向量机的工业视频小数字识别监控方法，其特征在于:步骤(4)中所述的级联识别，其中基于7维结构特征的模板匹配和基于HOG特征的SVM分类，包括有如下步骤:
(4a)数字样本的结构特征提取：数字样本垂直方向上平均分三段，水平分两段，数字被平均分成左上、中上、右上、左下、中下、右下6个区域；数字间在右下区域和中间区域的相异性小，只统计左上、右上、左下三个特殊区域的目标点数目为特征值，此外加入目标点总数为另一特征值；
结构特征向量是由区域目标点数、横线特征和洞特征组成的7维向量，称作7维结构特征，其中区域目标点数包含样本总目标点数、左上、右上、左下各区域目标点数；横线特征的取值为0或1，0表示数字不含横线，1表示含有；上洞、下洞特征的取值为0或1，0表示数字含有上洞、下洞，1表示不含有；
根据待识别数字的7维结构特征与模板样本的结构特征数组strFeature的元素逐一比较，选择相似度最大的元素为待识别数字的初级识别结果；
(4b)数字样本的HOG特征提取：HOG特征值用f＝{x1,x2,xj...,x1260}表示，其中j为1,2,…,1260；样本归一化尺寸为(48*64)，扫描窗口window的尺寸winSize设置为(48*64)Pixel；块block的尺寸blockSize为(16*16)Pixel，步长blockStrite为(8*8)Pixel；单元cell的大小cSize为(8*8)Pixel，梯度方向范围为360度，平均分为9个bins；每个cell里的像素做梯度方向直方图统计，得到9维向量{x1,x2,...,x9}；相邻4个cell组成block，将所有cell特征串起来得到block特征{x1,x2,...,x36}；block按步长(8*8)Pixel扫描窗口window，串联所有block特征，得到1260维的图像HOG特征向量；
根据待识别数字的HOG特征，对该数字做SVM分类，得到分类结果，作为待识别数字的次级识别结果。
5.根据权利要求3所述的基于模板匹配和支持向量机的工业视频小数字识别监控方法，其特征在于:步骤(3a)所述的图像二值化minGray()函数，采用像素点RGB分量最小值作为其灰度图像的像素值替代其原有灰度转换函数，公式如下:
valuegray＝min(valueR,valueG,valueB)
Figure FDA0002366645080000041
其中valuegray表示灰度图像的像素值，valuebin表示二值图像的像素值，valueR、valueG、valueB表示像素点RGB的分量值，min函数表示取输入参数的最小值，经计算得到图像的灰度值valuegray；对于图像灰度值valuegray进行计算得到了二值图像的像素点值valuebin。
6.根据权利要求1或2或3或4或5所述的基于模板匹配和支持向量机的工业视频小数字识别监控方法，其特征在于，基于模板匹配和SVM的工业视频小数字识别方法能够应用于，工业生产领域的骨料生产现场的生产流程监控，通过对视频中小数字的识别监控生产流程；智能交通领域对车牌号码的远距离识别；数据分析领域电子报表中数字信息提取；医学研究领域对仪器表盘中数字的识别；以及需要通过工业视频小数字信息识别的场合。
7.根据权利要求6所述的基于模板匹配和支持向量机的工业视频小数字识别监控方法，其特征在于，多种工业生产场景的输出条件具有规律性，原料供应具有周期性的生产场景需要输出数字的峰值；原料供应以时间为基准的生产场景需要间隔一定时间后输出数据；监控标志位发生切换的工业生产场景需要当标志位改变时输出数据；原料供应有间歇性的应用场景需要数字信息全部显示时输出数据；能够对专用领域输入特定的输出条件，经过配套的参数设定自动适应新条件进行输出控制。
CN201710195500.9A 2017-03-29 2017-03-29 基于模板匹配和svm的工业视频小数字识别方法 Active CN106960196B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710195500.9A CN106960196B (zh) 2017-03-29 2017-03-29 基于模板匹配和svm的工业视频小数字识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710195500.9A CN106960196B (zh) 2017-03-29 2017-03-29 基于模板匹配和svm的工业视频小数字识别方法

Publications (2)

Publication Number Publication Date
CN106960196A CN106960196A (zh) 2017-07-18
CN106960196B true CN106960196B (zh) 2020-04-07

Family

ID=59471123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710195500.9A Active CN106960196B (zh) 2017-03-29 2017-03-29 基于模板匹配和svm的工业视频小数字识别方法

Country Status (1)

Country Link
CN (1) CN106960196B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509950B (zh) * 2018-03-27 2021-07-27 南京智莲森信息技术有限公司 基于概率特征加权融合的铁路接触网支柱号牌检测识别法
CN109117848B (zh) * 2018-09-07 2022-11-18 泰康保险集团股份有限公司 一种文本行字符识别方法、装置、介质和电子设备
CN110084164B (zh) * 2019-04-19 2022-11-04 中国航空无线电电子研究所 一种数字类数据图像处理方法及装置
CN112926608A (zh) * 2019-12-05 2021-06-08 北京金山云网络技术有限公司 一种图像分类方法、装置、电子设备及存储介质
CN115082923B (zh) * 2022-08-24 2022-11-08 成都工业学院 一种基于机器视觉的牛奶包装盒生产日期识别方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6470094B1 (en) * 2000-03-14 2002-10-22 Intel Corporation Generalized text localization in images
CN104134079B (zh) * 2014-07-31 2017-06-16 中国科学院自动化研究所 一种基于极值区域和极限学习机的车牌识别方法
CN104156726B (zh) * 2014-08-19 2017-07-28 大连理工大学 一种基于几何形状特征的工件识别方法及装置
CN105426905B (zh) * 2015-11-02 2019-08-06 国网山东省电力公司电力科学研究院 基于梯度直方图和支持向量机的机器人障碍物识别方法

Also Published As

Publication number Publication date
CN106960196A (zh) 2017-07-18

Similar Documents

Publication Publication Date Title
CN106960196B (zh) 基于模板匹配和svm的工业视频小数字识别方法
CN107038416B (zh) 一种基于二值图像改进型hog特征的行人检测方法
WO2022099598A1 (zh) 一种基于图像像素相对统计特征的视频动态目标检测的方法
CN111008961B (zh) 一种输电线路设备缺陷检测方法及其系统、设备、介质
CN103955660B (zh) 一种批量二维码图像识别方法
CN111539330B (zh) 一种基于双svm多分类器的变电站数显仪表识别方法
CN108491788A (zh) 一种用于财务报表单元格的智能提取方法及装置
CN106251333B (zh) 元件反件检测方法和系统
CN108520215B (zh) 基于多尺度联合特征编码器的单样本人脸识别方法
Lu et al. An improved local binary pattern operator for texture classification
Masood et al. Plants disease segmentation using image processing
CN110096945B (zh) 基于机器学习的室内监控视频关键帧实时提取方法
CN113963041A (zh) 一种图像纹理识别方法及系统
CN105550710A (zh) 基于非线性拟合的接触网运行异常状态智能检测方法
CN108460344A (zh) 屏幕中的动态区域智能识别系统及智能识别方法
CN109740553A (zh) 一种基于识别的图像语义分割数据筛选方法及系统
CN111830051A (zh) 一种基于深度学习的变电站设备漏油检测方法及检测系统
Vishwanath et al. Connected component analysis for Indian license plate infra-red and color image character segmentation
CN115731493A (zh) 基于视频图像识别的降水微物理特征参量提取与分析方法
CN114863464A (zh) 一种pid图纸图件信息的二阶识别方法
CN110569716A (zh) 一种货架图像翻拍检测方法
CN113172002A (zh) 一种基于图像识别的输煤线矸石识别方法及分选系统
CN109446882A (zh) 基于梯度方向划分的特征量化的车标特征提取和识别方法
Bremananth et al. Wood species recognition using GLCM and correlation
Bala et al. Image simulation for automatic license plate recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant