CN108427954B - 一种标牌信息采集与识别系统 - Google Patents

Abstract

本发明涉及一种标牌信息采集与识别系统，包括采集模块、预处理模块、分割模块、识别模块、容错模块、反馈模块，可以对采集标牌信息，预处理图片信息，分割字符，识别出字符信息，分离出无法识别的字符，显示分析结果，使用识别系统可以使工业标牌信息的记录工作由人工录入过渡到自动录入，是信息化管理的重要进步，不仅可以节约大量人力，而且准确率也得到了提高。

Description

一种标牌信息采集与识别系统

技术领域

本发明涉及智能管理领域，尤其涉及一种标牌信息采集与识别系统。

背景技术

工业标牌广泛地应用于钢铁、轮胎、汽车及各种机电产品中,用于标识产品的重要信息,是企业进行生产管理、质量控制和产品跟踪的重要载体。为了使工业标牌对产品的标识具有永久性,要求工业标牌必须适应各种恶劣的工业环境高温、长期户外存放等。

工业标牌字符的内容承载着产品的重要信息,随着制造业信息化的发展,对于字符的自动识别也成为产品信息化管理的一个必然要求。目前我国机电产品的生产、入库、出库到市场各环节信息的记录工作基本是靠人工完成,工作量极大。以钢材为例,全国每年的钢产量己突破4亿吨,平均2吨一捆,每捆需要30个左右的标识字符,每年需要录入的字符多达120亿个,这样的海量数据,都由人工录入,工作量可见一斑，所以标识信息的自动录入问题已成为制约企业发展的瓶颈。

发明内容

有鉴于此，本发明提供一种解决或部分解决上述问题的标牌信息采集与识别系统。

为达到上述技术方案的效果，本发明的技术方案为：一种标牌信息采集与识别系统，包括采集模块、预处理模块、分割模块、识别模块、容错模块、反馈模块；

采集模块、预处理模块、分割模块、识别模块、容错模块分别依次连接；识别模块和反馈模块连接；

采集模块包括摄像头组件，用于对标牌进行拍照，并将采集到的原始图像传输给预处理模块，原始图像为彩色图像，采用RGB颜色模式；

预处理模块包括灰度化单元和二值化单元，灰度化单元用于将彩色图像转化为灰度图像，转化过程为：彩色图像上每个像素点都有唯一的坐标(x,y)，利用公式一计算其灰度值：

公式一：gray(x,y)＝aR(x,y)+(4a+0.11)G(x,y)+(0.89-5a)B(x,y)；

其中，gray是灰度值，gray(x,y)是坐标为(x,y)的像素点的灰度值；a为调整系数，取值范围是0.11～0.17，由工作人员根据需要调整；R、G、B是三个基色分量，取值是[0，255]之间的整数；R(x,y)、G(x,y)、B(x,y)是坐标为(x,y)的像素点的三个基色分量，取值是[0，255]之间的整数；

二值化单元用于对灰度图像进行二值化处理得到黑白图像并传输给分割模块，处理过程为：通过设定的临界阈值将像素点分成两个像素群,将灰度值小于临界阈值的像素点的灰度值重置为0，否则灰度值重置为255，临界阈值为动态阈值，取值确定过程为：首先统计灰度图像得到灰度直方图和主要统计参数，再用公式二进行计算；

公式二：

其中，T是临界阈值，i、j都是灰度级，取值是[0，255]之间的整数；N是频数，N_i是i的频数，N_j是j的频数；M是像素点的个数；

分割模块包括提取单元和调整单元，提取单元用于从黑白图像中提取出只含有单个字符的子图像,提取过程为：首先，依次对黑白图像上每一行中所有的像素点的灰度值求和得到有效灰度值，并且给除去首尾两行外的每一行分配一个行标识(P_t-1,P_t,P_t+1)，其中，t是行数，P是有效灰度值,P_t-1是第t-1行的有效灰度值，P_t是第t行的有效灰度值，P_t+1是第t+1行的有效灰度值；然后，依次判断行标识，标记出行切入线和行切出线，标记方法为：如果P_t-1＝P_t＝0且P_t+1>0,则第t行被标记为行切入线，如果P_t-1>0且P_t+1＝P_t＝0,则第t行被标记为行切出线，行切入线和行切出线成对标记；再用同样的方法标出列切入线和列切出线，列切入线和列切出线也是成对标记；最后，每一对行切入线和行切出线与每一对列切入线和列切出线之间形成连通的矩形域，可以分离出m×n的矩形阵列，m是行切入线的个数，n是列切入线的个数，矩形阵列中的矩形都分别对应一个子图像，标记为S_k,l，S是子图像，k是子图像在矩形阵列中的行数，取值是[1，m]之间的整数,l是子图像在矩形阵列中列数，取值是[1，n]之间的整数，S_k,l是矩形阵列中第k行第l列的子图像；调整单元用最近邻插值法将子图像调整到统一大小，得到字符图像并传输给识别模块；

识别模块首先对字符图像提取行特征向量和列特征向量，行特征向量和列特征向量都是列向量，提取过程为：依次对图像中每一行所有的像素点的灰度值求和并作为一个元素存储到行特征向量中，同样依次对字符图像中每一列所有的像素点的灰度值求和并作为一个元素存储到列特征向量中，再和数据库中的标准字符匹配，匹配过程为：用公式三计算相似性：

公式三：

其中，W是相似性，b是比例系数，由工作人员根据需要调整，k是标准字符的编号，取值范围是从1开始的正整数；W_k是字符图像与第k个标准字符的相似性，W和W_k的取值范围都是0～1，没有单位；B是字符图像的行特征向量，D是字符图像的列特征向量，|B|是字符图像的行特征向量的模，|D|是字符图像的列特征向量的模，C是标准字符的行特征向量，E是标准字符的列特征向量，C_k是第k个标准字符的行特征向量，E_k是第k个标准字符的列特征向量，C_kT是第k个标准字符的行特征向量的转置，E_k ^T是第k个标准字符的列特征向量的转置，|C_k|是第k个标准字符的行特征向量的模，|E_k|是第k个标准字符的列特征向量的模；

字符图像与标准字符的相似性都计算出来后，如果计算值均小于0.8或者最大的两个计算值的差小于0.01，则匹配过程结束，将字符图像传输给容错模块，否则查询出最大的计算值对应的标准字符并传输给反馈模块；

容错模块用于收集无法识别的标牌，传输到容错模块的字符图像需要工作人员进行人工处理；反馈模块用于显示和记录标牌信息，反馈模块设有显示屏，实时显示接收到的标准字符。

本发明的有益成果为：本发明提供了一种标牌信息采集与识别系统，采集模块、预处理模块、分割模块、识别模块、容错模块、反馈模块，可以对采集标牌信息，预处理图片信息，分割字符，识别出字符信息，分离出无法识别的字符，显示分析结果，使用识别系统可以使工业标牌信息的记录工作由人工录入过渡到自动录入，是信息化管理的重要进步，不仅可以节约大量人力，而且准确率也得到了提高。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合实施例，对本发明进行详细的说明。应当说明的是，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，能实现同样功能的产品属于等同替换和改进，均包含在本发明的保护范围之内。具体方法如下：

实施例1：本实施例具体介绍了光学字符识别技术的过程、原理和方法，如下：

对于应用于不同环境的光学字符识别系统,尽管在具体方法的实现上不完全相同,但其大致过程是相同的，主要包括：

(1)图像获取

图像获取是整个光学字符识别系统的第一步,一般是利用摄像机和扫描仪等光学技术进行图像采集,得到的图像是字符的像素描述。像素描述的重要参数是分辨率,分辨率包括空间二维平面分辨率和灰度分辨率,前者反映了像素描述在空间上的精细程度,而后者则反映了像素描述在灰度空间的精细程度。

(2)图像预处理

一般情况下,成像系统获取的原始图像由于受到种种条件限制和随机干扰,往往不能在视觉系统中直接使用,必须在视觉的早期阶段对原始图像进行灰度校正、噪声过滤等图像预处理。对于机器视觉系统来说,所用的图像预处理方法并不考虑图像降质原因,只将图像中感兴趣的特征有选择的突出,衰减其不需要的特征,故预处理后的输出图像并不需要去逼近原图像。这类图像预处理方法通称为图像增强,图像增强技术主要有两种方法空间域法和频率域法。空间域方法主要是在空间域内对图像像素直接运算处理,如直方图修正技术、灰度拉伸等。频率域方法就是在图像的某种变换域对图像的变换值进行运算,常见的方法有低通滤波器、高通滤波器等。

(3)字符分割

在众多的光学字符识别系统中,文本图像往往先被分割成只含有单个字符的子图像集,然后送入识别模块进行字符识别。将多字符图像切分成单字符图像的过程就是字符分割。字符分割在系统中处于重要地位,分割的准确率将直接影响整个系统的性能。

不同的对象一般采用不同的分割方法,然而许多不同字符也可以采用相同的分割策略。字符分割的基本策略可以分为以下几类：基于图像特征的切分、基于识别的分割以及基于整体识别的字符分割。

基于图像特征的分割就是对图像的内在特征进行分析,然后将图像分割成字符块。分割过程常用的特征有字符的灰度特征、边缘特征、区域特征等,常见的分割方法有基于投影曲线的分割、基于连通元的分割等。

基于识别的分割策略是利用识别结果,进行词法、句法和语义的判别,确定合理的分割方案。它避免了建立复杂的分割方法,但识别的可靠性对分害效果有直接的影响。

基于整体识别的分割方法是把字符串作为一个整体对象,直接对字符串进行识别而不是对单个字符识别。这种方法适用于内容比较固定的场合。

(4)特征提取

特征向量的抽取与选择是字符识别系统设计的核心之一,提取特征的好坏对于系统的分类性能有直接影响。根据提取方法的不同,可分为统计特征、结构特征和两者的结合。

统计特征根据某个特征统计量统计字符的整体特征信息,反映字符的全局特征。统计特征具有良好的抗噪声、抗笔画粘连与断裂等优点,但其区分结构相似字符的能力较差。常见的统计特征有变换特征、矩特征、基于轮廓的特征等。

结构特征是从字符轮廓或骨架图像上提取的反映字符形状的基本特征,如字符轮廓折线的折点、线段等,字符骨架的端点、折点、交叉点等以及汉字的笔画、部件等都是常用的结构特征。字符的结构特征充分利用了字符的内在结构关系,对字符的变形有较好的适应性,但抗噪能力差。

统计特征和结构特征的融合,不论是字符的统计特征还是结构特征都不能很好地反映字符的特征,充分利用统计和结构两方面的信息,发挥各自的优势,才能有效地识别字符。

(5)分类器设计

特征向量提取后,就应该设计分类器。分类器设计的原则可归纳为四类：基于相似性测度的分类器,如模板匹配、距离分类器等；基于概率统计的分类器,如贝叶斯分类器等；基于判别函数的分类器,如支持向量机等；基于特定理论的分类器,如神经网络分类器、决策树分类器、粗糙集分类器及模糊分类器等。

(6)后处理

后处理阶段是指系统在识别出单个字符后,利用上下文信息对识别结果进行修正的阶段。后处理阶段不是系统所必须的,但是如果能够选择合适的后处理方法,往往能较大地改善和提高系统的整体性能。

实施例2：本实施例具体举例说明了标牌信息采集与识别系统的结构，如下：

标牌信息采集与识别系统包括采集模块、预处理模块、分割模块、识别模块、容错模块、反馈模块；

采集模块、预处理模块、分割模块、识别模块、容错模块分别依次连接；识别模块和反馈模块连接；

采集模块包括摄像头组件，用于对标牌进行拍照，并将采集到的原始图像传输给预处理模块，原始图像为彩色图像，采用RGB颜色模式；

预处理模块包括灰度化单元和二值化单元，灰度化单元用于将彩色图像转化为灰度图像，转化过程为：彩色图像上每个像素点都有唯一的坐标(x,y)，利用公式一计算其灰度值：

公式一：gray(x,y)＝aR(x,y)+(4a+0.11)G(x,y)+(0.89-5a)B(x,y)；

其中，gray是灰度值，gray(x,y)是坐标为(x,y)的像素点的灰度值；a为调整系数，取值范围是0.11～0.17，由工作人员根据需要调整；R、G、B是三个基色分量，取值是[0，255]之间的整数；R(x,y)、G(x,y)、B(x,y)是坐标为(x,y)的像素点的三个基色分量，取值是[0，255]之间的整数；

二值化单元用于对灰度图像进行二值化处理得到黑白图像并传输给分割模块，处理过程为：通过设定的临界阈值将像素点分成两个像素群,将灰度值小于临界阈值的像素点的灰度值重置为0，否则灰度值重置为255，临界阈值为动态阈值，取值确定过程为：首先统计灰度图像得到灰度直方图和主要统计参数，再用公式二进行计算；

公式二：

其中，T是临界阈值，i、j都是灰度级，取值是[0，255]之间的整数；N是频数，N_i是i的频数，N_j是j的频数；M是像素点的个数；

分割模块包括提取单元和调整单元，提取单元用于从黑白图像中提取出只含有单个字符的子图像,提取过程为：首先，依次对黑白图像上每一行中所有的像素点的灰度值求和得到有效灰度值，并且给除去首尾两行外的每一行分配一个行标识(P_t-1,P_t,P_t+1)，其中，t是行数，P是有效灰度值,P_t-1是第t-1行的有效灰度值，P_t是第t行的有效灰度值，P_t+1是第t+1行的有效灰度值；然后，依次判断行标识，标记出行切入线和行切出线，标记方法为：如果P_t-1＝P_t＝0且P_t+1>0,则第t行被标记为行切入线，如果P_t-1>0且P_t+1＝P_t＝0,则第t行被标记为行切出线，行切入线和行切出线成对标记；再用同样的方法标出列切入线和列切出线，列切入线和列切出线也是成对标记；最后，每一对行切入线和行切出线与每一对列切入线和列切出线之间形成连通的矩形域，可以分离出m×n的矩形阵列，m是行切入线的个数，n是列切入线的个数，矩形阵列中的矩形都分别对应一个子图像，标记为S_k,l，S是子图像，k是子图像在矩形阵列中的行数，取值是[1，m]之间的整数,l是子图像在矩形阵列中列数，取值是[1，n]之间的整数，S_k,l是矩形阵列中第k行第l列的子图像；调整单元用最近邻插值法将子图像调整到统一大小，得到字符图像并传输给识别模块；

识别模块首先对字符图像提取行特征向量和列特征向量，行特征向量和列特征向量都是列向量，提取过程为：依次对图像中每一行所有的像素点的灰度值求和并作为一个元素存储到行特征向量中，同样依次对字符图像中每一列所有的像素点的灰度值求和并作为一个元素存储到列特征向量中，再和数据库中的标准字符匹配，匹配过程为：用公式三计算相似性：

公式三：

其中，W是相似性，b是比例系数，由工作人员根据需要调整，k是标准字符的编号，取值范围是从1开始的正整数；W_k是字符图像与第k个标准字符的相似性，W和W_k的取值范围都是0～1，没有单位；B是字符图像的行特征向量，D是字符图像的列特征向量，|B|是字符图像的行特征向量的模，|D|是字符图像的列特征向量的模，C是标准字符的行特征向量，E是标准字符的列特征向量，C_k是第k个标准字符的行特征向量，E_k是第k个标准字符的列特征向量，C_k ^T是第k个标准字符的行特征向量的转置，E_k ^T是第k个标准字符的列特征向量的转置，|C_k|是第k个标准字符的行特征向量的模，|E_k|是第k个标准字符的列特征向量的模；

字符图像与标准字符的相似性都计算出来后，如果计算值均小于0.8或者最大的两个计算值的差小于0.01，则匹配过程结束，将字符图像传输给容错模块，否则查询出最大的计算值对应的标准字符并传输给反馈模块；

容错模块用于收集无法识别的标牌，传输到容错模块的字符图像需要工作人员进行人工处理；反馈模块用于显示和记录标牌信息，反馈模块设有显示屏，实时显示接收到的标准字符。

本发明的有益成果为：本发明提供了一种标牌信息采集与识别系统，采集模块、预处理模块、分割模块、识别模块、容错模块、反馈模块，可以对采集标牌信息，预处理图片信息，分割字符，识别出字符信息，分离出无法识别的字符，显示分析结果，使用识别系统可以使工业标牌信息的记录工作由人工录入过渡到自动录入，是信息化管理的重要进步，不仅可以节约大量人力，而且准确率也得到了提高。

以上所述仅为本发明之较佳实施例，并非用以限定本发明的权利要求保护范围。同时以上说明，对于相关技术领域的技术人员应可以理解及实施，因此其他基于本发明所揭示内容所完成的等同改变，均应包含在本权利要求书的涵盖范围内。

Claims (1)

1.一种标牌信息采集与识别系统，其特征在于，包括：采集模块、预处理模块、分割模块、识别模块、容错模块、反馈模块；

所述采集模块、所述预处理模块、所述分割模块、所述识别模块、所述容错模块分别依次连接；所述识别模块和所述反馈模块连接；

所述采集模块包括摄像头组件，用于对标牌进行拍照，并将采集到的原始图像传输给所述预处理模块，所述原始图像为彩色图像，采用RGB颜色模式；

所述预处理模块包括灰度化单元和二值化单元，所述灰度化单元用于将所述彩色图像转化为灰度图像，转化过程为：所述彩色图像上每个像素点都有唯一的坐标(x,y)，利用公式一计算其灰度值：

公式一：gray(x,y)＝aR(x,y)+(4a+0.11)G(x,y)+(0.89-5a)B(x,y)；

其中，gray是所述灰度值，gray(x,y)是坐标为(x,y)的像素点的灰度值；a为调整系数，取值范围是0.11～0.17，由工作人员根据需要调整；R、G、B是三个基色分量，取值是[0，255]之间的整数；R(x,y)、G(x,y)、B(x,y)是所述坐标为(x,y)的像素点的三个基色分量，取值是[0，255]之间的整数；

所述二值化单元用于对所述灰度图像进行二值化处理得到黑白图像并传输给所述分割模块，处理过程为：通过设定的临界阈值将所述像素点分成两个像素群,将所述灰度值小于所述临界阈值的像素点的灰度值重置为0，否则所述灰度值重置为255，所述临界阈值为动态阈值，取值确定过程为：首先统计所述灰度图像得到灰度直方图和主要统计参数，再用公式二进行计算；

公式二：

其中，T是所述临界阈值，i、j都是灰度级，取值是[0，255]之间的整数；N是频数，N_i是所述i的所述频数，N_j是所述j的所述频数；M是所述像素点的个数；

所述分割模块包括提取单元和调整单元，所述提取单元用于从所述黑白图像中提取出只含有单个字符的子图像,提取过程为：首先，依次对所述黑白图像上每一行中所有的所述像素点的灰度值求和得到有效灰度值，并且给除去首尾两行外的每一行分配一个行标识(P_t-1,P_t,P_t+1)，其中，所述t是行数，所述P是所述有效灰度值,所述P_t-1是第t-1行的有效灰度值，所述P_t是第t行的有效灰度值，所述P_t+1是第t+1行的有效灰度值；然后，依次判断所述行标识，标记出行切入线和行切出线，标记方法为：如果P_t-1＝P_t＝0且P_t+1>0,则第t行被标记为所述行切入线，如果P_t-1>0且P_t+1＝P_t＝0,则所述第t行被标记为所述行切出线，所述行切入线和所述行切出线成对标记；再用同样的方法标出列切入线和列切出线，所述列切入线和所述列切出线也是成对标记；最后，每一对所述行切入线和所述行切出线与每一对所述列切入线和所述列切出线之间形成连通的矩形域，可以分离出m×n的矩形阵列，所述m是所述行切入线的个数，所述n是所述列切入线的个数，所述矩形阵列中的矩形都分别对应一个子图像，标记为S_k,l，所述S是所述子图像，所述k是所述子图像在所述矩形阵列中的行数，取值是[1，m]之间的整数,所述l是所述子图像在所述矩形阵列中列数，取值是[1，n]之间的整数，所述S_k,l是所述矩形阵列中第k行第l列的子图像；所述调整单元用最近邻插值法将所述子图像调整到统一大小，得到字符图像并传输给所述识别模块；

所述识别模块首先对所述字符图像提取行特征向量和列特征向量，所述行特征向量和所述列特征向量都是列向量，提取过程为：依次对图像中每一行所有的所述像素点的灰度值求和并作为一个元素存储到所述行特征向量中，同样依次对所述字符图像中每一列所有的所述像素点的灰度值求和并作为一个元素存储到所述列特征向量中，再和数据库中的标准字符匹配，匹配过程为：用公式三计算相似性：

公式三：

其中，W是所述相似性；b是比例系数，由所述工作人员根据需要调整，k是标准字符的编号，取值范围是从1开始的正整数；W_k是字符图像与第k个标准字符的相似性，所述W和所述W_k的取值范围都是0～1，没有单位；B是字符图像的行特征向量，D是字符图像的列特征向量，|B|是字符图像的行特征向量的模，|D|是字符图像的列特征向量的模，C是标准字符的行特征向量，E是标准字符的列特征向量，C_k是第k个标准字符的行特征向量，E_k是第k个标准字符的列特征向量，C_k ^T是第k个标准字符的行特征向量的转置，E_k ^T是第k个标准字符的列特征向量的转置，|C_k|是第k个标准字符的行特征向量的模，|E_k|是第k个标准字符的列特征向量的模；

所述字符图像与所述标准字符的相似性都计算出来后，如果计算值均小于0.8或者最大的两个计算值的差小于0.01，则匹配过程结束，将所述字符图像传输给所述容错模块，否则查询出最大的计算值对应的所述标准字符并传输给所述反馈模块；

所述容错模块用于收集无法识别的所述标牌，传输到所述容错模块的所述字符图像需要工作人员进行人工处理；所述反馈模块用于显示和记录标牌信息，所述反馈模块设有显示屏，实时显示接收到的所述标准字符。