CN108875735A - 钢板生产线点阵喷码字符自动检测方法 - Google Patents

Abstract

本发明公开了钢板生产线点阵喷码字符自动检测方法，包括采用图像重心和轮廓投影的方法定位字符区域。针对复杂工况导致的字符变形，模糊的情况，采用多方向线扫描算法分割字符，并通过聚类机制矫正分割结果。应用bp神经网络对分割字符进行识别。在能保证实时性的前提下满足较高的识别准确率，满足实时在线检测的需求。

Description

钢板生产线点阵喷码字符自动检测方法

技术领域

本发明属于喷印字符在线识别技术领域，尤其涉及一种钢板生产线点阵喷码字符自动检测方法。

背景技术

钢材在生产制造过程中，通常需要在其表面喷印、滚压或者冲打一些由数字、英文字母或特殊符号构成的字符(即喷码)作为钢板的唯一标识，用于质量跟踪和信息管理。其中，点阵热喷技术由于具有耐高温、低成本、喷枪与工件无接触以及喷印效率高等优点，比较适合于类似大型热轧钢板喷码等注重标码内容而不是喷印质量的场合。然而，点阵喷码字符本质上是由不连续的点按不同模式组合而成；同时，流水线传送速度的变化、辊轴振动、钢板温度和喷头、涂料的状况都会影响最终的喷码质量。实际工况中，喷码字符经常存在变形、粘连、缺失、模糊等现象，这些都给后续的检测和识别带来很大的困难。作为一种非接触的方法，机器视觉技术不仅可以有效避免高温、运动等危险因素对人员的损害，还能通过结合图像处理与模式识别技术，取代人工识别喷码字符，提高生产效率。因此，钢材生产线基于机器视觉的喷码字符的识别显得十分必要。

当前钢板喷印字符在线识别技术主要分为三个部分：

第一部分是字符区域的定位。目前，对于字符区域定位，有采用Mean Shift抑制复杂背景，通过多级滤波和聚类实现，也有采用顶帽变换增强字符区域，然后通过滤波、投影实现。

第二部分是字符分割技术。连续的字符一般使用投影法进行分割，但点阵字符由于在投影中会产生很多断点。同时由于工况复杂，喷印的点阵字符经常会出现变形，模糊等情况，使用普通投影法不能有效分割字符。在字符识别中，准确的字符分割是字符识别的基础，因此，字符分割技术一直是研究的重点。

第三部分是字符识别技术。目前，字符识别多基于光学字符识别技术实现，且大多数是针对于印刷文体识别和手写字符识别，对于点阵字符来说并不适用，因此对钢板喷印字符识别的研究具有重要的现实意义。

发明内容

针对现有技术存在的问题，本发明提供一种有效的字符定位、分割以及识别的方法，可以满足工厂对字符检测的实时性，准确性的要求。

本发明所采用的技术方案如下，一种钢板生产线点阵喷码字符自动检测方法，包括：

采用二级定位法对待测图像中字符区域定位，所谓二级定位法包括初级定位和精确定位；

初级定位：由于现场采集的图片较大，首先用拉普拉斯金字塔采样，降低其分辨率，以减少初级定位算法的时间复杂度，然后采用顶帽变换，突出轮廓周围明亮区域，消除亮度不均的区域；接着通过固定的阈值分割得到二值图像，计算二值图的重心(G_x,G_y)，重心的过程计算如下：

定义M行N列的图像为输入图像I_(x,y):{x∈(1,…,M)*y∈(1,…,N)}→(0,…,255)，则

其中G_x、G_y分别为重心的横坐标和纵坐标，p_i表示第i行像素在水平方向上的投影、p_j表示滴j列像素在垂直方向上的投影，(x,y)为像素的坐标值，x表示水平坐标，y表示垂直坐标，α,β分别为水平和竖直方向计算的权重系数；再通过几何换算，将二值图重心坐标代入式(3)计算，可得到字符区域的矩形框B_f：

其中W和H分别为初级定位字符区域的宽和高,I_s为待测图像。

精确定位：通过高斯滤波，采用自适应Canny边缘检测,提取字符和干扰区域的轮廓；然后在水平和垂直方向投影轮廓，结合字符区域的几何特征，准确定位字符区域。

再接下来对字符进行分割，在分割的过程中首先通过Laplacian算子增强背景与前景的对比度，再通过基于背景采样的多阈值分割，获取前景字符，接下来再采用多方向线扫描的方法，分割单个字符，最后利用k-means聚类矫正分割结果。

基于背景采样的多阈值分割具体为如下：

对于采集的现场图片，其背景相对均匀，目标前景是喷印在背景上的白色字符，与背景存在对比度，所以可以通过对定位后字符图像进行行和列采样，获取前景及背景的对比度。首先取字符区域周围的10行10列采样，求取各行和各列的中值后再做平均作为背景区域的灰度值g₁；同理，在字符区域中心位置的左边5列和右边5列分别列采样，滤除各列小于g₁的像素值，然后求取各列的中值后做平均作为前景的灰度值g₂；则前景和背景的对比度c＝g₂/g₁，令分割阈值th＝g₁+γ*c为前景与背景分割的阈值，其中γ由实验统计确定最佳值，γ为权重系数。

在获取到前景字符后，再采用多方向线扫描的方法，分割单个字符，即将多个在一起的字符分割开来，具体为：

首先，采用不同角度的直线l_θ，自上而下扫描M行N列输入图像I_(m,n):{m∈(1,…,M)*n∈(1,…,N)}→(0,…,255)，直线l_θ的方程为：

y＝tanθ*x+b, (4)

其中(x,y)∈I_(m,n)，x、y分别表示图像上像素的横坐标和纵坐标；θ∈(θ_min,θ_max)，表示直线l_θ的角度范围，其中θ_min表示字符的最小倾斜角，θ_max表示字符的最大倾斜角；b表示直线l_θ向下平移的尺度；直线l_θ扫描时，从角度θ_min开始在图像上扫描，直到角度θ_max结束，在这个过程中通过计算图像上的白点是否在直线上，判定直线l_θ是否是字符间的分割线，当角度为的直线连续T_c次通过字符间的区域(T_c由实验经验决定)，即没有白点在此区域，则认为该区域直线为候选字符分割线，记录该区域开始于结束于其中Bc为此区域开始的行，Ec为结束行，选择值最小的直线作为字符分割线，同理继续寻找下一条字符分割线；

接下来，采用单个字符的特征方差聚类，包括字符宽度w(i)、候选区域分割线的宽度s(i)、像素占有率r(i)，矫正分割，特征方差如公式(5)所示：

式中，α、β、γ分别为权重系数，i为分割的第i个字符，n为待分割的字符个数，分别为字符平均宽度、字符间距和像素占有率，由于现场钢板喷印字符的个数固定，若特征方差L(x)大于设定值，或者字符分割个数与待分割字符个数不一致，则需重分割；重新分割时，通过调整二值化处理过程中形态学操作及去噪操作的参数，实现字符间分割线的矫正，完成正确分割，再对分割结果进行归一化处理。

最后，采用bp神经网络对分割好的字符进行识别具体包括：

离线训练所有的构成字符：将现场采集的数据分割成单个字符，将字符归一化为16*32像素的图像后分类存入不同文件夹下，然后通过bp神经网络分类训练；

在线识别字符：分割完的待识别字符，经归一化为16*32像素的图像后，送入bp神经网络，根据离线学习经验，对其分类。

本发明有益效果：通过多方线扫描和聚类矫正方法有效解决了变形、粘连等点阵字符的分割问题，保证了点阵字符分割的准确性，为后续分类识别提供了基础。

附图说明

图1为本发明方法的流程图；

图2为现场采集的原图；

图3为初级定位结果图；

图4为精确定位结果图；

图5为本发明中多方向线扫描分割示意图；

图6为字符分割结果图；

图7为识别结果图。

具体实施方式

为了进一步描述本发明的技术特点和效果，以下结合附图和具体实施方式对本发明做进一步描述。

参照图1到图7所示，一种钢板生产线点阵喷码字符自动检测方法，包括如下步骤：

首先，对图像采集后对待测图像中的字符区域进行初级定位，具体包括：

采用用拉普拉斯金字塔采样，降低其分辨率，以减少初级定位算法的时间复杂度；

采用顶帽变换，突出字符轮廓周围明亮区域，消除随机噪点；接着通过最大类间方差法分割得到二值图像，计算二值图的重心(G_x,G_y)，定义M行N列的图像为输入图像I_(x,y):{x∈(1,…,M)*y∈(1,…,N)}→(0,…,255)，则

其中，G_x为重心的横坐标，G_y为重心的纵坐标，p_i表示第i行像素在水平方向上的投影、p_j表示滴j列像素在垂直方向上的投影，(x,y)为像素的坐标值，x表示像素的水平坐标，y表示像素的垂直坐标，α,β分别为水平和竖直方向计算的权重系数；

字符区域的投影值集中且在一定的范围，而噪点区域的投影值较离散，较大或者较小。通过加大字符区域投影值的计算权重，削弱孤立噪点的影响,这样计算的重心更接近字符区域的中心。

获得图像重心，通过几何换算，将二值图重心坐标代入式(3)，可得到字符区域的矩形框B_f：

其中W和H分别为初级定位字符区域的宽和高,I_s为待测图像。

确定B_f后，可采用边缘投影的方法在此区域精确地定位字符位置，具体如下：

通过高斯滤波，采用自适应Canny边缘检测,提取字符和干扰区域的轮廓；然后在水平和垂直方向投影轮廓，结合字符区域的几何特征，准确定位字符区域。如图4所示。

准确定位到字符区域后，需要分割出单个字符，其算法如下：

首先，通过Laplacian算子增强字符与背景的对比度，再通过基于背景采样的多阈值分割，获取前景字符。通过采样背景和字符区域的亮度，调整分割阈值，改善对比度分割难的情况。接下来，采用多方向线扫描的方法，分割单个字符：

首先，采用不同角度的直线l_θ，自上而下扫描M行N列输入图像l_(m,n):{m∈(1,…,M)*n∈(1,…,N)}→(0,…,255)，直线l_θ的方程为：

y＝tanθ*x+b, (4)

其中(x,y)∈I_(m,n)，x、y分别表示图像上像素的横坐标和纵坐标；θ∈(θ_min,θ_max)，表示直线l_θ的角度范围，其中θ_min表示字符的最小倾斜角，θ_max表示字符的最大倾斜角；b表示直线l_θ向下平移的尺度；直线l_θ扫描时，从角度θ_min开始在图像上扫描，直到角度θ_max结束，在这个过程中通过计算图像上的白点是否在直线上，判定直线l_θ是否是字符间的分割线，当角度为的直线连续T_c次通过字符间的区域(T_c由实验经验决定)，即没有白点在此区域，则认为该区域直线为候选字符分割线，记录该区域开始于结束于其中Bc为此区域开始的行，Ec为结束行，选择值最小的直线作为字符分割线，同理继续寻找下一条字符分割线，如图5所示。

接下来，采用单个字符的特征方差聚类，包括字符宽度w(i)、候选区域分割线的宽度s(i)、像素占有率r(i)，矫正分割，特征方差如公式(5)所示：

式中，α、β、γ分别为权重系数，i为分割的第i个字符，n为待分割的字符个数，分别为字符平均宽度、字符间距和像素占有率，由于现场钢板喷印字符的个数固定，若特征方差L(x)大于设定值，或者字符分割个数与待分割字符个数不一致，则需重分割；重新分割时，通过调整二值化处理过程中形态学操作及去噪操作的参数，实现字符间分割线的矫正，完成正确分割，再对分割结果进行归一化处理。如图6所示。

最后，采用bp神经网络的识别方法对分割好的字符进行字符识别：

现场喷印的字符集包含0-9，10个数字和A、B、C，三个英文字母。把分割的字符归一化为16*32，分类放在13个文件夹下，每类1500张，进行训练。训练的过程中，字符的特征和分类同时进行。

将待识别字符作为输入进入网络便可以实现对其分类，即识别完成，如图7所示。

上述实施例不以任何形式限定本发明，凡采取等同替换或等效变换的形式所获得的技术方案，均落在本发明的保护范围之内。

Claims (6)

1.钢板生产线点阵喷码字符自动检测方法，其特征在于，包括以下步骤：

(1)采用二级定位法对待测图像中字符区域定位，包括初级定位：通过计算图像重心，获取字符区域位置；精确定位：采用边缘检测法，提取字符和干扰区域轮廓，结合字符区域几何特征准确定字符区域；

(2)字符分割：分割单个字符，矫正分割结果；

(3)采用bp神经网络对分割好的字符进行识别。

2.根据权利要求1所述的钢板生产线点阵喷码字符自动检测方法，其特征在于：所述步骤(1)中的初级定位具体为：首先，通过拉普拉斯金字塔采样，降低待测图像分辨率；然后采用顶帽变换，突出字符区域的轮廓，消除随机噪点；接着通过最大类间方差法分割得到二值图像，计算二值图的重心(G_x，G_y)，计算过程如下：

定义M行N列的图像为输入图像I_(x，y)：{x∈(1，…，M)*y∈(1，…，N)}→(0，…，255)，则

其中，G_x为重心的横坐标，G_y为重心的纵坐标，p_i表示第i行像素在水平方向上的投影、p_j表示滴j列像素在垂直方向上的投影，(x，y)为像素的坐标值，x表示像素的水平坐标，y表示像素的垂直坐标，α，β分别为水平和竖直方向计算的权重系数；再通过几何换算，将二值图重心坐标代入式(3)计算，可得到字符区域的矩形框B_f：

其中W和H分别为初级定位字符区域的宽和高，I_s为待测图像；

所述精确定位具体为：采用自适应Canny边缘检测方法，提取字符和干扰区域的轮廓；然后在水平和垂直方向投影轮廓，结合字符区域的几何特征，准确定位字符区域。

3.根据权利要求1所述的钢板生产线点阵喷码字符自动检测方法，其特征在于，所述步骤(2)字符分割具体为：

2a)通过Laplacian算子增强背景与前景的对比度，再通过基于背景采样的多阈值分割，获取前景字符；

2b)采用多方向线扫描的方法，分割单个字符，最后利用k-means聚类矫正分割结果。

4.根据权利要求3所述的钢板生产线点阵喷码字符自动检测方法，其特征在于，所述步骤2b)采用多方向线扫描的方法，分割单个字符，最后利用k-means聚类矫正分割结果具体为：

2b1)采用不同角度的直线l_θ，自上而下扫描M行N列输入图像I_(m，n)：{m∈(1，…，M)*n∈(1，…，N)}→(0，…，255)，直线l_θ的方程为：

y＝tanθ*x+b， (4)

其中(x，y)∈I_(m，n)，x、y分别表示图像上像素的横坐标和纵坐标；θ∈(θ_min，θ_max)，表示直线l_θ的角度范围，其中θ_min表示字符的最小倾斜角，θ_max表示字符的最大倾斜角；b表示直线l_θ向下平移的尺度；直线l_θ扫描时，通过计算图像上的白点是否在直线上，判定直线l_θ是否是字符间的分割线，当角度为的直线连续T_c次通过字符间的区域，即没有白电在此区域，则认为该区域直线为候选字符分割线，记录该区域开始于结束于其中Bc为此区域开始的行，Ec为结束行，选择值最小的直线作为字符分割线，同理继续寻找下一条字符分割线；

2b2)采用单个字符的特征方差聚类，包括字符宽度w(i)、候选区域分割线的宽度s(i)、像素占有率r(i)，矫正分割，特征方差如公式(5)所示：

式中，α、β、γ分别为权重系数，i为分割的第i个字符，n为待分割的字符个数，分别为字符平均宽度、字符间距和像素占有率，由于现场钢板喷印字符的个数固定，若特征方差L(x)大于设定值，或者字符分割个数与待分割字符个数不一致，则需重分割；重新分割时，通过调整二值化处理过程中形态学操作及去噪操作的参数，实现字符间分割线的矫正，完成正确分割。

5.根据权利要求1所述的钢板生产线点阵喷码字符自动检测方法，其特征在于：所述步骤(3)采用bp神经网络对分割好的字符进行识别具体包括：

3a)离线训练所有的构成字符：将现场采集的数据分割成单个字符，将字符归一化为16*32像素的图像后分类存入不同文件夹下，然后通过bp神经网络分类训练；

3b)在线识别字符：分割完的待识别字符，经归一化为16*32像素的图像后，送入bp神经网络，根据离线学习经验，对其分类。

6.根据权利要求3所述的钢板生产线点阵喷码字符自动检测方法，其特征在于，所述步骤2a)中的基于背景采样的多阈值分割具体为：通过对定位后字符图像进行行和列采样，获取前景及背景的对比度，首先取字符区域周围的10行10列采样，求取各行和各列的中值后再做平均作为背景区域的灰度值g₁；同理，在字符区域中心位置的左边5列和右边5列分别列采样，滤除各列小于g₁的像素值，然后求取各列的中值后做平均作为前景的灰度值g₂；则前景和背景的对比度c＝g₂/g₁，令分割阈值th＝g₁+γ*c为前景与背景分割的阈值，γ为权重系数。