CN105894487A - 钢材图像编号的提取与分割方法 - Google Patents

Abstract

本发明提出了一种复杂背景下钢材图像编号的提取和分割方法。采用HSV颜色空间，并以饱和度为主区分前景和背景，再综合运用数学形态学运算及边界跟踪技术提取出钢块的有效区域；对灰度钢材图像进行二值化、梯度锐化、去离散噪声等预处理，运用多投影直方图分割法对钢材区域的编号进行行、列分割，并解决了干扰、字符粘连等问题，实现了编号的精确定位分割。本发明的抗干扰能力较强，分割效果良好。

Description

钢材图像编号的提取与分割方法

技术领域

本发明属于图像处理技术，具体地说，是涉及钢材图像编号的提取和分割方法。

背景技术

在钢厂，每块钢材成型后都有一个编号。这个编号一般用喷涂设备或手工加在钢块的侧面。当钢块送到其它流程(库存、质量管理等)进一步处理时，需要将它辨别出来。目前识别的环节基本上靠工人手工定时完成。人为登记既降低了工作效率，也不太安全，还易发生错误。因此迫切需要对钢材编号实现自动识别。

在钢材编号的识别过程中，钢材区域定位、字符分割是关键技术。由于钢材区域的背景复杂，如图1所示，拍摄的图像除了钢材区域外，还有轨道、钢管、窗户、标语甚至工作人员等影响钢材编号识别的物体。而且在钢材区域内，钢材的堆放也没有特定的规律。由于拍摄的角度，不同的钢块的倾斜度不同，图片上的编号大小也不一。加上还有噪声、光线等外部条件的影响。这些给识别带来了相当的难度。

若用常规的灰度图像阈值化的方法，由于钢材编号的颜色与背景相似，二值化后如图2所示，有大量的干扰物体存在，不易于识别。所以要直接对彩色图像进行有效的分割。

对彩色图像进行分割，颜色空间的选取很重要。常见的颜色空间有RGB和HSV两种。H、S、V分别代表颜色的色调、饱和度和亮度。HSV颜色模型去掉了亮度成分在图像中与颜色信息的联系，色调饱和度成分与人们获得颜色的方式密切相关；且HSV颜色模型用Munsell三维空间坐标系统表示，坐标可以独立感知各颜色分量的变化。仿照灰度直方图的定义方法，在HSV空间中，可将色调、饱和度直方图定义为：

$N\left(h_i\right)=\underset{M}{\mathrm{\Σ}}\underset{N}{\mathrm{\Σ}}f(x,y)---\left(1\right)$

$N\left(s_i\right)=\underset{M}{\mathrm{\Σ}}\underset{N}{\mathrm{\Σ}}f(x,y)---\left(2\right)$

这里，N(h_i)、N(s_i)分别是色调为h_i(i＝0，...，255)、饱和度为s_i(i＝0，...，255)的象素个数。当Hue＝h_i时，f(x，y)＝1。当Saturation＝s_i时，f(x，y)＝1。

二值化求解阈值的方法很多，如直方图变换法、最大类间方差法、共生矩阵法、迭代法。迭代法基本思想是：首先计算图像灰度直方图，选取图像灰度范围的中值作为初始阈值T₀(设共有L级灰度)，然后按下式进行迭代：

$T_{i+1}=0.5\×\{\frac{\underset{l=0}{\overset{T_i}{\mathrm{\Σ}}}{h}_l\×l}{\underset{l=0}{\overset{T_i}{\mathrm{\Σ}}}{h}_l}+\frac{\underset{l=T_i+1}{\overset{L-1}{\mathrm{\Σ}}}{h}_l\×l}{\underset{l=T_i+1}{\overset{L-1}{\mathrm{\Σ}}}{h}_l}\}---\left(3\right)$

其中h₁是灰度为1值的像素个数。迭代一直进行到T_i+1＝T_i结束，取结束时的T_i为最终分割阈值并按T_i二值化。

发明内容

本发明旨在克服现有技术缺陷，目的在于提供一种钢材编号提取与分割技术的方法。该方法先在彩色图像中提取出钢材区域，然后将钢材编号按行粗分割，最后精确定位字符。

为实现上述目的，本发明采用的技术方案是：

第一步、钢材区域提取

(1)在彩色图像中将前景和背景区分；

采集到的图像一般是RGB格式，因此先将图像进行格式转换，转换成HSV格式。需要指出的是色调是循环结构。为了更清楚表示，将色调直方图左移。左移后色调直方图、饱和度直方图分别如图3、图4所示(滤波后)。

从左移后的色调直方图可以看出色调比较多，不利于直接分割；而饱和度直方图呈现明显的双峰，很容易将前景和背景区分开。本发明采用Otsu方法求取分割阈值，并按阈值完成图像的二值化。

(2)钢材区域与其它背景区域分开成独立的连通域；

尽管已经有效将钢材区域标识出来，但背景中仍然有杂物和大量零散点的存在。针对零散点，使用结构元素进行先膨胀后腐蚀运算，得到图5。从图5可见，钢材区域与其它背景区域已经分开成独立的连通域了。

(3)从彩色图像对应的灰度图中裁剪出相应的钢材图像。

图5中的钢材区域比较明显，但仍有少数细小的连通区域，必须去掉。本文采用边界跟踪的方法，将周长最大的部分确定为钢材区域。边界跟踪用到了Freeman链法则。具体的跟踪规则如图6所示。得到边界跟踪后的区域后标识出其邻接矩形。并从彩色图像对应的灰度图中裁剪出相应的图像。结果如图7所示。

第二步、字符分割定位

(1)二值化、梯度锐化、去离散噪声；

用迭代法对第一步得到的钢材图像灰度图进行二值化。由于需要处理的图像编号边缘比较模糊，对识别造成了一定的困难。在这里采用Roberts梯度算子进行锐化使图像的边缘变得清晰起来。图像可能在拍摄过程中夹带了噪声。系统采用的是去除杂点的方法来进行去噪声处理的。锐化、去噪后的图像如图8所示。

(2)行划分

X轴方向投影直方图公式 $P{Y}_i=\underset{j=X_1}{\overset{X_n}{\mathrm{\Σ}}}{F}_{\mathrm{ij}},i=Y_1,Y_2,...,Y_n---\left(4\right)$

Y轴方向投影直方图公式 $P{X}_j=\underset{i=Y_1}{\overset{Y_n}{\mathrm{\Σ}}}{F}_{\mathrm{ij}},j=X_1,X_2,...,X_n---\left(5\right)$

X₁＝X₀₁，…，X_i＝X₀₁+i-1，…，X_n＝X₀₂；

Y₁＝Y₀₁，…，Y_i＝Y₀₁+i-1，…，Y_n＝Y₀₂；

其中(X₀₁，Y₀₁)，(X₀₂，Y₀₂)分别为区域左上角、右下角的坐标。

按公式(4)先对图像8进行水平投影，得到图9。因为钢材编号的间隔比较大，水平投影会出现投影轮廓的谷点且不同行编号的投影不会重叠。找出在Y轴方向的谷点，根据谷点沿X轴方向切分图像得到不同的行。若这时将切分行的高度与已知待识别的字符的高度比较，从而得到目标图像行，将会遇到两个问题，一是由于拍摄角度，每行编号大小不一且部分行编号存在明显的倾斜；二是干扰的存在，尤其是干扰区高度与钢材编号接近时。

(3)每行倾斜度自动测量

调整的方法主要是根据图像上左右两边的黑色象素的平均高度来的。

(4)字符的精确定位

在调整倾斜度后的各行中，先要判定字符区的存在，来排除干扰行。对含有字符的行，确定字符区的起始位置，然后对各个字符水平分割。

1)确定含有字符的行

通过观察字符区域，可以看到每行的钢材编号前后为两个字母，中间为十个数字。按公式(5)对图9中第4行(从下往上)进行垂直投影可得图10，投影值发生零值跳变的位置有T(此处T＝24)处。对每行投影值零值跳变点个数进行统计，大于或等于T/2的保留，小于T/2认为是干扰行。

2)精确定位

下面对含有字符区域的行确定字符区域的精确位置。

在图11中，字符区上边有两道斜线，两块黑点，左侧有一块黑点，构成了干扰。

按式(4)得到X方向的投影直方图PY，如图12所示。在PY中，存在k个结果区域(k＝2)，图中标出PYw₁，PYw₂两个结果区域。

先求出直方图中PY投影区的平均高度

$\mathrm{PY}\stackrel{\‾}{h}=\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}P{Y}_i(P{Y}_i\≠0)---\left(5\right)$

其中，m为PY中不为零的行数。

再根据PY求出每个区域的宽度PYw_i(i＝1～k)和每个区域的平均高度PYh_i(i＝1～k)。(这里区域数k＝2)。

根据两个条件来得到字符区域的高度。

I)PYw_i中取出最大值作为PYw_m作为候选字符区，即区域宽度最大值；

II)求出PYw_m对应的区域平均高度PYh_m要满足：

第一个条件是说明字符区域的高度范围内的水平方向黑色象素点最多。第二个条件为了排除直线。

这样，字符区的高度完全可确定。并可由此切分出高度上的干扰。结果如图13所示。作垂直投影可得图14。

本发明对字符的粘连进行了处理。

现在可以把字符区域中的字符独立的分割出来。

在已知的每个字符比较精确的宽度范围内，先自下向上对图像进行逐行扫描直至遇到第一个黑色的象素点。记录下来。然后再由上向下对图像进行逐行扫描直至找到第一个黑色象素，这样就找到每个字符精确的高度范围。效果如图15表示。

附图说明

图1是本发明第一步中钢材编号原始彩色图；

图2是本发明第一步中钢材编号直接二值化后黑白图；

图3是本发明第一步中左移后色调直方图；

图4是本发明第一步中饱和度直方图；

图5是本发明第一步中膨胀、腐蚀后效果图；

图6是本发明第一步中8近邻轮廓线跟踪过程；

图7是本发明第一步中钢材区域的灰度图；

图8是本发明第二步中锐化、去噪后的效果图；

图9是本发明第二步中水平投影图；

图10是本发明第二步中垂直投影图；

图11是本发明第二步中含干扰的一行字符图；

图12是本发明第二步中投影直方图PY；

图13是本发明第二步中去除高度上的干扰后效果图；

图14是本发明第二步中垂直投影图；

图15是本发明第二步中定位分割后效果图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步的描述，并非对其保护范围的限制。

第一步、钢材区域提取

(1)在彩色图像中将前景和背景区分；

采集到的图像一般是RGB格式，因此先将图像进行格式转换，转换成HSV格式。需要指出的是色调是循环结构。为了更清楚表示，将色调直方图左移，具体办法是将环形结构的色调数据的0点安置在像素最少的色调处。左移后色 调直方图、饱和度直方图分别如图3、图4所示(滤波后)。

从左移后的色调直方图可以看出色调比较多，不利于直接分割；而饱和度直方图呈现明显的双峰，很容易将前景和背景区分开。本发明采用Otsu方法即最大类间方差准则下的最佳门限法求取分割阈值，并按阈值完成图像的二值化。

(2)钢材区域与其它背景区域分开成独立的连通域；

尽管已经有效将钢材区域标识出来，但背景中仍然有杂物和大量零散点的存在。针对零散点，使用结构元素 $\left[\begin{array}{ccc}0& 1& 0\\ 1& 0& 1\\ 0& 1& 0\end{array}\right]$ 进行先膨胀后腐蚀运算，得到图5。从图5可见，钢材区域与其它背景区域已经分开成独立的连通域了。

(3)从彩色图像对应的灰度图中裁剪出相应的钢材图像。

图5中的钢材区域比较明显，但仍有少数细小的连通区域，必须去掉。本文采用边界跟踪的方法，将周长最大的部分确定为钢材区域。边界跟踪用到了Freeman链法则。具体的跟踪规则如图6所示。得到边界跟踪后的区域后标识出其邻接矩形。并从彩色图像对应的灰度图中裁剪出相应的图像。结果如图7所示。

第二步、字符分割定位

(1)二值化、梯度锐化、去离散噪声；

用迭代法对第一步得到的钢材图像灰度图进行二值化。由于需要处理的图像编号边缘比较模糊，对识别造成了一定的困难。在这里采用Roberts梯度算子进行锐化使图像的边缘变得清晰起来。图像可能在拍摄过程中夹带了噪声。系统采用的是去除杂点的方法来进行去噪声处理的。具体方法如下：扫描整个图像，当发现一个黑色点的时候，就考察和该黑色点间接或者直接相连接的黑色点的个数有多少，如果大于一定的值，那就说明该点不是离散点，否则就是离散点，把它去掉。在考察相连的黑色点的时候用的是递归的方法。锐化、去噪后的图像如图8所示。

(2)行划分

X轴方向投影直方图公式 $P{Y}_i=\underset{j=X_1}{\overset{X_n}{\mathrm{\Σ}}}{F}_{\mathrm{ij}},i=Y_1,Y_2,...,Y_n---\left(4\right)$

Y轴方向投影直方图公式 $P{X}_j=\underset{i=Y_1}{\overset{Y_n}{\mathrm{\Σ}}}{F}_{\mathrm{ij}},j=X_1,X_2,...,X_n---\left(5\right)$

X₁＝X₀₁，…，X_i＝X₀₁+i-1，…，X_n＝X₀₂；Y₁＝Y₀₁，…，Y_i＝Y₀₁+i-1，…，Y_n＝Y₀₂；其中(X₀₁，Y₀₁)，(X₀₂，Y₀₂)分别为区域左上角、右下角的坐标。

按公式(4)先对图像8进行水平投影，得到图9。因为钢材编号的间隔比较大，水平投影会出现投影轮廓的谷点且不同行编号的投影不会重叠。找出在Y轴方向的谷点，根据谷点沿X轴方向切分图像得到不同的行。若这时将切分行的高度与已知待识别的字符的高度比较，从而得到目标图像行，将会遇到两个问题，一是由于拍摄角度，每行编号大小不一且部分行编号存在明显的倾斜；二是干扰的存在，尤其是干扰区高度与钢材编号接近时。

(3)每行倾斜度自动测量

调整的方法主要是根据图像上左右两边的黑色象素的平均高度来的。具体来说，首先要分别计算图像左半边和右半边的象素的平均高度，然后求得斜率，根据斜率重新组织图像。

(4)字符的精确定位

在调整倾斜度后的各行中，先要判定字符区的存在，来排除干扰行。对含有字符的行，确定字符区的起始位置，然后对各个字符水平分割。

1)确定含有字符的行

通过观察字符区域，可以看到每行的钢材编号前后为两个字母，中间为十个数字。按公式(5)对图9中第4行(从下往上)进行垂直投影可得图10，投影值发生零值跳变的位置有T(此处T＝24)处。对每行投影值零值跳变点个数进行统计，大于或等于T/2的保留，小于T/2认为是干扰行。

2)精确定位

下面对含有字符区域的行确定字符区域的精确位置。

在图11中，字符区上边有两道斜线，两块黑点，左侧有一块黑点，构成了干扰。

按式(4)得到X方向的投影直方图PY，如图12所示。在PY中，存在k个结果区域(k＝2)，图中标出PYw₁，PYw₂两个结果区域。

先求出直方图中PY投影区的平均高度

$\mathrm{PY}\stackrel{\‾}{h}=\frac{1}{m}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}P{Y}_i(P{Y}_i\≠0)---\left(5\right)$

其中，m为PY中不为零的行数。

再根据PY求出每个区域的宽度PYw_i(i＝1～k)和每个区域的平均高度PYh_i(i＝1～k)。(这里区域数k＝2)。

根据两个条件来得到字符区域的高度。

I)PYw_i中取出最大值作为PYw_m作为候选字符区，即区域宽度最大值；

II)求出PYw_m对应的区域平均高度PYh_m要满足：

第一个条件是说明字符区域的高度范围内的水平方向黑色象素点最多。第二个条件为了排除直线。

这样，字符区的高度完全可确定。并可由此切分出高度上的干扰。结果如图13所示。作垂直投影可得图14。

如图14所示，在PX投影区中从左至右依次将每个候选字符的起始坐标找出。可表示为X_{i ， i}(i＝1～k；j＝1，2)

每个字符的区域宽度为：PXw_i＝X_{i ， 2}-X_{i ， 1}

区域间隙宽度：CW_i＝X_{i+1 ， 1}-X_{i ， 2}；

区域总宽度：SW_i＝X_{i+1 ， 1}-X_{i ， 1}；

判断是否干扰的条件为

①区域间隙宽度大于区域宽度：CW_i＞PXw_i；

②区域总宽度大于某个阈值：SW_i＞T；

第一个条件说明间隙太大，可能是干扰信号。第二个条件是为了排除码号的第一个字符为“1”的情况。当码号的第一个字符为“1”时，可能会满足第一种情况，但总宽度不会太小。

这样，可以精确定出字符区域的水平位置。

下一步还需要注意的问题是字符的粘连。

如图13和图14，第二个字符“4”和第三个字符“2”投影区连在一起，第四个字符“9”和第五个字符“4“直接粘连。若再对图像进行梯度锐化，即使消除了粘连，也会造成图像的边缘信息损失。故采用如下的方法：

①计算区域宽度的平均值AveWidth(由水平位置的总宽度/字符个数，这里字符个数为14)

②依次比较每个字符区域宽度SW_i与宽度的平均值AveWidth。

若SW_i＜1.5*AveWidth，转入下一个字符，重复步骤②直至结束。

若SW_i≥1.5*AveWidth，则认为发生了粘连，执行步骤③。

③切分字符，其中点位置为X_{i ， 1}+SW_i/2。

④比较切分后字符的宽度SW_i’(为切分前字符宽度的一半)与AveWidth的关系。

若SW_i’＜1.5*AveWidth，转入步骤②。

若SW_i’≥1.5*AveWidth，则需要再次切分，执行步骤③。

现在可以把字符区域中的字符独立的分割出来。

在已知的每个字符比较精确的宽度范围内，先自下向上对图像进行逐行扫描直至遇到第一个黑色的象素点。记录下来。然后再由上向下对图像进行逐行扫描直至找到第一个黑色象素，这样就找到每个字符精确的高度范围。效果如图15表示。

Claims (5)

1.一种钢材图像编号的提取和分割方法，其特征在于先在彩色图像中提取出钢材区域，然后将钢材编号按行粗分割，最后精确定位字符，该方法的步骤包括：

第一步、钢材区域提取

(1)在彩色图像中将前景和背景区分；

采集到的图像由RGB格式转换成HSV格式；并用饱和度直方图区分前景和背景；用Otsu方法求取分割阈值，并按阈值完成图像的二值化；

(2)钢材区域与其它背景区域分开成独立的连通域；

针对背景中的零散点，使用结构元素进行先膨胀后腐蚀运算；

(3)从彩色图像对应的灰度图中裁剪出相应的钢材图像；

确定为钢材区域从彩色图像对应的灰度图中裁剪出相应的图像；

第二步、字符分割定位

(1)二值化、梯度锐化、去离散噪声；

用迭代法对第一步得到的钢材图像灰度图进行二值化；采用Roberts梯度算子进行锐化使图像的边缘变得清晰起来；；采用去除杂点的方法来对图像进行去噪声处理的；

(2)行划分

按投影法对图像进行行划分；

(3)每行倾斜度自动测量

根据图像上左右两边的黑色象素的平均高度来进行倾斜度调整；

(4)字符的精确定位

在调整倾斜度后的各行中，先要判定字符区的存在，来排除干扰行；对含有字符的行，确定字符区的起始位置，然后对各个字符水平分割。

2.根据权利要求1所述的钢材图像编号的提取和分割方法，其特征是，采用Freeman链法则边界跟踪的方法，将周长最大的部分确定为钢材区域，去掉零散连通区域；得到边界跟踪后的区域后标识出其邻接矩形；并从彩色图像对应的灰度图中裁剪出相应的图像。

3.根据权利要求1所述的钢材图像编号的提取和分割方法，其特征是对钢材图像进行水平投影，找出在Y轴方向的谷点，根据谷点沿X轴方向切分图像得到不同的行。

4.根据权利要求1所述的钢材图像编号的提取和分割方法，其特征是通过观察字符区域，统计字符总数，对每行投影值零值跳变点个数进行统计，大于或等于字符总数一半的保留，小于一半认为是干扰行。

5.根据权利要求1所述的钢材图像编号的提取和分割方法，其特征是先求出直方图中投影区的平均高度，再根据直方图求出每个区域的宽度和每个区域的平均高度，根据区域宽度最大值和每个区域的平局高度的大小关系来确定字符区的高度。