CN101751603A - 在线棒型材图像自动计数设备及方法 - Google Patents

Abstract

本发明涉及一种在线棒型材图像自动计数设备及方法，本发明涉及数字图像处理及应用技术。本发明的图像计数设备包括上位机、图像采集卡、CCD摄像头、照明设备，其中上位机与图像采集卡相连，图像采集卡分别与CCD摄像头和照明设备相连。本发明的图像计数方法包括感知并打开图像、图像预处理、边缘检测算子处理、二维距离变换、种子点搜索计数和显示计数结果。本发明采用了灰度图像阈值分割、伪彩色编码技术后，不仅能处理棒型材端面灰白的图像，还能处理棒型材端面发蓝或发黄的图像，系统适应面更广泛；提出了获取图像中棒型材周长、面积及根数的方法；种子搜索法计数精度相对较高，对部分棒型材端面形状不规则、拍摄大小不一的也能计数。

Description

在线棒型材图像自动计数设备及方法

技术领域

本发明涉及数字图像处理及应用技术，特别涉及一种在线棒型材图像自动计数设备及方法。

背景技术

钢厂棒型材的定量打包仍停留在比较低的水平上。棒型材的计数靠人工进行，这项工作机械单调，工作人员长时间的高度紧张，极易产生精神恍惚、疲劳，人工计数结果受人为因素影响较大，误差难免，给产品销售带来麻烦。把计数人员从长期枯燥的事务中解脱出来，研制自动化程度较高的计数打包系统成了钢厂的现实需要。

最初的生产线本是以链轮形式的机械手分拣棒型材来实现计数的，但小直径棒型材难以分开，加之故障率高，已被钢厂拆除。科研人员曾采用光电传感器的方法来计数，这种方法对于单排、不粘连的棒型材是可以实现准确计数的，但生产线经常会出现多排的、粘连严重的情况，这种方法得到的结果误差非常大，无法接受。也有人考虑采用重量传感器的方法计数。但钢厂为了获取较高的经济效益，尽可能的采用负公差生产，而且负公差由于受工艺的影响也不恒定，加之棒型材落入打包架时冲击非常大，所以采用重量传感器的检测方案也难以满足要求，必须探索新的方案。

近年来，随着科学技术的迅猛发展，计算机运算速度越来越快，高质量图像获取设备的价格日益下降，加之高效的图像处理算法不断涌现，图像处理技术在过程控制领域应用越来越多。我们知道，由于图像文件数据量庞大，以前受处理能力的限制，数字图像处理技术在工业现场并未得到广泛应用。现在我们可以通过获得棒型材生产线合适部位的图像，并通过对图像进行数字处理，来实现对生产线上的棒型材自动计数。

发明内容

针对现有技术的不足，本发明提供一种在线棒型材图像自动计数设备及方法。

本发明的线棒型材图像自动计数设备包括上位机、图像采集卡、CCD摄像头、照明设备，其中上位机与图像采集卡相连，图像采集卡分别与CCD摄像头和照明设备相连。上位机包括控制模块、图像采集模块、图像处理模块和显示模块。控制模块用以约束图像采集卡的工作状态。图像采集模块接受下位机传来的图像，保存到自动感知文件夹下，以便于图像处理模块处理图像。图像处理模块执行图像处理指令。显示模块将结果输出到显示设备。

本发明的工作原理：当新轧制棒型材被放置在计数台上时，本仪器在照明设备的辅助下通过CCD摄像头的运动采集初始灰度图像，然后图像采集卡获取到灰度图像后传到上位机的指定文件夹中，上位机具有自动文件感知功能，当接收到图像数据后进一步地完成所需的图形图像处理并将识别结果显示出来。

本发明的在线棒型材图像自动计数方法包括感知并打开图像、图像预处理、边缘检测算子处理、二维距离变换、种子点搜索计数和显示计数结果，其中图像预处理又包括图像灰度变换、图像增强、图像二值化(最小偏态法)和图像形态学处理。图像灰度变换包括图像灰度化和图像非线性灰度拉伸；图像增强包括对灰度图像进行高斯滤波处理、图像为色彩编码和图像再度灰度化处理；图像的形态学处理包括连续三次腐蚀运算、连续三次膨胀运算、形态学开运算和形态学闭运算。

本发明的在线棒型材图像自动计数方法具体包括以下步骤：

步骤1.判断图像是否为灰度图像，若是RGB图像则根据公式

R＝G＝B＝R×ω_R+G×ω_G+B×ω_B          (1)

将RGB图像转换成灰度图像；

步骤2.根据公式：

$f\left(x\right)=\left\{\begin{array}{cc}\frac{y_1}{x_1}x& x<x_1\\ \frac{y_2-y_1}{x_2-x_1}(x-x_1)+y_1& x_1\&le;x\&le;x_2\\ \frac{255-y_2}{255-x_2}(x-x_2)+y_2& x>x_2\end{array}\right.---\left(2\right)$

对灰度图像进行灰度拉伸运算；

步骤3.对现灰度图像进行高斯滤波处理，滤除噪声的干扰；

步骤4.判断棒型材是否被严重灼烧(以切面颜色来区别)，若是则对图像进行伪彩色编码，然后再度灰度化，这样的效果就可以改善被严重灼烧的棒型材二值化后成为暗区域的情况，有助于提高识别精度；

步骤5.根据公K(t)＝|K₁(t)|+|K₂(t)|，thre＝ArgMin[K(t)]，0＜t＜l-1其中

$\left\{\begin{array}{c}{K}_1\left(t\right)=\frac{\left\{\underset{z=0}{\overset{t}{\mathrm{\&Sigma;}}}\right[z-{\mathrm{\&mu;}}_1\left(t\right)\left]\right[z-{\mathrm{\&mu;}}_1\left(t\right)\left]\right[z-{\mathrm{\&mu;}}_1\left(t\right)\left]h\left(z\right)\right\}}{P_1\left(t\right)}\\ K_2\left(t\right)=\frac{\left\{\underset{z=t+1}{\overset{l-1}{\mathrm{\&Sigma;}}}\right[z-{\mathrm{\&mu;}}_2\left(t\right)\left]\right[z-{\mathrm{\&mu;}}_2\left(t\right)\left]\right[z-{\mathrm{\&mu;}}_2\left(t\right)\left]h\left(z\right)\right\}}{P_2\left(t\right)}\end{array}\right.---\left(3\right)$

将灰度图像进行最小偏态法二值化处理操作，得到效果较好的黑白图像；

步骤6.为消除噪声点，根据公式

对二值图像连续进行三次形态学腐蚀运算；

步骤7.根据公式

对腐蚀后的图像连续三次膨胀运算；

步骤8.根据公式

和

对图像进行形态学开闭运算消除细小突起，并断开狭窄连接，并填充内部细小间隔；

步骤9.对图像进行边缘提取操作，采用改进的拉普拉斯算子；

步骤10.对图像进行二维距离变换；

步骤11.种子点搜索；

步骤12.种子点数量统计并显示计数结果。

其中种子点搜索的步骤为：

步骤1.逐行扫描得到行内部局部极大的线段表，获取此行中满足条件的线段的端点坐标值、像素的距离值，线段标记初始化为0。连续三次腐蚀运算；

步骤2.对上下相邻的两行作线段间的连通检测，为容易连接，采用8连通判据，需要删除的线段设置标记-1。检测步骤如下：

①若两线段相连通，且：

当前线段的距离值小于上面线段时，则为当前线段设删除标记-1。

当前线段与上面线段距离值相同时，则将上面线段的标记传给当前线段，上面行线段设删除标记-1。

当前线段的距离值大于上面线段，当前线段则赋予新的标记，上面线段设删除标记-1。

②若上面线段与当前行中的所有线段都不连通，则测定与其相邻的下方像素的距离值，若其中有大于它的，则此线段也设置删除标记-1。

③若当前线段与上一行中的所有线段都不连通，则赋予此线段新的标记。

如此处理后，每个区域中就只留下一个种子点。统计种子点个数就可得到图像中存在的区域数。

步骤3.将所有设有删除标记-1的线段从线段表中剔除；

步骤4.两两检测峰值区域间的距离，当它们之间的距离小于它们两者中距离较大者时，仅留下其中距离值较大的那个种子点；

本发明在线棒型材图像自动计数方法在图像处理过程中，采用了灰度图像阈值分割、伪彩色编码技术后，不仅能处理棒型材端面灰白的图像，还能处理棒型材端面部分因被严重灼烧而普遍发蓝或发黄的图像，系统适应面更广泛。并且引入改进的拉普拉斯算法进行边缘检测，为后序棒型材的准确计数起了很好的帮助。提出了获取图像中棒型材周长、面积以及根数的方法。用种子搜索法和面积法实现棒型材根数识别。其中种子搜索法计数精度相对较高，该方法对于同一半径的棒型材，即使部分棒型材端面形状不规则、拍摄大小不一(因个别棒型材端面被遮挡或灼伤而变小)，也能计数。当单根棒型材在图片中呈现出来的面积大于1/4它的总面积时，本发明方法所使用的计数方法能准确计数。

附图说明

图1为本发明设备的结构示意图；

图2为本发明方法具体计数工作原理图；

图3为本发明方法所用的边缘检测算子流程图；

图4为本发明方法所用的拉普拉斯边缘检测算子模板；

图5为本发明方法总程序流程图；

图6为本发明方法所用的5×5二维距离变换所用模板，其中

(a)为5×5前向模板，

(b)为5×5后向模板；

具体实施方式

本发明的一个优选实例中，本实施例采用如图1所示的在线棒型材图像自动计数设备，上位机采用Windows操作系统，并在VC++6.0编译环境中使用GDI来处理棒型材图像。所采用的图像采集卡的驱动程序和VC++6.0是兼容的，这样更有利于函数的直接调用，提高了生产效率。

首先当棒型材被放置在计数台上时，CCD摄像头横向运动一次并采集棒型材的图像数据，图像采集卡将图像数据存入上位机中具有自动感知功能的文件夹中，识别程序经开始命令后立即感知到图像文件并将其打开，进行下一步的识别处理。

在线棒型材图像自动计数方法工作流程图如图5所示，主要包括以下步骤：

步骤一判断图像是否为灰度图像，若是RGB图像则根据公式：

R＝G＝B＝R×ω_R+G×ω_G+B×ω_B    (1)

式中，ω_R＝0.30，ω_G＝0.59，ω_B＝0.11，将RGB图像转换成灰度图像；

步骤二根据公式：

$f\left(x\right)=\left\{\begin{array}{cc}\frac{y_1}{x_1}x& x<x_1\\ \frac{y_2-y_1}{x_2-x_1}(x-x_1)+y_1& x_1\&le;x\&le;x_2\\ \frac{255-y_2}{255-x_2}(x-x_2)+y_2& x>x_2\end{array}\right.---\left(2\right)$

对灰度图像进行灰度拉伸运算；

步骤三对现灰度图像进行高斯滤波处理，滤除噪声的干扰；

步骤四判断棒型材是否被严重灼烧(以切面颜色来区别)，若是则对图像进行伪彩色编码，然后再度灰度化，这样的效果就可以改善被严重灼烧的棒型材二值化后成为暗区域的情况，有助于提高识别精度；

步骤五根据公K(t)＝|K₁(t)|+|K₂(t)|，thre＝ArgMin[K(t)]，0＜t＜l-1其中

$\left\{\begin{array}{c}{K}_1\left(t\right)=\frac{\left\{\underset{z=0}{\overset{t}{\mathrm{\&Sigma;}}}\right[z-{\mathrm{\&mu;}}_1\left(t\right)\left]\right[z-{\mathrm{\&mu;}}_1\left(t\right)\left]\right[z-{\mathrm{\&mu;}}_1\left(t\right)\left]h\left(z\right)\right\}}{P_1\left(t\right)}\\ K_2\left(t\right)=\frac{\left\{\underset{z=t+1}{\overset{l-1}{\mathrm{\&Sigma;}}}\right[z-{\mathrm{\&mu;}}_2\left(t\right)\left]\right[z-{\mathrm{\&mu;}}_2\left(t\right)\left]\right[z-{\mathrm{\&mu;}}_2\left(t\right)\left]h\left(z\right)\right\}}{P_2\left(t\right)}\end{array}\right.---\left(3\right)$

将灰度图像进行最小偏态法二值化处理操作，得到效果较好的黑白图像；

步骤六为消除噪声点，根据公式

对二值图像连续进行三次形态学腐蚀运算；

步骤七根据公式

对腐蚀后的图像连续三次膨胀运算；

步骤八根据公式

和对图像进行形态学开闭运算消除细小突起，并断开狭窄连接，并填充内部细小间隔；

步骤九如图3所示，对图像进行边缘提取操作，采用改进的拉普拉斯算子；

步骤十对图像进行二维距离变换，变换模板如图6所示；

步骤十一种子点搜索；

步骤十二种子点数量统计并显示计数结果。

其中种子点搜索的步骤为：

A.逐行扫描得到行内部局部极大的线段表，获取此行中满足条件的线段的端点坐标值、像素的距离值，线段标记初始化为0。连续三次腐蚀运算；

B.对上下相邻的两行作线段间的连通检测，为容易连接，采用8连通判据，需要删除的线段设置标记-1。检测步骤如下：

①若两线段相连通，且：

当前线段的距离值小于上面线段时，则为当前线段设删除标记-1。

当前线段与上面线段距离值相同时，则将上面线段的标记传给当前线段，上面行线段设删除标记-1。

当前线段的距离值大于上面线段，当前线段则赋予新的标记，上面线段设删除标记-1。

②若上面线段与当前行中的所有线段都不连通，则测定与其相邻的下方像素的距离值，若其中有大于它的，则此线段也设置删除标记-1。

③若当前线段与上一行中的所有线段都不连通，则赋予此线段新的标记。

如此处理后，每个区域中就只留下一个种子点。统计种子点个数就可得到图像中存在的区域数。

C.将所有设有删除标记-1的线段从线段表中剔除；

D.两两检测峰值区域间的距离，当它们之间的距离小于它们两者中距离较大者时，仅留下其中距离值较大的那个种子点；

本发明方法所研究的棒型材基本为φ16，但由于拍摄距离的不同，棒型材的大小也会随之而改变，就影响计数准确率的因素而言，本方法对棒型材的缩进量，遮挡及个别棒型材成像大小进行了简单的实验研究。

首先，当个别棒型材缩进时，那么它相对于其他棒型材成像必然会变小，当缩进量不是太多时，本方法的图像处理算法能准确计数，但是如果缩进量比较大时，只要棒型材的端面足够规则，也能准确计数。比较大的棒型材缩进量为600mm～750mm之间，也可以准确计数。

其次，个别棒型材被遮挡计数结果也会受到影响，若遮挡部分约是棒型材总面积的4/5以上，则本方法所用图像处理算法无法将其计数，而圆形区域内的棒型材约是棒型材总面积的1/2，能将其准确计数。

最后，通过大量的现场试验可以得知，只要是棒型材可现面积约为实际棒型材面积的1/4及以上，计数结果都是比较准确。

Claims (6)

1.一种在线棒型材图像自动计数设备，其特征在于该设备包括上位机、图像采集卡、CCD摄像头、照明设备，其中上位机与图像采集卡相连，图像采集卡分别与CCD摄像头和照明设备相连。

2.根据权利要求1所述的一种在线棒型材图像自动计数设备，其特征在于所述的上位机包括控制模块、图像采集模块、图像处理模块和显示模块。

3.采用权利要求1所述的在线棒型材图像自动计数设备的计数方法，其特征在于该方法包括感知并打开图像、图像预处理、边缘检测算子处理、二维距离变换、种子点搜索计数和显示计数结果；该方法的具体步骤包括：

步骤一判断图像是否为灰度图像，若是RGB图像则根据公式

R＝G＝B＝R×ω_R+G×ω_G+B×ω_B            (1)

将RGB图像转换成灰度图像；

步骤二根据公式：

$f\left(x\right)=\left\{\begin{array}{cc}\frac{y_1}{x_1}x& x<x_1\\ \frac{y_2-y_1}{x_2-x_1}(x-x_1)+y_1& x_1\&le;x\&le;x_2\\ \frac{255-y_2}{255-x_2}(x-x_2)+y_2& x>x_2\end{array}\right.---\left(2\right)$

对灰度图像进行灰度拉伸运算；

步骤三对现灰度图像进行高斯滤波处理，滤除噪声的干扰；

步骤四判断棒型材是否被严重灼烧，若是则对图像进行伪彩色编码，然后再度灰度化，这样的效果就可以改善被严重灼烧的棒型材二值化后成为暗区域的情况，有助于提高识别精度；

步骤五根据公K(t)＝|K₁(t)|+|K₂(t)|，thre＝ArgMin[K(t)]，0＜t＜l-1，其中

$\left\{\begin{array}{c}{K}_1\left(t\right)=\frac{\left\{\underset{z=0}{\overset{t}{\mathrm{\&Sigma;}}}\right[z-{\mathrm{\&mu;}}_1\left(t\right)\left]\right[z-{\mathrm{\&mu;}}_1\left(t\right)\left]\right[z-{\mathrm{\&mu;}}_1\left(t\right)\left]h\left(z\right)\right\}}{P_1\left(t\right)}\\ K_2\left(t\right)=\frac{\left\{\underset{z=t+1}{\overset{l-1}{\mathrm{\&Sigma;}}}\right[z-{\mathrm{\&mu;}}_2\left(t\right)\left]\right[z-{\mathrm{\&mu;}}_2\left(t\right)\left]\right[z-{\mathrm{\&mu;}}_2\left(t\right)\left]h\left(z\right)\right\}}{P_2\left(t\right)}\end{array}\right.---\left(3\right)$

将灰度图像进行最小偏态法二值化处理操作，得到效果较好的黑白图像；

步骤六为消除噪声点，根据公式

对二值图像连续进行三次形态学腐蚀运算；

步骤七根据公式

对腐蚀后的图像连续三次膨胀运算；

步骤八根据公式

和

对图像进行形态学开闭运算消除细小突起，并断开狭窄连接，并填充内部细小间隔；

步骤九对图像进行边缘提取操作，采用改进的拉普拉斯算子；

步骤十对图像进行二维距离变换；

步骤十一种子点搜索；

步骤十二种子点数量统计并显示计数结果。

4.根据权利要求3所述的在线棒型材图像自动计数方法，其特征在于所述的图像预处理包括图像灰度变换、图像增强、图像二值化和图像形态学处理。

5.根据权利要求3所述的在线棒型材图像自动计数方法，其特征在于步骤十一所述的种子点搜索包括以下步骤：

步骤1逐行扫描得到行内部局部极大的线段表，获取此行中满足条件的线段的端点坐标值、像素的距离值，线段标记初始化为0；连续三次腐蚀运算；

步骤2对上下相邻的两行作线段间的连通检测，为容易连接，采用8连通判据，需要删除的线段设置标记-1；检测步骤如下：

①若两线段相连通，且：

当前线段的距离值小于上面线段时，则为当前线段设删除标记-1；当前线段与上面线段距离值相同时，则将上面线段的标记传给当前线段，上面行线段设删除标记-1；当前线段的距离值大于上面线段，当前线段则赋予新的标记，上面线段设删除标记-1；

②若上面线段与当前行中的所有线段都不连通，则测定与其相邻的下方像素的距离值，若其中有大于它的，则此线段也设置删除标记-1；

③若当前线段与上一行中的所有线段都不连通，则赋予此线段新的标记；

步骤3将所有设有删除标记-1的线段从线段表中剔除；

步骤4两两检测峰值区域间的距离，当它们之间的距离小于它们两者中距离较大者时，仅留下其中距离值较大的那个种子点。

6.根据权利要求4所述的在线棒型材图像自动计数方法，其特征在于图像灰度变换包括图像灰度化和图像非线性灰度拉伸；所述的图像增强包括对灰度图像进行高斯滤波处理、图像为色彩编码和图像再度灰度化处理；所属的图像的形态学处理包括连续三次腐蚀运算、连续三次膨胀运算、形态学开运算和形态学闭运算。

Images