CN113255869B - 一种基于机器视觉的板材计数方法 - Google Patents

Abstract

一种基于机器视觉的板材计数系统及方法，计数系统包括相机、光源、光源控制器、电动滑轨、编码器、传感器所组成的板材图像采集机构和工控机、显示器，工控机中程序包括控制模块、图像采集模块、图像特征提取模块、图像特征分析模块、通讯模块；计数方法包括图像采集、图像特征提取、图像特征分析这几个步骤。该发明安装到生产线中，所需的检测识别环节耗时仅为20s，效率远高于传统人工点数；可以通过生产线上现有的其他设备控制，减少人力成本，保证了计数的准确性，同时大大提高了纸厂生产的自动化程度。

Description

一种基于机器视觉的板材计数方法

技术领域

本发明属于智能控制技术领域，涉及一种板材自动计数方法，特别是涉及基于机器视觉的板材计数方法。

背景技术

板材具有良好的抗压强度和防震性能，能承受一定的压力、冲击和振动；特别是一些瓦楞纸板重量轻，价格便宜，可以大规模生产多种尺寸，使用前储存空间很小，可以印刷各种图案，因此在制成品包装运输上得到广泛运用。

近年来，由于快递行业的兴起，国内板材的需求量大大增长，生产规模也日益增大，对于其计数工作的需求也日益迫切。而现阶段大部分厂家都采用人工计数的方式，这种方式不仅需要花费大量的时间成本而且随着工作时间的推移，工人可能会因为疲劳而产生计数误差。还有部分厂家使用以光电开关为基础的点数机，然而实际效果不佳，流程过于繁琐。

发明内容

为了适应对于板材计数的需求，以及现有技术的不足，本发明提供了一种基于机器视觉的板材计数方法，大大节省人力成本和时间成本，主要解决了现有方法适用性不强且检测准确率低的问题。

本发明的技术方案：

一种基于机器视觉的板材计数系统，其特征在于：包括工控机、显示器、图像采集机构；图像采集机构包括相机、光源、光源控制器、电动滑轨、编码器、传感器，相机安装在电动滑轨的滑台上，光源固定于相机周边位置，其输入信号由相机控制；传感器位于电动滑轨的两端，相机和电动滑轨的控制器与工控机相连，相机触发输入连接到编码器；工控机程序包括控制模块、图像采集模块、图像特征提取模块、图像特征分析模块、通讯模块，工控机程序通过控制模块控制滑台移动带动相机进行图像采集；图像特征提取模块对采集的图片进行特征提取，然后将提取到的特征通过图像特征分析模块得到板材的数量，最后通过通讯模块将结果发送给上下位机。

控制模块通过I/O模块控制硬件设备，包括控制电机启停，设置滑轨运动参数，打开关闭光源等。图像特征提取模块对工业相机采集的板材图片进行特征提取，将图片进行矫正；特征分析模块根据特征提取后的瓦楞纸图像进行分析，识别图像中有多少层纸板，并将结果发往通讯模块和显示器；通讯模块主要负责与上下位机的通讯。

一种基于机器视觉的板材计数方法，包括以下步骤：

(1)当工控机发送检测信号时，相机由电动滑轨从轨道顶部向下滑动并连续拍照，直到滑轨底部后停止采集，将所有的行像素组合成为一张板材侧面图像；

(2)图像特征提取模块对板材侧面图像进行特征提取，将图像进行旋转矫正，进行复频域滤波处理得到特征图像I_p1；然后进行最大稳定极值区域(MSER)处理得到特征图像I_p2，将图像I_p1和I_p2特征融合后以相同规格截取3个部分图片，进行下一步处理；

(3)图像特征分析模块根据特征提取过后的板材图像，进行识别并校验，将图像所包含的纸板层数识别输出。

所述步骤(1)的具体步骤为：

(1.1)工控机发出开始检测信号后通过I/O模块控制电动滑轨电机开始工作的同时，打开光源；

(1.2)电机带动滑轨运动控制编码器输出脉冲信号触发相机，实现滑轨移动和相机扫描行频的同步；

(1.3)相机在接收到触发信号后扫描当前行的图片。

按以上方式持续采集图像，在电动滑轨停止移动时，相机采集完成，并将所有的扫描行进行拼接组成一帧图片并输出到工控机上进行后续处理。

所述步骤(2)的具体方法为：

(2.1)将采集的图片(原图像)延展到最佳尺寸并补充边界，然后对处理过后的图片进行离散傅里叶变换，公式如下：

e^ix＝cos(x)+isin(x)

其中，f是空间域值，F为频域值。然后对傅里叶变换后的图像计算幅值图像，将赋值图像用对数尺度来替换线性尺度，并将频谱图的四个象限的对应的原点移至图像中心重新分布，归一化显示后得到最终的频谱图；

(2.2)对上一步得到的频谱图阈值分割处理，对二值图像进行Hough直线检测，对检测的所有直线的角度以π/180的精度进行一个角度统计，统计出现频次最多的角度即为图像倾斜的角度。以此角度将旋转原图像得到校正图像；

(2.3)将校正图像再次进行傅里叶变换得到旋转校正后图像的频谱图，做一个以原图像宽度的

作为矩形的宽度，图像原高度作为矩形的高度，以频谱图的中心为矩形中心的矩形掩膜，将该矩形区域的频谱图对应的值设置为0得到处理后的频谱图；将处理后的频谱图通过以下公式进行离散傅里叶逆变换后得到反变换图像；

再对反变换图像运用大津法二值化得到特征图I_p1；

(2.4)再进行(2.3)步的同时对校正图像进行最大稳定极值区域(MSER)处理，保留瓦楞纸孔洞的特征图，将该特征图作为特征图I_p2；

(2.5)对特征图I_p1和I_p2两幅图像相加融合后的图像I_P，该图像基本将瓦楞纸波纹层的特征分割保留；对I_p分别以相同规格的矩形框截取不重复的3个部分图像(矩形框的宽为100像素、高为图像的高度)，记为I_n(n＝1，2，3)。将图片I_n用5×5的矩形结构元素q₅₅元素对图片进行膨胀腐蚀操作，去除干扰，得到最终的待识别图IP_n(n＝1，2，3)，下式中⊕，

分别表示膨胀腐蚀运算；

所述步骤(3)的具体方法为：

(3.1)待识别图IP_n运用图像水平方向投影法，对图像每一行进行水平方向的灰度统计得到图像水平方向的投影特征p，p为i维向量，记作p＝[p₀，p₁，…，p_i]^T。其中计算式如下所示：

其中，p_i为第i行的特征，Intensity(i，j)为第i行、第j列对应像素的灰度值，row、col分别代表输入图像的行数目和列数目。得到向量p后，对每一分量p_i计算其与相邻两个分量的和的均值记为l_i，如下式所示：

l_i＝(p_i-1+p_i+p_i+1)/3

计算完成后，归一化处理，得到新的向量l＝[l₀，l₁，…，l_i]^T。

(3.2)将(3.1)得到的向量l看作一个离散信号，对其求导得出向量g；求导公式如下：

分析向量g得出向量l的极大值和极小值，设置阈值最小阈值Thr_min，最大阈值Thr_max，记录极大值大于Thr_max对应的下标集合A＝[s₀，s₁，…，s_m]，极小值小于Thr_min对应的下标集合为B＝[t₀，t₁，…，t_n]，按照以下规则来进行计数：

记瓦楞纸张的波纹层数为c，初始为0，从k＝0到集合B的元素个数n以1为步长开始循环：

存在s_j∈A＝[s₀，s₁，…，s_m]，满足：t_k＜s_j＜t_k+1，则c++：

按照以上规则计算完成后得到三幅待识别图像的瓦楞纸波纹层数。

(3.3)判断三幅待识别图像的波纹层数是否相同，若三幅图纸板张数相同，则根据纸板种类信息计算层数输出作为最终计数。

本发明的技术效果在于：该发明安装到生产线中，所需的检测识别环节耗时仅为20s，效率远高于传统人工点数；可以通过生产线上现有的其他设备控制，减少人力成本，保证了计数的准确性，同时大大提高了纸厂生产的自动化程度。

附图说明

图1为视觉检测系统示意图；

图2为图像采集机构示意图；

图3为相机安装及打光示意图；

图4为特征提取流程图；

图5为特征分析流程图。

图中：1-电动滑轨，2-滑轨的电机，3-电机控制器，4-编码器，5-滑台，6-支架，7-相机，8-镜头，9-光源控制器，10-光源，11-瓦楞纸端面。

具体实施方式

以下将结合附图和具体实施例对本发明作进一步说明。

图1所示，一种基于机器视觉的板材计数方法，包括图像采集机构、工控机及显示器。

图2所示，图像采集机构主体为电动滑轨1和滑轨的电机2，编码器4安装在滑轨的端部，相机7、镜头8安装以及光源在支架上6，支架6安装在滑台5上，整个相机部分可以跟随滑台移动。电机控制器3与光源控制器9安装在其他位置分别与电机和光源接线连接。

图3所示，滑台部分俯视图相机7以及镜头8安装在支架6上，光源10如图式方向以θ角度安装在型材支架6上。光源10照射瓦楞纸端面11后，使得相机7获得良好的图像。

工控机中程序包括控制模块、图像特征提取模块、图像特征分析模块、通讯模块。控制模块通过I/O模块控制硬件设备，包括控制电机启停，设置滑轨运动参数，打开关闭光源等；图像特征提取模块对相机采集到的板材图片进行特征提取，将图片进行矫正；特征分析模块根据特征提取后的瓦楞纸图像进行分析，识别图像中有多少层纸板，并将结果发往通讯模块和显示器；通讯模块主要负责与上下位机的通讯。

一种基于机器视觉的板材计数方法，包括图像采集、图像特征提取、图像特征分析这几个步骤。

图像采集的具体步骤如下：

(1)工控机发出开始检测信号后通过I/0模块控制电动滑轨电机开始工作的同时，打开光源；滑台从滑轨底部沿滑轨方向向上开始移动。

(2)滑轨皮带转动，使得编码器在皮带的带动下发出脉冲信号，触发相机进行行扫描。

(3)运动过程中相机触发达到预设行数后，输出一帧图片发往工控机，工控机将这帧图片放入一个队列容器中，等待下一帧图片的到来；重复第二步操作直至滑台移动到滑轨的顶部。

(4)滑台到达顶部后，限位光电开关发出信号给I/0模块，当工控机检测到该信号后，将未达到预设行数的帧图像通过空白行填充补齐，发往工控机，然后与容器队列中的已有的帧图像进行拼接得到最终图像，等待算法处理；同时关闭光源，控制滑台返回初始位置等待下一次采集。

图像采集完成采集整幅箱板纸侧切面图像后，将图像转到图像特征提取模块。该模块主要功能是对图像的波纹纹理进行提取及增强，方便之后进行层数分析。

图4所示，图像特征提取的具体步骤如下：

(1)将采集的图片(原图像)延展到最佳尺寸并补充边界，然后对处理过后的图片进行离散傅里叶变换，公式如下：

e^ix＝cos(x)+isin(x)

其中，f是空间域值，F为频域值。然后对傅里叶变换后的图像计算幅值图像，将赋值图像用对数尺度来替换线性尺度，并将频谱图的四个象限的对应的原点移至图像中心重新分布，归一化显示后得到最终的频谱图。对得到的频谱图进行二值化处理，然后对二值图像进行Hough直线检测，对检测的所有直线的角度以π/180的精度进行一个角度统计，统计出现频次最多的角度即为图像倾斜的角度。以此角度将旋转原图像得到校正图像。

(2)将校正图像再次进行傅里叶变换得到旋转校正后图像的频谱图，做一个以原图像宽度的

作为矩形的宽度，图像原高度作为矩形的高度，以频谱图的中心为矩形中心的矩形掩膜，将该矩形区域的频谱图对应的值设置为0得到处理后的频谱图。将处理后的频谱图通过以下公式进行离散傅里叶逆变换后得到反变换图像。

再对反变换图像运用大津法二值化得到特征图I_p1。

于此同时，对校正图像进行最大稳定极值区域(MSER)处理，保留瓦楞纸孔洞的特征图，将该特征图作为特征图I_p2。

(3)对特征图I_p1和I_p2两幅图像相加融合后的图像I_P，该图像基本将瓦楞纸波纹层的特征分割保留。对I_P分别以相同规格的矩形框截取不重复的3个部分图像(矩形框的宽为100像素、高为图像的高度)，记为I_n(n＝1，2，3)。将图片I_n用5×5的矩形结构元素q₅₅元素对图片进行膨胀腐蚀操作，去除干扰，得到最终的待识别图IP_n(n＝1，2，3)，下式中⊕，

分别表示膨胀腐蚀运算；

通过以上步骤得到特征图IP_n(n＝1，2，3)后，将这三幅图发送到图像特征分析模块，该模块主要通过对特征进行二次处理，将特征图转换成二维信号进行统计分析，从而得到瓦楞纸的波纹数，再通过已知瓦楞纸的类别计算得到最终的板材层数。

图5所示，图像特征分析步骤如下：

(1)对特征图IP_n(n＝1，2，3)运用图像水平方向投影法，对图像每一行进行水平方向的灰度统计得到图像水平方向的投影特征p，p为i维向量，记作p＝[p₀，p₁，…，p_i]^T。其中计算式如下所示：

其中，p_i为第i行的特征，Intensity(i，j)为第i行、第j列对应像素的灰度值，row、col分别代表输入图像的行数目和列数目。得到向量p后，对每一分量p_i计算其与相邻两个分量的和的均值记为l_i，如下式所示：

l_i＝(p_i-1+p_i+p_i+1)/3

计算完成后，归一化处理，得到新的向量l＝[l₀，l₁，…，l_i]^T。

(2)将上一步得到的向量l看作一个离散信号，对其求导得出向量g；求导公式如下：

分析向量g得出向量l的极大值和极小值，设置阈值最小阈值Thr_min，最大阈值Thr_max，记录极大值大于Thr_max对应的下标集合A＝[s₀，s₁，…，s_m]，极小值小于Thr_min对应的下标集合为B＝[t₀，t₁，…，t_n]，按照以下规则来进行计数：

记瓦楞纸张的波纹层数为c，初始为0，从k＝0到集合B的元素个数n以1为步长开始循环：

存在s_j∈A＝[s₀，s₁，…，s_m]，满足：t_k＜s_j＜t_k+1，则c++；

按照以上规则计算完成后得到三幅待识别图像的瓦楞纸波纹层数。

(3)判断三幅待识别图像的波纹层数是否相同，若三幅图纸板张数相同，则根据纸板种类信息计算层数输出作为最终计数；若不同，则输出报警提示无法识别准确的层数，尝试重新识别或进行人工校验。

Claims (3)

1.一种基于机器视觉的板材计数方法，其特征在包括如下步骤：

(1) 图像采集：当工控机发送检测信号时，相机由电动滑轨从轨道顶部向下滑动并连续拍照，直到滑轨底部后停止采集，将所有的行像素组合成为一张板材侧面图像；

(2) 图像特征提取：图像特征模块对板材侧面图像进行特征提取，将图像进行旋转矫正,进行复频域滤波处理得到特征图像；然后进行最大稳定极值区域（MSER）处理得到特征图像，将图像和特征融合后以相同规格截取3个部分图片，进行下一步处理；

所述步骤(2)具体方法为：

(2.1) 将采集的图片延展到最佳尺寸并补充边界，然后对处理过后的图片进行离散傅里叶变换，公式如下：

；

;

其中，是空间域值，为频域值，然后对傅里叶变换后的图像计算幅值图像，将赋值图像用对数尺度来替换线性尺度，并将频谱图的四个象限的对应的原点移至图像中心重新分布，归一化显示后得到最终的频谱图；

(2.2) 对上一步得到的频谱图阈值分割处理，对二值图像进行Hough直线检测，对检测的所有直线的角度以的精度进行一个角度统计，统计出现频次最多的角度即为图像倾斜的角度；以此角度将旋转原图像得到校正图像；

(2.3) 将校正图像再次进行傅里叶变换得到旋转校正后图像的频谱图，做一个以原图像宽度的作为矩形的宽度，图像原高度作为矩形的高度，以频谱图的中心为矩形中心的矩形掩膜，将该矩形区域的频谱图对应的值设置为0得到处理后的频谱图；将处理后的频谱图通过以下公式进行离散傅里叶逆变换后得到反变换图像：

；

再对反变换图像运用大津法二值化得到特征图；

(2.4) 再进行(2.3)步的同时对校正图像进行最大稳定极值区域（MSER）处理，保留瓦楞纸孔洞的特征图，将该特征图作为特征图；

(2.5) 对特征图和两幅图像相加后的图像，该图像基本将瓦楞纸波纹层的特征分割保留，对分别以相同规格的矩形框截取不重复的3个部分图像，其中，矩形框的宽为100像素、高为图像的高度，记为，n=1,2,3；将图片用的矩形结构元素元素对图片进行膨胀腐蚀操作，去除干扰，得到最终的待识别图，n=1,2,3，下式中，分别表示膨胀腐蚀运算；

；

(3) 图像特征分析：图像特征分析模块根据特征提取过后的板材图像，进行识别并校验，将图像所包含的纸板层数识别输出。

2.根据权利要求1所述的一种基于机器视觉的板材计数方法，其特征在于： 所述步骤(1)的具体方法为：

(1.1) 工控机发出开始检测信号后通过I/O模块控制电动滑轨电机开始工作的同时，打开光源；

(1.2) 电机带动滑轨运动控制编码器输出脉冲信号触发相机，实现滑轨移动和相机扫描行频的同步；

(1.3) 相机在接收到触发信号后扫描当前行的图片。

3.根据权利要求1所述的一种基于机器视觉的板材计数方法，其特征在于：所述步骤(3)的具体方法为：

 (3.1) 待识别图运用图像水平方向投影法，对图像每一行进行水平方向的灰度统计得到图像水平方向的投影特征，为维向量，记作其中计算式如下所示：

；

其中，为第行的特征，为第行、第列对应像素的灰度值，、分别代表输入图像的行数目和列数目；得到向量后，对每一分量计算其与相邻两个分量的和的均值记为，如下式所示：

；

计算完成后，归一化处理，得到新的向量;

 (3.2) 将(3.1)得到的向量看作一个离散信号，对其求导得出向量;求导公式如下：

；

分析向量得出向量的极大值和极小值，设置阈值最小阈值，最大阈值，记录极大值大于对应的下标集合,极小值小于对应的下标集合为，按照以下规则来进行计数：

记瓦楞纸张的波纹层数为c,初始为0，从到集合的元素个数以1为步长开始循环：

存在  , 满足：，则;

按照以上规则计算完成后得到三幅待识别图像的瓦楞纸波纹层数；

(3.3)判断三幅待识别图像的波纹层数是否相同，若三幅图纸板张数相同，则根据纸板种类信息计算层数输出作为最终计数。

Images