CN105718989B - 一种基于机器视觉的棒材计数方法 - Google Patents

Abstract

本发明提供了一种基于机器视觉的棒材计数方法，包括采集棒材端面图像，图像预处理，计算棒材的相对位移，连通域分析，棒材匹配计数，确定分钢线位置以及判断初分钢结果是否正确等。图像预处理包括平滑、二值化及形态学操作；连通域分析首先将粘连棒材分割成单根棒材，然后再次用连通域分析单根棒材的信息。本发明方法基于机器视觉技术，实现了棒材的自动计数及分钢结果判断，有效解决了棒材的重叠与交叉问题，该方法速度快，准确率高，对生产线的改动小，易于维护，大大减少企业在生产过程中的人力成本。

Description

一种基于机器视觉的棒材计数方法

技术领域

本发明涉及棒材生产过程中计数领域，特别涉及一种基于机器视觉的棒材计数方法。

背景技术

棒材是我国消费量最大的钢材品种，轧钢企业生产的棒材产品通常采用负偏差轧制，定支打捆并以理论重量交货，这也是生产企业与客户的共同需求，因此实际棒材打捆前的准确计数非常重要。

目前，我国钢厂在棒材计数方面主要采用人工计数和光电检测两种方式，绝大多数企业采用人工计数方式，人工计数由于工人劳动强度高、工作效率低，与传送棒材的链床速度不匹配，无法满足棒材在线计数的实时性要求，成为棒材自动化生产过程中的速度瓶颈；同时人工计数方式计数误差大，人力成本较高，这种方式正在被逐步淘汰。光电检测需要前段机械装置对堆叠的棒材作平铺处理，当棒材出现粘连和重叠现象时，会产生漏记现象，机械装置很难保证棒材不重叠的经过光电传感器，同时由于受氧化铁皮粉尘等的影响，会产生多计现象。

近几年来，为解决人工计数和光电检测计数的不足，国内已有钢铁企业开始采用机器视觉对棒材进行计数。采用机器视觉对棒材进行计数，利用棒材的端面图像信息，经过特定的算法运算得出准确的棒材数量，该方法速度快，准确率高，对生产线的改动小，易于维护，在满足生产需要的同时大大降低工人的劳动强度，减少计数误差。

发明内容

针对传统的采用人工计数和光电检测计数存在的诸多问题，本发明提出了一种基于机器视觉的棒材计数方法。

本发明为实现上述目的所采用的技术方案是：一种基于机器视觉的棒材计数方法，包括以下步骤：

通过相机连续采集待计数的棒材断面图像，并对采集到的图像进行预处理，得到二值图像；

将当前帧的二值图像与上一帧的二值图像做比较，计算上一帧棒材的相对位移，为后面所述的棒材匹配做准备；

对二值图像进行连通域分析，判断棒材是否有粘连情况，如果有粘连要先进行粘连分割，将所有粘连棒材都分割为单根棒材后重新进行连通域分析，记录单根棒材的信息并标记单根棒材的重心；

将当前帧棒材的重心坐标与上一帧棒材重心坐标进行比较，根据上述计算的上一帧棒材的相对位移进行棒材匹配并对满足计数条件的棒材进行计数；

当计数值达到规定的分钢数时，确定分钢线位置并等待分钢机完成初分钢，然后判断初分钢结果是否正确，根据结果进行后续操作。

所述对采集到的图像进行预处理包括通过改进的中值滤波平滑图像，用大律法对图像进行阈值分割以及形态学处理，得到去除干扰、突出棒材信息的棒材为白色、背景为黑色的二值图像。

所述计算上一帧棒材的相对位移是指通过比较当前帧和上一帧棒材的坐标确定上一帧棒材的相对位移，为后面所述的棒材匹配做准备。

所述根据二值图像判断棒材是否有粘连情况，具体为：

对二值图像中的白色目标进行连通域分析得到各连通域的面积、周长、长宽、重心位置、占空比信息，与数据库中该型号的单根棒材的信息进行比较，判断目标是否为多根棒材粘连在一起。

所述对棒材进行连通域分析，具体为：

使用OpenCV提供的寻找轮廓函数cvFindContours来对二值图进行连通域分析，如果目标为未粘连的单根棒材，直接把连通域分析结果保存；如果目标为多根棒材粘连在一起，采用“凹点匹配”对粘连目标进行分割，之后类似上述重新进行连通域分析并判断是否为粘连棒材，直到把当前帧中所有粘连棒材都分割成单根棒材，保存单根棒材的面积、周长、长宽、重心位置、占空比信息。

所述采用“凹点匹配”对粘连目标进行分割是指首先要找出连通域上的凹点，然后选择满足匹配条件的凹点分割粘连棒材，包括以下步骤：

根据连通域分析结果，得到轮廓上所有点的坐标，找出一个最小点集连成一个凸多边形，使得轮廓上的所有点皆在此多边形内或此多边形上，计算所有轮廓上的点的凹度，所述凹度即凹陷程度，是指轮廓上的点到凸多边形的对应边的距离，如果凹度在一定范围内为极大值且大于阈值，则认为此轮廓点为凹点；

通过凹点的数目，凹点的凹度，凹点之间的距离，凹点的连线与两个凹点夹角的关系等选择满足匹配条件的凹点分割粘连棒材。

所述根据前一帧棒材的相对位移进行棒材匹配并对满足计数条件的棒材进行计数是指将当前帧棒材的坐标与上一帧棒材坐标进行比较，根据计算的相对位移，采用多次匹配的方法，如果满足匹配条件，则对应棒材匹配成功，并采用K级置信度容错机制对棒材进行计数。

所述采用K级置信度容错机制对满足条件的棒材进行计数，即当某棒材的置信度权值累计大于阈值K时，才将此棒材纳入计数范围计数，包括以下步骤：

当棒材第一次出现时，设置它的置信度权重为1；对于非第一次出现的棒材，如果前一帧中棒材A与当前帧中棒材B匹配，则按照下述步骤更新棒材B的置信度权重：将A重心横坐标在当前帧的估计值，即A的重心横坐标值加上计算得到的相对位移，减去B的重心横坐标，如果两者距离，即两者差的绝对值，小于棒材直径，则B的置信度权重为A的置信度权重加1；否则，B的置信度权重为A的置信度权重加上两者距离的倒数；

当某根棒材的置信度权重大于阈值K时，将此棒材纳入计数范围计数。

确定分钢线位置以及判断初分钢结果是否正确是指当当前帧图像中累计棒材数达到规定的分钢数时，停止传送链，确定分钢线位置并等待分钢机初分钢结束后判断初分钢结果是否正确。

所述判断初分钢结果是否正确是指对分钢机根据分钢线位置进行初分钢的结果进行判断，如果初分钢结果错误，则重新划定分钢线位置并控制分钢机再次进行初分钢，直到初分钢结果正确；控制分钢机进行最终分钢，分钢完成后重新进行下一轮棒材计数及初分钢结果判断。

本发明具有以下优点：

1.实现了棒材在线实时计数，并与传送链床的速度相匹配，能更方便、快速、准确的对棒材计数并实现正确分钢，提高计数及分钢的准确率和效率；

2.能清晰直观的显示棒材实时端面图像，方便操作员看到计数过程中存在的问题；

3.对操作员信息、检测及计数信息、处理后图片等上传到数据库，方便管理者查询对应时间的操作人员信息，计数及分钢情况等；

4.避免人的主观因素造成的干扰，提高准确率，维护企业信誉，降低企业在生产过程中的成本。

附图说明

图1为本发明的整体流程图；

图2为连通域分析流程图；

图3为棒材匹配过程流程图；

图4为棒材计数过程流程图；

图5为划定分钢线及判断初分钢结果示意图。

具体实施方式

下面结合附图对本发明做进一步的详细说明。

图1为本发明的整体流程图，包括采集棒材图像，对图像进行平滑、二值化及形态学操作等预处理，计算棒材的相对位移，对棒材进行连通域分析，并与上帧棒材比较及匹配计数，如果计数值尚未达到分钢数，则在下一帧继续进行上述操作计数，直到计数值达到分钢数时控制传送链停止，并确定分钢线位置，控制分钢机进行初分钢后判断初分钢结果是否正确，如果不正确则重新进行初分钢，直到初分钢结果正确后进行最终分钢，并进行下一循环重新计数。

图2为连通域分析流程图，采用OpenCV提供的寻找轮廓函数cvFindContours对图中的所有目标进行连通域分析，得到每个白色目标区域的面积、周长、长宽、重心、占空比等信息，根据这些信息与数据库中已知直径的单根棒材信息进行比较，如果以上信息符合单根棒材的信息，则认定此白色目标为未粘连的单根棒材，保存连通域分析结果；如果不符合单根棒材的信息，则认定此白色目标为多根棒材粘连在一起所致，此时通过“凹点匹配”对粘连棒材进行分割。

对于粘连棒材，根据连通域分析结果，得到轮廓上所有点的坐标，计算出包含所有轮廓点集的最小凸多边形，计算所有轮廓上的点的凹度(轮廓上的点到凸多边形的对应边的距离)，如果凹度在一定范围内为极大值且大于设定的阈值，则认为此点为凹点；如果所有点的凹度均小于阈值，则认为轮廓无明显凹点，直接根据连通域的长宽比例分割目标；如果轮廓上只有一个明显的凹点，则根据此凹点的坐标信息分割目标；如果轮廓上有多个明显的凹点，通过凹点的数目，凹度，凹点之间的距离，凹点的连线与凹点夹角的关系等，选择满足匹配条件的凹点对粘连棒材进行分割。分割完成后对连通区域内的所有白色目标重新进行连通域分析，把认定为单根的棒材信息保存，认定为粘连的目标再进行如上所述的“凹点匹配”分割，直到图像中没有粘连棒材存在。

图3为棒材匹配过程流程图，将当前帧棒材的坐标与上一帧棒材坐标进行比较，根据计算的相对位移，采用多次匹配选择最优配对组合的方法进行棒材匹配。首先将当前帧所有棒材与上一帧所有棒材依次组成待匹配对，并计算上一帧所有棒材重心在当前帧的估计位置横坐标(上一帧棒材重心横坐标加上相对位移)与当前帧所有棒材重心横坐标与差值，并按差值绝对值从小到大升序对待匹配对进行排列。

首先按照后向匹配方式，即以当前帧棒材为主与前一帧棒材匹配：按照差值从小到大的顺序依次遍历在计数区内的当前帧棒材，由于每组待匹配对的两根棒材均只能匹配一次，所以如果待匹配对的两根棒材均未匹配过，则认定此待匹配对符合匹配条件，进行匹配，直到判断完计数区内所有棒材。按照差值从小到大的顺序依次遍历不在计数区内的当前帧棒材，如果待匹配对的两根棒材均未匹配过且满足匹配条件(距离小于阈值)，则认定此待匹配对符合匹配条件，进行匹配，直到判断完非计数区内所有棒材。如果前一帧计数区内棒材和当前帧计数区内棒材都能匹配上且无明显匹配不正确的情况，则匹配结束。

如果上述前一帧计数区内棒材和当前帧计数区内棒材不能都匹配上或者有明显匹配不正确的情况，则重新按照前向匹配方式，即以前一帧棒材为主与当前帧棒材匹配：按照差值从小到大的顺序依次遍历在计数区内的前一帧棒材，如果待匹配对的两根棒材均未匹配过，则认定此待匹配对符合匹配条件，进行匹配，直到判断完计数区内所有棒材。对于当前帧未匹配的棒材采取类似于上述的操作，按照差值从小到大的顺序依次遍历未匹配的当前帧棒材并判断是否匹配，直到判断完当前帧所有棒材。

图4为棒材计数过程流程图，如图所示采用K级置信度容错机制对满足条件的棒材进行计数，即当某棒材的置信度权值累计大于阈值K时，才将此棒材纳入计数范围计数。遍历当前帧所有棒材，如果棒材为第一次出现，初始化此棒材的置信度权重为1，否则根据与此棒材配对的上一帧棒材信息更新此棒材的置信度权重，即假设前一帧中棒材A与当前帧中棒材B匹配，则按照下述步骤更新棒材B的置信度权重：将A在当前帧的估计位置的重心横坐标值(A在前一帧的位置加上计算的相对位移)减去B的重心横坐标，如果两者距离(两者之差的绝对值)小于棒材直径，则B的置信度权重为A的置信度权重加1，否则，B的置信度权重为A的置信度权重加上两者距离的倒数。当某根棒材在计数区且置信度权重大于阈值K时，将此棒材纳入计数范围计数。K值越小，误计越多；K值越大，漏计越多，棒材计数时间会延迟，但容错能力越强；一般K取2到8，为了有效防止漏记和误计，保证计数准确度，实际中根据棒材在计数区出现的次数而定。

图5为划定分钢线及判断初分钢结果示意图，图中棒材从左侧进入相机视野，从右侧离开，图中红线和蓝线之间的区域为计数区。假定棒材分钢数为150，即当棒材累计计数值达到150时停止传送链并控制分钢机对棒材进行分钢；图5(a)中黄线为分钢线，控制分钢机在分钢线位置对棒材进行初分钢；初分钢结束后判断初分钢结果是否正确，如图5(b)所示，图中计数区内有绿线和黄线两条线，绿线位置表示分钢机初分钢的位置，即图5(a)中黄线位置，由于初分钢不正确需要重新进行初分钢，所以画出黄线位置表示新的分钢线位置，控制分钢机重新对棒材进行初分钢，直到分钢正确，如图5(c)所示，此时图中计数区内只有一条绿线与5(b)中黄线位置相同，即表示初分钢正确，控制分钢机进行最终分钢，分钢结束后重新进行下捆棒材的计数及初分钢结果判断。

Claims (7)

1.一种基于机器视觉的棒材计数方法，其特征在于，包括以下步骤：

通过相机连续采集待计数的棒材断面图像，并对采集到的图像进行预处理，得到二值图像；

将当前帧的二值图像与上一帧的二值图像做比较，计算上一帧棒材的相对位移，为后面所述的棒材匹配做准备；

对二值图像进行连通域分析，判断棒材是否有粘连情况，如果有粘连要先进行粘连分割，将所有粘连棒材都分割为单根棒材后重新进行连通域分析，记录单根棒材的信息并标记单根棒材的重心；

将当前帧棒材的重心坐标与上一帧棒材重心坐标进行比较，根据上述计算的上一帧棒材的相对位移进行棒材匹配并对满足计数条件的棒材进行计数；

当计数值达到规定的分钢数时，确定分钢线位置并等待分钢机完成初分钢，然后判断初分钢结果是否正确，根据结果进行后续操作；

对棒材进行连通域分析，具体为：

使用OpenCV提供的寻找轮廓函数cvFindContours来对二值图进行连通域分析，如果目标为未粘连的单根棒材，直接把连通域分析结果保存；如果目标为多根棒材粘连在一起，采用“凹点匹配”对粘连目标进行分割，之后类似上述重新进行连通域分析并判断是否为粘连棒材，直到把当前帧中所有粘连棒材都分割成单根棒材，保存单根棒材的面积、周长、长宽、重心位置、占空比信息；

所述根据上一帧棒材的相对位移进行棒材匹配并对满足计数条件的棒材进行计数是指将当前帧棒材的坐标与上一帧棒材坐标进行比较，根据计算的相对位移，采用多次匹配的方法，如果满足匹配条件，则对应棒材匹配成功，并采用K级置信度容错机制对棒材进行计数；

所述采用K级置信度容错机制对满足条件的棒材进行计数，即当某棒材的置信度权值累计大于阈值K时，才将此棒材纳入计数范围计数，包括以下步骤：

当棒材第一次出现时，设置它的置信度权重为1；对于非第一次出现的棒材，如果上一帧中棒材A与当前帧中棒材B匹配，则按照下述步骤更新棒材B的置信度权重：将A重心横坐标在当前帧的估计值，即A的重心横坐标值加上计算得到的相对位移，减去B的重心横坐标，如果两者距离，即两者差的绝对值，小于棒材直径，则B的置信度权重为A的置信度权重加1；否则，B的置信度权重为A的置信度权重加上两者距离的倒数；

当某根棒材的置信度权重大于阈值K时，将此棒材纳入计数范围计数。

2.根据权利要求1所述的一种基于机器视觉的棒材计数方法，其特征在于，所述对采集到的图像进行预处理包括通过改进的中值滤波平滑图像，用大律法对图像进行阈值分割以及形态学处理，得到去除干扰、突出棒材信息的棒材为白色、背景为黑色的二值图像。

3.根据权利要求1所述的一种基于机器视觉的棒材计数方法，其特征在于，所述计算上一帧棒材的相对位移是指通过比较当前帧和上一帧棒材的坐标确定上一帧棒材的相对位移，为后面所述的棒材匹配做准备。

4.根据权利要求1所述的一种基于机器视觉的棒材计数方法，其特征在于，所述根据二值图像判断棒材是否有粘连情况，具体为：

对二值图像中的白色目标进行连通域分析得到各连通域的面积、周长、长宽、重心位置、占空比信息，与数据库中单根棒材的信息进行比较，判断目标是否为多根棒材粘连在一起。

5.根据权利要求1所述的一种基于机器视觉的棒材计数方法，其特征在于，所述采用“凹点匹配”对粘连目标进行分割是指首先要找出连通域上的凹点，然后选择满足匹配条件的凹点分割粘连棒材，包括以下步骤：

根据连通域分析结果，得到轮廓上所有点的坐标，找出一个最小点集连成一个凸多边形，使得轮廓上的所有点皆在此多边形内或此多边形上，计算所有轮廓上的点的凹度，所述凹度即凹陷程度，是指轮廓上的点到凸多边形的对应边的距离，如果凹度在一定范围内为极大值且大于阈值，则认为此轮廓点为凹点；

通过凹点的数目，凹点的凹度，凹点之间的距离，凹点的连线与两个凹点夹角的关系等选择满足匹配条件的凹点分割粘连棒材。

6.根据权利要求1所述的一种基于机器视觉的棒材计数方法，其特征在于，所述确定分钢线位置以及判断初分钢结果是否正确是指当当前帧图像中累计棒材数达到规定的分钢数时，停止传送链，确定分钢线位置并等待分钢机初分钢结束后判断初分钢结果是否正确。

7.根据权利要求6所述的一种基于机器视觉的棒材计数方法，其特征在于，所述判断初分钢结果是否正确是指对分钢机根据分钢线位置进行初分钢的结果进行判断，如果初分钢结果错误，则重新划定分钢线位置并控制分钢机再次进行初分钢，直到初分钢结果正确；控制分钢机进行最终分钢，分钢完成后重新进行下一轮棒材计数及初分钢结果判断。