CN102254222B - 棒材进行计数的方法及装置 - Google Patents

Abstract

本发明涉及一种对传送装置装运的棒材进行计数的方法及装置，属于计算机图像识别领域。其方法包括以下步骤：采集影像并发送至计算机；对图像进行预处理；对连通域进行分割，使棒材呈相互分离状；获得棒材坐标；组合“信息对”；信息匹配；匹配分两轮进行；两轮匹配结束后，当前帧集合中未被匹配的信息对予以保留；上一帧集合中未被匹配的棒材予以清除，清除的同时增加计数值，循环。其装置包括照明光源、工业相机、机计算机及辅件，照明光源、工业相机布置在以待处理棒材端面为反射面的入射和反射方向上；计算机接收采集的图像信息并处理。本发明准确率高，实时性好，提高生产效率的同时减少了工人的劳动强度。

Description

棒材进行计数的方法及装置

技术领域

本发明涉及一种对传送装置装运的棒材进行计数的方法及装置，属于计算机图像识别领域。

背景技术

轧钢企业生产的棒材产品通常采用负公差轧制，定支打捆并以理论重量出售，因此实现棒材打捆前的准确计数非常重要。

棒材在线计数主要有三种方法：人工方法、光电脉冲方法以及图像处理方法。

人工方法计数，由于工人劳动强度大，计数误差大，无法满足在线计数的实时性要求，正在被逐步淘汰，但目前仍有部分棒材生产企业采用该方法。

光电脉冲方法需要前置机械装置对堆叠的棒材作平铺处理，但机械装置很难做到使棒材不重叠地经过传感器前，因此光电脉冲方法也存在相当的误差，只能是一种过渡性的技术手段。

图像处理方法是目前最具有应用前景的能有效解决棒材计数问题的方法，该方法利用棒材端面的图像信息，经过特定的算法运算得出准确的目标棒材数量，图像处理方法速度快，准确率高，且对生产线改动小，易于进行维护和扩展，是现阶段棒材计数工序自动化的主流发展方向。

但目前国内提出的一些采用图像处理方法的棒材计数系统或多或少存在一些缺点和不足之处：

（1）专利申请号为200310110417.5（以下简称文献1）的发明公开了一种棒材在线计数方法及装置，采用棒材对位与K级容错机制来实现棒材的追踪和计数，这是一个理论和实践上都相当成熟的发明应用。但该发明对棒材进行对位确认时仅利用光电编码器测得的链床位移信息，由于棒材实际位移并不等同于链床位移，因此该方法可能在个别棒材出现横向窜动时无法保证跟准。

具体讲，文献1采用的是利用了坐标和位移变量或运动速度的图像处理方法，来确定棒材的位置。文献1给出了两种获得棒材位移量的方法，其一是采用光电编码器获得棒材运动速度的具体实例，通过公式计算得到棒材位移变量的方法---简称光电法；其二是可以利用前后两帧图像，匹配同一根棒材来直接获得棒材运动速度再得到棒材位移变量的方法---简称平均法。

文献1中的棒材中心坐标的确定方法是：对图像中的棒材端面信息进行增强处理，根据图像中的亮度与色度差异进行二值化来区分棒材端面与其它部分；利用类圆形模板匹配，增强棒材中心部位信息，类圆形模板大小按各种棒材的直径设定；提取最大值点，通过聚类识别出并记录图像中各根棒材的坐标位置。其缺点是①类圆形模板并不适合所有的棒材，即使是同一规格的棒材，其端面形状仍然各不相同，使用同样的模板导致可信度下降；②聚类法在多支棒材紧靠、堆叠时，找到的中心可能与实际中心有较大的偏差。

文献1追踪棒材的方法是：连续比较前后幅图像中各棒材中心坐标，利用相对位移量进行逐一对位和容错置信度统计计量棒材的支数。缺点是①仅依靠坐标来追踪棒材，可信度不高，因为横向窜动的棒材可能会被错误对位；②某一帧的对位过程一旦出错，可能极大影响该帧后续几帧的对位。

（2）专利申请号为201010212348.9（以下简称文献2）的发明公开了一种棒材计数方法及装置，计算出当前帧的棒材数量并将其标记，同时记录最后一根棒材的位置，通过速度获取单元获得棒材移动速度，并据此推算最后一根棒材在下一帧的位置，再结合下一帧图像得出未标记棒材的数量，依次累加直到计数值满。该方法同样将链床位移与棒材位移等同，而且需要忽略运动的棒材与链床之间的相对运动。实际上棒材的纵向抖动与横向窜动很难避免，加上棒材存在堆叠现象，难以保证次次都能追踪到“最后一根棒材”。

具体讲文献2存在以下缺陷：

①“棒材移动速度”的不可靠性。

该专利的“棒材移动速度”来自光电编码器，这样获得的速度（齿轮转动的角速度）本身就有误差，并且经过多次转换运算（棒材位移变量（单位：像素）=齿轮转速（角速度）×齿轮半径×两帧之间的时间间隔（即相机帧速率的倒数）×实际距离与图像像素的固定变换比率（1mm=n个像素）），得到的“棒材移动速度”更加不可靠；

②棒材的抖动窜动。

即便先前的“速度”可靠，该速度实际上也是链条的运动速度，并不能代表每一个棒材的实际速度，因为棒材只是铺放在链条上而不是绑在链条上，棒材在运动过程中始终存在无规律的上下前后的抖动和窜动，仅依靠“速度”去推测某个棒材在下一帧图像中的位置是不可行的；

③“最后一根棒材“的不确定性。

棒材的堆叠，同时加上棒材横向窜动的因素，使得上一帧“最后一支棒材”的后续棒材并不一定都是未被标记的棒材，如图3所示，上一帧“倒数第二支棒材”因位置变化而成为当前中的“最后一支棒材”将会被重复计数，因为它与“上一帧最后一根棒材”太接近，在当前帧中由于横向窜动，落在“上一帧最后一根棒材”之后，在上一帧和当前帧均会被计数。

总之，文献1、2提供的技术方案均无法解决可靠、准确计数的问题。

发明内容

本发明的目的是提供一种快速、准确计量棒材数量的计数方法及装置。

为实现上述目的，本发明采用的技术方案是：

一种棒材进行计数的方法，包括以下步骤：

图像采集装置采集棒材端面影像并发送至计算机；

对图像进行预处理；

采用“凹点法”对连通域进行分割，使棒材呈相互分离状；

采用“外接矩形法”获得棒材坐标；

将坐标与相应的棒材轮廓信息组合成一个“信息对”；

将当前帧待处理的信息对与上一帧的信息对进行匹配；

匹配分为两轮进行：第一轮，利用棒材运动速度和信息对中的坐标，确定当前帧待处理集合与上一帧已处理集合内所有棒材的理论配对，再用信息对里的轮廓信息，复核理论配对的正确性，配对成功则将更新当前帧待处理集合中对应的信息对，同时将上一帧中对应的信息对标记为“已匹配”，配对失败则暂不处理；第二轮，将当前帧集合中未被匹配的棒材与上一帧集合中未被匹配的棒材再次进行配对，本轮匹配仅用信息对中的轮廓作为判断依据，成功后和第一轮配对的处理方法相同，同时计算出新的棒材运动速度，以权值将新位移值平均至原速度值；

两轮匹配结束后，整理当前帧集合和上一帧集合，当前帧集合中未被匹配的信息对即为新进入相机视野的棒材，予以保留；上一帧集合中未被匹配的棒材即为已离开相机视野的棒材，予以清除，清除的同时增加计数值，整理完成后，计数进入下一循环。

一种棒材进行计数装置，计数装置包括照明光源、工业相机、计算机及辅件。

照明光源、工业相机布置在以待处理棒材端面为反射面的入射和反射方向上，工业相机采用帧速率在30帧以上的面阵工业相机；

计算机接收工业相机采集的图像信息并实施以下处理：对图像进行预处理；采用“凹点法”对连通域进行分割，使棒材呈相互分离状；采用“外接矩形法”获得棒材坐标；将坐标与相应的棒材轮廓信息组合成一个“信息对”；将当前帧待处理的信息对与上一帧的信息对进行匹配、计数。

通过上述技术方案可知，图像采集装置主要由面阵黑白CCD工业相机及照明光源组成，棒材端面在光源照射下呈现出与棒材侧面及周围环境有较大不同的亮度，通过工业相机连续采集从相机视野中经过的棒材影像，并通过数据线发送至计数控制系统；计数控制系统主要由工业计算机及计数控制软件组成，计数控制软件通过二值化、连通域分割、中心提取、轮廓匹配等方法逐帧分析棒材影像，记录并跟踪影像中出现的每一根棒材，同时得到已通过指定位置的棒材计数值。本发明准确率高，实时性好，提高生产效率的同时减少了工人的劳动强度。

附图说明

图1是本发明的计数方法的流程图；

图2是棒材位移状态示意图；

图3是棒材在上一帧和当前帧中的位置变化示意图；

图4是图像处理过程示意图；

图5是本发明的计数装置的结构示意图。

具体实施方式

实施例1

一种棒材进行计数的方法，包括以下步骤：

图像采集装置采集棒材端面影像并发送至计算机；

对图像进行预处理；

采用“凹点法”对连通域进行分割，使棒材呈相互分离状，连通域是指由若干像素组成的集合，该集合中的像素具有以下特性：所有像素的灰度级别均小于或等于连通域的级别；同一个连通域中的像素两两相通，即在任意两个像素之间存在一条完全由这个集合的元素构成的通路。利用“凹点法”先准确地对紧靠的棒材端面图像分离为单个棒材，可信度高；采用“外接矩形法”获得棒材坐标，即对已切割成单个棒材的连通域使用“外接矩形法”获取坐标，快速简便，找到中心与实际几何中心非常接近。

将坐标与相应的棒材轮廓信息组合成一个“信息对”；

将当前帧待处理的信息对与上一帧的信息对进行匹配，匹配是把不同传感器或同一传感器在不同时间、不同成像条件下对同一景物获取的两幅或多幅图像在空间上对准，或根据已知模式到另一幅图中寻找相应模式的处理方法。

具体讲本发明中的匹配分为两轮进行：第一轮，利用棒材运动速度和信息对中的坐标，确定当前帧待处理集合与上一帧已处理集合内所有棒材的理论配对，所述的理论配对是假定棒材运动速度计算准确且维持不变，则棒材在当前帧的预计坐标可以棒材在上一帧的坐标与运动速度计算出，理论上，前后两帧里，符合这样位置关系的棒材是同一根棒材。再用信息对里的轮廓信息，复核理论配对的正确性，配对成功则将更新当前帧待处理集合中对应的信息对，同时将上一帧中对应的信息对标记为“已匹配”，配对失败则暂不处理；第二轮，将当前帧集合中未被匹配的棒材与上一帧集合中未被匹配的棒材再次进行配对，本轮匹配仅用信息对中的轮廓作为判断依据，是否匹配成功的标准依据是：第一轮要求坐标对应，轮廓相同；第二轮只要轮廓相同。

成功后和第一轮配对的处理方法相同，同时计算出新的棒材运动速度，以权值将新位移值平均至原速度值，所述的权值是通过数学上的加权平均法获得的，权值即比重，权值的大小可以通过公式计算来获得理论值，也可以通过多次试验来求得经验值。

两轮匹配结束后，整理当前帧集合和上一帧集合，当前帧集合中未被匹配的信息对即为新进入相机视野的棒材，予以保留；上一帧集合中未被匹配的棒材即为已离开相机视野的棒材，予以清除，清除的同时增加计数值，整理完成后，计数进入下一循环。

由于每根棒材的轮廓各不相同，本发明采用以轮廓作为匹配的判据来寻找同一根棒材具有较高的可信度；同时棒材的信息仅为前后两帧关联，某一帧个别棒材匹配出错不致于导致过多的连锁错误。

本发明提供的棒材在线计数方法，针对棒材堆叠等不利影响进行了连通域分割等特殊处理，其次充分利用了棒材在连续数帧里的坐标值来计算棒材运动的实时速度，避免使用光电编码器等间接测数装置，在减少外设的同时使系统稳定性更高，同时结合棒材端面图像，利用轮廓匹配法来配对前后帧的同一棒材，使系统对棒材的追踪更加准确。

所述的对图像进行预处理包括对图像上的每个像素的灰度以阀值为标准进行二值化标定，对图像上的每个像素的灰度值，以某个阈值为标准，大于阈值则取255，小于阈值则取0，如图4所示。

之后对其进行“凹点法”进行分割，具体分割步骤是:

本发明所采用的方法是通过面阵工业相机连续采集经过相机视野的棒材影像，并逐帧进行预处理。对于每个连通域可以作这样的处理：将两个类圆图像相连，其轮廓相交将形成一对“凹点”，找出成对的“凹点”，通过其连线将两个圆形分离，使每一根棒材都独立成为一个连通域。

“外接矩形法”是以连通域确定最小外接矩形，并以该外接矩形中心标定为连通域的中心，连通域的近似中心坐标可以反映棒材在图像中的位置。并该保存该连通域的轮廓。这些“坐标+轮廓”的信息对，构成了待处理的棒材信息集合。

得出当前帧的待处理棒材集合后，将该集合与上一帧的已处理棒材集合进行轮廓匹配。当前帧的待处理集合包含两种子集合：在上一帧中存在的和新进入相机视野的，而上一帧的已处理集合也包含两种子集合：在下一帧中存在的和已离开相机视野的。“待处理”和“已处理”中的“处理”，就是要去除“已离开的”，更新“都存在的”，加入“新进入的”,如图4所示。

实施例2

一种棒材进行计数装置，计数装置包括照明光源、工业相机、计算机及辅件。

照明光源10、工业相机20布置在以待处理棒材端面40为反射面的入射和反射方向上，工业相机20采用帧速率在30帧以上的面阵工业相机；

计算机30接收工业相机20采集的图像信息并实施以下处理：对图像进行预处理；采用“凹点法”对连通域进行分割，使棒材呈相互分离状；采用“外接矩形法”获得棒材坐标；将坐标与相应的棒材轮廓信息组合成一个“信息对”；将当前帧待处理的信息对与上一帧的信息对进行匹配、计数。至于硬件设备的选配可以根据生产线和经济状况来选定。

所述的照明光源10布置在工业相机20的下方两侧，照明光源10的照射区域为条带状。

所述的计算机30输出控制信号驱动执行机构实施分钢动作。

Claims (7)

1.一种棒材进行计数的方法，包括以下步骤：

图像采集装置采集棒材端面影像并发送至计算机；

对图像进行预处理；

采用“凹点法”对连通域进行分割，使棒材呈相互分离状；

采用“外接矩形法”获得棒材坐标；

将坐标与相应的棒材轮廓信息组合成一个“信息对”；

将当前帧待处理的信息对与上一帧的信息对进行匹配；

匹配结束后，整理当前帧集合和上一帧集合，当前帧集合中未被匹配的信息对即为新进入相机视野的棒材，予以保留；上一帧集合中未被匹配的棒材即为已离开相机视野的棒材，予以清除，清除的同时增加计数值，整理完成后，计数进入下一循环。

2.根据权利要求1所述的棒材进行计数的方法，其特征在于：所述的匹配分为两轮进行：第一轮，利用棒材运动速度和信息对中的坐标，确定当前帧待处理集合与上一帧已处理集合内所有棒材的理论配对，再用信息对里的轮廓信息，复核理论配对的正确性，配对成功则将更新当前帧待处理集合中对应的信息对，同时将上一帧中对应的信息对标记为“已匹配”，配对失败则暂不处理；第二轮，将当前帧集合中未被匹配的棒材与上一帧集合中未被匹配的棒材再次进行配对，本轮匹配仅用信息对中的轮廓作为判断依据，成功后和第一轮配对的处理方法相同，同时计算出新的棒材运动速度，以权值将新位移值平均至原速度值；

两轮匹配结束后，整理当前帧集合和上一帧集合，整理完成后，计数进入下一循环。

3.根据权利要求1或2所述的棒材进行计数的方法，其特征在于：所述的对图像进行预处理包括对图像上的每个像素的灰度以阀值为标准进行二值化标定；之后对其采用“凹点法”进行分割，具体分割步骤是将两个类圆图像相连，其轮廓相交将形成一对“凹点”，找出成对的“凹点”，通过其连线将两个圆形分离。

4.根据权利要求1所述的棒材进行计数的方法，其特征在于：所述的“外接矩形法”是以连通域确定最小外接矩形，并以该外接矩形中心标定为连通域的中心。

5.根据权利要求2所述的棒材进行计数的方法，其特征在于：所述的棒材运动速度是棒材的位移与时间比值，所述的棒材的位移由上一帧和当前帧中的棒材坐标确定。

6.一种棒材进行计数装置，计数装置包括照明光源、工业相机、计算机及辅件，其特征在于：

照明光源、工业相机布置在以待处理棒材端面为反射面的入射和反射方向上，工业相机采用帧速率在30帧以上的面阵工业相机；

计算机接收工业相机采集的图像信息并实施以下处理：对图像进行预处理；采用“凹点法”对连通域进行分割，使棒材呈相互分离状；采用“外接矩形法”获得棒材坐标；将坐标与相应的棒材轮廓信息组合成一个“信息对”；将当前帧待处理的信息对与上一帧的信息对进行匹配；匹配结束后，整理当前帧集合和上一帧集合，当前帧集合中未被匹配的信息对即为新进入相机视野的棒材，予以保留；上一帧集合中未被匹配的棒材即为已离开相机视野的棒材，予以清除，清除的同时增加计数值，整理完成后，计数进入下一循环。

7.根据权利要求6所述的棒材进行计数装置，其特征在于：所述的照明光源布置在工业相机的下方两侧，照明光源的照射区域为条带状。

8、根据权利要求6所述的棒材进行计数装置，其特征在于：所述的计算机输出控制信号驱动执行机构实施分钢动作。

Images