CN114359265A - 一种基于目标跟踪的螺丝计数方法及系统 - Google Patents

Abstract

本发明是一种基于目标跟踪的螺丝计数方法及系统，该方法提出一种基于Lab颜色空间算法，融合平均颜色距离与子区域生长算法，实现螺丝物体前景与背景的快速分割，同时，该方法提出一种搜索框中心坐标的自适应移动算法，对图像每个像素的相似值进行加权平均，同时针对水平变速运动与竖直变速运动的差异性设置自适应阈值，实现中心坐标的快速准确迭代，达到螺丝目标的快速准确跟踪效果；该系统实现该方法。本发明相较于现有其他方法，能够对变速运动的刚性物体进行快速准确的跟踪计数。本发明有效提升了对变速运动刚性物体的计数能力，提高了计数精确度与计数效率。

Description

一种基于目标跟踪的螺丝计数方法及系统

技术领域

本发明涉及机器视觉领域，特别涉及一种基于目标跟踪的螺丝计数方法及系统。

背景技术

随着我国冶金、机械、电子、汽车与建筑工业的飞速发展，以及我国工业的不断进步，带动了紧固件的需求及生产。数据显示，我国紧固件市场规模由2012年的958.2亿元增长至2020年的1465.5亿元，年复合增长率约为5.45%。我国紧固件产品大量出口到世界各国、世界各国的紧固件产品也不断涌入中国市场。紧固件作为我国进出口量较大的产品之一，实现与国际接轨，对推动中国紧固件企业走向世界，促进紧固件企业全面参与国际合作与竞争，都具用重要的现实意义和战略意义。紧固件的计数需求在近几年有空前提升，具有较为广阔的应用前景。

现有螺丝等紧固件的计数方法大致可以分为硬件计数与机器视觉计数两类。

何晶等在《一种螺丝计数系统》中采用力矩传感器对打螺丝枪的打螺丝数量进行计数，其应用场景较为单一，难以广泛应用。黄远发在《螺丝计数器》中使用螺丝起子对螺丝通电的方法，统计反馈电信号数量来实现计数，应用条件较为苛刻，且计数速度较慢。蔡世财在《螺丝计量设备》中采用计算螺丝整体重量的方法实现螺丝计数，其计数精度难以达到较高水平，同时对机械机构强度提出了较高要求。苗姣姣在《基于图像处理的螺丝钉计数方法研究》中采用边缘检测加模板匹配的方法进行计数，但由于成像环境的复杂性，其还需要人工干预图像处理过程，效率较低。周晓峰在《一种基于机器视觉的棒材计数方法》中采用连通域计数的方法实现棒材的计数，其对静态物体有较好的计数效果，但对运动物体尤其是变速运动物体无法实现良好的计数效果。

针对以上技术问题，亟需一种螺丝计数方法，用于提高对于运动尤其是变速运动刚性物体的计数效率，同时拥有较多的应用场景与较为宽松的应用条件限制。

发明内容

本发明提供一种基于目标跟踪的螺丝计数方法及系统，用于提高螺丝计数效率。

本发明为实现其技术目的所采用的技术方案是：一种基于目标跟踪的螺丝计数方法，包括以下步骤：

步骤S100、采集螺丝的下落视频图像数据的步骤；

步骤S200、实现基于颜色的螺丝前景与背景的分离的步骤；

步骤S300、确定搜索框的大小与中心坐标的步骤；

步骤S400、实现中心坐标的快速迭代的步骤；

该步骤中通过搜索框中心坐标的自适应移动算法，实现中心坐标的快速迭代，包括：

步骤S410： 所述搜索框与该帧图像逐行进行Correlation相关性比较，每个像素得到取值范围为[0,1]的相关性结果；

步骤S420： 将所述相关性结果由[0-1]映射到[0-255]，得到图像反向投影的灰度图，大小为J*K，J、K为自然数；

步骤S430： 根据x与y，逐行求出搜索框中心预期移动位置△Xi 与△Yi，其中，△Xi=

, △Yi=

,其中，n表示反向投影灰度图的列数；i表示反向投影灰度图的行数；

表示第i行，第n列的反向投影灰度图的灰度值；

步骤S440： 将每行的△Xi 与△Yi进行求和得到△sum_x 与△sum_y，其中△sum_x=

， △sum_y=

步骤S450： 将搜索框移动至｛x+△sum_x, y+△sum_y｝；

步骤S460： 由于螺丝呈现平抛运动，竖直方向的位移量随时间变化较多，竖直方向的位移量变化较少；故判断竖直方向的位移量△sum_y是否小于

，判断△sum_x是否小于

，如果满足上述要求，则进入步骤S500；否则将｛x+△sum_x, y+△sum_y｝作为新的搜索框中心坐标，重复步骤S430至步骤S450；

步骤S500、重复上述步骤S100至S400，实现螺丝的准确快速跟踪；

步骤S600、加入判定区域，对通过判定区域的螺丝进行准确计数。

进一步的，上述的基于目标跟踪的螺丝计数方法中：所述的步骤S100中，采用线扫描相机采集螺丝的下落视频图像数据，并实时传输至上位机；该步骤中：所述的线扫描相机的成像区域平行于螺丝下落面。

进一步的，上述的基于目标跟踪的螺丝计数方法中：所述的步骤S200中，基于颜色的螺丝前景与背景的分离是通过一种基于Lab颜色算法实现的，包括：

步骤S210： 将图像分为N*N的子块，N为自然数；

步骤S220： 将各子块的颜色空间由RGB转为Lab，得到L，a，b三个互相垂直的颜色分量；

步骤S230： 按照下式分别计算两个相邻子块u和v之间的颜色距离

；

.

式中：

分别是子块u和v中所有像素点的L，a，b的平均值；

，

，

表示子块u的R，G，B平均值，

，

，

表示子块v的R，G，B平均值；

表示：二者较小的那个值；

步骤S240： 判断d1是否小于设定阈值；如果小于，则两个区域进行合并；否则，不进行合并；

步骤S250：重复步骤S230到步骤S240，将所有子块执行合并或者不合并的操作；最后分割出螺丝目标。

进一步的，上述的基于目标跟踪的螺丝计数方法中：所述的步骤S300中：按照下列方法确定搜索框的大小与中心坐标：寻找分割后的螺丝目标的质心，并以该质心为中心逐渐扩大矩形，直至包含螺丝目标所有覆盖的图像区域，该矩形则为搜索框。

本发明还提供一种基于目标跟踪的螺丝计数系统，包括：

采集螺丝的下落视频图像数据的摄像装置和对下落视频图像数据进行处理的上位机；所述的摄像装置将采集到的螺丝的下落视频图像数据传送给上位机；

所述的上位机中包括：

实现基于颜色的螺丝前景与背景的分离的模块；

确定搜索框的大小与中心坐标的模块；

实现中心坐标的快速迭代的模块；

实现螺丝的准确快速跟踪模块；

对螺丝进行计数的模块。

进一步的，上述的基于目标跟踪的螺丝计数系统中：所述摄像装置包括线性扫描机；

还包括运输螺丝的传送带，所述线性扫描机的成像区域平行于螺丝从传送带上下落时的下落面。

进一步的，上述的基于目标跟踪的螺丝计数系统中：所述的实现基于颜色的螺丝前景与背景的分离的模块中是通过一种基于Lab颜色算法实现螺丝前景与背景的分离的；包括：

将图像分为N*N的子块的模块，N为自然数；

颜色空间转换模块，所述的颜色空间转换模块将各子块的颜色空间由RGB转为Lab，得到L，a，b三个互相垂直的颜色分量；

颜色距离计算模块，所述的颜色距离计算模块按照下式分别计算两个相邻子块u和v之间的颜色距离

；

.

比较合并模块，所述的比较合并模块判断d1是否小于设定阈值；如果小于，则两个区域进行合并。

进一步的，上述的基于目标跟踪的螺丝计数系统中：所述的确定搜索框的大小与中心坐标的模块与所述的实现基于颜色的螺丝前景与背景的分离的模块相连，使用所述的实现基于颜色的螺丝前景与背景的分离的模块分割后的结果，确定搜索框的大小与中心坐标。

进一步的，上述的基于目标跟踪的螺丝计数系统中：所述的实现中心坐标的快速迭代的模块与所述的确定搜索框的大小与中心坐标的模块相连，对所述的确定搜索框的大小与中心坐标的模块确定搜索框的大小与中心坐标通过一种搜索框中心坐标的自适应移动算法，实现中心坐标的快速迭代。

本发明相较于现有其他方法，能够对变速运动的刚性物体进行快速准确的跟踪计数。本发明提出一种基于Lab颜色空间算法，融合平均颜色距离与子区域生长算法，实现螺丝物体前景与背景的快速分割。提出一种搜索框中心坐标的自适应移动算法，对图像每个像素的相似值进行加权平均，同时针对水平变速运动与竖直变速运动的差异性设置自适应阈值，实现中心坐标的快速准确迭代，达到螺丝目标的快速准确跟踪效果；本方法有效提升了对变速运动刚性物体的计数能力，提高了计数精确度与计数效率。

下面结合附图和具体实施例对本发明进行详细地说明。

附图说明

附图1为本发明实施例1流程图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然所描述的实例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

实施例1，本实施例是一种基于目标跟踪的螺丝计数系统，该系统包括集螺丝的下落视频图像数据的摄像装置和对下落视频图像数据进行处理的上位机；摄像装置将采集到的螺丝的下落视频图像数据传送给上位机。其中，摄像装置为一种线性扫描机，线性扫描机的成像区域近似平行于螺丝从传送带上下落时的下落面。

上位机中包括：

实现基于颜色的螺丝前景与背景的分离的模块；

确定搜索框的大小与中心坐标的模块；

实现中心坐标的快速迭代的模块；

实现螺丝的准确快速跟踪模块；

对螺丝进行计数的模块。

利用本实施例基于目标跟踪的螺丝计数系统对进行螺丝计数包括以下步骤：

步骤S100：螺丝经过传送带运输后，掉落至成像区域，线扫描相机采集螺丝的下落视频图像数据，并实时传输至上位机。该步骤中

螺丝经过传送带运输后，掉落过程呈现平抛物线，为变速运动。

线扫描相机的成像区域近似平行于螺丝下落面，并采集螺丝的下落视频图像数据，图像大小为m*n，并将图像数据传输至上位机。

在上位机中，使用一种计数算法实现实时计数，如步骤S200-S600。

步骤S200：通过一种基于Lab颜色算法实现基于颜色的螺丝前景与背景的分离；具体过程如下：

步骤S210： 将图像分为N*N的子块，可根据螺丝大小，动态调整N的大小，在本例中，N=4。

步骤S220： 将上述各个子块的颜色空间由RGB转为Lab，得到L，a，b三个互相垂直的颜色分量。

具体的，转换方法如下：首先将RGB颜色空间转换为XYZ颜色空间：

然后使用下列公式将XYZ图像转换为Lab图像：

最后，将上述L，a，b求平均值，即子块中所有像素点（4*4）求和后取平均值，得到

，

，

。

步骤S230： 分别计算两个相邻子块u和v之间的颜色距离d1。其中

.

式中：

分别是子块u和v中所有像素点的L，a，b的平均值；

，

，

表示子块u的R，G，B平均值，

，

，

表示子块v的R，G，B平均值；

表示：二者较小的那个值；

步骤S240： 判断d1是否小于设定阈值，；如果小于，则两个区域进行合并；否则，不进行合并。

步骤S250：重复步骤S230到步骤S240，将所有子块执行合并或者不合并的操作，最终得到螺丝目标的前景子块与背景子块。

步骤S260：经过上述前后景分离后，分割出螺丝目标。

步骤S300：使用分割后的结果，确定搜索框的大小与中心坐标；寻找分割后的螺丝目标的质心，并以该质心为中心逐渐扩大矩形，直至包含螺丝目标所有覆盖的图像区域，该矩形则为搜索框。

本实施例中，质心可以不是搜索框中心，质心仅是为了引出该矩形。搜索框中心坐标确定方法如下：由螺丝目标的质心为中心点，矩形四边等量增大，直至其中一边长度超过螺丝目标边界，则该边停止增大，其余边继续。直至所有边长度超过螺丝目标所有覆盖的图像区域。本实施例中以该质心为中心逐渐扩大矩形，直至包含螺丝目标所有覆盖的图像区域。该矩形即为搜索框，其对角线交点即为搜索框中心。

步骤S400：通过一种搜索框中心坐标的自适应移动算法，实现中心坐标的快速迭代；该步骤中：

步骤S410： 上述搜索框与该帧图像（搜索框之后的下一帧图像）逐行进行Correlation相关性比较，每个像素得到取值范围为[0,1]的相关性结果。

步骤S420： 将上述相关性结果由[0-1]映射到[0-255]，得到图像反向投影的灰度图，大小为J*K，J和K是自然数。

步骤S430： 根据x与y，逐行求出搜索框中心预期移动位置△Xi 与△Yi，其中，△Xi=

, △Yi=

,其中，n表示反向投影灰度图的列数；i表示反向投影灰度图的行数；

表示第i行，第n列的反向投影灰度图的灰度值；

步骤S440： 将每行的△Xi 与△Yi进行求和得到△sum_(X) 与△sum_(Y)，其中△sum_(X)=

， △sum_(Y)=

步骤S450： 将搜索框移动至｛x+△sum_(X), y+△sum_(Y)｝；

步骤S460： 由于螺丝呈现平抛运动，竖直方向的位移量随时间变化较多，竖直方向的位移量变化较少；故判断竖直方向的位移量△sum_(Y)是否小于

，判断△sum_(X)是否小于

，如果满足上述要求，则进入步骤S500；否则将｛x+△sum_(X), y+△sum_(Y)｝作为新的搜索框中心坐标，重复步骤S430至步骤S450。

步骤S500：连续输入后续帧图像，重复上述过程，实现螺丝的准确快速跟踪；具体的，输入下一帧图像，将上述过程得到的更新后的搜索框作为新的搜索框，重复步骤S410至步骤S460。

对于新一帧图像，通过步骤S210至步骤S310检测是否有新的螺丝出现。如果有新的螺丝出现，使用额外的搜索框以便后续的跟踪过程。

步骤S600：最后加入判定区域，对通过判定区域的螺丝进行准确计数。在成像区域的正中间部分，即以（m/2,n/2）为中心坐标，加入一个大小为(a, b/10)的矩形框，并对中心坐标通过该矩形的螺丝搜索框进行计数。

Claims (9)

1.一种基于目标跟踪的螺丝计数方法，其特征在于：包括以下步骤：

步骤S100、采集螺丝的下落视频图像数据的步骤；

步骤S200、实现基于颜色的螺丝前景与背景的分离的步骤；

步骤S300、确定搜索框的大小与中心坐标的步骤；

步骤S400、实现中心坐标的快速迭代的步骤；

该步骤中通过搜索框中心坐标的自适应移动算法，实现中心坐标的快速迭代，包括：

步骤S410： 所述搜索框与该帧图像逐行进行Correlation相关性比较，每个像素得到取值范围为[0,1]的相关性结果；

步骤S420： 将所述相关性结果由[0-1]映射到[0-255]，得到图像反向投影的灰度图，大小为J*K，J、K为自然数；

步骤S430： 根据x与y，逐行求出搜索框中心预期移动位置△Xi 与△Yi，其中，△Xi=

, △Yi=

,其中，n表示反向投影灰度图的列数；i表示反向投影灰度图的行数；

表示第i行，第n列的反向投影灰度图的灰度值；

步骤S440： 将每行的△Xi 与△Yi进行求和得到△sum_(X) 与△sum_(Y)，其中△sum_(X)=

， △sum_(Y)=

步骤S450： 将搜索框移动至｛x+△sum_(X), y+△sum_(Y)｝；

步骤S460： 由于螺丝呈现平抛运动，竖直方向的位移量随时间变化较多，竖直方向的位移量变化较少；故判断竖直方向的位移量△sum_(Y)是否小于

，判断△sum_(X)是否小于

，如果满足上述要求，则进入步骤S500；否则将｛x+△sum_(X), y+△sum_(Y)｝作为新的搜索框中心坐标，重复步骤S430至步骤S450；

步骤S500、重复上述步骤S100至S400，实现螺丝的准确快速跟踪；

步骤S600、加入判定区域，对通过判定区域的螺丝进行准确计数。

2.根据权利要求1所述的基于目标跟踪的螺丝计数方法，其特征在于：所述的步骤S100中，采用线扫描相机采集螺丝的下落视频图像数据，并实时传输至上位机；该步骤中：所述的线扫描相机的成像区域平行于螺丝下落面。

3.根据权利要求2所述的基于目标跟踪的螺丝计数方法，其特征在于：所述的步骤S200中，基于颜色的螺丝前景与背景的分离是通过一种基于Lab颜色算法实现的，包括：

步骤S210： 将图像分为N*N的子块，N为自然数；

步骤S220： 将各子块的颜色空间由RGB转为Lab，得到L，a，b三个互相垂直的颜色分量；

步骤S230： 按照下式分别计算两个相邻子块u和v之间的颜色距离

；

.

式中：

分别是子块u和v中所有像素点的L，a，b的平均值；

，

，

表示子块u的R，G，B平均值，

，

，

表示子块v的R，G，B平均值；

表示：二者较小的那个值；

步骤S240：判断d1是否小于设定阈值；如果小于，则两个区域进行合并；否则，不进行合并；

步骤S250：重复步骤S230到步骤S240，将所有子块执行合并或者不合并的操作；最后分割出螺丝目标。

4.根据权利要求3所述的基于目标跟踪的螺丝计数方法，其特征在于：所述的步骤S300中：按照下列方法确定搜索框的大小与中心坐标：寻找分割后的螺丝目标的质心，并以该质心为中心逐渐扩大矩形，直至包含螺丝目标所有覆盖的图像区域，该矩形则为搜索框。

5.一种基于目标跟踪的螺丝计数系统，其特征在于：包括：

采集螺丝的下落视频图像数据的摄像装置和对下落视频图像数据进行处理的上位机；所述的摄像装置将采集到的螺丝的下落视频图像数据传送给上位机；

所述的上位机中包括：

实现基于颜色的螺丝前景与背景的分离的模块；

确定搜索框的大小与中心坐标的模块；

实现中心坐标的快速迭代的模块；

实现螺丝的准确快速跟踪模块；

对螺丝进行计数的模块。

6.根据权利要求5所述的基于目标跟踪的螺丝计数系统，其特征在于：所述摄像装置包括线性扫描机；

还包括运输螺丝的传送带，所述线性扫描机的成像区域平行于螺丝从传送带上下落时的下落面。

7.根据权利要求6所述的基于目标跟踪的螺丝计数系统，其特征在于：所述的实现基于颜色的螺丝前景与背景的分离的模块中是通过一种基于Lab颜色算法实现螺丝前景与背景的分离的；包括：

将图像分为N*N的子块的模块，N为自然数；

颜色空间转换模块，所述的颜色空间转换模块将各子块的颜色空间由RGB转为Lab，得到L，a，b三个互相垂直的颜色分量；

颜色距离计算模块，所述的颜色距离计算模块按照下式分别计算两个相邻子块u和v之间的颜色距离

；

.

比较合并模块，所述的比较合并模块判断d1是否小于设定阈值；如果小于，则两个区域进行合并。

8.根据权利要求7所述的基于目标跟踪的螺丝计数系统，其特征在于：所述的确定搜索框的大小与中心坐标的模块与所述的实现基于颜色的螺丝前景与背景的分离的模块相连，使用所述的实现基于颜色的螺丝前景与背景的分离的模块分割后的结果，确定搜索框的大小与中心坐标。

9.根据权利要求8所述的基于目标跟踪的螺丝计数系统，其特征在于：所述的实现中心坐标的快速迭代的模块与所述的确定搜索框的大小与中心坐标的模块相连，对所述的确定搜索框的大小与中心坐标的模块确定搜索框的大小与中心坐标通过一种搜索框中心坐标的自适应移动算法，实现中心坐标的快速迭代。

Images