CN117103284A - 基于机器视觉的机器人自动上料调控系统 - Google Patents

Abstract

本发明涉及系统控制技术领域，具体涉及基于机器视觉的机器人自动上料调控系统。该系统包括：获取螺柱图像，根据螺柱图像获取角点和边界二值图像；根据角点之间的曼哈顿距离，获取局部凌乱度，根据角点周围区域灰度值的波动情况，获取区域丰富度，计算螺纹相似距离，进而获取螺纹相似距离降序序列；根据边界二值图像，获取角点的螺纹递进指数；根据螺纹相似距离降序序列和角点的螺纹递进指数，获取截断距离，使用密度峰值聚类算法获取螺柱的初始位置，移动机械抓手，实现对机器人自动上料调控系统的控制。本发明自适应确定密度峰值聚类算法的截断距离，达到更好的机器人自动上料调控系统的控制效果。

Description

基于机器视觉的机器人自动上料调控系统

技术领域

本发明涉及系统控制技术领域，具体涉及基于机器视觉的机器人自动上料调控系统。

背景技术

基于机器视觉的机器人自动上料调控系统是一种将机器视觉技术与机器人控制技术相结合，用于实现自动上料和调控的系统，通常用于工业线生产、制造业等领域，可以提高生产效率、降低人力成本，并提高生产质量，系统的核心思想是使用摄像头和图像处理算法来感知和识别待加工的工件或零部件，然后通过机器人来自动获取、搬运和安置这些工件。

对采集到的图像进行分割能够提取出感兴趣的区域，以便于进行更深入的分析和处理，现有的密度峰值聚类算法可以对机器人自动上料调控系统中定位块上的螺柱图像进行分割，进而识别和定位螺柱，实现对机器人自动上料调控系统的控制，但是由于截断距离设置不当，导致机器人自动上料调控系统的控制效果不理想。

发明内容

为了解决密度峰值聚类算法的截断距离设置不当，导致机器人自动上料调控系统的控制效果不理想的技术问题，本发明提供基于机器视觉的机器人自动上料调控系统，所采用的技术方案具体如下：

本发明提出了基于机器视觉的机器人自动上料调控系统，该系统包括以下模块：

螺柱图像采集模块，用于获取包含螺柱的螺柱图像；

螺纹相似距离获取模块，用于根据螺柱图像，获取角点和边界二值图像；根据角点之间的曼哈顿距离，获取角点的局部凌乱度；获取角点的区域丰富度；根据角点的局部凌乱度和区域丰富度，获取角点的螺纹相似距离；

螺纹递进指数获取模块，用于根据边界二值图像，获取角点的螺纹递进指数；

截断距离获取模块，用于根据角点的螺纹相似距离，获取螺纹相似距离降序序列；根据螺纹相似距离降序序列和角点的螺纹递进指数，获取截断距离；

控制模块，用于根据截断距离，获取螺柱的初始位置；根据螺柱的初始位置，移动机械抓手，实现对机器人自动上料调控系统的控制。

优选的，所述根据螺柱图像，获取角点和边界二值图像的方法为：

使用边缘检测算子对螺柱图像进行边缘检测，获取螺柱图像的边缘信息，得到边界二值图像；

使用角点检测算法获取边界二值图像中的角点。

优选的，所述根据角点之间的曼哈顿距离，获取角点的局部凌乱度的方法为：

将距离角点最近的第一预设数目个角点作为角点的邻近角点；

计算角点与角点的邻近角点之间的曼哈顿距离，获得邻近角点的邻域曼哈顿距离；

将所有邻近角点的邻域曼哈顿距离的均值记为曼哈顿均值；

计算每个邻近角点的邻域曼哈顿距离与曼哈顿均值的差值，获得邻近角点的曼哈顿差值；

将所有邻近角点的曼哈顿差值的均值记为角点的局部凌乱度。

优选的，所述获取角点的区域丰富度的方法为：

以角点为中心构建以第一预设长度为边长的邻域窗口；

将邻域窗口内所包含的灰度值升序排列，得到升序灰度值序列；

将升序灰度值序列作为邻域灰度直方图的横轴，将像素点的个数作为邻域灰度直方图的纵轴，统计邻域窗口内像素点的灰度值，得到角点的邻域灰度直方图；

将角点的邻域灰度直方图中除最后一个元素之外的任一元素，记为有效元素；

将邻域灰度直方图中有效元素与相邻后一元素的元素值的差值，记为有效元素的像素点差值；

将有效元素的像素点差值的绝对值记为有效元素的像素点绝对差；

将有效元素的像素点绝对差与邻域窗口内角点个数的乘积记为有效元素的元素丰富度；

将邻域灰度直方图中所有有效元素的元素丰富度的平均值记为角点的区域丰富度。

优选的，所述根据角点的局部凌乱度和区域丰富度，获取角点的螺纹相似距离的方法为：

将角点的区域丰富度与局部凌乱度的比值记为角点的螺纹相似距离。

优选的，所述根据边界二值图像，获取角点的螺纹递进指数的方法为：

对边界二值图像进行形态学细化操作，获取螺柱形态图像；

将边界二值图像像素值为数字1的像素点记为边缘像素点；

根据螺柱形态图像，在角点的八邻域内任选一个边缘像素点记为角点的趋势像素点；

沿着角点到趋势像素点的方向，如果有三个以上的角点，将第一个出现的角点记为第一趋势角点，第二个出现的角点记为第二趋势角点，第三个出现的角点记为第三趋势角点；

将角点与第一趋势角点的螺纹相似距离的绝对差值记为第一绝对差值；

将第二趋势角点与第三趋势角点的螺纹相似距离的绝对差值记为第二绝对差值；

将第一绝对差值与第二绝对差值之差记为第一差值；

将以自然常数为底数，第一差值为指数的幂记为第一指数；

将以角点为起点，以第一趋势角点为终点的向量记为第一向量；

将以第二趋势角点为起点，以第三趋势角点为终点的向量记为第二向量；

将第一向量与第二向量的线性相关系数记为第一相关系数；

将第一相关系数的绝对值记为第一绝对值；

将第一指数与第一绝对值之和记为第一累加和；

将第一累加和的一半记为角点的螺纹递进指数；

沿着角点到趋势像素点的方向，如果不足三个角点，将角点的螺纹递进指数记为零。

优选的，所述根据角点的螺纹相似距离，获取螺纹相似距离降序序列的方法为：

根据角点的螺纹相似距离将角点降序排列，获取螺纹相似距离降序序列。

优选的，所述根据螺纹相似距离降序序列和角点的螺纹递进指数，获取截断距离的方法为：

将螺纹相似距离降序序列中前第二预设数目个角点的螺纹递进指数之和记为截断距离。

优选的，所述根据截断距离，获取螺柱的初始位置的方法为：

根据截断距离，将螺柱图像作为密度峰值聚类算法的输入，绘制用于选取聚类中心的决策图，得到聚类中心点的坐标，将聚类中心点的坐标记为螺柱的初始位置。

优选的，所述根据螺柱的初始位置，移动机械抓手，实现对机器人自动上料调控系统的控制的方法为：

在最开始给出螺柱的初始位置，将螺柱的初始位置和预设位置作为PID控制技术的输入，输出机械抓手的移动路线，移动机械抓手，将螺柱根据最优移动路线从初始位置移动到预设位置进行上料，实现对机器人自动上料调控系统的控制。

本发明具有如下有益效果：本发明先获取螺柱图像中的边缘像素点、角点，然后根据螺柱的表面像素变化较定位块复杂的性质，通过计算角点之间的曼哈顿距离，获取角点的局部凌乱度，通过角点周围区域灰度值的波动情况，获取角点的区域丰富度，综合角点的局部凌乱度、区域丰富度构建螺纹相似距离，用以量化角点处于螺柱区域的可能性，提高了螺柱上角点选取的可靠性；由于螺纹具有层层递进的关系，根据边缘的延伸获取与角点在同一边缘上的相邻近的角点，根据角点与相邻近角点之间螺纹相似距离的差值，计算螺纹递进指数，根据螺纹递进指数较大的角点的个数设置截断距离，提高了截断距离设置的可靠性；根据截断距离，使用密度峰值聚类算法获取螺柱的初始位置，对螺柱区域进行识别，进而实现对机器人自动上料调控系统的控制，解决了密度峰值聚类算法的截断距离设置不当，导致机器人自动上料调控系统的控制效果不理想的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一个实施例所提供的基于机器视觉的机器人自动上料调控系统流程图；

图2为边界二值图像的示意图；

图3为趋势角点的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本发明一个实施例提供的基于机器视觉的机器人自动上料调控系统流程图，该系统包括：螺柱图像采集模块、螺纹相似距离获取模块、螺纹递进指数获取模块、截断距离获取模块、控制模块。

螺柱图像采集模块，用于获取包含螺柱的螺柱图像。

在机器人的自动上料系统中，螺柱在振动盘上被竖直摆正，经过导轨向前移动传送到定位块上，由机器人抓手进行抓取。

在抓手的侧边安装CCD摄像头，当物料传送到定位块上后，对定位块进行拍摄，采集定位块上的螺柱图像，并将螺柱图像进行灰度化处理。

为减少由于工作环境的随机自然噪声给后续螺柱的检测和定位造成影响，使用高斯滤波器对灰度化处理后的螺柱图像进行滤波，然后对螺柱图像进行直方图均衡化，增大图像的对比度。

由此得到了螺柱图像。

螺纹相似距离获取模块，用于根据螺柱图像，获取角点和边界二值图像；根据角点之间的曼哈顿距离，获取角点的局部凌乱度；获取角点的区域丰富度；根据角点的局部凌乱度和区域丰富度，获取角点的螺纹相似距离。

通常螺柱上的螺纹表现为规律的沟壑状，螺柱区域分布有大量的角点，先获取螺柱图像上的角点信息，根据角点之间的特征判断角点是否位于螺柱区域。

先采用Canny边缘检测算子获取螺柱图像的边缘信息，得到包含螺柱和定位块边界的边界二值图像，像素值为数字1的像素点为边缘像素点。

然后使用SIFT角点检测算法获取边界二值图像中的角点，边界二值图像的示意图如图2所示，边界二值图像中的角点不仅包含了螺柱的角点信息，还包含了定位块的角点信息，但是定位块的角点少，角点间距大，凌乱度高，而螺纹上的角点密集，角点间距小，凌乱度低。

将角点与邻近角点之间曼哈顿距离的均值记为曼哈顿均值，进而计算角点的局部凌乱度，作为判断角点是否处于螺柱区域的标准之一。曼哈顿距离为两个点在标准坐标系上的绝对轴距总和，相比于欧式距离更能凸显距离的差异性。将距离角点最近的个角点作为对应的邻近角点，假设角点总个数为/>，/>经验取值为/>，获取角点与所有邻近角点之间的曼哈顿距离。

角点的局部凌乱度可以表示如下：

其中，表示角点/>的局部凌乱度，/>为角点/>的邻近角点个数，/>表示角点/>和第/>个邻近角点之间的曼哈顿距离，/>为角点/>的曼哈顿均值。

代表角点与邻近角点之间曼哈顿距离的平均绝对偏差，当角点与邻近角点之间曼哈顿距离的平均绝对偏差越大时，说明角点与邻近角点之间曼哈顿距离的离散程度越高，角点的局部凌乱度越高。

由于螺柱上存在明显的沟壑条纹，灰度值在局部区域内快速变化，当区域的灰度值存在波动起伏时，表现在直方图中也是高低变化的，可以根据角点周围区域灰度值的波动情况，获取角点的区域丰富度，作为判断角点是否处于螺柱区域的另一标准。

以角点为中心构建大小为的邻域窗口，/>经验取值为7，统计邻域窗口内像素点的灰度值，得到角点的邻域灰度直方图，由于邻域窗口较小，并不包含所有灰度值，将邻域窗口内所包含的灰度值升序排列，得到升序灰度值序列，将升序灰度值序列作为邻域灰度直方图的横轴，将像素点的个数作为邻域灰度直方图的纵轴，统计邻域窗口内像素点的灰度值，得到角点的邻域灰度直方图。

角点的区域丰富度可以表示如下：

其中，为角点/>的区域丰富度，/>为角点/>邻域窗口内不同灰度值的个数，/>代表角点/>的邻域窗口内灰度值为邻域灰度直方图中第/>个灰度值的像素点的个数，/>代表角点/>的邻域窗口内灰度值为邻域灰度直方图中第/>个灰度值的像素点的个数，/>为角点/>的邻域窗口内其它角点的个数。

当角点的邻域窗口内不同灰度值像素点的个数相差越大时，角点的区域丰富度值越大；当角点附近的其它角点的个数越多时，角点的区域丰富度值越大，越可能处于螺柱区域。

角点的局部凌乱度反映了角点与邻近角点之间距离的凌乱程度，角点的区域丰富度反映了角点邻域窗口内灰度值的波动情况，综合局部凌乱度和区域丰富度，角点的螺纹相似距离可以表示如下：

其中，为角点/>的螺纹相似距离，/>为角点/>的区域丰富度，/>为角点/>的局部凌乱度。

当角点的区域丰富度越高时，说明角点邻域窗口内灰度值的波动程度越高，越可能处于螺柱区域，螺纹相似距离值越大；当角点的局部凌乱度越高时，说明角点与邻近角点之间距离的凌乱程度越高，越可能处于定位块区域，螺纹相似距离值越小。

至此，获取到角点的螺纹相似距离。

螺纹递进指数获取模块，用于根据边界二值图像，获取角点的螺纹递进指数。

由于螺纹纹路的沟壑明显，位于螺柱区域的角点的螺纹相似距离值较大，且比较接近，将边界二值图像进行形态学细化操作得到螺柱形态图像。在螺柱形态图像中，根据边缘的延伸获取与角点的在同一边缘上的相邻近的角点。

角点的8邻域内至少存在两个边缘像素点，任选一个边缘像素点当作角点的下一像素点，记为趋势像素点/>，并且沿着角点/>到边缘像素点/>的方向，得到第一个出现的角点，记为第一趋势角点/>，得到第二个出现的角点，记为第二趋势角点/>，得到第三个出现的角点，记为第三趋势角点/>，第一趋势角点、第二趋势角点和第三趋势角点统称为趋势角点，趋势角点的示意图如图3所示，根据螺纹相似距离获取螺纹递进指数：

其中，为角点/>的螺纹递进指数，/>为角点/>和趋势角点/>的螺纹相似距离的绝对差值，/>为趋势角点/>和趋势角点/>的螺纹相似距离的绝对差值，/>表示以角点/>为起点，以趋势角点/>为终点的向量，/>表示以趋势角点/>为起点，以趋势角点/>为终点的向量，/>表示求两个向量之间的线性相关系数，本实施例采用皮尔逊相关系数，实施者也可采取其它相关技术。

当角点位于螺柱的侧边界处时，趋势角点/>、趋势角点/>和趋势角点/>也位于螺柱的侧边界处，角点/>、趋势角点/>、趋势角点/>和趋势角点/>的螺纹相似距离相差越小，角点/>的螺纹递进指数值越大；且以角点/>为起点，以趋势角点/>为终点的向量/>和以趋势角点/>为起点，以趋势角点/>为终点的向量/>大致平行，线性相关性越高，角点/>的螺纹递进指数值越大。当角点/>、趋势角点/>、趋势角点/>和趋势角点/>的螺纹相似距离相同，向量/>和向量/>平行时，角点/>的螺纹递进指数达到最大值1，说明像素点越可能处于螺柱区域。

至此，获取到角点的螺纹递进指数。

截断距离获取模块，用于根据角点的螺纹相似距离，获取螺纹相似距离降序序列；根据螺纹相似距离降序序列和角点的螺纹递进指数，获取截断距离。

在使用DPC密度峰值聚类算法对螺柱图像进行分割时，过小的截断距离会将一个螺柱分割为多个区域，而过大的截断距离会将螺柱周围的其他区域分割为螺柱区域。因此，可以根据螺柱图像中位于螺柱区域的角点的个数自适应确定DPC密度峰值聚类算法的截断距离。

由于螺纹相似距离大的角点基本位于螺柱侧边界上，对应的螺纹递进指数趋近于1。在螺柱图像上，螺柱区域的角点分布密集，其他区域的角点分布稀疏，获取所有角点的螺纹相似距离，根据螺纹相似距离将角点降序排列，获取螺纹相似距离降序序列，计算前个角点的螺纹递进指数，/>经验取值为/>。为了将螺柱区域内的像素点识别为同一簇类，根据经验将截断距离设置为螺纹相似距离降序序列前/>个角点的螺纹递进指数之和。

至此，获取到截断距离。

控制模块，用于根据截断距离，获取螺柱的初始位置；根据螺柱的初始位置，移动机械抓手，实现对机器人自动上料调控系统的控制。

根据截断距离，将螺柱图像作为DPC密度峰值聚类算法的输入，绘制用于选取聚类中心的决策图，得到聚类中心点，对应于螺柱的初始位置。

在最开始给出螺柱的初始位置，将螺柱的初始位置和预设位置作为PID控制技术的输入，输出机械抓手的移动路线，移动机械抓手，将螺柱根据最优移动路线从初始位置移动到预设位置进行上料，实现对机器人自动上料调控系统的控制。

至此，实现对机器人自动上料调控系统的控制。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

Claims (10)

1.基于机器视觉的机器人自动上料调控系统，其特征在于，所述系统包括以下模块：

螺柱图像采集模块，用于获取包含螺柱的螺柱图像；

螺纹相似距离获取模块，用于根据螺柱图像，获取角点和边界二值图像；根据角点之间的曼哈顿距离，获取角点的局部凌乱度；获取角点的区域丰富度；根据角点的局部凌乱度和区域丰富度，获取角点的螺纹相似距离；

螺纹递进指数获取模块，用于根据边界二值图像，获取角点的螺纹递进指数；

截断距离获取模块，用于根据角点的螺纹相似距离，获取螺纹相似距离降序序列；根据螺纹相似距离降序序列和角点的螺纹递进指数，获取截断距离；

控制模块，用于根据截断距离，获取螺柱的初始位置；根据螺柱的初始位置，移动机械抓手，实现对机器人自动上料调控系统的控制。

2.如权利要求1所述的基于机器视觉的机器人自动上料调控系统，其特征在于，所述根据螺柱图像，获取角点和边界二值图像的方法为：

使用边缘检测算子对螺柱图像进行边缘检测，获取螺柱图像的边缘信息，得到边界二值图像；

使用角点检测算法获取边界二值图像中的角点。

3.如权利要求1所述的基于机器视觉的机器人自动上料调控系统，其特征在于，所述根据角点之间的曼哈顿距离，获取角点的局部凌乱度的方法为：

将距离角点最近的第一预设数目个角点作为角点的邻近角点；

计算角点与角点的邻近角点之间的曼哈顿距离，获得邻近角点的邻域曼哈顿距离；

将所有邻近角点的邻域曼哈顿距离的均值记为曼哈顿均值；

计算每个邻近角点的邻域曼哈顿距离与曼哈顿均值的差值，获得邻近角点的曼哈顿差值；

将所有邻近角点的曼哈顿差值的均值记为角点的局部凌乱度。

4.如权利要求1所述的基于机器视觉的机器人自动上料调控系统，其特征在于，所述获取角点的区域丰富度的方法为：

以角点为中心构建以第一预设长度为边长的邻域窗口；

将邻域窗口内所包含的灰度值升序排列，得到升序灰度值序列；

将升序灰度值序列作为邻域灰度直方图的横轴，将像素点的个数作为邻域灰度直方图的纵轴，统计邻域窗口内像素点的灰度值，得到角点的邻域灰度直方图；

将角点的邻域灰度直方图中除最后一个元素之外的任一元素，记为有效元素；

将邻域灰度直方图中有效元素与相邻后一元素的元素值的差值，记为有效元素的像素点差值；

将有效元素的像素点差值的绝对值记为有效元素的像素点绝对差；

将有效元素的像素点绝对差与邻域窗口内角点个数的乘积记为有效元素的元素丰富度；

将邻域灰度直方图中所有有效元素的元素丰富度的平均值记为角点的区域丰富度。

5.如权利要求1所述的基于机器视觉的机器人自动上料调控系统，其特征在于，所述根据角点的局部凌乱度和区域丰富度，获取角点的螺纹相似距离的方法为：

将角点的区域丰富度与局部凌乱度的比值记为角点的螺纹相似距离。

6.如权利要求5所述的基于机器视觉的机器人自动上料调控系统，其特征在于，所述根据边界二值图像，获取角点的螺纹递进指数的方法为：

对边界二值图像进行形态学细化操作，获取螺柱形态图像；

将边界二值图像像素值为数字1的像素点记为边缘像素点；

根据螺柱形态图像，在角点的八邻域内任选一个边缘像素点记为角点的趋势像素点；

沿着角点到趋势像素点的方向，如果有三个以上的角点，将第一个出现的角点记为第一趋势角点，第二个出现的角点记为第二趋势角点，第三个出现的角点记为第三趋势角点；

将角点与第一趋势角点的螺纹相似距离的绝对差值记为第一绝对差值；

将第二趋势角点与第三趋势角点的螺纹相似距离的绝对差值记为第二绝对差值；

将第一绝对差值与第二绝对差值之差记为第一差值；

将以自然常数为底数，第一差值为指数的幂记为第一指数；

将以角点为起点，以第一趋势角点为终点的向量记为第一向量；

将以第二趋势角点为起点，以第三趋势角点为终点的向量记为第二向量；

将第一向量与第二向量的线性相关系数记为第一相关系数；

将第一相关系数的绝对值记为第一绝对值；

将第一指数与第一绝对值之和记为第一累加和；

将第一累加和的一半记为角点的螺纹递进指数；

沿着角点到趋势像素点的方向，如果不足三个角点，将角点的螺纹递进指数记为零。

7.如权利要求1所述的基于机器视觉的机器人自动上料调控系统，其特征在于，所述根据角点的螺纹相似距离，获取螺纹相似距离降序序列的方法为：

根据角点的螺纹相似距离将角点降序排列，获取螺纹相似距离降序序列。

8.如权利要求1所述的基于机器视觉的机器人自动上料调控系统，其特征在于，所述根据螺纹相似距离降序序列和角点的螺纹递进指数，获取截断距离的方法为：

将螺纹相似距离降序序列中前第二预设数目个角点的螺纹递进指数之和记为截断距离。

9.如权利要求1所述的基于机器视觉的机器人自动上料调控系统，其特征在于，所述根据截断距离，获取螺柱的初始位置的方法为：

根据截断距离，将螺柱图像作为密度峰值聚类算法的输入，绘制用于选取聚类中心的决策图，得到聚类中心点的坐标，将聚类中心点的坐标记为螺柱的初始位置。

10.如权利要求1所述的基于机器视觉的机器人自动上料调控系统，其特征在于，所述根据螺柱的初始位置，移动机械抓手，实现对机器人自动上料调控系统的控制的方法为：

在最开始给出螺柱的初始位置，将螺柱的初始位置和预设位置作为PID控制技术的输入，输出机械抓手的移动路线，移动机械抓手，将螺柱根据最优移动路线从初始位置移动到预设位置进行上料，实现对机器人自动上料调控系统的控制。