CN113044561B - 智能自动化物料输送方法 - Google Patents

Abstract

本发明公开了一种智能自动化物料输送方法，包括：第一水平传送带接收来自前方生产线的物料进行输送；第一水平传送带沿水平方向输送物料，至第一竖直传送带；第一竖直传送带沿竖直方向输送物料，至第二水平传送带；第二水平传送带沿水平方向输送物料；在第一水平传送带、第二水平传送带和第一竖直传送带周边均设有用于对物料进行生产作业的操作组件，操作组件包括执行机构、驱动机构与检测机构，该方法还包括：驱动机构根据上位机的操作指令控制执行机构运动以对物料进行生产作业；检测机构对执行机构的运行合理性进行实时检测。本发明能够安全稳妥地输送物料至指定位置且有效地利用车间内有限的空间；实现了柔性自动化生产，提高了生产效率。

Description

智能自动化物料输送方法

技术领域

本发明涉及物料输送技术领域，尤其涉及一种智能自动化物料输送方法。

背景技术

随着工业4.0的不断发展，各种智能工厂不断出现，工业机器人得到广泛用。所谓工业机器人是指具有多自由度的机器装置，具有一定的自动性，可依靠自身的动力能源和控制能力实现工业加工制造过程中对物料的抓取、翻转、转移等功能；能模仿人手和臂的某些动作功能，自动地按固定程序抓取、搬运物件或操作工具；其特点是可以通过编程来完成各种预期的作业，构造和性能上兼有人和机械各自的优点；作为物料传送装置可代替人的繁重劳动以实现生产的机械化和自动化，能在有害环境下操作以保护人身安全，因而广泛应用于机械制造、冶金、电子、轻工和原子能等部门。

在物料输送的过程中，往往需要将物料传至上方或下方，现有的物料传送装置常常设置一条有坡度的传送带来进行输送。然而，有些传送带为了节省空间将坡度设置得较大，容易使物料滑落；有些传送带为防止物料滑落而将坡度设置得较小，这样就占用了车间内较大的空间。由此，本领域亟需一种智能自动化物料输送方法，能够安全稳妥地输送物料至指定位置且有效地利用车间内有限的空间。

发明内容

为了克服现有技术的缺陷，本发明所要解决的技术问题是：如何安全稳妥地输送物料至指定位置且有效地利用车间内有限的空间。为解决上述技术问题，本发明提供一种智能自动化物料输送方法，包括如下步骤：

第一水平传送带接收来自前方生产线的物料，进行输送；所述第一水平传送带设于所述前方生产线的出料口处；

所述第一水平传送带沿水平方向输送所述物料，至第一竖直传送带；

所述第一竖直传送带沿竖直方向输送所述物料，至第二水平传送带；

所述第二水平传送带沿水平方向输送所述物料；

在第一水平传送带、第二水平传送带和第一竖直传送带周边均设有用于对物料进行生产作业的操作组件，所述操作组件包括执行机构、驱动机构与检测机构，所述方法还包括如下步骤：

所述驱动机构根据上位机的操作指令控制执行机构运动以对物料进行生产作业；

所述检测机构对所述执行机构的运行合理性进行实时检测。

进一步地，所述方法还包括：

由一组或多组传送带继续输送物料，其中，每组传送带中皆包括沿竖直方向运行的第一竖直传送带和沿水平方向运行的第一水平传送带和第二水平传送带。

进一步地，所述执行机构依次包括抓持组件、连接组件和底座组件，所述抓持组件安装在所述连接组件的前端，所述连接组件的内孔中装有传动轴，所述底座组件为承载支架。

进一步地，所述检测机构包括依次设置的：读取模块、标记模块、分割模块、合成模块以及判断模块，其中，

所述读取模块基于工业互联网实时读取执行机构工作的视频；

所述标记模块在所述读取模块读取的视频的初始帧将抓持组件、连接组件两个机械臂对应的a、b两轴标记为感兴趣区域；

所述分割模块启动跟踪器A和跟踪器 B分别对a、b两轴进行跟踪和分割；

所述合成模块采用最小二乘法对a、b两轴拟合成直线La和Lb；

所述判断模块计算夹角α和β，判断执行机构运行状态是否存在异常；其中，α为La与水平的x轴之间的夹角，β为Lb与La之间的夹角。

进一步地，所述分割模块启动跟踪器A和跟踪器 B分别对a、b两轴进行跟踪和分割，具体包括：

启动跟踪器 A对a轴进行跟踪，启动跟踪器B对b轴进行跟踪；

在标记的感兴趣区域中确定a轴、b轴对应的目标位置；

对a、b两轴分别分割；

输出分割掩码。

与现有技术相比，本发明具有如下技术效果：

（1）本发明的智能自动化物料输送方法设计合理，操作方便，定位精度高，能够安全稳妥地输送物料至指定位置且有效地利用车间内有限的空间；

（2）实现了柔性自动化生产，大幅降低了操作人员的劳动强度，提高了生产效率；

（3）基于工业互联网获取执行机构实时运行高清视频，利用目标跟踪和图像分割技术，解决执行机构在实际运行中因为故障或外因导致运行轨迹出现偏移，影响生产线正常运转的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的智能自动化物料输送方法的步骤流程图；

图2为本发明的执行机构运行合理性检测方法的步骤流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参照图1所示，其为本发明的智能自动化物料输送方法的步骤流程图；所述智能自动化物料输送方法包括如下步骤：

S1、第一水平传送带接收来自前方生产线的物料，进行输送；所述第一水平传送带设于所述前方生产线的出料口处；

S2、所述第一水平传送带沿水平方向输送所述物料，至第一竖直传送带；

S3、所述第一竖直传送带沿竖直方向输送所述物料，至第二水平传送带；

S4、所述第二水平传送带沿水平方向输送所述物料。

具体的，在第一水平传送带、第二水平传送带和第一竖直传送带周边均设有用于对物料进行生产作业的操作组件，所述操作组件包括执行机构、驱动机构与检测机构，所述方法还包括如下步骤：

所述驱动机构根据上位机的操作指令控制执行机构运动以对物料进行生产作业；

所述检测机构对所述执行机构的运行合理性进行实时检测。

进一步地，在步骤S4之后还包括步骤S5，由一组或多组传送带继续输送物料，其中，每组传送带中皆包括沿竖直方向运行的第一竖直传送带和沿水平方向运行的第一水平传送带和第二水平传送带。由此，本发明提供一种阶梯式输送物料的方式，有效地利用车间内有限的空间，且杜绝了物料因上下坡而导致滑落的问题。

为了更好地管理物料，本发明实施例中，在第一水平传送带、第二水平传送带和第一竖直传送带周边均设有用于对物料进行生产作业的操作组件，所述操作组件包括执行机构、驱动机构与检测机构，其中，

所述执行机构依次包括抓持组件、连接组件和底座组件，所述抓持组件安装在所述连接组件的前端，所述连接组件的内孔中装有传动轴，所述底座组件为承载支架；

所述驱动机构可为液压驱动式、气压驱动式、电气驱动式或机械驱动式等，驱动机构使抓持组件完成各种转动（摆动）、移动或复合运动来实现规定的动作，改变被抓持物件的位置和姿势。

所述检测机构包括依次设置的：读取模块、标记模块、分割模块、合成模块以及判断模块，其中，

所述读取模块基于工业互联网实时读取执行机构工作的视频；

所述标记模块在所述读取模块读取的视频的初始帧将抓持组件、连接组件两个机械臂对应的a、b两轴标记为感兴趣区域；

所述分割模块启动跟踪器A和跟踪器 B分别对a、b两轴进行跟踪和分割；

所述合成模块采用最小二乘法对a、b两轴拟合成直线La和Lb；

所述判断模块计算夹角α和β，判断执行机构运行状态是否存在异常；其中，α为La与水平的x轴之间的夹角，β为Lb与La之间的夹角。

进一步地，所述分割模块启动跟踪器A和跟踪器 B分别对a、b两轴进行跟踪和分割，具体包括：

启动跟踪器 A对a轴进行跟踪，启动跟踪器B对b轴进行跟踪；

在标记的感兴趣区域中确定a轴、b轴对应的目标位置；

对a、b两轴分别分割；

输出分割掩码。

本实施例中，所述操作组件还包控制机构，控制机构是通过对执行机构每个自由度的电机等的控制，来完成特定动作的；所述控制机构包括设于所述执行机构上的传感器，传感器反馈信息，形成稳定的闭环控制。所述控制机构的控制要素包括工作顺序、到达位置、动作时间、运动速度、加减速度等，对执行机构的控制包括点位控制和连续轨迹控制。所述控制系统的核心通常是由单片机或DSP等微控制芯片构成，通过对其编程实现所要功能。

此外，随着时代的进度，机器人技术的应用越来越普及，已逐渐渗透到军事、航天、医疗、日常生活等各个领域。机械臂作为机器人的重要执行机构，它的使用不但减少了劳动力降低了劳动成本，而且提高了产品的生产质量和效率，是未来发展的必然趋势。因此，对机械臂关键技术的研究具有重要的现实意义。

目前国内流水生产线没有机械部故障预警装置，完全依赖现场24小时轮流值班人员，不能实时、精确的了解机械臂出现问题，因此在实际生产过程中，机械臂出现故障往往直接影响到整个流水线，从而大大降低生产效率。

因此需要基于工业互联网实时采集机械臂运转数据，对机械臂运行轨迹进行合理性分析，对机械臂可能出现故障的情况，进行及时准确的故障预警非常重要。

由此，本发明提供一种执行机构运行合理性检测方法，以解决执行机构在实际生产中因为故障或外在原因出现运动偏移、导致产品出现质量缺陷的问题。请参照图2所示，其为本发明的执行机构运行合理性检测方法的步骤流程图，所述检测方法包括如下步骤：

S-1、基于工业互联网实时读取执行机构工作的视频；

S-2、在读取的视频的初始帧将抓持组件、连接组件两个机械臂对应的a、b两轴标记为感兴趣区域；具体可为：在视频的第一帧中，对a、b两个轴使用矩形框进行标记，标记中保证目标前景像素的概率，以防止背景干扰导致跟踪漂移，角度不准确的问题；选定的区域作为示例图像被输入到卷积神经网络(Convolutional Neural Networks, CNN)f_θ进行特征提取，在后续的跟踪中通过与该帧进行匹配确定目标位置；

S-3、启动跟踪器A和跟踪器 B分别对a、b两轴进行跟踪和分割；

S-4、采用最小二乘法对a、b两轴拟合成直线La和Lb；

S-5、计算夹角α和β，判断执行机构运行状态是否存在异常；其中，α为La与水平的x轴之间的夹角，β为Lb与La之间的夹角。

进一步地，在步骤S-3中所述的启动跟踪器A和跟踪器 B分别对a、b两轴进行跟踪和分割，具体包括如下步骤：

S-3-1、启动跟踪器 A对a轴进行跟踪，启动跟踪器B对b轴进行跟踪。

启动两个跟踪器分别跟踪，跟踪器的baseline(基线)为SiamMask(对视觉目标跟踪(VOT)和视频目标分割(VOS)的统一框架)网络；即，启动跟踪器tracker A对轴a进行跟踪，启动跟踪器tracker B对轴b进行跟踪；

S-3-2、在标记的感兴趣区域中确定a轴、b轴对应的目标位置；具体地，在S-2标定的第一帧为示例图像z，经过卷积神经网络f_θ后生成特征图f_θ(z)；需要跟踪的后续帧为搜索图像x，经过卷积网络后生成特征图f_θ(x)；为了确定目标的位置，对两者互相关生成特征图：

(1)

特征图g里置信度最大的点即为目标存在位置，*为互相关操作；

S-3-3、对a、b两轴分别分割；具体地，将目标从背景中分割出来，分割的损失函数为：

(2)

特征图g中的每个RoW都使用二元标签yn{±1}标记，如果RoW的一个锚框与真实框 的IOU(Intersection over Union，交并比)值≥0.6，则y_n=1，否则y_n=-1；因此，只有y_n=1时 损失函数才是有效值；每个RoW是一个w×h的预测掩码，

为第n个RoW中预测 掩码的(i，j)处像素所对应的二元标签，目标标记为1，背景标记为0；

为第n个RoW的预 测掩码；

S-3-4、输出分割掩码；具体地，分割完成后，tracker A和tracker B分别输出轴a、b的分割掩码以及分割掩码的最小面积矩形。

进一步地，所述步骤S-4采用最小二乘法对轴a、b拟合成直线La和Lb，具体为：对a,b两轴分割掩码的轮廓分别采用最小二乘法进行直线拟合，记为La和Lb；轮廓由一系列点组成，记为点集U={(x₁,y₁),(x₂,y₂)……(x_m,y_m)}；对于任意直线，可表示为：

(3)

其中，k，c为任意实数；点集U内的点距离拟合的直线的误差平方和为：

(4)

当S的误差最小时，拟合的直线即为最优的；通过对k和c求偏导，得到两者的值，从而确定拟合的直线，即令：

(5)

因此，k值为：

(6)

c值为：

(7)

得出k值和c值后，即可以确定式3的方程，绘制直线La和Lb。

进一步地，所述步骤S-5计算夹角α和β，具体为：通过计算夹角α和β来判断机械臂是否正常工作。

角度α，为La与x轴夹角，在S4中已知直线La的斜率，通过三角函数公式可得到夹角α：

(8)

对于角度β，通过计算Lb与La的夹角可得，首先通过式7计算Lb与x轴的夹角θ，从而，β为：

(9)

通过夹角α和β判断机械臂运行是否存在异常。

与现有技术相比，本发明的执行机构运行合理性检测方法基于工业互联网获取执行机构实时运行高清视频，利用目标跟踪和图像分割技术，解决执行机构在实际运行中因为故障或外因导致运行轨迹出现偏移，影响生产线正常运转的问题。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (2)

1.一种智能自动化物料输送方法，其特征在于，包括如下步骤：

第一水平传送带接收来自前方生产线的物料，进行输送；所述第一水平传送带设于所述前方生产线的出料口处；

所述第一水平传送带沿水平方向输送所述物料，至第一竖直传送带；

所述第一竖直传送带沿竖直方向输送所述物料，至第二水平传送带；

所述第二水平传送带沿水平方向输送所述物料；

在第一水平传送带、第二水平传送带和第一竖直传送带周边均设有用于对物料进行生产作业的操作组件，所述操作组件包括执行机构、驱动机构与检测机构，所述方法还包括如下步骤：

所述驱动机构根据上位机的操作指令控制执行机构运动以对物料进行生产作业；

所述检测机构对所述执行机构的运行合理性进行实时检测；

所述执行机构依次包括抓持组件、连接组件和底座组件，所述抓持组件安装在所述连接组件的前端，所述连接组件的内孔中装有传动轴，所述底座组件为承载支架；

所述检测机构包括依次设置的：读取模块、标记模块、分割模块、合成模块以及判断模块，其中，

所述读取模块基于工业互联网实时读取执行机构工作的视频；

所述标记模块在所述读取模块读取的视频的初始帧将抓持组件、连接组件两个机械臂对应的a、b两轴标记为感兴趣区域，具体包括：在视频的第一帧中，对a、b两轴使用矩形框进行标记，并将标记的区域作为示例图像z；

所述分割模块启动跟踪器A和跟踪器 B分别对a、b两轴进行跟踪和分割；包括，启动跟踪器 A对a轴进行跟踪，启动跟踪器B对b轴进行跟踪；在标记的感兴趣区域中确定a轴、b轴对应的目标位置，具体地，将示例图像z经过卷积神经网络f_θ生成特征图f_θ(z)，将需要跟踪的后续帧作为搜索图像x，经过卷积网络生成特征图f_θ(x)，对两者互相关生成特征图g，将特征图g里置信度最大的点确定为目标存在位置；对a、b两轴分别分割；输出分割掩码；

所述合成模块采用最小二乘法对a、b两轴拟合成直线La和Lb；

所述判断模块计算夹角α和β，判断执行机构运行状态是否存在异常；其中，α为La与水平的x轴之间的夹角，β为Lb与La之间的夹角。

2.根据权利要求1所述的智能自动化物料输送方法，其特征在于，所述方法还包括：

由一组或多组传送带继续输送物料，其中，每组传送带中皆包括沿竖直方向运行的第一竖直传送带和沿水平方向运行的第一水平传送带和第二水平传送带。

Images