CN113954072A - 一种视觉引导的木门工件智能识别定位系统及方法 - Google Patents

Abstract

本发明提供一种视觉引导的木门工件智能识别定位系统及方法，通过该系统通过用户终端制定堆垛任务，实现对定制式木门生产线上的工件的识别与定位，并与机器人控制系统通讯控制机器人末端堆垛组件到达定位结果抓取工件并分拣至指定位置，全程通过用户终端进行位置监控。木门工件定位系统采用双目立体视觉系统通过立体匹配方法获取木门点云数据，经过视觉算法处理，实现对木门的定位与抓取点位置计算。本发明克服了传统示教堆垛方式的不足，采用视觉引导的方式，可有效提高堆垛方案的扩展性，同时相比于人工搬运可以进一步提高作业效率，减轻工人劳动强度，降低作业成本。

Description

一种视觉引导的木门工件智能识别定位系统及方法

技术领域

本发明属于智能加工装备领域，尤其涉及一种视觉引导的木门工件智能识别定位系统及方法。

背景技术

在工业设备生产的过程中，在仓库面积有限的前提下，对物料进行堆垛能否有效减缓仓库压力。存储堆垛提供了必要的缓冲库存，能够有效减少原材料供给和顾客需求的限制给生产活动带来的负面影响，从而提供企业经营的效率。同时，在对物料进行运输前也需要在运输车上进行堆垛存放以尽可能利用货仓。可以说，对物料的堆垛好坏直接影响了运输安全。库房里对物料进行堆垛已经实现了自动化操作，无需人工搬运。

堆垛机器人是应用机械设备、计算机技术、传感技术、人工智能来实现工业生产中工件的快速抓取、搬运、堆垛、拆垛等功能的智能化机器人，堆垛机器人的出现降低了生产和人工成本、提高了生产效率。堆垛机器人适用于化工、化肥、粮食、肥料、食品、建材等行业，可对粉状、颗粒状物料，以及各种袋装、板材等进行全自动包装码垛作业，便于用户储存、运输和销售。

目前大多数建材搬运采用人工搬运，劳动强度大、消耗时间长，且具有一定的危险性。这种工作方式的搬运效率很低，并且搬运工人也不愿意在工厂进行简单的机械的重复性劳动。现有的自动化设备只能对物料进行码垛存放，码垛的路径预设在程序中，由PLC进行控制。上述码垛方法具有局限性，只能根据预设的程序进行操作。此外，物料的码垛误差容易逐渐累加，当误差累加到一定程度后由于高处的重心不在中点处，当运输途中遇到颠簸容易造成物料倒塌，造成极大的安全隐患。

发明内容

本发明所要解决的技术问题是针对背景技术的不足提供了一种视觉引导的木门工件智能识别定位系统及方法，克服了传统示教堆垛方式的不足，采用视觉引导的方式，可有效提高堆垛方案的扩展性，同时相比于人工搬运可以进一步提高作业效率，减轻工人劳动强度，降低作业成本。

本发明为解决上述技术问题采用以下技术方案：

本发明提供一种视觉引导的木门工件智能识别定位系统，包括工业机器人系统、堆垛组件、视觉系统、用户终端和智能识别与定位软件系统；

工业机器人系统，包括依次连接的机器人主控制器、伺服驱动器、机器人本体和末端执行器；所述机器人主控制器用于机器人本体的运动学和动力学计算以及对机器人末端执行器的抓取控制，同时通过以太网通讯在用户终端中显示机器人本体的实时位置、角速度、实时运行线速度、转速；

堆垛组件，包括设置于机器人本体一侧的具有限位传感器的传送带，所述传送带通过以太网通讯与用户终端连接；

用户终端，与机器人主控器连接；所述用户终端通过QT方法进行用户交互界面的编写，包括机器人本体的实时运动状态检测、机器人主控制器通讯模块和机器人识别与定位可视化界面；识别与定位可视化界面包括双目相机影像、立体匹配视差结果图与点云分割图像；

智能识别与定位系统，包括内嵌在用户终端的识别模块和定位模块，还包括设置于传送带上方的双目相机，所述双目相机与用户终端连接，并由识别与定位模块控制；其中，识别模块用于采集木门图像制作数据库并进行图像预处理；在预先设置的超参数下通过深度学习中目标检测方法进行离线图片训练，然后进行实时的木门识别确定木门种类从而匹配目标的堆垛位置。

进一步的，所述机器人本体下连接有机器人固定基座，机器人固定基座带有配重。

进一步的，还包括有相机支架底座，相机支架底座上设置有相机支架伸缩杆，所述双目相机安装在相机支架伸缩杆上，所述双目相机通过USB数据线与用户终端连接。

本发明还提供一种视觉引导的木门工件智能识别定位方法，其特征在于：包括如下步骤：

步骤1，初始化工业机器人系统，输入当前生产线堆垛木门类型文件和堆垛目的地文件，进行模型加载和双目相机的启动准备；

步骤2，通过用户终端控制传送带开始运动，当传送带运动到指定位置后，传感器进行限位；然后通过双目相机采集木门工件图像，通过USB数据传输给用户终端的智能识别与定位系统进行图像处理，利用深度学习目标检测方法进行实时的木门识别确定木门种类，利用基于卷积神经网络的立体匹配方法进行木门工件的三维位置计算；

步骤3，工业机器人系统通过以太网通讯在用户终端中显示机器人本体实时位置、角速度、实时运行线速度、转速信息，同时用户终端通过以太网通讯将识别与定位信息发送给机器人主控制器，根据机器人主控制器中的控制策略与算法，完成机器人本体的运动学和动力学计算，获得抓取位置和堆垛目的地位置；

步骤4，机器人主控制器将位置信息通过总线通讯与伺服驱动器连接，通过串口通讯控制末端执行器的抓取传送带上的定制式木门工件；然后，末端执行器继续运动到达堆垛目的地位置，放置于指定位置；

步骤5，放置工件动作完成后，识别与定位系统的结果进行连续的日志存储，并在数据库中存档，方便后期进行准确性检查；机器人本体沿预设轨迹行驶至初始化位置，等待定制式木门工件到达指定堆垛位置后继续下一轮抓取。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

本发明克服了传统示教堆垛方式死板的不足，采用视觉引导的方式，可有效提高堆垛方案的扩展性。同时相比于人工搬运可以进一步提高作业效率，减轻工人劳动强度，降低作业成本；

本发明采用视觉引导的方式可以满足多种堆垛方式以及多种生产线的定制化需求，通过提前离线的数据处理及模型训练，在线工作是保证识别速率和准确率；

本发明的用户终端操作界面可以提高了用户与操作系统的交互程度，简化了操作难度。同时配备完善的日志监测，对每次运行结果进行保存，方便进行进一步调试和纠错；

本发明将运算量较大的视觉算法处理在工控机上进行，通过网络通讯的方式直接向机器人主控制器输入运算结果大大减小了机器人控制器的运算压力，有效提高时效性。

附图说明

图1为本发明的整体结构示意图；

图2为本发明的硬件架构图；

图3为本发明的操作流程图。

图中，100、智能识别与定位系统，110、双目相机，120、相机支架底座，130、相机支架伸缩杆；

200、工业机器人系统，210、机器人主控制器，220、伺服驱动器，230、末端执行器，240、工业机器人本体；

300、堆垛组件，310、传送带，320、机器人固定底座；

400、用户终端。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本发明的描述中，需要理解的是，术语“左侧”、“右侧”、“上部”、“下部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，“第一”、“第二”等并不表示零部件的重要程度，因此不能理解为对本发明的限制。本实施例中采用的具体尺寸只是为了举例说明技术方案，并不限制本发明的保护范围。

本发明提供一种视觉引导的木门工件智能识别定位系统，如图1、2和3所示，包括工业机器人系统200、堆垛组件300、用户终端400和智能识别与定位系统100。

工业机器人系统200，包括依次连接的机器人主控制器210、伺服驱动器220、机器人本体240和末端执行器230；所述机器人主控制器210用于机器人本体240的运动学和动力学计算以及对机器人的末端执行器230的抓取控制，同时通过以太网通讯在用户终端中显示机器人本体240的实时位置、角速度、实时运行线速度、转速；同时完成对双目相机识别与定位的结果进行分析，同时匹配好堆垛目的地位置。另外，伺服驱动器220应当和减速电机一起配合使用，它是一种用来确定减速电机位置的元件。机器人本体240下连接有工业机器人固定基座320，机器人固定基座320具有配重，根据堆垛最大重量和机器人最大臂展确定，主要是为了在高速重载堆垛过程中防止机器人本体240侧翻与摇晃产生定位误差。

堆垛组件，包括设置于机器人本体一侧的具有限位传感器的传送带310，所述传送带310通过以太网通讯与用户终端400连接；由智能识别与定位系统100控制，当木门工件离开传送带310时及时控制传送带310将下个木门带到指定位置。

用户终端，与机器人主控器210连接；所述用户终端400通过QT方法进行用户交互界面的编写，包括机器人本体240的实时运动状态检测、机器人主控制器210通讯模块和机器人识别与定位可视化界面；识别与定位可视化界面包括双目相机影像、立体匹配视差结果图与点云分割图像；

智能识别与定位系统，包括内嵌在用户终端的识别模块和定位模块，还包括有相机支架底座120，相机支架底座120上设置有相机支架伸缩杆130，相机支架伸缩杆130选择高为2m的可伸缩型不锈钢杆，在相机支架伸缩杆130上安装有双目相机110，所述双目相机110通过USB数据线与用户终端400连接。设置于传送带上方的双目相机110，所述双目相机110与用户终端400连接，并由识别与定位模块控制，实时采集木门加工生产线上的定制式木门工件的图像信息；其中，识别模块用于采集木门图像制作数据库并进行图像预处理；在预先设置的超参数下通过深度学习中目标检测方法进行离线图片训练，然后进行实时的木门识别确定木门种类从而匹配目标的堆垛位置。该视觉布置方案能够最大限度保证木门拍摄质量，为立体匹配算法结果的精度提供支持。

通过双目相机采集定制式木门图像经过识别与定位模块输出检测和定位结果。其中，所述定制式木门识别模块的完成首先需要对生产线上的木门图像采集制作数据库，人为标注定制式木门的型号并进行图像预处理。在预先设置的超参数下通过深度学习中目标检测方法进行离线图像训练，得出最优模型，然后利用最优模型进行实时的木门识别确定木门种类从而匹配目标的堆垛位置。所述定制式木门定位模块通过对双目相机采集的图像进行立体匹配，重建点云图像，得到木门空间位置。定制化木门工件的识别与定位系统内嵌于用户终端，与机器人控制器的通讯主要依靠ModbusTCP通讯协议完成，依靠以太网接口通讯。

在堆垛组件中木门加工生产线中的传送带运动到指定位置后，限位传感器进行限位，此时双目相机采集定制式木门工件图像，发送给用户终端400进行图像处理，计算出木门工件种类与位置信息，用户终端400通过以太网通讯将识别与定位信息机器人主控制器210。机器人主控制器210根据控制策略与算法，完成机器人本体210的运动学和动力学计算，以及与机器人本体210协调工作的外部机构控制，即对末端执行器230的抓取控制，抓取动作结束后，传送带继续运动进行下一阶段工作。

智能识别与定位系统可视化界面进行相机图像读取，立体匹配采用卷积神经网络进行视差图计算。用户终端400主要通过工控机对机器人主控制器210发送工件类型及三维坐标，然后反馈给伺服驱动器220用以控制机器人本体240运动。智能识别与定位系统对结果进行连续的日志存储，并在数据库中存档，方便后期进行准确性检查。

本发明还提供一种视觉引导的木门工件智能识别定位方法，包括如下步骤：

步骤1，初始化工业机器人系统200，输入当前生产线堆垛木门类型文件和堆垛目的地文件，进行模型加载和双目相机110的启动准备；

步骤2，通过用户终端控制传送带开始运动，当传送带运动到指定位置后，传感器进行限位；然后通过双目相机采集木门工件图像，通过USB数据传输给用户终端的智能识别与定位系统进行图像处理，利用深度学习目标检测方法进行实时的木门识别确定木门种类，利用基于卷积神经网络的立体匹配方法进行木门工件的三维位置计算；

步骤3，工业机器人系统200通过以太网通讯在用户终端400中显示机器人本体240实时位置、角速度、实时运行线速度、转速信息，同时用户终端400通过以太网通讯将识别与定位信息发送给机器人主控制器210，根据机器人主控制器210中的控制策略与算法，完成机器人本体240的运动学和动力学计算，获得抓取位置和堆垛目的地位置；

步骤4，机器人主控制器210将位置信息通过总线通讯与伺服驱动器220连接，通过串口通讯控制末端执行器230的抓取传送带上的定制式木门工件；然后，末端执行器230继续运动到达堆垛目的地位置，放置于指定位置；

步骤5，放置工件动作完成后，识别与定位系统的结果进行连续的日志存储，并在数据库中存档，方便后期进行准确性检查；机器人本体240沿预设轨迹行驶至初始化位置，等待定制式木门工件到达指定堆垛位置后继续下一轮抓取。

本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语（包括技术术语和科学术语）具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

以上实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明保护范围之内。上面对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以再不脱离本发明宗旨的前提下做出各种变化。

Claims (4)

1.一种视觉引导的木门工件智能识别定位系统，其特征在于：包括工业机器人系统、堆垛组件、视觉系统、用户终端和智能识别与定位软件系统；

工业机器人系统，包括依次连接的机器人主控制器、伺服驱动器、机器人本体和末端执行器；所述机器人主控制器用于机器人本体的运动学和动力学计算以及对机器人末端执行器的抓取控制，同时通过以太网通讯在用户终端中显示机器人本体的实时位置、角速度、实时运行线速度、转速；

堆垛组件，包括设置于机器人本体一侧的具有限位传感器的传送带，所述传送带通过以太网通讯与用户终端连接；

用户终端，与机器人主控器连接；所述用户终端通过QT方法进行用户交互界面的编写，包括机器人本体的实时运动状态检测、机器人主控制器通讯模块和机器人识别与定位可视化界面；识别与定位可视化界面包括双目相机影像、立体匹配视差结果图与点云分割图像；

智能识别与定位系统，包括内嵌在用户终端的识别模块和定位模块，还包括设置于传送带上方的双目相机，所述双目相机与用户终端连接，并由识别与定位模块控制；其中，识别模块用于采集木门图像制作数据库并进行图像预处理；在预先设置的超参数下通过深度学习中目标检测方法进行离线图片训练，然后进行实时的木门识别确定木门种类从而匹配目标的堆垛位置。

2.根据权利要求1所述的一种视觉引导的木门工件智能识别定位系统，其特征在于：所述机器人本体下连接有机器人固定基座，机器人固定基座带有配重。

3.根据权利要求1所述的一种视觉引导的木门工件智能识别定位系统，其特征在于：还包括有相机支架底座，相机支架底座上设置有相机支架伸缩杆，所述双目相机安装在相机支架伸缩杆上，所述双目相机通过USB数据线与用户终端连接。

4.一种视觉引导的木门工件智能识别定位方法，其特征在于：包括如下步骤：

步骤1，初始化工业机器人系统，输入当前生产线堆垛木门类型文件和堆垛目的地文件，进行模型加载和双目相机的启动准备；

步骤2，通过用户终端控制传送带开始运动，当传送带运动到指定位置后，传感器进行限位；然后通过双目相机采集木门工件图像，通过USB数据传输给用户终端的智能识别与定位系统进行图像处理，利用深度学习目标检测方法进行实时的木门识别确定木门种类，利用基于卷积神经网络的立体匹配方法进行木门工件的三维位置计算；

步骤3，工业机器人系统通过以太网通讯在用户终端中显示机器人本体实时位置、角速度、实时运行线速度、转速信息，同时用户终端通过以太网通讯将识别与定位信息发送给机器人主控制器，根据机器人主控制器中的控制策略与算法，完成机器人本体的运动学和动力学计算，获得抓取位置和堆垛目的地位置；

步骤4，机器人主控制器将位置信息通过总线通讯与伺服驱动器连接，通过串口通讯控制末端执行器的抓取传送带上的定制式木门工件；然后，末端执行器继续运动到达堆垛目的地位置，放置于指定位置；

步骤5，放置工件动作完成后，识别与定位系统的结果进行连续的日志存储，并在数据库中存档，方便后期进行准确性检查；机器人本体沿预设轨迹行驶至初始化位置，等待定制式木门工件到达指定堆垛位置后继续下一轮抓取。

Images