CN111508066B - 一种基于3d视觉的无序堆叠工件抓取系统及交互方法 - Google Patents

Abstract

本发明公开了一种基于3D视觉的无序堆叠工件抓取系统及交互方法，涉及3D视觉技术领域。本发明包括任务管理模块、信息交互模块、系统管理模块、图像采集模块及任务执行模块。本发明通过流程化、引导式的任务创建形式，指导工人按既定步骤完成无序工件抓取任务创建，工人只需把握无序工件抓取任务的具体实现流程，不必关注工件点云模型生成、工件匹配识别、抓取位姿计算以及路径规划等技术细节，提升了视觉软件系统的易用性，降低了终端用户的使用门槛和学习成本，缩短了3D视觉引导机器人执行抓取任务的调试时间，提高了生产效率。

Description

一种基于3D视觉的无序堆叠工件抓取系统及交互方法

技术领域

本发明属于3D视觉技术领域，特别是涉及一种基于3D视觉的无序堆叠工件抓取系统及交互方法。

背景技术

3D视觉技术已经应用于制造业当中，通过3D视觉定位识别物体并引导机器人抓取，实现无序工件的分拣、上下料、装配和拆码垛任务。在实际操作过程中，视觉软件系统起着重要作用，是连接3D相机和机器人控制系统的重要桥梁。

目前，市场上3D视觉公司开发的视觉控制软件专业性非常强，更适合专业的视觉工程师使用，需要了解复杂的图像处理算法，需要具备一定的专业知识。常见的视觉控制软件系统的缺陷在于：一方面，专业性很强，需要专业的技术人员使用，对于工厂的普通工人学习成本非常高，很难大规模推广应用；另一方面，易用性很低，即使是专业的技术人员，创建一项任务也需要很长的调试时间，影响生产效率。

现提供一种基于3D视觉的无序堆叠工件抓取系统及交互方法，提升视觉软件系统的易用性，降低终端用户的使用门槛和学习成本，缩短创建无序工件抓取任务的时间。

发明内容

本发明的目的在于提供一种基于3D视觉的无序堆叠工件抓取系统及交互方法，通过流程化、引导式的任务创建方法，用户逐步完成工具模型设置、抓取坐标系设置、工作区域以及料筐的三维线框图设置、可抓取工件的优先级设置以及机器人运动关键路径点的设置，实现3D视觉引导机器人实现无序堆叠工件的抓取，解决了背景技术中提出的问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：

本发明为一种基于3D视觉的无序堆叠工件抓取系统，其特征在于，包括：

图像采集模块，所述图像采集模块用于获取工件和场景的深度图像，图像采集模块采用3D相机，3D相机包括双目3D相机、ToF 3D相机、单目结构光3D相机、双目结构光3D相机；

任务执行模块，所述任务执行模块用于无序工件的抓取操作，任务执行模块采用机器人，机器人包括直角坐标机器人、圆柱坐标机器人、并联机器人、串联多关节机器人，还包括配合机器人执行任务的多种末端执行器；

信息交互模块，所述信息交互模块用于在3D视觉控制系统中嵌入信息输入接口和信息输出接口；其中，信息输入接口用于接收图像采集模块和任务执行模块的状态信息，以及图像采集模块获取的图像数据信息；信息输出接口用于将任务管理模块处理得到的抓取位姿数据及抓取控制指令发送至任务执行模块，将拍照控制指令发送至图像采集模块；

任务管理模块，所述任务管理模块用于支持无序工件抓取任务的创建，用于接收用户的输入信息、图像采集模块提供的图像数据信息，并向任务执行模块输出抓取位姿数据及抓取控制指令；

其中，任务管理模块包括：用户交互单元、图形渲染单元、点云计算单元、匹配识别单元、路径规划单元、避障控制单元、数据管理单元；

系统管理模块，所述系统管理模块用于图像采集模块、任务执行模块的连接状态管理及完成图像采集模块和任务执行模块间的标定工作；

其中，系统管理模块包括：图像采集模块状态监控单元、任务执行模块状态监控单元、相机参数配置单元、手眼标定单元、相机标定单元。

进一步地，所述用户交互单元用于用户通过输入设备和流程化的交互界面操作，进行无序抓取任务的创建，包括三维点云模型编辑、工具模型编辑、抓取坐标系编辑、工作区域设置、工件抓取规则设定、运动路径设置以及任务的启停控制；所述图形渲染单元用于工件或场景的三维点云模型及末端执行器或末端工具模型的显示和编辑；所述点云计算单元用于将图像采集模块获取的深度图像进行处理，获得工件或场景的三维点云模型；所述匹配识别单元通过工件三维点云模型与场景的三维点云模型进行匹配，识别场景中的目标工件并计算得到目标工件位姿数据；所述路径规划单元用于规划机器人末端执行器或末端工具抓取目标工件时进入工作区域和离开工作区域过程中经过的路径点；所述避障控制单元用于在机器人运动过程中使末端执行器或末端工具避开障碍物；所述数据管理单元用于管理工件三维点云模型数据、工具模型数据及用户交互单元输入的数据。

进一步地，所述图像采集模块状态监控单元用于监控3D相机的连接状态；所述任务执行模块状态监控单元用于监控机器人的连接状态；所述相机参数配置单元用于调整相机参数，如曝光时间、帧率、增益、伽玛校验、背光补偿、白平衡，使相机采集图像效果达到最佳；所述手眼标定单元用于获取3D相机坐标系和机器人坐标系的关系，将视觉识别的目标工件位姿变换为机器人坐标系中的抓取位姿数据；所述相机标定单元用于获取3D相机的内参、外参和畸变系数，对3D相机拍摄的图像进行矫正，消除图像的畸变，同时建立图像坐标系与世界坐标系之间的关系。

一种基于3D视觉的无序堆叠工件抓取系统的交互方法，包括以下步骤：

通过任务管理模块提供的任务创建界面，按照任务创建步骤完成无序工件抓取任务创建；用户通过输入设备和交互界面进行无序工件抓取任务的创建，包括三维点云模型创建、抓取坐标系编辑、工具模型编辑、工作区域设置、工件抓取规则设定、运动路径设置和任务启停控制；

其中，信息交互模块的信息输入接口接收图像采集模块获取的待抓取工件深度图像，通过点云计算单元生成工件三维点云模型，通过图形渲染单元的图像显示界面在工件三维点云模型上设置抓取坐标系，带有抓取坐标系的工件三维点云模型通过数据管理单元进行存储；

其中，工件三维点云模型作为场景中工件识别的模板，场景中工件被识别的同时计算得到工件的6D位姿，通过工件的6D位姿确定机器人末端执行器或末端工具抓取工件时的位姿；

其中，信息交互模块的信息输入接口接收图像采集模块获取的待抓取工件堆叠场景的深度图像，经过点云计算单元生成场景的三维点云模型，通过图形渲染单元的图像显示界面在场景的三维点云模型中设置抓取操作的工作区域，并设置装有工件的料筐的三维线框图来表示工作区域，工作区域外点云将被去除，不用于匹配识别计算，提高匹配识别速度，同时，料筐的三维线框图作为工件抓取过程中的障碍物；

其中，基于图形渲染单元的图像显示界面显示、编辑机器人末端执行器或末端工具模型，用户根据实际使用的机器人末端执行器的类型和尺寸编辑工具模型，该模型用于避障控制单元在工件抓取过程中的避障控制；

其中，基于匹配识别单元，在场景中识别多个可抓取的工件时，根据工件的匹配度得分和工件XYZ坐标位置的大小排序来确定工件被抓取的优先级，使抓取任务有序执行；

其中，运动路径设置基于提供的示例程序，在机器人示教器中加载示例程序，移动机器人设置Home点、接近点、回撤点、拍照点和目标点，并在程序中记录这些路径点处工具的位姿，机器人末端执行器或末端工具抓取工件时的位姿由所述路径规划单元计算获得；

在软件界面启动无序工件抓取任务，无序抓取系统处于待命状态，在机器人示教器中启动示例程序，3D视觉即可引导机器人执行抓取任务。

进一步地，基于任务管理模块提供的任务创建界面，按照如下任务创建步骤完成无序工件抓取任务的创建：

步骤S110：确定机器人执行抓取任务中的待抓取工件，通过3D相机为待抓取工件建立三维点云模型；

步骤S120：确定机器人执行抓取任务中使用的末端执行器或末端工具，设置末端执行器或末端工具模型的类型和尺寸；

步骤S130：确定机器人末端工具抓取工件时的位姿，在工件三维点云模型上设置抓取坐标系；

步骤S140：确定待抓取工件所处的区域，利用场景的三维点云模型构建工作区域；

步骤S150：确定机器人抓取工件的规则，设置场景中被识别工件的抓取优先级；

步骤S160：确定机器人抓取工件的路径，设置机器人运行中经过的Home点、接近点、回撤点、拍照点和目标点；

步骤S170：启动任务，3D相机引导机器人执行工件抓取任务。

进一步地，三维点云模型的获取方法为：

步骤S210：将待抓取工件或装有工件的料筐置于3D相机视野正中央；

步骤S220：用户在任务创建界面中触发创建三维点云建模指令；

步骤S230：3D视觉软件系统发送指令给3D相机，3D相机触发拍照，获取待抓取工件或者装有工件的料筐的深度图像，并传输至点云计算单元；

步骤S240：点云计算单元处理深度图像生成三维点云模型，通过图形渲染单元显示在软件界面图像显示区。

进一步地，通过三维点云模型确定抓取坐标系的步骤为：

步骤S310：点云计算单元生成待抓取的工件三维点云模型，经过图像渲染单元显示在软件界面的图像显示区；

步骤S320：用鼠标点击工件三维点云模型相应位置作为抓取点，建立抓取坐标系，用鼠标拖动旋转、平移抓取坐标系粗调位姿，位姿数值实时显示在界面中；

步骤S330：在界面中，通过改变位姿数值大小来微调抓取坐标系位姿，调整到合适数值后锁定位姿。

进一步地，避障控制单元在工件抓取过程中的避障控制过程为：

步骤S410：根据机器人末端执行器或末端工具类型，选择相应的工具模型，工具模型显示在图像显示区；根据实际工具的尺寸，通过键入数值调整工具模型的尺寸，同时通过鼠标点击工具模型的相应部位确定TCP的位置，建立工具模型坐标系，通过改变数值大小微调工具模型坐标系，并与机器人工具坐标系关联；

步骤S420：在图像显示区同时显示工具模型和工件三维点云模型，在3D视觉软件界面触发对齐指令，将工具模型坐标系与工件抓取坐标系自动对齐；

步骤S430：目标场景的三维点云模型显示在3D视觉系统软件界面的图像显示区，用鼠标框选、拖拽生成三维线框图，调整三维线框图尺寸，使其与料筐内壁尺寸一致；

步骤S440：匹配识别单元利用工件三维点云模板识别场景中的工件，确定工具模型在抓取点处的位姿；

步骤S450：路径规划单元规划出接近点与抓取点、抓取点与回撤点间的运动路径，工具模型按照规划的路径运动，避障控制单元监测工具模型与料筐的三维线框图之间的位置关系，保证规划的运动路径中无碰撞发生。

进一步地，还包括一工控设备，所述工控设备包括：处理器、存储器、通讯模块；该工控设备的处理器、存储器和通讯模块可以通过总线或者其他方式连接。

进一步地，所述处理器通过运行存储在存储器中的3D视觉软件程序、指令以及模块，执行3D视觉系统的各种功能及图像数据处理；所述通讯模块提供硬件接口和通讯协议，用于与图像采集模块和任务执行模块间的数据传输；

所述存储器包括存储程序区和存储数据区，其中，存储程序区用于存储操作系统和相应的应用程序；存储数据区用于存储用户创建的数据以及设备生成的数据。

本发明具有以下有益效果：

本发明采用流程化、引导式的任务创建形式，指导工人按既定步骤完成无序工件抓取任务创建，工人只需把握无序工件抓取任务的具体实现流程，不必关注工件三维点云模型生成、工件匹配识别、抓取位姿计算以及路径规划等技术细节，降低了3D视觉软件系统的使用门槛，缩短了3D视觉引导机器人执行抓取任务的调试时间，提高了生产效率。

当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于3D视觉的无序堆叠工件抓取系统的结构示意图；

图2为基于3D视觉的无序堆叠工件抓取系统的信息传递示意图；

图3为任务管理模块的结构示意图；

图4为系统管理模块的结构示意图；

图5为基于3D视觉的无序堆叠工件抓取任务的实现方法的流程示意图；

图6为三维点云模型获取的流程图；

图7为抓取坐标系设置的流程图；

图8为避障控制实现方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例一：

一种基于3D视觉的无序堆叠工件抓取系统，应用于工业领域的随机摆放物料的抓取上下料，具体的，通过构建无序抓取任务，基于上述的无序抓取系统，可实现工件的识别和准确抓取。如图1所示，包括任务管理模块、信息交互模块、系统管理模块、图像采集模块及任务执行模块。图像采集模块用于获取工件和场景的深度图像，其实质是不同类型的3D相机，在实际应用过程中，根据抓取的工件不同采用不同型号的相机，3D相机如双目3D相机、ToF 3D相机、单目结构光3D相机、双目结构光3D相机；图像采集模块将采集的深度图像传输至信息交互模块，并被任务管理模块进一步处理。

任务执行模块，任务执行模块用于无序工件的抓取操作，接收控制指令和位姿数据，其实质是不同类型的机器人，在实际应用过程中，根据抓取的工件不同采用不同类型的机器人，任务执行模块接收到命令后执行工件抓取操作，机器人如直角坐标机器人、圆柱坐标机器人、并联机器人、串联多关节机器人，还包括配合机器人执行任务的多种末端执行器；

信息交互模块作为视觉控制系统的数据交互枢纽，分别外接图像采集模块和任务执行模块，信息交互模块用于在3D视觉控制系统中嵌入信息输入接口和信息输出接口；其中，信息输入接口用于接收图像采集模块和任务执行模块的状态信息，以及图像采集模块获取的图像数据；信息输出接口用于将任务管理模块处理得到的抓取位姿数据及抓取控制指令发送至任务执行模块，将拍照控制指令发送至图像采集模块；

任务管理模块，主要用于提供用户创建任务的交互界面以及图像数据处理后台系统，支持无序工件抓取任务的创建，用于接收用户的输入信息、图像采集模块提供的图像数据信息，并向任务执行模块输出抓取位姿数据及抓取控制指令。通过对工件以及场景的深度图像进行点云计算，获得工件以及场景的三维点云模型，通过工件三维点云模型与场景三维点云模型进行匹配，识别场景中的工件以及工件的位姿。另一方面，任务管理模块提供了流程化的交互界面，任务管理模块通过图形渲染在视屏界面显示工件、工具和场景的三维模型，并配以流程化的任务编辑界面。用户通过鼠标键盘输入设备按照操作流程实现对工件和场景的三维点云模型以及工具模型的编辑。

系统管理模块是整个系统运行的基础保障，实现了图像采集模块和任务执行模块的连接状态管理，支持相机的内外参标定以及相机和机器人坐标系间变换关系的建立；在实际应用过程中，需要采用标定板，如棋盘格式或者圆点式标定板，按照标定流程获取相机的内外参数以及相机和机器人的坐标变换关系。

其中，如图2所示，在实际应用过程中，图像采集模块和任务执行模块的连接状态数据通过信息交互模块上传至主控模块(主控模块包括任务管理模块、系统管理模块)，以图标的形式将连接状态信息显示在交互界面中供用户查看。用户可以通过交互界面查看图像采集模块和任务执行模块的连接状态，一旦出现未连接的情形，用可以通过界面提供的状态检查功能重新连接图像采集模块和任务执行模块。图像采集模块可以采集工件深度图像和目标场景的深度图像，并将深度图像数据通过信息交互模块上传至主控模块，经主控模块处理生成三维点云模型。用户通过交互界面可以编辑工件三维点云模型，如添加抓取坐标系，编辑完成后将工件三维点云模型保存在数据库中，在实际应用过程中，该模型作为识别目标场景中工件的模板。用户通过交互界面可以编辑目标场景三维点云模型，比如编辑场景中的工作区域，实际应用过程中，机器人每次执行抓取操作前，图像采集模块都会提供目标场景的深度图像，经主控模块处理生成目标场景的三维点云模型，通过与工件三维点云模板进行匹配，识别出场景工作区域中的工件，同时计算得到工件的位姿。在实际应用过程中，主控模块通过信息交互模块向图像采集模块和任务执行模块下发控制指令，如3D相机采集图像的控制指令、3D视觉系统无法识别可抓取工件时向机器人发送停止运行指令。主控模块利用工件三维点云模板匹配识别目标场景中的工件并计算得到工件的抓取位姿，通过信息交互模块向任务执行模块发送抓取位姿数据，引导机器人完成工件抓取操作。

其中，如图3所示，任务管理模块包括：用户交互单元、图形渲染单元、点云计算单元、匹配识别单元、路径规划单元、避障控制单元、数据管理单元，用户交互单元用于用户通过输入设备和流程化的交互界面进行无序工件抓取任务的创建，输入设备可以是鼠标、键盘、触摸屏等设备，任务的创建包括三维点云模型编辑、工具模型编辑、抓取坐标系创建、工作区域设置、工件抓取规则设定、运动路径设置以及任务的启停控制。具体的，基于用户交互单元提供3D视觉软件的前端显示界面，用户可以对工件三维点云模型添加抓取坐标系、为目标场景的三维点云设置工作区域、设置料框的三维线框图、编辑工具模型的尺寸，同时还可以设置工件抓取过程中的约束条件。图形渲染单元用于对工件和场景三维点云模型及末端执行器工具模型的渲染和显示，该单元是用户进行点云模型以及工具模型编辑的基础。点云计算单元用于将图像采集模块获取的深度图像进行处理，获得工件、场景的三维点云模型；匹配识别单元通过工件三维点云模型与场景的三维点云模型进行匹配，识别场景中的目标工件并计算得到目标工件位姿数据；路径规划单元用于规划机器人末端执行器或末端工具抓取目标工件时进入工作区域和离开工作区域过程中经过的路径点，本方案根据不同品牌的机器人提供不同的示例程序，在程序中可设定Home点、接近点、回撤点、拍照点和目标点等关键点的点位，待抓取工件的抓取位姿由匹配识别单元计算获得，接近点到抓取点以及抓取点到回撤点之间的路径由路径规划单元自动规划。避障控制单元用于在机器人运动过程中使末端执行器或末端工具避开障碍物；在实际应用过程中，工件常常无序堆叠在料筐中，机器人末端执行器从接近点运动到抓取点，再从抓取点运动到回撤点过程中，末端执行器容易与料筐发生碰撞，用户交互单元可设置与实际末端执行器大小相符的工具模型，同时设置料筐位置的三维线框图，避障控制单元可根据工具模型和料筐的三维线框图之间的相对位置实时进行碰撞监测；数据管理单元用于管理工件三维点云模型数据、工具模型数据及用户交互单元输入的相关数据，在实际应用过程中，用户根据实际场景创建无序工件抓取任务，用户按照流程化操作步骤生成的数据，包括工具模型、工件三维点云模型、工作区域、料筐的三维线框图以及抓取过程中的约束条件，这些数据以及最终生成的任务文件通过数据管理单元进行管理。

其中，如图4所示，系统管理模块包括：图像采集模块状态监控单元、任务执行模块状态监控单元、相机参数配置单元、手眼标定单元、相机标定单元；图像采集模块状态监控单元用于监控3D相机的连接状态；任务执行模块状态监控单元用于监控机器人的连接状态，将连接状态显示在用户界面中，当出现未连接的情形，用可以通过界面提供的状态检查功能重新连接相机和机器人；相机参数配置单元用于调整相机参数，如曝光时间、帧率、增益、伽玛校验、背光补偿、白平衡，使相机采集图像效果达到最佳；在实际应用过程中，采集深度图像的效果受到环境光以及工件材质的影响，为了保证较高的图像采集质量，通过相机参数配置单元调整相机拍照参数；手眼标定单元用于获取3D相机坐标系和机器人坐标系的关系，将视觉识别的目标工件位姿变换为机器人坐标系中的抓取位姿数据；相机标定单元用于获取3D相机的内参、外参和畸变系数，对3D相机拍摄的图像进行矫正，消除图像的畸变，同时建立图像坐标系与世界坐标系之间的关系。

一种基于3D视觉的无序堆叠工件抓取系统的交互方法，包括以下步骤：

通过任务管理模块提供的流程化、引导式的任务创建界面，按照任务创建步骤完成无序工件抓取任务创建；用户通过输入设备和流程化的交互界面进行无序工件抓取任务的创建，包括三维点云模型创建、抓取坐标系编辑、工具模型编辑、工作区域设置、工件抓取规则设定、运动路径设置和任务启停控制；

其中，信息交互模块的信息输入接口接收图像采集模块获取的待抓取工件深度图像，通过点云计算单元生成工件三维点云模型，通过图形渲染单元的图像显示界面在工件三维点云模型上设置抓取坐标系，带有抓取坐标系的工件三维点云模型通过数据管理单元进行存储；

其中，工件三维点云模型作为场景中工件识别的模板，场景中工件被识别的同时计算得到工件的6D位姿，通过工件的6D位姿确定机器人末端执行器或末端工具抓取工件时的位姿；

其中，信息交互模块的信息输入接口接收图像采集模块获取的待抓取工件堆叠场景的深度图像，经过点云计算单元生成场景的三维点云模型，通过图形渲染单元的图像显示界面在场景的三维点云模型中设置抓取操作的工作区域，并设置装有工件的料筐的三维线框图，三维线框图与料筐内壁尺寸一致，同时用料筐的三维线框图来表示工作区域，工作区域外点云将被去除，不用于匹配识别计算，提高匹配识别速度，同时，料筐的三维线框图作为工件抓取过程中的障碍物；

其中，基于图形渲染单元的图像显示界面显示、编辑机器人末端执行器或末端工具模型，用户根据实际使用的机器人末端执行器或末端工具的类型和尺寸编辑工具模型，该模型用于避障控制单元在工件抓取过程中的避障控制；

其中，基于匹配识别单元，在场景中识别多个可抓取的工件时，根据工件的匹配度得分和工件XYZ坐标位置的大小排序来确定工件被抓取的优先级，使抓取任务有序执行；

其中，运动路径设置基于提供的示例程序，在机器人示教器中加载示例程序，移动机器人设置Home点、接近点、回撤点、拍照点和目标点，并在程序中记录这些路径点处工具的位姿，机器人末端执行器或末端工具抓取工件时的位姿由所述路径规划单元计算获得；

其中，所述Home点是机器人末端执行器停止运动时的安全点，作为机器人末端执行器或末端工具开始运动时的起始点和停止运动时的终点；所述接近点是用户设置的机器人末端执行器或末端工具接近待抓取工件进入料筐时料筐上方某一点，以控制机器人末端执行器或末端工具从一固定位置进入料筐；所述回撤点是用户设置的机器人末端执行器或末端工具抓取到待抓取工件离开料筐时料筐上方某一点，以控制机器人末端执行器或末端工具退出到料筐上方一固定点；所述拍照点是机器人运动到该位置时触发相机拍照；所述目标点是机器人末端执行器或末端工具将抓取的工件放置的目标位置；

在软件界面启动无序工件抓取任务，无序抓取系统处于待命状态，在机器人示教器中启动示例程序，3D视觉即可引导机器人执行抓取任务。

实施例二：

基于任务管理模块提供的流程化、引导式的任务创建界面，按照图5任务创建步骤完成无序工件抓取任务的创建：

步骤S110：确定机器人执行抓取任务中的待抓取工件，通过3D相机为待抓取工件建立三维点云模型，实际工作过程中，用户需要指定机器人需要抓取的工件并构建工件三维点云模型；在任务执行时，工件三维点云模型用于匹配识别料筐中的工件，将待抓取工件置于3D相机视野正中，3D视觉软件系统触发3D相机拍照，3D相机接收视觉软件系统拍照指令并执行拍照动作，获取视野下场景的深度图像，包括工作台背景和待抓取工件，3D相机将深度图像数据传输给点云计算单元，点云计算单元去除工作台背景并生成工件三维点云模型，通过图形渲染单元在软件界面图像显示区中直观地进行展示，该工件三维点云模型用于识别目标场景中工件的模板；

步骤S120：确定机器人执行抓取任务中使用的末端执行器或末端工具，设置末端执行器或末端工具模型的类型和尺寸；在任务执行时，机器人需要使用相应的工具抓取工件，因此客户需要根据实际抓取的工件设计相应的机器人末端工具。3D视觉软件系统数据库中预设三种常见的工具模型，客户根据实际的末端工具在软件界面中选择相应的工具模型，工具模型会显示在软件界面图像显示区中，通过尺寸调整功能对工具模型的尺寸进行修改，使之与实际的末端工具尺寸相匹配。工具模型的尺寸调整完成后，建立工具模型坐标系，并与机器人工具坐标系关联；

步骤S130：确定机器人末端工具抓取工件时的位姿，在工件三维点云模型上设置抓取坐标系；在任务执行过程中需要知道机器人末端工具抓取工件的哪一部位，工件三维点云模型直接在软件界面图像显示区中显示，用户可以直接在工件三维点云模型上建立抓取坐标系，然后通过微调功能调整抓取坐标系的位置和姿态，为保证机器人末端工具在实际抓取过程中能够精准抓取，建立的工件三维点云抓取坐标系与步骤S120中生成的工具模型对应的工具坐标系进行对准操作，抓取坐标系调整完成的工件三维点云模型直接保存到模型库中，此模型用于后续抓取任务执行过程中场景中工件的匹配识别以及抓取位姿的计算；

步骤S140：确定待抓取工件所处的区域，利用场景的三维点云模型构建工作区域，一般地，终端用户通过料筐进行上料，工件无序散乱堆放在料筐中，料筐放置于3D相机视野正下方；3D视觉软件系统触发3D相机拍照，3D相机接收视觉软件系统拍照指令并执行拍照动作，获取视野下场景的深度图像，包含工作台背景和装有工件的料筐，相机将深度图像数据传输给点云计算单元进行点云运算；点云计算单元去除工作台背景并生成工件和料筐的三维点云模型，通过图形渲染单元在软件界面图像显示区中直观地进行展示；用户可以在工件和料筐的点云模型中勾画料筐所在区域，并自动生成料筐的三维线框图，三维线框图与料筐内壁尺寸一致，同时三维线框图代表待抓取工件的所处区域；工具模型和料筐的三维线框图之间的位置关系作为避障控制单元的输入数据；

步骤S150：确定机器人抓取工件的规则，设置场景中被识别工件的抓取优先级；在任务执行时，3D相机拍摄装有工件的料筐获得深度图像，并生成工件和料筐的三维点云模型，通过与工件三维点云模型进行匹配，可识别多个可抓取的工件，通过对工件的匹配度得分高低和已识别工件的XYZ坐标值的排序规则进行设置，将这些工件按一定的优先抓取顺序进行排列，同时记录这些工件的位置和姿态。最终，这些结果展示在软件界面中；

步骤S160：确定机器人抓取工件的路径，设置机器人运行的关键路径点；机器人在执行抓取工件过程中，末端工具按照一定的轨迹进行移动完成既定无序工件抓取任务，需要设置机器人运行时经过的关键路径点，包括Home点、接近点、回撤点、拍照点和目标点，这些路径点在机器人端的示例程序中设置，3D视觉软件提供被识别工件的抓取位姿，接近点和抓取点以及抓取点与回撤点之间的路径由视觉软件规划完成，并可以发送给机器人；

步骤S170：启动任务，3D相机引导机器人执行工件抓取任务；上述步骤完成后可以对任务进行保存，在机器人端加载示例程序，然后在视觉软件中启动任务，3D相机即可引导机器人执行工件抓取任务。

步骤S110与步骤S140中，确定待抓取工件以及待抓取工件所处的区域时，需要构建工件、料筐(装有无序堆放的工件)的三维点云模型。竞品3D视觉软件生成三维点云需要用户掌握三维点云的生成过程以及算法工具的作用和参数设置方法，要求终端用户具备一定的专业知识，学习成本较高。本方案通过建模指令便可获取工件的三维点云模型，而触发3D相机拍摄深度图像和点云计算单元生成三维点云模型完全在后台自动完成，对于用户而言，采用一键式操作便可获得点云模型，不必关注点云生成整个流程中的计算细节，更加直观，极大降低了用户的使用成本。

进一步地，如图6所示，三维点云模型的获取方法为：

步骤S210：将待抓取工件或装有工件的料筐置于3D相机视野正中央；

步骤S220：用户在任务创建界面中触发创建三维点云建模指令；

步骤S230：3D视觉软件系统发送指令给3D相机，3D相机触发拍照，获取待抓取工件或者装有工件的料筐的深度图像，并传输至点云计算单元；

步骤S240：点云计算单元处理深度图像生成三维点云模型，通过图形渲染单元显示在软件界面图像显示区。

在抓取任务创建过程中需要指定机器人末端工具抓取工件的位姿，需要在工件三维点云模型上建立抓取坐标系。本方案通过图形渲染单元显示工件三维点云模型，用户通过鼠标键盘的输入即可快速建立抓取坐标系。

进一步地，如图7所示，通过三维点云模型建立抓取坐标系的步骤为：

步骤S310：点云计算单元生成待抓取的工件三维点云模型，经过图像渲染单元显示在软件界面的图像显示区；

步骤S320：用鼠标点击工件三维点云模型相应位置作为抓取点，建立抓取坐标系，用鼠标拖动旋转、平移抓取坐标系粗调位姿，位姿数值实时显示在界面中；

步骤S330：在界面中，通过改变位姿数值大小来微调抓取坐标系位姿，调整到合适数值后锁定位姿。

在实际应用过程中，通过模板匹配识别目标场景中的工件，同时获得工具抓取工件的位姿，3D视觉软件将位姿数据发送到机器人，实现机器人到指定位点抓取工件。

进一步地，在抓取任务实施过程中需要考虑机器人末端工具与料筐的碰撞问题，本方案通过路径规划单元规划出接近点与抓取点、抓取点与回撤点间的运动路径，避障控制单元监测机器人末端工具与料筐的相对位置，保证规划的运动路径中无碰撞发生，避障控制单元在工件抓取过程中的避障控制过程如图8所示：

步骤S410：根据机器人末端执行器或末端工具的类型，选择相应的工具模型，工具模型显示在图像显示区；根据实际工具的尺寸，通过键入数值调整工具模型的尺寸，同时通过鼠标点击工具模型的相应部位确定TCP的大致位置，建立工具模型坐标系，通过改变数值大小微调工具模型坐标系，并与机器人工具坐标系关联；

步骤S420：在图像显示区同时显示工具模型和工件三维点云模型，在3D视觉软件界面触发对齐指令，将工具模型坐标系与工件抓取坐标系自动对齐；

步骤S430：目标场景的三维点云模型显示在3D视觉系统软件界面的图像显示区，用鼠标框选、拖拽生成三维线框图，调整三维线框图尺寸，使其与料筐内壁尺寸一致；

步骤S440：实际应用过程中，图像采集单元将目标场景的深度图像数据传送至点云计算单元生成目标场景三维点云模型，匹配识别单元利用工件三维点云模板识别场景中的工件，确定工具模型在抓取点处的位姿；

步骤S450：路径规划单元规划出接近点与抓取点、抓取点与回撤点间的运动路径，工具模型按照规划的路径运动，避障控制单元监测工具模型与料筐的三维线框图之间的位置关系，保证规划的运动路径中无碰撞发生。

实施例三：

还提供了一种工控设备，工控设备包括：处理器、存储器、通讯模块；该工控设备的处理器、存储器和通讯模块可以通过总线或者其他方式连接。

进一步地，处理器通过运行存储在存储器中的3D视觉软件程序、指令以及模块，执行3D视觉系统的各种功能及图像数据处理，即实现基于3D视觉的无序堆叠工件抓取方法；通讯模块提供硬件接口和通讯协议，用于与图像采集模块和任务执行模块间的数据传输；

存储器包括存储程序区和存储数据区，其中，存储程序区用于存储操作系统和相应的应用程序，如本方案的3D视觉控制应用程序；存储数据区用于存储用户创建的数据以及设备生成的数据，如三维点云模型数据，用户通过交互界面输入的数据等。

上述提供的工控设备可执行上述实施例提供的基于3D视觉的无序堆叠工件抓取方法，包括：信息交互模块的信息输入接口接收图像采集模块获取的工件、工件堆叠场景的深度图像，经过点云计算单元生成三维点云模型；通过图像显示界面在工件三维点云模型上设置抓取坐标系，工件三维点云模型通过数据管理单元进行存储；用户根据实际使用的机器人末端执行器或末端工具的类型和尺寸在图形显示界面中编辑工具模型；通过工件堆叠场景的深度图像设置抓取操作的工作区域；工件三维点云模型作为模板匹配识别场景中的工件并计算工件的6D位姿；通过匹配度得分和工件XYZ坐标位置的大小来排序工件被抓取的优先级等。

一种基于3D视觉的无序堆叠工件抓取系统及交互方法，采用流程化、引导式的任务创建形式，指导工人按既定步骤完成无序工件抓取任务创建，工人只需把握无序工件抓取任务的具体实现流程，不必关注工件三维点云模型生成、工件匹配识别、抓取位姿计算以及路径规划等技术细节，降低了3D视觉软件系统的使用门槛，缩短了3D视觉引导机器人执行抓取任务的调试时间，提高了生产效率。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (10)

1.一种基于3D视觉的无序堆叠工件抓取系统，其特征在于，包括：

图像采集模块，所述图像采集模块用于获取工件和场景的深度图像，所述图像采集模块采用3D相机，3D相机包括双目3D相机、ToF 3D相机、单目结构光3D相机、双目结构光3D相机；

任务执行模块，所述任务执行模块用于无序工件的抓取操作，所述任务执行模块采用机器人，机器人包括直角坐标机器人、圆柱坐标机器人、并联机器人、串联多关节机器人，还包括配合机器人执行任务的末端执行器；

信息交互模块，所述信息交互模块用于在3D视觉控制系统中嵌入信息输入接口和信息输出接口；所述信息输入接口用于接收图像采集模块和任务执行模块的状态信息，以及所述图像采集模块获取的图像数据信息；所述信息输出接口用于将任务管理模块处理得到的抓取位姿数据及抓取控制指令发送至所述任务执行模块，将拍照控制指令发送至所述图像采集模块；

任务管理模块，所述任务管理模块用于支持无序工件抓取任务的创建，用于接收用户的输入信息、所述图像采集模块提供的图像数据信息，并向所述任务执行模块输出抓取位姿数据及抓取控制指令，其中，所述任务管理模块包括：用户交互单元、图形渲染单元、点云计算单元、匹配识别单元、路径规划单元、避障控制单元、数据管理单元，所述点云计算单元用于将图像采集模块获取的深度图像进行处理，获得工件三维点云模型和场景三维点云模型，所述匹配识别单元通过工件三维点云模型与场景三维点云模型进行匹配，识别场景中的目标工件并计算得到抓取位姿数据，其中通过图形渲染单元的图像显示界面在场景三维点云模型中设置抓取操作的工作区域，并设置装有工件的料筐的三维线框图，采用料筐的三维线框图来表示工作区域；所述三维线框图作为工件抓取过程中的障碍物以便避障控制单元在工件抓取过程进行避障控制；系统管理模块，所述系统管理模块用于所述图像采集模块、所述任务执行模块的连接状态管理及完成所述图像采集模块和所述任务执行模块间的标定工作；

其中，所述系统管理模块包括：图像采集模块状态监控单元、任务执行模块状态监控单元、相机参数配置单元、手眼标定单元、相机标定单元。

2.根据权利要求1所述的一种基于3D视觉的无序堆叠工件抓取系统，其特征在于：

所述用户交互单元用于用户通过输入设备和流程化的交互界面进行无序工件抓取任务的创建，所述无序工件抓取任务的创建包括三维点云模型编辑、工具模型编辑、抓取坐标系编辑、工作区域设置、工件抓取规则设定、运动路径设置以及所述无序工件抓取任务的启停控制；

所述图形渲染单元用于工件三维点云模型和场景三维点云模型及末端执行器或末端工具模型的显示和编辑；

所述路径规划单元用于规划机器人末端执行器或末端工具抓取目标工件时进入工作区域和离开工作区域过程中经过的路径点；

所述避障控制单元用于在机器人运动过程中使末端执行器或末端工具避开障碍物；

所述数据管理单元用于管理工件三维点云模型数据、工具模型数据及用户交互单元输入的数据。

3.根据权利要求1所述的一种基于3D视觉的无序堆叠工件抓取系统，其特征在于：

所述图像采集模块状态监控单元用于监控3D相机的连接状态；所述任务执行模块状态监控单元用于监控机器人的连接状态；

所述相机参数配置单元用于调整3D相机的参数；

所述手眼标定单元用于获取3D相机坐标系和机器人坐标系的关系，将视觉识别的目标工件位姿变换为机器人坐标系中的抓取位姿数据；

所述相机标定单元用于获取3D相机的内参、外参和畸变系数，对3D相机拍摄的深度图像进行矫正，消除深度图像的畸变，同时建立图像坐标系与世界坐标系之间的关系。

4.一种权利要求1-3任意一项所述的基于3D视觉的无序堆叠工件抓取系统的交互方法，其特征在于，包括以下步骤：

通过任务管理模块提供的任务创建界面，按照任务创建步骤完成无序工件抓取任务创建；用户通过输入设备和交互界面进行无序工件抓取任务的创建，包括三维点云模型创建、抓取坐标系编辑、工具模型编辑、工作区域设置、工件抓取规则设定、运动路径设置和任务启停控制；

其中，信息交互模块的信息输入接口接收图像采集模块获取的待抓取工件深度图像，通过点云计算单元生成工件三维点云模型，通过图形渲染单元的图像显示界面在工件三维点云模型上建立抓取坐标系，带有抓取坐标系的工件三维点云模型通过数据管理单元进行存储；

其中，工件三维点云模型作为场景中工件识别的模板，场景中工件被识别的同时计算得到工件的6D位姿，通过工件的6D位姿确定机器人末端执行器或末端工具抓取工件时的位姿；

其中，信息交互模块的信息输入接口接收图像采集模块获取的待抓取工件堆叠场景的深度图像，经过点云计算单元生成待抓取工件堆叠场景三维点云模型，基于匹配识别单元匹配工件三维点云模型与场景三维点云模型，识别场景中的目标工件并计算得到抓取位姿数，通过图形渲染单元的图像显示界面在待抓取工件堆叠场景三维点云模型中设置抓取操作的工作区域，并设置装有工件的料筐的三维线框图来表示工作区域，工作区域外点云数据将被去除，同时，料筐的三维线框图作为工件抓取过程中的障碍物；

其中，基于图形渲染单元的图像显示界面显示、编辑机器人末端执行器或末端工具模型，该模型用于避障控制单元在工件抓取过程中的避障控制；

其中，基于匹配识别单元，在场景中识别多个可抓取的工件时，根据工件的匹配度得分和工件XYZ坐标位置的大小排序来确定工件被抓取的优先级；

其中，所述运动路径设置，在机器人示教器中加载示例程序，移动机器人设置Home点、接近点、回撤点、拍照点和目标点，并在程序中记录这些路径点处工具的位姿；

其中，所述任务启停控制，在任务启动后，机器人可执行抓取任务。

5.根据权利要求4所述的一种基于3D视觉的无序堆叠工件抓取系统的交互方法，其特征在于，基于任务管理模块提供的任务创建界面，按照如下任务创建步骤完成无序工件抓取任务的创建：

步骤S110：确定机器人执行抓取任务中的待抓取工件，通过3D相机为待抓取工件建立三维点云模型；

步骤S120：确定机器人执行抓取任务中使用的末端执行器或末端工具，设置末端执行器或末端工具模型的类型和尺寸；

步骤S130：确定机器人末端工具抓取工件时的位姿，在工件三维点云模型上设置抓取坐标系；

步骤S140：确定待抓取工件所处的区域，利用场景的三维点云模型构建工作区域；

步骤S150：确定机器人抓取工件的规则，设置场景中被识别工件的抓取优先级；

步骤S160：确定机器人抓取工件的路径，设置机器人运行中经过的Home点、接近点、回撤点、拍照点和目标点；

步骤S170：启动任务，3D相机引导机器人执行工件抓取任务。

6.根据权利要求4所述的一种基于3D视觉的无序堆叠工件抓取系统的交互方法，其特征在于，三维点云模型的获取方法为：

步骤S210：将待抓取工件或装有工件的料筐置于3D相机视野正中央；

步骤S220：用户在任务创建界面中触发创建三维点云建模指令；

步骤S230：3D视觉软件系统发送指令给3D相机，3D相机触发拍照，获取待抓取工件或者装有工件的料筐的深度图像，并传输至点云计算单元；

步骤S240：点云计算单元处理深度图像生成三维点云模型，通过图形渲染单元显示在软件界面图像显示区。

7.根据权利要求4所述的一种基于3D视觉的无序堆叠工件抓取系统的交互方法，其特征在于，通过三维点云模型确定抓取坐标系的步骤为：

步骤S310：点云计算单元生成待抓取的工件三维点云模型，经过图像渲染单元显示在软件界面的图像显示区；

步骤S320：用鼠标点击工件三维点云模型相应位置作为抓取点，建立抓取坐标系，用鼠标拖动旋转、平移抓取坐标系粗调位姿，位姿数值实时显示在界面中；

步骤S330：在界面中，通过改变位姿数值大小来微调抓取坐标系位姿，调整后锁定位姿。

8.根据权利要求4所述的一种基于3D视觉的无序堆叠工件抓取系统的交互方法，其特征在于，避障控制单元在工件抓取过程中的避障控制过程为：

步骤S410：根据机器人末端执行器或末端工具类型，选择相应的工具模型，工具模型显示在图像显示区；根据实际工具的尺寸，通过键入数值调整工具模型的尺寸，同时通过鼠标点击工具模型的相应部位确定TCP的位置，建立工具模型坐标系，通过改变数值大小微调工具模型坐标系，并与机器人工具坐标系关联；

步骤S420：在图像显示区同时显示工具模型和工件三维点云模型，在3D视觉软件界面触发对齐指令，将工具模型坐标系与工件抓取坐标系自动对齐；

步骤S430：目标场景的三维点云模型显示在3D视觉系统软件界面的图像显示区，用鼠标框选、拖拽生成三维线框图，调整三维线框图尺寸，使其与料筐内壁尺寸一致；

步骤S440：匹配识别单元利用工件三维点云模板识别场景中的工件，确定工具模型在抓取点处的位姿；

步骤S450：路径规划单元规划出接近点与抓取点、抓取点与回撤点间的运动路径，工具模型按照规划的路径运动，避障控制单元监测工具模型与料筐的三维线框图之间的位置关系，保证规划的运动路径中无碰撞发生。

9.根据权利要求4所述的一种基于3D视觉的无序堆叠工件抓取系统的交互方法，其特征在于：还包括一工控设备，所述工控设备包括：处理器、存储器、通讯模块。

10.根据权利要求9所述的一种基于3D视觉的无序堆叠工件抓取系统的交互方法，其特征在于：

所述处理器通过运行存储在存储器中的3D视觉软件程序、指令以及模块，执行3D视觉系统的各种功能及图像数据处理；

所述通讯模块提供硬件接口和通讯协议，用于与图像采集模块和任务执行模块间的数据传输；

所述存储器包括存储程序区和存储数据区，其中，存储程序区用于存储操作系统和相应的应用程序；存储数据区用于存储用户创建的数据以及设备生成的数据。

Images