CN110142770B - 一种基于头戴显示装置的机器人示教系统及方法 - Google Patents

Abstract

本发明公开了一种基于头戴显示装置的机器人示教系统及方法，当动作捕捉模块将捕获的示教器的三维位姿传入到模型处理模块中，利用该模块中的三维渲染显示软件将此位姿数据进一步计算，获得示教操作模型尾端的三维位姿数据；将所述示教操作模型末端的三维位姿数据传入到头戴显示装置中，后者将位姿数据赋值给程序中负责描绘运动路径轨迹的虚拟机械臂，进行路径显示，提示操作者已完成的轨迹规划情况。实施本发明的有益效果是，利用虚拟机械臂模拟真实机械臂在实际工作过程中的运动轨迹，提示操作员已规划的机器人路径信息，简化机器人示教的过程；且对示教器从多个角度进行三维位姿捕捉，提高了捕捉精度。

Description

一种基于头戴显示装置的机器人示教系统及方法

技术领域

本发明涉及机器人示教领域，更具体地说，涉及一种基于头戴显示装置的机器人示教系统及方法。

背景技术

近年来，随着全球人口老龄化现象持续加重，人类将面临着经济主力人口萎缩、底层劳动人口减少，人工成本上升等问题，因此机器人市场的前景将会非常广阔。利用机器人代替底层劳动者工作，不仅可以节约成本，还可以释放劳动力，其相关技术具有相当高的研究价值和意义。目前全球机器人需求量将保持继续增长，我国工业机器人的市场规模将快速扩大，而机器人示教是利用相关设备对机器人的作业任务进行编程的过程，其主要用于规划机器人的运动，是机器人研究领域的一项重要研究内容。随着工业机器人工作环境变得趋于多样化，所要完成的任务也越来越复杂化，传统的示教方式很难满足现代生产要求，迫切需要我们设计出新的示教方式。离线示教编程示教方式是伴随着计算机图形学发展起来的示教方式。离线示教过程中，不需要机器人实体，可以把机器人从在线示教中解放出来，提高了经济效益；示教者不需要在作业环境近距离接触实体机器人，提高了示教过程的安全性；示教者无需任何操作经验就可以进行示教，示教过程简单。

将增强现实技术引入机器人示教，使虚拟模型能在真实工作场景完成机器人示教，是当前机器人产业的研究热点。目前，基于虚拟现实和增强现实的示教系统在航天、医疗、工业制造等领域均有涉足，但是仍旧存在一些问题有待解决，例如虚拟环境沉浸感差、全息物体与现实环境配准不精确等。如何设计一个基于增强现实的机器人示教系统，增加示教过程的真实感、沉浸感，具有较高的实用价值。

发明内容

本发明要解决的技术问题在于，针对现有技术的缺陷，提供一种基于头戴显示装置的机器人示教系统及方法。

本发明解决其技术问题所采用的技术方案是：构造一种基于头戴显示装置的机器人示教系统，包括设于示教台的机器臂和示教器，以及用于捕捉并传输示教器运动轨迹数据的动作捕捉模块；所述机器人示教系统还包括依次连接的模型处理模块和头戴显示装置；其中：

所述示教器上设有若干个标志物和设于示教器尾端的示教操作模型；其中，所述标志物，用于标识示教器，使得示教器在运动的过程中，能够被所述动作捕捉模块捕捉到；

所述模型处理模块连接到所述动作捕捉模块，用于接收示教器运动轨迹数据，并根据接收到的数据进一步计算出示教器的三维位姿坐标数据；其中，经过计算得到的数据会进一步传输到头戴显示装置；

所述头戴显示装置内设有相机，用于捕捉和识别在示教台上的机械臂图像，进而在相机镜头前实体背景中机械臂所在的位置处，根据接收到的示教器的三维位姿坐标数据，驱动显示装置程序中负责描绘示教器工作路径轨迹的虚拟机械臂，进行虚拟工作路径显示。

进一步的，所述若干个标志物构成一个标志物刚体，所述动作捕捉模块在工作时，对所述标志物刚体质心的三维坐标点进行捕捉，捕捉到的数据进一步传输到模型处理模块，在模型处理模块中采用三维渲染显示系统软件，对动作捕捉模块传来的数据进行处理，计算示教器的三维位姿坐标点。

进一步的，在模型处理模块中采用三维渲染显示系统软件，对动作捕捉模块传来的数据进行处理，并将处理后的数据传输到头戴显示装置中；其中，通过动作捕捉模块传来的标志物刚体质心的三维位姿坐标点，计算示教器的三维位姿坐标点，具体的计算公式为：

其中，t_x、t_y和t_z分别是标志物刚体质心的三维位姿坐标点，m_x、m_y和 m_z分别是示教操作模型尾端的三维位姿坐标点，k是示教操作模型尾端与标志物刚体质心之间的距离，x、y和z分别是标志物刚体质心与坐标系之间的夹角角度。

进一步的，在头戴显示装置中，一方面通过OpenGL工具制作虚拟机械臂；另一方面，通过计算机视觉技术对机械臂图像进行定位和识别，将所述虚拟机械臂定位到位于示教台上的机械臂的一侧。

进一步的，在头戴显示装置中，利用计算机视觉技术，通过提取机械臂图像的特征点，进行图像匹配，进而识别到机械臂图像；所述特征点包括图像的极值点、线段的终点、曲线曲率最大的点，以及水平或者竖直方向上属性最大的点。

进一步的，在进行虚拟工作路径显示前，需通过相机标定技术，计算出头戴显示装置中相机的内、外参数，所述内参数包括相机相对于世界坐标系的旋转和平移变换关系，所述外参数包括相机的焦距和像元尺寸。

进一步的，根据计算得到的相机内、外参数，以机械臂图像的中心为坐标中心，通过坐标转换将三维渲染显示系统和头戴显示装置进行坐标统一，即在真实操作环境里，机械臂图像所处上的位置处，将虚拟机械臂和运动轨迹叠加到相机图像下，实现增强现实显示。

本发明提供的一种基于头戴显示装置的机器人示教方法，包括以下步骤：

S1、示教器模拟示教操作装置工作，动作捕捉模块开始对示教器的运动轨迹进行捕捉；

S2、动作捕捉模块捕捉示教器上的标志物，识别标志物刚体的运动轨迹；

S3、动作捕捉模块将识别到的标志物刚体质心的三维位姿坐标传入模型处理模块中，在模型处理模块中通过三维渲染显示系统软件，计算示教操作模型端点的三维位姿坐标，并传入头戴显示装置；

S4、利用相机标定技术，对头戴显示装置的相机进行坐标标定，通过坐标转换将三维渲染显示系统和头戴显示装置进行坐标统一；

S5、在进行坐标统一后，利用计算机视觉技术对机械臂图像进行识别和定位；

S6、在相机镜头前实体背景中机械臂所在的位置处，根据接收到的示教器的三维位姿坐标数据，驱动显示装置程序中负责描绘示教器工作路径轨迹的虚拟机械臂，进行虚拟工作路径显示。

在本发明所述的一种基于增强现实技术的机器人示教系统及方法中，通过动作捕捉模块获取示教器运动轨迹，将示教器轨迹的三维位姿进行进一步计算，通过三维渲染显示系统软件生成高亮显示的全息路线，在显示终端中进行显示，进而提示操作者规划好的机器人运动轨迹。

实施本发明的一种基于头戴显示装置的机器人示教系统及方法，具有以下有益效果：

1、使用计算机视觉技术对机械臂进行识别和定位，然后通过相机标定技术，将虚拟机械臂和运动轨迹叠加到摄像头图像下，实现增强现实显示，用于提示操作员已规划的机器人路径信息，简化机器人示教的过程；

2、通过使用动作捕捉模块对示教器从多个角度进行三维位姿捕捉，提高了捕捉精度。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是机器人示教系统的结构原理图；

图2是实现机器人示教的方法流程图；

图3是操作对象结构图；

图4是示教器拆分示意图；

图5是示教器立体示意图；

图6是动作捕捉模块结构图。

具体实施方式

为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

本实施例中，以激光清洗为例，对本发明公开的一种机器人示教系统进行详细说明。

请参考图1，其为机器人示教系统的结构原理图，本发明公开的一种基于头戴显示装置的机器人示教系统，包括示教器L1、动作捕捉模块L2、模型处理模块L3、头戴显示装置L4和机械臂L5，其中：

本实施例中，所述示教器上设有八个标志物，其中，八个标志物构成一个标志物刚体；

在示教器的尾端设有示教操作装置，由于在进行激光清洗的过程中，在机械臂的末端，挟持有一只激光笔，本实施例中所述示教操作装置采用激光笔模型，进而模拟真实的工作环境；

为避免在示教过程中，所述示教器被焊接物遮挡，而无法被动作捕捉模块捕捉到的弊端，本实施例中，在每个标志物与示教器之间，固定一标志物延伸杆，对标志物进行空间延伸；

本实施例中，所述标志物设为反光的球体，所述球体用于标识示教器，使得示教器在运动的过程中，能够被动作捕捉模块捕捉到。

所述动作捕捉模块L2用于捕捉并传输示教器运动轨迹数据；本实施例中，利用六个动作捕捉摄像头，对标志物刚体质心的三维坐标位置进行实时和无死角的捕捉；其中，每个摄像头的分辨率为：1280×1024，最大帧速：240FPS。

所述模型处理模块L3，用于接收示教器运动轨迹数据，并根据接收到的数据进一步计算出示教器的三维位姿坐标位置；其中，经过计算得到的数据会进一步传输到头戴显示装置L4；本实施例中，考虑在计算机中利用三维渲染显示系统软件，对动作捕捉模块传来的数据进行处理，其中，通过动作捕捉模块传来的标志物刚体质心的三维位姿坐标点，计算激光笔模型端点的三维位姿坐标点，具体的计算公式为：

其中，t_x、t_y和t_z分别是标志物刚体质心的三维位姿坐标点，m_x、m_y和 m_z分别是激光笔模型尾端的三维位姿坐标点，k是激光笔模型尾端与标志物刚体质心之间的距离，x、y和z分别是标志物刚体质心与坐标系之间的夹角角度；

本实施例中，根据模型处理模块记录下激光笔模型尾端的三维位姿坐标点 m_x、m_y和m_z，以及标志物刚体质心与坐标系之间的夹角角度x、y和z，利用该组信息通过离线方式生成实体工业机器人作业的可执行代码，通过无线或有线网络将上述可执行代码传输到实体工业机器人的控制器之中，进一步控制机械臂的运动方向；其中，将模型处理模块记录的内容均记录在寄存器之中。

所述头戴显示装置L4，用于对示教器的运动轨迹进行显示。本实施例中考虑利用增强现实头戴显示器对示教器的运动轨迹进行高亮显示；该显示器是不受线缆限制的全息计算机设备，能让用户与数字内容交互，并与周围真实环境中的全息影像互动；

在增强现实头戴显示器中，使用相机标定技术将动作捕捉模块、三维渲染显示系统和增强现实头戴显示器三者统一在同一坐标系下进行工作；利用计算机视觉技术，在经过相机标定后，通过捕捉和识别在示教台上实体机器人机械臂图片后，在镜头前实体背景上的位置放置虚拟路径信息。

请参考图2，其为实现机器人示教的方法流程图，其中，具体包括以下步骤：

S1、示教器模拟激光笔工作，动作捕捉模块中设有的6个摄像头开始对示教器的运动轨迹进行捕捉；

S2、动作捕捉模块捕捉示教器上的反光球体，识别标志物刚体的运动轨迹；

S3、动作捕捉模块将识别到的标志物刚体质心的三维位姿坐标传入计算机中，在计算机中通过三维渲染显示系统软件，计算激光笔模型端点的三维位姿坐标，并传入增强现实显示器；

S4、利用相机标定技术，对增强现实头戴显示器的相机进行坐标标定，通过坐标转换将三维渲染显示系统和增强现实头戴显示器进行坐标统一；

S5、在进行坐标统一后，利用计算机视觉技术对机械臂图像进行识别和定位；

S6、在相机镜头前实体背景中机械臂所在的位置处，根据接收到的示教器的三维位姿坐标数据，驱动显示装置程序中负责描绘示教器工作路径轨迹的虚拟机械臂，进行虚拟工作路径显示。

请参考图3，其为操作对象结构图，具体在实施过程中，所述操作对象为操作对象是指各种实际待焊接器件，将操作对象放置在操作台，本实施例中，采用的操作台的长为200cm，宽为100cm，以及高为100cm，进一步通过示教器进行激光焊接；

其中，操作台即是现实中的焊接平台，在进行示教之前，需要读取焊接平台的实际尺寸，进而根据该尺寸在模型处理模块中对虚拟焊接激光笔进行轨迹范围的限制，以防止模型处理模块中的虚拟激光笔出现越界的现象；所述待焊接器件在进行具体实施过程中，需对其反光部分进行涂黑，或者遮挡等处理，防止影响动作捕捉模块对激光笔模型进行轨迹坐标获取。

本发明针对现有项目进行现场引导布局时，其中，操作对象及待焊接器件为T型待加工工件。

请参考图4和图5，其分别为示教器拆分示意图和示教器立体示意图，其中，所述示教器模型由4个部分组成；分别为激光笔模型4.1、标志物识别刚体4.2、延伸杆4.3和握把及握把盖4.4；为了保证示教器可以被动作捕捉模块随时从各个角度捕捉到，本发明将在示教器的中部添加标志物，并对标志物进行了延伸处理，以在复杂工业环境中仍可以被动作捕捉模块的摄像头拍摄到；其中：

激光笔模型4.1，设计成可拆卸部分，可根据不同工业环境中，使用的不同激光笔型号，改变激光笔模型的大小，使得本方案可适用于不同的工业要求；

标志物识别刚体4.2，上下两端十字架型支杆各由长度为十厘米的圆柱体组成，圆柱体两端有深度为一厘米的钻孔，为标志物插入做准备，两十字架型支杆间距十厘米，之所以使用两组十字架型支杆，是为了后续根据两支杆上的标志物计算标志物识别刚体的位姿情况；

延伸杆4.3，本发明设计延伸杆长度为30厘米，由于标志物识别刚体需要实时被动作捕捉模块捕捉到，而人手有时会对其进行遮挡，并且人手距离操作台过近会产生危险，所以可以根据不同的工作环境设计不同长度，不同材料的延伸杆，搭配标志物识别刚体；

握把及握把盖4.4，长15厘米，其内部装置有红外发射器，在服务器端有接收装置对红外发射的信号进行接收，当操作者准备使用时，激活握把上的红外发射器，服务器端根据从红外发射器接收到的信号，驱动动作捕捉模块开始对标志物识别刚体进行动作捕捉，整个机器人示教系统开始工作；所述红外发射器对等于整个系统的控制开关。

请参考图6，其为动作捕捉模块结构图，其中，动作捕捉模块的搭建空间为5.5×3m，捕获空间为5×3m，可以同时捕捉五个刚体。每个摄像头固定在支架上，支架高2.5m，摄像头俯角为60°，六个摄像头方向对准机械臂，且等距离围成边长1.5m的正六边形进行摆放。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (5)

1.一种基于头戴显示装置的机器人示教系统，包括设于示教台的机器臂和示教器，以及用于捕捉并传输示教器运动轨迹数据的动作捕捉模块；其特征在于，所述机器人示教系统还包括依次连接的模型处理模块和头戴显示装置；其中：

所述示教器上设有若干个标志物和设于示教器尾端的示教操作模型；其中，所述标志物，用于标识示教器，使得示教器在运动的过程中，能够被所述动作捕捉模块捕捉到；

所述模型处理模块连接到所述动作捕捉模块，用于接收示教器运动轨迹数据，并根据接收到的数据进一步计算出示教器的三维位姿坐标数据；其中，经过计算得到的数据会进一步传输到头戴显示装置；

所述头戴显示装置内设有相机，用于捕捉和识别在示教台上的机械臂图像，进而在相机镜头前实体背景中机械臂所在的位置处，根据接收到的示教器的三维位姿坐标数据，驱动显示装置程序中负责描绘示教器工作路径轨迹的虚拟机械臂，进行虚拟工作路径显示；所述头戴显示装置中，一方面通过OpenGL工具制作虚拟机械臂；另一方面，通过计算机视觉技术对机械臂进行定位和识别，将所述虚拟机械臂定位到位于示教台上的机械臂的一侧；

在进行虚拟工作路径显示前，需通过相机标定技术，计算出头戴显示装置中相机的内、外参数，所述内参数包括相机相对于世界坐标系的旋转和平移变换关系，所述外参数包括相机的焦距和像元尺寸；

根据计算得到的相机内、外参数，以机械臂图像的中心为坐标中心，通过坐标转换将三维渲染显示系统和头戴显示装置进行坐标统一，即在真实操作环境里，机械臂图像所处的位置处，将虚拟机械臂和运动轨迹叠加到相机图像下，实现增强现实显示。

2.根据权利要求1所述的机器人示教系统，其特征在于，所述若干个标志物构成一个标志物刚体，所述动作捕捉模块在工作时，对所述标志物刚体质心的三维坐标点进行捕捉，捕捉到的数据进一步传输到模型处理模块，在模型处理模块中采用三维渲染显示系统软件，对动作捕捉模块传来的数据进行处理，计算示教器的三维位姿坐标点。

3.根据权利要求2所述的机器人示教系统，其特征在于，在模型处理模块中采用三维渲染显示系统软件，对动作捕捉模块传来的数据进行处理，并将处理后的数据传输到头戴显示装置中；其中，通过动作捕捉模块传来的标志物刚体质心的三维位姿坐标点，计算示教器的三维位姿坐标点，具体的计算公式为：

其中，t_x、t_y和t_z分别是标志物刚体质心的三维位姿坐标点，m_x、m_y和m_z分别是示教操作模型尾端的三维位姿坐标点，k是示教操作模型尾端与标志物刚体质心之间的距离，x、y和z分别是标志物刚体质心与坐标系之间的夹角角度。

4.根据权利要求1所述的机器人示教系统，其特征在于，在头戴显示装置中，利用计算机视觉技术，通过提取机械臂图像的特征点，进行图像匹配，进而识别到机械臂图像；所述特征点包括图像的极值点、线段的终点、曲线曲率最大的点，以及水平或者竖直方向上属性最大的点。

5.一种基于头戴显示装置的机器人示教方法，基于如权利要求1-4任一项所述的机器人示教系统实现，其特征在于，包括以下步骤：

S1、示教器模拟示教操作装置工作，动作捕捉模块开始对示教器的运动轨迹进行捕捉；

S2、动作捕捉模块捕捉示教器上的标志物，识别标志物刚体的运动轨迹；

S3、动作捕捉模块将识别到的标志物刚体质心的三维位姿坐标传入模型处理模块中，在模型处理模块中通过三维渲染显示系统软件，计算示教操作模型端点的三维位姿坐标，并传入头戴显示装置；

S4、利用相机标定技术，对头戴显示装置的相机进行坐标标定，通过坐标转换将三维渲染显示系统和头戴显示装置进行坐标统一；

S5、在进行坐标统一后，利用计算机视觉技术对机械臂图像进行识别和定位；

S6、在相机镜头前实体背景中机械臂所在的位置处，根据接收到的示教器的三维位姿坐标数据，驱动显示装置程序中负责描绘示教器工作路径轨迹的虚拟机械臂，进行虚拟工作路径显示。

Images