CN108161904A - 基于增强现实的机器人在线示教装置、系统、方法、设备 - Google Patents

Abstract

本发明涉及一种基于增强现实的机器人在线示教系统，包括示教操作器、方位跟踪传感器、虚拟机器人模型定位器、增强现实显示器以及一计算机，所述计算机包括存储器、处理器以及通信模块，所述存储器存储有程序，所述程序包括进给计算模块、机器人正向运动学模型、机器人控制逻辑及故障设置模块、虚拟机器人渲染模块和方位跟踪模块。本发明中，操作人员可以通过物理的示教操作器驱动虚拟的机器人模型运动，并通过增强现实技术将虚拟的机器人模型叠加在真实场景中，不需要物理机器人即可进行示教训练或者示教编程，提高了机器人示教训练的安全性，降低了成本，可广泛应用教学和示教编程。

Description

基于增强现实的机器人在线示教装置、系统、方法、设备

技术领域

本发明涉及一种基于增强现实的机器人在线示教训练系统，属于机器人和计算机应用领域。

背景技术

现有的机器人示教训练一般是操作人员通过示教器，手动控制机器人的关节运动，以使机器人运动到预定的位置，同时将该位置进行记录，并传递到机器人控制器中，之后的机器人可根据指令自动重复该任务，操作人员也可以选择不同的坐标系对机器人进行示教。正如公开号为CN104552300A的《一种基于示教机器人的离线编程示教装置及方法》，该技术方案通过数据采集系统的位置传感器分别记录关节臂上各自所对应的运动副的移动和转动信息；并将所记录的关节臂每个运动副的移动和转动信息通过通讯总线发送给上位机应用专用软件进行处理与编译，生成机器人程序。

现有的机器人在线示教系统均使用示教编程器控制物理机器人运动，如果操作人员操作不当会使物理机器人与周围的障碍物碰撞，致使物理机器人受到损伤。

针对机器人在线示教训练，申请人发明了一种基于增强现实的机器人在线示教训练系统，属于半实物仿真。

发明内容

为了解决上述技术问题，本发明提供一种基于增强现实的机器人在线示教训练系统，其不需要物理机器人即可进行示教训练或者示教编程，且可以检测虚拟机器人模型与物理环境之间的碰撞，提高了示教训练的安全性和逼真度。

本发明的技术方案如下：

方案一：

基于增强现实的机器人在线示教装置，包括示教操作器、方位跟踪传感器、虚拟机器人模型定位器、增强现实显示器以及一计算机，所述示教操作器、方位跟踪传感器、增强现实显示器均连接至所述计算机；操作人员手持所述示教操作器，所述示教操作器发出的操作数据传输至所述计算机；所述方位跟踪传感器用于检测操作人员头部和虚拟机器人模型定位器上的特征信息，并将所述特征信息发送至所述计算机；所述虚拟机器人模型定位器用于定位虚拟机器人模型在真实环境中的位置并发送至所述计算机；所述计算机处理接收到的数据，并将处理结果发送至所述示教操作器和增强现实显示器，所述示教操作器显示操作结果，所述增强现实显示器显示虚拟机器人模型及其运动图像，并通过虚拟机器人模型定位器定位虚拟机器人模型在真实环境中的位置，从而生成一个虚实叠加的增强现实环境，通过示教操作器控制虚拟机器人模型对真实环境中的被加工件进行加工。

更优地，机器人在线示教装置所述还包括一深度相机，其连接至所述计算机，所述深度相机实时采集物理环境的深度数据，所述计算机结合所述示教操作器发出的操作数据处理后判断虚拟机器人模型是否与物理环境发生碰撞，如果发生碰撞将碰撞信息发送给增强现实显示器，以提示操作者。

方案二：

基于增强现实的机器人在线示教系统，包括进给计算模块、机器人正向运动学模型、虚拟机器人渲染模块和方位跟踪模块；

所述进给计算模块通过计算机内的通信模块接收来自示教操作器的操作数据生成机器人各进给轴的进给量和各动作模块的控制指令，并将其发送至所述通信模块、机器人正向运动学模型以及虚拟机器人渲染模块，通过所述通信模块将所述进给量和控制指令发送至所述示教操作器用于显示；

所述机器人正向运动学模型根据所述进给量和控制指令计算该机器人末端点的位置和姿态，并将末端点的位置和姿态数据通过所述通信模块发送给示教操作器用于显示；

所述方位跟踪模块 接收方位跟踪传感器采集到的特征信息，然后计算虚拟机器人模型定位器和操作人员在物理坐标系中的位置和姿态，并发送至所述虚拟机器人渲染模块；所述特征信息为操作人员的头部和虚拟机器人模型定位器上的特征信息；

所述虚拟机器人渲染模块首先根据虚拟机器人模型定位器的位置和姿态将虚拟环境坐标系与物理坐标系对齐，然后根据所述进给量和控制指令驱动所述虚拟机器人模型的各关节相对运动，最后根据操作人员的头部相对于虚拟机器人模型定位器的位置和姿态生成与操作人员视角相对应的虚拟机器人模型的图像，并将图像发送给增强现实显示器上显示，或者与视频图像叠加后发送给增强现实显示器显示，从而生成一个虚实叠加的增强现实环境，通过示教操作器控制虚拟机器人模型运动，对真实环境中的被加工件进行模拟加工。

更优地，所述机器人在线示教系统还包括一机器人控制逻辑及故障设置模块；所述示教操作器的操作数据通过所述通信模块接收后，分别发送至所述进给计算模块和机器人控制逻辑及故障设置模块； 所述机器人控制逻辑及故障设置模块 根据预先存储的机器人的控制逻辑和预先设置好的故障判断示教操作器判断示教操作器上的操作是否符合机器人的控制逻辑，并判断机器人的被控单元是否存在故障，若符合逻辑且被控单元不存在故障，则发送执行指令给所述进给计算模块；

所述进给计算模块接收到所述示教操作器的操作数据时必须等到所述机器人控制逻辑及故障设置模块发出执行指令后才生成所述进给量和控制指令。

更优地，所述机器人在线示教系统还包括深度图像处理模块和碰撞检测模块，所述深度图像处理模块接收并处理深度相机实时采集到的物理环境的深度数据，然后发送至所述碰撞检测模块，所述碰撞检测模块从所述虚拟机器人渲染模块中获取所述进给量和控制指令，然后结合所述深度数据，判断虚拟机器人模型是否与物理环境发生碰撞，如果发生碰撞则将碰撞信息发送给增强现实显示器，以提示操作者。

方案三：

基于增强现实的机器人在线示教方法，包括如下步骤：

步骤1、通过计算机内的通信模块接收来自示教操作器的操作数据，并生成机器人各进给轴的进给量和各动作模块的控制指令，并将其发送至所述通信模块，通过所述通信模块将所述进给量和控制指令发送至所述示教操作器用于显示；

同时，通过方位跟踪传感器采集特征信息，然后计算虚拟机器人模型定位器和操作人员在物理坐标系中的位置和姿态；所述特征信息为操作人员的头部和虚拟机器人模型定位器上的特征信息；

步骤2、根据所述进给量和控制指令计算该机器人末端点的位置和姿态，并将末端点的位置和姿态数据通过所述通信模块发送给示教操作器用于显示；

步骤3、首先根据设于真实环境中的虚拟机器人模型定位器的位置和姿态将虚拟环境坐标系与物理坐标系对齐，然后根据所述进给量和控制指令驱动所述虚拟机器人模型的各关节相对运动，最后根据操作人员的头部相对于虚拟机器人模型定位器的位置和姿态生成与操作人员视角相对应的虚拟机器人模型的图像，并将图像发送给增强现实显示器上显示，或者与视频图像叠加后发送给增强现实显示器显示，从而生成一个虚实叠加的增强现实环境，通过示教操作器控制虚拟机器人模型运动，对真实环境中的被加工件进行模拟加工；

上述步骤1执行后，所述步骤2和步骤3不分先后顺序，同时执行。

更优地，所述机器人在线示教方法还包括控制逻辑和故障判断过程，具体如下：

所述步骤1具体为：通过计算机内的通信模块接收来自示教操作器的操作数据，根据预先存储的机器人的控制逻辑和预先设置好的故障判断示教操作器上的操作是否符合机器人的控制逻辑，并判断机器人的被控单元是否存在故障，若符合逻辑且被控单元不存在故障，则发送执行指令给所述进给计算模块；所述进给计算模块根据所述操作数据生成机器人各进给轴的进给量和各动作模块的控制指令，并将其发送至所述通信模块，通过所述通信模块将所述进给量和控制指令发送至所述示教操作器用于显示；

同时，通过方位跟踪传感器采集特征信息，然后计算虚拟机器人模型定位器和操作人员在物理坐标系中的位置和姿态；所述特征信息为操作人员的头部和虚拟机器人模型定位器上的特征信息；

然后同时执行所述步骤2和步骤3。

更优地，所述步骤3之后还包括碰撞检测步骤4，具体如下：

所述步骤4具体为：首先接收并处理深度相机实时采集到的物理环境的深度数据，然后获取所述进给量和控制指令，接着结合所述深度数据，判断虚拟机器人模型是否与物理环境发生碰撞，如果发生碰撞则将碰撞信息发送给增强现实显示器，以提示操作者。

方案四：

基于增强现实的机器人在线示教设备，包括示教操作器、方位跟踪传感器、虚拟机器人模型定位器、增强现实显示器以及一计算机，所述计算机包括存储器、处理器以及通信模块，其中，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时能够实现以下步骤：

步骤1、通过所述通信模块接收来自所述示教操作器的操作数据，并生成机器人各进给轴的进给量和各动作模块的控制指令，并将其发送至所述通信模块，通过所述通信模块将所述进给量和控制指令发送至所述示教操作器用于显示；

同时，通过所述方位跟踪传感器采集特征信息，然后计算虚拟机器人模型定位器和操作人员在物理坐标系中的位置和姿态；所述特征信息为操作人员的头部和所述虚拟机器人模型定位器上的特征信息；

步骤2、根据所述进给量和控制指令计算该机器人末端点的位置和姿态，并将末端点的位置和姿态数据通过所述通信模块发送给所述示教操作器用于显示；

步骤3、首先根据设于真实环境中的虚拟机器人模型定位器的位置和姿态将虚拟环境坐标系与物理坐标系对齐，然后根据所述进给量和控制指令驱动所述虚拟机器人模型的各关节相对运动，最后根据操作人员的头部相对于虚拟机器人模型定位器的位置和姿态生成与操作人员视角相对应的虚拟机器人模型的图像，并将图像发送给增强现实显示器上显示，或者与视频图像叠加后发送给增强现实显示器显示，从而生成一个虚实叠加的增强现实环境，通过示教操作器控制虚拟机器人模型运动，对真实环境中的被加工件进行模拟加工；

上述步骤1执行后，所述步骤2和步骤3不分先后顺序，同时执行。

更优地，所述计算机程序被处理时还包括控制逻辑和故障判断过程，具体如下：

所述步骤1具体为：通过计算机内的通信模块接收来自所述示教操作器的操作数据，根据预先存储的机器人的控制逻辑和预先设置好的故障判断示教操作器上的操作是否符合机器人的控制逻辑，并判断机器人的被控单元是否存在故障，若符合逻辑且被控单元不存在故障，则发送执行指令给所述进给计算模块；所述进给计算模块根据所述操作数据生成机器人各进给轴的进给量和各动作模块的控制指令，并将其发送至所述通信模块，通过所述通信模块将所述进给量和控制指令发送至所述示教操作器用于显示；

同时，通过方位跟踪传感器采集特征信息，然后计算虚拟机器人模型定位器和操作人员在物理坐标系中的位置和姿态；所述特征信息为操作人员的头部和虚拟机器人模型定位器上的特征信息；

然后同时执行所述步骤2和步骤3；

所述步骤3执行后，再执行所述步骤4，具体如下：

所述步骤4具体为：在示教空间内设置一深度相机，首先接收并处理所述深度相机实时采集到的物理环境的深度数据，然后获取所述进给量和控制指令，接着结合所述深度数据，判断虚拟机器人模型是否与物理环境发生碰撞，如果发生碰撞则将碰撞信息发送给增强现实显示器，以提示操作者。

本发明具有如下有益效果：

（1）、本发明中，操作人员可以通过物理的示教操作器驱动虚拟的机器人模型运动，并通过增强现实技术将虚拟的机器人模型叠加在真实场景中，不需要物理机器人即可进行示教训练或者示教编程，提高了机器人示教训练的安全性，降低了成本，可广泛应用教学和示教编程。

（2）、本发明中，碰撞检测模块和深度相机相结合，可以检测虚拟机器人模型与物理环境之间的碰撞，提高了训练系统的逼真度。

（3）、本发明中，在机器人控制逻辑和故障设置模型中预先设置故障，从而使模拟机器人故障。

附图说明

图1为本发明机器人在线示教装置的结构示意图；

图2为本发明机器人在线示教系统的示意图；

图3位本发明机器人在线示教方法的流程示意图。

图中附图标记表示为：

1、示教操作器；2、方位跟踪传感器；3、虚拟机器人模型定位器；4、增强现实显示器；5、计算机；6、通信模块；7、进给计算模块；8、机器人正向运动学模型；9、机器人控制逻辑及故障设置模块；10、虚拟机器人渲染模块；11、方位跟踪模块；12、深度相机；13、深度图像处理模块；14、碰撞检测模块；15、被加工件；16、虚拟机器人模型。

具体实施方式

下面结合附图图1至图3和具体实施例来对本发明进行详细的说明。

实施例一：

请参阅图1，基于增强现实的机器人在线示教装置，包括示教操作器1、方位跟踪传感器2、虚拟机器人模型定位器3、增强现实显示器4以及一计算机5，所述示教操作器1、方位跟踪传感器2、增强现实显示器4均连接至所述计算机5；操作人员手持所述示教操作器1，所述示教操作器1发出的操作数据传输至所述计算机5；所述方位跟踪传感器2用于检测操作人员头部和虚拟机器人模型定位器3上的特征信息，并将所述特征信息发送至所述计算机5；所述虚拟机器人模型定位器3用于定位虚拟机器人模型16在真实环境中的位置并发送至所述计算机5；所述计算机5处理接收到的数据，并将处理结果发送至所述示教操作器1和增强现实显示器4，所述示教操作器1显示操作结果，所述增强现实显示器4显示虚拟机器人模型16及其运动图像，并通过虚拟机器人模型定位器3定位虚拟机器人模型在真实环境中的位置，从而生成一个虚实叠加的增强现实环境，通过示教操作器1控制虚拟机器人模型16对真实环境中的被加工件15进行加工。

所述示教操作器1与物理机器人用的示教操作面板相同或者类似，可为带按键手柄的操作面板或者计算机5，示教操作器1与计算机5通过通信接口相连。

所述方位跟踪传感器2根据用于检测操作人员头部和虚拟机器人模型定位器3上的特征信息，因此可以在操作人员头部和虚拟机器人模型定位器3上设置对应的跟踪标志物或图案，从而实现位置和姿态跟踪。在本实施例中，通过增强现实显示器4上的颜色图像传感器采集虚拟机器人模型定位器3上的特征，进行增强现实注册，并确定操作人员头部相对于虚拟机器人模型定位器3的位置和姿态。

更优地，所述机器人在线示教装置还包括一深度相机12，其连接至所述计算机5，所述深度相机12实时采集物理环境的深度数据，所述计算机5 结合所述示教操作器1发出的操作数据处理后判断虚拟机器人模型16是否与物理环境发生碰撞，如果发生碰撞将碰撞信息发送给增强现实显示器4，以提示操作者。

请参阅图3，本发明机器人在线示教装置的工作过程如下：

首先，通过计算机5内的通信模块6接收来自示教操作器1的操作数据，计算机5处理后生成机器人各进给轴的进给量和各动作模块的控制指令，并将其发送至所述通信模块6，通过所述通信模块6将所述进给量和控制指令发送至所述示教操作器1用于显示；

同时，通过方位跟踪传感器2采集特征信息，计算机5根据所述特征信息计算虚拟机器人模型16和操作人员在物理坐标系中的位置和姿态；所述特征信息为操作人员的头部和虚拟机器人模型定位器3上的特征信息，具体地，所述特征信息可以是特征点或图案等。

接着，计算机5根据所述进给量和控制指令利用机器人正向运动学模型8计算该机器人末端点的位置和姿态，并将末端点的位置和姿态数据通过所述通信模块6发送给示教操作器1，以及：根据设于真实环境中的虚拟机器人模型定位器3的位置和姿态将虚拟环境坐标系与物理坐标系对齐，根据所述进给量和控制指令驱动所述虚拟机器人模型16的各关节相对运动，并根据操作人员的头部相对于虚拟机器人模型定位器3的位置和姿态生成与操作人员视角相对应的虚拟机器人模型16的图像，并将图像发送给增强现实显示器4上显示，或者与视频图像叠加后发送给增强现实显示器4显示，从而生成一个虚实叠加的增强现实环境，通过示教操作器1控制虚拟机器人模型16运动，对真实环境中的被加工件15进行模拟加工，如焊接、喷涂等。

实施例二：

重点请参阅图2和图3，基于增强现实的机器人在线示教系统，包括进给计算模块7、机器人正向运动学模型8、虚拟机器人渲染模块10和方位跟踪模块11；

所述进给计算模块7通过计算机5内的通信模块6接收来自示教操作器1的操作数据生成机器人各进给轴的进给量和各动作模块的控制指令，并将其发送至所述通信模块6、机器人正向运动学模型8以及虚拟机器人渲染模块10，通过所述通信模块6将所述进给量和控制指令发送至所述示教操作器1用于显示；所述进给量包括角位移或直线位移；

所述机器人正向运动学模型8根据所述进给量和控制指令计算该机器人末端点的位置和姿态，并将末端点的位置和姿态数据通过所述通信模块6发送给示教操作器1用于显示；

所述方位跟踪模块11 接收方位跟踪传感器2采集到的特征信息，然后计算虚拟机器人模型定位器3和操作人员在物理坐标系中的位置和姿态，并发送至所述虚拟机器人渲染模块10；所述特征信息为操作人员的头部和虚拟机器人模型定位器3上的特征信息；

所述虚拟机器人渲染模块10首先根据虚拟机器人模型定位器3的位置和姿态将虚拟环境坐标系与物理坐标系对齐，然后根据所述进给量和控制指令驱动所述虚拟机器人模型16的各关节相对运动，最后根据操作人员的头部相对于虚拟机器人模型定位器3的位置和姿态生成与操作人员视角相对应的虚拟机器人模型16的图像，并将图像发送给增强现实显示器4上显示，或者与视频图像叠加后发送给增强现实显示器4显示，从而生成一个虚实叠加的增强现实环境，通过示教操作器1控制虚拟机器人模型16运动，对真实环境中的被加工件15进行模拟加工，如焊接、喷涂等。

为了模拟物理机器人可能出现的故障或控制逻辑错误，所述机器人在线示教系统还包括一机器人控制逻辑及故障设置模块9；所述示教操作器1的操作数据通过所述通信模块6接收后，分别发送至所述进给计算模块7和机器人控制逻辑及故障设置模块9； 所述机器人控制逻辑及故障设置模块9 根据预先存储的机器人的控制逻辑和预先设置好的故障判断示教操作器1判断示教操作器1上的操作是否符合机器人的控制逻辑，并判断机器人的被控单元是否存在故障，若符合逻辑且被控单元不存在故障，则发送执行指令给所述进给计算模块7；

所述进给计算模块7接收到所述示教操作器1的操作数据时必须等到所述机器人控制逻辑及故障设置模块9发出执行指令后才生成所述进给量和控制指令。

为了避免物理机器人在实际操作与真实环境之间存在碰撞，因此，在线示教系统中增加了碰撞检测模块14，提高了训练系统的逼真度，具体如下：

所述机器人在线示教系统还包括深度图像处理模块13和碰撞检测模块14，所述深度图像处理模块13接收并处理深度相机12实时采集到的物理环境的深度数据，然后发送至所述碰撞检测模块14，所述碰撞检测模块14从所述虚拟机器人渲染模块10中获取所述进给量和控制指令，然后结合所述深度数据，判断虚拟机器人模型16是否与物理环境发生碰撞，如果发生碰撞则将碰撞信息发送给增强现实显示器4，以提示操作者。

实施例三：

请参阅图3，基于增强现实的机器人在线示教方法，包括如下步骤：

步骤1、通过计算机5内的通信模块6接收来自示教操作器1的操作数据，并生成机器人各进给轴的进给量和各动作模块的控制指令，并将其发送至所述通信模块6，通过所述通信模块6将所述进给量和控制指令发送至所述示教操作器1用于显示；

同时，通过方位跟踪传感器2采集特征信息，然后计算虚拟机器人模型定位器3和操作人员在物理坐标系中的位置和姿态；所述特征信息为操作人员的头部和虚拟机器人模型定位器3上的特征信息；

步骤2、根据所述进给量和控制指令计算该机器人末端点的位置和姿态，并将末端点的位置和姿态数据通过所述通信模块6发送给示教操作器1用于显示；

步骤3、首先根据设于真实环境中的虚拟机器人模型定位器3的位置和姿态将虚拟环境坐标系与物理坐标系对齐，然后根据所述进给量和控制指令驱动所述虚拟机器人模型16的各关节相对运动，最后根据操作人员的头部相对于虚拟机器人模型定位器3的位置和姿态生成与操作人员视角相对应的虚拟机器人模型16的图像，并将图像发送给增强现实显示器4上显示，或者与视频图像叠加后发送给增强现实显示器4显示，从而生成一个虚实叠加的增强现实环境，通过示教操作器1控制虚拟机器人模型16运动，对真实环境中的被加工件15进行模拟加工，如焊接、喷涂等；

上述步骤1执行后，所述步骤2和步骤3不分先后顺序，同时执行。

更优地，为了模拟物理机器人可能出现的故障或控制逻辑错误，所述机器人在线示教方法还包括控制逻辑和故障判断过程，具体如下：

所述步骤1具体为：通过计算机5内的通信模块6接收来自示教操作器1的操作数据，根据预先存储的机器人的控制逻辑和预先设置好的故障判断示教操作器1上的操作是否符合机器人的控制逻辑，并判断机器人的被控单元是否存在故障，若符合逻辑且被控单元不存在故障，则发送执行指令给所述进给计算模块7；所述进给计算模块7根据所述操作数据生成机器人各进给轴的进给量和各动作模块的控制指令，并将其发送至所述通信模块6，通过所述通信模块6将所述进给量和控制指令发送至所述示教操作器1用于显示；

同时，通过方位跟踪传感器2采集特征信息，然后计算虚拟机器人模型定位器3和操作人员在物理坐标系中的位置和姿态；所述特征信息为操作人员的头部和虚拟机器人模型定位器3上的特征信息；

然后同时执行所述步骤2和步骤3。

为了避免物理机器人在实际操作与真实环境（即物理环境）之间存在碰撞，所述步骤3之后还包括碰撞检测步骤4，具体如下：

所述步骤4具体为：首先接收并处理深度相机12实时采集到的物理环境的深度数据，然后获取所述进给量和控制指令，接着结合所述深度数据，判断虚拟机器人模型16是否与物理环境发生碰撞，如果发生碰撞则将碰撞信息发送给增强现实显示器4，以提示操作者。

实施例四：

请参阅图1和图3，基于增强现实的机器人在线示教设备，包括示教操作器1、方位跟踪传感器2、虚拟机器人模型定位器3、增强现实显示器4以及一计算机5，所述计算机5包括存储器、处理器以及通信模块6，其中，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时能够实现以下步骤：

步骤1、通过所述通信模块6接收来自所述示教操作器1的操作数据，并生成机器人各进给轴的进给量和各动作模块的控制指令，并将其发送至所述通信模块6，通过所述通信模块6将所述进给量和控制指令发送至所述示教操作器1用于显示；

同时，通过所述方位跟踪传感器2采集特征信息，然后计算虚拟机器人模型定位器3和操作人员在物理坐标系中的位置和姿态；所述特征信息为操作人员的头部和所述虚拟机器人模型定位器3上的特征信息；

步骤2、根据所述进给量和控制指令计算该机器人末端点的位置和姿态，并将末端点的位置和姿态数据通过所述通信模块6发送给所述示教操作器1用于显示；

步骤3、首先根据设于真实环境中的虚拟机器人模型定位器3的位置和姿态将虚拟环境坐标系与物理坐标系对齐，然后根据所述进给量和控制指令驱动所述虚拟机器人模型16的各关节相对运动，最后根据操作人员的头部相对于虚拟机器人模型定位器3的位置和姿态生成与操作人员视角相对应的虚拟机器人模型16的图像，并将图像发送给增强现实显示器4上显示，或者与视频图像叠加后发送给增强现实显示器4显示，从而生成一个虚实叠加的增强现实环境，通过示教操作器1控制虚拟机器人模型16运动，对真实环境中的被加工件15进行模拟加工，如焊接、喷涂等；

上述步骤1执行后，所述步骤2和步骤3不分先后顺序，同时执行。

为了模拟物理机器人可能出现的故障或控制逻辑错误，所述计算机程序被处理时还包括控制逻辑和故障判断过程，具体如下：

所述步骤1具体为：通过计算机5内的通信模块6接收来自所述示教操作器1的操作数据，根据预先存储的机器人的控制逻辑和预先设置好的故障判断示教操作器1上的操作是否符合机器人的控制逻辑，并判断机器人的被控单元是否存在故障，若符合逻辑且被控单元不存在故障，则发送执行指令给所述进给计算模块7；所述进给计算模块7根据所述操作数据生成机器人各进给轴的进给量和各动作模块的控制指令，并将其发送至所述通信模块6，通过所述通信模块6将所述进给量和控制指令发送至所述示教操作器1用于显示；

同时，通过方位跟踪传感器2采集特征信息，然后计算虚拟机器人模型定位器3和操作人员在物理坐标系中的位置和姿态；所述特征信息为操作人员的头部和虚拟机器人模型定位器3上的特征信息；

然后同时执行所述步骤2和步骤3。

为了避免物理机器人在实际操作与真实环境之间存在碰撞，机器人在线示教设备还包括至少一深度相机12，所述计算机程序被处理时还包括碰撞检测步骤4，所述步骤3执行后，再执行所述步骤4，具体如下：

所述步骤4具体为：首先接收并处理所述深度相机12实时采集到的物理环境的深度数据，然后获取所述进给量和控制指令，接着结合所述深度数据，判断虚拟机器人模型16是否与物理环境发生碰撞，如果发生碰撞则将碰撞信息发送给增强现实显示器4，以提示操作者。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.基于增强现实的机器人在线示教装置，其特征在于：包括示教操作器(1)、方位跟踪传感器(2)、虚拟机器人模型定位器(3)、增强现实显示器(4)以及一计算机(5)，所述示教操作器(1)、方位跟踪传感器(2)、增强现实显示器(4)均连接至所述计算机(5)；操作人员手持所述示教操作器(1)，所述示教操作器(1)发出的操作数据传输至所述计算机(5)；所述方位跟踪传感器(2)用于检测操作人员头部和虚拟机器人模型定位器(3)上的特征信息，并将所述特征信息发送至所述计算机(5)；所述虚拟机器人模型定位器(3)用于定位虚拟机器人模型(16)在真实环境中的位置并发送至所述计算机(5)；所述计算机(5)处理接收到的数据，并将处理结果发送至所述示教操作器(1)和增强现实显示器(4)，所述示教操作器(1)显示操作结果，所述增强现实显示器(4)显示虚拟机器人模型(16)及其运动图像，并通过虚拟机器人模型定位器(3)定位虚拟机器人模型在真实环境中的位置，从而生成一个虚实叠加的增强现实环境，通过示教操作器(1)控制虚拟机器人模型(16)运动，对真实环境中的被加工件(15)进行模拟加工。

2.根据权利要求1所述的基于增强现实的机器人在线示教装置，其特征在于：还包括一深度相机(12)，其连接至所述计算机(5)，所述深度相机(12)实时采集物理环境的深度数据，所述计算机(5)结合所述示教操作器(1)发出的操作数据处理后判断虚拟机器人模型(16)是否与物理环境发生碰撞，如果发生碰撞将碰撞信息发送给增强现实显示器(4)，以提示操作者。

3.基于增强现实的机器人在线示教系统，其特征在于：包括进给计算模块(7)、机器人正向运动学模型(8)、虚拟机器人渲染模块(10)和方位跟踪模块(11)；

所述进给计算模块(7)通过计算机(5)内的通信模块(6)接收来自示教操作器(1)的操作数据生成机器人各进给轴的进给量和各动作模块的控制指令，并将其发送至所述通信模块(6)、机器人正向运动学模型(8)以及虚拟机器人渲染模块(10)，通过所述通信模块(6)将所述进给量和控制指令发送至所述示教操作器(1)用于显示；

所述机器人正向运动学模型(8)根据所述进给量和控制指令计算该机器人末端点的位置和姿态，并将末端点的位置和姿态数据通过所述通信模块(6)发送给示教操作器(1)用于显示；

所述方位跟踪模块(11) 接收方位跟踪传感器(2)采集到的特征信息，然后计算虚拟机器人模型定位器(3)和操作人员在物理坐标系中的位置和姿态，并发送至所述虚拟机器人渲染模块(10)；所述特征信息为操作人员的头部和虚拟机器人模型定位器(3)上的特征信息；

所述虚拟机器人渲染模块(10)首先根据虚拟机器人模型定位器(3)的位置和姿态将虚拟环境坐标系与物理坐标系对齐，然后根据所述进给量和控制指令驱动所述虚拟机器人模型(16) 的各关节相对运动，最后根据操作人员的头部相对于虚拟机器人模型定位器(3)的位置和姿态生成与操作人员视角相对应的虚拟机器人模型(16)的图像，并将图像发送给增强现实显示器(4)上显示，或者与视频图像叠加后发送给增强现实显示器(4)显示，从而生成一个虚实叠加的增强现实环境，通过示教操作器(1)控制虚拟机器人模型(16)运动，对真实环境中的被加工件(15)进行模拟加工。

4.根据权利要求3所述的基于增强现实的机器人在线示教系统，其特征在于：还包括一机器人控制逻辑及故障设置模块(9)；所述示教操作器(1)的操作数据通过所述通信模块(6)接收后，分别发送至所述进给计算模块(7)和机器人控制逻辑及故障设置模块(9)； 所述机器人控制逻辑及故障设置模块(9) 根据预先存储的机器人的控制逻辑和预先设置好的故障判断示教操作器(1)判断示教操作器(1)上的操作是否符合机器人的控制逻辑，并判断机器人的被控单元是否存在故障，若符合逻辑且被控单元不存在故障，则发送执行指令给所述进给计算模块(7)；

所述进给计算模块(7)接收到所述示教操作器(1)的操作数据时必须等到所述机器人控制逻辑及故障设置模块(9)发出执行指令后才生成所述进给量和控制指令。

5.根据权利要求3所述的基于增强现实的机器人在线示教系统，其特征在于：还包括深度图像处理模块(13)和碰撞检测模块(14)，所述深度图像处理模块(13)接收并处理深度相机(12)实时采集到的物理环境的深度数据，然后发送至所述碰撞检测模块(14)，所述碰撞检测模块(14)从所述虚拟机器人渲染模块(10)中获取所述进给量和控制指令，然后结合所述深度数据，判断虚拟机器人模型(16)是否与物理环境发生碰撞，如果发生碰撞则将碰撞信息发送给增强现实显示器(4)，以提示操作者。

6.基于增强现实的机器人在线示教方法，其特征在于，包括如下步骤：

步骤1、通过计算机(5)内的通信模块(6)接收来自示教操作器(1)的操作数据，并生成机器人各进给轴的进给量和各动作模块的控制指令，并将其发送至所述通信模块(6)，通过所述通信模块(6)将所述进给量和控制指令发送至所述示教操作器(1)用于显示；

同时，通过方位跟踪传感器(2)采集特征信息，然后计算虚拟机器人模型定位器(3)和操作人员在物理坐标系中的位置和姿态；所述特征信息为操作人员的头部和虚拟机器人模型定位器(3)上的特征信息；

步骤2、根据所述进给量和控制指令计算该机器人末端点的位置和姿态，并将末端点的位置和姿态数据通过所述通信模块(6)发送给示教操作器(1)用于显示；

步骤3、首先根据设于真实环境中的虚拟机器人模型定位器(3)的位置和姿态将虚拟环境坐标系与物理坐标系对齐，然后根据所述进给量和控制指令驱动所述虚拟机器人模型(16) 的各关节相对运动，最后根据操作人员的头部相对于虚拟机器人模型定位器(3)的位置和姿态生成与操作人员视角相对应的虚拟机器人模型(16)的图像，并将图像发送给增强现实显示器(4)上显示，或者与视频图像叠加后发送给增强现实显示器(4)显示，从而生成一个虚实叠加的增强现实环境，通过示教操作器(1)控制虚拟机器人模型(16)运动，对真实环境中的被加工件(15)进行模拟加工；

上述步骤1执行后，所述步骤2和步骤3不分先后顺序，同时执行。

7.根据权利要求6所述的基于增强现实的机器人在线示教方法，其特征在于，还包括控制逻辑和故障判断过程，具体如下：

所述步骤1具体为：通过计算机(5)内的通信模块(6)接收来自示教操作器(1)的操作数据，根据预先存储的机器人的控制逻辑和预先设置好的故障判断示教操作器(1)上的操作是否符合机器人的控制逻辑，并判断机器人的被控单元是否存在故障，若符合逻辑且被控单元不存在故障，则发送执行指令给所述进给计算模块(7)；所述进给计算模块(7)根据所述操作数据生成机器人各进给轴的进给量和各动作模块的控制指令，并将其发送至所述通信模块(6)，通过所述通信模块(6)将所述进给量和控制指令发送至所述示教操作器(1)用于显示；

同时，通过方位跟踪传感器(2)采集特征信息，然后计算虚拟机器人模型定位器(3)和操作人员在物理坐标系中的位置和姿态；所述特征信息为操作人员的头部和虚拟机器人模型定位器(3)上的特征信息；

然后同时执行所述步骤2和步骤3。

8.根据权利要求6所述的基于增强现实的机器人在线示教方法，其特征在于，所述步骤3之后还包括碰撞检测步骤4，具体如下：

所述步骤4具体为：首先接收并处理深度相机(12)实时采集到的物理环境的深度数据，然后获取所述进给量和控制指令，接着结合所述深度数据，判断虚拟机器人模型(16)是否与物理环境发生碰撞，如果发生碰撞则将碰撞信息发送给增强现实显示器(4)，以提示操作者。

9.基于增强现实的机器人在线示教设备，其特征在于：包括示教操作器(1)、方位跟踪传感器(2)、虚拟机器人模型定位器(3)、增强现实显示器(4)以及一计算机(5)，所述计算机(5)包括存储器、处理器以及通信模块(6)，其中，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时能够实现以下步骤：

步骤1、通过所述通信模块(6)接收来自所述示教操作器(1)的操作数据，并生成机器人各进给轴的进给量和各动作模块的控制指令，并将其发送至所述通信模块(6)，通过所述通信模块(6)将所述进给量和控制指令发送至所述示教操作器(1)用于显示；

同时，通过方位跟踪传感器(2)采集特征信息，然后计算虚拟机器人模型定位器(3)和操作人员在物理坐标系中的位置和姿态；所述特征信息为操作人员的头部和虚拟机器人模型定位器(3)上的特征信息；

步骤2、根据所述进给量和控制指令计算该机器人末端点的位置和姿态，并将末端点的位置和姿态数据通过所述通信模块(6)发送给所述示教操作器(1)用于显示；

步骤3、首先根据设于真实环境中的虚拟机器人模型定位器(3)的位置和姿态将虚拟环境坐标系与物理坐标系对齐，然后根据所述进给量和控制指令驱动所述虚拟机器人模型(16) 的各关节相对运动，最后根据操作人员的头部相对于虚拟机器人模型定位器(3)的位置和姿态生成与操作人员视角相对应的虚拟机器人模型(16)的图像，并将图像发送给增强现实显示器(4)上显示，或者与视频图像叠加后发送给增强现实显示器(4)显示，从而生成一个虚实叠加的增强现实环境，通过示教操作器(1)控制虚拟机器人模型(16)运动，对真实环境中的被加工件(15)进行模拟加工。

10.根据权利要求9所述的基于增强现实的机器人在线示教设备，其特征在于：所述计算机程序被处理时还包括控制逻辑和故障判断过程以及碰撞检测步骤4，具体如下：

所述步骤1具体为：通过计算机(5)内的通信模块(6)接收来自所述示教操作器(1)的操作数据，根据预先存储的机器人的控制逻辑和预先设置好的故障判断示教操作器(1)上的操作是否符合机器人的控制逻辑，并判断机器人的被控单元是否存在故障，若符合逻辑且被控单元不存在故障，则发送执行指令给所述进给计算模块(7)；所述进给计算模块(7)根据所述操作数据生成机器人各进给轴的进给量和各动作模块的控制指令，并将其发送至所述通信模块(6)，通过所述通信模块(6)将所述进给量和控制指令发送至所述示教操作器(1)用于显示；

同时，通过方位跟踪传感器(2)采集特征信息，然后计算虚拟机器人模型定位器(3)和操作人员在物理坐标系中的位置和姿态；所述特征信息为操作人员的头部和虚拟机器人模型定位器(3)上的特征信息；

然后同时执行所述步骤2和步骤3；

所述步骤3执行后，再执行所述步骤4，具体如下：

所述步骤4具体为：在示教空间内设置一深度相机(12)，首先接收并处理所述深度相机(12)实时采集到的物理环境的深度数据，然后获取所述进给量和控制指令，接着结合所述深度数据，判断虚拟机器人模型(16)是否与物理环境发生碰撞，如果发生碰撞则将碰撞信息发送给增强现实显示器(4)，以提示操作者。