CN106363637B - 一种机器人快速示教方法及装置 - Google Patents

Abstract

本发明公开了一种机器人快速示教方法，包括以下步骤：启动示教模式，摄像机捕捉机器人及其所在环境的画面信息；将捕捉的画面信息合成为全景视频信号输出到增强现实设备上；捕捉使用者的躯体运动数据，作为示教动作的输入信号；将此输入信号投射到机器人中，判断机器人是否按照使用者的示教动作做出相应的动作，如果是，则使用语音命令为该示教动作命名；将语音命令转化为文字关键字储存在原语数据库中，示教结束。本发明还公开了一种机器人快速示教装置，包括机器人、摄像机、增强现实设备、动作捕捉模块、麦克风以及扬声器。本发明在混合现实的环境下，采用语音编程技术，提高了对机器人的编程效率。

Description

一种机器人快速示教方法及装置

技术领域

本发明属于机器人应用领域，特别涉及一种机器人快速示教方法及装置。

背景技术

如今，随着机器人技术的不断发展，机器人已经在人类社会的工业生产领域当中扮演着举足轻重的角色，机器人的大批量应用提升了工厂的生产自动化程度，提升了生产线的制造效率。然而，在机器人的实际应用当中，却需要花费大量的时间来对机器人进行示教编程。目前，现有机器人示教技术大多存在模拟场景的精确度不高、难以真实还原机器人所处的环境等问题，同时，还存在着语音识别的准确度不高、要求使用者使用规定的语句语速下达命令等问题。

中国专利号：CN105679315A，名称：一种语音控制且可语音编程的控制方法和系统，该发明公开了一种语音控制且可语音编程的控制方法和系统，该方法具体为：选取部分特定关键字作为系统保留语音命令，使用者需使用指定方式提醒系统接下来的语音为控制命令，系统分析使用者的语音命令，若数据库中存在则直接执行，若数据库中不存在，则提示使用者进行演示，使用者演示结束后系统将该语音命令以及对应的操作存入数据库供以后使用。该发明减少了前期设计语音命令的工作量，降低了后期进行调整的难度，扩大了语音控制的适用使用者范围。然而，该发明并没有将使用者的语音指令先转化为文字再和系统数据库中的命令关键词进行比对，直接的语音识别的准确性较低，因此，该发明并不能完全适用于现实的工业制造当中。

中国专利号：CN104772754A，名称：一种机器人示教器及示教方法，该发明公开了一种机器人示教器及示教方法，用以提高示教效率，实现机器人的自动示教。所述示教过程通过示教器控制机械手沿不同方向运动，通过设置在机械手手指上的第一传感器的检测，确定出机械手在第一方向上的示教坐标，通过设置在机械手手指根部上的第二传感器的检测，确定出机械手在第二方向上的示教坐标，通过设置在机械手底座上的第三传感器的检测，确定出机械手在第三方向上的示教坐标，最后由第一方向上的示教坐标、第二方向上的示教坐标、第三方向上的示教坐标，确定出示教位置的坐标。在整个示教过程中不需要操作人员对机械手进行调节，能够实现机器人示教过程的自动化，能够极大地提高示教的精度并缩短示教的时间。然而，该发明需要使用者在目视距离内对机器人进行示教，这样使得使用者并不能透过多视角对机器人进行精确的示教，使用者的视角容易受到遮掩，进而影响示教的效率和精度。

综上，在工业生产的实际应用中，由计算机生成机器人的行动轨迹存在计算复杂、需要规避奇点等问题，这延长了对机器人的示教时间，从而降低了示教的效率，因此，迫切需要高效的示教编程方法。

发明内容

本发明的一个目的在于克服现有技术的缺点与不足，提供一种机器人快速示教方法，其在混合现实的环境下，采用语音编程技术，提高了对机器人的编程效率。

本发明的另一个目的在于提供一种机器人快速示教装置，该装置可以实现在混合现实的环境下，采用语音编程技术，对机器人进行高效示教。

本发明的目的通过以下的技术方案实现：一种机器人快速示教方法，包括以下步骤：

S1、启动示教模式，摄像机捕捉机器人及其所在环境的画面信息；

S2、将捕捉的画面信息合成为全景视频信号输出到增强现实设备上；

S3、捕捉使用者的躯体运动数据，作为示教动作的输入信号；

S4、将此输入信号投射到机器人中，判断机器人是否按照使用者的示教动作做出相应的动作，如果是，则使用语音命令为该示教动作命名；

S5、将语音命令转化为文字关键字储存在原语数据库中，示教结束；所述原语数据库是用于存储不同的示教动作及其对应的文字关键字的数据库。

优选的，步骤S3中，根据使用者的躯体运动数据模拟出使用者的手部，并在增强现实设备中显示模拟手部动画供使用者观察。

优选的，步骤S3中，通过可穿戴式外骨骼或视觉摄像头(Kinect等)捕捉使用者的躯体运动数据。

进一步的，步骤S3中，通过可穿戴式外骨骼捕捉使用者的躯体运动数据时，使用者用一只手牵引机器人手臂的末端进行运动，另外一只手负责牵引机器人手臂关节的运动，使得机器人的运动轨迹能够跟随使用者的示教动作获得唯一解。

进一步的，在示教过程中，可穿戴式外骨骼将力反馈信息提供给使用者以用于调整使用者示教动作的力道。

优选的，步骤S4中，输入信号投射到机器人中后，机器人做出相应的动作过程实时显示在现实增强设备上。

优选的，通过多方位摄像机捕捉机器人及其所在环境的画面信息，在示教过程中，观察视角可调。因此，使用者可以自主选择观察视角，根据机器人及其周边的环境信息变化及时调整示教操作。

优选的，在示教过程结束后，接收使用者输入的语音命令，将语音命令转化为文字关键字，然后将该文字关键字与原语数据库中的文字关键字进行对比，提取出该语音命令对应的示教动作组合，把该示教动作组合用语音播放给使用者，待使用者确定后正式执行该语音命令。避免因机器人对使用者的语音命令存在误差而做出错误的动作。

一种机器人快速示教装置，包括机器人、摄像机、增强现实设备、动作捕捉模块、麦克风以及扬声器，其中：

机器人，与动作捕捉模块相连，用于接收使用者的示教动作，根据示教动作做出相应的动作；

摄像机，包括若干个，分别布置在机器人所在空间的若干方位上，每个摄像机分别通过数据线与增强现实设备相连，用于实时捕捉机器人空间的画面信息并传输给增强现实设备；

增强现实设备，包括显示屏，同时内置虚拟场景构建程序模块，用于将摄像机捕捉到的画面实时拼接为全景动态三维环境，并将机器人以及机器人所处空间的实时视频信息以全景视频的方式呈现在显示屏上；

动作捕捉模块，与增强现实设备相连，用于采集使用者的躯体运动数据；

麦克风，与机器人相连，用于多方位检测使用者声音，收集使用者的语音命令；

扬声器，与增强现实设备相连，用于播放机器人将要执行的动作名称，以便使用者进行确认。

优选的，所述摄像机至少有四个，分别布置在机器人所在空间的四个方位。

优选的，增强现实设备可以是头戴式显示器、虚拟现实眼镜和/或全息三维投影仪。

优选的，动作捕捉模块包括两套可穿戴式外骨骼，一套牵引机器臂末端的外骨骼，另一套牵引机器臂关节的外骨骼。通过可穿戴式外骨骼采集使用者的运动信息，可直接将捕捉到的信息传输给机器人。

具体的，所述可穿戴式外骨骼覆盖到使用者的十根手指，捕捉使用者的手部动作。因此，增强现实设备上可以显示模拟的手部动画，所述手部动画根据动作捕捉模块采集的使用者躯体运动数据模拟出来。

进一步的，所述可穿戴式外骨骼上设有力反馈模块，该模块通过数据线与增强现实设备相连。在示教过程中，通过该模块可以实时将使用者触碰到物件时力的反馈信息输出到增强现实设备，便于后面的力道调整。

优选的，动作捕捉模块包括视觉摄像头，所述视觉摄像头采集人躯体运动信息，可通过机器学习算法捕捉使用者的动作并将其传输到机器人。

本发明与现有技术相比，具有如下优点和有益效果：

1，本发明结合增强现实技术，一方面，通过布置在机器人空间的多角度的摄像机捕捉机器人运动的画面信息，将这些信息融合成虚拟的三维场景，并通过增强现实设备输出给操作者，使得操作者在虚拟环境下精准地感知机器手臂的运动情况；另一方面，操作者在虚拟场景中的示教动作被系统精准地记录下来，并实时动态地传递给现实场景中的机器人，提高对机器人的编程效率。

2，本发明提供力反馈机制，从多角度，不同距离来观察机器人及其周边环境信息的变化，增强示教过程的临场感，提高使用者的示教速率和精度。

3，本发明在虚拟环境中对机器人进行示教后，使用者可通过语音为动作提供关键字命名，本发明采用了先将用户的语音命令转化为文字后再和系统中的原语数据库进行比对的方法，提高了系统识别语音命令的准确性。

附图说明

图1是本实施例示教方法的流程图；

图2是本实施例的装置连接图；

图3是本实施例多方位摄像机的布置示意图；

图4是本实施例运动数据捕捉的流程图；

图5是本实施例机器人实际使用过程流程图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

混合现实技术能够连接现实场景与虚拟场景，具有虚实融合、实时交互及三维注册等优点，利用该技术可以将虚拟场景中的运动精准的“传递”到现实世界中，这就为对机器人实现快速示教编程提供了可能。本发明正是结合了混合现实和语音编程的优点，提出了一种新型有效的机器人快速示教装置和示教方法。下面对其进行详细说明。

一种机器人快速示教装置，如图2，包括机器人、摄像机、增强现实设备、动作捕捉模块、麦克风以及扬声器；

机器人：与动作捕捉模块相连，用于接收使用者的示教动作，根据示教动作做出相应的动作；

摄像机：实时捕捉机器人空间的画面信息并传输给增强现实设备中的虚拟场景构建程序模块；摄像机至少有四个，分别布置在机器人所在空间的四个方位；每个摄像机分别通过数据线与增强现实设备相连，结构参见图3。

增强现实设备：包括显示屏，内部的虚拟场景构建程序模块将摄像机捕捉到的画面实时拼接为全景动态三维环境，将机器人以及机器人所处空间的实时视频信息以全景视频的方式呈现在显示屏上；增强现实设备可以是头戴式显示器、虚拟现实眼镜和/或全息三维投影仪。

动作捕捉模块：与增强现实设备相连，用于采集使用者的躯体运动数据；

麦克风：与机器人相连，用于多方位检测使用者声音，收集使用者的语音命令；

扬声器：与增强现实设备相连，用于播放机器人将要执行的动作名称，以便使用者进行确认。

动作捕捉模块包括两套可穿戴式外骨骼，一套牵引机器臂末端的外骨骼，另一套牵引机器臂关节的外骨骼。通过可穿戴式外骨骼采集使用者的运动信息，可直接将捕捉到的信息传输给机器人。

所述可穿戴式外骨骼覆盖到使用者的十根手指，捕捉使用者的手部动作。因此，增强现实设备上可以显示模拟的手部动画，所述手部动画根据动作捕捉模块采集的使用者躯体运动数据模拟出来。

可穿戴式外骨骼上设有力反馈模块，该模块通过数据线与增强现实设备相连。在示教过程中，通过该模块可以实时将使用者触碰到物件时力的反馈信息输出到增强现实设备，便于后面的力道调整。

动作捕捉模块还可以是视觉摄像头，所述视觉摄像头采集人躯体运动信息，并将信息传输到系统中。通过视觉摄像头采集使用者的运动信息，可通过机器学习算法捕捉使用者的动作并将其传输到机器人。

机器人接收使用者的示教动作，根据示教动作做出相应的动作并显示在混合现实增强设备上。

基于上述装置的机器人快速示教方法，如图1，包括以下步骤：

S1、启动示教模式，摄像机捕捉机器人及其所在环境的画面信息；

S2、将捕捉的画面信息合成为全景视频信号输出到增强现实设备上；

S3、捕捉使用者的躯体运动数据，作为示教动作的输入信号；

步骤S3中，如图4，可以通过可穿戴式外骨骼捕捉使用者的躯体运动数据：使用者用一只手牵引机器人手臂的末端进行运动，另外一只手负责牵引机器人手臂关节的运动，使得机器人的运动轨迹能够跟随使用者的示教动作获得唯一解。

在采用可穿戴式外骨骼时，系统可根据穿戴式外骨骼所收集的数据在增强现实环境中模拟出使用者的手部，使用者可在增强现实环境下感知到自己手部的运动。此时，在使用者观察到的虚拟环境中，除了有基于多方位摄像机传输回来的视频信号构建出来的实时全景情景外，还有系统根据可穿戴骨骼所捕捉到的使用者的手部运动信息模拟出的使用者的手部动画，以便使用者能够在虚拟环境中更加直观的进行示教操作，提高了系统的人机交互能力。同时，可穿戴式外骨骼会将示教过程中的力反馈提供给使用者，使得使用者能够在示教过程中做出力道更加合适的示教动作。

步骤S3中，还可以通过视觉模式捕捉使用者的躯体运动数据：利用视觉摄像头(Kinect等)采集使用者的躯体运动数据。在该模式下，使用者能够在不需要穿戴外部设备的条件下对机器人进行示教，减少了穿戴设备所花费的时间以及使用者的身体负担，有利于使用者进行更长时间的示教活动。然而，该模式的缺点则是使用者不能接收到即时的力反馈信息。

捕捉使用者的躯体运动数据之后，进一步将输入信号投射到机器人中，使得现实场景中的机器人按照使用者的示教动作做出相应的动作，并显示在混合现实增强设备上。

使用者可以自主选择观察视角，观察机器人及其周边的环境信息变化，并及时调整示教操作。本发明结合了混合现实的显示技术，使用者能够不受实际安全距离的影响，视具体情况在不同的视角下对机器人进行示教。在某些情况下，由于机器人手臂的运动，使用者的正面视角会受到影响，以致使用者在示教时未能注意到被机器人躯体遮掩的部分，容易忽略相关的环境因素。而此时，使用者能够使用机器人的主管视角进行观察，从而能够无死角地观察机器人所处的环境，进而给出更为正确精准的示教。

S4、将此输入信号投射到机器人中，判断机器人是否按照使用者的示教动作做出相应的动作，如果是，则使用语音命令为该示教动作命名；

S5、将语音命令转化为文字关键字储存在原语数据库中，示教结束；所述原语数据库是用于存储不同的示教动作及其对应的文字关键字的数据库。

在每个简单的示教过程结束后，系统将提醒使用者使用语音关键字为上一时刻所进行的示教动作命名。不同的示教动作及其对应的文字关键字命令将会构成一个原语数据库，在机器人正式投入使用后，使用者只需发出由各道原语命令组合而成的一段完整的语音命令，便能使得机器人能够流畅地做出一套完整的操作，机器人实际使用过程如图5所示。

在示教过程结束后，使用者需要使用语音命令机器人完成相应的一套动作。系统在分析使用者的命令后，将其中的关键字与原语数据库中的关键字进行对比，得出要执行动作的组合后，再把将要实行的动作用语音播放给使用者，待使用者确定后再正式执行命令，避免因机器人对使用者的语音命令存在误差而做出错误的动作。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种机器人快速示教方法，其特征在于，包括以下步骤：

S1、启动示教模式，摄像机捕捉机器人及其所在环境的画面信息；

S2、将捕捉的画面信息合成为全景视频信号输出到增强现实设备上；

S3、捕捉使用者的躯体运动数据，作为示教动作的输入信号；

S4、将此输入信号投射到机器人中，判断机器人是否按照使用者的示教动作做出相应的动作，如果是，则使用语音命令为该示教动作命名；

S5、将语音命令转化为文字关键字储存在原语数据库中，示教结束；所述原语数据库是用于存储不同的示教动作及其对应的文字关键字的数据库。

2.根据权利要求1所述的机器人快速示教方法，其特征在于，步骤S3中，根据使用者的躯体运动数据模拟出使用者的手部，并在增强现实设备中显示模拟手部动画供使用者观察；步骤S4中，输入信号投射到机器人中后，机器人做出相应的动作过程实时显示在现实增强设备上。

3.根据权利要求1所述的机器人快速示教方法，其特征在于，步骤S3中，通过可穿戴式外骨骼或视觉摄像头捕捉使用者的躯体运动数据。

4.根据权利要求3所述的机器人快速示教方法，其特征在于，通过可穿戴式外骨骼捕捉使用者的躯体运动数据时，使用者用一只手牵引机器人手臂的末端进行运动，另外一只手负责牵引机器人手臂关节的运动，使得机器人的运动轨迹能够跟随使用者的示教动作获得唯一解；在示教过程中，可穿戴式外骨骼将力反馈信息提供给使用者以用于调整使用者示教动作的力道。

5.根据权利要求1所述的机器人快速示教方法，其特征在于，通过多方位摄像机捕捉机器人及其所在环境的画面信息，在示教过程中，观察视角可调；使用者可以自主选择观察视角，根据机器人及其周边的环境信息变化及时调整示教操作。

6.根据权利要求1所述的机器人快速示教方法，其特征在于，在示教过程结束后，接收使用者输入的语音命令，将语音命令转化为文字关键字，然后将该文字关键字与原语数据库中的文字关键字进行对比，提取出该语音命令对应的示教动作组合，把该示教动作组合用语音播放给使用者，待使用者确定后正式执行该语音命令，避免因机器人对使用者的语音命令存在误差而做出错误的动作。

7.一种机器人快速示教装置，其特征在于，包括机器人、摄像机、增强现实设备、动作捕捉模块、麦克风以及扬声器，其中：

机器人，与动作捕捉模块相连，用于接收使用者的示教动作，根据示教动作做出相应的动作；

摄像机，包括若干个，分别布置在机器人所在空间的若干方位上，每个摄像机分别通过数据线与增强现实设备相连，用于实时捕捉机器人空间的画面信息并传输给增强现实设备；

增强现实设备，包括显示屏，同时内置虚拟场景构建程序模块，用于将摄像机捕捉到的画面实时拼接为全景动态三维环境，并将机器人以及机器人所处空间的实时视频信息以全景视频的方式呈现在显示屏上；

动作捕捉模块，与增强现实设备相连，用于采集使用者的躯体运动数据；麦克风，与机器人相连，用于多方位检测使用者声音，收集使用者的语音命令；

扬声器，与增强现实设备相连，用于播放机器人将要执行的动作名称，以便使用者进行确认。

8.根据权利要求7所述的机器人快速示教装置，其特征在于，所述摄像机至少有四个，分别布置在机器人所在空间的四个方位；增强现实设备为头戴式显示器、虚拟现实眼镜和全息三维投影仪之一。

9.根据权利要求7所述的机器人快速示教装置，其特征在于，动作捕捉模块包括两套可穿戴式外骨骼，一套牵引机器臂末端的外骨骼，另一套牵引机器臂关节的外骨骼；通过可穿戴式外骨骼采集使用者的运动信息，可直接将捕捉到的信息传输给机器人；所述可穿戴式外骨骼覆盖到使用者的十根手指，捕捉使用者的手部动作，因此，增强现实设备上可以显示模拟的手部动画，所述手部动画根据动作捕捉模块采集的使用者躯体运动数据模拟出来；所述可穿戴式外骨骼上设有力反馈模块，该模块通过数据线与增强现实设备相连，在示教过程中，通过该模块可以实时将使用者触碰到物件时力的反馈信息输出到增强现实设备，便于后面的力道调整。

10.根据权利要求7所述的机器人快速示教装置，其特征在于，动作捕捉模块包括视觉摄像头，所述视觉摄像头采集人躯体运动信息，可通过机器学习算法捕捉使用者的动作并将其传输到机器人。