CN117260776A - 一种应用于机器人的人机交互方法及装置 - Google Patents

Abstract

本申请公开了一种应用于机器人的人机交互方法和装置，其中，所述方法包括：获取空间事件装置响应于操作者操作空间事件装置而生成的空间事件组合；基于获取的空间事件组合，获取表征操作者的操作意图的语义信息；基于所述语义信息，生成机器人控制指令，以控制所述机器人按照所述操作者的操作意图执行操作。本申请提出一种新的操作人员与机器人的交互方式，提高了操作人员与机器人的交互效率以及准确性，真正满足应用领域需求。

Description

一种应用于机器人的人机交互方法及装置

技术领域

本申请涉及机器人技术领域，更具体的，涉及一种应用于机器人的人机交互方法及装置。

背景技术

伴随着机器人技术的发展，机器人被应用到越来越多的领域，例如，机器人可以被应用在工农业生产、社会服务、家庭服务等场景中。例如，工业机器人广泛应用于焊接、装配、搬运、喷漆及打磨等领域，任务的复杂程度不断增加，而用户对产品的质量、效率的追求越来越高。因此，机器人的编程方式、编程效率和质量显得越来越重要。目前，应用于工业机器人的编程方法主要有两种：

1、示教编程，它是目前大多数工业机器人的编程方式，程序编制是在机器人现场进行的。示教编程可分为示教器示教和拖动示教。示教器通常由屏幕和操作按键组成，操作员通过示教器对机器人进行手动操纵、程序编写、参数配置以及监控；拖动示教操作则是由人工牵引机器人末端执行器(例如安装于机器人关节结构末端的夹持器、工具、焊枪、喷枪等)来示教。

2、离线编程，是在专门的软件环境下，用专用或通用程序在离线情况下进行机器人轨迹规划编程的一种方法。离线编程程序通过支持软件的解释或编译产生目标程序代码，最后生成机器人路径规划数据。

上述示教器示教方法对示教者的编程能力和技术水平都提出了一定的要求，且示教效率低；拖动示教虽然直观简单、无需示教者编程、示教效率高，但是也存在一些限制：由于人类操作的局限性以及机械臂运动的局限性，拖动示教只适用于相对简单和直观的任务，并且无法实现高精度控制；离线编程方法对操作人员的技术要求要高，部署周期长，不适用于移动机器人等，降低了机器人与操作人员的交互效率以及准确性。

因此，亟需一种新的操作人员与机器人的交互方式，能够提高操作人员与机器人的交互效率以及准确性，从而真正满足应用领域需求。

发明内容

为克服相关技术中存在的问题，本发明的实施例提供一种应用于机器人的人机交互方法及装置，技术方案如下：

根据本发明的实施例的第一方面，提供一种应用于机器人的人机交互方法，所述方法包括：

获取空间事件装置响应于操作者操作空间事件装置而生成的空间事件组合；

基于获取的空间事件组合，获取表征操作者的操作意图的语义信息；

基于所述语义信息生成机器人控制指令，以控制机器人按照操作者的操作意图执行操作。

在一实施例中，所述空间事件组合包括以下至少一项空间事件：交互事件、感知事件和指示事件；

所述交互事件包括：所述空间事件装置的交互部件的状态发生改变以及发生改变的时间；所述交互部件包括一个或多个按键，所述交互事件包括按键按下、按键释放。

所述感知事件包括：所述空间事件装置的传感器部件感知的以下一项或多项信息：位置、姿态、图像、力、温度、湿度、速度、加速度；

所述指示事件包括：所述空间事件装置的指示部件发出指示以及发出指示的时间。

在一实施例中，所述基于获取的空间事件组合，获取表征操作者的操作意图的语义信息，包括：

根据预设的空间事件组合与语义信息的对应关系，确定获取的空间事件组合对应的语义信息。

在一实施例中，所述获取空间事件装置响应于操作者操作空间事件装置而生成的空间事件组合，包括：

检测到操作者操作空间事件装置时，生成空间事件；

基于空间事件发生的时间顺序组合多个空间事件生成空间事件组合。

在一实施例中，所述基于所述语义信息，生成机器人控制指令，包括：

将所述语义信息发送至机器人工控机，以使机器人工控机基于所述语义信息，生成机器人控制指令。

根据本发明的实施例的第二方面，提供一种应用于机器人的人机交互装置，所述装置包括：

第一获取模块，用于获取空间事件装置响应于操作者操作空间事件装置而生成的空间事件组合；

第二获取模块，用于基于获取的空间事件组合，获取表征操作者的操作意图的语义信息；

生成模块，用于基于所述语义信息生成机器人控制指令，以使机器人按照操作者的操作意图执行操作。

在一实施例中，所述空间事件组合包括以下至少一项空间事件：交互事件、感知事件和指示事件；

所述交互事件包括：所述空间事件装置的交互部件的状态发生改变以及发生改变的时间；所述交互部件包括一个或多个按键，所述交互事件包括按键按下、按键释放。

所述感知事件包括：所述空间事件装置的传感器部件感知的以下一项或多项信息：位置、姿态、图像、力、温度、湿度、速度、加速度；

所述指示事件包括：所述空间事件装置的指示部件发出指示以及发出指示的时间。

在一实施例中，所述第二获取模块用于：

根据预设的空间事件组合与语义信息的对应关系，确定获取的空间事件组合对应的语义信息。

在一实施例中，所述第一获取模块包括：

检测单元，用于检测到操作者操作空间事件装置时，生成空间事件；

生成单元，用于基于空间事件发生的时间顺序组合多个空间事件生成空间事件组合。

在一实施例中，所述生成模块用于：

将所述语义信息发送至机器人工控机，以使机器人工控机基于所述语义信息，生成机器人控制指令。

根据本发明的实施例的第三方面，提供一种应用于机器人的人机交互装置，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

获取空间事件装置响应于操作者操作空间事件装置而生成的空间事件组合；

基于获取的空间事件组合，获取表征操作者的操作意图的语义信息；

基于所述语义信息，生成机器人控制指令，以使所述机器人按照所述操作者的操作意图执行操作。

根据本发明的实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现本发明的实施例的第一方面中任一项方法的步骤。

本发明的实施例提供的技术方案，使得操作者通过操作空间事件装置，就可以将自己的操作意图精准地传递给机器人，使得机器人能够按照操作者的操作意图自动运行，从而提升了操作者和机器人交互的效率以及准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的人机交互方法使用场景的示意图；

图2为本申请实施例提供的人机交互方法使用场景的示意图；

图3为本申请实施例提供的人机交互方法的流程图；

图4为本申请实施例提供的人机交互方法的流程图；

图5为本申请实施例提供的人机交互方法的流程图；

图6为本申请实施例提供的人机交互方法的流程图；

图7为本申请实施例提供的人机交互方法的流程图；

图8为本申请实施例提供的人机交互方法的流程图；

图9为本申请实施例提供的人机交互装置的结构示意图；

图10为本申请实施例提供的人机交互系统的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。

本申请一实施例的使用场景如图1所示，其中，包括机器人101和空间事件装置102。在本申请一实施例中，机器人101由工控机103进行控制。在本申请一实施例中，也可以将工控机103集成到机器人101中。空间事件装置102由操作人员手持、在工作对象需要机器人操作的位置进行描画，空间事件装置102响应于操作者的描画生成空间事件组合。工控机103基于空间事件组合获取表征操作者的操作意图的语义信息并且生成机器人控制指令发送至等待中的机器人101，机器人101根据控制指令移动和运行机械臂，从而实现了基于操作者手持空间事件装置102的描画，机器人101就可以按照操作者的操作意图执行操作。

在本申请一实施例中，机器人101可以包括移动基座和机械臂。其中，移动基座如轮式底盘、轮足、腿足、小车等，移动基座的运行可以带动机器人整体运行，而机械臂则可以相对于移动基座运行。在本申请一实施例中，机器人还可以是人形机器人，由腿部行走带动机器人运行。在本申请一实施例中，机器人还配置有各种传感器，包括但不限于摄像头、红外测距、激光雷达、雷达等传感器等。机器人101的机械臂末端通常还包括更换模块，用于更换末端工具，用以完成不同的操作。机械臂末端可以更换的末端工具包括但不限于：焊接工具、刷漆工具、打磨工具、搬运工具等，可以根据使用场景来更换相应的末端工具。在本申请一实施例中，机器人101的个数可以是一个，也可以是两个或两个以上。

在本申请一实施例中，空间事件装置102可以是完全独立于机器人101的装置，不属于机器人的任何部分。空间事件装置102和工控机103之间可以通过各自的网络模块建立通信连接(优选为无线通信连接)，以完成空间事件装置102和工控机103进行交互过程中的数据传输。本申请提出的人机交互方法用以根据操作者对空间事件装置102的操作，提升对一个或多个机器人101控制的便捷性。

在本申请一实施例中，为了便于操作者的操作，空间事件装置102的形状和大小可以是适于操作者单手握持、移动、姿态变换的形状和大小。在本申请一实施例中，如图1所示，空间事件装置102可以是枪形装置。在本申请一实施例中，空间事件装置102可以是笔形。在本申请一实施例中，空间事件装置102是类鼠标的形状。本申请不对空间事件装置102的具体形状进行限定，只要是便于操作者握持、移动、姿态变换的形状都可以应用于此。

在本申请一实施例中，空间事件装置102可以包括交互部件，交互部件例如可以是一个或多个不同功能的按键(或者触摸键)。在本申请一实施例中，交互部件例如可以包括滚轮。在本申请一实施例中，交互部件还可以包括触摸屏。在本申请一实施例中，空间事件装置102可以同时包括多种不同类型的交互部件。

在本申请一实施例中，空间事件装置102可以包括传感器，传感器例如是多个多种类型的用于感知各种信息的传感器，例如位置传感器、姿态传感器、图像传感器(例如摄像头)、力传感器、温湿度传感器、速度传感器、加速度传感器等。

在本申请一实施例中，空间事件装置102还可以包括指示部件，指示部件例如可以是指示屏幕、指示灯、发出指示声音的麦克风、震动元件等。

需要说明的是，图1所示的机器人101和空间事件装置102以及各个部件的组成仅是一种示例说明，可以在该图1所示的基础上结合实际的机器人应用场景，增加/删减部件。例如，可以在空间时间装置102中增加对数据进行存储的存储部件，增加对数据进行处理的处理器，还可以增加便于向操作人员显示信息的显示屏，以及用于向操作人员指示操作正常与否的指示灯等，本申请实施例对此不进行限制。

本申请一实施例的使用场景如图2所示，包括机器人101和空间事件装置102，机器人101可以由工控机103控制，其中，还包括云服务器104。空间事件装置102由操作人员手持，在工作对象需要机器人操作的位置进行描画，空间事件装置102响应于操作者的描画生成空间事件组合，云服务器104用于接收空间事件装置102生成的空间事件组合，并基于空间事件组合获取表征操作者的操作意图的语义信息发送给工控机103，工控机103基于语义信息生成机器人控制指令。从而实现了基于操作者手持空间事件装置102的描画，机器人101就可以按照操作者的操作意图执行操作。

如图3所示为本发明的实施例提供的一种应用于机器人的人机交互方法，该方法可以应用于图1使用场景中的工控机103，也可以应用于空间事件装置102。该方法可以应用于图2使用场景中的工控机103，也可以应用于空间事件装置102，还可以应用于云服务器104。如图3所示，该方法包括如下步骤S301至步骤S303：

在步骤S301中，获取空间事件装置响应于操作者操作空间事件装置而生成的空间事件组合。

操作者操作空间事件装置，例如可以是操作者手持空间事件装置进行各种操作，例如但不限于：直线移动、曲线移动、旋转移动、按下空间事件装置的按键、释放空间事件装置的按键、按下空间事件装置的按键并直线移动然后停止移动时释放空间事件装置的按键等，在此不穷尽举例。在本申请一实施例中，操作者可以手持空间事件装置在工作对象需要机器人操作的目标位置处进行各种操作。

当操作者操作空间事件装置时，空间事件装置检测到操作者的操作行为，例如，空间事件装置检测到空间事件装置的交互部件(例如按键)的状态发生改变，或者，空间事件装置通过传感器部件检测到空间事件装置的位置、姿态、速度等发生变化。空间事件装置基于上述检测，可以生成操作者操作空间事件装置对应的空间事件。在本申请一实施例中，操作者操作空间事件装置对应的空间事件通常是多个，因此，空间事件装置可以生成操作者操作行为对应的空间事件组合。

在本申请一实施例中，空间事件装置所生成的空间事件组合中可以包括以下至少一项空间事件：交互事件、感知事件和指示事件。

所述交互事件包括：所述空间事件装置的交互部件的状态发生改变以及发生改变的时间；所述交互部件可以包括一个或多个按键，所述交互事件包括按键按下、按键释放。例如，当操作者按下按键1，空间事件装置生成交互事件：空间事件装置的按键1按下以及按下的时间。

所述感知事件包括：所述空间事件装置的传感器部件感知的以下一项或多项信息：位置、姿态、图像、力、温度、湿度、速度、加速度。例如，当操作者直线移动空间事件装置，空间事件装置利用传感器部件生成感知事件：空间事件装置的位置信息(包括：起点、终点、移动路径等)，以及速度信息、加速度信息、姿态信息(包括静止姿态以及姿态变换等)；同时，空间事件装置的图像传感器还可以采集图像。其中，空间装置的起点、终点可以精确到空间时间装置的指定部位的起点、终点。例如图1中枪形装置的头部设置有探针，可以获取空间时间装置的探针尖端的起点、终点。

所述指示事件包括：所述空间事件装置的指示部件发出指示以及发出指示的时间。

在本申请一实施例中，基于空间事件发生的时间顺序组合多个空间事件生成空间事件组合。

在步骤S302中，基于获取的空间事件组合，获取表征操作者的操作意图的语义信息。

在本申请一实施例中，可以根据预设的空间事件组合与语义信息的对应关系，确定获取的空间事件组合对应的语义信息。例如预先设置空间事件组合“按键1按下并直线移动后抬起”对应的语义信息“沿着直线移动的轨迹进行焊接”。如此，就可以根据不同的空间事件组合，获取到不同的语义信息。

在步骤S303中，基于所述语义信息生成机器人控制指令，以控制机器人按照操作者的操作意图执行操作。

在该步骤中，获取了语义信息之后，就可以解析语义信息，获取机器人运行所需要的坐标信息、操作类型等信息，生成机器人控制指令。

在本申请一实施例中，生成的控制指令可以包括控制机器人的移动基座运行的第一控制指令和控制机械臂运行的第二控制指令。解析语义信息可以得到操作者操作空间事件装置的坐标、姿态、操作类型等信息，据此计算机器人的移动基座的目标区域，以及机械臂的目标坐标、姿态、操作路径、操作类型等，分别生成第一控制指令和第二控制指令，使得机器人根据第一控制指令移动基座先运行至目标区域，然后根据第二控制指令机械臂根据目标坐标、姿态、操作路径、操作类型运行。

其中，可以先生成控制机器人的移动基座运行的第一控制指令，使得机器人的移动基座运行至目标区域后，结合机器人的各类传感器的参数信息(如当前位置、姿态)和目标坐标、姿态、操作路径、操作类型，生成第二控制指令，精确控制机械臂按照所述操作者的操作意图执行操作。

在本申请实施例的一种实施方式中，在生成用于移动基座的第一控制指令时，还可以根据所述机器人的当前位置和目标区域的位置信息，确定初始运动路径；通过机器人的各类传感器的参数信息(如图像、红外传感信息)获得在所述初始运动路径中存在的障碍物信息，并基于所述障碍物信息调整所述初始运动路径，从而生成可以躲避障碍物的第一控制指令。

其中，对于空间事件装置和机器人之间的坐标系转换，在本申请一实施例中，空间事件装置可以有自己的空间事件装置坐标系，即以自身起点为基准点；机器人的移动基座、机械臂也都有自身的坐标系。可以将各自的坐标系都转换到一个选定的基准坐标系中，例如可以通过常用标定的方法，计算出其他坐标系的坐标与基准坐标系之间三个轴的偏移矢量，再通过算法实时修正到基准坐标，实现对齐。因此，空间事件装置、机器人的移动基座、机械臂之间的相对位置都可以实时获取和计算的，以此来实现运动中的坐标关联。在本申请一实施例中，还可以通过视觉的算法消除坐标系中的误差。

本申请提出的人机交互方法，使得操作者通过操作空间事件装置，就可以将自己的操作意图精准地传递给机器人，机器人能够按照操作者的操作意图自动运行，从而提升了操作者和机器人交互的效率以及准确性。本申请提出了一种全新的操作人员与机器人的人机交互方式，具有以下优点：机器人可以快速理解操作人员的意图，具有更高的效率；便于操作人员使用，具有较好的易用性；由于便于操作人员操作，因此该人机交互方法具有更广泛的应用以及更强的个性化。

在本申请一实施例中，还包括步骤A1：

在步骤A1中，预设空间事件组合与语义信息的对应关系。

在本申请一实施例中，该对应关系可由开发人员设置或修改。以下对空间事件组合与语义信息的对应关系进行举例说明：

示例性的空间事件组合与语义信息的对应关系如表一所示：

表一

其中，位置变化信息可以包括位置变化的起点、终点、路径、速度等信息。例如，若操作者操作空间事件装置直线移动，那么，位置变化信息就可以包括由空间事件装置的各类传感器部件所感知的直线移动的起点、终点、直线路径、速度等。例如，若操作者操作空间事件装置旋转移动时，位置变化信息可以包括由空间事件装置的各类传感器部件所感知的旋转移动的起点、终点、旋转的路径、旋转的位姿、速度等。再例如，若操作者操作空间事件装置多段移动时，位置变化信息可以包括由空间事件装置的各类传感器部件所感知的多段路径的起点、转折点、终点、路径、位姿、速度等。

在本申请一实施例中，空间事件装置可以将按键按下和释放时刻作为生成空间事件组合的起始时刻和结束时刻，即将起始时刻和结束时刻之间生成的所有空间事件作为一个空间事件组合。在本申请的其他实施例中，空间事件装置可以将其他空间事件作为生成空间事件组合的起始时刻和结束时刻。本申请对此不进行限定。

从上述表格中可见，不同的空间事件组合可以对应各自的语义信息。其中，不同的空间事件组合也可以对应同一语义信息。本发明不对空间事件如何组合进行限制，也不对空间事件组合与语义信息如何对应进行限制。开发人员可以将空间事件装置能够生成的多种类型的空间事件进行多种多样的组合，以对应不同的语义信息。一般来说，在设置空间事件组合时，要考虑到操作者容易操作空间事件装置而生成的那些空间事件组合，并且对空间事件装置的操作行为能够表达出操作者的操作意图即可。

在本申请另一实施例中，示例性的空间事件组合与语义信息的对应关系如表二所示，其中，空间事件组合中包括空间事件装置的图像传感器所采集的图像，语义信息包括路径信息、操作类型等。其中的操作类型可以通过对图像传感器采集的图像进行图像识别来获取。

表二

当获取的空间事件组合中包括图像时，通过对图像进行图像识别，以确定当前的场景信息。例如根据图像1识别出是焊接场景，因此可以确定操作类型是“焊接”，路径信息则是根据位置变化信息获取。例如根据图像2识别出是涂抹应用场景，因此可以确定操作类型是“涂抹”，路径信息则是根据位置变化信息获取。可见，根据获取的图像可以确定操作类型，即使空间事件装置的移动路径相同，但是操作类型却可以不同。

本申请不对图像识别的方式进行任何限制，任何适用于本申请的图像识别方法都可以应用于此。

以下，以不同的主体来说明本发明的实施例提供的应用于机器人的人机交互方法。

如图4所示为本发明的实施例提供的一种应用于机器人的人机交互方法，该方法可以应用于图1、图2中的空间事件装置。如图4所示，该方法包括如下步骤S401至步骤S402：

在步骤S401中，检测到操作者操作空间事件装置时，生成空间事件。

在本申请一实施例中，空间事件装置可以包括交互部件，交互部件例如可以是一个或多个不同功能的按键。在本申请一实施例中，交互部件例如可以包括滚轮。在本申请一实施例中，交互部件还可以包括触摸屏。在本申请一实施例中，空间事件装置可以同时包括多种不同类型的交互部件。可选地，空间事件装置还包括重置按键，响应于操作者触控所述重置按钮，可以清除空间事件装置已生成的空间事件。在一种实施方式中，空间事件装置还可以包括操作类型选择按键，响应于操作者触控所述操作类型选择按键，直接确定目标操作类型，并将目标操作类型传输至机器人，以使得机器人可以直接获取操作类型。

在本申请一实施例中，空间事件装置可以包括传感器，传感器例如是多个用于感知各种信息的传感器，例如位置传感器、姿态传感器、图像传感器、力传感器、温湿度传感器、速度传感器、加速度传感器等。

在本申请一实施例中，空间事件装置还可以包括指示部件，指示部件例如可以是指示屏幕、指示灯、发出指示声音的麦克风等。

操作者操作空间事件装置时，例如，空间事件装置检测到空间事件装置的交互部件(例如按键)的状态发生改变，或者，空间事件装置通过传感器部件检测到空间事件装置的位置、姿态、速度等发生变化。空间事件装置基于上述检测，可以生成操作者操作空间事件装置对应的空间事件。

在步骤S402中，基于空间事件发生的时间顺序组合多个空间事件生成空间事件组合。

在本申请一实施例中，操作者操作空间事件装置对应的空间事件通常是多个，因此，空间事件装置可以生成多个空间事件的空间事件组合。

在步骤S403中，基于获取的空间事件组合，获取表征操作者的操作意图的语义信息。

在步骤S404中，将获取的语义信息发送至机器人工控机，以使机器人工控机基于获取的空间事件组合，获取表征操作者的操作意图的语义信息，基于所述语义信息，生成机器人的控制指令，以使机器人按照操作者的操作意图执行操作。

其中，空间事件装置通过与机器人工控机建立的无线通信连接，发送空间事件组合。无线通信连接包括但不限于：红外通信、蓝牙通信、Wi-Fi通信等。不同的无线通信方式适用于不同的场景和应用，本领域技术人员可以根据实际需求选择合适的通信方式。

在本申请一实施例中，空间事件装置也可以将生成的空间事件组合发送至云服务器，以使云服务器基于获取的空间事件组合，获取表征操作者的操作意图的语义信息，然后云服务器将语义信息发送至机器人工控机，以使机器人工控机生成机器人的控制指令，使机器人按照所述操作者的操作意图执行操作。

在本申请一实施例中，可以实现一个空间事件装置对应多个机器人的应用效果，当空间事件装置同时支持多个机器人时，可使多个机器人协作完成语义信息对应的任务。例如，在空间事件装置支持一个机器人的情况下，空间事件组合“按键1按下并直线移动后抬起”对应的语义信息“沿着直线移动的轨迹进行焊接”；在空间事件装置同时支持多个机器人(例如3个机器人)的情况下，同样的空间事件组合“按键1按下并直线移动后抬起”对应的语义信息可以是“3个机器人协作完成沿着直线移动的轨迹进行焊接”。空间事件装置可以进一步根据3个机器人的位置等状态信息，为3个机器人规划任务，例如将直线移动轨迹分为三段，按预设规则将三段焊接轨迹分配给3个机器人，每个机器人焊接一段，对于每个机器人生成新的语义信息，然后将任务规划后的新的语义信息分别发送至对应的机器人工控机。或者，操作员操作空间事件装置沿着需要焊接的焊缝连续执行“按键1按下并直线移动后抬起”、“按键1按下并直线移动后抬起”、“按键1按下并直线移动后抬起”，生成三个空间事件组合，对应获取三个语义信息，3个机器人工控机按照预设顺序依次获取不同的语义信息，从而3个机器人可以协作完成整个焊缝的焊接；或者也可以由3个机器人自行进行任务规划。

如图5所示为本发明的实施例提供的一种应用于机器人的人机交互方法，该方法可以应用于图2中的云服务器。如图5所示，该方法包括如下步骤S501至步骤S503：

在步骤S501中，获取空间事件装置响应于操作者操作空间事件装置而生成的空间事件组合。

如前所述，操作者操作空间事件装置时，例如，空间事件装置检测到空间事件装置的交互部件(例如按键)的状态发生改变，或者，空间事件装置通过传感器部件检测到空间事件装置的位置、姿态、速度等发生变化。空间事件装置基于上述检测，可以生成操作者操作空间事件装置对应的空间事件，并基于空间事件发生的时间顺序组合多个空间事件生成空间事件组合。空间事件装置基于与云服务器建立的无线连接，将生成的空间事件组合发送至云服务器。

在步骤S502中，基于获取的空间事件组合，获取表征操作者的操作意图的语义信息。

其中，云服务器可以根据预设的空间事件组合与语义信息的对应关系，确定获取的空间事件组合对应的语义信息。

在步骤S503中，将获取的语义信息发送至机器人工控机，以使机器人工控机基于语义信息生成机器人的控制指令，使机器人按照操作者的操作意图执行操作。

其中，云服务器通过与机器人工控机建立的无线通信连接，发送空间事件组合对应的语义信息。无线通信连接包括但不限于：红外通信、蓝牙通信、Wi-Fi通信等。不同的无线通信方式适用于不同的场景和应用，本领域技术人员可以根据实际需求选择合适的通信方式。

在本申请一实施例中，可以实现云服务器对应多个机器人的应用效果，即云服务器可使多个机器人协作完成语义信息对应的任务。例如，在云服务器同时支持多个机器人(例如3个机器人)的情况下，同样的空间事件组合“按键1按下并直线移动后抬起”对应的语义信息可以是“3个机器人协作完成沿着直线移动的轨迹进行焊接”。云服务器可以根据多个机器人的位置状态对多个机器人进行任务规划，例如，将直线移动轨迹分为三段，按预设规则将三段焊接轨迹分配给3个机器人，每个机器人焊接一段，云服务器在任务规划后对于每个机器人生成新的语义信息，然后将任务规划后的新的语义信息分别发送至对应的机器人工控机。

该实施例由云服务器处理空间事件组合得到语义信息，便于多个用户通过多种方式对云服务器中的预设的空间事件组合与语义信息的对应关系进行修改。

如图6所示为本发明的实施例提供的一种应用于机器人的人机交互方法，该方法可以应用于图1、图2中的机器人工控机。如图6所示，该方法包括如下步骤S601至步骤S603：

在步骤S601中，接收空间事件装置响应于操作者操作空间事件装置而生成的空间事件组合。

如前所述，操作者操作空间事件装置时，例如，空间事件装置检测到空间事件装置的交互部件(例如按键)的状态发生改变，或者，空间事件装置通过传感器部件检测到空间事件装置的位置、姿态、速度等发生变化。空间事件装置基于上述检测，可以生成操作者操作空间事件装置对应的空间事件，并基于空间事件发生的时间顺序组合多个空间事件生成空间事件组合。空间事件装置基于与机器人建立的无线连接，将生成的空间事件组合发送至机器人工控机。

在步骤S602中，基于获取的空间事件组合，获取表征操作者的操作意图的语义信息。

其中，机器人工控机可以根据预设的空间事件组合与语义信息的对应关系，确定获取的空间事件组合对应的语义信息。

在步骤S603中，基于语义信息，生成机器人的控制指令，以使机器人按照操作者的操作意图执行操作。

以下结合具体应用场景，说明本发明的实施例提供的一种应用于机器人的人机交互方法，该方法可以应用于图1中的机器人工控机103和空间事件装置102。

场景一：焊接场景

如图7所示，该方法包括如下步骤S701至步骤S705：

在步骤S701中，机器人工控机获取预设的空间事件组合与语义信息的对应关系。

预设的空间事件组合与语义信息的对应关系可以由操作人员预先设置好存入机器人工控机，也可以是机器人工控机从外部下载获取。在本申请一实施例中，该预设的空间事件组合与语义信息的对应关系还可以根据需要进行修改。

在步骤S702中，机器人工控机与空间事件装置建立无线通信连接。

在步骤S703中，空间事件装置检测到操作者操作空间事件装置时，生成第一空间事件组合。

例如，在焊接场景下，操作者手持空间事件装置，操作空间事件装置沿着待焊接部件的焊缝直线移动。具体的，操作者将空间事件装置对准焊缝，并在焊缝的起始位置处按下空间事件装置的按键1，然后沿着待焊接部件的焊缝直线移动空间事件装置，至焊缝终点处释放按键1。

在该实施例中，以按键1按下和释放作为空间事件装置生成空间事件组合的时间节点。空间事件装置在检测到按键1按下时，开始生成空间事件：按键1按下、直线移动产生的各种位置变化信息，直到检测到按键1释放。此时，空间事件装置将按键1按下、直线移动造成的位置变化信息、按键1释放等空间事件作为一个空间事件组合。

在本申请另一实施例中，空间事件装置在检测到按键1时，开始生成空间事件：按键1按下、指示灯由红变绿、直线移动产生的各种位置变化信息，直到检测到按键1释放，指示灯由绿变黄。此时，空间事件装置将按键1按下、直线移动造成的位置变化信息、按键1释放等空间事件作为一个空间事件组合。如果释放按键后，指示灯变红或者屏幕提示，描画失败或操作不规范等信息，按重置键，重新描画。如操作者自己想中断描画，也可按相应按键暂停、终止或重置。

在步骤S704中，空间事件装置将生成的第一空间事件组合发送至机器人工控机。

在步骤S705中，机器人工控机根据预设的空间事件组合与语义信息的对应关系，获取第一空间事件组合对应的表征操作者的操作意图的语义信息。

例如，根据表一所示的空间事件组合与语义信息的对应关系，得到空间事件组合“按键1按下+位置变化信息+按键1释放”对应的语义信息是“沿着位置变化信息确定的移动路径，执行焊接操作”。

在步骤S706中，机器人工控机基于语义信息，生成用于控制机器人移动基座的第一控制指令和控制机械臂的第二控制指令。

在步骤S707中，机器人根据第一控制指令运行移动基座至目标区域。

在步骤S708中，机器人根据第二控制指令运行机械臂，以按照操作者的操作意图执行焊接操作。

通过本实施例，实现了机械臂末端连接的焊接工具自动从待焊接部件的焊缝的起始位置处开始，沿着待焊接部件的焊缝直线移动进行焊接操作，直到焊缝终点。

在本申请实施例的一种实现方式中，可以同时控制一个或多个焊接机器人执行焊接操作，还可以控制至少一个焊接机器人重复执行操作以对不同的待焊接目标进行焊接，如焊接机器人重复执行操作对多个待焊接部件的焊接点A进行焊接。在焊接机器人每执行一次操作后，在相同位置更换下一个具有相同焊接需求的待焊接部件。

在本申请实施例的一种实现方式中，还可以控制至少一个焊接机器人依次对多个不同焊接需求的待焊接部件进行焊接。例如，在设置有多个不同的焊接工件的场景中，操作者依次在每个焊接工件上需要焊接的位置操作空间事件装置，空间事件装置依次生成多个空间事件组合。将这些具有顺序的多个空间事件组合发送至机器人工控机，机器人工控机确定各个空间事件组合分别对应的语义信息，就可以生成针对各个焊接工件的控制指令，以使机器人按照操作者的操作意图，依次对各个焊接工件执行操作者想要的焊接，即待当前的焊接工件完成焊接后，接着进行下一焊接工件的焊接。也可以是为每一焊接工件设置对应的工件标识信息，以及根据工件标识信息确定焊接工件的焊接执行顺序，空间事件组合中包括工件标识信息。焊接机器人以该焊接执行顺序完成对各个焊接工件的焊接操作。

场景二：刷漆场景

如图8所示，该方法包括如下步骤S801至步骤S805：

在步骤S801中，机器人工控机获取预设的空间事件组合与语义信息的对应关系。

在步骤S802中，机器人工控机与空间事件装置建立无线通信连接。

在步骤S803中，空间事件装置检测到操作者操作空间事件装置时，生成第二空间事件组合。

例如，在刷漆场景下，操作者手持空间事件装置，操作空间事件装置沿着待刷区域的边界移动。具体的，操作者将空间事件装置对准待刷区域的边界，并在起始位置处双击空间事件装置的按键1，然后沿着待刷区域的边界移动空间事件装置，至终点处再次双击按键1。

在该实施例中，以双击空间事件装置的按键1作为空间事件装置生成空间事件组合的时间节点。空间事件装置在检测到双击空间事件装置的按键1时，开始生成空间事件：双击空间事件装置的按键1、移动产生的各种位置变化信息，直到再次检测到双击空间事件装置的按键1，此时，空间事件装置将双击空间事件装置的按键1、移动产生的各种位置变化信息、双击空间事件装置的按键1等空间事件作为一个空间事件组合。

在步骤S804中，空间事件装置将生成的第二空间事件组合发送至机器人工控机。

在步骤S805中，机器人工控机根据预设的空间事件组合与语义信息的对应关系，获取第二空间事件组合对应的表征操作者的操作意图的语义信息。

例如，根据表一所示的空间事件组合与语义信息的对应关系，得到空间事件组合“按键1双击、位置变化信息、按键1双击”对应的语义信息是“在位置变化信息确定的面积区域内，执行刷漆操作”。

在步骤S806中，机器人基于语义信息，生成机器人移动基座的第一控制指令和机械臂的第二控制指令。

在步骤S807中，机器人根据第一控制指令运行移动基座至目标区域。

在步骤S808中，机器人根据第二控制指令运行机械臂，以按照操作者的操作意图执行刷漆操作。

通过本实施例，实现了机械臂末端连接的刷漆工具自动在待刷区域进行刷漆，直到覆盖整个待刷区域。

场景三：打磨场景

在打磨场景中，操作者想要机器人打磨目标物体。首先，操作者手持空间事件装置并按下空间事件装置的按键1，指示灯由红变绿。然后，操作者手持空间事件装置沿着目标物体的打磨路径移动，直到完成整个打磨路径的描画。操作者释放按键1后，指示灯由绿变黄。此时，空间事件装置将按键1按下、直线移动造成的位置变化信息、按键1释放等空间事件作为一个空间事件组合。如果操作者释放按键后，指示灯变红或者屏幕提示描画失败或操作不规范等信息，操作者可以按重置键，重新描画。如操作者自己想中断描画，也可按相应按键暂停、终止或重置。空间事件装置将生成的空间事件组合发送至机器人工控机，机器人工控机根据预设的空间事件组合与语义信息的对应关系，获取空间事件组合对应的表征操作者的操作意图的语义信息。例如，根据预设的空间事件组合与语义信息的对应关系，得到空间事件组合“按键1按下+直线移动造成的位置变化信息+按键1释放”对应的语义信息是“沿着位置变化信息确定的移动路径，执行打磨操作”。机器人工控机基于语义信息，生成用于控制机器人移动基座的第一控制指令和控制机械臂的第二控制指令。机器人根据第一控制指令运行移动基座至目标区域。机器人根据第二控制指令运行机械臂，以按照操作者的操作意图执行打磨操作。

场景四：搬运场景

在搬运场景中，操作者将空间事件装置对准待搬运的货物，单击空间事件装置的按键1，此时指示灯由红变黄，图像传感器拍摄图像，然后操作者移动空间事件装置对准货物搬放目标位置，单击按键2，此时指示灯由黄变绿，图像传感器再次拍摄图像。空间事件装置生成的空间事件组合为：单击按键1(记录待搬运货物位置信息)+待搬运货物及周边区域图像+移动轨迹+姿态信息+指示灯指示正常+单击按键2(记录搬运目标位置坐标)+货物搬运目标区域图像；空间事件装置将生成的空间事件组合发送至机器人工控机，机器人工控机根据预设的空间事件组合与语义信息的对应关系，获取空间事件组合对应的表征操作者的操作意图的语义信息。例如，根据预设的空间事件组合与语义信息的对应关系，得到空间事件组合“单击按键1+待搬运货物及周边区域图像+移动轨迹+姿态信息+指示灯指示正常+单击按键2+货物搬运目标区域图像”对应的语义信息是“将待搬运货物沿着移动轨迹和姿态信息搬运到目标区域”。机器人工控机基于语义信息，生成用于控制机器人移动基座的第一控制指令和控制机械臂的第二控制指令。机器人根据第一控制指令运行移动基座以及机器人根据第二控制指令运行机械臂，以按照操作者的操作意图执行搬运操作。

场景五：灭火场景

在灭火场景中，操作者在一定距离上，将空间事件装置对准过火区域，单击空间事件装置的按键1，此时指示灯由红变黄，图像传感器拍摄图像，然后操作者移动空间事件装置描画出火场区域轮廓，单击按键2，此时指示灯由黄变变绿。包含的空间事件组合为：单击按键1(记录起始位置坐标)+火场区域结构光图像(含深度/距离信息)+移动轨迹+姿态信息(火场方向以及操作员与火场边界角度)+温度(用于计算喷水有效和安全距离)+指示灯指示正常+单击按键2(记录终止位置坐标)；空间事件装置将生成的空间事件组合发送至机器人工控机，机器人工控机根据预设的空间事件组合与语义信息的对应关系，获取空间事件组合对应的表征操作者的操作意图的语义信息，机器人工控机基于语义信息，生成用于控制机器人移动基座的第一控制指令和控制机械臂的第二控制指令。机器人根据第一控制指令运行移动基座以及机器人根据第二控制指令运行机械臂，以按照操作者的操作意图执行灭火操作。

场景六：清扫场景

在清扫场景中，操作者手持空间事件装置，操作空间事件装置沿着待清扫区域的边界移动。操作者将空间事件装置对准待清扫区域的边界，并在起始位置处单击空间事件装置的按键1，此时指示灯由红变绿，图像传感器开始拍摄图像，然后操作者沿着待清扫区域的边界移动空间事件装置，至终点处再次单击按键1，此时指示灯由绿变黄，图像传感器结束拍摄。包含的空间事件组合为：按下按键1(记录起始位置坐标)+移动轨迹+姿态信息+待清扫区域图像+指示灯指示正常+松开按键1(记录终止位置坐标)。空间事件装置将生成的空间事件组合发送至机器人工控机，机器人工控机根据预设的空间事件组合与语义信息的对应关系，获取空间事件组合对应的表征操作者的操作意图的语义信息，机器人工控机基于语义信息，生成用于控制机器人移动基座的第一控制指令和控制机械臂的第二控制指令。机器人根据第一控制指令运行移动基座以及机器人根据第二控制指令运行机械臂，以按照操作者的操作意图执行请扫操作。

场景七：植树场景

在植树场景中，操作者手持空间事件装置，操作空间事件装置沿着每一棵待种植区域的边界移动。操作者将空间事件装置对准一棵树的待种植区域的边界，并在起始位置处双击空间事件装置的按键1，此时指示灯由红变黄，图像传感器拍摄图像，然后操作者沿着待种植区域的边界移动空间事件装置，至终点处再次双击按键1，指示灯由黄变绿。包含的空间事件组合为：双击按键1(记录起始位置坐标)+移动轨迹+姿态信息+待植树区域图像+指示灯指示正常+双击按键1(记录终止位置坐标)。空间事件装置将生成的空间事件组合发送至机器人工控机，机器人工控机根据预设的空间事件组合与语义信息的对应关系，获取空间事件组合对应的表征操作者的操作意图的语义信息，机器人工控机基于语义信息，生成用于控制机器人移动基座的第一控制指令和控制机械臂的第二控制指令。机器人根据第一控制指令运行移动基座以及机器人根据第二控制指令运行机械臂，以按照操作者的操作意图执行种植操作。

场景八：摘果场景

在摘果场景中，操作者手持空间事件装置，操作空间事件装置沿着待摘果区域的边界移动。操作者将空间事件装置对准待摘果区域的边界，并在起始位置处单击空间事件装置的按键1，图像传感器开始拍摄图像，然后操作者沿着待摘果区域的边界移动空间事件装置，至终点处单击按键2。包含的空间事件组合为，单击按键1(记录起始位置坐标)+移动轨迹+姿态信息+待摘果区域图像+指示灯指示正常+单击按键2(记录终止位置坐标)；空间事件装置将生成的空间事件组合发送至机器人工控机，机器人工控机根据预设的空间事件组合与语义信息的对应关系，获取空间事件组合对应的表征操作者的操作意图的语义信息，机器人工控机基于语义信息，生成用于控制机器人移动基座的第一控制指令和控制机械臂的第二控制指令。机器人根据第一控制指令运行移动基座以及机器人根据第二控制指令运行机械臂，以按照操作者的操作意图执行摘果操作。

本申请提出了一种全新的人机交互模式，人机交互的便捷性、易用性和兼容性是决定技术革命和产业发展的关键因素，每一次技术产业的颠覆式发展都是一次人机交互模式的变革。现有的机器人交互模式，都是单一维度的交互，有一定的局限性，不能让机器人理解人类的意图，不能实现智能化的服务与应用场景，本申请采用的人机交互，是通过获取真实空间多维度的信息，实现对人类操作意图的表达，并生成机器人的控制指令。操作人员在真实空间中对工作对象进行操作，更直观；只进行简单的指点、描画和按键操作，更简单；多维信息组合生成指令，更精准。

下述为本发明装置实施例，可以用于执行本发明方法实施例。

图9是根据一个示例性实施例示出的一种人机交互装置的框图，人机交互装置可以为终端或终端的一部分，人机交互装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图9所示，该人机交互装置包括：

第一获取模块901，用于获取空间事件装置响应于操作者操作空间事件装置而生成的空间事件组合；

第二获取模块902，用于基于获取的空间事件组合，获取表征操作者的操作意图的语义信息；

生成模块903，用于基于所述语义信息生成机器人控制指令，以使机器人按照操作者的操作意图执行操作。

可选的，所述空间事件组合中包括以下至少一项空间事件：交互事件、感知事件和指示事件；

所述交互事件包括：所述空间事件装置的交互部件的状态发生改变以及发生改变的时间；所述交互部件包括一个或多个按键，所述交互事件包括按键按下、按键释放。

所述感知事件包括：所述空间事件装置的传感器部件感知的以下一项或多项信息：位置、姿态、图像、力、温度、湿度、速度、加速度；

所述指示事件包括：所述空间事件装置的指示部件发出指示以及发出指示的时间。

可选的，所述第二获取模块用于：

根据预设的空间事件组合与语义信息的对应关系，确定获取的空间事件组合对应的语义信息。

可选的，所述第一获取模块包括：

检测单元，用于检测到操作者操作空间事件装置时，生成空间事件；

生成单元，用于基于空间事件发生的时间顺序组合多个空间事件生成空间事件组合。

可选的，所述生成模块用于：

将所述语义信息发送至机器人工控机，以使机器人工控机基于所述语义信息，生成机器人控制指令。

在本申请的另一实施例中，一种应用于机器人的人机交互系统，如图10所示，包括：

空间事件装置1001，用于检测到操作者操作空间事件装置时，生成空间事件组合；将生成的空间事件组合发送至机器人工控机1002；

机器人工控机1002，用于基于获取的空间事件组合，获取表征操作者的操作意图的语义信息，基于所述语义信息生成机器人控制指令，以控制机器人按照操作者的操作意图执行操作；

机器人1003，用于根据机器人工控机1002的控制指令按照操作者的操作意图执行操作。

在本申请的另一实施例中，还提供了一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上任一项所述的人机交互方法。

在本申请的另一实施例中，还提供了一种人机交互装置，所述人机交互装置可以包括：

存储器，用于存储应用程序和所述应用程序运行所产生的数据；

处理器，用于执行所述应用程序，以实现如上述所述的人机交互方法。

需要说明的是，本实施例中处理器的具体实现可以参考前文中的相应内容，此处不再详述。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (12)

1.一种应用于机器人的人机交互方法，其特征在于，所述方法包括：

获取空间事件装置响应于操作者操作空间事件装置而生成的空间事件组合；

基于获取的空间事件组合，获取表征操作者的操作意图的语义信息；

基于所述语义信息生成机器人控制指令，以控制机器人按照操作者的操作意图执行操作。

2.根据权利要求1所述的方法，其特征在于，所述空间事件组合包括以下至少一项空间事件：交互事件、感知事件和指示事件；

所述交互事件包括：所述空间事件装置的交互部件的状态发生改变以及发生改变的时间；所述交互部件包括一个或多个按键，所述交互事件包括按键按下、按键释放。

所述感知事件包括：所述空间事件装置的传感器部件感知的以下一项或多项信息：位置、姿态、图像、力、温度、湿度、速度、加速度；

所述指示事件包括：所述空间事件装置的指示部件发出指示以及发出指示的时间。

3.根据权利要求1所述的方法，其特征在于，所述基于获取的空间事件组合，获取表征操作者的操作意图的语义信息，包括：

根据预设的空间事件组合与语义信息的对应关系，确定获取的空间事件组合对应的语义信息。

4.根据权利要求1所述的方法，其特征在于，所述获取空间事件装置响应于操作者操作空间事件装置而生成的空间事件组合，包括：

检测到操作者操作空间事件装置时，生成空间事件；

基于空间事件发生的时间顺序组合多个空间事件生成空间事件组合。

5.根据权利要求1所述的方法，其特征在于，所述基于所述语义信息，生成机器人控制指令，包括：

将所述语义信息发送至机器人工控机，以使机器人工控机基于所述语义信息，生成机器人控制指令。

6.一种应用于机器人的人机交互装置，其特征在于，所述装置包括：

第一获取模块，用于获取空间事件装置响应于操作者操作空间事件装置而生成的空间事件组合；

第二获取模块，用于基于获取的空间事件组合，获取表征操作者的操作意图的语义信息；

生成模块，用于基于所述语义信息生成机器人控制指令，以使机器人按照操作者的操作意图执行操作。

7.根据权利要求6所述的装置，其特征在于，所述空间事件组合包括以下至少一项空间事件：交互事件、感知事件和指示事件；

所述交互事件包括：所述空间事件装置的交互部件的状态发生改变以及发生改变的时间；所述交互部件包括一个或多个按键，所述交互事件包括按键按下、按键释放。

所述感知事件包括：所述空间事件装置的传感器部件感知的以下一项或多项信息：位置、姿态、图像、力、温度、湿度、速度、加速度；

所述指示事件包括：所述空间事件装置的指示部件发出指示以及发出指示的时间。

8.根据权利要求6所述的装置，其特征在于，所述第二获取模块用于：

根据预设的空间事件组合与语义信息的对应关系，确定获取的空间事件组合对应的语义信息。

9.根据权利要求6所述的装置，其特征在于，所述第一获取模块包括：

检测单元，用于检测到操作者操作空间事件装置时，生成空间事件；

生成单元，用于基于空间事件发生的时间顺序组合多个空间事件生成空间事件组合。

10.根据权利要求6所述的装置，其特征在于，所述生成模块用于：

将所述语义信息发送至机器人工控机，以使机器人工控机基于所述语义信息，生成机器人控制指令。

11.一种应用于机器人的人机交互装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

获取空间事件装置响应于操作者操作空间事件装置而生成的空间事件组合；

基于获取的空间事件组合，获取表征操作者的操作意图的语义信息；

基于所述语义信息，生成机器人控制指令，以使所述机器人按照所述操作者的操作意图执行操作。

12.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现权利要求1-5任一项所述方法的步骤。