CN107943282A - 一种基于增强现实和可穿戴设备的人机交互系统及方法 - Google Patents

Abstract

本发明涉及一种基于增强现实和可穿戴设备的人机交互系统及方法，包括将可穿戴设备佩戴于使用者身体的特定部位处，采集使用者身体特定部位的肌电信号和可穿戴设备自身的姿态信息；基于所采集到的信息生成操作指令，并基于操作指令控制增强现实设备，以实现场景更新，并同时向使用者提供视觉、听觉反馈，并返回触觉反馈指令；基于触觉反馈指令控制可穿戴设备，以对使用者执行触觉反馈。通过以上系统和方法，本发明提供了一个完整的闭环人机交互系统和方法，使用者可通过穿戴式设备控制增强现实设备，并获得视觉、听觉、触觉反馈，从而获得更深层次更真实的交互体验。

Description

一种基于增强现实和可穿戴设备的人机交互系统及方法

技术领域

本发明涉及人机交互领域，尤其涉及一种可穿戴设备、增强现实人机交互系统及方法。

背景技术

自虚拟现实技术和人机交互技术诞生以来，交互设备及应用得到了飞速发展，尤其是近年来成熟的虚拟现实设备的普及促进了虚拟现实技术及人机交互技术进一步发展。但在虚拟现实场景下，使用者的感观被完全隔离在虚拟场景内，缺少与真实环境的交互，从而使得使用者在使用虚拟现实设备时，会产生眩晕、恶心等不适的生理现象。

增强现实技术被提出之后，随着随身电子产品运算能力的提升，增强现实技术逐渐应用于小型化电子设备。相较于虚拟现实技术，增强现实技术能够在真实环境下为使用者提供虚拟影像，加强了使用者与真实环境的交互，同时至少在一定程度上避免了虚拟现实技术中亟待解决的产生眩晕、恶心等不适的生理现象的问题。

增强现实技术与人机交互技术在增强现实技术应用中高度结合。现有的增强现实人机交互中，有些可采用物理控制器进行使用者与增强现实设备之间的交互，该种方式通常需要占用使用者的双手以进行相应的控制和操作，从而会影响与真实环境交互的真实感；有些也可采用声音进行使用者与增强现实设备之间的交互，但该种方式需要较为安静的环境，否则会受到严重的干扰，因此在公共场合或周围噪音较大的环境中难以适用；有些也可采用手势识别进行使用者与增强现实设备之间的交互，但该种方式需要使用者在增强现实图像输入设备(如：摄像头)的可见范围内做出特定的动作，因此容易受到环境光线的干扰且具有移动性的限制。

因此，迫切需要设计一种新的增强现实人机交互系统及方法，能够进一步解放使用者的双手或更加适用于各种不同的环境。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种增强现实人机交互系统及方法，使得使用者在操作过程中能够解放双手，并且能够获得在增强现实系统中操作的视觉、听觉和触觉反馈，使用场景广泛，且没有移动性的限制。

本发明提供了一种包括可穿戴设备的增强现实人机交互系统及方法，通过可穿戴设备进行使用者与增强现实设备之间的交互，至少可以部分地实现上述目的。

一方面，本发明提供一种人机交互系统，包括：可穿戴设备，所述可穿戴设备佩戴于使用者身体的特定部位处；上位机；服务器；增强现实设备；其中，所述可穿戴设备、所述上位机、所述服务器与所述增强现实设备之间通信连接；

其特征在于：所述可穿戴设备采集使用者身体特定部位的肌电信号和所述可穿戴设备自身的姿态信息，并传输至所述上位机；所述上位机基于所述可穿戴设备采集的信息生成解析结果，并传输至所述服务器；所述服务器基于所述上位机的解析结果生成相应的操作指令，并传输至所述增强现实设备；所述增强现实设备基于所述服务器生成的操作指令实现场景更新，同时向使用者提供视觉和听觉反馈，并通过所述服务器和所述上位机向所述可穿戴设备返回触觉反馈指令；所述可穿戴设备基于返回的所述触觉反馈指令对使用者执行触觉反馈。

在发明的一个实施例中，所述可穿戴设备进一步被配置为对所采集到的肌电信号和姿态信息进行预处理。

在发明的一个实施例中，所述上位机进一步被配置为将肌电信号和姿态信息的解析结果交叉融合。

在发明的一个实施例中，所述上位机进一步被配置为引导所述可穿戴设备的使用者做出特定的动作。

在发明的一个实施例中，所述服务器进一步被配置为向一个或多个增强现实设备分发指令。

在发明的一个实施例中，单个使用者使用单个可穿戴设备控制特定的增强现实设备，实现场景更新并获得视觉、听觉、触觉反馈。

在发明的一个实施例中，单个使用者能够使用单个可穿戴设备控制多个增强现实设备，实现多个场景的同步更新，并获得多个场景的视觉、听觉、触觉反馈。

在发明的一个实施例中，多个使用者能够使用多个可穿戴设备控制同一个增强现实设备，实现对同一个场景的共同控制，并获得所述同一个场景的视觉、听觉、触觉反馈。

在发明的一个实施例中，多个使用者能够使用多个可穿戴设备控制多个增强现实设备，实现多个场景的同步更新以及对所述多个场景的共同控制，并获得所述多个场景的视觉、听觉、触觉反馈。

在发明的一个实施例中，所述可穿戴设备、所述上位机、所述服务器和所述增强现实设备之间的通信连接，可分别单独或组合采用以下一种或多种通信方式：无线通信、有线通信、蓝牙通信、Wi-Fi通信。

另一方面，本发明还提供一种人机交互方法，包括：将可穿戴设备佩戴于使用者身体的特定部位处，采集使用者身体特定部位的肌电信号和所述可穿戴设备自身的姿态信息；基于所采集到的信息生成操作指令；基于所述操作指令控制增强现实设备，以实现场景更新，并同时向使用者提供视觉、听觉反馈，并返回操作结果；基于所述操作结果生成触觉反馈指令；基于所述触觉反馈指令控制所述可穿戴设备，以对使用者执行触觉反馈。

通过以上系统和方法，本发明提供了一个完整的闭环人机交互系统和方法，使用者可通过穿戴式设备控制增强现实设备，并获得视觉、听觉、触觉反馈，从而获得更深层次更真实的交互体验。

附图说明

图1为本发明中人机交互系统的一个实施例的整体结构示意图；

图2为本发明中可穿戴设备的一个实施例的系统构成示意图；

图3为本发明中上位机程序的一个实施例的系统构成示意图；

图4为本发明中服务器的一个实施例的系统构成示意图；

图5为本发明中人机交互系统的一个实施例的交互流程示意图；

图6为本发明中多种人机交互方式的实施例的示意图。

具体实施方式

为了彻底理解本发明，将在下列的描述中提出详细的步骤以及详细的结构，以便阐释本发明提出的技术方案。下面将结合附图，对本发明的技术方案进行更为清楚、完整的描述。显然，所描述的实施例是本发明一部分的实施例，而不是全部的实施例。本发明的较佳实施例详细描述如下，然而除了这些详细描述外，本发明还可以具有其他实施方式。基于本发明的实施例，本领域的技术人员在没有付出创造性劳动的前提下所获得的所有其他的实施例，都属于本发明的保护范围。

在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。应当理解的是，本发明能够以不同形式实施，而不应当解释为局限于这里提出的实施例。相反地，提供这些实施例将使本发明的公开清楚和全面。

图1提供了本发明中人机交互系统的一个实施例的整体结构示意图。如图1所示，人机交互系统包括可穿戴设备和增强现实设备，可穿戴设备与增强现实设备通过上位机和服务器通信连接。

其中，可穿戴设备佩戴于使用者身体的特定部位，用于采集来自使用者的信息，如反映使用者身体运动或状态的肌电信号以及可穿戴设备本身的姿态信息，并将所采集到的信息传输至上位机；上位机对接收到的可穿戴设备采集的信息进行解析，通过对一个或多个肌电信号和/或姿态信息的融合及识别得到解析结果，并将解析结果传输至服务器；服务器可以是云服务器，将接收到的上位机的解析结果转化为增强现实中的特定的操作指令，并将操作指令传输至增强现实设备，以控制增强现实设备，如实现增强现实中的全息影像的控制；增强现实设备根据接收到的操作指令执行相应的操作，如实现场景更新或变换以及向使用者提供视觉和听觉反馈；增强现实设备在执行操作指令后，根据场景的更新和变换，将操作结果返回至服务器；服务器对增强现实设备返回的操作结果进行处理，生成反馈指令，如触觉反馈指令，并将反馈指令传输至上位机；上位机将服务器的反馈指令转化为可穿戴设备的控制指令，并传输至可穿载设备；可穿戴设备根据接收到的反馈指令执行相应的操作，如对使用者执行触觉反馈，以完成人机交互功能。

本发明将传统的增强现实人机交互升级为具有实时信息反馈，控制与反馈一体的闭环人机交互系统，将可穿戴设备与增强现实设备融于一体，实现更高质量的人机交互体验。

更具体地，如图2所示，提供了本发明中可穿戴设备的一个实施例的系统构成示意图。其中，可穿戴设备可包括：肌电信号采集模块，用于采集使用者特定身体部位的肌电信号，肌电信号采集模块可采用各种能够采集反映使用者身体运动或状态信息的传感器，如采用肌电信号传感器采集人体肌肉电信号；姿态信息采集模块，用于采集可穿戴设备本身的姿态信息，姿态信息采集模块可采用各种能够采集反映设备本身状态信息的传感器，如采用加速度计、陀螺仪等姿态传感器；触觉反馈模块，用于对可穿戴设备的使用者执行触觉反馈，可采用各种能够对使用者产生触觉感受的装置，如采用电刺激器、振动单元或温度变化装置，在一个具体实施例中，振动单元可以是电子马达；通信模块，用于与上位机等其他设备进行通信，通信模块可采用各种能够有线或无线通信的装置，如采用蓝牙、Wi-Fi等通信模块从而实现相应的通信方式。进一步地还可以对通信进行加密，从而提高安全性。在一个实施例中，可采用基于蓝牙4.0协议的低功耗蓝牙芯片，如NRF51822低功耗蓝牙芯片。上述各种模块采用的传感器均为具体实施例中所采用的传感器，在本发明中，可穿戴设备的各模块采用的传感器包含但不限于以上所述具体的传感器。

在具体实施例中，可穿戴设备还可进一步包括肌电信号预处理模块和姿态信处预处理模块，用于对肌电信号采集模块采集到的肌电信号和姿态信息采集模块采集到的姿态信息进行预处理以便于后续的处理，如采用差分放大电路对采集到的肌肉电信号进行放大。由于所采集到的肌电信号通常不会很大，尤其是当使用者的动作幅度较小或者两个不同状态之间的差异较小时，信号可能会更加微弱，使用肌电信号预处理模块和姿态信息预处理模块对肌电信号和姿态信息进行预处理，比如对较小的电信号进行放大，有利于后续的操作对肌电信号和姿态信息进行更精确地识别和处理，比如识别更加细微的动作。

在具体实施例中，可穿戴设备还可进一步包括肌电信号及姿态信息处理模块，用于将采集到或经过预处理的肌电信号及姿态信息处理为适合通信传输的信息，以便于将采集到或经过预处理的信息传输至上位机。可采用微处理器对肌电信号及姿态信息进行处理，并处理成为适合蓝牙通信传输的信息，在一个具体实施例中，该模块采用STM32F410微处理器。

如图3所示，提供了本发明中上位机程序的一个实施例的系统构成示意图。其中，上位机可包括：肌电信号处理解析程序和姿态信息处理程序，用于对可穿戴设备采集到的肌电信号以及姿态信息进行处理和解析，从而得到识别结果，可采用各种技术进行处理和解析，如采用机器学习技术生成相应的解析数学模型，进而解析可穿戴设备实际使用中采集到的肌电信号和姿态信息；反馈处理程序，用于对增强现实设备返回的反馈指令进行处理或编码，以便于传输至可穿戴设备以执行反馈指令，可处理可种类型的反馈指令，如振动、电刺激、温度变化等；网络通信程序，用于与可穿戴设备和服务器等其他设备进行通信，网络通信程序可采用各种能够有线或无线通信的装置或程序，如采用蓝牙、Wi-Fi等通信程序从而实现相应的通信方式，在一个实施例中，可采用HTTP传输协议将解析结果传输至云服务器，并采用蓝牙通信方式接收可穿戴设备采集的信息以及向可穿戴设备发送反馈指令。进一步地还可以对通信进行加密，从而提高安全性。

上位机进一步还可以包括：肌电解析结果及姿态解析结果融合程序，用于将肌电信号和姿态信息的解析结果交叉融合，以获得更多结果组合，从而进一步增强对使用者动作和状态的识别和处理。在一个具体实施例中，可穿戴设备使用者还可根据上位机的引导，做出特定的动作，这种双向的人机交互有利于满足各种不同场景的人机交互需求。

如图4所示，提供了本发明中服务器的一个实施例的系统构成示意图。其中，服务器可包括：指令格式化程序，用于将上位机的指令格式化为适合通信传输的数据格式，在一个具体实施例中，可将指令格式化为JSON数据格式；指令分发程序，用于实现指令的分发，在一个具体实施例中，可根据使用者的设定，基于不同设备的不同特征识别码实现指令分发，进而实现多个上位机与多个增强现实设备的双向通信；通信程序，用于与上位机和增强现实设备等其他设备进行通信，通信程序可采用各种能够有线或无线通信的装置或程序，如可采用HTTP和TCP/IP通信协议，在一个具体实施例中，还可以同时接入多个上位及增强现实设备，进而实现使用者可通过一个可穿戴设备控制多个增强现实设备的场景更新，或多个使用者使用多个可穿戴设备控制同一个或多个增强现实设备。在一个具体实施例中，所有的程序可以完全部署在云服务器上，不涉及本地硬件。

在本发明的一个实施例中，增强现实设备可接收从云服务器中发来的格式化指令信息，并基于使用者设定的指令对应关系，将格式化指令信息转化为可控制场景更新的指令。在增强现实设备的场景更新过程中，会向使用者提供听觉及视觉反馈，从而实现人机交互。在增强现实设备的场景更新过程中，还会生成触觉反馈指令，通过云服务器和上位机发送至可穿戴设备，从而对使用者执行触觉反馈，进一步实现人机交互。在一个具体实施例中，使用者可通过使用可穿戴设备来控制增强现实设备中的虚拟手抓取物体。基于开发者设定的人机交互逻辑，抓取物体时的抓取力会转化为触觉反馈指令，传回可穿戴设备，执行对使用者的触觉反馈，从而形成一个闭环的人机交互体验。在一个具体实施例中，增强现实设备可以是微软公司的HoloLens或谷歌公司的Google Glass。

如图5所示，提供了本发明中人机交互系统的一个实施例的交互流程示意图。使用者做出移动或抓取的动作，可穿戴设备采集到相应的肌电信号和姿态信息并传输至上位机；上位机通过解析得到相应的移动或抓取的指令，并传输至云服务器；云服务器进一步对移动或抓取指令进行格式化并传输或分发至增强现实设备；增强现实设备根据接收到的移动或抓取指令更新场景，同时向使用者提供相应的听觉或视觉反馈，比如通过变换场景使得使用者感到移动了一段距离，或显示虚拟的手抓起了某个虚拟的物体使得使用者感到完成了抓取动作，并向云服务器返回抓取完成反馈指令；云服务器根据增强现实设备返回的抓取完成反馈指令生成触觉反馈指令，并传输至上位机；上位机进一步对触觉反馈指令进行解析或处理并传输至可穿戴设备；可穿戴设备根据接收到的触觉反馈指令对使用者执行相应的触觉反馈，比如通过可穿戴设备的振动、电刺激或温度变化等来反映抓取力及抓取物体的感觉，使得使用者感到真的抓起了一个物体。通过这种闭环的人机交互流程，可以将使用者的真实动作与虚拟场景有机地结合并同步更新，让使用者的感受更为真实，从而大大提升人机交互系统的使用体验。

如图6所示，本发明还提供了各种可实现一对一、一对多、多对一、多对多的增强现实人机交互的交互方式。在一个实施例中，该方式将单个使用者、单个可穿戴设备、单个上位机作为一个基本单元，单个增强现实设备作为一个基本单元，通过云服务器连接，形成一对一、一对多、多对一等多种系统拓扑结构。在一个实施例中，单个使用者可使用单个可穿戴设备，控制特定的增强现实设备，实现场景更新，并获得视觉、听觉、触觉反馈，获得更深层次交互体验。在另一个实施例中，单个使用者可使用单个可穿戴设备，控制多个增强现实设备，实现多个场景的同步更新，并获得多个场景的视觉、听觉、触觉反馈，获得更广域的交互体验；在另一个实施例中，多个使用者可使用多个可穿戴设备，控制同一个增强现实设备，实现对同一个场景的共同控制，并获得该场景的视觉、听觉、触觉反馈，获得共同合作的交互体验；在另一个实施例中，多个使用者可使用多个可穿戴设备，控制多个增强现实设备，实现多个场景的同步更新和对多个场景的共同控制，并获得多个场景的视觉、听觉、触觉反馈，获得更广域的共同合作的交互体验。

在一个具体实施例中，云服务器可采用Redis网络通信框架，可根据上位机上传的数据中的特定标签，确定上位机身份，进而确认可穿戴设备的唯一认证代号，进而绑定单个使用者；同时可按照管理者设定，基于已连接的增强现实设备的端口号，向指定增强现实设备分发可穿戴设备使用者尝试发出的控制指令。

本发明已经通过上述实施例进行了说明，但应当理解的是，上述实施例只是用于举例和说明的目的，而非意在将本发明限制于所描述的实施例范围内。此外本领域技术人员可以理解的是，本发明并不局限于上述实施例，根据本发明的教导还可以做出更多种的变型和修改，这些变型和修改均落在本发明所要求保护的范围以内。本发明的保护范围由附属的权利要求书及其等效范围所界定。

Claims (10)

1.一种人机交互系统，包括：

可穿戴设备，所述可穿戴设备佩戴于使用者身体的特定部位处；

上位机；

服务器；

增强现实设备；

其中，所述可穿戴设备、所述上位机、所述服务器与所述增强现实设备之间通信连接；

其特征在于：

所述可穿戴设备采集使用者身体特定部位的肌电信号和所述可穿戴设备自身的姿态信息，并传输至所述上位机；

所述上位机基于所述可穿戴设备采集的信息生成解析结果，并传输至所述服务器；

所述服务器基于所述上位机的解析结果生成相应的操作指令，并传输至所述增强现实设备；

所述增强现实设备基于所述服务器生成的操作指令实现场景更新，同时向使用者提供视觉和听觉反馈，并通过所述服务器和所述上位机向所述可穿戴设备返回触觉反馈指令；

所述可穿戴设备基于返回的所述触觉反馈指令对使用者执行触觉反馈。

2.根据权利要求1所述的系统，其中，所述可穿戴设备进一步被配置为对所采集到的肌电信号和姿态信息进行预处理。

3.根据权利要求1所述的系统，其中，所述上位机进一步被配置为将肌电信号和姿态信息的解析结果交叉融合。

4.根据权利要求1所述的系统，其中，所述上位机进一步被配置为引导所述可穿戴设备的使用者做出特定的动作。

5.根据权利要求1所述的系统，其中，所述服务器进一步被配置为向一个或多个增强现实设备分发指令。

6.根据权利要求1所述的系统，其中，单个使用者能够使用单个可穿戴设备控制特定的增强现实设备，实现场景更新并获得视觉、听觉、触觉反馈。

7.根据权利要求1所述的系统，其中，单个使用者能够使用单个可穿戴设备控制多个增强现实设备，实现多个场景的同步更新。

8.根据权利要求1所述的系统，其中，多个使用者能够使用多个可穿戴设备控制同一个增强现实设备，实现对同一个场景的共同控制，并获得所述同一个场景的视觉、听觉、触觉反馈。

9.根据权利要求1所述的系统，其中，多个使用者能够使用多个可穿戴设备控制多个增强现实设备，实现多个场景的同步更新以及对所述多个场景的共同控制，并获得所述多个场景的视觉、听觉、触觉反馈。

10.一种人机交互方法，包括：

将可穿戴设备佩戴于使用者身体的特定部位处，采集使用者身体特定部位的肌电信号和所述可穿戴设备自身的姿态信息；

基于所采集到的信息生成操作指令；

基于所述操作指令控制增强现实设备，以实现场景更新，并同时向使用者提供视觉、听觉反馈，并返回操作结果；

基于所述操作结果生成触觉反馈指令；

基于所述触觉反馈指令控制所述可穿戴设备，以对使用者执行触觉反馈。