CN111580677A - 一种人机交互方法及人机交互系统 - Google Patents

Abstract

本发明公开一种人机交互方法即人机交互系统，所述交互方法包括：获取用户手部的定位信息和手势信息；根据获取的所述定位信息，确定所述虚拟现实显示设备显示内容中虚拟操作手的待操作内容；根据获取的所述手势信息确定对应的交互操作方式；执行并响应所述虚拟操作手按照所述交互操作方式对所述待操作内容的触发操作。应用本发明的技术方案，解决现有交互手柄按钮不足而不能实现用户需要的更多交互方式的问题。

Description

一种人机交互方法及人机交互系统

技术领域

本发明涉及一种人机交互技术，尤其涉及一种虚拟现实显示设备的人机交互方法及人机交互系统。

背景技术

随着三维显示技术与虚拟现实技术的发展，越来越多技术团队针对相关新型显示技术开发相对应的人机交互技术。目前市场上用于虚拟现实显示设备的人机交互方法，在确定待操作的交互内容之后，通常使用交互手柄(或交互笔)的移动及其按钮进行抓取、放下、移动与旋转显示内容中的交互物品来实现人机交互。这种方法通过绑定手柄上的按钮与内容平台上相应的触发事件来实现。但是，一般手柄上的按键有限，如果还想实现放大、缩小、进入、退出、翻页、全屏等等更多功能，则显得捉襟见肘。严重影响用户体验。

由此可见，现有交互方式因交互手柄按钮不足存在不能实现用户所需的更多交互方式的缺陷，需要改进。

发明内容

本发明的目的是克服现有技术的不足，提供一种人机交互方法及人机交互系统，以解决现有交互手柄按钮不足而不能实现用户需要的更多交互方式的问题。

为实现以上目的，本发明通过以下技术方案予以实现：

本发明提供一种人机交互方法，用于实现用户与虚拟现实显示设备的交互，包括：

获取用户手部的定位信息和手势信息；

根据获取的所述定位信息，确定所述虚拟现实显示设备显示内容中虚拟操作手的待操作内容；

根据获取的所述手势信息确定对应的交互操作方式；

执行并响应所述虚拟操作手按照所述交互操作方式对所述待操作内容的触发操作。

进一步地，所述定位信息包括：位置信息和旋转信息；所述获取用户手部的定位信息的步骤，具体包括：

通过光学动作捕捉系统拍摄绑定在所述用户手部的刚体的图像，以获取所述用户手部的位置信息和旋转信息；或，

通过光学动作捕捉系统拍摄绑定在所述用户手部的标记点的图像，以获取所述用户手部的位置信息；通过惯性系统获取所述用户手部的旋转信息。

进一步地，所述获取用户手部的手势信息的步骤，具体包括：

通过所述光学动作捕捉系统拍摄绑定在所述用户手部的刚体的图像，以获取所述用户手部的手势信息；或；

通过手势识别系统拍摄所述用户手部的图像，以获取所述用户手部的手势信息。

进一步地，所述根据获取的所述定位信息，确定所述虚拟现实显示设备显示内容中虚拟操作手的待操作内容的步骤，具体包括：

根据获取的所述用户手部的定位信息，按照预设的位置映射关系确定所述显示内容中所述虚拟操作手的待操作位置；

确定所述待操作位置对应的待操作内容。

进一步地，所述根据获取的所述手势信息确定对应的交互操作方式的步骤，具体包括：

根据获取的所述手势信息，按照预设的手势信息与操作方式映射关系确定所述手势信息对应的交互操作方式；或，

根据获取的所述手势信息，按照预设的手势信息与键盘按键映射关系确定所述手势信息对应的键盘上的具体按键，以及按照预设的键盘按键与操作方式映射关系，确定所述具体按键对应的交互操作方式。

进一步地，所述虚拟现实显示设备包括：3D大屏虚拟现实显示设备、3D桌面显示设备或3D头戴式显示设备。

进一步地，当所述虚拟现实显示设备包括3D大屏虚拟现实显示设备时，所述方法还包括：

通过所述光学动作捕捉系统获取所述用户佩戴的3D交互眼镜的定位信息；

根据所述3D交互眼镜的定位信息，实时调整所述3D大屏虚拟现实显示设备显示内容的显示视角。

本发明还提供一种人机交互系统，包括：

虚拟现实显示设备，用于显示图像内容；

光学动作捕捉系统，用于获取用户手部的位置信息和手势信息；

惯性系统，用于获取所述用户手部的旋转信息；

数据处理设备，用于根据所述光学动作捕捉系统获取的所述位置信息和所述惯性系统获取的所述用户手部的旋转信息，确定所述虚拟现实显示设备显示内容中虚拟操作手的待操作内容；以及根据所述光学动作捕捉系统获取的手势信息，确定所述手势信息对应的交互操作方式；以及执行并响应所述虚拟操作手按照所述交互操作方式对所述待操作内容的触发操作。

相应地，本发明还提供了一种人机交互系统，包括：

虚拟现实显示设备，用于显示图像内容；

光学动作捕捉系统，用于获取用户手部的位置信息；

惯性系统，用于获取所述用户手部的旋转信息；

手势识别系统，用于获取所述用户手部的手势信息；

数据处理设备，用于根据所述光学动作捕捉系统获取的所述位置信息和所述惯性系统获取的所述用户手部的旋转信息，确定所述虚拟现实显示设备显示内容中虚拟操作手的待操作内容；以及根据所述手势识别系统获取的手势信息，确定所述手势信息对应的交互操作方式；以及执行并响应所述虚拟操作手按照所述交互操作方式对所述待操作内容的触发操作。

相应地，本发明还提供了一种人机交互系统，包括：

虚拟现实显示设备，用于显示图像内容；

光学动作捕捉系统，用于获取用户手部的定位信息和手势信息；

数据处理设备，用于根据所述光学动作捕捉系统获取的所述定位信息，确定所述虚拟现实显示设备显示内容中虚拟操作手的待操作内容；以及根据所述光学动作捕捉系统获取的手势信息，确定所述手势信息对应的交互操作方式；以及执行并响应所述虚拟操作手按照所述交互操作方式对所述待操作内容的触发操作。

本发明提供本发明提供的人机交互方法及人机交互系统，用户在与虚拟现实显示设备进行交互操作时，不再依赖于传统的交互手柄或交互笔，因此交互操作方式不再受限于交互手柄物理按钮的数量；且，由于用户可以做出多种不同手势来实时控制虚拟操作手的移动，因此可以进行更多的满足用户需求的交互操作，因此本发明的人机交互方法可以摆脱交互手柄与交互笔的制约，能够实现更多的人机交互功能。

附图说明

图1为本发明提供的人机交互方法的第一实施例的流程示意图。

图2为本发明提供的人机交互方法的第二实施例的流程示意图。

图3a-图3f为本发明实施例提供的手势信息的示意图。

图4为本发明提供的人机交互方法的第三实施例的流程示意图。

图5为本发明提供的人机交互系统的第一实施例的结构框图。

图6为本发明提供的人机交互系统的第二实施例的结构框图。

图7为本发明提供的人机交互系统的第三实施例的结构框图。

具体实施方式

以下结合附图和具体实施例，对本发明进行详细说明。

基于当前用户与虚拟现实交互设备交互方法受限于交互手柄的缺陷，导致交互方式不足以满足用户更多交互需求的问题，本发明提供一种人机交互方法，用于实现用户与虚拟现实显示设备的交互，该虚拟现实显示设备可以包括:3D大屏虚拟现实显示设备，3D桌面显示设备，或3D头戴式显示设备。也即是说，本发明的人机交互方法，可以适用于3D大屏人机交互，3D桌面人机交互(如zspace桌面屏幕交互)，或头戴式人机交互(如AR头戴式显示设备或VR头戴式显示设备)。

如图1所示，本发明提出的人机交互方法的核心，包括如下步骤：

步骤S100,预先设置手势信息与交互操作方式的映射关系。其中，交互操作方式可以包括：如抓取、放下、移动、旋转、放大、缩小、进入、退出、翻页、全屏等。

在预先设置手势信息与交互操作方式的映射关系时，有两种方式，将在后续实施例进行详细描述。

步骤S101,获取用户手部的定位信息和手势信息。

在交互过程中，通过动作捕捉系统(如光学动作捕捉系统或惯性动作捕捉系统)可获取用户手部的手势信息和定位信息。其中，定位信息可以包括位置信息和旋转信息。

步骤S102,根据获取的定位信息，确定虚拟现实显示设备显示内容中虚拟操作手的待操作内容。

在获取用户手部的定位信息之后，可以通过如卡尔曼滤波之类的融合算法计算出用户手部的六自由度信息，并将该六自由度信息实时输入到内容平台，如Unity平台，并最终呈现到虚拟现实显示设备显示内容中。虚拟现实设备显示内容中，有一只虚拟操作手，其与用户手部对应，当用户手部的六自由度信息改变时，虚拟操作手的六自由度也改变，即用户可通过自身手部的移动来实时控制虚拟现实显示设备显示内容中虚拟操作手的移动。

步骤S103,根据获取的手势信息，确定出所述手势信息对应的交互操作方式。

步骤S104,执行并响应所述虚拟操作手按照所述交互操作方式对所述待操作内容的触发操作。

本发明实施例这样交互的好处是，用户在与虚拟现实显示设备进行交互操作时，不再依赖于传统的交互手柄或交互笔，因此交互操作方式不再受限于交互手柄物理按钮的数量；且，由于用户可以做出多种不同手势来实时控制虚拟操作手的移动，因此可以进行更多的满足用户需求的交互操作，因此本发明的人机交互方法可以摆脱交互手柄与交互笔的制约，能够实现更多的人机交互功能。

在获取用户手部的定位信息和手势信息时，可以有不同的方式。其中，定位信息包括：位置信息和旋转信息。例如，在获取用户手部的定位信息时，可以通过光学动作捕捉系统同时获取用户手部的位置信息和旋转信息；或者，通过光学动作捕捉系统获取用户手部的位置信息，而通过惯性系统去获取用户手部的旋转信息。又例如，在获取用户手部的手势信息时，可以通过前述的光学动作捕捉系统直接获取，也可以再另外增加一个手势识别系统，该增加的手势识别系统专门用于获取用户手部的手势信息。下面，将根据不同情形，分别进行详细描述。

如图2所示，是本发明提供的人机交互方法的第二实施例的流程示意图。在该实施例中，通过光学动作捕捉系统拍摄绑定在用户手部的刚体的图像，以获取用户手部的位置信息和旋转信息，而无需再另外增加惯性系统。下面，将对本实施例进行详细的描述。

图2所示的人机交互方法，具体包括：

步骤S200，预先设置手势信息与交互操作方式的映射关系。其中，交互操作方式可以包括：如抓取、放下、移动、旋转、放大、缩小、进入、退出、翻页、全屏等。

本步骤中，在具体实现时，可以有两种方式。

第一种方式是，预设手势信息与交互操作方式映射关系并存储在映射表中。举例来说，当手势为图3a时，对应的操作方式可以是放大操作，当手势为图3c时，对应的操作方式可以为缩小操作。当手势为图3e时，对应的操作方式可以是抓取操作。按照类似的方式，可以设置不同手势对应的不同交互操作方式。另一种方式是，不直接预设手势信息与交互操作方式之间的对应关系，而是预设手势信息与键盘按键之间的映射关系，然后再预设键盘按键与交互操作方式之间的映射关系，并将对应的映射关系存储在映射表格中。举例来说，当手势为图3a时，对应的键盘按键为A，A对应的操作方式可以是放大操作；当手势为图3c时，对应的键盘按键为S，对应的操作方式可以为缩小操作。当手势为图3e时，对应的键盘按键为D,对应的操作方式可以是抓取操作。按照类似的方式，可以设置不同手势对应的不同键盘按键，以及不同按键对应的不同交互操作方式。

步骤S201,通过光学动作捕捉系统拍摄绑定在用户手部的刚体的图像，以获取用户手部的位置信息和旋转信息。

即本步骤中描述的是，仅通过光学动作捕捉系统便可获取用户手部的位置信息和旋转信息的方式。具体实现方式如下：

光学动作捕捉系统包括：两台(目)或以上的光学动捕相机，以及多个标记点，该多个标记点的一部分可以组成刚体。将由标记点组成的刚体粘贴在用户手部的手背位置处，将其余的标记点粘贴在用户的手指上。

捕获开始时，多台光学动捕相机通过拍摄用户手部的图像，并将拍摄的图像传到数据处理设备，通过对图像进行处理，进而识别出用户手部的标记点位置，进而可识别出用户手部的位置信息(x，y，z)和用户手部的旋转信息(yaw，roll，pitch)。

步骤S202,获取用户手部的手势信息。

在本步骤中，获取用户手部的手势信息时，有两种操作方式，一种是:直接使用步骤S201中的光学动作捕捉系统来获取绑定在用户手部的刚体的图像，以获取用户手部的手势信息。即是说，光学动作捕捉系统在获取用户的定位信息时，也同时获取用户手部的手势信息。此种方式的好处是：不用额外增加手势识别系统。当然，此种方式进行手势识别时，也有不足：比如，光学动捕相机的亮度调整有制约，当光学动捕相机调整到一个对刚体捕捉较好的亮度时(这个亮度比较暗，用于去除背景环境干扰，尽量保留光球灰度而去除背景灰度)，但对手势识别来说就显得太暗了，所以只能识别距离比较近的手势，如图3a-图3f所示。然而当动捕相机的亮度调到对手势识别范围比较好时(即将亮度调到稍微大一点，能拍到较远的手势时)，就会给刚体识别引入了许多不需要的背景光，干扰刚体或标记点捕捉。因此在采用此种方式获取定位信息和手势信息时，需要很好地平衡光学动捕相机的亮度。

另一种方式是：通过另外的一套手势识别系统来获取用户手部的手势信息。为保证同一应用场景中光学动作捕捉系统和手势识别系统的正常使用，要求光学动作捕捉系统中光学动捕相机与手势识别系统中相机的工作波长不一样。例如，当光学动作捕捉系统中光学动捕相机的工作波长为940nm，手势识别系统中相机的工作波长为850nm。其中，手势识别系统具体呈现形式可以是一台手势识别设备，比如单台普通摄像机，单台双目相机，单台TOF相机等等。在使用前要对所有相机进行标定(包括光学动捕相机和用户手势识别的相机)，使所有相机的坐标系统一起来，也使拍摄同一二维坐标点的不同相机的相应像素配对起来。

步骤S203,根据获取的所述用户手部的定位信息，按照预设的位置映射关系确定所述显示内容中所述虚拟操作手的待操作位置。

步骤S204,确定所述待操作位置对应的待操作内容。

由于在步骤S202中已经获取了用户手部的位置信息和旋转信息。因此，在步骤S203中，可以通过如卡尔曼滤波之类的融合算法计算出用户手部的六自由度信息，并将该六自由度信息实时输入到内容平台，如Unity平台，并最终呈现到虚拟现实显示设备显示内容中。然后再根据预先设定的位置信息关系，便可确定出显示内容中虚拟操作手的待操作位置以及待操作内容。

步骤S205,根据步骤S202中获取的手势信息确定对应的交互操作方式。

在步骤S202中识别出具体的手势信息之后，便可在预设的手势信息与操作方式的映射表中查找，以获取当前手势信息对应的具体操作方式。或者在步骤S202中识别出具体的手势信息之后，依次查找手势信息与键盘按键映射表、键盘按键与操作方式映射表，便可获取当前手势信息对应的具体操作方式。

步骤S206,执行并响应虚拟操作手按照交互操作方式对待操作内容的触发操作。

本步骤中，当该手势被识别成功后，通过预设的映射关系便可实现用手势触发相应的事件(或功能)。如在手势识别成功之后，会自动连续发送相应的按键型号，通过匹配按键与虚拟现实显示设备内容平台的触发事件，可实现用手势触发相应的事件(或功能)。

在本实施例中由于常用可识别的手势高达数十种，则该方案可实现多功能的人机交互，即可通过手势识别准确触发很多不同的功能。

如图4所示，是本发明提供的人机交互方法的第三实施例的流程示意图。在本实施例中，通过光学动作捕捉系统拍摄绑定在用户手部的刚体的图像，以获取用户手部的位置信息，通过惯性系统获取用户手部的旋转信息。下面，将对本实施例进行详细的描述。

图4所示的人机交互方法，包括：

步骤S400，预先设置手势信息与交互操作方式的映射关系。其中，交互操作方式可以包括：如抓取、放下、移动、旋转、放大、缩小、进入、退出、翻页、全屏等。

本步骤中，在具体实现时，可以有两种方式。

第一种方式是，预设手势信息与交互操作方式映射关系并存储在映射表中。举例来说，当手势为图3a时，对应的操作方式可以是放大操作，当手势为图3c时，对应的操作方式可以为缩小操作。当手势为图3e时，对应的操作方式可以是抓取操作。按照类似的方式，可以设置不同手势对应的不同交互操作方式。另一种方式是，不直接预设手势信息与交互操作方式之间的对应关系，而是预设手势信息与键盘按键之间的映射关系，然后再预设键盘按键与交互操作方式之间的映射关系，并将对应的映射关系存储在映射表格中。举例来说，当手势为图3a时，对应的键盘按键为A，A对应的操作方式可以是放大操作；当手势为图3c时，对应的键盘按键为S，对应的操作方式可以为缩小操作。当手势为图3e时，对应的键盘按键为D,对应的操作方式可以是抓取操作。按照类似的方式，可以设置不同手势对应的不同键盘按键，以及不同按键对应的不同交互操作方式。

步骤S401,通过光学动作捕捉系统拍摄绑定在用户手部的标记点的图像，以获取用户手部的位置信息。

即本步骤中描述的是，通过光学动作捕捉系统仅获取用户手部的位置信息。具体实现方式如下：

光学动作捕捉系统包括：两台(目)或以上的光学动捕相机，以及多个标记点，将标记点粘贴在用户的手背上。

捕获开始时，多台光学动捕相机通过拍摄绑定在用户手部的标记点的图像，并将拍摄的图像传到数据处理设备，通过对图像进行处理，进而识别出用户手部的标记点位置，进而可识别出用户手部的位置信息(x，y，z)。

步骤S402,通过惯性系统获取用户手部的旋转信息。

惯性系统例如可以是一IMU模块。本步骤具体操作时可以是，通过在用户手腕或手背位置绑定无线IMU模块，并通过该无线IMU模块来获取用户手部的旋转信息(yaw，roll，pitch)。然后在将获取的旋转信息传输至数据处理设备。

步骤S403,获取用户手部的手势信息。

在本步骤中，获取用户的手势信息时，有两种操作方式，一种是:直接使用步骤S401中的光学动作捕捉系统来获取绑定在用户手部的刚体的图像，以获取用户手部的手势信息。即是说，光学动作捕捉系统在获取用户的定位信息时，也同时获取用户手部的手势信息。此种方式的好处是：不用额外增加手势识别系统。当然，此种方式进行手势识别时，也有不足：比如，光学动捕相机的亮度调整有制约，当光学动捕相机调整到一个对刚体捕捉较好的亮度时(这个亮度比较暗，用于去除背景环境干扰，尽量保留光球灰度而去除背景灰度)，但对手势识别来说就显得太暗了，所以只能识别距离比较近的手势，如图3a-图3f所示。然而当动捕相机的亮度调到对手势识别范围比较好时(即将亮度调到稍微大一点，能拍到较远的手势时)，就会给刚体识别引入了许多不需要的背景光，干扰刚体或标记点捕捉。因此在采用此种方式获取定位信息和手势信息时，需要很好地平衡光学动捕相机的亮度。

另一种方式是：通过另外的一套手势识别系统来获取用户手部的手势信息。为保证同一应用场景中光学动作捕捉系统和手势识别系统的正常使用，要求光学动作捕捉系统中光学动捕相机与手势识别系统中相机的工作波长不一样。例如，当光学动作捕捉系统中光学动捕相机的工作波长为940nm，手势识别系统中相机的工作波长为850nm。其中，手势识别系统具体呈现形式可以是一台手势识别设备，比如单台普通摄像机，单台双目相机，单台TOF相机等等。在使用前要对所有相机进行标定(包括光学动捕相机和用户手势识别的相机)，使所有相机的坐标系统一起来，也使拍摄同一二维坐标点的不同相机的相应像素配对起来。

步骤S404,根据获取的所述用户手部的定位信息，按照预设的位置映射关系确定所述显示内容中虚拟操作手的待操作位置。

步骤S405,确定所述待操作位置对应的待操作内容。

由于在步骤S402和S403中已经获取了用户手部的位置信息和旋转信息。因此，在步骤S404中通过如卡尔曼滤波等传感器融合算法结合，得到用户手部的六自由度信息并实时绑定到内容平台(如以Unity平台)，并最终呈现在虚拟现实显示设备的显示内容中，实现用户手部实时控制虚拟操作手的移动。然后再根据预先设定的位置信息关系，便可确定出显示内容中虚拟操作手的待操作位置以及待操作内容。

步骤S406,根据步骤S403中获取的手势信息确定对应的操作方式。

在步骤S403中识别出具体的手势信息之后，便可在预设的手势信息与操作方式的映射表中查找，以获取当前手势信息对应的具体操作方式。或者在步骤S403中识别出具体的手势信息之后，依次查找手势信息与键盘按键映射表、键盘按键与操作方式映射表，便可获取当前手势信息对应的具体操作方式。

步骤S407,执行并响应虚拟操作手按照交互操作方式对待操作内容的触发操作。

本步骤中，当该手势被识别成功后，通过预设的映射关系便可实现用手势触发相应的事件(或功能)。如在手势识别成功之后，会自动连续发送相应的按键型号，通过匹配按键与虚拟现实显示设备内容平台的触发事件，可实现用手势触发相应的事件(或功能)。

在本实施例中由于常用可识别的手势高达数十种，则该方案可实现多功能的人机交互，即可通过手势识别准确触发很多不同的功能。

根据前文所述，该人机交互场景可以应用于3D大屏虚拟现实显示设备的交互，因此，在应用于3D大屏交互时，用户还需要佩戴3D交互眼镜，并在3D交互眼镜上粘贴标记点。因此，当在图1、图2以及图4所示的实施例应用于3D大屏交互时，人机交互方法还包括：

通过光学动作捕捉系统获取用户佩戴的3D交互眼镜的定位信息；以及根据3D交互眼镜的定位信息，实时调整所述3D大屏虚拟现实显示设备显示内容的显示视角。具体操作时，通过光学动作捕捉系统获取用户佩戴的3D交互眼镜上的标记点的位置信息和旋转信息，由此得到3D交互眼镜的六自由度信息，并将该六自由度信息实时对接到内容平台，如Unity平台，以实现将3D交互眼镜的位置倾角信息绑定输出到显示设备显示内容的摄影机上，从而实现实时调整所述3D大屏虚拟现实显示设备显示内容的显示视角，达到显示设备显示内容随着人头(交互眼镜)的移动而移动的目的。

上述对本发明实施例的人机交互方法进行了相应描述，下面结合附图5-7，对运行本发明实施例的人机交互方法的人机交互系统进行详细描述。在描述人机交互系统时，对于前文已经描述的内容，不再赘述。

如图5所示，是本发明提供的一种人机交互系统的第一实施例的结构框图。该人机交互系统500包括：

虚拟现实显示设备51，该虚拟现实显示设备51用于显示图像内容，可以包括：3D大屏虚拟现实显示设备、3D桌面显示设备或3D头戴式显示设备。

光学动作捕捉系统52，用于获取用户手部的位置信息和手势信息。该光学动作捕捉系统52可以包括标记点和光学动作捕捉相机。

惯性系统53，用于获取所述用户手部的旋转信息。其中，该惯性系统53可以为无线IMU模块。

数据处理设备54，用于根据所述光学动作捕捉系统52获取的所述位置信息和所述惯性系统53获取的所述用户手部的旋转信息，确定所述虚拟现实显示设备显示内容中虚拟操作手的待操作内容；以及根据所述光学动作捕捉系统52获取的手势信息，确定所述手势信息对应的交互操作方式；以及执行并响应所述虚拟操作手按照所述交互操作方式对所述待操作内容的触发操作。

本发明实施例的人机交互系统，用户在与虚拟现实显示设备进行交互操作时，不再依赖于传统的交互手柄或交互笔，因此交互操作方式不再受限于交互手柄物理按钮的数量；且，由于用户可以做出多种不同手势来实时控制虚拟操作手的移动，因此可以进行更多的满足用户需求的交互操作，因此本发明的人机交互方法可以摆脱交互手柄与交互笔的制约，能够实现更多的人机交互功能。

如图6所示，是本发明提供的一种人机交互系统的第二实施例的结构框图。该人机交互系统600包括：

虚拟现实显示设备61，该虚拟现实显示设备51用于显示图像内容，可以包括：3D大屏虚拟现实显示设备、3D桌面显示设备或3D头戴式显示设备。

光学动作捕捉系统62，用于获取用户手部的位置信息；该光学动作捕捉系统62可以包括标记点和光学动作捕捉相机。

惯性系统63，用于获取所述用户手部的旋转信息；其中，该惯性系统63可以为无线IMU模块。

手势识别系统64，用于获取所述用户手部的手势信息；其中，该手势识别系统64可以为：一台手势识别设备，比如单台普通摄像机，单台双目相机，单台TOF相机等等。

数据处理设备65，用于根据所述光学动作捕捉系统62获取的所述位置信息和所述惯性系统63获取的所述用户手部的旋转信息，确定所述虚拟现实显示设备61显示内容中虚拟操作手的待操作内容；以及根据所述手势识别系统64获取的手势信息，确定所述手势信息对应的交互操作方式；以及执行并响应所述虚拟操作手按照所述交互操作方式对所述待操作内容的触发操作。

本发明实施例的人机交互系统，用户在与虚拟现实显示设备进行交互操作时，不再依赖于传统的交互手柄或交互笔，因此交互操作方式不再受限于交互手柄物理按钮的数量；且，由于用户可以做出多种不同手势来实时控制虚拟操作手的移动，因此可以进行更多的满足用户需求的交互操作，因此本发明的人机交互方法可以摆脱交互手柄与交互笔的制约，能够实现更多的人机交互功能。

如图7所示，是本发明提供的一种人机交互系统的第三实施例的结构框图。该人机交互系统700包括：

虚拟现实显示设备71，该虚拟现实显示设备71用于显示图像内容，可以包括：3D大屏虚拟现实显示设备、3D桌面显示设备或3D头戴式显示设备。

光学动作捕捉系统72，用于获取用户手部的定位信息和手势信息；其中，定位信息包括位置信息和旋转信息。该光学动作捕捉系统72可以包括标记点和光学动作捕捉相机。

数据处理设备73，用于根据所述光学动作捕捉系统72获取的所述定位信息，确定所述虚拟现实显示设备71显示内容中虚拟操作手的待操作内容；以及根据所述光学动作捕捉系统72获取的手势信息，确定所述手势信息对应的交互操作方式；以及执行并响应所述虚拟操作手按照所述交互操作方式对所述待操作内容的触发操作。

本发明实施例的人机交互系统，用户在与虚拟现实显示设备进行交互操作时，不再依赖于传统的交互手柄或交互笔，因此交互操作方式不再受限于交互手柄物理按钮的数量；且，由于用户可以做出多种不同手势来实时控制虚拟操作手的移动，因此可以进行更多的满足用户需求的交互操作，因此本发明的人机交互方法可以摆脱交互手柄与交互笔的制约，能够实现更多的人机交互功能。

以上仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种人机交互方法，用于实现用户与虚拟现实显示设备的交互，其特征在于，包括：

获取用户手部的定位信息和手势信息；

根据获取的所述定位信息，确定所述虚拟现实显示设备显示内容中虚拟操作手的待操作内容；

根据获取的所述手势信息确定对应的交互操作方式；

执行并响应所述虚拟操作手按照所述交互操作方式对所述待操作内容的触发操作。

2.根据权利要求1所述的人机交互方法，其特征在于，所述定位信息包括：位置信息和旋转信息；所述获取用户手部的定位信息的步骤，具体包括：

通过光学动作捕捉系统拍摄绑定在所述用户手部的刚体的图像，以获取所述用户手部的位置信息和旋转信息；或，

通过光学动作捕捉系统拍摄绑定在所述用户手部的标记点的图像，以获取所述用户手部的位置信息；通过惯性系统获取所述用户手部的旋转信息。

3.根据权利要求2所述的人机交互方法，其特征在于，所述获取用户手部的手势信息的步骤，具体包括：

通过所述光学动作捕捉系统拍摄绑定在所述用户手部的刚体的图像，以获取所述用户手部的手势信息；或；

通过手势识别系统拍摄所述用户手部的图像，以获取所述用户手部的手势信息。

4.根据权利要求2或3所述的人机交互方法，其特征在于，所述根据获取的所述定位信息，确定所述虚拟现实显示设备显示内容中虚拟操作手的待操作内容的步骤，具体包括：

根据获取的所述用户手部的定位信息，按照预设的位置映射关系确定所述显示内容中所述虚拟操作手的待操作位置；

确定所述待操作位置对应的待操作内容。

5.根据权利要求2或3所述的人机交互方法，其特征在于，所述根据获取的所述手势信息确定对应的交互操作方式的步骤，具体包括：

根据获取的所述手势信息，按照预设的手势信息与操作方式映射关系确定所述手势信息对应的交互操作方式；或，

根据获取的所述手势信息，按照预设的手势信息与键盘按键映射关系确定所述手势信息对应的键盘上的具体按键，以及按照预设的键盘按键与操作方式映射关系，确定所述具体按键对应的交互操作方式。

6.根据权利要求1所述的人机交互方法，其特征在于，所述虚拟现实显示设备包括：3D大屏虚拟现实显示设备、3D桌面显示设备或3D头戴式显示设备。

7.根据权利要求5的所述的人机交互方法，其特征在于，当所述虚拟现实显示设备包括3D大屏虚拟现实显示设备时，所述方法还包括：

通过所述光学动作捕捉系统获取所述用户佩戴的3D交互眼镜的定位信息；

根据所述3D交互眼镜的定位信息，实时调整所述3D大屏虚拟现实显示设备显示内容的显示视角。

8.一种人机交互系统，其特征在于，包括：

虚拟现实显示设备，用于显示图像内容；

光学动作捕捉系统，用于获取用户手部的位置信息和手势信息；

惯性系统，用于获取所述用户手部的旋转信息；

数据处理设备，用于根据所述光学动作捕捉系统获取的所述位置信息和所述惯性系统获取的所述用户手部的旋转信息，确定所述虚拟现实显示设备显示内容中虚拟操作手的待操作内容；以及根据所述光学动作捕捉系统获取的手势信息，确定所述手势信息对应的交互操作方式；以及执行并响应所述虚拟操作手按照所述交互操作方式对所述待操作内容的触发操作。

9.一种人机交互系统，其特征在于，包括：

虚拟现实显示设备，用于显示图像内容；

光学动作捕捉系统，用于获取用户手部的位置信息；

惯性系统，用于获取所述用户手部的旋转信息；

手势识别系统，用于获取所述用户手部的手势信息；

数据处理设备，用于根据所述光学动作捕捉系统获取的所述位置信息和所述惯性系统获取的所述用户手部的旋转信息，确定所述虚拟现实显示设备显示内容中虚拟操作手的待操作内容；以及根据所述手势识别系统获取的手势信息，确定所述手势信息对应的交互操作方式；以及执行并响应所述虚拟操作手按照所述交互操作方式对所述待操作内容的触发操作。

10.一种人机交互系统，其特征在于，包括：

虚拟现实显示设备，用于显示图像内容；

光学动作捕捉系统，用于获取用户手部的定位信息和手势信息；

数据处理设备，用于根据所述光学动作捕捉系统获取的所述定位信息，确定所述虚拟现实显示设备显示内容中虚拟操作手的待操作内容；以及根据所述光学动作捕捉系统获取的手势信息，确定所述手势信息对应的交互操作方式；以及执行并响应所述虚拟操作手按照所述交互操作方式对所述待操作内容的触发操作。

Images