CN105301778A - 三维操控装置、头戴式装置及三维操控方法 - Google Patents

Abstract

本申请公开了一种三维操控装置，包括：位移数据采集模块，用于采集位移数据信息；视觉特征捕捉模块，用于捕捉用户的视觉特征信息以及接收位移数据信息，并根据视觉特征信息和位移数据信息提供虚拟光标及虚拟光标位置信息；拾取模块，用于根据虚拟光标及虚拟光标位置信息，提供物体选取结果；触发模块，用于经过预定时间后触发对物体选取结果的确认操作；显示模块，用于显示虚拟光标、虚拟场景以及虚拟场景中的物体。本申请还公开一种头戴式装置及三维操控方法。本申请的交互方式，解放了用户的双手，在不需要实际点击外部设备的情况下完成选取、点击等基本的操作。

Description

三维操控装置、头戴式装置及三维操控方法

技术领域

本申请属于三维显示技术领域，具体地说，涉及三维操控装置、头戴式装置及三维操控方法。

背景技术

现有技术中，在类似3D头盔等3D沉浸式环境下选择和操控物体的方式，基本上都是通过手柄进行物体选取、切换和控制操作。但在使用者在戴上3D头盔之后，在体验3D沉浸式环境过程中，使用者看不到3D头盔外边的真实世界。因此要求用户时刻将手柄握在手中，这样就必然要求使用者要熟悉手柄的键位，否则经常会出现误操作。因而在这样的操作方式下，会导致使用者操作的效率明显降低，进而不能全身心的投入到3D头盔所虚拟的3D世界中。

因此，发明人经过上述研究后发现，现有技术急需进行改进，以摆脱使用者对手柄的依赖，提高使用者的体验。

发明内容

有鉴于此，本申请所要解决的技术问题是提供了三维操控装置、三维操控方法及头戴式装置，以解决现有技术使用者需要依赖手柄进行操控的问题。

为了解决上述技术问题，本申请公开了一种三维操控装置，包括：位移数据采集模块，用于采集位移数据信息；视觉特征捕捉模块，用于捕捉用户的视觉特征信息以及接收位移数据信息，并根据视觉特征信息和位移数据信息提供虚拟光标及虚拟光标位置信息；拾取模块，用于根据所述虚拟光标及虚拟光标位置信息，提供物体选取结果；触发模块，用于经过预定时间后触发对物体选取结果的确认操作；显示模块，用于显示虚拟光标、虚拟场景以及虚拟场景中的物体。

优选地，视觉特征捕捉模块还可以用于：确定左眼瞳孔和右眼瞳孔的位置；根据左眼瞳孔和右眼瞳孔的位置计算瞳孔连线的中点，以该中点的位置为起点沿与瞳孔连线垂直的方向提供虚拟射线，以虚拟射线与虚拟键盘交汇位置作为虚拟光标的位置。

优选地，拾取模块可以从视觉特征采集模块获取虚拟光标位置信息，并选取虚拟场景中虚拟光标所确定的直线沿屏幕向内的方向所接触到的第一个物体，作为物体选取结果。

优选地，触发模块可以从拾取模块处获得所述物体选取结果，并通过显示模块在被选取物体附近显示倒计时，在倒计时的时间内，若物体选取结果未改变，则触发模块对物体选取结果进行确认操作。

优选地，位移数据采集模块检测到自身发生位移时，可以将所述位移数据信息发送至视觉特征捕捉模块，并由所述视觉特征捕捉模块根据所述视觉特征信息与所述位移数据信息提供虚拟光标及所述虚拟光标位置信息。

优选地，位移数据采集模块可以为陀螺仪传感器。

本发明还提供一种头戴式装置，包括上述的三维操控装置。

本发明还提供一种三维操控方法，包括：采集步骤，用于采集位移数据信息；视觉特征捕捉步骤，用于捕捉用户的视觉特征信息，并根据视觉特征信息和位移数据信息提供虚拟光标及虚拟光标位置信息；拾取步骤，用于根据虚拟光标及虚拟光标位置信息，提供物体选取结果；触发步骤，用于在经过预定时间后触发对物体选取结果的确认操作；显示步骤，用于显示所述虚拟光标、虚拟场景以及虚拟场景中的物体。

优选地，拾取步骤还可以用于获取视觉特征采集步骤所获得的虚拟光标位置信息，选取虚拟场景中虚拟光标所确定的直线沿屏幕向内的方向所接触到的第一个物体，作为物体选取结果。

优选地，触发步骤可以包括：获取拾取步骤所获得的物体选取结果；在被选取物体附近显示倒计时；在倒计时的时间内，若物体选取结果未改变，则触发对物体选取结果进行确认操作。

与现有技术相比，本申请可以获得包括以下技术效果：

本申请通过以上的交互方式，解放了用户的双手，在不需要实际点击外部设备的情况下完成选取、点击等基本的操作。全身心的体验3D沉浸式环境，同时为用户提供了更方便、快捷的交互体验。

当然，实施本申请的任一产品必不一定需要同时达到以上所述的所有技术效果。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本申请实施例的三维操控装置的示意图；

图2是本申请实施例的三维操控方法的流程图；

图3所示为确定物体拾取结果步骤的流程图；

图4是本申请实施例中物体拾取的示意图。

具体实施方式

以下将配合附图及实施例来详细说明本申请的实施方式，藉此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。

如图1所示，本申请实施例提供的三维操控装置10，可应用于各种三维立体显示装置中，比如头戴式立体显示装置，笔记本，平板电脑，手机或者是电视等等。该三维立体显示装置可以使用裸眼立体显示技术，也可以使用眼镜式立体显示技术；该裸眼立体显示技术可以使用光栅透镜，也可以使用液晶透镜，本申请对此并无限制。

本申请实施例提供的三维操控装置10包括：视觉特征捕捉模块600、位移数据采集模块200、拾取模块300、触发模块100以及显示模块400。

位移数据采集模块200用于采集位移数据信息，位移数据采集模块200可以为陀螺仪传感器。由于陀螺仪传感器已经在手机、平板等设备上广泛使用，所以本发明不再详述其采集位移数据的原理。

视觉特征捕捉模块600用于捕捉用户的视觉特征信息以及接收位移数据信息，并根据视觉特征信息和位移数据信息提供虚拟光标及虚拟光标位置信息。在本申请中，是利用Unity3D中的UGUI虚拟出虚拟光标。

视觉特征捕捉模块600还可以用于确定左眼瞳孔和右眼瞳孔的位置，以及根据左眼瞳孔和右眼瞳孔的位置计算瞳孔连线的中点，以该中点的位置为起点沿与瞳孔连线垂直的方向提供虚拟射线，以虚拟射线与屏幕交汇位置作为虚拟光标的位置。

还可以用其他方法来确定虚拟光标的位置，例如，以上述虚拟射线与屏幕的交汇位置为起点，向屏幕内方向延伸固定的距离作为虚拟光标的位置，这样可以防止虚拟光标遮挡虚拟场景中近处的物体。

位移数据采集模块200检测到自身发生位移时，将位移数据信息发送至视觉特征捕捉模块600，并由视觉特征捕捉模块600根据视觉特征信息与位移数据信息提供虚拟光标及虚拟光标位置信息。

可以理解为，当位移数据采集模块200不发生位移时，仅通过视觉特征捕捉模块600就能获得虚拟光标的位置信息，而当位移数据采集模块200发生位移时，将位移数据发送至视觉特征采集模块600，最后获得虚拟光标的位置信息。

拾取模块300用于根据所述虚拟光标及所述虚拟光标位置信息，提供物体选取结果。其方法可以为：选取虚拟场景中所述虚拟光标所确定的直线沿屏幕向内的方向所接触到的第一个物体，作为物体选取结果。

还可以用其他方法来提供物体选取结果，例如，若使用前述的，以虚拟射线与屏幕的交汇位置为起点，向屏幕内方向延伸固定距离的方法确定虚拟光标的位置，则可以检测虚拟光标与虚拟场景中的物体是否重合的方法来判断物体是否被选取。

还可以对被选取的物体进行高亮显示以突出被选取的物体。在这种情况下，拾取模块可以向显示模块发送高亮显示的指令。

触发模块100从拾取模块300处获得物体选取结果，并通过显示模块400在被选取物体附近显示倒计时，在倒计时的时间内，若物体选取结果未改变，则触发模块100对物体选取结果进行确认操作。

例如，在一个实施例中，倒计时被设定为3秒，则触发模块100从拾取模块300获得物体选取结果时，在显示模块400中的被选取的物体旁边显示一个倒计时3秒的图形，则在3秒过后，若此物体始终处于选取状态，则触发模块100对物体选取结果进行确认操作。

本申请中的三维操控装置10可用于点击或者触发3D沉浸式环境中的物体。

此外，本申请还提供一种头戴式装置，包括如图1所述的三维操控装置10，该头戴式装置可以是可构建3D沉浸式环境的三维装置，如虚拟现实(VR)装置，增强现实(AR)装置等。换而言之，该头戴式装置可利用图1中的三维操控装置10进行进行操控物体。

本申请还提供一种三维操控方法，该方法可应用于各种三维立体显示装置中，比如头戴式立体显示装置，笔记本，平板电脑，手机或者是电视等等。该三维立体显示装置可以使用裸眼立体显示技术，也可以使用眼镜式立体显示技术；该裸眼立体显示技术可以使用光栅透镜，也可以使用液晶透镜，本申请对此并无限制。

以下将结合图2至图4说明图1中的三维操控装置10是如何进行操控的。

图2所示为本发明实施例的三维操控方法的流程图，图3所示为确定物体拾取结果步骤的流程图，图4所示为本申请实施例物体的选取示意图。图3中501及502分别为用户的左眼及右眼，503及504则分别为左眼三维场景摄像机和右眼三维场景摄像机，508为倒计时钟，509为虚拟光标，505为三维场景，506为物体“1”，507为物体“2”。

需要说明的是，三维场景摄像机通常为程序模块，用于确定虚拟现实场景中应当在显示设备中显示出来的场景部分。

本申请实施例的三维操控方法，包括如下步骤：

步骤S100，即采集步骤，用于采集位移数据信息；

具体而言，如前述三维操控装置的位移数据采集模块检测到自身发生位移时，将位移数据信息发送至如前述三维操控装置的视觉特征捕捉模块，并由视觉特征模块根据视觉特征信息与位移数据信息提供虚拟光标及虚拟光标位置信息。

其中，位移数据信息可以为位移数据采集模块相对于初始位置移动的距离以及旋转的角度。

步骤S200，即视觉特征捕捉步骤，捕捉用户的视觉特征信息以及接收位移数据信息，并根据视觉特征信息提供虚拟光标及虚拟光标位置信息。

具体而言，如前述三维操控装置的视觉特征捕捉模块检测用户瞳孔的位置，根据左眼和右眼瞳孔连线的中线位置作为视觉特征信息。如前述三维操控装置的位移数据采集模块将其检测到的位移数据信息发送至视觉特征捕捉模块，并与视觉特征信息共同决定虚拟光标的位置信息，并可以依据虚拟光标位置信息在显示模块显示出虚拟光标的图形。

确定虚拟光标位置信息的方法可以是根据左眼瞳孔和右眼瞳孔的位置计算瞳孔连线的中点，以该中点的位置为起点沿与瞳孔连线垂直的方向提供虚拟射线，以虚拟射线与屏幕交汇位置作为虚拟光标的位置。

其中，前述的虚拟射线通常并不是真实存在的射线，通常也不是显示在屏幕中的图像，而是便于空间计算而引入的抽象线条。

步骤S300，即拾取步骤，根据虚拟光标及虚拟光标位置信息提供物体选取结果。

具体而言，如前述三维操控装置的拾取模块获取视觉特征采集步骤所获得的虚拟光标位置信息，选取虚拟场景中所述虚拟光标所确定的直线沿屏幕向内的方向所接触到的第一个物体，作为物体选取结果。

例如，图3中的506所代表的物体“1”由于不是虚拟射线所碰撞的第一个物体，所以不将其选为物体选取结果；而507所代表的物体“2”由于是射线所碰撞的第一个物体，所以将其选取为物体选取结果并可以加强其显示亮度。换言之，507所代表的物体“2”为被拾取的物体。

步骤S400，即触发步骤，经过预定时间触发对物体选取结果的确认操作。

其中，确认操作不同于得到物体选取结果的操作，可以理解为，物体选取结果得到的是一个备选、候选的物体，需要经过确认操作才能最终确定目标物体。也可以理解为，得到物体选取结果除了对物体进行高亮显示等加强显示措施外，不会对物体做其他的改变，而确认操作可以结合其他的指令对物体进行改变，例如确认移除物体，确认增加物体等等。

前述的“物体”应当理解成广义的概念，“物体”也包括菜单、标签等对象。

下面结合图3说明触发步骤的具体过程。

步骤S401，获取所述拾取步骤所获得的物体选取结果。

步骤S402，在被选取物体附近显示倒计时。

步骤S403，在倒计时的时间内，若物体选取结果未改变，则触发对所述物体选取结果进行确认操作。

例如，在图4中，507所代表的物体“2”被选定为物体选取结果，此时物体旁边显示出倒计时光圈508，在倒计时读秒结束后，如前述三维操控装置的触发模块对507所代表的物体“2”进行确认操作。

因此本申请可通过倒计时光圈与虚拟光标509的相互结合代替现有技术中的蓝牙手柄等实体操控设备。

步骤S500，即显示步骤，显示虚拟光标、虚拟场景以及虚拟场景中的物体。

本申请通过以上的交互方式，就解放了用户的双手，在不需要实际点击外部设备的情况下完成选取、点击等基本的操作。全身心的体验3D沉浸式环境，同时为用户提供了更方便、快捷的交互体验。

如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”或“包括”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。此外，“耦接”或者“连接”一词在此包含任何直接及间接的电性耦接手段。因此，若文中描述一第一装置耦接或连接于一第二装置，则代表所述第一装置可直接电性耦接于所述第二装置，或通过其他装置或耦接手段间接地电性耦接或连接至所述第二装置。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

上述说明示出并描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求的保护范围内。

Claims (10)

1.一种三维操控装置，其特征在于，包括：

位移数据采集模块，用于采集位移数据信息；

视觉特征捕捉模块，用于捕捉用户的视觉特征信息以及接收位移数据信息，并根据所述视觉特征信息和所述位移数据信息提供虚拟光标及虚拟光标位置信息；

拾取模块，用于根据所述虚拟光标及所述虚拟光标位置信息，提供物体选取结果；

触发模块，用于经过预定时间后触发对所述物体选取结果的确认操作；

显示模块，用于显示所述虚拟光标、虚拟场景以及虚拟场景中的物体。

2.如权利要求1所述的装置，其特征在于，其中所述视觉特征捕捉模块还用于：

确定左眼瞳孔和右眼瞳孔的位置；

根据左眼瞳孔和右眼瞳孔的位置计算瞳孔连线的中点，以该中点的位置为起点沿与所述瞳孔连线垂直的方向提供虚拟射线，以所述虚拟射线与屏幕交汇位置作为虚拟光标的位置。

3.如权利要求1所述的装置，其特征在于，所述拾取模块从视觉特征采集模块获取所述虚拟光标位置信息，并选取虚拟场景中所述虚拟光标所确定的直线沿屏幕向内的方向所接触到的第一个物体，作为物体选取结果。

4.如权利要求1所述的装置，其特征在于，

所述触发模块从所述拾取模块处获得所述物体选取结果，并通过显示模块在被选取物体附近显示倒计时，在倒计时的时间内，若物体选取结果未改变，则触发模块对所述物体选取结果进行确认操作。

5.如权利要求1所述的装置，其特征在于，所述位移数据采集模块检测到自身发生位移时，将所述位移数据信息发送至视觉特征捕捉模块，并由所述视觉特征捕捉模块根据所述视觉特征信息与所述位移数据信息提供虚拟光标及所述虚拟光标位置信息。

6.如权利要求1所述的装置，其特征在于，所述位移数据采集模块为陀螺仪传感器。

7.一种头戴式装置，其特征在于，包括如权利要求1至6任一项所述的三维操控装置。

8.一种三维操控方法，其特征在于，包括：

采集步骤，用于采集位移数据信息；

视觉特征捕捉步骤，用于捕捉用户的视觉特征信息，并根据所述视觉特征信息和所述位移数据信息提供虚拟光标及虚拟光标位置信息；

拾取步骤，用于根据所述虚拟光标及所述虚拟光标位置信息，提供物体选取结果；

触发步骤，用于在经过预定时间后触发对所述物体选取结果的确认操作；

显示步骤，用于显示所述虚拟光标、虚拟场景以及虚拟场景中的物体。

9.如权利要求8所述的方法，其特征在于，其中：

所述拾取步骤，用于获取视觉特征采集步骤所获得的虚拟光标位置信息，选取虚拟场景中所述虚拟光标所确定的直线沿屏幕向内的方向所接触到的第一个物体，作为物体选取结果。

10.如权利要求9所述的方法，其特征在于，其中，所述触发步骤包括：

获取所述拾取步骤所获得的物体选取结果；

在被选取物体附近显示倒计时；

在倒计时的时间内，若物体选取结果未改变，则触发对所述物体选取结果进行确认操作。