CN105511618A - 三维输入装置、头戴式装置及三维输入方法 - Google Patents

Abstract

本发明提供了一种三维输入装置，包括：虚拟键盘提供模块，用于提供虚拟键盘及其位置信息；视觉特征捕捉模块，用于捕捉用户的视觉特征信息，并根据视觉特征信息提供虚拟光标及虚拟光标位置信息；按键选取模块，用于根据虚拟光标与虚拟键盘的位置关系提供按键选取结果；确认模块，用于响应于用户的确认操作，确认按键选取结果；显示模块，用于显示与按键选取结果对应的字符。本申请还公开一种头戴式装置及三维输入方法。本申请可用于在立体显示装置中输入字符。

Description

三维输入装置、头戴式装置及三维输入方法

技术领域

本申请属于三维显示技术领域，具体地说，涉及三维输入装置、头戴式装置及三维输入方法。

背景技术

目前，在二维界面的应用程序中输入法已经非常成熟，但在三维界面中，并未发现有相应的三维输入法，特别是在应用Unity3D开发的三维沉浸式应用程序中更是未发现有可用的英文输入法。传统的手机输入法是是二维的无需进行双眼分屏的处理，而三维沉浸式需要进行双眼分屏的处理，因此二维输入法不能应用到三维沉浸式环境中，另一方面由于三维沉浸式操作的特殊性，二维输入法的操作模式也不适合三维沉浸式操作。

因此，发明人经过上述研究后发现，现有技术需要一种可应用于三维显示环境中的输入方法。

发明内容

有鉴于此，本申请所要解决的技术问题是提供了三维输入装置、三维输入法及头戴式装置，以解决无法在三维显示环境中进行文字输入的问题。

为了解决上述技术问题，本公开提供了一种三维输入装置，包括：虚拟键盘提供模块，用于提供虚拟键盘及其位置信息；视觉特征捕捉模块，用于捕捉用户的视觉特征信息，并根据视觉特征信息提供虚拟光标及虚拟光标位置信息；按键选取模块，用于根据虚拟光标与虚拟键盘的位置关系提供按键选取结果；确认模块，用于响应于用户的确认操作，确认按键选取结果；显示模块，用于显示与按键选取结果对应的字符。

优选地，视觉特征捕捉模块还可以用于确定左眼瞳孔和右眼瞳孔的位置，以及根据左眼瞳孔和右眼瞳孔的位置计算瞳孔连线的中点，以该中点的位置为起点沿与瞳孔连线垂直的方向提供虚拟射线，以虚拟射线与虚拟键盘交汇位置作为虚拟光标的位置。

优选地，按键选取模块从虚拟键盘提供模块与视觉特征捕捉模块分别获取虚拟键盘位置信息以及虚拟光标位置信息，并计算虚拟场景中虚拟光标所确定的直线与虚拟键盘的交点，若交点在虚拟键盘的有效按键区域内停留一定的时长，则选中有效按键区域对应的按键作为按键选取结果。

优选地，三维输入装置还可以包括位移数据采集模块，用于采集位移数据信息，当位移数据采集模块检测到自身发生位移时，将位移数据信息发送至视觉特征捕捉模块，以及视觉特征捕捉模块，用于根据视觉特征信息与位移数据信息提供虚拟光标及虚拟光标位置信息。

优选地，位移数据采集模块可以为陀螺仪传感器。

优选地，确认模块可以为蓝牙手柄或触摸板。

优选地，确认模块还可以用于在一定时间内未接收到确认操作时，向虚拟键盘提供模块发送隐藏虚拟键盘指令，虚拟键盘提供模块还可以用于响应于隐藏虚拟键盘指令，执行隐藏虚拟键盘操作；以及确认模块还可以用于在虚拟键盘处于隐藏状态下收到确认操作时，向虚拟键盘提供模块发送显示虚拟键盘指令，虚拟键盘提供模块还可以用于响应于显示虚拟键盘指令，执行显示虚拟键盘操作。

优选地，虚拟键盘提供模块可以包括分屏显示器，用于提供包含深度信息的三维立体图像。

本发明还提供了一种头戴式装置，包括如前述公开的三维输入装置。

本发明还提供了一种三维输入方法，包括：虚拟键盘提供步骤，用于提供虚拟键盘及其位置信息；视觉特征捕捉步骤，用于捕捉用户的视觉特征信息，并根据视觉特征信息提供虚拟光标及虚拟光标位置信息；按键选取步骤，用于根据虚拟光标与虚拟键盘的位置关系提供按键选取结果；确认步骤，用于响应用户的确认操作，确认按键选取结果；显示步骤，用于显示与按键选取结果对应的字符。

优选地，三维输入方法还可以包括位移数据采集步骤，用于采集位移数据信息；视觉特征捕捉步骤，获得所述位移数据信息，并根据所述视觉特征信息与所述位移数据特征信息提供虚拟光标及虚拟光标位置信息。

优选地，按键选取步骤可以包括:从所述虚拟键盘提供步骤与所述视觉特征捕捉步骤分别获取所述虚拟键盘位置信息以及所述虚拟光标位置信息；计算虚拟场景中所述虚拟光标所确定的直线与所述虚拟键盘的交点；若所述交点在所述虚拟键盘的有效按键区域内停留一定的时长，则选中所述有效按键区域对应的按键作为按键选取结果。

与现有技术相比，本申请可以获得包括以下技术效果：

本申请可以让用户在Unity3D开发的沉浸式应用中输入字符，解决了传统的二维输入法不支持三维沉浸式环境输入的状况，让用户体验更舒适的三维沉浸式体验。

当然，实施本申请的任一产品必不一定需要同时达到以上所述的所有技术效果。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本发明实施例的三维输入装置的示意图；

图2是本发明实施例的三维输入方法的流程图；

图3为本发明的三维输入方法中按键选取步骤的流程图；

图4是本发明的按键选取步骤的一个实施例的示意图。

具体实施方式

以下将配合附图及实施例来详细说明本申请的实施方式，藉此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。

如图1所示，本申请实施例提供的三维输入装置10，可应用于各种三维立体显示装置中，比如头戴式立体显示装置，笔记本，平板电脑，手机或者是电视等等。该三维立体显示装置可以使用裸眼立体显示技术，也可以使用眼镜式立体显示技术；该裸眼立体显示技术可以使用光栅透镜，也可以使用液晶透镜，本申请对此并无限制。

本申请实施例提供的三维输入装置10包括：虚拟键盘提供模块200、确认模块100、按键选取模块300、显示模块400以及视觉特征捕捉模块600。

虚拟键盘提供模块200，用于提供虚拟键盘及虚拟键盘位置信息；虚拟键盘提供模块200可以包括面板子模块，按键子模块和标签子模块(上述子模块图中均未示出)，面板子模块用于虚拟面板，按键子模块用于虚拟按键，标签子模块用于虚拟标签。在本申请中，是利用Unity3D中的UGUI提供的面板(Panel)控件、按键(Button)控件、标签(Label)控件构建一个虚拟的键盘，面板子模块对应于面板控件，按键子模块对应按键控件，标签子模块对应标签控件。

视觉特征捕捉模块600，用于捕捉用户的视觉特征信息，并根据视觉特征信息提供虚拟光标及虚拟光标位置信息。视觉特征模块600还用于确定左眼瞳孔和右眼瞳孔的位置，以及根据左眼瞳孔和右眼瞳孔的位置计算瞳孔连线的中点，以该中点的位置为起点沿与瞳孔连线垂直的方向提供虚拟射线，以虚拟射线与虚拟键盘交汇位置作为虚拟光标的位置。

需要说明的是，前述的虚拟射线通常并不是真实存在的射线，通常也不是显示在屏幕中的图像，而是便于空间计算而引入的抽象线条。

还可以用其他方法确定虚拟光标的位置，例如，以虚拟射线与屏幕的交汇点为起点，向虚拟场景内延伸固定距离作为光标的位置，这种方法更接近于用户现实世界中拾取物体的体验，可作为备选方案。

按键选取模块300，用于根据虚拟光标与虚拟键盘的位置关系确定按键选取的结果。确定这个按键选取结果的方法是，按键选取模块300从虚拟键盘提供模块200与视觉特征捕捉模块600分别获取虚拟键盘位置信息以及虚拟光标位置信息，并计算虚拟场景中光标所确定的直线与虚拟键盘的交点，若此交点在虚拟键盘的有效按键区域内停留一定的时长，则选中有效按键区域对应的按键作为按键选取结果，并且可以高亮显示。

例如在一个实施例中，虚拟光标快速扫过按键a和按键b所在的区域，最终停留在按键c上超过1秒，由于虚拟光标在按键a和按键b的区域内停留时间过短，因此这两个按键不会被选为按键选取结果，而是将停留满1秒的按键c作为按键选取结果。

在上述实施例中，若虚拟光标又离开按键c而停留在按键d上满1秒，则重新选择按键d为按键选取结果。

虚拟光标可以是十字光标，虚拟光标可以理解为既在显示设备上存在也在虚拟场景中存在，而在虚拟场景中十字光标可以确定一条直线，这条直线在虚拟场景中可能会与虚拟键盘发生碰撞，这个检测这个碰撞事件的结果也就是按键选取的结果。

虚拟键盘提供模块200还可以包括分屏显示器或其他立体显示设备，用于提供包含深度信息的三维立体图像。例如，在一个实施例中，分屏显示器可以提供三维立体的虚拟键盘图像。

确认模块100用于响应于用户的确认操作，确认按键选取结果。确认模块可以为蓝牙手柄、触摸板或者其他外部设备。

确认模块100还可以用于在一定时间内未接收到确认操作时，向虚拟键盘提供模块200发送隐藏虚拟键盘指令，虚拟键盘提供模块还可以用于响应于隐藏虚拟键盘指令，执行隐藏虚拟键盘操作。确认模块100还可以用于在虚拟键盘处于隐藏状态下收到确认操作时，向虚拟键盘提供模块200发送显示虚拟键盘指令，虚拟键盘提供模块200还可以用于响应于显示虚拟键盘指令，执行显示虚拟键盘操作。

例如在一个实施例中，虚拟键盘处于显示状态，并且作为确认模块的蓝牙手柄在30内未接收到操作指令，则此时虚拟键盘进入隐藏状态。并且作为确认模块的蓝牙手柄接收到了一个确认操作，则此时虚拟键盘进入显示状态。

显示模块400，用于显示与按键选取结果对应的字符。显示模块400为裸眼立体显示器，眼镜式立体显示器，该裸眼立体显示器可以是光栅透镜立体显示器，也可以是液晶透镜立体显示器，本申请对此并无限制。

本发明中的三维输入装置10可用于在立体显示装置中输入字符，特别是英文字符。

本发明中的三维输入装置10还可以包括位移数据采集模块(图中未示出)，这个数据采集模块可以为陀螺仪传感器，陀螺仪传感器现已被广泛应用于手机等便携设备，可以用来确定运动物体的方位。

当位移数据采集模块检测到自身发生位移时，将位移数据信息发送至视觉特征捕捉模块600，视觉特征捕捉模块600可以根据视觉特征信息与位移数据信息提供虚拟光标及虚拟光标位置信息。

可以理解为，当位移数据采集装置不发生位移时，仅通过视觉特征捕捉模块600就能获得虚拟光标的位置信息，而当位移数据采集装置发生位移时，将位移数据发送至视觉特征采集模块600，最后获得虚拟光标的位置信息。

此外，本申请还提供一种头戴式装置，包括如图1所述的三维输入装置10，该头戴式装置可以是可构建3D沉浸式环境的三维装置，如虚拟现实(VR)装置，增强现实(AR)装置等。换而言之，该头戴式装置可利用图1中的三维输入装置10进行输入字符。

本申请还提供一种三维输入方法，该方法可应用于各种三维立体显示装置中，比如头戴式立体显示装置，笔记本，平板电脑，手机或者是电视等等。该三维立体显示装置可以使用裸眼立体显示技术，也可以使用眼镜式立体显示技术；该裸眼立体显示技术可以使用光栅透镜，也可以使用液晶透镜，本申请对此并无限制。

以下将结合图2至图4说明图1中的三维输入装置10是如何输入字符的。

图2所示为本发明实施例的三维输入方法的流程图，图3为本发明的三维输入方法中按键选取步骤的流程图，图4所示为本发明的按键选取的一个实施例的示意图。图3中501及502分别为用户的左眼及右眼，503及504则分别为左眼三维场景摄像机和右眼三维场景摄像机，504为虚拟光标，505为三维场景，506为虚拟键盘上数字“1”按键，507为虚拟键盘上的数字“2”按键。

需要说明的是，三维场景摄像机通常为程序模块，用于确定虚拟现实场景中应当在显示设备中显示出来的场景部分。

本申请实施例的三维输入方法，包括如下步骤：

步骤S100，即虚拟键盘提供步骤，提供虚拟键盘及虚拟键盘信息；

步骤S200，即视觉特征捕捉步骤，捕捉用户的视觉特征信息，并根据视觉特征信息提供虚拟光标及虚拟光标位置信息；

具体而言，如前述三维输入装置中的视觉特征捕捉模块使用视线追踪设备确定左眼瞳孔和右眼瞳孔的位置，然后选取瞳孔的连线的中点作为虚拟光标的中心，并将中心的位置信息作为虚拟光标的位置信息。

步骤S300，按键选取步骤，根据虚拟光标与虚拟键盘的位置关系提供按键选取结果。

下面结合图3详细说明按键选取步骤确定按键选取结果的过程。

步骤S301，从如前述三维输入装置的虚拟键盘提供模块与视觉特征捕捉模块分别获取虚拟键盘位置信息以及虚拟光标位置信息。

步骤S302，计算虚拟场景中的虚拟光标所确定的直线与虚拟键盘的交点。

步骤S303，若此交点在虚拟键盘的有效按键区域内停留一定的时长，则选中有效按键区域对应的按键作为按键选取结果，并且可以高亮显示。

例如，图4中虚拟光标504前方的虚线即为左瞳孔和右瞳孔连线的中心与虚拟光标中心连线的延长线，这条延长线与虚拟键盘的交点不在按键506所代表的阿拉伯数字“1”的区域内，所以未选中数字“1”；而这条延长线与虚拟键盘的交点在按键507所代表的阿拉伯数字“2”的区域内，所以阿拉伯数字“2”作为按键选取结果输出。

步骤S300还可以包括位移数据采集步骤，用于采集位移数据信息，视觉特征捕捉步骤获得所述位移数据信息，视觉特征步骤可以根据所述视觉特征信息与所述位移数据信息提供虚拟光标及虚拟光标位置信息。

具体而言，可以是如前述三维输入装置的位移数据采集模块检测到自身发生位移时，将其得到的位移数据信息发送至如前述三维输入装置的视觉特征捕捉模块中，在由视觉特征捕捉模块根据视觉特征信息与位移数据信息提供虚拟光标及虚拟光标位置信息。

步骤S400，确认步骤确认按键选取结果。

具体而言，就是通过蓝牙手柄、触摸板等外部设备确认按键选取的结果。

步骤S500，显示步骤显示与按键选取结果对应的字符。

对于图4中的实施例，本步骤中，通过如前述三维输入装置的显示模块400将阿拉伯数字“2”显示在文本框中。

本申请可以让用户在Unity3D开发的沉浸式应用中输入字符，解决了传统的二维输入法不支持三维沉浸式环境输入的状况，让用户体验更舒适的三维沉浸式体验。

如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”或“包括”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。此外，“耦接”一词在此包含任何直接及间接的电性耦接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表所述第一装置可直接电性耦接于所述第二装置，或通过其他装置或耦接手段间接地电性耦接至所述第二装置。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

上述说明示出并描述了本申请的若干优选实施例，但如前所述，应当理解本申请并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围，则都应在本申请所附权利要求的保护范围内。

Claims (12)

1.一种三维输入装置，其特征在于，包括：

虚拟键盘提供模块，用于提供虚拟键盘及其位置信息；

视觉特征捕捉模块，用于捕捉用户的视觉特征信息，并根据所述视觉特征信息提供虚拟光标及虚拟光标位置信息；

按键选取模块，用于根据所述虚拟光标与所述虚拟键盘的位置关系提供按键选取结果；

确认模块，用于响应于用户的确认操作，确认所述按键选取结果；

显示模块，用于显示与所述按键选取结果对应的字符。

2.如权利要求1所述的装置，其特征在于，其中所述视觉特征捕捉模块还用于：

确定左眼瞳孔和右眼瞳孔的位置；

根据左眼瞳孔和右眼瞳孔的位置计算瞳孔连线的中点，以该中点的位置为起点沿与所述瞳孔连线垂直的方向提供虚拟射线，以所述虚拟射线与虚拟键盘交汇位置作为所述虚拟光标的位置。

3.如权利要求1所述的装置，其中，

所述按键选取模块从所述虚拟键盘提供模块与所述视觉特征捕捉模块分别获取所述虚拟键盘位置信息以及所述虚拟光标位置信息，并计算虚拟场景中所述虚拟光标所确定的直线与所述虚拟键盘的交点，若所述交点在所述虚拟键盘的有效按键区域内停留一定的时长，则选中所述有效按键区域对应的按键作为按键选取结果。

4.如权利要求1所述的装置，其特征在于，还包括：

位移数据采集模块，用于采集位移数据信息，当所述位移数据采集模块检测到自身发生位移时，将所述位移数据信息发送至视觉特征捕捉模块，以及

所述视觉特征捕捉模块，用于根据所述视觉特征信息与所述位移数据信息提供虚拟光标及虚拟光标位置信息。

5.如权利要求4所述的装置，其特征在于，其中所述位移数据采集模块为陀螺仪传感器。

6.如权利要求1所述的装置，其特征在于，所述确认模块为蓝牙手柄或触摸板。

7.如权利要求1所述的装置，其特征在于，其中：

所述确认模块，还用于在一定时间内未接收到确认操作时，向所述虚拟键盘提供模块发送隐藏虚拟键盘指令，

所述虚拟键盘提供模块，还用于响应于所述隐藏虚拟键盘指令，执行隐藏虚拟键盘操作；以及

所述确认模块，还用于在所述虚拟键盘处于所述隐藏状态下收到确认操作时，向所述虚拟键盘提供模块发送显示虚拟键盘指令，

所述虚拟键盘提供模块，还用于响应于所述显示虚拟键盘指令，执行显示虚拟键盘操作。

8.如权利要求1所述的装置，其特征在于，

所述虚拟键盘提供模块包括分屏显示器，用于提供包含深度信息的三维立体图像。

9.一种头戴式装置，包括如权利要求1至8任一项所述的三维输入装置。

10.一种三维输入方法，其特征在于，包括如下步骤：

虚拟键盘提供步骤，用于提供虚拟键盘及其位置信息；

视觉特征捕捉步骤，用于捕捉用户的视觉特征信息，并根据所述视觉特征信息提供虚拟光标及虚拟光标位置信息；

按键选取步骤，用于根据所述虚拟光标与所述虚拟键盘的位置关系提供按键选取结果；

确认步骤，用于响应用户的确认操作，确认所述按键选取结果；

显示步骤，用于显示与所述按键选取结果对应的字符。

11.如权利要求10所述的方法，还可以包括位移数据采集步骤，其中，

所述位移数据采集步骤，用于采集位移数据信息；

所述视觉特征捕捉步骤，获得所述位移数据信息，并根据所述视觉特征信息与所述位移数据信息提供虚拟光标及虚拟光标位置信息。

12.如权利要求10所述的三维输入方法，其中所述按键选取步骤包括：

从所述虚拟键盘提供步骤与所述视觉特征捕捉步骤分别获取所述虚拟键盘位置信息以及所述虚拟光标位置信息；

计算虚拟场景中所述虚拟光标所确定的直线与所述虚拟键盘的交点；

若所述交点在所述虚拟键盘的有效按键区域内停留一定的时长，则选中所述有效按键区域对应的按键作为按键选取结果。