CN108919948A - 一种基于手机的vr系统、存储介质及输入方法 - Google Patents

Abstract

本发明提供了一种基于手机的VR系统的输入方法，VR系统包括：手机、VR眼镜以及动作捕捉手套其中，摄像头组包括2个以上的摄像头。输入方法包括以下步骤：利用摄像头组中的至少2个摄像头分别捕获动作捕捉手套的影像；基于所捕获的动作捕捉手套的2个以上影像中标记点的位置，获得使用者的手势；检测使用者的手势是否与预设的手势模板匹配，若匹配则执行对应手势模板的控制指令，若不匹配则结束。本发明还提供了一种基于手机的VR系统和介质。通过使用手机作为核心硬件，配合简单的VR眼镜和动作捕捉手套，大大降低了真实VR游戏的价格门槛。

Description

一种基于手机的VR系统、存储介质及输入方法

技术领域

本发明涉及用于用户和计算机之间交互的输入装置或输入和输出组合装置，特别涉及一种基于手机的VR系统、存储介质及输入方法。

背景技术

虚拟现实VR游戏是目前大火的一个游戏类型，随着VR眼镜和VR头盔设备的慢慢普及，VR虚拟现实游戏开始走入了千家万户。但是传统虚拟现实VR游戏还有着很多的局限性，比如需要连接电脑、外部显示设备昂贵等问题。此外，VR眼镜通常利用手机本身的加速度传感器和陀螺仪，检测手机本身的运动来操控，或者配备一个蓝牙手柄进行操作，不能充分利用手机独有的机能，缺乏高效的沉浸式的操作输入方法。

我们开发的基于手机的VR虚拟现实体感生存冒险游戏，将VR虚拟现实游戏加入了体感动捕元素，通过加入廉价的动作捕捉手套和VR眼镜中的加速度传感器，玩家可以通过手机连接VR眼镜盒动作捕捉手套,进入游戏，在游戏中可以抓取武器，抓取道具，按下开关，甚至用双手操作交通工具，大大提高了VR游戏的操作性。

发明内容

为了解决以上问题，根据本公开的第一个方面，提供了一种基于手机的VR系统的输入方法，该VR系统包括：手机，其包括显示屏和摄像头组；VR眼镜，其包括用于固定手机的主体部和用于将VR眼镜固定在使用者头部的固定部；以及动作捕捉手套，其包括一个或多个标记点，其中，摄像头组包括2个以上的摄像头，主体部在其面向使用者的侧面上设有对应手机的显示屏的两组透镜组，且在其远离使用者的侧面上形成有对应手机的摄像头组的通孔。该输入方法包括以下步骤：利用摄像头组中的至少2个摄像头分别捕获动作捕捉手套的影像；基于所捕获的动作捕捉手套的2个以上影像中标记点的位置，获得使用者的手势；检测使用者的手势是否与预设的手势模板匹配，若匹配则执行对应手势模板的控制指令，若不匹配则结束。

进一步地，该使用者的手势包括动作捕捉手套与摄像头组之间的距离。

进一步地，该摄像头组中包括景深摄像头。

进一步地，基于2个以上的摄像头所捕获的动作捕捉手套的各影像中标记点的位置的差值，获得使用者的手势。

进一步地，该动作捕捉手套包括2种以上的标记点。

根据本公开的第二个方面，提供了一种基于手机的VR系统，VR系统包括：手机，其包括显示屏和摄像头组；VR眼镜，其包括用于固定手机的主体部和用于将VR眼镜固定在使用者头部的固定部；以及动作捕捉手套，其包括一个或多个标记点，其中，摄像头组包括2个以上的摄像头，主体部在其面向使用者的侧面上设有对应手机的显示屏的两组透镜组，且在其远离使用者的侧面上形成有对应手机的摄像头组的通孔，该VR系统还包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行该程序时实现以下步骤：利用摄像头组中的至少2个摄像头分别捕获动作捕捉手套的影像；基于所捕获的动作捕捉手套的2个以上影像中标记点的位置，获得使用者的手势；检测使用者的手势是否与预设的手势模板匹配，若匹配则执行对应手势模板的控制指令，若不匹配则结束。

进一步地，该使用者的手势包括动作捕捉手套与摄像头组之间的距离；基于2个以上的摄像头所捕获的动作捕捉手套的各影像中标记点的位置的差值，获得使用者的手势。

根据本公开的第三个方面，公开了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如本公开的第一个方面的输入方法的步骤。

本发明的有益效果在于：1)基于手机的VR虚拟现实体感生存冒险游戏中为玩家提供了动作捕捉手套，使玩家可以使用双手来进行游戏，大大提高了游戏的真实性；2)通过使用手机作为核心硬件，配合简单的VR眼镜和动作捕捉手套，无需额外设置光学式动作捕捉相机，大大降低了真实VR游戏的价格门槛，提供了一个廉价的解决方案。

附图说明

在说明书结尾处的权利要求书中特别指出并清楚地要求保护本文所公开的主题。结合附图进行以下详细描述，本发明的前述以及其他目标、特征以及优点将变得显而易见。

图1是根据本发明实施例涉及的手机的正视图和后视图；

图2是根据本发明实施例涉及的VR眼镜的侧视图；

图3是根据本发明实施例涉及的VR眼镜的主体部的正视图；

图4是根据本发明实施例涉及的VR眼镜的主体部的后视图；

图5是根据本发明实施例涉及的动作捕捉手套的正视图。

具体实施方式

本公开的几个示例方面的概述如下。提供本概述是为了读者的方便，以提供对这些实施例的基本理解而不是完全地限定本发明的范围。本概述不是所有预期实施例的广泛综述，并且既不旨在标识所有方面的关键或重要元素，也不描述任何或所有方面的范围。其唯一目的在于以简化的形式呈现一个或多个实施例的一些概念，作为稍后呈现的更详细描述的前奏。为了方便，在本文中术语“一些实施例”可用于指本公开的单一实施例或者多个实施例。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种模块或单元，但这些模块或单元不应限于这些术语。这些术语仅用来将同一类型的模块或单元彼此区分开。例如，在不脱离本公开范围的情况下，第一模块或单元也可以被称为第二模块或单元，类似地，第二模块或单元也可以被称为第一模块或单元。

VR(Virtual Reality)即虚拟现实，简称VR，其具体内涵是综合利用计算机图形系统和各种现实及控制等接口设备，在计算机上生成的、可交互的三维环境中提供沉浸感觉的技术。虚拟现实头戴显示器设备，简称VR头显或VR眼镜，是利用仿真技术与计算机图形学人机接口技术多媒体技术传感技术网络技术等多种技术集合的产品，是借助计算机及最新传感器技术创造的一种崭新的人机交互手段。游戏是人们认为VR最容易触及的一个行业，也最有“钱途”。无论是角色扮演、竞速赛车或者动作类游戏，都是大众最期待的VR开发领域。在模拟驾驶方面，VR有很大的应用空间。VR可以提供几乎与真实环境一致的体验，且所需设备并不复杂。

市面上多数VR眼镜需要借助手机，即将4.7-5.7寸的手机放入VR眼镜中，在手机中下载相应的APP便可进行使用。VR眼镜的原理和眼睛的成像原理类似，设在VR眼镜上的两个透镜相当于眼睛，VR眼镜一般都是图像内容分屏切成两半，通过透镜的镜片实现叠加成像。由于手机被置入眼镜中使用者将无法直接操作手机，所以通常利用手机本身的加速度传感器和陀螺仪，检测手机本身的运动来操控，或者配备一个蓝牙手柄进行操作。另外，市面上还有较贵的VR一体机使用较为方便。但大都价格昂贵，且同样缺乏高效的操作输入方法。

参照图1-5，根据本公开的第一实施例，提供了一种基于手机100的VR系统的输入方法，VR系统包括：手机100，其包括显示屏120和摄像头组110；VR眼镜200，其包括用于固定手机100的主体部210和用于将VR眼镜200固定在使用者头部的固定部220；以及动作捕捉手套300，其包括一个或多个标记点310，其中，摄像头组110包括2个以上的摄像头，主体部210在其面向使用者的侧面上设有对应手机100的显示屏120的两组透镜组212，且在其远离使用者的侧面上形成有对应手机100的摄像头组110的通孔211。该输入方法包括以下步骤：利用摄像头组110中的至少2个摄像头分别捕获动作捕捉手套300的影像；基于所捕获的动作捕捉手套300的2个以上影像中标记点310的位置，获得使用者的手势；检测使用者的手势是否与预设的手势模板匹配，若匹配则执行对应手势模板的控制指令，若不匹配则结束。从而实现高效的输入操作。

在图1中，A表示手机100的正面，即设有显示屏120的一面；B表示显示器的背面，即设有摄像头组110的一面。在图2-4中，VR眼镜200包括主体部210和固定部220，主体部210用于嵌入或卡合手机100。使用者在佩戴VR眼镜200时，主体部210贴合使用者的眼部，以通过手机100的显示屏120和这在主体部210上的透镜组212向使用者显示VR图像；固定部220固定在用户的头部，以防止VR眼镜200脱落或滑动。在图3和4中，手机100被嵌入或卡合到VR眼镜200的主体部210内，设在手机100背面的摄像头组110从主体部210的通孔211处露出，虚线表示手机100被主体部210遮挡的部分。在本公开的一个或多个实施例中，VR眼镜200呈一侧具有弧面的长方体形的壳体，示例性地，VR眼镜200的主体部210由如工程塑料、凯芙拉纤维等制成；固定部220由弹性材质和卡扣制成。将在佩戴时与使用者视线一致的方向定义为VR眼镜200的前方，相反的方向为VR眼镜200的后方，则VR眼镜200的后方配合使用者眼部的位置处(即主体部210的后面)设有用于观看手机100的显示屏120的一对透镜组212。其中，手机100的显示屏120为主动发光式的LCD、LED或OLED显示屏120，优选采用高响应速度、低发热的OLED显示屏120。

在一个或多个实施例中，其中动作捕捉手套300包括标记点310；VR眼镜200处的手机100的摄像头组110承担了光学式动作捕捉相机的作用，其用于根据标记点310来捕捉动作捕捉手套300在三维方向上的位移和形变，从而判断穿戴了动作捕捉手套300的使用者的手势。该使用者的手势包括动作捕捉手套300与摄像头组110之间的距离。

在本公开的一个或多个实施例中，输入方法包括以下步骤：

首先，利用摄像头组110中的至少2个摄像头分别捕获动作捕捉手套300的影像。

在本例中，摄像头组110包括两个摄像头，每一个摄像头分别捕获动作捕捉手套300的影像，以检测动作捕捉手套300上的多个标记点310的位置变化，并基于各摄像头所捕获的动作捕捉手套300的各影像中标记点310的位置的差值，以捕捉动作捕捉手套300的关键部分(在本例中分为5个手指部分和手掌部分)的位置、角度变化。在本例中，摄像头组110包括了两个光轴相互平行的摄像头，两个摄像头的光轴之间具有一定的距离，由此，依靠三角定位的方法计算摄像头组110前的动作捕捉手套300的各标记点310的位置和深度(标记点310与摄像头的距离)，在一个或多个实施例中，该摄像头组110中包括景深摄像头。

为了便于处理，通常要求动作捕捉手套300为单色，在手的关键部位，如指尖、指关节、掌心、掌背、腕等位置贴上一些特制的标志或发光的动作跟踪器(标记点310)，称为"Marker"，摄像头组110将识别和处理这些标志。此外，标记点310可以是具有三角形、矩形等一定形状和大小的图案，例如包括2种以上的标记点310，从而有助于摄像头分析标记点310的距离和移动。在本例中，标记点310可以是能够发出近红外光谱的LED灯。此外，标记点310也可以不经由手套而直接贴在使用者的手上。在进行输入操作时，需要使用者将佩戴了动作捕捉手套300的手放入摄像头组中个摄像头的视域的重叠区。

其次，基于所捕获的动作捕捉手套300的2个以上影像中标记点310的位置，获得使用者的手势。

各摄像头将捕捉到的图像数据传输到手机100系统中，对每个摄像头捕捉的图像差值的组合分析，得出基于标记点310的动作捕捉手套300的使用者的手的立体模型。并根据该立体模型的变化，判断使用者的手势。根据检测标记点310而检测使用者的手势，能够减少环境因素的干扰，大幅降低运算量。适用于对续航敏感的手机100设备。

最后，检测使用者的手势是否与预设的手势模板匹配，若匹配则执行对应手势模板的控制指令，若不匹配则结束检测。其中手势模板是通过深度学习动态更新至少一名指定人员的手势训练而成的。

由此充分利用手机100的特有机能，提供了一种高效的操作输入方法。

根据本公开的第二实施例，提供了一种基于手机100的VR系统，VR系统包括：手机100，其包括显示屏120和摄像头组110；VR眼镜200，其包括用于固定手机100的主体部210和用于将VR眼镜200固定在使用者头部的固定部220；以及动作捕捉手套300，其包括一个或多个标记点310，其中，摄像头组110包括2个以上的摄像头，主体部210在其面向使用者的侧面上设有对应手机100的显示屏120的两组透镜组212，且在其远离使用者的侧面上形成有对应手机100的摄像头组110的通孔211，该VR系统还包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行该程序时实现以下步骤：利用摄像头组110中的至少2个摄像头分别捕获动作捕捉手套300的影像；基于所捕获的动作捕捉手套300的2个以上影像中标记点310的位置，获得使用者的手势；检测使用者的手势是否与预设的手势模板匹配，若匹配则执行对应手势模板的控制指令，若不匹配则结束。

在一个或多个实施例中，该使用者的手势包括动作捕捉手套300与摄像头组110之间的距离；基于2个以上的摄像头所捕获的动作捕捉手套300的各影像中标记点310的位置的差值，获得使用者的手势。

根据本公开的第三实施例，公开了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如本公开的第一实施例的输入方法的步骤。

本领域普通技术人员可以意识到，结合本公开中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接相合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在二个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在二个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或者惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

附图标记说明：

100 手机

110 摄像头组

120 显示屏

200 VR眼镜

210 主体部

211 通孔

212 透镜组

220 固定部

300 动作捕捉手套

310 标记点。

Claims (8)

1.一种基于手机的VR系统的输入方法，其特征在于,所述VR系统包括：

手机，其包括显示屏和摄像头组；

VR眼镜，其包括用于固定手机的主体部和用于将VR眼镜固定在使用者头部的固定部；

以及

动作捕捉手套，其包括一个或多个标记点，

其中，摄像头组包括2个以上的摄像头，主体部在其面向使用者的侧面上设有对应手机的显示屏的两组透镜组，且在其远离使用者的侧面上形成有对应手机的摄像头组的通孔，

所述输入方法包括以下步骤：

利用摄像头组中的至少2个摄像头分别捕获动作捕捉手套的影像；

基于所捕获的动作捕捉手套的2个以上影像中标记点的位置，获得使用者的手势；

检测使用者的手势是否与预设的手势模板匹配，若匹配则执行对应手势模板的控制指令，若不匹配则结束。

2.根据权利要求1所述的输入方法，其特征在于：所述使用者的手势包括动作捕捉手套与摄像头组之间的距离。

3.根据权利要求1所述的输入方法，其特征在于：所述摄像头组中包括景深摄像头。

4.根据权利要求1所述的输入方法，其特征在于：基于2个以上的摄像头所捕获的动作捕捉手套的各影像中标记点的位置的差值，获得使用者的手势。

5.根据权利要求1所述的输入方法，其特征在于：所述动作捕捉手套包括2种以上的标记点。

6.一种基于手机的VR系统，其特征在于包括：

手机，其包括显示屏和摄像头组；

VR眼镜，其包括用于固定手机的主体部和用于将VR眼镜固定在使用者头部的固定部；

以及

动作捕捉手套，其包括一个或多个标记点，

其中，摄像头组包括2个以上的摄像头，主体部在其面向使用者的侧面上设有对应手机的显示屏的两组透镜组，且在其远离使用者的侧面上形成有对应手机的摄像头组的通孔，

所述VR系统还包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：

利用摄像头组中的至少2个摄像头分别捕获动作捕捉手套的影像；

基于所捕获的动作捕捉手套的2个以上影像中标记点的位置，获得使用者的手势；

检测使用者的手势是否与预设的手势模板匹配，若匹配则执行对应手势模板的控制指令，若不匹配则结束。

7.根据权利要求6所述的VR系统，其特征在于：所述使用者的手势包括动作捕捉手套与摄像头组之间的距离；

基于2个以上的摄像头所捕获的动作捕捉手套的各影像中标记点的位置的差值，获得使用者的手势。

8.一种计算机可读存储介质，其上存储有计算机指令，其特征在于该指令被处理器执行时实现如权利要求1至5中任一项所述的输入方法的步骤。