CN106873778A

CN106873778A - 一种应用的运行控制方法、装置和虚拟现实设备

Info

Publication number: CN106873778A
Application number: CN201710062637.7A
Authority: CN
Inventors: 刘江
Original assignee: Shenzhen Super Technology Co Ltd
Current assignee: Shenzhen Super Technology Co Ltd
Priority date: 2017-01-23
Filing date: 2017-01-23
Publication date: 2017-06-20
Anticipated expiration: 2037-01-23
Also published as: CN106873778B

Abstract

本发明公开一种应用的运行控制方法、装置和虚拟现实设备，为能够提供一种新的应用操控方式，使用户在头戴显示器的使用环境下能够方便自由地操控应用程序而设计。所述应用的运行控制方法，应用于装配有双摄像头的虚拟现实设备，所述方法包括：获取所述双摄像头采集的真实场景影像信息，所述真实场景影像信息随所述设备佩戴者的运动而改变；根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的操控行为；根据所述设备佩戴者的操控行为，对所述应用进行控制以使所述应用执行所述操控行为对应的功能。本发明可应用在虚拟现实、增强现实和机器视觉等领域。

Description

一种应用的运行控制方法、装置和虚拟现实设备

技术领域

本发明涉及虚拟现实(Virtual Reality，简称VR)技术领域，尤其涉及一种应用的运行控制方法、装置和虚拟现实设备。

背景技术

VR技术是主要通过综合利用计算机图形系统和各种现实及控制等接口设备，在计算机上生成的、可交互的三维环境中提供沉浸感觉的技术。

目前，用户在使用VR设备时，通常处于头戴显示器的使用环境下，即人眼处于显示封闭状态，亦即除了显示器显示的内容，无法看到其他东西。因此，用户无法像平时使用手机等智能设备一样，通过可视范围内的触摸屏或者外接设备等，与智能设备上的应用程序进行交互从而对应用进行正常的操控，会给操控带来诸多不便之处。

因此，在头戴显示器这种使用环境下，需要一种能够代替触摸屏或者外接设备的操控方式来对应用程序进行操控，使用户在头戴显示器等人眼受限的使用环境下，可以方便自由地操控应用程序，提供给用户更加舒适便利的交互体验。

发明内容

本发明的目的旨在提供一种应用的运行控制方法、装置和虚拟现实设备，提供了一种新的应用操控方式，能够使用户在头戴显示器等人眼可视范围受限的使用环境下方便自由地操控应用程序。

第一方面，本发明实施例提供了一种应用的运行控制方法，应用于VR设备，所述VR设备上装配有双摄像头，所述双摄像头能够采集设备佩戴者正面的真实场景影像，所述方法包括：

获取所述双摄像头采集的真实场景影像信息，所述真实场景影像信息随所述设备佩戴者的运动而改变；

根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的操控行为；

根据所述设备佩戴者的操控行为，对所述应用进行控制以使所述应用执行所述操控行为对应的功能。

结合第一方面，在第一方面的第一种实施方式中：

所述根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的操控行为包括：

根据所述双摄像头采集的真实场景影像信息，获取所述设备佩戴者的运动行为信息；

根据所述设备佩戴者的运动行为信息，确定所述设备佩戴者的操控行为。

结合第一方面的第一种实施方式，在第一方面的第二种实施方式中：

所述运动行为包括平移运动，所述运动行为信息包括平移距离和平移方向；

所述根据所述双摄像头采集的真实场景影像信息，获取所述设备佩戴者的运动行为信息包括：

提取所述双摄像头采集的当前帧的两幅真实场景影像中的特征点；

标记所述当前帧的两幅真实场景影像中的特征点中的同名点并确定所述同名点的深度信息；

根据所述同名点的深度信息，确定所述设备佩戴者的平移距离和平移方向；

所述根据所述设备佩戴者的运动行为信息，确定所述设备佩戴者的操控行为包括：

当所述平移距离大于预先确定的距离阈值时，确定所述设备佩戴者的操控行为为所述平移方向上的平移运动行为；

或者

当根据连续的至少两帧的两幅真实场景影像确定的平移距离均大于预先确定的距离阈值时，确定所述设备佩戴者的操控行为为所述平移方向上的平移运动行为。

结合第一方面的第二种实施方式，在第一方面的第三种实施方式中：

所述根据所述同名点的深度信息，确定所述设备佩戴者的平移距离和平移方向包括：

根据所述同名点的深度信息和根据所述当前帧的真实场景影像和所述当前帧的前一帧的真实场景影像确定的、所述同名点在真实场景影像中发生的平移方向和相对平移距离，确定所述设备佩戴者的第一平移方向和第一平移方向上的实际平移距离；

或

根据所述当前帧的真实场景影像中的同名点的深度信息和所述当前帧的前一帧的真实场景影像中的同名点的深度信息，确定所述设备佩戴者的第二平移方向和第二平移方向上的实际平移距离。

结合第一方面，在第一方面的第四种实施方式中：

所述根据所述设备佩戴者的操控行为信息，对所述应用进行控制以使所述应用执行所述操控行为对应的功能包括：

根据预先建立的操控行为与用户输入事件的对应关系，确定所述操控行为所对应的用户输入事件；

根据所述操控行为所对应的用户输入事件，控制所述应用执行所述用户输入事件对应的功能。

结合第一方面的第四种实施方式，在第一方面的第五种实施方式中：

所述用户输入事件包括以下事件中的至少一个：

方向控制事件、确定事件、退出事件或返回事件。

结合第一方面的第四种实施方式，在第一方面的第六种实施方式中：

所述操控行为所对应的用户输入事件包括方向控制事件，所述方向控制事件用于控制所述应用提供的虚拟对象的运动方向；

所述根据所述操控行为所对应的用户输入事件，控制所述应用执行所述用户输入事件对应的功能包括：

根据所述方向控制事件，控制所述虚拟对象按照所述方向控制事件对应的运动方向进行运动。

结合第一方面或第一方面的第一种至第六种实施方式中的任意一种实施方式，在第一方面的第七种实施方式中：

根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的当前姿态信息；

根据所述当前姿态信息，获取与所述设备佩戴者的当前姿态对应的显示画面，并将所述显示画面提供给所述设备佩戴者。

结合第一方面的第七种实施方式，在第一方面的第八种实施方式中：

所述虚拟现实设备上还装配有姿态传感器，所述姿态传感器用于感测所述设备佩戴者的旋转运动信息；

所述根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的当前姿态信息包括：

根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的平移运动信息；

根据所述设备佩戴者的平移运动信息和所述姿态传感器感测的所述设备佩戴者的旋转运动信息，确定所述设备佩戴者的当前姿态信息。

结合第一方面的第七种实施方式，在第一方面的第九种实施方式中：

所述双摄像头包括模拟人眼的左右双目摄像头；

所述显示画面包括虚拟现实场景画面；

所述方法还包括：

获取所述模拟人眼的左右双目摄像头按照所述设备佩戴者的视线方向采集的真实场景影像信息；

根据所述按照所述设备佩戴者的视线方向采集的真实场景影像信息，确定所述设备佩戴者的当前姿态信息；

在所述获取与所述设备佩戴者的当前姿态对应的显示画面后，所述将所述显示画面提供给所述设备佩戴者前，所述方法还包括：根据所述按照所述设备佩戴者的视线方向采集的真实场景影像信息和所述虚拟现实场景画面，生成融合场景画面；

所述将所述显示画面提供给所述设备佩戴者包括：

将所述融合场景画面提供给所述设备佩戴者。

结合第一方面的第九种实施方式，在第一方面的第十种实施方式中：

所述方法还包括：

根据所述按照所述设备佩戴者的视线方向采集的真实场景影像信息，获取增强现实场景画面；

接收场景呈现切换指令；

根据所述场景呈现切换指令，切换所述融合场景画面、增强现实场景或虚拟现实场景画面。

结合第一方面的第八种实施方式，在第一方面的第十一种实施方式中：

所述姿态传感器包括陀螺仪、地磁计、加速计中的至少一种。

结合第一方面或前述第一方面的任一种实施方式，在第一方面的第十二种实施方式中：

所述应用为游戏应用。

第二方面，本发明实施例提供了一种应用的运行控制装置，应用于VR设备，所述VR设备上装配有双摄像头，所述双摄像头能够采集设备佩戴者正面的真实场景影像，所述装置包括：

真实场景影像获取单元，用于获取所述双摄像头采集的真实场景影像信息，所述真实场景影像信息随所述设备佩戴者的运动而改变；

操控行为确定单元，用于根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的操控行为；

控制单元，用于根据所述设备佩戴者的操控行为，对所述应用进行控制以使所述应用执行所述操控行为对应的功能。

结合第二方面，在第二方面的第一种实施方式中：

所述操控行为确定单元包括：

行为信息获取模块，用于根据所述双摄像头采集的真实场景影像信息，获取所述设备佩戴者的运动行为信息；

确定模块，用于根据所述设备佩戴者的运动行为信息，确定所述设备佩戴者的操控行为。

结合第二方面的第一种实施方式，在第二方面的第二种实施方式中：

所述行为信息获取模块用于：

所述确定模块用于：

或者

结合第二方面的第二种实施方式，在第二方面的第三种实施方式中：

所述行为信息获取模块具体用于：

或

结合第二方面，在第二方面的第四种实施方式中：

所述控制单元具体用于：

结合第二方面的第四种实施方式，在第二方面的第五种实施方式中：

所述控制单元具体用于：

结合第二方面或第二方面的第一至第五种实施方式中的任意一种实施方式，在第二方面的第六种实施方式中：

所述装置还包括：

姿态确定单元，用于根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的当前姿态信息；

显示单元，用于根据所述当前姿态信息，获取与所述设备佩戴者的当前姿态对应的显示画面，并将所述显示画面提供给所述设备佩戴者。

结合第二方面的第六种实施方式，在第二方面的第七种实施方式中：

所述姿态确定单元包括：

运动信息确定模块，用于根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的平移运动信息；

姿态信息确定模块，用于根据所述设备佩戴者的平移运动信息和所述姿态传感器感测的所述设备佩戴者的旋转运动信息，确定所述设备佩戴者的当前姿态信息。

结合第二方面的第六种实施方式，在第二方面的第八种实施方式中：

所述双摄像头包括模拟人眼的左右双目摄像头；

所述显示画面包括虚拟现实场景画面；

所述真实场景影像获取单元，还用于：

所述姿态确定单元用于：

所述显示单元包括：

显示画面获取模块，用于根据所述当前姿态信息，获取与所述设备佩戴者的当前姿态对应的虚拟现实场景画面；

融合模块，用于根据所述按照所述设备佩戴者的视线方向采集的真实场景影像信息和所述虚拟现实场景画面，生成融合场景画面；

显示模块，用于将所述融合场景画面提供给所述设备佩戴者。

结合第二方面的第八种实施方式，在第二方面的第九种实施方式中：

所述显示单元还包括：

增强现实画面获取模块，用于根据所述按照所述设备佩戴者的视线方向采集的真实场景影像信息，获取增强现实场景画面；

切换模块，用于接收场景呈现切换指令，根据所述场景呈现切换指令，切换所述融合场景画面、增强现实场景或虚拟现实场景画面。

第三方面，本发明实施例提供了一种VR设备，包括：

双摄像头，用于采集设备佩戴者正面的真实场景影像；

处理器，与双摄像头相连接，用于获取所述双摄像头采集的真实场景影像信息，所述真实场景影像信息随所述设备佩戴者的运动而改变；根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的操控行为；根据所述设备佩戴者的操控行为，对所述应用进行控制以使所述应用执行所述操控行为对应的功能。

结合第三方面，在第三方面的第一种实施方式中：

所述虚拟现实设备还包括：

姿态传感器和显示器；

所述姿态传感器与所述处理器相连接，用于感测所述设备佩戴者的旋转运动信息；

所述显示器与所述处理器相连接；

所述处理器根据所述双摄像头采集的真实场景影像信息和所述姿态传感器感测的所述设备佩戴者的旋转运动信息，确定所述设备佩戴者的当前姿态信息，根据所述当前姿态信息，获取与所述设备佩戴者的当前姿态对应的显示画面；

所述显示器将所述显示画面呈现给所述设备佩戴者。

结合第三方面的第一种实施方式，在第三方面的第二种实施方式中：

所述双摄像头包括模拟人眼的左右双目摄像头；

所述显示画面包括虚拟现实场景画面；

所述设备还包括眼球跟踪设备，与所述处理器相连接，用于进行眼球跟踪，追踪人眼的视线变化；

所述处理器还用于根据眼球跟踪设备追踪的人眼的视线变化，调整所述双摄像头方向，以便所述双摄像头按照人眼视线方向实时采集真实场景影像信息，获取所述模拟人眼的左右双目摄像头按照所述设备佩戴者的视线方向采集的真实场景影像信息，根据所述当前姿态信息，获取与所述设备佩戴者的当前姿态对应的虚拟现实场景画面，根据所述真实场景影像信息和所述虚拟现实场景画面，生成融合场景画面；

所述显示器，用于将所述融合场景画面呈现给所述设备佩戴者。

结合第三方面或者第三方面的第一至第二种实施方式中的任一种实施方式，在第三方面的第三种实施方式中：所述虚拟现实设备包括：智能眼镜或头盔。

第四方面，本发明实施例提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行前述任意方法。

本发明实施例提供的应用的运行控制方法、装置、VR设备和计算机可读存储介质，在VR设备上装配能够采集设备佩戴者正面的真实场景影像的双摄像头，并获取双摄像头所采集到的真实场景影像，利用真实场景影像随设备佩戴者的运动而变化的原理，根据真实场景影像的变化分析出设备佩戴者是如何运动的，即确定出设备佩戴者的操控行为，进而通过该操控行为对应用进行运行控制，这样，设备佩戴者只需执行一些特定行为就可达到对应用进行操控的目的，不需要使用触摸屏或者外接设备对应用进行操控，在头戴显示器等人眼可视范围受限的使用环境下，可以非常方便自由地操控应用程序。

附图说明

图1是本发明实施例提供的一种应用的运行控制方法的流程图；

图2是本发明实施例中具有双摄像头的VR设备示意图；

图3是双目立体视觉成像原理示意图；

图4是本发明实施例中姿态拆解为旋转运动与平移运动的示意图；

图5是本发明实施例中虚拟现实设备中装配的姿态传感器头部位置的跟踪数据的示意图；

图6是本发明实施例提供的一种应用的运行控制装置的结构示意图；

图7是本发明实施例提供的一种应用的运行控制装置的结构示意图；

图8是本发明实施例提供的一种应用的运行控制装置的结构示意图；

图9是本发明实施例提供的一种VR设备的结构示意图；

图10是本发明实施例提供的一种VR设备的结构示意图；

图11是本发明实施例提供的一种智能眼镜的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明实施例旨在提供一种应用的运行控制方法、装置和VR设备，从而为VR应用场景提供一种新的应用操控方式，能够使用户在头戴显示器等人眼可视范围受限的使用环境下方便自由地操控应用程序。

图1为本发明实施例提供的应用的运行控制方法的一种流程图，该显示方法应用于VR设备，该VR设备可以是VR眼镜，也可以是VR头盔等。该VR设备上需要装配有双摄像头，该双摄像头能够采集设备佩戴者正面的真实场景影像。所谓真实场景，是指设备佩戴者所处的真实空间。

该VR设备可参见图2的示意性示意图，可以理解的是，图2所示的VR设备仅为例示，不对本发明产生任何限制。如图2所示，VR设备上装配有双摄像头01，该双摄像头01设置在设备正面壳体02上，从而可以采集设备佩戴者正面的真实场景影像。可选的，双摄像头可以模拟人的双眼设置，即，双摄像头分别对应佩戴者的左右眼设置，双摄像头镜头中心连线与左右眼双眼连线平行。当然本发明不限于此，双摄像头的设置方位不限，例如倾斜设置，即，其镜头中心连线与左右眼双眼连线成一定角度。无论与双眼对应设置还是倾斜设置，双摄像头镜头中心间距d可以等于人眼瞳距的距离，也可以是其他合理距离，例如根据摄像头镜头参数所确定的中心间距，本发明对此不做限定。而且，双摄像头可设置为可自动或者手动调节，例如，中心间距可调，视场角可调等等。

如图1所示，本发明实施例提供的应用的运行控制方法，包括：

步骤101，获取装配在VR设备上的双摄像头采集的真实场景影像信息。

本发明实施例中，用户(即设备佩戴者)在使用VR设备时，具体在VR设备上使用该应用时，即运行该应用时，双摄像头可实时采集设备佩戴者正面的真实场景的影像。

该应用的具体类型不限，可以是任意类型的应用，例如，游戏应用，工具类应用等等。

步骤102，根据双摄像头采集的真实场景影像信息，确定设备佩戴者的操控行为。

显然，由于VR设备通常为头戴方式，因此，在设备佩戴者运动时，即设备佩戴者头部发生运动时，亦即设备佩戴者进行某种运动行为使设备佩戴者的头部发生运动时，VR设备随设备佩戴者的头部的运动而运动，那么双摄像头采集的真实场景影像信息会随之改变。基于此，本发明实施例中，利用真实场景影像随设备佩戴者的运动而变化的原理，可根据真实场景影像的变化分析出设备佩戴者是如何运动的，即确定出设备佩戴者的操控行为，进而通过该操控行为对应用进行运行控制。

可以理解的是，针对真实场景空间中的一点，前后不同时刻，若设备佩戴者的头部发生了运动，那么该点在摄像头前后不同时刻所采集到的真实场景影像中，会处于不同的位置。因此，从原理上讲，本步骤102中，可根据前后不同时刻所采集的真实场景影像中，确定真实场景空间中的同一点所发生的位置变化，分析出设备佩戴者头部是如何运动的，即可分析出设备佩戴者执行了何种操控行为。其中，操控行为可以通过运动方向来定义，例如，一种操控行为为“向左平移运动”，由于设备佩戴者在未执行操控行为时，并不能处于完全的静止状态，可能会正常的走动，或者细微的习惯性运动，因此，为了和其他运动行为相区分，操控行为可以通过运动方向和运动速度来定义，比如，一种操控行为为“向左平移运动，运动速度大于2米/秒”，只有速度大于2米/秒的向左平移运动才被认为是操控行为，而未大于2米/秒的向左平移运动并不会对应用进行操控。而原理上讲，前后不同时刻即前后两帧的真实场景图像中，同一点的图像位置的方向变化与设备佩戴者的运动方向相关联，而两帧图像的采集时间间隔固定已知，那么同一点在两帧图像中移动的距离，即位置之间的间距与设备佩戴者的运动速度相关联，设备佩戴者运动速度越快，该点在两帧图像中的移动的距离即位置之间的间距就越大，因此，确定真实场景空间中的同一点在真实场景影像中所发生的位置变化，进而分析出设备佩戴者头部是如何运动的，运动方向是什么，是否满足操控行为的运动速度，即可分析出设备佩戴者执行了何种操控行为。

具体的，本步骤中，可首先根据所述双摄像头采集的真实场景影像信息，获取设备佩戴者的运动行为信息，然后根据设备佩戴者的运动行为信息，确定设备佩戴者的操控行为。

特别指出，本领域技术人员所公知的，刚性运动都可以拆解为平移运动和旋转运动，即任何一种运动都可以是平移运动与旋转运动的结合。

以下着重针对设备佩戴者头部的平移运动进行举例说明。当设备佩戴者的运动行为包括平移运动时，根据双摄像头采集的真实场景影像信息获取的运动行为信息可包括平移距离和平移方向。可根据前后不同时刻所采集的真实场景影像中，确定真实场景空间中的同一点在影像中所发生的平移的方向和距离(以下称为相对平移距离)，进而根据该方向和相对平移距离，得到设备佩戴者头部的实际的平移方向和平移距离。需要说明的是，本发明实施例中，所得到的相对平移距离和实际平移距离，可以为X、Y、Z三个方向中至少一个方向上的平移距离，也可以为实际平移方向上的平移距离。

具体的，可以首先提取双摄像头采集当前帧的两幅真实场景影像中的特征点，将当前帧的两幅真实场景影像中的特征点中的同名点标记出来。接下来确定同名点的深度信息，根据该深度信息，确定设备佩戴者的平移距离和平移方向。

其中，同名点是指空间中一个点经过多个摄像头camera采集时，投影在camera成像传感器上不同的位置形成的像点，表现形式为同一个点在多个视角的采集画面上有不同的坐标。由于本发明实施例中使用双摄像头采集当前真实场景影像，因此，可利用现有技术中公知的双目视觉系统的理论，例如使用SIFT算法，提取出双摄像头拍摄的两幅影像中的特征点，利用最小均方差ZSSD等算法，标记出特征点中的同名点，即标记出双摄像头拍摄的两幅影像中的匹配点集对(两幅影像中的同名点)，进而可利用摄像头的已知镜头参数，例如焦距等，可得到该帧图像中同名点的深度信息。

举例说明，参见图3的双目立体视觉成像示意图，左摄像头C_l和右摄像头C_r之间的距离为T,焦距为f，空间中一点P，点P在左摄像头C_l拍摄的图像中，水平坐标为X_l，右摄像头拍摄的图像中，水平坐标为X_r，则X_l和X_r，则利用双目立体视觉成像理论，P点的深度Z可通过如下公式进行运算：

上述方式仅为示例，可以理解的是，双目视觉系统理论为本领域的公知常识，因此，本发明实施例中对于如何标记同名点以及如何得到深度不做进一步详细描述，具体可参见现有技术，本发明实施例中可采用任何可行方式标记同名点和得到深度。

针对于设备佩戴者头部在第一方向平移运动，例如水平左右运动或者垂直上下运动的情况，可根据所述当前帧的真实场景影像和所述当前帧的前一帧的真实场景影像，确定同名点前后两帧真实场景影像中即当前帧与当前帧的前一帧中所发生的平移方向和相对平移距离。然后，根据同名点在当前帧与当前帧的前一帧中所发生的平移方向，确定设备佩戴者的第一平移方向，同名点的平移方向通常与设备佩戴者头部的平移方向相反，然后根据深度和相对平移距离这两个信息得到设备佩戴者实际平移距离。

以下具体说明设备佩戴者为第一方向平移运动时，根据双摄像头采集的真实场景影像信息，确定设备佩戴者的实际平移距离的过程。

首先从双目camera获取当前真实场景信息，当前帧包括两幅真实场景影像画面。假设此时获取的双目camera画面是Fn。先对Fn的双目camera画面进行特征点提取，然后进行特征点的双目匹配，将两个camera画面特征点集合中的同名点标记出来。由于已知camera的镜头参数比如：FOV，因此可以计算出这些同名点到camera的实际距离，即同名点的深度。然后再将Fn中双目camera的画面分别与Fn-1帧的双目camera画面进行匹配，即Fn中左camera的画面与Fn-1中左camera的画面进行匹配，Fn中右camera的画面与Fn-1中右camera的画面进行匹配，计算出两帧画面采集时间段内同名点发生的相对平移距离，利用相对平移距离再结合已经获取的同名点到camera的实际距离(即深度)，可以计算出同名点实际的平移距离，即，佩戴者头部的实际平移距离。接下来把同名点集合中的所有同名点均进行以上操作，得到每个点的平移距离后取均值作为最终的实际平移距离。

其中，针对于相对平移距离和实际平移距离的运算，举例说明如下：

以水平方向为X方向，竖直方向为Y方向，垂直于X和Y方向的摄像头朝向方向为Z方向建立坐标系，摄像头初始位置为坐标原点(0，0，0)，空间上一点A的坐标为(x，y，z)，可以理解的是，A点到摄像头的距离为z，即A点的深度为z。

假设摄像头的焦距为f，则投影平面为z＝f，则摄像头在初始位置时，A点在投影平面上的投影点A1的坐标，即摄像头所拍摄到的真实影像上A点的坐标为：

当设备佩戴者的头部发生移动，相应地摄像头发生移动，为说明且理解目的，假设摄像头仅在水平方向移动，且移动的距离、即实际移动距离为D，此时，摄像头的坐标改变为(D，0，0)。此时，A点在投影平面上的投影点A2的坐标，即设备佩戴者的头部发生移动后，摄像头所拍摄到的真实影像上A点的坐标为：

两张图像上，A点所发生的相对平移距离d为：

根据双摄像头拍摄的左右图像，利用双目视觉理论，能够获取到A点的深度z，而根据同一摄像头所拍摄的前后两帧图像，经过图像扫描匹配，能够查找到前后两帧图像的A点，进而可以得到A点的相对平移距离d，而摄像头的焦距已知，则根据上述公式(1)，即可得到摄像头的实际平移距离，即设备佩戴者的实际平移距离。

此外，目前市面上已面世深度摄像头，深度摄像头可以直接给出A点的深度，因此，若双摄像头采用深度摄像头，则可直接获取到该深度，无需进一步的运算。

显然，可以理解的是，上述实际平移距离的确定方式仅为示例，起到说明和加强理解作用，但本发明不限于此，在本发明所公开的设计构思下，本领域技术人员可以选择任意合理可行的确定方式。而且，上述示例中，为便于理解和说明，假设摄像头仅在水平方向平移移动。但本发明不限于此，摄像头平移运动方向不限，例如可计算实际方向的平移距离，例如例如可将摄像头平移运动分解为X、Y、Z三个方向上的运动，并按照现有技术中的合理可行的方式，分别得到三个方向上的平移距离。

针对于设备佩戴者头部在第二方向平移运动，例如前后运动的情况，，那么在先后不同时刻，同名点的深度信息是变化的、是不同的，深度信息的变化是由于设备佩戴者头部的前后运动而产生的，在得到同名点的深度信息后，可根据当前帧的真实场景影像中的同名点的深度信息和当前帧的前一帧的真实场景影像中的同名点的深度信息，确定了设备佩戴者的第二平移方向和第二平移方向上的实际平移距离。具体的，当前帧的真实场景影像中的同名点的深度信息和当前帧的前一帧的真实场景影像中的同名点的深度信息，两者的差值即为设备佩戴者的实际平移距离，而当两者差值为正，代表设备佩戴者向后运动，反之，代表设备佩戴者向前运动。

可以理解的是，但具有多个同名点时，相对平均距离可以是所有同名点的相对平移距离的平均值，深度信息也可以是所有同名点的深度信息的平均值。

前文已经原理性说明，由于前后两帧的采集时间间隔已知，根据前后两帧影像所确定的设备佩戴者的平移距离能够体现佩戴者的平移运动速度，因此，可通过设备佩戴者的平移距离和平移方向，确定设备佩戴者是否执行了操控行为以及执行了何种操控行为。具体的，可根据设备佩戴者的平移距离和平移方向，当平移距离大于预先确定的距离阈值时，确定所述设备佩戴者的操控行为为该平移方向上的平移运动行为，或者，优选的，为了提升确定操控行为的精确性，可以在当根据连续的至少两帧的两幅真实场景影像确定的平移距离均大于预先确定的距离阈值时，确定设备佩戴者的操控行为为该平移方向上的平移运动行为。

其中，操控行为可通过方向和距离阈值来标识，不同方向，距离阈值可相同也可不同。例如，一种操控行为为向左平移运动，方向左，距离阈值为T_left，当确定出设备佩戴者的平移方向为左，将判断设备佩戴者的平移距离是否大于T_left，优选可判断根据连续的至少两帧的两幅真实场景影像确定的平移距离是否均大于T_left，若是，则确定设备佩戴者执行了向左平移运动这种操控行为，将执行预先设定的与该向左平移运动对应的功能。

步骤103，根据设备佩戴者的操控行为，对应用进行控制以使应用执行该操控行为对应的功能。

其中，操控行为与功能的对应关系可以是预先定义好的，即什么样的操控行为对应什么样的功能是预先定义好的，例如，“向下平移运动”用来执行“确认”功能，“向左平移运动”用来执行“翻页功能”等等。本步骤中，将根据该操控行为，对应用进行控制。

具体实施中，本步骤中，可将分析出来的操控行为转化为信号发送给应用，应用端根据接收到的信号进行响应。

在一种具体实施中，本发明实施例中的应用可以是原生的以触控输入或者外接设备输入等方式进行操控的应用，所谓原生是指初始开发者开发后续未经过除开发者之外的外部修改。这种应用，触控输入或者外接设备输入的操控指令被定义为用户输入事件，该用户输入事件是应用可识别的，并且与应用的功能是对应的，当应用接收到该用户输入事件时，将执行该用户输入事件对应的功能。即，用户输入事件对应用的操控关系是固有的，是预先规定好的，例如，用户点击某按键，用户点击某按键对应一种用户输入事件，按照预先设定，执行该事件对应的功能，返回上一菜单。举例而言，用户输入事件可以为方向控制事件，用来控制该应用提供的内容对象的方向，应用根据该方向控制事件来改变内容对象的方向。用户输入事件还可以为确定事件，用于使应用执行所确定的功能。用户输入事件还可以为退出事件，用于使应用退出某个功能、某个界面或者某个窗口等、或者使应用关闭等。用户输入事件还可以为返回事件，用于使应用返回上一级菜单。

针对这种应用场景，在本发明的一个实施例中，可预先建立操控行为与用户输入事件的对应关系，当分析出设备佩戴者的操控行为后，根据该对应关系，确定该操控行为所对应的用户输入事件，从而根据操控行为所对应的用户输入事件，控制应用执行该用户输入事件对应的功能。具体的，确定该操控行为所对应的用户输入事件后，将生成应用可识别的用户输入事件对应的指示信号，应用根据该信号运行，从而执行相应的功能。

举例说明，在一个具体实施方式中，一种操控行对应的用户输入事件为方向控制事件，该方向控制事件用于控制应用提供的虚拟对象的运动方向，本步骤中，可以控制该虚拟对象按照该方向控制事件对应的运动方向进行运动。例如，该应用为一游戏，虚拟对象就是游戏场景中的一个人物或者一架飞机，设备佩戴者可通过头部运动对应的操控行为，来控制虚拟人物或者飞机的运动方向，或者控制虚拟人物的行为，例如射击，走路、跳跃、出拳、踢腿等等。

本发明实施例提供的应用的运行控制方法、装置和VR设备，在VR设备上装配能够采集设备佩戴者正面的真实场景影像的双摄像头，并获取双摄像头所采集到的真实场景影像，利用真实场景影像随设备佩戴者的运动而变化的原理，根据真实场景影像的变化分析出设备佩戴者是如何运动的，即确定出设备佩戴者的操控行为，进而通过该操控行为对应用进行运行控制，这样，设备佩戴者只需执行一些特定行为就可达到对应用进行操控的目的，不需要使用触摸屏或者外接设备对应用进行操控，而且在头戴显示器等人眼可视范围受限的使用环境下，可以非常方便自由地操控应用程序。

下面以应用为游戏，通过设备佩戴者头部水平平移运动控制游戏运行为例，对本发明实施例提供的应用的运行控制方法进行详细说明：

1.首先，设备佩戴者进行头部水平平移运动，利用双目摄像机图像进行图像采集，每帧分别得到两幅图像数据；

2.根据每帧的两幅图像数据获取深度，并利用上述公式(1)确定获取同名点的相对平移距离和并获取同名点的移动方向；

3.根据相对平移距离和移动方向，确定设备佩戴者的移动方向和实际平移距离，假设设备佩戴者向左水平移动；

4.判断向左阈值T_left与实际平移距离的关系，确定实际水平距离是否大于T_left；

5.如果连续N帧满足实际水平距离大于T_left，确定操控行为为向左平移运动，即输出向左信号；

6.将信号传递给对应于游戏应用的系统中；

7.游戏应用的系统根据接收到的向左的信号，做出相应的响应，控制游戏中的虚拟人物向左运动。

本领域技术人员所公知的，VR设备需要根据用户的姿态来判断显示的内容是否符合人类的视觉习惯，根据用户的姿态来改变显示内容，来带给用户沉浸感。这里的“姿态”是指设备佩戴者的头部的姿态，VR显示设备会通过对头部姿态的追踪，即佩戴者视角的追踪，适应性的转换显示内容，从而给佩戴者一种身临其境的感觉，即沉浸感。

目前，简易的VR设备通常只能利用姿态传感器(陀螺仪、地磁计、加速计等)提供旋转运动信息，更精密的VR/AR设备通过外设来辅助提供精确的姿态跟踪信息，比如：1、通过外置摄像头追踪头盔表面的红外传感器；2、采用激光追踪定位技术，通过激光传感器识别头盔上的光敏传感器。

以上两种技术各有优缺点，其中方法1实现简单、计算量小，但是受限于外置摄像头的视场角，容易出现跟踪丢失。而方法2可实现大范围的追踪，精度高，但是外设复杂成本高，不便于普及。若姿态追踪不够准确，会导致显示画面与用户的视觉习惯并不匹配，会给用户带来头晕等不适感。

因此，进一步的，作为一种优化，在本发明的一个实施例中，所述方法还包括以下步骤：根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的当前姿态信息；根据所述当前姿态信息，获取与所述设备佩戴者的当前姿态对应的显示画面，并将所述显示画面提供给所述设备佩戴者。从而提供一种基于姿态追踪的显示方式，易于实施且可实现大范围、高精度的姿态追踪，提升VR设备的显示效果，有效增进佩戴使用VR设备的用户的沉浸感，提升用户体验。

同前述原理，针对真实场景空间中的一点，前后不同时刻，若设备佩戴者的头部姿态发生了改变，那么该点在摄像头前后不同时刻所采集到的真实场景影像中，会处于不同的位置。因此，可根据真实场景影像，获取设备佩戴者的当前姿态信息，进而利用该信息进行显示，使显示与设备佩戴者的视角相对应。具体的，可根据前后不同时刻所采集的真实场景影像中，确定真实场景空间中的同一点所发生的相对平移距离，进而根据该相对平移距离，得到设备佩戴者头部的实际平移距离，进而根据设备佩戴者的实际平移距离，确定设备佩戴者的当前姿态信息。

其中，显示画面通常为VR场景画面。针对于VR场景画面的显示，均是根据当前姿态信息，即变换左右虚拟摄像机的相关显示参数，变换左右虚拟摄像机的拍摄方位，从而在进行画面显示时，使得所显示的画面与设备佩戴者的姿态相对应，增加沉浸感。可以理解的是，根据设备佩戴者当前姿态来进行显示，是现有技术中较为成熟的技术方案，这里不再进行赘述。举例说明，可以预先将双摄像头的拍摄空间范围与显示画面的空间范围进行对应，则利用双摄像头拍摄的画面所确定的实际平移距离，即可获得在显示画面空间所对应的平移距离，进而根据显示画面空间的平移距离来调节虚拟摄像机的位置，从而改变显示画面。

优选的，在本发明的一个实施例中，除双摄像头之外，VR设备上还装配有姿态传感器，例如，陀螺仪、地磁计、加速计中的至少一种，用于感测设备佩戴者的旋转运动信息。则，此时，可利用双摄像头采集的真实场景影像，来确定佩戴者的平移运动信息，利用姿态传感器感测，来获取设备佩戴者的旋转运动信息，进而，根据平移运动信息和旋转运动信息，来确定设备佩戴者当前的姿态。由于既能得到平移运动信息又能得到旋转运动信息，因此，对设备佩戴者使用VR设备的场地的要求限制较少，可实现大范围的姿态追踪。

特别指出，可以理解的是，基于设备佩戴者实际使用中的状况可知，不仅仅包括佩戴者头部绕颈部旋转的运动，还包括全身姿态的变化形成的头部平移运动，设备佩戴者头部的姿态的变化是平移运动与旋转运动的结合。参见图4所示的姿态变化示意图，从图中可以看出，任意一个姿态可以拆解为一个旋转运动和一个平移运动。向量v1表示的姿态变为v2表示的姿态过程中，既有旋转运动也有平移运动，可以理解为先向v1’做旋转运动，再由v1’做平移运动到v2。

因此，可通过双目摄像头camera获得平移运动信息，然后与姿态传感器记录的旋转运动结合进行姿态追踪，计算出姿态信息。

其中，设备佩戴者的实际平移距离的确定方式同前述实施例，这里不再赘述。

在得到摄像头的实际平移距离后，将利用实际平移距离与姿态传感器提供的方位角描述的旋转运动进行运动合成得到姿态的当前状态，最后根据姿态的当前状态计算应该生成的显示图像输出给VR设备佩戴者。从原理上来讲，该过程实际上可以理解为根据姿态的当前状态改变用于进行画面显示的虚拟摄像机的拍摄位置和角度，从而使得显示的画面与设备佩戴者当前的姿态即当前的观察视角相对应。

具体的，参见图5，用户头部佩戴有虚拟现实设备，虚拟现实设备所装配的姿态传感器所获取到的实时跟踪数据，即旋转运动信息可包括：设备佩戴者头部在三维空间中的实时转动角度(Pitch,Yaw,Roll)，其中，Pitch：用户头部相对于x轴的转动角度；Yaw：用户头部相对于y轴的转动角度；Roll：用户头部相对于z轴的转动角度。

在根据姿态进行显示时，可根据头部旋转运动的跟踪数据Pitch,Yaw,Roll，则可以得到设备佩戴者头部分别关于x,y,z轴的旋转矩阵：

进而，则可以得到设备佩戴者头部分别关于x,轴y轴和z轴的旋转矩阵

V_Rotation＝Rotation_Pitch*Rotation_Yaw*Rotation_Roll

在很多场景(例如第一人称射击游戏)中，可仅关注头部关于x轴和y轴的旋转变换，只需要令关于z轴旋转矩阵为单位矩阵：

Rotation_Roll＝E

根据利用双摄像头拍摄的真实场景图像所确定的实际平移距离，假设该实际平移距离包括X、Y、Z轴三个方向上的平移距离，分别为：X_offset、Y_offset、Z_offset，则可以得到设备佩戴者头部分别关于x,y,z轴的平移矩阵：

根据旋转矩阵和平移矩阵，对原观察矩阵V进行变换，则变换后的观察矩阵V′:

V′＝V_Rotation*V_position*V

进而，即可利用根据新的观察矩阵V′，构建并显示虚拟现实场景或者融合场景的图像，从而使该图像与设备佩戴者头部位置变化后的观察视角同步。

这样，利用双摄像头所采集到的真实场景影像，来确定出设备佩戴者的当前姿态信息，从而根据设备佩戴者的姿态改变显示内容，方案易于实施，能够较为准确的预测设备佩戴者的姿态变化状况，而且，同时对设备佩戴者使用VR设备的场地的要求限制较少，可实现大范围的姿态追踪，也不需要更多外部辅助设备，可以有效提升VR设备的显示效果，增进佩戴使用VR设备的用户的沉浸感，提升用户体验。

增强现实AR技术是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实技术，不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它。

现有技术中的一些头盔显示器，比如，类似Oculus的产品，能够让用户体验VR效果，像google眼镜类似的产品能够让用户体验AR效果。但是，现有的VR设备能够观看虚拟的场景、人物等，但这些虚拟的场景人物都是预先设计好的，或者是按照特定算法渲染而成的，并没有结合用户使用VR头盔时的场景，缺少与现实环境的互动。而现有的AR眼镜能够看到用户眼前的真实环境，并能够分析图像，给出一些提示信息，但不能体验逼真的虚拟场景带来的愉悦，也即AR很难做好虚拟真实的结合。

因此，作为一种改进，在本发明的一个实施例中，VR设备所配置的双摄像头以模拟人眼的方式设置，即双摄像头包括模拟人眼的左摄像头和右摄像头，该双摄像头可以追踪人眼的视线变化，按照人眼的视线方向采集真实场景影像，即复现人眼的观看效果，达到左右摄像头所采集到真实场景影像即是设备佩戴者当前若未佩戴VR设备所看到的真实场景画面的效果。

这种情况下，可获取模拟人眼的双摄像头按照设备佩戴者的视线方向采集的真实场景影像信息，并通过该真实场景影像信息确定出设备佩戴者的当前姿态，然后在获取了与所述设备佩戴者的当前姿态对应的VR场景画面后，根据双摄像头采集的真实场景影像信息和获取的VR场景画面，生成融合场景画面，并将融合场景画面提供给所述设备佩戴者，从而实现了在VR过程中能够结合真实场景，实现VR与增强现实融合的效果，并能够增进人机交互、提升用户体验。而且，由于真实场景和虚拟内容的良好融合，用户能够体验更加逼真的虚拟与现实的结合，很好的解决了AR很难做好虚拟真实的结合问题，以及VR设备不兼容AR应用的问题。

具体的，为了获取人眼的视线变化，可以在VR设备内部安装眼部视线追踪模块，以追踪视线变化。具体的，可以利用现有技术中的眼球跟踪技术，例如根据眼球和眼球周边的特征变化进行跟踪、根据虹膜角度变化进行跟踪、主动投射红外线等光束到虹膜来提取特征进行跟踪来确定人眼的视线变化等。当然，本发明实施例不限于此，在本发明的技术构思下，本领域技术人员可以利用任意可行的技术追踪人眼的视线变化进而调整模拟人眼的左右眼摄像头的采集方向，实时采集真实场景信息。

具体的，真实场景影像信息包括双摄像头中左摄像头拍摄的左图及右摄像头拍摄的右图，而VR场景画面包括虚拟场景的左视图及右视图。则可将所述左摄像头拍摄的左图与虚拟场景的左视图叠加，合成融合场景左图，将所述右摄像头拍摄的右图与虚拟场景的右视图叠加，合成融合场景右图，根据所述融合场景左图及右图，生成融合场景。

进一步的，在本实施例中，除了实现真实场景信息与虚拟场景信息融合，生成融合场景外，还可以根据模拟人眼的双摄像头采集的、即按照设备佩戴者的视线方向采集的真实场景影像信息，获取增强现实场景画面。VR设备可通过场景呈现切换指令实现融合场景画面、增强现实场景画面或虚拟现实场景画面三者之间的切换，从而使得VR设备兼具AR功能、VR功能以及融合AR及VR功能。具体的切换指令可以包括：按键切换指令、手势切换指令或距离感应切换指令。这里需要说明的是，本发明实施例中，增强现实场景是指利用增强现实技术将真实场景信息进行呈现的场景，虚拟现实场景是指利用虚拟现实技术将虚拟现实场景信息进行呈现的场景。

在本发明实施例中，VR、AR、VR和AR兼容三种模式可以根据需求进行切换。切换时最直接的方法是通过VR设备外部的按钮进行切换，即在头盔的某个位置设置按钮，在设备佩戴者点击按钮时，进行模式的切换。可以利用多个按钮，也可以利用一个按钮。利用一个按钮进行模式切换时，例如，如果当前是VR模式，按一下按钮则切换到AR模式；如果当前是AR模式，按一下按钮则切换到VR和AR兼容模式；如果当前是VR和AR兼容模式，按一下按钮则切换到VR模式。

此外，也可以使用手势识别的方法进行模式切换。而在配置了相应的功能模块后，语言、肢体动作都可以进行模式之间的切换。

此外，可以在某种条件下触发模式切换，例如根据距离感应进行模式切换，假设用户在VR模式下佩戴VR设备行走时，前方一定距离内存在障碍物时，即感应到与障碍物之间的距离小于预设阈值，亦即相当于接收到距离感应切换指令，可以进行模式转换，将VR模式切换到VR和AR兼容模式，或者AR模式。

在本发明实施例中，还可以通过切换指令分别实现AR及VR应用，当该设备开启VR模式后，该设备就像普通VR设备一样，可以观看虚拟的场景及模型，并可以通过头部运动和双摄像头进行交互控制，即随姿态改变虚拟现实场景画面。当该设备开启AR模式后，该设备则利用模拟双眼的双摄像头，实时显示图像给用户，同时对摄像头提供的图像进行目标检测，检测得到目标的相关信息，例如类别、介绍等等，之后将该目标对应的相关信息显示出来。

与前述方法相对应，本发明实施例还提供一种应用的运行控制装置，应用于VR设备，该VR设备上设置有能够采集设备佩戴者正面的真实场景影像的双摄像头，如图6所示，该装置包括：

真实场景影像获取单元61，用于获取双摄像头采集的真实场景影像信息，真实场景影像信息随设备佩戴者的运动而改变；

操控行为确定单元62，用于根据双摄像头采集的真实场景影像信息，确定设备佩戴者的操控行为；

控制单元63，用于根据设备佩戴者的操控行为，对应用进行控制以使应用执行操控行为对应的功能。

本发明实施例提供的应用的运行控制装置，在VR设备上装配能够采集设备佩戴者正面的真实场景影像的双摄像头，并获取双摄像头所采集到的真实场景影像，利用真实场景影像随设备佩戴者的运动而变化的原理，根据真实场景影像的变化分析出设备佩戴者是如何运动的，即确定出设备佩戴者的操控行为，进而通过该操控行为对应用进行运行控制，这样，设备佩戴者只需执行一些特定行为就可达到对应用进行操控的目的，不需要使用触摸屏或者外接设备对应用进行操控，在头戴显示器等人眼可视范围受限的使用环境下，可以非常方便自由地操控应用程序。

具体的，在本发明的一个实施例中，如图7所示，操控行为确定单元62包括：

行为信息获取模块621，用于根据双摄像头采集的真实场景影像信息，获取设备佩戴者的运动行为信息；

确定模块622，用于根据设备佩戴者的运动行为信息，确定设备佩戴者的操控行为。

举例而言，在本发明的一个实施例中，设备佩戴者的运动行为包括平移运动，运动行为信息包括平移距离和平移方向；

行为信息获取模块621用于：

提取双摄像头采集的当前帧的两幅真实场景影像中的特征点；

标记当前帧的两幅真实场景影像中的特征点中的同名点并确定同名点的深度信息；

根据同名点的深度信息，确定设备佩戴者的平移距离和平移方向；

确定模块622用于：

当平移距离大于预先确定的距离阈值时，确定设备佩戴者的操控行为为平移方向上的平移运动行为；或者，当根据连续的至少两帧的两幅真实场景影像确定的平移距离均大于预先确定的距离阈值时，确定设备佩戴者的操控行为为平移方向上的平移运动行为。

进一步的，行为信息获取模块621具体用于：

根据同名点的深度信息和根据当前帧的真实场景影像和当前帧的前一帧的真实场景影像确定的、同名点在真实场景影像中发生的平移方向和相对平移距离，确定设备佩戴者的第一平移方向和第一平移方向上的实际平移距离；

进一步的，行为信息获取模块621具体用于：

根据当前帧的真实场景影像中的同名点的深度信息和当前帧的前一帧的真实场景影像中的同名点的深度信息，确定设备佩戴者的第二平移方向和第二平移方向上的实际平移距离。

可选的，在本发明的一个实施例中，控制单元63具体用于：

根据预先建立的操控行为与用户输入事件的对应关系，确定操控行为所对应的用户输入事件；

根据操控行为所对应的用户输入事件，控制应用执行用户输入事件对应的功能。

可选的，在本发明的一个实施例中，操控行为所对应的用户输入事件包括方向控制事件，方向控制事件用于控制应用提供的虚拟对象的运动方向；

控制单元63具体用于：

根据方向控制事件，控制虚拟对象按照方向控制事件对应的运动方向进行运动。

可选的，在本发明的一个实施例中，如图8所示，该装置还包括：

姿态确定单元64，用于根据双摄像头采集的真实场景影像信息，确定设备佩戴者的当前姿态信息；

显示单元65，用于根据当前姿态信息，获取与设备佩戴者的当前姿态对应的显示画面，并将显示画面提供给设备佩戴者。

进一步的，在本发明的一个实施例中：

虚拟现实设备上还装配有姿态传感器，姿态传感器用于感测设备佩戴者的旋转运动信息；

姿态确定单元64包括：

运动信息确定模块，用于根据双摄像头采集的真实场景影像信息，确定设备佩戴者的平移运动信息；

姿态信息确定模块，用于根据设备佩戴者的平移运动信息和姿态传感器感测的设备佩戴者的旋转运动信息，确定设备佩戴者的当前姿态信息。

可选的，在本发明的一个实施例中：

双摄像头包括模拟人眼的左右双目摄像头；

显示画面包括虚拟现实场景画面；

真实场景影像获取单元61，用于：

获取模拟人眼的左右双目摄像头按照设备佩戴者的视线方向采集的真实场景影像信息；

姿态确定单元64用于：

根据按照设备佩戴者的视线方向采集的真实场景影像信息，确定设备佩戴者的当前姿态信息；

显示单元65包括：

显示画面获取模块，用于根据当前姿态信息，获取与设备佩戴者的当前姿态对应的虚拟现实场景画面；

融合模块，用于根据按照设备佩戴者的视线方向采集的真实场景影像信息和虚拟现实场景画面，生成融合场景画面；

显示模块，用于将融合场景画面提供给设备佩戴者。

进一步的，在本发明的一个实施例中：

显示单元65还包括：

增强现实画面获取模块，用于按照设备佩戴者的视线方向采集的真实场景影像信息，获取增强现实场景画面；

切换模块，用于接收场景呈现切换指令，根据场景呈现切换指令，切换融合场景画面、增强现实场景或虚拟现实场景画面。

如图9所示，本发明实施例还提供一种VR设备，其包括：

双摄像头71，用于采集设备佩戴者正面的真实场景影像；

处理器72，与双摄像头71相连接，获取双摄像头71采集的真实场景影像信息，真实场景影像信息随设备佩戴者的运动而改变；根据双摄像头采集的真实场景影像信息，确定设备佩戴者的操控行为；根据设备佩戴者的操控行为，对应用进行控制以使应用执行操控行为对应的功能。

进一步的，在本发明的一个实施例中，如图10所示：

VR设备还包括姿态传感器70和显示器74，

姿态传感器70与处理器72相连接，用于感测设备佩戴者的旋转运动信息；

显示器74与处理器72相连接；

处理器72根据双摄像头71采集的真实场景影像信息和姿态传感器70感测的设备佩戴者的旋转运动信息，确定设备佩戴者的当前姿态信息，根据当前姿态信息，获取与设备佩戴者的当前姿态对应的显示画面；

显示器74将显示画面呈现给设备佩戴者。

进一步的，在本发明的一个实施例中：

双摄像头71包括模拟人眼的左右双目摄像头；

显示画面包括虚拟现实场景画面；

设备还包括眼球跟踪设备，与处理器72相连接，用于进行眼球跟踪，追踪人眼的视线变化；

处理器72还用于根据眼球跟踪设备追踪的人眼的视线变化，调整双摄像头方向，以便双摄像头71按照人眼视线方向实时采集真实场景影像信息，获取模拟人眼的左右双目摄像头按照设备佩戴者的视线方向采集的真实场景影像信息，根据当前姿态信息，获取与设备佩戴者的当前姿态对应的虚拟现实场景画面，根据真实场景影像信息和虚拟现实场景画面，生成融合场景画面；

显示器74，用于将融合场景画面呈现给设备佩戴者。

具体的，VR设备可包括：智能眼镜或头盔等具有VR功能的电子设备。

图11为本发明实施例提供的一种VR设备----智能眼镜的外观示意图，可以理解的是，该智能眼镜仅为例示，不对本发明产生任何限制。如图9所示，该眼镜包括眼镜本体80，眼镜本体的前表面设置有用于模拟人眼的右眼摄像头81和左眼摄像头82，用于模拟用户双眼采集真实场景信息，处理器(未示出)、显示器(未示出)设置在眼镜本体80的内部，该眼镜还可设置有物理按键83，用于开关眼镜，还可用于用户下发各种指令，例如用户可以通过操作物理按键83下发场景呈现切换指令，使得智能眼镜在VR显示模式、融合显示模式和AR显示模式等模式中切换。眼镜本体80中还可设置有姿态传感器(未示出)。该眼镜还包括绑带84，在用户佩戴眼镜时套设在用户头部，起到固定眼镜的作用。

在本发明实施例中，处理器为该用户终端的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储单元内的软件程序和/或模块，以及调用存储在存储单元内的数据，以执行电子设备的各种功能和/或处理数据。所述处理器可以由集成电路组成，也可以由连接多颗相同功能或不同功能的封表集成芯片而组成。即处理器可以是GPU、数字信号处理器、及通信单元中的控制芯片的组合。

与前述方法实施例相对应，本发明实施例还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机、具体可以使处理器执行前述任意方法实施例提供的应用的运行控制方法。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将

一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。

在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本领域技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。所述的计算机软件可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种应用的运行控制方法，应用于虚拟现实设备，其特征在于，

所述虚拟现实设备上装配有双摄像头，所述双摄像头能够采集设备佩戴者正面的真实场景影像；

所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述双摄像头采集的真实场景影像信息，确定所述设备佩戴者的操控行为包括：

3.根据权利要求2所述的方法，其特征在于，

或者

4.根据权利要求3所述的方法，其特征在于，

或

5.根据权利要求1所述的方法，其特征在于，所述根据所述设备佩戴者的操控行为信息，对所述应用进行控制以使所述应用执行所述操控行为对应的功能包括：

6.根据权利要求5所述的方法，其特征在于，所述用户输入事件包括以下事件中的至少一个：

方向控制事件、确定事件、退出事件或返回事件。

7.根据权利要求5所述的方法，其特征在于，

8.根据权利要求1至7任一项所述的方法，其特征在于，所述方法还包括：

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

10.根据权利要求8所述的方法，其特征在于，

所述双摄像头包括模拟人眼的左右双目摄像头；

所述显示画面包括虚拟现实场景画面；

所述方法还包括：

在所述获取与所述设备佩戴者的当前姿态对应的显示画面后，所述将所述显示画面提供给所述设备佩戴者前，所述方法还包括：

根据所述按照所述设备佩戴者的视线方向采集的真实场景影像信息和所述虚拟现实场景画面，生成融合场景画面；

所述将所述显示画面提供给所述设备佩戴者包括：

将所述融合场景画面提供给所述设备佩戴者。

11.根据权利要求10所述的方法，其特征在于，所述方法还包括：

接收场景呈现切换指令；

12.根据权利要求9所述的方法，其特征在于，所述姿态传感器包括陀螺仪、地磁计、加速计中的至少一种。

13.根据权利要求1-13任一项所述的方法，其特征在于，所述应用为游戏应用。

14.一种应用的运行控制装置，应用于虚拟现实设备，其特征在于，

所述装置包括：

15.根据权利要求14所述的装置，其特征在于，所述操控行为确定单元包括：

16.根据权利要求15所述的装置，其特征在于，

所述行为信息获取模块用于：

所述确定模块用于：

或者

17.根据权利要求16所述的装置，其特征在于，所述行为信息获取模块具体用于：

或

18.根据权利要求14所述的装置，其特征在于，所述控制单元具体用于：

19.根据权利要求18所述的装置，其特征在于，

所述控制单元具体用于：

20.根据权利要求14至19任一项所述的装置，其特征在于，所述装置还包括：

21.根据权利要求20所述的装置，其特征在于，

所述姿态确定单元包括：

22.根据权利要求20所述的装置，其特征在于，

所述双摄像头包括模拟人眼的左右双目摄像头；

所述显示画面包括虚拟现实场景画面；

所述真实场景影像获取单元，还用于：

所述姿态确定单元用于：

所述显示单元包括：

23.根据权利要求22所述的装置，其特征在于，所述显示单元还包括：

24.一种虚拟现实设备，其特征在于，包括：

双摄像头，用于采集设备佩戴者正面的真实场景影像；

25.根据权利要求24所述的虚拟现实设备，其特征在于，所述虚拟现实设备还包括：

姿态传感器和显示器；

所述显示器与所述处理器相连接；

所述显示器将所述显示画面呈现给所述设备佩戴者。

26.根据权利要求25所述的虚拟现实设备，其特征在于，

所述双摄像头包括模拟人眼的左右双目摄像头；

所述显示画面包括虚拟现实场景画面；

27.根据权利要求24-26任一项所述的虚拟现实设备，其特征在于，所述虚拟现实设备包括：智能眼镜或头盔。

28.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行权利要求1至13任一项所述的方法。