CN108646997A - 一种虚拟及增强现实设备与其他无线设备进行交互的方法 - Google Patents

Abstract

本发明公开了一种虚拟及增强现实设备与其他无线设备进行交互的方法。具备无线传输功能以及摄像头透视功能的头戴式虚拟及增强现实设备作为第一设备，具备无线传输功能的其他设备作为第二设备，使用第一设备的透视功能，将视野内的一个或多个第二设备显示在第一设备的头戴式屏幕上，用户在视觉可见的状态下，对一个或多个第二设备进行操作，并利用第一设备和第二设备之间的无线数据交换，实现用户对第一设备的操作，以及第一设备和第二设备之间的交互操作的目的。本发明提出了5种操作模式，使用智能手机为首选的一个或多个第二设备，方便快捷的完成对第一设备上运行的虚拟现实应用、增强现实应用或传统应用的操作。

Description

一种虚拟及增强现实设备与其他无线设备进行交互的方法

技术领域

本发明涉及增强现实和虚拟现实技术领域，特别是涉及一种虚拟及增强现实设备与其他无线设备进行交互的方法。

背景技术

近年来，包括PC VR头盔、VR一体机以及增强现实眼镜等越来越多的VR/AR设备涌现，业界普遍把VR/AR设备看做台式电脑、笔记本电脑和智能手机之后的下一代计算平台，作为一个计算平台，没有方便快捷的输入输出设备的辅助，是万万不行的。而传统VR设备，人眼只能看到生成的3d虚拟空间，无法看到手中的输入设备，只能采用盲操作的方式操控输入设备。例如传统VR头盔中盛行的3dof或6dof手柄，作为输入设备的效率十分低下，尤其涉及文字输入时。而语音输入这类方法，缺乏隐私保护能力，不适合公共场合下的应用。

发明内容

针对上述现有技术中存在的技术问题，本发明提供了一种虚拟及增强现实设备与其他无线设备进行交互的方法。

为实现本发明的目的，本发明提供了一种虚拟及增强现实设备与其他无线设备进行交互的方法，具备无线传输功能以及摄像头透视功能的头戴式虚拟及增强现实设备作为第一设备，具备无线传输功能的其他设备作为第二设备，使用第一设备的透视功能，将视野内的一个或多个第二设备显示在第一设备的头戴式屏幕上，用户在视觉可见的状态下，对一个或多个第二设备进行操作，并利用第一设备和第二设备之间的无线数据交换，实现用户对第一设备的操作，以及第一设备和第二设备之间的交互操作的目的。

相应地，本发明提供了一种虚拟及增强现实设备的操作方法，具备无线传输功能以及摄像头透视(see through)功能的头戴式虚拟及增强现实设备作为第一设备，具备无线传输功能的其他设备作为第二设备，第一设备正在运行虚拟现实应用，此时第一设备的工作模式切换为虚拟现实模式，第一设备的摄像头功能开启，捕捉外部真实场景图像，但是透视功能关闭，摄像头捕捉的图像并不显示在第一设备的屏幕上，用户在屏幕上看到的是第一设备生成的3d虚拟空间，外部真实场景不可见，第一设备的交互界面被显示在该虚拟空间内，然后使用第二设备，以触摸屏控制和模拟手柄的方式运行，完成对第一设备的操作：第二设备必须具备陀螺仪传感器和触摸屏，在第二设备屏幕上显示辅助定位的图形，第一设备通过接收第二设备的陀螺仪数据，结合第一设备自身运动传感器的数据，摄像头捕捉到的第二设备的位置以及第二设备屏幕上的辅助定位图形，通过运算，在虚拟空间的相应位置渲染出第二设备的虚拟影像，在该虚拟设备影像的屏幕位置，绘制当前应用所需的虚拟用户界面；通过第一设备摄像头捕捉到的用户手指相对第二设备屏幕上辅助定位图形的所在位置，在虚拟空间中第二设备虚拟影像的相对位置上绘制虚拟的用户手指，用于操作该虚拟用户界面；根据陀螺仪数据生成一条由第二设备虚拟影像向外发射的一条射线，在虚拟空间中作为虚拟指示射线；用户通过在第一设备屏幕上看到第二设备虚拟影像，虚拟用户界面和虚拟用户手指，在第二设备触摸屏上移动、触摸或点击屏幕，完成对虚拟用户界面的操作；用户对第二设备进行旋转移动操作，控制虚拟指示射线与虚拟空间中的虚拟物件进行交互；第二设备将用户的操作行为通过无线网络，传输给第一设备，对当前运行的应用进行控制。

相应地，本发明还提供了一种虚拟及增强现实设备的操作方法，具备无线传输功能以及摄像头透视(see through)功能的头戴式虚拟及增强现实设备作为第一设备，具备无线传输功能的其他设备作为第二设备，第一设备正在运行增强现实应用，此时第一设备的工作模式切换为增强现实模式，第一设备的摄像头的透视功能开启，用户在第一设备的屏幕上看到外部真实场景；第一设备在真实场景中可互动物体的表面或旁边，叠加显示简单的标识和提示信息；第二设备处于摄像头拍摄范围之内，处于视觉可见的状态，然后使用第二设备，以触摸屏控制和模拟手柄的方式运行，完成对第一设备的操作：第二设备必须具备陀螺仪传感器和触摸屏；当前应用所需的用户界面被直接显示在第二设备的屏幕上，根据陀螺仪数据生成一条由第二设备真实影像向外发射的一条射线，在真实场景中作为虚拟指示射线；用户在视觉可见的状态下，在第二设备触摸屏上移动、触摸或点击屏幕，完成对用户界面的操作；用户对第二设备进行旋转移动操作，控制虚拟指示射线与真实场景中的物件进行交互；第二设备将用户的操作行为通过无线网络，传输给第一设备，对当前运行的应用进行控制。

另外，还提供了一种虚拟及增强现实设备的操作方法，具备无线传输功能以及摄像头透视功能的头戴式虚拟及增强现实设备作为第一设备，具备无线传输功能的其他设备作为第二设备，第一设备正在运行传统应用，此时第一设备的工作模式切换为工作站模式，第一设备的摄像头的透视功能开启，用户在第一设备屏幕上看到的是外部真实场景，并在该真实场景的正前方，投射出一个虚拟屏幕，该虚拟屏幕大小、远近、摆放位置和方向可调；该虚拟屏幕相当于一个外置的显示器，此时可以使用具备触摸屏的第二设备作为控制设备，将其模拟为触控板，起到鼠标的作用，此时第二设备处于触控板模式；在触摸屏上触摸滑动控制虚拟屏幕上的光标移动，点击屏幕相当于点击鼠标；当选中的控件为文字输入控件时，第二设备切换为虚拟键盘模式，进行文字输入操作；输入完成后切换回触控板模式。

另外，还一种虚拟及增强现实设备的操作方法，具备无线传输功能以及摄像头透视功能的头戴式虚拟及增强现实设备作为第一设备，第一设备正在运行交互功能简单的传统应用，此时第一设备的工作模式切换为电视模式，第一设备的摄像头的透视功能开启，用户看到的是外部真实场景，并在该真实场景的正前方，投射出一个虚拟屏幕，该虚拟屏幕大小、远近、摆放位置和方向可调；该虚拟屏幕相当于一个外置的电视，在虚拟屏幕上显示当前应用的画面；此时使用具备触摸屏的第二设备作为控制设备，将对第一设备中该应用所需的控制界面，直接显示在第二设备的屏幕上，此时第二设备处于真实用户界面模式；用户直接使用手指触摸点击屏幕进行选择媒体、播放控制、音量调节操作，并将操作行为通过无线网络传输到第一设备，实现对第一设备中当前应用的操作。

另外，还一种虚拟及增强现实设备与其他无线设备进行交互的方法，具备无线传输功能以及摄像头透视(see through)功能的头戴式虚拟及增强现实设备作为第一设备，具备无线传输功能的其他设备作为第二设备，第一设备和第二设备接收到来自应用或者用户的通知消息及通讯请求时，第一设备进入通知模式，在第一设备屏幕目前正在运行的应用界面之上，叠加显示通知窗口，显示简短资讯，等待用户处理；第一设备根据运动传感器数据，判断用户的头部动作，当用户做出摇头动作，则关闭通知窗口，继续当前应用；当用户做出点头动作，则根据当前通知的来源进行不同的处理：如果是第一设备收到的通知，则在第一设备上运行相应的应用进行处理；如果是第二设备收到的通知，直接使用第二设备进行处理，或者通过第一设备代理第二设备进行处理，并将处理后的数据同步传输到第二设备，完成相应的处理。当通知处理完毕后，第一设备返回到当前应用中继续运行。

与现有技术相比，本发明的有益效果为，利用具备摄像头透视(see through)功能的兼具增强现实功能和虚拟现实功能的头戴式AR/VR设备的透视(see through)功能,用户能够清楚的看到眼前的场景。本发明提出的交互方法，就利用了这类设备的透视功能，在视觉可见的状态下，使用其他无线设备对该VR/AR设备进行操作。由于头戴式VR/AR设备本身不占用双手，所以用户可以方便的使用双手操作其他无线设备。

附图说明

图1为本申请中使用第一设备摄像头透视功能操作第二设备的示意图；

图2为本申请中第一设备的虚拟现实操作模式示意图；

图3为本申请中第一设备的增强现实操作模式示意图；

图4为本申请中第一设备的工作站操作模式一示意图；

图5为本申请中第一设备的工作站操作模式二示意图；

图6为本申请中第一设备的工作站操作模式三示意图；

图7为本申请中第一设备的电视操作模式示意图；

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

未来几年，具备摄像头透视(see through)功能的兼具增强现实功能和虚拟现实功能的头戴式AR/VR设备将成为主流。通过此类设备的透视(see through)功能,用户能够清楚的看到眼前的场景。本发明提出的这种交互方法，就利用了这类设备的透视功能，在视觉可见的状态下，使用其他无线设备对该VR/AR设备进行操作。由于头戴式VR/AR设备本身不占用双手，所以用户可以方便的使用双手操作其他无线设备。

下文中，具备摄像头透视(see through)功能的兼具增强现实功能和虚拟现实功能的头戴式AR/VR设备，将被称为第一设备，而具备无线传输功能的其他设备，则被称为第二设备。

在已经存在的各种第二设备中，手机作为目前最流行的手持式移动计算设备，已经达到了几乎人手一台的普及率，且随身便携，可随时取出使用。在第一设备的透视摄像头的帮助下，用户可以清楚的看到手机屏幕上的显示内容，通过对触摸屏对屏幕上显示的人机交互界面进行操作，通过屏幕上的软键盘进行文字输入操作，或者仅仅使用触摸屏来模拟触摸板或鼠标，手机一般都具备陀螺仪(可选的加速度计)传感器，则可以通过对手机的旋转移动等操作，实现3dof或6dof手柄功能，这些操作行为通过无线传输的方式传回第一设备，实现对第一设备的操作。

对于其他类似的第二设备，例如平板电脑，笔记本电脑，台式机等，可以同样实现类似功能。即便是不具备计算能力的非智能设备，例如蓝牙键盘鼠标等，也可以在第一设备的透视摄像头的帮助下，以视觉可见的状态进行操作，并将操作行为传输到第一设备，实现对第一设备的操作。

在本具体实施例的附图中，选择手机作为主要的第二设备，来描绘本发明。

本发明提出的所有交互方法，主要通过运行在第二设备上APP来实现。

实施方法如下：

如图1所示，使用配备摄像头102的第一设备101的透视功能，将视野内的一个或多个第二设备103显示在第一设备的头戴式屏幕上，用户在视觉可见的状态下，对一个或多个第二设备进行操作，并利用第一设备和第二设备之间的无线数据交换，实现用户对第一设备的操作，以及第一设备和第二设备之间的交互操作的目的。

所述的第一设备包括但不限于：VR一体机、PCVR头盔、增强现实眼镜等，该设备必须具备摄像头透视功能；

所述的第二设备包括但不限于：手机、平板、笔记本电脑、台式机、键盘、鼠标等，该设备必须具备无线传输功能；

所述的无线传输功能包括但不限于：BlueTooth、WiFi、WiGig、3G/4G/5G等；

通过对第二设备操作，实现对第一设备操作的方式，包括但不限于：对具备物理交互功能的第二设备(例如具备按键的蓝牙键盘或者具备按钮的蓝牙鼠标)进行操作，实现对第一设备的操作；对具备触摸屏的第二设备的屏幕上显示人机交互界面，对其进行操作，实现对第一设备的操作；对具备加速度计或陀螺仪等传感器的第二设备进行旋转移动等操作，模拟3dof或6dof手柄功能，实现对第一设备的操作；在具备触摸屏的第二设备的触摸屏上进行滑动点击等操作，模拟鼠标或触控板的功能，实现对第一设备的操作。例如：在一些实施方式中，使用手机作为第二设备，模拟3dof手柄，控制对第一设备中运行的游戏进行操作；在一些实施方式中，使用手机作为第二设备，通过虚拟键盘，在第一设备中需要文字输入的控件中输入文字；在一些实施方式中，使用手机作为第二设备，直接在手机触摸屏上显示用户界面，使用手指进行界面的选择、点击等操作，将操作结果传输给对第一设备，作为操作指令控制第一设备的运行；在一些实施方式中，使用手机或平板作为第二设备，模拟触控板，控制第一设备中虚拟屏幕上的光标对界面进行选择和点击行为；在一些实施方式中，使用蓝牙键盘和鼠标作为第二设备，将操作行为传输到第一设备，控制交互界面的点击、选择以及文字输入等操作。

通过对第二设备操作，实现第一设备和第二设备之间的交互操作，包括但不限于：第一设备与第二设备之间的文件传输和数据交换；第一设备和第二设备都具备屏幕的情况下，实现第一设备向第二设备投屏的操作，或者第二设备向第一设备投屏的操作；具备网络热点功能的设备可以作为热点，为另一个设备提供网络上传下载功能。例如：在一些实施方式中，电脑手机平板等第二设备通过无线网络，以传输文件或者直接投屏的方式，将其存储的文字图像视频音频等多媒体信息，显示在第一设备的虚拟大屏幕上，进行更好的展示；在一些实施方式中，第一设备通过无线网络，以传输文件或者直接投屏的方式，将其存储的文字图像视频音频等多媒体信息，显示在电脑手机平板等第二设备的屏幕上，方便展示给其他人观看；在一些实施方式中，第一设备通过连接电脑手机平板等第二设备提供的网络热点，获得互联网上传下载能力，方便的访问互联网资源，以及将其存储的数据进行云备份和云恢复等操作。

本发明所提出的方法，针对的第一设备兼具虚拟现实和增强现实功能的特点，实现了第一设备的五种不同的工作模式，分别对应五种不同的操作方式，这五种工作模式根据第一设备当前运行的应用的性质，自动切换，也可以在第二设备运行的APP中手动快速切换。

五种工作模式如下：

1.虚拟现实模式：该模式在第一设备运行虚拟现实应用时启用。当第一设备处于该模式时，摄像头拍摄功能开启，捕捉外部真实场景图像，但是透视功能关闭，摄像头捕捉的图像并不显示在第一设备的屏幕上，用户在屏幕上看到的是第一设备生成的3d虚拟空间，如图2所示。外部真实场景不可见，第一设备的交互界面被显示在该虚拟空间内。然后使用第二设备，以触摸屏控制和模拟手柄的方式运行，完成对第一设备的操作：第二设备必须具备陀螺仪传感器和触摸屏，在第二设备屏幕上显示辅助定位的图形，第一设备通过接收第二设备的陀螺仪数据，结合第一设备自身运动传感器的数据，摄像头捕捉到的第二设备的位置以及第二设备屏幕上的辅助定位图形，通过运算，在虚拟空间的相应位置渲染出第二设备的虚拟影像201，在该虚拟设备影像的屏幕位置，绘制当前应用所需的虚拟用户界面202。通过第一设备摄像头捕捉到的用户手指相对第二设备屏幕上辅助定位图形的所在位置，在虚拟空间中第二设备虚拟影像的相对位置上绘制虚拟的用户手指203，用于操作该虚拟用户界面。根据陀螺仪数据生成一条由第二设备虚拟影像向外发射的一条射线，在虚拟空间中作为虚拟指示射线204。用户通过在第一设备屏幕上看到第二设备虚拟影像201，虚拟用户界面202和虚拟用户手指203，在第二设备触摸屏上移动、触摸或点击屏幕，完成对虚拟用户界面的操作。用户可以对第二设备进行旋转移动操作，控制虚拟指示射线204与虚拟空间中的虚拟物件205进行交互。第二设备将用户的操作行为通过无线网络，传输给第一设备，对当前运行的应用进行控制。

2.增强现实模式：该模式在第一设备运行增强现实应用时启用。当第一设备处于该模式时，摄像头的透视功能开启，用户在第一设备的屏幕上看到外部真实场景，如图3所示。第一设备在真实场景中可互动物体的表面或旁边，可以叠加显示简单的标识和提示信息。第二设备301处于摄像头拍摄范围之内，处于视觉可见的状态，然后使用第二设备，以触摸屏控制和模拟手柄的方式运行，完成对第一设备的操作：第二设备必须具备陀螺仪传感器和触摸屏。当前应用所需的用户界面被直接显示在第二设备的屏幕302上，根据陀螺仪数据生成一条由第二设备真实影像向外发射的一条射线303，在真实场景中作为虚拟指示射线。用户在视觉可见的状态下，在第二设备触摸屏上移动、触摸或点击屏幕，完成对用户界面的操作。用户可以对第二设备进行旋转移动操作，控制虚拟指示射线303与真实场景中的物件304进行交互。第二设备将用户的操作行为通过无线网络，传输给第一设备，对当前运行的应用进行控制。

3.工作站模式：该模式在第一设备运行传统应用时启用。当第一设备处于该模式时，摄像头的透视功能开启，用户在第一设备屏幕上看到的是外部真实场景，并在该真实场景的正前方，投射出一个虚拟屏幕，该虚拟屏幕大小，远近，摆放位置和方向可调。该虚拟屏幕相当于一个外置的显示器，此时可以使用具备触摸屏的第二设备作为控制设备，将其模拟为触控板，起到鼠标的作用，此时第二设备处于触控板模式。如图4所示，在触摸屏401上触摸滑动控制虚拟屏幕上当前应用界面402的光标移动，点击屏幕相当于点击鼠标。如图5所示，当选中的控件为文字输入控件时，第二设备切换为虚拟键盘模式，用户操作虚拟键盘501，在虚拟屏幕的文字输入区域502中进行文字输入操作。输入完成后切换回触控板模式。如图6所示，除了具备触摸屏的第二设备模拟键盘鼠标之外，也可以直接使用无线键盘601和无线鼠标602作为第二设备，在视觉可见的状态下，通过无线网络，对虚拟屏幕上的当前应用603直接操作。

4.电视模式：该模式在第一设备运行诸如媒体播放等简单应用时启用。当第一设备处于该模式时，摄像头的透视功能开启，用户看到的是外部真实场景，并在该真实场景的正前方，投射出一个虚拟屏幕，该虚拟屏幕大小，远近，摆放位置和方向可调。该虚拟屏幕相当于一个外置的电视，在虚拟屏幕上显示当前应用的画面702。此时可以使用具备触摸屏的第二设备作为控制设备，将对第一设备中该应用所需的控制界面701，直接显示在第二设备的屏幕上，此时第二设备处于真实用户界面模式。用户直接使用手指触摸点击屏幕进行诸如类似选择媒体，播放控制，音量调节等操作，并将操作行为通过无线网络传输到第一设备，实现对第一设备中当前应用的操作。

5.通知模式：该模式在第一设备和第二设备接收到来自应用或者用户的通知消息及通讯请求时启用。当第一设备处于该模式时，在第一设备屏幕目前正在运行的应用界面之上，叠加显示通知窗口，显示简短资讯，等待用户处理。第一设备根据运动传感器数据，判断用户的头部动作，当用户做出摇头动作，则关闭通知窗口，继续当前应用；当用户做出点头动作，则根据当前通知的来源进行不同的处理：如果是第一设备收到的通知，则在第一设备上运行相应的应用进行处理。如果是第二设备收到的通知，直接使用第二设备进行处理，或者通过第一设备代理第二设备进行处理，并将处理后的数据同步传输到第二设备，完成相应的处理。当通知处理完毕后，第一设备返回到当前应用中继续运行。

以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种虚拟及增强现实设备与其他无线设备进行交互的方法，其特征在于，具备无线传输功能以及摄像头透视(see through)功能的头戴式虚拟及增强现实设备作为第一设备，具备无线传输功能的其他设备作为第二设备，使用第一设备的透视功能，将视野内的一个或多个第二设备显示在第一设备的头戴式屏幕上，用户在视觉可见的状态下，对一个或多个第二设备进行操作，并利用第一设备和第二设备之间的无线数据交换，实现用户对第一设备的操作，以及第一设备和第二设备之间的交互操作的目的。

2.根据权利要求1所述的虚拟及增强现实设备与其他无线设备进行交互的方法，其特征在于，所述的通过对第二设备操作，实现对第一设备操作的方式，通过下述方式中的一种或几种：对具备物理交互功能的第二设备进行操作，实现对第一设备的操作；在具备触摸屏的第二设备的屏幕上显示人机交互界面，对其进行操作，实现对第一设备的操作；对具备加速度计或陀螺仪等传感器的第二设备进行旋转移动操作，模拟3dof或6dof手柄功能，实现对第一设备的操作；在具备触摸屏的第二设备的触摸屏上进行滑动、点击操作，模拟鼠标或触控板的功能，实现对第一设备的操作。

3.根据权利要求1所述的虚拟及增强现实设备与其他无线设备进行交互的方法，其特征在于，所述的通过对第二设备操作，实现第一设备和第二设备之间的交互操作，通过下述方式中的一种或几种：第一设备与第二设备之间的文件传输和数据交换；第一设备和第二设备都具备屏幕的情况下，实现第一设备向第二设备投屏的操作，或者第二设备向第一设备投屏的操作；具备网络热点功能的设备可以作为热点，为另一个设备提供网络上传下载功能。

4.一种虚拟及增强现实设备的操作方法，其特征在于，具备无线传输功能以及摄像头透视(see through)功能的头戴式虚拟及增强现实设备作为第一设备，具备无线传输功能的其他设备作为第二设备，第一设备正在运行虚拟现实应用，此时第一设备的工作模式切换为虚拟现实模式，第一设备的摄像头功能开启，捕捉外部真实场景图像，但是透视功能关闭，摄像头捕捉的图像并不显示在第一设备的屏幕上，用户在屏幕上看到的是第一设备生成的3d虚拟空间，外部真实场景不可见，第一设备的交互界面被显示在该虚拟空间内，然后使用第二设备，以触摸屏控制和模拟手柄的方式运行，完成对第一设备的操作：第二设备必须具备陀螺仪传感器和触摸屏，在第二设备屏幕上显示辅助定位的图形，第一设备通过接收第二设备的陀螺仪数据，结合第一设备自身运动传感器的数据，摄像头捕捉到的第二设备的位置以及第二设备屏幕上的辅助定位图形，通过运算，在虚拟空间的相应位置渲染出第二设备的虚拟影像，在该虚拟设备影像的屏幕位置，绘制当前应用所需的虚拟用户界面；通过第一设备摄像头捕捉到的用户手指相对第二设备屏幕上辅助定位图形的所在位置，在虚拟空间中第二设备虚拟影像的相对位置上绘制虚拟的用户手指，用于操作该虚拟用户界面；根据陀螺仪数据生成一条由第二设备虚拟影像向外发射的一条射线，在虚拟空间中作为虚拟指示射线；用户通过在第一设备屏幕上看到第二设备虚拟影像，虚拟用户界面和虚拟用户手指，在第二设备触摸屏上移动、触摸或点击屏幕，完成对虚拟用户界面的操作；用户对第二设备进行旋转移动操作，控制虚拟指示射线与虚拟空间中的虚拟物件进行交互；第二设备将用户的操作行为通过无线网络，传输给第一设备，对当前运行的应用进行控制。

5.一种虚拟及增强现实设备的操作方法，其特征在于，具备无线传输功能以及摄像头透视(see through)功能的头戴式虚拟及增强现实设备作为第一设备，具备无线传输功能的其他设备作为第二设备，第一设备正在运行增强现实应用，此时第一设备的工作模式切换为增强现实模式，第一设备的摄像头的透视功能开启，用户在第一设备的屏幕上看到外部真实场景；第一设备在真实场景中可互动物体的表面或旁边，叠加显示简单的标识和提示信息；第二设备处于摄像头拍摄范围之内，处于视觉可见的状态，然后使用第二设备，以触摸屏控制和模拟手柄的方式运行，完成对第一设备的操作：第二设备必须具备陀螺仪传感器和触摸屏；当前应用所需的用户界面被直接显示在第二设备的屏幕上，根据陀螺仪数据生成一条由第二设备真实影像向外发射的一条射线，在真实场景中作为虚拟指示射线；用户在视觉可见的状态下，在第二设备触摸屏上移动、触摸或点击屏幕，完成对用户界面的操作；用户对第二设备进行旋转移动操作，控制虚拟指示射线与真实场景中的物件进行交互；第二设备将用户的操作行为通过无线网络，传输给第一设备，对当前运行的应用进行控制。

6.一种虚拟及增强现实设备的操作方法，其特征在于，具备无线传输功能以及摄像头透视(see through)功能的头戴式虚拟及增强现实设备作为第一设备，具备无线传输功能的其他设备作为第二设备，第一设备正在运行传统应用，此时第一设备的工作模式切换为工作站模式，第一设备的摄像头的透视功能开启，用户在第一设备屏幕上看到的是外部真实场景，并在该真实场景的正前方，投射出一个虚拟屏幕，该虚拟屏幕大小、远近、摆放位置和方向可调；该虚拟屏幕相当于一个外置的显示器，此时可以使用具备触摸屏的第二设备作为控制设备，将其模拟为触控板，起到鼠标的作用，此时第二设备处于触控板模式；在触摸屏上触摸滑动控制虚拟屏幕上的光标移动，点击屏幕相当于点击鼠标；当选中的控件为文字输入控件时，第二设备切换为虚拟键盘模式，进行文字输入操作；输入完成后切换回触控板模式。

7.根据权利要求6所述的虚拟及增强现实设备的操作方法，其特征在于，在第一设备的工作站模式下，直接使用无线鼠标和键盘作为第二设备，在视觉可见的状态下，直接操作，并将操作行为通过无线网络传输到第一设备，完成对第一设备的操作。

8.一种虚拟及增强现实设备的操作方法，其特征在于，具备无线传输功能以及摄像头透视(see through)功能的头戴式虚拟及增强现实设备作为第一设备，第一设备正在运行交互功能简单的传统应用，此时第一设备的工作模式切换为电视模式，第一设备的摄像头的透视功能开启，用户看到的是外部真实场景，并在该真实场景的正前方，投射出一个虚拟屏幕，该虚拟屏幕大小、远近、摆放位置和方向可调；该虚拟屏幕相当于一个外置的电视，在虚拟屏幕上显示当前应用的画面；此时使用具备触摸屏的第二设备作为控制设备，将对第一设备中该应用所需的控制界面，直接显示在第二设备的屏幕上，此时第二设备处于真实用户界面模式；用户直接使用手指触摸点击屏幕进行选择媒体、播放控制、音量调节操作，并将操作行为通过无线网络传输到第一设备，实现对第一设备中当前应用的操作。

9.一种虚拟及增强现实设备与其他无线设备进行交互的方法，其特征在于，具备无线传输功能以及摄像头透视(see through)功能的头戴式虚拟及增强现实设备作为第一设备，具备无线传输功能的其他设备作为第二设备，第一设备和第二设备接收到来自应用或者用户的通知消息及通讯请求时，第一设备进入通知模式，在第一设备屏幕目前正在运行的应用界面之上，叠加显示通知窗口，显示简短资讯，等待用户处理；第一设备根据运动传感器数据，判断用户的头部动作，当用户做出摇头动作，则关闭通知窗口，继续当前应用；当用户做出点头动作，则根据当前通知的来源进行不同的处理：如果是第一设备收到的通知，则在第一设备上运行相应的应用进行处理；如果是第二设备收到的通知，直接使用第二设备进行处理，或者通过第一设备代理第二设备进行处理，并将处理后的数据同步传输到第二设备，完成相应的处理。当通知处理完毕后，第一设备返回到当前应用中继续运行。