CN108646997A - 一种虚拟及增强现实设备与其他无线设备进行交互的方法 - Google Patents

一种虚拟及增强现实设备与其他无线设备进行交互的方法 Download PDF

Info

Publication number
CN108646997A
CN108646997A CN201810457309.1A CN201810457309A CN108646997A CN 108646997 A CN108646997 A CN 108646997A CN 201810457309 A CN201810457309 A CN 201810457309A CN 108646997 A CN108646997 A CN 108646997A
Authority
CN
China
Prior art keywords
equipment
virtual
screen
user
function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810457309.1A
Other languages
English (en)
Inventor
刘智勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201810457309.1A priority Critical patent/CN108646997A/zh
Publication of CN108646997A publication Critical patent/CN108646997A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开了一种虚拟及增强现实设备与其他无线设备进行交互的方法。具备无线传输功能以及摄像头透视功能的头戴式虚拟及增强现实设备作为第一设备,具备无线传输功能的其他设备作为第二设备,使用第一设备的透视功能,将视野内的一个或多个第二设备显示在第一设备的头戴式屏幕上,用户在视觉可见的状态下,对一个或多个第二设备进行操作,并利用第一设备和第二设备之间的无线数据交换,实现用户对第一设备的操作,以及第一设备和第二设备之间的交互操作的目的。本发明提出了5种操作模式,使用智能手机为首选的一个或多个第二设备,方便快捷的完成对第一设备上运行的虚拟现实应用、增强现实应用或传统应用的操作。

Description

一种虚拟及增强现实设备与其他无线设备进行交互的方法
技术领域
本发明涉及增强现实和虚拟现实技术领域,特别是涉及一种虚拟及增强现实设备与其他无线设备进行交互的方法。
背景技术
近年来,包括PC VR头盔、VR一体机以及增强现实眼镜等越来越多的VR/AR设备涌现,业界普遍把VR/AR设备看做台式电脑、笔记本电脑和智能手机之后的下一代计算平台,作为一个计算平台,没有方便快捷的输入输出设备的辅助,是万万不行的。而传统VR设备,人眼只能看到生成的3d虚拟空间,无法看到手中的输入设备,只能采用盲操作的方式操控输入设备。例如传统VR头盔中盛行的3dof或6dof手柄,作为输入设备的效率十分低下,尤其涉及文字输入时。而语音输入这类方法,缺乏隐私保护能力,不适合公共场合下的应用。
发明内容
针对上述现有技术中存在的技术问题,本发明提供了一种虚拟及增强现实设备与其他无线设备进行交互的方法。
为实现本发明的目的,本发明提供了一种虚拟及增强现实设备与其他无线设备进行交互的方法,具备无线传输功能以及摄像头透视功能的头戴式虚拟及增强现实设备作为第一设备,具备无线传输功能的其他设备作为第二设备,使用第一设备的透视功能,将视野内的一个或多个第二设备显示在第一设备的头戴式屏幕上,用户在视觉可见的状态下,对一个或多个第二设备进行操作,并利用第一设备和第二设备之间的无线数据交换,实现用户对第一设备的操作,以及第一设备和第二设备之间的交互操作的目的。
相应地,本发明提供了一种虚拟及增强现实设备的操作方法,具备无线传输功能以及摄像头透视(see through)功能的头戴式虚拟及增强现实设备作为第一设备,具备无线传输功能的其他设备作为第二设备,第一设备正在运行虚拟现实应用,此时第一设备的工作模式切换为虚拟现实模式,第一设备的摄像头功能开启,捕捉外部真实场景图像,但是透视功能关闭,摄像头捕捉的图像并不显示在第一设备的屏幕上,用户在屏幕上看到的是第一设备生成的3d虚拟空间,外部真实场景不可见,第一设备的交互界面被显示在该虚拟空间内,然后使用第二设备,以触摸屏控制和模拟手柄的方式运行,完成对第一设备的操作:第二设备必须具备陀螺仪传感器和触摸屏,在第二设备屏幕上显示辅助定位的图形,第一设备通过接收第二设备的陀螺仪数据,结合第一设备自身运动传感器的数据,摄像头捕捉到的第二设备的位置以及第二设备屏幕上的辅助定位图形,通过运算,在虚拟空间的相应位置渲染出第二设备的虚拟影像,在该虚拟设备影像的屏幕位置,绘制当前应用所需的虚拟用户界面;通过第一设备摄像头捕捉到的用户手指相对第二设备屏幕上辅助定位图形的所在位置,在虚拟空间中第二设备虚拟影像的相对位置上绘制虚拟的用户手指,用于操作该虚拟用户界面;根据陀螺仪数据生成一条由第二设备虚拟影像向外发射的一条射线,在虚拟空间中作为虚拟指示射线;用户通过在第一设备屏幕上看到第二设备虚拟影像,虚拟用户界面和虚拟用户手指,在第二设备触摸屏上移动、触摸或点击屏幕,完成对虚拟用户界面的操作;用户对第二设备进行旋转移动操作,控制虚拟指示射线与虚拟空间中的虚拟物件进行交互;第二设备将用户的操作行为通过无线网络,传输给第一设备,对当前运行的应用进行控制。
相应地,本发明还提供了一种虚拟及增强现实设备的操作方法,具备无线传输功能以及摄像头透视(see through)功能的头戴式虚拟及增强现实设备作为第一设备,具备无线传输功能的其他设备作为第二设备,第一设备正在运行增强现实应用,此时第一设备的工作模式切换为增强现实模式,第一设备的摄像头的透视功能开启,用户在第一设备的屏幕上看到外部真实场景;第一设备在真实场景中可互动物体的表面或旁边,叠加显示简单的标识和提示信息;第二设备处于摄像头拍摄范围之内,处于视觉可见的状态,然后使用第二设备,以触摸屏控制和模拟手柄的方式运行,完成对第一设备的操作:第二设备必须具备陀螺仪传感器和触摸屏;当前应用所需的用户界面被直接显示在第二设备的屏幕上,根据陀螺仪数据生成一条由第二设备真实影像向外发射的一条射线,在真实场景中作为虚拟指示射线;用户在视觉可见的状态下,在第二设备触摸屏上移动、触摸或点击屏幕,完成对用户界面的操作;用户对第二设备进行旋转移动操作,控制虚拟指示射线与真实场景中的物件进行交互;第二设备将用户的操作行为通过无线网络,传输给第一设备,对当前运行的应用进行控制。
另外,还提供了一种虚拟及增强现实设备的操作方法,具备无线传输功能以及摄像头透视功能的头戴式虚拟及增强现实设备作为第一设备,具备无线传输功能的其他设备作为第二设备,第一设备正在运行传统应用,此时第一设备的工作模式切换为工作站模式,第一设备的摄像头的透视功能开启,用户在第一设备屏幕上看到的是外部真实场景,并在该真实场景的正前方,投射出一个虚拟屏幕,该虚拟屏幕大小、远近、摆放位置和方向可调;该虚拟屏幕相当于一个外置的显示器,此时可以使用具备触摸屏的第二设备作为控制设备,将其模拟为触控板,起到鼠标的作用,此时第二设备处于触控板模式;在触摸屏上触摸滑动控制虚拟屏幕上的光标移动,点击屏幕相当于点击鼠标;当选中的控件为文字输入控件时,第二设备切换为虚拟键盘模式,进行文字输入操作;输入完成后切换回触控板模式。
另外,还一种虚拟及增强现实设备的操作方法,具备无线传输功能以及摄像头透视功能的头戴式虚拟及增强现实设备作为第一设备,第一设备正在运行交互功能简单的传统应用,此时第一设备的工作模式切换为电视模式,第一设备的摄像头的透视功能开启,用户看到的是外部真实场景,并在该真实场景的正前方,投射出一个虚拟屏幕,该虚拟屏幕大小、远近、摆放位置和方向可调;该虚拟屏幕相当于一个外置的电视,在虚拟屏幕上显示当前应用的画面;此时使用具备触摸屏的第二设备作为控制设备,将对第一设备中该应用所需的控制界面,直接显示在第二设备的屏幕上,此时第二设备处于真实用户界面模式;用户直接使用手指触摸点击屏幕进行选择媒体、播放控制、音量调节操作,并将操作行为通过无线网络传输到第一设备,实现对第一设备中当前应用的操作。
另外,还一种虚拟及增强现实设备与其他无线设备进行交互的方法,具备无线传输功能以及摄像头透视(see through)功能的头戴式虚拟及增强现实设备作为第一设备,具备无线传输功能的其他设备作为第二设备,第一设备和第二设备接收到来自应用或者用户的通知消息及通讯请求时,第一设备进入通知模式,在第一设备屏幕目前正在运行的应用界面之上,叠加显示通知窗口,显示简短资讯,等待用户处理;第一设备根据运动传感器数据,判断用户的头部动作,当用户做出摇头动作,则关闭通知窗口,继续当前应用;当用户做出点头动作,则根据当前通知的来源进行不同的处理:如果是第一设备收到的通知,则在第一设备上运行相应的应用进行处理;如果是第二设备收到的通知,直接使用第二设备进行处理,或者通过第一设备代理第二设备进行处理,并将处理后的数据同步传输到第二设备,完成相应的处理。当通知处理完毕后,第一设备返回到当前应用中继续运行。
与现有技术相比,本发明的有益效果为,利用具备摄像头透视(see through)功能的兼具增强现实功能和虚拟现实功能的头戴式AR/VR设备的透视(see through)功能,用户能够清楚的看到眼前的场景。本发明提出的交互方法,就利用了这类设备的透视功能,在视觉可见的状态下,使用其他无线设备对该VR/AR设备进行操作。由于头戴式VR/AR设备本身不占用双手,所以用户可以方便的使用双手操作其他无线设备。
附图说明
图1为本申请中使用第一设备摄像头透视功能操作第二设备的示意图;
图2为本申请中第一设备的虚拟现实操作模式示意图;
图3为本申请中第一设备的增强现实操作模式示意图;
图4为本申请中第一设备的工作站操作模式一示意图;
图5为本申请中第一设备的工作站操作模式二示意图;
图6为本申请中第一设备的工作站操作模式三示意图;
图7为本申请中第一设备的电视操作模式示意图;
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
未来几年,具备摄像头透视(see through)功能的兼具增强现实功能和虚拟现实功能的头戴式AR/VR设备将成为主流。通过此类设备的透视(see through)功能,用户能够清楚的看到眼前的场景。本发明提出的这种交互方法,就利用了这类设备的透视功能,在视觉可见的状态下,使用其他无线设备对该VR/AR设备进行操作。由于头戴式VR/AR设备本身不占用双手,所以用户可以方便的使用双手操作其他无线设备。
下文中,具备摄像头透视(see through)功能的兼具增强现实功能和虚拟现实功能的头戴式AR/VR设备,将被称为第一设备,而具备无线传输功能的其他设备,则被称为第二设备。
在已经存在的各种第二设备中,手机作为目前最流行的手持式移动计算设备,已经达到了几乎人手一台的普及率,且随身便携,可随时取出使用。在第一设备的透视摄像头的帮助下,用户可以清楚的看到手机屏幕上的显示内容,通过对触摸屏对屏幕上显示的人机交互界面进行操作,通过屏幕上的软键盘进行文字输入操作,或者仅仅使用触摸屏来模拟触摸板或鼠标,手机一般都具备陀螺仪(可选的加速度计)传感器,则可以通过对手机的旋转移动等操作,实现3dof或6dof手柄功能,这些操作行为通过无线传输的方式传回第一设备,实现对第一设备的操作。
对于其他类似的第二设备,例如平板电脑,笔记本电脑,台式机等,可以同样实现类似功能。即便是不具备计算能力的非智能设备,例如蓝牙键盘鼠标等,也可以在第一设备的透视摄像头的帮助下,以视觉可见的状态进行操作,并将操作行为传输到第一设备,实现对第一设备的操作。
在本具体实施例的附图中,选择手机作为主要的第二设备,来描绘本发明。
本发明提出的所有交互方法,主要通过运行在第二设备上APP来实现。
实施方法如下:
如图1所示,使用配备摄像头102的第一设备101的透视功能,将视野内的一个或多个第二设备103显示在第一设备的头戴式屏幕上,用户在视觉可见的状态下,对一个或多个第二设备进行操作,并利用第一设备和第二设备之间的无线数据交换,实现用户对第一设备的操作,以及第一设备和第二设备之间的交互操作的目的。
所述的第一设备包括但不限于:VR一体机、PCVR头盔、增强现实眼镜等,该设备必须具备摄像头透视功能;
所述的第二设备包括但不限于:手机、平板、笔记本电脑、台式机、键盘、鼠标等,该设备必须具备无线传输功能;
所述的无线传输功能包括但不限于:BlueTooth、WiFi、WiGig、3G/4G/5G等;
通过对第二设备操作,实现对第一设备操作的方式,包括但不限于:对具备物理交互功能的第二设备(例如具备按键的蓝牙键盘或者具备按钮的蓝牙鼠标)进行操作,实现对第一设备的操作;对具备触摸屏的第二设备的屏幕上显示人机交互界面,对其进行操作,实现对第一设备的操作;对具备加速度计或陀螺仪等传感器的第二设备进行旋转移动等操作,模拟3dof或6dof手柄功能,实现对第一设备的操作;在具备触摸屏的第二设备的触摸屏上进行滑动点击等操作,模拟鼠标或触控板的功能,实现对第一设备的操作。例如:在一些实施方式中,使用手机作为第二设备,模拟3dof手柄,控制对第一设备中运行的游戏进行操作;在一些实施方式中,使用手机作为第二设备,通过虚拟键盘,在第一设备中需要文字输入的控件中输入文字;在一些实施方式中,使用手机作为第二设备,直接在手机触摸屏上显示用户界面,使用手指进行界面的选择、点击等操作,将操作结果传输给对第一设备,作为操作指令控制第一设备的运行;在一些实施方式中,使用手机或平板作为第二设备,模拟触控板,控制第一设备中虚拟屏幕上的光标对界面进行选择和点击行为;在一些实施方式中,使用蓝牙键盘和鼠标作为第二设备,将操作行为传输到第一设备,控制交互界面的点击、选择以及文字输入等操作。
通过对第二设备操作,实现第一设备和第二设备之间的交互操作,包括但不限于:第一设备与第二设备之间的文件传输和数据交换;第一设备和第二设备都具备屏幕的情况下,实现第一设备向第二设备投屏的操作,或者第二设备向第一设备投屏的操作;具备网络热点功能的设备可以作为热点,为另一个设备提供网络上传下载功能。例如:在一些实施方式中,电脑手机平板等第二设备通过无线网络,以传输文件或者直接投屏的方式,将其存储的文字图像视频音频等多媒体信息,显示在第一设备的虚拟大屏幕上,进行更好的展示;在一些实施方式中,第一设备通过无线网络,以传输文件或者直接投屏的方式,将其存储的文字图像视频音频等多媒体信息,显示在电脑手机平板等第二设备的屏幕上,方便展示给其他人观看;在一些实施方式中,第一设备通过连接电脑手机平板等第二设备提供的网络热点,获得互联网上传下载能力,方便的访问互联网资源,以及将其存储的数据进行云备份和云恢复等操作。
本发明所提出的方法,针对的第一设备兼具虚拟现实和增强现实功能的特点,实现了第一设备的五种不同的工作模式,分别对应五种不同的操作方式,这五种工作模式根据第一设备当前运行的应用的性质,自动切换,也可以在第二设备运行的APP中手动快速切换。
五种工作模式如下:
1.虚拟现实模式:该模式在第一设备运行虚拟现实应用时启用。当第一设备处于该模式时,摄像头拍摄功能开启,捕捉外部真实场景图像,但是透视功能关闭,摄像头捕捉的图像并不显示在第一设备的屏幕上,用户在屏幕上看到的是第一设备生成的3d虚拟空间,如图2所示。外部真实场景不可见,第一设备的交互界面被显示在该虚拟空间内。然后使用第二设备,以触摸屏控制和模拟手柄的方式运行,完成对第一设备的操作:第二设备必须具备陀螺仪传感器和触摸屏,在第二设备屏幕上显示辅助定位的图形,第一设备通过接收第二设备的陀螺仪数据,结合第一设备自身运动传感器的数据,摄像头捕捉到的第二设备的位置以及第二设备屏幕上的辅助定位图形,通过运算,在虚拟空间的相应位置渲染出第二设备的虚拟影像201,在该虚拟设备影像的屏幕位置,绘制当前应用所需的虚拟用户界面202。通过第一设备摄像头捕捉到的用户手指相对第二设备屏幕上辅助定位图形的所在位置,在虚拟空间中第二设备虚拟影像的相对位置上绘制虚拟的用户手指203,用于操作该虚拟用户界面。根据陀螺仪数据生成一条由第二设备虚拟影像向外发射的一条射线,在虚拟空间中作为虚拟指示射线204。用户通过在第一设备屏幕上看到第二设备虚拟影像201,虚拟用户界面202和虚拟用户手指203,在第二设备触摸屏上移动、触摸或点击屏幕,完成对虚拟用户界面的操作。用户可以对第二设备进行旋转移动操作,控制虚拟指示射线204与虚拟空间中的虚拟物件205进行交互。第二设备将用户的操作行为通过无线网络,传输给第一设备,对当前运行的应用进行控制。
2.增强现实模式:该模式在第一设备运行增强现实应用时启用。当第一设备处于该模式时,摄像头的透视功能开启,用户在第一设备的屏幕上看到外部真实场景,如图3所示。第一设备在真实场景中可互动物体的表面或旁边,可以叠加显示简单的标识和提示信息。第二设备301处于摄像头拍摄范围之内,处于视觉可见的状态,然后使用第二设备,以触摸屏控制和模拟手柄的方式运行,完成对第一设备的操作:第二设备必须具备陀螺仪传感器和触摸屏。当前应用所需的用户界面被直接显示在第二设备的屏幕302上,根据陀螺仪数据生成一条由第二设备真实影像向外发射的一条射线303,在真实场景中作为虚拟指示射线。用户在视觉可见的状态下,在第二设备触摸屏上移动、触摸或点击屏幕,完成对用户界面的操作。用户可以对第二设备进行旋转移动操作,控制虚拟指示射线303与真实场景中的物件304进行交互。第二设备将用户的操作行为通过无线网络,传输给第一设备,对当前运行的应用进行控制。
3.工作站模式:该模式在第一设备运行传统应用时启用。当第一设备处于该模式时,摄像头的透视功能开启,用户在第一设备屏幕上看到的是外部真实场景,并在该真实场景的正前方,投射出一个虚拟屏幕,该虚拟屏幕大小,远近,摆放位置和方向可调。该虚拟屏幕相当于一个外置的显示器,此时可以使用具备触摸屏的第二设备作为控制设备,将其模拟为触控板,起到鼠标的作用,此时第二设备处于触控板模式。如图4所示,在触摸屏401上触摸滑动控制虚拟屏幕上当前应用界面402的光标移动,点击屏幕相当于点击鼠标。如图5所示,当选中的控件为文字输入控件时,第二设备切换为虚拟键盘模式,用户操作虚拟键盘501,在虚拟屏幕的文字输入区域502中进行文字输入操作。输入完成后切换回触控板模式。如图6所示,除了具备触摸屏的第二设备模拟键盘鼠标之外,也可以直接使用无线键盘601和无线鼠标602作为第二设备,在视觉可见的状态下,通过无线网络,对虚拟屏幕上的当前应用603直接操作。
4.电视模式:该模式在第一设备运行诸如媒体播放等简单应用时启用。当第一设备处于该模式时,摄像头的透视功能开启,用户看到的是外部真实场景,并在该真实场景的正前方,投射出一个虚拟屏幕,该虚拟屏幕大小,远近,摆放位置和方向可调。该虚拟屏幕相当于一个外置的电视,在虚拟屏幕上显示当前应用的画面702。此时可以使用具备触摸屏的第二设备作为控制设备,将对第一设备中该应用所需的控制界面701,直接显示在第二设备的屏幕上,此时第二设备处于真实用户界面模式。用户直接使用手指触摸点击屏幕进行诸如类似选择媒体,播放控制,音量调节等操作,并将操作行为通过无线网络传输到第一设备,实现对第一设备中当前应用的操作。
5.通知模式:该模式在第一设备和第二设备接收到来自应用或者用户的通知消息及通讯请求时启用。当第一设备处于该模式时,在第一设备屏幕目前正在运行的应用界面之上,叠加显示通知窗口,显示简短资讯,等待用户处理。第一设备根据运动传感器数据,判断用户的头部动作,当用户做出摇头动作,则关闭通知窗口,继续当前应用;当用户做出点头动作,则根据当前通知的来源进行不同的处理:如果是第一设备收到的通知,则在第一设备上运行相应的应用进行处理。如果是第二设备收到的通知,直接使用第二设备进行处理,或者通过第一设备代理第二设备进行处理,并将处理后的数据同步传输到第二设备,完成相应的处理。当通知处理完毕后,第一设备返回到当前应用中继续运行。
以上所述仅是本发明的优选实施方式,应当指出的是,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种虚拟及增强现实设备与其他无线设备进行交互的方法,其特征在于,具备无线传输功能以及摄像头透视(see through)功能的头戴式虚拟及增强现实设备作为第一设备,具备无线传输功能的其他设备作为第二设备,使用第一设备的透视功能,将视野内的一个或多个第二设备显示在第一设备的头戴式屏幕上,用户在视觉可见的状态下,对一个或多个第二设备进行操作,并利用第一设备和第二设备之间的无线数据交换,实现用户对第一设备的操作,以及第一设备和第二设备之间的交互操作的目的。
2.根据权利要求1所述的虚拟及增强现实设备与其他无线设备进行交互的方法,其特征在于,所述的通过对第二设备操作,实现对第一设备操作的方式,通过下述方式中的一种或几种:对具备物理交互功能的第二设备进行操作,实现对第一设备的操作;在具备触摸屏的第二设备的屏幕上显示人机交互界面,对其进行操作,实现对第一设备的操作;对具备加速度计或陀螺仪等传感器的第二设备进行旋转移动操作,模拟3dof或6dof手柄功能,实现对第一设备的操作;在具备触摸屏的第二设备的触摸屏上进行滑动、点击操作,模拟鼠标或触控板的功能,实现对第一设备的操作。
3.根据权利要求1所述的虚拟及增强现实设备与其他无线设备进行交互的方法,其特征在于,所述的通过对第二设备操作,实现第一设备和第二设备之间的交互操作,通过下述方式中的一种或几种:第一设备与第二设备之间的文件传输和数据交换;第一设备和第二设备都具备屏幕的情况下,实现第一设备向第二设备投屏的操作,或者第二设备向第一设备投屏的操作;具备网络热点功能的设备可以作为热点,为另一个设备提供网络上传下载功能。
4.一种虚拟及增强现实设备的操作方法,其特征在于,具备无线传输功能以及摄像头透视(see through)功能的头戴式虚拟及增强现实设备作为第一设备,具备无线传输功能的其他设备作为第二设备,第一设备正在运行虚拟现实应用,此时第一设备的工作模式切换为虚拟现实模式,第一设备的摄像头功能开启,捕捉外部真实场景图像,但是透视功能关闭,摄像头捕捉的图像并不显示在第一设备的屏幕上,用户在屏幕上看到的是第一设备生成的3d虚拟空间,外部真实场景不可见,第一设备的交互界面被显示在该虚拟空间内,然后使用第二设备,以触摸屏控制和模拟手柄的方式运行,完成对第一设备的操作:第二设备必须具备陀螺仪传感器和触摸屏,在第二设备屏幕上显示辅助定位的图形,第一设备通过接收第二设备的陀螺仪数据,结合第一设备自身运动传感器的数据,摄像头捕捉到的第二设备的位置以及第二设备屏幕上的辅助定位图形,通过运算,在虚拟空间的相应位置渲染出第二设备的虚拟影像,在该虚拟设备影像的屏幕位置,绘制当前应用所需的虚拟用户界面;通过第一设备摄像头捕捉到的用户手指相对第二设备屏幕上辅助定位图形的所在位置,在虚拟空间中第二设备虚拟影像的相对位置上绘制虚拟的用户手指,用于操作该虚拟用户界面;根据陀螺仪数据生成一条由第二设备虚拟影像向外发射的一条射线,在虚拟空间中作为虚拟指示射线;用户通过在第一设备屏幕上看到第二设备虚拟影像,虚拟用户界面和虚拟用户手指,在第二设备触摸屏上移动、触摸或点击屏幕,完成对虚拟用户界面的操作;用户对第二设备进行旋转移动操作,控制虚拟指示射线与虚拟空间中的虚拟物件进行交互;第二设备将用户的操作行为通过无线网络,传输给第一设备,对当前运行的应用进行控制。
5.一种虚拟及增强现实设备的操作方法,其特征在于,具备无线传输功能以及摄像头透视(see through)功能的头戴式虚拟及增强现实设备作为第一设备,具备无线传输功能的其他设备作为第二设备,第一设备正在运行增强现实应用,此时第一设备的工作模式切换为增强现实模式,第一设备的摄像头的透视功能开启,用户在第一设备的屏幕上看到外部真实场景;第一设备在真实场景中可互动物体的表面或旁边,叠加显示简单的标识和提示信息;第二设备处于摄像头拍摄范围之内,处于视觉可见的状态,然后使用第二设备,以触摸屏控制和模拟手柄的方式运行,完成对第一设备的操作:第二设备必须具备陀螺仪传感器和触摸屏;当前应用所需的用户界面被直接显示在第二设备的屏幕上,根据陀螺仪数据生成一条由第二设备真实影像向外发射的一条射线,在真实场景中作为虚拟指示射线;用户在视觉可见的状态下,在第二设备触摸屏上移动、触摸或点击屏幕,完成对用户界面的操作;用户对第二设备进行旋转移动操作,控制虚拟指示射线与真实场景中的物件进行交互;第二设备将用户的操作行为通过无线网络,传输给第一设备,对当前运行的应用进行控制。
6.一种虚拟及增强现实设备的操作方法,其特征在于,具备无线传输功能以及摄像头透视(see through)功能的头戴式虚拟及增强现实设备作为第一设备,具备无线传输功能的其他设备作为第二设备,第一设备正在运行传统应用,此时第一设备的工作模式切换为工作站模式,第一设备的摄像头的透视功能开启,用户在第一设备屏幕上看到的是外部真实场景,并在该真实场景的正前方,投射出一个虚拟屏幕,该虚拟屏幕大小、远近、摆放位置和方向可调;该虚拟屏幕相当于一个外置的显示器,此时可以使用具备触摸屏的第二设备作为控制设备,将其模拟为触控板,起到鼠标的作用,此时第二设备处于触控板模式;在触摸屏上触摸滑动控制虚拟屏幕上的光标移动,点击屏幕相当于点击鼠标;当选中的控件为文字输入控件时,第二设备切换为虚拟键盘模式,进行文字输入操作;输入完成后切换回触控板模式。
7.根据权利要求6所述的虚拟及增强现实设备的操作方法,其特征在于,在第一设备的工作站模式下,直接使用无线鼠标和键盘作为第二设备,在视觉可见的状态下,直接操作,并将操作行为通过无线网络传输到第一设备,完成对第一设备的操作。
8.一种虚拟及增强现实设备的操作方法,其特征在于,具备无线传输功能以及摄像头透视(see through)功能的头戴式虚拟及增强现实设备作为第一设备,第一设备正在运行交互功能简单的传统应用,此时第一设备的工作模式切换为电视模式,第一设备的摄像头的透视功能开启,用户看到的是外部真实场景,并在该真实场景的正前方,投射出一个虚拟屏幕,该虚拟屏幕大小、远近、摆放位置和方向可调;该虚拟屏幕相当于一个外置的电视,在虚拟屏幕上显示当前应用的画面;此时使用具备触摸屏的第二设备作为控制设备,将对第一设备中该应用所需的控制界面,直接显示在第二设备的屏幕上,此时第二设备处于真实用户界面模式;用户直接使用手指触摸点击屏幕进行选择媒体、播放控制、音量调节操作,并将操作行为通过无线网络传输到第一设备,实现对第一设备中当前应用的操作。
9.一种虚拟及增强现实设备与其他无线设备进行交互的方法,其特征在于,具备无线传输功能以及摄像头透视(see through)功能的头戴式虚拟及增强现实设备作为第一设备,具备无线传输功能的其他设备作为第二设备,第一设备和第二设备接收到来自应用或者用户的通知消息及通讯请求时,第一设备进入通知模式,在第一设备屏幕目前正在运行的应用界面之上,叠加显示通知窗口,显示简短资讯,等待用户处理;第一设备根据运动传感器数据,判断用户的头部动作,当用户做出摇头动作,则关闭通知窗口,继续当前应用;当用户做出点头动作,则根据当前通知的来源进行不同的处理:如果是第一设备收到的通知,则在第一设备上运行相应的应用进行处理;如果是第二设备收到的通知,直接使用第二设备进行处理,或者通过第一设备代理第二设备进行处理,并将处理后的数据同步传输到第二设备,完成相应的处理。当通知处理完毕后,第一设备返回到当前应用中继续运行。
CN201810457309.1A 2018-05-14 2018-05-14 一种虚拟及增强现实设备与其他无线设备进行交互的方法 Pending CN108646997A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810457309.1A CN108646997A (zh) 2018-05-14 2018-05-14 一种虚拟及增强现实设备与其他无线设备进行交互的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810457309.1A CN108646997A (zh) 2018-05-14 2018-05-14 一种虚拟及增强现实设备与其他无线设备进行交互的方法

Publications (1)

Publication Number Publication Date
CN108646997A true CN108646997A (zh) 2018-10-12

Family

ID=63755211

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810457309.1A Pending CN108646997A (zh) 2018-05-14 2018-05-14 一种虚拟及增强现实设备与其他无线设备进行交互的方法

Country Status (1)

Country Link
CN (1) CN108646997A (zh)

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109738860A (zh) * 2018-11-23 2019-05-10 青岛小鸟看看科技有限公司 外接设备的定位方法及装置、虚拟现实头戴设备及系统
CN109960449A (zh) * 2019-03-22 2019-07-02 深圳前海达闼云端智能科技有限公司 一种投屏显示方法及相关装置
CN110362231A (zh) * 2019-07-12 2019-10-22 腾讯科技(深圳)有限公司 抬头触控设备、图像显示的方法及装置
CN110457227A (zh) * 2019-08-20 2019-11-15 冯世如 辅助开发人员或学生进行vr应用开发的系统及开发方法
CN110515461A (zh) * 2019-08-23 2019-11-29 Oppo广东移动通信有限公司 交互方法、头戴设备、交互系统和存储介质
CN110618753A (zh) * 2019-08-02 2019-12-27 常州锦瑟医疗信息科技有限公司 用于混合现实场景的指示设备、指示方法和混合现实系统
CN110717993A (zh) * 2019-10-12 2020-01-21 西安维度视界科技有限公司 一种分体式ar眼镜系统的交互方法、系统及介质
CN110944140A (zh) * 2019-11-30 2020-03-31 北京城市网邻信息技术有限公司 远程展示方法、远程展示系统、电子装置、存储介质
CN110955329A (zh) * 2019-11-21 2020-04-03 Oppo广东移动通信有限公司 传输方法以及电子设备和计算机存储介质
CN111190488A (zh) * 2019-12-30 2020-05-22 华为技术有限公司 设备控制方法、通信装置及存储介质
CN111258520A (zh) * 2018-12-03 2020-06-09 广东虚拟现实科技有限公司 显示方法、装置、终端设备及存储介质
WO2020114395A1 (zh) * 2018-12-03 2020-06-11 广东虚拟现实科技有限公司 虚拟画面的控制方法、终端设备及存储介质
CN111479148A (zh) * 2020-04-17 2020-07-31 Oppo广东移动通信有限公司 可穿戴设备、眼镜终端、处理终端、数据交互方法与介质
CN111756604A (zh) * 2019-03-29 2020-10-09 华为技术有限公司 一种设备配合方法、装置及系统
CN112019877A (zh) * 2020-10-19 2020-12-01 深圳乐播科技有限公司 基于vr设备的投屏方法、装置、设备及存储介质
CN112306443A (zh) * 2020-11-23 2021-02-02 Oppo广东移动通信有限公司 一种信息展示方法和存储介质
CN112445341A (zh) * 2020-11-23 2021-03-05 青岛小鸟看看科技有限公司 虚拟现实设备的键盘透视方法、装置及虚拟现实设备
CN112462937A (zh) * 2020-11-23 2021-03-09 青岛小鸟看看科技有限公司 虚拟现实设备的局部透视方法、装置及虚拟现实设备
CN112527222A (zh) * 2019-09-19 2021-03-19 华为技术有限公司 一种信息处理方法及电子设备
CN112527174A (zh) * 2019-09-19 2021-03-19 华为技术有限公司 一种信息处理方法及电子设备
WO2021052488A1 (zh) * 2019-09-19 2021-03-25 华为技术有限公司 一种信息处理方法及电子设备
CN112558825A (zh) * 2019-09-26 2021-03-26 华为技术有限公司 一种信息处理方法及电子设备
CN113050823A (zh) * 2019-12-26 2021-06-29 精工爱普生株式会社 数据处理装置、显示系统和数据处理方法
CN113144592A (zh) * 2021-03-03 2021-07-23 南京爱奇艺智能科技有限公司 Vr设备与移动设备的交互方法
WO2021147801A1 (zh) * 2020-01-23 2021-07-29 肖晓松 眼镜包式计算机装置
WO2021164711A1 (zh) * 2020-02-19 2021-08-26 Oppo广东移动通信有限公司 移动设备、用于视觉增强系统的交互方法以及存储介质
CN113589926A (zh) * 2021-07-13 2021-11-02 杭州灵伴科技有限公司 虚拟界面操作方法、头戴式显示设备和计算机可读介质
CN113961107A (zh) * 2021-09-30 2022-01-21 西安交通大学 面向屏幕的增强现实交互方法、装置及存储介质
CN115176224A (zh) * 2020-04-14 2022-10-11 Oppo广东移动通信有限公司 文本输入方法、移动设备、头戴式显示设备以及存储介质
CN115248655A (zh) * 2021-04-28 2022-10-28 闪耀现实(无锡)科技有限公司 用于显示信息的方法和装置
CN115868149A (zh) * 2020-06-30 2023-03-28 斯纳普公司 用于生成内容的摄像装置用户界面

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3009915A1 (en) * 2014-10-15 2016-04-20 Samsung Electronics Co., Ltd. Method and apparatus for processing screen using device
CN105652442A (zh) * 2015-12-31 2016-06-08 北京小鸟看看科技有限公司 头戴显示设备及该头戴显示设备与智能终端的交互方法
CN106648038A (zh) * 2015-10-30 2017-05-10 北京锤子数码科技有限公司 在虚拟现实中显示交互对象的方法和装置
CN206363264U (zh) * 2017-01-07 2017-07-28 北京国承万通信息科技有限公司 一种虚拟现实系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3009915A1 (en) * 2014-10-15 2016-04-20 Samsung Electronics Co., Ltd. Method and apparatus for processing screen using device
CN105528066A (zh) * 2014-10-15 2016-04-27 三星电子株式会社 用于使用设备来处理画面的方法和装置
CN106648038A (zh) * 2015-10-30 2017-05-10 北京锤子数码科技有限公司 在虚拟现实中显示交互对象的方法和装置
CN105652442A (zh) * 2015-12-31 2016-06-08 北京小鸟看看科技有限公司 头戴显示设备及该头戴显示设备与智能终端的交互方法
CN206363264U (zh) * 2017-01-07 2017-07-28 北京国承万通信息科技有限公司 一种虚拟现实系统

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109738860A (zh) * 2018-11-23 2019-05-10 青岛小鸟看看科技有限公司 外接设备的定位方法及装置、虚拟现实头戴设备及系统
CN109738860B (zh) * 2018-11-23 2020-09-08 青岛小鸟看看科技有限公司 外接设备的定位方法及装置、虚拟现实头戴设备及系统
CN111258520A (zh) * 2018-12-03 2020-06-09 广东虚拟现实科技有限公司 显示方法、装置、终端设备及存储介质
US11100723B2 (en) 2018-12-03 2021-08-24 Guangdong Virtual Reality Technology Co., Ltd. System, method, and terminal device for controlling virtual image by selecting user interface element
WO2020114395A1 (zh) * 2018-12-03 2020-06-11 广东虚拟现实科技有限公司 虚拟画面的控制方法、终端设备及存储介质
CN109960449A (zh) * 2019-03-22 2019-07-02 深圳前海达闼云端智能科技有限公司 一种投屏显示方法及相关装置
CN111756604B (zh) * 2019-03-29 2022-04-12 华为技术有限公司 一种设备配合方法、装置及系统
CN111756604A (zh) * 2019-03-29 2020-10-09 华为技术有限公司 一种设备配合方法、装置及系统
CN110362231B (zh) * 2019-07-12 2022-05-20 腾讯科技(深圳)有限公司 抬头触控设备、图像显示的方法及装置
CN110362231A (zh) * 2019-07-12 2019-10-22 腾讯科技(深圳)有限公司 抬头触控设备、图像显示的方法及装置
CN110618753A (zh) * 2019-08-02 2019-12-27 常州锦瑟医疗信息科技有限公司 用于混合现实场景的指示设备、指示方法和混合现实系统
CN110457227A (zh) * 2019-08-20 2019-11-15 冯世如 辅助开发人员或学生进行vr应用开发的系统及开发方法
CN110457227B (zh) * 2019-08-20 2023-04-07 深圳天富创科技有限公司 辅助开发人员或学生进行vr应用开发的系统及开发方法
CN110515461A (zh) * 2019-08-23 2019-11-29 Oppo广东移动通信有限公司 交互方法、头戴设备、交互系统和存储介质
CN112527222A (zh) * 2019-09-19 2021-03-19 华为技术有限公司 一种信息处理方法及电子设备
WO2021052488A1 (zh) * 2019-09-19 2021-03-25 华为技术有限公司 一种信息处理方法及电子设备
CN112527174A (zh) * 2019-09-19 2021-03-19 华为技术有限公司 一种信息处理方法及电子设备
WO2021057830A1 (zh) * 2019-09-26 2021-04-01 华为技术有限公司 一种信息处理方法及电子设备
CN112558825A (zh) * 2019-09-26 2021-03-26 华为技术有限公司 一种信息处理方法及电子设备
CN110717993A (zh) * 2019-10-12 2020-01-21 西安维度视界科技有限公司 一种分体式ar眼镜系统的交互方法、系统及介质
CN110955329B (zh) * 2019-11-21 2022-08-02 Oppo广东移动通信有限公司 传输方法以及电子设备和计算机存储介质
CN110955329A (zh) * 2019-11-21 2020-04-03 Oppo广东移动通信有限公司 传输方法以及电子设备和计算机存储介质
CN110944140A (zh) * 2019-11-30 2020-03-31 北京城市网邻信息技术有限公司 远程展示方法、远程展示系统、电子装置、存储介质
CN113050823A (zh) * 2019-12-26 2021-06-29 精工爱普生株式会社 数据处理装置、显示系统和数据处理方法
CN111190488A (zh) * 2019-12-30 2020-05-22 华为技术有限公司 设备控制方法、通信装置及存储介质
WO2021147801A1 (zh) * 2020-01-23 2021-07-29 肖晓松 眼镜包式计算机装置
CN115004133A (zh) * 2020-02-19 2022-09-02 Oppo广东移动通信有限公司 移动设备、用于视觉增强系统的交互方法以及存储介质
WO2021164711A1 (zh) * 2020-02-19 2021-08-26 Oppo广东移动通信有限公司 移动设备、用于视觉增强系统的交互方法以及存储介质
CN115176224A (zh) * 2020-04-14 2022-10-11 Oppo广东移动通信有限公司 文本输入方法、移动设备、头戴式显示设备以及存储介质
CN111479148A (zh) * 2020-04-17 2020-07-31 Oppo广东移动通信有限公司 可穿戴设备、眼镜终端、处理终端、数据交互方法与介质
CN111479148B (zh) * 2020-04-17 2022-02-08 Oppo广东移动通信有限公司 可穿戴设备、眼镜终端、处理终端、数据交互方法与介质
CN115868149A (zh) * 2020-06-30 2023-03-28 斯纳普公司 用于生成内容的摄像装置用户界面
CN112019877A (zh) * 2020-10-19 2020-12-01 深圳乐播科技有限公司 基于vr设备的投屏方法、装置、设备及存储介质
CN112462937A (zh) * 2020-11-23 2021-03-09 青岛小鸟看看科技有限公司 虚拟现实设备的局部透视方法、装置及虚拟现实设备
CN112445341A (zh) * 2020-11-23 2021-03-05 青岛小鸟看看科技有限公司 虚拟现实设备的键盘透视方法、装置及虚拟现实设备
CN112306443A (zh) * 2020-11-23 2021-02-02 Oppo广东移动通信有限公司 一种信息展示方法和存储介质
CN112445341B (zh) * 2020-11-23 2022-11-08 青岛小鸟看看科技有限公司 虚拟现实设备的键盘透视方法、装置及虚拟现实设备
US11861071B2 (en) 2020-11-23 2024-01-02 Qingdao Pico Technology Co., Ltd. Local perspective method and device of virtual reality equipment and virtual reality equipment
US12073026B2 (en) 2020-11-23 2024-08-27 Qingdao Pico Technology Co., Ltd. Keyboard perspective method and apparatus for virtual reality device, and virtual reality device
CN113144592A (zh) * 2021-03-03 2021-07-23 南京爱奇艺智能科技有限公司 Vr设备与移动设备的交互方法
CN115248655A (zh) * 2021-04-28 2022-10-28 闪耀现实(无锡)科技有限公司 用于显示信息的方法和装置
CN113589926A (zh) * 2021-07-13 2021-11-02 杭州灵伴科技有限公司 虚拟界面操作方法、头戴式显示设备和计算机可读介质
WO2023284791A1 (zh) * 2021-07-13 2023-01-19 杭州灵伴科技有限公司 虚拟界面操作方法、头戴式显示设备和计算机可读介质
CN113961107A (zh) * 2021-09-30 2022-01-21 西安交通大学 面向屏幕的增强现实交互方法、装置及存储介质
CN113961107B (zh) * 2021-09-30 2024-04-16 西安交通大学 面向屏幕的增强现实交互方法、装置及存储介质

Similar Documents

Publication Publication Date Title
CN108646997A (zh) 一种虚拟及增强现实设备与其他无线设备进行交互的方法
CN103793060B (zh) 一种用户交互系统和方法
Boring et al. Scroll, tilt or move it: using mobile phones to continuously control pointers on large public displays
CN108984087B (zh) 基于三维虚拟形象的社交互动方法及装置
WO2015188614A1 (zh) 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜
WO2019057150A1 (zh) 信息交互方法、装置、存储介质和电子装置
CN108176047A (zh) 一种游戏控制方法、终端及计算机可读存储介质
KR102021851B1 (ko) 가상현실 환경에서의 사용자와 객체 간 상호 작용 처리 방법
WO2018196552A1 (zh) 用于虚拟现实场景中的手型显示方法及装置
JP2017536715A (ja) 立体空間の物理的な対話の発現
CN109218648A (zh) 一种显示控制方法及终端设备
Budhiraja et al. Using a HHD with a HMD for mobile AR interaction
US11630633B1 (en) Collaborative system between a streamer and a remote collaborator
CN108616712A (zh) 一种基于摄像头的界面操作方法、装置、设备及存储介质
Katzakis et al. INSPECT: extending plane-casting for 6-DOF control
Issartel et al. A tangible volume for portable 3D interaction
Lu et al. Classification, application, challenge, and future of midair gestures in augmented reality
Dong et al. Touch-move-release: studies of surface and motion gestures for mobile augmented reality
CN111901518B (zh) 显示方法、装置和电子设备
Zhang et al. Is this my phone? operating a physical smartphone in virtual reality
Grinyer et al. Low-Fi VR Controller: Improved Mobile Virtual Reality Interaction via Camera-Based Tracking
CN110231910A (zh) 一种控制方法及终端设备
CN110489030A (zh) 一种信息显示方法及终端设备
EP4345583A1 (en) Gesture interaction method and system based on artificial reality
CN113680047B (zh) 终端操作方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181012