CN107430442B - 用于进入和退出沉浸式媒体中的应用和活动的多维图形方法 - Google Patents

用于进入和退出沉浸式媒体中的应用和活动的多维图形方法 Download PDF

Info

Publication number
CN107430442B
CN107430442B CN201680019658.4A CN201680019658A CN107430442B CN 107430442 B CN107430442 B CN 107430442B CN 201680019658 A CN201680019658 A CN 201680019658A CN 107430442 B CN107430442 B CN 107430442B
Authority
CN
China
Prior art keywords
content
user
computing device
space
headset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680019658.4A
Other languages
English (en)
Other versions
CN107430442A (zh
Inventor
亚历杭德罗·乔斯·考夫曼
乔恩·迈克尔·威利
曼纽尔·克里斯蒂安·克莱蒙特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN107430442A publication Critical patent/CN107430442A/zh
Application granted granted Critical
Publication of CN107430442B publication Critical patent/CN107430442B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

在一个一般方面,一种方法,包括:由计算装置执行虚拟现实(VR)应用;由所述计算装置提供用于在VR空间中的VR头戴式设备的屏幕上显示的内容,所述内容包括至少一个与动作相关联的对象;检测沉浸在所述VR空间内的用户朝着所述VR空间中包括的所述至少一个对象的第一移动;以及基于检测到所述第一移动在所述VR空间内执行相关联的动作。

Description

用于进入和退出沉浸式媒体中的应用和活动的多维图形方法
相关申请的交叉引用
本申请要求2015年5月26日提交的,标题为“用于进入和退出沉浸式媒体中的应用和活动的多维图形方法”(“MULTIDIMENSIONAL GRAPHICAL METHOD FOR ENTERING ANDEXITING APPLICATIONS AND ACTIVITIES IN IMMERSIVE MEDIA”)的美国非临时专利申请No.14/721477的优先权,并为其连续案,其公开内容在此通过引用的方式整体并入本文。
技术领域
本发明主要涉及虚拟现实(VR)空间中的用户界面。
背景技术
一般来说,虚拟现实能够围绕并将一个人浸入计算机生成的三维(3D)环境中。这个人能够通过与特定电子装置的交互和/或物理穿戴该特定电子装置来进入该环境。示例电子设备能够包括但不限于包括屏幕的头盔、用户在观看屏幕(例如,显示装置或监视器)时透过其观看的眼镜或护目镜、配有传感器的手套和包括传感器的外部手持装置。一旦人进入VR空间,这个人能够以对于这个人来说似乎是真实的方式(例如,物理方式)来与3D环境进行交互。交互能够为沉浸、用户参与和个性化提供机会。
发明内容
在一个一般方面,一种方法能够包括:由计算装置执行虚拟现实(VR)应用;由计算装置提供用于在VR空间中在VR头戴式设备的屏幕上显示的内容,内容包括与动作相关联的至少一个对象;检测化身相应于沉浸在VR空间内的用户朝着VR空间中包括的至少一个对象的第一移动;以及基于检测到第一移动在VR空间内执行相关联的动作。
示例实现可以包括以下特征中的一个或多个。例如,检测到的第一移动能够导致与相应于浸入在VR空间中的用户的化身与VR空间中的至少一个对象共享一定量的VR空间。移动的检测以及在VR空间中对象和浸没用户之间的VR空间量的结果共享具有下列技术效果,即所述移动能够导致浸没在VR空间中的用户与VR空间中的对象交互,例如在VR空间中选择对象形式的交互。动作可以是应用的执行。应用的执行能够改变在VR空间的VR头戴式设备屏幕上显示的内容。该方法能够进一步包括检测沉浸在VR空间中的用户离开该至少一个对象的第二移动,该检测在检测到沉浸在VR空间中的用户朝着VR空间内的该至少一个对象的第一移动之后发生。该方法能够进一步包括基于检测到第二移动来停止在VR空间中执行相关联的动作。检测到的第一移动能够导致沉浸在VR空间中的用户与VR空间中的至少一个对象共享一定量的VR空间。检测到的第二移动能够导致沉浸在VR空间中的用户不与VR空间中的至少一个对象共享一定量的VR空间。检测到的第一移动能够导致沉浸在VR空间中的用户与VR空间中的至少一个对象共享第一量的VR空间。该方法能够进一步包括检测沉浸在VR空间中的用户进一步朝着VR空间内所包括的至少一个对象的第二移动,第二移动导致沉浸在VR空间中的用户与VR空间内的至少一个对象共享第二量的VR空间,第二量的VR空间大于第一量的VR空间。该方法能够进一步包括基于检测第二移动来继续执行VR空间中的相关联的动作。该方法能够进一步包括通过将用户沉浸在VR空间中来将VR空间中的第一移动渲染为倾斜到至少一个对象中。该方法能够进一步包括通过将用户沉浸在VR空间中来将VR空间中的第二移动渲染为进一步倾斜到至少一个对象中。在VR空间中继续执行相关联的动作能够包括将沉浸在一个VR空间中的用户传送到不同的VR空间。第一运动和之后的第二运动的检测具有不同程度的技术效果,可以确定沉浸在VR空间中的用户与VR空间中的对象的交互的不同程度,例如强度,这可使得根据交互程度分别执行不同的动作。该方法能够进一步包括通过将用户沉浸在不同的VR空间接收用户与不同VR空间中所包括的对象的交互的指示。该方法能够进一步包括基于所接收到的交互指示,将沉浸在不同VR空间中的用户传送回VR空间。该至少一个对象能够为看起来悬浮在VR空间中的图标。该图标能够为透明的。该至少一个对象能够被包括在VR空间中所包括的多个对象中。
在另一个一般方面,一种具有存储在其上的指令的非瞬态机器可读介质,当被处理器执行时,这些指令能够使计算装置:执行虚拟现实(VR)应用;提供用于在VR空间中在VR头戴式设备的屏幕上显示的内容,内容包括与动作相关联的至少一个对象;检测沉浸在VR空间中的用户朝着被包括在VR空间中的至少一个对象的第一移动;以及基于检测到第一运动在VR空间中执行相关联的动作。
示例实现可以包括以下特征中的一个或多个。例如,检测到的第一移动能够导致沉浸在VR空间中的用户与VR空间中的至少一个对象共享一定量的VR空间。计算装置能够被包括在VR头戴式设备中。该动作可以是应用的执行,其改变在VR空间中的VR头戴式设备的屏幕上显示的内容。在由处理器执行时,这些指令能够进一步使计算装置检测沉浸在VR空间内的用户离开至少一个对象的第二移动,该检测在检测到沉浸在VR空间内的用户朝着至少一个对象的第一移动之后发生。当被处理器执行时,这些指令能够进一步使得计算装置基于检测到第二移动而停止在VR空间中执行相关联的动作。检测到的第一移动能够使得沉浸在VR空间内的用户与VR空间中的至少一个对象共享一定量的VR空间。检测到的第二移动能够使得沉浸在VR空间内的用户不与VR空间中的至少一个对象共享一定量的VR空间。检测到的第一移动能够使得沉浸在VR空间内的用户与VR空间中的至少一个对象共享第一量的VR空间。当被处理器执行时,这些指令能够进一步使得计算装置检测沉浸在VR空间中的用户进一步朝着VR空间内所包括的至少一个对象的第二移动,第二移动导致沉浸在VR空间中的用户与VR空间内的至少一个对象共享第二量的VR空间,第二量的VR空间大于第一量的VR空间。当被处理器执行时,这些指令能够进一步使得计算装置基于检测到第二移动来继续执行VR空间中的相关联的动作。当被处理器执行时,这些指令能够进一步使得计算装置通过将用户沉浸在VR空间中来将VR空间中的第一移动渲染为倾斜到至少一个对象中。当被处理器执行时,这些指令能够进一步使得计算装置通过将用户沉浸在VR空间中来将VR空间中的第二移动渲染为进一步倾斜到至少一个对象中。在VR空间中继续执行相关联的动作能够包括将沉浸在一个VR空间中的用户传送到不同的VR空间。当被处理器执行时,这些指令能够进一步使得计算装置通过将用户沉浸在不同的VR空间接收用户与不同VR空间中所包括的对象的交互的指示。当被处理器执行时,这些指令能够进一步使得计算装置基于所接收到的交互指示,将沉浸在不同VR空间中的用户传送回VR空间。该至少一个对象可以是悬浮在VR空间中的图标。
在又一一般方面,一种系统,能够包括第一计算装置、有效地耦合到第一计算装置的虚拟现实(VR)头戴式设备,VR头戴式设备包括第二计算装置和屏幕。VR头戴式设备能够被配置为通过第二计算装置检测沉浸在VR空间内的用户朝着与动作相关联并且被包括在VR空间内的对象的第一移动,并且将用户朝着对象的第一移动的指示提供给第一计算装置。第一计算装置能够被配置为:执行虚拟现实(VR)应用;提供用于在VR空间中在VR头戴式设备的屏幕上显示的内容,该内容包括对象;接收沉浸在VR空间内的用户朝着对象的第一移动的指示;以及基于接收到第一移动的指示,在VR空间中执行相关联的动作。
示例实现可以包括以下特征中的一个或多个。例如,所检测到的第一移动能够使得沉浸在VR空间内的用户与VR空间中的对象共享一定量的VR空间。第一计算装置和第二计算装置能够是包括在VR头戴式设备中的相同计算装置。
本文提供的技术通常使得能够采用与VR空间的桌面用户界面的界面隐喻,例如选择和激活,以促进沉浸在VR空间中的用户与VR空间中的虚拟对象的交互。附图和下面的说明中描述了一个或多个实现的细节。其它特征将从说明和附图以及从权利要求中显现。
附图说明
图1A是示出用于创建和与计算机生成的3D环境(VR空间)交互的示例系统的视图。
图1B是示出用于创建和与计算机生成的3D环境(VR空间)交互的可替选示例系统的视图。
图1C示出用户佩戴VR头戴式设备并且以直立姿势站立。
图1D示出用户佩戴VR头戴式设备并且以第一只手手持计算装置,以第二只手与呈现在计算装置的触摸屏上的界面交互。
图2A是示出用户能够在第一VR空间内的VR头戴式设备的屏幕上观看的第一图像的图的视图。
图2B是示出用户能够在第一VR空间内的VR头戴式设备的屏幕上观看的第二图像的图的视图。
图2C是示出当用户的移动被渲染/解释为倾斜(潜入、扎入、跳入或者钻入)到图标中时的VR空间的第三人称图的视图。
图2D是示出用户能够在第一VR空间内的VR头戴式设备的屏幕上观看的,向用户显示特定月份的日历图的第三图像的图的视图。
图2E是示出当用户的移动被渲染/解释为倾斜(潜入、扎入、跳入或者钻入)到图标中时的第一VR空间的第三人称图的视图。
图2F是示出用户能够在第二VR空间内的VR头戴式设备的屏幕上观看的,向用户显示特殊日期的日历图的第四图像的图的视图。
图3A是示出VR空间的第一用户(第一人称视角)图的视图。
图3B是示出图3A中所示的VR空间的第一个第三人称图的视图。
图3C是示出VR空间的第二个第三人称图的视图。
图3D是示出图3C中所示的VR空间的第二用户(第一人称视角)图的视图。
图3E是示出当用户的移动被渲染/解释为倾斜(潜入、扎入、跳入或者钻入)到地球仪中时的VR空间的第三个第三人称图的视图。
图3F是示出用户在VR空间中观看的俯视地图的VR空间的第三用户图的视图。
图3G是示出当用户站立在地球仪内部的VR空间的第四个第三人称图的视图。
图3H是示出图3G中所示的VR空间的第四用户(第一人称视角)图的视图。
图3I是示出图3G中所示的VR空间的第五用户(第一人称视角)图的视图。
图4是示出一种与VR空间中所包括的对象交互的方法的流程图。
图5示出能够用于实现本文所述的技术的计算机装置和移动计算机装置的示例。
各幅图中的相同附图标记指示相同元件。
具体实施方式
用户能够沉浸在三维(3D)、计算机生成环境(虚拟现实(VR)空间)中)。用户能够探索3D环境,并能够与3D环境进行交互。用户能够体验一种无边缘或无边界的沉浸式媒体。这与在二维(2D)有界环境(窗口化计算环境)内的交互(相互作用)形成对比。例如,在2D有界环境中,用户能够与呈现在计算装置的显示器上的图形用户界面(GUI)交互,以便进入或退出(开始或结束)窗口计算环境下的应用、活动或状态。GUI能够提供用户能够选择的交互控制器(例如,按钮,滑块等)。在选择时,应用或活动能够开始、结束或以其它方式更改状态。例如,用户能够使用鼠标或其它类型的输入装置(例如,触摸屏,触控板等),通过控制定位显示在计算装置的显示器上的光标。用户能够执行一些类型的轻击、点击或其它选择活动,这些活动将启动与控制选择相关联的应用或活动。应用或活动能够使用显示装置的整个区域。
在一些实现中,在3D虚拟现实环境中,用户可以通过将每个活动或应用放置在VR空间内的不同物理空间中而在活动和应用之间切换。例如,物理空间可以是VR房间,并且用户可以将每个应用或活动放入其自己的VR房间中。用户能够导航到(进入)特定的VR室,以启动或开始已被放置在该房间中的应用或活动。在一些实现中,用户可以物理地操纵VR空间中的应用或活动(例如,图像或图标)的抽象表示。抽象表示可以浮动或悬浮在VR空间中。操纵可以是使抽象表示对抽象表示的旋转,触摸或拨弄。
在一些实现中,当用户沉浸在VR空间中时,用户可以拉起、调用或查看用户能够在VR空间内过渡或者改变的可用活动、应用或状态的菜单图。另外,或者作为替选,用户能够以变化的量移动到VR空间内所包括的对象(图标)中。对象或者图标能够代表用户能够在VR空间内过渡或者改变的可用活动、应用或状态。由对象表示的沉浸到另一或替选VR空间内的量能够与用户进入对象的移动量(用户也占用的对象的量)有关。例如,在第一VR空间中,如果用户仅仅破坏对象的表面(用户稍微沉浸到对象中、用户正在窥视对象、用户正在占用对象的一小部分),则用户可以在窥视由对象表示的第二VR空间的同时保留在第一VR空间中。当发生这种情况时,例如,通过包括关于第二VR空间的附加信息来改变第一VR空间。此时,用户能够从第二VR空间中窥视出来,实际上从对象中退出并且不再占用对象的任何部分,以完全返回到第一VR空间,不再沉浸在对象中。进一步将用户进一步浸入物体中,不仅仅是破坏对象的表面或窥视对象(用户占用对象的较大部分)能够使用户退出或离开第一VR空间,并过渡为对象表示的第二VR空间。为了返回到第一VR空间,用户可能必须倾斜或沉浸在存在于第二VR空间中的表示第一VR空间的对象或图标中。浸入VR空间的用户与包含在VR空间中的虚拟对象的这种交互允许用户通过特定的移动来执行导致不同VR空间之间的导航的动作。
例如,用户可以在VR环境或第一VR空间中编写计算机代码。源代码块能够作为单个对象封装在第一个VR空间中。用户能够导航第一VR空间以与代表第一个源代码块的第一对象交互。用户能够朝第一对象导航,打破第一对象的表面(稍微沉浸在第一个对象中,窥视第一对象,占用第一个对象的一小部分),并在窥视示出第一源代码块中包括的指令的第二空间的同时保留在第一VR空间中。当发生这种情况时,例如,第一VR空间能够通过包括第一VR空间中的第一源代码块中所包括的指令(例如,使源代码浮在第一VR空间中的窗口中)改变。进一步将用户沉浸在第一对象中,而不仅仅是破坏第一对象的表面或窥视对象(用户占用对象的较大部分)能够使得用户沉浸在一个或多个附加的VR空间中,这些VR空间提供源代码的依赖性、源代码使用的内部变量、源代码的机器代码编译和通过执行源代码而在存储器上执行的操作的视图。
在另一示例中,用户能够虚拟游览建筑物或其它物理结构,例如博物馆。沉浸在第一VR空间中的用户能够探索VR空间,就像它是一个物理空间一样,例如在博物馆的众多房间之间移动,以各种程度进入或者移出博物馆内所包括的对象(例如,雕塑,绘画等)。一旦进入房间,用户就能够接近艺术品(例如,绘画,雕塑)并且和“沉入”(窥视、倾斜、占用少量的空间)艺术作品。通过进入艺术品第一量,用户能够获得关于艺术品的信息(例如,艺术家,完成时间,艺术品的所有者或捐赠者等),能够在第一VR空间(例如,浮在VR空间中的屏幕上)中显示该信息。通过进一步浸入艺术品中(其量大于第一量),用户能够获得关于艺术品多方面的附加(更详细的)信息。例如,用户能够获得关于艺术家的其它艺术品的信息,与该艺术品约同一时间完成的其它类似的艺术品和/或由该艺术品的所有者拥有的其他艺术品。相反,用户能够退出该艺术品,返回博物馆的界面以探索更多的艺术作品。完全浸入艺术品(用户占据与艺术品相同的空间量)能够将用户传送到第二VR空间,其包括诸如该艺术家的其它作品等内容。
图1A是示出用于创建和与计算机生成的3D环境(VR空间)交互的示例系统100的视图。在示例系统100中,VR应用能够在第一计算装置102和/或第二计算装置104上运行。第二计算装置104可以是笔记本电脑、台式计算机、移动计算装置或游戏控制台。VR头戴式设备108能够被连接到第二计算装置104。第二计算装置104能够被连接到第一计算装置102。第一计算装置102可以被用作VR空间中的控制器和/或接口装置。第二计算装置104能够向VR空间的VR头戴式设备提供内容。
在一些实现中,第二计算装置104能够使用有线连接130连接到/接合第一计算装置102。在一些实现中,第二计算装置104能够使用无线连接132连接到/接合第一计算装置102。在一些实现中,第二计算装置104能够使用有线连接134连接到/接合VR头戴式设备108。在一些实现中,第二计算装置104能够使用无线连接131连接到/接合VR头戴式设备108。
有线连接130能够包括在任一端上具有适当连接器的电缆,以插入第一计算装置102和第二计算装置104。例如,电缆能够包括两端上的通用串行总线(USB)连接器。USB连接器能够为相同USB类型的连接器,或者每个USB连接器都能够为不同类型的USB连接器。各种类型的USB连接器能够包括但不限于USB A型连接器、USB B型连接器、micro-USB A连接器、micro-USB B连接器、micro-USB AB连接器、USB五针Mini-b连接器、USB四针Mini-b连接器、USB 3.0A型连接器、USB 3.0B型连接器、USB 3.0Micro B连接器和USB C型连接器。类似地,有线连接134能够包括在任一端上具有适当连接器以插入VR头戴式设备138和第二计算装置104的电缆。例如,电缆能够在两端上包括通用串行总线(USB)连接器。USB连接器能够为相同USB型连接器,或者每个USB连接器都能够为不同类型的USB连接器。
第一计算设备102和/或VR头戴式设备108能够使用诸如WiFi、蓝牙或蓝牙低功耗(LE)的一个或多个高速无线通信协议来无线地连接到/接合第二计算装置104。
图1B是示出用于创建和与计算机生成的3D环境(VR空间)交互的可替选示例系统150的视图。在图1B中所示的可替选示例系统150中,VR头戴式设备138能够包括能够执行VR应用的可移除计算装置。可移除计算装置能够类似于第一计算装置102。可移除计算装置能够被并入然后能够由VR头戴式设备138的用户穿戴的VR头戴式设备(例如,VR头戴式设备138)的壳体或框架内。在一些实现中,VR头戴式设备138能够包括植入式计算装置,其包括用于执行VR应用以渲染/创建计算机生成的3D环境(VR空间)的硬件(例如,处理器和存储器)和/或软件。在这两种实现中,VR头戴式设备138能够呈现/创建VR空间。
图1C示出用户佩戴VR头戴式设备138并且以直立姿势170站立。参考图1B,在可替选示例系统150中,VR头戴式设备138包括当用户与计算机生成的3D环境(VR空间)交互时用户120能够看到的显示器或屏幕。在一些实现中,被包括在VR头戴式设备138中的计算装置能够包括显示器或屏幕。如上所述,第一计算装置102能够使用有线或无线接口协议连接到VR头戴式设备138。在一些实现中,第一计算装置102能够为VR空间中的控制器,能够作为VR空间中的对象出现,能够向VR空间提供输入,并且能够从VR空间接收反馈/输出。
参考图1C,包括在VR头戴式设备138中的计算装置能够包括能够在用户120佩戴VR头戴式设备138时跟踪用户120的头部122运动的硬件(例如,处理器和存储器)和/或软件。所跟踪的用户120的头部122运动能够用于向VR空间提供输入。在一些实现中,所跟踪的运动能够引起选择VR空间中的对象。此外,所跟踪的运动能够将VR空间从一种状态或应用转换为另一种状态或应用。所跟踪的运动能够允许用户在VR空间中探(陷、钻)入活动、应用或状态。在一些情况下,移动越明显(探、陷、钻入越深),用户越能够进入或者卷入活动、应用或状态。在一些实施中,除了用户120的头部122的被跟踪运动之外或者与其一起,VR头戴式设备138提供的其它输入也能够被用于向VR空间提供输入。例如,用户120的头部122的被跟踪运动能够被导向VR空间内的对象。由VR头戴式设备138提供的进一步输入,例如按压开关或启动包括在VR头戴式设备138中的控制能够导致在VR空间中选择对象。
图1D示出用户120佩戴VR头戴式设备138并且以第一只手142a手持计算装置102,以第二只手142b与呈现在第一计算装置102的触摸屏116上的界面118交互。在一些实施中,如本文参考图1A-B所述的,第二计算装置104能够执行能够呈现/创建计算机生成的3D环境(VR空间)的VR应用。第二计算装置104能够向VR头戴式设备138提供表示VR空间的数据。VR头戴式设备138能够使用该数据来向穿戴VR头戴式设备138的用户120提供计算机生成的3D环境(VR空间)。在一些实施中,如本文参考图1A-D所述的,被包括在VR头戴式设备138中的计算装置能够执行能够呈现/创建计算机生成的3D环境(VR空间)的VR应用。在一些实现中,如本文参考图1A-D所述的,被包括在第一计算装置102中的计算装置能够执行能够呈现/创建计算机生成的3D环境(VR空间)的VR应用。
被包括在VR头戴式设备138中的计算装置可以包括能够在第一计算装置102置于VR头戴式设备138前部或者被保持在相对VR头戴式设备138的一定范围的位置内时,识别、监控和跟踪第一计算装置102的3D运动的硬件和/或软件。另外,或者作为替选,VR头戴式设备138能够跟踪能够被用作对VR空间的输入的用户120的头部122的运动。所跟踪的运动能够被转换为用户在VR空间内的运动。另外或者作为替选,所跟踪的运动能够被用于选择VR空间中的对象。另外,例如,用户120能够与被包括在第一计算装置102上的控件(例如,一个或者更多按钮(例如,按钮144a-b)和/或呈现在第一计算装置102的触摸屏116上的界面118)交互以在VR空间内移动。另外,或者作为替选,VR头戴式设备138对第一计算装置102的跟踪运动能够被用于选择VR空间内的对象。所跟踪的运动能够允许用户在VR空间中探(陷、钻)入活动、应用或状态。在一些情况下,移动越明显(探、陷、钻入越深),用户越能够进入或者卷入活动、应用或状态。
尽管在一些实现中,VR头戴式设备(例如,VR头戴式设备138)能够使用从外部计算装置(例如,第一计算装置102)提供的输入以转换为VR空间内的用户的运动,但是能够使用单独的VR头戴式设备以检测用户的移动(例如,用户120的头部122的移动),然后该移动被转换为用户在VR空间内的移动。然后,VR头戴式设备138能够通过解释用户的进一步移动来继续确定钻入(探入、斜入、陷入)用户期望的对象(以及相关联的应用)的程度。因此,为了使用户在VR空间中移动,不需要外部计算装置(在VR头戴式设备138外部)。
在一些实现中,参考图1A-D,尽管未特别示出,但是用户(例如,用户120)能够在穿戴VR头戴式设备138的同时,以用户的一只手或者两只手手持一种类型的手持式计算装置,诸如操纵杆、控制器或键盘。用户使用手持式计算装置以控制用户在VR空间内的运动,和/或控制对VR空间内的对象的选择。
第一计算装置102(以及任何手持式计算装置)能够使用一个或者更多高速通信协议,诸如USB 2.0、USB 3.0和USB 2.0,USB 3.0连接至/与VR头戴式设备138通信。在一些情况下,第一计算装置102能够使用音频/视频接口,诸如高清多媒体接口(HDMI)连接至/与VR头戴式设备138通信。在一些情况下,第一计算装置102能够使用USB Type-C标准接口的DisplayPort替代模式连接至/与VR头戴式设备138通信。DisplayPort替代模式能够包括高速USB通信接口和DisplayPort功能。
在一些实现中,第一计算装置102能够如图1D中所示,不需要电缆(例如,电缆136),无线连接至VR头戴式设备138。第一计算装置102能够使用一个或者更多高速通信协议,诸如WiFi、蓝牙或蓝牙LE无线地连接至/与VR头戴式设备138通信。
电缆136能够包括任一端上的适当连接器,以插入VR头戴式设备138和第一计算装置102。例如,电缆能够包括两端上的通用串行总线(USB)连接器。USB连接器能够为相同USB类型的连接器,或者每个USB连接器都能够为不同类型的USB连接器。各种类型的USB连接器能够包括但不限于USB A型连接器、USB B型连接器、micro-USB A连接器、micro-USB B连接器、micro-USB AB连接器、USB五针Mini-b连接器、USB四针Mini-b连接器、USB 3.0A型连接器、USB 3.0B型连接器、USB 3.0Micro B连接器和USB C型连接器。
图2A是示出用户(例如,用户120)能够在第一VR空间内的VR头戴式设备(例如,如图1B-D中所示的VR头戴式设备138)的屏幕上观看的图像200的图的视图。例如,图1C和1D能够示出正在观看图像200的用户120。
图标或者对象能够代表用户能够在第一VR空间内接触的一个或者更多活动、应用或者状态。图标能够为半透明的。图标能够看起来浮在或者悬在第一VR空间中。图标能够可见,但是可以不是第一VR空间中所包括的障碍内容。在一些实现中,图标能够看起来为第一VR空间内的平、两维(2D)对象。在一些实现中,图标能够看起来是第一VR空间内的3D对象。
例如,参考图2A,2D日历图标206能够代表日历应用。日历图标206能够浮在或悬在图像200中。参考图1A-D,在一些实现中,日历应用能够在第一计算装置102上执行/运行。在一些实现中,日历应用能够在第二计算装置104上执行/运行。在一些实现中,日历应用能够在VR头戴式设备138中所包括的计算装置104上执行/运行。
用户120能够通过朝着日历图标206移动或者倾斜到日历图标206的平面内(占用日历图标206的一些空间)而开始或者进入第一VR空间内的日历应用。
图2B是示出用户(例如,用户120)能够在第一VR空间内的VR头戴式设备(例如,如图1B-D中所示的VR头戴式设备138)的屏幕上观看的第二图像210的图的视图。该图示出代表随着用户朝着日历图标206移动并且更靠近日历图标206,用户看到的内容的图像210。
图2C是示出当用户120(例如,用户120的头部122)的移动被渲染/解释为倾斜(潜入、扎入、跳入或者钻入)到日历图标206中时的VR空间的第三人称图220的视图。例如,一旦运动被渲染,则倾斜到日历应用中能够执行并且向用户120提供日历的视图。
如参考图1A-D所述的,在一些实现中,VR头戴式设备138能够跟踪用户120的头部122的移动。所跟踪的移动能够被转换为用户在VR空间内的移动。在一些实现中,用户120能够与被包括在第一计算装置102上的控件(例如,一个或多个按钮(例如,按钮144a-b)和/或在第一计算装置102的触摸屏116上呈现的接口118)交互,以在VR空间内移动。在一些实现中,用户120能够在穿戴VR头戴式设备138的同时以用户的手142a-b握持手持计算设备(例如,操纵杆、控制器或键盘)。用户能够使用手持计算装置来控制用户在VR空间内的移动。
图2D是示出用户(例如,用户120)能够在第一VR空间内的VR头戴式设备(例如,如图1B-D中所示的VR头戴式设备138)的屏幕上观看的,向用户显示特定月份的日历图(日历图260)的图像230的视图。
用户120能够继续在同一方向中移动,进一步移动到日历图标206中,占用比日历图标206更多的空间。
图2E是示出当用户120的移动被渲染/解释为倾斜(潜入、扎入、跳入或者钻入)到日历图标206中时的第一VR空间的第三人称图240的视图。
继续移动能够被渲染/解释为用户120进一步移动到日历图标206中(更大地倾斜或者更深地扎入、跳入或钻入日历图标206(日历图标206在VR空间内占用的空间)),导致进一步浸没到日历应用中。例如,进一步移动到日历图标206中(进一步移动到VR空间中由日历图标206占据的相同空间中)能够导致日历应用提供更多细节或信息,诸如用户120当天的日历图。
图2F是示出用户(例如,用户120)能够在第二VR空间内的VR头戴式设备(例如,图1B-D中所示的VR头戴式设备138)的屏幕上观看的,向用户显示特定日期的日历图(日历图270)的图像250的图的视图。能够在第二VR空间中包括代表在第一VR空间中运行/执行的暂停VR应用的第一VR应用图标262。
与当用户120移入图2E(并且也参考图2C所述)中的日历图标类似,一旦用户120已经完成与日历应用的交互,则用户120能够倾斜(潜入、扎入、跳入或者钻入)到VR应用图标262中,以继续执行暂停的VR应用,并且终止执行日历应用。
如参考图1A-D所述的,在一些实现中,VR头戴式设备138能够跟踪用户120的头部122的移动。用户120能够旋转(移动)用户120的头部122,以将在VR空间中的焦点从日历应用转移到VR应用图标262。在一些实现中,用户120能够与包括在第一计算装置102上的控件(例如,一个或多个按钮(例如,按钮144a-b)和/或在第一计算装置102的触摸屏116上呈现的接口118)交互,以将VR空间中的焦点从日历应用转移到VR应用图标262。在一些实现中,用户120能够在穿戴VR头戴式设备138的同时以用户的手142a-b握持手持计算设备(例如,操纵杆、控制器或键盘)。用户能够使用手持计算装置来控制用户在VR空间内的移动,以从日历应用导航至VR应用图标262。
在一些情况下,用户120能够在VR空间内导航,以倾斜到在图2C中所述的日历图标206中(与其共享一些空间),导致在VR空间内显示如图2D中所示的日历图260。用户120能够在VR空间内导航,以偏出(退出,偏离)日历图标206,恢复为观看VR空间中的图200。用户120能够窥视其它应用中的信息,执行快速动作,或者检查应用的状态,不完全离开他们正在VR空间内执行/运行的当前VR应用。在一些实现中,日历图260能够浮在或者飘在图像200之上。日历图260可完全或者半透明,允许用户120在继续观看图像200的同时看到日历图260提供的信息。
尽管图2A、2C和2E中所示的示例示出单个日历图标206,但是在一些实现中,每个都能够代表特定应用、动作或状态的多个图标能够被布置成浮动或者悬置在VR空间内的各个位置中。在一些实现中,一个或者更多图标可旋转、振动、改变颜色、改变尺寸、改变形状,或者以其它方式吸引用户120注意该图标。如果应用需要用户的注意,则能够发生这种情况。例如,日历图标206能够变形、旋转以及改变形状和/或尺寸以获得用户120的注意。如果已经在日历应用中发生了可能保证得到用户120注意的警告、警报或者其它指示器,则能够发生这种情况。例如,用户120在15分钟后有会议。
图3A是示出VR空间的第一用户(第一人称)图300的视图。在图3A中所示的示例中,VR空间包括地球仪306。地球仪306能够为VR空间中代表一个或者更多应用、动作或者状态的对象。
图3B是示出图3A中所示的VR空间的第一个第三人称图305的视图。在第一个第三人称图305中,用户320接近地球仪306。参考图1C,用户320能够为图1C中所示的用户120。用户320能够穿戴VR头戴式设备(例如,VR头戴式设备138),并且随着用户320接近VR空间内的地球仪306,能够以直立姿势(例如,直立姿势170)站立。如参考图1C所述的,VR头戴式设备能够包括当与计算机生成的3D环境(VR空间)交互时用户320能够看到的显示器或者屏幕。
图3C是示出VR空间的第二个第三人称图310的视图。在图3C中所示的示例中,用户320更靠近地观看地球仪306。这在第二个第三人称图310中表示为用户320的头部322更接近地球仪306的表面308。如参考图2A-F所述的,用户320能够在VR空间中朝着地球仪306导航。用户320能够在穿戴VR头戴式设备138的同时移动用户320的头部322,和/或用户320能够与一个或者更多手持计算装置交互,以便朝着VR空间内的地球仪306移动。
图3D是示出图3C中所示的VR空间的第二用户(第一人称)图315的视图。与如图3A中所示的地球仪306的第一用户图300相比,地球仪306在第二用户图315中看起来更大。地球仪306被感知为更大尺寸是基于与第一个第三人称图305相比,用户320在第二个第三人称图310中更靠近地球仪306。
例如,地球仪306能够为VR空间中代表/与地图应用相关联的对象。用户320能够通过进一步继续朝着地球仪306移动(在VR空间内朝着其导航)而开始或者进入VR空间内的地图应用,使得运动被呈现为倾斜到地球仪306的表面中并且仅打破地球仪306的表面。
图3E是示出当用户320的移动(例如,用户320的头部322)被渲染/解释为倾斜(潜入、扎入、跳入或者钻入)到地球仪306中时的VR空间的第三个第三人称图325的视图。例如,一旦运动被渲染,则倾斜到地球仪306中能够开始或者启动地图应用。地图应用能够执行并且在VR空间中提供如图3F中所示的俯视地图332。
图3F是示出用户320在VR空间中观看的俯视地图332的VR空间的第三用户图330的视图。俯视地图332中所包括的信息能够基于用户320在地球仪306中共享的空间量。例如,俯视地图332是加那利群岛之一——拉帕尔马岛的地图。
在一些情况下,用户320可以通过在VR空间内导航来围绕地球仪306的表面308移动,以便“看到”(需由地图应用提供)地球仪306上的其它区域(例如,国家、大陆)的不同俯视地图。在一些情况下,用户320然后可以导航离开(偏出、离开,偏离)地球仪306,不再占用与VR空间中的地球仪306的任何共享空间。倾斜进出对象的能力能够允许用户320窥视应用中的信息,执行快速动作或检查状态,而不完全离开(停止执行)他们正在VR空间内执行/运行的当前应用。在图3A-J中所示的示例中,用户320可以在虚拟博物馆(示例VR空间)中探索虚拟房间,其中地球仪306仅仅是房间中所包括的许多对象之一。用户320能够导航远离(偏出)地球仪306,并且继续朝着VR空间中用于另一用户体验的另一对象导航,并且与其共享空间(倾斜到其中)。
在一些情况下,一旦用户与对象共享一些空间,则用户320能够继续沿相同的方向移动(进一步移动到对象中并与对象共享更多的空间),如图3G中的第三个第三人称图335所示,导致用户320进入地球仪306。
图3G是示出当用户320完全沉浸在(站立在其内部)地球仪306中的VR空间的第四个第三人称图335的视图。例如,VR空间视角能够完全转移到地图应用中(以及VR空间中的完整用户地图体验)。进入地图应用能够将用户320传送到地球仪306上更精细的分辨率、更详细的位置。例如,用户320能够进一步探索如图3F所示的俯视地图332中所示的位置。
图3H是示出图3G中所示的VR空间的第四用户(第一人称)图340的视图。例如,用户320被传送至拉帕尔马岛上海滩边的木板路上。既然用户320被传送到第四用户视图340中所示的地图体验,则用户320可以在地图体验(导航另一VR空间)中移动,探索VR空间。为了退出地图体验(以及进入地球仪306),用户320可以执行故意动作。该动作能够使用户从VR空间的地球仪306明确地退出,结束地图体验(退出或停止地图应用的执行)。
图3I是示出图3G中所示的VR空间的第五用户(第一人称)图345的视图。在第五用户图345中,地球仪图标326能够在VR空间中的用户320的腕部(腕部渲染328)的呈现上浮动(悬停)。用户320能够与地球仪图标326交互(例如,导航到并打破地球仪图标326的表面),以离开地球仪306,使他们进入如图3G中所示的VR空间。一旦用户320离开地球仪306,则VR空间能够看起来为图3A中所示的VR空间的第一个第三人称视图305。
用户320能够朝着本文所述的地球仪图标326导航,并且能够选择地球仪图标326,离开地球仪306并停止(结束)地图应用的执行,结束地图体验。例如,参考图1A-D,用户320能够穿戴VR头戴式设备。VR头戴式设备能够跟踪用户320的头部322的移动。用户320能够转动(移动)用户320的头部322以将VR空间中的焦点转移至地球仪图标326。用户320能够通过在地球仪图标326的方向上移动用户320的头部322,然后在地球仪图标326上驻留至少预定时间量来选择地球仪图标。在另一示例中,用户320能够通过沿着地球仪图标326的方向移动用户320的头部322,然后使用VR头戴式设备中包括的一个或多个控件来“点击”地球仪图标326来选择地球仪图标326。在另一示例中,用户320能够通过将用户320的腕部移动为更靠近用户320的头部322来选择地球仪图标326。当用户320的腕部在离用户320的头部322的预定距离内时,则被认为选择了地球仪图标326。
在一些实现中,用户320能够与被包括在手持式计算装置上的控件(例如,一个或多个按钮和/或在手持式计算装置的触摸屏上呈现的接口)交互,以将VR控件中的焦点移动(导航)至地球仪图标326。在一些实现中,用户120能够在穿戴VR头戴式设备的同时以用户320的一只或者更多只手握持手持式计算装置(例如,移动电话、移动计算装置、操纵杆、控制器或键盘)。用户能够使用手持式计算装置控制用户在VR空间中的移动以导航到地球仪图标326。用户320能够倾斜到地球仪图标326中(与其共享一些空间),以离开地球仪306,并且停止(结束)地图应用的执行,结束地图体验。
在一些实现中,地球仪306能够表示单个应用(例如,地图应用)。在一些实现中,地球仪306能够表示提供用户体验的相关应用。用户在VR空间中倾斜(深入或潜入)到地球仪306中越多,用户能够经历地体验越多。例如,如图3E和3F中所示,在小的或最初的倾斜时,用户看到加那利群岛中所包括的拉帕尔马岛的地图。进一步倾斜到地球仪中能够缩小或微调用户看到的位置(例如,在拉帕尔马岛上的沙滩上的木板路上)。虽然未示出,但是用户可以进一步倾斜以获得去拉帕尔马岛旅行的旅行信息。在该示例中,地图应用可以调用可以提供详细的旅行信息的另一应用(或将控制权传给另一应用(例如,旅行住宿预订应用))。随着用户退出地球仪306,旅行住宿预订应用能够将控制权还给地图应用。
在一些实现中,地球仪306能够被包括在包括其它图标的虚拟房间中,其它图标代表房间中用户能够倾斜到其中(跳入、潜入或者钻入),以便开始、进入或者启动与图标(对象)相关联的应用的其它对象(例如,家具、绘画和雕塑)。
图4是示出一种与VR空间中所包括的对象交互的方法400的流程图。在一些实现中,本文所述的系统、方法和过程能够实现方法400。例如,能够参考图1、2以及3A-I的描述方法400。
计算装置执行虚拟现实(VR)应用(方框402)。计算装置提供用于在VR空间中的VR头戴式设备的屏幕上显示的内容(方框404)。该内容能够包括与动作相关联的至少一个对象。检测沉浸在VR空间中的用户朝着被包括在VR空间中的对象的第一移动(方框406)。基于检测到第一移动,在VR空间中执行相关联的动作(方框410)。
图5示出了可以与本文所述的技术一起使用的通用计算机装置500和通用移动计算机装置550的示例。计算装置500旨在表示各种形式的数字计算机,诸如笔记本电脑、台式机、工作站、个人数字助理、服务器、刀片服务器、大型机和其它合适的计算机。计算装置550旨在表示各种形式的移动装置,诸如个人数字助理、蜂窝电话、智能电话和其它类似的计算装置。这里所示的组件、它们的连接和关系以及它们的功能仅仅有意为示例性的,并不意味着限制本文中所述的和/或本文件中要求保护的实施。
计算装置500包括处理器502、存储器504、存储装置506、连接到存储器504高速扩展端口510的高速接口508,以及连接到低速总线514和存储装置506的低速接口512。组件502、504、506、508、510和512中的每一个都使用各种总线互连,并且可以适当地安装在公共母板上或以其它方式安装。处理器502能够处理在计算装置500内执行的指令,包括存储在存储器504或存储装置506上的指令,以在外部输入/输出装置,诸如耦合到高速接口508的显示器516上显示GUI的图形信息。在其它实施中,可以适当地与多个存储器和多种类型的存储器一起使用多个处理器和/或多条总线。也可以连接多个计算装置500,每个装置都提供部分必要操作(例如,作为服务器组、一组刀片服务器或多处理器系统)。
存储器504在计算装置500内存储信息。在一个实施中,存储器504是易失性存储器单元或多个单元。在另一实施中,存储器504是非易失性存储器单元或多个单元。存储器504也可以是另一种形式的计算机可读介质,例如磁盘或光盘。
存储装置506能够为计算装置500提供大容量存储。在一个实施中,存储装置506可以是或包含计算机可读介质,诸如软盘装置、硬盘装置、光盘装置,或磁带装置,闪存或其它类似的固态存储装置,或包括存储区域网络中的装置或其它配置的装置阵列。计算机程序产品能够被有形地具体化为信息载体。计算机程序产品也可包含指令,当被执行时,指令执行一种或多种方法,例如上述的方法。信息载体是计算机或机器可读介质,诸如存储器504、存储装置506或处理器502上的存储器。
高速控制器508管理计算装置500的带宽密集型操作,而低速控制器512管理较低带宽密集型操作。这种功能分配仅是例证性的。在一个实施中,高速控制器508耦合到存储器504、显示器516(例如,通过图形处理器或加速器),并且耦合到可接受各种扩展卡(未示出)的高速扩展端口510。在实施中,低速控制器512耦合到存储装置506和低速扩展端口514。可包括各种通信端口(例如,USB、蓝牙、以太网、无线以太网)的低速扩展端口可被耦合到一个或多个输入/输出装置,例如键盘、指点装置、扫描仪,或例如通过网络适配器耦合到诸如交换机或路由器的网络装置。
如图所示,计算装置500可被实施为多种不同的形式。例如,它可以被实施为标准服务器520,或者在一组这样的服务器中多次实施。它也可以被实施为机架服务器系统524的一部分。此外,它可以诸如膝上型计算机522的个人计算机中实施。或者,来自计算装置500的组件可与移动装置中的其它组件(未示出),诸如装置550组合。这些装置中的每一个都可包含一个或者更多计算装置500、550,并且整个系统可由彼此通信的多个计算装置500、550组成。
计算装置550包括处理器552、存储器564、诸如显示器554的输入/输出装置、通信接口566和收发器568以及其它组件。装置550也可具有诸如微驱动器或其它装置的存储装置,以提供额外的存储。组件550、552、564、554、566和568中的每一个都使用各种总线互连,并且几个组件可被安装在公共母板上或以其它合适的方式安装。
处理器552能够在计算装置550内执行指令,包括存储在存储器564中的指令。处理器可被实现为包括单独的和多个模拟和数字处理器的芯片的芯片组。处理器可以例如提供用于装置550的其它组件的协调,诸如用户接口的控制,由装置550运行的应用以及由装置550进行的无线通信。
处理器552可以通过控制接口558和耦合到显示器554的显示接口556与用户通信。显示器554可以是例如TFT LCD(薄膜晶体管液晶显示器)或OLED(有机发光二极管)显示器或其它适当的显示技术。显示接口556可包括用于驱动显示器554以向用户呈现图形和其它的适当电路。控制接口558可接收来自用户的命令并将其转换以提交给处理器552。另外,可提供外部接口562以与处理器552通信,以便能够与其它装置进行装置550的近区域通信。外部接口562可以提供例如在一些实施中的有线通信,或者在其它实施中的无线通信,也可使用多个接口。
存储器564将信息存储在计算装置550内。存储器564能够被实施为计算机可读介质或介质、易失性存储器单元或非易失性存储器单元中的一个或多个。扩展存储器574还可以通过扩展接口572来提供并连接到装置550,扩展接口572可包括例如SIMM(单列直插存储器模块)卡接口。这种扩展存储器574可以为装置550提供额外的存储空间,或者还可以存储用于装置550的应用或其它信息。特别地,扩展存储器574可包括用于执行或补充上述过程的指令,并且也可包括安全信息。因此,例如,扩展存储器574可被用作装置550的安全模块,并且可以用允许安全使用装置550的指令来编程。另外,可通过SIMM卡以及附加信息来提供安全应用,例如以不可攻击的方式将识别信息置于SIMM卡上。
如下文所述,存储器可以包括例如闪存和/或NVRAM存储器。在一个实施中,计算机程序产品被有形地具体化为信息载体。计算机程序产品包含指令,当被执行时,执行一个或多个方法,诸如上述方法。信息载体是可以例如通过收发机568或外部接口562接收的计算机或机器可读介质,诸如存储器564、扩展存储器574或处理器552上的存储器。
装置550可通过通信接口566进行无线通信,通信接口566可在必要时包括数字信号处理电路。通信接口566可提供诸如GSM语音呼叫、SMS、EMS或MMS消息、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等各种模式或协议下的通信。这种通信可以通过诸如射频收发机568发生。另外,也可使用例如使用蓝牙、WiFi或其它此类收发器(未示出)发生短距离通信。另外,GPS(全球定位系统)接收器模块570可以向装置550提供额外的导航和位置相关无线数据,这些数据可由在装置550上运行的应用适当地使用。
装置550还可以使用音频编解码器560可听地通信,音频编解码器560可以从用户接收口语信息并将其转换为可用的数字信息。音频编解码器560同样可以为用户产生可听见的声音,诸如通过例如在装置550的话筒中的扬声器。这种声音可以包括来自语音电话呼叫的声音,可以包括记录的声音(例如,语音消息、音乐文件,等等),并且也可包括在装置550上操作的应用产生的声音。
如图所示,计算装置550可以以多种不同的形式实施。例如,它可以被实施为蜂窝电话580。它也可以被实施为智能电话582、个人数字助理或其它类似移动装置的一部分。
本文所述的系统和技术的各种实施能够以数字电子电路、集成电路、专门设计的ASIC(应用专用集成电路)、计算机硬件、固件、软件和/或其组合实施。这些各种实施能够包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实施,可编程系统包括至少一个可以是专用或通用的可编程处理器,其被耦合至存储系统、至少一个输入装置和至少一个输出装置,从而从这些装置接收数据和指令,并且将数据和指令发送至这些装置。
这些计算机程序(也称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令,并且能够以高级程序和/或面向对象编程语言和/或组装/机器语言实施。本文使用的术语“机器可读介质”、“计算机可读介质”涉及下列任何计算机程序产品、设备和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),其用于向可编程处理器提供机器指令和/或数据,包括接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”涉及用于向可编程处理器提供机器指令和/或数据的任何信号。
为了提供与用户的交互,本文所述的系统和技术能够在具有用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或LCD(液晶显示器)监视器),和用户能够通过其向计算机提供输入的键盘和指示装置(例如,鼠标或轨迹球)的计算机上实施。也能够使用其它类型的装置提供与用户的交互;例如,提供给用户的反馈能够为任何形式的感觉反馈(例如,视觉反馈、听觉反馈或触觉反馈);并且能够以任何形式接收来自用户的输入,包括声音,语音或触觉输入。
本文所述的系统和技术能够在包括后端组件(例如,作为数据服务器)或包括中间件组件(例如,应用服务器)),或者包括前端组件(例如,具有用户能够通过其与本文所述的系统和技术的实施进行交互的图形用户界面或Web浏览器的客户端计算机),或者这种后端、中间件或前端组件的任何组合的计算系统中实施。系统的组件能够可以通过数字数据通信(例如,通信网络)的任何形式或介质互连。通信网络的示例包括局域网(“LAN”)、广域网(“WAN”)和因特网。
计算系统能够包括客户端和服务器。客户端和服务器通常彼此远离,并且通常通过通信网络进行交互。客户端和服务器之间的关系是由于相应计算机上运行,并且彼此具有客户端-服务器关系的计算机程序产生。
已经描述了许多体现的细节。然而,应理解的是,在不偏离本发明的精神和范围,本发明可做出各种修改。
另外,图中所示的逻辑流程不需要所示的特定顺序或者按顺序排列以实现期望结果。另外,可提供其它步骤,或者可从所述流程去除多个步骤,并且其它组件可被添加至所述系统,或者从所述系统消除。因而,其它体现的细节也在所附权利要求的范围内。

Claims (27)

1.一种方法,包括:
由计算装置执行虚拟现实VR应用,所述执行在VR头戴式设备的屏幕上显示第一内容;
由所述计算装置提供用于通过所述VR应用在所述VR头戴式设备的所述屏幕上作为第一浮动图标显示的对象,所述对象与动作相关联,所述第一浮动图标与所述第一内容一起显示,并且所显示的第一浮动图标在所述屏幕上的位置独立于所显示的第一内容;
检测在朝着所述对象移动时用户的第一移动;
响应于检测到所述第一移动:
将用于在所述VR头戴式设备的所述屏幕上显示的所述第一内容修改为第二内容;以及
由所述计算装置提供用于通过所述VR应用在所述VR头戴式设备的所述屏幕上显示的所述第二内容和作为第二浮动图标的所述对象,所述第二浮动图标与所述第二内容一起显示,并且所显示的第二浮动图标在所述屏幕上的位置独立于所显示的第二内容;
在检测到所述第一移动之后,检测在进一步朝着所述对象移动时所述用户的第二移动;以及
响应于检测到所述第二移动,执行相关联的动作包括提供用于由所述VR应用在所述VR头戴式设备的所述屏幕上显示的第三内容,所述第三内容包括通过执行所述相关联的动作而生成的内容。
2.根据权利要求1所述的方法,其中,所述计算装置被包括在所述VR头戴式设备中。
3.根据权利要求1所述的方法,其中,所述相关联的动作是执行应用。
4.根据权利要求1所述的方法,还包括:
检测在远离所述对象移动时所述用户的第三移动,所述检测在检测到所述用户的所述第二移动之后发生;和
响应于检测到所述第三移动,停止执行所述相关联的动作。
5.根据权利要求4所述的方法,
其中,停止执行所述相关联的动作包括提供用于在所述VR头戴式设备的所述屏幕上显示的所述第一内容。
6.根据权利要求1所述的方法,还包括:
接收所述用户与所述第三内容中所包括的对象的交互的指示;和
其中,执行所述相关联的动作还包括:响应于接收到所述交互的指示,提供用于由所述VR应用在所述VR头戴式设备的所述屏幕上显示的所述第一内容。
7.根据权利要求1所述的方法,其中,所述第一浮动图标是透明的,并且其中,所述第二浮动图标是透明的。
8.根据权利要求1所述的方法,其中,所述第二浮动图标的尺寸与所述第一浮动图标的尺寸不同。
9.根据权利要求1所述的方法,其中,修改所述第一内容包括放大所述第一内容。
10.根据权利要求1所述的方法,其中,所述第二浮动图标的尺寸比所述第一浮动图标的尺寸大。
11.根据权利要求1所述的方法,其中,所述第三内容独立于所述第二内容,并且其中,所述第三内容独立于所述第一内容。
12.根据权利要求1所述的方法,其中,所述第三内容与所述第二内容一起由所述VR应用显示在所述VR头戴式设备的所述屏幕上。
13.根据权利要求1所述的方法,其中,所述第三内容叠加地显示在所述第二内容上。
14.根据权利要求13所述的方法,其中,所述第三内容是透明的,使得由所述第三内容提供的信息被所述用户与所述第二内容的查看一起查看。
15.根据权利要求3所述的方法,其中,在检测在朝着所述对象移动时所述用户的所述第一移动之前,改变与所述第一浮动图标相关联的特征,所改变的特征修改作为所述第一浮动图标的所述对象的显示。
16.根据权利要求15所述的方法,其中,响应于所述应用中的修改的发生而改变与所述第一浮动图标相关联的特征。
17.一种具有存储在其上的指令的非瞬态机器可读介质,所述指令在被处理器执行时使计算装置:
执行虚拟现实VR应用,所述执行在VR头戴式设备的屏幕上显示第一内容;
提供用于由所述VR应用在所述VR头戴式设备的所述屏幕上作为第一浮动图标显示的对象,所述对象与被配置为独立于所述第一内容来提供第二内容的应用相关联,所述第一浮动图标与所述第一内容一起显示;
检测在朝着所述对象移动时用户的第一移动,在所述用户扎入到所述第一浮动图标中时所述第一移动与所述第一内容一起被渲染;以及
响应于检测到所述第一移动,执行所述应用,所述执行将所述第二内容与所述第一内容组合并且提供所组合的内容以由所述VR应用在所述VR头戴式设备的所述屏幕上显示。
18.根据权利要求17所述的介质,其中,所述计算装置被包括在所述VR头戴式设备中。
19.根据权利要求17所述的介质,其中,所述指令在被所述处理器执行时进一步使得所述计算装置:
检测在远离所述对象移动时所述用户的第二移动,所述检测在检测到在朝着所述对象移动时所述用户的所述第一移动之后发生;和
响应于检测到所述第二移动,停止执行所述应用。
20.根据权利要求19所述的介质,其中,在由所述处理器执行时使得所述计算装置停止执行所述应用的指令包括使得所述计算装置提供用于在所述VR头戴式设备的所述屏幕上显示的所述第一内容的指令。
21.根据权利要求17所述的介质,其中,所述指令进一步包括在由所述处理器执行时进一步引起所述计算装置检测在继续朝着所述对象移动时所述用户的第二移动的指令,在所述用户进一步扎入到所述第一浮动图标中时所述第二移动与所述第一内容一起被渲染;和
其中,在由所述处理器执行时使得所述计算装置执行所述应用的指令进一步包括使得所述计算装置响应于检测到所述第二移动而提供用于由所述VR应用在所述VR头戴式设备的所述屏幕上显示的第三内容的指令,所述第三内容比所述第二内容提供所述应用的进一步详细的信息。
22.根据权利要求21所述的介质,其中,所述指令在由所述处理器执行时进一步使得所述计算装置:
接收所述用户与所述第三内容中所包括的对象的交互的指示;和
其中,在由所述处理器执行时使得所述计算装置执行所述应用的指令进一步包括使得所述计算装置响应于接收到所述交互的指示而提供用于由所述VR应用在所述VR头戴式设备的所述屏幕上显示的所述第一内容的指令。
23.根据权利要求17所述的介质,其中,将所述第二内容与所述第一内容组合包括在所述第一内容上浮动所述第二内容。
24.一种系统,包括:
第一计算装置;
可操作地耦合到所述第一计算装置的虚拟现实VR头戴式设备,所述VR头戴式设备包括第二计算装置和屏幕;
所述VR头戴式设备被配置成:
在所述屏幕上显示第一内容和作为第一浮动图标的对象,所述对象与动作相关联,并且所显示的第一浮动图标在所述屏幕上的位置独立于所显示的第一内容;
通过所述第二计算装置检测在朝着所述对象移动时用户的第一移动;
将所述用户的所述第一移动的指示提供给所述第一计算装置;
在所述屏幕上显示第二内容和作为第二浮动图标的所述对象,所显示的第二浮动图标在所述屏幕上的位置独立于所显示的第二内容;
通过所述第二计算装置检测在检测到所述第一移动之后进一步朝着所述对象移动时所述用户的第二移动;
在提供所述第一移动的指示之后将所述用户的所述第二移动的指示提供给所述第一计算装置;以及
显示第三内容;以及
所述第一计算装置被配置成:
执行虚拟现实VR应用;
提供用于在所述VR头戴式设备的屏幕上显示的所述第一内容和作为所述第一浮动图标的所述对象;
接收所述用户的所述第一移动的指示;
响应于接收到所述第一移动的指示
将用于在所述VR头戴式设备的所述屏幕上显示的所述第一内容修改为第二内容;以及
将所述第二内容和作为第二浮动图标的所述对象提供给所述VR头戴式设备以在所述屏幕上显示;
接收所述用户的所述第二移动的指示;以及
响应于接收到所述第二移动的指示,执行相关联的动作包括将第三内容提供给所述VR头戴式设备以用于在所述屏幕上显示。
25.根据权利要求24所述的系统,其中,所述第一计算装置和所述第二计算装置是被包括在所述VR头戴式设备中的同一计算装置。
26.根据权利要求24所述的系统,其中,相关联的动作是执行应用,并且其中,所述第三内容包括通过执行所述应用而生成的内容。
27.根据权利要求24所述的系统,其中,所述第一浮动图标是透明的,并且其中,所述第二浮动图标是透明的。
CN201680019658.4A 2015-05-26 2016-05-23 用于进入和退出沉浸式媒体中的应用和活动的多维图形方法 Active CN107430442B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/721,477 US9959677B2 (en) 2015-05-26 2015-05-26 Multidimensional graphical method for entering and exiting applications and activities in immersive media
US14/721,477 2015-05-26
PCT/US2016/033765 WO2016191362A1 (en) 2015-05-26 2016-05-23 Multidimensional graphical method for entering and exiting applications and activities in immersive media

Publications (2)

Publication Number Publication Date
CN107430442A CN107430442A (zh) 2017-12-01
CN107430442B true CN107430442B (zh) 2020-09-29

Family

ID=56133043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680019658.4A Active CN107430442B (zh) 2015-05-26 2016-05-23 用于进入和退出沉浸式媒体中的应用和活动的多维图形方法

Country Status (6)

Country Link
US (1) US9959677B2 (zh)
EP (1) EP3304254B1 (zh)
JP (1) JP6660960B2 (zh)
KR (1) KR102103494B1 (zh)
CN (1) CN107430442B (zh)
WO (1) WO2016191362A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9959677B2 (en) 2015-05-26 2018-05-01 Google Llc Multidimensional graphical method for entering and exiting applications and activities in immersive media
CN107924690B (zh) * 2015-09-02 2021-06-25 交互数字Ce专利控股公司 用于促进扩展场景中的导航的方法、装置和系统
JP6518582B2 (ja) * 2015-12-21 2019-05-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および操作受付方法
JP6668811B2 (ja) * 2016-02-23 2020-03-18 セイコーエプソン株式会社 訓練装置、訓練方法、プログラム
KR20170106862A (ko) * 2016-03-14 2017-09-22 삼성전자주식회사 데이터 동기화 방법 및 이를 구현하는 전자 장치 및 시스템
CN106253371A (zh) * 2016-07-29 2016-12-21 北京小鸟看看科技有限公司 一种头戴显示供电系统
CN106774872A (zh) * 2016-12-09 2017-05-31 网易(杭州)网络有限公司 虚拟现实系统、虚拟现实交互方法及装置
CN107291359A (zh) * 2017-06-06 2017-10-24 歌尔股份有限公司 一种输入方法、装置和系统
EP3639154A4 (en) 2017-06-15 2021-01-27 Tencent Technology (Shenzhen) Company Limited SYSTEM AND PROCEDURE FOR CUSTOMIZING A USER INTERFACE PANEL ON THE BASIS OF PHYSICAL SIZES
CN107577337A (zh) * 2017-07-25 2018-01-12 北京小鸟看看科技有限公司 一种头戴显示设备的键盘显示方法、装置及头戴显示设备
KR102065421B1 (ko) * 2017-08-10 2020-01-13 엘지전자 주식회사 모바일 기기 및 모바일 기기를 활용한 가상현실 기기 컨트롤러 구동 방법.
US10409444B2 (en) 2017-09-01 2019-09-10 Microsoft Technology Licensing, Llc Head-mounted display input translation
CN108415570B (zh) * 2018-03-07 2021-08-24 网易(杭州)网络有限公司 基于增强现实的控件选择方法和装置
CN108427501B (zh) * 2018-03-19 2022-03-22 网易(杭州)网络有限公司 虚拟现实中移动控制方法和装置
JP7155291B2 (ja) * 2018-05-02 2022-10-18 アップル インコーポレイテッド 環境の動き回り
CN109284000B (zh) * 2018-08-10 2022-04-01 西交利物浦大学 一种虚拟现实环境下三维几何物体可视化的方法及系统
US11036284B2 (en) * 2018-09-14 2021-06-15 Apple Inc. Tracking and drift correction
CN111277866B (zh) 2018-12-04 2022-05-10 华为技术有限公司 一种控制vr视频播放的方法及相关装置
DE102020104415A1 (de) * 2019-02-22 2020-08-27 Apple Inc. Bewegung in einer umgebung
US20220092498A1 (en) * 2020-09-24 2022-03-24 International Business Machines Corporation Virtual reality simulation activity scheduling
CN112468865B (zh) * 2020-11-25 2024-02-23 咪咕视讯科技有限公司 一种视频处理方法、vr终端及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102854984A (zh) * 2012-09-10 2013-01-02 马青川 基于手指动作捕捉控制的向双眼直接投影式小型影音设备
CN104281260A (zh) * 2014-06-08 2015-01-14 朱金彪 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜
CN104407766A (zh) * 2014-08-28 2015-03-11 联想(北京)有限公司 一种信息处理方法和穿戴式电子设备
CN104603719A (zh) * 2012-09-04 2015-05-06 高通股份有限公司 扩增实境表面显示

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007075146A2 (en) * 2005-12-26 2007-07-05 Chee Ying Josiah Goh Visual-based object oriented programming language and system
JP4927631B2 (ja) * 2006-06-27 2012-05-09 パナソニック株式会社 表示装置、その制御方法、プログラム、記録媒体および集積回路
KR101141087B1 (ko) * 2007-09-14 2012-07-12 인텔렉츄얼 벤처스 홀딩 67 엘엘씨 제스처-기반 사용자 상호작용의 프로세싱
US8037416B2 (en) * 2008-08-06 2011-10-11 International Business Machines Corporation Presenting and filtering objects in a virtual world
GB2470073B (en) * 2009-05-08 2011-08-24 Sony Comp Entertainment Europe Entertainment device, system and method
US8730309B2 (en) * 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
US9480907B2 (en) * 2011-03-02 2016-11-01 Microsoft Technology Licensing, Llc Immersive display with peripheral illusions
US20120320080A1 (en) * 2011-06-14 2012-12-20 Microsoft Corporation Motion based virtual object navigation
US8866852B2 (en) 2011-11-28 2014-10-21 Google Inc. Method and system for input detection
EP2856284B1 (en) * 2012-05-30 2017-10-04 Kopin Corporation Head-worn computer with improved virtual display function
US9389420B2 (en) * 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays
KR20140017429A (ko) * 2012-08-01 2014-02-11 삼성전자주식회사 화면 동작 방법 및 그 전자 장치
WO2014041961A1 (ja) * 2012-09-14 2014-03-20 日産自動車株式会社 フロントエンドモジュールの防振構造
US10295826B2 (en) * 2013-02-19 2019-05-21 Mirama Service Inc. Shape recognition device, shape recognition program, and shape recognition method
CN109656354B (zh) * 2013-02-22 2022-05-31 索尼公司 信息处理装置和信息处理方法
US9329682B2 (en) * 2013-06-18 2016-05-03 Microsoft Technology Licensing, Llc Multi-step virtual object selection
US9500867B2 (en) * 2013-11-15 2016-11-22 Kopin Corporation Head-tracking based selection technique for head mounted displays (HMD)
US10514821B2 (en) * 2014-12-05 2019-12-24 Samsung Electronics Co., Ltd. Method and apparatus for relocating an icon
JP5961291B1 (ja) * 2015-02-12 2016-08-02 株式会社コロプラ コンテンツ視聴のための装置および方法、並びにコンテンツ視聴動作をコンピュータに制御させるコンピュータ・プログラム
US9959677B2 (en) 2015-05-26 2018-05-01 Google Llc Multidimensional graphical method for entering and exiting applications and activities in immersive media
US9898864B2 (en) * 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104603719A (zh) * 2012-09-04 2015-05-06 高通股份有限公司 扩增实境表面显示
CN102854984A (zh) * 2012-09-10 2013-01-02 马青川 基于手指动作捕捉控制的向双眼直接投影式小型影音设备
CN104281260A (zh) * 2014-06-08 2015-01-14 朱金彪 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜
CN104407766A (zh) * 2014-08-28 2015-03-11 联想(北京)有限公司 一种信息处理方法和穿戴式电子设备

Also Published As

Publication number Publication date
EP3304254A1 (en) 2018-04-11
KR20170120166A (ko) 2017-10-30
KR102103494B1 (ko) 2020-04-22
JP2018521372A (ja) 2018-08-02
CN107430442A (zh) 2017-12-01
JP6660960B2 (ja) 2020-03-11
US9959677B2 (en) 2018-05-01
WO2016191362A1 (en) 2016-12-01
US20160350972A1 (en) 2016-12-01
EP3304254B1 (en) 2021-10-13

Similar Documents

Publication Publication Date Title
CN107430442B (zh) 用于进入和退出沉浸式媒体中的应用和活动的多维图形方法
US10453273B2 (en) Method and system for providing an object in virtual or semi-virtual space based on a user characteristic
US10657716B2 (en) Collaborative augmented reality system
US20200371665A1 (en) Collaborative augmented reality system
CN109923509B (zh) 虚拟现实中的对象的协同操纵
JP6778815B2 (ja) 仮想現実におけるロケーショングローブ
CN111373349B (zh) 用于在增强现实环境中导航的方法、设备及存储介质
US11494990B2 (en) Hybrid placement of objects in an augmented reality environment
TW202313162A (zh) 用於人工實境環境的內容鏈接
US20170301135A1 (en) Methods and apparatus to navigate within virtual-reality environments
CN111971714A (zh) 增强现实环境中的加载指示器
US10860088B2 (en) Method and system for initiating application and system modal control based on hand locations
US11169598B2 (en) Apparatus and associated methods for presentation of a virtual reality space
US20230102820A1 (en) Parallel renderers for electronic devices
US20220413691A1 (en) Techniques for manipulating computer graphical objects
US20220066542A1 (en) An apparatus and associated methods for presentation of presentation data
US20240005511A1 (en) Immediate Proximity Detection and Breakthrough with Visual Treatment
KR20240063451A (ko) 3차원 환경에서의 위치 고정식 3차원 ui 객체 표시 방법 및 장치
Dai Explorative study towards supporting dredger's control work by HoloLens
CN117075770A (zh) 基于扩展现实的交互控制方法、装置、电子设备和存储介质
Yu Research on Augmented Reality Technology and Build AR Application on Google Glass

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant