CN105026981A - 用于在头戴式显示器上显示图像的方法和设备 - Google Patents
用于在头戴式显示器上显示图像的方法和设备 Download PDFInfo
- Publication number
- CN105026981A CN105026981A CN201480012573.4A CN201480012573A CN105026981A CN 105026981 A CN105026981 A CN 105026981A CN 201480012573 A CN201480012573 A CN 201480012573A CN 105026981 A CN105026981 A CN 105026981A
- Authority
- CN
- China
- Prior art keywords
- stereo
- picture
- eye images
- single eye
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000000926 separation method Methods 0.000 claims abstract description 7
- 230000002688 persistence Effects 0.000 claims description 49
- 229910052701 rubidium Inorganic materials 0.000 claims description 34
- IGLNJRXAVVLDKE-UHFFFAOYSA-N rubidium atom Chemical compound [Rb] IGLNJRXAVVLDKE-UHFFFAOYSA-N 0.000 claims description 34
- 230000008859 change Effects 0.000 claims description 11
- 238000011161 development Methods 0.000 claims description 8
- 230000002452 interceptive effect Effects 0.000 claims description 5
- 238000007689 inspection Methods 0.000 claims 1
- 230000008447 perception Effects 0.000 abstract description 7
- 238000009877 rendering Methods 0.000 abstract description 3
- 230000002085 persistent effect Effects 0.000 abstract 5
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 abstract 1
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 26
- 210000000162 simple eye Anatomy 0.000 description 15
- 230000000007 visual effect Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 9
- 239000007787 solid Substances 0.000 description 9
- 230000009977 dual effect Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000003068 static effect Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 3
- 208000003464 asthenopia Diseases 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 235000014510 cooky Nutrition 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本发明揭示用以选择性地将来自立体HMD的显示器图像的个别UI元素投影为单眼或立体图像的系统和方法。UI元素可经标记以用于在具有立体分离的情况下渲染为单眼图像或渲染为立体图像以产生深度的感知。将UI元素标记为单眼图像或立体图像可基于所述UI元素是否是持久性元素。持久性元素向用户呈现信息但并不需要所述用户的关注。持久性元素可渲染为单眼图像以允许所述用户聚焦于其它UI元素或聚焦于现实世界，同时维持由所述持久性元素呈现的信息的感知。相比而言，非持久性UI元素可需要所述用户的关注。非持久性UI元素可渲染为立体图像以供投影在特定深度平面处以吸引所述用户的关注。
Description
技术领域
本申请案大体涉及图像显示系统。特定来说，本申请案涉及用于在由用户穿戴的显示系统中显示图像的方法和系统。
背景技术
透视头戴式显示器(HMD)实现在安装在穿戴HMD的用户的眼睛前方几英寸处的显示媒体上显示计算机产生的图像。HMD可并入到由用户穿戴的一副眼镜或头盔中。用户可在对用户的现实世界的视场具有最小障碍的情况下检视视频，接收信息，且与显示器交互。HMD越来越多地在经扩增现实装置中出现。透视HMD可为单眼或立体的。单眼HMD显示显示器的单一图像。另一方面，立体HMD通过独立地投影对象的左眼和右眼图像以产生对用户的深度感知而立体地显示对象。左眼和右眼图像的立体分离可增加或减少以在特定深度平面处投影所述经数字投影的图像。
然而，穿戴HMD的用户可能经常聚焦于与当前显示的图像正投影于的深度平面不重合的深度平面上。当此发生时，左眼与右眼图像之间的眼分离伪影可能可感知，从而产生双重视觉效果。举例来说，如果例如用户接口(UI)元素等图像立体地投影在三英尺的深度平面处，但用户在步行时正聚焦在无限远处，那么UI元素可呈现为加倍且离焦。此双重视觉效果不仅不合意而且还可能产生视觉疲劳或疲乏，借此减损穿戴HMD的用户的总体体验。由此，需要一种解决方案来缓解当用户聚焦于与立体图像正投影于的深度平面不同的深度平面上时穿戴HMD的用户所体验的双重视觉效果。
发明内容
本发明揭示用以选择性地将来自立体HMD的显示器图像的个别UI元素投影为单眼或立体图像以缓解当穿戴HMD的用户聚焦于与立体图像正投影于的深度平面不同的深度平面上时所体验的双重视觉效果的系统和方法。来自立体HMD的显示器图像可包括个别用户接口(UI)元素。个别UI元素可经标记以用于仅针对用户的一只眼睛渲染以便产生UI元素的单眼图像。举例来说，被表征为持久性元素的UI元素可渲染为单眼图像。持久性UI元素是并不需要用户的关注但可显示给用户而不干扰用户保持移动和视情况察觉的需要的元素。持久性UI元素可包含例如当前时间、日期、HMD的电池电量等状态信息。因此，用户可到处走走且维持朝向中间距离或无限远聚焦的凝视，同时持久性UI元素渲染为单眼图像。因为单眼图像并不引入在立体图像的情况下所见的双重视觉效果，所以用户可保持聚焦在现实世界或聚焦在显示器的不同部分而不会眼疲乏。为进一步改进用户体验，用户可配置HMD以向用户主眼的显示单眼图像。
不被表征为持久性元素的UI元素可经标记以用于针对双眼渲染以便产生这些UI元素的立体图像。这些元素可需要用户的关注使得用户不可能越过所述元素查看而聚焦于不同深度平面。举例来说，用户将聚焦于的可导航UI元素、视频流或交互式元素可渲染为立体图像。HMD可同时显示针对持久性UI元素的单眼图像和针对其它元素的立体图像。HMD还可具有随着用户的环境或其中显示UI元素的情境改变而在将UI元素渲染为单眼图像或渲染为立体图像之间切换的灵活性。
本发明揭示一种用于显示针对HMD的图像的方法。所述方法包含从一应用针对所述图像产生UI元素。所述方法还包含基于UI元素是否需要穿戴HMD的用户的关注而将所述UI元素标记为非持久性元素或持久性元素。所述方法进一步包含基于UI元素标记为非持久性元素还是标记为持久性元素而将UI元素渲染为立体图像或渲染为单眼图像。
本发明揭示一种用于显示图像的设备。所述设备包含存储器，和读取所述存储器且经配置以显示所述图像的一或多个处理器。所述处理器经配置以产生针对图像的UI元素。所述处理器还经配置以检查与UI元素中的一者相关联的标记以确定所述UI元素标记为非持久性还是持久性元素。所述处理器进一步经配置以基于UI元素标记为非持久性元素还是标记为持久性元素而将UI元素渲染为立体图像或渲染为单眼图像。
本发明揭示一种存储机器可读指令以供由处理器执行的非暂时性计算机可读媒体。处理器读取所述指令以执行用于显示图像的步骤。所述指令包含用以针对图像产生UI元素的步骤。所述指令进一步包含用以检查与UI元素中的一者相关联的标记以确定所述UI元素标记为非持久性还是持久性元素的步骤。所述指令进一步包含用以基于UI元素标记为非持久性元素还是标记为持久性元素而将UI元素渲染为立体图像或渲染为单眼图像的步骤。
本发明揭示一种用于显示针对HMD的图像的系统。所述系统包含用于产生针对图像的UI元素的装置。所述系统包含用于检查与UI元素中的一者相关联的标记以确定所述UI元素标记为非持久性还是持久性元素的装置。所述系统进一步包含用于基于UI元素标记为非持久性元素还是标记为持久性元素而将UI元素渲染为立体图像或渲染为单眼图像的装置。
附图说明
图1展示根据本发明的标的物的一个实施例连接到计算机系统以显示图像的HMD；
图2A展示根据本发明的标的物的一个实施例一应用标记和渲染图像的UI元素的过程的流程图中的步骤；
图2B展示根据本发明的标的物的一个实施例HMD选择性地将UI元素显示为单眼或立体图像的过程的流程图中的步骤；
图3展示根据本发明的标的物的一个实施例针对用户的主右眼的HMD的显示的示范性视场；
图4展示根据本发明的标的物的一个实施例针对用户的左眼的HMD的显示的示范性视场；以及
图5为根据本发明的标的物的一个实施例适合于实施图1的计算装置或HMD的计算机系统的框图。
通过参考如下具体实施方式最佳理解本发明的实施例及其优点。应了解，相同参考标号用于识别图式中的一或多者中说明的相同元素。
具体实施方式
本发明揭示用以选择性地将来自立体HMD的显示器图像的个别UI元素投影为单眼或立体图像的系统和方法。UI元素可经标记以用于渲染为单眼图像-待投影为单一图像，或渲染为立体图像-待投影为具有立体分离的左眼和右眼图像以产生深度的感知。将UI元素标记为单眼图像还是立体图像可基于UI元素是否被表征为持久性元素。持久性元素向用户呈现信息但并不需要用户的关注。持久性元素可渲染为单眼图像以允许用户聚焦于其它UI元素或聚焦于现实世界，同时维持由持久性元素呈现的信息的感知。HMD可向用户的主眼显示单眼图像。另一方面，非持久性UI元素可需要用户的关注。非持久性UI元素可渲染为立体图像以供投影在特定深度平面处以吸引用户的关注。
在一个实施例中，在应用的开发时间执行所述应用的UI元素的标记。在一个实施例中，可在运行时间执行UI元素的标记，开发者在应用开发期间具有超驰运行时间标记的选择。与UI元素相关联的标记可为静态或动态。静态标记允许UI元素静态地渲染为单眼图像或立体图像。动态标记允许渲染UI元素以在单眼图像与立体图像之间切换。举例来说，新状态消息可初始地标记为非持久性UI以供显示为立体图像以引起用户的关注。在允许用户读取消息的某一时间周期之后，状态消息可标记为持久性UI以供显示为背景单眼图像。
有利地，通过同时针对持久性UI元素显示单眼图像和针对非持久性UI元素显示立体图像，穿戴HMD的用户可维持聚焦于现实世界或聚焦于深度平面处的立体图像而不会遭受由于其它立体图像投影在不同深度平面处而引入的双重视觉效果。
图1展示根据本发明的标的物的一个实施例连接到计算装置以显示图像的HMD。计算装置102可为智能电话(例如，iPhone、Google电话，或其它运行Android、WindowMobile或其它操作系统的电话)、平板计算机(例如，iPad、Galaxy)、个人数字助理(PDA)、笔记本计算机，或各种其它类型的无线或有线计算装置。应了解，计算装置102可被称为移动装置，而不脱离本发明的范围。计算装置102可经由网络102与HMD 104通信。
计算装置102可运行产生包括UI元素的显示器图像的应用。UI元素可包含应用图标、视频流、图像、交互式元素、消息、状态信息等。UI元素可在应用的开发期间已经标记以用于渲染为单眼或立体图像，且可经由网络106传递到HMD 108。在一或多个实施例中，计算装置102可在所述应用的运行时间期间静态地或动态地标记UI元素。在其它实施例中，可在所述应用的开发时间期间执行静态标记。动态标记可允许在运行时间期间由所述应用、由所配置的用户偏好或基于用户发布的命令动态地改变标记。在一或多个实施例中，UI元素可由HMD 104通过跟踪用户的眼睛而动态地标记。举例来说，HMD 104可在其确定用户的眼睛不再聚焦于所投影立体图像的深度平面上时将立体图像改变为单眼图像。标记可基于UI元素是持久性还是非持久性或基于UI元素的其它特性。在一或多个实施例中，可相同地标记特定类别或类型的UI元素。举例来说，图像的极小草图可默认地标记为单眼图像，且高分辨率图像可标记为立体图像。
HMD 104可并入到由计算装置102的用户穿戴的一副眼镜或头盔中。HMD 104能够将UI元素投影为仅到一只眼睛的单眼图像或投影为一对立体图像，其中所述立体对的每一图像投影到不同眼睛。也就是说，所述对立体图像可投影为左眼和右眼图像，所述图像之间具有立体分离以产生深度的感知。在一或多个实施例中，用户可配置HMD104的主眼设定以指定用以检视单眼图像的眼睛的偏好。用户可配置其它参数以指定可如何显示单眼或立体图像，例如立体对的左眼与右眼图像之间的立体分离。
HMD 104可接收来自计算装置102的经标记UI元素，且可相应地渲染所述UI元素。为渲染UI元素，HMD 104检查与UI元素相关联的标记。如果所述标记指示UI元素为持久性，那么HMD 104向HMD 104所选择的一只眼睛或向如用户配置的主眼将UI元素投影为单眼图像。如果标记指示UI元素为非持久性，那么HMD 104确定UI元素的两个立体图像之间的立体分离且投影所述立体图像。HMD 104检查当前显示器的所有UI元素的标记直至显示所有所述UI元素为止。如果UI元素的标记在应用运行时间期间改变，那么HMD 104可再渲染所述UI元素且可根据新标记投影UI元素。
穿戴HMD 104的用户可使用计算装置102作为用户接口以将命令提供到HMD 104。举例来说，用户可在计算装置102上运行一应用以配置用于单眼图像的显示的主眼设定、用于立体图像的显示的立体分离，或改变用于动态标记的UI元素的标记。用户还可使用计算装置102选择由HMD 104显示的图标，滚动穿过HMD 104显示的图像或文本，或以其它方式与HMD 104交互。
网络106可实施为单一网络或多个网络的组合。举例来说，在各种实施例中，网络106可包含因特网和/或一或多个内联网、无线网络(例如，蜂窝式、广域网(WAN)、WiFi热点、WiMax、个域网(PAN)、蓝牙等)、陆上线路网络和/或其它适当类型的通信网络。由此，在各种实施例中，计算装置102可与特定链路(例如，一链路，例如到IP(因特网协议)地址的URL(统一资源定位符))相关联。
虽然计算装置102展示为将经标记UI元素传递到HMD 104以供渲染，但应了解，UI元素的渲染可由计算装置102或由计算装置102和HMD 104组合执行。类似地，UI元素的运行时间标记可由HMD 104、计算装置102或其组合执行。还应理解，计算装置102的功能性可并入到HMD 104中使得用户可直接与HMD 104交互以键入命令而无计算装置102的辅助。
图2A展示根据本发明的标的物的一个实施例一应用标记和渲染图像的UI元素的过程的流程图中的步骤。在201中，一应用产生待在HMD 104上显示的图像的一或多个UI元素。UI元素可在所述应用的开发期间产生。举例来说，视频应用的开发者可产生图形图标或用户接口元素以供由用户操纵来检视视频。在一或多个实施例中，一应用可在所述应用的运行时间期间产生所述UI元素。举例来说，视频应用可当用户运行所述应用时显示视频剪辑。
在203中，所述应用或运行所述应用的计算装置102基于UI元素是否需要用户的关注而将来自图像的UI元素标记为持久性或非持久性元素。可在开发所述应用时或在执行所述应用时执行标记。并不需要用户的关注的UI元素可标记为持久性元素。需要用户的关注的UI元素可标记为非持久性元素。
在205中，显示装置基于所述标记将经标记UI元素渲染为立体图像或渲染为单眼图像。举例来说，如果UI元素标记为持久性元素，那么HMD 104可将所述UI元素渲染为单眼图像使得其不会干扰用户在其它地方的关注。另一方面，如果UI元素标记为非持久性元素，那么HMD 104可将所述UI元素渲染为立体图像以邀请用户的关注。
图2B展示根据本发明的标的物的一个实施例图1的HMD选择性地将UI元素显示为单眼或立体图像的过程的流程图中的步骤。在202中，用户使用计算装置102来配置针对HMD 104的主眼设定。用户可运行一应用以选择左眼或右眼作为用于检视单眼图像的优选眼睛。在一或多个实施例中，用户还可配置由HMD 104用于投影立体图像的左眼与右眼图像之间的立体分离。在一或多个实施例中，主眼和/或立体分离的配置可存储在HMD 104中使得用户仅需要执行此配置一次。
在204中，计算装置104或HMD 104产生待显示的UI元素的列表。UI元素可从在计算装置104上运行的移动应用或从在HMD 104上运行的主机应用产生。举例来说，UI元素可包含由在计算装置104上运行的应用或OS产生的应用图标、视频流、图像和/或交互式元素。UI元素还可包含来自在HMD 104上运行的应用或OS的消息、状态信息和/或交互式元素。UI元素将由HMD 104基于相关联标记显示为单眼图像或立体图像。
在一或多个实施例中，在产生UI元素的应用的开发时间期间标记所述UI元素。在一或多个实施例中，当显示来自应用的UI元素时由计算装置102或HMD 104在应用的运行时间期间标记所述UI元素。在一或多个实施例中，可在运行时间执行UI元素的标记，开发者在应用开发期间具有超驰运行时间标记的选择。UI元素的标记可基于UI元素是否被表征为持久性元素。持久性元素并不需要用户的关注使得其可渲染为单眼图像以允许用户聚焦于其它UI元素或聚焦于现实世界，同时维持由所述持久性元素呈现的信息的感知。非持久性UI元素需要用户的关注使得其可渲染为由立体分离确定的深度平面处的立体图像以供由用户聚焦检视。在一或多个实施例中，UI元素的标记可基于UI元素的类别或类型。举例来说，接收用户输入的UI元素可经标记用于渲染为立体图像，且并不接收用户输入的UI元素可经标记用于渲染为单眼图像。
在206中，HMD 104检查与每一UI元素相关联的标记以确定所述UI元素将显示为单眼图像还是立体图像。在208中，如果所述标记指示UI元素为非持久性，那么HMD104在两个图像之间具有立体分离的情况下将UI元素渲染为一对立体图像。HMD 104投影针对左眼的立体对的一个图像和针对右眼的另一图像以产生深度的错觉。所述立体分离可由用户、由开发者或应用的内容创建者配置，或可由HMD 104确定。
在210中，如果所述标记指示UI元素为持久性，那么HMD将UI元素渲染为单一图像。HMD 104将单眼图像投影到主眼。主眼可由用户配置或可由HMD 104确定。通过在相同视场中同时将持久性UI元素显示为单眼图像且将非持久性UI元素显示为立体图像，用户可维持聚焦于现实世界或聚焦于非持久性立体UI元素，而无由不同深度平面处的其它非持久性立体UI元素引入的双重视觉效果。在212中，HMD 104确定存在更多UI元素待显示。如果存在额外UI元素，那么HMD 104检查额外UI元素直至视场中的所有UI元素显示为单眼图像或立体图像为止。
在214中，计算装置102和/或HMD 104确定UI元素中的任一者是否需要动态地再标记。动态标记允许UI元素作为单眼图像或立体图像的显示在应用运行时间期间由所述应用、由所配置用户偏好或在用户发布命令后即刻动态地改变。在一或多个实施例中，UI元素的非持久性标记可具有持续时间。举例来说，新状态消息可初始地标记为非持久性UI以供显示为立体图像以引起用户的关注。可显示立体图像持续某一长度的持续时间以允许用户读取所述消息。在所述持续时间期满时，状态消息可标记为持久性UI以供显示为背景单眼图像。
在一或多个实施例中，HMD 104可跟踪用户的眼睛以动态地标记UI元素。举例来说，UI元素可初始地标记为非持久性元素以供渲染为立体图像。HMD 104可将UI元素的立体图像投影在特定深度平面处。如果HMD 104通过跟踪用户的眼睛检测到用户已将他的/她的关注从UI元素的深度平面转移到不同深度平面处的现实世界，那么HMD104可将UI元素的标记改变为针对HMD 104的持久性元素以将所述UI元素渲染和投影为单眼图像。当在稍后的时间HMD 104检测到用户已将他的她的关注从现实世界转移开时，HMD 104可将UI元素再标记回到非持久性元素以供渲染为立体图像。HMD 104可再次将UI元素的立体图像投影在原始深度平面处。在一或多个实施例中，如果用户希望在UI元素的单眼/立体图像之间切换，那么用户可命令HMD 104改变UI元素上的标记。
图3展示根据本发明的标的物的一个实施例针对用户的主右眼的图1的HMD的显示的示范性视场。图4展示根据本发明的标的物的一个实施例针对用户的左眼的相同显示的示范性视场。图3的显示300包含针对用户的主右眼显示为右上角上的单眼图像的第一单眼UI元素302和显示为右下角上的另一单眼图像的第二单眼UI元素304。单眼UI元素是持久性UI元素，当用户可能维持眼睛聚焦于显示器的不同部分上或现实世界上时，其可在背景中提供HMD 104的状态信息。举例来说，单眼UI元素可显示HMD 104的当前时间、日期或电池电量。
显示300还包含显示为立体图像对的右眼图像的三个应用图标306、308、310，以及靠近中心的视频流312。图4的显示400包含显示为立体图像对的左眼图像的应用图标406、408、410以及视频流412。用户可聚焦于投影为所述对右眼图像312和左眼图像412的立体视频流以检视串流视频。所述视频流为非持久性，因为在串流视频结束播放之后，其从显示300移除。类似地，用户可聚焦于投影为图像对306/406、308/408和310/410的立体应用图标以经由用户输入机制选择应用图标中的一者。在用户选择应用图标中的一者之后，可从显示300移除所述三个应用图标中的一或多者。通过以单眼和立体元素的组合显示UI元素，HMD 104允许用户聚焦于显示器的立体元素上或聚焦于现实世界上而用户不会经历来自单眼UI元素的双重视觉效果。
图5为根据本发明的标的物的一个实施例适合于实施图1的计算装置102或HMD104的计算机系统500的框图。在各种实施方案中，用户的计算装置102可包括能够与网络通信的个人计算装置(例如，智能电话、计算平板计算机、个人计算机、膝上型计算机、PDA、蓝牙装置、密钥FOB、标志等)。类似地，HMD 104可包括并入到一副眼镜或头盔中的个人计算装置。计算装置102或HMD 104可包括或实施操作以执行根据所描述实施例的各种方法的多个硬件组件和/或软件组件。示范性计算装置102或HMD 104可包含(例如)运行移动OS的独立和联网计算机。
计算机系统500包含总线502或用于在计算机系统500的各种组件之间传送信息数据、信号和信息的其它通信机制。组件包含输入/输出(I/O)组件504，其处理例如从虚拟小键盘/键盘选择按键、选择一或多个按钮或链路等用户动作，且将对应信号发送到总线502。I/O组件504还可包含：输出组件，例如安装在用户眼睛前方较短距离处的HMD 104的显示器511；和输入控制，例如光标控制件513(例如，虚拟键盘、虚拟小键盘、虚拟鼠标等)。还可包含任选音频输入/输出组件505以允许用户使用话音来输入信息(通过将音频信号转换为信息信号)。音频I/O组件505可允许用户听到音频。收发器或网络接口506经由到网络的通信链路518在计算机系统500与其它装置(例如，另一用户装置或另一网络计算装置)之间发射和接收信号。在一个实施例中，所述发射为无线的，但其它发射媒体和方法还可为合适的。可为微控制器、数字信号处理器(DSP)或其它处理组件的处理器512处理这些各种信号，例如以供在计算机系统500上显示或经由通信链路518发射到其它装置。处理器512还可控制信息(例如，cookie或IP地址)到其它装置的发射。
计算机系统500的组件还包含系统存储器组件514(例如，RAM)、静态存储组件516(例如，ROM)和/或磁盘驱动器517。计算机系统500通过执行系统存储器组件514中包含的指令的一或多个序列而执行处理器512和其它组件的特定操作。逻辑可在计算机可读媒体中编码，所述计算机可读媒体可指代参与将指令提供到处理器512以供执行的任何媒体。此媒体可以采用许多形式，包括但不限于非易失性媒体、易失性媒体，和发射媒体。在各种实施方案中，非易失性媒体包含光盘或磁盘或固态驱动器；易失性媒体包含动态存储器，例如系统存储器组件514；且发射媒体包含同轴电缆、铜线和光纤，包含包括总线502的电线。在一个实施例中，所述逻辑在非暂时性计算机可读媒体中编码。在一个实例中，发射媒体可呈例如在无线电波、光学和红外数据通信期间产生的声波或光波等声波或光波的形式。
在本发明的各种实施例中，可由计算机系统500执行用以实践本发明的指令序列的执行。在本发明的各种其它实施例中，由通信链路518耦合到网络(例如，比如LAN、WLAN、PTSN和/或各种其它有线或无线网络，包含电信、移动和蜂窝式电话网络)的多个计算机系统500可彼此协调执行指令序列以实践本发明。
由本发明提供的各种实施例可使用硬件、软件、固件或其组合实施。同样在适用的情况下，本文陈述的各种硬件组件、软件组件和/或固件组件可组合为包括软件、固件、硬件和/或全部的复合组件，而不脱离本发明的精神。在适用的情况下，本文陈述的各种硬件组件、软件组件和/或固件组件可分成包括软件、固件、硬件或全部的子组件，而不脱离本发明的精神。此外，在适用的情况下，预期软件组件可实施为硬件组件，且反之亦然。在适用的情况下，本文中所描述的各种步骤的排序可改变、组合为复合步骤，和/或分成子步骤以提供本文中所描述的特征。
尽管已经描述本发明的实施例，但这些实施例说明但并不限制本发明。举例来说，尽管说明为使用与HMD 104通信的计算装置102进行HMD104的UI元素的标记、渲染和投影，但本发明的实施例可涵盖并入有计算装置102的功能性的HMD 104。还应了解，本发明的实施例不应限于这些实施例，而是所属领域的一般技术人员可根据本发明的原理作出大量修改和变化且所述修改和变化包含在为如本文所主张的本发明的精神和范围内。
Claims (51)
1.一种用于显示针对头戴式显示器HMD的图像的方法，其包括：
从一应用针对所述图像产生一或多个用户接口UI元素；
基于UI元素是否需要用户的关注而将所述UI元素标记为非持久性元素或标记为持久性元素；以及
基于所述UI元素标记为非持久性元素还是标记为持久性元素而将所述UI元素渲染为立体图像或渲染为单眼图像。
2.根据权利要求1所述的方法，其中所述将UI元素标记为非持久性元素或标记为持久性元素包括在所述UI元素需要所述用户的关注的情况下将所述UI元素标记为非持久性元素。
3.根据权利要求1所述的方法，其中所述将UI元素标记为非持久性元素或标记为持久性元素包括在所述UI元素并不需要所述用户的关注的情况下将所述UI元素标记为持久性元素。
4.根据权利要求1所述的方法，其中所述将所述UI元素渲染为立体图像或渲染为单眼图像包括在所述UI元素标记为非持久性元素的情况下将所述UI元素渲染为立体图像。
5.根据权利要求4所述的方法，其中所述将所述UI元素渲染为立体图像包括产生所述UI元素的两个图像，其中所述两个图像通过立体分离而分离。
6.根据权利要求1所述的方法，其中所述将所述UI元素渲染为立体图像或渲染为单眼图像包括在所述元素标记为持久性元素的情况下将所述UI元素渲染为单眼图像。
7.根据权利要求1所述的方法，其进一步包括：
在所述UI元素标记为持久性元素的情况下针对所述用户的一只眼睛投影所述UI元素的所述单眼图像。
8.根据权利要求7所述的方法，其进一步包括针对所述用户的主眼配置所述HMD，且其中所述投影所述UI元素的所述单眼图像包括针对所述用户的所述主眼投影所述单眼图像。
9.根据权利要求7所述的方法，其进一步包括针对所述图像的每一UI元素重复所述标记、渲染和投影。
10.根据权利要求9所述的方法，其进一步包括同时在所述图像中投影至少一个单眼图像和至少一对立体图像。
11.根据权利要求1所述的方法，其进一步包括：
在所述UI元素标记为非持久性元素的情况下针对所述用户的两只眼睛投影所述UI元素的所述立体图像。
12.根据权利要求1所述的方法，其中在产生所述UI元素的所述应用的开发时间期间执行所述标记。
13.根据权利要求1所述的方法，其中当所述用户运行产生所述UI元素的所述应用时执行所述标记。
14.根据权利要求1所述的方法，其进一步包括：再标记所述UI元素以将所述UI元素从所述持久性元素改变为所述非持久性元素且反之亦然，以及基于所述再标记渲染所述UI元素。
15.根据权利要求1所述的方法，其中如果所述UI元素包括所述HMD的状态信息，那么所述标记包括将所述UI元素标记为持久性元素。
16.根据权利要求1所述的方法，其中如果所述UI元素包括针对所述用户的交互式元素，那么所述标记包括将所述UI元素标记为非持久性元素。
17.一种设备，其包括：
存储器；以及
一或多个处理器，其耦合到所述存储器且经配置以：
针对图像产生一或多个用户接口UI元素；
检查与UI元素相关联的标记；以及
基于所述UI元素标记为非持久性元素还是标记为持久性元素而将所述UI元素渲染为立体图像或渲染为单眼图像。
18.根据权利要求17所述的设备，其中所述一或多个处理器经配置以通过进一步经配置以在所述UI元素标记为非持久性元素的情况下将所述UI元素渲染为立体图像而渲染所述UI元素。
19.根据权利要求18所述的设备，其中所述一或多个处理器经配置以通过进一步经配置以产生所述UI元素的两个图像而将所述UI元素渲染为立体图像，其中所述两个图像通过立体分离而分离。
20.根据权利要求17所述的设备，其中所述一或多个处理器经配置以通过进一步经配置以在所述元素标记为持久性元素的情况下将所述UI元素渲染为单眼图像而渲染所述UI元素。
21.根据权利要求17所述的设备，其进一步包括显示媒体，且其中所述一或多个处理器进一步经配置以将所述立体图像或所述单眼图像投影在所述显示媒体上。
22.根据权利要求21所述的设备，其中所述一或多个处理器经配置以通过进一步经配置以针对用户的两只眼睛投影所述立体图像而投影所述立体图像或所述单眼图像。
23.根据权利要求21所述的设备，其中所述一或多个处理器经配置以通过进一步经配置以针对用户的一只眼睛投影所述单眼图像而投影所述立体图像或所述单眼图像。
24.根据权利要求23所述的设备，其中所述一或多个处理器进一步经配置以接收针对所述用户的主眼的设定。
25.根据权利要求24所述的设备，其中所述一或多个处理器经配置以通过进一步经配置以针对所述主眼投影所述单眼图像而针对所述用户的一只眼睛投影所述单眼图像。
26.根据权利要求21所述的设备，其中所述一或多个处理器进一步经配置以检查与所述图像的UI元素中的每一者相关联的标记，将所述UI元素中的每一者渲染为立体图像或渲染为单眼图像，且将所述UI元素中的每一者的所述立体图像或所述单眼图像投影在所述显示媒体上。
27.根据权利要求26所述的设备，其中所述图像包括至少一个单眼图像和至少一对立体图像。
28.根据权利要求21所述的设备，其中所述一或多个处理器进一步经配置以检查与所述UI元素相关联的所述标记以检测所述标记是否改变，基于改变的标记将所述UI元素渲染为立体图像或渲染为单眼图像，且基于所述改变的标记将所述立体图像或所述单眼图像投影在所述显示媒体上。
29.根据权利要求17所述的设备，其中如果所述UI元素包括所述HMD的状态信息，那么所述UI元素标记为持久性元素。
30.一种非暂时性计算机可读媒体，其包括多个机器可读指令，所述机器可读指令在由一或多个处理器执行时适于致使所述一或多个处理器执行一种方法，所述方法包括：
针对图像产生一或多个用户接口UI元素；
检查与UI元素相关联的标记；以及
基于所述UI元素标记为非持久性元素还是标记为持久性元素而将所述UI元素渲染为立体图像或渲染为单眼图像。
31.根据权利要求30所述的非暂时性计算机可读媒体，其中所述将所述UI元素渲染为立体图像或渲染为单眼图像包括在所述UI元素标记为非持久性元素的情况下将所述UI元素渲染为立体图像。
32.根据权利要求31所述的非暂时性计算机可读媒体，其中所述将所述UI元素渲染为立体图像包括产生所述UI元素的两个图像，其中所述两个图像通过立体分离而分离。
33.根据权利要求30所述的非暂时性计算机可读媒体，其中所述将所述UI元素渲染为立体图像或渲染为单眼图像包括在所述元素标记为持久性元素的情况下将所述UI元素渲染为单眼图像。
34.根据权利要求30所述的非暂时性计算机可读媒体，其中所述方法进一步包括投影所述立体图像或所述单眼图像。
35.根据权利要求34所述的非暂时性计算机可读媒体，其中所述投影所述立体图像或所述单眼图像包括针对用户的两只眼睛投影所述立体图像。
36.根据权利要求34所述的非暂时性计算机可读媒体，其中所述投影所述立体图像或所述单眼图像包括针对用户的一只眼睛投影所述单眼图像。
37.根据权利要求36所述的非暂时性计算机可读媒体，其中所述针对所述用户的一只眼睛投影所述单眼图像包括针对所述用户的主眼投影所述单眼图像。
38.根据权利要求34所述的非暂时性计算机可读媒体，其中所述方法进一步包括检查与所述UI元素相关联的所述标记以检测所述标记是否改变，基于改变的标记将所述UI元素渲染为立体图像或渲染为单眼图像，以及基于所述改变的标记投影所述立体图像或所述单眼图像。
39.根据权利要求34所述的非暂时性计算机可读媒体，其中所述方法进一步包括针对所述图像的每一元素重复所述检查、渲染和投影。
40.根据权利要求39所述的非暂时性计算机可读媒体，其中所述图像包括至少一个单眼图像和至少一对立体图像。
41.一种用于显示针对头戴式显示器HMD的图像的系统，其包括：
用于针对所述图像产生一或多个用户接口UI元素的装置；
用于检查与UI元素相关联的标记的装置；以及
用于基于所述UI元素标记为非持久性元素还是标记为持久性元素而将所述UI元素渲染为立体图像或渲染为单眼图像的装置。
42.根据权利要求41所述的系统，其中所述用于将所述UI元素渲染为立体图像或渲染为单眼图像的装置包括用于在所述UI元素标记为非持久性元素的情况下将所述UI元素渲染为立体图像的装置。
43.根据权利要求42所述的系统，其中所述用于将所述UI元素渲染为立体图像的装置包括用于产生所述UI元素的两个图像的装置，其中所述两个图像通过立体分离而分离。
44.根据权利要求41所述的系统，其中所述用于将所述UI元素渲染为立体图像或渲染为单眼图像的装置包括用于在所述元素标记为持久性元素的情况下将所述UI元素渲染为单眼图像的装置。
45.根据权利要求41所述的系统，其进一步包括用于投影所述立体图像或所述单眼图像的装置。
46.根据权利要求45所述的系统，其中所述用于投影所述立体图像或所述单眼图像的装置包括用于针对用户的两只眼睛投影所述UI元素的所述立体图像的装置。
47.根据权利要求45所述的系统，其中所述用于投影所述立体图像或所述单眼图像的装置包括用于针对用户的一只眼睛投影所述UI元素的所述单眼图像的装置。
48.根据权利要求47所述的系统，其进一步包括用于针对所述用户的主眼配置所述HMD的装置，且其中所述用于投影所述UI元素的所述单眼图像的装置包括用于针对所述用户的所述主眼投影所述单眼图像的装置。
49.根据权利要求45所述的系统，其进一步包括用于检查与所述UI元素相关联的所述标记以检测所述标记是否改变的装置，且其中所述用于渲染的装置包括用于基于改变的标记将所述UI元素渲染为立体图像或渲染为单眼图像的装置，且所述用于投影的装置包括用于基于所述改变的标记投影所述立体图像或所述单眼图像的装置。
50.根据权利要求45所述的系统，其中所述用于检查的装置包括用于检查与所述图像的所述UI元素中的每一者相关联的标记的装置，其中所述用于渲染的装置包括用于将所述UI元素中的每一者渲染为立体图像或渲染为单眼图像的装置，且其中所述用于投影的装置包括用于针对所述UI元素中的每一者投影所述立体图像或所述单眼图像的装置。
51.根据权利要求50所述的系统，其中所述图像包括至少一个单眼图像和至少一对立体图像。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/833,019 US9239661B2 (en) | 2013-03-15 | 2013-03-15 | Methods and apparatus for displaying images on a head mounted display |
| US13/833,019 | 2013-03-15 | ||
| PCT/US2014/026118 WO2014151622A1 (en) | 2013-03-15 | 2014-03-13 | Methods and apparatus for displaying images on a head mounted display |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105026981A true CN105026981A (zh) | 2015-11-04 |
| CN105026981B CN105026981B (zh) | 2017-09-08 |
Family
ID=50442713
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201480012573.4A Active CN105026981B (zh) | 2013-03-15 | 2014-03-13 | 用于在头戴式显示器上显示图像的方法和设备 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9239661B2 (zh) |
| EP (1) | EP2972559B1 (zh) |
| JP (1) | JP6273347B2 (zh) |
| CN (1) | CN105026981B (zh) |
| WO (1) | WO2014151622A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109891881A (zh) * | 2016-10-26 | 2019-06-14 | 三星电子株式会社 | 电子设备及其显示方法 |
| CN111656776A (zh) * | 2018-01-30 | 2020-09-11 | 索尼公司 | 图像处理器、图像处理方法和程序 |
| CN111857336A (zh) * | 2020-07-10 | 2020-10-30 | 歌尔科技有限公司 | 头戴式设备及其渲染方法、存储介质 |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201310368D0 (en) * | 2013-06-11 | 2013-07-24 | Sony Comp Entertainment Europe | Head-mountable apparatus and systems |
| KR102135353B1 (ko) * | 2013-08-30 | 2020-07-17 | 엘지전자 주식회사 | 시계형 단말기와 이를 포함하는 시스템 |
| US10740979B2 (en) | 2013-10-02 | 2020-08-11 | Atheer, Inc. | Method and apparatus for multiple mode interface |
| US10163264B2 (en) | 2013-10-02 | 2018-12-25 | Atheer, Inc. | Method and apparatus for multiple mode interface |
| US10339933B2 (en) * | 2016-05-11 | 2019-07-02 | International Business Machines Corporation | Visualization of audio announcements using augmented reality |
| US10936872B2 (en) | 2016-12-23 | 2021-03-02 | Realwear, Inc. | Hands-free contextually aware object interaction for wearable display |
| US11507216B2 (en) | 2016-12-23 | 2022-11-22 | Realwear, Inc. | Customizing user interfaces of binary applications |
| US10620910B2 (en) | 2016-12-23 | 2020-04-14 | Realwear, Inc. | Hands-free navigation of touch-based operating systems |
| US11099716B2 (en) | 2016-12-23 | 2021-08-24 | Realwear, Inc. | Context based content navigation for wearable display |
| JP2018137505A (ja) * | 2017-02-20 | 2018-08-30 | セイコーエプソン株式会社 | 表示装置およびその制御方法 |
| US11276375B2 (en) * | 2017-05-23 | 2022-03-15 | Pcms Holdings, Inc. | System and method for prioritizing AR information based on persistence of real-life objects in the user's view |
| US10748244B2 (en) * | 2017-06-09 | 2020-08-18 | Samsung Electronics Co., Ltd. | Systems and methods for stereo content detection |
| US11282133B2 (en) | 2017-11-21 | 2022-03-22 | International Business Machines Corporation | Augmented reality product comparison |
| US10586360B2 (en) | 2017-11-21 | 2020-03-10 | International Business Machines Corporation | Changing view order of augmented reality objects based on user gaze |
| US11816886B1 (en) * | 2018-06-28 | 2023-11-14 | Meta Platforms Technologies, Llc | Apparatus, system, and method for machine perception |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030063132A1 (en) * | 2001-08-16 | 2003-04-03 | Frank Sauer | User interface for augmented and virtual reality systems |
| JP2009123042A (ja) * | 2007-11-16 | 2009-06-04 | Nikon Corp | 制御装置、及びヘッドマウントディスプレイ装置 |
| EP2107414A1 (en) * | 2008-03-31 | 2009-10-07 | Brother Kogyo Kabushiki Kaisha | Head mount display and head mount display system |
| JP2010145861A (ja) * | 2008-12-19 | 2010-07-01 | Brother Ind Ltd | ヘッドマウントディスプレイ |
| CN104170003A (zh) * | 2012-03-27 | 2014-11-26 | 索尼公司 | 用于提供交互信息的方法和系统 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7379077B2 (en) | 2001-08-23 | 2008-05-27 | Siemens Corporate Research, Inc. | Augmented and virtual reality guided instrument positioning using along-the-line-of-sight alignment |
| JP4638784B2 (ja) | 2005-07-19 | 2011-02-23 | オリンパスイメージング株式会社 | 画像出力装置及びプログラム |
| JP4638783B2 (ja) | 2005-07-19 | 2011-02-23 | オリンパスイメージング株式会社 | ３ｄ画像ファイルの生成装置、撮像装置、画像再生装置、画像加工装置、及び３ｄ画像ファイルの生成方法 |
| US20100053069A1 (en) | 2008-08-26 | 2010-03-04 | Symbol Technologies, Inc. | Mobile computing system facilitating adaptive display of content among a plurality of display components including at least one virtual image display component |
| US8641621B2 (en) | 2009-02-17 | 2014-02-04 | Inneroptic Technology, Inc. | Systems, methods, apparatuses, and computer-readable media for image management in image-guided medical procedures |
| WO2011004963A2 (en) * | 2009-07-07 | 2011-01-13 | Lg Electronics Inc. | Method for displaying three-dimensional user interface |
| KR101719979B1 (ko) * | 2010-02-05 | 2017-03-27 | 엘지전자 주식회사 | Ｕｉ 제공 방법 및 디지털 방송 수신기 |
| US20110216173A1 (en) | 2010-03-02 | 2011-09-08 | Comcast Cable Communications, Llc | Impairments To 3D Experiences |
| US8184068B1 (en) | 2010-11-08 | 2012-05-22 | Google Inc. | Processing objects for separate eye displays |
| KR101727899B1 (ko) * | 2010-11-26 | 2017-04-18 | 엘지전자 주식회사 | 휴대 단말기 및 그 동작 제어방법 |
| JP2012211959A (ja) * | 2011-03-30 | 2012-11-01 | Brother Ind Ltd | ヘッドマウントディスプレイ |
| US9389420B2 (en) | 2012-06-14 | 2016-07-12 | Qualcomm Incorporated | User interface interaction for transparent head-mounted displays |
| JP6040715B2 (ja) * | 2012-11-06 | 2016-12-07 | ソニー株式会社 | 画像表示装置及び画像表示方法、並びにコンピューター・プログラム |
-
2013
- 2013-03-15 US US13/833,019 patent/US9239661B2/en active Active
-
2014
- 2014-03-13 WO PCT/US2014/026118 patent/WO2014151622A1/en active Application Filing
- 2014-03-13 EP EP14716169.9A patent/EP2972559B1/en active Active
- 2014-03-13 CN CN201480012573.4A patent/CN105026981B/zh active Active
- 2014-03-13 JP JP2016502058A patent/JP6273347B2/ja not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030063132A1 (en) * | 2001-08-16 | 2003-04-03 | Frank Sauer | User interface for augmented and virtual reality systems |
| JP2009123042A (ja) * | 2007-11-16 | 2009-06-04 | Nikon Corp | 制御装置、及びヘッドマウントディスプレイ装置 |
| EP2107414A1 (en) * | 2008-03-31 | 2009-10-07 | Brother Kogyo Kabushiki Kaisha | Head mount display and head mount display system |
| JP2010145861A (ja) * | 2008-12-19 | 2010-07-01 | Brother Ind Ltd | ヘッドマウントディスプレイ |
| CN104170003A (zh) * | 2012-03-27 | 2014-11-26 | 索尼公司 | 用于提供交互信息的方法和系统 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109891881A (zh) * | 2016-10-26 | 2019-06-14 | 三星电子株式会社 | 电子设备及其显示方法 |
| CN111656776A (zh) * | 2018-01-30 | 2020-09-11 | 索尼公司 | 图像处理器、图像处理方法和程序 |
| US11386527B2 (en) | 2018-01-30 | 2022-07-12 | Sony Corporation | Image processor and imaging processing method |
| CN111857336A (zh) * | 2020-07-10 | 2020-10-30 | 歌尔科技有限公司 | 头戴式设备及其渲染方法、存储介质 |
| CN111857336B (zh) * | 2020-07-10 | 2022-03-25 | 歌尔科技有限公司 | 头戴式设备及其渲染方法、存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2972559B1 (en) | 2017-12-13 |
| WO2014151622A1 (en) | 2014-09-25 |
| US9239661B2 (en) | 2016-01-19 |
| US20140282144A1 (en) | 2014-09-18 |
| CN105026981B (zh) | 2017-09-08 |
| JP6273347B2 (ja) | 2018-01-31 |
| EP2972559A1 (en) | 2016-01-20 |
| JP2016517089A (ja) | 2016-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105026981A (zh) | 用于在头戴式显示器上显示图像的方法和设备 | |
| Balakrishnan et al. | Interaction of spatial computing in augmented reality | |
| US11734959B2 (en) | Activating hands-free mode on mirroring device | |
| US11233952B2 (en) | Selective identification and order of image modifiers | |
| KR102387861B1 (ko) | 전자 메시징 애플리케이션들을 위한 그래픽 렌더링 | |
| US11231827B2 (en) | Computing device and extended reality integration | |
| KR20210020967A (ko) | 2d/3d 혼합 콘텐츠의 검출 및 디스플레이 | |
| KR102577968B1 (ko) | 증강 현실 객체 조작 | |
| JP2019121362A (ja) | 拡張現実感における物理オブジェクトと仮想オブジェクトの結びつけ | |
| JP6782846B2 (ja) | 仮想現実におけるオブジェクトの共同操作 | |
| WO2017053625A1 (en) | Mapping of user interaction within a virtual-reality environment | |
| KR20180075931A (ko) | 온라인 게임 내에서 아이템 추천 서비스를 제공하는 방법 및 그 장치 | |
| US11402964B1 (en) | Integrating artificial reality and other computing devices | |
| Akkil et al. | I see what you see: gaze awareness in mobile video collaboration | |
| CN112105983A (zh) | 增强的视觉能力 | |
| CN112020731A (zh) | 3d模型的多设备编辑 | |
| WO2022140113A1 (en) | Conversation interface on an eyewear device | |
| Patil et al. | Accelerating extended reality vision with 5g networks | |
| US11863596B2 (en) | Shared augmented reality session creation | |
| KR102174569B1 (ko) | 증강현실 기반 정보 제공 방법 | |
| Derby | Designing Tomorrow's Reality: The Development and Validation of an Augmented and Mixed Reality Heuristic Checklist | |
| EP3226115B1 (en) | Visual indicator | |
| WO2022246373A1 (en) | Hardware encoder for stereo stitching | |
| IT202100027011A1 (it) | Sistema per la realizzazione e la fruizione di contenuti in realtà aumentata | |
| Hadzovic et al. | Ubiquitous Computing in a Home Environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |