CN107710108A - 内容浏览 - Google Patents

内容浏览 Download PDF

Info

Publication number
CN107710108A
CN107710108A CN201680039383.0A CN201680039383A CN107710108A CN 107710108 A CN107710108 A CN 107710108A CN 201680039383 A CN201680039383 A CN 201680039383A CN 107710108 A CN107710108 A CN 107710108A
Authority
CN
China
Prior art keywords
menu item
panorama
panorama menu
user
mediation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680039383.0A
Other languages
English (en)
Other versions
CN107710108B (zh
Inventor
J·勒帕南
A·埃罗南
A·勒蒂涅米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN107710108A publication Critical patent/CN107710108A/zh
Application granted granted Critical
Publication of CN107710108B publication Critical patent/CN107710108B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/0044—Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442—Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • H04N1/00453—Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails arranged in a two dimensional array
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供了一种方法、装置和计算机程序。该方法包括：引起全景菜单的显示，第一全景菜单项和第二全景菜单项在该全景菜单中被同时显示，其中第一全景菜单项延伸超出用户的视场并且与第一介导现实内容相关联，并且第二全景菜单项延伸超出用户的视场并且与不同于第一介导现实内容的第二介导现实内容相关联。

Description

内容浏览
技术领域
本发明的实施例涉及内容浏览。具体地，它们涉及浏览介导现实(mediatedreality)内容。
背景技术
介导现实是指用户体验完全或部分人造/虚拟的环境。
增强现实是用户体验部分人造/虚拟部分真实环境的一种形式的介导现实。虚拟现实是用户体验完全人造/虚拟环境的一种形式的介导现实。
发明内容
根据本发明的各种但不一定是全部的实施例，提供了一种方法，其包括：引起全景菜单的显示，第一全景菜单项和第二全景菜单项在全景菜单中被同时显示，其中第一全景菜单项延伸超出用户的视场并且与第一介导现实内容相关联，并且第二全景菜单项延伸超出用户的视场并且与不同于第一介导现实内容的第二介导现实内容相关联。
根据本发明的各种但不一定是全部的实施例，提供了一种计算机程序代码，该计算机程序代码当由至少一个处理器执行时引起至少执行以下步骤：引起全景菜单的显示，第一全景菜单项和第二全景菜单项在该全景菜单中被同时显示，其中第一全景菜单项延伸超出用户的视场并且与第一介导现实内容相关联，并且第二全景菜单项延伸超出用户的视场并且与不同于第一介导现实内容的第二介导现实内容相关联。
根据本发明的各种但不一定是全部的实施例，提供了一种装置，其包括：用于引起全景菜单的显示的部件，第一全景菜单项和第二全景菜单项在该全景菜单中被同时显示，其中第一全景菜单项超出用户的视场并且与第一介导现实内容相关联，并且第二全景菜单项延伸超出用户的视场并且与不同于第一介导现实内容的第二介导现实内容相关联。
根据本发明的各种但不一定是全部的实施例，提供了一种装置，其包括：至少一个处理器；以及存储计算机程序代码的至少一个存储器，计算机程序代码被配置为与至少一个处理器一起工作以使得装置至少执行：引起全景菜单的显示，第一全景菜单项和第二全景菜单项在该全景菜单中被同时显示，其中第一全景菜单项延伸超出用户的视场并且与第一介导现实内容相关联，并且第二全景菜单项延伸超出用户的视场并且与不同于第一介导现实内容的第二介导现实内容相关联。
根据本发明的各种但不一定是全部的实施例，提供了如所附权利要求中所要求保护的示例。
附图说明
为了更好地理解对于理解详细描述有用的各种示例，现在将仅以示例的方式参考附图，在附图中：
图1A-1C和2A-2C示出了介导现实的示例，其中图1A、1B、1C示出了相同的虚拟空间和不同的视点，并且图2A、2B、2C示出了从各个视点的角度来看的虚拟场景；
图3A示出了真实空间的示例，并且图3B示出了与图1B的虚拟场景部分对应的真实场景的示例；
图4示出了可操作以实现介导现实和/或增强现实和/或虚拟现实的装置的示例；
图5示出了用于实现介导现实和/或增强现实和/或虚拟现实的方法的示例；
图6示出了用于更新增强现实的虚拟空间的模型的方法的示例；
图7示出了使得能够向用户显示虚拟场景的至少部分的装置的示例；
图8A示出了提供和重新布置全景菜单的第一方法；
图8B示出了提供和重新布置全景菜单的第二方法；
图9示出了用户查看介导现实内容；
图10示出了在介导现实内容中确定感兴趣对象；
图11示出了用户查看包括多个全景菜单项的全景菜单；
图12示出了在基于所确定的感兴趣对象重新布置全景菜单中的全景菜单项之后的全景菜单；
图13示出了用户在全景菜单被重新布置之后浏览全景菜单。
图14示出了与所选择的全景菜单项相关联的正在被显示的介导现实内容；
图15示出了返回到全景菜单；
图16示出了另外的感兴趣对象的确定；以及
图17和18示出了基于所确定的另外的感兴趣对象重新布置全景菜单中的全景菜单项。
具体实施方式
本发明的实施例涉及内容浏览。具体地，它们涉及在介导现实环境中提供全景菜单。
在本发明的实施例中，显示全景菜单，其包括延伸超出用户的视场的至少第一和第二全景菜单项。第一全景菜单项与第一介导现实内容相关联，并且第二菜单项与第二介导现实内容相关联。
全景菜单可以基于已标识的感兴趣对象而被重新布置。
全景菜单提供浏览和选择介导现实内容的特别高效直观的方式，并且在下面进一步详细描述。
定义
在本文档中，以下定义适用：
“视场”是指在特定时刻对用户可见的可观察世界的范围；
“虚拟空间”是指完全或部分人造的环境，其可以是三维的；
“虚拟场景”是指从虚拟空间内的特定视点查看的虚拟空间的表示；
“真实空间”是指真实环境，其可以是三维的；
“真实场景”是指从真实空间内的特定视点查看的真实空间的表示；
本文档中的“介导现实”是指用户在视觉上体验完全或部分人造的环境(虚拟空间)以作为由计算机向用户至少部分显示的虚拟场景。虚拟场景由虚拟空间内的视点和视场确定。显示虚拟场景表示以用户可以看见的形式来提供该虚拟场景；
“介导现实内容”是使得用户能够在视觉上体验完全或部分人造的环境(虚拟空间)以作为虚拟场景的内容。介导现实内容可以包括诸如视频游戏的交互式内容或者诸如运动视频的非交互式内容；
本文档中的“增强现实”是指用户在视觉上体验部分人造的环境(虚拟空间)以作为虚拟场景的一种形式的介导现实，该虚拟场景包括由装置向用户显示的由一个或多个视觉元素补充的物理真实世界环境(真实空间)的真实场景；
“增强现实内容”是使得用户能够在视觉上体验部分人造的环境(虚拟空间)以作为虚拟场景的一种形式的介导现实内容。增强现实内容可以包括诸如视频游戏的交互式内容或者诸如运动视频的非交互式内容；
本文档中的“虚拟现实”是指用户在视觉上体验完全人造的环境(虚拟空间)以作为由装置向用户显示的虚拟场景的一种形式的介导现实；
“虚拟现实内容”是使得用户能够在视觉上体验完全人造的环境(虚拟空间)以作为虚拟场景的一种形式的介导现实内容。虚拟现实内容可以包括诸如视频游戏的交互式内容或者诸如运动视频的非交互式内容；
应用于介导现实、增强现实或虚拟现实的“视角介导”表示用户动作确定虚拟空间内的视点、改变虚拟场景；
应用于介导现实、增强现实或虚拟现实的“第一人称视角介导”表示以用户的真实视点确定虚拟空间内的视点的附加约束来介导的视角；
应用于介导现实、增强现实或虚拟现实的“用户交互式介导”表示用户动作至少部分确定在虚拟空间内发生的事情；以及
“显示”表示以用户在视觉上感知的形式提供。
详细说明
图1A-1C和2A-2C示出了介导现实的示例。介导现实可以是增强现实或虚拟现实。
图1A、1B、1C示出了包括相同虚拟对象21的相同虚拟空间20，然而，每个图示出了不同的视点24。视点24的位置和方向可以独立地改变。视点24的方向(但不是位置)从图1A到图1B发生变化。视点24的方向和位置从图1B到图1C发生变化。
图2A、2B、2C示出了从各个图1A、1B、1C的不同视点24的角度来看的虚拟场景22。虚拟场景22由虚拟空间20内的视点24和视场26确定。虚拟场景22被至少部分地显示给用户。
所示出的虚拟场景22可以是介导现实场景、虚拟现实场景或增强现实场景。虚拟现实场景显示完全人造的虚拟空间20。增强现实场景显示部分人造部分真实的虚拟空间20。
介导现实、增强现实或虚拟现实可以是用户交互式介导的。在这种情况下，用户动作至少部分确定在虚拟空间20内发生了什么。这可以实现与虚拟空间20内的虚拟对象21(诸如视觉元素28)的交互。
介导现实、增强现实或虚拟现实可以是视角介导的。在这种情况下，用户动作确定虚拟空间20内的视点24、改变虚拟场景22。例如，如图1A、1B、1C所示，视点24在虚拟空间20内的位置23可以被改变，和/或视点24在虚拟空间20内的方向或方位25可以被改变。如果虚拟空间20是三维的，则视点24的位置23具有三个自由度，例如上/下、前/后、左/右，并且视点24在虚拟空间20内的方向25具有三个自由度，例如滚动、俯仰、偏航。视点24可以在位置23和/或方向25上连续可变，并且用户动作因此连续地改变视点24的位置和/或方向。或者，视点24可以具有离散量化位置23和/或离散量化方向25，并且用户动作通过在视点24的允许位置23和/或方向25之间离散地跳跃来切换。
图3A示出了与图1A的虚拟空间20部分对应的、包括真实对象11的真实空间10。在该示例中，真实空间10中的每个真实对象11在虚拟空间20中具有相应的虚拟对象21，但是虚拟空间20中的每个虚拟对象21在真实空间10中不具有相应的真实对象11。在该示例中，虚拟对象21之一(计算机生成的视觉元素28)是在真实空间10中不具有相应的真实对象11的人造的虚拟对象21。
在真实空间10与虚拟空间20之间存在线性映射，并且在真实空间10中的每个真实对象11与其相应的虚拟对象21之间存在相同的映射。真实空间10中的真实对象11的相对关系因此与虚拟空间20中的相应的虚拟对象21之间的相对关系相同。
图3B示出了与图1B的虚拟场景22部分对应的真实场景12，其包括真实对象11而不是人造的虚拟对象。真实场景是从与图1A的虚拟空间20中的视点24相对应的视角来看的。真实场景12内容由该相应的视点24和视场26确定。
图2A可以是图3B中所示的真实场景12的增强现实版本的图示。虚拟场景22包括由装置向用户显示的一个或多个视觉元素28补充的真实空间10的真实场景12。视觉元素28可以是计算机生成的视觉元素。在透视布置中，虚拟场景22包括通过补充视觉元素28的显示看到的实际真实场景12。在观看视频布置中，虚拟场景22包括显示的真实场景12和显示的补充视觉元素28。显示的真实场景12可以基于来自单个视点24的图像或者同时来自不同视点24的多个图像，其被处理以生成来自单个视点24的图像。
图4示出了可操作以实现介导现实和/或增强现实和/或虚拟现实的装置30的示例。
装置30包括显示器32，该显示器32用于以由用户在视觉上感知的形式来向用户提供虚拟场景22的至少部分。显示器32可以是视觉显示器，该的视觉显示器提供向用户显示虚拟场景22的至少部分的光。视觉显示器的示例包括：液晶显示器，有机发光显示器，发射式、反射式、透射式和透反式显示器、直接视网膜投影显示器、近眼显示器等。
显示器32在这个示例中但不一定是全部的示例中由控制器42控制。
控制器42的实现可以是控制器电路。控制器42可以单独以硬件实现，在仅包括固件的软件中具有某些方面，或者可以是硬件和软件(包括固件)的组合。
如图4所示，控制器42可以使用实现硬件功能的指令来实现，例如通过在通用或专用处理器40中使用可执行的计算机程序指令48，计算机程序指令48可以存储在计算机可读存储介质(磁盘、存储器等)上以由这样的处理器40执行。
处理器40被配置为从存储器46读取和向存储器46写入。处理器40还可以包括输出接口和输入接口，数据和/或命令由处理器40经由输出接口输出，数据和/或命令经由输入接口被输入到处理器40。
存储器46存储包括计算机程序指令(计算机程序代码)的计算机程序48，该计算机程序指令在被加载到处理器40中时控制装置30的操作。计算机程序48的计算机程序指令提供使得该装置能够执行图5和6中所示的方法的逻辑和例程。处理器40通过读取存储器46而能够加载和执行计算机程序48。
装置30因此包括：至少一个处理器40；以及包括计算机程序代码48的至少一个存储器46，该至少一个存储器46和计算机程序代码48被配置为与至少一个处理器40一起使得装置30至少执行：引起全景菜单的显示，第一全景菜单项和第二全景菜单项在该全景菜单中被同时显示，其中第一全景菜单项延伸超出用户的视场并且与第一介导现实内容相关联，并且第二全景菜单项延伸超出用户的视场并且与不同于第一介导现实内容的第二介导现实内容相关联。
计算机程序48可以经由任何合适的递送机制到达装置30。递送机制可以是例如非暂态计算机可读存储介质、计算机程序产品、存储器设备、诸如紧致盘只读存储器(CD-ROM)或数字通用盘(DVD)等记录介质、有形地实施计算机程序48的制造品。递送机制可以是被配置为可靠地传送计算机程序48的信号。例如，信号可以根据一个或多个协议通过无线连接(诸如射频连接)或有线连接而被发送。装置30可以将计算机程序48作为计算机数据信号来传播或传输。
虽然存储器46被示出为单个部件/电路，但是其可以被实现为一个或多个单独的部件/电路，其中的一些或全部可以是集成的/可移除的和/或可以提供永久/半永久/动态/高速缓存的存储。
虽然处理器40被示出为单个部件/电路，但是其可以被实现为一个或多个单独的部件/电路，其中的一些或全部可以是集成的/可移除的。处理器40可以是单核或多核处理器。
对“计算机可读存储介质”、“计算机程序产品”、“有形地实施的计算机程序”等或者“控制器”、“计算机”、“处理器”等的引用应当被理解为不仅包括具有不同架构(诸如单/多处理器架构和串行(Von Neumann)/并行架构)的计算机，而且还包括专用电路，诸如现场可编程门阵列(FPGA)、专用电路(ASIC)、信号处理设备和其他处理电路。对计算机程序、指令、代码等的引用应当被理解为包括用于可编程处理器或固件的软件，诸如例如硬件设备的可编程内容，无论是用于处理器的指令还是用于固定功能设备、门阵列或可编程逻辑器件等的配置设置。
如本申请中使用的，术语“电路”是指以下全部：
(a)仅硬件电路实现(诸如仅使用模拟和/或数字电路的实现)，以及
(b)电路和软件(和/或固件)的组合，诸如(在适用的情况下)：(i)处理器的组合，或(ii)处理器/软件(包括数字信号处理器)、软件和存储器(一起工作以引起诸如移动电话或服务器的装置执行各种功能)的部分；以及
(c)需要软件或固件进行操作的电路，诸如微处理器或微处理器的部分，即使该软件或固件物理上不存在，。
“电路”的这个定义适用于该术语在本申请中的所有用途，包括任何权利要求。作为另外的示例，如在本申请中使用的，术语“电路”还将覆盖仅一个处理器(或多个处理器)或处理器的部分及它的(或它们的)伴随的软件和/或固件的实现。例如并且如果适用于特定的权利要求要素，则术语“电路”还将覆盖用于移动电话的基带集成电路或应用处理器集成电路、或者服务器、蜂窝网络设备或其他网络设备中的类似的集成电路。
图5和6中所示的框可以表示方法中的步骤和/或计算机程序48中的代码段。对于框的特定顺序的说明不一定表示对于框存在所需要的或优选的顺序，并且框的顺序和布置可以变化。此外，有些框可以被省略。
装置30可以例如使用图5所示的方法60或类似的方法来实现介导现实和/或增强现实和/或虚拟现实。控制器42存储和保持虚拟空间20的模型50。模型可以被提供给控制器42或由控制器42确定。例如，输入电路44中的传感器可以用于从不同的视点来创建虚拟空间的交叠深度图，并且三维模型然后可以产生。
在框62处，确定虚拟空间20的模型是否已经改变。如果虚拟空间20的模型已经改变，则该方法移动到框66。如果虚拟空间20的模型没有改变，则该方法移动到框64。
在框64处，确定虚拟空间20中的视点24是否已经改变。如果视点24已经改变，则该方法移动到框66。如果视点24没有改变，则该方法返回到框62。
在框66处，三维虚拟空间20的二维投影从由当前视点24限定的位置23和方向25获取。然后投影受到视场26的限制以产生虚拟场景22。该方法然后返回到框62。
在装置30实现增强现实的情况下，虚拟空间20包括来自真实空间10的对象11以及不存在于真实空间10中的视觉元素28。这样的视觉元素28的组合可以被称为人造的虚拟空间。图6示出了用于更新虚拟空间20的模型以用于增强现实的方法70。
在框72，确定真实空间10是否已经改变。如果真实空间10已经改变，则该方法移动到框76。如果真实空间10没有改变，则该方法移动到框74。检测真实空间10的变化可以使用差异在像素级别上实现，并且可以使用计算机视觉来追踪移动的对象以在对象级别上实现。
在框74，确定人造的虚拟空间是否已经改变。如果人造的虚拟空间已经改变，则该方法移动到框76。如果人造的虚拟空间没有改变，则该方法返回到框72。由于人造的虚拟空间由控制器42生成，所以视觉元素28的变化容易被检测。
在框76处，更新虚拟空间20的模型。
装置30可以实现用于介导现实和/或增强现实和/或虚拟现实的用户交互式介导。用户输入电路44使用用户输入43来检测用户动作。这些用户动作由控制器42用来确定在虚拟空间20内发生了什么。这可以实现与虚拟空间20内的视觉元素28的交互。
装置30可以实现用于介导现实和/或增强现实和/或虚拟现实的视角介导。用户输入电路44检测用户动作。这些用户动作由控制器42用来确定虚拟空间20内的视点24、改变虚拟场景22。视点24可以在位置和/或方向上连续可变，并且用户动作改变视点24的位置和/或方向。或者，视点24可以具有离散量化位置和/或离散量化方向，并且用户动作通过跳转到视点24的下一位置和/或方向来切换。
装置30可以实现用于介导现实、增强现实或虚拟现实的第一人称视角。用户输入电路44使用用户视点传感器45来检测用户的真实视点14。用户的真实视点由控制器42用来确定虚拟空间20内的视点24，以改变虚拟场景22。再次参考图3A，用户18具有真实视点14。该真实视点可以由用户18改变。例如，真实视点14的真实位置13是用户18的位置，并且可以通过改变用户18的物理位置13来改变。例如，真实视点14的真实方向15是用户18正在看的方向，并且可以通过改变用户18的真实方向而被改变。例如，通过用户18改变其头部或视点的方位和/或用户改变其注视的方向，真实方向15可以被改变。头戴式装置30可以用于实现第一人称视角介导。
装置30可以包括作为输入电路44的部分的视角传感器45，以用于确定真实视角的变化。
例如，定位技术、加速度检测和集成可以被用来确定用户18的新的物理位置13和真实视点14，定位技术诸如GPS、通过向多个接收器发射和/或从多个发射器接收来进行的三角测量(三边测量)。
例如，可以使用加速度计、电子陀螺仪或电子罗盘来确定用户的头部或视点的方位的变化以及真实视点14的真实方向15的相应变化。
例如，基于例如计算机视觉的瞳孔跟踪技术可以用于跟踪用户的眼睛或双眼的移动，并且因此确定用户的注视方向以及真实视点14的真实方向15的相应变化。
装置30可以包括用于对真实空间10进行成像的图像传感器47以作为输入电路44的部分。
图像传感器47的示例是被配置为作为相机进行操作的数字图像传感器。这样的相机可以被操作以记录静态图像和/或视频图像。在一些实施例但不一定是全部的实施例中，相机可以以立体或其他空间分布的布置而被配置，使得能够从不同视角来查看真实空间10。这可以使得能够创建三维图像和/或处理以例如经由视差效应来建立深度。
在一些实施例但不一定是全部的实施例中，输入电路44包括深度传感器49。深度传感器49可以包括发射器和接收器。发射器发射信号(例如，人类不能感测的信号，诸如超声波或红外光)，并且接收器接收反射信号。使用单个发射器和单个接收器，可以经由测量从发射到接收的飞行时间来实现一些深度信息。通过使用更多的发射器和/或更多的接收器(空间分集)可以实现更好的分辨率。在一个示例中，发射器被配置为以空间依赖的图案用光(优选地是不可见光，诸如红外光)“涂抹”真实空间10。由接收器对特定图案的检测允许真实空间10在空间上被分解。到真实空间10的空间上分解的部分的距离可以通过飞行时间和/或立体视觉来确定(如果接收器相对于发射器处于立体位置)。
在一些实施例但不是全部的实施例中，除了或替代图像传感器47和深度传感器49中的一个或多个，输入电路44可以包括通信电路41。这样的通信电路41可以与真实空间10中的一个或多个远程图像传感器47和/或与真实空间10中的远程深度传感器49通信。
在一些实施例但不是全部的实施例中，输入电路44可以包括一个或多个按键/按钮。至少一些按键/按钮可以形成手持式物理控制器的部分。替代地或另外地，如果装置30是头戴式的，则至少一些按键/按钮可以被位于头戴式装置上。
图7示出了头戴式装置33形式的装置30的示例，头戴式装置33包括向用户显示图像的显示器32。头戴式装置33在用户的头部移动时移动。
头戴式装置33可以是用于增强现实的透视布置，其使得能够在由显示器32向用户显示一个或多个视觉元素28的同时查看实况真实场景12以组合提供虚拟场景22。在这种情况下，护目镜34(如果有的话)是透明的或半透明的，以使得可以通过护目镜34来查看实况真实场景12。
头戴式装置33可以作为用于增强现实的观看视频布置而被操作，其使得能够在由显示器32同时显示一个或多个视觉元素28以供用户查看的同时由显示器32显示真实场景12的实况或记录的视频以供用户查看。显示的真实场景12和显示的一个或多个视觉元素28的组合向用户提供虚拟场景22。在这种情况下，护目镜34是不透明的并且可以用作显示器32。
再次参考图4，装置30可以实现用于介导现实和/或增强现实和/或虚拟现实的用户交互式介导。用户输入电路44使用用户输入43来检测用户动作。这些用户动作由控制器42用来确定在虚拟空间20内发生了什么。这可以实现与虚拟空间20内的视觉元素28的交互。
检测到的用户动作可以例如是在真实空间10中执行的手势。手势可以以多种方式检测。例如，深度传感器49可以用于检测用户18的部分的运动，和/或图像传感器47可以用于检测用户18的部分的运动，和/或附接到用户18的肢体的位置/运动传感器可以用于检测该肢体的运动。
对象跟踪可以用来确定对象或用户何时移动。例如，在大的宏观范围上跟踪对象允许创建随对象一起移动的参考系。通过使用相对于对象的时间差分，该参考系然后可以用于跟踪对象形状随时间演变的变化。这可以用来检测小范围的人体运动，诸如手势、手部运动、面部运动。这些是相对于用户的独立于场景的(仅)用户运动。
装置30可以跟踪与用户身体相关的多个对象和/或点，例如用户身体的一个或多个关节。在一些示例中，装置30可以执行用户身体的全身骨骼跟踪。
与用户身体相关的一个或多个对象和/或点的跟踪可以由装置30在手势识别等中使用。
图8A示出了显示全景菜单、重新布置全景菜单中的菜单项以及使得用户能够选择菜单项的第一方法的流程图。
图9示出了用户82查看由装置30的显示器32显示的(视觉)介导现实内容90。在下面描述和在附图中示出的示例中，介导现实内容90是使得用户能够体验完全人造/虚拟的环境的(视觉)虚拟现实内容。在其他示例中，介导现实内容90可以是使得用户能够体验部分人造的/虚拟的部分真实的环境的增强现实内容。
图9还示出了圆柱坐标系200。圆柱坐标系由高度维度z、径向维度r和方位角维度来定义。用户的视场可以使用方位角和高度维度z来定义。
在被查看时，介导现实内容90在用户82的身体周围延伸并且在方位角维度上延伸超过用户82的视场。这表示用户82不可能在任何一个时刻看到整个显示的介导现实内容90。介导现实内容90可以在方位角维度上延伸大约180度或更多。在一些示例中，介导现实内容90可以在方位角维度上延伸大约360度。
在图9所示的示例中，用户82佩戴头戴式装置33，其使得他能够以第一人称视角介导方式查看介导现实内容90。介导现实内容90在方位角维度上围绕用户82延伸360度，但是出于清楚的目的，在图9中未示出。
整个介导现实内容90不需要同时显示。也就是说，用户82通过移动他的头部和/或眼睛可以查看的介导现实内容90的角度范围可以大于显示器32在特定时刻所显示介导现实内容90的角度范围。
当用户82体验介导现实内容90时，处理器40连续循环图5所示的方法，并且在增强现实内容的情况下连续循环图6所示的方法。
用附图标记81标记的图9中的交叉阴影区域指示用户的视场的中央部分。用户的视场的中央部分81指示用户82正在(直接)看什么。当用户82改变他的视点时，他的视场的中央部分81改变。在图9中可以看出，介导现实内容90包括(虚拟)对象80。在该示例中，该(虚拟)对象80是人，但是在其他示例中不一定是人。
在图8A中的框801处，装置30的处理器40标识对象80是用户82所感兴趣的。这可以至少部分基于确定用户82已经改变他的视点以直接看向对象80，如图10所示，以使得他的视场的中央部分81与被介导现实内容90中的对象80的位置对准。替代地或另外地，例如，处理器40可以通过例如通过使用上述瞳孔跟踪技术来跟踪用户的注视来确定用户已经改变他的视点以直接看向对象80。
替代地或另外地，通过使得用户82能够使用用户输入的替代方法来选择对象，装置30可以使得用户82能够标识对对象感兴趣。例如，装置30可以使得用户能够通过致动一个或多个操纵杆/按键/按钮或者通过做出姿势来选择对象。
在一些实施例中，介导现实内容90具有相关联的元数据，其标识介导现实内容90中的一个或多个对象的存在和位置。也就是说，元数据预定义介导现实内容90中一个或多个对象的存在和位置。该元数据可以标识对象在一段时间内的存在和位置，并且指示介导现实内容90中的那个/那些对象的存在和位置在该时间段内如何改变。
在一些替代实施例中，代替使用元数据来标识介导现实内容90中的对象，处理器40可以例如对介导现实内容90执行图像处理，以便标识对象80。装置30的处理器40可以对介导现实内容90连续地执行图像处理，使得查看介导现实内容90的用户82改变他的视点时，诸如图9和图10中所示的对象80的对象被自动标识。在其他实施例中，图像处理可以仅响应于来自用户的输入而被执行，其作为对用户的视场内的对象或者替代地(仅)用户的视场的中央部分81内的对象执行图像处理的提示。
在对象80已经被标识为用户82的感兴趣对象之后，处理器40确定所标识的感兴趣对象80是否存在于与图8A和9中用户82正在查看的介导现实内容不同的其他介导现实内容中。在这方面由处理器40执行的处理可以通过分析与介导现实内容相关联的元数据或以上面讨论的方式执行图像处理而被完成。
处理器40然后在图8A中的框802中引起全景菜单由显示器32显示。该全景菜单可以在从用户82接收到一个或多个输入之后被显示。
在该示例中，如果处理器40确定所标识的感兴趣对象80存在于介导现实内容项中，则用于该介导现实内容的全景菜单项被包括在全景菜单100中。
图11示出了由显示器32显示的全景菜单100。在该示例中，全景菜单100包括被同时显示的第一、第二和第三全景菜单项101、102和103。全景菜单项101、102、103中的每个全景菜单项与包括所标识的感兴趣对象80的各个介导现实内容相关联(例如，表示)，并且每个菜单项101、102、103延伸超出用户的视场。
全景菜单100本身显示在诸如虚拟现实或增强现实的介导现实中。在后一种情况下，当全景菜单100被显示器32显示时，除了全景菜单100之外，用户82还能够看到一个或多个真实对象。在图11中所示的示例中，用户82能够经由头戴式装置33以第一人称视角介导方式查看全景菜单100。当用户82查看全景菜单100时，处理器40连续地循环图5所示的方法(在全景菜单100在虚拟现实中被示出的情况下)或者图6所示的方法(在全景菜单在增强现实中被示出的情况下)。
在所示出的示例中，用于特定介导现实内容项的全景菜单项101、102、103是静态图像，该静态图像是在特定时刻捕获的那个介导现实内容的空间切片。每个全景菜单项101、102、103相对于其所表示的介导现实内容在高度维度z上具有降低的高度。
例如，从介导现实内容项导出的静态图像的上部和下部可以被切除以形成用于该介导现实内容项的全景菜单项。
全景菜单项101、102、103相对于彼此垂直地被显示，并且可以形成虚拟管(tube)的至少部分。虚拟管可以是封闭管，使得全景菜单项101、102、103在方位角维度中延伸大约360度，或者虚拟管可以是开放管，使得全景菜单项101、102、103在方位角维度中延伸大约小于360度。虚拟管的横截面可以例如是圆形或椭圆形。虚拟管的长度与图中的高度维度z对准。
第二全景菜单项102位于第一全景菜单项101上方。第三全景菜单项103位于第二全景菜单项102上方。
在其他示例中，全景菜单项101、102、103可以相对于彼此水平地显示，并且形成与图中所示的正交的虚拟管的至少部分。
虽然在图11中示出了三个全景菜单项101、102、103，但是在其他示例中可以存在更多或更少的全景菜单项101、102、103。
当全景菜单项101-103被用户82查看时，全景菜单项101-103在方位角维度中延伸超出用户82的视场。这表示用户82在任何一个时刻不可能看到全景菜单项101-103中的整个任何单独的一个全景菜单项。全景菜单项101-103中的每个可以例如在方位角维度中延伸大约180度或更多。在一些示例中，全景菜单项101-103中的每个可以在方位角维度中延伸大约360度。
在图11中，所标识的感兴趣对象80被包括在第一和第二全景菜单项101、102中，并且对用户82是可见的。所标识的感兴趣对象80当前在第三全景菜单项103中对用户82是不可见的，但是存在于用户82当前不能看到的第三全景菜单项103上的不同位置处。
在图8A中的框803中，基于所标识的感兴趣对象80来(重新)布置全景菜单项101-103。图12示出了重新布置第一、第二和第三全景菜单项101、102、103。在所示出的示例中，基于感兴趣对象80在菜单项101-103中相对于用户的视点的位置来重新布置全景菜单项101-103。
在图12中，可以看出，在高度维度z和方位角维度两者中，用户视场的中央部分81与感兴趣对象80在第一全景菜单项101中的位置对准。处理器40确定，在方位角维度中，感兴趣对象80在第一全景菜单项101中的位置与用户视场的中央部分81对准，因此它避免了在重新布置发生时移动第一全景菜单项101。
处理器40确定，在方位角维度中，第二全景菜单项102和第三全景菜单项103两者中的感兴趣对象80与用户视场的中央部分81不对准。作为响应，处理器40通过引起第二全景菜单项102如图12中的附图标记112所示的箭头所示地在方位角维度中旋转来移动第二全景菜单项102。处理器40还通过引起第三全景菜单项103如图12中的附图标记113所示的箭头所示地在方位角维度中旋转来移动第三全景菜单项103。从图12中可以看出，在处理器40引起第二和第三全景菜单项102、103旋转之后，第一、第二和第三全景菜单项101-103中的每个中的感兴趣对象80在方位角维度中对准(并且在高度维度z中彼此叠置)。
处理器40还可以根据感兴趣对象80是否存在于与全景菜单项101-103中的每个全景菜单项相关联的介导现实内容中而在高度维度z中重新排序全景菜单项101-103。例如，与不包括感兴趣对象80的介导现实内容相关联的全景菜单项101-103相比，与包括感兴趣对象80的介导现实内容相关联的全景菜单项101-103可以被放置于更靠近用户82。在一些实施例中，与不包括感兴趣对象80的介导现实内容相关联的全景菜单项101-103可以从全景菜单100中被移除。
尽管在该示出的示例中全景菜单项101-103在高度维度z中被重新排序，但是在其他示例中，全景菜单项101-103可以以不同的方式被重新排序。
在图8A中的框804中，处理器40使得用户能够在全景菜单100被重新布置之后浏览全景菜单100。图13示出了浏览全景菜单100的用户。标有附图标记号121和122的箭头示意性地示出了用户通过在高度维度z中重定向他的视场来浏览全景菜单项101、102、103的能力。图13示出了其中用户82已经将他的视场的中央部分81重定向为使得其与第二全景项目102中的感兴趣对象80对准的情形。
替代地或另外地，装置30可以使得用户82能够使用用户输入的替代方法来浏览全景项目101、102、103。例如，装置30可以使得用户能够通过致动一个或多个操纵杆/按键/按钮或做出手势来选择对象。
用户82然后选择全景菜单项101-103中的一个。在图8A的框805中，处理器40通过引起与所选择的全景菜单项相关联的介导现实内容91被显示器32显示来对用户选择作出响应。图14示出了由显示器32显示的介导现实内容91。
装置30/33可以使得用户82能够通过以多种不同方式提供用户输入来选择全景菜单项101-103中的一个。例如，装置30/33可以使得用户能够(仅)通过将他的视场的中央部分81在特定全景菜单项101-103处对准超过门限时间段来选择全景菜单项101-103。在一些示例中，用户82可以被要求通过按下按键/按钮或做出手势来确认选择。或者，用户的视场的中央部分81可能根本不被用于执行选择，而是用户82可以通过单独做出手势和/或按压一个或多个按键/按钮来执行他的选择。
图8B示出了显示全景菜单、在全景菜单中重新布置菜单项以及使得用户能够选择菜单项的第二方法的流程图。
在图8B的框806中，处理器40引起显示器32以与以上关于图8A所述的相同的方式来显示全景菜单100。
图15示出了其中所显示的全景菜单100包括同时显示的第四、第五和第六全景菜单项104-106的情形。在图15中还可以看出，第四、第五和第六全景菜单项104-106包括第一对象80，并且第四和第六全景菜单项104、106包括第二对象83。在图15中，用户视场的中央部分81当前与第四全景菜单项104中的第一对象80对准(在图15中的高度维度z和方位角维度中)。这可能是因为第一对象80先前已经被标识为感兴趣对象(例如，如上文关于图8A中的框805所描述的用户选择的结果)。用户82可以浏览全景菜单项104-106并且以与上述相同的方式来选择全景菜单项104-106。
如图16所示，用户82然后改变他的视点，使得他的视场的中央部分81与第四全景菜单项104中的第二感兴趣对象83对准。在图8B中的框807中，用户82提供用于选择第四全景菜单项104中的第二对象83的必要输入，使得处理器40将其标识为感兴趣对象。如果第一对象80先前已经被标识为感兴趣对象，则第二对象83可以替换第一对象80以作为感兴趣对象。
在图8B中的框808中，在用户在图8中的框807中的选择之后，处理器40基于作为感兴趣对象的第二对象83的标识来重新布置全景菜单项104-106。
图17示出了基于作为感兴趣对象的第二对象83的标识而被重新排序的全景菜单项104-106。全景菜单项104-106的顺序例如可以在垂直维度z中改变。在该示例中，处理器40引起第六全景菜单项106和第五全景菜单项105改变位置，使得第六全景菜单项106位于第五全景菜单项105下方。这是因为处理器40已经确定与第六全景菜单项106相关联的介导现实内容包括所标识(第二)感兴趣对象83(并且因此在该示例中，第六全景菜单项106也包括所标识的感兴趣对象83)，而与第五全景菜单项105相关联的介导现实内容不包括所标识感兴趣对象83(并且因此在该示例中，第五全景菜单项105也不包括所标识感兴趣对象83)。
第五全景菜单项105的向上移动在图17中用由附图标记141标记的箭头表示。第六全景菜单项106的向下移动在图17中用由附图标记142标记的箭头表示。
第六全景菜单项106比第五全景菜单项105更靠近用户82，因为处理器40已经标识出，与关联于第五全景菜单项105的介导现实内容相比，关联于第六全景菜单项106的介导现实内容更可能是用户82感兴趣的。
图18示出了以与上面关于图12所描述的相同的方式在用户的选择之后基于作为感兴趣对象的第二对象83的标识而旋转全景菜单项104-106。在该示例中，处理器40确定所标识的第二感兴趣对象83在方位角维度中未与用户视场的中央部分81对准。作为响应，处理器40通过引起第六全景菜单项106在方位角维度中旋转来移动第六全景菜单项106，如图18中用由附图标记151标记的箭头所示。从图18中可以看出，在处理器40引起第六全景菜单项106旋转之后，第四和第六全景菜单项104、106中的所标识的第二感兴趣对象83在方位角维度中与用户视场的中央部分81对准(并且在高度维度z中彼此叠置)。
上面已经描述了呈现和浏览表示介导现实内容的菜单项的高效和直观的方式。上面描述的全景菜单100提供了特别的身临其境的体验，并且因此表示用于介导现实内容的适当的网关。
尽管在前面的段落中已经参考各种示例描述了本发明的实施例，但是应当理解，可以在不偏离所要求保护的本发明的范围的情况下对所给出的示例进行修改。例如，虽然以上在头戴式装置33的上下文中描述本发明的实施例，但是头戴式装置不是必需的。例如，装置30可以包括不是头戴式的全息显示器。或者，介导现实内容90、91和全景菜单100可以显示在一个或多个物理显示器上，其中的一些或全部可以是弯曲的。
在先前描述中描述的特征可以以除了明确描述的组合以外的组合来使用。
尽管已经参考某些特征描述了功能，但是这些功能可以由其他特征来执行，无论这些其他特征是否被描述。
虽然已经参考某些实施例描述了特征，但是这些特征也可以存在于其他实施例中，而不管这些其他实施例是否被描述。
尽管在前面的说明书中努力提请注意被认为是特别重要的本发明的那些特征，但是应当理解，申请人要求保护上文中提到和/或在附图中示出的任何可专利特征或特征的组合，而不管是否对其特别强调。

Claims (15)

1.一种方法，包括：
引起全景菜单的显示，第一全景菜单项和第二全景菜单项在所述全景菜单中被同时显示，其中所述第一全景菜单项延伸超出用户的视场并且与第一介导现实内容相关联，并且所述第二全景菜单项延伸超出用户的视场并且与不同于所述第一介导现实内容的第二介导现实内容相关联。
2.根据权利要求1所述的方法，其中所述菜单由头戴式装置的显示器显示。
3.根据权利要求1或2所述的方法，其中所述第一全景菜单项和所述第二全景菜单项中的至少一个全景菜单项围绕所述用户的身体延伸。
4.根据权利要求3所述的方法，其中所述第一全景菜单项和所述第二全景菜单项中的所述至少一个全景菜单项围绕所述用户的身体延伸360度。
5.根据前述权利要求中任一项所述的方法，其中所述第一全景菜单项和所述第二全景菜单项相对于彼此垂直地被显示。
6.根据前述权利要求中任一项所述的方法，其中所述第一全景菜单项和所述第二全景菜单项形成虚拟管的至少部分。
7.根据前述权利要求中任一项所述的方法，还包括：标识介导现实内容中的感兴趣对象；确定所述感兴趣对象在所述第一介导现实内容和所述第二介导现实内容中的存在；以及基于所述感兴趣对象存在于所述第一介导现实内容和所述第二介导现实内容中的所述确定，决定显示与所述第一介导现实内容和所述第二介导现实内容相关联的所述第一全景菜单项和所述第二全景菜单项。
8.根据权利要求7所述的方法，其中所述第一全景菜单项和所述第二全景菜单项包括所述感兴趣对象。
9.根据权利要求8所述的方法，还包括：根据所述感兴趣对象在所述第一全景菜单项和所述第二全景菜单项中的位置，移动所述第一全景菜单项和所述第二全景菜单项中的至少一个全景菜单项。
10.根据权利要求9所述的方法，其中所述第一全景菜单项和所述第二全景菜单项被旋转，以使得所述感兴趣对象在所述第一全景菜单项和所述第二全景菜单项中被垂直对准。
11.根据权利要求7到10中任一项所述的方法，还包括：标识介导现实内容中的另外的感兴趣对象；引起包括所述另外的感兴趣对象的一个或多个另外的全景菜单项的显示；以及随后根据所述另外的感兴趣对象在所述一个或多个另外的全景菜单项中的位置，移动所述一个或多个另外的全景菜单项中的至少一个另外的全景菜单项。
12.根据前述权利要求中任一项所述的方法，其中所述第一全景菜单项包括在所述第一介导现实内容中瞬时捕获的静态图像，并且所述第二全景菜单项包括在所述第二介导现实内容中瞬时捕获的静态图像。
13.一种计算机程序代码，所述计算机程序代码当由至少一个处理器执行时引起根据前述权利要求中任一项所述的方法被执行。
14.一种装置，包括：
用于引起全景菜单的显示的部件，第一全景菜单项和第二全景菜单项在所述全景菜单中被同时显示，其中所述第一全景菜单项延伸超出用户的视场并且与第一介导现实内容相关联，并且所述第二全景菜单项延伸超出用户的视场并且与不同于所述第一介导现实内容的第二介导现实内容相关联。
15.根据权利要求14所述的装置，还包括用于执行根据权利要求2到12中任一项所述的方法的部件。
CN201680039383.0A 2015-07-03 2016-06-22 内容浏览 Active CN107710108B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15175340.7A EP3112986B1 (en) 2015-07-03 2015-07-03 Content browsing
EP15175340.7 2015-07-03
PCT/FI2016/050454 WO2017005966A1 (en) 2015-07-03 2016-06-22 Content browsing

Publications (2)

Publication Number Publication Date
CN107710108A true CN107710108A (zh) 2018-02-16
CN107710108B CN107710108B (zh) 2020-07-31

Family

ID=53723994

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680039383.0A Active CN107710108B (zh) 2015-07-03 2016-06-22 内容浏览

Country Status (6)

Country Link
US (1) US10761595B2 (zh)
EP (2) EP3112986B1 (zh)
JP (1) JP6478360B2 (zh)
CN (1) CN107710108B (zh)
MX (1) MX371536B (zh)
WO (1) WO2017005966A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3131064B1 (en) 2015-08-13 2017-11-08 Nokia Technologies Oy Searching image content
EP3206122A1 (en) 2016-02-10 2017-08-16 Nokia Technologies Oy An apparatus and associated methods
EP3236363A1 (en) 2016-04-18 2017-10-25 Nokia Technologies Oy Content search
US10506221B2 (en) 2016-08-03 2019-12-10 Adobe Inc. Field of view rendering control of digital content
US20180046363A1 (en) * 2016-08-10 2018-02-15 Adobe Systems Incorporated Digital Content View Control
US11461820B2 (en) 2016-08-16 2022-10-04 Adobe Inc. Navigation and rewards involving physical goods and services
US10068378B2 (en) 2016-09-12 2018-09-04 Adobe Systems Incorporated Digital content interaction and navigation in virtual and augmented reality
US10887653B2 (en) * 2016-09-26 2021-01-05 Cyberlink Corp. Systems and methods for performing distributed playback of 360-degree video in a plurality of viewing windows
US10430559B2 (en) 2016-10-18 2019-10-01 Adobe Inc. Digital rights management in virtual and augmented reality
EP3422148B1 (en) 2017-06-29 2021-03-10 Nokia Technologies Oy An apparatus and associated methods for display of virtual reality content
EP3503102A1 (en) 2017-12-22 2019-06-26 Nokia Technologies Oy An apparatus and associated methods for presentation of captured spatial audio content
CN108833929A (zh) * 2018-06-26 2018-11-16 曜宇航空科技（上海）有限公司 一种全景视频的播放方法和播放系统
US11812088B2 (en) * 2018-09-26 2023-11-07 Rovi Guides, Inc. Systems and methods for a gear-based UI to facilitate efficient navigation

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001506389A (ja) * 1997-07-03 2001-05-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ウインドウ化システムの仮想ワークスペースを創出し且つ制御するための装置及び方法
US20040125133A1 (en) * 2002-12-30 2004-07-01 The Board Of Trustees Of The Leland Stanford Junior University Methods and apparatus for interactive network sharing of digital video content
US20100157018A1 (en) * 2007-06-27 2010-06-24 Samsun Lampotang Display-Based Interactive Simulation with Dynamic Panorama
US20110292076A1 (en) * 2010-05-28 2011-12-01 Nokia Corporation Method and apparatus for providing a localized virtual reality environment
CN102375741A (zh) * 2010-08-12 2012-03-14 株式会社泛泰 用于显示增强现实窗口的用户设备和方法
CN102546921A (zh) * 2010-12-07 2012-07-04 中国电信股份有限公司 Web全景图浏览的实现方法、系统和移动终端
US20120188148A1 (en) * 2011-01-24 2012-07-26 Microvision, Inc. Head Mounted Meta-Display System
US20130117707A1 (en) * 2011-11-08 2013-05-09 Google Inc. Velocity-Based Triggering
US20130246967A1 (en) * 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface
CN103458180A (zh) * 2012-05-31 2013-12-18 株式会社理光 通信终端、显示方法以及计算机程序产品
US20140098186A1 (en) * 2011-05-27 2014-04-10 Ron Igra System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
US20140111427A1 (en) * 2010-09-20 2014-04-24 Kopin Corporation LifeBoard - Series Of Home Pages For Head Mounted Displays (HMD) That Respond to Head Tracking
US20140125761A1 (en) * 2011-06-29 2014-05-08 Panasonic Corporation Image conversion apparatus, camera, image conversion method, and storage medium with program stored therein
CN103870535A (zh) * 2012-12-14 2014-06-18 三星电子株式会社 信息搜索方法和装置
US20140320532A1 (en) * 2013-04-30 2014-10-30 Intellectual Discovery Co., Ltd. Wearable electronic device and method of controlling the same
US20140337321A1 (en) * 2013-03-12 2014-11-13 Vulcan Technologies Llc Methods and systems for aggregating and presenting large data sets
US20150016777A1 (en) * 2012-06-11 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US20150036931A1 (en) * 2013-07-30 2015-02-05 Kodak Alaris Inc. System and method for creating navigable views

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3105131B2 (ja) * 1993-07-02 2000-10-30 松下電器産業株式会社 視覚を中心とした擬似体験装置
JP4561453B2 (ja) * 2005-04-19 2010-10-13 株式会社日立製作所 記録再生装置、記録再生方法
US8453060B2 (en) 2006-08-25 2013-05-28 Microsoft Corporation Panoramic ring user interface
CN101673171A (zh) 2008-09-09 2010-03-17 宏达国际电子股份有限公司 菜单操作方法及其电子装置
DE112009005444T5 (de) * 2009-12-16 2013-04-04 Mitsubishi Electric Corporation Datenverarbeitungsvorrichtung
JP5693369B2 (ja) 2011-05-13 2015-04-01 キヤノン株式会社 情報処理装置、その制御方法及びコンピュータプログラム
US20140101608A1 (en) * 2012-10-05 2014-04-10 Google Inc. User Interfaces for Head-Mountable Devices
US9152695B2 (en) * 2013-08-28 2015-10-06 Intelati, Inc. Generation of metadata and computational model for visual exploration system
KR20150122355A (ko) * 2014-04-23 2015-11-02 엘지전자 주식회사 썸네일 이미지를 디스플레이 하는 헤드 마운티드 디스플레이 디바이스 및 그 제어 방법

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001506389A (ja) * 1997-07-03 2001-05-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ウインドウ化システムの仮想ワークスペースを創出し且つ制御するための装置及び方法
US20040125133A1 (en) * 2002-12-30 2004-07-01 The Board Of Trustees Of The Leland Stanford Junior University Methods and apparatus for interactive network sharing of digital video content
US20100157018A1 (en) * 2007-06-27 2010-06-24 Samsun Lampotang Display-Based Interactive Simulation with Dynamic Panorama
US20110292076A1 (en) * 2010-05-28 2011-12-01 Nokia Corporation Method and apparatus for providing a localized virtual reality environment
CN102375741A (zh) * 2010-08-12 2012-03-14 株式会社泛泰 用于显示增强现实窗口的用户设备和方法
US20140111427A1 (en) * 2010-09-20 2014-04-24 Kopin Corporation LifeBoard - Series Of Home Pages For Head Mounted Displays (HMD) That Respond to Head Tracking
CN102546921A (zh) * 2010-12-07 2012-07-04 中国电信股份有限公司 Web全景图浏览的实现方法、系统和移动终端
US20120188148A1 (en) * 2011-01-24 2012-07-26 Microvision, Inc. Head Mounted Meta-Display System
US20140098186A1 (en) * 2011-05-27 2014-04-10 Ron Igra System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
US20140125761A1 (en) * 2011-06-29 2014-05-08 Panasonic Corporation Image conversion apparatus, camera, image conversion method, and storage medium with program stored therein
US20130117707A1 (en) * 2011-11-08 2013-05-09 Google Inc. Velocity-Based Triggering
US20130246967A1 (en) * 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface
CN103458180A (zh) * 2012-05-31 2013-12-18 株式会社理光 通信终端、显示方法以及计算机程序产品
US20150016777A1 (en) * 2012-06-11 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
CN103870535A (zh) * 2012-12-14 2014-06-18 三星电子株式会社 信息搜索方法和装置
US20140337321A1 (en) * 2013-03-12 2014-11-13 Vulcan Technologies Llc Methods and systems for aggregating and presenting large data sets
US20140320532A1 (en) * 2013-04-30 2014-10-30 Intellectual Discovery Co., Ltd. Wearable electronic device and method of controlling the same
US20150036931A1 (en) * 2013-07-30 2015-02-05 Kodak Alaris Inc. System and method for creating navigable views

Also Published As

Publication number Publication date
EP3112986A1 (en) 2017-01-04
US20180188801A1 (en) 2018-07-05
EP3112992A1 (en) 2017-01-04
JP2018525721A (ja) 2018-09-06
EP3112992B1 (en) 2019-10-16
EP3112986B1 (en) 2020-02-26
CN107710108B (zh) 2020-07-31
WO2017005966A1 (en) 2017-01-12
US10761595B2 (en) 2020-09-01
JP6478360B2 (ja) 2019-03-06
MX2017017089A (es) 2018-05-17
MX371536B (es) 2020-01-30

Similar Documents

Publication Publication Date Title
CN107710108A (zh) 内容浏览
EP3106963B1 (en) Mediated reality
JP6619871B2 (ja) 媒介現実コンテンツの共有
JP6662914B2 (ja) 媒介現実
EP3118722B1 (en) Mediated reality
CN103180893A (zh) 用于提供三维用户界面的方法和系统
US20100253679A1 (en) System for pseudo 3d-information display on a two-dimensional display
US11244659B2 (en) Rendering mediated reality content
CN107924586B (zh) 搜索图像内容的方法、装置以及计算机可读存储介质
US20230343022A1 (en) Mediated Reality
EP3454174B1 (en) Methods, apparatus, systems, computer programs for enabling mediated reality
US10559131B2 (en) Mediated reality
US10650595B2 (en) Mediated reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant