CN107850990A - 共享介导现实内容 - Google Patents

共享介导现实内容 Download PDF

Info

Publication number
CN107850990A
CN107850990A CN201680045475.XA CN201680045475A CN107850990A CN 107850990 A CN107850990 A CN 107850990A CN 201680045475 A CN201680045475 A CN 201680045475A CN 107850990 A CN107850990 A CN 107850990A
Authority
CN
China
Prior art keywords
equipment
mediation
real content
display
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680045475.XA
Other languages
English (en)
Inventor
J·勒帕南
A·埃罗南
A·勒蒂涅米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Publication of CN107850990A publication Critical patent/CN107850990A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

提供了一种方法、装置和计算机程序代码。方法包括：使得由与设备相关联的一个或多个显示器显示介导现实内容；标识将要与其共享介导现实内容的至少一部分的另外的设备；确定一个或多个参数，该一个或多个参数表征与另外的设备相关联的一个或多个显示器；至少部分地基于所确定的一个或多个参数来确定将要与另外的设备共享的介导现实内容的至少一部分；以及使得与另外的设备共享介导现实内容的该部分。

Description

共享介导现实内容
技术领域
本发明的实施例涉及共享介导(mediated)现实内容，例如增强现实内容或虚拟现实内容。
背景技术
本文中的介导现实是指用户体验的完全或部分虚构/虚拟环境。
增强现实是用户体验部分虚构的、部分真实的环境的介导现实形式。虚拟现实是用户体验完全虚构/虚拟环境的介导现实形式。
发明内容
根据本发明的各个实施例，但不一定是全部的实施例，提供了一种方法，包括：使得由与设备相关联的一个或多个显示器显示介导现实内容；标识将要与其共享介导现实内容的至少一部分的另外的设备；确定一个或多个参数，该一个或多个参数表征与另外的设备相关联的一个或多个显示器；至少部分地基于所确定的一个或多个参数来确定将要与另外的设备共享的介导现实内容的至少一部分；以及使得与另外的设备共享介导现实内容的该部分。
根据本发明的各个实施例，但不一定是全部的实施例，提供了计算机程序代码，该计算机程序代码当由至少一个处理器执行时，使得至少执行以下：使得由与设备相关联的一个或多个显示器显示介导现实内容；标识将要与其共享介导现实内容的至少一部分的另外的设备；确定一个或多个参数，该一个或多个参数表征与另外的设备相关联的一个或多个显示器；至少部分地基于所确定的一个或多个参数来确定将要与另外的设备共享的介导现实内容的至少一部分；以及使得与另外的设备共享介导现实内容的该部分。
一个或多个计算机程序可以包括计算机程序代码。一个或多个计算机程序可以被存储在一个或多个非暂态计算机可读介质上。
根据本发明的各个实施例，但不一定是全部的实施例，提供了一种装置，包括：用于使得由与设备相关联的一个或多个显示器显示介导现实内容的部件；用于标识将要与其共享介导现实内容的至少一部分的另外的设备的部件；用于确定一个或多个参数的部件，该一个或多个参数表征与另外的设备相关联的一个或多个显示器；用于至少部分地基于所确定的一个或多个参数来确定将要与另外的设备共享的介导现实内容的至少一部分的部件；以及用于使得与另外的设备共享介导现实内容的该部分的部件。
根据本发明的各个实施例，但不一定是全部的实施例，提供了一种装置，包括：至少一个处理器；以及存储计算机程序代码的至少一个存储器，该计算机程序代码被配置为与该至少一个处理器一起工作，以使得装置至少执行：使得由与设备相关联的一个或多个显示器显示介导现实内容；标识将要与其共享介导现实内容的至少一部分的另外的设备；确定一个或多个参数，该一个或多个参数表征与另外的设备相关联的一个或多个显示器；至少部分地基于所确定的一个或多个参数来确定将要与另外的设备共享的介导现实内容的至少一部分；以及使得与另外的设备共享介导现实内容的该部分。
根据本发明的各个实施例，但不一定是全部的实施例，提供了一种方法，包括：使得由与设备相关联的一个或多个显示器显示介导现实内容；使得与另外的设备共享介导现实内容的至少一部分；以及在与另外的设备共享介导现实内容的至少一部分之前、期间或之后，使得介导现实内容的至少一部分由与设备相关联的一个或多个显示器界定。
根据本发明的各个实施例，但不一定是全部的实施例，提供了计算机程序代码，该计算机程序代码当由至少一个处理器执行时，使得至少执行以下：使得由与设备相关联的一个或多个显示器显示介导现实内容；使得与另外的设备共享介导现实内容的至少一部分；以及在与另外的设备共享介导现实内容的至少一部分之前、期间或之后，使得介导现实内容的至少一部分由与设备相关联的一个或多个显示器界定。
一个或多个计算机程序可以包括计算机程序代码。一个或多个计算机程序可以被存储在一个或多个非暂态计算机可读介质上。
根据本发明的各个实施例，但不一定是全部的实施例，提供了一种装置，包括：用于使得由与设备相关联的一个或多个显示器显示介导现实内容的部件；用于使得与另外的设备共享介导现实内容的至少一部分的部件；以及用于在与另外的设备共享介导现实内容的至少一部分之前、期间或之后使得介导现实内容的至少一部分由与设备相关联的一个或多个显示器界定的部件。
根据本发明的各个实施例，但不一定是全部的实施例，提供了一种装置，包括：至少一个处理器；以及存储计算机程序代码的至少一个存储器，该计算机程序代码被配置为与至少一个处理器一起工作，以使得装置至少执行：使得由与设备相关联的一个或多个显示器显示介导现实内容；使得与另外的设备共享介导现实内容的至少一部分；以及在与另外的设备共享介导现实内容的至少一部分之前、期间或之后，使得介导现实内容的至少一部分由与设备相关联的一个或多个显示器界定。
根据本发明的各个实施例，但不一定是全部的实施例，提供了一种装置，包括：至少一个处理器；以及存储计算机程序代码的至少一个存储器，该计算机程序代码被配置为与至少一个处理器一起工作，以使得装置至少执行：使得由与设备相关联的一个或多个显示器显示介导现实内容；当与另外的设备共享介导现实内容时，使得用户能够由另外的设备的另外的用户初始观看介导现实内容的起始视角。
根据本发明的各个实施例，但不一定是全部的实施例，提供了如所附权利要求所述的示例。
附图说明
为了更好理解有利于理解详细描述的各种示例，现在将仅通过示例的方式参考附图，其中：
图1A到1C和图2A到2C示出了介导现实的示例，其中图1A、1B、1C示出相同的虚拟空间和不同的视点，并且图2A、2B、2C示出来自各个视点视角的虚拟场景；
图3A示出真实空间的示例，并且图3B示出与图1B的虚拟场景部分对应的真实场景的示例；
图4A示出芯片或芯片组形式的装置的示意图；
图4B示出了一个或多个电子设备形式的装置的示意图，该电子设备可操作以实现介导现实和/或增强现实和/或虚拟现实；
图5示出图4B所示装置示例的立体图的示例；
图6A示出用于实现介导现实和/或增强现实和/或虚拟现实的方法的示例；
图6B示出用于更新虚拟空间的模型以用于增强现实的方法的示例；
图7示出与一个或多个设备通信的图4B所示的装置；
图8示出方法的流程图；
图9示出正在显示的介导现实内容的示意图；
图10A、10B和10C示出被确定用于共享的介导现实内容的部分的第一、第二和第三示意图；
图11A示出用户以选择另一用户初始观看共享介导现实内容的视角；
图11B示出被放大的介导现实内容和被确定用于共享的介导现实内容的一部分的示意图；以及
图12A和图12B示出在共享介导现实内容的一部分之前、期间或之后界定的介导现实内容的一部分。
具体实施方式
本发明的实施例涉及诸如虚拟现实内容或增强现实内容的介导现实内容的共享。例如，介导现实内容可以由与设备相关联的一个或多个显示器来显示。可以标识另外的设备，将与该另外的设备共享介导现实内容的至少一部分。
该设备可以使用表征与另外的设备相关联的一个或多个显示器的一个或多个参数，以确定要与另外的设备共享的介导现实内容的一部分。
例如，在一个示例中，该设备可以是连接到头戴式观看设备的个人计算机或游戏控制台，并且该另外的设备可以是移动电话。游戏控制台/个人计算机确定表征与移动电话相关联的一个或多个显示器的一个或多个参数，并使用该参数来确定与移动电话共享的介导现实内容的合适部分。例如，该参数可以包括移动电话的一个或多个显示器的分辨率、宽高比、涉及色彩再现的参数或显示器类型。
本发明实施例的技术效果为在设备之间以改进的、更高效的方式共享介导现实内容。
定义
在本文中，应用以下定义：
“视场”是指在特定时刻用户可见的可观察世界的范围；
“虚拟空间”是指完全或部分虚构的环境，其可以是三维的；
“虚拟场景”是指从虚拟空间内的特定视点观看的虚拟空间的表示；
“真实空间”是指真实的环境，其可以是三维的；
“真实场景”是指从真实空间内的特定视点观看的真实空间的表示；
本文中的“介导现实”是指用户在视觉上体验的至少部分地由计算机向用户显示的作为虚拟场景的完全或部分虚构的环境(虚拟空间)。虚拟场景由虚拟空间内的视点和视场确定。显示虚拟场景意味着以用户可以看见的形式提供虚拟场景；
“介导现实内容”是如下内容，其使用户能够在视觉上体验作为虚拟场景的完全或部分虚构的环境(虚拟空间)。介导现实内容可以包括诸如视频游戏的交互式内容或诸如运动视频的非交互式内容；
本文中的“增强现实”是指介导现实的一种形式，在这种形式的介导现实中，用户过在视觉上体验作为虚拟场景的部分虚构的环境(虚拟空间)，该部分虚构的环境包括由装置向用户显示的一个或多个视觉元素补充的物理现实世界环境(真实空间)的真实场景。
“增强现实内容”是介导现实内容的一种形式，其使用户能够在视觉上体验作为虚拟场景的部分虚构的环境(虚拟空间)。增强现实内容可以包括诸如视频游戏的交互式内容或诸如运动视频的非交互式内容；
本文中的“虚拟现实”是指的介导现实的一种形式，在这种形式的介导现实中，用户在视觉上体验由装置向用户显示的作为虚拟场景的完全虚构的环境(虚拟空间)；
“虚拟现实内容”是介导现实内容的一种形式，其使用户能够在视觉上体验完全作为虚拟场景的虚构的环境(虚拟空间)。虚拟现实内容可以包括诸如视频游戏的交互内容或诸如运动视频的非交互式内容；
应用于介导现实、增强现实或虚拟现实的“视角介导”是指用户动作确定虚拟空间内的视点，从而改变虚拟场景；
应用于介导现实、增强现实或虚拟现实的“第一人称视角介导”是指具有如下的另外的约束的视角介导，该约束为用户的真实视点确定虚拟空间内的视点；
应用于介导现实、增强现实或虚拟现实的“用户交互式介导”是指用户动作至少部分地确定在虚拟空间内发生什么；以及
“显示”是指以用户可视觉上感知的形式提供。
详细描述
图1A到1C和图2A到2C示出介导现实的示例。介导现实可以是增强现实或者虚拟现实。
图1A、1B、1C示出具有相同虚拟对象21的同一虚拟空间20，但是，每个图示出不同的视点24。视点24的位置和方向能独立变化。从图1A至图1B，视点24的方向变化而位置没有。从图1B至1C，视点24的方向和位置都变化了。
图2A、2B、2C示出了从各个图1A、1B、1C的不同的视点24看到的虚拟场景22。虚拟场景22由虚拟空间20内的视点24和视场26确定。虚拟场景22至少部分地显示给用户。
所示的虚拟场景22可以是介导现实场景、虚拟现实场景或增强现实场景。虚拟现实场景显示完全虚构的虚拟空间20。增强现实场景显示部分虚拟、部分真实的虚拟空间20。
介导现实、增强现实或虚拟现实可以是用户交互介导式的。在这种情况下，用户动作至少部分地决定虚拟空间20内发生什么。这可以实现与虚拟空间20内的虚拟对象21(例如视觉元素28)的交互。
介导现实、增强现实或虚拟现实可以是视角介导式的。在这种情况下，用户动作决定虚拟空间20内的视点24，从而改变虚拟场景22。例如，如图1A、1B、1C所示，虚拟空间20内的视点24的位置23可以被改变和/或虚拟空间20内的视点24的方向或取向25可以被改变。如果虚拟空间20是三维的，视点24的位置23具有三个自由度，例如向上/向下，前进/后退，向左/向右，并且虚拟空间20内的视点24的方向25具有三个自由度，例如滚动、颠簸(pitch)、摇摆(yaw)。视点24可以在位置23和/或方向25上连续变化，并且用户动作继而连续地改变视点24的位置和/或方向。备选地，视点24可以具有离散量化位置23和/或离散量化方向25，并且用户动作通过在视点24的允许位置23和/或允许方向25之间离散跳跃来切换。
图3A示出包括真实对象11的真实空间10，真实对象11部分对应于图1A所示的虚拟空间20。在这个示例中，真实空间10中的每个真实对象11在虚拟空间20中具有对应的虚拟对象21，但是，虚拟空间20中的每个虚拟对象21在真实空间10中不具有对应的真实对象11。在这个示例中，虚拟对象21之一，计算机生成的视觉元素28，是在真实空间10中不具有对应的真实对象11的虚构的虚拟对象21。
在真实空间10和虚拟空间20之间存在线性映射，在真实空间10中的每个真实对象11和它的对应虚拟对象21之间存在相同的映射。真实空间10中的真实对象11之间的相对关系因而与虚拟空间20中的相应的虚拟对象21之间的相对关系相同。
图3B示出真实场景12，其部分对应于图1B的虚拟场景22，它包括真实对象11而非虚构的虚拟对象。真实场景来自于与图1A的虚拟空间20中的视点24相对应的视角。真实场景12的内容由该对应的视点24和视场26确定。
图2A可以是图3B所示的真实场景12的增强现实版本的图示。虚拟场景22包括真实空间10的真实场景12，真实空间10由装置向用户显示的一个或多个视觉元素28补充。视觉元素28可以是计算机生成的视觉元素。在透视布置中，虚拟场景22包括通过显示补充的视觉元素28而看到的实际的真实场景12。在看视频布置中，虚拟场景22包括显示的真实场景12和显示的补充视觉元素28。显示的真实场景12可以基于来自单个视点24的图像或者同时来自不同视点24的多个图像，其被处理以生成来自单个视点24的图像。
图4A示出芯片或芯片组形式的装置4。所示的装置4包括至少一个处理器40和至少一个存储器46。处理器40可以是或包括中央处理器(CPU)和/或图形处理单元(GPU)。处理器40被配置为从存储器46读取或向存储器46写入。处理器40也可以包括输出接口和输入接口，通过该输出接口，数据和/或命令由处理器40输出；通过该输入接口，数据和/或命令被输入到处理器40。
存储器46存储了计算机程序148，其包括计算机程序指令(计算机程序代码)48，计算机程序指令48在被加载到处理器40中时控制装置4/30的操作。计算机程序148的计算机程序指令48，提供逻辑和例行程序，其使得装置4/30能够执行图6A、图6B和图8所示的方法。通过读取存储器46，处理器40能够加载和执行计算机程序48。
计算机程序148可以通过任何适合的传递机制到达装置4/30。传递机制可以是，例如，非暂时性计算机可读存储介质、计算机程序产品，存储器设备、诸如光盘可读存储器(CD-ROM)或数字多功能光盘(DVD)的记录介质、有形地实施计算机程序148的制品。传递机制可以是被配置为可靠地传送计算机程序148的信号。该信号可以，例如，根据一个或者多个协议通过无线连接(例如射频连接)或有线连接来发送。装置4/30可以使计算机程序148作为计算机数据信号被发送。
尽管存储器46被图示为单个部件/电路，但是它可以被实现为一个或多个单独的部件/电路，其部分或全部可以被集成/可移除和/或可以提供永久/半永久/动态/高速缓存的存储。
尽管处理器40被图示为单个部件/电路，但是它可以被实现为多个处理器，如一个或多个单独的部件/电路，其部分或全部可以被集成/可移除。处理器40可以是单核或多核。
图4B示出可操作的来实现介导现实和/或增强现实和/或虚拟现实的装置30的示意图。
在一些实施例中，装置30可以是单个电子设备，例如头戴式观看设备。图5示出了这样的头戴式观看设备的示例。
在其它实施例中，装置30可以分布在多个设备上，其可以由头戴式观看设备、游戏控制台/个人计算机和/或一个或多个手持式控制器的组合来形成。在装置30至少部分地由游戏控制台或个人计算机形成的情况下，处理器40和存储器46(或者，在提供多个处理器和/或多个存储器的情况下，一个或多个其中之一或者两者)可以由游戏控制台/个人计算机提供。
在图示的示例中，装置30包括图4A所示的装置4、一个或多个显示器32、显示光学器件33、一个或多个收发器42和用户输入电路44。
一个或多个显示器32用于以被用户视觉感知的方式向用户提供至少部分的虚拟场景22。这样的虚拟场景可以形成诸如虚拟现实内容或增强现实内容的介导现实内容一部分。显示器32可以是一个或多个视觉显示器，该一个或多个视觉显示器提供向用户显示至少部分的虚拟场景22的光。视觉显示器的示例包括液晶显示器、有机发光显示器、发射式、反射式、透射式和透射反射式显示器、直接投射视网膜显示器、近眼显示器等。在这个示例中，但不一定是所有示例，显示器32由处理器40控制。
如果装置30包括头戴式观看设备，当用户佩戴头戴式观看设备时，显示器32可以位于用户的眼睛附近，其中显示光学器件33位于用户的眼睛和显示器32之间。
显示光学器件33被配置为，与显示器32结合，使得用户感知到显示器32显示的虚拟对象与用户相距的距离不同于用户眼睛和显示器32自身之间的距离。
显示光学器件33可以是，或包括，用于用户的每只眼睛的鱼眼镜头。每个鱼眼镜头可以被配置为产生视觉失真以创建广阔的全景/半球形图像。
当用户佩戴头戴式观看设备时，显示光学器件和显示器32使得显示器32的第一显示部分形成传送到用户的第一只眼睛而非第二只眼睛的图像，并且显示器32的第二显示部分形成传送到用户的第二只眼睛而非第一只眼睛的图像。
在一些实施例中，为用户的双眼提供单个显示器32。在这些实施例中，当头戴式观看设备被佩戴时，由用户的第一只眼睛(而非用户的第二只眼睛)观看显示器32的一部分或者一半，并且由用户的第二只眼睛(而非用户的第一只眼睛)观看另外的部分或另一半32。
在其它的实施例中，第一显示部分是第一显示器，第二显示部分是不同的第二显示器。在这些实施例中，当头戴式观看设备被佩戴时，由用户的第一只眼睛(而非用户的第二只眼睛)观看第一显示器32，并且由用户的第二只眼睛(并非用户的第一只眼睛)观看第二显示器32。
通过在第一显示部分上显示在空间上相对于第二显示部分上显示的内容偏移的内容，处理器40可以使用户感知到立体效果。由于显示光学器件33的光学特性，显示器32上显示的虚拟对象的几何形状(假设它们被观看，例如，没有显示光学器件33的协助)可以不同于当头戴式观看设备被佩戴并且通过显示光学器件33观看虚拟对象时由用户感知的虚拟对象的几何形状。
当用户的头部移动时头戴式观看设备随之移动。头戴式观看设备可以是用于增强现实的透视布置，其使得实时的真实场景12能够被观看到，同时由显示器32向用户显示一个或多个视觉元素28，以便与虚拟场景22组合地提供。在这一情况下，如果有护目镜，其是透明或者半透明以使得实时的真实场景12能通过护目镜观看。
头戴式观看设备可以作为用于增强现实的看视频布置来操作，其使得真实场景12的实时视频或录制视频能够由显示器32显示以供用户观看，同时一个或多个视觉元素28由显示器32同步地显示以供用户观看。被显示的真实场景和被显示的一个或多个视觉元素28的组合将虚拟场景22提供给用户。在这一情况下，护目镜是不透明的，并且可以用作显示器32。
一个或多个收发器42被配置为接收来自处理器40的输入并且向处理器40提供输出。例如，一个或多个收发器42可以从处理器40接收数据并且发送数据，以及向处理器40提供接收的数据。
一个或多个收发器42可以包括一个或多个无线收发器和/或一个或多个有线收发器。该无线收发器可以包括，例如，一个或多个远程蜂窝收发器或短程无线收发器(例如，其可以根据电气与电子工程师协会无线局域网802.11协议或蓝牙协议操作)形式的射频接收器。该有线收发器可以包括，例如，通用串行总线(USB)收发器。
在图示的示例中，用户输入电路44可以包括一个或多个触觉传感器43、一个或多个视点传感器45、用于对真实空间10进行成像的一个或多个图像传感器47，以及一个或多个深度传感器49。
一个或多个触觉传感器43可以包括，例如，一个或多个操纵杆和一个或多个按键/按钮。操纵杆和/或按键/按钮可以构成物理的手持控制器的一部分。如果装置30是头戴式的，则一个或多个触觉传感器43中的至少一些可以被定位在头戴式装置上。
装置30可以实现用于介导现实和/或增强现实和/或虚拟现实的用户交互介导。用户输入电路44使用用户输入，例如通过触觉传感器43，来检测用户动作。处理器40使用这些用户动作来确定在虚拟空间20内发生什么。这可以实现与虚拟空间20内的视觉元素28的交互。
装置30可以实现用于介导现实和/或增强现实和/或虚拟现实的视角介导。用户输入电路44检测用户动作。处理器40使用这些用户动作来确定虚拟空间20内的视点24，从而改变虚拟空间场景22。视点24可以在位置和/或方向上连续变化，并且用户动作改变视点24的位置和/或方向。备选地，视点24可以具有离散量化位置和/或离散量化方向，并且用户动作通过跳跃至视点24的下一个位置和/或方向来切换。
装置30可以实现用于介导现实、增强现实或虚拟现实的第一人称视角。用户输入电路44使用用户视点传感器45来检测用户的真实视点14。处理器40使用用户的真实视点来确定虚拟空间20内的视点24，从而改变虚拟场景22。返回参考附图3A，用户18具有真实视点14。用户18可以改变真实视点。例如，真实视点14的真实位置13是用户18的位置，能够通过改变用户18的物理位置13而被改变。例如，真实视点14的真实方向15是用户18正在看的方向，能够通过改变用户18的真实方向而被改变。真实方向15可以例如通过以下方式被改变：用户18改变他们头部的取向或者观看点和/或用户改变他们注视的方向。头戴式装置30可被用于实现第一人称视角介导。
装置30可以包括作为输入电路44一部分的视点传感器45，视点传感器45用于确定真实视点的变化。
例如，诸如GPS、通过发送至多个接收器和/或从多个发射器接收的三角测量(三边测量)、加速度检测和积分的定位技术可以用于确定用户18的新的物理位置13和真实视点14。
例如，加速计、电子陀螺仪或电子罗盘可以用于确定用户头部或视点的取向变化以及真实视点14的真实方向15的相应变化。
例如，(例如基于计算机视觉)的瞳孔跟踪技术可以用于跟踪用户的单眼或双眼的移动，以及因而确定用户注视的方向和真实视点14的真实方向15的相应变化。
装置30可以包括作为输入电路44一部分的图像传感器47，图像传感器47用于对真实空间10进行成像。
图像传感器47的示例是被配置成作为相机操作的数字图像传感器。该相机可被操作来记录静态图像和/或视频图像。在一些实施例中，但不一定是所有实施例，相机可以被配置成立体布置或其它空间上分布的布置以使得真实空间10从不同的视角被观看。这可以实现例如通过视差效应来创建三维图像和/或进行处理以建立深度。
在一些实施例中，但不一定是所有实施例，输入电路44包括深度传感器49。深度传感器49可以包括发射器和接收器。发射器发送信号(例如，人类无法感知到的信号，如超声波或红外光)，以及接收器接收反射的信号。使用单个发射器和单个接收器，通过测量从发射到接收的飞行时间来获得一些深度的信息。使用更多的发射器和/或更多的接收器(空间分集)可以获得更好的分辨率。在一个示例中，发射器被配置成以空间相关的图案用光来“涂抹”真实空间10，优选不可见光，如红外光。接收器对特定图案的检测允许对真实空间10进行空间解析。到真实空间10的空间解析部分的距离可以通过飞行时间和/或立体观测(如果接收器相对于发射器处于立体位置)来确定。
例如使用图6A所示的方法60或相似的方法，装置30可以实现介导现实和/或增强现实和/或虚拟现实。处理器40存储和保持虚拟空间20的模型50。模型可以被提供给处理器40或者由处理器40来确定。例如，可以用输入电路44中的传感器来创建来自不同视点的虚拟空间的重叠深度图，以及随后可以生成三维模型。
在框62中确定虚拟空间20的模型是否已改变。如果虚拟空间20的模型已改变，方法移动至框66。如果虚拟空间20的模型没有改变，方法移动至框64。
在框64中确定虚拟空间20中的视点24是否已改变。如果视点24已改变，方法移动至框66。如果视点24没有改变，方法返回至框62。
在框66中，三维虚拟空间20的二维投影取自于当前视点24限定的位置23和方向25。然后投影被视场26限制以生成虚拟场景22。方法随后返回至框62。
装置30实现增强现实的情况下，虚拟空间20包括来自真实空间10的对象11和在真实空间10中不存在的视觉元素28。这样的视觉元素28的组合可以被称为虚构的虚拟空间。图5B示出用于更新虚拟空间20的模型以用于增强现实的方法70。
在框72中确定真实空间10是否已改变。如果真实空间10已改变，方法移动至框76。如果真实空间10没有改变，方法移动至框74。检测真实空间10中的变化可以使用差分(differentiating)在像素级别上实现，并且可以使用计算机视觉在对象级别上实现以在对象移动时跟踪对象。
在框74中确定虚构的虚拟空间是否已改变。如果虚构的虚拟空间已改变，方法移动至框76。如果虚构的虚拟空间没有改变，方法返回至框72。因为虚构的虚拟空间由控制器42生成，视觉元素28的变化易于被检测。
在框76中，虚拟空间20的模型被更新。
在一些实施例中，但不一定是所有实施例，除了一个或多个图像传感器47和深度传感器49之外或者作为其替代，输入电路44可以包括通信电路41。该通信电路41可以与真实空间10中的一个或多个远程图像传感器47和/或真实空间10中的远程深度传感器49进行通信。通信电路41可以是收发器42的一部分。
返回参考图4B，装置30可以实现用于介导现实和/或增强现实和/或虚拟现实的用户交互介导。用户输入电路44从用户输入检测用户动作。处理器40使用这些用户动作来确定虚拟空间20内发生什么。这可以实现与虚拟空间20内的视觉元素28的交互。
被检测的用户动作可以是，例如，在真实空间10中执行的姿态。可以以多种方式检测姿态。例如，深度传感器49可用于检测用户18局部的移动和/或图像传感器47可用于检测用户18局部的移动和/或附着在用户18的肢体上的位置/移动传感器可用于检测肢体的移动。
对象跟踪可以用于确定对象或用户什么时候移动。例如，在大的宏观尺度上跟踪对象允许创建与对象一起移动的参照系。随后通过使用关于对象的时间差分，该参照系能用于追踪对象形状的时间演变的变化。这能用于检测小尺度的人体运动，如姿态、手的移动、面部移动。这些是与用户有关的场景独立的(仅)用户的移动。
装置30可以追踪与用户身体相关的多个对象和/或点，例如用户身体的一个或多个关节。在一些示例中，装置30可以执行用户身体的全身骨骼追踪。
装置30可以在姿态识别等中使用与用户身体相关的一个或多个对象和/或点的追踪。
图7示出与一个或多个设备304、305、306、308通信的装置30的示意图。作为示例，在图7中装置30由以游戏控制台301为形式的第一设备、以头戴式观看设备302为形式的第二设备和以手持式控制器303为形式的第三设备303组成。
在该示例中，游戏控制台301提供装置30的处理器40、存储器46和收发器42，头戴式观看设备302中提供装置30的显示器32和显示光学器件33，并且手持式控制器303中提供装置30的一个或多个触觉传感器43。
图7示出以横向取向的第一移动电话304为形式的第四设备、以纵向的第二移动电话305为形式的第五设备、以连接到头戴式观看设备307的个人计算机306为形式的第六和第七设备以及以笔记本计算机308为形式的第八设备。游戏控制台301可以通过收发器42与任意或所有的设备304、305、307、308进行有线或无线通信。
现在将参照图8描述根据本发明实施例的方法。在图8的框801中，游戏控制台301的处理器40使头戴式观看设备302的显示器32显示介导现实内容90。
图9示出用户82观看头戴式观看设备302的显示器32显示的(视觉的)介导现实内容90。显示了包括虚拟对象的虚拟场景。头戴式观看设备302使得用户82能够以第一人称视角介导的方式观看介导现实内容90。
在如下所述和附图所示的示例中，介导现实内容90为(视觉的)虚拟现实内容，使得用户能够体验完全虚构/虚拟的环境。在其它示例中，介导现实内容90可以是增强现实内容，其使得用户能够体验部分虚构/虚拟、部分真实的环境。
介导现实内容90围绕用户82扩展，并且超出了用户82的视场。这表明用户82不可能在任何一个时刻看到所显示的介导现实内容的全部。介导现实内容90可以同时在水平面和垂直面上围绕用户82扩展360度，但是出于清晰的目的，其在图9中没有示出。
介导现实内容90的全部不需要同时显示出来。换言之，在特定时刻，用户82通过移动他的头部和/或眼睛可以观看到的介导现实内容的角度范围可以大于显示器32显示的介导现实内容90的角度范围。
当用户82体验介导现实内容90时，处理器40通过图6A中所示以及在增强现实内容的情况下或者图6B中所示的方法连续循环运行。
在图8的框802中，游戏控制台301标识另外的设备，将与该另外的设备共享介导现实内容90的至少一部分。在该示例中，另外的设备是横向的第一移动电话304。
另外的设备的标识不需要在头戴式观看设备302开始显示介导现实内容90以后发生。而是可以在头戴式观看设备302开始显示介导现实内容90之前发生。
在一些情况下，另外的设备可以发送请求给游戏控制台301以接收共享内容，其由收发器42接收并且由处理器40处理。在该情况下，内容从游戏控制台301中被“拉出”。在其它情况下，处理器40可以控制收发器42扫描设备，例如附近的设备，以标识另外的设备。游戏控制台301的收发器42在处理器40的控制下可以发送请求以与另外的设备共享内容。
图8的框802中发生的另外的设备的标识可以是已经通过收发器42与游戏控制台301通信的设备的标识。例如，通信链路可以已经建立，但是直到图8中的框802为止，另外的设备可以还未被标识用于共享目的。备选地，当接收共享内容的请求收到时，另外的设备可以还未与游戏控制台301通信。在这些情况下，内容被游戏控制台301“推送”。
在框803中，游戏控制台301的处理器40确定一个或多个参数，该一个或多个参数表征与另外的设备相关联的一个或多个显示器。在该示例中，另外的设备为具有单个显示器的第一移动电话304。第一移动电话304的显示器可以用参数表征，该参数例如是，显示器的分辨率、显示器的宽高比、涉及显示器的色彩再现的参数和/或显示器的显示器类型。这些参数可以表征显示器的永久属性，例如上面所述那些，或者一个或多个瞬态属性，例如显示器的当前取向。
例如，定义另外设备的显示器的分辨率的参数可以指示显示器的分辨率为1280×720(高清)、1920×1080(全高清)、2560×1440(四分之一高清)或任何其它的分辨率。定义显示器宽高比的参数可以指示显示器的宽高比为16:9、4:3或者任何其它的宽高比。涉及色彩再现的参数可以指示显示器是彩色显示器，还是黑白显示器(例如电子墨水显示器)。定义显示器的显示器类型的参数指示显示器是平面显示器、曲面显示器、非立体显示器、立体显示器等等。
可以在由第一移动电话304通过有线或无线连接向游戏控制台301的收发器42发送的信号中接收一个或多个参数。在该示例中，游戏控制台301的处理器40根据该参数确定：第一移动电话304的显示器具有16:9的宽高比、1280×720的分辨率，显示器是彩色显示器，显示器是平面的，并且显示器当前为横向取向(或者第一移动电话304请求横向取向的内容)。
在图8的框804中，游戏控制台301的处理器40基于确定的参数确定与另外的设备共享的介导现实内容90的至少一部分。
在该示例中，游戏控制台301的处理器40渲染介导现实内容90以供头戴式观看设备302的显示器32显示。渲染可以至少部分地取决于头戴式观看设备302的显示器32的分辨率。
头戴式观看设备302的显示器32可以具有任何的分辨率。举例来说，在此情况下显示器32会被认为是具有7680×2160分辨率的单个显示器。由用户82的第一只眼睛(而非用户82的第二只眼睛)观看具有3840×2160分辨率的显示器32的第一显示部分，并且由用户82的第二只眼睛(而非用户82的第一只眼睛)观看具有3840×2160分辨率的显示器32的第二显示部分。
为了达到立体效果，显示器32的第一显示部分显示的图像相对于显示器32的第二显示部分显示的图像在空间上偏移。第一显示部分显示的一些信息/内容未被第二显示部分显示。换言之，一些信息/内容能被用户的第一只眼睛能看见而不能被用户的第二只眼睛看见，反之亦然。
依据表征移动电话304显示器的参数，游戏控制台301的处理器40处理介导现实内容90以标识与第一移动电话304共享的介导现实内容90的一部分。例如，处理器40可以标识与第一移动电话304的显示器具有相同分辨率的介导现实内容90的一部分。
将要与另外设备共享的介导现实内容的部分的确定可以依赖于装置30的实施方式。在一些实施方式中，处理器40可以确定显示器32上显示的介导现实内容90的以像素为单位的区域，显示器32具有跟与另外的设备相关联的显示器相同的分辨率。被选择的介导现实内容90的该部分可以取决于用户通过用户输入电路44提供的输入。
在该示例中，用户通过手持式控制器303的触觉用户输入传感器43提供输入，并且根据那些输入选择介导现实内容90的一部分/一块区域。处理器40可能仅获得被提供用于在显示部分之一上显示的内容/信息，以与第一移动电话304共享该内容。在该示例中，在显示器32的第一部分上显示的大部分内容被复制到显示器32的第二显示部分上以获取立体效果，因此，可能仅需要从提供给一个显示部分的信息/内容中获取信息/内容，以便共享被选择的所确定的部分内容。
在一些实施方式中，处理器40可以基于显示光学器件33的光学特性(例如，基于一个或多个鱼眼镜头的失真效应)处理介导现实内容90，从而介导现实内容90适于通过显示光学器件33观看。
如果这样，可以在对介导现实内容90执行该处理之前由处理器40获得介导现实内容90的所确定的部分，或者备选地，在与第一移动电话304共享介导现实内容90的所选择的部分之前，可以对被输出到显示器32上的介导现实内容90的所选择的部分执行后期处理以考虑显示光学器件33的光学效应。否则，如果在例如没有第一移动电话304上的显示光学器件33协助的情况下观看，显示器32显示的虚拟对象的几何形状可能会出现失真。
在图8的框805中，游戏控制台301的处理器40使得与另外的设备共享部分介导现实内容90。例如，游戏控制台301的处理器40可以控制收发器42直接向第一移动电话304发送部分介导现实内容90，或通过一个或多个网络，例如互联网来发送。
与另外的设备/第一移动电话304共享的部分介导现实内容90从由游戏控制台301渲染以供在头戴式观看设备302上显示的介导现实内容90导出。
共享的部分介导现实内容90可以是静态图像。备选地，可以是运动视频，其取自于交互视频游戏或非交互式的运动视频。在该情况下，游戏控制台301可以在一定时间内连续向第一移动电话304提供该部分介导现实内容90。
在一些实施方式中，可以将界定出介导现实内容90的共享部分的指示101提供给正在通过头戴式观看设备302观看介导现实内容90的用户82。可以在共享前、在共享过程中和/或在共享后提供该指示101。该指示如图10A所示。在图10A中，指示101具有与根据另外设备的显示器分辨率正在/将要/已经共享的该部分介导现实内容90相对应的区域。在该示例中，图10A所示的指示101对应于根据第一移动电话304的显示器的分辨率正在/将要/已经共享的该部分介导现实内容90。
本领域技术人员可以理解的是，游戏控制台301也可以，以与第一移动电话304共享部分介导现实内容相关的上述方式，与第二移动电话305、个人计算机306和/或笔记本计算机308共享部分的介导现实内容90。
图10B涉及正在与笔记本计算机308共享部分介导现实内容90的示例。在该示例中，笔记本计算机的显示器分辨率为1920×1080。由于正在共享的部分介导现实内容90的指示102的尺寸取决于笔记本计算机308的显示器分辨率，图10B所示的指示102大于图10A所示的指示101。
图10C示出游戏控制台301正在与第二移动电话305共享部分介导现实内容90的示例。第二移动电话305为纵向取向，因此正在与第二移动电话305共享的部分介导现实内容90的指示103具有与图10A所示的指示101不同的取向。但是，在该示例中，第一移动电话304与第二移动电话305具有相同的分辨率，从而图10C所示的指示103的尺寸与图10A所示的指示101的尺寸相同。
图7所示的个人计算机306与头戴式观看设备307相关联(在这种情况下为电连接)。头戴式观看设备307使用户/佩戴者能够以第一人称视角介导的方式观看介导现实内容。游戏控制台301可以，例如，与个人计算机306共享所有的介导现实内容90，使得头戴式观看设备307以与头戴式观看设备302相同的方式显示介导现实内容。但是，连接到个人计算机306的头戴式观看设备307显示的共享的介导现实内容90由游戏控制台301渲染。
图11A示出了标线104，游戏控制台301和头戴式观看设备302的用户82可以例如通过使用一个或多个触觉传感器43在介导现实内容90被共享时选择用于另一用户的起始视角或视点来引导标线104。这可以通过选择介导现实内容中的特定兴趣对象来实现。在图11A所示的实施例中，可以共享全部的介导现实内容90。
例如，如果与个人计算机306共享以及由头戴式观看设备307显示介导现实内容90，初始提供给头戴式观看设备307用户的介导现实内容90的视角/视点为头戴式观看设备302用户82所选择的视角/视点。头戴式观看设备307的用户可以因此在初始时看见用户82选择的介导现实内容90中的兴趣对象。
在一些实施例中，用户也许可以例如通过一个或多个触觉传感器43提供输入，以使得处理器40在部分介导现实内容90被选择共享之前放大介导现实内容90。例如，用户82可以使用一个或多个触觉传感器43选择介导现实内容90的一部分来放大。这样就为用户82放大了介导现实内容90。随后可以选择介导现实内容90的放大部分以用于共享。选择介导现实内容90的放大部分用于与另外设备共享可能导致共享部分相比于与另外设备相关联的显示器的分辨率具有更低的分辨率。
图11B示出了如下示例，其中虚线框103指示与另外的设备相关联的显示器相对于正被用于显示介导现实内容90的显示器32的分辨率。在该示例中，用户已经放大利用参考标记104标记的区域。处理器40使显示器32显示区域104的放大版本105以向用户82演示放大区域会怎样出现在与另外的设备相关联的显示器上。
处理器40可以演示当另外的设备的显示器用其它方式显示时部分介导现实内容90会如何出现。例如，如果与另外的设备相关联的显示器是黑白显示器，头戴式观看设备302的显示器32在游戏控制台301的处理器40的控制下会以黑白的形式显示将要共享、正在共享或已经共享的部分介导现实内容90。
在本发明的一些实施例中，装置30可能同时与不同设备共享介导现实内容90的不同部分。正在共享的不同部分可以被显示器32界定。图12A示出了如下示例，其中介导现实内容的不同部分正在同时与不同设备共享。利用参考标记106标记的指示器指示正与跟名为“Jim”的用户相关联的设备共享的部分介导现实内容90。利用参考标记107标记的指示器指示正与跟名为“Ashley”的用户相关联的设备共享的部分介导现实内容90。利用参考标记108标记的指示器指示正与跟名为“Matthew”的用户相关联的设备共享的部分介导现实内容90。
如在图12A中所看见的，图12A中所示的示例中，正与各个设备共享的内容之间存在一些重叠。
在一些情况下，介导现实内容90的不同部分可以与跟同一用户相关联的不同设备共享。这在图12B中示出，其中指示器108示出正与跟用户“Matthew”相关联的移动电话共享的内容，并且指示器109指示正在与智能手表共享的部分内容，该智能手表也与用户“Matthew”相相关联。
图6A、图6B和图8所示的框可以表示方法的步骤和/或计算机程序148的代码段。框的特定顺序的示出并不一定表明存在要求的或优选的框顺序，并且框的顺序和布置可以变化。而且，一些框可以被省略。
对“计算机可读存储介质”或“计算机”、“处理器”等的引用应该被理解为不仅包括具有不同架构的计算机，例如单/多处理器架构和顺序(冯·诺依曼)/并行架构，而且还有专用电路，如现场可编程门阵列(FPGA)、专用电路(ASIC)、信号处理设备和其它处理电路。对计算机程序、指令、代码等的引用应理解为包含用于可编程处理器或固件的软件，例如硬件设备的可编程内容，无论是用于处理器的指令还是用于固定功能设备、门阵列或可编程逻辑器件等的配置设置。
本申请中所使用的术语“电路”是指以下全部：
(a)仅硬件电路实现(例如仅在模拟和/或数字电路中的实现)以及
(b)电路和软件(和/或固件)的组合，例如(如适用)：(i)处理器的组合或(ii)处理器/软件的部分(包括数字信号处理器、软件和存储器，其一起工作以使诸如移动电话或服务器的设备执行各种功能)以及
(c)电路，诸如微处理器或微处理器的一部分，需要软件或固件进行操作，即使软件或固件物理上不存在。
“电路”的这个定义适用于本申请中(包括任何权利要求中)的该术语的所有使用。作为进一步的示例，如在本申请中所使用的，术语“电路”还将覆盖仅有处理器(或多个处理器)、或处理器的一部分和与其(或它们的)伴随的软件和/或固件的实施方式。如果适用于特定权利要求元素，术语“电路”还将涵盖，例如：用于移动电话的基带集成电路或应用处理器集成电路，或服务器、蜂窝网络设备或其它网络设备中的类似集成电路。
在已描述了结构特征的情况下，其可以被用于执行结构特征的一个或多个功能的装置来替换，无论该功能或那些功能是被明确地还是被隐含地描述。
尽管在前面的段落中已经参照各种示例描述了本发明的实施方式，但是应当理解的是，可以对所给出的示例进行修改而不偏离所要求保护的本发明的范围。例如，对于本领域的技术人员明显的是，装置30不需要是如上所述的游戏控制台301、头戴式观看设备302和手持式控制器303的组合。其可以是例如个人计算机和头戴式观看设备的组合，或者仅仅是头戴式观看设备。
在一些实施例中，显示器32可以是全息的。在这样的实施例中，可以不需要头戴式观看设备。
前面描述中所描述的特征可以以明确描述的组合之外的组合来使用。
尽管已经参考某些特征描述了功能，但是这些功能可以由其它特征来执行，无论是否被描述过。
尽管已经参考某些实施例描述了特征，但是这些特征也可以存在于其它实施例中，而无论是否被描述过。
虽然在前面的说明书中致力于引起对于被认为是特别重要的本发明的那些特征的注意，但是应该理解的是，无论是否已对其特别强调，申请人要求与上文提到和/或在附图中示出的任何可专利特征或特征的组合有关的保护。

Claims (15)

1.一种方法，包括：
使得由与设备相关联的一个或多个显示器显示介导现实内容；
标识将要与其共享所述介导现实内容的至少一部分的另外的设备；
确定一个或多个参数，所述一个或多个参数表征与所述另外的设备相关联的一个或多个显示器；
至少部分地基于所确定的所述一个或多个参数，确定将要与所述另外的设备共享的所述介导现实内容的至少一部分；以及
使得与所述另外的设备共享所述介导现实内容的所述部分。
2.根据权利要求1所述的方法，其中所述一个或多个显示器为头戴式观看设备的一部分。
3.根据权利要求1或2所述的方法，其中所述介导现实内容被渲染以供与所述设备相关联的所述一个或多个显示器显示，以及与所述另外的设备共享的所述介导现实内容的所述部分是从被渲染以供与所述设备相关联的所述一个或多个显示器显示的所述介导现实内容被导出的。
4.根据权利要求1、2或3所述的方法，其中所述一个或多个参数表征与所述另外的设备相关联的所述显示器的取向，以及将要与所述另外的设备共享的所述部分是至少部分地基于与所述另外的设备相关联的显示器的取向被确定的。
5.根据前述权利要求中的任一项所述的方法，其中确定将要与所述另外的设备共享的所述介导现实内容的所述部分包括确定所述一个或多个显示器上的区域。
6.根据权利要求5所述的方法，其中所述区域是以像素为单位的。
7.根据前述权利要求中的任一项所述的方法，其中所述一个或多个参数包括与所述另外的设备相关联的所述一个或多个显示器的分辨率、与所述另外的设备相关联的所述显示器的宽高比、涉及与所述另外的设备相关联的所述一个或多个显示器的色彩再现的参数、或者与所述另外的设备相关联的所述一个或多个显示器的显示器类型。
8.根据前述权利要求中的任一项所述的方法，还包括：在与所述另外的设备共享所述介导现实内容的所述部分之前、期间或之后，使得所述介导现实内容的所述部分由与所述设备相关联的所述一个或多个显示器界定。
9.根据前述权利要求中的任一项所述的方法，还包括：使得所述设备的用户能够选择将要与所述另外的设备共享的所述介导现实内容的所述部分。
10.根据权利要求9所述的方法，其中使得所述设备的所述用户能够选择将要与所述另外的设备共享的所述介导现实内容的所述部分包括使得所述用户能够放大所述介导现实内容以执行选择。
11.根据前述权利要求中的任一项所述的方法，还包括：确定表征与另一设备相关联的一个或多个显示器的一个或多个参数；基于所确定的所述一个或多个参数来确定将要与所述另一设备共享的所述介导现实内容的另外的部分，使得与所述另一设备共享所述介导现实内容的所述另外的部分。
12.一种计算机程序代码，所述计算机程序代码在由至少一个处理器执行时，使得根据前述权利要求中的任一项所述的方法被执行。
13.一种装置，包括：
用于使得由与设备相关联的一个或多个显示器显示介导现实内容的部件；
用于标识将要与其共享所述介导现实内容的至少一部分的另外的设备的部件；
用于确定一个或多个参数的部件，所述一个或多个参数表征与所述另外的设备相关联的一个或多个显示器；
用于至少部分地基于所确定的所述一个或多个参数来确定将要与所述另外的设备共享的所述介导现实内容的至少一部分的部件；以及
用于使得与所述另外的设备共享所述介导现实内容的所述部分的部件。
14.根据权利要求13所述的装置，还包括用于执行根据权利要求2至11中的一项或多项所述的方法的部件。
15.根据权利要求13或14所述的装置，其中所述装置是所述设备或者是连接到与所述设备相关联的所述一个或多个显示器的设备。
CN201680045475.XA 2015-08-04 2016-07-15 共享介导现实内容 Pending CN107850990A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15179736.2A EP3128413A1 (en) 2015-08-04 2015-08-04 Sharing mediated reality content
EP15179736.2 2015-08-04
PCT/FI2016/050522 WO2017021587A1 (en) 2015-08-04 2016-07-15 Sharing mediated reality content

Publications (1)

Publication Number Publication Date
CN107850990A true CN107850990A (zh) 2018-03-27

Family

ID=53794079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680045475.XA Pending CN107850990A (zh) 2015-08-04 2016-07-15 共享介导现实内容

Country Status (5)

Country Link
US (1) US10999412B2 (zh)
EP (1) EP3128413A1 (zh)
JP (2) JP6619871B2 (zh)
CN (1) CN107850990A (zh)
WO (1) WO2017021587A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113272710A (zh) * 2018-10-19 2021-08-17 脸谱科技有限责任公司 通过分色扩展视场

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102557935B1 (ko) * 2016-03-10 2023-07-21 삼성전자주식회사 전자 장치 및 전자 장치의 디스플레이 제어 방법
EP3264371B1 (en) 2016-06-28 2021-12-29 Nokia Technologies Oy Apparatus for sharing objects of interest and associated methods
EP3413166B1 (en) * 2017-06-06 2023-06-21 Nokia Technologies Oy Rendering mediated reality content
WO2019013016A1 (ja) * 2017-07-13 2019-01-17 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10706628B2 (en) * 2018-02-28 2020-07-07 Lenovo (Singapore) Pte. Ltd. Content transfer
EP3584692A1 (en) * 2018-06-19 2019-12-25 InterDigital CE Patent Holdings Sharing virtual content in a mixed reality scene
EP3599544A1 (en) * 2018-07-25 2020-01-29 Nokia Technologies Oy An apparatus, method, computer program for enabling access to mediated reality content by a remote user
KR102543993B1 (ko) * 2018-09-04 2023-06-22 애플 인크. 시뮬레이션된 현실(sr)에서의 디스플레이 디바이스 공유 및 상호작용성
WO2020161816A1 (ja) * 2019-02-06 2020-08-13 マクセル株式会社 複合現実表示装置および複合現実表示方法
KR102359367B1 (ko) * 2020-04-07 2022-02-07 주식회사 엔씨소프트 게임 스트리밍을 위한 방법 및 장치

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060023063A1 (en) * 2004-07-27 2006-02-02 Pioneer Corporation Image sharing display system, terminal with image sharing function, and computer program product
US20120019433A1 (en) * 2010-07-21 2012-01-26 Canon Kabushiki Kaisha Image transmission apparatus and control method therefor, and image display system
US20120147036A1 (en) * 2009-08-27 2012-06-14 Kyocera Corporation Display system and control method
CN102568026A (zh) * 2011-12-12 2012-07-11 浙江大学 一种多视点自由立体显示的三维增强现实方法
CN102595228A (zh) * 2011-01-07 2012-07-18 三星电子株式会社 内容同步设备和方法
CN102695032A (zh) * 2011-02-10 2012-09-26 索尼公司 信息处理装置、信息共享方法、程序以及终端设备
US20120274750A1 (en) * 2011-04-26 2012-11-01 Echostar Technologies L.L.C. Apparatus, systems and methods for shared viewing experience using head mounted displays

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3880561B2 (ja) 2002-09-05 2007-02-14 株式会社ソニー・コンピュータエンタテインメント 表示システム
JP4262011B2 (ja) 2003-07-30 2009-05-13 キヤノン株式会社 画像提示方法及び装置
US7653001B2 (en) 2004-04-09 2010-01-26 At&T Mobility Ii Llc Managing differences in user devices when sharing content on mobile devices
US9261871B2 (en) * 2012-03-29 2016-02-16 Yokogawa Electric Corporation Apparatus and method for determining operation compatibility between field devices
US9978178B1 (en) * 2012-10-25 2018-05-22 Amazon Technologies, Inc. Hand-based interaction in virtually shared workspaces
US20150355463A1 (en) 2013-01-24 2015-12-10 Sony Corporation Image display apparatus, image display method, and image display system
JP5756156B2 (ja) 2013-09-26 2015-07-29 株式会社オプティム 画面共有端末、画面共有方法、画面共有端末用プログラム
US20150193979A1 (en) 2014-01-08 2015-07-09 Andrej Grek Multi-user virtual reality interaction environment
AU2016231584A1 (en) * 2016-09-22 2018-04-05 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding video data

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060023063A1 (en) * 2004-07-27 2006-02-02 Pioneer Corporation Image sharing display system, terminal with image sharing function, and computer program product
US20120147036A1 (en) * 2009-08-27 2012-06-14 Kyocera Corporation Display system and control method
US20120019433A1 (en) * 2010-07-21 2012-01-26 Canon Kabushiki Kaisha Image transmission apparatus and control method therefor, and image display system
CN102595228A (zh) * 2011-01-07 2012-07-18 三星电子株式会社 内容同步设备和方法
CN102695032A (zh) * 2011-02-10 2012-09-26 索尼公司 信息处理装置、信息共享方法、程序以及终端设备
US20120274750A1 (en) * 2011-04-26 2012-11-01 Echostar Technologies L.L.C. Apparatus, systems and methods for shared viewing experience using head mounted displays
CN102568026A (zh) * 2011-12-12 2012-07-11 浙江大学 一种多视点自由立体显示的三维增强现实方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113272710A (zh) * 2018-10-19 2021-08-17 脸谱科技有限责任公司 通过分色扩展视场

Also Published As

Publication number Publication date
US10999412B2 (en) 2021-05-04
JP2018532173A (ja) 2018-11-01
US20180219975A1 (en) 2018-08-02
WO2017021587A1 (en) 2017-02-09
JP2020035455A (ja) 2020-03-05
EP3128413A1 (en) 2017-02-08
JP6619871B2 (ja) 2019-12-11

Similar Documents

Publication Publication Date Title
CN107850990A (zh) 共享介导现实内容
JP6558839B2 (ja) 媒介現実
JP5843340B2 (ja) ３次元環境共有システム及び３次元環境共有方法
JP6478360B2 (ja) コンテンツ閲覧
US8952956B2 (en) Computer-readable storage medium having stored therein display control program, display control apparatus, display control system, and display control method
JP6662914B2 (ja) 媒介現実
JP2012139318A (ja) 表示制御プログラム、表示制御装置、表示制御システム、及び、表示制御方法
CN103180893A (zh) 用于提供三维用户界面的方法和系统
CN105051650A (zh) 三维解锁设备、三维解锁方法和程序
US11222457B2 (en) Systems and methods for augmented reality
US10437874B2 (en) Searching image content
JP6775669B2 (ja) 情報処理装置
CN109313483A (zh) 一种与虚拟现实环境进行交互的装置
US20220230357A1 (en) Data processing
US10902617B2 (en) Data processing for position detection using optically detectable indicators
WO2018173206A1 (ja) 情報処理装置
JP2021002402A (ja) 情報処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180327