CN112534394A - 在混合现实场景中共享虚拟内容 - Google Patents
在混合现实场景中共享虚拟内容 Download PDFInfo
- Publication number
- CN112534394A CN112534394A CN201980051937.2A CN201980051937A CN112534394A CN 112534394 A CN112534394 A CN 112534394A CN 201980051937 A CN201980051937 A CN 201980051937A CN 112534394 A CN112534394 A CN 112534394A
- Authority
- CN
- China
- Prior art keywords
- user
- shared
- virtual content
- user device
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 47
- 238000009877 rendering Methods 0.000 claims abstract description 39
- 238000004590 computer program Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000001404 mediated effect Effects 0.000 description 6
- 230000015654 memory Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
- G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
- G09G5/026—Control of mixing and/or overlay of colours in general
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0464—Positioning
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
- G09G2370/042—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller for monitor identification
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/16—Use of wireless transmission of display information
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Information Transfer Between Computers (AREA)
- Processing Or Creating Images (AREA)
Abstract
描述了一种共享混合现实场景中的虚拟内容的方法和一种呈现混合现实场景中的虚拟内容的方法以及相应的设备，所述混合现实场景被渲染在对该混合现实场景具有不同观看位置和/或朝向的至少两个用户设备上。在第一用户设备处，使得用户能够选择要共享的虚拟内容和要与其共享该虚拟内容的第二用户设备。提供与要共享的所述虚拟内容有关的信息，其中所提供的信息包括要共享的所述虚拟内容的3D位置。由所述第二用户设备接收所述信息，并且所述共享的虚拟内容相对于所述第二用户设备对所述混合现实场景的观看位置和/或朝向而被渲染。
Description
技术领域
本原理涉及共享在第一用户设备上渲染的混合现实场景中的虚拟内容的方法以及在至少第二用户设备上渲染所共享的虚拟内容的方法，其中所述至少两个设备具有到所述混合现实场景上的不同观看位置和/或朝向。
背景技术
本部分旨在向读者介绍可能与以下描述的本实施例相关的技术的各个方面。相信该讨论有助于向读者提供背景信息，以便于更好地理解本公开的各个方面。因此，应当理解，这些陈述应就此而论地阅读。
计算机、图形卡和处理器的性能和速度的显著提高、显示器的发展以及全新移动设备的发展已经导致了虚拟现实(VR)和混合现实(MR)技术(这两者都是所谓的介导现实的一部分)的许多应用。MR是现实和虚拟现实的混合，即，现实和虚拟内容的合并，这其中包括增强现实(AR)和增强虚拟(AV)这两者。
VR使得用户能够利用合适的工具来体验虚拟的、环绕的3D数字世界，以从不同的侧面观看它，在它中四处移动，甚至可能与它交互。在VR环境中，用户不再感知他的真实环境或者仅感知到非常有限的程度。
AR通过虚拟内容(尤其是文本、图形、动画、视频、静态或移动3D对象的形式)来丰富用户所感知的真实世界。用户通常感知显示器上的虚拟内容，在显示器上虚拟内容被合并到真实世界中。相应地，AV是指将真实世界内容合并到主要是虚拟的世界中。
对于MR/VR内容的呈现，可以使用不同的设备，诸如具有显示器的移动设备，如移动电话或计算机平板电脑。在这种情况下，通过在显示器上显示虚拟内容以及由相应设备的相机记录的真实环境，使得MR呈现成为可能。显示MR/VR内容的设备的另一个示例是头戴式显示器(HMD)，其由用户像普通眼镜一样佩戴，但是具有一个或多个投影或显示单元以将图像投影在眼睛前面或直接投影在视网膜上。取决于头戴式显示器是用于VR还是MR内容，佩戴者可以仅感知虚拟周围3D数字世界或者周围真实环境。作为另一示例，AR内容还可以通过虚拟内容在诸如窗口的允许观看真实世界的透明表面上的投影来显示。
虽然对于许多当今的应用，MR/VR内容仅被呈现给单个用户，但是对同一MR/VR场景中的多个用户的同时参与以及在这些用户之间共享包含在MR/VR场景中的虚拟内容的兴趣也在增加。
WO 2017/021587A1中公开了一种共享介导现实内容的方法。由一设备显示介导现实内容，并且要与其共享介导现实内容的至少一部分的另外的设备被识别。确定表征与所述另外的设备相关联的显示器的一个或多个参数以及要与所述另外的设备共享的介导现实内容的一部分。与所述另外的设备共享所述介导现实内容的所述部分。
发明内容
在第一方面，描述了一种共享混合现实场景中的虚拟内容的方法，该混合现实场景被渲染在对其具有不同观看位置和/或朝向的至少两个用户设备上。该方法包括，在第一用户设备处：
-使用户能够选择要共享的虚拟内容和要与其共享所述虚拟内容的第二用户设备；以及
-提供与要与所述第二用户设备共享的所述虚拟内容有关的信息，其中所提供的信息包括要共享的所述虚拟内容的3D位置。
在第二方面，描述了一种呈现在混合现实场景中的虚拟内容的方法，该混合现实场景被渲染在对其具有不同观看位置和/或朝向的至少两个用户设备上。所述方法包括，在第二用户设备处：
-从第一用户设备接收与所述混合现实场景中的虚拟内容有关的信息，所述虚拟内容由所述第一用户设备与所述第二用户设备共享，其中，所接收的信息包括要共享的所述虚拟内容的3D位置；以及
-相对于所述第二用户设备对所述混合现实场景的所述观看位置和/或朝向，渲染所述共享的虚拟内容。
在第三方面，描述了一种用于共享混合现实场景中的虚拟内容的设备，该混合现实场景被渲染在对其具有不同观看位置和/或朝向的至少两个用户设备上。该设备包括：
-用于使得能够选择要共享的虚拟内容和要与其共享所述虚拟内容的第二用户设备的装置；以及
-用于向所述第二用户设备提供与要共享的所述虚拟内容相关的信息的装置，其中所提供的信息包括要共享的所述虚拟内容的3D位置。
在第四方面，描述了一种用于呈现混合现实场景中的虚拟内容的设备，该混合现实场景被渲染在对其具有不同观看位置和/或朝向的至少两个用户设备上。该设备包括：
-用于从第一用户设备接收与所述混合现实场景中的虚拟内容有关的信息的装置，所述虚拟内容由所述第一用户设备与所述第二用户设备共享，其中，所接收的信息包括要共享的所述虚拟内容的3D位置；以及
-用于相对于所述第二用户设备对所述混合现实场景的所述观看位置和/或朝向，渲染所述共享的虚拟内容的装置。
以上给出了本主题的简化概述，以便提供对本主题实施例的一些方面的基本理解。本概述不是对本主题的详尽综述。其并非旨在标识各实施例的关键/重要元素或描绘本主题的范围。其唯一目的是以简化形式呈现本主题的一些概念，作为稍后呈现的更详细描述的序言。
附图说明
当结合附图阅读时，从以下详细描述中可以最好地理解所提出的方法和装置。附图包括以下简要描述的附图：
图1示出了根据本公开的一个实施例的共享混合现实场景中的虚拟内容的示例性方法的流程图。
图2示出了根据本公开的一个实施例的在第二用户设备上呈现所共享的虚拟内容的示例性方法的流程图。
图3示出了三个MR渲染设备，其中两个之间具有共享信息的交换。
图4示出了两个MR渲染设备和服务器，其中在两个MR设备之间经由服务器交换共享信息。
图5示出了第一和第二用户，每个用户用他们自己的用户设备观察相同的环境。
图6示出了用于使用触摸屏显示器来选择所显示的MR场景中要共享的内容和与其共享的用户这两者的方法。
图7示出了显示给第二用户的在屏信息的示例，该在屏信息通知第二用户另一用户想要与他共享内容。
图8示出了在第二用户已经接受共享之后在第二用户设备的显示器上示出的渲染的MR场景。
图9示出了生成共享内容的显现效果的动画。
图10示出了利用接受通知或使用突出显示来通知第一用户而渲染在第一用户设备上显示的MR场景的示例。
图11示出了MR场景的视图，其中一些用户由图标表示。
图12示出了被配置为使得能够共享混合或虚拟现实内容的设备的框图。
应当理解，附图是为了说明本公开的概念的目的，并且不一定是用于说明本公开的唯一可能配置。
具体实施方式
本文所叙述的所有示例和条件语言旨在用于教示目的，以帮助读者理解本公开的原理和由发明人贡献以促进本领域的概念，并且应被解释为不限于此类具体叙述的示例和条件。
应当理解，图中所示的元件可以以硬件、软件或其组合的各种形式来实现。优选地，这些元件在一个或多个适当编程的通用设备上以硬件和软件的组合来实现，所述通用设备可以包括处理器、存储器和输入/输出接口。在此，短语“耦合”被定义为表示直接连接或通过一个或多个中间组件间接连接。这样的中间组件可以包括基于硬件和软件的组件。
本领域技术人员将理解，流程图表示可由计算机或处理器执行的各种过程，无论是否明确示出了这样的计算机或处理器。类似地，将了解，本文呈现的框图表示体现本发明的原理的说明性电路的概念图。
可以通过使用专用硬件以及能够与适当软件相关联地执行软件的硬件来提供图中所示的各种元件的功能。当由处理器提供时，所述功能可以由单个专用处理器、单个共享处理器或多个单独的处理器提供，其中一些可以被共享。也可以包括其它常规和/或定制的硬件。类似地，图中所示的任何开关仅是概念性的。它们的功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互、或者甚至手动地来执行，如从上下文中更具体地理解的，特定技术可由实施者选择。
在其权利要求中，被表达为用于执行指定功能的装置的任何元件旨在包含执行该功能的任何方式，这其中包括例如a)执行该功能的电路元件的组合，或者b)任何形式的软件，因此包括固件、或微代码等，其与用于执行该软件以执行该功能的适当电路组合。
在一实施例中，一种共享混合现实场景中的虚拟内容的方法，该混合现实场景被渲染在对其具有不同观看位置和/或朝向的至少两个用户设备上，该方法可包括在第一用户设备处：
-使用户能够选择要共享的虚拟内容和要与其共享所述虚拟内容的第二用户设备；以及
-向所述第二用户设备提供与要共享的所述虚拟内容相关的信息，其中所提供的信息包括要共享的所述虚拟内容的3D位置。
在一些实施例中，该方法还可以包括：
-使用所述第一用户设备的观看位置和/或朝向以及要共享的内容的3D位置，在所述第一用户设备上渲染要共享的内容。
在一些实施例中，所述使得用户能够还可包括：接收用于选择要在所渲染的混合现实场景中共享的内容的用户输入。
在一些实施例中，在第一用户设备上渲染的混合现实场景还可包括：第二用户设备和/或第二用户设备的用户和/或表示第二用户设备或用户的图形符号，并且所述使得用户能够还可包括：检测用于选择所渲染的混合现实场景中的所渲染的用户设备、用户或图形符号的用户输入。
一些实施例还可包括：在第一用户设备的触摸屏上渲染所述混合现实场景，并且检测到的用户输入是用户在搜索触摸屏上执行的手势。
在一些实施例中，所执行的手势还可以包括：
-通过在要共享的所显示的内容的位置处触摸所述触摸屏来选择要共享的内容；
-将所选择的内容拖动到所渲染的用户设备、用户或图形符号的位置；以及
-通过将所选择的内容放置到所渲染的用户设备、用户或图形符号上来共享所选择的内容。
在一些实施例中，该方法还可以包括：第二用户设备和/或第二用户设备的用户由3D形状表示。
现在转到图1，详细示出并讨论了共享混合或虚拟现实场景中的虚拟内容的示例性方法的流程图。通常，要共享的虚拟内容可以包括任何类型的信号，其可以影响人体并且可以由人通过感觉器官感知，如视觉、听觉或触觉信号。然而，由于视觉可感知内容在当今的MR/VR内容中是最常见的，因此在以下描述中，要共享的虚拟内容表示这样的可显示内容。
该方法由第一用户的第一用户设备执行。参考图5，第一用户设备在下文中也用DA来标记，第一用户用UA来标记，并且类似地，第二用户用DB来标记，而第二用户用UB来标记。
所述第一用户设备可以是允许渲染视觉内容的任何种类的MR设备，例如移动电话、平板计算机或头戴式设备。
最初，在步骤1中，第一用户设备DA渲染MR场景，该MR场景被显示在第一用户设备DA的显示器上，使得其能够被第一用户UA查看。所述MR场景可以是真实和虚拟内容之间的任何种类的混合，其示例在下面在图8中给出。代替在第一用户设备DA中执行渲染，部分或全部所述渲染也可以由渲染服务器或渲染场而远程地执行。
所述第一用户UA现在个性化所述MR场景。这样的个性化可以包括例如对场景的部分的以下修改中的一个或多个：虚拟对象的3D位置、3D朝向、比例、几何形状、颜色或纹理的改变。此外，可以创建或下载新的虚拟内容，或者可以移除现有内容。所处理的虚拟内容可以是任何种类的视觉感知内容，如3D图形对象、2D图像、文本或视频剪辑。在步骤2中重新渲染所述个性化的MR场景，使得第一用户UA可以查看修改后的MR场景。
一旦满足个性化MR场景，第一用户UA可能想要允许具有其自己的MR设备并且能够访问相同MR场景的一个或多个其他用户观看所述个性化MR场景，即，第一用户UA可能想要共享经处理的虚拟内容。第一用户UA和一个或多个其他用户可以全部物理地在同一房间中，观看并可能在同一MR场景上协作，但是也可以在不同的房间中，特别是在VR环境中。所有用户可以同时个性化他们自己的场景版本，并且决定他们是否想要共享、他们何时想要共享、他们是否想要共享个性化场景的全部或仅一部分、以及是否与其他用户中的一个、一些或全部进行共享。然而，为了简单起见，在下文中仅考虑单个其他用户，即，使用第二用户设备DB的第二用户UB。
特别地，如果第一用户UA已经对所述MR场景进行了若干修改，并且仅想要与第二用户UB共享部分所述修改，则他必须选择他想要共享的内容片段。为此，第一用户UA必须输入对要共享的内容的选择，该选择在步骤3中由其用户设备DA接收，尽管可以在用户设备中实现用于接收用户输入的各种输入装置，但是触摸屏的使用特别适合于诸如移动电话或平板计算机之类的移动设备。在头戴式显示器的情况下，可以通过使用头部和眼睛跟踪技术来检测所述用户输入。
如果存在一个以上的其他用户，并且第一用户UA不想与所有其他用户共享所述个性化内容，则他必须识别并选择他想与之共享内容的用户设备(一个或多个)。在步骤4中，第一用户UA的相应输入由其用户设备DA接收，其中，可以使用与前述步骤3相同的输入装置。
虽然在上面，在步骤3中已经选择了要共享的第一内容，随后在步骤4中选择了要与之共享的第二用户设备，但是也可以以相反的顺序执行该选择。
在第一用户UA已经选择了要共享的内容和另一用户设备DB之后，他的用户设备DA在步骤5中直接或经由服务器向另一用户设备DB发送通知，然后等待来自用户设备DB的响应。
在随后的步骤6中，用户设备DA检查是否从另一用户设备DB接收到接受通知，其中，该接受通知是用户UB已经接受所述共享的确认，并且可以包括对与要共享的特定内容相关的各种信息的请求。如果接收到接受通知，则在步骤7中，用户设备DA直接或经由服务器发送所需信息，该所需信息可以是以下数据中的一个或多个：标识要共享的对象的标识符、所述虚拟内容的位置、朝向、比例、颜色或纹理。
此外，在步骤8中，可以向第一用户UA给出通知，通知他另一用户UB现在看到共享内容或者用户UB拒绝所述共享，例如这可通过在用户设备DA的显示器上显示对应的消息而进行。之后，方法可返回到步骤2，以便允许进一步共享由第一用户UA个性化的附加内容。如果从用户设备DB接收到拒绝通知而不是接受通知，或者如果在步骤5中在向另一用户设备DB发送通知之后的特定时间段内根本没有接收到通知，则该方法也在步骤2中继续。
在一实施例中，一种呈现混合现实场景中的虚拟内容的方法，该混合现实场景被渲染在对其具有不同观看位置和/或朝向的至少两个用户设备上，所述方法包括，在第二用户设备处：
-从第一用户设备接收与所述混合现实场景中的虚拟内容有关的信息，所述虚拟内容由所述第一用户设备与所述第二用户设备共享，其中，所接收的信息包括要共享的所述虚拟内容的3D位置；以及
-相对于所述第二用户设备对所述混合现实场景的所述观看位置和/或朝向，渲染所述共享的虚拟内容。
在一些实施例中，该方法还可以包括：
-接收所述第一用户设备想要共享虚拟内容的通知；
-检测接受或拒绝所述虚拟内容的所述共享的用户输入；以及
其中，仅在检测到接受所述共享的用户输入时，渲染所述共享的虚拟内容。
在一些实施例中，该方法还可以包括至少两个用户设备经由服务器交换信息。
在一些实施例中，该方法还可以包括：用户设备在被开启时向所述服务器请求以下数据中的至少一者：
-所述混合现实场景的场景配置；
-其他用户设备的当前位置的位置数据；或
-可共享虚拟内容的列表。
图2示出了根据本公开的一个实施例的在第二用户设备上渲染共享虚拟内容的示例性方法的流程图。该方法由第二用户UB的第二用户设备DB执行。与第一用户设备DA类似，第二用户设备DB也可以是允许渲染视觉内容的任何种类的MR设备，并且可以是与第一用户设备相同类型或不同类型的。
此外，该方法开始于MR场景的渲染步骤9，其被显示在第二用户设备DB的显示器上，使得其能够被第二用户UB查看。所述MR场景可以与也最初在第一用户UA的第一用户设备DA上渲染的场景相同，即，在任何个性化之前。同样，第二用户UB也可以已经在他的部分上个性化所述原始MR场景。另一方面，已经由第一用户UA个性化的内容尚未被传送到第二用户设备DB，因此在渲染步骤9中未被考虑。
现在，在步骤10中，第二用户UB从第一用户设备DA接收共享通知，通知他第一用户UA想要共享作为第一用户UA对MR场景的个性化的一部分的内容。该通知可以显示在第二用户设备DB的屏幕上，如图7所示，并且在相应的描述中更详细地解释。代替或除了显示这样的通知消息之外，还可以使用用于通知第二用户UB的其他手段，诸如发光LED、语音输出或使第二用户设备振动。
在随后的步骤11中，第二用户设备DB现在获得第二用户UB的输入，接受或拒绝接收第一用户UA的个性化内容的提议。为此，可以使用各种输入装置，例如在其上显示用于接受或拒绝提供的图标的触摸屏、诸如按钮的手动输入元件、或语音控制单元。
然后，在步骤12中，第二用户设备DB检查从第二用户接收的命令是接受还是拒绝所述共享提议的命令。
如果已经获得接受所述共享提议的输入，则在步骤13中，用户设备DB直接或经由服务器发送对渲染要共享的内容所需的信息的请求。
在随后的步骤14中，所请求的信息由用户设备DB接收。一旦用户设备DB已经接收到所有共享信息，如果对应的虚拟内容在到目前为止远离由用户UB观察到的MR场景处缺失，则创建该对应的虚拟内容，或者如果对应的虚拟内容已经存在于由用户UB观察到的MR场景中，则根据第一用户UA的个性化来更新该对应的虚拟内容。随后，考虑到第二用户UB在MR场景和环境上的视点，在用户设备DB上渲染所更新的MR场景，其中内容由用户设备DA共享。
最后，在步骤15中，向第一用户设备DA发送通知，该通知具有共享内容在第二用户设备DB上被渲染或者第二用户UB已经拒绝所述共享的信息。之后，该方法可以返回到步骤10，以便可以接收进一步的共享通知。
图3示出了三个MR渲染设备DA、DB、DC，其中在它们中的两个之间交换共享信息。所述MR渲染设备的数量仅仅是一个例子，可以有各种数量的MR渲染设备以及在它们中的两个以上之间的信息交换。此外，即使MR渲染设备在图中都由相同的图形表示来描绘，但是它们可以在不同的技术设备中实现，例如，第一个在移动电话中，第二个在平板计算机中，而第三个在头戴式设备中。这些设备通过诸如Wi-Fi的无线通信或通过有线连接来交换信息。
如图3A所示，三个MR渲染设备中的每一个与其它两个MR渲染设备交换信息，例如当前3D位置、MR场景的配置或可与其它两个MR渲染设备共享的内容的列表。所述3D位置由MR场景的“世界坐标系”中的(X，Y，Z)三元组给出，其可以通过位置跟踪技术来确定。当相应的MR渲染设备被完全或仅部分地打开时，可以交换所述信息，其中当被特别请求时完成，或者以规则或不规则的时间间隔来更新信息。
如果第一用户UA现在想要与第二用户UB共享内容，则他的第一用户设备DA向第二用户设备DB发送共享通知，如图3B所示。由于第一用户不打算与第三用户设备DC的用户共享内容，因此不向第三用户设备DC发送共享通知。在要共享的内容的预览将在第二用户设备DB上渲染的情况下，发送到第二用户设备DB的信息必须包括与要共享的虚拟内容有关的信息，如3D模型的标识符、位置、朝向、比例、纹理ID或颜色信息。此外，如果第二用户设备DB没有识别出所述3D模型ID和/或纹理ID，则也可以发送低分辨率模型和低分辨率纹理图。
图3C示出了一旦已经接受共享，第一用户设备DA和第二用户设备DB之间的数据交换。在来自第二用户设备DB的对与要共享的内容相关的信息的请求之后，第一用户设备DA检索所请求的信息并且将其发送回第二用户设备DB。如果所请求的信息包括3D模型ID和纹理ID，而第二用户设备DB没有识别出该3D模型ID和纹理ID，则还应当发送全分辨率模型和全分辨率纹理图。
如图4所示，MR渲染设备还可以经由服务器交换共享信息，而不是直接彼此通信。此外，MR渲染设备可以是不同的技术设备，并且可以无线或有线地连接。所述服务器可以是例如计算机或关于计算机、机顶盒或网关的集群，并且也可以与MR渲染设备无线或有线地通信。
如图4A所示，三个MR渲染设备DA、DB、DC通过服务器S交换信息。三个MR渲染设备中的每一个都向服务器发送对诸如当前位置、MR场景的配置或可共享内容的列表之类的信息的请求，这可发生在例如当特定MR渲染设备被开启时。作为回应，所述服务器发送所请求的信息。
如图4B所示，为了与第二用户设备DB共享来自第一用户设备DA的内容，共享通知和关于要共享的内容的信息从第一用户设备DA发送到服务器S。然后服务器S将所述共享通知转发到第二用户设备DB。关于要共享的内容的信息被临时存储在服务器处，并且由于还不知道第二用户是否将接受共享提议，因此还未被转发。这样，可以避免不必要地占用传输带宽和浪费第二用户设备DB的存储空间用于最终将不在第二用户设备DB处渲染的内容。
图4C示出了如果第二用户已经接受共享，则第一用户设备DA和第二用户设备DB之间经由服务器S的数据交换。在这种情况下，第二用户设备DB向服务器发送对与要共享的内容相关的所需信息的请求，服务器现在将所缓冲的关于要共享的内容的信息转发到第二用户设备DB。此外，服务器S向第一用户设备DA发送关于接受或拒绝共享的通知。
图5中示出了两个用户利用他们各自的用户设备从不同的观看位置观察相同的MR场景的情况的示例。用户UA和UB物理地在相同的房间中，享受MR体验，该体验允许他们使用他们的MR渲染设备DA和DB将不同型号的扶手椅虚拟地添加到由两个扶手椅和咖啡桌组成的真实集合。
图6示出了方便地允许使用触摸屏显示器来选择要共享的内容和要与之共享的用户两者的实施例。在该示例中，示出了第一用户的用户设备的触摸屏的显示器D上的MR场景的渲染视图。第一用户已经通过虚拟添加扶手椅PA来个性化他的场景。如果用户想共享这个虚拟添加的扶手椅PA，则他可以简单地通过用他的食指指向它来选择它，如图6A所示。
携带其用户设备DB的第二用户UB也在显示器D上示出。在用户设备DB中间的点象征了用户设备DB的相机的3D位置(X，Y，Z)的投影。为了与第二用户UB共享虚拟添加的扶手椅PA，第一用户现在在触摸屏上将他的指尖移动到关于第二用户设备DB的绘图，如图6B所示，并且通过在这个位置移开手指而放下它。
这样，使用第一用户设备DA的相机姿态及其固有参数、要共享的内容的3D位置和第二用户设备DB的相机姿态，并且使用公知的3D投影，可以检测到关于可共享内容的选择和拖动以及将其放置到第二用户设备DB上。一种估计哪个元素正被触摸的方法是使用所谓的光线投射技术。
由于可能难以在第二用户设备DB的相机的3D位置的点处精确地进行放下，因此可以定义用于在其周围放下A的区域。用于放下的区域可以是3D形状，例如球体或立方体，其具有适于使交互更容易的尺寸。为了将此指出给第一用户，可以在第一用户设备的显示器上向第一用户示出用于放下的区域的指示。
当检测到手指的最终位置在包含第二用户设备DB的相机的球体/立方体的投影内时，第一用户设备DA如上所述向设备DB或服务器发送通知，以通知第二用户UB所述第一用户UA想与他共享内容。
图7示出了向第二用户UB显示的屏上信息的一些示例，该屏上信息通知他另一用户想要与他共享内容。在所示的示例中，第二用户UB也自己虚拟地添加一条内容PB，该内容在他的MR场景的视图中被显示并且也是扶手椅的形式。
第二用户设备DB生成虚拟用户界面UI，其由各种信息层组成。为了通知第二用户UB用户UA想要与他共享一条内容PA，创建一附加层并将其显示在设备DB的屏幕上，其中“接受”和“拒绝”按钮BA、BD用于接受或不接受所述共享，如图7A所示。这可以简单到在屏幕平面中显示的2D窗口。
在图7B中所描绘的另一实施例中，与“接受”/“拒绝”按钮同时显示要共享的内容的预览PR。内容的这种预览可以是低分辨率的，并且可以以半透明的方式显示。
在如图7C所示的另一实施例中，在第一步中，仅在“接受”和“拒绝”按钮之间插入标记为“预览”的第三按钮BP。在这种情况下，如果按下“预览”按钮，则仅显示要共享的内容的低分辨率和半透明预览。在按下“预览”按钮之后，添加预览，“预览”按钮消失，并且“接受”和“拒绝”按钮保持可见，以便允许用户仍然基于所显示的包括所述预览的MR场景来决定是否接受所述共享。
在图7中未示出的又一实施例中，与第二用户设备DB共享关于要共享的内容的3D位置以及第一用户UA的3D位置，然后将其投影到第二用户设备DB的视图上。两个投影位置被突出显示一段时间，向第二用户UB指示第一用户UA和要共享的内容在哪里。如果要投影的位置在图像边界之外，则可以靠近图像边界显示朝向箭头。
图8示出了在第二用户UB已经接受共享之后在第二用户设备DB的显示器上示出的渲染的MR场景。除了真实的两个扶手椅和咖啡桌之外，该视图现在还包括由他自己插入的虚拟添加的扶手椅PB和由第一用户UA插入MR场景中的共享的虚拟扶手椅PA。
图9示出了一实施例，其中虚拟内容不是直接用其最终特征来渲染的，而是创建动画以生成显现效果。例如，对于几秒，利用沿着轨迹的连续显示来内插从第一用户UA的位置到共享对象PA的最终位置的3D轨迹。在所示的示例中，所述3D轨迹是平移，并且第一用户UA不在第二用户UB的视场中。该转换从显示器的右边界开始，向第二用户UB指示第一用户UA在他的右边。然而，即使所述3D轨迹在图中由箭头表示，它也不限于平移，而是可以具有任何弯曲形状。在所述动画期间，共享对象的比例可以保持不变，或者可以从零内插到最终比例。
图10示出了在第一用户设备DA上向第一用户UA显示的图形用户界面的修改的实施例。在图10A中描绘的示例中，在第一用户设备DA的屏幕上显示具有屏幕上通知的窗口一段时间，该窗口具有向第一用户UA通知第二用户UB接受共享并且现在可以查看包括共享内容的MR场景的文本。代替覆盖窗口，如图10B所示，通过突出显示第二用户设备DB和/或要共享的内容一段时间，也可使接受或拒绝对第一用户UA可见。例如，可以给它们中的一个或两个特定颜色，如如果接受共享则为绿色，如果拒绝共享则为红色。使用第二用户设备DB的已知3D位置和要共享的内容，它们中的一个或两个可以由3D形状近似。
如果相同的内容将被几个用户共享，则这可以在单个手势中同时完成。在一个实施方案中；这可以仅仅通过将要共享的内容拖到该内容将与之共享的所有用户来方便地完成。在另一实施例中，为此目的，第一用户可以形成闭合轮廓，使得投影位置在该闭合轮廓内的每个用户将接收通知。为了以单个手势而同时与所有用户(甚至包括看不见的那些用户)共享内容，第一用户可以通过将内容拖动到其屏幕的四个角来形成一闭合轮廓。
在图11所示的另一实施例中，一些或所有用户可以由屏幕角落中的小图标IC来表示。在所描绘的示例中，第二用户UB是可见的，即，在第一用户设备的显示器上示出，而共享相同MR场景的三个另外的用户C、D和E是不可见的，并且因此由图标IC表示。通过在所述图标之一上进行一简单拖拽及放下动作，可以启动与相关联用户的内容共享。这种变型允许容易地处理以下情况：一些用户离第一用户太远，并且因此他们各自的用户设备的投影太小，或者一些用户被遮挡或不在视场中。这种图标的显示甚至可以是动态的，即在某一时刻，仅显示的图标是对应于太远或不可见的用户的图标。
在另一变型中，用户不是全部物理地在同一房间中，而是使用远程呈现，使得远程用户的虚拟克隆被显示在房间中。此外，如果在VR环境中一些用户佩戴VR头戴式耳机，则用户可以由VR场景中的化身或另一元素来表示。
在一实施例中，一种用于共享混合现实场景中的虚拟内容的设备，该混合现实场景被渲染在对其具有不同观看位置和/或朝向的至少两个用户设备上，该设备可包括：
-用于使用户能够选择要共享的虚拟内容和要与其共享所述虚拟内容的第二用户设备的装置；以及
-用于向所述第二用户设备提供与要共享的所述虚拟内容相关的信息的装置，其中所提供的信息包括要共享的所述虚拟内容的3D位置。
在一些实施例中，该设备还可以包括：
-用于使用所述第一用户设备的观看位置和/或朝向以及所述要共享的内容的所述3D位置在所述第一用户设备上渲染所述要共享的内容的装置。
在一些实施例中，该设备还可以包括：
-触摸屏，用于显示包括要共享的所述内容的所渲染的混合现实场景，并且用于检测用户输入，所述用户输入是用户在所述触摸屏上执行的手势。
在一实施例中，一种用于呈现混合现实场景中的虚拟内容的设备，该混合现实场景被渲染在对其具有不同观看位置和/或朝向的至少两个用户设备上，所述设备可包括：
-用于从第一用户设备接收与所述混合现实场景中的虚拟内容有关的信息的装置，所述虚拟内容由所述第一用户设备与所述第二用户设备共享，其中，所接收的信息包括要共享的所述虚拟内容的3D位置；以及
-用于相对于所述第二用户设备对所述混合现实场景的所述观看位置和/或朝向，渲染所述共享的虚拟内容的装置。
图12中示出了被配置为使得能够共享混合或虚拟现实内容的设备的实施例的框图，在一些实施例中，所述设备100可以是移动设备。
所述设备100包括处理器101，其例如可以是中央处理单元(CPU)或图形处理单元(GPU)。所述处理器101耦合到其中存储数据和/或计算机程序指令的存储器102。然而，也可以提供多个处理器和/或多个存储器。
此外，所述设备100包括耦合到处理器的触摸屏显示器103。该触摸屏显示器103允许用户视觉地感知所述混合或虚拟现实内容且与所显示内容交互。所述触摸屏显示器103的显示部分可以例如包括液晶显示器或有机发光显示器。为了感测用户的触摸，所述触摸屏显示器103可以使用不同的技术，诸如例如电阻式或电容式触摸屏面板。在其他实施例中，代替所述触摸屏，也可以使用与诸如机械按钮、鼠标或触摸板之类的其他输入装置相结合的显示器。
收发器104也耦合到所述处理器以用于与其它用户设备进行无线或有线通信。该收发器例如可以包括发射器和接收器，用于根据诸如UMTS或LTE的移动无线电标准或诸如Wi-Fi、蓝牙的短距离无线传输进行信号传输。
Claims (15)
1.一种共享渲染于至少两个用户设备上的混合现实场景中的虚拟内容的方法，所述至少两个用户设备对所述混合现实场景具有不同观看位置和/或朝向，所述方法包括，在第一用户设备处：
-使能用户选择要共享的虚拟内容和要与其共享所述虚拟内容的第二用户设备；以及
-向所述第二用户设备提供与要共享的所述虚拟内容相关的信息，其中所提供的信息包括要共享的所述虚拟内容的3D位置。
2.根据权利要求1所述的方法，其中所述使能包括：接收用于选择要在所渲染的混合现实场景中共享的所述内容的用户输入。
3.根据权利要求2所述的方法，其中在所述第一用户设备上渲染的所述混合现实场景包括：所述第二用户设备和/或所述第二用户设备的用户和/或表示所述第二用户设备或用户的图形符号，并且其中所述使能包括：检测用于选择所渲染的混合现实场景中的所渲染的用户设备、用户或图形符号的用户输入。
4.根据权利要求3所述的方法，其中所述混合现实场景被渲染在所述第一用户设备的触摸屏上，并且所检测到的用户输入是由用户在所述触摸屏上执行的手势。
5.根据权利要求4所述的方法，其中所执行的手势包括：
-通过在要共享的所显示的内容的位置处触摸所述触摸屏来选择要共享的所述内容；
-将所选择的内容拖动到所渲染的用户设备、用户或图形符号的位置；以及
-通过将所选择的内容放置到所渲染的用户设备、用户或图形符号上来共享所选择的内容。
6.根据权利要求3至5中任一项所述的方法，其中所述第二用户设备和/或所述第二用户设备的用户由3D形状表示。
7.一种呈现渲染于至少两个用户设备上的混合现实场景中的虚拟内容的方法，所述至少两个用户设备对于所述混合现实场景上具有不同观看位置和/或朝向，所述方法包括在第二用户设备处：
-从第一用户设备接收与所述混合现实场景中的虚拟内容有关的信息，所述虚拟内容由所述第一用户设备与所述第二用户设备共享，其中所接收的信息包括要共享的所述虚拟内容的3D位置；以及
-相对于所述第二用户设备对所述混合现实场景的所述观看位置和/或朝向，渲染所述共享的虚拟内容。
8.根据权利要求7所述的方法，还包括：
-接收所述第一用户设备想要共享虚拟内容的通知；
-检测接受或拒绝所述虚拟内容的所述共享的用户输入；以及
其中仅在检测到接受所述共享的用户输入的情况下，所述共享的虚拟内容被渲染。
9.根据前述权利要求中任一项所述的方法，其中所述至少两个用户设备经由服务器交换信息。
10.根据权利要求9所述的方法，其中用户设备在被开启时向所述服务器请求以下数据中的至少一个：
-所述混合现实场景的场景配置；
-其他用户设备的当前位置的位置数据；或
-可共享虚拟内容的列表。
11.一种用于共享渲染于至少两个用户设备上的混合现实场景中的虚拟内容的设备，所述至少两个用户设备对所述混合现实场景具有不同观看位置和/或朝向，所述设备包括：
-用于使能选择要共享的虚拟内容和要与其共享所述虚拟内容的第二用户设备的装置；以及
-用于向所述第二用户设备提供与要共享的所述虚拟内容相关的信息的装置，其中所提供的信息包括要共享的所述虚拟内容的3D位置。
12.根据权利要求11所述的设备，还包括：
-用于使用所述第一用户设备的观看位置和/或朝向以及所述要共享的内容的3D位置在所述第一用户设备上渲染所述要共享的内容的装置。
13.根据权利要求12所述的设备，还包括：
-触摸屏，用于显示包括要共享的所述内容的所渲染的混合现实场景，并且用于检测用户输入，所述用户输入是用户在所述触摸屏上执行的手势。
14.一种用于呈现渲染于至少两个用户设备上的混合现实场景中的虚拟内容的设备，所述至少两个用户设备对所述混合现实场景具有不同观看位置和/或朝向，所述设备包括：
-用于从第一用户设备接收与所述混合现实场景中的虚拟内容有关的信息的装置，所述虚拟内容由所述第一用户设备与所述第二用户设备共享，其中所接收的信息包括要共享的所述虚拟内容的3D位置；以及
-用于相对于所述第二用户设备对所述混合现实场景的所述观看位置和/或朝向，渲染所述共享的虚拟内容的装置。
15.一种计算机程序代码，当由至少一个处理器执行时，所述计算机程序代码使得根据权利要求1至10中任一项所述的方法被执行。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP18305761.1A EP3584692A1 (en) | 2018-06-19 | 2018-06-19 | Sharing virtual content in a mixed reality scene |
| EP18305761.1 | 2018-06-19 | ||
| PCT/EP2019/065521 WO2019243160A1 (en) | 2018-06-19 | 2019-06-13 | Sharing virtual content in a mixed reality scene |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112534394A true CN112534394A (zh) | 2021-03-19 |
| CN112534394B CN112534394B (zh) | 2024-06-11 |
Family
ID=62784068
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980051937.2A Active CN112534394B (zh) | 2018-06-19 | 2019-06-13 | 在混合现实场景中共享虚拟内容 |
Country Status (5)
| Country | Link |
|---|---|
| US (3) | US11443492B2 (zh) |
| EP (2) | EP3584692A1 (zh) |
| KR (1) | KR20210031643A (zh) |
| CN (1) | CN112534394B (zh) |
| WO (1) | WO2019243160A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113961082A (zh) * | 2021-12-21 | 2022-01-21 | 潍坊幻视软件科技有限公司 | Ar/mr技术中同步专属虚拟内容的系统和同步方法 |
| CN116027909A (zh) * | 2023-03-23 | 2023-04-28 | 北京虹宇科技有限公司 | 一种三维空间中可定制内容的多人共享方法、装置及设备 |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10430147B2 (en) * | 2017-04-17 | 2019-10-01 | Intel Corporation | Collaborative multi-user virtual reality |
| US11941762B2 (en) * | 2019-07-15 | 2024-03-26 | Samsung Electronics Co., Ltd. | System and method for augmented reality scenes |
| US20220335673A1 (en) * | 2019-09-09 | 2022-10-20 | Wonseok Jang | Document processing system using augmented reality and virtual reality, and method therefor |
| JP2024507749A (ja) * | 2021-02-08 | 2024-02-21 | サイトフル コンピューターズ リミテッド | エクステンデッドリアリティにおけるコンテンツ共有 |
| JP2024509722A (ja) | 2021-02-08 | 2024-03-05 | サイトフル コンピューターズ リミテッド | エクステンデッドリアリティにおけるユーザ相互作用 |
| WO2022170222A1 (en) * | 2021-02-08 | 2022-08-11 | Multinarity Ltd | Content sharing in extended reality |
| JP2024506630A (ja) | 2021-02-08 | 2024-02-14 | サイトフル コンピューターズ リミテッド | 生産性のためのエクステンデッド・リアリティ |
| WO2023009580A2 (en) | 2021-07-28 | 2023-02-02 | Multinarity Ltd | Using an extended reality appliance for productivity |
| US20230334795A1 (en) | 2022-01-25 | 2023-10-19 | Multinarity Ltd | Dual mode presentation of user interface elements |
| US11948263B1 (en) | 2023-03-14 | 2024-04-02 | Sightful Computers Ltd | Recording the complete physical and extended reality environments of a user |
| KR102481613B1 (ko) * | 2022-02-11 | 2022-12-27 | 주식회사 유룸 | 편집 기능을 갖는 3d 웹사이트 제작 플랫폼 제공 시스템, 방법 및 프로그램 |
| WO2024025532A1 (en) * | 2022-07-28 | 2024-02-01 | Rakuten Symphony Singapore Pte. Ltd. | Secure token for screen sharing |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130083003A1 (en) * | 2011-09-30 | 2013-04-04 | Kathryn Stone Perez | Personal audio/visual system |
| US20160093108A1 (en) * | 2014-09-30 | 2016-03-31 | Sony Computer Entertainment Inc. | Synchronizing Multiple Head-Mounted Displays to a Unified Space and Correlating Movement of Objects in the Unified Space |
| US20160350973A1 (en) * | 2015-05-28 | 2016-12-01 | Microsoft Technology Licensing, Llc | Shared tactile interaction and user safety in shared space multi-person immersive virtual reality |
| CN107852573A (zh) * | 2015-08-07 | 2018-03-27 | 微软技术许可有限责任公司 | 混合现实社交交互 |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4738870B2 (ja) * | 2005-04-08 | 2011-08-03 | キヤノン株式会社 | 情報処理方法、情報処理装置および遠隔複合現実感共有装置 |
| US20110231781A1 (en) * | 2010-03-19 | 2011-09-22 | International Business Machines Corporation | System and method for virtual object sharing and management in virtual worlds |
| KR101591579B1 (ko) | 2011-03-29 | 2016-02-18 | 퀄컴 인코포레이티드 | 증강 현실 시스템들에서 실세계 표면들에의 가상 이미지들의 앵커링 |
| US9268406B2 (en) * | 2011-09-30 | 2016-02-23 | Microsoft Technology Licensing, Llc | Virtual spectator experience with a personal audio/visual apparatus |
| US20130141419A1 (en) | 2011-12-01 | 2013-06-06 | Brian Mount | Augmented reality with realistic occlusion |
| US9183676B2 (en) * | 2012-04-27 | 2015-11-10 | Microsoft Technology Licensing, Llc | Displaying a collision between real and virtual objects |
| WO2014016992A1 (ja) * | 2012-07-27 | 2014-01-30 | Ｎｅｃソフト株式会社 | ３次元ユーザインタフェース装置及び３次元操作方法 |
| US20150213649A1 (en) * | 2012-07-27 | 2015-07-30 | Nec Solutions Innovators, Ltd. | Three-dimensional environment sharing system and three-dimensional environment sharing method |
| WO2014119098A1 (ja) * | 2013-02-01 | 2014-08-07 | ソニー株式会社 | 情報処理装置、端末装置、情報処理方法及びプログラム |
| US20140267234A1 (en) * | 2013-03-15 | 2014-09-18 | Anselm Hook | Generation and Sharing Coordinate System Between Users on Mobile |
| WO2014188393A1 (en) * | 2013-05-24 | 2014-11-27 | Awe Company Limited | Systems and methods for a shared mixed reality experience |
| JP6204742B2 (ja) * | 2013-08-01 | 2017-09-27 | 任天堂株式会社 | 情報処理装置、情報処理システム、プログラム及び情報処理方法 |
| US10254920B2 (en) * | 2013-12-01 | 2019-04-09 | Upskill, Inc. | Systems and methods for accessing a nested menu |
| WO2015125066A1 (en) * | 2014-02-19 | 2015-08-27 | Fieldbit Ltd. | System and method for facilitating equipment maintenance using smartglasses |
| US20160027218A1 (en) * | 2014-07-25 | 2016-01-28 | Tom Salter | Multi-user gaze projection using head mounted display devices |
| US9784976B2 (en) * | 2015-02-04 | 2017-10-10 | Seiko Epson Corporation | Head mounted display, information processing apparatus, image display apparatus, image display system, method for sharing display of head mounted display, and computer program |
| US10187388B2 (en) * | 2015-03-12 | 2019-01-22 | At&T Intellectual Property I, L.P. | System and method for managing electronic interactions based on defined relationships |
| JP6328579B2 (ja) * | 2015-03-13 | 2018-05-23 | 富士フイルム株式会社 | 仮想オブジェクト表示システムおよびその表示制御方法並びに表示制御プログラム |
| US20160371885A1 (en) * | 2015-06-22 | 2016-12-22 | Anatolie Gavriliuc | Sharing of markup to image data |
| EP3128413A1 (en) | 2015-08-04 | 2017-02-08 | Nokia Technologies Oy | Sharing mediated reality content |
| EP3206121A1 (en) | 2016-02-09 | 2017-08-16 | Nokia Technologies Oy | Methods and apparatuses relating to the handling of visual virtual reality content |
| US10536691B2 (en) * | 2016-10-04 | 2020-01-14 | Facebook, Inc. | Controls and interfaces for user interactions in virtual spaces |
| US10332317B2 (en) * | 2016-10-25 | 2019-06-25 | Microsoft Technology Licensing, Llc | Virtual reality and cross-device experiences |
| JP2020514880A (ja) * | 2017-02-09 | 2020-05-21 | ソルファイス リサーチ、インコーポレイテッド | デジタルで物理的な時間的又は空間的ディスカバリ・サービスを使用した共有複合現実体験のためのシステム及び方法 |
| US20190081993A1 (en) * | 2017-09-11 | 2019-03-14 | Akn Korea Inc. | Method for sharing user screen in multiple reality environment and server system for the method |
| US10685456B2 (en) * | 2017-10-12 | 2020-06-16 | Microsoft Technology Licensing, Llc | Peer to peer remote localization for devices |
-
2018
- 2018-06-19 EP EP18305761.1A patent/EP3584692A1/en not_active Withdrawn
-
2019
- 2019-06-13 US US17/253,543 patent/US11443492B2/en active Active
- 2019-06-13 KR KR1020207036824A patent/KR20210031643A/ko unknown
- 2019-06-13 CN CN201980051937.2A patent/CN112534394B/zh active Active
- 2019-06-13 EP EP19729766.6A patent/EP3794437A1/en active Pending
- 2019-06-13 WO PCT/EP2019/065521 patent/WO2019243160A1/en unknown
-
2022
- 2022-08-25 US US17/895,799 patent/US11651576B2/en active Active
-
2023
- 2023-04-07 US US18/132,281 patent/US20230245400A1/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130083003A1 (en) * | 2011-09-30 | 2013-04-04 | Kathryn Stone Perez | Personal audio/visual system |
| US20160093108A1 (en) * | 2014-09-30 | 2016-03-31 | Sony Computer Entertainment Inc. | Synchronizing Multiple Head-Mounted Displays to a Unified Space and Correlating Movement of Objects in the Unified Space |
| CN106716306A (zh) * | 2014-09-30 | 2017-05-24 | 索尼互动娱乐股份有限公司 | 将多个头戴式显示器同步到统一空间并且使统一空间中的对象移动关联 |
| US20160350973A1 (en) * | 2015-05-28 | 2016-12-01 | Microsoft Technology Licensing, Llc | Shared tactile interaction and user safety in shared space multi-person immersive virtual reality |
| CN107667331A (zh) * | 2015-05-28 | 2018-02-06 | 微软技术许可有限责任公司 | 共享空间多人沉浸式虚拟现实中的共享触觉交互和用户安全 |
| CN107852573A (zh) * | 2015-08-07 | 2018-03-27 | 微软技术许可有限责任公司 | 混合现实社交交互 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113961082A (zh) * | 2021-12-21 | 2022-01-21 | 潍坊幻视软件科技有限公司 | Ar/mr技术中同步专属虚拟内容的系统和同步方法 |
| CN116027909A (zh) * | 2023-03-23 | 2023-04-28 | 北京虹宇科技有限公司 | 一种三维空间中可定制内容的多人共享方法、装置及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019243160A1 (en) | 2019-12-26 |
| US20210272373A1 (en) | 2021-09-02 |
| KR20210031643A (ko) | 2021-03-22 |
| EP3584692A1 (en) | 2019-12-25 |
| US20230063303A1 (en) | 2023-03-02 |
| US11443492B2 (en) | 2022-09-13 |
| EP3794437A1 (en) | 2021-03-24 |
| CN112534394B (zh) | 2024-06-11 |
| US11651576B2 (en) | 2023-05-16 |
| US20230245400A1 (en) | 2023-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11651576B2 (en) | Sharing virtual content in a mixed reality scene | |
| KR102417968B1 (ko) | 시선-기반 사용자 상호작용 | |
| CN110830786B (zh) | 混合2d/3d内容的检测和显示 | |
| CN108604175B (zh) | 装置和关联方法 | |
| JP2019510321A (ja) | 仮想現実用パススルーカメラのユーザインターフェイス要素 | |
| CN109496293B (zh) | 扩展内容显示方法、装置、系统及存储介质 | |
| CN112136096B (zh) | 将物理输入设备显示为虚拟对象 | |
| CN111566596A (zh) | 用于虚拟现实显示器的真实世界门户 | |
| US11709370B2 (en) | Presentation of an enriched view of a physical setting | |
| JP7392105B2 (ja) | 没入型ビデオコンテンツをフォービエイテッドメッシュを用いてレンダリングするための方法、システム、および媒体 | |
| JP6757404B2 (ja) | シースルー・グラス用の補助アイテム選択 | |
| CN113785260A (zh) | 控制计算机生成现实环境中的虚拟对象的表示 | |
| WO2016079470A1 (en) | Mixed reality information and entertainment system and method | |
| US20240103707A1 (en) | Methods for time of day adjustments for environments and environment presentation during communication sessions | |
| CN107408186A (zh) | 隐私内容的显示 | |
| KR20190129982A (ko) | 전자기기 및 그 제어 방법 | |
| CN116490250A (zh) | 环境的非对称呈现 | |
| KR20180052501A (ko) | 디스플레이 장치 및 그 동작 방법 | |
| CN108140357B (zh) | 信息处理装置 | |
| US11449192B2 (en) | Apparatus, method, computer program for enabling access to mediated reality content by a remote user | |
| US20240103614A1 (en) | Devices, methods, for interacting with graphical user interfaces | |
| JP2024044908A (ja) | 方法、プログラム、及び端末装置 | |
| CN117999115A (zh) | 为多用户通信会话对准扫描环境 | |
| CN111782056A (zh) | 内容分享方法、装置、设备及存储介质 | |
| CN117376591A (zh) | 基于虚拟现实的场景切换处理方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |