CN112243583B - 多端点混合现实会议 - Google Patents

多端点混合现实会议 Download PDF

Info

Publication number
CN112243583B
CN112243583B CN201980019650.1A CN201980019650A CN112243583B CN 112243583 B CN112243583 B CN 112243583B CN 201980019650 A CN201980019650 A CN 201980019650A CN 112243583 B CN112243583 B CN 112243583B
Authority
CN
China
Prior art keywords
mixed reality
content
endpoint
physical world
bounding region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980019650.1A
Other languages
English (en)
Other versions
CN112243583A (zh
Inventor
A·A·威泽
M·格雷森
K·P·A·欧哈拉
E·S·L·林特尔
C·A·朗登
P·斯坦纳切尔
D·罗伊德尔
A·萨卡尔
S·S·陈
J·E·K·格伦贝克
王玎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN112243583A publication Critical patent/CN112243583A/zh
Application granted granted Critical
Publication of CN112243583B publication Critical patent/CN112243583B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment

Abstract

描述了一种提供地理上分布的实时混合现实会议的方法。该方法包括在第一端点(102)处从相机(108)接收实时视频流；在混合现实服务(106)处生成并入了所接收的视频流的混合现实视图；在第一端点处在显示器处绘出混合现实视图，并且向至少一个其他地理上遥远的端点(103，104)传输混合现实视图；在混合现实服务处接收定义边界区域的数据；由混合现实服务使用定义边界区域的数据来计算针对边界区域的真实世界锚点；在使用真实世界锚点而被确定的真实世界位置处在混合现实视图中绘出边界区域；以及取决于在真实世界空间中由用户放置到混合现实视图中的内容对象相对于边界区域的位置而将不同规则集应用于内容对象。

Description

多端点混合现实会议
背景技术
随着敏捷工作的增加，更多的会议涉及不同位置的参与者，其中这些位置可能在物理上彼此靠近(例如，在同一建筑物内)，或者这些位置可能在地理上分布得更广(例如，在不同城镇和/或不同国家)。
以下描述的实施例不限于解决提供实时多端点会议的已知方法的任何或全部缺点的实现。
发明内容
下面呈现本公开的简化概述，以便向读者提供基本理解。该概述既不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。其唯一目的是以简化的形式呈现本文中公开的概念的选择，作为稍后呈现的更详细描述的序言。
描述了一种提供地理上分布的实时混合现实会议的方法。该方法包括在第一端点处从相机接收实时视频流；生成并入了所接收的视频流的混合现实视图；在第一端点处在显示器处绘出混合现实视图，并且向至少一个其他地理上遥远的端点传输混合现实视图；接收定义边界区域的数据；使用定义边界区域的数据来计算边界区域的现实锚点；在使用真实世界锚点而被确定的真实世界位置处在混合现实视图中绘出边界区域；以及取决于在真实世界空间中由用户放置到混合现实视图中的内容对象相对于边界区域的位置而将不同内容处理规则集应用于内容对象。
通过参考以下结合附图考虑的详细描述，将能够更好地理解很多附带特征，因为它们会变得更好理解。
附图说明
根据结合附图阅读的以下详细描述，将能够更好地理解本描述，在附图中：
图1是用于提供地理上分布的实时混合现实会议的系统的示意图；
图2A至图2D是来自图1的本地端点的不同示例实现的示意图；
图3是来自图1的远程端点的示例实现的示意图；
图4是可以在图1所示的系统中实现的用于提供地理上分布的实时混合现实会议的方法的流程图；
图5A和图5B示出了在混合现实视图内生成边界区域的方法的两种不同的图形表示；以及
图6是示出远程端点处的混合现实会议客户端的示例操作方法的流程图。
在附图中，相同的附图标记用于指示相同的部分。
具体实施方式
以下结合附图提供的详细描述旨在作为对本示例的描述，而非旨在表示构建或利用本示例的唯一形式。该描述阐述了示例的功能以及用于构造和操作示例的操作顺序。然而，可以通过不同的示例来实现相同或等同的功能和序列。
如上所述，更多的会议涉及不同位置的参与者。为了提供有效的会议系统，必须使端点(即，用户可以从中参与会议的计算设备)之间的等待时间最小化，并且等待时间必须足够短以至于参与者看不到。另外，必须桥接物理位置和端点之间的数字连接之间的不对称性，以便参与者可以按照丰富的方式彼此参与，从而限制了缺少共同定位的相关性。
本文中描述的是一种用于提供地理上分布的实时混合现实会议的方法和系统，其中术语“地理上分布的”是指并非全部位于同一地点的任何端点集合，而是包括在同一建筑物内的端点(例如，在不同房间，在同一房间内的不同桌子或椅子处，等等)。本文中使用的术语“端点”是指运行混合现实会议客户端软件并且从而使得用户能够参与混合现实会议的任何计算设备(在以下说明中可以称为“MR客户端”或“MR会议客户端”)。由于会议是实时的(即，参与者进行实时交互)，因此需要充分同步在每个地理上分布的端点处绘出和显示的混合现实视图以使用户(也可以称为“参与者”)无法感知到任何时间差并且因此在混合现实会议的上下文中与这些用户无关。
为了实现同步，系统被布置为使得系统中的端点之间的等待时间被减少。本文中描述的系统还可以被配置为使得在任何端点处都不需要专业硬件，并且因此，混合现实会议可以例如在多个移动电话、平板电脑或其他移动设备(例如，手持式和/或便携式)计算设备上实现，每个设备充当系统的端点。这促进了参与者的敏捷工作。每个端点运行客户端软件，并且该客户端软件对于所有端点可以是相同的，其中在与端点之一通信的服务器上运行的混合现实服务称为本地端点或焦点端点，或者备选地，混合现实服务可以在本地端点上运行(例如，作为该端点上的客户端软件的一部分或与该端点处的客户端软件通信)。
除了在每个远程端点处提供来自本地端点的实时视频流，参与者通常还希望能够作为会议的一部分和/或在会议之后共享内容(即，以文档、演示文稿、电子表格、图像等形式的数字资源)。当前，用户通常通过在会议之前通过电子邮件将内容发送给所有参与者或者通过将内容保存到共享存储区域来共享内容，所有参与者都可以从该共享存储区域访问内容。备选地，本地端点可以在会议期间显示内容(例如，作为实时视频流的一部分)，从而使得参与者能够在会议期间讨论内容；但是，在会议结束之后，内容将不再共享，并且参与者必须采用其他方法之一来共享内容(例如，电子邮件或共享存储)。
本文中描述的系统和方法使得能够处理内容并且提供对如何处理内容的控制。内容的处理可以包括内容分发和/或内容修改(或操纵)。内容处理(例如，内容分发)的这种控制可以由用户在端点之一处进行，或者该控制可以是分布式的，使得在一些或所有端点处的用户可以控制内容处理。如下面详细描述的以及在与内容分发有关的情况下，该控制可以涉及谁接收对特定内容的访问权限和/或接收者可以对他们被授权访问的内容进行什么处理。在各种示例中，在内容处理包括内容修改或操纵的情况下，该控制可以确定对特定内容应用哪些修改(例如，通过更改内容的颜色、形式或大小或者对内容的视觉伪像执行任何其他自动操纵)。
使用本文中描述的方法，内容处理使用触摸屏上的触摸输入(例如，滑动、拖动和点击输入)来实现，并且不需要键盘或鼠标输入设备(尽管用户可以备选地使用键盘和/或鼠标)。使用本文中描述的系统和方法，改善了内容分发和/或修改的任务和工作流程效率以及创造力、安全性、操作便利性和可访问性(例如，对于视觉障碍用户)，并且还改善了底层设备的功能。
图1是用于提供地理上分布的实时混合现实会议的系统100的示意图。系统100包括多个地理上分布的端点102至104。这些端点可以是例如移动电话、平板计算机、膝上型计算机或其他形式的便携式计算设备。在其他示例中，一个或多个端点可以是非便携式计算设备，诸如台式计算机。表示为本地端点或焦点端点的端点102之一具有相关联的混合现实(MR)服务106和相机108。
在各个示例中，本地端点可以包括图1中未示出的附加元件，诸如运动传感器(其可以与相机108成一体或者与相机108分离)和/或在相机108旁边的附加深度相机。在相机108是移动的或可移动的情况下，本地端点可以例如包括运动传感器。来自运动传感器的数据可以由MR服务106使用以确定相机108在房间中的位置。在相机108处于固定位置的示例中，可以没有运动传感器。
在各种示例中，本地端点可以包括一个以上的相机，诸如相机108和其他深度相机。除了相机108(被配置为捕获实时视频流)还提供深度相机改善了由MR服务106执行的跟踪的质量。
在各个示例中，如图2A所示，本地端点102A可以包括MR服务106和相机108两者，并且在各种示例中，MR服务106和MR会议客户端210可以被集成。在其他示例中，如图2B所示，本地端点102B可以既不包括MR服务106也不包括相机108，而是可以与这两者通信(例如，分别经由通信接口202和输入/输出控制器204)。在其他示例中，如图2C和图2D所示，本地端点102C、102D可以包括MR服务106或相机108。
在本地端点102、102A、102D包括MR服务106的示例中，MR服务106可以用软件实现，并且包括存储在存储器206中并且由本地端点102A、102D内的处理器208执行的计算机可执行指令。然而，在其他示例中，MR服务106可以在单独的计算设备上运行，该单独的计算设备可以与本地端点102位于同一位置或者可以位于远程服务器上(例如，在数据中心中)和本地端点102可以经由通信接口202通过网络与MR服务106通信。
如上所述，相机108可以与本地端点成一体(如图2A和图2C所示)，例如，在本地端点是移动电话或平板电脑的情况下，相机108是设备的内置前置或后置相机。这样的相机可以由用户在本地端点处移动(例如，使其指向另一方向)，以物理地移动本地端点。在其他示例中，在相机108与本地端点分离的情况下(如图2B和图2D所示)，本地端点可以经由输入/输出接口204与相机106通信。在这样的示例中，相机108可以例如是固定相机，诸如可以安装在会议室中的360°相机。这样的相机可能例如不能移动以使其视场总是相同，或者可以由用户经由经由MR会议客户端210而做出的用户输入命令而可移动。在各种示例中，远程端点处的用户也可以能够控制相机108，例如通过在远程端点处经由MR会议客户端310而做出的用户输入命令。
尽管图2A至图2D所示的所有示例示出了本地端点102A至102D包括触敏显示器(或触摸屏显示器)212，但是在又一示例中，显示器212可以与本地端点分离(例如，它可以是本地端点的外围设备)，并且在各种示例中，可以提供非触摸屏显示器以及替代的用户输入设备来代替触敏显示器。
如图2A至2D所示，本地端点102A至102D还包括以软件实现的混合现实(MR)会议客户端210，并且包括存储在存储器206中并且由本地端点内的处理器208执行的计算机可执行指令。下面参考图4描述该MR会议客户端210与MR服务106相结合的操作。MR会议客户端210可以是专用软件，或者MR会议客户端210的功能可以集成在另一应用内。
与本地端点相反，远程端点103、104不需要运行MR服务或与MR服务相关联，也不需要具有相机(尽管它们可以包括相机)。远程端点103、104可以例如是移动电话、平板计算机、膝上型计算机或其他形式的便携式计算设备(而不是专用的MR或MR硬件，诸如头戴式显示器)。如图3所示，远程端点300可以包括触敏显示器(或触摸屏显示器)212，尽管在各种示例中，显示器212可以与远程端点分离(例如，它可以是远程端点的外围设备)。远程端点300包括以软件实现的混合现实(MR)会议客户端310，并且包括存储在存储器206中并且由远程端点内的处理器208执行的计算机可执行指令。下面参考图6描述与在本地端点处运行的客户端210不同的该MR会议客户端310的操作。
图4是可以在图1所示的系统100中实现的用于提供地理上分布的实时混合现实会议的方法的流程图。MR服务106在本地端点102处从相机108接收实时视频流(框402)，并且生成并入了来自本地端点相机108的该实时视频流的MR视图(框404)。由MR服务生成MR视图(在框404中)包括生成相机108可见的并且覆盖任何MR内容的场景的3D网格(例如，如下所述的边界区域)。MR服务106使用运动跟踪来确定相机108相对于世界的位置，确定在实时视频流中捕获的环境内的水平或垂直表面是什么，并且估计光投影以向任何虚拟添加的对象给出逼真外观。
在显示器212上在本地端点102处绘出由MR服务106生成的MR视图(框406)。将所绘出的MR视图也传输(例如，流传输)到远程端点103至104以由远程端点处的MR会见客户端310在这些端点处在显示器300上绘出(框408)。在各个示例中，在本地端点102处绘出的MR视图由MR会议客户端210捕获，并且被传输(例如，流传输)到远程端点103至104，以由远程端点300处的MR会议客户端310在这些端点处在显示器212上绘出(在框408中)。
通过使用该方法，其中MR视图从本地端点流传输到远程端点，而不是在每个远程端点处独立生成，减少了传输到远程端点的数据量(例如，由于无需传输用于生成3D网格的详细数据(在某些示例中可以包括IR数据))。另外，减少了等待时间，因为在远程端点生成3D网格时没有延迟，并且显示在每个端点上的MR视图本质上是相同且同步的(与在每个端点处独立生成视图不同)。此外，大大减少了远程端点处的计算工作量，并且这使得图4的方法特别适合于其中端点是移动电话或其他便携式设备的系统，在该系统中，与有线网络相比，计算能力(和/或电池功率)可能受到限制并且网络带宽(用于端点之间的通信)也可能受到限制。
在会议期间，在MR服务106处从端点102至104之一接收定义MR视图内的边界区域(例如，边界框或其他边界形状)的触摸输入数据(或更一般地是用户输入数据)(框410)。该用户输入数据可以从本地端点或从远程端点接收，并且用户输入数据参考2D屏幕坐标而不是真实世界坐标。本文中使用的术语“真实世界”是指物理世界，并且将其与任何虚拟世界区分离。从远程端点接收的用户输入数据不能参考真实世界坐标，因为如上所述，3D网格仅在与本地端点相关联的MR服务106处生成，并且远程端点不会独立生成观看环境的3D网格(并且因此没有空间上的了解)。用户输入数据还可以包括指示生成用户输入数据的时间的时间戳。当由远程端点进行注释时，MR服务106可以使用该时间戳来重构相机108的位置，因为使用移动相机108(例如，诸如在移动电话中)的可能性很高，在从远程端点接收用户输入数据之前，相机的位置将已经移动。可能由于端点之间的网络、以及最初在本地端点处绘出图像以及一旦在远程端点处接收到图像就绘出图像所花费的另外的时间而引入延迟。可以将用户输入数据从远程端点处的MR会议客户端310传送到本地端点处的MR会议客户端210，并且然后本地端点处的客户端210可以将数据传送到MR服务106。
MR服务106从用户输入数据生成用于边界区域的一个或多个真实世界锚点(框412)。边界区域可以是2D形状或3D体积。真实世界锚点可以是绝对真实世界位置，例如以3D坐标的形式，或者可以是相对于真实世界对象而定义的位置，例如以相对于在本地端点(如在实时视频流中捕获)处的观看场景内的对象(例如，无生命的对象或人)的真实世界位置而定义的位置的形式。
针对边界区域的真实世界锚点的生成(在框412中)可以包括由MR服务106标识图像(例如，来自与用户输入数据相对应的时间戳的实时视频流的帧)内的多个物理突出显示(或标记)。这些突出显示例如可以是对比度、颜色或其他尖锐边缘等的急剧变化。这些突出显示彼此之间的相对位置(也可以称为跟踪点)由MR服务106确定并且被用作场景内的锚点。在各种示例中，可以使用一个或多个跟踪点(例如，一组跟踪点)来指定(或创建)单个锚点。然后，基于场景内的边界区域的位置，选择这些锚点中的一个或多个作为针对边界区域的真实世界锚点。通过增加映射到物理突出显示上的锚点的数目，可以改善环境图的分辨率并且从而改善在实时视频流内(并且因此在环境内)找到(并且重新找到)同一物理位置的准确性。应当理解，在其他示例中，可以使用不同的方法来生成真实世界锚点(例如，环境中的QR码可以用作真实世界锚点)。
已经为边界区域定义了一个或多个真实世界锚点(或在各种示例中，多个真实世界锚点)(在框412中)，边界区域可以被包括在由MR服务106在由一个或多个锚点定义的真实世界位置处生成的MR视图内(框414)，使得它对于该位置处的所有端点处的用户可见。应当理解，随着边界区域被锚定在真实世界中，如果相机视图改变(例如，因为用户移动了本地端点并且因此改变了相机指向的方向)，则边界区域的位置可能在实时视频流中不再可见，并且因此边界区域可能在MR视图中不可见。类似地，如果边界区域的位置是相对于某个对象的，如果该对象移动，则边界区域的位置也会移动。然而，在其他示例中，边界区域可能未在MR视图中以图形方式示出(例如，在已经存在边界区域的真实指示的情况下(例如，在标记内的白板上绘制的矩形))。
图5A和图5B中示出了两个示例边界区域。在图5A中，用户通过在用户端点处的绘出的MR视图上绘制矩形502来定义边界区域，例如，通过触摸触摸屏显示器212并且在屏幕上画出矩形，其中该矩形502围绕在实时视频流中可见的白板504。针对边界区域502的(多个)真实世界锚点可以定义为绝对真实世界坐标，或者由于矩形围绕场景中的对象，因此可以定义为相对于该对象(即，相对于白板504)的坐标。在该示例中，由于将对象固定在位置上，所以这两种选择具有相同的最终结果。如果相机视图改变(如图5A中的第三图像所示)，则边界区域在真实世界空间中的位置将保持不变，并且因此将继续示出在白板504周围。
在图5B中，与图5A相反，用户在实时视频流内的人506周围绘制边界区域。再次，针对边界区域508的(多个)真实世界锚点可以定义为绝对真实世界坐标，或者因为矩形围绕场景中的对象(例如，人)，因此可以定义为相对于该对象的坐标。在该示例中，由于对象未固定在位置上，因此这两种选择没有相同的最终结果。在图5B所示的示例中，边界区域相对于人的位置来定义，并且因此当人移动时(如图5B中的第三图像所示)，则在真实世界空间中相对于人的边界区域的位置保持不变，但是边界区域在真实世界空间中的绝对位置会改变并且这可以使用计算机视觉技术来实现，该技术跟踪实时视频流内的人的运动(例如，通过查找图片相对于静态背景的运动部分，检查身体上的移动边缘，诸如通过寻找对比度的变化，或使用机器学习)。人员506的身份可以由MR服务106或MR会议客户端210自动确定，或者可以由会议参与者之一(例如，本地端点102处的用户)手动标记，并且该身份可以用于确定边界区域如何用于控制内容分发，如下面更详细描述的。
取决于定义边界区域的方式，它可以具有一个或多个真实世界锚点。例如，在边界区域是3D体积的情况下，它可以具有定义该体积的多个角的多个真实世界锚点、或者定义该体积的中心或角之一的单个真实世界锚点。
MR会议客户端210、310被配置为使得用户能够将内容对象(例如，文档、电子表格、演示文稿或其部分)放置到MR视图中，并且取决于这些内容对象相对于边界区域的放置位置，由MR会议客户端210在本地端点处应用用于内容处理的不同规则(例如，内容分发和/或修改)(框416)，并且使用这些不同规则来处理内容(框418)。在各种示例中，内容处理规则可以是内容分发规则，并且所应用的这些内容分发规则可以定义对由内容对象表示的内容的访问权限(例如，是否可以读取内容，是否可以编辑内容，是否可以在会议结束之后继续访问内容还是仅在会议期间允许访问等)，和/或可以定义要执行的动作(例如，将内容通过电子邮件发送给会议参与者或预先定义的一组用户，在靠近每个端点的打印机上打印内容，等等)。在各种示例中，内容处理规则可以是(附加地或备选地)内容修改或操纵规则，并且可以例如通过改变其形状、颜色、大小、形式等来修改内容。在各种示例中，内容处理规则可以包括自动化工作流程，和/或可以由规则服务(例如，
Figure BDA0002684411120000101
Flow或IFTTT)提供。
尽管以上将内容的处理(在框418中)描述为由MR会议客户端210在本地端点处实现，但是在各种示例中，内容处理可以是分布式的，使得其在内容被添加到MR视图的端点处实现。在将内容对象添加到远程端点处的情况下，响应于由MR会议客户端210在本地端点处发送并且由MR会议客户端310在特定远程端点处接收的触发消息，可以由MR会议客户端310在该远程端点处实现内容处理(例如，分发或修改)。
与边界区域一样，将用屏幕坐标来定义内容对象和内容对象被放置的位置的用户输入发送到MR服务106。MR服务106接收数据(框420)并且以与边界区域屏幕坐标的转换相似的方式将屏幕坐标转换为绘出场景内的真实世界位置(框422)。然后，基于边界区域和内容对象在真实坐标中的相对位置，选择内容处理规则集并且将其应用于内容对象(框424)。
内容处理规则集的选择(在框424中)可以包括确定内容对象的真实世界位置是在边界区域内还是外，其中如上所述，边界区域可以是2D形状或3D体积。如果内容对象被放置在边界区域内，则应用第一规则集(例如，将内容标记为对会议参与者只读)，而如果内容对象被放置在边界区域外，则应用第二规则集用于内容的处理(例如，会议参与者将内容标记为可编辑)。再次参考图5B所示的示例，如果内容对象被放置在边界区域508内(例如，围绕并且锚定到真实世界中的人的位置的边界区域)，则所应用的规则集可能导致内容通过电子邮件被发送(或以其他方式使之可用)到在边界区域内的人，而如果内容对象被放置在边界区域外，则可以通过电子邮件将内容(或以其他方式使之可用)发送到所有会议参与者。如上所述，人的身份可以由MR会议客户端210自动确定，或者可以由用户在端点之一(例如，本地端点102)处手动输入。身份可以是真实的人(例如，史密斯先生)或角色标识符(例如，会议负责人)。
可以从一组持久性内容处理规则集中选择取决于它们相对于边界区域的实际位置而应用于边界区域和内容对象的内容处理规则集，该组持久性内容处理规则集可以在MR会议之间持续存在，并且可以手动选择(例如，由定义边界区域的用户)或自动选择(例如，由MR会议客户端210)。例如，在边界区域与人有关的情况下，通过电子邮件(或以其他方式提供)内容给特定人的规则可以自动应用于边界区域。在另一示例中，可以自动应用默认规则集(或一对规则集，一个用于边界区域内部，一个用于边界区域外部)，并且然后在各种示例中，会议参与者随后可以对默认规则集进行修改。备选地，规则集可以由用户生成边界区域来定义，并且定义数据的该规则可以例如在框410中作为用户输入数据的一部分被传输到本地端点。在这样的示例中，规则集可以是会议特定的，并且因此在会议会话之间不会持续。在其他示例中，规则集只能由用户在本地端点处定义。在各种示例中，取决于会议或端点的地理位置上下文(例如，端点是否在工作环境中，在家中，或在公共场所)或者基于特定会议参与者或具有特定预定义角色的会议参与者的存在(或不存在)(例如，在教育上下文中仅教师或教师和学生的混合)，不同内容处理规则集(例如，内容分发规则集和/或内容修改规则集)可以可用(或被使用)。
在上述方法中，边界区域由触摸屏显示器上的用户输入定义(如在框420中由MR服务106接收的)。然而，在各种示例中，用户也可以在真实空间中在本地端点102处定义边界区域。在这种示例中，边界区域可以由用户在实时视频流中可见的白板或其他书写表面上绘制，并且因此由MR服务接收的定义边界区域的数据不是用户输入数据(如图4的框410中所示)，而是在实时视频流中(在图4框402中接收)。如上所述的图4的方法因此可以被修改为包括分析实时视频流以标识边界区域的附加操作(框426)。例如，这可以包括：标识3D环境中的任何平面(如上所述，已经执行该平面以便生成锚点并且将虚拟对象正确地投影到表面上)，并且然后标识平面表面上的标记的任何变化，例如标识围绕区域的所有新线。实时视频流的分析(在框426中)可以是接收定义边界区域的用户输入数据(框410)的补充或替代。如果省略了框410，则位于远端的用户不能定义边界区域，并且因此该操作(框410)的包括使得所有会议参与者能够定义边界区域并且从而定义内容处理规则集。
在其他示例中，除了(或代替)标识由用户在本地端点处在真实世界中绘制的边界区域，对实时视频流进行分析以标识边界区域可以基于实时视频流中的对象自动定义边界区域。例如，再次参考图5A和图5B所示的示例，在MR视图中有可见的时钟510。MR服务106可以例如作为实时视频流的分析的一部分(在框426中)来标识场景中的一个或多个对象(例如，时钟510)，并且定义与这些对象相关联的边界区域。这些边界区域可以被包括在MR视图内，并且用于以类似于上述用户绘制的边界区域的方式来应用内容处理规则集。使用边界区域的这种自动定义可以将一组内容处理规则应用于与公共对象相关联的多个会议，而无需每次进行用户实现。
在另一示例中，再次参考图5B所示的示例，MR服务106可以自动定义与实时视频流中可见的每个人相关联的边界区域。每个人的身份也可以被自动标识(例如，使用关于会议参与者的信息，该信息对于MR会议客户端210可用)，或者可以要求会议参与者手动标记。在这样的示例中，通过为实时视频流中可见的每个人自动定义边界区域并且(手动或自动)标识每个人，MR会议客户端210可以将内容处理规则分配给触发通过电子邮件向对应人员发送内容的每个边界区域，只要内容对象被放置在相应边界区域内。例如，这可以为视障用户提供共享内容的简便方法，因为他们可以使用听觉线索以及可视MR视图来标识边界区域的位置并且从而拖动内容项以与特定会议参与者共享内容。
图6是示出MR会议客户端310在远程端点处的示例操作方法的流程图。如上所述，该客户端310是轻量级的，并且不执行重要的处理，并且这表示，它适合于在计算能力和/或电池方面受限制的计算设备上运行。如图6所示，远程端点处的MR会议客户端310从本地端点处的MR会议客户端210或直接从MR服务106接收MR视图(框602)，并且将MR视图绘出在远程端点300处的显示器212上(框604)。响应于接收到定义边界区域的用户数据(框606)或将内容对象添加到绘出场景中的用户数据(框607)，将用户输入数据传输到本地端点处的MR会议客户端210(框608)。
本文中描述的方法使得混合现实现场会议中的所有参与者能够定义内容分发规则并且轻松地共享内容。通过使用多个边界区域，可以在同一会议空间内应用多组规则。
在上述示例中，仅示出了单个边界区域；然而，应当理解，可以定义几个边界区域并且这些边界区域在任何MR视图中都可以可见。在定义了几个边界区域的情况下，可以为每个边界区域定义不同的规则集，并且可以为两个或更多个边界区域相交的真实世界空间中的区域定义其他规则集。
在上述示例中，每个端点具有相同的边界区域(例如，在MR视图中每个端点处示出了相同的边界区域，其中边界区域在MR视图中绘出)。然而，在各种示例中，不同的边界区域可以由不同的端点或不同的端点组生成并且应用于不同的端点或不同的端点组。例如，可能存在一个或多个边界区域，并且因此可能存在各组内容处理规则适用于由本地端点放置的内容对象，并且可能存在一个或多个不同的边界区域，并且因此可能存在内容处理规则适用于由远程端点放置到MR视图中的内容对象，或者对于参与MR会议的每个端点可能存在不同的边界区域(并且因此，可能存在不同的内容处理规则)。例如，这使得可以将不同内容分发规则应用于由不同用户放置到MR视图中的内容对象。为了实现这一点，MR服务106可以生成多个MR视图，每组端点一个MR视图(例如，第一MR视图用于本地端点，并且第二MR视图用于远程端点)。例如，针对不同端点使用不同边界区域可以用于使得每个参与者能够独立地控制应用于他们放置到MR视图中的内容对象的处理(例如，以控制这些内容对象的内容分发)。
在上述方法中，仅在与本地端点相关联的MR服务106中生成3D网格，并且在远程端点处没有单独的3D网格生成。在上述方法的一种变型中，可以在远程端点上另外生成3D网格，但是与在本地端点处生成的3D网格相比，这些3D网格的详细程度较低，以减少从本地端点发送到远程端点以有助于网格生成的数据量。在各种示例中，在远程端点处(除了本地端点处)的3D网格的生成可以导致与将内容对象添加到MR视图中相关联的等待时间的减少。此外，3D网格只能在远程端点的子集处生成。
如上所述，通过使用图4的方法，系统100更有效且高效地操作。通过消除在远程端点处执行的任何空间处理，而仅在本地端点处生成MR视图，可以减少等待时间，并且改善了端点之间的同步。此外，由于执行内容分发，所以这些方法对在本地端点外进行的处理具有技术效果(在框418中)。
再次参考图2A至图2D和图3，端点102A至102D、300是包括一个或多个处理器208的计算设备，该处理器208可以是微处理器、控制器或任何其他合适类型的处理器，该处理器208用于处理计算机可执行指令以按顺序控制设备的操作以实现本文中描述的方法(例如，在本地显示器上绘出MR视图并且接收用户输入数据)。在一些示例中，例如在使用片上系统架构的情况下，处理器208包括一个或多个固定功能块(也称为加速器)，固定功能块以硬件(而不是软件或固件)实现绘出MR视图的方法的一部分(或端点的操作方法的其他部分)。可以在端点处提供包括操作系统的平台软件或任何其他合适的平台软件，以使得能够在端点上执行应用软件(例如，MR会议客户端210、310以及可选的MR服务106)。
虽然将MR服务106和MR会议客户端210、310描述为以软件实现，但是备选地或附加地，本文中描述的功能可以至少部分由一个或多个硬件逻辑组件执行。例如而非限制，可选地使用的说明性类型的硬件逻辑组件包括现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、系统级芯片系统(SOC)、复杂可编程逻辑器件(CPLD)、图形处理单元(GPU)。
如图2A至图D和图3所示，计算机可执行指令使用端点102A至102D、300可访问的任何计算机可读介质来提供。计算机可读介质包括例如计算机存储介质，诸如存储器206和通信介质。诸如存储器206等计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块等信息的任何方法或技术实现的易失性和非易失性的可移动和不可移动介质。计算机存储介质包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、电子可擦除可编程只读存储器(EEPROM)、闪存或其他存储技术、光盘只读存储器(CD-ROM)、数字多功能磁盘(DVD)或其他光学存储设备、磁带盒、磁带、磁盘存储设备或其他磁性存储设备、或者用于存储供计算设备访问的信息的任何其他非传输介质。相反，通信介质在诸如载波或其他传输机制等调制数据信号中体现计算机可读指令、数据结构、程序模块等。如本文中定义的，计算机存储介质不包括通信介质。因此，计算机存储介质本身不应当被解释为传播信号。尽管计算机存储介质(存储器206)被示出为在端点内，但是应当理解，在一些示例中，该存储装置是远程分布或定位的，并且可以经由网络或其他通信链路(例如，使用通信接口202)来访问。
端点102A至D、300还包括被布置为向可以与端点102A至102D、300分离或成一体的触摸屏显示设备212输出显示信息的输入/输出(I/O)控制器204。显示信息可以提供图形用户界面。输入/输出控制器204还被布置为接收和处理来自触摸屏显示设备212并且在各种示例中来自诸如用户输入设备(例如，鼠标、键盘、相机、麦克风或其他传感器)等一个或多个其他设备的用户输入。在一些示例中，用户输入设备检测语音输入、用户手势或其他用户动作，并且提供自然用户界面(NUI)。该用户输入可以用于选择或设置内容处理规则(如上所述)。
输入/输出控制器204、显示设备212和任何其他用户输入设备中的任何一个可以包括NUI技术，NUI技术使得用户能够以自然的方式与基于计算的设备交互，而没有由诸如鼠标、键盘、遥控器等输入设备施加的人为约束。在一些示例中提供的NUI技术的示例包括但不限于依赖于声音和/或语音识别、触摸和/或触笔识别(触敏显示器)、屏幕上和屏幕附近的手势识别、空气手势、头部和眼睛跟踪、声音和语音、视觉、触摸、手势和机器智能的那些NUI技术。在一些示例中使用的NUI技术的其他示例包括意图和目标理解系统、使用深度相机的运动手势检测系统(诸如立体相机系统、红外相机系统、红绿蓝(RGB)相机系统及其组合)、使用加速度计/陀螺仪的运动手势检测、面部识别、三维(3D)显示、头部、眼睛和注视跟踪、沉浸式混合现实和虚拟现实系统、以及用于使用电场感测电极来感测大脑活动的技术(脑电图(EEG)和相关方法)。
尽管本文中将本示例描述和示出为在包括一个本地端点和两个远程端点的系统中实现，但是所描述的系统仅作为示例而不是限制来提供。如本领域技术人员将理解的，本示例适用于具有不同数目的远程端点(例如，仅一个远程端点或两个以上的远程端点)的各种不同类型的系统中的应用。
第一其他示例提供了一种提供地理上分布的实时混合现实会议的方法，所述方法包括：在第一端点处从相机接收实时视频流；在混合现实服务处生成并入了所接收的视频流的混合现实视图；在所述第一端点处在显示器处绘出所述混合现实视图，并且向至少一个其他地理上遥远的端点传输所述混合现实视图；在所述混合现实服务处接收定义边界区域的数据；由所述混合现实服务使用定义所述边界区域的所述数据来计算针对所述边界区域的真实世界锚点；以及在使用所述真实世界锚点而被确定的真实世界位置处将所述边界区域插入所述混合现实视图中，其中所述边界区域触发取决于在真实世界空间中由用户放置到所述混合现实视图中的内容对象相对于所述边界区域的位置而将不同内容处理规则集应用于所述内容对象。
第二其他示例提供了一种提供地理上分布的实时混合现实会议的方法，所述方法包括：在第一端点处从相机接收实时视频流；在混合现实服务处生成并入了所接收的视频流的混合现实视图；在所述第一端点处向显示器传输绘出所述混合现实视图以用于在所述显示器上绘出，并且向至少一个其他地理上遥远的端点传输所述混合现实视图；在所述混合现实服务处接收定义边界区域的数据；由所述混合现实服务使用定义所述边界区域的所述数据来计算针对所述边界区域的真实世界锚点；以及在使用所述真实世界锚点而被确定的真实世界位置处将所述边界区域插入所述混合现实视图中，其中所述边界区域触发取决于在真实世界空间中由用户放置到所述混合现实视图中的内容对象相对于所述边界区域的位置而将不同内容处理规则集应用于所述内容对象。
根据第一或第二其他示例所述的方法还可以包括：取决于在真实世界空间中由用户放置到所述混合现实视图中的内容对象相对于所述边界区域的位置而将不同内容处理规则集应用于所述内容对象。
第三其他示例提供了一种提供地理上分布的实时混合现实会议的方法，所述方法包括：在第一端点处从相机接收实时视频流；在混合现实服务处生成并入了所接收的视频流的混合现实视图；在所述第一端点处在显示器处绘出所述混合现实视图，并且向至少一个其他地理上遥远的端点传输所述混合现实视图；在所述混合现实服务处接收定义边界区域的数据；由所述混合现实服务使用定义所述边界区域的所述数据来计算针对所述边界区域的真实世界锚点；在使用所述真实世界锚点而被确定的真实世界位置处在所述混合现实视图中绘出所述边界区域；以及取决于在真实世界空间中由用户放置到所述混合现实视图中的内容对象相对于所述边界区域的位置而将不同内容处理规则集应用于所述内容对象。
第四其他示例提供了一种提供地理上分布的实时混合现实会议的方法，所述方法包括：在第一端点处从相机接收实时视频流；在混合现实服务处生成并入了所接收的视频流的混合现实视图；在所述第一端点处在显示器处绘出所述混合现实视图，并且向至少一个其他地理上遥远的端点传输所述混合现实视图；在所述混合现实服务处接收定义边界区域的数据；由所述混合现实服务使用定义所述边界区域的所述数据来计算针对所述边界区域的真实世界锚点；在使用所述真实世界锚点而被确定的真实世界位置处将所述边界区域插入所述混合现实视图中；以及取决于在真实世界空间中由用户放置到所述混合现实视图中的内容对象相对于所述边界区域的位置而将不同内容处理规则集应用于所述内容对象。
在第一至第四其他示例中的任何一个中，取决于在真实世界空间中由用户放置到所述混合现实视图中的内容对象相对于所述边界区域的位置而将不同内容处理规则集应用于所述内容对象可以包括：将第一内容处理规则应用于在真实世界空间中被放置在所述边界区域内的内容对象；以及将第二内容处理规则应用于在真实世界空间中被放置在所述边界区域外的内容对象。
在第一至第四其他示例中的任何一个中，所述方法还可以包括：根据被应用于每个内容对象的规则集来分配与所述内容对象相对应的多个内容。
在第一至第四其他示例中的任何一个中，取决于在真实世界空间中由用户放置到所述混合现实视图中的内容对象相对于所述边界区域的位置而将不同内容处理规则集应用于所述内容对象可以包括：在所述混合现实服务处接收定义内容对象和屏幕坐标的用户输入数据，所述用户输入数据从所述端点之一被接收；由所述混合现实服务计算针对所述内容对象的真实世界位置；以及使用所述边界区域和所述内容对象的相对真实世界位置来选择内容处理规则集。
在第一至第四其他示例中的任何一个中，在所述混合现实服务处接收定义边界区域的数据可以包括：在所述混合现实服务处接收定义边界区域的用户输入数据，所述用户输入数据从所述端点之一被接收。
在第一至第四其他示例中的任何一个中，定义边界区域的所述用户输入数据可以包括：用屏幕坐标来定义所述边界区域的位置的用户输入数据、以及可选地要被应用于在所述混合现实视图中被放置在所述边界区域内的内容对象的规则集。
在第一至第四其他示例中的任何一个中，在所述混合现实服务处接收定义边界区域的数据可以包括：在所述混合现实服务处分析所述实时视频流以标识一个或多个边界区域。
在第一至第四其他示例中的任何一个中，一个或多个边界区域可以基于所述实时视频流中的对象和/或所述实时视频流中的用户绘制的特征来标识。
在第一至第四其他示例中的任何一个中，所述不同内容处理规则集可以包括不同内容分发规则集。
在第一至第四其他示例中的任何一个中，向至少一个其他地理上遥远的端点传输所述混合现实视图可以包括：由混合现实会议客户端在所述第一端点处捕获所绘出的混合现实视图并且向至少一个其他地理上遥远的端点传输所捕获的混合现实视图。
在第一至第四其他示例中的任何一个中，针对所述边界区域的所述真实世界锚点可以包括针对所述边界区域的真实世界绝对位置。
在第一至第四其他示例中的任何一个中，由所述混合现实服务使用定义所述边界区域的所述数据来计算针对所述边界区域的真实世界锚点可以包括：确定定义所述边界区域的所述数据是否描述围绕在所述实时视频流中可见的对象的边界区域；以及响应于确定所述边界区域围绕在所述实时视频流中可见的对象，将针对所述边界区域的所述真实世界锚点设置为在所述真实世界中相对于所述对象的位置。
在第一至第四其他示例中的任何一个中，所述真实世界中的所述对象可以包括人。
第五其他示例包括一种被布置为提供地理上分布的实时混合现实会议的系统，所述系统包括：混合现实服务，被布置为：在第一端点处从相机接收实时视频流，生成并入了所接收的实时视频流的混合现实视图，输出所述混合现实视图以用于在所述第一端点的显示器和至少一个其他地理上遥远的端点的显示器上绘出，响应于接收到定义边界区域的数据，使用所接收的数据来计算针对所述边界区域的真实世界锚点，并且在使用所述真实世界锚点而被确定的真实世界位置处将所述边界区域插入所述混合现实视图中，其中所述边界区域触发取决于在真实世界空间中由用户放置到所述混合现实视图中的内容对象相对于所述边界区域的位置而将不同内容处理规则集应用于所述内容对象。
第五其他示例的系统还可以包括所述第一端点，其中所述第一端点包括：相机；显示器；以及混合现实会议客户端。
第六其他示例提供了一种被布置为提供地理上分布的实时混合现实会议的系统，所述系统包括：本地端点，包括相机、显示器和混合现实会议客户端；以及混合现实服务，被布置为：从所述相机接收实时视频流，生成并入了所接收的实时视频流的混合现实视图，输出所述混合现实视图以用于在所述本地端点的显示器和至少一个远程端点的显示器上绘出，响应于接收到定义边界区域的数据，使用所接收的数据来计算针对所述边界区域的真实世界锚点，并且在使用所述真实世界锚点而被确定的真实世界位置处将所述边界区域插入所述混合现实视图中，其中所述混合现实会议客户端被布置为取决于在真实世界空间中由用户放置到所述混合现实视图中的内容对象相对于所述边界区域的位置而将不同规则集应用于所述内容对象。
在第五或第六其他示例中的任何一个中，所述混合现实会议客户端或所述混合现实服务可以被布置为取决于在真实世界空间中由用户放置到所述混合现实视图中的内容对象相对于所述边界区域的位置而将不同内容处理规则集应用于所述内容对象。
在第五或第六其他示例中的任何一个中，所述第一端点可以包括所述混合现实服务。
在第五或第六其他示例中的任何一个中，所述系统还可以包括与所述第一端点分离的服务器，并且其中所述混合现实服务在所述服务器上运行。
在第五或第六其他示例中的任何一个中，所述系统还可以包括多个地理上遥远的端点，并且其中所述混合现实服务被布置为使用所述实时视频流来生成观看场景的3D网格并且所述地理上遥远的端点不生成所述观看场景的3D网格。
第七其他示例提供了一种被布置为提供地理上分布的实时混合现实会议的系统，所述系统包括：包括显示器和混合现实会议客户端的远程端点，其中所述混合现实会议客户端被布置为：从本地端点接收在所述本地端点处捕获的混合现实视图并且并入也在所述本地端点处捕获的实时视频流，在所述远程端点的显示器上绘出所述混合现实视图，响应于接收到定义边界区域的用户输入数据，向所述本地端点传输所述数据以并入到所述混合现实视图中，以及响应于接收到向所绘出的混合现实视图中添加内容对象的用户输入数据，向所述本地端点传输所述数据并且触发根据使用所述内容对象和所述边界区域的相对真实世界位置而确定的规则集来处理与所述内容对象相关联的内容。
术语“计算机”或“基于计算的设备”在本文中用于指代具有处理能力以使其执行指令的任何设备。本领域技术人员将意识到，这样的处理能力被并入很多不同的设备中，并且因此术语“计算机”和“基于计算的设备”分别包括个人计算机(PC)、服务器、移动电话(包括智能电话)、平板计算机、机顶盒、媒体播放器、游戏机、个人数字助理、可穿戴计算机和很多其他设备。
在一些示例中，本文中描述的方法通过有形存储介质上的机器可读形式的软件来执行，例如，包括计算机程序代码装置的计算机程序的形式，该计算机程序代码装置被适配为：当该程序在计算机上运行时并且在该计算机程序可以体现在计算机可读介质上的情况下，执行本文中描述的一种或多种方法的所有操作。该软件适合于在并行处理器或串行处理器上执行使得方法操作可以按照任何合适的顺序或同时执行。
这承认软件是有价值的可单独交易的商品。它旨在涵盖在“虚拟”或标准硬件上运行或控制的用于执行期望功能的软件。它还旨在涵盖“描述”或定义硬件的配置的用于执行期望功能的软件，诸如HDL(硬件描述语言)软件，该硬件用于设计硅芯片或用于配置通用可编程芯片。
本领域技术人员将认识到，用于存储程序指令的存储设备可选地分布在整个网络上。例如，远程计算机能够存储被描述为软件的过程的示例。本地或终端计算机能够访问远程计算机并且下载部分或全部软件以运行该程序。替代地，本地计算机可以根据需要下载软件，或者在本地终端处执行一些软件指令，而在远程计算机(或计算机网络)处执行一些软件指令。本领域技术人员还将认识到，通过利用本领域技术人员已经知的常规技术，全部或部分软件指令可以由专用电路(诸如数字信号处理器(DSP)、可编程逻辑阵列等)执行。
如本领域技术人员将很清楚的，可以在不丧失所寻求的效果的情况下扩展或改变本文中给出的任何范围或设备值。
尽管已经用特定于结构特征和/或方法动作的语言描述了主题，但是应当理解，所附权利要求书中定义的主题不必限于上述特定特征或动作。而是，上述特定特征和动作被公开作为实现权利要求的示例形式。
应当理解，上述益处和优点可以涉及一个实施例或者可以涉及若干实施例。实施例不限于解决任何或所有所述问题的实施例，也不限于具有任何或所有所述益处和优点的实施例。还应当理解，对“一个”项目的引用是指这些项目中的一个或多个。
本文中描述的方法的操作可以按照任何合适的顺序执行，或者在适当的情况下同时执行。另外，在不脱离本文中描述的主题的范围的情况下，可以从任何方法中删除单独的框。上述任何示例的各方面可以与所描述的任何其他示例的各方面组合以形成另外的示例，而不会失去所寻求的效果。
术语“包括”在本文中用来表示包括所标识的方法框或元素，但是这样的框或元素不包括排他性列表，并且方法或装置可以包含附加框或元素。
本文中使用术语“子集”来指代适当的子集，以使得集合的子集不包括该集合的所有元素(即，该子集中缺少集合的元素中的至少一个)。
应当理解，以上描述仅作为示例给出，并且本领域技术人员可以做出各种修改。上面的说明书、示例和数据提供了对示例性实施例的结构和使用的完整描述。尽管上面已经以某种程度的特殊性或者参考一个或多个单独的实施例描述了各种实施例，但是本领域技术人员可以在不脱离本说明书的范围的情况下对所公开的实施例进行多种改变。

Claims (20)

1.一种提供地理上分布的实时混合现实会议的方法，所述方法包括：
在第一端点处从相机接收实时视频流；
在混合现实服务处生成并入了所接收的所述视频流的混合现实视图；
在所述第一端点处在显示器处绘出所述混合现实视图，并且向至少一个其他地理上遥远的端点传输所述混合现实视图；
在所述混合现实服务处从所述第一端点或者所述至少一个其他地理上遥远的端点接收用户输入，所述用户输入定义边界区域；
由所述混合现实服务使用所述用户输入来计算针对所述边界区域的物理世界锚点，基于定义所述物理世界中的对象周围的所述边界的一组坐标，所述物理世界锚点将固定位置中的所述边界区域锚定到所述物理世界中的、并且在所述边界区域内的所述对象；以及
在使用所述物理世界锚点而被确定的物理世界位置处将所述边界区域插入所述混合现实视图中，其中所述边界区域触发取决于在物理世界空间中由用户放置到所述混合现实视图中的内容对象相对于所述边界区域的位置而将不同内容处理规则集应用于所述内容对象，内容处理规则集包括至少一个内容处理规则，内容处理规则表示用于以下至少一项的规则：内容分发、内容修改、内容操纵。
2.根据权利要求1所述的方法，还包括：
取决于在物理世界空间中由用户放置到所述混合现实视图中的内容对象相对于所述边界区域的位置而将不同内容处理规则集应用于所述内容对象。
3.根据权利要求2所述的方法，其中取决于在物理世界空间中由用户放置到所述混合现实视图中的内容对象相对于所述边界区域的位置而将不同内容处理规则集应用于所述内容对象包括：
将第一内容处理规则应用于在物理世界空间中被放置在所述边界区域内的内容对象；以及
将第二内容处理规则应用于在物理世界空间中被放置在所述边界区域外的内容对象。
4.根据权利要求2所述的方法，还包括：
根据被应用于每个内容对象的规则集来分配与所述内容对象相对应的多个内容。
5.根据权利要求2所述的方法，其中取决于在物理世界空间中由用户放置到所述混合现实视图中的内容对象相对于所述边界区域的位置而将不同内容处理规则集应用于所述内容对象包括：
在所述混合现实服务处接收定义内容对象和屏幕坐标的用户输入数据；以及
使用所述边界区域和所述内容对象的相对物理世界位置来选择内容处理规则集。
6.根据权利要求1所述的方法，其中所述用户输入包括二维坐标。
7.根据权利要求6所述的方法，其中所述用户输入包括以下至少一项：
用屏幕坐标来定义所述边界区域的位置的用户输入数据，要被应用于在所述混合现实视图中被放置在所述边界区域内的内容对象的规则集。
8.根据权利要求1所述的方法，其中在所述混合现实服务处接收定义边界区域包括：
在所述混合现实服务处分析所述实时视频流以标识一个或多个边界区域。
9.根据权利要求8所述的方法，其中一个或多个边界区域基于所述实时视频流中的对象和/或所述实时视频流中的用户绘制的特征而被标识。
10.根据权利要求1所述的方法，其中所述物理世界不是虚拟世界。
11.根据权利要求1所述的方法，其中向至少一个其他地理上遥远的端点传输所述混合现实视图包括：
由混合现实会议客户端在所述第一端点处捕获所绘出的所述混合现实视图并且向至少一个其他地理上遥远的端点传输所捕获的所述混合现实视图。
12.根据权利要求1所述的方法，其中针对所述边界区域的所述物理世界锚点包括针对所述边界区域的物理世界绝对位置。
13.根据权利要求1所述的方法，其中由所述混合现实服务使用定义所述边界区域的数据来计算针对所述边界区域的物理世界锚点包括：
确定所述用户输入是否描述围绕在所述实时视频流中可见的对象的边界区域；以及
响应于确定所述边界区域围绕在所述实时视频流中可见的对象，将针对所述边界区域的所述物理世界锚点设置为在所述物理世界中相对于所述对象的位置。
14.一种被布置为提供地理上分布的实时混合现实会议的系统，所述系统包括：
混合现实服务，被布置为：
在第一端点处从相机接收实时视频流，
生成并入了所接收的所述实时视频流的混合现实视图，
输出所述混合现实视图以用于在所述第一端点的显示器和至少一个其他地理上遥远的端点的显示器上绘出，
响应于从所述第一端点或者所述至少一个其他地理上遥远的端点接收到定义边界区域的用户输入，使用所接收的所述用户输入来计算针对所述边界区域的物理世界锚点，并且在使用所述物理世界锚点而被确定的物理世界位置处将所述边界区域插入所述混合现实视图中，所述物理世界锚点包括定义围绕所述物理世界中的对象的固定位置中的所述边界的一组坐标，
其中所述边界区域触发取决于在物理世界空间中由用户放置到所述混合现实视图中的内容对象相对于所述边界区域的位置而将不同内容处理规则集应用于所述内容对象，内容处理规则集包括至少一个内容处理规则，内容处理规则表示用于以下至少一项的规则：内容分发、内容修改、内容操纵。
15.根据权利要求14所述的系统，还包括所述第一端点，其中所述第一端点包括：
所述相机；
显示器；以及
混合现实会议客户端。
16.根据权利要求15所述的系统，其中所述混合现实会议客户端或所述混合现实服务被布置为取决于在物理世界空间中由用户放置到所述混合现实视图中的内容对象相对于所述边界区域的所述位置而将所述不同内容处理规则集应用于所述内容对象。
17.根据权利要求15所述的系统，其中所述第一端点包括所述混合现实服务。
18.根据权利要求15所述的系统，还包括多个地理上遥远的端点，并且其中所述混合现实服务被布置为使用所述实时视频流来生成观看场景的3D网格，并且所述地理上遥远的端点不生成所述观看场景的3D网格。
19.根据权利要求17所述的系统，还包括与所述第一端点分离的服务器，并且其中所述混合现实服务在所述服务器上运行。
20.一种或多种计算机存储介质，其上存储有计算机可执行指令，所述计算机可执行指令在由一个或多个处理器执行时，使所述一个或多个处理器执行以下操作：
接收实时视频流；
生成并入了所接收的所述视频流的混合现实视图；
在第一端点处在显示器处绘出所述混合现实视图，并且向至少一个其他地理上遥远的端点传输所述混合现实视图；
从所述第一端点或者所述至少一个其他地理上遥远的端点接收用户输入，所述用户输入定义边界区域；
使用所述用户输入来计算针对所述边界区域的物理世界锚点，基于定义对象周围的所述边界的一组坐标，所述物理世界锚点将固定位置中的所述边界区域锚定到所述物理世界中的、并且在所述边界区域内的所述对象；以及
在使用所述物理世界锚点而被确定的物理世界位置处将所述边界区域插入所述混合现实视图中，其中所述边界区域触发取决于在物理世界空间中由用户放置到所述混合现实视图中的内容对象相对于所述边界区域的位置而将不同内容处理规则集应用于所述内容对象，内容处理规则集包括至少一个内容处理规则，内容处理规则表示用于以下至少一项的规则：内容分发、内容修改、内容操纵。
CN201980019650.1A 2018-03-19 2019-03-11 多端点混合现实会议 Active CN112243583B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
GB1804383.6 2018-03-19
GBGB1804383.6A GB201804383D0 (en) 2018-03-19 2018-03-19 Multi-endpoint mixed reality meetings
US15/984,316 2018-05-18
US15/984,316 US11386620B2 (en) 2018-03-19 2018-05-18 Multi-endpoint mixfd-reality meetings
PCT/US2019/021519 WO2019182772A1 (en) 2018-03-19 2019-03-11 Multi-endpoint mixed-reality meetings

Publications (2)

Publication Number Publication Date
CN112243583A CN112243583A (zh) 2021-01-19
CN112243583B true CN112243583B (zh) 2023-07-07

Family

ID=62017941

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980019650.1A Active CN112243583B (zh) 2018-03-19 2019-03-11 多端点混合现实会议

Country Status (5)

Country Link
US (2) US11386620B2 (zh)
EP (1) EP3769509B1 (zh)
CN (1) CN112243583B (zh)
GB (1) GB201804383D0 (zh)
WO (1) WO2019182772A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11095947B2 (en) * 2018-06-12 2021-08-17 Number 9, LLC System for sharing user-generated content
US20200186786A1 (en) * 2018-12-06 2020-06-11 Novarad Corporation Calibration for Augmented Reality
EP3736706B1 (en) * 2019-05-06 2022-07-27 Bentley Systems, Incorporated Locking of spatial regions of fully-connected large-scale multi-dimensional spatial data for collaborative updating
US11704874B2 (en) * 2019-08-07 2023-07-18 Magic Leap, Inc. Spatial instructions and guides in mixed reality
WO2022045815A1 (en) * 2020-08-27 2022-03-03 Samsung Electronics Co., Ltd. Method and apparatus for performing anchor based rendering for augmented reality media objects
US11457178B2 (en) * 2020-10-20 2022-09-27 Katmai Tech Inc. Three-dimensional modeling inside a virtual video conferencing environment with a navigable avatar, and applications thereof
US11876844B2 (en) * 2021-04-01 2024-01-16 Active Video Networks, Inc. Systems and methods of alternative networked application services for video-conferencing applications
BR112023020905A2 (pt) * 2021-04-20 2023-12-12 Qualcomm Inc Ancorando uma descrição de cena a um ambiente de usuário para transmissão contínua de conteúdo de mídia imersivo
US11321932B1 (en) * 2021-05-21 2022-05-03 Delta Cygni Labs Oy Methods and systems for aligning manipulations in time and space
US11656747B2 (en) * 2021-09-21 2023-05-23 Microsoft Technology Licensing, Llc Established perspective user interface and user experience for video meetings

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012135553A1 (en) * 2011-03-29 2012-10-04 Qualcomm Incorporated Selective hand occlusion over virtual projections onto physical surfaces using skeletal tracking
KR101189043B1 (ko) * 2011-04-27 2012-10-08 강준규 영상통화 서비스 및 그 제공방법, 이를 위한 영상통화서비스 제공서버 및 제공단말기
CN103314580A (zh) * 2011-01-13 2013-09-18 波音公司 增强协作系统
CN106408666A (zh) * 2016-08-31 2017-02-15 重庆玩艺互动科技有限公司 混合现实实境演示方法

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5606674A (en) 1995-01-03 1997-02-25 Intel Corporation Graphical user interface for transferring data between applications that support different metaphors
WO1999046702A1 (en) 1998-03-13 1999-09-16 Siemens Corporate Research, Inc. Apparatus and method for collaborative dynamic video annotation
US6484156B1 (en) 1998-09-15 2002-11-19 Microsoft Corporation Accessing annotations across multiple target media streams
WO2001061448A1 (en) 2000-02-18 2001-08-23 The University Of Maryland Methods for the electronic annotation, retrieval, and use of electronic images
US20020191034A1 (en) * 2000-06-28 2002-12-19 Sowizral Henry A. Size conditioned visibility search system and method
US6873344B2 (en) 2001-02-22 2005-03-29 Sony Corporation Media production system using flowgraph representation of operations
US7149755B2 (en) 2002-07-29 2006-12-12 Hewlett-Packard Development Company, Lp. Presenting a collection of media objects
US20040130564A1 (en) * 2003-01-02 2004-07-08 Smith Alan G. Software tool for providing a demonstration screen
US9318012B2 (en) * 2003-12-12 2016-04-19 Steve Gail Johnson Noise correcting patient fall risk state system and method for predicting patient falls
JP4738870B2 (ja) * 2005-04-08 2011-08-03 キヤノン株式会社 情報処理方法、情報処理装置および遠隔複合現実感共有装置
WO2007027738A2 (en) 2005-08-29 2007-03-08 Evryx Technologies, Inc. Interactivity via mobile image recognition
US8358320B2 (en) 2007-11-02 2013-01-22 National University Of Singapore Interactive transcription system and method
US8566353B2 (en) 2008-06-03 2013-10-22 Google Inc. Web-based system for collaborative generation of interactive videos
US9319357B2 (en) 2009-01-15 2016-04-19 Social Communications Company Context based virtual area creation
US8373724B2 (en) 2009-01-28 2013-02-12 Google Inc. Selective display of OCR'ed text and corresponding images from publications on a client device
KR101645994B1 (ko) 2009-12-29 2016-08-05 삼성전자주식회사 문자 인식 영역 검출 장치 및 문자 인식 방법
US8482593B2 (en) * 2010-05-12 2013-07-09 Blue Jeans Network, Inc. Systems and methods for scalable composition of media streams for real-time multimedia communication
US20120067954A1 (en) 2010-09-16 2012-03-22 Madhav Moganti Sensors, scanners, and methods for automatically tagging content
US20120092329A1 (en) 2010-10-13 2012-04-19 Qualcomm Incorporated Text-based 3d augmented reality
US9280852B2 (en) 2010-11-08 2016-03-08 Sony Corporation Augmented reality virtual guide system
US9721030B2 (en) 2010-12-09 2017-08-01 Microsoft Technology Licensing, Llc Codeless sharing of spreadsheet objects
WO2012135231A2 (en) 2011-04-01 2012-10-04 Social Communications Company Creating virtual areas for realtime communications
US8493353B2 (en) 2011-04-13 2013-07-23 Longsand Limited Methods and systems for generating and joining shared experience
EP2538654A1 (en) 2011-06-22 2012-12-26 LG Electronics Scanning technology
US8893010B1 (en) 2011-07-20 2014-11-18 Google Inc. Experience sharing in location-based social networking
US9122321B2 (en) 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays
US9165381B2 (en) 2012-05-31 2015-10-20 Microsoft Technology Licensing, Llc Augmented books in a mixed reality environment
US9043349B1 (en) 2012-11-29 2015-05-26 A9.Com, Inc. Image-based character recognition
US10200654B2 (en) * 2013-02-27 2019-02-05 Szymczyk Matthew Systems and methods for real time manipulation and interaction with multiple dynamic and synchronized video streams in an augmented or multi-dimensional space
US9946963B2 (en) 2013-03-01 2018-04-17 Layar B.V. Barcode visualization in augmented reality
US9471849B2 (en) * 2013-05-05 2016-10-18 Qognify Ltd. System and method for suspect search
US9274693B2 (en) 2013-10-16 2016-03-01 3M Innovative Properties Company Editing digital notes representing physical notes
US9524588B2 (en) * 2014-01-24 2016-12-20 Avaya Inc. Enhanced communication between remote participants using augmented and virtual reality
US9626577B1 (en) 2014-09-15 2017-04-18 Amazon Technologies, Inc. Image selection and recognition processing from a video feed
US9554030B2 (en) 2014-09-29 2017-01-24 Yahoo! Inc. Mobile device image acquisition using objects of interest recognition
US9407865B1 (en) 2015-01-21 2016-08-02 Microsoft Technology Licensing, Llc Shared scene mesh data synchronization
US9516255B2 (en) 2015-01-21 2016-12-06 Microsoft Technology Licensing, Llc Communication system
US10156721B2 (en) 2015-03-09 2018-12-18 Microsoft Technology Licensing, Llc User-based context sensitive hologram reaction
US20160358383A1 (en) 2015-06-05 2016-12-08 Steffen Gauglitz Systems and methods for augmented reality-based remote collaboration
US20170053621A1 (en) * 2015-08-20 2017-02-23 Microsoft Technology Licensing, Llc Roundtrip Reintegration of Asynchronous 3D Session
US10162308B2 (en) * 2016-08-01 2018-12-25 Integem Inc. Methods and systems for photorealistic human holographic augmented reality communication with interactive control in real-time
US10482321B2 (en) * 2017-12-29 2019-11-19 Cerner Innovation, Inc. Methods and systems for identifying the crossing of a virtual barrier

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103314580A (zh) * 2011-01-13 2013-09-18 波音公司 增强协作系统
WO2012135553A1 (en) * 2011-03-29 2012-10-04 Qualcomm Incorporated Selective hand occlusion over virtual projections onto physical surfaces using skeletal tracking
KR101189043B1 (ko) * 2011-04-27 2012-10-08 강준규 영상통화 서비스 및 그 제공방법, 이를 위한 영상통화서비스 제공서버 및 제공단말기
CN106408666A (zh) * 2016-08-31 2017-02-15 重庆玩艺互动科技有限公司 混合现实实境演示方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于增强现实的网络视频会议系统研究;蒋宾等;《计算机与数字工程》;20061120(第11期);全文 *

Also Published As

Publication number Publication date
US20220319139A1 (en) 2022-10-06
EP3769509B1 (en) 2024-04-24
US11386620B2 (en) 2022-07-12
EP3769509A1 (en) 2021-01-27
CN112243583A (zh) 2021-01-19
WO2019182772A1 (en) 2019-09-26
GB201804383D0 (en) 2018-05-02
US20190287306A1 (en) 2019-09-19

Similar Documents

Publication Publication Date Title
CN112243583B (zh) 多端点混合现实会议
US10554921B1 (en) Gaze-correct video conferencing systems and methods
US9654734B1 (en) Virtual conference room
US9584766B2 (en) Integrated interactive space
CN113168231A (zh) 用于跟踪真实世界对象的移动以改进虚拟对象定位的增强技术
US20190369836A1 (en) Human-computer interface for computationally efficient placement and sizing of virtual objects in a three-dimensional representation of a real-world environment
CN106134186B (zh) 遥现体验
JP5903936B2 (ja) 情報の選択及び切り替えのための方法、記憶媒体及び装置
WO2015188614A1 (zh) 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜
WO2021213067A1 (zh) 物品显示方法、装置、设备及存储介质
US10084986B2 (en) System and method for video call using augmented reality
CN113196239A (zh) 对与在通信会话内所显示的对象相关的内容的智能管理
JP2010217719A (ja) 装着型表示装置、その制御方法及びプログラム
US9531995B1 (en) User face capture in projection-based systems
US20200304713A1 (en) Intelligent Video Presentation System
US11481933B1 (en) Determining a change in position of displayed digital content in subsequent frames via graphics processing circuitry
Negulescu et al. Open project: a lightweight framework for remote sharing of mobile applications
US20230334792A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
US20230334790A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
US20230334791A1 (en) Interactive reality computing experience using multi-layer projections to create an illusion of depth
US20240098213A1 (en) Modifying digital content transmitted to devices in real time via processing circuitry
US20240106969A1 (en) Eye Contact Optimization
WO2023205145A1 (en) Interactive reality computing experience using multi-layer projections to create an illusion of depth
WO2023215637A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
WO2024039887A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant