CN113196219A - 交互式编辑系统 - Google Patents

交互式编辑系统 Download PDF

Info

Publication number
CN113196219A
CN113196219A CN201980084205.3A CN201980084205A CN113196219A CN 113196219 A CN113196219 A CN 113196219A CN 201980084205 A CN201980084205 A CN 201980084205A CN 113196219 A CN113196219 A CN 113196219A
Authority
CN
China
Prior art keywords
zoom window
content
representation
rendering
zoom
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201980084205.3A
Other languages
English (en)
Inventor
J·T·福尔克纳
Y·耿
C·贝克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN113196219A publication Critical patent/CN113196219A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827—Network arrangements for conference optimisation or adaptation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1831—Tracking arrangements for later retrieval, e.g. recording contents, participants activities or behavior, network status
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/155—Conference systems involving storage of or access to video conference sessions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04805—Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种用于与渲染的环境进行交互的工具被配置为渲染真实世界环境的表示。接收指示缩放窗口要被放置在表示内的位置的第一输入数据。渲染缩放窗口，并且渲染表示的接近缩放窗口的位置的一部分的放大视图。接收指示与缩放窗口的交互的第二输入数据。渲染编辑窗格，该编辑窗格包括缩放窗口的内容的表示以及针对要被施加到内容的动作的可选选项。接收指示对可选选项中的一个的选择的第三输入数据，并且对内容执行编辑动作。

Description

交互式编辑系统
背景技术
一些计算系统提供促进两个或更多个参与者之间的通信的协作环境。提供协作环境的系统可以允许参与者在通信会话内交换实时视频、实时音频和其他形式的数据。协作环境可以采用任何合适的通信会话格式，包括但不限于私人聊天会话、多用户编辑会话、群组会议、广播等。
与协作环境的低效率交互可能不利于用户生产力和计算资源的使用。当软件应用无法优化用户参与时，如果参与者无法快速且容易地查看协作环境并且无法选择性地与渲染的内容交互，则生产损失和关于计算资源的低效率会加剧。
涉及促进用户参与的一些现有系统存在许多缺点。现有系统缺乏用于快速且容易地与会议活动交互所必要的工具。这种系统要求用户在现有查看应用上执行多个菜单驱动的任务，或调用多个其他应用，以便进一步与实时会议的方面进行交互并操纵实时会议的方面。例如，用户可能需要定格实时会议视频并调用屏幕捕获工具以便捕获渲染的环境的一部分的图像。在这期间，用户可能无法跟随当前渲染的会议并丢失会议细节。
用户可以花费大量时间搜索可用项目以选择与特定目的相关的内容。此外，用户可能需要中断会议或联系参与者以请求呈现的材料。所有这些低效可以导致计算资源的大量且不必要的消耗。
正是关于这些和其他考虑因素，才呈现了本文提出的公开内容。
发明内容
本文公开了一种改进的人机接口(“HCI”)，用于与各种环境的表示(例如，真实世界环境的三维(“3D”)，并且在一些实施例中，涉及视频会议会话的场景)进行交互。在各种实施例中，描述了一种用于通信和协作的生产力系统。特别地，描述了一种用于与利用视频和其他内容的通信环境进行交互的系统。这样的系统可以被称为交互式编辑系统。可以结合视频会议会话来提供交互式编辑系统。交互式编辑系统可以促进共享的通信环境，该共享的通信环境促进协作和其他活动。例如，交互式查看系统可以以群组控制状态呈现在每个参与者的设备上，该群组控制状态提供对查看和编辑功能的群组控制，并且提供对单个用户授予控制权的选项。渲染的环境可以包括各种查看和编辑工具的视图，在使用这些工具时，每个参与者都可以查看它们。在一些实施例中，渲染的会话可以被称为舞台画布。在实施例中，交互式编辑系统允许用户实时地查看舞台画布对话体验中的细节、保存体验的选定的部分作为捕获的事件或媒体文件和/或将该部分保存到内容仓或活动历史中以操纵、保存和共享该部分。交互式编辑系统可以与以下各项但不限于以下各项进行交互：视频、影像、3D模型、办公应用、捕获的环境/对象、注释、演示、共享的位置、笔记、表达或其他共享的活动。在一些实施例中，可以在活动舞台画布上实现对用户可见的复制的层，并且将其作为独立注释、图片或其他生产力文件类型保存。在一些实施例中，支持的动作包括转换为向量、注释或协作历史。因此，系统允许任何活动在视频会议会话之外可用。另外地，系统可以允许任何活动被记录并且在不同时间可用。
交互式编辑系统可以被配置为允许用户实时或异步地查看、操纵、保存、发送协作和对话体验的细节并与另一用户、群组、新的/替代的聊天、通道或协作对话共享协作和对话体验的细节。在一些实施例中，可以在舞台画布上移动自由浮动的缩放镜头或窗口，从而允许用户标记和保存舞台画布的部分以经由交互式编辑系统进行进一步检查和操纵。在一些实施例中，话音和手势命令可以用于控制交互式编辑系统的动作。用户可以例如与正在缩放窗口内被渲染的图像进行交互。图像可以作为屏幕片段或其他多媒体对象被保存和编辑。在一些实施例中，可以以对应的放大级别来保存和编辑图像。
用于与渲染的环境进行交互的控件可以包括提供用于编辑模式的附加控件。编辑模式还可以包括基于时间的控件、对视频和音频记录的访问、抄本和存储以及与在缩放窗口中被渲染的区域相关联的任何附加内容。
基于时间的控件可以包括提供用于与内容随时间的推移进行交互式体验的选项。例如，用户可以能够经由在实时预览中的顶层来放大和缩小对话画布、视频、内容、共享的位置或用户活动。在舞台网格中表示的本地和远程媒体可以复制到顶层，可以在其中查看和按比例调整内容，其中缩放百分比是在缩放窗口的镜头内可控的。例如，单个视频帧或活动网格可以由基于时间的控件控制，这可以允许缩放舞台的任何部分或分组的体验，以便在未来时间查看或捕获。
控件可以允许与多个用户共享体验或单独预览。内容可以包括图像的一部分或更复杂的音频/视频实时体验。另外地，内容可以包括针对正在被消费和渲染的各种内容的多个级别的活动，包括演示材料、文档、共享的站点以及可以在内容上实现的各种动作。
在一些实施例中，内容控件可以使用过滤器来自动校正媒体。例如，可以校正锐度、色彩校正、亮度、噪声、手写/绘图转换为向量或类型以及其他参数。在一些情况下，编码的视频流可能会在增加的缩放级别展现出降低的图像质量。内容控件可以实现智能过滤器，该智能过滤器检测像素分解或柔和度并自动锐化和对比图像以获得更高的保真度。
用于允许用户与表示进行手动交互的现有工具要求用户执行多个菜单驱动的任务。用户可以花费大量时间搜索可用项目以找到并改变设置、调用附加应用以执行对渲染应用而言不在本地的功能，并找到与渲染的活动的特定部分相关的内容。这可以导致大量且不必要的计算资源的消耗。
本文所描述的示例是在协作环境(例如，私人聊天会话、多用户编辑会话、群组会议、实时广播等)的上下文内提供的。出于说明性的目的，可以认识到的是，管理协作环境的计算机涉及管理其中两个或更多个计算机共享数据的通信会话的任何类型的计算机。出于说明性的目的，“事件”是通信会话的特定实例，其可以具有开始时间、结束时间以及用于控制如何向参与通信会话的用户共享和显示数据的其他参数。
本文公开的技术可以使用户能够高效地管理和编辑渲染的视图，例如，真实世界协作环境的3D表示。与先前的解决方法相比，这可以允许更高效地使用计算资源，例如，处理器周期、存储器、网络带宽和功率。还可以通过公开的主题的实现方式来实现本文未具体提及的其他技术益处。
应当认识到的是，上面简要描述和下面进一步详细描述的主题的各个方面可以被实现为硬件设备、计算机实现的方法、计算机控制的装置或设备、计算系统或制品，例如，计算机存储介质。尽管本文描述的主题是在一个或多个计算设备上执行的程序模块的一般上下文中呈现的，但本领域技术人员将认识到，可以结合其他类型的程序模块来执行其他实现方式。通常，程序模块包括例程、程序、组件、数据结构以及执行特定任务或实现特定抽象数据类型的其他类型的结构。
本领域技术人员还将认识到，本文描述的主题的方面可以在除了本文具体描述的那些计算机系统配置之外的其他计算机系统配置上或与其结合实践，这些计算机系统配置包括多处理器系统、基于微处理器的或可编程的消费者电子产品、增强现实或虚拟现实设备、视频游戏设备、手持计算机、智能电话、智能电视、自动驾驶车辆、智能手表、电子阅读器、平板计算设备、专用硬件设备、联网设备等。
根据阅读以下具体实施方式并查看相关联的附图，除了上面明确描述的那些特征和技术益处之外的特征和技术益处将是显而易见的。提供本发明内容从而以简化形式介绍一些概念，这些概念将在下面的具体实施方式中进一步描述。本发明内容不旨在标识要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定要求保护的主题的范围。
附图说明
图1是示出用于本文公开的实施例的操作环境的方面的计算系统图；
图2示出了根据本文公开的一个实施例的示例显示；
图3示出了根据本文公开的一个实施例的示例用户控件；
图4示出了根据本文公开的一个实施例的示例显示；
图5示出了根据本文公开的一个实施例的具有缩放窗口的说明性显示；
图6A示出了根据本文公开的一个实施例的具有重新定位的缩放窗口的说明性显示；
图6B示出了根据本文公开的一个实施例的具有重新定位的缩放窗口的说明性显示；
图7示出了根据本文公开的一个实施例的具有修改后的缩放窗口的说明性显示；
图8示出了根据本文公开的一个实施例的具有修改后的缩放窗口的说明性显示；
图9A示出了根据本文公开的一个实施例的具有选定的缩放窗口的说明性显示；
图9B示出了根据本文公开的一个实施例的具有选定的缩放窗口的说明性显示；
图10示出了根据本文公开的一个实施例的具有编辑窗口的说明性显示；
图11示出了根据本文公开的一个实施例的具有编辑窗口的说明性显示；
图12示出了根据本文公开的一个实施例的具有编辑窗口的说明性显示；
图13示出了根据本文公开的一个实施例的具有编辑窗口的说明性显示；
图14示出了根据本文公开的一个实施例的具有编辑窗口的说明性显示；
图15示出了根据本文公开的一个实施例的具有改变后的视图的说明性显示；
图16示出了根据本文公开的一个实施例的具有缩放窗口的说明性显示；
图17示出了根据本文公开的一个实施例的具有缩放窗口的说明性显示；
图18示出了根据本文公开的一个实施例的例程的方面；
图19示出了根据本文公开的一个实施例的例程的方面；
图20示出了根据本文公开的一个实施例的例程的方面；
图21是示出用于本文公开的技术的说明性操作环境的方面的计算系统图；
图22是示出根据本文公开的一个实施例的可以实现公开的技术的方面的设备的配置和操作的方面的计算设备图。
具体实施方式
以下具体实施方式描述了一种改进的HCI，其用于查看和编辑在环境的表示(例如，真实世界环境的3D表示)中的对象。与依赖于渲染的环境和渲染的环境内的对象的低效交互、选择和编辑的先前的解决方法相比，这可以导致更高效地使用计算资源，例如，处理器周期、存储器、网络带宽和功率。还可以通过公开的技术的实现方式来实现除了本文具体描述的那些技术益处之外的技术益处。
联网会议表示利用应用程序(例如，由加利福尼亚州圣何塞市的CISCO SYTEMS公司提供的CISCO WEBEX；由加利福尼亚州圣克拉拉市的CITRIX SYSTEMS公司提供的GOTOMEETING；由加利福尼亚州圣何塞市的ZOOM VIDEO COMMUNCATIONS提供的ZOOM；由加利福尼亚州山景城市的ALPHABET公司提供的GOOGLE HANGOUTS；由华盛顿州雷德蒙德市的MICROSOFT CORPORATION提供的SKYPE、SKYPE FOR BUSINESS和TEAMS)的一种流行的电子协作形式，以促进存在于单独物理位置处的两个或更多个参与者之间的通信。联网会议中的通信会话的参与者能够交换实时视频、音频和其他类型的内容，以查看、收听和以其他方式共享信息。参与者还可以查看可以通过其交换想法的公共空间，例如，白板或共享的应用。可以利用视频和音频会议、即时消息传送会话或其任何组合来补充对公共空间的查看，使得联网会议可以用作面对面会议的近似替代品。
可以利用各种类型的计算设备来参与联网会议，这些计算设备包括但不限于：智能电话、平板计算设备、机顶盒、智能电视、视频游戏系统以及AR、VR和MR设备。
虽然会议参与者可以查看真实世界环境(例如，会议空间)，但是与渲染的环境进行交互的能力已经被限制。因此，无论馈送的质量和保真度如何，远程参与者典型地必须勉强接受由渲染应用提供的图像和视频馈送。此外，参与者典型地必须使用离线资源来补充他们对会议材料的访问，例如，请求所呈现的文档和文件的副本、请求会议参与者为感兴趣项目拍照等。公开的HCI解决了上面阐述的技术考虑因素以及潜在的其他技术考虑因素，由此为实现公开的技术的计算系统提供了技术益处。
在各种实施例中，公开了一种可以与诸如联网会议之类的协作活动结合使用的查看和编辑系统。这样的系统在本文中也可以被称为工具，但是不应被解释为具有与系统不同或更少的功能。在一个实施例中，查看和编辑工具包括在实时会议的表示上渲染的窗口或镜头。窗口或镜头可以移动到表示的任何部分，并且可以被进一步调整大小和/或缩放以对接近窗口或镜头的区域进行缩放。在一些实施例中，可以基于旋转输入手势或横向滚动手势来旋转或平移缩放窗口/镜头。可以实现附加功能，以使用户能够更好地与这种特征交互。例如，在一些实施例中，可以改变窗口或镜头的边界的厚度或其他属性以指示缩放量。
在一些实施例中，可以捕获、保存和编辑窗口或镜头的内容。在一些实施例中，可以基于窗口内容的上下文、当前的会议状态和活动以及用户的角色来确定用于进一步动作的选项。用于进一步动作的选项可以包括例如将内容发送到参与者或其他接收者。
查看和编辑工具可以包括促进用户与内容的交互以及与渲染的活动的其他参与者的交互的能力。在实时视频流的上下文中，用户可以与视频流本身进行交互，例如，与视频流的帧进行交互。另外地，查看和编辑工具可以提供与视频流的所描绘的内容(例如，所呈现的文档和文件)进行交互的能力。查看和编辑工具还可以提供与视频流中所描绘的环境的方面进行交互的能力，例如，在视频流中所描绘的设备或能够向视频流提供输入的设备。实现的用户交互可以包括更新内容、共享内容以及经由内容与其他参与者进行交互。
在一些实施例中，所描绘的环境(例如，会议)可以被表示为对象，该对象可以被发送到可以访问与对象进行交互的会议的用户。例如，接收者可以能够点击对象以加入会议或查看关于会议的细节。
在一些实施例中，查看和编辑工具可以促进对正在被渲染的对象或其他内容以及对象或内容的源的检测。对象可以是可以由用户标识、搜索、访问、下载和编辑的文档。例如，当前被渲染的Powerpoint演示的幻灯片可以用于标识演示的源文件。在另一示例中，如果被渲染的对象是诸如电子白板之类的设备，则可以标识该设备，并且可以向用户提供选项(如果被授权控制或提供对设备的输入)，例如，向白板输入注释。在其他实施例中，可以实例化并渲染虚拟白板，该虚拟白板可以由参与者经由查看和编辑工具来编辑。如果设备是相机，则可以向用户提供改变相机的焦点或改变相机的其他参数的能力。查看和编辑工具可以连续地标识作为渲染的环境的一部分的内容的原始源数据。这允许用户快速访问原始内容，而不是查看内容的图像并搜索该内容作为单独任务。因此，查看和编辑工具提供了内容的集中视图，其上下文在通信会话的过程期间可用于该群组。
在一些实施例中，当多个视频源可用时，查看和编辑工具可以基于缩放窗口在渲染的环境内的位置来确定哪个视频源可以提供最佳保真度。例如，用于主要视频馈送的主视频馈送可能没有最高的可用分辨率。当用户选择缩放窗口的位置时，可以使用更高分辨率的图像源(如果可用)来提供对选定的区域的更高保真度的缩放。
在一些实施例中，诸如会议之类的活动的捕获的图像可以被链接到时间窗口。例如，被选择用于编辑的图像可以与例如30秒的默认时间窗口相关联。查看和编辑工具可以提供时间线工具，以遍历活动发生且其记录可用的持续时间的时间范围。以这种方式，用户可以从缩放窗口的视角查看活动的各种时间，并且还可以向用户提供在可用时间范围上的各种编辑选项。
在一些实施例中，由用户在编辑/查看会话期间激活的动作和特征可以被记录并且可以由用户重放。
在一些实施例中，可以基于在房间中检测到的活动来动态地更新查看和编辑工具可用的动作。例如，如果在渲染的环境内的显示器上渲染演示，则查看和编辑工具可以更新用户选项以包括可用于访问和编辑显示器和/或演示源的动作。
在一些实施例中，查看和编辑工具可用的动作可以基于针对用户的指派的角色。例如，一些用户可能被指派有制作人角色，并且可能被允许在网络上共享内容之前编辑内容。其他用户可能具有参与者角色或群组角色，并且可能被允许控制他们自己的设置或共同控制针对该群组的设置。
现在转向附图(其在本文中可以被称为“图(FIG.)”或“图(FIGS.)”)，将参考附图提供关于本文公开的改进的HCI的附加细节。通过说明的方式，这些图示出了特定的配置或示例。在所有图中，相同的附图标记表示相同或相似的元件。在图中，附图标记的最左边的数字标识该附图标记首次出现的附图。对多个项目中的个体项目的引用可以使用括号内包括的另一数字(和/或不带括号的字母)的附图标记来引用每个个体项目。对项目的通用引用可以使用不带字母序列的特定附图标记。附图未按比例绘制。
图1示出了示例场景，其涉及与用于与诸如协作环境之类的渲染的环境进行交互的工具相关联的系统100。渲染的环境可以包括工作空间120，该工作空间120可以是办公室、会议室、礼堂或被配置为允许个人聚会和协作的其他空间。工作空间120可以包括相机111A和111B。环境可以包括诸如智能信标131之类的其他设备。其他输入源(图1中未示出)可以包括传感器和其他设备。在一些实施例中，计算设备121可以从相机111A、111B和111C和麦克风(图1中未示出)以及其他输入设备接收数据，并且将收集到的数据作为输入数据107发送到协作服务器101。
协作服务器101可以处理输入数据107，并将交互式数据106发送到一个或多个用户设备，例如，膝上型计算机102和VR设备103。交互式数据106可以包括可操作以渲染交互式显示器150的数据，该交互式显示器150可以包括工作空间120的表示。交互式数据106可以包括任何图像、文档、视频数据、音频数据或可以用作用于渲染工作空间120的表示和如相机111A和111B捕获的在工作空间120内发生的活动的数据的任何其他信息。交互式数据106还可以包括其他形式的数据，例如，会议请求，其可以标识出席者的数量、与每个出席者相关联的称谓以及其他相关信息。交互式数据106还可以指示事件的参数，例如，开始时间、结束时间和位置。例如，交互式数据106可以包括会议信息，该会议信息指示出席者列表、每个出席者的角色、日期、时间和位置。
交互式数据106可以包括传达针对与协作环境相关的参数或设置的查看和编辑偏好的任何信息。例如，交互式数据106可以定义已经由特定用户利用的用户接口配置、音量水平、相机角度或其他参数。交互式数据106还可以包括历史信息。例如，交互式数据106可以包括会议列表、每个会议的出席者以及在每个会议中使用的UI布局。
输入数据107可以包括对计算设备121可用的硬件的描述。例如，输入数据107可以描述各种输入设备、传感器、灯、麦克风、声音抑制设备和对计算设备121可用的其他硬件的方面。输入数据107还可以描述显示屏的规格或与系统100通信的计算机的规格。
输入数据107还可以描述可用硬件的规格，例如但不限于：灵敏度水平、缩放水平等。输入数据107还可以描述每个设备的位置和每个设备的范围。例如，输入数据107可以描述特定相机的地点、位置和查看区域，例如，相机可以捕获特定讲台处、舞台上的扬声器等。在另一示例中，输入数据107可以标识房间麦克风的位置以及定义麦克风的范围的坐标。在该示例中，输入数据107指示两个相机111(111A-111B)的可用性。交互式显示器150可以使用设备列表来提供编辑和查看选项，如本文进一步所描述的。输入数据107还可以指示第一相机111A被定向朝向第一区域，并且第二相机111B被定向朝向第二区域。
图2是示出根据本文公开的一个实施例的示例UI 201的方面的UI图，该示例UI201实现与真实世界环境202的3D表示的计算上高效的交互。UI 201可以对应于在图1的交互式显示器150上被渲染的UI。如上面简要讨论的，可以与提供用于举行联网会议的功能的应用程序结合利用本文公开的技术。由这样的应用呈现的UI 201在图2-17中示出，并在下面描述。
UI 201可以包括由例如图1的计算设备102或VR设备103生成的真实世界环境202的渲染。以这种方式，计算设备102的用户可以看到真实世界环境202的视图以及白板210、显示器200和参与者230。还可以呈现允许与UI 201进行交互的控制接口220。
控制接口220的更多细节在图3中示出。在一个实施例中，控制接口220可以包括具有可选选项310的圆轮。在一个示例中，可选选项300可以被配置为导致缩放窗口在UI 201中的放置。虽然所示的控制接口220在该示例中被示出为圆轮，但可以将接口实现为各种形式，例如，矩形的选项列表、下拉菜单和其他形式。
用户可以利用鼠标输入、触摸输入或其他类型的输入来与UI 201进行交互。在图4中示出的示例中，例如，用户已经将鼠标光标221移动到UI控件220上，以便发起如图5中示出的缩放窗口500的放置。当用户使用鼠标按钮完成选择动作时，在UI 201上在指定位置处、在先前位置处或在默认位置中渲染缩放窗口500。在图5中，缩放窗口500被示为接近显示器200，并且缩放窗口500被示为渲染显示器200的底部部分的缩放的细节。在一些实施例中，缩放窗口500可以包括多个选择性环或区域501、502和503，其可以各自与功能或动作相关联。例如，环501可以与重新定位功能相关联，环502可以与调整大小功能相关联，并且环503可以与附加的菜单选项相关联。
在图6A中示出的实施例中，用户可以轻击并拖动缩放窗口500的外环(或与该功能相关联的其他环)并移动缩放窗口500的位置。在一些实施例中，缩放窗口500可以包括多个选择性环或区域501、502和503，其可以各自与功能或动作相关联。例如，环501可以与重新定位功能相关联，环502可以与调整大小功能相关联，并且环503可以与附加的菜单选项相关联。在一个实施例中，在缩放窗口500被重新定位时，在缩放窗口500内的内容的缩放比例可以保持不变。如图6A中示出的，缩放窗口500已经被重新定位到显示器200的右侧，并且缩放窗口500的内容现在正在渲染正在显示器200上被渲染的当前内容的文本部分。可用的成像数据(例如，其来自可用作图像源的相机)可以用于在缩放窗口500被重新定位时为该缩放窗口500内的内容提供尽可能高的保真度。例如，如果渲染的环境201通常设置有位于渲染的环境内的各种位置的多个相机源，则在改变缩放窗口500的位置时，缩放窗口500的内容可以使用不同的相机源以提供最佳的可用保真度。
在一些实施例中，用户可以平移在缩放窗口500内的内容，而无需调整窗口的大小或改变缩放比例。在图6B中示出的实施例中，用户可以通过触摸缩放窗口500内的区域并沿选定的方向滑动用户的手指来输入平移手势。如图6B中示出的，用户已经朝向显示器200的右侧平移。在一些实施例中，用户可以旋转在缩放窗口500内的内容而无需调整窗口的大小或改变缩放比例。在图6B中示出的实施例中，用户可以通过触摸缩放窗口500内的区域以在选定的旋转方向上旋转用户的手指来输入旋转手势。可用的成像数据(例如，其来自可用作针对渲染的环境的图像源的相机)可以用于为缩放窗口500内的平移的内容提供尽可能高的保真度。例如，如果渲染的环境201通常设置有1K的相机源，但是4K的相机是可用的，则缩放窗口500的内容可以使用4K的相机源来在平移缩放窗口500的内容时提供更多的清晰度。
在一些实施例中，用户可以改变在缩放窗口500内的缩放比例因子，而无需调整窗口的大小。在图7中示出的实施例中，用户可以通过在两个点700处触摸缩放窗口500并改变两个点700之间的距离来输入捏合手势，以改变缩放窗口500内的缩放比例因子。在一个实施例中，缩放窗口500的大小可以在改变缩放窗口500内的缩放比例时保持不变。可用的成像数据(例如，其来自可用作针对渲染的环境的图像源的相机)可以用于为缩放窗口500内的放大内容提供尽可能高的保真度。例如，如果渲染的环境201通常设置有1K的相机源，但是4K的相机是可用的，则缩放窗口500的内容可以使用4K的相机源来在放大缩放窗口500的内容时提供更多的清晰度。
如图8中示出的，两个点700之间的距离已经增加，并且缩放窗口500内的缩放比例因子已经增加，而缩放窗口500的大小保持不变。
在图9A中示出的实施例中，用户可以通过例如在内环900处触摸缩放窗口500并改变缩放窗口500的大小来输入触摸手势。在一个实施例中，用户可以在触摸环900之后向外或向内扩展以调整窗口的大小。如图9B中示出的，用户已经放大了缩放窗口500的大小。因此，缩放窗口500显示了更多的缩放的内容，而无需改变缩放比例。在其他实施例中，用户可以使用其他输入动作来调整窗口的大小。例如，缩放窗口500可以具有用户可以选择并扩展以调整窗口的大小的调整大小锚定点。在一个实施例中，在调整缩放窗口500的大小时，缩放窗口500内的内容的缩放比例可以保持不变。可用的成像数据(例如，其来自可用作图像源的相机)可以用于在调整缩放窗口500的大小时为该缩放窗口500内的内容提供尽可能高的保真度。例如，如果渲染的环境201通常设置有位于渲染的环境内的各种位置的多个相机源，则在改变缩放窗口500的大小时，缩放窗口500的内容可以使用不同的相机源以提供最佳的可用保真度。
还可以提供附加控件。例如，如图10中示出的，UI 201还可以包括UI编辑窗口1000，以控制联网会议的方面，例如但不限于：发起或结束联网会议、与联网会议中的其他参与者共享内容、改变捕获设备以及选择和编辑在联网会议上呈现的内容。在其他实施例中，可以在编辑窗口1000上提供其他UI控件。
还如图10中示出的，编辑窗口1000还可以包括用于执行与联网会议相关的其他任务的UI控件。例如但不限于，UI编辑窗口1000可以提供用于进行以下操作的功能：显示通知、显示用户列表和相关联的聊天会话、显示可用的用户群组或团队、显示在一天或其他时间段期间的会议以及显示任何近期共享或使用的文件。在其他实施例中，可以提供用于执行其他类型功能的其他UI控件。在图10中示出的示例中，UI控制窗口1000在内容仓(content bin)1002内包括两个缩放细节，其中一个缩放细节示出了图3至图9B的缩放窗口500的内容，其由缩放细节1指示。在该示例中，缩放细节2描绘了参与者230的图像。在实施例中，用户可以用笔记对捕获图像进行注释。用户还可以将捕获的图像发送到一个或多个接收者。
如图11中示出的，UI 1000可以被扩展以提供用于执行与渲染的联网会议相关的其他任务的附加的UI控件。例如，如图11中示出的，可以扩展UI编辑窗口1000，并且除了内容仓1002的两个缩放细节之外，UI编辑窗口1000还提供了附加的缩放细节1101，在该示例中，附加的缩放细节1101示出了内容仓1002的缩放细节2的更多细节。在一个实施例中，用户可以将内容标记为视频或静止图像。编辑窗口1000可以提供对各种过滤器效果和其他菜单工具的访问。例如，编辑窗口1000可以允许用户通过选择文件类型、锐化图像、改变色彩平衡、改变亮度和向量化图像等来对选定的图像进行进一步的改变。在实施例中，可以向用户提供时间线1110，以从以缩放细节1101渲染的捕获的内容的当前时间向前和向后移动。例如，图像可以与例如30秒的默认时间窗口相关联。用于编辑窗口1000的时间线1110可以提供遍历活动发生且被记录的时间范围的选项。以这种方式，用户可以从缩放窗口500的视角查看活动的各种时间，并且还可以向用户提供在时间范围上的各种编辑选项。在一些实施例中，时间窗口可以与智能抄本、聊天历史和记录同步。在任何特定的时间戳处，可以向用户提供与该时间戳相关联的其他活动。
参考图12，查看和编辑工具1000可以促进对内容源或正在被渲染的对象的检测。在一个示例中，用户可以选择缩放细节1的内容。源对象可以是可以由用户标识、搜索、访问和下载的文档。例如，显示器200上当前被渲染的幻灯片可以用于标识基础演示的源文件。如源信息窗口1210中示出的，示出了源文档的信息。如果用户希望编辑并操纵当前被渲染的图像而不是源文档，则还可以向用户提供使用屏幕上的内容的选项。还可以向用户提供搜索附加或相关内容的选项。如图13中示出的，如果用户选择源文档(在该示例中为Group/Meetings/presentation.ppt)，则内容仓1002提供可用于源文档的附加选项，例如，打开文档、发送文档和保存文档。
参考图14，查看和编辑工具1000可以促进与UI 201中描绘的设备的远程交互。在一个示例中，用户可以选择白板对象210。可以标识该设备，并且可以向用户提供选项(如果被授权控制或提供对设备的输入)以执行操作，例如，向白板输入注释。在一些实施例中，虚拟白板或白板应用可以被实例化和渲染，这可以由参与者经由查看和编辑工具1000进行编辑。如果设备是相机，则可以向用户提供改变相机的焦点或相机的其他参数的能力。如内容仓1002窗口中示出的，示出了源信息，其包括白板设备以及在白板设备上被渲染的内容。在一些实施例中，还可以向用户提供选项以编辑屏幕上的白板内容。如图14中示出的，内容仓1002提供了附加选项，例如，控制白板和/或编辑白板上的图像或独立于当前在白板内被渲染的内容来编辑白板图像。
在一些实施例中，编辑工具1000可以促进附加的群组和会议的形成。例如，多个参与者可以形成分组会议来讨论特定主题，然后重新加入更大的群组。
参考图15，当多个视频源可用时，查看和编辑工具1000可以允许选择渲染的环境的不同视角。例如，用户可以能够查看和选择用于视频馈送的相机(例如，图1的相机111A或11IB)。如果用户正在使用缩放窗口，则缩放窗口可以在视角改变时自动且持久地被定位到相同区域。如在图15的示例中示出的，用户可以选择中央相机或两个侧边相机中的一个。另外地，用户可以在其自己的计算设备上使用诸如相机之类的配套设备作为输入成像设备。
查看和编辑工具1000可以被配置为分别选择和编辑渲染的会话的音频部分。
参考图16和图17，缩放窗口500被示为定位在参与者230附近。在参与者230如图17中示出的在渲染的环境内移动时，在一个实施例中，缩放窗口500可以随着参与者在渲染的空间内移动而移动。例如，如果缩放窗口500被放置在接近在会议期间移动的参与者，则移动窗口500可以移动。在一些实施例中，即使用户改变视角视图，缩放窗口500的视角也可以保持恒定。例如，在该示例中，如果用户选择导致从不同角度渲染环境的不同相机视图，则可以定位缩放窗口500以便继续提供参与者230的放大视图。在一些实施例中，即使当渲染的环境的视角改变时，也可以标记环境中的焦点并且缩放窗口可以保持在当前位置。这允许被标记的活动被用户持续地跟随。
本文公开的技术可以使用户能够基于用户手势与真实世界环境的3D表示进行交互并控制真实世界环境的3D表示。在一些实施例中，基于输入手势的时序和方向，计算设备可以确定缩放窗口500的位置和定向。例如，第一类型的用户手势可以包括对按钮的短击，例如，按住鼠标按钮的时间少于阈值时间段。第二类型的用户手势可以包括按下并保持动作，例如，按住鼠标按钮的时间超过阈值时间段。基于检测到的手势，可以允许用户在缩放窗口500上执行不同的动作，例如，调整大小、重新定位和改变放大率。
尽管上面描述的示例涉及具有按钮的输入设备(例如，鼠标)，但是可以认识到的是，本文公开的技术可以利用任何其他合适的输入设备。例如，本文公开的技术可以利用具有触摸屏的计算设备。在这样的实现方式中，一旦用户首先选择UI控件220以放置缩放窗口500，用户就可以在触摸屏上追踪手指或笔，从而允许计算设备监视移动的方向。当用户执行输入动作(例如，用户从触摸表面抬起他或她的手指或笔或者提供话音命令)时，计算设备可以基于触摸屏与手指或笔之间的接触点的位置来确定位置。虚拟对象的位置可以位于用户抬起他或她的手指或笔的点的位置，并且对象的定向可以基于输入动作之前的移动的方向。
图18是示出根据本文公开的一个实施例的用于与渲染的环境进行交互的例程1800的方面的图。本领域普通技术人员应该理解，本文公开的方法的操作不一定以任何特定次序呈现，并且以替代次序执行操作中的一些或所有操作是可能的并且是被设想到的。为了便于描述和说明，已经以展示的次序呈现了操作。在不脱离所附权利要求书的范围的情况下，可以添加、省略、一起执行和/或同时执行操作。
还应该理解，所示方法可以在任何时间结束，并且不需要以其整体执行。如本文所定义的，可以通过执行计算机存储介质上包括的计算机可读指令来执行方法的一些或全部操作和/或实质上等同的操作。在说明书和权利要求书中使用的术语“计算机可读指令”及其变型在本文中被广泛地使用，以包括例程、应用、应用模块、程序模块、程序、组件、数据结构、算法等。可以在各种系统配置上实现计算机可读指令，这些系统配置包括单处理器或多处理器系统、小型计算机、大型计算机、个人计算机、手持计算设备、基于微处理器的可编程消费者电子产品、其组合等。
因此，应当认识到的是，本文所描述的逻辑操作被实现为：(1)在诸如本文所描述的那些计算系统之类的计算系统上运行的计算机实现的动作或程序模块的序列；和/或(2)在计算系统内的互连机器逻辑电路或电路模块。该实现方式是取决于计算系统的性能和其他要求的选择问题。因此，逻辑操作可以以软件、固件、专用数字逻辑单元及其任何组合来实现。
另外地，可以与上面关于图1至图17所描述的示例呈现GUI相关联地实现在图18和其他附图中示出的操作。例如，本文描述的各种设备和/或模块可以生成、发送、接收和/或显示与通信会话的内容(例如，实时内容、记录的内容等)相关联的数据和/或呈现GUI，其包括一个或多个参与者30(例如，用户230)的图像、化身、通道、聊天会话、视频流、图像、虚拟对象和/或与通信会话相关联的应用。
参考图18，操作1801示出了在用户接口(UI)上渲染环境的表示，该环境指示在多个用户之间的交互式通信会话。操作1801之后可以是操作1803。操作1803示出了接收指示缩放窗口要被放置在环境的表示内的位置的输入数据。操作1803之后可以是操作1805。操作1805示出了响应于输入数据，在UI上在表示内的位置处渲染缩放窗口，该缩放窗口的大小是基于一个或多个标准被确定的，并且具有可用于接收用户输入的多个可选区域。在实施例中，缩放窗口的大小是基于一个或多个标准被确定的。操作1805之后可以是操作1807。操作1807示出了在缩放窗口内渲染表示的接近缩放窗口的位置的一部分的放大视图。在实施例中，缩放窗口被配置为响应于经由缩放窗口接收到的指示改变表示的一部分的输入来平移放大视图。操作1807之后可以是操作1809。操作1809示出了接收指示被施加到缩放窗口的第一手势的输入数据。在实施例中，第一手势指示缩放窗口在表示内的新位置。操作1809之后可以是操作1811。操作1811示出了响应于第一手势而在UI上将缩放窗口重新定位到新位置处。在实施例中，在重新定位期间维持缩放窗口的大小。操作1811之后可以是操作1813。操作1813示出了在缩放窗口内渲染表示的接近缩放窗口的新位置的一部分的放大视图。在实施例中，缩放窗口可移动到表示的任何渲染的部分。
图19是示出根据本文公开的一个实施例的用于与渲染的环境进行交互的例程1900的方面的图。参考图19，操作1901示出了在用户接口(UI)上渲染环境的表示，该环境指示在多个用户之间的交互式通信会话。操作1901之后可以是操作1903。操作1903示出了接收指示缩放窗口要被放置在表示内的位置的输入数据。操作1903之后可以是操作1905。操作1905示出了响应于输入数据，在UI上在表示内的位置处渲染缩放窗口。在实施例中，缩放窗口的大小是基于一个或多个标准被确定的。操作1905之后可以是操作1907。操作1907示出了在缩放窗口内渲染表示的接近缩放窗口的位置的一部分的放大视图。操作1907之后可以是操作1909。操作1909示出了接收指示被施加到缩放窗口的第一手势的输入数据。在实施例中，第一手势指示调整缩放窗口的大小。操作1909之后可以是操作1911。操作1911示出了响应于第一手势，在UI上根据第一手势调整缩放窗口的大小，其中，在调整缩放窗口的大小时维持在缩放窗口内的放大视图的比例。操作1911之后可以是操作1913。操作1913示出了接收指示被施加到缩放窗口的第二手势的输入数据，该第二手势指示改变在缩放窗口内的内容的缩放比例。操作1913之后可以是操作1915。操作1915示出了响应于第二手势，在UI上根据第二手势更新表示的接近缩放窗口的位置的一部分的放大视图。在实施例中，在更新放大视图时维持缩放窗口的大小。操作1915之后可以是操作1917。操作1917示出了标识在缩放窗口内被渲染的内容的源文件或文档。操作1917之后可以是操作1919。操作1919示出了允许在交互式通信会话期间访问源文件或文档。操作1919之后可以是操作1921。操作1921示出了标识在表示中被渲染的新内容的附加的源文件或文档。
图20是示出根据本文公开的一个实施例的用于与渲染的环境进行交互的例程2000的方面的图。参考图20，操作2001示出了在用户接口(UI)上渲染环境的同期表示，该环境指示在多个用户之间的交互式通信会话。操作2001之后可以是操作2003。操作2003示出了接收指示缩放窗口要被放置在表示内的位置的第一输入数据。操作2003之后可以是操作2005。操作2005示出了响应于第一输入数据，在UI上在表示内的位置处渲染缩放窗口。操作2005之后可以是操作2007。操作2007示出了在缩放窗口内渲染表示的接近缩放窗口的位置的一部分的放大视图。操作2007之后可以是操作2009。操作2009示出了接收指示与缩放窗口的交互的第二输入数据。操作2009之后可以是操作2011。操作2011示出了响应于交互，在UI上渲染编辑窗格。在实施例中，编辑窗格包括缩放窗口的内容的表示。另外地，编辑窗格包括针对要被施加到内容的动作的一个或多个可选选项。操作2011之后可以是操作2013。操作2013示出了接收指示对可选选项中的一个的选择的第三输入数据。操作2013之后可以是操作2015。操作2015示出了响应于选择，对内容执行编辑动作。在实施例中，编辑窗格被配置为发送指示动作的数据。该数据可以可用于向交互式通信会话渲染动作的共享的且同期更新的视图。
应当认识到的是，上面描述的主题可以被实现为计算机控制的装置、计算机过程、计算系统，或者被实现为诸如计算机可读存储介质之类的制品。示例方法的操作在单独的框中示出，并且参考那些框进行总结。方法被示出为框的逻辑流，这些框中的每个框可以表示可以以硬件、软件或其组合来实现的一个或多个操作。在软件的上下文中，这些操作表示存储在一个或多个计算机可读介质上的计算机可执行指令，这些计算机可执行指令在由一个或多个处理器执行时使得一个或多个处理器能够执行所引述的操作。
通常，计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、模块、组件、数据结构等。描述操作的次序不旨在被解释为限制，并且任何数量的所描述的操作可以以任何次序执行、以任何次序组合、被细分为多个子操作和/或并行执行，以实现所描述的过程。所描述的过程可以由与一个或多个设备(例如，一个或多个内部或外部CPU或GPU)和/或一个或多个硬件逻辑单元(例如，现场可编程门阵列(“FPGA”)、数字信号处理器(“DSP”)或其他类型的加速器)相关联的资源执行。
上面描述的所有方法和过程都可以体现在由一个或多个通用计算机或处理器执行的软件代码模块中，并经由该软件代码模块实现全自动。可以将代码模块存储在任何类型的计算机可读存储介质或其他计算机存储设备中，如下面描述的。方法中的一些或全部可以可替代地体现在专用计算机硬件中，如下面所描述的。
本文描述的和/或在附图中描绘的流程图中的任何常规描述、元素或框应该被理解为潜在地表示模块、片段或代码的部分，其包括用于实现例程中的特定逻辑功能或元素的一个或多个可执行指令。替代实现方式被包括在本文描述的示例的范围内，其中，取决于如本领域技术人员理解的所涉及的功能，可以从所示或所讨论的那些元素或功能中删除元素或功能或以不同的次序执行元素或功能，包括实质上同步或以相反的次序执行。
图21是示出了示例环境2100的图，其中系统2102可以操作以利用图像108、虚拟对象216和/或其他类型的呈现内容来填充本文公开的HCI。在一些实现方式中，系统实现的代理可以用于收集和/或分析与示例环境2100相关联的数据。例如，代理可以用于收集和/或分析在链接到本文公开的GUI的通信会话2104中涉及的参与者之间交换的数据。
如所示的，可以在与系统2102相关联或作为系统2102的一部分的多个客户端计算设备2106(1)至2106(N)(其中，N是值大于2或更大的正整数)之间实现通信会话2104。客户端计算设备2106(1)至2106(N)使用户(也称为个人)参与通信会话2104。
在该示例中，通信会话2104由系统2102托管在一个或多个网络2108上。即，系统2102可以提供使客户端计算设备2106(1)至2106(N)的用户能够(例如，经由实时查看和/或记录的查看)参与通信会话2104的服务。因此，通信会话2104的“参与者”可以包括用户和/或客户端计算设备(例如，多个用户可以在通信室中经由使用单个客户端计算设备参与通信会话)，用户和/或客户端计算设备中的每一个可以与其他参与者进行通信。作为替代方案，通信会话2104可以利用对等技术由客户端计算设备2106(1)至21069(N)中的一个托管。系统2102还可以托管聊天对话和其他团队协作功能(例如，作为应用套件的一部分)。
在一些实现方式中，这样的聊天对话和其他团队协作功能被认为是不同于通信会话2104的外部通信会话。在通信会话2104中收集参与者数据的计算机化代理可以能够链接到这样的外部通信会话。因此，计算机化代理可以接收诸如日期、时间、会话细节等之类的信息，该信息使得能够连接到这种外部通信会话。在一个示例中，可以根据通信会话2104来进行聊天对话。另外地，系统2102可以托管通信会话2104，该通信会话2104至少包括共同位于会议地点(例如，会议室或礼堂)或位于不同位置的多个参与者。
在本文描述的示例中，参与通信会话2104的客户端计算设备2106(1)至2106(N)被配置为接收并渲染通信数据以在显示屏的用户接口上显示。通信数据可以包括实时内容和/或记录的内容的各种实例或流的集合。实时内容和/或记录的内容的各种实例或流的集合可以由一个或多个相机(例如摄像机)提供。例如，实时内容或记录的内容的单个流可以包括与由摄像机提供的视频馈送相关联的媒体数据(例如，捕获参与通信会话的用户的外观和语音的音频和视觉数据)。在一些实现方式中，视频馈送可以包括这种音频和视觉数据、一个或多个静止图像和/或一个或多个化身。一个或多个静止图像还可以包括一个或多个化身。
实时内容或记录的内容的单个流的另一示例可以包括媒体数据，该媒体数据包括参与通信会话的用户的化身以及捕获用户的语音的音频数据。实时内容或记录的内容的单个流的又一示例可以包括媒体数据，该媒体数据包括在显示屏上显示的文件以及捕获用户的语音的音频数据。因此，通信数据内的实时内容或记录的内容的各种流实现要在一群人之间促进的远程会议以及在一群人内共享内容。在一些实现方式中，通信数据内的实时内容或记录的内容的各种流可以源自被定位在诸如房间之类的空间中的多个共同定位的摄像机，以记录或实时流送包括一个或多个个体呈现以及一个或多个个体消费呈现的内容的呈现。
参与者或出席者可以在活动发生时实时查看通信会话2104的内容，或者可替代地在活动发生后的稍后时间经由记录查看。在本文描述的示例中，参与通信会话2104的客户端计算设备2106(1)至2106(N)被配置为接收并渲染通信数据以在显示屏的用户接口上显示。通信数据可以包括实时内容和/或记录的内容的各种实例或流的集合。例如，内容的单个流可以包括与视频馈送相关联的媒体数据(例如，捕获参与通信会话的用户的外观和语音的音频和视觉数据)。内容的单个流的另一示例可以包括媒体数据，该媒体数据包括参与会议会话的用户的化身以及捕获用户的语音的音频数据。内容的单个流的又一示例可以包括媒体数据，该媒体数据包括在显示屏上显示的内容项目以及捕获用户的语音的音频数据。因此，在通信数据内的内容的各种流使得能够在跨远程位置分散的一群人之间促进会议或广播呈现。
通信会话的参与者或出席者是在相机或其他图像和/或音频捕获设备范围内的人，使得可以捕获(例如，记录)当该人正在查看和/或收听经由通信会话共享的内容时产生的该人的动作和/或声音。例如，参与者可能坐在人群中，查看舞台呈现发生的广播位置处的共享的实时内容。或者，参与者可能坐在办公室会议室中，经由显示屏查看与其他同事的通信会话的共享的内容。甚至更进一步，参与者可能坐在或站在个人设备(例如，平板计算机、智能电话、计算机等)的前面，独自在他们的办公室或在家中查看通信会话的共享的内容。
系统2102包括(多个)设备2110。(多个)设备2110和/或系统2102的其他组件可以包括彼此通信和/或经由一个或多个网络2108与客户端计算设备2106(1)至2106(N)通信的分布式计算资源。在一些示例中，系统2102可以是负责管理一个或多个通信会话(例如，通信会话2104)的方面的独立系统。作为示例，系统2102可以由诸如SLACK、WEBEX、GOTOMEETING、GOOGLE HANGOUTS等之类的实体管理。
(多个)网络2108可以包括例如公共网络(例如，互联网)、私有网络(例如，机构和/或个人内联网)或私有网络和公共网络的某种组合。(多个)网络2108还可以包括任何类型的有线和/或无线网络，包括但不限于局域网(“LAN”)、广域网(“WAN”)、卫星网络、电缆网络、Wi-Fi网络、WiMax网络、移动通信网络(例如，3G、4G等)或其任何组合。(多个)网络2108可以利用通信协议，包括基于分组和/或基于数据报的协议，例如，互联网协议(“IP”)、传输控制协议(“TCP”)、用户数据报协议(“UDP”)或其他类型的协议。此外，(多个)网络2108还可以包括促进网络通信和/或形成网络硬件基础的多个设备，例如，交换机、路由器、网关、接入点、防火墙、基站、中继器、骨干设备，等等。
在一些示例中，(多个)网络2108还可以包括使得能够连接到无线网络的设备，例如，无线接入点(“WAP”)。示例支持通过在各种电磁频率(例如，射频)上发送和接收数据的WAP(包括支持电气和电子工程师协会(IEEE)802.21标准(例如，802.21g、802.21n、802.21ac等)和其他标准的WAP)的连通性。
在各种示例中，(多个)设备2110可以包括以群集或其他分组配置进行操作以共享资源、平衡负载、提高性能、提供故障转移支持或冗余或用于其他目的的一个或多个计算设备。例如，(多个)设备2110可以属于各种类别的设备，例如，传统的服务器类型的设备、台式计算机类型的设备和/或移动类型的设备。因此，尽管(多个)设备2110被示为单一类型的设备或服务器类型的设备，但是(多个)设备2110可以包括各种各样的设备类型，并且不限于特定类型的设备。(多个)设备2110可以表示但不限于服务器计算机、台式计算机、web服务器计算机、个人计算机、移动计算机、膝上型计算机、平板计算机或任何其他种类的计算设备。
客户端计算设备(例如，客户端计算设备2106(1)至2106(N)中的一个)可以属于各种类别的设备，其可以与(多个)设备2110相同或不同，例如，传统的服务器类型的设备、台式计算机类型的设备、移动类型的设备、专用类型的设备、嵌入式类型的设备和/或可穿戴类型的设备。因此，客户端计算设备可以包括但不限于台式计算机、游戏控制台和/或游戏设备、平板计算机、个人数据助理(“PDA”)、移动电话/平板计算机混合设备、膝上型计算机、电信设备、计算机导航类型的客户端计算设备(例如，基于卫星的导航系统，包括全球定位系统(“GPS”)设备)、可穿戴设备、虚拟现实(“VR”)设备、增强现实(“AR”)设备、植入计算设备、汽车计算机、支持网络的电视、瘦客户机、终端、物联网(“IoT”)设备、工作站、媒体播放器、个人视频记录器(“PVR”)、机顶盒、相机、用于包括在计算设备中的集成组件(例如，外围设备)、家用电器或任何其他种类的计算设备。此外，客户端计算设备可以包括客户端计算设备的较早列出的示例的组合，例如，台式计算机类型的设备或移动类型的设备与可穿戴设备等的组合。
各种类别和设备类型的客户端计算设备2106(1)至2106(N)可以表示具有(例如，经由总线2116)可操作地连接到计算机可读介质2184的一个或多个数据处理单元2112的任何类型的计算设备，在一些实例中，总线2116可以包括系统总线、数据总线、地址总线、PCI总线，Mini-PCI总线以及任何各种本地、外围和/或独立总线中的一个或多个。
存储在计算机可读介质2194上的可执行指令可以包括例如操作系统2119、客户端模块2120、简档模块2122以及可由(多个)数据处理单元2192加载和执行的其他模块、程序或应用。
客户端计算设备2106(1)至2106(1)N还可以包括一个或多个接口2124，以实现通过(多个)网络2108在客户端计算设备2106(1)至2106(N)与其他联网设备(例如，(多个)设备2110)之间的通信。这样的网络接口2124可以包括一个或多个网络接口控制器(NIC)或其他类型的收发机设备，以通过网络发送和接收通信和/或数据。此外，客户端计算设备2106(1)至2106(N)可以包括输入/输出(“I/O”)接口2126，该输入输出接口2126实现与输入/输出设备(例如，包括外围输入设备(例如，游戏控制器、键盘、鼠标、笔、诸如麦克风之类的话音输入设备、用于获得和提供视频馈送和/或静止图像的摄像机、触摸输入设备、手势输入设备等)的用户输入设备，和/或包括外围输出设备(例如，显示器、打印机、音频扬声器、触摸输出设备等)的输出设备)的通信。图21示出了客户端计算设备2106(1)以某种方式连接到显示设备(例如，显示屏2128(1))，该显示设备可以根据本文所描述的技术来显示GUI。
在图21的示例环境2100中，客户端计算设备2106(1)至2106(N)可以使用其相应的客户端模块2120彼此连接和/或与(多个)其他外部设备连接，以便参与通信会话2104，或者为了协作环境贡献活动。例如，第一用户可以利用客户端计算设备2106(1)来与另一客户端计算设备2106(2)的第二用户进行通信。当执行客户端模块2120时，用户可以共享数据，这可能导致客户端计算设备2106(1)通过(多个)网络2108连接到系统2102和/或其他客户端计算设备2106(2)至2106(N)。
客户端计算设备2106(1)至2106(N)可以使用其相应的简档模块2122来生成参与者简档(图21中未示出)，并将参与者简档提供给其他客户端计算设备和/或系统2102的(多个)设备2110。参与者简档可以包括以下各项中的一个或多个：用户或一组用户的身份(例如，姓名、唯一标识符(“ID”)等)、用户数据(例如，个人数据)、诸如位置之类的机器数据(例如，IP地址、建筑物中的房间等)和技术能力等。可以利用参与者简档来针对通信会话注册参与者。
如图21中示出的，系统2102的(多个)设备2110包括服务器模块2130和输出模块2132。在该示例中，服务器模块2130被配置为从各个客户端计算设备(例如，客户端计算设备2106(1)至2106(N))接收媒体流2134(1)至2134(N)。如上面所描述的，媒体流可以包括视频馈送(例如，与用户相关联的音频和视觉数据)、要与用户的化身的呈现一起输出的音频数据(例如，纯音频体验，其中不发送用户的音频数据)、文本数据(例如，文本消息)、文件数据和/或屏幕共享数据(例如，在显示屏上显示的文档、幻灯片版面、图像、视频等)等等。因此，服务器模块2130被配置为在实时查看通信会话2104期间接收各种媒体流2134(1)至2134(N)的集合(该集合在本文中被称为“媒体数据2134”)。在一些场景中，并非参与通信会话2104的所有客户端计算设备都提供媒体流。例如，客户端计算设备可以仅是消费设备或“收听”设备，使得其仅接收与通信会话2104相关联的内容，而不向通信会话2104提供任何内容。
在各种示例中，服务器模块2130可以选择要与参与客户端计算设备2106(1)到2106(N)中的单个设备共享的媒体流2134的方面。因此，服务器模块2130可以被配置为基于流2134生成会话数据2136和/或将会话数据2136传递到输出模块2132。然后，输出模块2132可以将通信数据2138传送到客户端计算设备(例如，参与实时查看通信会话的客户端计算设备2106(1)至2106(3))。通信数据2138可以包括由输出模块2132基于与输出模块2132相关联的内容2150并基于接收到的会话数据2136而提供的视频、音频和/或其他内容数据。
如所示的，输出模块2132将通信数据2138(1)发送到客户端计算设备2106(1)，并且将通信数据2138(2)发送到客户端计算设备2106(2)，并且将通信数据2138(3)发送到客户端计算设备2106(3)，等等。被发送到客户端计算设备的通信数据2138可以相同或可以不同(例如，在用户接口内的内容流的定位可以在设备之间变化)。
在各种实现方式中，(多个)设备2110和/或客户端模块2120可以包括GUI呈现模块2140。GUI呈现模块2140可以被配置为分析通信数据2138，该通信数据2138被递送到一个或多个客户端计算设备2106。具体地，在(多个)设备2110和/或客户端计算设备2106处的GUI呈现模块2140可以分析通信数据2138，以确定用于在相关联的客户端计算设备2106的显示屏2128上显示视频、图像和/或内容的适当方式。在一些实现方式中，GUI呈现模块2140可以将视频、图像和/或内容提供给在相关联的客户端计算设备2106的显示屏2128上被渲染的呈现GUI 2146。GUI呈现模块2140可以使呈现GUI 2146在显示屏幕2128上被渲染。呈现GUI2146可以包括由GUI呈现模块2140分析的视频、图像和/或内容。
在一些实现方式中，呈现GUI 2146可以包括可以渲染或包括视频、图像和/或用于在显示屏2128上显示的内容的多个部分或网格。例如，呈现GUI 2146的第一部分可以包括演示者或个人的视频馈送，呈现GUI 2146的第二部分可以包括消费由演示者或个人提供的会议信息的个人的视频馈送。GUI呈现模块2140可以以适当地模仿演示者和个人可以共享的环境体验的方式来填充呈现GUI 2146的第一部分和第二部分。
在一些实现方式中，GUI呈现模块2140可以放大或提供由视频馈送呈现的个人的缩放的视图，以便突出个人对演示者的反应，例如，面部特征。在一些实现方式中，呈现GUI2146可以包括与会议(例如，一般通信会话)相关联的多个参与者的视频馈送。在其他实现方式中，呈现GUI 2146可以与通道(例如，聊天通道、企业团队通道等)相关联。因此，呈现GUI 2146可以与不同于一般通信会话的外部通信会话相关联。
图22示出了说明被配置为填充本文公开的HCI的示例设备2200的示例组件的图，该HCI可以包括可以渲染或包括视频、图像、虚拟对象116和/或用于在显示屏1228上显示的内容的一个或多个部分或网格。设备2200可以表示(多个)设备102或104中的一个。另外地或可替代地，设备2200可以表示客户端计算设备1106中的一个。
如所示的，设备2200包括一个或多个数据处理单元2202、计算机可读介质2204和(多个)通信接口2206。设备2200的组件例如经由总线可操作地连接，该总线可以包括系统总线、数据总线、地址总线、PCI总线，Mini-PCI总线以及任何各种本地、外围和/或独立总线中的一个或多个。
如本文所利用的，(多个)数据处理单元(例如，(多个)数据处理单元2202和/或(多个)数据处理单元1182)可以表示例如CPU类型的数据处理单元、GPU类型的数据处理单元、现场可编程门阵列(“FPGA”)、另一种类别的DSP或其他硬件逻辑组件(其在一些实例中可以由CPU驱动)。例如但不限于，可以利用的说明性类型的硬件逻辑组件包括专用集成电路(“ASIC”)、专用标准产品(“ASSP”)、片上系统(“SOC”)、复杂可编程逻辑器件(“CPLD”)等。
如本文所利用的，计算机可读介质(例如，计算机可读介质2204和计算机可读介质1194)可以存储可由(多个)数据处理单元执行的指令。计算机可读介质还可以存储可由外部数据处理单元(例如，由外部CPU、外部GPU)执行和/或可由外部加速器(例如，FPGA类型的加速器、DSP类型的加速器或任何其他内部或外部加速器)执行的指令。在各种示例中，在计算设备中并入了至少一个CPU、GPU和/或加速器，而在某些示例中，CPU、GPU和/或加速器中的一个或多个在计算设备的外部。
计算机可读介质(media)(其在本文也可以称为计算机可读介质(medium))可以包括计算机存储介质和/或通信介质。计算机存储介质可以包括以用于存储信息(例如，计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术实现的易失性存储器、非易失性存储器和/或其他持久和/或辅助计算机存储介质、可移除和不可移除计算机存储介质中的一个或多个。因此，计算机存储介质包括作为设备的一部分或在设备外部的设备和/或硬件组件中包括的有形和/或物理形式的介质，包括但不限于随机存取存储器(“RAM”)、静态随机存取存储器(“SRAM”)、动态随机存取存储器(“DRAM”)、相变存储器(“PCM”)、只读存储器(“ROM”)、可擦除可编程只读存储器(“EPROM”)、电可擦除可编程只读存储器(“EEPROM”)、闪速存储器、压缩盘只读存储器(“CD-ROM”)、数字通用磁盘(“DVD”)、光卡或其他光学存储介质、磁带盒、磁带、磁盘存储装置、磁卡或其他磁存储设备或介质、固态存储器设备、存储阵列、网络附接存储装置、存储区域网络、托管的计算机存储装置或任何其他存储存储器、存储设备和/或可以用于存储和维护供计算设备访问的信息的存储介质。
与计算机存储介质相反，通信介质可以在诸如载波之类的调制的数据信号或其他传输机制中体现计算机可读指令、数据结构、程序模块或其他数据。如本文所定义的，计算机存储介质不包括通信介质。即，计算机存储介质不包括仅由调制的数据信号、载波或传播信号本身组成的通信介质。
(多个)通信接口2206可以表示例如网络接口控制器(“NIC”)或其他类型的收发机设备，以通过网络发送和接收通信。此外，(多个)通信接口2206可以包括一个或多个摄像机和/或音频设备2222，以实现视频馈送和/或静止图像的生成等等。
在所示的示例中，计算机可读介质2204包括数据储存库2208。在一些示例中，数据储存库2208包括数据存储装置，例如，数据库、数据仓库或其他类型的结构化或非结构化数据存储装置。在一些示例中，数据储存库2208包括具有一个或多个表、索引、存储的过程等的语料库和/或关系数据库以实现数据访问，其包括例如以下各项中的一个或多个：超文本标记语言(“HTML”)表、资源描述框架(“RDF”)表、web本体语言(“OWL”)表和/或可扩展标记语言(“XML”)表。
数据储存库2208可以存储用于存储在计算机可读介质2204中和/或由(多个)数据处理单元2202和/或(多个)加速器执行的过程、应用、组件和/或模块的操作的数据。例如，在一些示例中，数据储存库2208可以存储会话数据2210(例如，会话数据836)、简档数据2222(例如，其与参与者简档相关联)和/或其他数据。会话数据2210可以包括通信会话中的参与者(例如，用户和/或客户端计算设备)的总数量、在通信会话中发生的活动、通信会话的受邀者列表和/或与何时以及如何进行或托管通信会话相关的其他数据。数据储存库2208还可以包括内容数据2214，例如，包括视频、音频或用于在显示屏828中的一个或多个显示屏上渲染和显示其他内容的内容850。
可替代地，上面引用的数据中的一些或全部可以存储在一个或多个数据处理单元2202的板上的单独的存储器2216上，例如，在CPU类型的处理器、GPU类型的处理器、FPGA类型的加速器、DSP类型的加速器和/或其他加速器的板上的存储器。在该示例中，计算机可读介质2204还包括操作系统2218和被配置为向其他设备暴露设备2200的功能和数据的(多个)应用编程接口2210(API)。另外地，计算机可读介质2204包括一个或多个模块(例如，服务器模块2230、输出模块2232和GUI呈现模块2240)，但是图示模块的数量仅是示例，并且该数量可以变得更高或更低。即，在本文与所示模块关联地描述的功能可以由一个设备上或遍布在多个设备上的较少数量的模块或较大数量的模块来执行。
应当认识到的是，除非另外具体陈述，否则在上下文内理解本文使用的条件性语言(例如，“可以(can)”、“可(could)”、“可能(might)”或“可以(may)”等)，以表达某些示例包括而其他示例不包括某些特征、元素和/或步骤。因此，这种条件性语言通常不意在暗示一个或多个示例以任何方式要求某些特征、元素和/或步骤，或者一个或多个示例必须包括用于(在有或没有用户输入或提示的情况下)决定在任何特定示例中是否包括或将要执行某些特征、元素和/或步骤的逻辑单元。除非另外具体陈述，否则诸如短语“X，Y或Z中的至少一个”之类的合取语言应理解为表示条目、项等可以是X，Y，或Z，或者它们的组合。
还应该认识到的是，可以对上面描述的示例进行各种变型和修改，其中的元素应被理解为在其他可接受的示例之中。所有这些修改和变型旨在在本文中被包括在本公开内容的范围内，并由所附权利要求书保护。
最后，虽然已经以特定于结构特征和/或方法动作的语言对各种配置进行了描述，但应当理解的是，所附表示中定义的主题并不一定受限于所描述的特定特征或动作。而是，所公开的特定特征和动作作为实现要求保护的主题的示例形式。
示例条款
本文提出的公开内容涵盖以下示例条款中阐述的主题。
示例条款A，一种系统，包括：
一个或多个数据处理单元；以及
计算机可读介质，在其上编码有使得一个或多个数据处理单元进行以下操作的计算机可执行指令：
在用户接口(UI)上渲染环境的表示，该环境指示在多个用户之间的交互式通信会话；
接收指示缩放窗口要被放置在环境的表示内的位置的输入数据；
响应于输入数据，在UI上在表示内的位置处渲染缩放窗口，该缩放窗口的大小是基于一个或多个标准被确定的，并且具有可用于接收用户输入的多个可选区域；
在缩放窗口内渲染表示的接近缩放窗口的位置的一部分的放大视图，其中，缩放窗口被配置为响应于经由缩放窗口接收到的指示改变表示的一部分的输入来平移放大视图；
经由可选区域接收指示被施加到缩放窗口的第一手势的输入数据，该第一手势指示缩放窗口在表示内的新位置；
响应于第一手势，在UI上将缩放窗口重新定位到新位置处，其中，在重新定位期间维持缩放窗口的大小；以及
在缩放窗口内渲染表示的接近缩放窗口的新位置的一部分的放大视图；其中，缩放窗口可移动到表示的任何渲染的部分。
示例条款B，示例条款A的系统，其中，指令还使得一个或多个数据处理单元进行以下操作：
接收指示被施加到缩放窗口的第二手势的输入数据，该第二手势指示缩放窗口的新大小；
响应于第二手势，在UI上在真实世界环境的三维表示内的位置处以新大小渲染缩放窗口；以及
在缩放窗口内渲染三维表示的接近缩放窗口的位置的更新后的部分的放大视图，其中，更新后的部分是基于新大小被确定的。
示例条款C，示例条款A至B中任一项的系统，其中，第二手势是利用经由触敏表面被施加到可选区域中的一个的两个手指输入的调整大小手势。
示例条款D，示例条款A至C中任一项的系统，其中，指令还使得一个或多个数据处理单元进行以下操作：
接收指示被施加到缩放窗口的第二手势的输入数据，该第二手势指示三维表示的接近缩放窗口的位置的一部分的新的缩放因子；以及
响应于第二手势，基于新的缩放因子来更新在缩放窗口内的放大率。
示例条款E，示例条款A至D中任一项的系统，其中，第二手势是被施加到在缩放窗口内的触敏表面的捏合手势。
示例条款F，示例条款A至E中任一项的系统，其中，指令还使得一个或多个数据处理单元修改缩放窗口的边界以指示新的缩放因子。
示例条款G，示例条款A至F中任一项的系统，其中，指示第一手势的输入数据是话音命令。
示例条款H，示例条款A至G中任一项的系统，其中，指令还使得一个或多个数据处理单元进行以下操作：
接收指示被施加到缩放窗口的第二手势的输入数据，该第二手势指示旋转三维表示的接近缩放窗口的位置的一部分；以及
响应于第二手势，基于旋转来更新在缩放窗口内的渲染的内容。
示例条款I，示例条款A至H中任一项的系统，其中，缩放窗口的大小是基于被施加到表示的第一点与第二点之间的距离的。
示例条款J，一种用于与渲染的环境进行交互的方法，该方法包括：
在用户接口(UI)上渲染环境的表示，该环境表示在多个用户之间的通信会话；
接收指示缩放窗口要被放置在表示内的位置的输入数据；
响应于输入数据，在UI上在表示内的位置处渲染缩放窗口，该缩放窗口具有可用于接收用户输入的多个可选区域；
在缩放窗口内渲染表示的接近缩放窗口的位置的一部分的放大视图；
接收指示被施加到缩放窗口的第一手势的输入数据，该第一手势指示缩放窗口在表示内的新位置；
响应于第一手势，在UI上将缩放窗口重新定位到新位置处，其中，在重新定位期间维持缩放窗口的大小；以及
在缩放窗口内渲染表示的接近缩放窗口的新位置的一部分的放大视图；其中，缩放窗口可移动到表示的任何渲染的部分。
示例条款K，示例条款J的方法，还包括：
接收指示被施加到缩放窗口的第二手势的输入数据，该第二手势指示缩放窗口的新大小；
响应于第二手势，在UI上在表示内的位置处以新大小渲染缩放窗口；以及
在缩放窗口内渲染表示的接近缩放窗口的位置的更新后的部分的放大视图，其中，更新后的部分是基于新大小被确定的。
示例条款L，示例条款I至K中任一项的方法，其中，第二手势是利用被施加到缩放窗口的边缘处的触敏表面的两个手指输入的调整大小手势。
示例条款M，示例条款I至L中任一项的方法，还包括：
接收指示被施加到缩放窗口的第二手势的输入数据，该第二手势指示表示的接近缩放窗口的位置的一部分的新的缩放因子；以及
响应于第二手势，基于新的缩放因子来更新在缩放窗口内的放大率。
示例条款N，示例条款I至M中任一项的方法，其中，第二手势是被施加到在缩放窗口内的触敏表面的捏合手势。
示例条款O，示例条款I至N中任一项的方法，还包括修改缩放窗口的边界以指示新的缩放因子。
示例条款P，示例条款I至O中任一项的方法，还包括：接收指示被施加到缩放窗口的第二手势的输入数据，该第二手势指示平移表示的接近缩放窗口的位置的一部分；以及
响应于第二手势，基于平移来更新在缩放窗口内的渲染的内容。
示例条款Q，一种系统，包括：
用于在用户接口(UI)上渲染环境的表示的单元，该环境指示在多个用户之间的通信会话；
用于接收指示缩放窗口要被放置在三维表示内的位置的输入数据的单元；
用于在UI上在表示内的位置处渲染缩放窗口的单元，该缩放窗口的大小是基于一个或多个标准被确定的，该缩放窗口具有可用于接收用户输入的多个可选区域；
用于在缩放窗口内渲染表示的接近缩放窗口的位置的一部分的放大视图的单元；
用于接收指示被施加到缩放窗口的第一手势的输入数据的单元，该第一手势指示缩放窗口在表示内的新位置；
用于响应于第一手势而在UI上将缩放窗口重新定位到新位置处的单元，其中，在重新定位期间维持缩放窗口的大小；以及
用于在缩放窗口内渲染表示的接近缩放窗口的新位置的一部分的放大视图的单元；其中，缩放窗口可移动到表示的任何渲染的部分。
示例条款R，示例条款Q的系统，还包括：
用于接收指示被施加到缩放窗口的第二手势的输入数据的单元，该第二手势指示缩放窗口的新大小；
用于响应于第二手势而在UI上在真实世界环境的三维表示内的位置处以新大小渲染缩放窗口的单元；以及
用于在缩放窗口内渲染三维表示的接近缩放窗口的位置的更新后的部分的放大视图的单元，其中，更新后的部分是基于新大小被确定的。
示例条款S，示例条款Q至R中任一项的系统，其中，指示第一手势的输入数据是话音命令。
示例条款T，示例条款Q至S中任一项的系统，其中，缩放窗口的大小是基于被施加到表示的第一点与第二点之间的距离的。
本文提出的公开内容涵盖以下示例条款中阐述的主题。
示例条款AA，一种系统，包括：
一个或多个数据处理单元；以及
计算机可读介质，在其上编码有使得一个或多个数据处理单元进行以下操作的计算机可执行指令：
在用户接口(UI)上渲染环境的表示，该环境指示在多个用户之间的交互式通信会话；
接收指示缩放窗口要被放置在表示内的位置的输入数据；
响应于输入数据，在UI上在表示内的位置处渲染缩放窗口；
在缩放窗口内渲染表示的接近缩放窗口的位置的一部分的放大视图；
接收指示被施加到缩放窗口的第一手势的输入数据，该第一手势指示调整缩放窗口的大小；
响应于第一手势，在UI上根据第一手势调整缩放窗口的大小，其中，在调整缩放窗口的大小时维持在缩放窗口内的放大视图的比例；
接收指示被施加到缩放窗口的第二手势的输入数据，该第二手势指示改变在缩放窗口内的内容的缩放比例；
响应于第二手势，在UI上根据第二手势更新表示的接近缩放窗口的位置的一部分的放大视图，其中，在更新放大视图时维持缩放窗口的大小；
标识在缩放窗口内被渲染的内容的源文件或文档；
允许在交互式通信会话期间访问源文件或文档；以及
标识在表示中被渲染的新内容的附加的源文件或文档。
示例条款BB，示例条款AA的系统，其中，指令还使得一个或多个数据处理单元进行以下操作：
接收指示被施加到缩放窗口的第三手势的输入数据，该第三手势指示缩放窗口在表示内的新位置；
响应于第三手势，在UI上将缩放窗口重新定位到新位置处，其中，在重新定位期间维持缩放窗口的大小；以及
在缩放窗口内渲染表示的接近缩放窗口的新位置的更新后的部分的更新后的放大视图。
示例条款CC，示例条款AA至BB中任一项的系统，其中，第一手势是利用被施加到缩放窗口的边缘处的触敏表面的两个手指输入的调整大小手势。
示例条款DD，示例条款AA至CC中任一项的系统，其中，第二手势是被施加到在缩放窗口内的触敏表面的捏合手势。
示例条款EE，示例条款AA至DD中任一项的系统，其中，指令还使得一个或多个数据处理单元修改缩放窗口的边界以指示改变后的缩放比例。
示例条款FF，示例条款AA至EE中任一项的系统，其中，表示是协作工作环境的视频馈送。
示例条款GG，示例条款AA至FF中任一项的系统，其中，指令还使得一个或多个数据处理单元进行以下操作：
接收指示被施加到缩放窗口的第三手势的输入数据，该第三手势指示滚动表示的接近缩放窗口的位置的一部分；以及
响应于第三手势，基于滚动来更新在缩放窗口内的渲染的内容。
示例条款HH，示例条款AA至GG中任一项的系统，其中，指令还使得一个或多个数据处理单元进行以下操作：
当参与者移动时，自动地重新定位缩放窗口，以保持接近参与者的新位置。
示例条款II，示例条款AA至HH中任一项的系统，其中，指令还使得一个或多个数据处理单元进行以下操作：
接收指示表示的视角的改变的输入数据；以及
响应于视角的改变，自动地重新定位缩放窗口，以维持表示的一部分的视图。
示例条款JJ，一种用于与渲染的环境进行交互的方法，该方法包括：
在用户接口(UI)上渲染表示，该表示指示在多个用户之间的交互式通信会话；
接收指示缩放窗口要被放置在表示内的位置的输入数据；
响应于输入数据，在UI上在表示内的位置处渲染缩放窗口，该缩放窗口的大小是基于一个或多个标准被确定的；
在缩放窗口内渲染表示的接近缩放窗口的位置的一部分的放大视图；
接收指示被施加到缩放窗口的第一手势的输入数据，该第一手势指示调整缩放窗口的大小；
响应于第一手势，在UI上根据第一手势调整缩放窗口的大小，其中，在调整缩放窗口的大小时维持在缩放窗口内的放大视图的比例；
接收指示被施加到缩放窗口的第二手势的输入数据，该第二手势指示改变在缩放窗口内的内容的缩放比例；
响应于第二手势，在UI上根据第二手势更新表示的接近缩放窗口的位置的一部分的放大视图，其中，在更新放大视图时维持缩放窗口的大小；
标识在缩放窗口内被渲染的内容的源文件或文档；
允许在交互式通信会话期间访问源文件或文档；以及
标识在表示中被渲染的新内容的附加的源文件或文档。
示例条款KK，示例条款JJ的方法，还包括：
接收指示被施加到缩放窗口的第三手势的输入数据，该第三手势指示缩放窗口在表示内的新位置；
响应于第三手势，在UI上将缩放窗口重新定位到新位置处，其中，在重新定位期间维持缩放窗口的大小；以及
在缩放窗口内渲染表示的接近缩放窗口的新位置的更新后的部分的更新后的放大视图。
示例条款LL，示例条款II至KK中任一项的方法，其中，第一手势是利用被施加到缩放窗口的边缘处的触敏表面的两个手指输入的调整大小手势。
示例条款MM，示例条款II至LL中任一项的方法，其中，第二手势是被施加到在缩放窗口内的触敏表面的捏合手势。
示例条款NN，示例条款II至MM中任一项的方法，其中，表示是协作工作环境的视频馈送。
示例条款OO，示例条款II至NN中任一项的方法，还包括：
接收指示被施加到缩放窗口的第三手势的输入数据，该第三手势指示滚动表示的接近缩放窗口的位置的一部分；以及
响应于第三手势，基于滚动来更新在缩放窗口内的渲染的内容。
示例条款PP，一种系统，包括：
用于在用户接口(UI)上渲染真实世界环境的表示的单元；
用于接收指示缩放窗口要被放置在表示内的位置的输入数据的单元；
用于响应于输入数据而在UI上在表示内的位置处渲染缩放窗口的单元，该缩放窗口的大小是基于一个或多个标准被确定的；
用于在缩放窗口内渲染表示的接近缩放窗口的位置的一部分的放大视图的单元；
用于接收指示被施加到缩放窗口的第一手势的输入数据的单元，该第一手势指示调整缩放窗口的大小；
用于响应于第一手势而在UI上根据第一手势调整缩放窗口的大小的单元，其中，在调整缩放窗口的大小时维持在缩放窗口内的放大视图的比例；
用于接收指示被施加到缩放窗口的第二手势的输入数据的单元，该第二手势指示改变在缩放窗口内的内容的缩放比例；
用于响应于第二手势而在UI上根据第二手势更新表示的接近缩放窗口的位置的一部分的放大视图的单元，其中，在更新放大视图时维持缩放窗口的大小；
用于标识在缩放窗口内被渲染的内容的源文件或文档的单元；
用于允许在交互式通信会话期间访问源文件或文档的单元；以及
用于标识在表示中被渲染的新内容的附加的源文件或文档的单元。
示例条款QQ，示例条款PP的系统，还包括：
用于接收指示被施加到缩放窗口的第三手势的输入数据的单元，该第三手势指示缩放窗口在表示内的新位置；
用于响应于第三手势而在UI上将缩放窗口重新定位到新位置处的单元，其中，在重新定位期间维持缩放窗口的大小；以及
用于在缩放窗口内渲染表示的接近缩放窗口的新位置的更新后的部分的更新后的放大视图的单元。
示例条款RR，示例条款PP至QQ中任一项的系统，还包括用于修改缩放窗口的边界以指示改变后的缩放比例的单元。
示例条款SS，示例条款PP至RR中任一项的系统，其中，表示的接近缩放窗口的位置的一部分包括参与者，该系统还包括：
用于当参与者移动时，自动地重新定位缩放窗口，以保持接近参与者的新位置的单元。
示例条款TT，示例条款PP至SS中任一项的系统，还包括：
用于接收指示表示的视角的改变的输入数据的单元；以及
用于响应于视角的改变而自动地重新定位缩放窗口以维持三维表示的一部分的视图的单元。
本文提出的公开内容涵盖以下示例条款中阐述的主题。
示例条款AAA，一种系统，包括：
一个或多个数据处理单元；以及
计算机可读介质，在其上编码有使得一个或多个数据处理单元进行以下操作的计算机可执行指令：
在用户接口(UI)上渲染环境的同期表示，该环境指示在多个用户之间的交互式通信会话；
接收指示缩放窗口要被放置在表示内的位置的第一输入数据；
响应于第一输入数据，在UI上在表示内的位置处渲染缩放窗口；
在缩放窗口内渲染表示的接近缩放窗口的位置的一部分的放大视图；
接收指示与缩放窗口的交互的第二输入数据；
响应于交互，在UI上渲染编辑窗格，其中，该编辑窗格包括：
缩放窗口的内容的表示；以及
针对要被施加到内容的动作的一个或多个可选选项；以及
接收指示对可选选项中的一个的选择的第三输入数据；以及
响应于选择，对内容执行编辑动作；
其中，编辑窗格被配置为发送指示动作的数据，该数据可用于向交互式通信会话渲染动作的共享的且同期更新的视图。
示例条款BBB，示例条款AAA的系统，其中，可选选项是基于缩放窗口的内容的上下文被确定的。
示例条款CCC，示例条款AAA至BBB中任一项的系统，其中，可选选项包括存储缩放窗口的内容。
示例条款DDD，示例条款AAA至CCC中任一项的系统，其中，指令还使得一个或多个数据处理单元进行以下操作：
标识内容的源文件，其中，可选选项包括访问源文件。
示例条款EEE，示例条款AAA至DDD中任一项的系统，其中，指令还使得一个或多个数据处理单元进行以下操作：
标识针对内容的渲染设备，其中，可选选项包括向渲染设备输入一个或多个命令以更新渲染的内容。
示例条款FFF，示例条款AAA至EEE中任一项的系统，其中，指令还使得一个或多个数据处理单元进行以下操作：
标识针对真实世界环境的可用图像捕获设备；以及
基于缩放窗口的内容，改变用于提供三维表示的图像的当前的图像捕获设备，以改进渲染的内容的图像质量。
示例条款GGG，示例条款AAA至FFF中任一项的系统，其中，可选选项包括将内容或源文件发送到选定的接收者。
示例条款HHH，示例条款AAA至GGG中任一项的系统，其中，可选选项包括将内容或源文件发送到选定的接收者。
示例条款III，示例条款AAA至HHH中任一项的系统，其中，编辑窗格包括时间线，该时间线可导航到环境的捕获的事件的时间点。
示例条款JJJ，示例条款AAA至III中任一项的系统，其中，可选选项包括将表示真实世界环境的对象发送到选定的用户，其中，该对象可用于加入环境中的当前的协作会话。
示例条款KKK，一种用于与渲染的环境进行交互的方法，该方法包括：
在用户接口(UI)上渲染环境的表示，该环境指示在多个用户之间的交互式通信会话；
接收指示缩放窗口要被放置在表示内的位置的第一输入数据；
响应于第一输入数据，在UI上在表示内的位置处渲染缩放窗口；
在缩放窗口内渲染表示的接近缩放窗口的位置的一部分的放大视图；
接收指示与缩放窗口的交互的第二输入数据；
响应于交互，在UI上渲染编辑窗格，其中，该编辑窗格包括：
缩放窗口的内容的表示；以及
针对要被施加到内容的动作的一个或多个可选选项；
接收指示对可选选项中的一个的选择的第三输入数据；以及
响应于选择，对内容执行编辑动作；
其中，编辑窗格被配置为发送指示动作的数据，该数据可用于向交互式通信会话的用户渲染动作的共享的且同期更新的视图。
示例条款LLL，示例条款KKK的方法，其中，可选选项是基于缩放窗口的内容的上下文被确定的。
示例条款MMM，示例条款KKK至LLL中任一项的方法，其中，可选选项包括存储缩放窗口的内容。
示例条款NNN，示例条款KKK至MMM中任一项的方法，还包括：
标识内容的源文件，其中，可选选项包括访问源文件。
示例条款OOO，示例条款KKK至NNN中任一项的方法，还包括：
标识针对内容的渲染设备，其中，可选选项包括向渲染设备输入一个或多个命令以更新渲染的内容。
示例条款PPP，一种系统，包括：
用于在用户接口(UI)上渲染真实世界环境的表示的单元；
用于接收指示缩放窗口要被放置在真实世界环境的三维表示内的位置的第一输入数据的单元；
用于响应于第一输入数据而在UI上在真实世界环境的三维表示内的位置处渲染缩放窗口的单元；
用于在缩放窗口内渲染表示的接近缩放窗口的位置的一部分的放大视图的单元；
用于接收指示与缩放窗口的交互的第二输入数据的单元；
用于响应于交互而在UI上渲染编辑窗格的单元，其中，编辑窗格包括：
缩放窗口的内容的表示；以及
针对要被施加到内容的动作的一个或多个可选选项；以及
接收指示对可选选项中的一个的选择的第三输入数据；以及
响应于选择，对内容执行编辑动作；以及
用于发送指示动作的数据的单元，该数据可用于渲染动作的共享的且同期更新的视图。
示例条款QQQ，示例条款PPP的系统，其中，编辑窗格的内容和针对允许动作的许可是基于编辑窗格的用户的角色被确定的。
示例条款RRR，示例条款PPP至QQQ中任一项的系统，还包括：
用于标识针对真实世界环境的可用图像捕获设备的单元；以及
用于基于缩放窗口的内容改变用于提供三维表示的图像的当前的图像捕获设备以改进渲染的内容的图像质量的单元。
示例条款SSS，示例条款PPP至RRR中任一项的系统，其中，可选选项包括将内容或源文件发送到选定的接收者。
示例条款TTT，示例条款PPP至SSS中任一项的系统，其中，编辑窗格的内容和针对允许动作的许可是基于编辑窗格的用户的角色被确定的。
在许多其他技术益处中，与依赖于3D环境中虚拟对象的低效手动放置的先前的解决方法相比，本文的技术使得能够更高效地使用计算资源，例如，处理器周期、存储器、网络带宽和功率。还可以通过公开的主题的实现方式来实现本文未具体提及的其他技术益处。
虽然已经以特定于结构特征和/或方法动作的语言对技术进行了描述，但应当理解的是，所附权利要求书并不一定受限于所描述的特征或动作。而是，将特征和动作描述为这种技术的示例实现方式。

Claims (15)

1.一种系统，包括：
一个或多个数据处理单元；以及
计算机可读介质，在其上编码有使得所述一个或多个数据处理单元进行以下操作的计算机可执行指令：
在用户接口(UI)上渲染环境的同期表示，所述环境指示在多个用户之间的交互式通信会话；
接收指示缩放窗口要被放置在所述表示内的位置的第一输入数据；
响应于所述第一输入数据，在所述UI上在所述表示内的所述位置处渲染所述缩放窗口；
在所述缩放窗口内渲染所述表示的接近所述缩放窗口的所述位置的一部分的放大视图；
接收指示与所述缩放窗口的交互的第二输入数据；
响应于所述交互，在所述UI上渲染编辑窗格，其中，所述编辑窗格包括：
所述缩放窗口的内容的表示；以及
针对要被施加到所述内容的动作的一个或多个能够选择的选项；以及
接收指示对所述能够选择的选项中的一个的选择的第三输入数据；以及
响应于所述选择，对所述内容执行编辑动作；
其中，所述编辑窗格被配置为发送指示所述动作的数据，所述数据能够用于向所述交互式通信会话渲染所述动作的共享的且同期更新的视图。
2.根据权利要求1所述的系统，其中，所述能够选择的选项包括存储所述缩放窗口的内容。
3.根据权利要求1所述的系统，其中，所述指令还使得所述一个或多个数据处理单元进行以下操作：
标识所述内容的源文件，其中，所述能够选择的选项包括访问所述源文件。
4.根据权利要求1所述的系统，其中，所述指令还使得所述一个或多个数据处理单元进行以下操作：
标识针对所述内容的渲染设备，其中，所述能够选择的选项包括向所述渲染设备输入一个或多个命令以更新渲染的内容。
5.根据权利要求1所述的系统，其中，所述指令还使得所述一个或多个数据处理单元进行以下操作：
标识针对真实世界环境的能够使用的图像捕获设备；以及
基于所述缩放窗口的所述内容，改变用于提供三维表示的图像的当前的图像捕获设备，以改进渲染的内容的图像质量。
6.根据权利要求4所述的系统，其中，所述能够选择的选项包括将所述内容或源文件发送到选定的接收者。
7.根据权利要求1所述的系统，其中，所述能够选择的选项包括将所述内容或源文件发送到选定的接收者。
8.根据权利要求1所述的系统，其中，所述编辑窗格包括时间线，所述时间线能够导航到所述环境的捕获的事件的时间点。
9.根据权利要求1所述的系统，其中，所述能够选择的选项包括将表示真实世界环境的对象发送到选定的用户，其中，所述对象能够用于加入所述环境中的当前的协作会话。
10.一种用于与渲染的环境进行交互的方法，所述方法包括：
在用户接口(UI)上渲染环境的表示，所述环境指示在多个用户之间的交互式通信会话；
接收指示缩放窗口要被放置在所述表示内的位置的第一输入数据；
响应于所述第一输入数据，在所述UI上在所述表示内的所述位置处渲染所述缩放窗口；
在所述缩放窗口内渲染所述表示的接近所述缩放窗口的所述位置的一部分的放大视图；
接收指示与所述缩放窗口的交互的第二输入数据；
响应于所述交互，在所述UI上渲染编辑窗格，其中，所述编辑窗格包括：
所述缩放窗口的内容的表示；以及
针对要被施加到所述内容的动作的一个或多个能够选择的选项；
接收指示对所述能够选择的选项中的一个的选择的第三输入数据；以及
响应于所述选择，对所述内容执行编辑动作；
其中，所述编辑窗格被配置为发送指示所述动作的数据，所述数据能够用于向所述交互式通信会话的所述用户渲染所述动作的共享的且同期更新的视图。
11.根据权利要求10所述的方法，其中，所述能够选择的选项是基于所述缩放窗口的内容的上下文被确定的。
12.根据权利要求10所述的方法，其中，所述能够选择的选项包括存储所述缩放窗口的内容。
13.根据权利要求10所述的方法，还包括：
标识所述内容的源文件，其中，所述能够选择的选项包括访问所述源文件。
14.根据权利要求10所述的方法，还包括：
标识针对所述内容的渲染设备，其中，所述能够选择的选项包括向所述渲染设备输入一个或多个命令以更新渲染的内容。
15.一种系统，包括：
用于在用户接口(UI)上渲染真实世界环境的表示的单元；
用于接收指示缩放窗口要被放置在所述真实世界环境的三维表示内的位置的第一输入数据的单元；
用于响应于所述第一输入数据而在所述UI上在所述真实世界环境的所述表示内的所述位置处渲染所述缩放窗口的单元；
用于在所述缩放窗口内渲染所述表示的接近所述缩放窗口的所述位置的一部分的放大视图的单元；
用于接收指示与所述缩放窗口的交互的第二输入数据的单元；
用于响应于所述交互而在所述UI上渲染编辑窗格的单元，其中，所述编辑窗格包括：
所述缩放窗口的内容的表示；以及
针对要被施加到所述内容的动作的一个或多个能够选择的选项；以及
接收指示对所述能够选择的选项中的一个的选择的第三输入数据；以及
响应于所述选择，对所述内容执行编辑动作；以及
用于发送指示所述动作的数据的单元，所述数据能够用于渲染所述动作的共享的且同期更新的视图。
CN201980084205.3A 2018-12-20 2019-12-11 交互式编辑系统 Withdrawn CN113196219A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/228,104 2018-12-20
US16/228,104 US20200201512A1 (en) 2018-12-20 2018-12-20 Interactive editing system
PCT/US2019/065574 WO2020131504A1 (en) 2018-12-20 2019-12-11 Interactive editing system

Publications (1)

Publication Number Publication Date
CN113196219A true CN113196219A (zh) 2021-07-30

Family

ID=69024757

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980084205.3A Withdrawn CN113196219A (zh) 2018-12-20 2019-12-11 交互式编辑系统

Country Status (4)

Country Link
US (1) US20200201512A1 (zh)
EP (1) EP3899704A1 (zh)
CN (1) CN113196219A (zh)
WO (1) WO2020131504A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107924690B (zh) * 2015-09-02 2021-06-25 交互数字Ce专利控股公司 用于促进扩展场景中的导航的方法、装置和系统
US10530597B1 (en) * 2017-04-01 2020-01-07 Smart Power Partners LLC System for controlling a plurality of power switches configured to apply power to devices
US10754526B2 (en) 2018-12-20 2020-08-25 Microsoft Technology Licensing, Llc Interactive viewing system
US10942633B2 (en) 2018-12-20 2021-03-09 Microsoft Technology Licensing, Llc Interactive viewing and editing system
US11805157B2 (en) * 2020-05-12 2023-10-31 True Meeting Inc. Sharing content during a virtual 3D video conference
CN114756359A (zh) * 2020-12-29 2022-07-15 华为技术有限公司 一种图像处理方法和电子设备
US11621979B1 (en) * 2020-12-31 2023-04-04 Benjamin Slotznick Method and apparatus for repositioning meeting participants within a virtual space view in an online meeting user interface based on gestures made by the meeting participants
US11716213B2 (en) 2021-05-05 2023-08-01 International Business Machines Corporation Autonomous screenshare of dynamic magnification view without primary collaboration interruption

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4815029A (en) * 1985-09-23 1989-03-21 International Business Machines Corp. In-line dynamic editor for mixed object documents
US8358281B2 (en) * 2009-12-15 2013-01-22 Apple Inc. Device, method, and graphical user interface for management and manipulation of user interface elements
US9189143B2 (en) * 2010-04-30 2015-11-17 American Teleconferencing Services, Ltd. Sharing social networking content in a conference user interface
US8898593B2 (en) * 2011-10-05 2014-11-25 Microsoft Corporation Identification of sharing level
US10394429B2 (en) * 2012-06-29 2019-08-27 Qualcomm Incorporated Sharing of user interface objects via a shared space
US9749367B1 (en) * 2013-03-07 2017-08-29 Cisco Technology, Inc. Virtualization of physical spaces for online meetings
US10409366B2 (en) * 2014-04-28 2019-09-10 Adobe Inc. Method and apparatus for controlling display of digital content using eye movement
US9846528B2 (en) * 2015-03-02 2017-12-19 Dropbox, Inc. Native application collaboration
US10007352B2 (en) * 2015-08-21 2018-06-26 Microsoft Technology Licensing, Llc Holographic display system with undo functionality

Also Published As

Publication number Publication date
EP3899704A1 (en) 2021-10-27
US20200201512A1 (en) 2020-06-25
WO2020131504A1 (en) 2020-06-25

Similar Documents

Publication Publication Date Title
EP3881170B1 (en) Interactive viewing system
CN113196219A (zh) 交互式编辑系统
US11979244B2 (en) Configuring 360-degree video within a virtual conferencing system
US10924709B1 (en) Dynamically controlled view states for improved engagement during communication sessions
US11394925B1 (en) Automated UI and permission transitions between presenters of a communication session
US10917608B1 (en) Dynamically controlled aspect ratios based on a number of participants depicted in communication video streams
US20220150083A1 (en) Dynamic grouping of live video streams and content views
US11785194B2 (en) Contextually-aware control of a user interface displaying a video and related user text
CN113728591B (zh) 预览由评论中键入的超链接引用的视频内容
US11425334B2 (en) Dynamically controlled aspect ratios for communication session video streams
CN113196221A (zh) 交互式查看和编辑系统
CN116918305A (zh) 用于管理针对呈现者的消息通信的动态控制的许可
CN113711618A (zh) 创作包括引用视频内容的键入的超链接的评论
WO2023229738A1 (en) 2d and 3d transitions for renderings of users participating in communication sessions
US20230386145A1 (en) Automation of audio and viewing perspectives for bringing focus to relevant activity of a communication session
US20230206621A1 (en) Automatic composition of a presentation video of shared content and a rendering of a selected presenter
US20230385767A1 (en) Agenda driven control of user interface environments
CN117413502A (zh) 对标识多个用户的接口的消息内容的目标定位

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210730

WW01 Invention patent application withdrawn after publication