CN117581276A - 通信会话的呈现者之间的自动ui和许可转换 - Google Patents

通信会话的呈现者之间的自动ui和许可转换 Download PDF

Info

Publication number
CN117581276A
CN117581276A CN202280045701.XA CN202280045701A CN117581276A CN 117581276 A CN117581276 A CN 117581276A CN 202280045701 A CN202280045701 A CN 202280045701A CN 117581276 A CN117581276 A CN 117581276A
Authority
CN
China
Prior art keywords
user
user interface
area
attendee
queue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280045701.XA
Other languages
English (en)
Inventor
J·T·福尔克纳
S·查伯拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN117581276A publication Critical patent/CN117581276A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

一种系统提供通信会话的呈现者之间的自动转换。在会议期间，系统能够提供用户界面，所述用户界面包括被配置为显示呈现者的渲染和呈现者的共享内容的主要呈现者区域。所述用户界面也能够提供观众区域，其可以包括布置在虚拟环境中的观众成员的多个个体视频流。当所述系统确定个体观众成员举手时，所述系统生成指示该人举手的图形通知。所述系统也能够自动地将个体观众成员添加到呈现者队列中。当第一个呈现者完成他们的呈现时，所述系统能够自动地将呈现者队列中列出的用户转换到主要呈现者区域或次要呈现者区域。所述系统也能够自动地改变发起向呈现者角色转换的用户的许可。

Description

通信会话的呈现者之间的自动UI和许可转换
背景技术
存在允许用户进行通信的许多不同类型的协作系统。例如，一些系统允许人们通过使用视频流、共享文件、聊天消息、电子邮件等共享内容进行协作。一些系统提供用户界面格式，其允许用户与观众共享内容。这样的系统能够提供特定的许可集，其允许用户扮演特定的角色，诸如呈现者、观众成员等。
尽管一些系统能够为用户提供特定的许可集，使其承担某些角色，但是这样的系统具有许多缺点。例如，当观众成员希望成为呈现者时，每个用户必须执行许多协调一致的动作才能够发生这样的转换。首先，在允许第二用户提供许多手动操作以承担呈现者角色之前，第一呈现者必须放弃呈现访问许可。这样的交互模型会是繁琐和低效的。这些协调一致的操作会削弱通信系统的功能，并且在会议期间分散用户的注意力。这样的干扰会导致会议的参与者错过重要信息。
除了引入潜在低效的用户交互模型之外，一些现有的系统也会出现许多安全问题。通过要求用户在会议期间提供许多手动步骤来改变用户许可，会导致意外的许可设置。这样的布置能够创建许多攻击向量，并且将所存储的内容暴露给许多安全威胁。
一些现有系统试图通过将固定的一组许可分配给某些事件来解决上述安全问题，例如，一组许可用于团队会议以及另一组许可用于公司会议。尽管这种布置有助于解决一些安全问题，但是这些安全措施不能提供适应许多用户场景所需的灵活性，特别是当不同用户转换为不同角色时。当系统不能最佳地提供能够在事件期间自动调整的许可时，用户可能无法访问所有共享信息。这会导致低效的用户交互模型，并且导致计算系统的低效使用，特别是当用户需要使用额外的资源来取回丢失的信息时。因此，除了具有许多安全问题之外，一些当前系统还会产生计算资源的冗余使用和关于网络资源、存储资源和处理资源的使用的许多低效。
发明内容
在本文中所公开的技术提供通信会话的呈现者之间的自动转换。在会议期间，系统能够提供用户界面，所述用户界面包括被配置为显示呈现者的渲染和呈现者的共享内容的主要呈现者区域。所述用户界面也能够提供观众区域，其可以包括被布置在虚拟环境中的观众成员的多个个体视频流。当所述系统确定个体观众成员举手时，所述系统生成指示该人举手的图形通知。所述系统也能够自动地将个体观众成员添加到呈现者队列中。当第一呈现者完成他们的呈现时，所述系统能够自动地将呈现者队列中列出的用户转换到主要呈现者区域或次要呈现者区域。所述系统也能够自动地改变发起向呈现者角色转换的用户的许可。
在本文中所公开的技术能够提供包括增强通信系统的安全性的多个技术效果。通过根据角色转换而使特定许可的分配自动化，系统能够通过减少用户在事件期间执行手动步骤以改变许可的需要来增强安全性。基于角色转换的自动分配的许可能够减少改变许可所需的手动输入，并且由此减少人为错误的引入。这样的布置能够减少攻击向量的数量和对许多安全威胁的暴露。
除了改善系统的安全性之外，在本文中所公开的技术能够提供许多效率。例如，通过提供在通信会话的呈现者之间的自动转换，计算设备能够使用用于提供复杂共享范例的自定义许可集来以特定格式有效地显示信息。通过基于预定手势提供自动转换，用户能够专注于呈现，而不是花时间配置多个许可来转换到会议中的新呈现者。当信息被更准确地组织并且利用更少的手动输入时，用户在事件期间不太可能错过重要信息。这样的益处能够通过减少用户需要与计算设备交互以获得信息的次数来提高计算系统的效率，例如，延长会议、取回会议记录、请求先前共享内容的副本等。因此，能够减少诸如网络资源、存储器资源和处理资源的各种计算资源。
在本文中所公开的技术也提供了一种当将许可对齐到事件的特定角色时具有粒度控制级别的系统。这样的特征也能够带来更期望的用户体验。具体地，通过自动地控制用户界面转换和管理许可，系统能够减少用户需要与计算设备交互以控制呈现格式和更新安全许可的次数。这能够导致减少需要由用户执行的手动数据输入。通过减少针对手动输入的需要，能够减少无意中的输入和人为错误。这最终会导致减少不希望的许可和更有效地使用计算资源，诸如存储器使用、网络使用、处理资源等。
通过阅读下文的详细描述和回顾相关联的附图，除了上文明确描述之外的特征和技术优点将是显而易见的。提供本概要是为了以简化的形式引入概念的选择，这些概念在下文的详细描述中进一步描述。本概要不是为了识别所要求保护的主题的关键或基本特征，也不是为了用于帮助确定所要求保护的主题的范围。例如，术语“技术”可指上述上下文和整个文档所允许的系统、方法、计算机可读指令、模块、算法、硬件逻辑和/或操作。
附图说明
参考附图描述详细说明。在图中，参考数字的最左边的数字标识该参考数字首次出现在其中的图。不同图中相同的参考数字表示相似或相同的项目。对多个项目中的个体项目的引用可以使用带有字母序列中的字母的参考数字来引用每个单个项目。对项目的一般引用可以使用不具有字母序列的特定的参考数字。
图1A是用于在通信会话的呈现者之间提供自动转换的系统和示例性用户界面的框图。
图1B是示出了用于在通信会话的两个不同呈现者之间提供自动转换的过程的阶段的经更新的用户界面的示例。
图1C是示出了通信会话的呈现的用户界面的示例。
图2是用于在通信会话的呈现者之间提供自动转换的示例性用户界面的框图。
图3是示出了用于以并排格式提供次要呈现者的渲染的自动转换的过程的另一阶段的经更新的用户界面的示例。
图4是示出了用于在通信会话的两个不同呈现者之间提供自动转换的过程的第二阶段的经更新的用户界面的示例。
图5是示出了提供次要呈现者的渲染的自动转换的过程的另一阶段的经更新的用户界面的示例。
图6是示出了以并排格式提供次要呈现者的渲染的自动转换的过程的另一阶段的经更新的用户界面的示例。
图7是示出了用于提供次要呈现者的渲染自动转换到主要呈现区域的过程的另一阶段的经更新的用户界面的示例。
图8是示出了用于提供通信会话的两个不同呈现者之间的自动转换的例程的各方面的流程图，该例程提供了通信会话的两个不同呈现者之间的自动转换。
图9是图示了能够实现在本文中所提出的技术和技艺的各方面的计算系统的说明性计算机硬件和软件架构的计算机架构图。
图10是图示了能够实现在本文中提出的技术和技艺的各方面的计算设备的计算设备架构的计算机架构图。
具体实施方式
在本文中所公开的技术能够提供包括增强通信系统的安全性的多个技术效果。通过根据角色转换使特定许可的分配自动化，系统能够通过减少用户在事件期间执行手动步骤以改变许可的需要来增强安全性。基于角色转换自动分配许可能够减少改变许可所需的手动输入，并且由此减少人为错误的引入。这样的布置能够减少攻击向量的数量和对许多安全威胁的暴露。用户能够请求向特定用户界面区域呈现内容，并且作为响应，所述系统能够将该用户的角色改变为呈现者或次要呈现者。然后，所述系统能够改变该用户的许可，以在一段时间内或者直到会议从一个阶段转换到另一阶段时，在所请求的区域中显示内容。
除了改善系统的安全性之外，在本文中所公开的技术能够提供许多效率。例如，通过提供通信会话的呈现者之间的自动转换，计算设备能够使用用于提供复杂共享范例的自定义许可集来以特定格式有效地显示信息。通过响应于一个或多个预定手势来提供自动转换，用户能够专注于呈现，而不是花时间配置多个许可来转换到会议中的新呈现者。当信息被更准确地组织并且利用更少的手动输入时，用户在事件期间不太可能错过重要信息。这样的益处能够通过减少用户需要与计算设备交互以获得信息的次数来提高计算系统的效率，例如，延长会议、取回会议记录、请求先前共享内容的副本等。因此，能够减少诸如网络资源、存储器资源和处理资源等各种计算资源。在本文中所公开的技术也提供了一种当将许可对齐到事件的特定角色时具有粒度控制级别的系统。这样的特征也能够带来更期望的用户体验。具体地，通过自动地控制用户界面转换和管理许可，系统能够减少用户需要与计算设备交互以控制呈现格式和更新安全许可的次数。这能够导致减少需要由用户执行的手动数据输入。通过减少针对手动输入的需要，能够减少无意中的输入和人为错误。这最终能够导致减少不希望的许可和更有效地使用计算资源，诸如存储器使用、网络使用、处理资源等。
在本文中所公开的技术提供了用于通过控制视频流渲染的位置和控制通信会话的不同呈现者在用户界面转换期间对各种用户的许可来优化计算资源的使用并且改善用户参与的系统。在本文中所公开的技术也利用能够减少疲劳并且促进用户参与的共同模式用户界面。所公开的技术解决了许多技术问题。例如，所公开的技术解决了在现有通信系统中遇到的低效和问题，所述现有通信系统仅利用方框网格用户界面布置来显示视频会议的个体渲染参与者。
当用户界面主要依赖于常规的方框网格格式来显示用户渲染时，这样的布置会使参与者在视频会议期间难以解释许多非语言社交线索。这些类型的手势在面对面的会议中被用于指导各种类型的交互。有许多不同类型的非语言社交线索，诸如点头、面部线索、肢体语言等。这些非语言社交线索传达了许多不同的情感和意图。例如，非语言社交线索能够表明一个人有问题，或者一个人想说话，或者一个人同意或不同意。在一些情况下，非语言社交线索是如此自动，以至于观众成员甚至能够将他们的呼吸模式与演讲者的呼吸模式同步。在面对面的会议期间，人们不断地解释别人的眼球运动、姿势、他们的头是如何倾斜的等等，并且将意义归因于这些非语言线索。但是在使用网格布置的常规用户界面的视频通话中，这些动作不是诊断性的，这意味着它们没有提供关于正在发生什么的准确信息。现有系统的这样的缺点会导致用户疲劳，并且常常导致用户变得不投入。
在本文中所公开的共同模式特征提供了帮助虚拟会议的每个参与者传达非语言线索的许多益处。例如，共同模式用户界面能够被配置为给视频会议的参与者一个印象，即每个人都在大的虚拟镜子中看着整个小组。当使用共同模式用户界面时，视频会议的参与者能够相互注视、相互倚靠，等等。
相较于常规的方框网格用户界面布置，共同模式用户界面改变了整个用户体验。这是可能的，因为人们的大脑习惯于基于他们的位置来识别其他人，而共同模式UI被设计为管理用户的位置。人们在共同模式UI中的定位方式能够帮助每个人更容易地看到非语言的社交线索，并且告诉他们如何响应彼此。共同模式UI使得参与者能够利用大脑中的社会和空间感知机制。这使得参与者的大脑能够更自然地运作，并且提供更丰富的用户体验，而不会导致疲劳。当通过共同模式UI观看视频会议时，用户能够实践他们在现实生活中会做的一些自然社交信号，例如，在面对面会议期间可能发生的社交信号。
在本公开的技术效果的另一示例中，共同模式UI使得用户能够保持眼神交流。这有助于解决一些现有的基于网格的视频会议系统的已知问题，这些系统存在凝视未对准问题。尽管视频会议系统在过去几十年中变得更加稳健和稳定，但是没有真正改善用户体验，使得其能够广泛使用。多年来，网格格式基本上是一样的，并且这样的格式已经已知被认为会导致视频通话疲劳。例如，在现实生活中，如果某人的脸在一个人的视觉领域中显得很突出，则通常会导致该人触发打架或逃避反应。在这种状态下，该人是警觉的和高度敏感的，这导致自动和潜意识的放大反应，该人的心率会不必要地升高。在视频通话中，常常存在网格，其中，多个面孔填满了盒子，有些可能会以不成比例的尺寸缩放。在那些常规的UI布置中，用户体验对一个人的神经系统来说是难以承受的。
共同模式UI能够为用户手势提供添加的上下文，所述上下文通过在虚拟环境内定位个体的渲染并且维护每个用户的渲染的位置来实现更有效的通信。例如，当用户知道他们在就座布置内被定位在一个人旁边时，头部运动对每个人都有实际意义。每个人的手势和细微的移动都有一种面对面会议感觉，并且移动不会造成常规网格格式UI中出现的混乱。在一些配置中，共同模式UI可能涉及用于缩放个体渲染的过程，以帮助给出每个人都在同一房间的外观。这些特征能够帮助系统减少混乱，并且有助于减少疲劳。这些益处能够有助于使用户与计算机的交互更加准确和逼真，同时在用户之间提供更有效的沟通。
共同模式UI也使得用户能够使用自然的认知大脑功能轻松地定位个体并且解释非语言社交线索。这样的特征能够减轻用户疲劳并且促进用户参与，因为通信会话的参与者不太可能错过重要信息，并且减少用户参考记录、替代通信方法或延长会议的需要，所有这些都会导致计算资源的低效使用。共同模式特征的益处能够减少对网络、处理器、存储器或者其他计算资源的冗余使用。
这些益处也能够减少由于缺乏用户参与而错过重要信息时用户必须查看记录或者与他人沟通时可能导致的用户无意输入和其他错误的可能性。当视频会议的参与者由于缺乏用户参与而错过重要信息时，可能需要系统取回、通信和处理信息的多个副本。
现在参考图1A，下文示出并且描述了具有共同模式区域131B的用户界面101A的各方面。在该示例中，个体用户10正在使用设备11来参与通信会话603。每个设备11能够个体地显示用户界面101A，所述用户界面101A包括主要呈现区域131A、出席者图像区域131B以及出席者队列区域131C。主要呈现区域131A能够包括呈现内容103的显示和呈现者102X的渲染。所述系统能够存储允许呈现者102X控制内容103在每个用户的用户界面101A上的显示的许可数据。出席者图像区域131B在本文也被称为共同模式区域131B，能够包括从远程设备11A-11L个体通信的多个参与者10A-10L的视频流的个体渲染102A-102L。出席者队列区域131C能够示出每个参与者10A-10L的状态。
如所示的，共同模式区域131B的个体渲染102A-102L各自具有相对于虚拟环境110的就座配置的位置。该示例是出于说明性目的而提供的，因为虚拟环境110能够是任何形式的，诸如办公室、会议室、礼堂、体育场等。在图1A中所示的用户界面能够生成以用于在所述设备中的任意一个设备处显示，并且能够显示任意数量的参与者。
在一些配置中，共同模式区域131B为会议中的每个人提供相同的视图，并且针对参与者的就座布置不随时间而改变。更具体而言，用户渲染的布置，例如，渲染之间的顺序和间距，在每个设备上是相同的。这与一些常规的网格视图不同，这些网格视图在每个人的屏幕上的不同位置示出参与者的视频，并且在通话期间基于谁在发言或者谁加入或离开会议来移动方框。由于大脑的一个区域专门用于空间记忆，所以共同模式的一致性提供了许多益处，以减少视频会议的每个用户的认知负荷和疲劳。
共同模式涉及用户界面布置，所述用户界面布置给通信会话的参与者一种他们在同一个房间的感觉。通常，当应用启用共同模式时，应用生成将通信会话的参与者布置在一个共享空间中的用户界面。在一些配置中，每个参与者的图像能够根据虚拟环境的就座布置来布置。这种用户界面布置使得每个参与者都能感觉到与其他参与者有更多的联系。这种用户界面布置能够用于会议、咖啡休息、公司全体会议、体育赛事或者任何其他类型的聚会。
在一些配置中，使用从参与者的周围环境中移除包括背景的图像的任何成分的一致性裁剪过滤器来生成每个参与者10的个体渲染102。接收并且处理由在参与者的设备11处的相机生成的每个视频流，以产生根据用户的图像和用户可能佩戴的任何附件(诸如帽子、珠宝等)来赋形的渲染102。因此，当参与者的赋形图像位于虚拟环境的图像之上时，所述系统能够给出参与者与通信会话的其他参与者在虚拟环境中的外观。这些赋形渲染102允许观看者聚焦于所描绘的人而不受其物理环境的图像的干扰。
参与者的每个渲染102的尺寸也可以被标准化，以给出参与者在同一房间中的外观。在一些示例中，能够在彼此的阈值尺寸差内调整渲染102的尺寸或者进行缩放，或者能够根据适合于特定虚拟环境的预定维度来调整渲染102的尺寸或者进行缩放。例如，对于小组会议，每个参与者的每个渲染能够被缩放以适合所描述的座位、桌子等。这些调整使得系统能够给出每个人在给定的设置中坐在一起的外观，例如，办公室、会议室、体育场等。这些特征是对仅具有方框网格的常规用户界面布置的进步。共同模式特征有助于创建对视频会议感觉有深远影响的环境。
在一些实施例中，系统100能够通过在会议的呈现者之间的转换期间控制内容项和渲染的布局来进一步提高共同模式格式的技术益处并且增加系统的安全效率。在本文中所公开的技术能够响应于观众成员的预定手势和/或呈现者的一个或多个动作而执行多个转换。用户界面转换的一个示例在图1A和图1B中被示出。在该示例中，系统能够以在图1A中所示的用户界面格式101A开始。在该示例中，在显示内容103的主要呈现区域131A中或附近显示呈现者10X。在该示例中，所述系统能够从观众(用户10A-10L)接收输入。
在该示例中，从用户10J的计算设备11J接收输入。所述输入能够指示共享内容的请求。所述内容能够包括实时视频数据、记录、文件数据或者任何其他内容和其他媒体形式。所述输入能够包括来自键盘、相机或计算设备11J的任何其他传感器的输入。例如，输入能够是键盘输入、触摸板输入或者视频输入，定义特定手势能够指示用户希望与他人共享信息并且将系统转换到以呈现模式操作。在一些配置中，能够通过接收定义由用户执行的预定手势的视频数据来生成输入。这能够包括计算设备11J上的相机。在一些配置中，当设备11J的视频数据定义由用户10J执行的预定手势时，所述系统能够生成输入。所述预定手势能够包括用户的手在向上方向上的移动。所述预定手势也能够包括用户的手在向上方向上的移动，其中，所述预定手势包括用户的手抬起预定高度的移动。
如在图1B中所示的，响应于接收到指示共享内容的请求的输入，所述系统能够引起从图1A的第一用户界面格式101A转换到在图1B中所示的经更新的用户界面格式101C。在图1B中所示的用户界面格式101C能够包括主要呈现区域131A、出席者图像区域131B、出席者队列区域131C以及次要呈现区域131D。经更新的用户界面格式101C的出席者图像区域131B(例如，共同模式区域)显示与用户10J的渲染102J相关联的一个或多个图形元素201，以指示由用户10J提供的输入。在该示例中，第一图形元素201能够包括围绕提供所述输入的用户102J的渲染的圆圈201A。图形元素201也能够包括示出举起的手201B的图形。
另外，经更新的用户界面101C能够示出在次要呈现者显示区域131D中自动显示的队列中的下一个出席者的视频。在一些实施例中，经更新的用户界面格式101C的出席者队列区域131C也能够显示指示用户10J的输入的第二图形元素202。该第二图形元素202能够与用户10J的标识符203相关联地显示。能够通过将第二图形元素202与提供输入的用户10J的标识符203对齐来进行关联。也能够通过将第二图形元素202定位在提供所述输入的用户10J的标识符203的预定距离内来进行所述关联。出席者队列区域131C能够具有在队列204中被排序的会议出席者的列表。标识符203在用户队列204中的位置能够指示用户10J是即将到来的呈现者。例如，在该示例中，对提供所述输入的用户的文本引用被移动到列表的顶部，以指示该用户作为下一个呈现者在队列中。第二用户界面格式101C的出席者队列区域131C还包括用户10J的第二渲染102J'。该渲染能够是实时视频馈送，或者是表示提供所述输入的用户的任何合适的图形元素。第二渲染102J'能够被定位在用户队列204中用户的标识符203附近。如在本文中的其他实施例中所描述的，第二渲染102J'的位置能够重叠出席者队列区域131C的一部分。第二渲染102J'也能够移动到允许将第二渲染102J'放置在与出席者队列区域131C并排配置中的位置。
所述系统也能够更新允许请求用户10J向次要呈现者显示区域131D提供内容(例如，视频数据或者文件数据)的许可数据714(图10)。所述系统也能够响应于一个或多个事件的检测，例如，第一呈现者10X已经完成呈现，或者当第一呈现者10X提供授权请求用户10J向主要呈现区域131A提供数据(“写入”)的输入时，改变许可数据714，以允许请求用户10J与主要呈现区域131A共享内容。
在一些配置中，在图1A和图1B中所示的用户界面格式101A和1010C能够被显示给具有预定角色或预定许可集的指定用户。例如，这样的用户界面格式能够仅被显示给具有预定角色的用户，诸如呈现者、管理员、调解人、制作者等。在这样的实施例中，具有其他角色的用户(诸如呈现的一般观众成员)被限制接收在图1A和图1B中所示的用户界面格式。因此，在图1A和图1B的示例中，将限制用户102A-102L的计算设备11A-11L显示在图1A和图1B中所示的用户界面格式101A和1010C。
通过将在图1A和图1B中所示的用户界面格式101A和1010C专门显示给指定用户，所述系统能够允许具有特定角色的用户(诸如会议生产者)控制到主要呈现区域131A的内容。这允许会议生产者或者具有适当许可的其他用户控制在主要呈现区域131A的主舞台上显示的内容，并且利用在出席者队列区域131C内生成的提示。在这样的配置中，会议生产者能够从队列中选择将被提升到主要呈现区域131A的呈现者。另外，会议生产者也能够拒绝共享内容的请求并且从队列中删除用户名。会议生产者也能够控制显示，例如，从主要呈现区域131A移除主要呈现者102X的渲染和共享内容103。在图1A和图1B所示的用户界面格式101A和1010C指向诸如生产者之类的指定用户的实施例中，所述系统能够生成观众用户界面格式151，其示例在图1C中被示出。观众用户界面格式151能够被显示在具有用于观看内容的特定角色的计算设备11A-11L上，例如，具有观看内容的许可和发送共享内容的请求的许可的观众成员。这样的用户可能被限制与其他观众成员共享文件和音频。
在一些实施例中，观众用户界面格式151能够包括主要呈现区域131A和共同模式区域131B。观众用户界面格式151不包括出席者队列区域131C或者显示呈现者队列。观众用户界面格式151的主要呈现区域131A能够包括呈现内容103的显示和呈现者102X的渲染。观众用户界面格式151的出席者图像区域131B能够包括从远程设备11A-11L个体通信的多个参与者10A-10L的视频流的个体渲染102A-102L。
尽管上述示例图示了从图1A的第一用户界面101A开始并且转换到经更新的用户界面101C的实施例，但是能够意识到，该转换可以包括过渡转换或者转换到其他用户界面格式。例如，图2至图7示出了当用户作为呈现者提供共享内容的请求时可能发生的一系列用户界面和许可转换。一般而言，这些转换在用户界面的不同区域内提供不同类型的通知，以向特定用户警告用户的请求。该示例也示出了基于检测到一个或多个事件来从一个位置移动到另一个位置的次要视频的转换。尽管该示例示出了用户界面在转换的不同阶段的状态，但是能够意识到，出于适应不同用户场景的目的，用户界面能够从任何状态转换到另一状态。例如，图1A和图IB示出了用户界面在图2与图4所示的版本之间的转换。然而，在一些实施例中，所述系统可以提供从图2所示的各版本之间的用户界面直接转换到图6。其他实施例可以包括在本文中所公开的各种用户界面之间的转换的任意组合。
与图1A的用户界面101A类似，图2示出了处于用户10X积极参与提供呈现的状态下的用户界面101A。在该状态下，用户界面101A能够包括主要呈现区域131A、出席者图像区域131B和出席者队列区域131C。主要呈现区域131A能够包括呈现内容103的显示和呈现者102X的渲染。所述系统能够存储和利用许可数据以允许呈现者102X控制内容103在用户界面101A上的显示，内容103能够被显示给每个用户10。出席者图像区域131B在本文也被称为共同模式区域131B，能够包括从远程设备11A-11L个体通信的多个参与者10A-10L的视频流的个体渲染102A-102L。出席者队列区域131C能够示出每个参与者10A-10L的状态，包括参与者排队等待角色转换到呈现者角色的顺序。
如在图3中所示的，响应于接收来自用户10J的输入，其中，输入指示共享内容的请求，系统能够引起从图2的第一用户界面格式101A到在图3中所示的经更新的用户界面格式101B的转换。在该示例中，在图2中所示的用户界面101B包括主要呈现区域131A、出席者图像区域131B和出席者队列区域131C。在该实施例中，可以仅在稍后时间显示次要呈现区域131D显示区域，或者可以响应于输入而不显示次要呈现区域131D。在该实施例中，经更新的用户界面格式101B的出席者图像区域131B显示与用户10J的渲染102J相关联的一个或多个图形元素201，以指示由用户10J提供的输入。在该示例中，第一图形元素201包括围绕提供输入的用户102J的渲染的圆圈201A。图形元素201也能够包括示出举起的手201B的图形。
系统还能够使得在出席者队列区域131C中显示通知和次要呈现者显示区域131D。该示例在图4中被示出。图4的经更新的用户界面101C可以在显示经更新的用户界面101B之后的预定时间延迟之后显示。在该示例中，经更新的用户界面101C示出队列中下一用户的视频。在一些实施例中，经更新的用户界面格式101C的出席者队列区域131C也能够显示指示用户10J的输入的第二图形元素202。该第二图形元素202能够与用户10J的标识符203相关联地显示。能够通过将第二图形元素202与提供输入的用户10J的标识符203对齐来进行关联。也能够通过将第二图形元素202定位在提供输入的用户10J的标识符203的预定距离内来进行关联。
在一些配置中，所述用户界面能够提供个体操作状态之间的动画转换。例如，在图4中所示的用户界面101C能够转换到在图6中所示的用户界面101C。如在图4中所示的，用户界面的这种状态包括主要呈现区域131A、出席者图像区域131B、出席者队列区域131C和次要呈现区域131D。在该配置中，次要呈现区域131D位于出席者队列区域131C的一部分之上。该用户界面布置使得所述系统能够提供次要呈现区域131D与标识符之间的图形关联，例如，提供共享内容的请求的用户的名称或缩略图。
如在图4与图5之间的转换所示的，次要呈现区域131D能够从使次要呈现区域131D覆盖用户队列204的至少一部分的位置移动到使得次要呈现区域131D相对于用户队列204处于非重叠布置的新位置。在一些配置中，相对于用户队列204的非重叠布置能够包括在图6中所示的并排布置。
所述系统也能够引起另一转换，以允许请求用户10J在主要呈现区域131A中显示用户10J I的渲染102J，如在图7中所示的。该用户界面101F格式也能够包括对系统许可的修改，所述修改能够允许请求用户10J对主要呈现区域131A具有控制，并且在该区域中提供视频或者在该区域中提供内容104的显示。
当所述系统检测到新事件时，会发生这些转换。例如，当第一呈现者102X完成呈现的一个阶段、提供批准请求用户以将他或她的渲染转换到特定状态的输入时，能够发生所公开的任意转换，或者所述转换能够基于预定的时间表。例如，当系统包括会议的阶段，例如，介绍、呈现和Q&A时，所述转换可能发生在每个阶段开始的末尾。例如，从图4的用户界面101C到图5的用户界面101D格式或图6的用户界面101E格式的转换可以在会议转换到Q&A阶段时产生。这些转换能够基于来自用户的输入或者基于计时时间表进行。基于诸如在本文中所描述的时间阈值或用户输入之类的事件和检测到的条件，能够从在本文中所公开的任意用户界面101格式发生转换的任意组合。
在一些配置中，所述队列也能够导致设备在一个或多个时间限制上采取动作。能够有两种类型的时间限制，例如超时。第一时间限制能够基于开始呈现的用户动作。当给用户发言时间时，例如，他们被选择向主舞台呈现内容时，他们具有预定的时间来共享内容。如果他们没有共享内容或者没有在该时间限制内开始发言，则所述系统能够撤销共享内容的任何许可，并且所述系统能够选择队列中的下一个呈现者。
第二时间限制是基于用户的呈现的。当给用户发言时间时，例如，他们被呈现在舞台上时，该用户能够被分配预定的时间限制。所述队列能够被自动化，从而当该人的时间到时，舞台移动到队列中的下一个呈现者。该过程能够自动地完成，或者所述过程也能够由具有适当凭证的人的用户输入来手动地完成。例如，具有生产者角色的人能够终止针对特定用户的呈现会话，由此改变他们共享内容的许可，并且选择队列中的人员。所述队列中被选择的下一个人被分配共享内容的许可，而结束呈现的人被限制共享内容。在许多其他技术益处中，这些特征允许队列保持最新，并且有助于会议的进展。
图8是图示了用于在通信会话的呈现者之间提供自动转换的例程600的各方面的图。本领域的普通技术人员应当理解，在本文中所公开的方法的操作不一定以任何特定顺序呈现，并且以替代顺序执行一些或全部操作是可能的并且是可以设想的。为了便于描述和说明，这些操作已经按照演示顺序进行了呈现。在不背离所附权利要求的范围的情况下，可以添加、省略、一起执行和/或同时执行操作。
也应当理解，所例示说明的方法可以在任何时候结束，并且不需要全部执行。方法的一些或全部操作和/或基本等效的操作可以通过执行包括在计算机存储介质上的计算机可读指令来执行，如本文所定义的。如说明书和权利要求中所使用的术语“计算机可读指令”及其变体在本文被扩展地用于包括例程、应用、应用模块、程序模块、程序、组件、数据结构、算法等。计算机可读指令可以在各种系统配置上实现，包括单处理器或多处理器系统、小型计算机、大型计算机、个人计算机、手持计算设备、基于微处理器的可编程消费电子设备、其组合等。尽管下文描述的示例性例程在例如一个或多个计算设备的系统上操作，但是可以理解，该例程可以在任何计算系统上执行，该计算系统可以包括协同工作以执行在本文中所公开的操作的任何数量的计算机。
因此，应当意识到，在本文中所描述的逻辑操作被实现为在诸如在本文中所描述的那些计算系统上运行的计算机实现的动作或程序模块的序列，和/或被实现为计算系统内的互连机器逻辑电路或电路模块。实现方式是取决于计算系统的性能和其他要求的选择问题。因此，逻辑操作可以以软件、固件、专用数字逻辑以及其任意组合来实现。
另外，在图8和其他图中所图示的操作能够与上文所描述的示例性呈现用户界面UI相关联地实现。例如，在本文中所描述的各种设备和/或模块能够生成、发送、接收和/或显示与通信会话的内容相关联的数据，例如，直播内容、广播事件、记录内容等，和/或包括远程计算设备的一个或多个参与者的渲染、化身、信道、聊天会话、视频流、图像、虚拟对象和/或与通信会话相关联的应用的呈现UI。
例程800包括操作802，其中，所述系统使得一个或多个计算设备显示第一用户界面格式101A，其包括主要呈现区域131A、出席者图像区域131B和出席者队列区域131C。主要呈现区域131A能够包括呈现内容103(诸如文件的内容)的显示，以及呈现者102X的渲染，呈现者102X在本文也被称为第一呈现者、原始呈现者或主要呈现者。出席者图像区域131B在本文也被称为共同模式区域，能够包括从远程计算设备11A-11L个体通信的多个参与者10A-10L的视频流的个体渲染102A-102L，其中，个体渲染102A-102L各自具有相对于虚拟环境110的就座配置的位置。每个计算机11能够允许参与者10通过通信会话603进行通信，通信会话603能够配置有实时音频和实时视频以及内容共享特征。
主要通信会话用户界面和在本文中所公开的其他用户界面布置能够通过用于从诸如客户端设备的远程计算设备接收视频流的操作来生成。所述流能够由客户端设备或服务器设备接收。所述流能够包括人的图像和人周围环境的背景。所述系统能够对所述视频流中的每个视频流应用处理过滤器以从所述图像中移除背景。然后，所述系统能够调整视频流，使得所述视频流能够生成根据该人的图像赋形的渲染。所述系统也能够将每个人的图像缩放到预定尺寸以与虚拟环境的就座配置兼容，或者将所述图像中的每幅图像归一化以给出每个人在同一房间中的外观。
接下来，在操作804处，所述系统接收指示共享内容的请求的输入数据。要共享的内容能够是视频数据和/或文件内容的形式。所述请求能够是共享会议用户界面的特定区域中的内容的特定请求，诸如呈现者区域或出席者队列区域131C。
接下来，在操作806处，所述系统能够使得从图1A的第一用户界面格式101A转换到如在图1B中所示的包括主要呈现区域131A的第二用户界面格式101C。第二用户界面格式101C能够包括出席者图像区域131B、出席者队列区域131C和次要呈现区域131D，其可以为提供请求的用户显示实时视频或图像。所述转换能够响应于接收到指示共享内容的请求的输入。
在一些配置中，所述系统能够生成图形通知，诸如在共同模式区域中带有举起的手图像的圆圈。因此，在一些配置中，第二用户界面格式101C的出席者图像区域131B能够显示与用户10J的渲染102J相关联的第一图形元素201，以指示由用户10J提供的输入。在一些配置中，所述系统能够在出席者队列区域131C中生成图形通知，诸如圆圈和/或举起的手图像。另外，出席者队列区域131C能够包括能够基于接收到的请求的定时来修改的用户列表。例如，如果第二用户10B在另一用户10J之后提供共享内容的请求，则队列将另一用户10J列为下一个呈现者，然后第二用户10B将被列为第二个即将到来的呈现者。因此，在一些实施例中，第二用户界面格式101C的出席者队列区域131C能够显示用于提供对用户10J的输入的通知的第二图形元素202。另外，第二图形元素202能够与用户10J的标识符203相关联地显示。这允许其他出席者查看用户列表上谁举起了手，所述用户列表能够基于根据请求的定时的顺序进行排序。在一些配置中，第二用户界面格式101C的出席者队列区域131C能够包括用户10J的第二渲染102J'。在一些配置中，用户10J的第二渲染102J'能够被显示在出席者队列区域131C之外，并且与主要呈现区域131A同时地显示，所述主要呈现区域131A可以示出原始呈现者的渲染。
在操作808中，所述系统能够基于一个或多个事件导致对用户界面的第二更新。在一个示例中，所述系统能够导致从图4或图6的用户界面格式到图7的用户界面格式的转换。这意味着下一讲话者(例如，待命的讲话者)能够移动到会议的主舞台。在该实施例中，所述系统能够将用户10J的第二渲染102J'转换到主要呈现区域131A。在一些实施例中，所述系统也能够从出席者图像区域131B移除用户的渲染102J。
在操作810中，所述系统能够导致用户界面的转换以将请求用户的渲染102J'移动到不与另一图形特征重叠的位置，诸如队列、用户的另一渲染或者用户的标识符。在一些配置中，操作810能够包括将请求用户10J的渲染移动到移除禁止显示另一图形特征的任何重叠的位置和/或尺寸的任何功能。可以在预定时间段之后，响应于原始呈现者的输入，或者在原始呈现者完成呈现的一个阶段之后等等，来执行该转换(例如，请求用户的渲染的移动)。
在本文中所公开的例程和其他方面的技术效果包括减少为用户提供通信会话的计算系统所使用的带宽和计算周期的量。这是通过使用许可管理、UI的自动化以及为用户组提供更多凝聚力的共同模式特性来实现的，其导致在每个人与其相应的计算机之间的改善的交互。此外，通过提供受控的用户界面转换与许可转换，系统能够提高用户参与度并且减少用户疲劳。这能够通过允许用户并且避免需要额外的会议来讨论错过的信息、请求错过的信息的电子邮件、需要重放会议记录等来提高会议的效率。结果，所公开的系统和方法能够显著地减少存储器的使用、计算周期和带宽利用率。
图9是示出其中系统602可以实现在本文中所公开的技术的示例性环境600的图。应当理解，上述主题可以被实现为计算机控制的装置、计算机过程、计算系统，或者被实现为诸如计算机可读存储介质的制品。示例性方法的操作在单个框中被示出，并且参考那些框进行总结。所述方法被示为框的逻辑流，其每个框可以表示可以在硬件、软件或者其组合中实现的一个或多个操作。在软件的上下文中，操作表示存储在一个或多个计算机可读介质上的计算机可执行指令，所述计算机可执行指令在由一个或多个处理器执行时，使得一个或多个处理器能够执行所述操作。
通常，计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、模块、组件、数据结构等。描述操作的顺序并不旨在被解释为限制，并且任意数量的所描述操作可以以任意顺序执行，以任意顺序组合，被细分为多个子操作，和/或被并行执行以实现所描述的过程。所描述的过程可以由与诸如一个或多个内部或外部CPU或GPU的一个或多个设备和/或诸如现场可编程门阵列(“FPGA”)、数字信号处理器(“DSP”)或者其他类型的加速器的一个或多个硬件逻辑相关联的资源来执行。
上文所描述的所有方法和过程可以体现在由一个或多个通用计算机或处理器执行的软件代码模块中，并通过该软件代码模块完全自动化。代码模块可以存储在任何类型的计算机可读存储介质或者其他计算机存储设备中，例如下文描述的那些。这些方法中的一些或全部可替代地体现在诸如下文描述的专用计算机硬件中。
在本文中所描述和/或在附图中所描绘的流程图中的任何例程描述、元素或框应当被理解为潜在地表示包括用于实现例程中的特定逻辑功能或元素的一个或多个可执行指令的代码的模块、段或部分。替代实现方式包含于在本文中所描述的示例的范围内，其中根据所涉及的功能，可以删除元素或功能，或者与所示或所讨论的顺序不同的顺序执行，包括基本上同步地或以相反的顺序执行，如本领域技术人员所理解的。
在一些实现方式中，系统602可以用于收集、分析和共享显示给通信会话603的用户的数据。如所图示的，通信会话603可以在与系统602相关联或者作为系统602的一部分的多个客户端计算设备606(1)至606(N)(其中，N是值为2或更大的数字)之间实现。客户端计算设备606(1)至606(N)使用户(也被称为个人)能够参与通信会话603。
在该示例中，通信会话603由系统602在一个或多个网络608上托管。亦即，系统602可以提供使得客户端计算设备606(1)至606(N)的用户能够参与通信会话603的服务(例如，经由实时观看和/或记录观看)。因此，通信会话603的“参与者”可以包括用户和/或客户端计算设备(例如，多个用户可以在房间中通过使用单个客户端计算设备参与通信会话)，每个用户和/或客户端计算设备可以与其他参与者通信。作为替代方案，通信会话603可以由客户端计算设备606(1)至606(N)中的一个利用对等技术来托管。系统602也能够托管聊天对话和其他团队协作功能(例如，作为应用套件的一部分)。
在一些实现方式中，这样的聊天会话和其他团队协作功能被认为是不同于通信会话603的外部通信会话。收集通信会话603中的参与者数据的计算系统602能够链接到这样的外部通信会话。因此，系统可以接收诸如日期、时间、会话细节等的信息，这些信息能够连接到这样的外部通信会话。在一个示例中，能够根据通信会话603来进行聊天对话。另外，系统602可以托管通信会话603，通信会话603至少包括共同位于诸如会议室或礼堂之类的会议位置或者位于不同位置的多个参与者。通信会话603能够包括开始时间和结束时间，其能够确定何时能够共享视频流和实时音频。文本和内容能够在开始时间和结束时间之外共享。
在本文中所描述的示例中，参与通信会话603的客户端计算设备606(1)至606(N)被配置为接收通信数据并且在显示屏的用户界面上渲染以进行显示。通信数据可以包括实时内容和/或记录内容的各种实例或流的集合。实时内容和/或记录内容的各种实例或流的集合可以由一个或多个相机(例如视频相机)来提供。例如，实时或记录内容的个体流可以包括与由视频相机提供的视频馈送相关联的媒体数据(例如，捕获参与通信会话的用户的外观和语音的音频和视觉数据)。在一些实现方式中，视频馈送可以包括这样的音频和视觉数据、一幅或多幅静止图像和/或一个或多个化身。一幅或多幅静止图像还可以包括一个或多个化身。
实时或记录内容的个体流的另一示例可以包括具有参与通信会话的用户的化身以及捕获用户的语音的音频数据的媒体数据。实时或记录内容的个体流的又一示例可以包括具有显示在显示屏上的文件以及捕获用户的语音的音频数据的媒体数据。因此，通信数据内的实时或记录内容的各种流能够促进一组人之间的远程会议和该组人内的内容共享。在一些实现方式中，通信数据内的实时或记录内容的各种流可以源自多个位于诸如房间之类的空间中的共同定位的视频相机，以记录或直播包括一个或多个个体呈现和一个或多个个体消费呈现内容的呈现。
参与者或出席者能够在活动发生时实时查看通信会话603的内容，或者替代地，在活动发生后的稍后时间经由记录查看通信会话603的内容。在本文中所描述的示例中，参与通信会话603的客户端计算设备606(1)至606(N)被配置为接收通信数据并且在显示屏的用户界面上渲染以进行显示。通信数据可以包括各种实例或实时和/或记录内容的流的集合。例如，内容的个体流能够包括与视频馈送相关联的媒体数据(例如，捕获参与通信会话的用户的外观和语音的音频和视觉数据)。内容的个体流的另一示例可以包括具有参与会议会话的用户的化身以及捕获用户的语音的音频数据的媒体数据。内容的个体流的又一示例可以包括具有显示在显示屏上的内容项和/或捕获用户语音的音频数据的媒体数据。因此，通信数据内的各种内容流使得能够在分散在远程位置的一组人之间促进会议或广播呈现。
通信会话的参与者或出席者是在相机或者其他图像和/或音频捕获设备范围内的人，使得在该人正在观看和/或收听经由通信会话共享的内容时产生的该人的动作和/或声音可以被捕获(例如，记录)。例如，参与者可以坐在人群中，在发生舞台呈现的广播位置实时观看共享内容。或者参与者可以坐在办公室会议室中，通过显示屏查看与其他同事的通信会话的共享内容。甚至进一步，参与者可以坐在或站在个人设备(例如，平板计算机、智能电话、计算机等)前面，在他们的办公室或家中单独查看通信会话的共享内容。
图9的系统602包括设备610。设备610和/或系统602的其他组件可以包括经由一个或多个网络608彼此通信和/或与客户端计算设备606(1)至606(N)通信的分布式计算资源。在一些示例中，系统602可以是独立的系统，其任务是管理诸如通信会话603的一个或多个通信会话的各方面。作为示例，系统602可以由诸如SLACK、WEBEX、GOTOMEETING、GOOGLEHANGOUTS等实体管理。
网络608可以包括例如，诸如互联网的公共网络、诸如机构和/或个人内联网的专用网络，或者专用网络和公共网络的某种组合。网络608还可以包括任何类型的有线和/或无线网络，包括但是不限于局域网(“LAN”)、广域网(“WAN”)、卫星网络、电缆网络、Wi-Fi网络、WiMax网络、移动通信网络(例如，3G、4G等)或者其任何组合。网络608可以利用通信协议，包括基于分组和/或基于数据报的协议，例如互联网协议(“IP”)、传输控制协议(“TCP”)、用户数据报协议(“UDP”)或者其他类型的协议。此外，网络608还可以包括促进网络通信和/或形成网络的硬件基础的多个设备，例如交换机、路由器、网关、接入点、防火墙、基站、中继器、骨干设备等。
在一些示例中，网络608还可以包括能够连接到无线网络的设备，例如无线接入点(“WAP”)。示例支持通过在各种电磁频率(例如，射频)上发送和接收数据的WAP，包括支持电气和电子工程师协会(“IEEE”)802.11标准(例如，802.11g、802.11n、802.11ac等)和其他标准的WAP。
在各种示例中，设备610可以包括在集群或者其他分组配置中操作以共享资源、平衡负载、提高性能、提供故障转移支持或冗余或用于其他目的的一个或多个计算设备。例如，设备610可以属于各种类别的设备，例如常规服务器类型设备、台式计算机类型设备和/或移动类型设备。因此，尽管被示出为单一类型的设备或服务器类型的设备，但设备610可以包括多种设备类型，并且不限于特定类型的设备。设备610可以表示但是不限于服务器计算机、台式计算机、web服务器计算机、个人计算机、移动计算机、膝上型计算机、平板计算机或任何其他类型的计算设备。
客户端计算设备(例如，客户端计算设备606(1)至606(N)之一)(其中，每一个在本文也被称为“数据处理系统”)可以属于各种类型的设备，这些设备可以与设备610相同或不同，例如常规客户端类型设备、台式计算机类型设备、移动类型设备、专用类型设备、嵌入类型设备和/或可穿戴类型设备。因此，客户端计算设备可以包括但是不限于：台式计算机、游戏机和/或游戏设备、平板计算机、个人数据助理(“PDA”)、移动电话/平板混合设备、膝上型计算机、电信设备、计算机导航型客户端计算设备，如基于卫星的导航系统，包括全球定位系统(“GPS”)设备、可穿戴设备、虚拟现实(“VR”)设备、增强现实(“AR”)设备、植入计算设备、汽车计算机、网络支持电视、瘦客户端、终端、物联网(“IOT”)设备、工作站、媒体播放器、个人视频记录器(“PVR”)、机顶盒、相机、用于包括在计算设备、家电或任何其他类型的计算设备中的集成组件(例如，外围设备)。此外，客户端计算设备可以包括客户端计算设备的早先列出的示例的组合，例如台式计算机类型的设备或移动类型的设备与可穿戴设备的组合等。
各种类别和设备类型的客户端计算设备606(1)至606(N)可以表示具有诸如经由总线616可操作地连接到计算机可读介质694的一个或多个数据处理单元692的任何类型的计算设备，在一些情况下，总线616可以包括系统总线、数据总线、地址总线、PCI总线、微型PCI总线以及任何种类的本地、外围和/或独立总线中的一个或多个。
存储在计算机可读介质694上的可执行指令可以包括例如操作系统619、客户端模块620、简档模块622以及可由数据处理单元692加载和执行的其他模块、程序或应用。
客户端计算设备606(1)至606(N)还可以包括一个或多个接口624，以使得客户端计算设备606(1)至606(N)与诸如设备610之类的其他网络设备之间能够通过网络608进行通信。这样的网络接口624可以包括一个或多个网络接口控制器(NIC)或者其他类型的收发机设备，以通过网络发送和接收通信和/或数据。此外，客户端计算设备606(1)至606(N)可以包括输入/输出(“I/O”)接口(设备)626，其支持与输入/输出设备进行通信，例如包括外围输入设备(例如，游戏控制器、键盘、鼠标、笔、诸如麦克风的语音输入设备、用于获得和提供视频馈送和/或静止图像的视频相机、触摸输入设备、手势输入设备等)的用户输入设备和/或包括外围输出设备(例如，显示器、打印机、音频扬声器、触觉输出设备等)的输出设备。图9示出了客户端计算设备606(1)以某种方式连接到显示设备(例如，显示屏629(N))，其可以根据在本文中所描述的技术显示UI。
在图9的示例性环境600中，客户端计算设备606(1)至606(N)可以使用它们相应的客户端模块620彼此连接和/或与其他外部设备连接，以便参与通信会话603，或者为了向协作环境贡献活动。例如，第一用户可以利用客户端计算设备606(1)与另一客户端计算设备606(2)的第二用户通信。当执行客户端模块620时，用户可以共享数据，这可以导致客户端计算设备606(1)通过网络608连接到系统602和/或者其他客户端计算设备606(2)至606(N)。
客户端计算设备606(1)至606(N)可以使用它们相应的简档模块622来生成参与者简档(图9中未示出)，并且将参与者简档提供给其他客户端计算设备和/或系统602的设备610。参与者简档可以包括用户或一组用户的身份(例如，名称、唯一标识符(“ID”)等)、诸如个人数据的用户数据、诸如位置(例如，IP地址、建筑物中的房间等)的机器数据和技术能力等中的一个或多个。参与者简档可以用于为通信会话注册参与者。
如在图9中所示的，系统602的设备610包括服务器模块630和输出模块632。在该示例中，服务器模块630被配置为从诸如客户端计算设备606(1)至606(N)的个体客户端计算设备接收媒体流634(1)至634(N)。如上所述，媒体流可以包括视频馈送(例如，与用户相关联的音频和可视数据)、将随着用户化身的呈现而输出的音频数据(例如，其中用户的视频数据未被传输的仅音频体验)、文本数据(例如，文本消息)、文件数据和/或屏幕共享数据(例如，显示在显示屏上的文档、幻灯片、图像、视频等)，等等。因此，服务器模块630被配置为在实时观看通信会话603期间接收各种媒体流634(1)至634(N)的集合(该集合在本文被称为“媒体数据634”)。在一些场景中，并非所有参与通信会话603的客户端计算设备都提供媒体流。例如，客户端计算设备可以仅是消费或“收听”设备，使得其仅接收与通信会话603相关联的内容，而不向通信会话603提供任何内容。
在各种示例中，服务器模块630可以选择要与参与的客户端计算设备606(1)至606(N)中的个体设备共享的媒体流634的各方面。因此，服务器模块630可被配置为基于流634生成会话数据636和/或将会话数据636传递给输出模块632。然后，输出模块632可以将通信数据639通信到客户端计算设备(例如，参与通信会话的实时观看的客户端计算设备606(1)至606(3))。通信数据639可以包括由输出模块632基于与输出模块632相关联的内容650和基于接收的会话数据636提供的视频、音频和/或者其他内容数据。内容650可以包括流634或者其他共享数据，例如图像文件、电子表格文件、幻灯片、文档等。流634可以包括描绘由每个客户端计算机上的I/O设备626捕获的图像的视频组件。
如所示的，输出模块632将通信数据639(1)传输到客户端计算设备606(1)，并且将通信数据639(2)传输到客户端计算设备606(2)，并且将通信数据639(3)传输到客户端计算设备606(3)等。被传输到客户端计算设备的通信数据639可以相同或不同(例如，内容流在用户界面内的定位可以从一个设备到下一设备而变化)。
在各种实现方式中，设备610和/或客户端模块620可以包括GUI呈现模块640。GUI呈现模块640可以被配置为分析用于递送到客户端计算设备606中的一个或多个的通信数据639。具体地，在设备610和/或客户端计算设备606处的UI呈现模块640可以分析通信数据639，以确定用于在相关联的客户端计算设备606的显示屏629上显示视频、图像和/或内容的适当方式。在一些实现方式中，GUI呈现模块640可以将视频、图像和/或内容提供给在相关联的客户端计算设备606的显示屏629上渲染的呈现GUI 646。可以通过GUI呈现模块640使呈现GUI 646在显示屏629上渲染。呈现GUI 646可以包括由GUI呈现模块640分析的视频、图像和/或内容。
在一些实现方式中，呈现GUI 646可以包括多个部分或网格，这些部分或网格可以渲染或包括视频、图像和/或用于在显示屏629上显示的内容。例如，呈现GUI 646的第一部分可以包括呈现者或个人的视频馈送，呈现GUI 646的第二部分可以包括消费由呈现者或个人提供的会议信息的个人的视频馈送。GUI呈现模块640可以以适当模仿呈现者和个人可以共享的环境体验的方式填充呈现GUI 646的第一和第二部分。
在一些实现方式中，GUI呈现模块640可以放大或提供由视频馈送所呈现的个人的缩放视图，以便突出个人对呈现者的反应，例如面部特征。在一些实现方式中，呈现GUI 646可以包括与会议(例如一般通信会话)相关联的多个参与者的视频馈送。在其他实现方式中，呈现GUI 646可以与信道相关联，例如聊天信道、企业团队信道等。因此，呈现GUI 646可以与不同于一般通信会话的外部通信会话相关联。
图10示出了示出示例性设备700(在此也被称为“计算设备”)的示例性组件的图，所述示例性设备700被配置为生成用于在本文中所公开的一些用户界面的数据。设备700可以生成包括一个或多个部分的数据，所述一个或多个部分可以渲染或包括视频、图像、虚拟对象和/或用于在显示屏629上显示的内容。设备700可以表示在本文中所描述的设备之一。另外或替代地，设备700可以表示客户端计算设备606之一。
如所示的，设备700包括一个或多个数据处理单元702、计算机可读介质704和通信接口706。设备700的组件例如经由总线709可操作地连接，所述总线709可包括系统总线、数据总线、地址总线、PCI总线、微型PCI总线和任何种类的本地、外围和/或独立总线中的一个或多个。
如在本文中所使用的，诸如数据处理单元702和/或数据处理单元692的数据处理单元可以表示例如CPU型数据处理单元、GPU型数据处理单元、现场可编程门阵列(“FPGA”)、另一类别的DSP或在一些情况下可以由CPU驱动的其他硬件逻辑组件。例如，但是不限于，可使用的硬件逻辑组件的说明性类型包括专用集成电路(“ASIC”)、专用标准产品(“ASSP”)、片上系统(“SOC”)、复杂可编程逻辑器件(“CPLD”)等。
如在本文中所使用的，诸如计算机可读介质704和计算机可读介质694之类的计算机可读介质可以存储可由数据处理单元执行的指令。计算机可读介质还可以存储可由外部数据处理单元(例如外部CPU、外部GPU)可执行的指令，和/或可由外部加速器(例如FPGA型加速器、DSP型加速器或任何其他内部或外部加速器)可执行的指令。在各种示例中，至少一个CPU、GPU和/或加速器被合并且在计算设备中，而在一些示例中，CPU、GPU和/或加速器中的一个或多个在计算设备外部。
计算机可读介质(其在本文中也可以被称为计算机可读介质)可以包括计算机存储介质和/或通信介质。计算机存储介质可以包括以下一项或多项：以用于存储信息(例如，计算机可读指令、数据结构、程序模块或者其他数据)的任何方法或技术实现的易失性存储器、非易失性存储器和/或者其他持久性和/或辅助计算机存储介质、可移动和不可移动计算机存储介质。因此，计算机存储介质包括包含于设备和/或作为设备的一部分或设备外部的硬件组件中的有形和/或物理形式的介质，包括但是不限于随机存取存储器(“RAM”)、静态随机存取存储器(“SRAM”)、动态随机存取存储器(“DRAM”)、相变存储器(“PCM”)、只读存储器(“ROM”)、可擦除可编程只读存储器(“EPROM”)、电可擦除可编程只读存储器(“EEPROM”)、闪存、光盘只读存储器(“CD-ROM”)、数字多功能光盘(“DVD”)、光卡或者其他光存储介质、盒式磁带、磁带、磁盘存储、磁卡或者其他磁性存储设备或介质、固态存储器设备、存储阵列、网络附加存储设备、存储区域网络、托管计算机存储设备或可用于存储和维护供计算设备访问的信息的任何其他存储存储器、存储设备和/或存储介质。计算机存储介质在本文还可被称为计算机可读存储介质、非暂时性计算机可读存储介质、非暂时性计算机可读介质或计算机存储介质。
与计算机存储介质相反，通信介质可以体现计算机可读指令、数据结构、程序模块或调制数据信号中的其他数据，例如载波或者其他传输机构。如本文所定义的，计算机存储介质不包括通信介质。也就是说，计算机存储介质不包括仅由调制数据信号、载波或传播信号本身组成的通信介质。
通信接口706可以表示例如网络接口控制器(“NIC”)或者其他类型的收发机设备，以在网络上发送和接收通信。此外，通信接口706可以包括一个或多个视频相机和/或音频设备722，以能够生成视频馈送和/或静止图像等。
在所示的示例中，计算机可读介质704包括数据存储708。在一些示例中，数据存储708包括诸如数据库、数据仓库或者其他类型的结构化或非结构化数据存储的数据存储。在一些示例中，数据存储708包括语料库和/或具有一个或多个表、索引、存储过程等的关系数据库，以允许数据访问，包括例如超文本标记语言(“HTML”)表、资源描述框架(“RDF”)表、web本体语言(“OWL”)表和/或可扩展标记语言(“XML”)表中的一个或多个。
数据存储708可以存储用于存储在计算机可读介质704中和/或由数据处理单元702和/或加速器执行的过程、应用、组件和/或模块的操作的数据。例如，在一些示例中，数据存储708可以存储会话数据(例如，如在图9中所示的会话数据636)、简档数据(例如，与参与者简档相关联)和/或者其他数据。会话数据可以包括通信会话中的参与者(例如，用户和/或客户端计算设备)的总数、发生在通信会话中的活动、通信会话受邀者的列表、和/或与何时以及如何进行或托管通信会话有关的其他数据。
数据存储708还可以包括许可数据714，以指示每个用户的访问许可。访问许可可以基于每个用户和每个用户界面区域。因此，在这个粒度级别上，第一用户可以有权查看在主要呈现者区域上共享的内容，也可以有权共享在主要呈现者区域上共享的内容，这分别是读取和写入许可。同时，第一用户只能有权看到第二区域(例如，共同模式区域)的内容，而不能对该区域做出贡献，例如，除非该用户具有写入许可，否则不能在共同模式区域上显示该用户。在该示例中，第二用户只能查看主区域，但是不能向该区域贡献任何内容。在该示例中，第三用户可以查看用户界面101的每个区域，但是不对任何区域做出贡献。在这种情况下，第三用户可以提供共享内容的请求，然后通过在本文中所描述的过程以获得对特定区域做出贡献的权限。响应于请求而授予特定UI区域的权限可以是临时的，例如，授予预定时间段的权限，授予直到它们完成呈现，或者在共享文档时授予，并且一旦文档从共享状态中移除，权限可以恢复到用户的原始权限。
许可数据714可以定义与个体用户10A-10F相关的任何类型的活动或状态，每个用户10A-10F与多个视频流634中的个体视频流相关联。例如，上下文数据可以定义人在组织中的级别，每个人的级别如何与其他人的级别相关，人的绩效级别，或者可以用于确定虚拟环境中人的渲染位置的任何其他活动或状态信息。系统可以使用人的级别来确定该人是否可以接收经更新的权限，或者该人是否可以批准提交了共享内容的请求的另一人的权限。例如，事件引导器可能有权批准请求用户与用户界面的特定区域共享内容的请求。某些会议出席者(例如，第一组观众成员)也可以被允许提升到呈现者状态，而其他出席者(例如，第二组观众成员)可能被限制提升到呈现者状态。
替代地，上述参考数据的一些或全部可以存储在一个或多个数据处理单元702上的单独存储器716上，例如CPU型处理器、GPU型处理器、FPGA型加速器、DSP型加速器和/或另一加速器上的存储器。在该示例中，计算机可读介质704还包括操作系统718和应用编程接口710(API)，其被配置为将设备700的功能和数据公开给其他设备。此外，计算机可读介质704包括一个或多个模块，例如服务器模块730、输出模块732和GUI呈现模块740，但是所示模块的数量只是示例，并且该数量可以变化。也就是说，本文中描述的与所示模块相关联的功能可以由一个设备上的或者分布在多个设备上的更少数量的模块或更多数量的模块来执行。
下文的示例性条款是为了补充当前的详细描述。在一些配置中，UI在共同模式下启动，检测举手并转换到UI格式，队列中下一个出席者的视频将自动显示在次要显示区域。
条款A：一种用于使针对通信会话的用户界面格式的转换自动化的方法，其中，所述方法被配置为在计算系统(700)上执行，包括：引起第一用户界面格式(101A)的显示，第一用户界面格式(101A)包括主要呈现区域(131A)、出席者图像区域(131B)和出席者队列区域(131C)，所述主要呈现区域(131A)包括呈现内容(103)的显示和呈现者(102X)的渲染，所述出席者图像区域(131B)包括从远程计算设备(11A-11L)个体通信的多个参与者(10A-10L)的视频流的个体渲染(102A-102L)，其中，所述个体渲染(102A-102L)各自具有相对于虚拟环境(110)的就座配置的位置，其中，所述计算系统(700)允许多个参与者通过通信会话(603)进行通信；从用户(10J)的计算设备(11J)接收输入，所述输入指示共享内容的请求(例如，检测举手被定义为共享内容的请求(视频或数据文件))；响应于接收到指示共享内容的请求的输入，使得从第一用户界面格式(101A)转换到第二用户界面格式(101C)，所述第二用户界面格式(101C)包括主要呈现区域(131A)、出席者图像区域(131B)、出席者队列区域(131C)和次要呈现区域(131D)，例如，图1B示出了具有次要视频显示区域和下一讲话者的第二用户界面格式，Jason的幻灯片的第6页的举手；第二用户界面格式(101C)的出席者图像区域(131B)显示与用户(10J)的渲染(102J)相关联的第一图形元素(201)，以指示由用户(10J)提供的输入(例如，在共同模式区域中，Jason的幻灯片的“第6页中的举手圆圈”)，并且第二用户界面格式(101C)的出席者队列区域(131C)显示指示用户(10J)的输入的第二图形元素(202)，第二图形元素(202)与用户(10J)的标识符(203)相关联地显示，在用户队列(204)中的标识符(203)的位置指示用户(10J)是即将到来的呈现者，所述第二用户界面格式(101C)的出席者队列区域(131C)还包括用户(10J)的第二渲染(102J')。(例如，图1B包括队列区域中的举起的手和“队列中下一个出席者的视频将自动显示在次要‘呈现者‘显示区域”)。
条款B：在本文中所提供的任何示例性条款的方法、介质或系统，其中，指示共享内容的所述请求的输入是通过接收定义由用户执行的预定手势的视频数据来生成的，例如，输入来自执行手势的视频数据，例如举起的手。
条款C：在本文中所提供的任何示例性条款的方法、介质或系统，其中，指示共享内容的所述请求的输入是通过接收定义由用户执行的预定手势的视频数据来生成的，其中，预定手势包括用户的手在向上方向上的移动，例如，输入是由特定的举手手势引起的。
条款D：在本文中所提供的任何示例性条款的方法、介质或系统，其中，指示共享内容的所述请求的输入是通过接收定义由用户执行的预定手势的视频数据来生成的，其中，预定手势包括所述用户的手抬起预定高度的移动，例如，所述输入是由在特定高度的特定举手手势引起的。
条款E：在本文中所提供的任何示例性条款的方法、介质或系统，其中，次要呈现区域(131D)响应于输入而在第一位置处开始，所述第一位置使得次要呈现区域(131D)与用户队列(204)的至少一部分重叠，其中，次要呈现区域(131D)在预定时间之后移动到第二位置，所述第二位置使得次要呈现区域(131D)相对于用户队列(204)处于非重叠布置中，例如，图4-6：第二呈现者作为队列上的重叠开始(图4)，然后转换到非重叠格式(图6)。
条款F：在本文中所提供的任何示例性条款的方法、介质或系统，其中，所述方法还包括：将用户(10J)的第二渲染(102J')转换到主要呈现区域(131A)；以及将用户的渲染(102J)从第二用户界面格式(101C)的出席者图像区域(131B)移除，例如，图7：从图4转换到图6，幻灯片上的下一讲话者移动到主舞台。
条款G：在本文中所提供的任何示例性条款的方法、介质或系统，其中，响应于输入更新许可数据，所述更新授予用户对主要呈现区域的写入许可，其中，与用户相关联的文件的内容是响应于授予用户写入许可的更新而在主要呈现区域内渲染的。
条款H：一种计算设备(700)，包括：一个或多个处理单元(702)；以及在其上编码有计算机可执行指令的计算机可读存储介质(704)，所述计算机可执行指令使得一个或多个处理单元(802)执行包括以下的方法：引起第一用户界面格式(101A)的显示，所述第一用户界面格式(101A)包括主要呈现区域(131A)、出席者图像区域(131B)和出席者队列区域(131C)，所述主要呈现区域(131A)包括呈现内容(103)的显示和呈现者(102X)的渲染，所述出席者图像区域(131B)包括从远程计算设备(11A-11L)个体通信的多个参与者(10A-10L)的视频流的个体渲染(102A-102L)，其中，所述个体渲染(102A-102L)各自具有相对于虚拟环境(110)的就座配置的位置，其中计算系统(700)允许多个参与者通过通信会话(603)进行通信；从用户(10J)的计算设备(11J)接收输入，所述输入指示共享内容的请求；响应于接收到指示共享内容的请求的输入，使得从第一用户界面格式(101A)转换到第二用户界面格式(101C)，所述第二用户界面格式(101C)包括主要呈现区域(131A)、出席者图像区域(131B)、出席者队列区域(131C)和次要呈现区域(131D)，所述第二用户界面格式(101C)的出席者图像区域(131B)显示与用户(10J)的渲染(102J)相关联的第一图形元素(201)以指示用户(10J)提供的输入，以及第二用户界面格式(101C)的出席者队列区域(131C)显示指示用户(10J)的输入的第二图形元素(202)，第二图形元素(202)与用户(10J)的标识符(203)相关联地显示，标识符(203)在用户队列(204)中的位置指示用户(10J)是即将到来的呈现者，第二用户界面格式(101C)的出席者队列区域(131C)还包括用户(10J)的第二渲染(102')。
条款I：在本文中所提供的任何示例性条款的方法、介质或系统，其中，第一用户界面格式(101A)和第二用户界面格式(101C)被指向与具有用于控制内容的显示的预定角色的用户相关联的远程计算设备，其中，远程计算设备被配置为允许具有预定角色的用户批准在所述主要呈现区域内显示与请求相关联的用户，其中，观众用户界面格式被显示给具有查看呈现内容但是不共享其他内容的许可的其他用户。
条款J：在本文中所提供的任何示例性条款的方法、介质或系统，其中，指示共享内容的所述请求的输入是通过接收定义由用户执行的预定手势的视频数据来生成的，其中，预定手势包括用户的手在向上方向上的移动。
条款K：在本文中所提供的任何示例性条款的方法、介质或系统，其中，指示共享内容的所述请求的输入是通过接收定义由用户执行的预定手势的视频数据来生成的，其中，预定手势包括用户的手抬起预定高度的移动。
条款L：在本文中所提供的任何示例性条款的方法、介质或系统，其中，次要呈现区域(131D)响应于输入而在第一位置处开始，所述第一位置使得次要呈现区域(131D)与用户队列(204)的至少一部分重叠，其中，次要呈现区域(131D)在预定时间之后移动到第二位置，所述第二位置使得次要呈现区域(131D)相对于用户队列(204)处于非重叠布置中。
条款M：在本文中所提供的任何示例性条款的方法、介质或系统，其中，所述方法还包括：将用户(10J)的第二渲染(102J')转换到主要呈现区域(131A)；以及将用户的渲染(102J)从第二用户界面格式(101C)的出席者图像区域中移除。
条款N：在本文中所提供的任何示例性条款的方法、介质或系统，其中，响应于输入更新许可数据，所述更新授予用户对主要呈现区域的写入许可，其中，与用户相关联的文件的内容是响应于授予用户写入许可的更新而在主要呈现区域内渲染的。
条款O：一种计算机可读存储介质(704)，其上编码有计算机可执行指令，以使得系统的一个或多个处理单元(802)执行包括以下的方法：引起第一用户界面格式(101A)的显示，所述第一用户界面格式(101A)包括主要呈现区域(131A)、出席者图像区域(131B)和出席者队列区域(131C)，所述主要呈现区域(131A)包括呈现内容(103)的显示和呈现者(102X)的渲染，所述出席者图像区域(131B)包括从远程计算设备(11A-11L)个体通信的多个参与者(10A-10L)的视频流的个体渲染(102A-102L)，其中，所述个体渲染(102A-102L)各自具有相对于虚拟环境(110)的就座配置的位置，其中计算系统(700)允许多个参与者通过通信会话(603)进行通信；从用户(10J)的计算设备(11J)接收输入，所述输入指示共享内容的请求；响应于接收到指示共享内容的请求的输入，使得从第一用户界面格式(101A)转换到第二用户界面格式(101C)，所述第二用户界面格式(101C)包括主要呈现区域(131A)、出席者图像区域(131B)、出席者队列区域(131C)和次要呈现区域(131D)，所述第二用户界面格式(101C)的出席者图像区域(131B)显示与用户(10J)的渲染(102J)相关联的第一图形元素(201)以指示用户(10J)提供的输入，以及第二用户界面格式(101C)的出席者队列区域(131C)显示指示用户(10J)的输入的第二图形元素(202)，第二图形元素(202)与用户(10J)的标识符(203)相关联地显示，标识符(203)在用户队列(204)中的位置指示用户(10J)是即将到来的呈现者，第二用户界面格式(101C)的出席者队列区域(131C)还包括用户(10J)的第二渲染(102')。
条款P：在本文中所提供的任何示例性条款的方法、介质或系统，其中，指示共享内容的所述请求的输入是通过接收定义由用户执行的预定手势的视频数据来生成的。
条款Q：在本文中所提供的任何示例性条款的方法、介质或系统，其中，指示共享内容的所述请求的输入是通过接收定义由用户执行的预定手势的视频数据来生成的，其中，预定手势包括用户的手在向上方向上的移动。
条款R：在本文中所提供的任何示例性条款的方法、介质或系统，其中，指示共享内容的所述请求的输入是通过接收定义由用户执行的预定手势的视频数据来生成的，其中，预定手势包括用户的手抬起预定高度的移动。
条款S：在本文中所提供的任何示例性条款的方法、介质或系统，其中，次要呈现区域(131D)响应于输入而在第一位置处开始，所述第一位置使得次要呈现区域(131D)与用户队列(204)的至少一部分重叠，其中，次要呈现区域(131D)在预定时间之后移动到第二位置，所述第二位置使得次要呈现区域(131D)相对于用户队列(204)处于非重叠布置中，其中，许可数据被更新，以在预定时间内授予用户对主要呈现区域的写入许可，其中，所授予的写入许可在所述预定时间之后被撤销，并且所述写入许可被授予队列中的下一人。
条款T：在本文中所提供的任何示例性条款的方法、介质或系统，其中，所述方法还包括：将用户(10J)的第二渲染(102J')转换到主要呈现区域(131A)；以及将用户的渲染(102J)从第二用户界面格式(101C)的出席者图像区域(131B)移除。
最后，尽管已经用特定于结构特征和/或方法动作的语言描述了各种配置，但是应当理解，在所附表示中定义的主题不一定限于所描述的特定特征或动作。相反，特定特征和动作被公开为实现所要求保护的主题的示例性形式。

Claims (14)

1.一种用于使针对通信会话的用户界面格式的转换自动化的方法，其中，所述方法被配置用于在计算系统上执行，包括：
引起第一用户界面格式的显示，所述第一用户界面格式包括主要呈现区域、出席者图像区域和出席者队列区域，所述主要呈现区域包括呈现内容的显示和呈现者的渲染，所述出席者图像区域包括从远程计算设备个体通信的多个参与者的视频流的个体渲染，其中，所述个体渲染各自具有相对于虚拟环境的就座配置的位置，其中，所述计算系统允许所述多个参与者通过通信会话进行通信；
从用户的计算设备接收输入，所述输入指示共享内容的请求；
响应于接收到指示共享内容的所述请求的所述输入，使得从所述第一用户界面格式转换到第二用户界面格式，所述第二用户界面格式包括所述主要呈现区域、所述出席者图像区域、所述出席者队列区域以及次要呈现区域，
所述第二用户界面格式的所述出席者图像区域显示与所述用户的渲染相关联的第一图形元素以指示由所述用户提供的所述输入，以及
所述第二用户界面格式的所述出席者队列区域显示指示所述用户的所述输入的第二图形元素，所述第二图形元素与所述用户的标识符相关联地显示，所述标识符在用户队列中的位置指示所述用户是即将到来的呈现者，所述第二用户界面格式的所述出席者队列区域还包括所述用户的第二渲染。
2.根据权利要求1所述的方法，其中，指示共享内容的所述请求的所述输入是通过接收定义由所述用户执行的预定手势的视频数据来生成的。
3.根据权利要求1所述的方法，其中，指示共享内容的所述请求的所述输入是通过接收定义由所述用户执行的预定手势的视频数据来生成的，其中，所述预定手势包括所述用户的手在向上方向上的移动。
4.根据权利要求1所述的方法，其中，指示共享内容的所述请求的所述输入是通过接收定义由所述用户执行的预定手势的视频数据来生成的，其中，所述预定手势包括所述用户的手抬起预定高度的移动。
5.根据权利要求1所述的方法，其中，所述次要呈现区域响应于所述输入而在第一位置处开始，所述第一位置使得所述次要呈现区域与所述用户队列的至少一部分重叠，其中，次要呈现区域在预定时间之后移动到第二位置，所述第二位置使得所述次要呈现区域相对于所述用户队列处于非重叠布置中。
6.根据权利要求1所述的方法，其中，所述方法还包括：
将所述用户的所述第二渲染转换到所述主要呈现区域；以及
将所述用户的所述渲染从所述第二用户界面格式的所述出席者图像区域中移除。
7.根据权利要求1所述的方法，其中，响应于所述输入而更新许可数据，所述更新授予所述用户对所述主要呈现区域的写入许可，其中，与所述用户相关联的文件的内容是响应于授予所述用户写入许可的所述更新而在所述主要呈现区域内渲染的。
8.一种计算设备，包括：
一个或多个处理单元；以及
在其上编码有计算机可执行指令的计算机可读存储介质，所述计算机可执行指令使得所述一个或多个处理单元执行包括以下的方法：
引起第一用户界面格式的显示，所述第一用户界面格式包括主要呈现区域、出席者图像区域和出席者队列区域，所述主要呈现区域包括呈现内容的显示和呈现者的渲染，所述出席者图像区域包括从远程计算设备个体通信的多个参与者的视频流的个体渲染，其中，所述个体渲染各自具有相对于虚拟环境的就座配置的位置，其中，所述计算系统允许所述多个参与者通过通信会话进行通信；
从用户的计算设备接收输入，所述输入指示共享内容的请求；
响应于接收到指示共享内容的所述请求的所述输入，使得从所述第一用户界面格式转换到第二用户界面格式，所述第二用户界面格式包括所述主要呈现区域、所述出席者图像区域、所述出席者队列区域以及次要呈现区域，
所述第二用户界面格式的所述出席者图像区域显示与所述用户的渲染相关联的第一图形元素以指示由所述用户提供的所述输入，以及
所述第二用户界面格式的所述出席者队列区域显示指示所述用户的所述输入的第二图形元素，所述第二图形元素与所述用户的标识符相关联地显示，所述标识符在用户队列中的位置指示所述用户是即将到来的呈现者，所述第二用户界面格式的所述出席者队列区域还包括所述用户的第二渲染。
9.根据权利要求8所述的计算设备，其中，所述第一用户界面格式和所述第二用户界面格式被指向与具有用于控制内容的所述显示的预定角色的用户相关联的远程计算设备，其中，所述远程计算设备被配置为允许具有预定角色的所述用户批准在所述主要呈现区域内显示与所述请求相关联的所述用户，其中，观众用户界面格式被显示给具有查看所述呈现内容但是不共享其他内容的许可的其他用户。
10.根据权利要求8所述的计算设备，其中，指示共享内容的所述请求的所述输入是通过接收定义由所述用户执行的预定手势的视频数据来生成的，其中，所述预定手势包括所述用户的手在向上方向上的移动。
11.根据权利要求8所述的计算设备，其中，指示共享内容的所述请求的所述输入是通过接收定义由所述用户执行的预定手势的视频数据来生成的，其中，所述预定手势包括所述用户的手抬起预定高度的移动。
12.根据权利要求8所述的计算设备，其中，所述次要呈现区域响应于所述输入而在第一位置处开始，所述第一位置使得所述次要呈现区域与所述用户队列的至少一部分重叠，其中，次要呈现区域在预定时间之后移动到第二位置，所述第二位置使得所述次要呈现区域相对于所述用户队列处于非重叠布置中。
13.根据权利要求8所述的计算设备，其中，所述方法还包括：
将所述用户的所述第二渲染转换到所述主要呈现区域；以及
将所述用户的所述渲染从所述第二用户界面格式的所述出席者图像区域中移除。
14.根据权利要求8所述的计算设备，其中，响应于所述输入而更新许可数据，所述更新授予所述用户对所述主要呈现区域的写入许可，其中，与所述用户相关联的文件的内容是响应于授予所述用户写入许可的所述更新而在所述主要呈现区域内渲染的。
CN202280045701.XA 2021-06-30 2022-05-20 通信会话的呈现者之间的自动ui和许可转换 Pending CN117581276A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/364,747 2021-06-30
US17/364,747 US11394925B1 (en) 2021-06-30 2021-06-30 Automated UI and permission transitions between presenters of a communication session
PCT/US2022/030159 WO2023278055A1 (en) 2021-06-30 2022-05-20 Automated ui and permission transitions between presenters of a communication session

Publications (1)

Publication Number Publication Date
CN117581276A true CN117581276A (zh) 2024-02-20

Family

ID=82319858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280045701.XA Pending CN117581276A (zh) 2021-06-30 2022-05-20 通信会话的呈现者之间的自动ui和许可转换

Country Status (4)

Country Link
US (2) US11394925B1 (zh)
EP (1) EP4364113A1 (zh)
CN (1) CN117581276A (zh)
WO (1) WO2023278055A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11374988B1 (en) * 2021-01-29 2022-06-28 Microsoft Technology Licensing, Llc Controlled user interface transitions for private breakout communication sessions
US11695808B2 (en) * 2021-08-31 2023-07-04 Cisco Technology, Inc. Virtual collaboration with multiple degrees of availability
US11831814B2 (en) * 2021-09-03 2023-11-28 Meta Platforms Technologies, Llc Parallel video call and artificial reality spaces
CN113949888B (zh) * 2021-09-28 2023-02-24 北京达佳互联信息技术有限公司 直播界面展示方法、装置、电子设备及存储介质
JP2023056109A (ja) * 2021-10-07 2023-04-19 トヨタ自動車株式会社 仮想空間制御システム、その制御方法、及び、制御プログラム
US11921970B1 (en) 2021-10-11 2024-03-05 Meta Platforms Technologies, Llc Coordinating virtual interactions with a mini-map
US20240056492A1 (en) * 2022-08-11 2024-02-15 Apple Inc. Presentations in Multi-user Communication Sessions
US20240069708A1 (en) * 2022-08-31 2024-02-29 Snap Inc. Collaborative interface element within a virtual conferencing system

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110050595A (ko) * 2008-06-30 2011-05-16 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 컴퓨터 판독 가능한 메모리를 구비하는 가상 모임을 위한 컴퓨터, 가상 모임 공통 레이아웃 서비스 제공 방법 및 호스팅 서버
US20110113486A1 (en) * 2009-11-10 2011-05-12 James Anthony Hunt Credentialing User Interface for Gadget Application Access
US8832559B2 (en) * 2010-06-25 2014-09-09 LeftsnRights, Inc. Content distribution system and method
US11265510B2 (en) * 2010-10-22 2022-03-01 Litl Llc Video integration
EP3240284B1 (en) * 2014-12-24 2023-07-26 LG Electronics Inc. Digital device and method for processing data by same digital device
US9946432B2 (en) * 2015-01-05 2018-04-17 Microsoft Technology Licensing, Llc. Customizable bladed applications
US20160285921A1 (en) * 2015-03-23 2016-09-29 Cisco Technology, Inc. Techniques for organizing participant interaction during a communication session
US20160308920A1 (en) * 2015-04-16 2016-10-20 Microsoft Technology Licensing, Llc Visual Configuration for Communication Session Participants
US9794514B1 (en) * 2016-06-03 2017-10-17 Avaya Inc. Positional sensitive interaction functionality
US10701316B1 (en) * 2019-10-10 2020-06-30 Facebook Technologies, Llc Gesture-triggered overlay elements for video conferencing
US11418551B2 (en) * 2019-10-18 2022-08-16 Samsung Sds Co., Ltd. Method and system for providing virtual whiteboard based collaboration service

Also Published As

Publication number Publication date
US11394925B1 (en) 2022-07-19
US20230076186A1 (en) 2023-03-09
WO2023278055A1 (en) 2023-01-05
EP4364113A1 (en) 2024-05-08

Similar Documents

Publication Publication Date Title
CN117581276A (zh) 通信会话的呈现者之间的自动ui和许可转换
US10630738B1 (en) Method and system for sharing annotated conferencing content among conference participants
US11627140B2 (en) Automatic configuration and management of user permissions based on roles and user activity
CN113170076B (zh) 一种用于通信会话的方法和系统
US10924709B1 (en) Dynamically controlled view states for improved engagement during communication sessions
EP3881170B1 (en) Interactive viewing system
US11895167B2 (en) Controlled user interface transitions using seating policies that rank users added to communication sessions
US20200201512A1 (en) Interactive editing system
CN116530076A (zh) 实况视频流和内容视图的动态分组
US11431665B1 (en) Dynamically controlled permissions for managing the communication of messages directed to a presenter
CN113711170A (zh) 显示视频和相关用户文本的用户界面的上下文感知控制
CN114868107A (zh) 针对通信会话视频流的动态控制的纵横比
CN113196221A (zh) 交互式查看和编辑系统
WO2023229758A1 (en) Automation of visual indicators for distinguishing active speakers of users displayed as three-dimensional representations
US20230388357A1 (en) 2d and 3d transitions for renderings of users participating in communication sessions
US20230206621A1 (en) Automatic composition of a presentation video of shared content and a rendering of a selected presenter
CN116982308A (zh) 基于协作对象活动来更新用户特定的应用实例
US20230384913A1 (en) Automation of permission controls for group messages
US20230385767A1 (en) Agenda driven control of user interface environments
US20230403367A1 (en) Customization of a user interface displaying a rendering of multiple participants of a hybrid communication session
US20240223669A1 (en) Controlled delivery of activity signals for promotion of user engagement of select users in communication sessions
CN117413502A (zh) 对标识多个用户的接口的消息内容的目标定位

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination