CN109891827B - 电信会话的综合多任务接口 - Google Patents

电信会话的综合多任务接口 Download PDF

Info

Publication number
CN109891827B
CN109891827B CN201780067084.2A CN201780067084A CN109891827B CN 109891827 B CN109891827 B CN 109891827B CN 201780067084 A CN201780067084 A CN 201780067084A CN 109891827 B CN109891827 B CN 109891827B
Authority
CN
China
Prior art keywords
user interface
data
teleconference
session
display area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780067084.2A
Other languages
English (en)
Other versions
CN109891827A (zh
Inventor
J·T·福尔克纳
C·贝克
E·D·坎努托蒂伊尔
M·希尔
K·莫里森
R·阿斯塔范斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN109891827A publication Critical patent/CN109891827A/zh
Application granted granted Critical
Publication of CN109891827B publication Critical patent/CN109891827B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/38—Creation or generation of source code for implementing user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本文公开的技术使得远程会议会话的参与者能够访问多个任务相关的程序模块的功能，同时保持对单个用户界面内的远程会议会话的各方面的参与。例如，会话参与者可以访问文件、各种聊天讨论、各种频道、日历、电子邮件、操作系统桌面和计算设备的其他功能，同时在统一图形用户界面内查看远程会议会话的一个或多个视频流。会话参与者可以在执行任务时保持对音频能力和视频能力二者的参与，所述任务包括但不限于选择、查看和修改内容数据。在一些配置中，专用图形用户界面允许用户在预定位置查看远程会议会话的一个或多个视频流，同时还提供对用于与由各种模块管理的不同类型的内容进行交互的工具的最佳访问。

Description

电信会话的综合多任务接口
背景技术
通信和协作是人们生活中的关键方面，包括社交和商业二者。已经开发了通信和协作工具，旨在将人们联系起来以共享经验。在许多情况下，这些工具的目的是通过网络提供反映个人与群体之间真实生活互动的体验。交互通常由音频和/或视觉元素提供。
这些工具包括即时消息传递、语音呼叫、视频呼叫、群组聊天、共享桌面、共享媒体和内容、共享应用等。这些工具可以执行对音频和视觉元素的捕获、操纵、传输和再现，以及使用这些元素的各种组合以试图提供协作环境。用户可以通过使用膝上型计算机或台式计算机、移动电话、平板计算机、游戏控制台等来访问这些工具以创建与多个用户的远程会议会话。这些设备可以在各种可能的网络架构中链接，例如对等架构或客户端- 服务器架构或混合体，例如集中管理的对等架构。
一些当前的远程会议技术可能有很多不足之处。例如，在一些现有程序中，当远程会议会话的参与者期望与某些类型的内容(例如，文档或电子表格)交互时，用户经常需要打开单独的窗口或完全不同的程序。当用户希望与某些用户进行私人聊天会话时，尤其是当他们希望与不是远程会议会话参与者的用户进行私人聊天会话时，也存在该问题。在要求用户切换到不同窗口或完全不同的程序以执行任务的任何布置中，参与者的注意力转移离开远程会议会话的内容。在用户参与其他用户界面或其他程序的同时，会话中传达的重要主题可能被遗漏或忽略。更糟糕的是，一个参与者的这种分心会降低所有会话参与者的整体参与度。
关于这些和其他考虑因素，提出了本文所公开的内容。
发明内容
本文公开的技术使得远程会议会话的参与者能够访问多个任务相关的程序模块的功能，同时保持对单个用户界面内的远程会议会话的各方面的参与。例如，会话参与者可以访问文件、各种聊天讨论、各种频道、日历、电子邮件、操作系统桌面和计算设备的其他功能，同时在统一图形用户界面内查看远程会议会话的一个或多个视频流。会话参与者可以在执行任务的同时保持对音频能力和视频能力二者的参与，所述任务包括但不限于选择、查看和修改内容数据。在一些配置中，专用图形用户界面允许用户在预定位置查看远程会议会话的一个或多个视频流，同时还提供对用于与由各种模块管理的不同类型的内容进行交互的工具的最佳访问。使远程会议会话的参与者能够在同时查看远程会议会话的视频流的同时访问用于选择、查看和修改各种形式的内容的工具使参与者保持参与会话，同时使用户能够进行多任务处理。在一些实施例中，在用户与其他程序进行多任务处理的同时，显示示出远程会议会话的重要特征的选择流。如下面将更详细描述的，这些特征提高了用户的生产力以及人与计算设备交互的整体效率。
在一个说明性示例中，可以在图形用户界面中显示远程会议会话的视频流，例如多个参与者的视频流。一个参与者可以选择文件，例如PowerPoint 文件，并独立地查看所选择的文件的内容，同时保持参与远程会议会话的显示的视频流。因此，即使当远程会议会话的演示者正在显示该PowerPoint 文件的特定幻灯片时，其他参与者也可以在演示期间浏览其他方面，甚至可以编辑该文件。另外，参与者可以参与多个消息论坛(例如，频道论坛或聊天论坛)，同时保持对远程会议会话的视频流的参与。通过使用本文公开的技术，用户可以独立地导航消息论坛的内容，同时查看演示者的视频流或由演示者共享的材料。
在一些配置中，图形用户界面提供使得远程会议会话的参与者能够将事件、文档或其他对象拖放到远程会议会话中的功能。例如，用户可以查看在聊天窗口中显示的对象，例如文字文档，并且该文档可以被拖放到显示远程会议会话的一个或多个视频流的图形元素中。作为响应，可以与远程会议会话的其他参与者共享文字文档的内容。
应当领会，上述主题还可以实现为计算机控制的装置、计算机过程、计算系统或者诸如计算机可读介质之类的制品。通过阅读以下详细描述和审阅相关联的附图，这些和各种其他特征将是显而易见的。提供本发明内容是为了以简化的形式介绍对将在下面的具体实施方式中进一步描述的构思的选择。
本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在将本发明内容用于限制所要求保护的主题的范围。此外，所要求保护的主题不限于解决在本公开的任何部分中提到的任何或所有缺点的实施方式。
附图说明
参考附图描述了详细描述。在附图中，附图标记的最左边的数字标识首次出现附图标记的图。不同图中的相同附图标记表示相似或相同的项目。
图1是远程会议系统的示例的框图。
图2是图1的远程会议系统中的设备的示例的框图。
图3A-3C是与远程会议会话中的客户端计算设备之一相对应的显示器的屏幕截图视图，示出了呈现远程会议会话的远程会议会话视图的第一用户界面布置。
图4A-4H是与远程会议会话中的客户端计算设备之一相对应的显示器的屏幕截图视图，示出了与远程会议监视器视图同时显示的多任务视图。
图5A-5J是与远程会议会话中的客户端计算设备之一相对应的显示器的屏幕截图视图，示出了与示出重要内容的远程会议监视器视图同时显示的多任务视图。
图6是示出用于在客户端计算设备的显示器上呈现具有多任务视图的远程会议监视器视图的操作的流程图。
具体实施方式
本文所公开的技术使得远程会议会话的参与者能够访问多个任务相关的程序模块的功能，同时保持对单个用户界面内的远程会议会话的各方面的参与。例如，会话参与者可以访问文件、各种聊天讨论、各种频道、日历、电子邮件、操作系统桌面和计算设备的其他功能，同时在统一图形用户界面内查看远程会议会话的一个或多个视频流。会话参与者可以在执行任务的同时保持对音频能力和视频能力二者的参与，所述任务包括但不限于选择、查看和修改内容数据。在一些配置中，专用图形用户界面允许用户在预定位置查看远程会议会话的一个或多个视频流，同时还提供对用于与由各种模块管理的不同类型的内容进行交互的工具的最佳访问。使远程会议会话的参与者能够在同时查看远程会议会话的视频流的同时访问用于选择、查看和修改各种形式的内容的工具使参与者保持参与会话，同时使用户能够进行多任务处理。如下面将更详细描述的，这些特征提高了用户的生产力以及人与计算设备交互的整体效率。
在一个说明性示例中，可以在图形用户界面中显示远程会议会话的视频流，例如多个参与者的视频流。一个参与者可以选择文件，例如PowerPoint 文件，并独立地查看所选择的文件的内容，同时保持对远程会议会话的所显示的视频流的参与。因此，即使当远程会议会议的演示者正在显示该 PowerPoint文件的特定幻灯片时，其他参与者也可以在演示期间浏览其他方面，甚至可以编辑该文件。另外，参与者可以参与多个消息论坛(例如，频道论坛或聊天论坛)，同时保持对远程会议会话的视频流的参与。通过使用本文公开的技术，用户可以独立地导航消息论坛的内容，同时查看演示者的视频流或由演示者共享的材料。
在一些配置中，图形用户界面提供使得远程会议会话的参与者能够将事件、文档或其他对象拖放到远程会议会话中的功能。例如，用户可以查看在聊天窗口中显示的对象，例如文字文档，并且该文档可以被拖放到显示远程会议会话的一个或多个视频流的图形元素中。作为响应，可以与远程会议会话的其他参与者共享文字文档的内容。
客户端计算设备可以被配置为允许用户进行多任务处理，同时还保持参与远程会议会话。在示例实施方式中，远程会议会话涉及来自参与者使用的客户端计算设备的参与者流。参与者流包括在客户端计算设备处的远程会议会话的显示中识别或表示参与者的视频、音频或图像数据。远程会议会话还可以从一个或多个客户端计算设备或从另一个源接收内容流。内容流包括不是参与者流的流。在一些配置中，内容流包括文件、数据结构、文字处理文档、格式化文档(例如PDF文档)、电子表格或演示文稿的视频或图像数据，以在远程会议的显示中呈现给参与者，并由此与参与者共享。服务器处的远程会议会话对流进行组合以生成远程会议数据，并根据为每个客户端计算设备配置的远程会议会话视图将远程会议数据发送到每个客户端计算设备。
可以使用若干不同视图中的一个视图为每个客户端计算设备定制远程会议会话视图。如上面简要讨论的，对于给定的客户端计算设备，远程会议会话视图可以在第一用户界面中，所述第一用户界面具有在本文被称为舞台视图的显示区域，或者在第二用户界面中，所述第二用户界面具有在本文被称为远程会议监视器视图的显示区域。根据一些配置，舞台视图提供总体显示体验，其中人或内容被“在舞台上”查看，所述舞台是界面的主显示区域。在一些配置中，用户界面的主显示区域可以以支配用户的客户端计算设备上的显示的方式显示。舞台视图允许用户完全沉浸在远程会议参与者之间共享的内容中。与舞台视图相关联的用户界面元素可以用于显示与参与者相对应的流和未在舞台上显示的内容，和/或以其他方式控制与舞台视图的显示相关的操作。
在一些实施方式中，可以以两种显示模式中的一者显示舞台视图。第一显示模式是“窗口模式”，其包括主显示区域周围的框架，其中，框架包括用于控制窗口的各方面的用户界面控制元素，例如最小化、最大化或关闭用户界面。舞台视图还可以以“沉浸式模式”显示，其不包括框架。在沉浸式模式中，主显示区域可占据设备的整个显示区域。
在舞台视图中，内容或参与者被显示在占据显示区域的至少大部分的主显示区域中。通过访问远程会议会话之外的功能类别，作为用户“多任务处理”的结果，可以将舞台视图改变为多任务视图。例如，当用户决定打开Web浏览器时，系统使得显示第二用户界面(例如，多任务视图)以显示由Web浏览器访问的内容。该系统还可以使得在第二用户界面内显示远程会议监视器视图以显示远程会议会话的一个或多个流。在一些配置中，远程会议监视器视图是改变尺寸的(例如，缩小尺寸的)一个或多个缩略图的显示，用户界面元素被配置为显示一个或多个流的至少一部分的渲染。例如，缩略图可以被配置为显示活跃发言者和/或当前正在远程会议会话内显示的所呈现内容的渲染。可以显示远程会议监视器视图，使得用户保持参与远程会议会话，同时还与远程会议会话之外的不同类别的功能进行交互。根据一些示例，远程会议监视器视图的位置可以基于所选择的功能类别，并且在一些情况下，远程会议监视器视图的位置可以基于与在显示器上渲染的所选择的功能类别相关联的内容的图形分析。
可以提供用户界面元素以允许用户在不同的布置之间切换。在如下所述的示例实施方式中，用户界面元素允许用户在舞台视图与多任务视图之间切换。除了舞台视图和多任务视图之外，还可以提供其他视图。可以向用户提供在视图之间切换的工具，以改变用户对远程会议会话的体验。出于说明性目的，术语“用户”和“参与者”可互换使用，并且在一些场景中，这些术语具有相同含义。在一些场景中，用户与计算机相关联并与之交互。例如，参与者可以是计算机的用户，既可以查看远程会议会话也可以向远程会议会话提供输入。
在图1中，示出了说明远程会议系统100的示例的图，其中系统102 可以根据示例实施方式来控制远程会议会话104的监视器视图的显示。在该示例中，远程会议会话104在多个客户端计算设备106(1)到106(N) 之间(其中N是具有值二或更大值的正整数)。客户端计算设备106(1) 到106(N)使用户能够参与远程会议会话104。在该示例中，远程会议会话104可以由系统102在一个或多个网络108上托管。也就是说，系统102 可以提供使客户端计算设备106(1)到106(N)的用户能够参与远程会议会话104的服务。作为替代，远程会议会话104可以由使用对等技术的客户端计算设备106(1)到106(N)中的一者托管。
系统102包括设备110，并且设备110和/或系统102的其他组件可以包括经由一个或多个网络108与彼此通信，与系统102通信和/或与客户端计算设备106(1)到106(N)通信的分布式计算资源。在一些示例中，系统102可以是负责管理一个或多个远程会议会话104的各方面的独立系统。作为示例，系统102可以由具有诸如
Figure BDA0002043289530000061
Figure BDA0002043289530000062
GOOGLE
Figure BDA0002043289530000063
SKYPE FOR
Figure BDA0002043289530000064
等产品的实体管理。
网络108可以包括，例如，诸如互联网之类的公共网络，诸如机构和/ 或个人内联网之类的专用网络，或者私有网络和公共网络的某种组合。网络108还可以包括任何类型的有线和/或无线网络，包括但不限于局域网 (“LAN”)、广域网(“WAN”)、卫星网络、有线网络、Wi-Fi网络、WiMax 网络、移动通信网络(例如，3G、4G等)或其任何组合。网络108可以使用通信协议，包括基于分组和/或基于数据报的协议，例如互联网协议(“IP”)、传输控制协议(“TCP”)、用户数据报协议(“UDP”)、或者其他类型的协议。此外，网络108还可以包括便于网络通信和/或形成网络硬件基础的多个设备，例如交换机、路由器、网关、接入点、防火墙、基站、中继器、骨干设备等等。
在一些示例中，网络108还可以包括实现到无线网络的连接的设备，例如无线接入点(“WAP”)。示例网络支持通过在各种电磁频率(例如，无线频率)上发送和接收数据的WAP的连接，包括支持电气和电子工程师协会(“IEEE”)802.11标准(例如，802.11g，802.11n，等等)和其他标准的 WAP。
在各种示例中，设备110可以包括在集群或其他分组配置中操作以共享资源、平衡负载、提高性能、提供故障转移支持或冗余或用于其他目的的一个或多个计算设备。例如，设备110可以属于各种类型的设备，例如传统的服务器类型设备、台式计算机类型设备和/或移动类型设备。因此，虽然示出为单个类型的设备——服务器类型的设备——但是设备110可以包括各种各样的设备类型，并且不限于特定类型的设备。设备110可以表示但不限于服务器计算机、台式计算机、网络服务器计算机、个人计算机、移动计算机、膝上型计算机、移动电话、平板计算机或任何其他种类的计算设备。
客户端计算设备(例如，客户端计算设备106(1)到106(N)之一) 可以属于各种类型的设备，其可以与设备110相同或不同，例如传统的客户端类型设备、台式计算机类型设备、移动类型设备、专用类型设备、嵌入式设备和/或可穿戴型设备。因此，客户端计算设备可以包括但不限于台式计算机、游戏控制台和/或游戏设备、平板计算机、个人数据助理(“PDA”)、移动电话/平板计算机混合体、膝上型计算机、远程会议设备、计算机导航型客户端计算设备，例如基于卫星的导航系统，包括全球定位系统(“GPS”) 设备、可穿戴设备、虚拟现实(“VR”)设备、增强现实(AR)设备、植入式计算设备、汽车计算机、支持网络的电视、瘦客户端、终端、物联网(“IoT”) 设备、工作站、媒体播放器、个人视频记录器(“PVR”)、机顶盒、相机、用于包含在计算设备内的集成组件(例如，外围设备)、器具或任何其他种类的计算设备。在一些实施方式中，客户端计算设备包括输入/输出(“I/O”) 接口，其实现与输入/输出设备的通信，例如包括外围输入设备(例如，游戏控制器、键盘、鼠标、笔、语音输入设备、触摸输入设备、手势输入设备等)的用户输入设备和/或包括外围输出设备(例如，显示器、打印机、音频扬声器、触觉输出设备等)的输出设备。
各种类别和设备类型的客户端计算设备106(1)到106(N)可以表示具有例如经由总线116可操作地连接到计算机可读介质114的一个或多个处理单元112的任何类型的计算设备，所述总线116在一些情况下可以包括以下各项中的一项或多项：系统总线、数据总线、地址总线、PCI总线、 Mini-PCI总线以及任何种类的本地、外围和/或独立总线。计算机可读介质 114可以存储在操作期间由编程的功能使用的可执行指令和数据。由存储在计算机可读介质114上的可执行指令实现的功能的示例可以包括例如操作系统128、客户端模块130、其他模块132，以及可由处理单元112加载和执行的程序或应用。
客户端计算设备106(1)到106(N)还可以包括一个或多个接口134，以实现与诸如网络接口、相机、键盘、触摸屏和指点设备(鼠标)等的其他输入设备148的通信。例如，接口134通过网络实现客户端计算设备106 (1)到106(N)与其他联网设备(例如，设备110和/或系统102的设备) 之间的通信。这样的网络接口134可以包括一个或多个网络接口控制器(NIC)(未示出)或其他类型的收发器设备，以通过网络发送和接收通信和/或数据。
在图1的示例环境100中，客户端计算设备106(1)到106(N)可以使用它们各自的客户端模块130来与彼此连接和/或与其他外部设备连接以便参与远程会议会话104。例如，第一用户可以使用客户端计算设备106(1) 与另一客户端计算设备106(2)的第二用户通信。当执行客户端模块130 时，用户可以共享数据，这可以使客户端计算设备106(1)通过网络108 与其他客户端计算设备106(2)到106(N)连接到系统102。
每个客户端计算设备106(1)到106(N)的客户端模块130可以包括检测用户输入并将控制信号传送到服务器以请求与控制远程会议会话104 的各方面有关的第一类功能以及请求服务器请求可以由系统102提供的一个或多个其他类别的功能的逻辑单元。例如，图1中的第一客户端计算设备106(1)中的客户端模块130可以检测输入设备148处的用户输入。可以接收用户输入，例如，作为在触摸屏上显示的用户界面元素上的手指按压，由显示器150上的指针选择的用户界面元素上的鼠标点击，或甚至是语音命令。客户端模块130根据与所选择的用户界面元素相关联的功能来转换用户输入。客户端模块130可以将控制信号156(1)(本文也称为“控制命令”或“指示”)发送到服务器(例如，在设备110上操作的服务器) 以执行期望的功能。在一些示例中，客户端模块130可以向服务器发送控制信号，所述控制信号指示用户已经选择使用不同的程序来执行任务，例如由其他模块132之一提供的程序。
在一个示例中，客户端计算设备106(1)的用户可能希望在远程会议会话104期间进行多任务处理。例如，用户可能希望与不是第一类功能的部分的第二类功能进行交互，所述第一类功能与远程会议会话104的舞台视图的显示相关联(例如，访问web浏览器、生产力应用、照片应用、娱乐应用等)。作为示例，用户可以在远程会议会话104期间与由其他模块132 提供的功能进行交互和/或与由不同服务提供的功能进行交互。使用本文描述的技术，客户端计算设备106(1)的用户可以在远程会议应用的内部和外部进行多任务处理的同时，继续与参与者、其他用户和远程会议会话104 的内容保持联系。
如图所示，客户端模块130可以与功能类别131A相关联，并且其他模块可以与功能类别131B相关联。客户端模块可以用于访问由远程会议系统 102经由服务器模块136提供的一个或多个类别。在一些配置中，客户端模块130可以被配置为提供一个或多个功能类别131A。
如上所述，远程会议服务可以向用户提供与不同功能类别131A相关联的许多不同工具。例如，远程会议服务可以提供：与管理远程会议会话相关联的第一功能类别、与电子消息传递相关联的第二功能类别、与文档查看和/或编辑相关联的第三功能类别、与管理日历相关联的第四功能类别、与聊天服务相关联的第五功能类别等等。
在远程会议会话104期间，用户还可以访问与其他应用和/或服务相关联的不同功能类别131B。例如，用户可以访问与Web浏览器、电子邮件应用、地图服务、音乐应用、视频应用等相关联的功能类别。通常，其他模块132可以是客户端计算设备106(1)可访问的任何类型的应用或服务。
使远程会议会话的用户能够在同时查看远程会议会话的一个或多个流的同时访问不同类别的功能(例如，用于选择、查看和修改各种形式的内容的工具)使他们保持参与会话，同时实现多任务处理。
在一些示例中，当用户导航由远程会议系统提供的其他功能或访问由不同应用提供的其他功能时，可以在多任务视图内显示或与多任务视图同时显示的远程会议监视器视图内渲染一个或多个流的至少一部分。例如，远程会议监视器视图可以被显示在与其他功能类别相关联的用户界面元素内。在一个说明性示例中，当用户访问与聊天程序相关联的功能类别时，渲染参与者的视频流的远程会议监视器视图可以被显示在渲染聊天消息的显示区域内。
根据一些示例，渲染远程会议监视器视图的位置可以基于所选择的功能类别。在一些配置中，远程会议服务的服务器模块136可以基于所显示的用户界面元素的位置和与所选功能类别相关联的用户界面内的内容的知识，将远程会议监视器视图定位在显示器150上。例如，当用户选择由功能类别131A提供的聊天功能时，远程会议监视器视图可以被放置在菜单栏的不包括其他内容的区域内。类似地，当用户选择诸如由功能类别131A提供的地址簿之类的联系功能时，远程会议监视器视图可以被放置在不模糊地址信息、电话控件等的预定位置。在一些配置中，默认位置可以与不同功能类别中的每一者相关联。
在其他示例中，远程会议监视器视图的位置可以基于对作为用户选择功能类别的结果而显示的内容的分析。根据一些技术，远程会议系统执行对在显示器150上渲染的图形数据的分析，以识别显示器上不包括可选择的用户界面元素(例如，控制按钮、选择器、滚动条等)的区域或显示器上不包括用户可能想要查看的其他类型的内容(例如，文本、图画、图表) 的区域。例如，当用户从功能类别131B中选择功能时，服务器模块136可以获得显示器150的屏幕截图并执行边缘检测机制、直方图或一些其他技术以识别显示器150上包括可选择的用户界面元素的区域以及识别显示器上包括其他图形内容的区域。当区域被识别为不包括用户界面控件和/或其他内容时，服务器模块136和/或客户端模块130或一些其他组件可以确定在显示器上渲染远程会议监视器视图的位置。
如上所述，远程会议会话视图可以包括舞台视图，所述舞台视图包括用于参与者和内容的显示区域。在一些示例中，当用户不在进行多任务处理时显示舞台视图。当用户决定进行多任务处理并且使得显示不同的用户界面(例如，访问另一个应用或访问由远程会议系统102提供的功能)时，可以使得舞台视图从显示中移除和/或是隐藏在视图之外或至少部分遮挡。
当用户通过选择不同功能类别导航离开舞台视图时，代替用户不能查看与远程会议会话104相关联的内容或人，远程会议系统102呈现具有提供至少一个远程会议流的渲染的远程会议监视器视图的多任务视图(例如，缩略图用户界面元素)。例如，远程会议监视器视图可以显示当前演示者和 /或其他内容。在一些实例中，远程会议监视器视图包括当前演示者和/或正在呈现的内容的缩略图视图。可以基于预定设置、用户偏好和/或用户定位来设置远程会议监视器视图的大小和位置。根据一些配置，当用户正在共享相机视图时，远程会议监视器视图的一部分显示用户的相机视图的视频流。用户相机的该视频流基于在用户的计算设备处生成的流；此视频流的渲染在本文中被称为“ME”视图。
舞台视图和远程会议监视器视图还可以包括为远程会议会话提供控制功能(“控制元素”)的图形元素。例如，可以在用户界面上生成图形元素，使得用户能够录入输入以共享内容、结束会话、使一个或多个声音静音、返回到舞台视图等等。
响应于用户在显示器150上导航离开舞台视图(其为用户提供更沉浸式的远程会议体验)，系统102检测到改变(例如，经由CTL 156(1)信号) 并使得远程会议监视器视图呈现在显示器150上。根据一些技术，客户端模块130可以将对用户界面元素的选择识别为用于退出舞台视图但不退出管理远程会议会话的程序的请求。响应于检测到请求，客户端模块130将控制信号156(1)发送到远程会议会话主机以执行视图切换功能，所述功能使得远程会议监视器视图与显示器150内的多任务视图一起呈现。在其他示例中，客户端模块130或一些其他组件或模块向远程会议主机提供关于用户已经改变视图并且正在访问不同类别的功能的指示。在接收到切换视图的指示时，服务器模块136可以确定显示器150上要渲染远程会议监视器视图的位置，生成与远程会议监视器视图相关联的远程会议流，并使得远程会议流在显示器150上渲染。
客户端计算设备106(1)-106(N)可以使用它们各自的客户端模块 130、其他模块132或一些其他模块(未示出)来生成参与者简档，并且将参与者简档提供给其他客户端计算设备(未示出)和/或系统102的设备110。参与者简档可以包括以下各项中的一项或多项：参与者的身份(例如，姓名、唯一标识符(“ID”)等)、参与者数据(例如，可以存储的个人数据和位置数据)等。参与者简档可以用于注册参与者以进行远程会议。
如图1所示，系统102的设备110包括服务器模块136、数据存储模块 138和输出模块140。服务器模块136被配置为从各个客户端计算设备106 (1)到106(N)接收流142(1)到142(M)(其中M是等于2或更大值的正整数)。在一些场景中，并非用于参与远程会议会话104的所有客户端计算设备都提供流142的实例，因此M(提交的实例的数量)可能不等于 N(客户端计算设备的数量)。在一些其他场景中，一个或多个客户端计算设备可以正在传送包括内容的附加流，例如旨在在远程会议会话期间共享的文档或其他类似类型的媒体。
服务器模块136还被配置为接收、生成和传送会话数据144并将会话数据144存储在数据存储模块138中。会话数据144可以定义远程会议会话104的各方面，例如参与者的身份、共享的内容等。在各种示例中，服务器模块136可以选择将与客户端计算设备106(1)到106(N)共享的流 142的各方面。服务器模块136可以对流142进行组合以生成定义远程会议会话104的各方面的远程会议数据146(1)到146(N)(远程会议数据146)。远程会议数据146可以包括包含选择流142的各个流。远程会议数据146 可以定义远程会议会话104的各方面，例如客户端计算设备上的用户界面的用户界面布置，所显示的数据的类型以及服务器和客户端计算设备的其他功能。服务器模块136可以为各个客户端计算设备106(1)-106(N)配置远程会议数据146。远程会议数据可以被划分为单独的实例，标记为146 (1)-146(N)。输出模块140可以将远程会议数据实例146(1)-146(N) 传送到客户端计算设备106(1)到106(N)。具体地，在该示例中，输出模块140分别将远程会议数据实例146(1)传送到客户端计算设备106(1)，将远程会议数据实例146(2)传送到客户端计算设备106(2)，将远程会议数据实例146(3)传送到客户端计算设备106(3)并且将远程会议数据实例146(N)传送到客户端计算设备106(N)。
远程会议数据实例146(1)-146(N)可以传送可以包括代表远程会议会话104中的每个参与者的贡献的视频的音频。每个远程会议数据实例146 (1)-146(N)还可以以对客户端计算设备106(1)到106(N)的每个参与者/用户的需求唯一的方式来配置。每个客户端计算设备106(1)-106(N) 可以与远程会议会话视图相关联。参考图2来描述使用远程会议会话视图来控制客户端计算设备处的、每个用户的视图的示例。
在图2中，示出了根据示例实施方式的系统框图，所述系统框图示出了被配置为在客户端计算设备(例如，客户端计算设备106(1)-106(N))、设备110或系统102之间提供远程会议会话104的示例设备200的组件。设备200可以表示设备100中的一个，其中设备200包括一个或多个处理单元202、计算机可读介质204、通信接口206。设备200的组件例如经由总线207可操作地连接，所述总线207可以包括以下各项中的一项或多项：系统总线、数据总线、地址总线、PCI总线、Mini-PCI总线以及各种本地、外围设备和/或独立总线。
如本文所使用的，处理单元(例如，处理单元202和/或处理单元112) 可以表示例如CPU类型处理单元、GPU类型处理单元、现场可编程门阵列 (“FPGA”)、另一类数字信号处理器(“DSP”)或在一些实例中可以由CPU 驱动的其他硬件逻辑组件。例如但不限于，可以使用的说明性类型的硬件逻辑组件包括专用集成电路(“ASIC”)、专用标准产品(“ASSP”)、片上系统(“SOC”)、复杂可编程逻辑器件(“CPLD”)等。
如本文所使用的，计算机可读介质(例如，计算机可读介质204和/或计算机可读介质114)可以存储可由处理单元执行的指令。计算机可读介质还可以存储可由外部处理单元执行的指令，例如由外部CPU、外部GPU和 /或可由外部加速器执行的指令，所述外部加速器例如为FPGA类型加速器、 DSP类型加速器或任何其他内部或外部加速器。在各种示例中，至少一个 CPU、GPU和/或加速器并入计算设备中，而在一些示例中，CPU、GPU和 /或加速器中的一个或多个在计算设备外部。
计算机可读介质可以包括计算机存储介质和/或通信介质。计算机存储介质可以包括以下各项中的一项或多项：易失性存储器、非易失性存储器和/或以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据之类的信息的任何方法或技术实现的其他持久性和/或辅助计算机存储介质、可移动和不可移动计算机存储介质。因此，计算机存储介质包括设备和/或硬件组件中包括的有形和/或物理形式的介质，所述介质是设备的一部分或在设备外部，包括但不限于可用于存储和维护信息以供计算设备访问的随机存取存储器(“RAM”)、静态随机存取存储器(“SRAM”)、动态随机存取存储器(“DRAM”)、相变存储器(“PCM”)、只读存储器(“ROM”)、可擦除可编程只读存储器(“EPROM”)、电可擦除可编程只读存储器 (“EEPROM”)、闪存、光盘只读存储器(“CD-ROM”)、数字通用光盘 (“DVD”)、光卡或其他光存储介质、磁带盒、磁带、磁盘存储设备、磁卡或其他磁存储设备或介质、固态存储器设备、存储阵列、网络附加存储设备、存储区域网络、托管计算机存储设备或任何其他存储存储器、存储设备和/或存储介质。
与计算机存储介质相反，通信介质可以体现计算机可读指令、数据结构、程序模块或调制数据信号中的其他数据，例如载波或其他传输机制。如本文所定义的，计算机存储介质不包括通信介质。也就是说，计算机存储介质本身不包括仅由调制数据信号、载波或传播信号组成的通信介质。
通信接口206可以表示例如网络接口控制器(“NIC”)或其他类型的收发器设备，以通过网络发送和接收通信。通信接口206用于通过数据网络与客户端计算设备106进行通信。
在所示示例中，计算机可读介质204包括数据存储模块138。在一些示例中，数据存储模块138包括数据存储单元，例如数据库、数据仓库或其他类型的结构化或非结构化数据存储单元。在一些示例中，数据存储模块 138包括具有一个或多个表、索引、存储过程等的语料库和/或关系数据库，以实现包括例如以下各项中的一项或多项的数据访问：超文本标记语言 (“HTML”)表、资源描述框架(“RDF”)表、web本体语言(“OWL”) 表和/或可扩展标记语言(“XML”)表。
数据存储模块138可以存储用于存储在计算机可读介质204中和/或由处理单元202和/或加速器执行的过程、应用、组件和/或模块的操作的数据。例如，在一些示例中，数据存储模块138可以存储会话数据208(例如，会话数据144)、简档数据210和/或其他数据。会话数据208可以包括远程会议会话104中的参与者的总数，以及在远程会议会话104中发生的活动(例如，参与者的行为、活动)，和/或与进行或托管远程会议会话104的时间和方式相关的其他数据。简档数据210的示例包括但不限于参与者身份(“ID”) 和其他数据。
在示例实施方式中，数据存储模块138存储与每个参与者在用户的客户端计算设备106的显示器上体验的视图有关的数据。如图2所示，数据存储模块138可以包括与参与远程会议会话104的每个客户端计算设备106 (1)到106(N)的显示相对应的远程会议会话视图250(1)到250(N)。以这种方式，系统102可以支持对每个用户在远程会议会话104期间体验的视图的单独控制。例如，如下面更详细描述的，当用户没有访问其他功能时，系统102显示舞台视图，而当用户通过访问其他功能进行多任务处理时，系统102显示远程会议监视器视图。
即使用户正在进行多任务处理，也可以改变该用户的显示器上的远程会议监视器视图以使用户保持参与远程会议会话。例如，当用户正在查看与不是远程会议会话的一部分的内容相关联的选择的类别或功能相关联的其他内容时，系统102可以选择与远程会议会话相关联的流的渲染的、优化与选择的类别或功能关联的内容的显示的大小和/或位置。这样的实施例使得用户能够关闭远程会议会话的用户界面，并且打开另一个用户界面，例如用于查看文档的字处理器界面，用于编辑日历的日历程序界面，或者由功能控制以查看其他内容的另一个界面，同时自动确定每个界面内的远程会议会话流的显示的大小和位置。
远程会议会话视图250(1)-250(N)可以存储标识正在为每个客户端计算设备106(1)-106(N)显示的视图的数据。远程会议会话视图250 还可以存储与被配置用于显示的流有关的数据、与流相关联的参与者、内容媒体是否是显示的一部分、以及与内容有关的信息。一些远程会议会话可能涉及大量参与者。然而，只有核心数量的参与者可能被称为“活跃参与者”。每个用户的远程会议会话视图可以被配置为关注由最活跃的参与者提供的媒体。一些远程会议会话可以涉及演示者实体，例如在研讨会中，或者由一个或多个个体演示者进行的演示中。在任何给定时间，一个参与者可以是演示者，并且演示者可以在远程会议会话中占据增强型角色。可以通过在用户的显示器上保持一致的存在来增强演示者的角色。可以在远程会议会话视图250中维护与演示者有关的信息。
如上所述，数据存储模块138可以存储简档数据210、流142、定义远程会议会话视图250的数据、会话数据208以及本文描述的其他数据和模块。替换地，一些或所有上述数据可以被存储在一个或多个处理单元202 上的单独存储器224上，例如CPU型处理器、GPU型处理器、FPGA型加速器、DSP型加速器和/或其他加速器上的存储器。在该示例中，计算机可读介质204还包括操作系统226和应用编程接口228，所述应用编程接口 228被配置为将设备110(例如，示例设备200)的功能和数据暴露给与客户端计算设备106(1)到106(N)相关联的外部设备。另外，计算机可读介质204包括一个或多个模块，例如服务器模块136和输出模块140，但是所示模块的数量仅是示例，并且数量可以变得更高或更低。也就是说，本文联合所示模块描述的功能可以由一个设备上或者分布在多个设备上的较少数量的模块或较多数量的模块来执行。
这样并且如前所述，通常，系统102被配置为对具有多个客户端计算设备106(1)到106(N)的远程会议会话104进行托管。系统102包括一个或多个处理单元202和计算机可读介质204，所述计算机可读介质204上编码有计算机可执行指令，以使一个或多个处理单元202进行以下操作：在系统102处从多个客户端计算设备106(1)-106(N)接收流142(1)-142(M)，至少部分地基于每个用户的远程会议视图250选择流142，并且传送定义与客户端计算设备106(1)到106(N)相对应的远程会议视图250 的远程会议数据146。远程会议数据实例146(1)-146(N)从系统102传送到多个客户端计算设备106(1)到106(N)。远程会议会话视图250(1) -250(N)使得多个客户端计算设备106(1)-106(N)在用户控制下显示远程会议会话104的视图。计算机可执行指令还使得一个或多个处理单元 202基于用户传送的视图切换控制信号156来确定远程会议会话104将转换到远程会议会话104的不同远程会议会话视图。
如所讨论的，本文公开的技术可以使用一个或多个“视图”。在一些示例中，视图包括舞台视图(本文也称为“远程会议会话视图”)和远程会议监视器视图。在操作的示例中，系统102执行包括在系统102处从多个客户端计算设备106(1)-106(N)接收流142(1)-142(N)的方法。该系统至少部分地基于每个客户端计算设备的选择的远程会议视图来组合和格式化流142，以生成远程会议数据146，例如远程会议数据实例146(1)-146 (N)。然后将远程会议数据实例146(1)-146(N)传送到各个客户端计算设备106(1)-106(N)。
应当注意，对系统102对远程会议会话104的托管的以上描述实现了对设备110的服务器功能中的远程会议会话视图的控制。在一些实施方式中，设备110的服务器功能可以将所有媒体部分组合到用于每个客户端计算设备106的远程会议数据中以配置要显示的视图。如上所述存储在远程会议会话视图中的信息也可以存储在客户端计算设备的数据存储模块中。客户端计算设备可以接收用户输入并将用户输入转换成未被发送到服务器的视图切换控制信号。可以在客户端计算设备自身上处理视图切换控制信号，以使显示器切换到期望的视图。客户端计算设备106可以通过根据用户选择的视图重新组织从服务器接收的远程会议数据146的部分来改变显示。
如上所概述的，本文公开的技术提供用于远程会议会话的集成多任务接口。在附图中示出了这样的用户界面的若干示例。具体地，图3A-4H示出了可以在与远程会议会话104通信的设备106上显示的用户界面300的各方面。该示例用户界面300可以被显示在设备106上，例如台式计算机、移动设备或者设备组合。具体地，图3A-3C示出了在选择要查看的内容之前的远程会议会话期间用户界面300的各方面。图4A-4H示出了在选择了内容或选择了功能类别之后显示的用户界面300的各方面。该示例用户界面300示出与功能类别相关联的内容，所述内容与远程会议会话104的一个或多个流的渲染同时显示。
如图3A所示，用户界面300包括在客户端计算设备106的显示设备上渲染的第一图形用户界面布置内的多个视频流的渲染。在该示例中，显示远程会议会话的多个参与者。虽然该示例示出了具有会议参与者的四个视频流的布置，但是可以领会，用户界面300可以包括任意数量的参与者并且还示出参与者的代表，例如头像。还可以领会，内容可以由任何参与者共享。在该示例中，视频流在用户界面300的框架302内以边到边格式渲染。
图3B示出了用户界面300的另一方面。在该示例中，用户界面300包括多个核心控件303，其可以被配置为控制远程会议会话104的各方面。例如，核心控件303的第一按钮可以将设备106从远程会议会话104断开。核心控件303的第二按钮可以控制设备106的麦克风，即静音按钮。核心控件303的第三按钮可以控制设备106的相机，即，打开或关闭相机。核心控件303的第四按钮可以用于将用户添加到会话104。响应于接收到对第四按钮的用户致动，可以显示使得用户能够选择其他用户成为会议参与者的菜单。这些示例是出于说明性目的被提供的，不应被解释为限制性的。可以领会，核心控件303可以涉及与远程会议会话104相关的任何合适的功能。例如，核心控件303的一个或多个按钮可以改变与视频数据流相关的限制带宽、显示属性等。在一些配置中，核心控件303的显示可以在预定时间段内淡入淡出。在这样的配置中，核心控件303可以基于一个或多个动作重新显示，例如在用户界面的预定部分内的悬停或其他合适的用户手势。
图3C示出了用户界面300的又一方面。在该示例中，用户界面300包括应用栏305(本文也称为“app栏”)。应用栏305可以配置有多个图形元素307(分别标记为307A、307B、307C等)，每个图形元素与不同的功能或内容相关联。在图3C的说明性示例中，多个可选图形元素307可以提供对具有多个预定数据类型的内容数据的访问，所述内容数据包括但不限于简档数据、日历数据、电子邮件数据、团队论坛数据、聊天论坛数据、图像数据、视频数据、文档数据和计算设备可访问的其他数据类型。可选图形元素307中的每一者都可以提供对具有数据类型的文件和/或功能类别的访问，所述功能类别例如日历程序、电子邮件程序、团队论坛程序、聊天论坛程序、图像程序、视频程序、文档程序和其他程序。
出于说明性目的，简档数据可以包括用户的姓名、ID、电话号码或与用户相关联的任何其他信息。响应于对第一(“简档”)图形元素的用户选择，可以访问和显示简档数据。日历数据可以包括存储在一个或多个日历数据库中的用户约会。响应于对第二(“日历”)图形元素的用户选择，可以访问和显示日历数据。电子邮件数据可以包括存储在一个或多个电子邮件数据库中的用户的电子邮件消息和任务。响应于对第三(“电子邮件”) 图形元素的用户选择，可以访问和显示电子邮件数据。这些内容数据的示例是出于说明性目的被提供的，不应被解释为限制性的。可以领会，可以在App栏305上列出其他类型的内容数据，并使其可用于在图形用户界面 300上进行选择和显示。
出于说明性目的，团队可以包括一个或多个指定的用户。在一些配置中，团队包括受邀加入团队的指定用户组。除非用户接收到邀请并接受邀请，否则任何用户都无法访问与团队相关的数据，例如相关消息和聊天讨论。一旦用户被邀请加入团队，该用户就可以加入与该团队相关联的一个或多个“频道”。频道(在本文也称为“频道论坛”)是对特定主题感兴趣的定制用户组。例如，团队可以具有“合法主题”频道，“开发时间表”频道等。组中的用户可以独立于他们参与远程会议会话而参与频道论坛。因此，远程会议会话的参与者可以参与涉及不是远程会议会话的参与者的用户的频道。如下面将更详细描述的，与频道相关联的用户可以共享和查看在特定频道论坛内发布的文本、图像和其他数据对象。本文公开的技术可以使用频道通信数据来定义本文描述的频道论坛功能。
聊天(也称为“聊天论坛”)可以包括指定的用户组。在一些配置中，用户仅通过邀请被包括在聊天中。聊天会话可以存在于一组用户之间，而与他们参与远程会议会话无关。因此，远程会议会话的参与者可以与不是远程会议会话的参与者的用户聊天。与聊天论坛相关联的用户可以共享和查看在特定聊天论坛内发布的文本、图像和其他数据对象。
出于说明性目的，文件可以包括以任何合适的格式存储的任何数据结构。文件可以被存储在客户端计算设备106或一个或多个远程计算机(例如，服务器设备110)上。对App栏305的相应图形元素(例如，307F) 的致动可以促使文件或文件列表的显示。
如上所概述的，一旦内容被选择或功能类别被选择，例如，app栏的菜单选项被选择，设备106就可以生成允许用户查看所选择的内容以及远程会议会话104的一个或多个视频流的用户界面布置。在一些配置中，响应于接收到对内容数据的选择，设备106可以从第一图形用户界面(图3A-3C) 转换到具有第一显示区域401和第二显示区域402的第二图形用户界面(图 4A-4H)。另外，设备106可以在第二图形用户界面布置的第一显示区域401 内显示所选择的内容的渲染，并且在第二图形用户界面布置的第二显示区域402内显示远程会议会话104的多个视频流。
图4A示出了当设备106接收到对app栏的“日历”界面元素(图3C 上的307B)的致动时显示的示例用户界面400。响应于该选择，设备106 从一个或多个其他程序模块132取回内容数据，并且在与远程会议会话104 的视频流相同的用户界面400中显示该内容数据，例如日历数据。更具体地，内容数据被显示在第一显示区域401中，并且远程会议会话104的视频流被显示在第二显示区域402中，例如远程会议监视器视图。还示出，第二图形用户界面布置400(本文也称为“第二用户界面400”或“多任务视图400”)可以被配置为包括第二显示区域402内的核心控件。核心控件可以配置有本文描述的功能。
图4B示出了当设备106接收到对app栏的“电子邮件”界面元素(307C) 的致动时显示的示例用户界面400。响应于该选择，设备106从一个或多个其他程序模块132取回电子邮件，并且在与远程会议会话104的视频流相同的用户界面400中显示该电子邮件。如图所示，电子邮件和其他相关数据被显示在第一显示区域401中，并且远程会议会话104的视频流被显示在第二显示区域402中。
图4C示出了当设备106接收到对app栏的“团队”界面元素(图3C 的307D)的致动时显示的示例用户界面400。响应于该选择，设备106从一个或多个程序模块132取回团队数据和其他相关数据，并且在与远程会议会话104的视频流相同的用户界面400中显示该团队数据和相关数据。还示出，用户界面400包括示出与用户相关联的各种团队和频道的部分。可以选择不同的频道或团队。例如，用户可以选择“Shipping”按钮以查看该频道的内容。
图4D示出了当设备106接收到对app栏的“聊天”界面元素(图3C 的307E)的致动时显示的示例用户界面400。作为响应，设备106从一个或多个其他程序模块132取回聊天数据，并且在与远程会议会话104的视频流相同的用户界面400中显示该聊天数据。还示出，用户界面包括示出与用户相关联的各种聊天论坛的部分。用户可以通过使用相应的图形元素来选择不同的聊天论坛。例如，用户可以选择“Mike Steve and Bill”按钮来查看该聊天会话的内容。
可以领会，用户可能难以定位聊天论坛或频道论坛的特定项目。当对话具有多个文本条目和对象条目，并且用户需要滚动冗长的对话以查找特定项目时，可能会发生这种情况。为了解决该问题，本文公开的技术通过使用选项卡提供对高优先级文档或其他高优先级对象的访问。
参考图4D，用户可以致动新选项卡按钮(“+”用户界面元素)以创建新选项卡。作为响应，设备106可以显示提供对一个或多个资源的访问的菜单选项。在一些配置中，资源可以包括可以由客户端设备106或由服务器设备110执行的多个应用。如图4E所示，菜单可以显示在图形用户界面 400的第一显示区域中，允许用户选择一个或多个资源，例如，一个或多个功能类别。在该说明性示例中，资源包括文字处理程序、电子表格程序、演示程序、笔记程序、网络日志程序或第三方应用。这些示例是出于说明性目的被提供的，不应被解释为限制性的。可以领会，计算设备106可以使用来自任何合适设备的资源，包括网站或服务。出于说明性目的，考虑用户选择电子表格应用以创建新文件或打开现有文件的示例。在这样的示例中，如图4F所示，可以创建选项卡以显示文件内容以及会话104的视频流。然后，无论聊天论坛或频道论坛的滚动位置如何，查看聊天或频道的用户都可以使用该选项卡来访问该文件。
图4G示出了当设备106接收到对app栏的“文件”界面元素(图3C 上的307F)的致动时显示的示例用户界面400。响应于该选择，设备106 从一个或多个程序模块132取回文件列表，并且在与远程会议会话104的视频流相同的用户界面400中显示该文件列表。在该示例中，在图形用户界面400的第一显示区域401中列出文件。如图4H所示，响应于对个体文件的选择，可以在图形用户界面400的第一显示区域401中显示所选择的文件的内容。如图所示，所选择的文件的内容可以结合远程会议会话104 的一个或多个视频流一起显示。
在一些配置中，图形用户界面400的第二显示区域402可以被配置为提供与远程会议会话104相关联的一个或多个警报。例如，计算设备106 可以显示用于指示与远程会议会话相关联的带宽问题的警报。警报的显示可以在图形用户界面400的第二显示区域402内。
在一些配置中，可以通过使用拖放特征来与远程会议会话104共享文档或其他数据对象。例如，可以在图形用户界面400的第二显示区域402 中渲染诸如约会(图4A)之类的数据对象。通过使用指点设备或触摸屏，用户可以拖动选择的对象(例如，约会)到用户界面400的第二显示区域 402。作为响应，计算设备106可以与远程会议会话104的其他参与者共享选择的对象。该示例是出于说明性目的被提供的，不应被解释为限制性的。可以领会，可以使用所描述的拖放功能与远程会议会话104的参与者共享本文公开的其他对象，例如文件、聊天论坛的文本或任何其他数据对象。在一个示例中，本公开的方法可以包括接收对来自从多个文件的文件的选择的系统。系统还可以接收用于指示将该文件从包括图形元素的第一显示区域(401)(例如，显示文件图标的区域)移动到第二显示区域(402)(例如，显示流的地方)的手势的输入命令。响应于输入命令，系统可以与和参与远程会议会话的用户相关联的计算设备共享该文件。可以将所共享的文件传送到与参与远程会议会话的用户相关联的计算设备，或者可以将文件流传送到与参与远程会议会话的用户相关联的计算设备。
在一些配置中，结合多任务视图显示的远程会议监视器视图可以被配置为显示远程会议会话104的重要内容。在一个说明性示例中，用户可以使用第一应用，例如管理远程会议会话104的应用，通过远程会议会话视图与远程会议会话104进行交互。远程会议会话视图可以显示多个流，其中，所述多个流可以包含人或共享的内容的图像和/或视频。当用户使用诸如文字处理或聊天应用之类的第二应用将远程会议会话视图转换到多任务视图时，系统基于与多个流中的一个或多个流相关联的活动级别来选择所述一个或多个流。然后，在多任务视图内的远程会议监视器视图中渲染使用指示活动级别的数据选择的所述一个或多个流。
在配置远程会议会话视图中，可以基于由每个参与者提供的每个流的活动级别，在远程会议会话视图中布置和/或选择远程会议数据的流。可以分析每个参与者的流中的视频或共享内容，以确定远程会议数据的任何流的活动级别。在客户端计算设备基于参与者的活动来配置视图或UI的一些配置中，服务器可以生成用于指示与远程会议数据的各个流相关联的活动级别的数据。用于指示与各个流相关联的活动级别的数据可以被传送到客户端计算设备或者在服务器处使用以对流进行选择或排序。而且，在一些配置中，客户端计算设备可以生成用于指示与远程会议数据的各个流相关联的活动级别的数据。
活动级别可以基于对远程会议数据的各个流的分析，并且活动级别可以与一组参与者、个体参与者或内容相关联。活动级别可以基于任何类型的活动，包括但不限于以下示例。参与者运动：参与者在视频中移动的程度可以决定参与者的活动级别。在视频中打手势或以其他方式移动的过程中的参与者可以被视为在远程会议中以相对高的级别进行参与。参与者嘴唇运动：可以分析任何视频流以确定参与者的嘴唇移动的程度，作为参与者讲话的程度的指示。以相对高的级别讲话的参与者可以被视为在以相应的相对高的级别进行参与。参与者面部表情：可以分析参与者的视频以确定面部表情的变化，或者使用模式识别来确定特定的面部表情。在远程会议中通过面部表情作出反应的参与者可以被视为在以相对高的级别进行参与。内容修改：可以分析正在远程会议中共享的内容的视频或内容的任何电子版本以确定它是否正在被修改或已经被修改。如果流指示内容正在被修改，则与内容相对应的用户界面元素可以在显示区域中被提升和排序或者被自动提升到另一显示区域。可以使用诸如修改频率、参与修改的人数以及其他活动的修改范围或程度来确定活动级别。内容翻页：可以分析正在共享的内容的视频以确定是否存在例如文档的翻页，并且分配相应的活动级别。在第一显示区域中具有内容的参与者的数量：可以基于在第一显示区域或第二显示区域中具有正在共享的内容的视图的参与者的数量来向该内容的视频分配活动级别。正在进入远程会议会话的参与者：来自正在进入远程会议会话的参与者的流可以与高活动级别相关联。活动级别可以基于参与者加入会话的顺序。正在离开远程会议会话的参与者：来自正在离开远程会议的参与者的流可以与低活动级别相关联。
图5A-5H是与远程会议会话中的客户端计算设备之一相对应的显示器的屏幕截图视图，示出了与示出重要内容的远程会议监视器视图同时显示的多任务视图。特别地，图5A示出了当设备106接收到对app栏的“日历”界面元素(图3C上的307B)的致动时显示的示例用户界面500。响应于该选择，设备106从一个或多个程序模块132取回内容数据，并且在与基于活动级别选择的一个或多个流501(例如，选择的流501)的渲染相同的用户界面500中显示该内容数据，例如日历数据。更具体地，内容数据被显示在第一显示区域401中，并且远程会议会话104的一个或多个选择的流 501被显示在第二显示区域402中，例如远程会议监视器视图。还示出，第二图形用户界面布置500(本文也称为“第二用户界面500”或“多任务视图500”)可以被配置为包括第二显示区域402内的核心控件。核心控件可以配置有本文描述的功能。
图5B示出了当设备106接收到对app栏的“电子邮件”界面元素(图 3C中的307C)的致动时显示的示例用户界面500。响应于该选择，设备106 从一个或多个程序模块132取回内容数据，并且在与基于活动级别选择的一个或多个流501的渲染相同的用户界面500中显示该内容数据，例如电子邮件。如图所示，电子邮件和其他相关数据被显示在第一显示区域401 中，并且远程会议会话104的所选择的流被显示在第二显示区域402中。
图5C示出了当设备106接收到对app栏的“团队”界面元素(图3C 上的307D)的致动时显示的示例用户界面500。响应于该选择，设备106 从一个或多个程序模块132取回内容数据，并且在与基于活动级别选择的一个或多个流501的渲染相同的用户界面500中显示该内容数据，例如团队数据。如图所示，用户界面500包括示出与用户相关联的各种团队和频道的部分。可以选择不同的频道或团队。例如，用户可以选择“Shipping”按钮以查看该频道的内容。
图5D示出了当设备106接收到对app栏的“聊天”界面元素(307E) 的致动时显示的示例用户界面500。作为响应，设备106从一个或多个程序模块132取回聊天数据，并且在与基于活动级别选择的一个或多个流501 的渲染相同的用户界面500中显示该聊天数据。如图所示，用户界面500 包括示出与用户相关联的各种聊天论坛的部分。用户可以通过使用相应的图形元素来选择不同的聊天论坛。例如，用户可以选择“Mike Steve and Bill”按钮来查看该聊天会话的内容。
可以领会，用户可能难以定位聊天论坛或频道论坛的特定项目。当对话具有多个文本条目和对象条目，并且用户需要滚动冗长的对话以查找特定项目时，可能会发生这种情况。为了解决该问题，本文公开的技术通过使用选项卡来提供对高优先级文档或其他高优先级对象的访问。
参考图5D，用户可以致动新选项卡按钮(“+”用户界面元素)以创建新选项卡。作为响应，设备106可以显示提供对一个或多个资源的访问的菜单选项。在一些配置中，资源可以包括可以由客户端设备106或由服务器设备110执行的多个应用。如图5E所示，菜单可以被显示在图形用户界面500的第一显示区域中，允许用户选择一个或多个资源，例如，一个或多个功能类别。在该说明性示例中，资源包括文字处理程序、电子表格程序、演示程序、聊天程序、消息传递程序、文件共享程序、笔记程序、网络日志程序或第三方应用。这些示例是出于说明性目的被提供的，不应被解释为限制性的。可以领会，计算设备106可以使用来自任何合适设备的资源，包括网站或服务。
出于说明性目的，考虑用户选择电子表格应用以创建新文件或打开现有文件的示例。在这样的示例中，如图5F所示，可以创建选项卡以显示文件内容以及基于活动级别选择的流501。无论聊天论坛或频道论坛的滚动位置如何，想要查看聊天或频道的用户都可以使用该选项卡来访问该文件。基于活动级别选择的流与在所选选项卡中查看的内容同时渲染。
图5G示出了当设备106接收到对app栏的“文件”界面元素(图3C 上的307F)的致动时显示的示例用户界面500。响应于该选择，设备106 从一个或多个程序模块132取回文件列表，并且在与基于活动级别选择的流501相同的用户界面400中显示该文件列表。在该示例中，文件被列在图形用户界面500的第一显示区域401中。虽然本文的示例示出了从一个或多个程序模块取回内容数据的实施方式，但是可以领会，这样的功能包括以下动作：从任何数据存储模块取回内容数据，以提供对内容数据的程序模块访问和显示内容数据的能力。在以上示例中，所选择的流被渲染在界面500的第二显示区域402中。
如图5H所示，响应于对个体文件的选择，所选择的文件的内容可以被显示在图形用户界面400的第一显示区域401中。如图所示，所选择的文件的内容可以结合基于活动级别选择的一个或多个流501一起显示。在所有示例中，基于活动级别选择的流可以涉及内容和/或人。
图5I示出了当设备106接收到对app栏的“文件”界面元素(图3C 上的307F)的致动时显示的示例用户界面500。响应于该选择，设备106 从一个或多个程序模块132取回文件列表，并且在与基于活动级别选择的流501相同的用户界面400中显示该文件列表。在该示例中，第二显示区域402示出了诸如演示文件之类的共享的内容的渲染。在一些实施例中，当与特定流相关的用户活动达到特定阈值时，例如人在预定时间段内讲话，图5I的用户界面500可以转换到图5J所示的用户界面500，其中示出活跃内容551(人或内容)的覆盖视图可以与第二显示区域402中示出的流501 同时显示。
现在转到图6，示出并描述了用于在客户端计算设备106的显示器上显示远程会议数据的例程600的各方面。应当理解，本文公开的方法的操作不必以任何特定的顺序呈现，并且以替换的顺序执行一些或所有操作是可能的并且是可预期的。为了便于描述和说明，已经以示出的顺序呈现了操作。在不脱离所附权利要求的范围的情况下，可以添加、省略和/或同时执行操作。此外，应当理解，例程600可以由与系统100相关联的一个或多个元素实现。
还应当理解，所示方法可以在任何时间结束，并且不需要以其整体执行。可以通过执行包括在计算机存储介质上的计算机可读指令来执行方法的一些或所有操作和/或基本等同的操作，如下面所定义的。如在说明书和权利要求中使用的术语“计算机可读指令”及其变体在本文中被广泛使用，以包括例程、应用、应用模块、程序模块、程序、组件、数据结构、算法等。计算机可读指令可以在各种系统配置上实现，包括单处理器或多处理器系统、小型计算机、大型计算机、个人计算机、手持计算设备、基于微处理器的可编程消费电子产品、其组合等。
应当领会，本文描述的逻辑操作被实现为(1)在计算系统上运行的计算机实现的动作或程序模块的序列和/或(2)计算系统内的互连机器逻辑电路或电路模块。实施方式是一个选择问题，取决于计算系统的性能和其他要求。因此，本文描述的逻辑操作被不同地称为状态、操作、结构设备、动作或模块。这些操作、结构设备、动作和模块可以用软件、用固件、用专用数字逻辑及其任何组合来实现。
例如，例程600的操作在本文中被描述为至少部分地由应用、组件和/ 或电路实现，例如托管远程会议会话104的系统100中图1中的设备110 中的服务器模块136。在一些配置中，服务器模块136可以是动态链接库 (DLL)、静态链接库、由应用编程接口(API)产生的功能、编译程序、解释程序、脚本或任何其他可执行指令集。诸如服务器模块136之类的数据和/或模块可以被存储在一个或多个存储器组件中的数据结构中。可以通过寻址链接或对数据结构的引用来从数据结构取回数据。
虽然以下说明可以参考图1和图2的组件，但是可以领会，例程600 的操作也可以以许多其他方式实现。例如，例程600可以由另一远程计算机的处理器或本地电路(例如，客户端计算设备106(1)中的客户端模块 130)至少部分地或以修改的形式实现。另外，例程600的一个或多个操作可以替代地或附加地至少部分地由单独工作或与其他软件模块一起工作的芯片组实现。适合于提供本文公开的技术的任何服务、电路或应用可以用于本文描述的操作中。
参考图6，例程600开始于框602，其中服务器模块136从相应的客户端计算设备106(1)-106(N)接收多个流142(1)-142(M)。每个客户端计算设备106(1)-106(N)的用户传送用于加入远程会议会话104的请求，并且一旦被授权参与远程会议会话104就传送流142。服务器模块136 从每个客户端计算设备106(1)-106(N)接收流142。
在框604处，对流的各部分进行组合以生成与具有显示设备150(1) 的选择的客户端计算设备106(1)相对应的远程会议数据146。在一些配置中，步骤604可以涉及服务器和/或客户端计算机可以分析远程会议数据或媒体流以确定内容流的存在的操作。例如，服务器可以确定客户端计算设备何时在共享内容数据，例如文件、应用的图像、应用共享屏幕或任何其他类型的内容。基于确定何时内容是远程会议数据的一部分或者不是远程会议数据的一部分，可以在一个或多个客户端计算设备106上显示内容的一个或多个选择的流。
在框606处，远程会议数据被配置为在第一用户界面布置300中显示，这可以与图3A-3C的示例相对应。例如，系统可以显示会话参与者的视频或会话参与者的表示，例如头像或图标。系统还可以显示至少一个流共享内容的渲染，例如共享的文件或桌面，二者都通过远程会议会话视图显示。第一用户界面布置300还可以显示包括多个可选元素的菜单，其中，所述多个可选元素中的各个元素与具有多个预定数据类型的内容数据相关联。所述多个可选元素中的各个元素还可以与各个功能类别相关联。例如，各个可选元素可以调用模块的执行以执行编辑功能、聊天功能、电子邮件功能、日历功能、文件导航功能或适合于编辑或以其他方式处理特定数据类型的文件的任何其他功能。
在框608处，系统可以接收对具有多个预定数据类型中的数据类型的内容数据的选择。例如，用户可以在app栏305中选择“聊天”菜单选项，其中所选择的内容数据包括具有合适数据类型的聊天数据。对内容数据的选择可以包括任何合适形式的输入，其可以包括用于指示对具有预定数据类型的内容数据的指示的语音输入、触摸屏手势输入或任何其他形式的输入。在其他示例中，用户可以选择具有其他数据类型的其他内容数据，例如演示文件(PPTX、Keynote)、电子表格文件(XLSX、Numbers)等。在框608中，系统还可以接收对功能类别的选择。如本文所述，每种功能类别可以包括但不限于文档编辑功能、聊天功能、电子邮件功能、日历功能、文件导航功能等。
接下来，在框610处，响应于接收到对特定数据类型的内容数据的选择和/或对功能类别的选择，系统可以从第一图形用户界面布置300转换到具有第一显示区域401和第二显示区域402的第二图形用户界面布置(400 或500)。图4A至图5H中示出了第二图形用户界面布置(400或500)的示例。
而且，响应于接收到对内容数据和/或具有功能类别的程序的选择，系统可以选择被配置为处理或编辑具有所选择的数据类型的内容数据的一个或多个程序模块132。例如，如果所选择的内容数据包括聊天数据，则系统可以选择聊天程序，用于为用户提供检索、交互、编辑和以其他方式处理这样的内容数据的功能。在上述另一示例中，如果所选择的内容数据包括演示数据，则系统可以选择演示模块，例如PowerPoint模块，用于为用户提供检索、交互、编辑和以其他方式处理这样的内容数据的功能。然后，系统可以在第二图形用户界面的第一显示区域401内显示所选择的内容数据的渲染，并且系统可以同时在第二图形用户界面布置的第二显示区域402 内显示至少一个视频流的渲染。
在一些配置中，可以基于活动级别来选择在第二图形用户界面中渲染的流。因此，在一些配置中，在第二图形用户界面中渲染的流可以是活跃参与者或活跃内容的视频流。所选择的流可以容纳第一图形用户界面的显示区域，所述显示区域可以小于第一图形用户界面中的流的显示区域，例如远程会议会话视图。
虽然已经用特定于结构特征和/或方法动作的语言描述了这些技术，但是应当理解，所附权利要求不必限于所描述的特征或动作。确切地说，特征和动作被描述为这些技术的示例实施方式。
示例过程的操作在各个框中被示出，并参考那些框被概述。这些过程被示为框的逻辑流，其每个框可以表示可以用硬件、软件或其组合实现的一个或多个操作。在软件的上下文中，操作表示存储在一个或多个计算机可读介质上的计算机可执行指令，所述计算机可执行指令当由一个或多个处理器执行时，使得一个或多个处理器能够执行所述操作。通常，计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、模块、组件、数据结构等。描述操作的顺序不旨在被解释为限制性的，并且任何数量的所描述的操作可以以任何顺序执行，以任何顺序组合，细分为多个子操作，和/或并行执行实现所描述的过程。所描述的过程可以由与一个或多个设备(例如，一个或多个内部或外部CPU或GPU)和/或一个或多个硬件逻辑(例如，FPGA、DSP或其他类型的加速器)相关联的资源来执行。
本公开根据以下实施例进行：
示例1：一种系统，包括：一个或多个处理单元；以及计算机可读介质，其上编码有计算机可执行指令以使所述一个或多个处理单元在显示设备上渲染的第一图形用户界面布置内显示远程会议会话的至少一个视频流的渲染；
显示包括多个可选元素的菜单，其中，所述多个可选元素中的各个元素与具有多种数据类型的内容数据相关联；接收对具有所述多种数据类型中的至少一种数据类型的内容数据的选择；响应于接收到对具有所述至少一种数据类型的所述内容数据的所述选择，使所述系统从所述第一图形用户界面布置转换到具有第一显示区域和第二显示区域的第二图形用户界面布置，执行被配置为对具有所述至少一种数据类型的所述内容数据进行编辑的一个或多个程序模块，以及使所述系统在所述第一显示区域内显示具有所述至少一种数据类型的所述内容数据的渲染以及在所述第二显示区域内显示所述至少一个视频流的所述渲染。
示例2：如以上示例中任一示例所述的系统，其中，对所述内容数据的所述选择包括对频道通信内容的选择，并且所述频道通信内容与所述第二显示区域内的所述至少一个视频流的所述渲染的显示相结合地显示在所述第二图形用户界面布置的所述第一显示区域内。
示例3：如以上示例中任一示例所述的系统，其中，对所述内容数据的所述选择包括对聊天通信内容的选择，并且所述聊天通信内容与所述第二显示区域内的所述至少一个视频流的所述渲染的显示相结合地显示在所述第二图形用户界面布置的所述第一显示区域内。
示例4：如以上示例中任一示例所述的系统，其中，所述第二图形用户界面布置的所述第二显示区域内的所述至少一个视频流的所述渲染的显示包括用于提供远程会议会话的核心控件的图形元素，所述核心控件至少包括用于控制所述系统的麦克风的第一控件、用于控制所述系统的扬声器的第二控件、以及用于退出所述远程会议会话的第三控件。
示例5：如以上示例中任一示例所述的系统，其中，所述指令还使所述一个或多个处理单元：接收用于指示所述远程会议会话的状态的状态消息；以及在所述第二图形用户界面布置的所述第二显示区域内显示包括所述状态消息的至少一部分的图形元素。
示例6：如以上示例中的任一示例所述的系统，其中，所述状态消息指示所述远程会议会话的连接质量。
示例7：如以上示例中任一示例所述的系统，其中，所述第一图形用户界面布置被配置为以边到边格式显示所述视频流，并且其中，所述第二图形用户界面布置的所述第二显示区域具有相对于所述边到边格式的减小的尺寸。
示例8：如以上示例中任一示例所述的系统，其中，所述指令还使所述一个或多个处理单元：接收用于指示对所述内容数据的对象的选择的输入数据，其中，所述输入数据还指示用于与所述远程会议会话的一个或多个参与者共享所述对象的手势；从存储设备取回所述内容数据的所述对象；以及将所述内容数据的所述对象传送到与所述远程会议会话的所述一个或多个参与者相关联的一个或多个计算设备。
示例9：一种系统，包括：一个或多个处理单元；以及计算机可读介质，其上编码有计算机可执行指令以使所述一个或多个处理单元：接收远程会议会话的至少一个视频流；在显示设备上渲染的第一图形用户界面布置内显示所述至少一个视频流的渲染；选择内容数据，所述内容数据包括频道通信数据、聊天通信数据、图像数据、视频数据或文档数据中的至少一项；响应于接收到所述内容数据的选择，使所述系统从所述第一图形用户界面布置转换到具有第一显示区域和第二显示区域的第二图形用户界面布置，取回被配置为管理所述内容数据的一个或多个程序模块的内容数据，使所述系统显示所述内容数据的渲染，其中，所述内容数据被显示在所述第二图形用户界面布置的所述第一显示区域内，以及在所述第二图形用户界面布置的所述第二显示区域内显示所述至少一个视频流的所述渲染。
示例10：如以上示例中任一示例所述的系统，其中，对所述内容数据的所述选择包括对频道通信内容的选择，并且所述频道通信内容与所述第二显示区域内的所述至少一个视频流的所述渲染的显示相结合地显示在所述第二图形用户界面布置的所述第一显示区域内。
示例11：如以上示例中任一示例所述的系统，其中，对所述内容数据的所述选择包括对聊天通信内容的选择，并且所述聊天通信内容与所述第二显示区域内的所述至少一个视频流的所述渲染的显示相结合地显示在所述第二图形用户界面布置的所述第一显示区域内。
示例12：如以上示例中任一示例所述的系统，其中，所述第二图形用户界面布置的所述第二显示区域内的所述至少一个视频流的所述渲染的显示包括用于提供远程会议会话的核心控件的图形元素，所述核心控件至少包括用于控制所述系统的麦克风的第一控件、用于控制所述系统的扬声器的第二控件、以及用于退出所述远程会议会话的第三控件。
示例13：如以上示例中任一示例所述的系统，其中，所述指令还使所述一个或多个处理单元：接收用于指示所述远程会议会话的状态的状态消息；以及在所述第二图形用户界面布置的所述第二显示区域内显示包括所述状态消息的至少一部分的图形元素。
示例14：如以上示例中任一示例所述的系统，其中，所述状态消息指示所述远程会议会话的连接质量。
示例15：如以上示例中任一示例所述的系统，其中，所述第二图形用户界面布置的所述第二显示具有相对于所述第一图形用户界面布置的所述第二显示的减小的尺寸。
示例16：如以上示例中任一示例所述的系统，其中，所述指令还使所述一个或多个处理单元：接收用于指示对所述内容数据的对象的选择的输入数据，其中，所述输入数据还指示用于与所述远程会议会话的一个或多个参与者共享所述对象的手势；从存储设备取回所述内容数据的所述对象；以及将所述内容数据的所述对象传送到与所述远程会议会话的所述一个或多个参与者相关联的一个或多个计算设备。
示例17：一种系统，包括：一个或多个处理单元；以及计算机可读介质，其上编码有计算机可执行指令以使所述一个或多个处理单元：接收远程会议会话的至少一个视频流；在显示设备上渲染的第一图形用户界面布置内显示所述至少一个视频流的渲染；接收对具有多种预定数据类型中的数据类型的内容数据的选择；响应于接收到对所述内容数据的所述选择，使系统从所述第一图形用户界面布置转换到具有第一显示区域和第二显示区域的第二图形用户界面布置，选择被配置为管理具有所述数据类型的所述内容数据的一个或多个程序模块，取回被配置为管理具有所述数据类型的所述内容数据的所述一个或多个程序模块的所述内容数据，使系统显示所述内容数据的渲染，其中，所述内容数据被显示在所述第二图形用户界面布置的所述第一显示区域内，以及使所述系统在所述第二图形用户界面布置的所述第二显示区域内显示所述至少一个视频流的所述渲染。
示例18：如以上示例中任一示例所述的系统，其中，对所述内容数据的所述选择包括对频道通信内容的选择，并且所述频道通信内容与所述第二显示区域内的所述至少一个视频流的所述渲染的显示相结合地显示在所述第二图形用户界面布置的所述第一显示区域内。
示例19：如以上示例中任一示例所述的系统，其中，对所述内容数据的所述选择包括对聊天通信内容的选择，并且所述聊天通信内容与所述第二显示区域内的所述至少一个视频流的所述渲染的显示相结合地显示在所述第二图形用户界面布置的所述第一显示区域内。
示例20：如以上示例中任一示例所述的系统，其中，所述第二图形用户界面布置的所述第二显示区域内的所述至少一个视频流的所述渲染的显示包括用于提供远程会议会话的核心控件的图形元素，所述核心控件至少包括用于控制所述系统的麦克风的第一控件、用于控制所述系统的扬声器的第二控件、以及用于退出所述远程会议会话的第三控件。
示例21：如以上示例中任一示例所述的系统，其中，所述指令还使所述一个或多个处理单元：接收用于指示所述远程会议会话的状态的状态消息；以及在所述第二图形用户界面布置的所述第二显示区域内显示包括所述状态消息的至少一部分的图形元素。
示例22：如以上示例中任一示例所述的系统，其中，所述状态消息指示所述远程会议会话的连接质量。
示例23：如以上示例中任一示例所述的系统，其中，所述第二图形用户界面布置的所述第二显示具有相对于所述第一图形用户界面布置的所述第二显示的减小的尺寸。
示例24：如以上示例中任一示例所述的系统，其中，所述指令还使所述一个或多个处理单元：接收用于指示对所述内容数据的对象的选择的输入数据，其中，所述输入数据还指示用于与所述远程会议会话的一个或多个参与者共享所述对象的手势；从存储设备取回所述内容数据的所述对象；以及将所述内容数据的所述对象传送到与所述远程会议会话的所述一个或多个参与者相关联的一个或多个计算设备。
示例25：一种系统，包括：一个或多个处理单元；以及计算机可读介质，其上编码有计算机可执行指令以使所述一个或多个处理单元：将远程会议数据传送到计算设备，使得所述计算设备在显示设备上渲染的第一图形用户界面布置内显示远程会议会话的多个流的渲染；基于与所述多个流中的一个或多个流相关联的活动级别来选择所述一个或多个流；接收对用于对内容数据执行一类功能的程序模块的选择；响应于接收到对所述程序模块的所述选择，使所述计算设备从所述第一图形用户界面布置转换到具有第一显示区域和第二显示区域的第二图形用户界面布置，以及使所述计算设备在所述第一显示区域内显示所述内容数据的渲染以及在所述第二显示区域内显示所述一个或多个流的所述渲染。
示例26：如以上示例中任一示例所述的系统，其中，所述一个或多个流包括参与者或内容，其中，基于以下各项中的至少一项的活动级别来选择所述一个或多个流：参与者运动、参与者嘴唇运动、参与者面部表情、内容修改、所述内容的翻页活动、所述远程会议会话的具有显示的所述内容的参与者的数量、正在进入所述远程会议会话的参与者、或者正在离开所述远程会议会话的参与者。
示例27：如以上示例中任一示例所述的系统，其中，所述程序模块包括以下各项中的至少一项：文字处理程序、电子表格程序、演示程序、聊天程序、消息传递程序或文件共享程序。
示例28：如以上示例中任一示例所述的系统，其中，所述第一图形用户界面布置包括程序模块菜单，其中，所述程序模块菜单包括以下各项中的至少两项或更多项：文字处理程序、电子表格程序、演示程序、聊天程序、消息传递程序或文件共享程序。
示例29：如以上示例中任一示例所述的系统，其中，所述第二图形用户界面布置显示多个图形元素，其中，每个图形元素表示多个文件中的个体文件，其中，所述指令还使所述一个或多个处理单元：接收对来自所述多个文件的文件的选择；接收输入命令，所述输入命令指示用于将所述文件从包括所述图形元素的所述第一显示区域移动到所述第二显示区域的手势；以及响应于所述输入命令，与和参与所述远程会议会话的用户相关联的计算设备共享所述文件。
示例30：一种系统，包括：一个或多个处理单元；以及计算机可读介质，其上编码有计算机可执行指令以使所述一个或多个处理单元：接收远程会议数据，使得与所述系统通信的显示设备在显示设备上渲染的第一图形用户界面布置内显示远程会议会话的多个流的渲染；基于与所述多个流中的一个或多个流相关联的活动级别来选择所述一个或多个流；接收对用于对内容数据执行一类功能的程序模块的选择；响应于接收到对所述程序模块的所述选择，使所述显示设备从所述第一图形用户界面布置转换到具有第一显示区域和第二显示区域的第二图形用户界面布置，以及使所述显示设备在所述第一显示区域内显示所述内容数据的渲染并且在所述第二显示区域内显示所述一个或多个流的所述渲染。
示例31：如以上示例中任一示例所述的系统，其中，所述一个或多个流包括参与者或内容，其中，基于以下各项中的至少一项的活动级别来选择所述一个或多个流：参与者运动、参与者嘴唇运动、参与者面部表情、内容修改、所述内容的翻页活动、所述远程会议会话的具有显示的所述内容的参与者的数量、正在进入所述远程会议会话的参与者、或者正在离开所述远程会议会话的参与者。
示例32：如以上示例中任一示例所述的系统，其中，所述程序模块包括以下各项中的至少一项：文字处理程序、电子表格程序、演示程序、聊天程序、消息传递程序或文件共享程序。
示例33：如以上示例中任一示例所述的系统，其中，所述第一图形用户界面布置包括程序模块菜单，其中，所述程序模块菜单包括以下各项中的至少两项或更多项：文字处理程序、电子表格程序、演示程序、聊天程序、消息传递程序或文件共享程序。
示例34：如以上示例中任一示例所述的系统，其中，所述第二图形用户界面布置显示多个图形元素，其中，每个图形元素表示多个文件中的个体文件，其中，所述指令还使所述一个或多个处理单元：接收对来自所述多个文件的文件的选择；接收输入命令，所述输入命令指示用于将所述文件从包括所述图形元素的所述第一显示区域移动到所述第二显示区域的手势；以及响应于所述输入命令，与和参与所述远程会议会话的用户相关联的计算设备共享所述文件。
上述所有方法和过程可以体现在由一个或多个通用计算机或处理器执行的软件代码模块中并且经由所述软件代码模块来完全自动化。代码模块可以被存储在任何类型的计算机可读存储介质或其他计算机存储设备中。替代地，一些或所有方法可以体现在专用计算机硬件中。
除非另有特别说明，否则诸如“能够”、“可以”、“可能”或“可”等的条件语言在上下文内被理解为表示某些示例包括而其他示例不包括某些特征、元素和/或步骤。因此，这样的条件语言通常不旨在暗示某些特征、元素和/或步骤以任何方式是一种或多种示例所需要的，或者一个或多个示例必须包括用于在有或没有用户输入或提示的情况下决定在任何特定示例中是否包括或将要执行某些特征、元素和/或步骤的逻辑。除非另有特别说明，否则诸如短语“X、Y或Z中的至少一个”之类的连结语言应被理解为表示项目、术语等可以是X，Y或Z，或者它们的组合。
本文描述和/或附图中描绘的流程图中的任何例程描述、元素或框应被理解为潜在地表示包括用于实现例程中的特定逻辑功能或元素的一个或多个可执行指令的模块、片段或代码部分。替代实施方式被包括在本文描述的示例的范围内，其中，元素或功能可以被删除，或者不按所示或讨论的顺序执行，包括基本上同步或相反的顺序，这取决于如本领域技术人员将理解的所涉及的功能。应当强调，可以对上述示例进行许多变化和修改，其中的元素应被理解为在其他可接受的示例中。所有这些修改和变化旨在包括在本公开的范围内并且由所附权利要求保护。

Claims (10)

1.一种用于远程会议会话的系统，包括：
一个或多个处理单元；以及
计算机可读介质，其上编码有计算机可执行指令以使所述一个或多个处理单元：
显示在显示设备上渲染的第一图形用户界面布置，所述第一图形用户界面布置包括远程会议会话的第一多个视频流的渲染；
显示包括多个可选元素的菜单，其中，所述多个可选元素中的各个元素与具有多种数据类型的内容数据相关联；
接收用于对具有所述多种数据类型中的至少一种数据类型的内容数据执行一类功能的选择，其中，具有所述至少一种数据类型的所述内容数据不同于所述远程会议会话；以及
响应于接收到用于对具有所述至少一种数据类型的所述内容数据执行一类功能的所述选择，
使所述系统从所述第一图形用户界面布置转换到具有第一显示区域和第二显示区域的第二图形用户界面布置，所述第一显示区域包括用于编辑具有所述至少一种数据类型的所述内容数据的界面元素，所述第二显示区域包括第二多个视频流的渲染，其中，所述第二多个视频流是基于与所述第二多个视频流的参与者相关联的活动级别，从所述第一多个视频流中选择的，
执行被配置为对具有所述至少一种数据类型的所述内容数据进行编辑的一个或多个程序模块，以及
使所述系统显示所述第二图形用户界面布置，与所述第二显示区域内的所述第二多个视频流的渲染同时地，所述第二图形用户界面布置具有包括具有所述至少一种数据类型的所述内容数据的渲染的所述第一显示区域。
2.如权利要求1所述的系统，其中，对所述内容数据的所述选择包括对频道的内容的选择，并且所述频道的内容与所述第二显示区域内的所述至少一个视频流的所述渲染的显示相结合地显示在所述第二图形用户界面布置的所述第一显示区域内。
3.如权利要求1所述的系统，其中，所述第二图形用户界面布置的所述第二显示区域内的所述至少一个视频流的所述渲染的显示包括用于提供远程会议会话的核心控件的图形元素，所述核心控件至少包括用于控制所述系统的麦克风的第一控件、用于控制所述系统的扬声器的第二控件、以及用于退出所述远程会议会话的第三控件。
4.如权利要求1所述的系统，其中，所述指令还使所述一个或多个处理单元：
接收用于指示所述远程会议会话的状态的状态消息；以及
在所述第二图形用户界面布置的所述第二显示区域内显示包括所述状态消息的至少一部分的图形元素。
5.如权利要求1所述的系统，其中，所述第一图形用户界面布置被配置为以边到边格式显示所述视频流，并且其中，所述第二图形用户界面布置的所述第二显示区域具有相对于所述边到边格式的减小的尺寸。
6.如权利要求1所述的系统，其中，所述指令还使所述一个或多个处理单元：
接收用于指示对所述内容数据的对象的选择的输入数据，其中，所述输入数据还指示用于与所述远程会议会话的一个或多个参与者共享所述对象的手势；
从存储设备取回所述内容数据的所述对象；以及
将所述内容数据的所述对象传送到与所述远程会议会话的所述一个或多个参与者相关联的一个或多个计算设备。
7.一种用于远程会议会话的系统，包括：
一个或多个处理单元；以及
计算机可读介质，其上编码有计算机可执行指令以使所述一个或多个处理单元：
将远程会议数据传送到计算设备，使得所述计算设备显示在显示设备上渲染的第一图形用户界面布置，所述第一图形用户界面布置包括远程会议会话的多个流的渲染；
接收对用于对内容数据执行一类功能的程序模块的选择，其中，所述内容数据不同于所述远程会议会话；
响应于接收到对所述程序模块的所述选择，基于与一个或多个视频流的参与者相关联的活动级别，从所述多个流中选择所述一个或多个视频流；
使所述计算设备从所述第一图形用户界面布置转换到具有第一显示区域和第二显示区域的第二图形用户界面布置，所述第一显示区域具有用于使用所选择的程序模块来编辑所述内容数据的界面元素，所述第二显示区域包括所述一个或多个视频流；以及
使所述计算设备与所述第一显示区域内的所述内容数据的渲染的同时地，显示所述第二显示区域内的所述一个或多个视频流的渲染。
8.如权利要求7所述的系统，其中，所述程序模块包括以下各项中的至少一项：文字处理程序、电子表格程序、演示程序、聊天程序、消息传递程序或文件共享程序。
9.如权利要求7所述的系统，其中，所述第一图形用户界面布置包括程序模块菜单，其中，所述程序模块菜单包括以下各项中的至少两项或更多项：文字处理程序、电子表格程序、演示程序、聊天程序、消息传递程序或文件共享程序。
10.如权利要求7所述的系统，其中，所述第二图形用户界面布置显示多个图形元素，其中，每个图形元素表示多个文件中的个体文件，其中，所述指令还使所述一个或多个处理单元：
接收对来自所述多个文件的文件的选择；
接收输入命令，所述输入命令指示用于将所述文件从包括所述图形元素的所述第一显示区域移动到所述第二显示区域的手势；以及
响应于所述输入命令，与和参与所述远程会议会话的用户相关联的计算设备共享所述文件。
CN201780067084.2A 2016-10-31 2017-10-24 电信会话的综合多任务接口 Active CN109891827B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662415389P 2016-10-31 2016-10-31
US62/415,389 2016-10-31
US15/478,239 2017-04-03
US15/478,239 US11567785B2 (en) 2016-10-31 2017-04-03 Integrated multitasking interface for communication sessions
PCT/US2017/057939 WO2018081023A1 (en) 2016-10-31 2017-10-24 Integrated multitasking interface for telecommunication sessions

Publications (2)

Publication Number Publication Date
CN109891827A CN109891827A (zh) 2019-06-14
CN109891827B true CN109891827B (zh) 2023-01-24

Family

ID=62022336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780067084.2A Active CN109891827B (zh) 2016-10-31 2017-10-24 电信会话的综合多任务接口

Country Status (4)

Country Link
US (1) US11567785B2 (zh)
EP (1) EP3533180B1 (zh)
CN (1) CN109891827B (zh)
WO (1) WO2018081023A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10572107B1 (en) 2017-06-23 2020-02-25 Amazon Technologies, Inc. Voice communication targeting user interface
US10586131B2 (en) 2017-07-11 2020-03-10 International Business Machines Corporation Multimedia conferencing system for determining participant engagement
US11023093B2 (en) 2018-05-30 2021-06-01 Microsoft Technology Licensing, Llc Human-computer interface for computationally efficient placement and sizing of virtual objects in a three-dimensional representation of a real-world environment
US20190377586A1 (en) * 2018-06-08 2019-12-12 Microsoft Technology Licensing, Llc Generating customized user interface layout(s) of graphical item(s)
US11061552B1 (en) * 2018-06-28 2021-07-13 Atlassian Pty Ltd. Accessing shared folders with commands in a chat interface
EP3641324A1 (en) * 2018-10-18 2020-04-22 Sony Corporation User interface for video call with content sharing
US11080941B2 (en) * 2018-12-20 2021-08-03 Microsoft Technology Licensing, Llc Intelligent management of content related to objects displayed within communication sessions
US10996839B2 (en) 2019-05-20 2021-05-04 Microsoft Technology Licensing, Llc Providing consistent interaction models in communication sessions
CN110446001A (zh) * 2019-07-12 2019-11-12 视联动力信息技术股份有限公司 基于视联网的视频会议处理方法、装置、电子设备及介质
US11546391B2 (en) * 2019-11-01 2023-01-03 Microsoft Technology Licensing, Llc Teleconferencing interfaces and controls for paired user computing devices
JP7398248B2 (ja) * 2019-11-14 2023-12-14 シャープ株式会社 ネットワークシステム、サーバ、および情報処理方法
US10924709B1 (en) * 2019-12-27 2021-02-16 Microsoft Technology Licensing, Llc Dynamically controlled view states for improved engagement during communication sessions
CN112306595A (zh) * 2020-04-30 2021-02-02 北京字节跳动网络技术有限公司 交互方法、装置和电子设备
CN112311754B (zh) * 2020-06-02 2022-09-30 北京字节跳动网络技术有限公司 交互方法、装置和电子设备
CN114327666B (zh) * 2020-09-30 2024-04-09 华为技术有限公司 应用启动方法、装置和电子设备
CN113885976A (zh) * 2021-06-30 2022-01-04 北京字跳网络技术有限公司 交互方法、装置和电子设备
US11539801B1 (en) * 2021-08-04 2022-12-27 Lemon Inc. Shared augmented reality sessions for rendering video effects
US11627182B2 (en) 2021-08-04 2023-04-11 Lemon Inc. Share based augmented reality content service system
US12063259B2 (en) 2022-06-20 2024-08-13 Microsoft Technology Licensing, Llc System for document commenting during virtual meetings

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102341822A (zh) * 2009-03-02 2012-02-01 微软公司 具有对话和会议环境的通信应用

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6608637B1 (en) 1997-04-23 2003-08-19 Nortel Networks Limited Multitasking graphical user interface
US6025871A (en) 1998-12-31 2000-02-15 Intel Corporation User interface for a video conferencing system
US20050099492A1 (en) * 2003-10-30 2005-05-12 Ati Technologies Inc. Activity controlled multimedia conferencing
US20070005752A1 (en) * 2005-06-29 2007-01-04 Jitendra Chawla Methods and apparatuses for monitoring attention of a user during a collaboration session
US20070011231A1 (en) 2005-07-06 2007-01-11 Microsoft Corporation Application and user interface for facilitating a meeting
US7751848B2 (en) 2005-11-23 2010-07-06 Envio Networks Inc. Systems and methods for providing concurrent mobile applications to mobile communication devices
US8332760B2 (en) 2006-01-18 2012-12-11 International Business Machines Corporation Dynamically mapping chat session invitation history
US7620901B2 (en) 2006-03-21 2009-11-17 Microsoft Corporation Simultaneous input across multiple applications
US8832587B2 (en) 2009-08-21 2014-09-09 Avaya Inc. Video window with integrated content
US20110271210A1 (en) * 2010-04-30 2011-11-03 American Teleconferncing Services Ltd. Conferencing Application Store
EP2567548B8 (en) * 2010-06-08 2019-06-26 Mitel Networks Corporation Method and system for video communication
CN103597468A (zh) 2011-06-08 2014-02-19 维德约股份有限公司 用于视频通信系统中改进的交互式内容共享的系统和方法
WO2013026457A1 (en) * 2011-08-19 2013-02-28 Telefonaktiebolaget L M Ericsson (Publ) Technique for video conferencing
US10007734B2 (en) 2011-11-01 2018-06-26 Microsoft Technology Licensing, Llc Real time document presentation data synchronization through generic service
US9361021B2 (en) 2012-05-22 2016-06-07 Irobot Corporation Graphical user interfaces including touchpad driving interfaces for telemedicine devices
US9973729B2 (en) * 2012-12-31 2018-05-15 T-Mobile Usa, Inc. Display and service adjustments to enable multi-tasking during a video call
US9483753B2 (en) 2013-01-05 2016-11-01 Hewlett-Packard Development Company, L.P. Integrating document related communication with a document
US9118807B2 (en) * 2013-03-15 2015-08-25 Cisco Technology, Inc. Split frame multistream encode
US20150049162A1 (en) * 2013-08-15 2015-02-19 Futurewei Technologies, Inc. Panoramic Meeting Room Video Conferencing With Automatic Directionless Heuristic Point Of Interest Activity Detection And Management
US9179096B2 (en) * 2013-10-11 2015-11-03 Fuji Xerox Co., Ltd. Systems and methods for real-time efficient navigation of video streams
US10484189B2 (en) 2013-11-13 2019-11-19 Microsoft Technology Licensing, Llc Enhanced collaboration services
US20160014059A1 (en) 2015-09-30 2016-01-14 Yogesh Chunilal Rathod Presenting one or more types of interface(s) or media to calling and/or called user while acceptance of call
US10666524B2 (en) * 2014-04-11 2020-05-26 Genband Us Llc Collaborative multimedia communication
US20180011627A1 (en) * 2014-06-16 2018-01-11 Siracusano Meeting collaboration systems, devices, and methods
GB2535980A (en) * 2015-02-11 2016-09-07 Apps Interactive Ltd A communication interface
US20160308920A1 (en) * 2015-04-16 2016-10-20 Microsoft Technology Licensing, Llc Visual Configuration for Communication Session Participants
US10057308B2 (en) * 2015-04-30 2018-08-21 Adobe Systems Incorporated Customizable reproduction of electronic meetings
US9740378B2 (en) * 2015-05-25 2017-08-22 Cisco Technology, Inc. Collaboration content sharing
US20180070008A1 (en) * 2016-09-08 2018-03-08 Qualcomm Incorporated Techniques for using lip movement detection for speaker recognition in multi-person video calls

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102341822A (zh) * 2009-03-02 2012-02-01 微软公司 具有对话和会议环境的通信应用
CN105427087A (zh) * 2009-03-02 2016-03-23 微软技术许可有限责任公司 具有对话和会议环境的通信应用

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于SIP的视频会议系统模型;曾庆珩等;《计算机工程与应用》;20041201(第12期);全文 *

Also Published As

Publication number Publication date
US11567785B2 (en) 2023-01-31
EP3533180A1 (en) 2019-09-04
US20180121214A1 (en) 2018-05-03
CN109891827A (zh) 2019-06-14
EP3533180B1 (en) 2021-03-31
WO2018081023A1 (en) 2018-05-03

Similar Documents

Publication Publication Date Title
CN109891827B (zh) 电信会话的综合多任务接口
US10863136B2 (en) Switch view functions for teleconference sessions
US11212326B2 (en) Enhanced techniques for joining communication sessions
US10863227B2 (en) Event conditioned views for communication sessions
US20180359293A1 (en) Conducting private communications during a conference session
US20180341374A1 (en) Populating a share-tray with content items that are identified as salient to a conference session
US20180232920A1 (en) Contextually aware location selections for teleconference monitor views
US11785194B2 (en) Contextually-aware control of a user interface displaying a video and related user text
EP3954113A1 (en) Providing consistent interaction models in communication sessions
CN114009056B (zh) 具有在人与内容之间的适应性图形关联的动态可伸缩概要
US20180295158A1 (en) Displaying group expressions for teleconference sessions
US11126796B2 (en) Intelligent summaries based on automated learning and contextual analysis of a user input
US9924136B1 (en) Coordinated display transitions of people and content
WO2023129251A1 (en) Vocal action automation for controlling confidential content
CN116982308A (zh) 基于协作对象活动来更新用户特定的应用实例
US20240163124A1 (en) Persistent display of prioritized participants with shared content of communication sessions
US11552816B2 (en) Targeted positioning of message content for interfaces identifying multiple users

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant