CN109923859B - 在远程会议会话中进行实时协作的伴随设备 - Google Patents

在远程会议会话中进行实时协作的伴随设备 Download PDF

Info

Publication number
CN109923859B
CN109923859B CN201780067116.9A CN201780067116A CN109923859B CN 109923859 B CN109923859 B CN 109923859B CN 201780067116 A CN201780067116 A CN 201780067116A CN 109923859 B CN109923859 B CN 109923859B
Authority
CN
China
Prior art keywords
computing device
teleconference
streams
session
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780067116.9A
Other languages
English (en)
Other versions
CN109923859A (zh
Inventor
J·T·福尔克纳
K·欧哈拉
E·D·坎努托蒂伊尔
E·S·劳埃德林特尔
K·莫里森
R·克里什
A·维泽尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN109923859A publication Critical patent/CN109923859A/zh
Application granted granted Critical
Publication of CN109923859B publication Critical patent/CN109923859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H04L65/1093—In-session procedures by adding participants; by removing participants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/303—Terminal profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/75—Indicating network or usage conditions on the user display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/42229—Personal communication services, i.e. services related to one subscriber independent of his terminal and/or location
    • H04M3/42263—Personal communication services, i.e. services related to one subscriber independent of his terminal and/or location where the same subscriber uses different terminals, i.e. nomadism
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M7/00—Arrangements for interconnection between switching centres
    • H04M7/0024—Services and arrangements where telephone services are combined with data services
    • H04M7/0027—Collaboration services where a computer is used for data transfer and the telephone is used for telephonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/20—Aspects of automatic or semi-automatic exchanges related to features of supplementary services
    • H04M2203/2094—Proximity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/563—User guidance or feature selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/563—User guidance or feature selection
    • H04M3/564—User guidance or feature selection whereby the feature is a sub-conference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145—Handheld terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

本公开内容提供了用于在利用多个设备加入远程会议时增强用户体验的多种技术。当用户尝试使用针对多个设备的相同用户身份加入远程会议会话时，系统将这些设备区分为主设备和至少一个伴随设备。主设备具有用于控制远程会议会话的第一控制集，并且至少一个伴随设备具有用于共享内容的伴随控制集。在一些实施例中，主设备还具有一组选择的流(例如，舞台视图)，并且伴随设备具有基于活动水平的那些流的子集或者其他流。另外，本公开内容提供了用于使用户能够使用伴随设备共享内容的多种技术。

Description

在远程会议会话中进行实时协作的伴随设备
背景技术
在包括社交和商业二者的人们生活中，通信和协作是关键的方面。已经开发了通信和协作工具以旨在使人们相互联系以分享经验。在很多情况下，这些工具的目的是通过网络来提供反映个人和群体之间的真实生活互动的体验。通常通过音频和/或视觉元素来提供交互。
这些工具包括即时消息传送、语音呼叫、视频呼叫、群聊、共享桌面、共享媒体和内容、共享应用等等。这些工具可以执行对音频和视觉元素的捕获、操纵、传输和再现，以及尝试使用这些元素的各种组合来提供协作环境。用户可以在用户设备处访问这些工具，所述用户设备可以由膝上型计算机或桌面型计算机、移动电话、平板设备、游戏控制台等等来提供。可以用诸如对等架构或客户端-服务器架构或混合体(例如，集中管理的对等架构)之类的各种可能网络架构来链接这些设备。通常，这些架构中的一些或全部可以促进远程会议会话，以尝试实现与面对面协作会议有些类似的丰富通信和协作。
然而，当用户加入远程会议时，一些当前的技术可能会有很多不足之处。例如，当用户使用第一设备加入远程会议会话，并在稍后尝试使用另外的设备加入该会话时，现有系统可能无法以高效方式使用所有资源。例如，在一些现有系统中，当用户使用两个设备加入远程会议会话时，每个设备显示会话内容的精确复制。因此，在该场景中，第二设备实际上不能用于增强用户与共享媒体或其他会话参与者的交互。另外，在一些情况下，当用户使用一个以上设备加入远程会议会话时，每个设备都可能引起音频干扰。
因此，需要用于解决这些和其他问题的改进的远程会议技术。
发明内容
本公开内容提供了用于当利用多个设备加入远程会议会话时增强用户体验的多种技术。当用户尝试使用针对多个设备的相同用户身份加入远程会议会话时，系统将这些设备区分为主设备和至少一个伴随设备。主设备具有用于控制远程会议会话的第一控制集，并且至少一个伴随设备具有用于共享内容的伴随控制集。在一些实施例中，主设备还具有一组选择的流(例如，舞台视图)，并且伴随设备具有基于活动水平的那些流的子集或者其他流。另外，本公开内容提供了用于使用户能够容易地使用伴随设备共享内容的多种技术。
在一些配置中，远程会议系统可以生成包括与远程会议会话相关联的多个流的远程会议数据。远程会议系统还可以从与第一用户身份相关联的第一计算设备接收用于加入远程会议会话的第一请求。第一用户身份可以与远程会议会话的特定用户或参与者相关联。此外，可以使用用户界面在第一计算设备处实例化该请求。第一计算设备可以是被配置为锚定沉浸式远程会议体验的主设备。
响应于该请求，远程会议系统可以向第一计算设备传送远程会议数据，以显示主用户界面或促使主用户界面的显示。在一种配置中，主用户界面包括所述多个流的呈现。所述多个流的呈现可以包括在用户界面内布置的各个流的一个或多个呈现。本文可以将这种显示称为电视会议会话的“舞台”视图。另外，远程会议系统还可以使第一计算设备显示第一控制集，以控制远程会议会话的各方面。例如，第一控制集(本文还称为核心控制)可以用于和退出会话、使会话的声音静音等等。
远程会议系统还可以从与第一用户身份相关联的第二计算设备接收用于加入远程会议会话的第二请求。第二计算设备可以由与第一用户身份相关联的相同用户使用。远程会议系统可以使第二计算设备显示具有用于共享内容的伴随控件的辅用户界面。另外，远程会议系统可以使第二计算设备显示对流的选择，其可以被布置为呈现远程会议数据的减少的或以其他方式精简的部分，以用于减轻或避免分心、干扰和可能破坏远程会议会话的其他元素。
响应于第二请求，远程会议系统可以基于活动水平或其他值来选择所述多个流中的至少一个流。在选择了所述至少一个流时，远程会议系统可以向第二计算设备传送远程会议数据，促使第二计算设备显示伴随用户界面。伴随用户界面可以包括所述至少一个流的呈现。因此，当第一设备可以接收具有所述多个流的远程会议数据时，第二设备可以被配置为仅接收子部分或者选择的至少一个流。因此，通过高效地传送远程会议数据中的具有相关的且在一些情况下具有重要内容但非重复内容的子部分，远程会议系统可以克服与传统远程会议系统相关联的许多技术缺陷。
应当注意，本文描述了基于单个用户身份和多个用户设备建立远程会议会话的一些其他形式。根据一个说明性示例，远程会议系统还可以从多个计算设备接收用于加入远程会议会话的请求。远程会议系统可以生成与远程会议会话相关联的远程会议数据，并且类似于如上所述或者以任何期望的顺序将该远程会议数据分发给主设备和伴随设备。
因此，与上面提出的各方面有些类似，远程会议系统可以在加入远程会议会话的多个设备之间进行区分以识别与单个用户身份相关联的多个设备。之后，远程会议系统可以传送用于促使在与用户相关联的主设备上显示所述多个流的远程会议数据，以及传送用于促使在与该用户相关联的伴随设备中显示至少一个所选择流的远程会议数据。
根据另一个说明性示例，第一计算设备可以发送用于加入远程会议会话的第一请求。第一计算设备可以与第一用户身份相关联。响应于该请求，第一计算设备可以接收包括与远程会议会话相关联的多个流的第一远程会议数据。第一计算设备还可以显示所述多个流的呈现。
另外，第二计算设备可以发送用于加入远程会议会话的第二请求。第二计算设备还可以与第一用户身份相关联。响应于第二请求，第二计算设备可以接收包括所述多个流的流子集的第二远程会议数据。第二计算设备还可以显示所述多个流的所述流子集的呈现。所述多个流的所述流子集可以是至少部分地基于指示与所述流子集相关联的活动水平的数据。因此，在该示例中，当用户使用第一设备第一次加入远程会议会话时，用户也随后引入了第二个“伴随”设备以增强远程会议体验。相反，用户使用伴随设备第一次加入远程会议会话并且然后使用第一设备加入远程会议会话也是可适用的。
在一些方面，用户还可以使用与主设备相关联的控制命令，并且共享与伴随设备相关联的命令。用户可以响应于用户提供输入命令(例如，重新配置命令)，而在每个设备上重新配置命令。因此，远程会议系统可以通过有效地为用户切换主设备和伴随设备来促进“设备交换”。在一些实现中，反向交换也是可以的。
此外，用户还可以使用控制命令和重新配置命令以允许设备无缝地“退出”远程会议会话。在一个示例中，远程会议系统可以接收用于促使从第二计算设备转换到第一计算设备的重新配置命令。响应于接收到该重新配置命令，远程会议系统可以停止向第二计算设备传送远程会议数据。因此，第二计算设备可以退出，并且第一计算设备可以接管以作为与第一用户身份相关联的唯一主设备。
还公开了用于丰富用户体验的其他类型的命令。例如，这些命令可以允许将任何特定设备从一种操作模式限制或扩增到另一种操作模式。在一个说明性示例中，可以由远程会议系统为第一用户身份建立两种或更多种操作模式。这些操作模式可以包括例如主操作模式和伴随操作模式。因此，一旦设备进入远程会议会话，就可以显示不同类型的上下文用户界面，以允许用户基于这些操作模式来访问和共享相关信息。例如，可以显示伴随控制菜单，以使得能够使用伴随设备来容易地选择要共享的各种类型的媒体数据。此外，可以显示主控制菜单以实现对主设备的控制。控制菜单的组合和操作模式的使用使用户能够以减少分心的方式加入远程会议会话，同时还允许用户在一个以上设备之中选择和共享最相关的内容。
如下面将更详细描述的，除了建立主设备以及主操作模式和伴随操作模式之外，远程会议系统还可以操纵主设备和伴随设备的组件以增强远程会议会话并限制扰乱。例如，远程会议系统可以远程地禁用一个或多个计算设备的相机组件，使得仅仅单个“主”或“面部视图”相机与单个用户身份相关联。另外，远程会议系统可以远程地禁用一个或多个设备的音频组件，以限制来自用户设备的音频反馈。对这些组件的其他操纵也可以是可能的，例如，通过选择性激活以允许用户使用伴随设备上的“流动相机(roving camera)”来共享来自伴随设备的独特视图，所述独特视图就主设备上的相机视图而言是独立且独特的。
如下面将更详细描述的，可以以多种方式来组合本文描述的与远程会议系统相关的技术，以使用户能够参与各种场景，所述场景包括用户具有用于丰富远程会议会话的多个设备的场景。
提供本概要部分以便用简化的形式介绍对将在以下的详细描述中进一步描述的构思的选择。本概要部分并不是旨在标识要求保护的主题的关键特征或本质特征，也不是旨在用于帮助确定要求保护的主题的范围。例如，“术语”技术可以指代如上所述以及贯穿本文档所描述的上下文所允许的系统、方法、计算机可读指令、模块、算法、硬件逻辑和/或操作。
附图说明
参考附图来描述具体实施方式。在附图中，附图标记的最左边数字标识首次出现该附图标记的附图。不同附图中的相同附图标记指示相似或相同的项目。
图1是示出一种示例性环境的图，在所述示例性环境中，系统可以操作以促进伴随设备在远程会议会话中进行实时协作。
图2是示出一种示例性计算设备的组件的图，所述示例性计算设备被配置为促进伴随设备在远程会议会话中进行实时协作。
图3A-3D示出了可以使用计算设备来实现本文所公开的技术的一些示例性场景。
图4示出了主计算设备的示例性用户界面布置。
图5A-5B示出了伴随计算设备的若干示例性用户界面布置。
图6A-6C示出了不同形式的伴随计算设备的若干示例性用户界面布置。
图7A-7D示出了使用伴随计算设备的流动相机视图的具有共享内容的若干示例性用户界面布置。
图8是促进伴随设备在远程会议会话中进行实时协作的示例性方法的流程图。
具体实施方式
本公开内容提供了用于在利用多个设备加入远程会议会话时增强用户体验的多种技术。在加入远程会议会话之前，远程会议系统可以生成包括与远程会议会话相关联的多个流的远程会议数据。远程会议系统还可以从与第一用户身份相关联的第一计算设备接收用于加入远程会议会话的第一请求。第一用户身份可以与远程会议会话的特定用户或参与者相关联。此外，可以使用用户界面在第一计算设备处实例化该请求。第一计算设备可以是被配置为锚定沉浸式远程会议体验的主设备。
响应于该请求，远程会议系统可以向第一计算设备传送远程会议数据，以显示主用户界面或促使主用户界面的显示。在一种配置中，主用户界面包括所述多个流的呈现。所述多个流的呈现可以包括在用户界面内布置的各个流的一个或多个呈现。因此，第一计算设备可以显示与远程会议数据相关联的一个或多个流的呈现。
远程会议系统还可以从与第一用户身份相关联的第二计算设备接收用于加入远程会议会话的第二请求。第二计算设备可以由与第一用户身份相关联的相同用户使用。第二计算设备可以在布置上类似于第一计算设备，或者可以是不同形式的计算设备。通常，第二计算设备可以是被布置为呈现远程会议数据的减少的或以其他方式精简的部分，同时避免分心、干扰和可能破坏远程会议会话的其他元素的计算设备(例如，伴随设备)。
响应于第二请求，远程会议系统可以基于活动水平或其他值来选择所述多个流中的至少一个流。在选择了所述至少一个流时，远程会议系统可以向第二计算设备传送远程会议数据，促使第二计算设备显示伴随用户界面。伴随用户界面可以包括所述至少一个流的呈现。因此，当第一设备可以接收具有多个流的远程会议数据时，第二设备可以被配置为仅接收子部分或者选择的至少一个流。因此，通过高效地传送远程会议数据中的具有相关的且在一些情况下具有重要内容但非重复内容的子部分，远程会议系统可以克服与传统远程会议系统相关的许多技术缺陷。
应当注意，本文描述了基于单个用户身份和多个用户设备建立远程会议会话的若干其他形式。根据一个说明性示例，远程会议系统还可以从多个计算设备接收用于加入远程会议会话的请求。远程会议系统可以生成与远程会议会话相关联的远程会议数据，并且类似于如上所述或者以任何期望的顺序将所述远程会议数据分发给主设备和伴随设备。
因此，与上面提出的各方面有些类似，远程会议系统可以在加入远程会议会话的多个设备之间进行区分以识别与单个用户身份相关联的多个设备。之后，远程会议系统可以传送用于促使显示所述多个流的呈现的远程会议数据，以及传送用于促使显示至少一个选择的流的呈现的远程会议数据。
根据另一个说明性示例，第一计算设备可以发送用于加入远程会议会话的第一请求。第一计算设备可以与第一用户身份相关联。响应于该请求，第一计算设备可以接收包括与远程会议会话相关联的多个流的第一远程会议数据。第一计算设备还可以显示所述多个流的呈现。
另外，第二计算设备可以发送用于加入远程会议会话的第二请求。第二计算设备还可以与第一用户身份相关联。响应于第二请求，第二计算设备可以接收包括所述多个流的流子集的第二远程会议数据。第二计算设备还可以显示所述多个流的所述流子集的呈现。所述多个流的所述流子集可以是至少部分地基于指示与所述流子集相关联的活动水平的数据。因此，在该示例中，当用户使用第一设备第一次加入远程会议会话时，用户也引入了第二“伴随”设备以增强远程会议体验。相反，用户使用伴随设备第一次加入远程会议会话并且然后稍后使用第一设备加入也是可适用的。
在一些方面，用户还可以使用控制命令和重新配置命令在设备之间将关联传送成主操作模式和伴随操作模式。例如，远程会议系统可以基于控制命令和重新配置命令，向每个设备传送不同的远程会议数据。因此，远程会议系统可以通过有效地为用户切换用于设备的主操作模式和伴随操作模式来促进“设备交换”。在一些实现中，反向交换也是可能的。
此外，用户还可以使用控制命令和重新配置命令以允许设备无缝地“退出”远程会议会话。在一个示例中，远程会议系统可以接收用于促使从第二计算设备转换到第一计算设备的重新配置命令。响应于接收到该重新配置命令，远程会议系统可以停止向第二计算设备传送远程会议数据。因此，第二计算设备可以退出，并且第一计算设备可以接管以作为与第一用户身份相关联的唯一主设备。
还公开了用于丰富用户体验的其他类型的命令。例如，这些命令可以允许将任何特定设备从一种操作模式限制或扩增到另一种操作模式。在一个说明性示例中，可以由远程会议系统为第一用户身份建立两种或更多种操作模式。这些操作模式可以包括例如主操作模式和伴随操作模式。因此，一旦设备进入远程会议会话，就可以显示不同类型的上下文用户界面，以允许用户基于这些操作模式来访问和共享相关信息。例如，可以显示伴随控制菜单，以使得能够使用伴随设备来容易地选择要共享的各种类型的媒体数据。此外，可以显示主控制菜单以实现对主设备的控制。控制菜单的组合和操作模式的使用使用户能够以减少分心的方式加入远程会议会话，同时还允许用户在一个以上设备之中选择和共享最相关的内容。
如下面将更详细描述的，除了建立主设备以及主操作模式和伴随操作模式之外，远程会议系统还可以操纵主设备和伴随设备的组件以增强远程会议会话并限制扰乱。例如，远程会议系统可以远程地禁用一个或多个计算设备的相机组件，使得仅仅单个“主”或“面部视图”相机与单个用户身份相关联。另外，远程会议系统可以远程地禁用一个或多个设备的音频组件，以限制来自用户设备的音频反馈。对这些组件的其他操纵也可以是可能的，例如，通过选择性激活以允许用户使用伴随设备上的“流动相机”来共享来自伴随设备的独特视图，所述独特视图就主设备上的相机视图而言是独立且独特的。
如下面将更详细描述的，可以以多种方式来组合本文描述的与远程会议系统相关的技术，以使用户能够参与包括如下场景的各种场景：用户具有用于加入远程会议会话的多个设备，同时避免重复体验、提高资源的有效利用率并且丰富远程会议。下面将参照图1-8来描述各个示例、场景和方面。
在图1中，示出了用于图示远程会议系统100的示例的图，其中系统102可以操作以根据示例性实现来提供远程会议会话104。在该示例中，远程会议会话104在多个客户端计算设备106(1)到106(N)之间(其中N是具有值二或更大值的正整数)。客户端计算设备106(1)到106(N)使用户能够参与远程会议会话104。在该示例中，远程会议会话104可以由系统102在一个或多个网络108上托管。也就是说，系统102可以提供使客户端计算设备106(1)到106(N)的用户能够参与远程会议会话104的服务。作为替代，远程会议会话104可以由客户端计算设备106(1)到106(N)之一利用对等技术进行托管。
系统102包括设备110和设备110，和/或系统102的其他组件可以包括经由一个或多个网络108进行彼此通信、与系统102和/或与客户端计算设备106(1)到106(N)通信的分布式计算设备。在一些示例中，系统102可以是负责管理一个或多个远程会议会话104的各方面的独立系统。举例而言，系统102可以由诸如
Figure BDA0002043367880000091
GOOGLE
Figure BDA0002043367880000092
等等的实体进行管理。
例如，网络108可以包括公共网络，例如互联网、诸如机构和/或个人内联网之类的专用网络、或者专用网络和公共网络的某种组合。网络108还可以包括任何类型的有线和/或无线网络，其包括但不限于局域网(“LAN”)、广域网(“WAN”)、卫星网络、有线网络、Wi-Fi网络、WiMax网络、移动通信网络(例如，3G、4G等)或者其任何组合。网络108可以使用包括基于分组和/或基于数据报的协议的通信协议，例如互联网协议(“IP”)、传输控制协议(“TCP”)、用户数据报协议(“UDP”)或其他类型的协议。此外，网络108还可以包括促进网络通信和/或形成网络硬件基础的多个设备，例如交换机、路由器、网关、接入点、防火墙、基站、中继器、骨干设备等等。
在一些示例中，网络108还可以包括实现到无线网络的连接的设备，例如无线接入点(“WAP”)。示例支持通过在各种电磁频率(例如，射频)上发送和接收数据的WAP的连接，所述WAP包括支持电气和电子工程师协会(“IEEE”)802.11标准(例如，802.11g、802.11n等)和其他标准的WAP。
在各种示例中，设备110可以包括以集群或其他组合配置进行操作，以共享资源、平衡负载、提高性能、提供故障转移支持或冗余、或用于其他目的的一个或多个计算设备。例如，设备110可以属于各种类型的设备，例如传统的服务器类型设备、桌面型计算机类型设备和/或移动类型设备。因此，虽然示出为单个类型的设备——服务器类型设备——但设备110可以包括各种各样的设备类型，并且不限于特定类型的设备。设备110可以表示但不是限于服务器计算机、桌面型计算机、网络服务器计算机、个人计算机、移动计算机、膝上型计算机、移动电话、平板计算机或任何其他类型的计算设备。
客户端计算设备(例如，客户端计算设备106(1)到106(N)之一)可以属于各种类型的设备(其可以与设备110相同或不同)，例如传统的客户端类型设备、桌面型计算机类型设备、移动型设备、专用型设备、嵌入式设备和/或可穿戴型设备。因此，客户端计算设备可以包括但不限于桌面型计算机、游戏控制台和/或游戏设备、平板计算机、个人数据助理(“PDA”)、移动电话/平板设备混合、膝上型计算机、电信设备、计算机导航型客户端计算设备(例如，包括全球定位系统(“GPS”)设备的基于卫星的导航系统)、可穿戴设备、虚拟现实(“VR”)设备、增强现实(AR)设备、植入式计算设备、汽车计算机、支持网络的电视、瘦客户端、终端、物联网(“IoT”)设备、工作站、媒体播放器、个人视频记录器(“PVR”)、机顶盒、相机、用于包含在计算设备中的集成组件(例如，外围设备)、电器或任何其他种类的计算设备。在一些实现中，客户端计算设备包括输入/输出(“I/O”)接口，其能够与输入/输出设备进行通信，所述输入/输出设备例如用户输入设备和/或输出设备，所述用户输入设备包括外围输入设备(例如，游戏控制器、键盘、鼠标、笔、语音输入设备、触摸输入设备、手势输入设备等等)，所述输出设备包括外围输出设备(例如，显示器、打印机、音频扬声器、触觉输出设备等)。
各种种类和设备类型的客户端计算设备106(1)到106(N)可以表示具有可操作地(例如，经由总线116)连接到计算机可读介质114的一个或多个处理单元112的任何类型的计算设备，在一些实例中，所述总线116可以包括系统总线、数据总线、地址总线、PCI总线、Mini-PCI总线以及任何种类的本地、外围和/或独立总线中的一个或多个。
存储在计算机可读介质114上的可执行指令可以包括例如操作系统128、客户端模块130、简档模块132、以及可由处理单元112加载和执行的其他模块、程序或应用。
客户端计算设备106(1)到106(N)还可以包括用于实现与其他输入设备148的通信的一个或多个接口134，例如网络接口、相机、键盘、触摸屏和指向设备(鼠标)。例如，接口134还可以通过网络108，实现客户端计算设备106(1)到106(N)与其他联网设备(例如，设备110和/或系统102的设备)之间的通信。这样的网络接口134可以包括一个或多个网络接口控制器(NIC)或其他类型的收发器设备，以通过网络发送和接收通信和/或数据。
在图1的示例性环境100中，客户端计算设备106(1)到106(N)可以使用它们各自的客户端模块130来与彼此连接和/或与其他外部设备连接，以便参与远程会议会话104。例如，第一用户可以使用客户端计算设备106(1)与另一客户端计算设备106(2)的第二用户通信。当执行客户端模块130时，用户可以共享数据，这可以使客户端计算设备106(1)通过网络108连接到系统102和要连接的其他客户端计算设备106(2)到106(N)。
每个客户端计算设备106(1)到106(N)的客户端模块130可以包括用于检测用户输入并将控制信号传送到服务器模块136以在显示器上请求远程会议会话104的改变的逻辑单元。例如，图1中的第一客户端计算设备106(1)中的客户端模块130可以检测输入设备148处的用户输入。例如，可以将用户输入感测为：在触摸屏(例如，触摸屏150(2))上显示的用户界面元素上的手指按压、或者鼠标对于显示器150上指针所选择的用户界面元素的点击。客户端模块130根据与所选择的用户界面元素相关联的功能来转换用户输入。在一些情况下，客户端模块130可以要求远程会议会话104执行功能。在这种情况下，客户端模块130向服务器模块136发送控制信号156(1)，以由远程会议会话104进行服务。
在一个示例性功能中，客户端计算设备106(1)的用户可能希望针对远程会议会话104，促使从客户端计算设备106(1)的第一操作模式到第二操作模式的转换。用户可以点击用户的显示器150上的期望的用户界面元素。作为响应，客户端模块130向服务器模块136发送控制信号156(1)。服务器模块136将响应于控制信号156(1)，基于远程会议数据146(1)、指示一个或多个其他计算设备106的位置的数据和其他适当的信息来执行期望的转换。
客户端计算设备106(1)到106(N)可以使用它们各自的简档模块132来生成参与者简档，并将参与者简档提供给其他客户端计算设备和/或系统102的设备110。参与者简档可以包括以下各项中的一项或多项：参与者的身份(例如，姓名、用户身份、唯一标识符(“ID”)等)、参与者数据(例如，个人数据和位置数据)，还可以存储这些数据。可以使用参与者简档向远程会议会话104注册参与者，并指示与用户身份和/或客户端计算设备相关联的优先级或偏好。
如图1中所示，系统102的设备110包括服务器模块136、数据存储模块138和输出模块140。服务器模块136被配置为从各个客户端计算设备106(1)到106(N)接收流142(1)到142(M)(其中M是等于2或更大值的正整数)。在一些场景中，并非用于参与远程会议会话104的所有客户端计算设备都提供流142的实例，因此，M(提交的实例的数量)可以不等于N(客户端计算设备的数量)。在一些其他场景中，一个或多个客户端计算设备可以正在传送另外的流或媒体数据的传输，所述媒体数据包括诸如文档或者旨在在远程会议会话104期间进行共享的其他类似类型的媒体之类的内容。
服务器模块136还被配置为接收、生成和传送会话数据144，并将会话数据144存储在数据存储模块138中。在各个示例中，服务器模块136可以选择要与客户端计算设备106(1)到106(N)共享的流142的各方面。服务器模块136可以对流142进行组合以生成定义远程会议会话104的各方面的远程会议数据146。远程会议数据146可以包括选择流142。远程会议数据146可以定义远程会议会话104的各方面，例如，客户端计算设备106上的用户界面的用户界面布置、所显示的数据的类型、以及服务器和客户端的其他功能。服务器模块136可以为各个客户端计算设备106(1)到106(N)配置远程会议数据146。远程会议数据146可以包括被引用为146(1)到146(N)的各个实例。此外，远程会议数据146可以包括用于与主计算设备通信的第一远程会议数据142(1)，以及用于与伴随计算设备通信的第二远程会议数据142(2)到142(N)。输出模块140可以将远程会议数据实例146(1)到146(N)传送到客户端计算设备106(1)到106(N)。具体而言，在该示例中，输出模块140分别将远程会议数据146(1)传送到客户端计算设备106(1)，将远程会议数据146(2)传送到客户端计算设备106(2)，将远程会议数据146(3)传送到客户端计算设备106(3)，以及将远程会议数据146(N)传送到客户端计算设备106(N)。
远程会议数据实例146(1)到146(N)可以传送音频，所述音频可以包括代表远程会议会话104中每个参与者的贡献的视频。也可以以对客户端计算设备106(1)到106(N)的每个参与用户的需求来说唯一的方式，对每个远程会议数据实例146(1)到146(N)进行配置。每个客户端计算设备106(1)到106(N)可以与远程会议会话视图相关联。参照图2来描述使用远程会议会话视图来控制客户端计算设备处的针对每个参与者的视图的示例。
在图2中，示出了用于描绘示例性设备200的组件的系统框图，所述示例性设备200被配置为根据示例性实现，在客户端计算设备(例如，客户端计算设备106(1)至106(N))之间提供远程会议会话104。设备200可以用于示出客户端计算设备106之一的一些组件。另外，设备200可以表示设备110中的一个，其中，设备200包括一个或多个处理单元202、计算机可读介质204和通信接口206。设备200的组件可以例如经由总线207操作地连接，所述总线207可以包括以下各项中的一项或多项：系统总线、数据总线、地址总线、PCI总线、Mini-PCI总线、以及各种本地、外围设备和/或独立总线。
如本文所使用的，处理单元(例如，处理单元202和/或处理单元112)可以表示例如CPU类型处理单元、GPU类型处理单元、现场可编程门阵列(“FPGA”)、另一类型的数字信号处理器(“DSP”)或者其他硬件逻辑组件，所述其他硬件逻辑组件在一些实例中可以由CPU进行驱动。例如，但不限于，可以使用的说明性类型的硬件逻辑组件包括专用集成电路(“ASIC”)、专用标准产品(“ASSP”)、片上系统(“SOC”)、复杂可编程逻辑器件(“CPLD”)等等。
如本文所使用的，计算机可读介质(例如，计算机可读介质204和/或计算机可读介质114)可以存储可由处理单元执行的指令。计算机可读介质还可以存储可由外部处理单元执行的指令，例如由外部CPU、外部GPU执行，和/或可由诸如FPGA类型加速器、DSP类型加速器或任何其他内部或外部加速器之类的外部加速器执行。在各个示例中，至少一个CPU、GPU和/或加速器并入在计算设备中，而在一些示例中，CPU、GPU和/或加速器中的一个或多个在计算设备外部。
计算机可读介质可以包括计算机存储介质和/或通信介质。计算机存储介质可以包括以下各项中的一项或多项：易失性存储器、非易失性存储器和/或其他持久性和/或辅助计算机存储介质、以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据之类的信息的任何方法或技术实现的可移动和不可移动计算机存储介质。因此，计算机存储介质包括设备和/或硬件组件(其是设备的一部分或者在设备外部)中包括的有形和/或物理形式的介质，其包括但不限于可以用于存储和维护供计算设备访问的信息的随机存取存储器(“RAM”)、静态随机存取存储器(“SRAM”)、动态随机存取存储器(“DRAM”)、相变存储器(“PCM”)、只读存储器(“ROM”)、可擦除可编程只读存储器(“EPROM”)、电可擦除可编程只读存储器(“EEPROM”)、闪存、压缩光盘只读存储器(“CD-ROM”)、数字通用光盘(“DVD”)、光学卡或其他光学存储介质、盒式磁带、磁带、磁盘存储器、磁卡或其他磁存储设备或介质、固态状态存储器设备、存储阵列、网络附加存储设备、存储区域网络、托管计算机存储或任何其他存贮存储器、存储设备和/或存储介质。
与计算机存储介质相比，通信介质可以体现计算机可读指令、数据结构、程序模块或调制数据信号中的其他数据(例如，载波或其他传输机制)。如本文所定义的，计算机存储介质不包括通信介质。也就是说，计算机存储介质本身不包括仅由调制数据信号、载波或传播信号组成的通信介质。
通信接口206可以表示例如网络接口控制器(“NIC”)或者用于通过网络发送和接收通信的其他类型的收发器设备。
在所示出的示例中，计算机可读介质204包括数据存储模块138。在一些示例中，数据存储模块138包括诸如数据库、数据仓库或其他类型的结构化或非结构化数据存储之类的数据存储。在一些示例中，数据存储模块138包括具有一个或多个表、索引、存储的过程等等的语料库和/或关系数据库，以实现包括例如超文本标记语言(“HTML”)表、资源描述框架(“RDF”)表、Web本体语言(“OWL”)表和/或可扩展标记语言(“XML”)表中的一项或多项的数据访问。
数据存储模块138可以存储用于对存储在计算机可读介质204中和/或由处理单元202和/或加速器执行的过程、应用、组件和/或模块进行操作的数据。例如，在一些示例中，数据存储模块138可以存储会话数据144、简档数据210和/或其他数据。会话数据208可以包括远程会议会话104中的用户的总数、以及在远程会议会话104中发生的活动(例如，参与者的行为、活动)、和/或与进行或托管远程会议会话104的时间和方式有关的其他数据。简档数据210的示例包括但不限于用户身份(“ID”)、优先级值和其他数据。
在示例性实现中，数据存储模块138存储与每个用户在用户的客户端计算设备106的显示器上体验的视图相关的数据。如图2中所示，数据存储模块138可以包括远程会议会话模式250(1)到250(N)，其对应于参与远程会议会话104的每个客户端计算设备106(1)到106(N)的操作模式。本文还可以将远程会议会话模式250称为“操作模式”。使用远程会议会话模式250，远程会议系统102可以支持对电视会议会话104期间每个用户在多个设备上体验的视图和模式的单独控制。例如，如在下面更详细描述的，系统102允许用户利用以若干操作模式之一进行操作的用户的客户端计算设备106进行参与。
操作模式可以包括例如主操作模式和伴随操作模式。一旦计算设备106进入远程会议会话104，就可以在显示器150上显示不同类型的上下文用户界面，以使用户能够基于这些操作模式访问和共享相关的信息。例如，可以显示伴随控制菜单，以使用户能够容易地选择要由用户的伴随计算设备共享的各种类型的媒体数据。此外，可以显示主控制菜单，以便能够在用户的主计算设备处控制远程会议会话104的状态。控制菜单的组合和操作模式的使用允许用户以减少分心的方式利用多个设备加入远程会议会话104，同时还允许用户选择和共享最相关的内容。通常，远程会议系统102可以选择主设备以在主操作模式下操作。另外，远程会议系统102可以选择一个或多个伴随设备以在伴随操作模式下操作。
使用本文描述的技术，可以促进用于选择主设备以及因此建立主操作模式和伴随操作模式的若干方法。例如，当与单个用户身份相关联时，可以基于尝试加入远程会议会话104的设备的顺序来选择主设备。因此，可以选择用户尝试加入的第一设备作为主设备。在其他方面，远程会议系统102可以分析与一个或多个计算设备相关联的优先级值，以确定用户的第一计算设备是否具有取代与相同用户身份相关联的其他计算设备的优先级值的优先级值。
除了建立主设备以及主操作模式和伴随操作模式之外，远程会议系统102还可以操纵伴随设备的组件以增强远程会议会话104并限制扰乱。例如，远程会议系统102可以远程地禁用伴随计算设备的相机组件(例如，输入设备148)。另外，远程会议系统102可以远程地禁用伴随计算设备的音频组件(例如，输入设备148)。对这些组件的其他操作也可以是可能的，例如，通过选择性激活以允许用户“进入舞台”或者使用伴随设备而非主设备来共享内容。
如上所述，数据存储模块138可以存储简档数据210、流142、远程会议模式250、远程会议数据146和会话数据144。替代地，上面引用的数据中的一些或全部可以存储在一个或多个处理单元202上的板载单独存储器224上，例如，CPU型处理器、GPU型处理器、FPGA型加速器、DSP型加速器和/或另一个加速器上的板载存储器。在该示例中，计算机可读介质204还包括操作系统226和应用编程接口228，其被配置为将设备110(例如，示例性设备200)的功能和数据暴露给与客户端计算设备106(1)到106(N)相关联的外部设备。另外，计算机可读介质204包括一个或多个模块(例如，服务器模块136和输出模块140)，但所示出模块的数量仅是举例，并且该数量可以更高或更低。也就是说，本文结合所示出模块描述的功能可以由一个设备上的更少数量的模块或更多数量的模块来执行，或者分布在多个设备上。
因此，如先前所描述的，通常，远程会议系统102被配置为托管具有多个客户端计算设备106(1)到106(N)的远程会议会话104。远程会议系统102包括一个或多个处理单元202和计算机可读介质204，所述计算机可读介质204上编码有计算机可执行指令，以使所述一个或多个处理单元202在系统102处从多个客户端计算设备106(1)到106(N)接收流142(1)到142(M)，至少部分地基于每个用户的计算设备的远程会议会话模式250选择流142，并根据与客户端计算设备106(1)到106(N)相对应的远程会议会话模式250来传送远程会议数据146。从系统102向多个客户端计算设备106(1)到106(N)传送远程会议数据146(1)到146(N)。远程会议会话模式250(1)到250(N)促使多个客户端计算设备106(1)到106(N)在用户控制下显示远程会议会话104的视图。计算机可执行指令还促使一个或多个处理单元202基于用户传送的控制信号156(本文也称为控制命令156)和其他适当的信息，确定远程会议会话104将要将客户端计算设备106(1)到106(N)转换到不同的远程会议会话模式250。在一些配置中，控制命令156包括以下各项中的至少一项：用户身份、用于加入远程会议会话104的请求、访问请求、转移请求或本文描述的其他数据。
在一些实现中，本文所公开的技术可以使用一个或多个预定的操作模式，其也被称为“模式”或“远程会议会话模式”。在示例性操作中，系统102执行一种方法，所述方法包括：在系统102处从多个客户端计算设备106(1)到106(N)接收流142(1)到142(M)，至少部分地基于每个客户端计算设备的用户身份来组合和格式化流142以形成远程会议数据146(1)到146(N)，以及向各个客户端计算设备发送远程会议数据146(1)到146(N)。
如下文将描述的，预定操作模式可以包括第一操作模式(本文被称为“主”)和第二操作模式(本文被称为“伴随”)。在一些实现中，可以通过使用远程会议系统102可访问的简档数据，智能选择主设备和伴随设备，来自动地配置主操作模式和伴随操作模式。预定操作模式还可以促进为远程会议会话104提供控制功能的图形元素(“控制元件”)。例如，可以在用户界面上生成图形元素，使得用户能够提供内容、结束会话、使一个或多个声音静音、控制其他参与者的流、将特定设备转换到不同的操作模式等等。
在一个说明性示例中，下面所公开的技术可以使用主操作模式。主操作模式可以是“完全功能”操作形式，其促进为特定用户锚定沉浸式体验。根据一个方面，与用户身份相关联的仅单个设备可以处于主操作模式。在主模式下，可以使诸如麦克风之类的音频设备能够从用户接收音频信息(例如，声音、语音等)。同样在主模式下，可以使诸如前置摄像头之类的视频设备能够从用户接收视频信息(例如，视频记录)。因此，主操作模式、以及因此以主操作模式操作的设备可以是完全功能的，并从参与者接收多种形式的音频/视频输入。
在另一个说明性示例中，本文所公开的技术可以使用辅操作模式。辅操作模式可以是“伴随”操作形式，其促进用户利用多个设备进行参与，同时不损害以主操作模式工作的主设备所提供的沉浸式体验。根据一个方面，与单个用户身份相关联的一个或多个计算设备可以在伴随操作模式下工作。在伴随模式下，可以禁用相关联的计算设备的音频捕获设备以减轻音频反馈。同样在伴随模式下，可以取决于是否正从相关联的设备活动地共享视频信息，来禁用相机设备(例如，前置摄像头)。以这种方式，可以避免针对相同的用户身份的重复的视频流和音频流，同时减少网络使用并提高远程会议系统102的效率。
通常，设备106在主操作模式和伴随操作模式下操作的选择可以是基于与多个计算设备相关联的用户身份和/或简档数据210。例如，用户可以通过从每个计算设备106发出请求156以加入远程会议会话104，来使用两个或更多计算设备106加入远程会议会话104。
响应于请求156或多个请求，远程会议系统102可以选择第一计算设备106(1)作为用于在主操作模式下操作的主计算设备。通常，可以使用主计算设备来为用户锚定沉浸式体验，并限制由传统远程会议系统引起的扰乱。
在该选择之后，远程会议系统102可以生成与远程会议会话104相关联的远程会议数据146。在一个说明性示例中，远程会议数据146可以包括具有一个或多个参与者的视频的参与者流142，以及具有文件、数据结构、文字处理文档和其他可共享内容的视频或图像的内容流142。
在生成了远程会议数据146之后，远程会议系统102可以将第一远程会议数据146(1)传送到主计算设备，并将第二远程会议数据146(2)到146(N)传送到伴随计算设备。因此，虽然主设备是接收对远程会议数据146(1)的第一选择的唯一设备，但是伴随设备至少接收远程会议数据的部分(例如，远程会议数据146(2)到146N)。因此，通过高效地生成具有相关内容的主和伴随远程会议数据146，该说明性示例的远程会议系统102可以克服与传统远程会议系统相关联的许多技术缺陷，其包括浪费带宽、过度使用所有客户端计算设备的计算资源来处理远程会议数据的第一选择、以及其他缺陷。
在下文中，详细地描述了涉及示例性远程会议会话104、各种计算设备106和远程会议数据146的不同场景的更详细讨论。应当理解，这些示例性场景并不限制对所描述技术的所有使用。
图3A至图3D示出了可以使用本公开内容的技术的多个场景。如图3A中所示，每个用户301与一个或多个设备106相关联。以下描述描绘了各个用户301加入远程会议会话104的场景。以下示例示出了设备可以以主模式或伴随模式开始的场景。
在第一场景中，第一用户301A与第一位置311处的第一计算设备106A相关联，所述第一计算设备106A用于呼入到已经与处于第二位置310的第四用户301D和第五用户301E所使用的第五计算设备106E通信的远程会议会话104。由于第一用户301A正在使用单个设备，因此第一计算设备106A可以在主操作模式下进入远程会议会话104。因此，在第一计算设备106a加入远程会议会话的同时，第一计算设备106a的麦克风和扬声器被打开。另外，第一计算设备106A和第五计算设备106E二者都可以在主操作模式下操作。此外，第一计算设备106A和第五计算设备106E二者都可以接收第一远程会议数据146(1)，其包括对远程会议数据或流142的第一选择。
在第二场景中，第一用户301A正在使用第一计算设备106A加入远程会议会话104，第二用户301B正在使用第二计算设备106B加入远程会议会话104，第三用户301C正在使用第三计算设备106C和第四计算设备106D加入远程会议会话104，第四用户301D正在使用第五计算设备106E加入远程会议会话104，以及第五用户301E正在使用第五计算设备106E加入远程会议会话104。通常，第一计算设备106A、第二计算设备106B和第三计算设备106C都可以在主操作模式下加入远程会议会话104。然而，如图3A中所示，第三计算设备106C和第四计算设备106D与单个用户身份相关联(例如，与第三用户301C相关联)，并且第三用户301C正在使用第三计算设备106C和第四计算设备106D加入相同远程会议会话104。因此，第三计算设备106C可以在主操作模式下加入远程会议会话104，而第四计算设备104D可以在伴随操作模式下加入远程会议会话104。
在另外的示例中，如果第三用户301C首先使用第三计算设备106C加入远程会议会话104，则第三计算设备106C可以在主操作模式下加入远程会议会话104。随后，如果第三用户301C还尝试利用第四计算设备106D加入远程会议会话104，则第四计算设备106d可以在伴随操作模式下加入远程会议会话104。
另外，如图3B中所示，第三计算设备106C和第四计算设备106D二者可以最初以主操作模式加入远程会议会话104。此后，在确定了第三计算设备106C和第四计算设备106D二者被检测为都与相同用户身份(例如，第四用户301D的用户身份)相关联时，远程会议系统102可以将第三计算设备103C转换到用户301D的主操作模式，并且可以将第四计算设备104D转换到伴随操作模式。如图所示，与主操作模式相比，伴随操作模式可以包括不同的用户界面布置、流的呈现以及其他方面。
如本文所述，可以基于一个或多个因素来选择主设备。例如，如果第三计算设备106C是进入特定用户身份的远程会议会话的第一计算设备，则第三计算设备106C可以成为主设备。还可以基于任何适当的数据(例如，优先级、用户偏好或用户输入)来选择第三计算设备106C作为主设备。还可以基于设备类型来选择第三计算设备106C作为主设备。例如，如果第三计算设备106C是膝上型计算机，而第四计算设备106D是移动电话，则可以基于与第四计算设备104D相比，第三计算设备106C的设备类型具有可能的增加的能力，选择第三计算设备106C作为主设备。选择主设备时的其他考虑因素也可以是可适用的。
在选择或确定了第三计算设备106C作为主设备时，远程会议系统102还可以选择第四计算设备106D，如图3B中所示。如进一步所示，主设备和伴随设备中的每一者被配置为相应地以主操作模式或伴随操作模式进行操作。
继续该场景，本文所描述的技术还允许选择要在伴随设备和主设备处呈现的数据流。例如，如图3C中所示，主设备106C可以包括多个流142的呈现和一组核心远程会议控制元件。此外，伴随设备106D可以包括所选择的多个流142(2)的呈现和一组伴随远程会议控制元件。
另外，如图3D中所示，主设备106C可以包括多个流142的呈现和一组核心远程会议控制元件。此外，伴随设备106D可以包括基于活动水平和一组伴随远程会议控制元件的所选择的内容流142(2)的呈现。这些上述示例场景和界面布置的其他改变和组合也是可适用的。
此外，本文所描述的技术还可以应用于从远程位置加入的用户。如图3A中所示，第六用户301F正在使用第六计算设备106F和第七计算设备106B来加入远程会议会话104。在该示例中，第六用户301F位于与第二位置310分开的远程位置312。当第六用户301F使用第六计算设备106F加入远程会议会话104时，第六计算设备106F可以以主模式加入远程会议会话104，使得第六用户301F使用第六计算设备106F来参与完全沉浸式体验。另外，第七计算设备106G可以以伴随操作模式加入远程会议会话104。更进一步地，第六用户301F可以在每个设备之间转换功能，使得设备“交换”操作模式从主模式转到辅模式，反之亦然。
如上面所概述的，本文所公开的技术提供了用于远程会议会话的不同操作模式。另外，可以提供用于使用户能够基于主操作和伴随操作模式访问和共享相关信息的用户界面和用户界面布置，以进一步增强远程会议系统102。在图4、图5A到图5B以及图6A到图6C中示出了这些用户界面的若干示例。具体而言，图4示出了可以在与电信会话104通信的设备106上显示的第一用户界面400的各方面。可以在以主操作模式进行操作的设备106(例如，桌面型计算机)上显示该示例性用户界面400。
如图4中所示，第一用户界面400包括主部分402，其为远程会议会话104提供舞台。在远程会议会话104中共享的选择的媒体数据(例如，流视频、文件和应用)可以显示在用户界面的主部分402中。如图所示，主部分402可以显示来自远程会议会话104的各种参与者流和/或内容流142。因此，主部分402显示上面所描述的第一远程会议数据的呈现。与传送给伴随设备的、数据的减少的子部分相比，第一远程会议数据146(1)通常可以包括对远程会议数据的第一选择。
第一用户界面400还可以包括多个核心远程会议控制元件403，其可以被配置为控制远程会议会话104的各方面。通常，核心远程会议控制元件403被配置为控制远程会议会话104的状态。例如。核心远程会议控制元件403的第一按钮可以将设备106与远程会议会话104断开。核心远程会议控制元件403的第二按钮可以控制设备106的麦克风(即，静音按钮)。核心远程会议控制元件403的第三按钮可以控制设备106的相机(即，打开或关闭相机)。第四按钮或任何定位的控制元件也可以涉及转换功能。响应于接收到对第四按钮的用户致动，主设备可以转换为变成辅设备。在一些配置中，核心远程会议控制元件403的显示可以在预定时间段内淡入淡出。在这样的配置中，核心远程会议控制元件403可以基于一个或多个动作(例如，悬停或者在用户界面400的预定部分内的另一适当的用户交互)来重新显示。
当设备106作为主设备连接到远程会议会话时(例如，当作为单个设备或者与单个用户身份相关联的设备中的主设备时)，可以显示具有提供对各种类型的媒体的访问的可选元件的布置的菜单。媒体可以包括但不限于：桌面共享、应用共享或文件共享。用户界面400可以被配置为允许用户通过向左或向右滑动或滚动可选元件来滚动另外的可选元件。另外，当用户提供诸如向上滑动之类的手势时，可以扩展可选元件的显示。因此，存在用于主设备的各种用户界面布置，以便允许对远程会议会话的完全沉浸式控制。
现在转到图5A-5B，详细描述了与伴随操作模式下的伴随设备相关联的若干图形用户界面。图5A示出了用于伴随设备的伴随用户界面500的各方面。通常，用户界面500包括简化的用户界面，其被配置为至少部分地基于活动水平来显示远程会议数据146的子部分。图5A的示例示出了具有共享控制元件501的控制菜单，用于显示用于共享媒体的选项和/或用于将伴随设备提升到主设备的选项。此外，界面500还包括有点类似于上面所描述的会话舞台402的会话舞台502。
例如，第一控件501A被配置为激活相机设备。响应于接收到对第一控制501A的用户致动，设备的相机被激活，来自相机的实况视频馈送可以在“舞台上”呈现(例如，如果主设备允许的话)，并且在与远程会议会话104通信的其他设备上显示实时馈送的呈现。第二控件501B被配置为激活文件共享和应用共享功能。响应于接收到对第二控件501B的用户致动，辅设备使用户能够选择要与远程会议会话104共享的应用或文件。一旦选择了文件或应用，就可以“在舞台上”呈现所选媒体的渲染，例如，将所选媒体的呈现传送到与远程会议会话104通信的设备。
第三控件501C被配置为激活转换功能。响应于接收到对第三控件501C的用户致动，伴随设备可以基于远程会议系统102的考虑而成为主设备。例如，如果设备106与特定用户身份相关联，接收到对第三控件501C的用户致动，并且不再存在与该用户身份相关联的主设备，则远程会议系统102可以使该设备切换到主操作模式以保持用户的沉浸式体验。还可以通过将与用户身份相关联的现有主设备降级到伴随操作模式以允许初始伴随设备成为用户的主设备，来促进向主模式的转换。因此，可以通过本文描述的技术促进从伴随模式到主模式的交换的若干实现。
第四控件501D向远程会议会话104提供连接控制，例如，第四控件501D可以是“悬挂”或断开按钮。提供这些示例只是出于说明目的，其不应被解释为是限制性的。应当领会，可以显示为伴随设备提供另外的功能的其他控件。
如图所示，界面500不具有用于控制麦克风或其他形式的音频通信的核心远程会议控制元件，这是因为在一些实现中，伴随设备未被配置为传送音频信号。另外，如图5B中所示，包括缺少或隐藏的伴随控制元件集的界面500的其他变型也是适用的。
上下文菜单控件、功能、可搜索内容、最近或上下文内容可以是诸如以下各项之类的许多不同会话和协作核心控制需求的开放状态：共享、记录、远程控制、pstn/voip呼叫、传感器检测、设备检测/选择等等。控制菜单的布局配置也可以适应不同的屏幕布局：顶部、底部、侧面等等。也可以通过不同的手势来影响可行动性：向上滑动、向下滑动、向左滑动、向右滑动、轻击、双击、点击并按住等等。
在一些配置中，伴随设备可以选择不同类型的媒体数据进行显示。例如，伴随设备可以显示基于活动水平的所接收的远程会议数据。在一个说明性示例中，如图5B的示例中所示，如果主设备的主要视图正在显示参与者流，则在伴随设备上，该参与者流可以显示在用户界面500的主要部分502上。接着，因为在主设备上显示不同的内容流或参与者流，因此只将远程会议数据的子集传送到伴随设备。因此，实现了减少的带宽使用，同时还允许完全沉浸式远程会议体验。
现在转到图6A，描述了用于以伴随操作模式操作的设备106的另一个用户界面(界面600)的各方面。在该特定示例中，应当理解，特定界面600是表示移动设备(例如，平板设备、移动电话或其他类似设备)上的用户界面的说明性示例。应当领会，与界面500相比，界面600可以存在类似的方面。因此，为了简短起见，本文省略了对类似元件的详尽描述。
如图所示，用户界面600可以包括具有共享控制元件651的控制菜单，以用于提供对各种类型的媒体的访问。共享控制元件651可以被布置为与上面详细描述的共享控制元件501类似地工作。例如，第一可选元件651A可以提供对特定文件的访问。第二可选元件651B可以提供对桌面共享的访问，第三可选元件651C可以提供对应用共享的访问。提供这些实施例只是为了说明目的，其不应被解释为是限制性的。应当领会，可选元件651可以提供对任何适当类型的可共享媒体的访问，并且与可选元件501进行类似地布置。
如图6A中所示，界面600还可以包括会话舞台652的显示，其是传送到客户端设备的第二远程会议数据或远程会议数据的子部分的视频呈现。会话舞台652的显示可以显示会话的显着特征，例如最主要的发言者或共享内容。在用户致动了图形元素(例如，显示在界面底部中心的V形图案)时，会话舞台652的显示可以扩展到示出可用于伴随设备的另外的共享选项。例如，如图6B和图6C中所示，提供了以伴随模式操作的移动设备的用户界面600的完全滑动配置的示例。
如图6B中所示，用户界面600可以包括具有共享控制元件651A-651I的控制菜单，以用于提供对各种类型的媒体的访问。例如，可选元件651A-65lI可以提供对特定文件、桌面共享和应用的访问。提供这些示例只是用于说明目的，其不应被解释为是限制性的。应当领会，可选元件651A-551I可以提供对任何适当类型的可共享媒体的访问。还应当领会，界面600可以具有任何合适数量的可选元件651。另外，用户可以通过致动箭头来滚动另外的可选元件651A-651I以查看另外的可选元件651。用户界面600还可以包括“添加”按钮，以使用户能够向菜单添加内容(例如，文件、应用和其他内容)。显示的控件和内容可以按行和列行为进行缩放以适应不同大小的设备、视窗、用户需求等等。
用户界面600还可以通过使用手势(例如，应用于第一UI元素662的向下滑动)来提供对会话舞台的显示的访问。当接收到预定的手势(例如，向第一UI元素662应用向下滑动)时，用户界面600转换到图6C中所示的示例性用户界面600，其包括在会话舞台652上呈现的第二远程会议数据146(2)的视频呈现。当处于该模式时，其他共享控件664(例如，发送按钮或共享按钮)可以位于用户界面600中。用户界面600可以配置有或者不具有共享控件。响应于接收到预定的输入手势(例如，第二UI元素663处的向上滑动)，图6C中所示的用户界面600可以转换回到图6B中所示的用户界面600。
虽然已经将一些设备描述为“辅”设备或“伴随”设备，但应当理解，可以利用伴随设备的一些功能来允许另外的交互和可共享的内容，非常像主设备的扩展。例如，如图7A-7D中所示，伴随设备可以实现共享相机或“流动相机”功能，以允许会议参与者提供内容和周围环境的真实世界视图，同时不干扰相关联的主设备。在该示例中，伴随设备106D包括适于将视频数据流式传输到远程会议会话104的相机781。当用户将设备l06D的相机(本文称为“流动相机”)指向内容780时，设备106D生成视频流或者照片，所述视频流或者照片被传送到服务器模块136以分发该内容。共享的内容可以包括视频流或静止图像。
参照图3的示例，图7A示出了以伴随操作模式操作并经由相机781生成图像数据的第四计算设备106d。该图像数据与远程会议会话104的设备(例如，第一计算设备106A和第二计算设备106B)进行共享。可以对包括白板、绘图、照片、书页或来自模拟环境的任何其他内容的任何内容进行共享。因此，在该示例中，远程会议系统102可以从计算设备106D的相机781接收用于共享视频内容的请求。此外，远程会议系统102可以将视频内容添加到远程会议数据和远程会议数据的子部分中，以便在参与远程会议会话104的设备之间共享。
继续该示例，在线会议(例如，远程会议会话104)中的任何用户都可以将实况视频或静止图像发送到共享视频舞台，所述共享视频舞台将流动相机视频视作为内容流而不是传统的以自我为中心的参与者流(也被称为‘说话者头像’视频)。用户可以使用伴随设备来触发该特征，以与会议参与者共享真实世界内容或其他内容。如图7B中所示，可以使用覆盖视图将内容780显示在任何主设备(例如，主设备106E)处。其他视图(例如，持久视图)也可以可适用的。与远程会议会话104相关联的其他设备也可以接收和显示内容780，如图7C和7D中所示。因此，虽然伴随设备可以用于接收第二远程会议数据146(2)或远程会议数据146的子部分，但是伴随设备也可用于扩增远程会议会话。
如上面详细描述的，通常使用每个用户ID单个设备，来实现例如经由在线会议、视频会议或文档协作系统的实时中介协作。在当前的协作系统中，如果多个设备同时地加入并与单个用户身份相关联，则用户体验可能基本上是跨设备重复，并且包括过度使用带宽和每个用户身份使用多个音频设备的一些低效率是显而易见的。这可能对用户体验产生有害的结果。在这样的情况下，最好是通过音频流的“回声”和“重影(ghosting)”来呈现音频反馈。在最坏情况下，这会引起技术和实际问题，其包括但不限于：针对同步、通知、控制执行、音频回声和啸叫、电池消耗、以及额外的带宽使用的竞争状况。本发明关注于添加与单个用户身份相关联的第二和第三、以及多达n个设备，这些设备可以在加入时进行自动区分，以便扩增主设备体验而不是进行复制。本发明将实时协作会话中的任何主设备的状态与加入相同会话的任何伴随设备的状态区分开(在它们与单个用户身份相关联时)。
在下文中，参照图8提供了对远程会议系统102的操作的更详细描述，图8示出了提供用于在远程会议会话中实时协作的伴随设备的示例性方法800的流程图。
方法800可以包括：在方框802处，生成包括与远程会议会话104相关联的多个流142的远程会议数据146。例如，可以从与远程会议会话104相关联的多个计算设备106接收多个流142。
方法800还可以包括：在方框804处，从与第一用户身份(例如，图3的第三用户301C)相关联的第一计算设备(例如，图3A的第三计算设备106C)接收用于加入远程会议会话104的第一请求。通常，该请求可以基本上类似于上面参照图1详细描述的访问请求、配置命令和/或重新配置命令(例如，CTL 156(1))。
方法800还可以包括：在方框806处，向第一计算设备106C传送远程会议数据146，促使第一计算设备(例如，计算设备106C)显示主用户界面400。主用户界面400可以包括多个流142的呈现。例如，如图3B和图4中所示，用户界面400也可以被布置为显示多个流或单个流。另外，用户界面400可以包括多个核心远程会议控制元件403。核心远程会议控制元件403可以包括被配置为控制第一计算设备(例如，设备106C)的状态和远程会议会议104的状态的用户界面元素。
此后，或者在基本上接收到第一请求的同时，方法800包括：在方框808处，从与第一用户身份(例如，用户301C)相关联的第二计算设备(例如，设备106D)接收用于加入远程会议会话104的第二请求。例如，用户301C可以在基本相同的时间尝试从设备106C和设备106D加入远程会议104。另外，用户(例如，用户301C)可以尝试首先利用设备106C来加入远程会议会话104。随后，用户301C可以尝试利用伴随设备106D来加入远程会议会话104。
响应于第二请求，方法800可以包括：在方框810处，基于活动水平来选择多个流142中的至少一个流。通常，在配置或生成远程会议数据146、第一远程会议数据146(1)和/或第二远程会议数据146(2)到146(N)时，可以基于由远程会议会话104的参与者呈现的数据的活动水平，来选择远程会议数据的子部分或第二远程会议数据146(2)到146(N)。可以对针对每个参与者的媒体数据中的视频或共享内容进行分析，来确定在远程会议系统102处接收的任何流142(1)到142(M)的活动水平。该活动水平可以基于任何类型的活动，其包括但不限于以下各项的任何组合：
1、参与者动作：参与者在视频中移动的程度可以确定参与者的活动水平。可以认为在视频中处于打手势或以其他方式移动过程的参与者在远程会议中以相对高的水平进行参与。
2、参与者的嘴唇运动：可以分析视频以确定参与者嘴唇移动的程度，作为对参与者说话的程度的指示。可以认为以相对高的水平讲话的参与者在以相应的相对高的水平进行参与。
3、参与者面部表情：可以分析参与者的视频以确定面部表情的变化，或者使用模式识别来确定特定的面部表情。可以认为在远程会议中通过面部表情做出反应的参与者在以相对高的水平进行参与。
4、内容修改：可以分析正在远程会议中共享的内容的视频以确定其是否正被修改。因此，最近或活跃修改的内容可以具有高的活动水平。
5、内容翻页：可以分析正在共享的内容的视频以确定是否存在例如文档的翻页，并且向其分配相应的活动水平。
6、具有显示区域中的内容的参与者的数量：可以基于如下数量为正在共享的内容的视频分配活动水平：在显示区域中具有该内容的视图的参与者的数量。
7、正在进入远程会议的参与者：可以向来自正在进入远程会议的参与者的媒体数据分配高的活动水平。该值可以基于参与者加入会话的顺序。
8、正在离开远程会议的参与者：可以向来自正在离开远程会议的参与者的媒体数据分配低的活动水平。
因此，可以选择具有相对高的活动水平的参与者流和/或内容流，以经由传送具有相对高的活动水平的第二远程会议数据146(2)至146(N)或者远程会议数据146的子部分，在上述任何伴随用户界面布置中进行显示。还应当理解，可以基于其他逻辑来取代活动水平，例如，如果具有多个设备的用户期望针对伴随计算设备的固定视图、或者其他场景。
在选择了至少一个流时，方法800还包括：在方框812处，向第二计算设备106D传送远程会议数据146，促使第二计算设备106d显示伴随用户界面500。伴随用户界面500可以包括所述至少一个流的呈现。应当理解，伴随用户界面500可以包括多个流、内容流、参与者流或者其任何组合的呈现。另外，伴随用户界面500可以包括多个伴随远程会议控制元件501。伴随远程会议控制元件501可以包括被配置为提供内容共享功能的用户界面元素。通常，内容共享功能使第二计算设备106d能够共享以下各项中的至少一项：选择的文件、桌面视图或者由第二计算设备106D的相机781生成的流。
根据实现方法800的其他示例，多个流142还可以包括至少一个参与者流和至少一个内容流，如上所述。因此，在远程会议系统102处理参与者流和内容流的场景中，远程会议系统102还可以将所述至少一个参与者流和所述至少一个内容流传送到第一计算设备106C，以及将所述至少一个内容流传送到第二计算设备106D。以这种方式，通过智能选择流142以传送到主设备和伴随设备，可以实现对带宽的减少使用。
虽然通常描述为与远程会议系统102有关，但应当容易地理解，在用户控制下的各个设备也可以实现上面所描述的一个或多个方面。例如，用户301C还可以使用多个设备来请求加入远程会议会话104。在该方面，用户301C可以从与第一用户身份301C相关联的第一计算设备106C发送用于加入远程会议104的第一请求156。响应于该请求156，第一计算设备106C可以接收包括与远程会议会话104相关联的多个流142的第一远程会议数据146(1)，并且显示多个流142的呈现。
类似地，用户301C可以从与第一用户身份301C相关联的第二计算设备106D发送用于加入远程会议会话104的第二请求。响应于第二请求，第二计算设备106d可以接收包括多个流142的流子集的第二远程会议数据146(2)，并且显示多个流142的流子集的呈现。多个流142的流子集至少部分地基于指示与流142的子集相关联的活动水平的数据，如上面所详细描述的。
因此，本公开内容的若干方面可以由远程会议系统102和各个计算设备106实现。另外，一旦连接到远程会议会话104，用户301C就可以使用图4和图5A中所示的用户界面元素发送若干命令。例如，用户301C可以从第一计算设备106C发送一个或多个核心远程会议控制请求以控制远程会议会话104的状态。类似地，用户301C可以从第二计算设备106D发送一个或多个伴随远程会议控制请求，以控制第二计算设备106D的内容共享功能。包括上面所描述的“交换”功能的其他形式的请求和控制也是可适用的。
如本文所详细描述的，已经提供了通过促进用户的多个设备来增强远程会议会话的若干方面。虽然已经用特定于结构特征和/或方法动作的语言描述了这些技术，但应当理解，所附权利要求并不必限于所描述的特征或动作。确切地说，将这些特征和动作描述为这些技术的示例性实现。
在各个框中示出了示例性过程的操作，并且参考这些框进行了概括。将过程示出为框的逻辑流，其中每个框可以表示可以用硬件、软件或者其组合实现的一个或多个操作。在软件的上下文中，操作表示存储在一个或多个计算机可读介质上的计算机可执行指令，所述指令当由一个或多个处理器执行时，使得所述一个或多个处理器能够执行所记载的操作。通常，计算机可执行指令包括执行特定功能或者实现特定抽象数据类型的例程、程序、对象、模块、组件、数据结构等等。用于描述操作的顺序不应被解释为是限制性的，任何数量的所描述的操作可以以任何顺序进行执行、以任何顺序进行组合、细分为多个子操作、和/或并行地执行以实现所描述的过程。所描述的过程可以由与一个或多个设备相关联的资源(例如，一个或多个内部或外部CPU或GPU)和/或一个或多个硬件逻辑(例如，FPGA、DSP或其他类型的加速器)来执行。
上面所描述的所有方法和过程可以通过由一个或多个通用计算机或处理器执行的软件代码模块来体现，并且完全自动化。这些代码模块可以存储在任何类型的计算机可读存储介质或其他计算机存储设备中。替代地，可以在专用计算机硬件中体现这些方法中的一些或全部。
除非另有特别声明，否则应当在上下文内将诸如“可以”、“能够”、“可能”或“会”等的条件语言理解为表示某些示例包括某些特征、元素和/或步骤，而其他示例不包括某些特征、元素和/或步骤。因此，这种条件语言通常并不旨在暗示以下情形：一个或多个示例以任何方式需要某些特征、元素和/或步骤，或者在具有或没有用户输入或提示的情况下，一个或多个示例必须包括用于决定在任何特定的示例中是否将包括或者将执行某些特征、元素和/或步骤的逻辑。除非另有特别声明，否则诸如短语“X、Y或Z中的至少一个”之类的连接语言应当被理解为说明项目、条款等等可以是X、Y或Z、或者其组合。
应当将本文描述和/或附图中描绘的流程图里的任何例程描述、元素或框理解为潜在地表示包括用于实现例程中的特定逻辑功能或元素的一个或多个可执行指令的模块、段或代码部分。替代实现方式也包括在本文所描述的示例的范围内，其中，根据所涉及的功能，元素或功能可以被删除，或者以与所示出或讨论的不同顺序(其包括基本上同步或相反的顺序)被执行，如本领域普通技术人员将理解的那样。应当强调，可以对上面所描述的示例进行许多变化和修改，其中的元素应被理解为其他可接受的示例。所有这些修改和变化旨在包括在本公开内容的范围内并且由所附权利要求保护。
条款：
以上解释的众多特征、方面和/或细节可以用如下限定的一个或多个条款来表示：
条款1：一种方法，包括：生成包括与远程会议会话(104)相关联的多个流(142)的远程会议数据(146)；从与第一用户身份(301C)相关联的第一计算设备(106C)接收用于加入所述远程会议会话(104)的第一请求；向所述第一计算设备(106C)传送所述远程会议数据(146)，促使所述第一计算设备(106C)显示主用户界面(400)，所述主用户界面(400)包括所述多个流(142)的呈现；从与所述第一用户身份(301C)相关联的第二计算设备(106D)接收用于加入所述远程会议会话(104)的第二请求；基于活动水平选择所述多个流(142)中的至少一个流；以及向所述第二计算设备(106D)传送所述远程会议数据(146)，促使所述第二计算设备(106D)显示伴随用户界面(500)，所述伴随用户界面(500)包括所述至少一个流的呈现。
条款2：如条款1所述的方法，其中，所述主用户界面包括多个核心远程会议控制元件，所述核心远程会议控制元件包括被配置为控制所述第一计算设备的状态和所述远程会议会话的状态的用户界面元素。
条款3：如以上条款中的任何一个所述的方法，其中，所述伴随用户界面包括多个伴随远程会议控制元件，所述伴随远程会议控制元件包括被配置为提供内容共享功能的用户界面元素，其中，所述内容共享功能使所述第二计算设备能够共享以下各项中的至少一项：选择的文件、桌面视图或者由所述第二计算设备的相机生成的流。
条款4：如以上条款中的任何一个所述的方法，其中，所述活动水平表示所述至少一个流的活动的水平。
条款5：如以上条款中的任何一个所述的方法，其中，所述多个流包括至少一个参与者流和至少一个内容流，其中，所述方法还包括：向所述第一计算设备传送所述至少一个参与者流和所述至少一个内容流；以及向所述第二计算设备传送所述至少一个内容流。
条款6：如以上条款中的任何一个所述的方法，其中，所述至少一个参与者流包括所述远程会议会话的用户媒体数据，并且所述至少一个内容流包括所述远程会议会话的内容媒体数据。
条款7：一种方法，包括：从与第一用户身份(301C)相关联的第一计算设备(106C)发送用于加入远程会议会话(104)的第一请求；在所述第一计算设备(106C)处接收包括与所述远程会议会话(104)相关联的多个流(142)的第一远程会议数据(146(1))；在所述第一计算设备(106C)上显示所述多个流(142)的呈现；从与所述第一用户身份(301C)相关联的第二计算设备(106D)发送用于加入所述远程会议会话(104)的第二请求；在所述第二计算设备(106D)处接收包括所述多个流(142)的流子集(142)的第二远程会议数据；以及在所述第二计算设备(106D)上显示所述多个流(142)的所述流子集(142)的呈现，其中，所述多个流(142)的所述流子集(142)至少部分地基于指示与所述流子集(142)相关联的活动水平的数据。
条款8：如以上条款中的任何一个所述的方法，其中，所述方法还包括：从所述第一计算设备发送一个或多个核心远程会议控制请求以控制所述远程会议会话的状态。
条款9：如以上条款中的任何一个所述的方法，其中，所述方法还包括：从所述第二计算设备发送一个或多个伴随远程会议控制请求以控制所述第二计算设备的内容共享功能。
条款10：如以上条款中的任何一个所述的方法，其中，所述多个流包括多个参与者流和多个内容流，其中，所述多个参与者流包括所述远程会议会话的用户媒体数据，并且所述多个内容流包括所述远程会议会话的内容媒体数据。
条款11：一种方法，包括：生成包括与远程会议会话(104)相关联的多个流(142)的远程会议数据(146)；从与第一用户身份(301C)相关联的第一计算设备(106C)接收用于加入所述远程会议会话(104)的第一请求；从与所述第一用户身份(301C)相关联的第二计算设备(106D)接收用于加入所述远程会议会话(104)的第二请求；向所述第一计算设备(106C)传送所述远程会议数据(146)；以及向所述第二计算设备(106D)传送所述远程会议数据的子部分(146(2))，其中，所述子部分(146(2))包括基于活动水平从所述多个流(142)中选择的至少一个流。
条款12：如以上条款中的任何一个所述的方法，其中，所述方法还包括：接收用于促使所述第一计算设备和所述第二计算设备的转换的控制命令；以及响应于接收到所述控制命令，向所述第二计算设备传送所述远程会议数据，以显示所述多个流的呈现；以及向所述第一计算设备传送所述远程会议数据的所述子部分，以显示所述至少一个流的呈现。
条款13：如以上条款中的任何一个所述的方法，其中，所述方法还包括：接收用于促使转换到所述第一计算设备的重新配置命令；以及响应于接收到所述重新配置命令，停止向所述第二计算设备传送所述远程会议数据的所述子部分。
条款14：如以上条款中的任何一个所述的方法，其中，所述方法还包括：禁用所述第二计算设备的相机组件。
条款15：如以上条款中的任何一个所述的方法，其中，所述方法还包括：禁用所述第二计算设备的音频组件。
条款16：如以上条款中的任何一个所述的方法，其中，所述方法还包括：接收用于共享来自所述第二计算设备的相机的视频内容的请求；以及将所述视频内容添加到所述远程会议数据和所述远程会议数据的所述子部分。
条款17：一种系统，包括一个或多个处理单元(202)、以及计算机可读介质(204)，其上编码有计算机可执行指令以使所述一个或多个处理单元(202)执行以下操作：生成包括与远程会议会话(104)相关联的多个流(142)的远程会议数据(146)；从与第一用户身份(301C)相关联的第一计算设备(106C)接收用于加入所述远程会议会话(104)的第一请求；向所述第一计算设备(106C)传送所述远程会议数据(146)以显示主用户界面(400)，所述主用户界面(400)包括多个核心远程会议控制元件(403)；从与所述第一用户身份(301C)相关联的第二计算设备(106D)接收用于加入所述远程会议会话(104)的第二请求；基于活动水平选择所述多个流(142)中的至少一个流(142)；以及向所述第二计算设备(106D)传送所述远程会议数据(146)，促使所述第二计算设备(106D)显示伴随用户界面(500)，所述伴随用户界面(500)包括多个伴随远程会议控制元件(501)。
条款18：如条款17所述的系统，其中，所述多个流包括至少一个参与者流和至少一个内容流，其中，所述计算机可执行指令还使所述一个或多个处理单元执行以下操作：向所述第一计算设备传送所述至少一个参与者流和所述至少一个内容流；以及向所述第二计算设备传送所述至少一个内容流。
条款19：如以上条款中的任何一个所述的系统，其中，所述计算机可执行指令还使所述一个或多个处理单元执行以下操作：接收用于促使转换到所述第一计算设备的重新配置命令；以及响应于接收到所述重新配置命令，停止向所述第二计算设备传送所述远程会议数据。
条款20：如以上条款中的任何一个所述的系统，其中，所述计算机可执行指令还使所述一个或多个处理单元执行以下操作：接收用于促使所述第一计算设备和所述第二计算设备的转换的控制命令；以及响应于接收到所述控制命令，向所述第二计算设备传送所述远程会议数据，促使所述多个流的呈现；以及向所述第一计算设备传送所述远程会议数据，促使所述至少一个流的呈现。

Claims (15)

1.一种用于远程会议会话的方法，包括：
生成包括与远程会议会话相关联的多个流的远程会议数据；
从与第一用户身份相关联的第一计算设备接收用于加入所述远程会议会话的第一请求；
向所述第一计算设备传送所述远程会议数据，促使所述第一计算设备显示主用户界面，所述主用户界面包括所述多个流的呈现；
从与所述第一用户身份相关联的第二计算设备接收用于加入所述远程会议会话的第二请求；
响应于从所述第二计算设备接收用于利用所述第一用户身份加入所述远程会议会话的所述第二请求，基于在所述多个流中的至少一个流中呈现的参与者的活动水平来选择所述至少一个流；以及
向所述第二计算设备传送所述远程会议数据，促使所述第二计算设备显示伴随用户界面，所述伴随用户界面包括基于在所述至少一个流中呈现的所述参与者的所述活动水平来选择的所述至少一个流的呈现，其中，所述伴随用户界面的布置与所述主用户界面的布置不同。
2.根据权利要求1所述的方法，其中，所述主用户界面包括多个核心远程会议控制元件，所述核心远程会议控制元件包括被配置为控制所述第一计算设备的状态和所述远程会议会话的状态的用户界面元素。
3.根据权利要求1所述的方法，其中，所述伴随用户界面包括多个伴随远程会议控制元件，所述伴随远程会议控制元件包括被配置为提供内容共享功能的用户界面元素，其中，所述内容共享功能使得所述第二计算设备能够共享以下各项中的至少一项：选择的文件、桌面视图或者由所述第二计算设备的相机生成的流。
4.根据权利要求1所述的方法，其中，所述活动水平表示所述至少一个流的活动的水平。
5.根据权利要求1所述的方法，其中，所述多个流包括至少一个参与者流和至少一个内容流，其中，所述方法还包括：
向所述第一计算设备传送所述至少一个参与者流和所述至少一个内容流；以及
向所述第二计算设备传送所述至少一个内容流。
6.根据权利要求5所述的方法，其中，所述至少一个参与者流包括所述远程会议会话的用户媒体数据，并且所述至少一个内容流包括所述远程会议会话的内容媒体数据。
7.一种用于远程会议会话的方法，包括：
从与第一用户身份相关联的第一计算设备发送用于加入远程会议会话的第一请求；
在所述第一计算设备处接收包括与所述远程会议会话相关联的多个流的第一远程会议数据；
在所述第一计算设备上显示所述多个流的呈现；
从与所述第一用户身份相关联的第二计算设备发送用于加入所述远程会议会话的第二请求；
在所述第二计算设备处接收包括所述多个流的流子集的第二远程会议数据；以及
在所述第二计算设备上显示所述多个流的所述流子集的呈现，其中，所述多个流的所述流子集至少部分地基于指示在所述流子集的至少一个流中呈现的参与者的活动水平的数据来选择的，其中，所述流子集是响应于来自于所述第二计算设备的用于利用所述第一用户身份加入所述远程会议会话的所述第二请求而选择的，其中，所述第二计算设备的用户界面的布置与所述第一计算设备的用户界面的布置不同。
8.根据权利要求7所述的方法，其中，所述方法还包括：
从所述第一计算设备发送一个或多个核心远程会议控制请求以控制所述远程会议会话的状态。
9.根据权利要求7所述的方法，其中，所述方法还包括：
从所述第二计算设备发送一个或多个伴随远程会议控制请求以控制所述第二计算设备的内容共享功能。
10.根据权利要求7所述的方法，其中，所述多个流包括多个参与者流和多个内容流，其中，所述多个参与者流包括所述远程会议会话的用户媒体数据，并且所述多个内容流包括所述远程会议会话的内容媒体数据。
11.一种用于远程会议会话的方法，包括：
生成包括与远程会议会话相关联的多个流的远程会议数据；
从与第一用户身份相关联的第一计算设备接收用于加入所述远程会议会话的第一请求；
从与所述第一用户身份相关联的第二计算设备接收用于加入所述远程会议会话的第二请求；
向所述第一计算设备传送所述远程会议数据；以及
向所述第二计算设备传送所述远程会议数据的子部分，其中，所述子部分包括基于在至少一个流中呈现的参与者的活动水平从所述多个流中选择的至少一个流，其中，所述至少一个流是响应于来自于所述第二计算设备的用于利用所述第一用户身份加入所述远程会议会话的所述第二请求而选择的，其中，所述第二计算设备的用户界面的布置与所述第一计算设备的用户界面的布置不同。
12.根据权利要求11所述的方法，其中，所述方法还包括：
接收用于促使所述第一计算设备和所述第二计算设备的转换的控制命令；以及
响应于接收到所述控制命令，
向所述第二计算设备传送所述远程会议数据，以显示所述多个流的呈现；以及
向所述第一计算设备传送所述远程会议数据的所述子部分，以显示所述至少一个流的呈现。
13.根据权利要求11所述的方法，其中，所述方法还包括：
接收促使转换到所述第一计算设备的重新配置命令；以及
响应于接收到所述重新配置命令，停止向所述第二计算设备传送所述远程会议数据的所述子部分。
14.根据权利要求11所述的方法，其中，所述方法还包括：
禁用所述第二计算设备的相机组件。
15.根据权利要求11所述的方法，其中，所述方法还包括：
禁用所述第二计算设备的音频组件。
CN201780067116.9A 2016-10-31 2017-10-24 在远程会议会话中进行实时协作的伴随设备 Active CN109923859B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662415403P 2016-10-31 2016-10-31
US62/415,403 2016-10-31
US15/480,332 US11310294B2 (en) 2016-10-31 2017-04-05 Companion devices for real-time collaboration in communication sessions
US15/480,332 2017-04-05
PCT/US2017/057948 WO2018081030A1 (en) 2016-10-31 2017-10-24 Companion devices for real-time collaboration in teleconference sessions

Publications (2)

Publication Number Publication Date
CN109923859A CN109923859A (zh) 2019-06-21
CN109923859B true CN109923859B (zh) 2021-07-30

Family

ID=62019994

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780067116.9A Active CN109923859B (zh) 2016-10-31 2017-10-24 在远程会议会话中进行实时协作的伴随设备
CN201780067327.2A Withdrawn CN109891878A (zh) 2016-10-31 2017-10-24 加入远程会议会话的增强型技术

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201780067327.2A Withdrawn CN109891878A (zh) 2016-10-31 2017-10-24 加入远程会议会话的增强型技术

Country Status (4)

Country Link
US (2) US11310294B2 (zh)
EP (2) EP3533222A1 (zh)
CN (2) CN109923859B (zh)
WO (2) WO2018081030A1 (zh)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003247593A1 (en) * 2002-06-18 2003-12-31 Wireless Ink, Llc Method, apparatus and system for management of information content for enhanced accessibility over wireless communication networks
KR101929372B1 (ko) 2014-05-30 2018-12-17 애플 인크. 하나의 디바이스의 사용으로부터 다른 디바이스의 사용으로의 전환
DK201670622A1 (en) 2016-06-12 2018-02-12 Apple Inc User interfaces for transactions
US10728193B2 (en) * 2017-11-17 2020-07-28 International Business Machines Corporation Receiving and sharing files in a group messaging environment
DK180130B1 (da) 2018-05-07 2020-06-02 Apple Inc. Multi-participant live communication user interface
CN109005443B (zh) * 2018-08-24 2021-05-28 重庆虚拟实境科技有限公司 Vr-ar一体机终端真人远程交互方法以及基于其的系统
CN109059901B (zh) * 2018-09-06 2020-02-11 深圳大学 一种基于社交应用的ar导航方法、存储介质及移动终端
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US10616151B1 (en) * 2018-10-17 2020-04-07 Asana, Inc. Systems and methods for generating and presenting graphical user interfaces
CN111258528B (zh) * 2018-12-03 2021-08-13 华为技术有限公司 语音用户界面的显示方法和会议终端
US11190568B2 (en) * 2019-01-09 2021-11-30 Bose Corporation Multimedia communication encoding system
US10764442B1 (en) * 2019-03-27 2020-09-01 Lenovo (Singapore) Pte Ltd Muting an audio device participating in a conference call
US11271762B2 (en) * 2019-05-10 2022-03-08 Citrix Systems, Inc. Systems and methods for virtual meetings
KR20220027295A (ko) 2019-05-31 2022-03-07 애플 인크. 오디오 미디어 제어를 위한 사용자 인터페이스
US11010121B2 (en) 2019-05-31 2021-05-18 Apple Inc. User interfaces for audio media control
US20220210502A1 (en) * 2019-06-17 2022-06-30 Google Llc Methods, systems, and media for providing dynamic media sessions
US11240470B2 (en) * 2019-07-08 2022-02-01 Nextiva, Inc. Multi-device teleconferences
CN110430384B (zh) * 2019-08-23 2020-11-03 珠海格力电器股份有限公司 视频通话方法、装置以及智能终端、存储介质
US11546391B2 (en) 2019-11-01 2023-01-03 Microsoft Technology Licensing, Llc Teleconferencing interfaces and controls for paired user computing devices
US11304246B2 (en) 2019-11-01 2022-04-12 Microsoft Technology Licensing, Llc Proximity-based pairing and operation of user-specific companion devices
US11256392B2 (en) * 2019-11-01 2022-02-22 Microsoft Technology Licensing, Llc Unified interfaces for paired user computing devices
US11057702B1 (en) * 2019-12-20 2021-07-06 Microsoft Technology Licensing, Llc Method and system for reducing audio feedback
CN112312058B (zh) * 2020-03-22 2023-06-27 北京字节跳动网络技术有限公司 交互方法、装置和电子设备
CN111596985B (zh) * 2020-04-24 2023-03-14 腾讯科技（深圳）有限公司 多媒体会议场景下的界面显示方法、装置、终端及介质
CN112311754B (zh) * 2020-06-02 2022-09-30 北京字节跳动网络技术有限公司 交互方法、装置和电子设备
US20220086212A1 (en) * 2020-09-15 2022-03-17 Carrier Corporation Digital Data Processing
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
US11769115B1 (en) 2020-11-23 2023-09-26 Asana, Inc. Systems and methods to provide measures of user workload when generating units of work based on chat sessions between users of a collaboration environment
WO2022140557A1 (en) * 2020-12-22 2022-06-30 Dolby Laboratories Licensing Corporation Acoustic feedback reduction in co-located audioconferencing devices
US11843647B2 (en) * 2021-04-30 2023-12-12 Zoom Video Communications, Inc. Control of dedicated meeting room devices for video communications
US20220360949A1 (en) * 2021-05-05 2022-11-10 Lightspeed Technologies, Inc. Registration and mode switching for devices in a distributed audio system
US11893214B2 (en) 2021-05-15 2024-02-06 Apple Inc. Real-time communication user interface
US11907605B2 (en) * 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
US11449188B1 (en) 2021-05-15 2022-09-20 Apple Inc. Shared-content session user interfaces
US11847378B2 (en) 2021-06-06 2023-12-19 Apple Inc. User interfaces for audio routing
US20230064462A1 (en) * 2021-08-24 2023-03-02 International Business Machines Corporation Cognitive core network selection for conference calling
GB2612015A (en) * 2021-09-06 2023-04-26 Laduma Ltd System and method for interactive meeting with both in-room attendees and remote attendees
US11677906B2 (en) * 2021-09-10 2023-06-13 Zoom Video Communications, Inc. Secondary mode device software access for primary mode device users
US11770600B2 (en) 2021-09-24 2023-09-26 Apple Inc. Wide angle video conference
CN113872778B (zh) * 2021-10-15 2023-07-14 北京百度网讯科技有限公司 一种设备连接方法、装置、设备以及存储介质
US11775606B2 (en) * 2021-10-29 2023-10-03 Weld North Education LLC Inter-browser presentation control
US20230199041A1 (en) * 2021-12-21 2023-06-22 Nevolane Business Gmbh Remote collaboration platform
WO2023196231A1 (en) * 2022-04-04 2023-10-12 Apple Inc. User interfaces for camera sharing
CN115242566B (zh) * 2022-06-28 2023-09-05 深圳乐播科技有限公司 一种云会议加入方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103053150A (zh) * 2010-07-26 2013-04-17 思科技术公司 用于转移协作会话的方法
CN104685864A (zh) * 2012-06-25 2015-06-03 英特尔公司 在多个装置之间的视频会议转换
CN105264883A (zh) * 2013-05-20 2016-01-20 思杰系统有限公司 响应于声音加入电子会议
CN105474653A (zh) * 2013-06-18 2016-04-06 微软技术许可有限责任公司 未配对设备
CN105704426A (zh) * 2016-03-17 2016-06-22 华为技术有限公司 一种进行视频会议的方法、装置和系统
US9445054B2 (en) * 2011-09-16 2016-09-13 Ricoh Company, Ltd. Information providing apparatus, transmission system, information providing method, and recording medium storing information providing program

Family Cites Families (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2277458T3 (es) 1998-11-24 2007-07-01 Telefonaktiebolaget Lm Ericsson (Publ) Inicio automatico de sesion en un pc desde un telefono movil.
FI110560B (fi) * 2000-12-27 2003-02-14 Nokia Corp Ryhmän muodostaminen langattomille kommunikaatiopäätelaitteille
US8934382B2 (en) * 2001-05-10 2015-01-13 Polycom, Inc. Conference endpoint controlling functions of a remote device
US20030048174A1 (en) 2001-09-11 2003-03-13 Alcatel, Societe Anonyme Electronic device capable of wirelessly transmitting a password that can be used to unlock/lock a password protected electronic device
US7191233B2 (en) 2001-09-17 2007-03-13 Telecommunication Systems, Inc. System for automated, mid-session, user-directed, device-to-device session transfer system
US8081205B2 (en) 2003-10-08 2011-12-20 Cisco Technology, Inc. Dynamically switched and static multiple video streams for a multimedia conference
US7279060B2 (en) 2004-05-04 2007-10-09 Eastman Kodak Company Guarded cover film for LCD polarizers
US7450084B2 (en) 2004-12-17 2008-11-11 Microsoft Corporation System and method for managing computer monitor configurations
US7554571B1 (en) 2005-03-18 2009-06-30 Avaya Inc. Dynamic layout of participants in a multi-party video conference
US20060224882A1 (en) 2005-03-31 2006-10-05 Microsoft Corporation Method and system for unlocking a computing device
WO2007041834A1 (en) 2005-10-07 2007-04-19 Memory Experts International Inc. Method and apparatus for secure credential entry without physical entry
US7394366B2 (en) 2005-11-15 2008-07-01 Mitel Networks Corporation Method of detecting audio/video devices within a room
US20070300165A1 (en) 2006-06-26 2007-12-27 Microsoft Corporation, Corporation In The State Of Washington User interface for sub-conferencing
US8139752B2 (en) 2006-07-28 2012-03-20 Ubiquity Software Corporation Limited Voice conference control from an instant messaging session using an automated agent
US8503651B2 (en) * 2006-12-27 2013-08-06 Nokia Corporation Teleconferencing configuration based on proximity information
US7973857B2 (en) 2006-12-27 2011-07-05 Nokia Corporation Teleconference group formation using context information
US8677270B2 (en) 2007-05-04 2014-03-18 Microsoft Corporation Live companion user interface
US20080281971A1 (en) * 2007-05-07 2008-11-13 Nokia Corporation Network multimedia communication using multiple devices
US8446454B2 (en) 2007-05-21 2013-05-21 Polycom, Inc. Dynamic adaption of a continuous presence videoconferencing layout based on video content
KR20100007625A (ko) 2008-07-14 2010-01-22 엘지전자 주식회사 이동 단말기 및 그 메뉴 표시 방법
US8350891B2 (en) 2009-11-16 2013-01-08 Lifesize Communications, Inc. Determining a videoconference layout based on numbers of participants
US20110119389A1 (en) 2009-11-19 2011-05-19 Microsoft Corporation Transferring multiple communication modalities during a conversation
US20110271207A1 (en) * 2010-04-30 2011-11-03 American Teleconferencing Services Ltd. Location-Aware Conferencing
AU2011258272B2 (en) 2010-05-25 2015-03-26 Vidyo, Inc. Systems and methods for scalable video communication using multiple cameras and multiple monitors
US8379077B2 (en) 2010-11-24 2013-02-19 Cisco Technology, Inc. Automatic layout and speaker selection in a continuous presence video conference
US8647202B2 (en) 2010-12-16 2014-02-11 Microsoft Corporation Companion object customization
US20120182384A1 (en) 2011-01-17 2012-07-19 Anderson Eric C System and method for interactive video conferencing
CN102625304B (zh) 2011-01-27 2016-01-20 腾讯科技（深圳）有限公司 失效移动终端关联应用记住密码的系统、装置及方法
US20120280789A1 (en) 2011-05-02 2012-11-08 Apigy Inc. Systems and methods for controlling a locking mechanism using a portable electronic device
US8918722B2 (en) 2011-05-06 2014-12-23 David H. Sitrick System and methodology for collaboration in groups with split screen displays
US9369673B2 (en) 2011-05-11 2016-06-14 Blue Jeans Network Methods and systems for using a mobile device to join a video conference endpoint into a video conference
US9565708B2 (en) 2011-05-20 2017-02-07 Microsoft Technology Licensing, Llc Auto-connect in a peer-to-peer network
US20160342784A1 (en) 2011-07-15 2016-11-24 Vmware, Inc. Mobile device authentication
US9800688B2 (en) 2011-09-12 2017-10-24 Microsoft Technology Licensing, Llc Platform-enabled proximity service
US9021557B2 (en) 2011-10-27 2015-04-28 Stmicroelectronics Pte Ltd System and method for security using a sibling smart card
US8896651B2 (en) 2011-10-27 2014-11-25 Polycom, Inc. Portable devices as videoconferencing peripherals
US9131333B2 (en) 2011-12-30 2015-09-08 Linkedin Corporation Systems and methods for mobile device pairing
US20130219288A1 (en) 2012-02-20 2013-08-22 Jonathan Rosenberg Transferring of Communication Event
US8786517B2 (en) 2012-02-21 2014-07-22 Blackberry Limited System and method for displaying a user interface across multiple electronic devices
US20130219303A1 (en) 2012-02-21 2013-08-22 Research In Motion Tat Ab Method, apparatus, and system for providing a shared user interface
US20140006495A1 (en) 2012-06-29 2014-01-02 International Business Machines Corporation Authorizing access to a web conference for a specified duration of time
US20140026070A1 (en) 2012-07-17 2014-01-23 Microsoft Corporation Dynamic focus for conversation visualization environments
US20140028726A1 (en) 2012-07-30 2014-01-30 Nvidia Corporation Wireless data transfer based spanning, extending and/or cloning of display data across a plurality of computing devices
US10061829B2 (en) * 2012-08-10 2018-08-28 Nec Corporation Method and system for providing content for user devices
US9026053B2 (en) 2013-02-17 2015-05-05 Fitbit, Inc. System and method for wireless device pairing
US9369672B2 (en) 2013-03-14 2016-06-14 Polycom, Inc. Intelligent layouts for call scaling and layout persistence
US9998969B2 (en) 2013-03-15 2018-06-12 Facebook, Inc. Portable platform for networked computing
US9400895B2 (en) 2013-03-15 2016-07-26 Intel Corporation Mechanisms for locking computing devices
US20140315489A1 (en) 2013-04-22 2014-10-23 Htc Corporation Method for performing wireless display sharing, and associated apparatus and associated computer program product
US10243786B2 (en) 2013-05-20 2019-03-26 Citrix Systems, Inc. Proximity and context aware mobile workspaces in enterprise systems
CN104469256B (zh) 2013-09-22 2019-04-23 思科技术公司 沉浸式和交互式的视频会议房间环境
US9088694B2 (en) 2013-10-03 2015-07-21 Avaya, Inc. Adjusting video layout
GB201319687D0 (en) 2013-11-07 2013-12-25 Microsoft Corp Call handling
US9391982B1 (en) 2014-02-27 2016-07-12 Cullen/Frost Bankers, Inc. Network authentication of multiple profile accesses from a single remote device
US20150271273A1 (en) 2014-03-18 2015-09-24 CafeX Communications Inc. System for Using a Device as a Side Car
US10055567B2 (en) 2014-05-30 2018-08-21 Apple Inc. Proximity unlock and lock operations for electronic devices
WO2015187941A1 (en) 2014-06-05 2015-12-10 Reel, Inc. Apparatus and method for sharing content items among a plurality of mobile devices
US9485414B2 (en) 2014-06-20 2016-11-01 John Visosky Eye contact enabling device for video conferencing
US9602771B2 (en) 2014-12-10 2017-03-21 Polycom, Inc. Automated layouts optimized for multi-screen and multi-camera videoconferencing calls
US9438643B2 (en) * 2015-01-15 2016-09-06 Cisco Technology, Inc. Multi-device conference participation
US10440757B2 (en) 2015-02-17 2019-10-08 Google Llc Second-screen control automatic pairing using push notifications
US10701120B2 (en) 2015-03-06 2020-06-30 Disney Enterprises, Inc. Proximity based entitlement sharing
US9819902B2 (en) 2015-03-19 2017-11-14 Microsoft Technology Licensing, Llc Proximate resource pooling in video/audio telecommunications
US9848075B1 (en) 2015-05-14 2017-12-19 Invoy Technologies, Llc Communication system for pairing user devices with medical devices
US9913079B2 (en) 2015-06-05 2018-03-06 Apple Inc. Cloud-based proximity pairing and switching for peer-to-peer devices
US9801219B2 (en) 2015-06-15 2017-10-24 Microsoft Technology Licensing, Llc Pairing of nearby devices using a synchronized cue signal
US11106417B2 (en) 2015-06-23 2021-08-31 Airwatch, Llc Collaboration systems with managed screen sharing
US9602956B1 (en) 2015-08-25 2017-03-21 Yahoo! Inc. System and method for device positioning with bluetooth low energy distributions
US10031577B2 (en) 2015-10-05 2018-07-24 International Business Machines Corporation Gaze-aware control of multi-screen experience
US10244057B2 (en) 2015-10-09 2019-03-26 Adobe Systems Incorporated Techniques for associating and sharing data from multiple local devices
US10334076B2 (en) 2016-02-22 2019-06-25 Google Llc Device pairing in augmented/virtual reality environment
US10999331B1 (en) 2016-07-06 2021-05-04 Google Llc Reverse discovery and pairing of client devices to a media device
US20180267774A1 (en) 2017-03-16 2018-09-20 Cisco Technology, Inc. Conference assistant device with configurable user interfaces based on operational state
US10838681B2 (en) 2017-04-05 2020-11-17 Panasonic Avionics Corporation Screen mirroring from personal electronic devices to transportation vehicle display screens
JP7361703B2 (ja) 2018-03-02 2023-10-16 日東電工株式会社 デバイスペアリングシステムおよび方法、ならびにデバイス通信制御システムおよび方法
KR20230017925A (ko) 2018-04-02 2023-02-06 구글 엘엘씨 대화형 클라우드 게임용 방법, 디바이스 및 시스템
US10824384B2 (en) 2018-04-30 2020-11-03 Dell Products L.P. Controller for providing sharing between visual devices
DK180130B1 (da) 2018-05-07 2020-06-02 Apple Inc. Multi-participant live communication user interface
US11095659B2 (en) 2018-05-30 2021-08-17 Cisco Technology, Inc. Personalized services based on confirmed proximity of user
US10841174B1 (en) 2018-08-06 2020-11-17 Apple Inc. Electronic device with intuitive control interface
US20210004454A1 (en) 2019-07-07 2021-01-07 Apple Inc. Proof of affinity to a secure event for frictionless credential management
US11546391B2 (en) 2019-11-01 2023-01-03 Microsoft Technology Licensing, Llc Teleconferencing interfaces and controls for paired user computing devices
US11256392B2 (en) 2019-11-01 2022-02-22 Microsoft Technology Licensing, Llc Unified interfaces for paired user computing devices
US11304246B2 (en) 2019-11-01 2022-04-12 Microsoft Technology Licensing, Llc Proximity-based pairing and operation of user-specific companion devices

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103053150A (zh) * 2010-07-26 2013-04-17 思科技术公司 用于转移协作会话的方法
US9445054B2 (en) * 2011-09-16 2016-09-13 Ricoh Company, Ltd. Information providing apparatus, transmission system, information providing method, and recording medium storing information providing program
CN104685864A (zh) * 2012-06-25 2015-06-03 英特尔公司 在多个装置之间的视频会议转换
CN105264883A (zh) * 2013-05-20 2016-01-20 思杰系统有限公司 响应于声音加入电子会议
CN105474653A (zh) * 2013-06-18 2016-04-06 微软技术许可有限责任公司 未配对设备
CN105704426A (zh) * 2016-03-17 2016-06-22 华为技术有限公司 一种进行视频会议的方法、装置和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
三网融合下的新业务发展趋势;杨玉佳;《电信科学》;20110331;第17-21页 *

Also Published As

Publication number Publication date
US11310294B2 (en) 2022-04-19
US20180124128A1 (en) 2018-05-03
CN109923859A (zh) 2019-06-21
US20180124136A1 (en) 2018-05-03
EP3533222A1 (en) 2019-09-04
WO2018081030A1 (en) 2018-05-03
WO2018081029A1 (en) 2018-05-03
CN109891878A (zh) 2019-06-14
EP3533221A1 (en) 2019-09-04
US11212326B2 (en) 2021-12-28

Similar Documents

Publication Publication Date Title
CN109923859B (zh) 在远程会议会话中进行实时协作的伴随设备
US10863136B2 (en) Switch view functions for teleconference sessions
CN109891827B (zh) 电信会话的综合多任务接口
US10863227B2 (en) Event conditioned views for communication sessions
US10334208B2 (en) Technologies for following participants in a video conference
US10509964B2 (en) Toggle view functions for teleconferencing sessions
US20180124359A1 (en) Phased experiences for telecommunication sessions
EP3881170B1 (en) Interactive viewing system
US20180232920A1 (en) Contextually aware location selections for teleconference monitor views
US20180295158A1 (en) Displaying group expressions for teleconference sessions
US9924136B1 (en) Coordinated display transitions of people and content
US11785194B2 (en) Contextually-aware control of a user interface displaying a video and related user text
EP3262581A1 (en) Opening new application window in response to remote resource sharing
US10942633B2 (en) Interactive viewing and editing system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant