CN109891878A - 加入远程会议会话的增强型技术 - Google Patents

加入远程会议会话的增强型技术 Download PDF

Info

Publication number
CN109891878A
CN109891878A CN201780067327.2A CN201780067327A CN109891878A CN 109891878 A CN109891878 A CN 109891878A CN 201780067327 A CN201780067327 A CN 201780067327A CN 109891878 A CN109891878 A CN 109891878A
Authority
CN
China
Prior art keywords
equipment
teleconference
data
calculating
auxiliary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201780067327.2A
Other languages
English (en)
Inventor
J·T·福尔克纳
K·欧哈拉
E·D·坎努托蒂伊尔
E·R·塞克索尔
E·S·劳埃德林特尔
T·斯科特
K·莫里森
R·克里什
A·维泽尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN109891878A publication Critical patent/CN109891878A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1083In-session procedures
    • H04L65/1093In-session procedures by adding participants; by removing participants
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/401Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
    • H04L65/4015Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/2866Architectures; Arrangements
    • H04L67/30Profiles
    • H04L67/303Terminal profiles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/52Network services specially adapted for the location of the user terminal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/75Indicating network or usage conditions on the user display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/42229Personal communication services, i.e. services related to one subscriber independent of his terminal and/or location
    • H04M3/42263Personal communication services, i.e. services related to one subscriber independent of his terminal and/or location where the same subscriber uses different terminals, i.e. nomadism
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/56Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M7/00Arrangements for interconnection between switching centres
    • H04M7/0024Services and arrangements where telephone services are combined with data services
    • H04M7/0027Collaboration services where a computer is used for data transfer and the telephone is used for telephonic communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/2866Architectures; Arrangements
    • H04L67/30Profiles
    • H04L67/306User profiles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2203/00Aspects of automatic or semi-automatic exchanges
    • H04M2203/20Aspects of automatic or semi-automatic exchanges related to features of supplementary services
    • H04M2203/2094Proximity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/56Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/563User guidance or feature selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/56Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/563User guidance or feature selection
    • H04M3/564User guidance or feature selection whereby the feature is a sub-conference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145Handheld terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Telephonic Communication Services (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

本公开提供了用于在加入远程会议会话时增强用户体验的多种技术。当多个用户使用单独的设备加入远程会议会话时,系统识别共址的设备。通过使用数据的组合来识别共址设备,所述数据包括但不限于社交信号、音频信号和其他位置数据。共址设备中的至少一个设备具有用于控制远程会议会话的第一控制集,并且共址设备的其他设备具有用于共享内容的第二控制集。该至少一个设备还具有一组流,并且其他设备观看基于活动水平的那些流的子集或其他流。另外,本公开提供了用于使用户能够使用多个设备来共享内容的多种技术。

Description

加入远程会议会话的增强型技术
背景技术
通信和协作是人们生活中的关键方面,包括社交和商业二者。已经开发了通信和协作工具,旨在将人们联系起来以分享经验。在许多情况下,这些工具的目的是通过网络提供反映个人与群体之间的真实生活互动的体验。交互通常由音频和/或视觉元素提供。
这些工具包括即时消息传递、语音呼叫、视频呼叫、群组聊天、共享桌面、共享媒体和内容、共享应用等。这些工具可以执行对音频和视觉元素的捕获、操纵、传输和再现,以及使用这些元素的各种组合以尝试提供协作环境。用户可以在用户设备上访问这些工具,所述用户设备可以由膝上型或台式计算机、移动电话、平板计算机、游戏控制台等提供。这些设备可以在各种可能的网络架构中链接,例如对等架构或客户端-服务器架构或混合体,例如集中管理的对等架构。通常,这些架构中的一些或全部可以促进远程会议会话以尝试实现与面对面协作会议有些类似的丰富的通信和协作。
然而,当用户加入远程会议会话时,一些当前技术可能会有很多不足之处。例如,当多个用户加入远程会议会话时,各个设备功能可能导致用户遇到内容重复。在一些情况下,虽然许多用户在相同房间,但他们的每个设备都示出相同的共享内容。这种重复不是资源的最佳利用。另外,如果用户尝试加入与相同房间中的其他用户的远程会议会话,则设备可能会导致音频反馈问题,这可能会扰乱会议。
因此,需要解决这些问题和其他问题的改进的远程会议技术。
发明内容
本公开提供了用于在加入远程会议会话时增强用户体验的多种技术。当多个用户使用单独的设备加入远程会议会话时,系统识别共址的设备。通过使用数据的组合来识别共址设备,所述数据包括但不限于社交信号、音频信号和用于指示位置的其他数据。共址设备中的至少一个设备具有用于控制远程会议会话的第一控制集,并且共址设备中的其他设备具有用于共享内容的第二控制集。在一些实施例中,至少一个设备还具有一组选择的流,例如,舞台视图,并且其他设备观看基于活动水平的那些流的子集或其他流。另外,本公开提供了用于使用户能够使用多个设备来共享内容的多种技术。
在一些配置中,远程会议系统可以从多个计算设备接收控制数据。控制数据可以指示与计算设备和/或相关联用户的位置和状态有关的信息。另外,多个计算设备中的每个计算设备可以与用于访问远程会议会话的不同用户身份相关联。因此,所接收的控制数据还可以指示相关联的用户身份。
远程会议系统还可以基于社交信号、音频信号或定位数据中的至少一项或其组合来从多个计算设备确定计算设备子集。根据一些方面,社交信号、音频信号和/或定位数据可以是所接收的控制数据的一部分。根据其他方面,取决于远程会议会话的状态或其他配置,社交信号、音频信号和/或定位数据可以是单独接收的数据。简而言之,社交信号可以包括社交网络信号、日历信号、联系人列表信号和联系人关系信号。定位数据可以基于定位设备,例如GPS设备或其他设备,并且音频信号可以基于检测到的干扰的水平。与使用单个信号资源相比,这些信号的组合可以在确定共址设备方面提供更高水平的准确性。
远程会议系统还可以从计算设备子集确定主计算设备,并且从计算设备子集确定一个或多个辅计算设备。通常,主计算设备可以是被布置为锚定远程会议会话的沉浸式体验的计算设备。一个或多个辅计算设备可以在布置上类似于主计算设备,或者可以是不同形式的计算设备。通常,辅计算设备可以是这样的计算设备,其被布置为呈现远程会议数据的简化、轻量或其他方式的精简部分,同时避免分心、干扰和可能扰乱远程会议会话的其他元素。
远程会议系统可以将第一远程会议数据传送给主计算设备。第一远程会议数据可以使主计算设备显示具有核心远程会议控制元件的第一用户界面布置。例如,核心远程会议控制元件可以被配置为控制远程会议会话的状态。
远程会议系统还可以将第二远程会议数据传送给一个或多个辅计算设备。第二远程会议数据可以使一个或多个辅计算设备显示具有共享控制元件的第二用户界面布置。例如,共享控制元件可以被配置为从一个或多个辅计算设备接收对要共享的内容的选择。
根据另一方面,远程会议系统可以接收用于指示多个计算设备的位置的数据。这些计算设备可以与期望加入一个或多个远程会议会话的多个用户相关联。例如,计算设备的群组或子集可以尝试加入单个远程会议会话。另外,在一个示例中,用于指示多个计算设备的位置的数据可以至少部分地指示计算设备的一般位置。
在一个说明性示例中,用于指示多个计算设备的位置的数据包括社交信号、音频信号或定位数据。因此,指示多个计算设备的位置的数据可以包括以下各项中的至少一项:定义GPS位置的数据、定义蓝牙信号强度的数据、定义Wi-Fi三角测量的数据、定义超声水印的数据或定义近场通信信号的特性的数据。另外,社交信号可以包括社交网络信号、日历信号、联系人列表信号和联系人关系信号。可以从各个用户设备检测或生成音频信号,以确定设备之间的干扰水平。检测干扰的设备可以用于确定设备之间的相对位置或距离。可以领会,信号(例如,社交信号、音频信号和定位数据)可以单独使用或组合使用。
使用所接收的数据,远程会议系统可以基于用于指示位置的数据来确定多个计算设备中的计算设备子集是共址的。在一个说明性示例中,远程会议系统可以解释数据并实现阈值算法以识别彼此的阈值距离内的一个或多个计算设备群组。在确定了一个共址的群组的一部分正在尝试加入单个远程会议会话时,远程会议系统可以将该部分识别为共址的设备子集。
一旦确定了共址的子集,远程会议系统就可以从计算设备子集中选择主计算设备以在主操作模式下操作,并且从计算设备子集中选择一个或多个辅计算设备以在辅操作模式下操作。
在该选择之后,远程会议系统可以生成与远程会议会话相关联的远程会议数据。在一个说明性示例中,远程会议数据可以包括具有一个或多个参与者的视频的参与者流,以及具有文件、数据结构、文字处理文档和其他可共享内容的视频或图像的内容流。
在已经生成了远程会议数据之后,远程会议系统可以将远程会议数据的第一选择传送给主设备,并且将远程会议数据的第二选择(本文也称为“子部分”)传送给一个或多个辅设备。远程会议数据的第一选择可以包括多个流,其可以包括会话的主视图,“舞台视图”。远程会议数据的子部分可以具有基于活动水平或其他值确定的流。因此,虽然主设备可以是接收远程会议数据的第一选择的唯一设备,但是其余设备可以被配置为仅接收子部分。因此,通过高效地传送具有相关且在一些情况下重要的内容但非重复内容的远程会议数据的子部分,远程会议系统可以克服与传统远程会议系统相关的许多技术缺陷。
此外,在另外的说明性示例中,可以由远程会议系统建立两种或更多种操作模式。这些操作模式可以包括例如主操作模式和辅操作模式。因此,一旦设备进入远程会议会话,就可以显示不同类型的上下文用户界面以允许用户基于这些操作模式来访问和共享相关信息。例如,可以在主设备处显示具有核心远程会议控制元件的第一用户界面布置。核心远程会议控制元件可以被配置为控制远程会议会话的状态。另外,可以使用辅计算设备显示具有共享控制元件的第二用户界面布置,所述共享控制元件用于使得辅用户能够容易地选择要由设备共享的各种类型的媒体数据。不同用户界面布置、控制元件和操作模式的使用的组合允许用户以减少分心的方式加入远程会议会话,同时还允许用户选择和共享最相关的内容。
如下面将更详细描述的,使用本文描述的技术可以促进用于选择主设备和辅设备以及因此建立主操作模式和辅操作模式的若干方法。例如,可以基于尝试加入远程会议会话的设备的顺序来选择主设备。因此,可以选择尝试加入的第一设备作为主设备。在其他方面,远程会议系统可以分析与计算设备子集中的一个或多个计算设备相关联的优先级值,以确定计算设备子集中的第一计算设备具有取代计算设备子集的其余计算设备的优先级值的优先级值。在另一示例中,可以基于分配给各个设备的优先级值来选择主设备和辅设备。因此,可以选择更适合成为主设备的计算机,例如会议室计算机,作为主设备,而不是用户的移动设备。
如下面将更详细描述的,除了建立主设备、辅设备以及主操作模式和辅操作模式之外,远程会议系统还可以操纵包括主设备和辅设备的设备子集的组件,以增强远程会议并限制扰乱。例如,远程会议系统可以远程禁用计算设备子集中的其余计算设备中的一个或多个计算设备的相机。另外,远程会议系统可以远程禁用计算设备子集中的其余计算设备中的一个或多个设备的音频组件。对这些组件的其他操纵也是可能的,例如,通过选择性激活以允许某些参与者“走上舞台”或共享内容,以基于活动水平来提升视图,还有其他替代方案。
如下面将更详细描述的,本文描述的与远程会议系统有关的技术可以以多种方式组合,以使用户能够参与各种场景同时仍然丰富远程会议,所述场景包括一个或多个用户共址、远程定位和以其他方式定位的场景。
提供本发明内容是为了以简化的形式介绍对在下面的具体实施方式中进一步描述的构思的选择。本发明内容不旨在标识所要求保护的主题的关键或必要特征,也不旨在用于帮助确定所要求保护的主题的范围。例如,术语“技术”可以指代以上所描述的上下文和整个文档所允许的系统、方法、计算机可读指令、模块、算法、硬件逻辑和/或操作。
附图说明
参考附图描述了详细描述。在附图中,附图标记的最左边的数字标识首次出现附图标记的图。不同图中的相同附图标记表示相似或相同的项目。
图1是示出其中系统可以操作以提供用于加入远程会议会话的增强型技术的示例环境的图。
图2是示出被配置为提供用于加入远程会议会话的增强型技术的示例计算设备的组件的图。
图3A示出了其中计算设备可以用于实现本文公开的技术的若干示例场景。
图3B示出了来自其中计算设备可以用于实现本文公开的技术的场景的若干示例屏幕截图。
图4A示出了主计算设备的示例用户界面,其包括提供远程会议会话的舞台的主部分。
图4B示出了主计算设备的示例用户界面,其包括用于提供对各种类型的媒体的访问的若干可选元件。
图4C示出了包括可选元件的示例用户界面,所述可选元件是从图4B中所示的显示扩展的。
图5A示出了辅计算设备的示例用户界面。
图5B示出了辅计算设备的示例用户界面。
图6A示出了以辅操作模式操作的计算设备的示例用户界面布置。
图6B示出了以辅操作模式操作的计算设备的示例用户界面布置。
图6C示出了以辅操作模式操作的计算设备的示例用户界面布置。
图6D示出了具有核心远程会议控制元件的计算设备的示例用户界面布置。
图6E示出了具有核心远程会议控制元件的示例用户界面布置。
图7A示出了使用辅计算设备的流动相机视图的具有共享内容的示例用户界面布置。
图7B示出了使用主计算设备的流动相机视图的具有共享内容的示例用户界面布置。
图7C示出了使用辅计算设备的流动相机视图的具有共享内容的示例用户界面布置。
图7D示出了使用辅计算设备的流动相机视图的具有共享内容的示例用户界面布置。
图8是用于加入远程会议会话的增强型技术的示例方法的流程图,其中,该方法包括向主设备和辅设备提供不同的控制接口。
图9是用于加入远程会议会话的增强型技术的示例方法的流程图,其中,该方法包括对到主设备和辅设备的一个或多个流进行控制。
具体实施方式
本公开提供了用于在加入远程会议会话时增强用户体验的多种技术。远程会议系统可以接收控制数据和/或用于指示多个计算设备的位置的数据。这些计算设备可以与期望加入一个或多个远程会议会话的多个用户相关联。例如,计算设备的群组或子集可以尝试加入单个远程会议会话。另外,在一个示例中,指示多个计算设备的位置的数据可以至少部分地指示计算设备的一般位置。此外,多个计算设备中的每个计算设备可以与用于访问远程会议会话的不同用户身份相关联。
在一个说明性示例中,用于指示多个计算设备的位置的数据包括以下各项中的一项或多项:社交信号、音频信号或定位数据。因此,指示多个计算设备的位置的数据可以包括以下各项中的至少一项:定义GPS位置的数据、定义蓝牙信号强度的数据、定义Wi-Fi三角测量的数据、定义超声水印的数据或定义近场通信信号特性的数据。另外,社交信号可以包括社交网络信号、日历信号、联系人列表信号和联系人关系信号。
使用所接收的数据,远程会议系统可以基于用于指示位置的数据来确定多个计算设备中的共址的计算设备子集。在一个说明性示例中,远程会议系统可以解释数据并实现阈值算法以识别彼此的阈值距离内的一个或多个计算设备群组。在确定了共址计算设备正在尝试加入单个远程会议会话时,远程会议系统可以分析与用户身份相关联的优先级值、与计算设备相关联的优先级值和/或其他属性以确定使计算设备加入远程会议会话的方式。
例如,一旦确定了共址的计算设备子集,远程会议系统就可以确定或选择计算设备子集中的主计算设备。通常,主计算设备可以用于锚定计算设备子集的沉浸式体验并限制由传统远程会议系统引起的扰乱。远程会议系统还可以从计算设备子集确定或选择一个或多个辅计算设备。
在该确定之后,远程会议系统可以生成并传送与远程会议会话相关联的远程会议数据。在一个说明性示例中,远程会议数据可以包括具有一个或多个参与者的视频的参与者流,以及具有文件、数据结构、文字处理文档和其他可共享内容的视频或图像的内容流。
在已经生成了远程会议数据之后,远程会议系统可以将远程会议数据传送给主计算设备,并且将远程会议数据的子部分(例如,基于相关联的活动水平选择流)传送给一个或多个辅计算设备。根据另一方面,远程会议系统可以将第一远程会议数据传送给主设备,并且可以将第二远程会议数据传送给一个或多个辅计算设备。
通常,第一远程会议数据和第二远程会议数据可以不同地布置。因此,虽然主设备是接收远程会议数据的第一选择的唯一设备,但是其余设备接收子部分或第二远程会议数据。因此,通过高效地为不同计算设备生成具有相关但非重复内容的远程会议数据,该说明性示例的远程会议系统可以克服与传统远程会议系统相关联的许多技术缺陷。
此外,在另外的说明性示例中,可以由远程会议系统建立两种或更多种操作模式。这些操作模式可以包括例如主操作模式和辅操作模式。因此,一旦设备进入远程会议会话,就可以显示不同类型的上下文用户界面,以使用户能够基于这些操作模式访问和共享相关信息。不同控制菜单的组合和操作模式的使用使得用户能够以减少分心的方式加入远程会议会话,同时还允许用户选择和共享最相关的内容。
如下面将更详细描述的,可以使用本文描述的技术来促进用于选择主设备以及因此建立主操作模式和辅操作模式的若干方法。例如,可以基于尝试加入远程会议会话的设备的顺序来选择主设备。因此,可以选择尝试加入的第一设备作为主设备。在其他方面,远程会议系统可以分析与计算设备子集中的一个或多个计算设备相关联的优先级值,以确定计算设备子集中的第一计算设备具有取代计算设备子集中的其余计算设备的优先级值的优先级值。
如下面将更详细描述的,除了建立主设备以及主操作模式和辅操作模式之外,远程会议系统还可以操纵设备子集的组件以增强远程会议会话并限制扰乱。例如,远程会议系统可以远程禁用计算设备子集中的一个或多个计算设备的相机。另外,远程会议系统可以远程禁用计算设备子集的一个或多个计算设备的音频组件。对这些组件的其他操纵也是可能的,例如,通过选择性激活以允许某些参与者“走上舞台”或共享内容。
如下面将更详细描述的,本文描述的与远程会议系统相关的技术可以以多种方式组合,以使用户能够参与各种场景同时仍然丰富远程会议,所述场景包括一个或多个用户共址、远程定位和以其他方式定位的场景。下面参考图1-8描述各种示例、场景和方面。
在图1中,示出了说明根据示例实施方式的远程会议系统100的示例的图,其中系统102可以操作以提供远程会议会话104。在该示例中,远程会议会话104在多个客户端计算设备106(1)到106(N)之间(其中N是具有值二或更大值的正整数)。客户端计算设备106(1)到106(N)使用户能够参与远程会议会话104。在该示例中,远程会议会话104可以由系统102在一个或多个网络108上托管。也就是说,系统102可以提供使客户端计算设备106(1)到106(N)的用户能够参与远程会议会话104的服务。作为替代,远程会议会话104可以由使用对等技术的客户端计算设备106(1)到106(N)中的一者托管。
系统102包括设备110,并且设备110和/或系统102的其他组件可以包括经由一个或多个网络108彼此通信,与系统102通信和/或与客户端计算设备106(1)到106(N)通信的分布式计算设备。在一些示例中,系统102可以是负责管理一个或多个远程会议会话104的各方面的独立系统。作为示例,系统102可以由诸如GOOGLE 等的实体管理。
网络108可以包括,例如,诸如互联网之类的公共网络,诸如机构和/或个人内联网之类的专用网络,或者私有网络和公共网络的某种组合。网络108还可以包括任何类型的有线和/或无线网络,包括但不限于局域网(“LAN”)、广域网(“WAN”)、卫星网络、有线网络、Wi-Fi网络、WiMax网络、移动通信网络(例如,3G、4G等)或其任何组合。网络108可以使用通信协议,包括基于分组和/或基于数据报的协议,例如互联网协议(“IP”)、传输控制协议(“TCP”)、用户数据报协议(“UDP”)、或者其他类型的协议。此外,网络108还可以包括促进网络通信和/或形成网络硬件基础的多个设备,例如交换机、路由器、网关、接入点、防火墙、基站、中继器、骨干设备等等。
在一些示例中,网络108还可以包括实现到无线网络的连接的设备,例如无线接入点(“WAP”)。示例网络支持通过在各种电磁频率(例如,无线电频率)上发送和接收数据的WAP的连接,所述WAP包括支持电气和电子工程师协会(“IEEE”)802.11标准(例如,802.11g、802.11n等等)和其他标准的WAP。
在各种示例中,设备110可以包括在集群或其他群组配置中操作以共享资源、平衡负载、提高性能、提供故障转移支持或冗余或用于其他目的的一个或多个计算设备。例如,设备110可以属于各种类型的设备,例如传统的服务器类型设备、台式计算机类型设备和/或移动类型设备。因此,虽然示出为单个类型的设备——服务器类型的设备——但是设备110可以包括各种各样的设备类型,并且不限于特定类型的设备。设备110可以表示但不限于服务器计算机、台式计算机、网络服务器计算机、个人计算机、移动计算机、膝上型计算机、移动电话、平板计算机或任何其他种类的计算设备。
客户端计算设备(例如,客户端计算设备106(1)到106(N)之一)可以属于各种类型的设备,其可以与设备110相同或不同,例如传统的客户端类型设备、台式计算机类型设备、移动类型设备、专用类型设备、嵌入式设备和/或可穿戴型设备。因此,客户端计算设备可以包括但不限于台式计算机、游戏控制台和/或游戏设备、平板计算机、个人数据助理(“PDA”)、移动电话/平板计算机混合体、膝上型计算机、电信设备、计算机导航型客户端计算设备(例如,基于卫星的导航系统,包括全球定位系统(“GPS”)设备)、可穿戴设备、虚拟现实(“VR”)设备、增强现实(AR)设备、植入式计算设备、汽车计算机、支持网络的电视、瘦客户端、终端、物联网(“IoT”)设备、工作站、媒体播放器、个人视频记录器(“PVR”)、机顶盒、相机、用于包含在计算设备内的集成组件(例如,外围设备)、器具或任何其他种类的计算设备。在一些实施方式中,客户端计算设备包括输入/输出(“I/O”)接口,其实现与输入/输出设备的通信,所述输入/输出设备例如包括外围输入设备的用户输入设备(例如,游戏控制器、键盘、鼠标、笔、语音输入设备、触摸输入设备、手势输入设备等)和/或包括外围输出设备的输出设备(例如,显示器、打印机、音频扬声器、触觉输出设备等)。
各种类别和设备类型的客户端计算设备106(1)到106(N)可以表示具有例如经由总线116可操作地连接到计算机可读介质114的一个或多个处理单元112的任何类型的计算设备,在一些实例下,总线116可以包括以下各项中的一项或多项:系统总线、数据总线、地址总线、PCI总线、Mini-PCI总线以及任何种类的本地、外围和/或独立总线。客户端计算设备106还可以包括一个或多个定位组件119,用于生成定义设备106的位置的定位数据。该位置可以通过坐标系统、矢量系统或适合于标识设备106的位置的任何其他数据格式来定义。定位数据还可以定义设备106的相对位置,其可以包括两个计算设备106之间的距离或两个或更多个物体(例如,电话、扬声器、麦克风等)之间的距离。定位数据可以由定位组件119使用一种或多种合适的技术生成,这些技术可以包括但不限于GPS技术、蓝牙技术、Wi-Fi三角测量技术、超声水印技术、近场通信(NFC)技术和/或用于确定设备或物体的位置或相对位置的任何其他技术。
存储在计算机可读介质114上的可执行指令可以包括例如操作系统128、客户端模块130、简档模块132以及可由处理单元112加载和执行的其他模块、程序或应用。
客户端计算设备106(1)到106(N)还可以包括一个或多个接口134,以实现与诸如网络接口、相机、键盘、触摸屏和指点设备(鼠标)等其他输入设备148的通信。例如,接口134还能够通过网络108实现客户端计算设备106(1)到106(N)与其他联网设备(例如,设备110和/或系统102的设备)之间的通信。这样的网络接口134可以包括一个或多个网络接口控制器(NIC)(未示出)或其他类型的收发器设备,以通过网络发送和接收通信和/或数据。
在图1的示例环境100中,客户端计算设备106(1)到106(N)可以使用它们各自的客户端模块130来与彼此连接和/或与其他外部设备连接以便参与远程会议会话104。例如,第一用户可以使用客户端计算设备106(1)与另一客户端计算设备106(2)的第二用户通信。当执行客户端模块130时,用户可以共享数据,这可以使客户端计算设备106(1)连接到系统102和其他客户端计算设备106(2)到106(N)以通过网络108连接。
每个客户端计算设备106(1)到106(N)的客户端模块130可以包括检测用户输入并将控制信号传送给服务器模块136以请求所显示的远程会议会话104中的改变的逻辑单元。例如,图1中的第一客户端计算设备106(1)中的客户端模块130可以检测输入设备148处的用户输入。可以感测用户输入作为例如在触摸屏上显示的用户界面元素上的手指按压,或者作为由显示器150上的指针选择的用户界面元素上的鼠标点击。客户端模块130根据与所选择的用户界面元素相关联的功能来转化用户输入。在一些情况下,客户端模块130可以要求远程会议会话104执行功能。在这种情况下,客户端模块130将控制信号156(1)发送到服务器模块136以供远程会议会话104服务。
在一个示例功能中,客户端计算设备106(1)的用户可能希望促使从客户端计算设备106(1)的第一操作模式到第二操作模式的转变,用于远程会议会话104。用户可以点击用户显示器150上的所需用户界面元素。作为响应,客户端模块130将控制信号156(1)发送到服务器模块136。服务器模块136将响应于控制信号156(1),基于远程会议数据146(1)、指示一个或多个其他计算设备106的位置的数据以及其他合适的信息来执行期望的转变。
客户端计算设备106(1)到106(N)可以使用它们各自的简档模块132来生成参与者简档,并且将参与者简档提供给其他客户端计算设备和/或系统102的设备110。参与者简档可以包括参与者的身份(例如,姓名、用户身份、唯一标识符(“ID”)等)、参与者数据(例如,个人数据和位置数据)中的一个或多个,还可以被存储。参与者简档可以用于为远程会议会话104注册参与者并指示与用户身份和/或客户端计算设备相关联的优先级。
如图1所示,系统102的设备110包括服务器模块136、数据存储模块138和输出模块140。服务器模块136被配置为从各个客户端计算设备106(1)到106(N)接收流142(1)到142(M)(其中M是等于2或更大值的正整数)。在一些场景中,并非用于参与远程会议会话104的所有客户端计算设备106都提供流142的实例,因此,M(提交的实例的数量)可能不等于N(客户端计算设备的数量)。在一些其他场景中,一个或多个客户端计算设备106可能正在传送包括内容的另外的流或媒体数据传输,例如旨在远程会议会话104期间共享的文档或其他类似类型的媒体。
服务器模块136还被配置为接收、生成和传送会话数据144并将会话数据144存储在数据存储模块138中。服务器模块136还被配置为接收、解释和传送定位信号145并将定位信号145存储在数据存储模块138中。在各种示例中,服务器模块136可以选择将与客户端计算设备106(1)到106(N)共享的流142的各方面。服务器模块136可以对流142进行组合以生成定义远程会议会话104的各方面的远程会议数据146。远程会议数据146可以包括选择流142。远程会议数据146可以定义远程会议会话104的各方面,例如客户端计算设备106上的用户界面的用户界面布置、所显示的数据的类型以及服务器和客户端的其他功能。服务器模块136可以为各个客户端计算设备106(1)到106(N)配置远程会议数据146。远程会议数据146可以包括被引用为146(1)到146(N)的各个实例。此外,远程会议数据146可以包括用于与主计算设备通信的第一远程会议数据142(1),以及用于与一个或多个辅计算设备通信的第二远程会议数据142(2)到142(N)。输出模块140可以将远程会议数据实例146(1)到146(N)传送给客户端计算设备106(1)到106(N)。具体地,在该示例中,输出模块140分别将远程会议数据146(1)传送给客户端计算设备106(1),将远程会议数据146(2)传送给客户端计算设备106(2),将远程会议数据146(3)传送给客户端计算设备106(3),以及将远程会议数据146(N)传送给客户端计算设备106(N)。
远程会议数据实例146(1)至146(N)可以传送可以包括代表远程会议会话104中的每个参与者的贡献的视频的音频。还可以以对客户端计算设备106(1)至106(N)的每个参与者/用户的需求唯一的方式来配置每个远程会议数据实例146(1)至146(N)。每个客户端计算设备106(1)至106(N)可以与远程会议会话视图相关联。参考图2来描述使用远程会议会话视图来控制客户端计算设备106处的每个参与者的视图的示例。
在图2中,示出了系统框图,其示出了根据示例实施方式的被配置为在客户端计算设备(例如,客户端计算设备106(1)至106(N))之间提供远程会议会话104的示例设备200的组件。设备200可以用于示出客户端计算设备106之一的一些组件。另外,设备200可以表示设备100中的一个,其中设备200包括一个或多个处理单元202、计算机可读介质204和通信接口206。设备200的组件例如经由总线207可操作地连接,所述总线207可以包括以下各项中的一项或多项:系统总线、数据总线、地址总线、PCI总线、Mini-PCI总线以及任何种类的本地、外围设备和/或独立总线。
如本文所使用的,处理单元(例如,处理单元202和/或处理单元112)可以表示例如CPU类型处理单元、GPU类型处理单元、现场可编程门阵列(“FPGA”)、另一类数字信号处理器(“DSP”)或在一些实例中可以由CPU驱动的其他硬件逻辑组件。例如但不限于,可以使用的说明性类型的硬件逻辑组件包括专用集成电路(“ASIC”)、专用标准产品(“ASSP”)、片上系统(“SOC”)、复杂可编程逻辑器件(“CPLD”)等。
如本文所使用的,计算机可读介质(例如,计算机可读介质204和/或计算机可读介质114)可以存储可由处理单元执行的指令。计算机可读介质还可以存储可由外部处理单元(例如,由外部CPU、外部GPU)和/或可由外部加速器(例如,FPGA类型加速器、DSP类型加速器或任何其他内部或外部加速器)执行的指令。在各种示例中,至少一个CPU、GPU和/或加速器并入计算设备中,而在一些示例中,CPU、GPU和/或加速器中的一项或多项在计算设备外部。
计算机可读介质可以包括计算机存储介质和/或通信介质。计算机存储介质可以包括以下各项中的一项或多项:易失性存储器、非易失性存储器和/或以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据之类的信息的任何方法或技术实现的其他持久性和/或辅助计算机存储介质、可移动和不可移动计算机存储介质。因此,计算机存储介质包括设备和/或硬件组件中包括的有形和/或物理形式的介质,该设备和/或硬件组件是设备的一部分或在设备外部,所述设备包括但不限于随机存取存储器(“RAM”)、静态随机存取存储器(“SRAM”)、动态随机存取存储器(“DRAM”)、相变存储器(“PCM”)、只读存储器(“ROM”)、可擦除可编程只读存储器(“EPROM”)、电可擦除可编程只读存储器(“EEPROM”)、闪存、光盘只读存储器(“CD-ROM”)、数字通用光盘(“DVD”)、光卡或其他光存储介质、磁带盒、磁带、磁盘存储器、磁卡或其他磁存储设备或介质、固态存储器设备、存储阵列、网络附加存储设备、存储区域网络、托管计算机存储或任何其他存储存储器、存储设备和/或可以用于存储和维护信息以供计算设备访问的存储介质。
与计算机存储介质相反,通信介质可以体现计算机可读指令、数据结构、程序模块或调制数据信号中的其他数据,例如载波或其他传输机制。如本文所定义的,计算机存储介质不包括通信介质。也就是说,计算机存储介质本身不包括仅由调制数据信号、载波或传播信号组成的通信介质。
通信接口206可以表示例如网络接口控制器(“NIC”)或其他类型的收发器设备,以通过网络发送和接收通信。
在所示示例中,计算机可读介质204包括数据存储模块138。在一些示例中,数据存储模块138包括数据存储单元,例如数据库、数据仓库或其他类型的结构化或非结构化数据存储单元。在一些示例中,数据存储模块138包括具有一个或多个表、索引、存储过程等的语料库和/或关系数据库,以例如实现包括以下各项中的一项或多项的数据访问:超文本标记语言(“HTML”)表、资源描述框架(“RDF”)表、web本体语言(“OWL”)表和/或可扩展标记语言(“XML”)表。
数据存储模块138可以存储用于存储在计算机可读介质204中和/或由处理单元202和/或加速器执行的过程、应用、组件和/或模块的操作的数据。例如,在一些示例中,数据存储模块138可以存储会话数据144、简档数据210和/或其他数据。会话数据208可以包括远程会议会话104中的用户的总数,以及在远程会议会话104中发生的活动(例如,参与者的行为、活动),和/或与进行或托管远程会议会话104的时间和方式相关的其他数据。简档数据210的示例包括但不限于用户身份(“ID”)、优先级值和其他数据。
在示例实施方式中,数据存储模块138存储与每个用户在该用户的客户端计算设备106的显示器上体验的视图相关的数据。如图2所示,数据存储模块138可以包括远程会议会话模式250(1)到250(N),其与参与远程会议会话104的每个客户端计算设备106(1)到106(N)的操作模式相对应。远程会议会话模式250在本文也可以称为“操作模式”。使用远程会议会话模式250,远程会议系统102可以支持对远程会议会话104期间每个用户体验的视图和模式的单独控制。例如,如下面更详细描述的,系统102允许用户利用该用户的以若干操作模式之一操作的客户端计算设备106进行参与,如下文将描述的。
操作模式可以包括例如主操作模式和辅操作模式。包括三级和辅助模式的其他操作模式也可以是可适用的。一旦计算设备106进入远程会议会话104,就可以在显示器150上显示不同类型的上下文用户界面,以使用户能够基于这些操作模式访问和共享相关信息。例如,可以显示辅控制菜单,以使辅用户能够容易地选择要由计算设备共享的各种类型的媒体数据。此外,可以显示主控制菜单以便能够控制远程会议会话104的状态。控制菜单的组合和操作模式的使用允许用户以减少分心的方式加入远程会议会话104,同时还允许用户选择和分享最相关的内容。通常,远程会议系统102可以选择主设备以在主操作模式下操作。另外,远程会议系统102可以选择一个或多个辅设备以在辅操作模式下操作。
可以使用本文描述的技术来促进用于选择主设备以及因此建立主操作模式和辅操作模式的若干方法。例如,可以基于尝试加入远程会议会话104的设备的顺序来选择主设备。因此,可以选择尝试加入的第一设备作为主设备。在其他方面,远程会议系统102可以分析与一个或多个计算设备相关联的优先级值,以确定第一计算设备具有取代与远程会议会话104相关联的其余计算设备的优先级值的优先级值。
除了建立主设备以及主操作模式和辅操作模式之外,远程会议系统102还可以操纵设备子集的组件以增强远程会议会话104并限制扰乱。例如,远程会议系统102可以远程禁用一个或多个客户端计算设备106的相机组件(例如,输入设备148)。另外,远程会议系统102可以远程禁用一个或多个客户端计算设备的音频组件(例如,输入设备148)。对这些组件的其他操纵也是可能的,例如,通过选择性激活以允许某些参与者“走上舞台”或共享内容。
如上所述,数据存储模块138可以存储简档数据210、流142、远程会议会话模式250、远程会议数据146、会话数据144和定位信号145。替代地,上述参考数据中的一些或全部可以被存储在一个或多个处理单元202上的单独存储器224上,例如CPU类型处理器、GPU类型处理器、FPGA类型加速器、DSP类型加速器和/或另一加速器上的存储器。在该示例中,计算机可读介质204还包括操作系统226和应用编程接口228,其被配置为将设备110(例如,示例设备200)的功能和数据暴露给与客户端计算设备106(1)到106(N)关联的外部设备。另外,计算机可读介质204包括一个或多个模块,例如服务器模块136和输出模块140,虽然所示模块的数量仅是示例,并且数量可以更高或更低。也就是说,本文联合所示模块描述的功能可以由一个设备上的或者分布在多个设备上的较少数量的模块或较大数量的模块来执行。
同样地并且如前所述,通常,远程会议系统102被配置为将远程会议会话104与多个客户端计算设备106(1)至106(N)一起托管。远程会议系统102包括一个或多个处理单元202和计算机可读介质204,所述计算机可读介质204上编码有计算机可执行指令,以使一个或多个处理单元202在系统102处从多个客户端计算设备106(1)到106(N)接收流142(1)到142(M),至少部分地基于每个用户的远程会议会话模式250选择流142,并根据对应于客户端计算设备106(1)到106(N)的远程会议会话模式250传送远程会议数据146。远程会议数据146(1)到146(N)从系统102传送给多个客户端计算设备106(1)到106(N)。远程会议会话模式250(1)到250(N)使得多个客户端计算设备106(1)到106(N)在用户控制下显示远程会议会话104的视图。计算机可执行指令还使得一个或多个处理单元202基于用户传送的控制信号156(1)(本文也称为控制命令156)、定位信号145和其他合适的信息来确定远程会议会话104将客户端计算设备106(1)到106(N)转变到不同的远程会议会话模式250。在一些配置中,控制命令156包括以下各项中的至少一项:用户身份、用于加入远程会议会话104的请求、访问请求或本文描述的其他数据。
在一些实施方式中,本文中所公开的技术可以使用一个或多个预定操作模式,也称为“模式”或“远程会议会话模式”。在操作的示例中,系统102执行一种方法,该方法包括在系统102处从多个客户端计算设备106(1)到106(N)接收流142(1)到142(M),至少部分地基于指示每个客户端计算设备的位置的数据来对流142进行组合和格式化以形成远程会议数据146(1)到146(N),并且将远程会议数据146(1)到146(N)发送到相应的客户端计算设备。
如下文将描述的,预定操作模式可以包括第一操作模式(本文称为“主”)和第二操作模式(本文称为“辅”)。在一些实施方式中,可以通过由远程会议系统102智能选择的共址的客户端计算设备106(设备)的子集来自动配置主操作模式和辅操作模式。预定操作模式还可以促进为远程会议会话104提供控制功能(“控制元件”)的图形元素。例如,可以在用户界面上生成图形元素,使用户能够提供内容,结束会话,静音一个或多个声音,控制其他参与者的流,将特定设备转变到不同的操作模式等。
在一个说明性示例中,下面公开的技术可以使用主操作模式。主操作模式可以是“完全功能”操作形式,其有助于锚定一个或多个共址计算设备的沉浸式体验。根据一个方面,仅一组共址设备中的单个设备可以处于主操作模式。在主模式下,可以使诸如麦克风之类的音频设备能够从共址用户接收音频信息(例如,声音、语音等)。同样在主模式下,可以使诸如前置相机之类的视频设备能够从共址用户接收视频信息(例如,视频记录)。因此,主操作模式以及因此在主操作模式下操作的设备可以是功能完备的并且从一个或多个参与者接收多种形式的音频/视频输入。
在另一个说明性示例中,本文公开的技术可以使用辅操作模式。辅操作模式可以是“轻量级”功能操作形式,其有助于其他共址设备的参与,同时不会减损由在主操作模式下工作的主设备提供的沉浸式体验。根据一个方面,一个或多个共址客户端计算设备可以在辅操作模式下工作。在辅模式下,可以禁用相关联的计算设备的音频捕获设备以减轻音频反馈。同样在辅模式下,可以启用诸如前置相机之类的相机设备,这取决于是否正从相关联的设备主动共享视频信息。以这种方式,可以避免重复的视频流和音频流。
通常,在主操作模式和辅操作模式下操作的设备的选择可以基于指示多个客户端计算设备106的位置的数据。这些客户端计算设备可以与期望加入远程会议会话104的多个用户相关联。例如,客户端计算设备106的群组或子集可以全部尝试加入远程会议会话104。另外,在一个示例中,指示多个客户端计算设备的位置的数据可以至少部分地指示客户端计算设备106的一般位置。
在一个说明性示例中,指示多个计算设备的位置的数据包括定位信号145,例如社交信号、音频信号或定位数据。因此,指示多个计算设备的位置的数据可以包括以下各项中的至少一项:定义GPS位置的数据、定义蓝牙信号强度的数据、定义Wi-Fi三角测量的数据、定义超声水印的数据或定义近场通信信号的特性的数据。另外,社交信号可以包括社交网络信号、日历信号、联系人列表信号和联系人关系信号。这样的配置可以使用任何合适的技术来生成定义设备位置的定位数据。定位数据可包括但不限于定义GPS位置的数据、定义蓝牙信号强度的数据、定义一个或多个Wi-Fi三角测量的数据、定义一个或多个超声水印的数据、定义基于NFC的位置的数据等。
使用所接收的数据,远程会议系统102可以基于用于指示位置的数据来确定多个计算设备中的计算设备子集是共址的。在一个说明性示例中,远程会议系统102可以解释数据并实现阈值算法以识别彼此的阈值距离内的一个或多个计算设备群组。在确定了一个共址群组的一部分正在尝试加入单个远程会议会话时,远程会议系统102可以将该部分识别为共址的设备子集。
一旦确定了共址的子集,远程会议系统102就可以选择计算设备子集中的第一计算设备作为用于在主操作模式下操作的主计算设备。通常,主计算设备可以用于锚定共址设备的沉浸式体验并限制由传统远程会议系统引起的扰乱。
在该选择之后,远程会议系统102可以生成与远程会议会话104相关联的远程会议数据146。在一个说明性示例中,远程会议数据146可以包括具有一个或多个参与者的视频的参与者流142,以及具有文件、数据结构、文字处理文档和其他可共享内容的视频或图像的内容流142。
在已经生成了远程会议数据146之后,远程会议系统102可以将第一远程会议数据146(1)传送给主计算设备,并且将第二远程会议数据146(2)到146(N)传送给计算设备子集中的其余计算设备。因此,虽然主设备是接收远程会议数据的第一选择的唯一设备,但是其余设备都至少接收远程会议数据的子部分。因此,通过高效地生成具有相关但非重复内容的主远程会议数据和辅远程会议数据,该说明性示例的远程会议系统102可以克服与传统远程会议系统相关联的许多技术缺陷,包括浪费的带宽,过度使用所有客户端计算设备的计算资源来处理远程会议数据的第一选择,以及其他缺陷。
在下文中,详细描述涉及示例远程会议会话104、各种客户端计算设备106和远程会议数据146的不同场景的更详细讨论。应当理解,这些示例场景不限制对所描述技术的所有使用。
图3A-3B示出了可以使用本公开的技术的多个场景。如图所示,每个用户301与一个或多个客户端计算设备106相关联。以下描述描述了各个用户301加入远程会议会话104的场景。以下示例示出了设备可以以主模式或辅模式启动的场景。出于说明性目的,“室内”加入包括当设备与已经在远程会议会话中连接的其他设备处于相同房间时加入会话的设备的活动(例如,设备是共址的)。
在第一场景中,第一用户301A与第一计算设备106A和第一位置311相关联,这用于呼入已经与由第二位置310处的第五用户301E使用的第五计算设备106E通信的远程会议会话104。由于第一用户301A正在使用单个设备,并且由于单个设备处于远离第五计算设备106E的远程位置,因此第一计算设备106A可以在主操作模式下进入远程会议会话104。因此,第一计算设备106A的麦克风和扬声器在第一计算设备106A加入远程会议会话的同时被打开。另外,第一计算设备106A和第五计算设备106E二者都可以在主操作模式下操作。此外,第一计算设备106A和第五计算设备106E二者都可以接收包括远程会议数据的第一选择的第一远程会议数据146(1)。
在第二场景中,第二用户301B正在使用单个设备(第二计算设备106B)加入远程会议会话104。如图所示,第二用户301B与使用第五计算设备106E的第五用户301E处于相同位置310。通过使用本文公开的技术,远程会议系统102确定第二计算设备106B与已经处于主操作模式的另一设备(例如,第五计算设备106E)是共址的。
可以利用多种技术来确定两个或更多个设备是否共址。在一个说明性示例中,当与音频信号发生冲突时,一个或多个设备彼此接近。例如,第二计算设备106B可以使用麦克风和/或扬声器来确定第五计算设备106E是否可能引起音频干扰,例如反馈,反之亦然。第二计算设备106B和/或第五计算设备106E可以分析由每个设备传送的音频信号。可以使用一种或多种合适的技术来确定每个设备传送的音频信号是否可能引起冲突,例如音频反馈或其他类型的干扰。
在另一个示例中,如果设备在彼此的阈值距离内,则设备可以确定它们是否彼此接近。可以通过使用一种或多种定位技术(例如,GPS、Wi-Fi或其他合适的技术)来测量两个不同设备之间的距离。可以与本公开一起使用的其他技术可以依赖于蓝牙信号强度、Wi-Fi三角测量、超声水印、NFC或其他合适的技术。可以通过分析定义设备位置的定位数据来确定两个不同设备之间的距离。定位数据可以包括但不限于:定义GPS位置的数据、定义蓝牙信号强度的数据、定义一个或多个Wi-Fi三角测量的数据、定义超声水印的数据、定义基于NFC的位置的数据等。当客户端计算设备106确定它在连接到相同远程会议会话104的另一设备的预定距离内时,客户端计算设备106中的一者可以生成指示冲突的数据。音频信号和社交信号也可以用于确定两个或更多个设备是否彼此接近。
当冲突被检测到时,第二计算设备106B将其自身配置为请求以辅操作模式加入远程会议会话104。例如,第二计算设备106B可以使其麦克风静音和/或关闭其扬声器。对音频组件的这种禁用可以在第二计算设备106B与远程会议会话104连接之前发生。另外,设备的麦克风或扬声器可以由客户端设备本身或服务器计算机(例如,设备110)控制。此外,虽然被描述为由各个计算设备106检测到,但是远程会议系统102还可以使用如上所述的类似技术来确定两个或更多个设备是否共址。因此,远程会议系统102也可以远程地禁用来自用户计算设备106的音频和/或视频。
在第三场景中,第一用户301A正在使用第一计算设备106A加入远程会议会话104,第二用户301B正在使用第二计算设备106B加入远程会议会话104,第四用户301D正在使用第四计算设备106D加入远程会议会话104,并且第五用户301E正在使用第五计算设备106E加入远程会议会话104。如图3B所示,在加入远程会议会话104的多个设备375中,远程会议系统102可以从多个设备375确定计算设备子集376。远程会议系统102还可以从计算设备子集376确定主计算设备,在该示例中为106E,以及从计算设备子集376确定一个或多个辅计算设备106B-106D。
如上所概述的,可以使用诸如社交信号、音频信号和/或定位数据之类的一个或多个信号来确定一个或多个设备是否彼此接近,例如,共址。当确定设备在预定距离内或共址时,确定设备是计算设备子集376的一部分。社交信号的示例包括来自一个或多个资源的数据,所述资源例如社交网络、日历数据库、电子邮件系统或指示一个或多个设备共址的其他资源。这些数据可以补充有指示麦克风和扬声器干扰的音频信号。另外,社交信号和音频信号可以通过定位数据来补充。可以使用数据和信号的任何组合来确定一个或多个设备何时是计算设备子集376的一部分。
如本文所述,可以基于一个或多个因素来选择主设备。例如,如果第五计算设备106E是进入远程会议会话104的第一计算设备,则第五计算设备106E可以成为主设备。还可以基于任何合适的数据(例如,优先级水平、用户偏好或用户输入)将第五计算设备106E选择为主设备。还可以基于设备类型将第五计算设备106E选择为主设备。例如,如果第五计算设备106E是膝上型计算机而其余设备是移动电话,则可以基于第五计算设备106E的设备类型,将第五计算设备106E选择为主设备,其中与其余的设备相比第五计算设备106E具有可能增加的能力。选择主设备时的其他考虑因素也可以是可适用的。
在选择了第五计算设备106E作为主设备时,远程会议系统102还可以选择第二计算设备106B和第四计算设备106D作为辅设备,如图3B所示。如进一步所示,主设备和辅设备中的每一者被配置为相应地以主操作模式或辅操作模式进行操作。
继续该场景,本文描述的技术还允许基于各种情况将辅设备提升为主设备。例如,如果第二用户301B在连接到远程会议会话104时离开第二位置310,则第二计算设备106B可以被提升到主操作模式。根据一个方面,第二用户301B可以请求将第二计算设备106B提升为主操作模式。根据另一方面,远程会议系统102可以确定设备106B不再是子集376的一部分,并且通知第二用户301B以决定是否应当将第二计算设备106B提升为主操作模式。根据又一方面,远程会议系统102还可以确定第二计算设备106B不再与第二位置310中的设备376的子集共址,并且自动地将第二计算设备106B提升为主操作模式。以这种方式,远程会议系统102可以直接或间接地促进计算设备从辅操作模式提升到主操作模式。
作为另一示例,如果第一用户301A进入第二位置310,则本文描述的技术可以进一步促进对共同位于第二位置310中的用户的扰乱的限制。例如,远程会议系统102可以检测到第一计算设备106接近设备子集376或在设备子集376的阈值距离以内。如果发生这种情况,则远程会议系统102可以将第一计算设备106A从主操作模式降级到辅操作模式。根据一个方面,远程会议系统102可以禁用第一计算设备106A的音频组件以限制音频干扰,和/或将第二远程会议数据146(2)传送给第一计算设备106A。在这些情况下,可以将另一个主设备是设备子集376的一部分提示或通知给第一用户106A,以允许第一用户301A与第一计算设备106A交互并决定作为辅设备接收第二远程会议数据146(2)。替代地,远程会议系统102可以立即降级第一计算设备106A以避免扰乱。
本文描述的技术还可以应用于从远程位置加入的用户。如图3A所示,第六用户301F正在使用第六设备106F加入远程会议会话104。在该示例中,第六用户301F位于与第二位置310分开的远程位置312。当第六用户301F使用第六设备106F加入远程会议会话104时,第六设备106F可以以主模式加入远程会议会话104,使得第六用户301F参与完全沉浸式体验。替代地,第六用户301F还可以选择或请求以辅模式加入,或者请求将第六设备106F降格或降级为辅操作模式。
如上文所概述的,本文公开的技术提供远程会议会话的不同操作模式。另外,可以提供用户界面和用户界面布置,用于使用户能够基于主操作模式和辅操作模式来访问和共享相关信息,以进一步增强远程会议系统102。这些用户界面的若干示例在图4A-4C,5A-5B和6A-6E中示出。具体地,图4A-4C示出了可以在与远程会议会话104通信的设备106上显示的第一用户界面400的各方面。该示例用户界面400可以显示在以主操作模式操作的设备106(例如,台式计算机)上。
如图4A所示,第一用户界面400包括主部分402,其提供远程会议会话104的舞台。在远程会议会话104中共享的所选择的媒体数据(例如,流式传输的视频、文件和应用)可以显示在用户界面的主部分402中。如图所示,主部分402可以显示来自远程会议会话104的各种参与者流和/或内容流。因此,主部分402显示上述第一远程会议数据146(1)的渲染。与正被传送给辅设备的减少的或轻量级的数据子部分相比,第一远程会议数据146(1)通常可以包括远程会议数据的第一选择。
第一用户界面400还可以包括多个核心远程会议控制元件403,其可以被配置为控制远程会议会话104的各方面。通常,核心远程会议控制元件403被配置为控制远程会议会话的状态。例如,核心远程会议控制元件403的第一按钮可以将设备106与远程会议会话104断开。核心远程会议控制元件403的第二按钮可以控制设备106的麦克风,即静音按钮。核心远程会议控制元件403的第三按钮可以控制设备106的相机,即,打开或关闭相机。第四按钮或任何定位的控制元件也可以涉及转换功能。响应于接收到对第四按钮的用户致动,主设备可以转变成为辅设备。在一些配置中,核心远程会议控制元件403的显示可以在预定时间段内淡入淡出。在这样的配置中,核心远程会议控制元件403可以基于一个或多个动作重新显示,例如在用户界面400的预定部分内的悬停或其他合适的用户交互。
当设备106作为主设备连接到远程会议会话时,例如,在作为共址设备中的单个设备或主设备的同时,可以显示具有提供对各种类型的媒体的访问的可选元件的布置的菜单。媒体可以包括但不限于桌面共享、应用共享或文件共享。图4B示出了用于提供对各种类型的媒体的访问的若干可选元件401的示例。例如,第一可选元件401A可以提供对特定文件的访问。第二可选元件401B可以提供对桌面共享的访问,第三可选元件401C可以提供对应用共享的访问,并且第四可选元件40ID可以提供对另一文件的访问。这些实施例是出于说明性目的而提供的,不应被解释为限制性的。可以领会,可选元件401可以提供对任何合适类型的可共享媒体的访问,并且可选元件401可以以任何合适的顺序布置。来自共享的应用的内容活动的特定视图也可以是共享的目标,如选项卡或白板。
用户界面400可以被配置为允许用户通过向左或向右滑动或滚动可选元件401来滚动通过另外的可选元件401。另外,当用户提供诸如向上滑动之类的手势时,可以扩展可选元件401的显示。图4C示出了可选元件401的显示从图4B所示的显示扩展的一个示例。因此,存在允许对远程会议会话的完全沉浸式控制的针对主设备的各种用户界面布置。
在一些配置中,控制菜单可以涉及不同类型的媒体数据的排序列表。除了仅示出共享选项的固定列表的典型菜单之外,本技术可以对各个媒体数据源进行优先级化和排序,以为团队提供最相关的共享选项。出于说明性目的,团队可以由会话的参与者定义,或者团队可以是预定的参与者选择。因此,基于团队的用户活动,可以在控制菜单上对各种类型的媒体数据(例如,应用共享、桌面共享、文件共享、视频共享和/或其他类型的媒体数据)进行排序和显示,使用户能够轻松访问、选择和共享团队中最相关或最新的内容。
为了实现本公开的各方面,客户端模块130可以生成用于指示可以由客户端计算设备106共享的每个媒体数据源的兴趣水平或“共享兴趣指示符”的数据。例如,桌面共享可以具有第一兴趣水平,并且文件共享可以具有第二兴趣水平。然后可以使用兴趣水平来布置不同源的可选元件401。在一些配置中,菜单可以根据兴趣水平来布置可选元件401,可选地,最高兴趣水平可选元件401在左侧上。可以添加另一个可选元件以促使本地或网络搜索、本地搜索、在线搜索、共享内容二分搜索(bin search)或其他所需内容资源的显示。网格示例示出了丰富的内容可以如何填充覆盖或推送托盘菜单。但是在菜单配置中,列表项视图或组合列表和丰富项目视图也是可能的。
与每个可选元件401相关联的兴趣水平可以基于多个因素。例如,兴趣可以基于指示何时最后更新文件或其他内容的时间戳。兴趣还可以基于最近是否使用媒体数据源。例如,如果桌面共享的使用时间比特定文件更新,则桌面共享可能具有高于该文件的兴趣水平。在一些配置中,特定媒体数据源的兴趣水平可以基于团队与源的整体交互水平。例如,如果团队具有与应用的高水平的交互,则该应用可能具有比没有那么多交互(例如,与团队的交互相关联的数据量,团队与源交互的时间量等)的文件或其他内容更高的兴趣水平。团队与特定资源的交互可以应用于应用、文件、通信信道、网站、共享桌面或任何其他内容和/或源。本文公开的技术还可以取决于来自个体或总体参与者群组中的每一者的相关活动的交叉参考的深度来显现推荐内容。
现在转向图5A-5B,详细描述了与辅操作模式下的辅设备相关联的若干图形用户界面。图5A示出了用于辅设备的第二用户界面500的各方面。通常,用户界面500包括简化的用户界面,其被配置为至少部分地基于活动水平来显示远程会议数据146的子部分。图5A的示例示出了具有共享控制元件501的控制菜单,所述共享控制元件501用于显示用于共享媒体的选项和/或用于将辅设备提升到主设备的选项。此外,界面500包括与上述会话舞台402有些类似的会话舞台502。
例如,第一控件501A被配置为激活相机设备。响应于接收到对第一控件501A的用户致动,设备的相机被激活并且来自相机的实况视频馈送可以“在舞台上”呈现(例如,如果主设备允许的话),并且实时馈送的渲染被显示在与远程会议会话104通信的其他设备上。第二控件501B被配置为激活文件共享和应用共享功能。响应于接收到对第二控件501B的用户致动,辅设备使用户能够选择要与远程会议会话104共享的应用或文件。一旦选择了文件或应用,所选择的媒体的渲染就可以“在舞台上”呈现,例如,所选择媒体的渲染被传送给与远程会议会话104通信的设备。
第三控件501C被配置为激活转换功能。响应于接收到对第三控件501C的用户致动,辅设备可以基于远程会议系统102的考虑而成为主设备。例如,如果设备106最初与其他设备共址,对第三控件501C的用户致动被接收到,并且该设备不再与主模式下的另一设备共址,则远程会议系统102可以使该设备切换到主操作模式以保持用户的沉浸式体验。可以基于上面详细描述的定位信号和/或阈值算法来控制到主模式的转换以确保减轻音频干扰。通过在设备处激活主模式之前等待预定或期望的时间量,也可以促进包括基于定时器的方法的其他实施方式。更进一步地,远程会议系统102可以立即允许设备进入主操作模式,其中另外的界面元素(为了清楚起见未示出)覆盖用户界面500,警告用户一旦不再共址就激活音频和视频设备。因此,可以通过本文描述的技术促进从辅模式到主模式的交换的若干实施方式。
第四控件50ID向远程会议会话104提供连接控制,例如,第四控件501D可以是“挂断”或断开按钮。这些实施例是出于说明性目的而提供的,不应被解释为限制性的。可以领会,可以显示向辅设备提供另外的功能的其他控件。
如图所示,接口500不具有用于控制麦克风或其他形式的音频通信的核心远程会议控制元件,这是因为在一些实施方式中辅设备未被配置为传送音频信号。上下文菜单控件、功能、可搜索内容、最近或上下文内容可以处于许多不同对话和协作核心控制需求的开放状态,例如:共享、录制、远程控制、pstn/voip呼叫、传感器检测、设备检测/选择等。控制菜单的布局配置也可以适应不同的屏幕布局:顶部、底部、侧面等。操作性也可能受到不同手势的影响:向上滑动、向下滑动、向左滑动、向右滑动,以及点击、双击、点击并按住等。
在一些配置中,在与其他设备共址的同时的室内加入期间,设备可以选择不同类型的媒体数据用于显示。例如,在上述示例中,当第二计算设备106B在与其他设备(例如,第五计算设备106E)处于第二位置310的同时加入远程会议会话104时,第二计算设备106B可以显示基于活动水平的所接收的远程会议数据。在一个说明性示例中,如图5B的示例中所示,如果主设备的主视图正在显示参与者流,则参与者流可以显示在辅设备上,在用户界面500的主部分502上。接着,因为不同的内容流或参与者流被显示在主设备上,只有远程会议数据的子集被传送给辅设备。因此,实现了减少的带宽使用,同时还允许完全沉浸式的远程会议体验。
现在转向图6A,描述了用于在辅操作模式下操作的设备106的另一用户界面(界面600)的各方面。在该特定示例中,应当理解,特定界面600是表示移动设备(例如,平板计算机、移动电话或其他类似设备)上的用户界面的说明性示例。可以领会,存在与界面500相比的界面600的类似方面。因此,为了简洁起见,本文省略对类似元素的详尽描述。
如图所示,用户界面600可以包括具有共享控制元件651的控制菜单,用于提供对各种类型的媒体的访问。共享控制元件651可以被布置为与上面详细描述的共享控制元件501相类似地工作。例如,第一可选元件651A可以提供对特定文件的访问。第二可选元件651B可以提供对桌面共享的访问,并且第三可选元件651C可以提供对应用共享的访问。这些实施例是出于说明性目的而提供的,不应被解释为限制性的。可以领会,可选元件651可以提供对任何合适类型的可共享媒体的访问,并且与可选元件501类似地布置。
如图6A所示,界面600还可以包括会话舞台602的显示,其是传送给客户端设备的第二远程会议数据或远程会议数据的子部分的视频呈现。会话舞台602的显示可以示出会话的重要特征,例如最主导的发言者或共享的内容。在用户致动了图形元素(例如,显示在界面底部中心的V形图案)时,会话舞台602的显示可以扩展以示出可用于辅设备的另外的共享选项。例如,如图6B和图6C所示,提供了以辅模式操作的移动设备的用户界面600的完全滑动配置的示例。
如图6B所示,用户界面600可以包括具有共享控制元件651A-651I的控制菜单,用于提供对各种类型的媒体的访问。例如,可选元件651A-651I可以提供对特定文件、桌面共享和应用的访问。这些实施例是出于说明性目的而提供的,不应被解释为限制性的。可以领会,可选元件651A-651I可以提供对任何合适类型的可共享媒体的访问。还可以领会,界面600可以具有任何合适数量的可选元件651。另外,用户可以通过致动箭头来滚动另外的可选元件651A-651I以查看另外的可选元件651。用户界面600还可以包括“添加”按钮,用于使用户能够向菜单添加内容,例如文件、应用和其他内容。显示的控件和内容可以按行和列行为进行缩放,以适应不同大小的设备、窗口、用户需求等。
用户界面600还可以通过使用手势(例如,应用于第一UI元素662的向下滑动)来提供对会话舞台的显示的访问。当接收到预定手势时,例如,当向下滑动应用于第一UI元素662时,用户界面600转变到图6C中所示的示例用户界面600,其包括在会话舞台602上呈现的第二远程会议数据146(2)的视频呈现。在处于该模式的同时,其他共享控件664(例如,发送按钮或共享按钮)可以定位在用户界面600中。用户界面600可以被配置有或没有共享控件。响应于接收到预定的输入手势(例如,第二UI元素663处的向上滑动),图6C中所示的用户界面600可以转变回图6B所示的用户界面600。
应当理解,移动设备也可以从辅操作模式提升到主操作模式。例如,如图6D和6E所示,还可以促进具有核心远程会议控制元件661并接收第一远程会议数据的用户界面。核心远程会议控制元件661可以被布置为与核心远程会议控制元件403相类似地工作。因此,虽然上面的一些示例已经在作为主设备的膝上型或台式计算机的上下文中描述,但是同样可以包括具有类似于图6D和6E布置的用户界面的移动设备。
此外,虽然一些设备已经被描述为“辅的”,但是应该理解,可以利用辅设备的一些特征来允许另外的交互和可共享的内容,非常类似于主设备。例如,如图7A-7D所示,一个或多个辅设备可以实现共享相机或“流动相机”功能,以允许会议参与者提供内容和周围环境的真实世界视图。在该示例中,设备106D包括适合于将视频数据流式传输到远程会议会话104的相机781。当用户将设备106D的相机(本文称为“流动相机”)引导到内容780时,设备106D生成传送给服务器模块136以分发内容的视频流或照片。共享的内容可以包括视频流或静止图像。参考图3A和3B的示例,图7A示出了第四计算设备106D在辅操作模式下操作并且经由相机781生成图像数据。图像数据与远程会议会话104的设备共享,例如第一计算设备106A和第二计算设备106B。可以共享任何内容,包括白板、绘图、照片、书页或来自模拟环境的任何其他内容。因此,在该示例中,远程会议系统102可以从计算设备106D的相机781接收用于共享视频内容的请求。此外,远程会议系统可以将视频内容添加到远程会议数据和远程会议数据的子部分,以便在参与远程会议会话104的设备之间共享。
继续该示例,在线会议(例如,远程会议会话104)中的任何用户可以将实况视频或静止图像发送到共享视频舞台,所述共享视频舞台将流动相机视频视为内容流而不是传统的以自我为中心的参与者流(又名‘说话者头像’视频)的。该功能可以由使用辅设备与会议参与者共享真实世界内容或其他内容的用户触发。如图7B所示,内容780可以使用覆盖视图显示在主设备(例如,主设备106E)处。其他视图(例如,持久视图)也可以是可适用的。与远程会议会话104相关联的辅设备还可以接收和显示内容780,如图7C和7D中所示。因此,虽然辅设备可以用于接收第二远程会议数据146(2)或远程会议数据146的子部分,但辅设备也可以用于扩增远程会议会话。
如上面详细描述的,通常使用来自本文公开的来自不同资源的数据的组合来实现诸如经由在线会议、视频会议或文档协作系统的实时中介协作。在当前的协作系统中,如果共址的设备同时加入,则以下情况是可能的:用户体验基本上跨设备重复,并且若干形式的反馈、分心和其他不期望的效果是显而易见的。这可能对用户体验产生有害结果。在这种情况下,最好是可以通过音频流的“回声”和“重影(ghosting)”来呈现音频反馈。在最坏的情况下,在最坏情况下,这会引起技术和实际问题,其包括但不限于:针对同步、通知、控制执行、音频回声和啸叫、电池消耗、以及额外的带宽使用的竞争状况。本发明关注于为多个共址设备添加第二和第三、以及多达n个共址设备,这些设备可以在加入时进行自动区分,以便扩增主设备体验而不是进行复制。本发明将实时协作会话中的任何主设备的状态与加入相同会话同时共址的任何辅设备的状态区分开。在这些示例中,共址设备中的每一个设备可以与唯一用户身份相关联时。
在下文中,参考图8提供对远程会议系统102的操作的更详细描述,图8示出了用于加入远程会议会话的增强型技术的示例方法800的流程图。
方法800可以包括在框802处从多个计算设备375接收控制数据,其中,多个计算设备375中的每个计算设备106与用于访问远程会议会话104的不同用户身份相关联。通常,控制可以包括指示多个计算设备的位置的数据,并且可以由远程会议系统102接收。例如,指示位置的数据可以是定位信号145,其可以被解释为辨别两个或更多个计算设备是否共址,例如,在参考图3A和3B描述的示例中。指示多个计算设备的位置的数据可以包括社交信号、音频信号或定位数据。通常,社交信号包括社交网络信号、日历信号、联系人列表信号和联系人关系信号。此外,定位数据可以包括以下各项中的至少一项:定义GPS位置的数据、定义蓝牙信号强度的数据、定义Wi-Fi三角测量的数据、定义超声水印的数据或定义近场通信信号的特性的数据。应当领会,指示多个计算设备的位置的其他数据也是可适用的。
回到图8,方法800还可以包括在框804处基于社交信号、音频信号或定位数据中的至少一项来从多个计算设备375确定计算设备子集376。例如,远程会议系统102可以基于指示位置的数据来确定多个计算设备中的计算设备子集是共址的。再次参考参照图3A和3B描述的示例,第二位置310包括一个这样的子集376,其包括设备106B、106C、106D和106E。因此,设备子集376共址于位置310中。
方法800还可以包括分别在框806和808处从计算设备子集376确定主计算设备106E并且从计算设备子集376确定一个或多个辅计算设备106B-106D。在一个方面,远程会议系统102可以确定计算设备子集中的第一计算设备首先加入远程会议会话。例如,如果子集中的设备106E首先加入远程会议会话104,则可以选择设备106E作为主设备。
在不同的方面,远程会议系统102可以考虑其他信息,例如在选择主设备时的优先级信息。例如,远程会议系统102可以分析与计算设备子集中的一个或多个计算设备相关联的优先级值,并确定计算设备子集中的第一计算设备具有取代计算设备子集中的其余计算设备的优先级值的优先级值。优先级值可以被存储为简档数据210、会话数据144或者被存储在简档模块132中。
方法800还可以包括在框810处将第一远程会议数据传送给主计算设备。例如,远程会议系统102可以生成与远程会议会话104相关联的第一远程会议数据146(1)并将第一远程会议数据发送到主计算设备。另外,第一远程会议数据使主计算设备显示第一用户界面布置400,其具有布置在其上的核心远程会议控制元件403。核心远程会议控制元件403被配置为控制远程会议会话104的状态。
方法800还可以包括在框812将第二远程会议数据146(2)到146(N)传送给一个或多个辅计算设备。第二远程会议数据使得一个或多个辅计算设备显示具有共享控制元件501的第二用户界面布置500。共享控制元件501被配置为从一个或多个辅计算设备接收对要共享的内容的选择。应对注意,其他第二用户界面布置(例如,布置600)也是可适用的。例如,用户界面布置600还包括共享控制元件651并且被配置用于在辅设备上显示。
通常,在配置或生成远程会议数据146、第一远程会议数据146(1)和/或第二远程会议数据146(2)到146(N)时,可以基于由远程会议会话104的参与者呈现的数据的活动水平,来选择远程会议数据的子部分或第二远程会议数据146(2)到146(N)。可以对针对每个参与者的媒体数据中的视频或共享内容进行分析,来确定在远程会议系统102处接收的任何流142的活动水平。该活动水平可以基于任何类型的活动,其包括但不限于以下各项的任何组合:
1、参与者动作:参与者在视频中移动的程度可以确定参与者的活动水平。可以认为在视频中处于打手势或以其他方式移动过程的参与者在远程会议中以相对高的水平进行参与。
2、参与者的嘴唇运动:可以分析视频以确定参与者嘴唇移动的程度,作为对参与者说话的程度的指示。可以认为以相对高的水平讲话的参与者在以相应的相对高的水平进行参与。
3、参与者面部表情:可以分析参与者的视频以确定面部表情的变化,或者使用模式识别来确定特定的面部表情。可以认为在远程会议中通过面部表情做出反应的参与者在以相对高的水平进行参与。
4、内容修改:可以分析正在远程会议中共享的内容的视频以确定其是否正被修改。因此,最近或活跃修改的内容可以具有高的活动水平。
5、内容翻页:可以分析正在共享的内容的视频以确定是否存在例如文档的翻页,并且向其分配相应的活动水平。
6、具有显示区域中的内容的参与者的数量:可以基于如下数量为正在共享的内容的视频分配活动水平:在显示区域中具有该内容的视图的参与者的数量。
7、正在进入远程会议的参与者:可以向来自正在进入远程会议的参与者的媒体数据分配高的活动水平。该值可以基于参与者加入会话的顺序。
8、正在离开远程会议的参与者:可以向来自正在离开远程会议的参与者的媒体数据分配低的活动水平。
因此,可以选择具有相对高的活动水平的参与者流和/或内容流,以经由传送具有相对高的活动水平的第二远程会议数据146(1)至146(N)或者远程会议数据146的子部分,在上述任何辅用户界面布置中进行显示。还应当理解,可以基于其他逻辑来取代活动水平,例如,如果呈现者期望针对辅计算设备的固定视图、或者其他场景。
现在转向图9,示出了用于加入远程会议会话的增强型技术的附加示例方法900的流程图。方法900包括在框902处接收用于指示多个计算设备375的位置的数据。例如,用于指示位置的数据可包括上面详细描述的任何变型。例如,用于指示位置的数据可以包括社交信号、音频信号或定位数据。此外,用于指示多个计算设备的位置的数据可以包括以下各项中的至少一项:定义GPS位置的数据、定义蓝牙信号强度的数据、定义Wi-Fi三角测量的数据、定义超声水印的数据或定义近场通信信号的特性的数据。
方法900还包括在框904处基于用于指示位置的数据来确定多个计算设备375中的计算设备子集376是共址的。该确定可以包括例如解释数据并实现阈值算法以识别在彼此的阈值距离内的一个或多个计算设备群组。在确定了一个共址群组的一部分正在尝试加入单个远程会议会话104时,远程会议系统102可以将该部分识别为共址的设备子集。
方法900还包括在框906处从计算设备子集376中选择主计算设备106E以在主操作模式下操作,并且从计算设备子集376中选择一个或多个辅计算设备106B到106D以在辅操作模式下操作。例如,选择主计算设备可以包括确定计算设备子集中的计算设备首先加入远程会议会话。另外,选择主计算设备可以包括分析与计算设备子集中的一个或多个计算设备相关联的优先级值,并且确定计算设备子集中的计算设备具有取代计算设备子集中的其余计算设备的优先级值的优先级值。
方法900还包括在框908处生成与远程会议会话104相关联的远程会议数据146。可以如上面详细描述的那样生成远程会议数据146。例如,远程会议数据146可以包括一个或多个参与者流、一个或多个内容流或类似于流142布置的其他远程会议流。
方法900还包括在框910处将远程会议数据146的第一选择传送给主计算设备。例如,远程会议系统102可以将远程会议数据的第一选择142引导到一个或多个主设备。在该示例中,已经选择单个主设备来接收远程会议数据146。然而,应当理解,根据参考图3A和3B描述的场景,在远程会议会话104中可以存在一个以上的主设备。远程会议数据146的第一选择的另一个例子还可以包括多个流142,例如图4A所示的示例中示出的渲染的流。远程会议数据146的第一选择还可以使主设备显示核心远程会议控件,例如图4A中所示的控件403。
方法900还包括在框912处将远程会议数据146的第二选择(在本文也称为远程会议数据146的子部分)传送给一个或多个辅计算设备。例如,远程会议系统102可以将远程会议数据146的子部分引导到一个或多个辅设备。远程会议数据146的子部分可以包括至少部分地基于如上所述的活动水平来选择的单个参与者流142或内容流。远程会议数据146的子部分还可以包括基于活动水平单独排序和选择的多个参与者流142和内容流。在一些配置中,远程会议数据146的子部分可以包括上面描述为第一选择的多个流中的所选流。根据其他方面,远程会议系统102可以将诸如远程会议数据146(2)至146(N)之类的第二远程会议数据引导到一个或多个辅计算设备。还可以至少部分地基于如上所述的活动水平来选择第二远程会议数据。
如本文中详细描述的,已经提供了增强远程会议会话的若干方面。虽然已经用特定于结构特征和/或方法动作的语言描述了这些技术,但是应当理解,所附权利要求不必限于所描述的特征或动作。确切地说,特征和动作被描述为这些技术的示例实施方式。
在各个框中示出并参考那些框概述了示例过程的操作。这些过程被示为框的逻辑流,其每个框可以表示可以用硬件、软件或其组合实现的一个或多个操作。在软件的上下文中,操作表示存储在一个或多个计算机可读介质上的计算机可执行指令,所述计算机可执行指令当由一个或多个处理器执行时,使得一个或多个处理器能够执行所述操作。通常,计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、模块、组件、数据结构等。描述操作的顺序不旨在被解释为限制,并且任何数量的所描述的操作可以以任何顺序执行,以任何顺序组合,细分为多个子操作,和/或并行执行实现所描述的过程。所描述的过程可以由与一个或多个设备相关联的资源(例如,一个或多个内部或外部CPU或GPU)和/或一个或多个硬件逻辑(例如,FPGA、DSP或其他类型的加速器)来执行。
上面所描述的所有方法和过程可以通过由一个或多个通用计算机或处理器执行的软件代码模块来体现,并且完全自动化。这些代码模块可以存储在任何类型的计算机可读存储介质或其他计算机存储设备中。替代地,可以在专用计算机硬件中体现这些方法中的一些或全部。
除非另有特别声明,否则应当在上下文内将诸如“可以”、“能够”、“可能”或“会”等的条件语言理解为表示某些示例包括某些特征、元素和/或步骤,而其他示例不包括某些特征、元素和/或步骤。因此,这种条件语言通常并不旨在暗示以下情形:一个或多个示例以任何方式需要某些特征、元素和/或步骤,或者在具有或没有用户输入或提示的情况下,一个或多个示例必须包括用于决定在任何特定的示例中是否将包括或者将执行某些特征、元素和/或步骤的逻辑。除非另有特别声明,否则诸如短语“X、Y或Z中的至少一个”之类的连接语言应当被理解为说明项目、条款等等可以是X、Y或Z、或者其组合。
应当将本文描述和/或附图中描绘的流程图里的任何例程描述、元素或框理解为潜在地表示包括用于实现例程中的特定逻辑功能或元素的一个或多个可执行指令的模块、段或代码部分。替代实施方式也包括在本文所描述的示例的范围内,其中,根据所涉及的功能,元素或功能可以被删除,或者以与所示出或讨论的不同顺序(其包括基本上同步或相反的顺序)被执行,如本领域普通技术人员将理解的那样。应当强调,可以对上面所描述的示例进行许多变化和修改,其中的元素应被理解为其他可接受的示例。所有这些修改和变化旨在包括在本公开内容的范围内并且由所附权利要求保护。
条款:
以上解释的众多特征、方面和/或细节可以用如下限定的一个或多个条款来表示:
条款1:一种方法,包括:从多个计算设备接收控制数据(375),其中,所述多个计算设备(375)中的每个计算设备(106)与用于访问远程会议会话(104)的不同用户身份相关联;基于社交信号、音频信号或定位数据中的至少一项,从所述多个计算设备(375)确定计算设备子集(376);从所述计算设备子集(376)确定主计算设备(106E),并且从所述计算设备子集(376)确定一个或多个辅计算设备(106B-106D);将第一远程会议数据(146(1))传送给所述主计算设备(106E),所述第一远程会议数据(146(1))使所述主计算设备(106E)显示具有核心远程会议控制元件(403)的第一用户界面布置(400),所述核心远程会议控制元件(403)被配置为控制所述远程会议会话(104)的状态;以及将第二远程会议数据(146(2))传送给所述一个或多个辅计算设备(376),所述第二远程会议数据(146(2))使所述一个或多个辅计算设备(376)显示具有共享控制元件(501)的第二用户界面布置(500),所述共享控制元件(501)被配置为从所述一个或多个辅计算设备(376)接收对要共享的内容的选择。
条款2:如条款1所述的方法,其中,所述定位数据包括以下各项中的至少一项:定义GPS位置的数据、定义蓝牙信号强度的数据、定义Wi-Fi三角测量的数据、定义超声水印的数据或定义近场通信信号的特性的数据。
条款3:如以上条款中的任一条款所述的方法,其中,所述主计算设备是所述计算设备子集中的加入所述远程会议会话的第一计算设备。
条款4:如以上条款中的任一条款所述的方法,其中,分析所述数据包括:分析与所述多个计算设备中的一个或多个计算设备相关联的优先级值;以及确定所述主计算设备具有取代其余计算设备的优先级值的优先级值。
条款5:如以上条款中的任一条款所述的方法,其中,所述方法还包括:禁用所述多个计算设备中的一个或多个计算设备的音频组件。
条款6:如以上条款中的任一条款所述的方法,其中,所述一个或多个辅计算设备被配置为在辅操作模式下操作,并且所述主计算设备被配置为在主操作模式下操作。
条款7:如条款1-6中任一条款所述的方法,其中,所述方法还包括:从所述一个或多个辅计算设备中的第一计算设备接收用于升级到主操作模式的请求;以及将所述第一远程会议数据传送给所述第一计算设备。
条款8:如以上条款中的任一条款所述的方法,其中,所述方法还包括:确定所述一个或多个辅计算设备中的第一计算设备不再在所述计算设备子集内;以及将所述第一远程会议数据传送给所述第一计算设备。
条款9:如以上条款中的任一条款所述的方法,其中,所述社交信号包括社交网络信号、日历信号、联系人列表信号和联系人关系信号。
条款10:如以上条款中的任一条款所述的方法,其中,所述第二用户界面布置包括简化的用户界面,所述简化的用户界面被配置为至少部分地基于活动水平来显示所述远程会议数据的子部分。
条款11:一种方法,包括:接收用于指示多个计算设备(375)的位置的数据;基于所述用于指示位置的数据来确定多个计算设备(375)中的计算设备子集(376)是共址的;从所述计算设备子集(376)中选择主计算设备(106E)以在主操作模式下操作,并且从所述计算设备子集(376)中选择一个或多个辅计算设备(106B-106D)以在辅操作模式下操作;生成远程会议数据(146),所述远程会议数据包括与远程会议会话(104)相关联的多个流(142);将所述远程会议数据(146)传送给所述主计算设备(106E);以及将所述远程会议数据的子部分(146(2))传送给所述一个或多个辅计算设备(106B-106D),其中,所述子部分包括基于活动水平从所述多个流(142)中选择的流(142)。
条款12:如以上条款中的任一条款所述的方法,其中,所述主操作模式包括一组核心远程会议控制元件的渲染,所述核心远程会议控制元件被配置为控制所述远程会议会话的状态。
条款13:如以上条款中的任一条款所述的方法,其中,所述辅操作模式包括一组共享控制元件的渲染,所述共享控制元件被配置为从所述一个或多个辅计算设备接收对要共享的内容的选择。
条款14:如以上条款中的任一条款所述的方法,其中,选择所述主计算设备包括:确定所述计算设备子集中的计算设备首先加入所述远程会议会话。
条款15:如以上条款中的任一条款所述的方法,其中,选择所述主计算设备包括:分析与所述计算设备子集中的一个或多个计算设备相关联的优先级值;以及确定所述计算设备子集中的计算设备具有取代所述计算设备子集中的计算设备的优先级值的优先级值。
条款16:如以上条款中的任一条款所述的方法,其中,所述方法还包括:禁用所述一个或多个辅计算设备的音频组件。
条款17:如以上条款中的任一条款所述的方法,其中,所述用于指示所述多个计算设备的位置的数据包括社交信号、音频信号或定位数据。
条款18:如以上条款中的任一条款所述的方法,其中,所述定位数据包括以下各项中的至少一项:定义GPS位置的数据、定义蓝牙信号强度的数据、定义Wi-Fi三角测量的数据、定义超声水印的数据或定义近场通信信号的特性的数据。
条款19:如以上条款中的任一条款所述的方法,还包括:从所述一个或多个辅设备的计算设备的相机接收用于共享视频内容的请求;以及将所述视频内容添加到所述远程会议数据和所述远程会议数据的子部分。
条款20,如以上条款中的任一条款所述的方法,还包括:确定所述一个或多个辅计算设备中的计算设备不再共址;以及将所述远程会议数据传送给所述计算设备。
条款21:如以上条款中的任一条款所述的方法,其中,所述多个计算设备中的至少两个计算设备与不同的用户身份相关联。
条款22:一种系统,包括:一个或多个处理单元;以及计算机可读介质,其上编码有计算机可执行指令,以使所述一个或多个处理单元:从多个计算设备(375)接收控制数据;基于社交信号、音频信号或定位数据中的至少一项,从所述多个计算设备(375)确定计算设备子集(376);从所述计算设备子集(376)确定主计算设备(106E),并且从所述计算设备子集(376)确定一个或多个辅计算设备(106B-106D);将第一远程会议数据(146(1))传送给所述主计算设备(106E),所述第一远程会议数据(146(1)使所述主计算设备(106E)显示具有核心远程会议控制元件(403)的第一用户界面布置(400),所述核心远程会议控制元件(403)被配置为控制所述远程会议会话(104)的状态;以及将第二远程会议数据(146(2))传送给所述一个或多个辅计算设备(106B-106D),所述第二远程会议数据(146(2))使所述一个或多个辅计算设备(106B-106D)显示具有共享控制元件(501)的第二用户界面布置(500),所述共享控制元件(501)被配置为从所述一个或多个辅计算设备(106B-106D)接收对要共享的内容的选择。
条款23:如条款22所述的系统,其中,所述计算机可执行指令还使所述一个或多个处理单元从所述一个或多个辅计算设备中的计算设备接收用于升级到所述主操作模式的请求;以及将所述第一远程会议数据传送给所述计算设备。
条款24:如条款22和23中的任一条款所述的系统,其中,所述计算机可执行指令还使所述一个或多个处理单元确定所述一个或多个辅计算设备中的计算设备不再在所述计算设备子集内;以及将所述第一远程会议数据传送给所述计算设备。
条款25,如以上条款中的任一条款所述的系统,其中,所述一个或多个辅计算设备被配置为在辅操作模式下操作,并且所述主计算设备被配置为在主操作模式下操作。

Claims (15)

1.一种方法,包括:
从多个计算设备接收控制数据,其中,所述多个计算设备中的每个计算设备与用于访问远程会议会话的不同用户身份相关联;
基于社交信号、音频信号或定位数据中的至少一项,从所述多个计算设备确定计算设备子集;
从所述计算设备子集确定主计算设备,并且从所述计算设备子集确定一个或多个辅计算设备;
将第一远程会议数据传送给所述主计算设备,所述第一远程会议数据使所述主计算设备显示具有核心远程会议控制元件的第一用户界面装置,所述核心远程会议控制元件被配置为控制所述远程会议会话的状态;以及
将第二远程会议数据传送给所述一个或多个辅计算设备,所述第二远程会议数据使所述一个或多个辅计算设备显示具有共享控制元件的第二用户界面布置,所述共享控制元件被配置为从所述一个或多个辅计算设备接收对要共享的内容的选择。
2.根据权利要求1所述的方法,其中,所述定位数据包括以下各项中的至少一项:定义GPS位置的数据、定义蓝牙信号强度的数据、定义Wi-Fi三角测量的数据、定义超声水印的数据或定义近场通信信号的特性的数据。
3.如权利要求1所述的方法,其中,所述主计算设备是所述计算设备子集中加入所述远程会议会话的第一计算设备。
4.如权利要求1所述的方法,其中,分析所述数据包括:
分析与所述多个计算设备中的一个或多个计算设备相关联的优先级值;以及
确定所述主计算设备具有取代其余计算设备的优先级值的优先级值。
5.如权利要求1所述的方法,其中,所述方法还包括:
禁用所述多个计算设备中的一个或多个计算设备的音频组件。
6.根据权利要求1所述的方法,其中,所述一个或多个辅计算设备被配置为在辅操作模式下操作,并且所述主计算设备被配置为在主操作模式下操作。
7.如权利要求1所述的方法,其中,所述方法还包括:
从所述一个或多个辅计算设备中的第一计算设备接收用于升级到所述主操作模式的请求;以及
将所述第一远程会议数据传送给所述第一计算设备。
8.如权利要求1所述的方法,其中,所述方法还包括:
确定所述一个或多个辅计算设备中的第一计算设备不再在所述计算设备子集内;以及
将所述第一远程会议数据传送给所述第一计算设备。
9.根据权利要求1所述的方法,其中,所述社交信号包括社交网络信号、日历信号、联系人列表信号和联系人关系信号。
10.根据权利要求1所述的方法,其中,所述第二用户界面布置包括简化的用户界面,所述简化的用户界面被配置为至少部分地基于活动水平来显示所述远程会议数据的子部分。
11.一种方法,包括:
接收用于指示多个计算设备的位置的数据;
基于所述用于指示位置的数据来确定所述多个计算设备中的计算设备子集是共址的;
从所述计算设备子集中选择主计算设备以在主操作模式下操作,并且从所述计算设备子集中选择一个或多个辅计算设备以在辅操作模式下操作;
生成包括与远程会议会话相关联的多个流的远程会议数据;
将所述远程会议数据传送给所述主计算设备;以及
将所述远程会议数据的子部分传送给所述一个或多个辅计算设备,其中,所述子部分包括基于活动水平从所述多个流中选择的流。
12.如权利要求11所述的方法,其中,所述主操作模式包括一组核心远程会议控制元件的渲染,所述核心远程会议控制元件被配置为控制所述远程会议会话的状态。
13.如权利要求11所述的方法,其中,所述辅操作模式包括一组共享控制元件的渲染,所述共享控制元件被配置为从所述一个或多个辅计算设备接收对要共享的内容的选择。
14.如权利要求11所述的方法,其中,选择所述主计算设备包括:
确定所述计算设备子集中的计算设备首先加入所述远程会议会话。
15.一种系统,包括:
一个或多个处理单元;以及
计算机可读介质,其上编码有计算机可执行指令以使所述一个或多个处理单元
从多个计算设备接收控制数据;
基于社交信号、音频信号或定位数据中的至少一项,从所述多个计算设备确定计算设备子集;
从所述计算设备子集确定主计算设备,并且从所述计算设备子集确定一个或多个辅计算设备;
将第一远程会议数据传送给所述主计算设备,所述第一远程会议数据使所述主计算设备显示具有核心远程会议控制元件的第一用户界面布置,所述核心远程会议控制元件被配置为控制所述远程会议会话的状态;以及
将第二远程会议数据传送给所述一个或多个辅计算设备,所述第二远程会议数据使所述一个或多个辅计算设备显示具有共享控制元件的第二用户界面布置,所述共享控制元件被配置为从所述一个或多个辅计算设备接收对要共享的内容的选择。
CN201780067327.2A 2016-10-31 2017-10-24 加入远程会议会话的增强型技术 Withdrawn CN109891878A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662415403P 2016-10-31 2016-10-31
US62/415,403 2016-10-31
US15/480,325 US11212326B2 (en) 2016-10-31 2017-04-05 Enhanced techniques for joining communication sessions
US15/480,325 2017-04-05
PCT/US2017/057947 WO2018081029A1 (en) 2016-10-31 2017-10-24 Enhanced techniques for joining teleconferencing sessions

Publications (1)

Publication Number Publication Date
CN109891878A true CN109891878A (zh) 2019-06-14

Family

ID=62019994

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780067327.2A Withdrawn CN109891878A (zh) 2016-10-31 2017-10-24 加入远程会议会话的增强型技术
CN201780067116.9A Active CN109923859B (zh) 2016-10-31 2017-10-24 在远程会议会话中进行实时协作的伴随设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201780067116.9A Active CN109923859B (zh) 2016-10-31 2017-10-24 在远程会议会话中进行实时协作的伴随设备

Country Status (4)

Country Link
US (2) US11212326B2 (zh)
EP (2) EP3533221A1 (zh)
CN (2) CN109891878A (zh)
WO (2) WO2018081029A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112312058A (zh) * 2020-03-22 2021-02-02 北京字节跳动网络技术有限公司 交互方法、装置和电子设备
CN113872778A (zh) * 2021-10-15 2021-12-31 北京百度网讯科技有限公司 一种设备连接方法、装置、设备以及存储介质
CN115242566A (zh) * 2022-06-28 2022-10-25 深圳乐播科技有限公司 一种云会议加入方法及装置

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003107146A2 (en) * 2002-06-18 2003-12-24 Wink Interactive, Llc Method, apparatus and system for management of information content for enhanced accessibility over wireless communication networks
WO2015183367A1 (en) 2014-05-30 2015-12-03 Apple Inc. Continuity
DK201670622A1 (en) 2016-06-12 2018-02-12 Apple Inc User interfaces for transactions
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
US10728193B2 (en) * 2017-11-17 2020-07-28 International Business Machines Corporation Receiving and sharing files in a group messaging environment
DK201870364A1 (en) 2018-05-07 2019-12-03 Apple Inc. MULTI-PARTICIPANT LIVE COMMUNICATION USER INTERFACE
CN109005443B (zh) * 2018-08-24 2021-05-28 重庆虚拟实境科技有限公司 Vr-ar一体机终端真人远程交互方法以及基于其的系统
CN109059901B (zh) * 2018-09-06 2020-02-11 深圳大学 一种基于社交应用的ar导航方法、存储介质及移动终端
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US10616151B1 (en) * 2018-10-17 2020-04-07 Asana, Inc. Systems and methods for generating and presenting graphical user interfaces
CN111258528B (zh) * 2018-12-03 2021-08-13 华为技术有限公司 语音用户界面的显示方法和会议终端
US11190568B2 (en) * 2019-01-09 2021-11-30 Bose Corporation Multimedia communication encoding system
PL3912312T3 (pl) * 2019-01-15 2022-11-21 Telefonaktiebolaget Lm Ericsson (Publ) Zapewnianie usług komunikacyjnych przy użyciu zestawów urządzeń We/Wy
US10764442B1 (en) * 2019-03-27 2020-09-01 Lenovo (Singapore) Pte Ltd Muting an audio device participating in a conference call
US11271762B2 (en) * 2019-05-10 2022-03-08 Citrix Systems, Inc. Systems and methods for virtual meetings
US11010121B2 (en) 2019-05-31 2021-05-18 Apple Inc. User interfaces for audio media control
KR20240049648A (ko) 2019-05-31 2024-04-16 애플 인크. 오디오 미디어 제어를 위한 사용자 인터페이스
EP3984032A1 (en) * 2019-06-17 2022-04-20 Google LLC Methods, systems, and media for providing dynamic media sessions
US11240470B2 (en) 2019-07-08 2022-02-01 Nextiva, Inc. Multi-device teleconferences
CN110430384B (zh) * 2019-08-23 2020-11-03 珠海格力电器股份有限公司 视频通话方法、装置以及智能终端、存储介质
US11546391B2 (en) 2019-11-01 2023-01-03 Microsoft Technology Licensing, Llc Teleconferencing interfaces and controls for paired user computing devices
US11304246B2 (en) 2019-11-01 2022-04-12 Microsoft Technology Licensing, Llc Proximity-based pairing and operation of user-specific companion devices
US11256392B2 (en) * 2019-11-01 2022-02-22 Microsoft Technology Licensing, Llc Unified interfaces for paired user computing devices
US11057702B1 (en) * 2019-12-20 2021-07-06 Microsoft Technology Licensing, Llc Method and system for reducing audio feedback
CN111596985B (zh) * 2020-04-24 2023-03-14 腾讯科技(深圳)有限公司 多媒体会议场景下的界面显示方法、装置、终端及介质
CN112311754B (zh) * 2020-06-02 2022-09-30 北京字节跳动网络技术有限公司 交互方法、装置和电子设备
US12113844B2 (en) * 2020-09-15 2024-10-08 Carrier Corporation Digital data processing
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
US11769115B1 (en) 2020-11-23 2023-09-26 Asana, Inc. Systems and methods to provide measures of user workload when generating units of work based on chat sessions between users of a collaboration environment
WO2022140557A1 (en) * 2020-12-22 2022-06-30 Dolby Laboratories Licensing Corporation Acoustic feedback reduction in co-located audioconferencing devices
US11843647B2 (en) * 2021-04-30 2023-12-12 Zoom Video Communications, Inc. Control of dedicated meeting room devices for video communications
US20220360949A1 (en) * 2021-05-05 2022-11-10 Lightspeed Technologies, Inc. Registration and mode switching for devices in a distributed audio system
US11893214B2 (en) 2021-05-15 2024-02-06 Apple Inc. Real-time communication user interface
US11907605B2 (en) * 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
US11928303B2 (en) 2021-05-15 2024-03-12 Apple Inc. Shared-content session user interfaces
US11847378B2 (en) 2021-06-06 2023-12-19 Apple Inc. User interfaces for audio routing
US20230064462A1 (en) * 2021-08-24 2023-03-02 International Business Machines Corporation Cognitive core network selection for conference calling
GB2612015A (en) * 2021-09-06 2023-04-26 Laduma Ltd System and method for interactive meeting with both in-room attendees and remote attendees
US11677906B2 (en) * 2021-09-10 2023-06-13 Zoom Video Communications, Inc. Secondary mode device software access for primary mode device users
US11812135B2 (en) 2021-09-24 2023-11-07 Apple Inc. Wide angle video conference
US11775606B2 (en) * 2021-10-29 2023-10-03 Weld North Education LLC Inter-browser presentation control
US20230199041A1 (en) * 2021-12-21 2023-06-22 Nevolane Business Gmbh Remote collaboration platform
WO2023196231A1 (en) * 2022-04-04 2023-10-12 Apple Inc. User interfaces for camera sharing
US11570218B1 (en) * 2022-04-06 2023-01-31 Discovery.Com, Llc Systems and methods for synchronous group device transmission of streaming media and related user interfaces
US12081607B2 (en) 2022-12-23 2024-09-03 Dropbox, Inc. Shared capture session

Family Cites Families (89)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1145096B1 (en) 1998-11-24 2007-01-17 Telefonaktiebolaget LM Ericsson (publ) Mobile telephone auto pc logon
FI110560B (fi) 2000-12-27 2003-02-14 Nokia Corp Ryhmän muodostaminen langattomille kommunikaatiopäätelaitteille
US8934382B2 (en) 2001-05-10 2015-01-13 Polycom, Inc. Conference endpoint controlling functions of a remote device
US20030048174A1 (en) 2001-09-11 2003-03-13 Alcatel, Societe Anonyme Electronic device capable of wirelessly transmitting a password that can be used to unlock/lock a password protected electronic device
US7191233B2 (en) 2001-09-17 2007-03-13 Telecommunication Systems, Inc. System for automated, mid-session, user-directed, device-to-device session transfer system
US8081205B2 (en) 2003-10-08 2011-12-20 Cisco Technology, Inc. Dynamically switched and static multiple video streams for a multimedia conference
US7279060B2 (en) 2004-05-04 2007-10-09 Eastman Kodak Company Guarded cover film for LCD polarizers
US7450084B2 (en) 2004-12-17 2008-11-11 Microsoft Corporation System and method for managing computer monitor configurations
US7554571B1 (en) 2005-03-18 2009-06-30 Avaya Inc. Dynamic layout of participants in a multi-party video conference
US20060224882A1 (en) 2005-03-31 2006-10-05 Microsoft Corporation Method and system for unlocking a computing device
US8661540B2 (en) 2005-10-07 2014-02-25 Imation Corp. Method and apparatus for secure credential entry without physical entry
US7394366B2 (en) 2005-11-15 2008-07-01 Mitel Networks Corporation Method of detecting audio/video devices within a room
US20070300165A1 (en) 2006-06-26 2007-12-27 Microsoft Corporation, Corporation In The State Of Washington User interface for sub-conferencing
US8139752B2 (en) 2006-07-28 2012-03-20 Ubiquity Software Corporation Limited Voice conference control from an instant messaging session using an automated agent
US8503651B2 (en) 2006-12-27 2013-08-06 Nokia Corporation Teleconferencing configuration based on proximity information
US7973857B2 (en) 2006-12-27 2011-07-05 Nokia Corporation Teleconference group formation using context information
US8677270B2 (en) 2007-05-04 2014-03-18 Microsoft Corporation Live companion user interface
US20080281971A1 (en) 2007-05-07 2008-11-13 Nokia Corporation Network multimedia communication using multiple devices
US8446454B2 (en) 2007-05-21 2013-05-21 Polycom, Inc. Dynamic adaption of a continuous presence videoconferencing layout based on video content
KR20100007625A (ko) 2008-07-14 2010-01-22 엘지전자 주식회사 이동 단말기 및 그 메뉴 표시 방법
US8350891B2 (en) 2009-11-16 2013-01-08 Lifesize Communications, Inc. Determining a videoconference layout based on numbers of participants
US20110119389A1 (en) * 2009-11-19 2011-05-19 Microsoft Corporation Transferring multiple communication modalities during a conversation
US20110271207A1 (en) * 2010-04-30 2011-11-03 American Teleconferencing Services Ltd. Location-Aware Conferencing
US20110292161A1 (en) 2010-05-25 2011-12-01 Vidyo, Inc. Systems And Methods For Scalable Video Communication Using Multiple Cameras And Multiple Monitors
NO332222B1 (no) 2010-07-26 2012-07-30 Cisco Tech Inc Fremgangsmate og samhandlingsserver for a overfore en samhandlingssesjon, samt et multimedieendepunkt
US8379077B2 (en) 2010-11-24 2013-02-19 Cisco Technology, Inc. Automatic layout and speaker selection in a continuous presence video conference
US8647202B2 (en) 2010-12-16 2014-02-11 Microsoft Corporation Companion object customization
US20120182384A1 (en) 2011-01-17 2012-07-19 Anderson Eric C System and method for interactive video conferencing
CN102625304B (zh) 2011-01-27 2016-01-20 腾讯科技(深圳)有限公司 失效移动终端关联应用记住密码的系统、装置及方法
US20120280789A1 (en) 2011-05-02 2012-11-08 Apigy Inc. Systems and methods for controlling a locking mechanism using a portable electronic device
US8918722B2 (en) 2011-05-06 2014-12-23 David H. Sitrick System and methodology for collaboration in groups with split screen displays
US9369673B2 (en) * 2011-05-11 2016-06-14 Blue Jeans Network Methods and systems for using a mobile device to join a video conference endpoint into a video conference
US9565708B2 (en) 2011-05-20 2017-02-07 Microsoft Technology Licensing, Llc Auto-connect in a peer-to-peer network
US20160342784A1 (en) 2011-07-15 2016-11-24 Vmware, Inc. Mobile device authentication
US9800688B2 (en) 2011-09-12 2017-10-24 Microsoft Technology Licensing, Llc Platform-enabled proximity service
JP6135055B2 (ja) 2011-09-16 2017-05-31 株式会社リコー 情報提供装置、伝送システムおよびプログラム
US8896651B2 (en) 2011-10-27 2014-11-25 Polycom, Inc. Portable devices as videoconferencing peripherals
US9021557B2 (en) 2011-10-27 2015-04-28 Stmicroelectronics Pte Ltd System and method for security using a sibling smart card
US9131333B2 (en) 2011-12-30 2015-09-08 Linkedin Corporation Systems and methods for mobile device pairing
US20130219288A1 (en) 2012-02-20 2013-08-22 Jonathan Rosenberg Transferring of Communication Event
US8786517B2 (en) 2012-02-21 2014-07-22 Blackberry Limited System and method for displaying a user interface across multiple electronic devices
US20130219303A1 (en) 2012-02-21 2013-08-22 Research In Motion Tat Ab Method, apparatus, and system for providing a shared user interface
US20140006495A1 (en) 2012-06-29 2014-01-02 International Business Machines Corporation Authorizing access to a web conference for a specified duration of time
US20140026070A1 (en) 2012-07-17 2014-01-23 Microsoft Corporation Dynamic focus for conversation visualization environments
US20140028726A1 (en) 2012-07-30 2014-01-30 Nvidia Corporation Wireless data transfer based spanning, extending and/or cloning of display data across a plurality of computing devices
WO2014023851A1 (en) * 2012-08-10 2014-02-13 Nec Europe Ltd. Method and system for providing content for user devices
US9026053B2 (en) 2013-02-17 2015-05-05 Fitbit, Inc. System and method for wireless device pairing
US9369672B2 (en) 2013-03-14 2016-06-14 Polycom, Inc. Intelligent layouts for call scaling and layout persistence
US9400895B2 (en) 2013-03-15 2016-07-26 Intel Corporation Mechanisms for locking computing devices
US9137723B2 (en) 2013-03-15 2015-09-15 Facebook, Inc. Portable platform for networked computing
US20140315489A1 (en) 2013-04-22 2014-10-23 Htc Corporation Method for performing wireless display sharing, and associated apparatus and associated computer program product
US9407866B2 (en) 2013-05-20 2016-08-02 Citrix Systems, Inc. Joining an electronic conference in response to sound
US10243786B2 (en) 2013-05-20 2019-03-26 Citrix Systems, Inc. Proximity and context aware mobile workspaces in enterprise systems
US9172908B2 (en) 2013-06-18 2015-10-27 Microsoft Technology Licensing, Llc Unpaired devices
CN104469256B (zh) 2013-09-22 2019-04-23 思科技术公司 沉浸式和交互式的视频会议房间环境
US9088694B2 (en) 2013-10-03 2015-07-21 Avaya, Inc. Adjusting video layout
GB201319687D0 (en) 2013-11-07 2013-12-25 Microsoft Corp Call handling
US9391982B1 (en) 2014-02-27 2016-07-12 Cullen/Frost Bankers, Inc. Network authentication of multiple profile accesses from a single remote device
US20150271273A1 (en) 2014-03-18 2015-09-24 CafeX Communications Inc. System for Using a Device as a Side Car
US10055567B2 (en) 2014-05-30 2018-08-21 Apple Inc. Proximity unlock and lock operations for electronic devices
WO2015187941A1 (en) 2014-06-05 2015-12-10 Reel, Inc. Apparatus and method for sharing content items among a plurality of mobile devices
US9485414B2 (en) 2014-06-20 2016-11-01 John Visosky Eye contact enabling device for video conferencing
US9602771B2 (en) 2014-12-10 2017-03-21 Polycom, Inc. Automated layouts optimized for multi-screen and multi-camera videoconferencing calls
US9438643B2 (en) * 2015-01-15 2016-09-06 Cisco Technology, Inc. Multi-device conference participation
US10440757B2 (en) 2015-02-17 2019-10-08 Google Llc Second-screen control automatic pairing using push notifications
US10701120B2 (en) 2015-03-06 2020-06-30 Disney Enterprises, Inc. Proximity based entitlement sharing
US9819902B2 (en) 2015-03-19 2017-11-14 Microsoft Technology Licensing, Llc Proximate resource pooling in video/audio telecommunications
US9848075B1 (en) 2015-05-14 2017-12-19 Invoy Technologies, Llc Communication system for pairing user devices with medical devices
US9913079B2 (en) 2015-06-05 2018-03-06 Apple Inc. Cloud-based proximity pairing and switching for peer-to-peer devices
US9801219B2 (en) 2015-06-15 2017-10-24 Microsoft Technology Licensing, Llc Pairing of nearby devices using a synchronized cue signal
US11106417B2 (en) 2015-06-23 2021-08-31 Airwatch, Llc Collaboration systems with managed screen sharing
US9602956B1 (en) 2015-08-25 2017-03-21 Yahoo! Inc. System and method for device positioning with bluetooth low energy distributions
US10031577B2 (en) 2015-10-05 2018-07-24 International Business Machines Corporation Gaze-aware control of multi-screen experience
US10244057B2 (en) 2015-10-09 2019-03-26 Adobe Systems Incorporated Techniques for associating and sharing data from multiple local devices
US10334076B2 (en) 2016-02-22 2019-06-25 Google Llc Device pairing in augmented/virtual reality environment
CN105704426B (zh) 2016-03-17 2019-10-25 华为技术有限公司 一种进行视频会议的方法、装置和系统
US10999331B1 (en) 2016-07-06 2021-05-04 Google Llc Reverse discovery and pairing of client devices to a media device
US20180267774A1 (en) 2017-03-16 2018-09-20 Cisco Technology, Inc. Conference assistant device with configurable user interfaces based on operational state
US10838681B2 (en) 2017-04-05 2020-11-17 Panasonic Avionics Corporation Screen mirroring from personal electronic devices to transportation vehicle display screens
EP3759957A4 (en) 2018-03-02 2022-02-09 Nitto Denko Corporation DEVICE PAIRING SYSTEM AND METHOD AND DEVICE COMMUNICATION CONTROL SYSTEM AND METHOD
JP7073526B2 (ja) 2018-04-02 2022-05-23 グーグル エルエルシー インタラクティブなクラウドゲームのための方法、デバイス、およびシステム
US10824384B2 (en) 2018-04-30 2020-11-03 Dell Products L.P. Controller for providing sharing between visual devices
DK201870364A1 (en) 2018-05-07 2019-12-03 Apple Inc. MULTI-PARTICIPANT LIVE COMMUNICATION USER INTERFACE
US11095659B2 (en) 2018-05-30 2021-08-17 Cisco Technology, Inc. Personalized services based on confirmed proximity of user
US10841174B1 (en) 2018-08-06 2020-11-17 Apple Inc. Electronic device with intuitive control interface
US20210004454A1 (en) 2019-07-07 2021-01-07 Apple Inc. Proof of affinity to a secure event for frictionless credential management
US11304246B2 (en) 2019-11-01 2022-04-12 Microsoft Technology Licensing, Llc Proximity-based pairing and operation of user-specific companion devices
US11256392B2 (en) 2019-11-01 2022-02-22 Microsoft Technology Licensing, Llc Unified interfaces for paired user computing devices
US11546391B2 (en) 2019-11-01 2023-01-03 Microsoft Technology Licensing, Llc Teleconferencing interfaces and controls for paired user computing devices

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112312058A (zh) * 2020-03-22 2021-02-02 北京字节跳动网络技术有限公司 交互方法、装置和电子设备
CN113872778A (zh) * 2021-10-15 2021-12-31 北京百度网讯科技有限公司 一种设备连接方法、装置、设备以及存储介质
CN113872778B (zh) * 2021-10-15 2023-07-14 北京百度网讯科技有限公司 一种设备连接方法、装置、设备以及存储介质
CN115242566A (zh) * 2022-06-28 2022-10-25 深圳乐播科技有限公司 一种云会议加入方法及装置
CN115242566B (zh) * 2022-06-28 2023-09-05 深圳乐播科技有限公司 一种云会议加入方法及装置

Also Published As

Publication number Publication date
WO2018081029A1 (en) 2018-05-03
US20180124128A1 (en) 2018-05-03
US20180124136A1 (en) 2018-05-03
WO2018081030A1 (en) 2018-05-03
CN109923859B (zh) 2021-07-30
CN109923859A (zh) 2019-06-21
US11212326B2 (en) 2021-12-28
EP3533222A1 (en) 2019-09-04
EP3533221A1 (en) 2019-09-04
US11310294B2 (en) 2022-04-19

Similar Documents

Publication Publication Date Title
CN109891878A (zh) 加入远程会议会话的增强型技术
US11336959B2 (en) Method and apparatus for enhancing audience engagement via a communication network
US11044442B2 (en) Method and apparatus for providing video conferencing
US9247204B1 (en) Automatic mute control for video conferencing
CN109891827A (zh) 电信会话的综合多任务接口
US10924709B1 (en) Dynamically controlled view states for improved engagement during communication sessions
US20140229866A1 (en) Systems and methods for grouping participants of multi-user events
CN107534656A (zh) 用于通信会话参与者的可视配置
US20170169726A1 (en) Method and apparatus for managing feedback based on user monitoring
EP3108416B1 (en) Techniques for interfacing a user to an online meeting
KR20200087284A (ko) 영상 회의 시스템에서의 아바타 이용
US20190377586A1 (en) Generating customized user interface layout(s) of graphical item(s)
CN114600430A (zh) 基于内容特征的视频流订阅
Liu et al. Socialize spontaneously with mobile applications
KR20150079640A (ko) 실시간 통신 및 경험 공유 세션 동안 서비스를 업데이트하는 기법
US10423821B2 (en) Automated profile image generation based on scheduled video conferences
CN102016818A (zh) 预定和进行中事件参加者之间的通信
CN102165767A (zh) 用于创建第二事件的事件管理系统
JP2009253625A (ja) 情報収集・テレビ会議実施制御装置、情報収集・テレビ会議実施制御方法、情報収集・テレビ会議実施制御プログラムおよびテレビ会議システム
KR20190030549A (ko) 영상 채팅에 기반하여 광고 콘텐츠의 흐름을 제어하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
KR20210015379A (ko) 멀티미디어 콘텐츠 공유 방법 및 서버
US20240129432A1 (en) Systems and methods for enabling a smart search and the sharing of results during a conference
US11755340B2 (en) Automatic enrollment and intelligent assignment of settings
US20240169976A1 (en) Confirming remote consumer recording propagation to live event
US20240321254A1 (en) Acoustic echo suppression and cancellation for web-based virtual meeting platform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20190614