CN107534656A - 用于通信会话参与者的可视配置 - Google Patents

用于通信会话参与者的可视配置 Download PDF

Info

Publication number
CN107534656A
CN107534656A CN201680022125.1A CN201680022125A CN107534656A CN 107534656 A CN107534656 A CN 107534656A CN 201680022125 A CN201680022125 A CN 201680022125A CN 107534656 A CN107534656 A CN 107534656A
Authority
CN
China
Prior art keywords
participant
user
equipment
visually
participants
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201680022125.1A
Other languages
English (en)
Inventor
D·布伦施
J·T·福尔克纳
M·R·斯威夫特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN107534656A publication Critical patent/CN107534656A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/141—Setup of application sessions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/54—Presence management, e.g. monitoring or registration for receipt of user log-on information, or the connection status of the users
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephonic Communication Services (AREA)

Abstract

描述了用于针对通信会话参与者的可视配置的技术。根据各个实施例，建立包括视频馈送的通信会话，视频馈送是在参与通信会话的设备之间以流方式传送的。例如，视频馈送包括通信会话中的参与者的视频图像。确定在参与通信会话的特定设备处存在的参与者的数量，并且使用其生成给其它设备的用于在视觉上表示参与者的视频的指令。根据各个实施例，检测针对通信会话中的参与者的用户活动，并且使用其确定如何针对该通信会话在视觉上表示这些参与者。例如，在视觉上更为显著地呈现被确定为在通信会话中活跃的用户(与较不活跃的用户相比)。

Description

用于通信会话参与者的可视配置
背景技术
现代通信系统具有大量的能力，其包括各种通信形态与不同服务的集成。例如，即时消息传送、语音/视频通信、数据/应用共享、白板以及其它形式的通信可以与订户的存在和可用性信息相组合。这样的系统使得用户能够在通信会话期间交换各种类型的媒体，并且可以与提供不同种类的通信和协作能力的多式通信系统集成在一起。这样的集成系统有时被称为统一通信与协作(UC&C)系统。
虽然现代通信系统提供了通信方面的增加的灵活性，但是它们也提出了一些实现挑战。例如，在不同设备处的不同用户之间的通信会话通常涉及呈现不同用户的某种类型的可视表示。例如，可以捕获不同设备处捕获的视频馈送(video feed)，并且将其在参与通信会话的设备之间共享。替代地或者另外，可以呈现表示参与通信会话的用户的静态图像(例如，头像)。然而，对于涉及多个不同的设备处的多个用户的通信会话而言，呈现这些用户中的每个用户的可视表示可能消耗这些设备中的每个设备处的大量的可用显示区域。因此，确定如何在视觉上布置和优先化参与通信会话的不同用户的可视表示是现代通信系统的主要关注点。
发明内容
提供该发明内容，以便以简化的形式介绍以下在具体实施方式中进一步描述的一些概念。该发明内容并不旨在标识所要求保护的主题的关键特征或者必要特征，也不旨在用于辅助确定所要求保护的主题的范围。
描述了用于针对通信会话参与者的可视配置的技术。根据各个实施例，建立包括视频馈送的通信会话，视频馈送是在参与通信会话的设备之间以流方式传送的。例如，视频馈送包括通信会话中的参与者的视频图像。确定在参与通信会话的特定设备处存在的参与者的数量，并且使用其生成给其它设备的用于在视觉上表示参与者的视频的指令。根据各个实施例，检测针对通信会话中的参与者的用户活动，并且使用其确定如何针对该通信会话在视觉上表示这些参与者。例如，在视觉上更为显著地呈现被确定为在通信会话中活跃的用户(与较不活跃的用户相比)。
附图说明
参照附图来描述具体实施方式。在各图中，附图标记中最左侧的数字标识该附图标记首次出现的图。在描述和附图中的不同的实例中对相同附图标记的使用可以指示类似或者相同的项目。
图1是可操作为采用本文讨论的技术的示例实现中的环境的示图。
图2描绘了根据一个或多个实施例的用于显示通信会话中的用户的可视表示的示例实现场景。
图3描绘了根据一个或多个实施例的用于显示加入通信会话的用户的可视表示的示例实现场景。
图4描绘了根据一个或多个实施例的用于基于通信会话中的用户活动来布置用户画面(user visual)的示例实现场景。
图5描绘了根据一个或多个实施例的用于基于通信会话中的用户活动来布置多用户画面的示例实现场景。
图6描绘了根据一个或多个实施例的用于响应于额外的参与者来布置用于通信会话的客户端GUI的示例实现场景。
图7描绘了根据一个或多个实施例的用于布置用于共享内容的通信会话的的客户端GUI的示例实现场景。
图8描绘了根据一个或多个实施例的客户端GUI的示例布置。
图9描绘了根据一个或多个实施例的示例竖排(standing row)表格。
图10是描述根据一个或多个实施例的用于指定用于通信会话中的一个或多个参与者的可视配置的方法中的步骤的流程图。
图11是描述根据一个或多个实施例的用于呈现用于通信会话中的一个或多个参与者的用户画面的方法中的步骤的流程图。
图12是描述根据一个或多个实施例的用于确定用于通信会话中的一个或多个参与者的可视配置的方法中的步骤的流程图。
图13是描述根据一个或多个实施例的用于查明针对通信会话中的参与者的活动的方法中的步骤的流程图。
图14是描述根据一个或多个实施例的用于查明针对通信会话中的活跃参与者的活跃水平的方法中的步骤的流程图。
图15示出如参照图1描述的示例系统和计算设备，其被配置为实现本文描述的技术的实施例。
具体实施方式
概述
描述了用于通信会话参与者的可视配置的技术。在至少一些实现中，通信会话指代不同的通信端点之间的通信媒体的实时交换。通信会话的例子包括互联网协议上的语音(VoIP)呼叫、视频呼叫、文本消息传送、文件传输、内容共享和/或其组合。在至少一些实施例中，通信会话表示统一通信与协作(UC&C)会话。
根据各种实现，建立包括视频馈送的通信会话，视频馈送是在参与通信会话的设备之间以流方式传送的。例如，视频馈送包括通信会话中的参与者的视频图像。确定在参与通信会话的特定设备处存在的参与者的数量，并且使用其来生成给其它设备的用于在视觉上表示参与者的视频的指令。例如，如果在特定设备处检测到单个用户，那么所述指令指定该用户将根据单用户可视化来呈现。如果检测到多个用户，那么所述指令指定这些用户将根据多用户可视化来呈现。
根据各种实现，检测针对通信会话中的参与者的用户活动，并且使用其来确定如何针对该通信会话在视觉上表示这些参与者。例如，在视觉上更为显著地呈现被确定为在通信会话中活跃的用户(与不太活跃(例如，消极)的用户相比)。
在以下讨论中，首先描述了可操作为采用本文描述的技术的示例环境。接下来，名称为“示例实现场景”的部分描述了根据一个或多个实施例的一些示例实现场景。在此之后，名称为“示例过程”的部分描述了根据一个或多个实施例的一些示例过程。最后，名称为“示例系统和设备”的部分描述了根据一个或多个实施例的可操作性为采用本文讨论的技术的示例系统和设备。
在已经给出根据一个或多个实施例的示例实现的概述之后，现在考虑其中可以采用示例实现的示例环境。
示例环境
图1是在可操作为采用本文描述的用于针对通信会话参与者的可视配置的技术的示例实现中的环境100的示图。通常，环境100包括能够经由各种不同的形态实现通信的各个设备、服务和网络。例如，环境100包括连接到网络104的客户端设备102。客户端设备102可以以各种方式来配置，例如，传统计算机(例如，台式个人计算机、膝上型计算机等)、移动站、娱乐装置、智能电话、可穿戴设备、上网本、游戏控制台、手持设备(例如，平板设备)、混合现实设备(例如，虚拟现实(VR)头戴式耳机)等。出于以下讨论的目的，讨论了单个客户端设备102的属性，但是将明白的是，所讨论的属性类似地应用在客户端设备102的不同实例上。
网络104表示向客户端设备102提供到各种网络和/或服务(例如，互联网)的连接的网络。网络104可以经由各种不同的连接技术(例如，宽带电缆、数字用户线(DSL)、无线蜂窝、无线数据连接(例如，WiFiTM)、T载波(例如，T1)、以太网等)向客户端设备102提供连接。在至少一些实施例中，网络104表示不同的互连的有线和无线网络。
客户端设备102s包括使得各种活动和任务能够被执行的各种不同的功能。例如，客户端设备102包括操作系统110、应用108、通信客户端110以及通信模块112。通常，操作系统110表示用于对客户端设备102的各种系统组件(例如，硬件、内核级模块和服务等)进行抽象的功能。例如，操作系统110可以将客户端设备102的各个组件抽象为应用108，以能够实现这些组件与应用108之间的交互。
应用108表示用于经由客户端102执行不同任务的功能。应用108的例子包括文字处理应用、电子表格应用、网页浏览器、游戏应用等。应用108可以本地地安装在客户端设备102上，以经由本地运行时环境执行，和/或可以表示到远程功能(例如，基于云的服务、网页应用等)的门户。因此，应用108可以采用各种形式，例如，本地执行的代码、到远程托管服务的门户等。
通信客户端110表示能够实现经由客户端设备102的不同形式的通信的功能。通信客户端110的例子包括语音通信应用(例如，VoIP客户端)、视频通信应用、消息传送应用、内容共享应用、统一通信与协作(UC&C)应用以及其组合。例如，通信客户端110使得不同的通信形态能够被组合，以提供多种多样的通信场景。
通信模块112表示用于使得客户端设备102能够在有线和/或无线连接上传送数据的功能。例如，通信模块112表示用于在网络104上经由各种不同的有线和/或无线技术和协议的数据通信的硬件和逻辑单元。
客户端设备102还包括显示设备114、显示设备114和照相机116。显示设备114通常表示用于客户端设备102的可视输出的功能。另外，显示设备114表示用于接收各种类型的输入(例如，触摸输入、笔输入等)的功能。
照相机116表示捕获和记录可视图像(例如，静态图像、视频等)的功能。照相机116包括各种图像捕获组件，例如，光圈、镜头、反射镜、棱镜、电子图像传感器等。
在至少一些实现中，通信客户端110表示到通信服务118的接口。通常，通信服务118表示执行用于不同的客户端设备102之间的通信的管理的各种任务的服务。例如，通信服务118可以管理不同的客户端设备102的通信客户端110之间的通信会话的发起、调节和终止。
通信服务118维持跨越许多不同网络的存在，并且可以根据各种不同的架构(例如，基于云的服务、分布式服务、基于网络的服务等)来实现。通信服务118的例子包括VoIP服务、在线会议服务、UC&C服务等。
进一步关于本文描述的用于针对通信会话参与者的可视配置的技术，通信客户端110包括客户端图形用户接口(GUI)模块120、布局模块122、面部检测模块124以及活动检测模块126。客户端GUI模块120表示生成和输出用于通信客户端110的GUI的功能。布局模块122表示执行针对客户端GUI模块120的各种可视布置和布局计算的功能。例如，如以下详细描述的，布局模块122接收用于通信会话的各种状态信息，并且生成可视布置数据，其指定将如何在视觉上布置用于通信会话的GUI的可视属性。
面部检测模块124表示检测输入视频(从照相机116捕获的视频和/或从其它设备接收的视频数据)中的面部的图像的功能。在至少一些实现中，面部检测模块124对在特定视频馈送中检测到的不同的面部图像的数量进行量化，并且将该信息传送给其它功能。例如，面部检测模块124将在特定视频馈送中检测到的面部图像的数量传送给布局模块122。布局模块122使用该数量来确定用于显示特定视频馈送的可视布局，例如，被分配用于显示视频馈送的屏幕空间的量。
活动检测模块126表示检测通信会话期间的各种类型的活动、以及基于通信会话中的参与者各自的活动水平来对他们进行分类和/或标记的功能。比如，参与者在通信会话期间频繁地讲话，使得活动检测模块126检测到该参与者的媒体流中的频繁的语音信号，活动检测模块126将该参与者标记为活跃的参与者。此外，如果不同的参与者在通信会话期间很少讲话，使得活动检测模块126在该参与者的媒体流中检测到很少语音信号或者没有检测到语音信号，那么该参与者被标记为消极的参与者。活动检测模块126维护活动日志128，其存储用于通信会话中的不同的参与者的活动信息。例如，活动日志128包括用于不同的各个参与者的用户标识符，并且包括指定各个参与者是活跃的参与者还是消极的参与者的活动标志。此外，活动日志128可以包括用于活跃的参与者的活动得分，其将更为活跃的参与者与较不活跃的参与者区分开。活动检测模块126将该信息提供给不同的实体和功能，以通知涉及通信会话的各种决策。
例如，活动检测模块126将用于通信会话中的不同参与者的活动标记传送给布局模块122，并且布局模块122使用该活动信息来确定用于通信会话的GUI的可视布局。例如，并且如以下详细描述的，通信会话中的活跃的参与者的可视表示与消极的参与者的可视表示相比被显示得更为显著(例如，较大)。此外，可能发生通信会话期间活动水平的改变，使得由活动检测模块126针对参与者的活动水平动态地评估他们，并且如果他们的活动水平改变，则可以将其重新标记。
虽然通信客户端110的各个模块被描绘为在客户端设备102上实现，但是将明白的是，在一些额外或者替代实现中，这些模块中的一个或多个模块的功能可以经由基于网络的服务(例如，通信服务118)来部分地或者全部地实现。例如，通信服务118可以利用从通信会话的媒体流捕获的数据，来进行针对呈现在参与通信会话的设备处的GUI的布局决策。
环境100还描绘了通信会话130在客户端102的不同实例之间进行。例如，通信会话130表示不同的客户端设备102之间的语音和视频的实时交换。作为通信会话130的部分，客户端GUI 132被显示在显示设备114上。通常，客户端GUI 132包括通信会话130的不同属性的可视表示。例如，客户端GUI 132包括通信会话130中的参与者(例如，不同的客户端设备102的用户)的可视表示。如以下进一步详细描述的，采用本文描述的用于针对通信会话参与者的可视配置的技术，来基于各种因素(例如，通信会话中的参与者的总数、在特定位置处存在的参与者的数量、针对各个参与者的活动水平等)来确定用于客户端GUI 132的可视布置。
在已经描述了本文描述的技术可以在其中操作的示例环境之后，现在考虑对根据一个或多个实施例的用于针对通信会话参与者的可视配置的一些示例实现场景的讨论。
示例实现场景
以下部分描述了根据一个或多个实施例的用于针对通信会话参与者的可视配置的一些示例实现场景。这些实现场景可以在以上讨论的环境100和/或任何其它适当的环境中实现。
图2描绘了根据一种或多种实现的用于显示通信会话中的用户的可视表示的示例实现场景200。场景200包括以上参照环境100介绍的各个实体和组件。
在场景200中，通信会话202在客户端设备102a、客户端设备102b以及客户端设备102c之间进行。通常，客户端设备102a-102c表示以上介绍的客户端设备102的不同实例。通信会话202表示客户端设备102a-102c之间的不同通信媒体的交换，例如，音频、视频、文件、媒体内容和/或其组合。在该特定例子中，通信会话202涉及在网络104上在客户端设备102a-102c之间的语音数据和视频数据的实时交换。根据各种实现，由通信服务118管理通信会话202。
作为通信会话202的部分，用于客户端设备102a的显示设备114显示客户端GUI132，其表示用于通信客户端110的GUI。在客户端GUI 132内显示的是参与通信会话的参与者(即，用户)的可视表示。例如，客户端GUI 132包括竖排204、横排(sitting row)206以及预览窗口208，其均显示通信会话中的参与者的不同可视表示(“用户画面”)。
根据各种实现，竖排204表示客户端GUI 132中的利用用户画面初始填充的区域。例如，在通信会话202的发起期间，竖排204是利用用于要加入通信会话202的初始用户的用户画面来填充的。当填充到竖排的用户画面的数量达到门限数量时，将随后的用户画面填充到横排206中。如以下进一步详细描述的，当通信会话202正在进行时，至少部分地基于通信会话期间的用户活动来确定竖排204和横排206的可视配置。例如，与在横排206中呈现的用户画面相比，在竖排204中呈现的用户画面较大，并且因此，竖排204可以被保留用于最活跃的用户的用户画面。例如，竖排204表示客户端GUI 132的活跃区域。在横排206中表示在通信会话202期间较不活跃和/或消极的那些用户。例如，横排206表示客户端GUI 132的消极区域。
利用用于在客户端设备102a处存在的用户210a的用户画面来填充预览窗口208。例如，在预览窗口208内呈现来自照相机116的视频馈送，作为给用户210a的关于以下内容的通知：来自照相机116的视频馈送正在以流方式传送给参与通信会话202的其它客户端设备。
根据本文描述的用于针对通信会话参与者的可视配置的技术，基于在不同的客户端设备102处检测到的用户的数量来配置在客户端GUI 132中呈现的用户画面。例如，在客户端设备102c处的面部检测模块124检查在客户端设备102c处捕获的视频馈送，以及检测针对视频馈送中的用户210c的单个面部图像。通常，面部检测模块124可以采用任何适当的面部识别技术。因此，作为通信会话202的部分，客户端设备102c的通信客户端110c指示客户端设备102a的通信客户端110a根据单用户场景来呈现来自客户端设备102c的视频馈送。例如，通信客户端110c向通信客户端110a通知在来自客户端设备102c的视频馈送中存在单个用户图像。因此，通信客户端110a裁剪来自客户端设备102c的视频馈送，并且将视频馈送作为单用户画面212呈现在竖排204内。如所描绘的，单用户画面212包括用户210c的单个可视表示。
例如，通过裁剪从客户端设备102c接收的较大的视频帧，来生成单个用户画面212。例如，作为通信会话202的部分的、从客户端设备102c接收的视频馈送具有与单个用户画面212的纵横比不同的纵横比。在一种示例实现中，从客户端设备102c接收具有16:9纵横比的视频馈送。然而，响应于查明在客户端设备102c处存在单个用户，用于客户端102a的布局模块122裁剪视频馈送以便在客户端端GUI 132中显示为例如1:1纵横比。
以场景200继续，在客户端设备102b处的面部检测模块124检查在客户端设备102b处捕获的视频馈送，以及检测针对视频馈送中的用户210b的多个面部图像(例如，两个面部图像)。因此，作为通信会话202的部分，客户端设备102b的通信客户端110b指示通信客户端110a根据多用户场景来呈现来自客户端设备102b的视频馈送。例如，通信客户端110b向通信客户端110a通知在来自客户端设备102b的视频馈送中存在多个用户图像。因此，通信客户端110a将来自客户端设备102c的视频馈送作为多用户画面214呈现在竖排204内。如所描绘的，多用户画面214包括多个用户210b的可视表示。
在至少一些实现中，以诸如16:9之类的纵横比(例如，)呈现多用户画面214，所述多用户画面是以该纵横比在来自客户端设备102b的视频馈送中接收的。替代地，可以对来自客户端设备的视频馈送进行裁剪，以使得多用户画面214能够适配在竖排204内，同时维持多用户画面214内的用户210b的可视表示。
如在场景200中进一步描绘的，横排206包括用于通信会话202中的其它参与者的用户画面216。例如，用户画面216表示比在竖排204中表示的那些用户晚加入通信会话202的用户。替代地或者另外，用户画面202表示与竖排204中表示的那些用户相比较不活跃的用户。
根据各种实现，可以以各种方式生成用于各种用户画面的图形。例如，实时视频馈送可以是经由不同的客户端设备102处的照相机来捕获的，并且作为通信会话202的部分以流方式进行传送。替代地，特定用户画面可以包括表示特定用户的静态图像，例如，头像和/或快照。例如，如果特定客户端设备102处的视频馈送不活动和/或具有差的质量，那么将用于该客户端设备的用户的头像呈现为用户画面。替代地或者另外，用户可以选择快照控制，以手动地捕获用作用户画面的快照。
虽然参照在客户端设备102a上显示用户画面讨论了场景200，但是应明白的是，类似的逻辑可以应用于在参与通信会话的其它客户端设备(例如，客户端设备102b、102c)上布置和显示用户画面。
图3描绘了根据一种或多种实现的用于显示加入通信会话的用户的可视表示的示例实现场景300。场景300包括以上参照环境100介绍的各个实体和组件。
在场景300的上面部分中，在显示设备114上显示客户端GUI 132。在客户端GUI132内呈现的是针对通信会话呈现的用户画面302以及预览窗口208。通常，场景300的上面部分表示两个用户已经加入通信会话的场景，即，由用户画面302表示的用户以及在预览窗口208中表示的另一用户。如所描绘的，当仅有两个用户连接用于通信会话时，将用户画面302作为全窗口和/或全屏幕画面进行显示。此外，将预览窗口208呈现为用户画面302的插图。虽然以单个用户描绘了用户画面302，但是类似的逻辑可以应用于单个位置/设备处的多个用户，以使得在用户画面302内描绘多个用户。
继续到场景300的下一部分，另外的用户加入通信会话，并且因此在尺寸上减小用户画面302，以容纳用于另外的用户的用户画面304。例如，对用于不同用户的视频馈送进行裁剪，以使得在客户端GUI 132内用户画面302、304具有相等的大小和/或纵横比。此外，注意的是，在客户端GUI132中在用户画面302、304之外(之下)的区域中呈现预览窗口208。
继续到场景300的下一部分，又一用户加入通信会话。相应地，在尺寸和/或纵横比方面减小用户画面302、304，以容纳用于到来的用户的用户画面306。因此，将用户画面302-306作为用于客户端GUI 132的竖排204的部分进行呈现，并且将横排206呈现在客户端GUI132内。
继续到场景300的下面部分，另外的用户加入通信会话，并且因此，将用于另外的用户的用户画面308填充到横排206。例如，将竖排204视为处于最大画面容量，从而使得用于另外的用户的画面被填充到横排206。如以下进一步讨论的，可以基于针对参与通信会话的用户的活动水平的差异，发生对竖排204和横排206的重新配置。
因此，场景300示出了将用户画面填充到客户端GUI 132，以使得用户画面的尺寸最大化，同时在竖排204内均等地分配空间，直到竖排204处于最大画面容量为止。此外，一旦竖排204处于最大画面容量，就将额外的用户画面填充到横排206。
图4描绘了根据一种或多种实现的用于基于通信会话中的用户活动来布置用户画面的示例实现场景400。场景400包括以上参照环境100介绍的各个实体和组件，并且在至少一些实现中，表示以上描述的场景200、300中的一个或多个场景的扩展和/或变型。
场景400的上面部分包括在显示设备114上显示的客户端GUI 132，其中，竖排204和横排206填充有用于参与通信会话的用户的用户画面。如上所讨论的，可以基于各个用户加入通信会话的次序，利用用户画面来填充竖排204和横排206。替代地或者另外，可以基于针对各个用户的活动水平，利用用户画面来填充竖排204和横排206。例如，活动检测模块126基于在来自不同的参与者各自的客户端设备的媒体流中检测到的语音数据，对针对通信会话的参与者的活动水平进行量化。通常，可以以各种方式来对针对参与者的活动水平进行量化，例如，基于从参与者检测到的语音输入的总量，来自参与者的语音数据被检测到的新近程度，来自参与者的语音数据被检测到的频繁程度等。
进一步关于场景400，竖排204被填充有用于通信会话中的最活跃的参与者的用户画面。例如，活动检测模块126确定通信会话中的参与者的相对活动水平，并且向布局模块122通知相对活动水平。布局模块122然后利用活动信息来确定哪些用户画面要被填充到竖排204，而哪些要被填充到横排206。在该特定场景中，用于三个最活跃的参与者的用户画面被填充到竖排204，其包括用于活跃的参与者404的用户画面402。此外，用于剩余参与者的用户画面被填充到横排206，其包括用于较不活跃的参与者408的用户画面406。
继续到场景400的下面部分，参照参与者408来检测活动改变410。例如，活动检测模块126检测到针对参与者408的活动水平增加(例如，基于从参与者408检测到的语音数据的增加)。因此，活动检测模块126向布局模块122提供经更新的活动信息，其包括对参与者408的活动水平的增加的指示。基于经更新的活动信息，布局模块122识别出参与者404是当前在竖排204中表示的最不活跃的参与者。因此，布局模块122将参与者408升级到竖排204，而将参与者404降级到横排206。因此，针对参与者408的用户画面412替换竖排204中的用户画面402，并且在横排206中针对用户404呈现用户画面414。
进一步关于场景400，持续地监测以及量化针对不同的参与者的活动水平，以使得可以响应于活动水平的改变，实现对竖排204和横排206的改变。例如，响应于针对通信会话中的参与者的活动水平的进一步改变，实现到竖排204的升级和/或到横排206的降级。
图5描绘了根据一种或多种实现的用于基于通信会话中的用户活动来布置多用户画面的示例实现场景500。场景400包括以上参照环境100介绍的各个实体和组件，并且在至少一些实现中，表示以上描述的场景200-400中的一个或多个场景的扩展和/或变型。
场景500的上面部分包括在显示设备114上显示的客户端GUI 132，其中，竖排204和横排206填充有用于参与通信会话的用户的用户画面。通常，基于各个参数(例如，针对通信会话的参与者加入次序和/或活动水平)来填充竖排204和横排206。
横排206包括表示在连接到通信会话的特定客户端设备处存在的多个参与者504的用户画面502。例如，面部检测模块124检测客户端设备处的参与者504，并且向布局模块122通知在客户端设备处存在多个参与者504。相应地，布局模块122在横排206中使用用户画面502来表示参与者504。
继续到场景500的下面部分，参照参与者504来检测活动改变506。例如，活动检测模块126检测来自参与者506的语音活动的增加，例如，通过在来自参与者504的媒体馈送中检测到超过语音活动门限的语音数据。相应地，活动检测模块126将经更新的活动信息传送给布局模块122，经更新的活动信息包括关于参与者504是通信会话中的活跃的参与者的指示。基于经更新的活动信息，布局模块122查明参与者504将被升级到竖排204。此外，布局模块122确定多用户画面将用于表示参与者504。例如，客户端设备处的捕获参与者504的视频馈送的面部检测模块124向布局模块122通知该视频馈送将被呈现为多用户画面。
基于来自活动检测模块126的经更新的活动信息，布局模块查明由用户画面508、512表示的参与者是竖排204中表示的两个最不活跃的参与者。因此，布局模块122将最不活跃的参与者降级到横排206，并且将参与者504升级到竖排204。因此，将用于经降级的参与者的用户画面512、514填充到横排206。此外，将多用户画面516填充到竖排204以替换用户画面508、510。例如，多用户画面516包括表示多个用户504的视频馈送。
根据各种实现，如果针对参与者504的用户活动减少和/或如果针对在横排206中表示的参与者中的一个或多个参与者的用户活动增加，则可以将参与者504降级到横排206，以使得将横排206中表示的两个最活跃的参与者被升级并且表示在竖排204中，以替换多用户画面516。
因此，场景500示出可以采用本文描述的技术，基于参照在通信会话期间检测到的多个用户所检测到的活动来配置客户端GUI 132。
图6描绘了根据一种或多种实现的用于响应于额外的参与者来布置用于通信会话的客户端GUI的示例实现场景600。场景600包括以上参照环境100介绍的各个实体和组件，并且在至少一些实现中，表示以上描述的场景200-500中的一个或多个场景的扩展和/或变型。
场景600的上面部分包括在显示设备114上显示的客户端GUI 132，其中，竖排204和横排206填充有用于参与通信会话的用户的用户画面。通常，基于各个参数(例如，针对通信会话的参与者加入次序和/或活动水平)来填充竖排204和横排206。
竖排204包括用于通信会话的参与者604的单个用户画面602。例如，当参与者604加入通信会话时，例如由面部检测模块124检测到参与者604为单个参与者。因此，指示布局模块122根据单用户场景来呈现用于参与者604的视频馈送。
进一步关于场景600，参与者606加入参与者604以进行通话会话。例如，参与者606进入参与者604所处的并且同时通信会话正在进行的房间(例如，会议房间、办公室等)。相应地，面部检测模块124检测到在包括参与者604的视频馈送中存在额外的用户，并且生成多用户通知608。响应于多用户通知608，布局模块122将包括参与者604、606的视频图像的多用户画面610填充到竖排204。为了为多用户画面610腾出空间，布局模块122将最不活跃的参与者从竖排204降级到横排206。因此，将用于最不活跃的参与者的用户画面612从竖排204中移除，并且将用于最不活跃的参与者的用户画面614填充到横排206。
因此，场景600示出在特定位置处参与通信会话的用户数量的改变可以引起客户端GUI 132的配置的改变，以便容纳额外的用户。虽然参照检测到额外的用户讨论了场景600，但是应明白的是，类似的逻辑可以应用于检测更少的用户。例如，考虑相反的场景600，使得参与者606离开用户604参与通信会话的位置。在这样的场景中，面部检测模块124检测到该位置处的参与者数量减少，并且向布局模块122发送指示在该位置处的参与者数量已经改变(例如，被减少到一个参与者)的通知。相应地，布局模块122将用于参与者604的用户表示重新配置为包括用户604的单用户画面602。此外，将来自横排206的最活跃的参与者升级到竖排。
图7描绘了根据一种或多种实现的用于布置用于共享内容的通信会话的客户端GUI的示例实现场景700。场景700包括以上参照环境100介绍的各个实体和组件，并且在至少一些实现中，表示以上描述的场景200-600中的一个或多个场景的扩展和/或变型。
场景700的上面部分包括在显示设备114上显示的客户端GUI 132，其中，竖排204和横排206填充有用于参与通信会话的用户的用户画面。通常，基于各个参数(例如，针对通信会话的参与者加入次序和/或活动水平)来填充竖排204和横排206。横排206包括用于通信会话中的参与者704的单个用户画面702。
进一步关于场景700，参与者704具有要作为通信会话的部分而共享的内容706。例如，内容706表示在物理上存在于参与者704的位置处的内容，例如，白板和/或其它物理介质上的内容。替代地或者另外，内容706表示参与者704希望共享的数字内容，例如，参与者704的桌面用户接口上的内容、在文件存储位置中存储的电子内容文件等。
相应地并且继续到场景700的下面部分，参与者704生成共享空间请求708，共享空间请求708请求客户端GUI 132内的额外的显示空间，以使得能够与通信会话中的其它参与者共享内容706。例如，参与者704选择在客户端GUI 132的它们各自的实例处的共享控制710。响应于共享空间请求708，在竖排204内向参与者704提供共享画面(frame)712。例如，将单用户画面702扩展为共享画面712。因此，内容706可在共享画面712内观看。参与者706可以与内容706交互，并且这样的交互可由通信会话中的其它参与者在共享画面712中观看。
为了向共享画面712提供空间，将来自竖排204的最不活动的参与者降级到横排206。例如，将竖排204中用于最不活跃的参与者的用户画面714移除，并且将用于最不活跃的参与者的用户画面716填充到横排206。
根据一种或多种实现，当参与者704完成共享内容706时，参与者704可以指示参与者704完成共享。例如，参与者704可以再次选择共享控制710。作为响应，移除共享画面712，并且经由单用户画面702表示该参与者。例如，返回到场景700的上面部分，在竖排204中经由单用户画面702表示参与者704。此外，将来自横排206的最活跃的参与者升级到竖排。
因此，场景700示出可以将共享空间分配为使得用户能够在通信会话期间共享内容。此外，分配共享空间包括基于针对参与通信会话的参与者的用户活动来重新配置客户端GUI 132。
图8描绘了在显示设备114上显示的客户端GUI 132的示例布置(包括竖排204和横排206)。在该特定例子中，利用两个多用户画面(即，多用户画面802以及多用户画面804)来填充竖排204。通常，使用在多用户画面802、804中表示的参与者所处的位置处捕获的视频馈送，来生成多用户画面802、804。例如，在多用户画面802、804二者内描绘的参与者被确定为通信会话中的最活跃的参与者。因此，将包括参与者的视频馈送的尺寸在视觉上调整在客户端GUI 132内，以使得多用户画面802、804被呈现在一起。此外，横排206被填充有用于通信会话中的其它参与者(例如，用于被确定为与多用户画面802、804中描绘的那些用户相比较不活跃的参与者)的用户画面。
图9描绘了根据一种或多种实现的示例竖排表格900。通常，竖排表格902指定用于要在通信会话期间应用的不同用户画面的配置。竖排表格904包括元素列902、单用户画面列904以及多用户画面列906。通常，元素列902标识在通信会话期间在输入的媒体流中接收的不同的可能的元素。单用户画面列904与用于单用户画面的画面尺寸(例如，纵横比)相对应。例如，单用户画面列904与1:1纵横比相对应。多用户画面列与用于多用户画面的画面尺寸相对应。例如，多用户画面列906与16:9纵横比相对应。
竖排表格900指定是否在视频流中检测到单个面部，是否要使用单用户画面表示竖排中的该视频流。如果在视频流中检测到多于一个的面部并且该视频流具有宽纵横比(例如，16:9)，那么将使用多用户画面来呈现竖排中的该视频流。如果在视频流中检测到多于一个的面部并且该视频流具有窄纵横比(例如，14:9)，那么将使用单用户画面来呈现竖排中的该视频流。如果从会议房间或者其它多用户空间中接收到视频流，则该视频流将被呈现在多用户画面中。
如果在移动设备(例如，平板设备、移动电话等)处以纵向模式(portrait mode)生成视频流，那么该视频流将被呈现在单用户画面中。如果经由用户特定的头像(例如，静态图像，而不是实时视频流)表示竖排参与者，那么将通过将用户特定的头像填充到单用户画面来表示竖排参与者。如果针对竖排参与者不存在用户特定的头像或者视频馈送，那么将经由占位符单用户画面来表示该参与者。如果在视频流中检测到单个面部并且共享模式是活动的(例如，响应于来自参与者的共享请求)，那么将使用多用户画面来在竖排中呈现视频流。
因此，竖排表格900指定用于表示通信会话中的参与者的不同配置的不同逻辑。这些特定的元素配置和可视表示仅是出于示例的目的而给出的，并且将明白的是，可以根据本文描述的技术，采用各种不同的元素和可视表示。
在已经讨论了一些示例实现场景之后，现在考虑对根据一个或多个实施例的一些示例过程的讨论。
示例过程
以下讨论描述了根据一个或多个实施例的用于针对通信会话参与者的可视配置的一些示例过程。可以在图1的环境100、图15的系统1500和/或任何其它合适的环境中采用这些示例过程。例如，这些过程表示用于实现以上描述的实现场景的示例过程。在至少一些实现中，针对各个过程所描述的步骤自动地实现，并且独立于用户交互。根据各种实现，可以本地地(例如，由客户端设备102处的通信客户端110)和/或在基于网络的服务(例如，通信服务118)处执行这些过程。
图10是描述根据一种或多种实现的方法中的步骤的流程图。该方描述了根据一种或多种实现的用于指定用于通信会话中的一个或多个参与者的可视配置的示例过程。
步骤1000查明通信会话被建立在第一设备与第二设备之间。例如，通信客户端110发起与另一通信客户端110的通信会话，或者加入现有的通信会话。此外，客户端GUI模块120生成用于通信会话的客户端GUI。
步骤1002检测在第一设备处存在的用于通信会话的一个或多个参与者的参与者计数。例如，经由在第一设备处捕获的视频数据(例如，来自由第一设备处的照相机116捕获的视频馈送)来检测参与者计数。在至少一些实现中，面部检测模块124通过查明经由视频数据的面部识别过程检测到的不同面部的数量来确定参与者计数。
步骤1004基于参与者计数来确定要用于在视觉上表示一个或多个参与者的可视配置。例如，面部检测模块124将参与者计数传送给布局模块122。基于参与者计数，布局模块122确定可视配置。例如，如果参与者计数＝1，那么将可视配置确定为用于表示单个参与者的单用户画面。如果参与者计数>1，那么将可视配置确定为用于表示多个参与者的多用户画面。
步骤1006将指定在第二设备处要用于在视觉上表示一个或多个参与者的可视配置的指令传送给第二设备。例如，第一设备处的通信客户端110将该指令发送第二设备处的通信客户端110。因此，第二设备处的通信客户端110可以利用该指令，使得至少部分地基于该指令中指定的可视配置，将一个或多个参与者的可视表示显示在第二设备处。
图11是描述根据一种或多种实现的方法中的步骤的流程图。该方法描述了根据一种或多种实现的用于呈现用于通信会话中的一个或多个参与者的用户画面的示例过程。
步骤1100查明涉及多个不同的设备处的多个参与者的通信会话被建立。例如，第一设备处的通信客户端110发起与第二设备处的另一通信客户端110的通信会话，或者加入现有的通信会话。
步骤1102识别用于在视觉上表示通信会话中的多个参与者中的一个或多个参与者的指令，所述一个或多个参与者存在于多个不同的设备中的一设备处。例如，第一设备处的通信客户端110从第二设备接收指令。通常，这些指令指定将用于在视觉上表示一个或多个参与者的可视配置。例如，这些指令指定用于一个或多个参与者的画面的相对尺寸，例如，一个或多个参与者是否将经由单用户画面、多用户画面等来显示。
步骤1104查明针对通信会话的多个参与者中的至少一些参与者的活动水平。例如，活动检测模块126检测针对通信会话中的参与者的活动的相对水平。在至少一些实现中，基于在来自客户端设备的用于不同的参与者的媒体流中检测到的语音数据，来检测活动。通常，将参与者分类为更为活跃(“活跃”)的参与者以及较不活跃(“消极”)的参与者。以下详细描述用于检测和特征化活动水平的示例方式。
步骤1106基于指令和活动水平，来确定将用于在视觉上表示一个或多个参与者的可视配置。例如，第一客户端设备处的布局模块122使用指令和所检测到的活动水平，来确定用于表示在参与通信会话的第二设备处存在的一个或多个参与者的可视配置。以下详细描述确定用于通信会话中的参与者的可视配置的示例方式。
步骤1108基于可视配置，来呈现用于一个或多个参与者的用户画面。例如，布局模块122将可视配置信息传送给客户端GUI模块120。通常，可视配置信息指定将用于表示一个或多个参与者的画面的尺寸，以及一个或多个参与者将在视觉上被表示为活跃的参与者还是消极的参与者。客户端GUI模块120利用可视配置信息来将用于一个或多个参与者的用户画面填充到客户端GUI 132。贯穿本公开内容，详细描述了基于不同的参与者场景来显示用户画面的示例方式。
图12是描述根据一种或多种实现的方法中的步骤的流程图。该方法描述了根据一种或多种实现的用于确定用于通信会话中的一个或多个参与者的可视配置的示例过程。例如，该方法描述了用于执行以上参照图11描述的过程中的步骤1106的示例过程。
步骤1200查明用于一个或多个参与者的用户画面是根据单用户画面还是多用户画面来呈现。例如，第一设备处的布局模块122基于从第二设备接收的指令，确定用于来自第二设备的视频馈送的用户画面将根据单用户场景还是多用户场景来呈现在第一设备处。
如果将根据单用户画面(“单(Single)”)来呈现用户画面，那么步骤1202确定用于单用户画面的参与者是活跃的还是消极的。以下详细描述了确定参与者是活跃的还是消极的一种示例方式。如果参与者是活跃的(“活跃(Active)”)，那么步骤1204确定将使用活跃的单用户画面来呈现单用户画面。例如，将单用户画面作为客户端GUI 132的活跃画面区域(例如，竖排204中)的部分来呈现。
如果参与者是消极的(“消极(Passive)”)，那么步骤1206确定单用户画面将作为消极单用户画面来呈现。例如，将单用户画面呈现在客户端GUI 132的消极用户区域(例如，横排206)中。
返回到步骤1200，如果将根据多用户画面(“多(Multiple)”)来呈现用户画面，那么步骤1208确定用于多用户画面的参与者是活跃的还是消极的。如果参与者是活跃的(“活跃(Active)”)，那么步骤1210确定将使用活跃的多用户画面来呈现多用户画面。例如，将多用户画面作为客户端GUI 132的活跃画面区域(例如，竖排204中)的部分来呈现。
如果参与者是消极的(“消极(Passive)”)，那么步骤1212确定多用户画面将作为消极的多用户画面来呈现。例如，将多用户画面呈现在客户端GUI 132的消极用户区域(例如，横排206)中。
图13是描述根据一种或多种实现的方法中的步骤的流程图。该方法描述了根据一种或多种实现的用于查明用于通信会话中的参与者的活动的示例过程。例如，该方法描述了用于执行以上参照图11描述的过程中的步骤1104的示例过程。
步骤1300查明是否在来自通信会话中的参与者的媒体流中检测到语音信号。通常，媒体流是通信会话的部分(例如，包括在客户端设备处捕获的语音数据和音频数据的媒体流的部分)。例如，用于参与通信会话的客户端设备的活动检测模块126查明是否在从参与通信会话的另一客户端设备接收的媒体流中检测到语音信号。
如果没有在媒体流中检测到语音信号(“否”)，那么步骤1302将参与者标记为消极的参与者。例如，活动检测模块126对活动日志128进行更新，以指示参与者是消极的参与者。
如果在媒体流中检测到语音信号(“是”)，那么步骤1304查明语音信号是否满足门限信号强度。例如，活动检测模块126将语音信号与门限信号强度进行比较。可以以各种方式指定门限信号强度，例如，门限音量级别，门限最小信号强度值等。
如果语音信号不满足门限信号强度(“否”)，那么该过程返回到步骤1302，并且将参与者标记为消极的参与者。
如果语音信号满足门限信号强度(“是”)，那么步骤1306查明语音信号是否满足门限持续时间。可以以各种方式指定门限持续时间，例如，以毫秒、秒等。如果语音信号不满足门限持续时间(“否”)，那么该过程返回到步骤1306，并且将参与者标记为消极的参与者。
如果语音信号满足门限持续时间(“是”)，那么步骤1310将参与者标记为活跃的参与者。例如，活动检测模块126对活动日志128进行更新，以将参与者分类为活跃的参与者。
可以在通信会话期间持续地和/或周期性地执行该过程，以查明参与者是活跃的还是消极的。例如，如果参与者被标记为消极的参与者，那么针对语音数据，持续地监测来自该参与者的媒体流。因此，如果参与者随后开始在通信会话期间开始讲话，使得检测到满足所指定的门限的语音数据，那么可以将该参与者重新标记为活跃的参与者。此外，如果活跃的参与者在通信会话期间停止讲话，那么可以将活跃的参与者标记为最不活跃的参与者和/或重新标记为消极的参与者。
图14是描述根据一种或多种实现的方法中的步骤的流程图。该方法描述了根据一种或多种实现的用于查明针对通信会话中的活跃的参与者的活动水平的示例过程。
步骤1400查明从活跃的参与者接收的语音信号的持续时间。例如，可以基于单个语音事件来确定该持续时间(例如，从活跃的参与者接收的语音信号的单个不间断的流的持续时间)。替代地或者另外，可以基于在指定的时间段内来自该参与者的多个不同的离散的语音事件，来确定持续时间。
步骤1402确定自从最近的语音信号从活跃的参与者检测到以来经过的时间。例如，最近的语音信号与来自活跃的参与者的满足门限信号强度和/或门限持续时间的语音信号相对应。可以以各种方式指定经过的时间，例如，以毫秒、秒、分钟等。
步骤1404基于语音信号的持续时间和经过的时间来生成用于活跃用户的活动得分。例如，当如上所述参与者被标记为活跃的参与者时，该参与者被赋予默认的活动得分。随后基于该参与者是较为活跃还是较不活跃，可调整用于该参与者的活动得分。例如，响应于检测到来自参与者的语音信号的较长持续时间和/或响应于自从来自参与者的最近的语音信号以来较短的经过时间，增大活动得分。相反，响应于检测到来自参与者的语音信号的较短持续时间和/或响应于自从来自参与者的最近的语音信号以来较长的经过时间，减小活动得分。因此，与向通信会话贡献较短持续时间的语音输入以及较不频繁的语音输入的参与者相比，向通信会话贡献较长持续时间的语音输入以及较频繁的语音输入的参与者具有较高的活动得分。在至少一些实现中，与不同的活跃参与者相比具有较低活动得分的活跃参与者被视为：与该不同的活跃参与者相比较不活跃的参与者。
步骤1406查明活动得分是否下降到低于门限活动得分。如果活动得分下降到低于门限活动得分(“是”)，那么步骤1408将参与者标记为消极的参与者。例如，活动检测模块126对活动日志128进行更新，以指示参与者是消极的参与者。在至少一些实现中，将参与者标记为消极的参与者使得参与者的可视表示从客户端GUI 132的活跃区域(例如，竖排204)被转移(例如，被降级)到客户端GUI 132的消极区域(例如，横排206)。
如果活动得分没有下降到低于门限活动得分(“否”)，那么该过程返回到步骤1400。例如，可以将用于活跃参与者的活动得分持续地和/或周期性地调整为将参与者的活动的改变考虑在内。因此，可以采用本文描述的技术来动态地评估通信会话期间的活动水平，以查明参与者是活跃的还是消极的(例如，以上参照图13所描述的)。此外，可以动态地评估活跃的参与者，以识别较为活跃以及较不活跃的参与者，并且如果参与者的活动水平下降到低于门限，那么将活跃的参与者重新标记为消极的参与者。
根据本文讨论的实现，在通信会话期间自动地、周期性地、和/或持续地执行以上描述的过程，以查明将用于表示通信会话中的参与者的可视配置。例如，在用户发起和或接受参与通信会话的邀请之后，自动地发起上述的过程，而没有任何进一步的用户交互。
在已经讨论了一些示例过程之后，现在考虑对根据一个或多个实施例的示例系统和设备的讨论。
示例系统和设备
图15示出了通常在1500处的示例系统，其包括示例计算设备1502，示例计算设备1502表示可以实现本文描述的各种技术的一个或多个计算系统和/或设备。例如，以上参照图1讨论的客户端设备102和/或通信服务118可以体现为计算设备1502。例如，计算设备1502可以是服务提供商的服务器、与客户端相关联的设备(例如，客户端设备)、片上系统和/或任何其它适当的计算设备或者计算系统。
所示出的示例计算设备1502包括处理系统1504、一个或多个计算机可读介质1506、以及一个或多个输入/输出(I/O)接口1508，其通信地相互耦合。虽然没有示出，但是计算设备1502还可以包括将各个组件相互耦合的系统总线或者其它数据和命令传输系统。系统总线可以包括不同总线结构(例如，存储器总线或者存储器控制器、外围总线、通用串行总线和/或利用各种总线架构中的任何总线架构的处理器或者本地总线)中的任何一个或者组合。还可以预期各种其它例子，例如，控制和数据线。
处理系统1504表示使用硬件执行一个或多个操作的功能。相应地，处理系统1504被视为包括硬件单元1510，其可以被配置为处理器、功能框等。这可以包括用硬件实现为专用集成电路或者使用一个或多个半导体形成的其它逻辑器件。硬件单元1510并不限于形成它们的材料或者其中采用的处理机制。例如，处理器可以包括半导体和/或晶体管(例如，电子集成电路(IC))。在这样的情况下，处理器可执行指令可以是电子可执行指令。
计算机可读介质1506被示为包括存储器/存储装置1512。存储器/存储装置1512表示与一个或多个计算机可读介质相关联的存储器/存储容量。存储器/存储装置1512可以包括易失性介质(例如，随机存取存储器(RAM))和/或非易失性介质(例如，只读存储器(ROM)、闪速存储器、光盘、磁盘等)。存储器/存储装置1512可以包括固定介质(例如，RAM、ROM、固定硬盘驱动等)以及可移动介质(例如，闪速存储器、可移动硬盘驱动、光盘等)。计算机可读介质1506可以以如以下进一步描述的各种其它方式来配置。
输入/输出接口1508表示允许用户向计算设备1502输入命令和信息以及还允许使用各种输入/输出设备将信息呈现给用户和/或其它组件或者设备的功能。输入设备的例子包括键盘、光标控制设备(例如，鼠标)、麦克风(例如，用于语音识别和/或讲话输入)、扫描仪、触摸功能(例如，电容性或者被配置为检测物理输入的其它传感器)、照相机(例如，其可以利用可见或者非可见波长(例如，红外频率)来检测不涉及触摸手势的移动)等。输出设备的例子包括显示设备(例如，监视器或者投影仪)、扬声器、打印机、网卡、触觉响应设备等。因此，计算机设备1502可以以如以下进一步描述的各种方式来配置为支持用户交互。
本文中可以在软件、硬件单元或者程序模块的一般背景下描述各种技术。通常，这样的模块包括执行特定任务或者实现特定抽象数据类型的例程、程序、对象、元素、组件、数据结构等。如本文所使用的术语“模块”、“功能”、“实体”和“组件”通常表示软件、固件、硬件或者其组合。本文描述的技术的特征是独立于平台的，这意味着可以在具有各种处理器的各种商业计算平台上实现这些技术。
所描述的模块和技术的实现可以被存储在某种形式的计算机可读介质上或者跨越某种形式的计算机可读介质来传输。计算机可读介质可以包括可以由计算设备1502访问的各种介质。通过举例而非限制的方式，计算机可读介质可以包括“计算机可读存储介质”以及“计算机可读信号介质”。
“计算机可读存储介质”可以指代能够实现信息的永久存储的介质和/或设备(与仅信号传输、载波或者信号本身相反)。计算机可读存储介质不包括信号本身。计算机可读存储介质包括诸如易失性和非易失性、可移动和非可移动介质和/或存储设备之类的硬件，其利用适于诸如计算机可读指令、数据结构、程序模块、逻辑单元/电路或者其它数据之类的信息的存储的方法或者技术来实现。计算机可读存储介质的例子可以包括但不限于RAM、ROM、EEPROM、闪速存储器或者其它存储器技术、CD-ROM、数字多功能盘(DVD)或者其它光存储、硬盘、磁带盒、磁带、磁盘存储或者其它磁存储设备、或者其它存储设备、有形介质、或者适于存储期望的信息并且可以由计算机访问的其它制品。
“计算机可读信号介质”可以指代信号承载介质，其被配置为将指令发送给计算设备1502的硬件(例如，经由网络)。信号介质通常可以体现计算机可读指令、数据结构、程序模块、或者经调制的数据信号(例如，载波、数据信号或者其它传输机制)中的其它数据。信号介质还包括任何信息传送介质。术语“经调制的数据信号”意指具有其特性集合中的一个或多个特性或者以对信号中的信息进行编码的这样的方式而改变的信号。通过举例而非限制的方式，通信介质包括诸如有线网络或者直连有线连接之类的有线介质、以及诸如声、射频(RF)、红外线和其它无线介质之类的无线介质。
如前所述，硬件单元1510和计算机可读介质1506表示用硬件形式实现的指令、模块、可编程器件逻辑和/或固定器件逻辑，其可以在一些实施例中采用以实现本文描述的技术中的至少一些方面。硬件单元可以包括以下各项的组件：集成电路或者片上系统、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)以及用硅的其它实现或者其它硬件设备。在这种情况中，硬件单元可以作为处理设备进行操作，处理设备执行由用于存储用于执行的指令的硬件单元以及硬件设备(例如，先前描述的计算机可读存储介质)体现的指令、模块和/或逻辑定义的程序任务。
还可以采用前述的组合来实现本文描述的各种技术和模块。相应地，软件、硬件或者程序模块和其它程序模块可以实现为在某种形式的计算机可读存储介质上体现的和/或由一个或多个硬件单元1510体现的一个或多个指令和/或逻辑单元。计算设备1502可以被配置为实现与软件和/或硬件模块相对应的特定指令和/或功能。相应地，作为软件可由计算设备1502执行的模块的实现可以至少部分地用硬件来实现(例如，通过计算机可读存储介质和/或处理系统的硬件单元1510的使用)。指令和/或功能可以由一个或多个制品执行/操作(例如，一个或多个计算设备1502和/或处理系统1504)以实现本文描述的技术、模块和例子。
如图15中进一步所示，示例系统1500在运行个人计算机(PC)、电视机设备和/或移动设备上的应用时，能够实现普遍存在的环境以用于无缝用户体验。服务和应用在从一个设备转移到下一设备时，在使用应用、播放视频游戏、观看视频等时，在所有三种环境中基本类似地运行，以用于共同的用户体验。
在示例系统1500中，多个设备通过中央计算设备互连。中央计算设备对于多个设备而言可以是本地的，或者可以位于远离多个设备的位置处。在一个实施例中，中央计算设备可以是一个或多个服务器计算机的云，所述一个或多个服务器计算机通过网络、互联网或者其它数据通信链路连接到多个设备。
在一个实施例中，该互连架构使得能够跨越多个设备传送功能，以向多个设备的用户提供共同和无缝体验。多个设备中的每个设备可以具有不同的物理要求和能力，并且中央计算设备使用平台，使得将针对该设备定制的而且对于所有设备共同的体验能够传送给该设备。在一个实施例中，创建目标设备的类别，并且针对设备的通用类别定制体验。设备的类别可以由物理特征、使用类型或者这些设备的其它共同的特性来定义。
在各种实现中，计算设备1502可以假设各种不同的配置，例如，用于计算机1514、移动装置1516以及电视机1518使用。这些配置中的每种配置包括通常可以具有不同构造和能力的设备，并且因此，计算设备1502可以根据不同的设备类别中的一种或者多种来配置。例如，计算设备1502可以实现为计算机1514设备类别，其包括个人计算机、台式计算机、多屏幕计算机、膝上型计算机、上网本等。
计算设备1502还可以实现为包括移动设备的移动装置1516设备类别，例如，移动电话、便携式音乐播放器、便携式游戏设备、平板计算机、可穿戴设备、多屏幕计算机等。计算设备1502还可以实现为电视机1518设备类别，其包括在休闲观看环境中具有普遍较大的屏幕或者连接到其的设备。这些设备包括电视机、机顶盒、游戏控制台等。
本文描述的技术可以由这些各种配置的计算设备1502支持，而且并不限于本文描述的技术的特定例子。例如，参照通信客户端110和/或通信服务118讨论的功能可以全部或者部分地通过分布式系统(例如，如下所述，在“云”1520上经由平台1522)的使用来实现。
云1520包括和/或表示用于资源1524的平台1522。平台1522对云1520的硬件(例如，服务器)和软件资源的底层功能进行抽象。资源1524可以包括在远离计算设备1502的服务器上执行计算机处理时可以使用的应用和/或数据。资源1524还可以包括在互联网上和/或通过订户网络(例如，蜂窝或者Wi-Fi网络)提供的服务。
平台1522可以对用于将计算设备1502与其它计算设备连接的资源和功能进行抽象。平台1522还可以用于对资源的缩放进行抽象，以向所遇到的针对经由平台1522实现的资源1524的需求提供对应的缩放水平。相应地，在互连设备实施例中，对本文描述的功能的实现可以贯穿系统1500而分布。例如，该功能可以部分地在计算设备1502上以及经由对云1520的功能进行抽象的平台1522来实现。
本文所讨论的是可以实现为执行本文讨论的技术的多种方法。这些方面的各方面可以用硬件、固件或者软件或者其组合来实现。这些方面被示为指定由一个或多个设备执行的操作的一组步骤，并且不一定限于所示出的用于由相应的框执行操作的次序。此外，可以将参照特定方面示出的操作与根据一种或多种实现的不同方法的操作进行组合和/或互换。这些方法的各方面可以经由以上参照环境100讨论的各个实体的交互来实现。
本文讨论的实现包括：
例子1：一种用于指定用于在视觉上表示通信会话中的一个或多个参与者的可视配置的系统，所述系统包括：至少一个处理器；以及一个或多个计算机可读存储介质，其包括在其上存储的、响应于由所述至少一个处理器的执行而使得所述系统执行包括以下各项的操作：查明通信会话被建立在第一设备与第二设备之间；经由在所述第一设备处捕获的视频，来检测在所述第一设备处存在的用于所述通信会话的一个或多个参与者的参与者计数；基于所述参与者计数，来确定要用于在视觉上表示所述一个或多个参与者的可视配置；以及将指定在所述第二设备处要用于在视觉上表示所述一个或多个参与者的所述可视配置的指令传送给所述第二设备。
例子2：如在例子1中所述的系统，其中，所述检测是基于检测在所述第一设备处捕获的所述视频中的一个或多个面部的。
例子3：如在例子1或2中的一个或多个中所述的系统，其中，所述检测包括：基于检测到在所述第一设备处存在的单个参与者，来检测一个参与者的参与者计数，并且其中，所述确定包括：确定要用于在视觉上表示所述单个参与者的单用户可视配置。
例子4：如在例子1-3中的一个或多个中所述的系统，其中，所述检测包括：基于检测到在所述第一设备处存在的多个参与者，来检测多于一个的参与者的参与者计数，并且其中，所述确定包括：确定要用于在视觉上表示所述多个参与者的多用户可视配置。
例子5：如在例子1-4中的一个或多个中所述的系统，其中，所述操作还包括：基于所述一个或多个参与者的数量的改变，来检测所述参与者计数的改变；基于所述参与者计数的所述改变，来确定要用于在视觉上表示所述一个或多个参与者的另外的可视配置；以及将指定在所述第二设备处要用于在视觉上表示所述一个或多个参与者的所述另外的可视配置的另外的指令传送给所述第二设备。
例子6：如在例子1-5中的一个或多个中所述的系统，其中，所述检测包括：基于检测到在所述第一设备处存在的单个参与者，来检测一个参与者的参与者计数，所述确定包括：确定要用于在视觉上表示所述单个参与者的单用户可视配置，所述操作还包括：经由在所述第一设备处捕获的所述视频并且在所述传送所述指令之后，检测到至少一个额外的参与者与所述单个参与者一起存在于所述第一设备处；基于检测到所述额外的参与者，来确定要用于表示所述单个参与者以及所述至少一个额外的参与者的另外的可视配置；以及将指定用于表示所述单个参与者以及所述至少一个额外的参与者的所述另外的可视配置的另外的指令传送给所述第二设备。
例子7：如在例子1-6中的一个或多个中所述的系统，其中，所述检测包括：基于检测到所述第一设备处存在的多个参与者，来检测多于一个的参与者的参与者计数，所述确定包括：确定要用于在视觉上表示所述多个参与者的多用户可视配置，所述操作还包括：经由在所述第一设备处捕获的所述视频并且在所述传送所述指令之后，检测到所述多个参与者中的一个或多个参与者不再存在于所述第一设备处，使得在所述第一设备处检测到单个参与者；基于检测到所述单个参与者，来确定要用于表示所述单个参与者的另外的可视配置；以及将指定用于表示所述单个参与者的所述另外的可视配置的另外的指令传送给所述第二设备。
例子8：如在例子1-7中的一个或多个中所述的系统，其中，所述检测包括：基于检测到在所述第一设备处存在的单个参与者，来检测一个参与者的参与者计数，所述确定包括：确定要用于在视觉上表示所述单个参与者的单用户可视配置，所述操作还包括：在所述传送所述指令之后，检测到共享模式在所述第一设备处被激活；以及基于所述共享模式，来确定要用于以所述共享模式表示所述单个参与者的另外的可视配置；以及将指定用于以所述共享模式表示所述单个参与者的所述另外的可视配置的另外的指令传送给所述第二设备。
例子9：一种用于呈现用于通信会话中的一个或多个参与者的用户画面的计算机实现的方法，所述方法包括：在第一设备处，查明涉及多个不同的设备处的多个参与者的通信会话被建立；在所述第一设备处，识别用于在视觉上表示所述通信会话中的所述多个参与者中的一个或多个参与者的指令，所述一个或多个参与者存在于所述多个不同的设备中的第二设备处；在所述第一设备处，查明针对用于所述通信会话的所述多个参与者中的至少一些参与者的活动水平；基于所述指令以及所述活动水平，确定在所述第一设备处要用于在视觉上表示在所述第二设备处存在的所述一个或多个参与者的可视配置；以及在所述第一设备处，基于所述可视配置来呈现用于所述一个或多个参与者的用户画面。
例子10：如在例子9中所述的方法，其中，所述识别包括：从所述第二设备接收所述指令。
例子11：如在例子9或10中所述的方法，其中，所述查明所述活动水平是基于针对所述多个参与者中的所述至少一些参与者而检测到的语音信号的。
例子12：如在例子9-11中的一个或多个中所述的方法，其中，所述指令指定要用于在视觉上表示所述一个或多个参与者的画面大小，以及所述确定包括：基于所述画面大小和所述活动水平来确定所述可视配置。
例子13：如在例子9-12中的一个或多个中所述的方法，其中，所述指令指定所述一个或多个参与者要使用单用户画面来在视觉上表示，所述查明所述活动水平包括查明所述一个或多个参与者在所述通信会话中是活跃的，所述确定包括确定所述一个或多个参与者要根据活跃的单用户可视配置来在视觉上表示，以及所述呈现包括基于所述活跃的单用户可视配置来呈现所述用户画面。
例子14：如在例子9-13中的一个或多个中所述的方法，其中，所述指令指定所述一个或多个参与者要使用多用户画面来在视觉上表示，所述查明所述活动水平包括查明所述一个或多个参与者在所述通信会话中是活跃的，所述确定包括确定所述一个或多个参与者要根据活跃的多用户可视配置来在视觉上表示，以及所述呈现包括基于所述活跃的多用户可视配置来呈现所述用户画面。
例子15：如在例子9-14中的一个或多个中所述的方法，其中，所述指令指定所述一个或多个参与者要使用单用户画面来在视觉上表示，所述查明所述活动水平包括查明所述一个或多个参与者在所述通信会话中是消极的，所述确定包括确定所述一个或多个参与者要根据消极的单用户可视配置来在视觉上表示，以及所述呈现包括基于所述消极的单用户可视配置来呈现所述用户画面。
例子16：如在例子9-15中的一个或多个中所述的方法，其中，所述呈现包括基于活跃的单用户可视配置来呈现所述用户画面，所述方法还包括：接收用于在视觉上表示在所述第二设备处存在的所述一个或多个参与者的另外的指令，所述另外的指令指示所述一个或多个参与者的数量的改变；基于所述另外的指令和所述活动水平，来确定在所述第一设备处要用于在视觉上表示在所述第二设备处存在的所述一个或多个参与者的另外的可视配置；以及基于所述另外的可视配置来呈现用于所述一个或多个参与者的不同的用户画面。
例子17：如在例子9-16中的一个或多个中所述的方法，其中：所述查明所述活动水平包括：查明所述多个参与者中的第一参与者与所述多个参与者中的第二参与者相比较为活跃；以及所述呈现包括：在所述第一设备处显示的用于所述通信会话的图形用户接口(GUI)的活跃的参与者区域中呈现用于所述第一参与者的用户画面，以及在所述GUI的消极的参与者区域中呈现用于所述第二参与者的用户画面。
例子18：一种用于确定用于在视觉上表示通信会话中的一个或多个参与者的可视配置的计算机实现的方法，所述方法包括：查明涉及第一设备和第二设备处的参与者的通信会话被建立；识别用于在视觉上表示所述通信会话中的参与者中的一个或多个参与者的指令，所述一个或多个参与者存在于所述第二设备处；查明针对用于所述通信会话的所述参与者中的至少一些参与者的活动水平；以及基于所述指令和所述活动水平，来确定在所述第一设备处要用于在视觉上表示在所述第二设备处存在的所述一个或多个参与者的可视配置。
例子19：如在例子18中所述的方法，其中，所述识别包括从所述第二设备接收所述指令，并且其中，所述方法还包括：将所述可视配置传送给所述第一设备。
例子20：如在例子18或19中所述的方法，其中，所述指令指定所述一个或多个参与者要根据多用户场景来在视觉上表示，所述查明所述活动水平包括查明所述一个或多个参与者在所述通信会话中是活跃的，以及所述确定包括确定所述一个或多个参与者在所述第二设备处要经由活跃的多用户画面来表示。
结论
描述了用于针对通信会话参与者的可视配置的技术。虽然以特定于结构特征和/或方法动作的语言描述了实施例，但是应理解的是，在所附的权利要求中定义的实施例未必限于所描述的特定特征或者动作。确切而言，将特定特征和动作作为实现所要求保护的实施例的示例形式来公开。

Claims (15)

1.一种用于指定用于在视觉上表示通信会话中的一个或多个参与者的可视配置的系统，所述系统包括：
至少一个处理器；以及
一个或多个计算机可读存储介质，其包括在其上存储的、响应于所述至少一个处理器的执行而使得所述系统执行包括以下各项的操作的指令：
查明通信会话被建立在第一设备与第二设备之间；
经由在所述第一设备处捕获的视频，来检测在所述第一设备处存在的针对所述通信会话的一个或多个参与者的参与者计数；
基于所述参与者计数，来确定要用于在视觉上表示所述一个或多个参与者的可视配置；以及
将指定在所述第二设备处要用于在视觉上表示所述一个或多个参与者的所述可视配置的指令传送给所述第二设备。
2.根据权利要求1所述的系统，其中，所述检测是基于检测在所述第一设备处捕获的所述视频中的一个或多个面部的。
3.根据权利要求1所述的系统，其中，所述检测包括：基于检测到在所述第一设备处存在的单个参与者，来检测一个参与者的参与者计数，并且其中，所述确定包括：确定要用于在视觉上表示所述单个参与者的单用户可视配置。
4.根据权利要求1所述的系统，其中，所述检测包括：基于检测到在所述第一设备处存在的多个参与者，来检测多于一个的参与者的参与者计数，并且其中，所述确定包括：确定要用于在视觉上表示所述多个参与者的多用户可视配置。
5.根据权利要求1所述的系统，其中，所述操作还包括：
基于所述一个或多个参与者的数量的改变，来检测所述参与者计数的改变；
基于所述参与者计数的所述改变，来确定要用于在视觉上表示所述一个或多个参与者的另外的可视配置；以及
将指定在所述第二设备处要用于在视觉上表示所述一个或多个参与者的所述另外的可视配置的另外的指令传送给所述第二设备。
6.根据权利要求1所述的系统，其中，所述检测包括：基于检测到在所述第一设备处存在的单个参与者，来检测一个参与者的参与者计数，所述确定包括：确定要用于在视觉上表示所述单个参与者的单用户可视配置，所述操作还包括：
经由在所述第一设备处捕获的所述视频并且在所述传送所述指令之后，检测到至少一个额外的参与者与所述单个参与者一起存在于所述第一设备处；
基于检测到所述额外的参与者，来确定要用于表示所述单个参与者以及所述至少一个额外的参与者的另外的可视配置；以及
将指定用于表示所述单个参与者以及所述至少一个额外的参与者的所述另外的可视配置的另外的指令传送给所述第二设备。
7.根据权利要求1所述的系统，其中，所述检测包括：基于检测到所述第一设备处存在的多个参与者，来检测多于一个的参与者的参与者计数，所述确定包括：确定要用于在视觉上表示所述多个参与者的多用户可视配置，所述操作还包括：
经由在所述第一设备处捕获的所述视频并且在所述传送所述指令之后，检测到所述多个参与者中的一个或多个参与者不再存在于所述第一设备处，从而在所述第一设备处检测到单个参与者；
基于检测到所述单个参与者，来确定要用于表示所述单个参与者的另外的可视配置；以及
将指定用于表示所述单个参与者的所述另外的可视配置的另外的指令传送给所述第二设备。
8.根据权利要求1所述的系统，其中，所述检测包括：基于检测到在所述第一设备处存在的单个参与者，来检测一个参与者的参与者计数，所述确定包括：确定要用于在视觉上表示所述单个参与者的单用户可视配置，所述操作还包括：
在所述传送所述指令之后，检测到共享模式在所述第一设备处被激活；以及
基于所述共享模式，来确定要用于以所述共享模式表示所述单个参与者的另外的可视配置；以及
将指定用于以所述共享模式表示所述单个参与者的所述另外的可视配置的另外的指令传送给所述第二设备。
9.一种用于呈现针对通信会话中的一个或多个参与者的用户画面的计算机实现的方法，所述方法包括：
在第一设备处，查明涉及多个不同的设备处的多个参与者的通信会话被建立；
在所述第一设备处，识别用于在视觉上表示所述通信会话中的所述多个参与者中的一个或多个参与者的指令，所述一个或多个参与者存在于所述多个不同的设备中的第二设备处；
在所述第一设备处，查明针对所述通信会话的所述多个参与者中的至少一些参与者的活动水平；
基于所述指令以及所述活动水平，确定在所述第一设备处要用于在视觉上表示在所述第二设备处存在的所述一个或多个参与者的可视配置；以及
在所述第一设备处，基于所述可视配置来呈现针对所述一个或多个参与者的用户画面。
10.根据权利要求9所述的方法，其中，所述识别包括：从所述第二设备接收所述指令。
11.根据权利要求9所述的方法，其中，所述查明所述活动水平是基于针对所述多个参与者中的所述至少一些参与者而检测到的语音信号的。
12.根据权利要求9所述的方法，其中，所述指令指定要用于在视觉上表示所述一个或多个参与者的画面大小，以及所述确定包括：基于所述画面大小和所述活动水平来确定所述可视配置。
13.根据权利要求9所述的方法，其中，所述指令指定所述一个或多个参与者要使用单用户画面来在视觉上表示，所述查明所述活动水平包括查明所述一个或多个参与者在所述通信会话中是活跃的，所述确定包括确定所述一个或多个参与者要根据活跃的单用户可视配置来在视觉上表示，以及所述呈现包括基于所述活跃的单用户可视配置来呈现所述用户画面。
14.根据权利要求9所述的方法，其中，所述指令指定所述一个或多个参与者要使用多用户画面来在视觉上表示，所述查明所述活动水平包括查明所述一个或多个参与者在所述通信会话中是活跃的，所述确定包括确定所述一个或多个参与者要根据活跃的多用户可视配置来在视觉上表示，以及所述呈现包括基于所述活跃的多用户可视配置来呈现所述用户画面。
15.根据权利要求9所述的方法，其中，所述指令指定所述一个或多个参与者要使用单用户画面来在视觉上表示，所述查明所述活动水平包括查明所述一个或多个参与者在所述通信会话中是消极的，所述确定包括确定所述一个或多个参与者要根据消极的单用户可视配置来在视觉上表示，以及所述呈现包括基于所述消极的单用户可视配置来呈现所述用户画面。
CN201680022125.1A 2015-04-16 2016-04-12 用于通信会话参与者的可视配置 Withdrawn CN107534656A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562148415P 2015-04-16 2015-04-16
US62/148,415 2015-04-16
US14/806,203 US20160308920A1 (en) 2015-04-16 2015-07-22 Visual Configuration for Communication Session Participants
US14/806,203 2015-07-22
PCT/US2016/027050 WO2016168154A1 (en) 2015-04-16 2016-04-12 Visual configuration for communication session participants

Publications (1)

Publication Number Publication Date
CN107534656A true CN107534656A (zh) 2018-01-02

Family

ID=55953379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680022125.1A Withdrawn CN107534656A (zh) 2015-04-16 2016-04-12 用于通信会话参与者的可视配置

Country Status (4)

Country Link
US (1) US20160308920A1 (zh)
EP (1) EP3266197A1 (zh)
CN (1) CN107534656A (zh)
WO (1) WO2016168154A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110457095A (zh) * 2018-05-07 2019-11-15 苹果公司 多参与者实时通信用户界面
CN111542876A (zh) * 2018-01-12 2020-08-14 索尼公司 信息处理装置、信息处理方法以及程序
CN113661691A (zh) * 2019-09-27 2021-11-16 苹果公司 用于远程通信的环境
US11360634B1 (en) 2021-05-15 2022-06-14 Apple Inc. Shared-content session user interfaces
US11399155B2 (en) 2018-05-07 2022-07-26 Apple Inc. Multi-participant live communication user interface
US11431891B2 (en) 2021-01-31 2022-08-30 Apple Inc. User interfaces for wide angle video conference
US11435877B2 (en) 2017-09-29 2022-09-06 Apple Inc. User interface for multi-user communication session
US11513667B2 (en) 2020-05-11 2022-11-29 Apple Inc. User interface for audio message
US11770600B2 (en) 2021-09-24 2023-09-26 Apple Inc. Wide angle video conference
US11893964B2 (en) 2019-09-26 2024-02-06 Apple Inc. Controlling displays
US11895391B2 (en) 2018-09-28 2024-02-06 Apple Inc. Capturing and displaying images with multiple focal planes
US11893214B2 (en) 2021-05-15 2024-02-06 Apple Inc. Real-time communication user interface
US11907605B2 (en) 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
US11960641B2 (en) 2018-09-28 2024-04-16 Apple Inc. Application placement based on head position
US12003890B2 (en) 2023-08-08 2024-06-04 Apple Inc. Environment for remote communication

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4365725A2 (en) 2014-05-30 2024-05-08 Apple Inc. Continuity
US10061467B2 (en) 2015-04-16 2018-08-28 Microsoft Technology Licensing, Llc Presenting a message in a communication session
US9743042B1 (en) 2016-02-19 2017-08-22 Microsoft Technology Licensing, Llc Communication event
US10541951B2 (en) * 2016-03-25 2020-01-21 Inbox Group, LLC Enhancing network messaging with a real-time, interactive representation of current messaging activity of a user's contacts and associated contacts
US10148707B2 (en) * 2016-09-19 2018-12-04 International Business Machines Corporation System and method for maintaining a collaborative environment
US9699410B1 (en) * 2016-10-28 2017-07-04 Wipro Limited Method and system for dynamic layout generation in video conferencing system
US11567785B2 (en) * 2016-10-31 2023-01-31 Microsoft Technology Licensing, Llc Integrated multitasking interface for communication sessions
US20180123986A1 (en) * 2016-11-01 2018-05-03 Microsoft Technology Licensing, Llc Notification of a Communication Session in a Different User Experience
US9819877B1 (en) * 2016-12-30 2017-11-14 Microsoft Technology Licensing, Llc Graphical transitions of displayed content based on a change of state in a teleconference session
US9924136B1 (en) 2017-01-30 2018-03-20 Microsoft Technology Licensing, Llc Coordinated display transitions of people and content
US10038877B1 (en) * 2017-03-13 2018-07-31 Microsoft Technology Licensing, Llc Event conditioned views for teleconferencing sessions
US10547654B2 (en) * 2017-05-16 2020-01-28 Microsoft Technology Licensing, Llc Concurrent engagement with live content of multiple conference sessions
JP2019101873A (ja) * 2017-12-05 2019-06-24 富士ゼロックス株式会社 情報処理装置、及びプログラム
US10979669B2 (en) 2018-04-10 2021-04-13 Facebook, Inc. Automated cinematic decisions based on descriptive models
US10895970B2 (en) 2018-06-13 2021-01-19 Microsoft Technology Licensing, Llc Display control to implement a control bar
US11240052B2 (en) * 2018-06-19 2022-02-01 International Business Machines Corporation Facilitating communication in a collaborative environment
US10924709B1 (en) * 2019-12-27 2021-02-16 Microsoft Technology Licensing, Llc Dynamically controlled view states for improved engagement during communication sessions
US11050973B1 (en) * 2019-12-27 2021-06-29 Microsoft Technology Licensing, Llc Dynamically controlled aspect ratios for communication session video streams
US10917608B1 (en) * 2019-12-27 2021-02-09 Microsoft Technology Licensing, Llc Dynamically controlled aspect ratios based on a number of participants depicted in communication video streams
US11064256B1 (en) 2020-01-15 2021-07-13 Microsoft Technology Licensing, Llc Dynamic configuration of communication video stream arrangements based on an aspect ratio of an available display area
CN112312224A (zh) * 2020-04-30 2021-02-02 北京字节跳动网络技术有限公司 信息显示方法、装置和电子设备
EP4173304A4 (en) * 2020-06-29 2024-03-27 Hewlett Packard Development Co VIDEO CONFERENCE USER INTERFACE LAYOUT BASED ON FACE RECOGNITION
CN111935442A (zh) * 2020-07-31 2020-11-13 北京字节跳动网络技术有限公司 信息显示方法、装置和电子设备
US11394925B1 (en) * 2021-06-30 2022-07-19 Microsoft Technology Licensing, Llc Automated UI and permission transitions between presenters of a communication session
US20230341989A1 (en) * 2022-04-25 2023-10-26 Zoom Video Communications, Inc. Configuring A Graphical User Interface For Display At An Output Interface During A Video Conference

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7081915B1 (en) * 1998-06-17 2006-07-25 Intel Corporation Control of video conferencing using activity detection
US6304648B1 (en) * 1998-12-21 2001-10-16 Lucent Technologies Inc. Multimedia conference call participant identification system and method
US7554571B1 (en) * 2005-03-18 2009-06-30 Avaya Inc. Dynamic layout of participants in a multi-party video conference
US7768543B2 (en) * 2006-03-09 2010-08-03 Citrix Online, Llc System and method for dynamically altering videoconference bit rates and layout based on participant activity
US8223186B2 (en) * 2006-05-31 2012-07-17 Hewlett-Packard Development Company, L.P. User interface for a video teleconference
US8446454B2 (en) * 2007-05-21 2013-05-21 Polycom, Inc. Dynamic adaption of a continuous presence videoconferencing layout based on video content
US9449614B2 (en) * 2009-08-14 2016-09-20 Skype Controlling multi-party communications
US9154730B2 (en) * 2009-10-16 2015-10-06 Hewlett-Packard Development Company, L.P. System and method for determining the active talkers in a video conference
CN102611872B (zh) * 2011-01-19 2014-07-02 株式会社理光 基于感兴趣区域动态检测的场景影像转换系统和方法
US8537195B2 (en) * 2011-02-09 2013-09-17 Polycom, Inc. Automatic video layouts for multi-stream multi-site telepresence conferencing system
US20130169742A1 (en) * 2011-12-28 2013-07-04 Google Inc. Video conferencing with unlimited dynamic active participants
US8965349B2 (en) * 2012-01-26 2015-02-24 Apple Inc. Interactive application sharing
US8890923B2 (en) * 2012-09-04 2014-11-18 Cisco Technology, Inc. Generating and rendering synthesized views with multiple video streams in telepresence video conference sessions
US9307200B2 (en) * 2014-04-10 2016-04-05 Cisco Technology, Inc. Use of face and motion detection for best view framing in video conference endpoint
US9584763B2 (en) * 2014-11-06 2017-02-28 Cisco Technology, Inc. Automatic switching between dynamic and preset camera views in a video conference endpoint
US9641585B2 (en) * 2015-06-08 2017-05-02 Cisco Technology, Inc. Automated video editing based on activity in video conference

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11435877B2 (en) 2017-09-29 2022-09-06 Apple Inc. User interface for multi-user communication session
CN111542876A (zh) * 2018-01-12 2020-08-14 索尼公司 信息处理装置、信息处理方法以及程序
CN110457095A (zh) * 2018-05-07 2019-11-15 苹果公司 多参与者实时通信用户界面
US11849255B2 (en) 2018-05-07 2023-12-19 Apple Inc. Multi-participant live communication user interface
US11399155B2 (en) 2018-05-07 2022-07-26 Apple Inc. Multi-participant live communication user interface
US11895391B2 (en) 2018-09-28 2024-02-06 Apple Inc. Capturing and displaying images with multiple focal planes
US11960641B2 (en) 2018-09-28 2024-04-16 Apple Inc. Application placement based on head position
US11893964B2 (en) 2019-09-26 2024-02-06 Apple Inc. Controlling displays
US11800059B2 (en) 2019-09-27 2023-10-24 Apple Inc. Environment for remote communication
CN113661691A (zh) * 2019-09-27 2021-11-16 苹果公司 用于远程通信的环境
CN113661691B (zh) * 2019-09-27 2023-08-08 苹果公司 用于提供扩展现实环境的电子设备、存储介质和方法
US11513667B2 (en) 2020-05-11 2022-11-29 Apple Inc. User interface for audio message
US11671697B2 (en) 2021-01-31 2023-06-06 Apple Inc. User interfaces for wide angle video conference
US11431891B2 (en) 2021-01-31 2022-08-30 Apple Inc. User interfaces for wide angle video conference
US11467719B2 (en) 2021-01-31 2022-10-11 Apple Inc. User interfaces for wide angle video conference
US11822761B2 (en) 2021-05-15 2023-11-21 Apple Inc. Shared-content session user interfaces
US11360634B1 (en) 2021-05-15 2022-06-14 Apple Inc. Shared-content session user interfaces
US11893214B2 (en) 2021-05-15 2024-02-06 Apple Inc. Real-time communication user interface
US11907605B2 (en) 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
US11928303B2 (en) 2021-05-15 2024-03-12 Apple Inc. Shared-content session user interfaces
US11449188B1 (en) 2021-05-15 2022-09-20 Apple Inc. Shared-content session user interfaces
US11770600B2 (en) 2021-09-24 2023-09-26 Apple Inc. Wide angle video conference
US11812135B2 (en) 2021-09-24 2023-11-07 Apple Inc. Wide angle video conference
US12003890B2 (en) 2023-08-08 2024-06-04 Apple Inc. Environment for remote communication

Also Published As

Publication number Publication date
US20160308920A1 (en) 2016-10-20
EP3266197A1 (en) 2018-01-10
WO2016168154A1 (en) 2016-10-20

Similar Documents

Publication Publication Date Title
CN107534656A (zh) 用于通信会话参与者的可视配置
US10789685B2 (en) Privacy image generation
EP3266190B1 (en) Presenting a message in a communication session
RU2518423C2 (ru) Методики управления мультимедийным содержимым для события мультимедийной конференции
CN108702484A (zh) 通信事件
CN108462853A (zh) 视频会议终端的控制方法、智能终端以及视频会议终端
US11212129B1 (en) Profile virtual conference attendees to enhance meeting interactions
CN112968898B (zh) 用于针对通信会话的端点控制的方法和系统
US11012249B2 (en) Content feature based video stream subscriptions
Husić et al. What factors influence the quality of experience for WebRTC video calls?
US20190122030A1 (en) Automated profile image generation based on scheduled video conferences
CN109819341A (zh) 视频播放方法、装置、计算设备及存储介质
CA3116660A1 (en) Computer-implemented communications by social media application
CN108702301A (zh) 针对会议会话的主机设施指派
US20240037478A1 (en) Virtual event platform event engagement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20180102