CN114600430A

CN114600430A - 基于内容特征的视频流订阅

Info

Publication number: CN114600430A
Application number: CN202080072669.5A
Authority: CN
Inventors: S·K·维拉于萨姆; A·加奈伊-希沙尼; R·G·卡特勒
Original assignee: Microsoft Technology Licensing LLC
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2019-10-15
Filing date: 2020-09-24
Publication date: 2022-06-07
Also published as: WO2021076289A1; US11012249B2; US20210111916A1; EP4046332A1

Abstract

在一些示例中公开了提供基于网络的通信服务的设备、系统、方法和机器可读介质，该基于网络的通信服务允许基于网络的通信会话中的用户订阅感兴趣的通信会话的视频流，这是通过订阅这些视频流的内容特征而不是视频流本身实现的。内容特征可以是通过将图像处理算法应用于一个或多个视频帧而识别的视频流中的任何对象。示例内容特征可以包括识别的用户和/或其他识别的对象。

Description

基于内容特征的视频流订阅

背景技术

基于网络的通信服务为不同地理区域中的众多用户提供了更有效地相互通信的工具。基于网络的通信服务可以提供诸如音频通信、视频通信、聊天功能、文件共享、留言板功能等的功能。基于网络的通信服务提供的一个功能是基于网络的通信会话(例如，在线会议)，其中两个或更多个用户可以彼此实时会面和通信。

在基于网络的通信会话期间，用户可以交换实况音频、视频和/或可以共享其他内容，例如预先录制的音频、预先录制的视频、应用数据、屏幕共享等。在一些示例中，由与用户在同一房间中的视频捕获设备捕获的实况视频可以与基于网络的通信会话的其他参与者共享。由该捕获设备创建并与其他参与者共享的视频流可以显示用户的实时图像、与用户在同一房间中的对象的图像(例如白板)等。由于这些基于网络的通信会话期间的共享选项过多，这些会话为不同地理区域的用户提供了一种富有成效的方式来会面和交流这是想法，从而提高了电话会话的生产力，因为用户可以直观地看到其他用户的反应、共享内容、并参与类似于面对面会议的会议体验。

尽管有这些好处，但当前的基于网络的通信会话仍然存在若干问题。例如，考虑一个大型通信会话，包括远程用户和物理上存在于单个房间中的多个用户。通常，房间中的所有用户都将被单个相机捕获。远程用户可能对查看房间中的所有用户不感兴趣，但替代地可能对跟踪和查看单个用户(甚至是不说话的用户)感兴趣，以查看该单个用户在会议期间的反应、情绪和交互。

此外，如果会议具有许多远程用户，则每个用户可能具有来自其各自捕获设备的自己的独立视频流，并且用户可能难以跟踪和查看感兴趣的其他用户和/或对象。用户可能由于可用的流媒体视频源的剪切量而不知所措，并且可能难以管理这些馈送。此外，感兴趣的视频流可能会随时间动态变化，从而使得用户可能不得不不断调整这些馈送的位置和选择。

附图说明

在不一定按比例绘制的附图中，相似的数字可以在不同的视图中描述相似的组件。具有不同字母后缀的相似数字可以表示相似组件的不同实例。附图通过示例而非限制的方式总体地示出了本文档中讨论的各种实施例。

图1示出了根据本公开的一些示例的示例性基于网络的通信服务的框图。

图2图示了根据本公开的一些示例的通信服务器的框图。

图3示出了根据本公开的一些示例的由通信应用为基于网络的通信会话的第一用户提供的示例图形用户界面的图示。

图4示出了根据本公开的一些示例的由通信应用为基于网络的通信会话的第一用户提供的示例图形用户界面的图示。

图5示出了根据本公开的一些示例的用于在基于网络的通信会话中提供基于内容特征的订阅的方法的流程图。

图6图示了根据本公开的一些示例的用于在基于网络的通信会话中提供基于内容的组订阅的方法的流程图。

图7示出了根据本公开的一些示例的示例机器学习组件。

图8是示出根据本公开的一些示例的可以在其上实施一个或多个实施例的机器的示例的框图。

具体实施方式

在一些示例中公开了提供基于网络的通信服务的设备、系统、方法和机器可读介质，该通信服务允许基于网络的通信会话中的用户通过订阅感兴趣的通信会话的视频流的内容特征而不是视频流本身来订阅这些视频流。内容特征可以是通过将图像处理算法应用于一个或多个视频帧而识别的视频流中的任何对象。示例内容特征可以包括识别的用户和/或其他识别的对象。例如，系统可以采用面部识别方法来识别存在于基于网络的通信会话的视频流中的用户。类似地，可以将其他对象识别方法应用于视频流以检测视频流中显示的一个或多个非人对象。示例非人对象可以包括白板、书写表面、画架、黑板、三维对象等。然后，用户可以订阅以接收基于这些识别的内容特征的视频流。然后可以将订阅的内容特征流式传输到订阅用户，而不管在基于网络的通信会话期间内容特征出现在哪个视频流中。

在一些示例中，用户可以订阅特定组以便接收显示属于特定组中的识别的内容特征的所有视频流。与识别的人相关联的组可以包括基于公司结构(例如，来自公司目录的处、部门、科等)、社交网络数据(例如，基于社交图的连接)等的组。对一组人的订阅会传送显示作为订阅的组中的成员的已识别的人的所有视频流。

与非人对象相关联的组可以基于对象的类别。例如，绘图表面组可以包括诸如白板、黑板、带纸的画架等对象。对绘图表面组的订阅可以将显示绘图表面的所有视频流传送给订阅用户。各种组可以由管理员使用数据库、目录数据库、第三方源等来定义。

作为示例，第一用户可以通过选择关于第二用户的信息(例如，第二用户的姓名)而不是选择特定的视频流来订阅显示第二用户的视频流。在另一示例中，第一用户可以从一个或多个视频流中的识别的对象的列表中进行选择。例如，白板、黑板、画架、产品演示等。一般而言，订阅是基于视频流的内容特征(例如，检测到的对象和/或识别的人)或内容特征组来选择的，而不是基于对特定视频流本身的选择。

在第一用户订阅以接收显示第二用户的视频流的示例中(直接或经由订阅第二用户是其成员的组)，显示第二用户的视频流将被流式传输到第一用户，而不管第二用户出现在哪个视频流中。如果第二用户最初出现在第一视频流中，则将该第一视频流发送给第一用户。如果第二用户从第一视频流移动到第二视频流(例如，可能用户走入不同的相机的视野)，则第一视频流可以不再被发送给第一用户，而替代地第二视频流可以被发送。

在一些示例中，仅将包括订阅的用户或用户组的视频流发送给第一用户，而其他流不发送给第一用户(但可以发送给订阅它们的其他用户)。在其他示例中，不包括订阅的用户或用户组中的一个的流可以被发送到第一用户但不被执行基于网络的通信服务的通信客户端显示。

在视频流可以具有多个识别的用户的一些示例中，视频流可以被拆分成两个或更多个视频流的组，一个流显示每个识别的个体。例如，在会议室中，单个相机可以捕获多个用户和/或对象。系统可以识别每个用户并将视频流拆分成多个视频流的集合。在一些示例中，可以在通信服务器和/或客户端设备的通信应用中执行拆分。在一些示例中，集合中的每个视频都显示了不同的识别的用户。每个视频都可以显示一个纵向视图——这可以是该人的头部和肩部视图，也可以显示他们的整个身体(或视频流中可见的尽可能多的该人的身体)。

在一些示例中，用户可以基于在基于网络的通信会话的可用视频流中的所有识别的用户和/或对象的列表来订阅以接收各个用户和/或对象的视频流。通过处理基于网络的通信会话的视频流，可以从面部识别和对象识别中确定识别的内容特征(例如用户或对象)的列表。面部识别和对象识别可以发生在一个或多个通信客户端、基于网络的通信服务器、或一个或多个通信客户端和基于网络的通信服务器两者处。

例如，通信客户端可以从基于网络的通信服务器接收所有视频流。然后，基于网络的通信客户端可以对视频流采用面部和/或对象识别，以向通信客户端的用户提供识别的用户和/或对象的列表。通信客户端的用户然后可以选择一个或多个识别的用户和/或对象。然后，通信客户端可以仅显示与所选择的用户和/或对象匹配的视频流。

在其他示例中，每个通信客户端可以仅对由一个或多个图像捕获设备生成的视频流采用面部和/或对象识别，所述一个或多个图像捕获设备以通信方式耦合到在其上执行通信客户端设备的计算设备。以这种方式，识别内容特征的计算负载可以在基于网络的通信会话的不同计算设备之间拆分。视频流和对识别的任何对象和/或用户的指示可以从每个通信客户端发送到通信服务器。通信服务器然后可以聚合识别的用户列表并将该列表提供给通信客户端以供订阅。通信服务器然后可以仅向每个特定通信客户端发送视频流，每个特定通信客户端显示特定通信客户端已经订阅的用户和/或对象。

在又一示例中，通信服务器可以对基于网络的通信会话的所有流采用面部和/或对象识别。然后，通信服务器可以聚合识别的用户列表并将该列表提供给通信客户端以供订阅。接收到的订阅被存储，然后通信服务器可以仅向每个特定通信客户端发送视频流，每个特定通信客户端显示特定通信客户端订阅的用户和/或对象。

在又一附加示例中，通信客户端可以执行对象和/或用户识别的第一部分，并且通信服务器可以执行对象和/或用户识别的第二部分。例如，通信客户端可以执行产生中间结果的第一操作，并且通信服务器可以使用视频流和中间结果来产生最终结果。

一旦用户已经订阅以接收包含识别的人的视频流，这些视频流就被显示给用户。在一些示例中，可以仅将包含所选择的识别的人的视频流发送给订阅以接收该识别的人的用户。在其他示例中，所有视频流都发送到客户端设备，但仅显示那些被订阅的视频流。如前所述，可以裁剪和/或拆分视频流，使得在特定视频流中仅显示识别的人和/或对象，而不显示其他人或对象。在其他示例中，与识别的人相邻或被识别的人使用的识别的对象可以或可以不包括在视频流中，这取决于用户的偏好。

如前所述，无论从哪个相机识别出用户，系统都可以自动向所选择的用户传送或显示视频流。例如，用户可以从第一相机的视野移动到第二相机的视野。系统可以识别这种移动并更新传输的视频流，以便基于订阅向订阅者提供适当的视频流。例如，第一用户订阅以仅接收显示第二用户的一个视频流，并且在第一用户订阅显示第二用户的视频流时，第二用户在第一视频流中被识别。如果第二用户从第一视频流移动到第二视频流，则系统可以识别这种变化并将第二视频流传送给第一用户。以这种方式，系统将视频流的源与订阅解耦合(decouple)，使得订阅不是针对特定视频源的订阅，而是针对视频流的识别的内容的订阅。因此，系统跨相机而动态跟踪识别的人，并将这些流传送给通信会话中的用户。

如前所述，用户可以订阅以基于内容特征的组成员资格而接收视频流，而不是订阅各个内容特征。例如，第一用户可以订阅以接收显示作为特定用户组的任何用户的视频流。在另一示例中，第一用户可以订阅以接收显示作为特定对象组的一部分的任何对象的视频流。

用户可以属于一个或多个组。用户组可以包括公司内的工作角色、公司内的组织、组织内的等级级别(例如，副总裁级别、董事级别等)、决策能力(可能是基于他们的工作角色、公司层次结构中的级别和会议主题)等。

在一些示例中，组可以基于社交网络服务中的关系图并且可以基于订阅用户来定义，例如订阅用户的第1度连接(例如，朋友)，第2度连接(朋友的朋友)，等等。为了确定用户组成员资格，通信系统可以与一个或多个数据库交互，例如目录服务(例如活动目录服务)、社交网络服务等。会议中的用户可以订阅以接收视频流，视频流包括属于一个或多个组的用户。显示订阅组成员的每个视频流都会发送给订阅用户。

对象组可以基于对象的类型，例如书写表面(例如，白板、黑板、记事本等)。对象组的成员资格可以基于管理员、存储对象类型和那些对象的组成员资格的对象本体等。

如果第一用户离开通信会话并且第二用户已经订阅以接收包括该第一用户的视频馈送，则该第一用户的视频流可以不再由通信服务发送到第二用户，或者可以不被通信客户端显示。类似地，如果属于第一组的新用户在第二用户已经订阅以接收第一组的流之后加入通信服务，则通信服务仍然可以将新用户的视频流流式传输给第二用户。

如所指出的，组可以基于与在基于网络的通信会话内采取的动作无关的组成员资格标准。例如，组成员资格可以基于除会议内的发言或演示之外的标准。然而，在其他示例中，组可以基于一个或多个会议动作和/或交互。例如，一组频繁发言者、一组争论参与者、表达特定情绪的参与者、表达特定情绪的特定水平的参与者、表达任何情绪的阈值水平的参与者等。

在一些示例中，系统可以连同视频流一起提供关于在流中识别的用户的信息。例如，姓名、职位、联系人信息、传记信息等。该信息可以由客户端应用显示，例如在与视频流相邻的位置、响应于悬停在用户的视频上而弹出的框等。

如所指出的，用户可以订阅以接收以对用户的情绪或反应为特征的视频流。例如，订阅用户可以订阅示出其他用户的显示快乐、悲伤、愤怒、同意、困惑等的视频流。在一些示例中，订阅可以针对示出用户的显示超过阈值强度的特定情感和/或情绪的视频流。例如，极度困惑、极度快乐等。在一些其他示例中，订阅用户可以订阅以观看示出其他用户的视频流，这些视频流展示了超过特定强度级别的情感和/或情绪，而不论情感和/或情绪的类型，而不是订阅特定情绪或情感。

在一些示例中，为了保护基于网络的通信会话中的用户的隐私，用户可以具有多个隐私设置，这些设置允许用户控制其他用户是否可以观看他们的视频流、订阅他们的视频流，以及在什么基础上。例如，用户可以基于面部检测、情绪分析、对象识别、组成员资格等选择不向其他用户展示。

通过将视频流源与传送到通信客户端的实际视频流解耦合，系统为用户提供了一种选择和跟踪视频流的简单方式，从而为用户提供了更具吸引力的体验。如前所述，传统通信系统呈现所有视频流——这迫使用户对可能大量的视频流进行分类。这也非常浪费网络资源和处理资源，因为无论特定流是否显示特定用户感兴趣的内容，所有流都发送到所有通信客户端。

另外，虽然一些传统的通信系统可以允许用户重新组织流以专注于一个或多个特定流的能力，但是这些系统对于用户使用来说仍然很麻烦。用户必须对可能大量的视频流进行分类并重新组织它们。此外，如果用户感兴趣的内容改变了视频流，在传统的通信系统中，用户将不得不找到显示内容的新流并重新组织它们。

本公开通过允许用户订阅视频流的实际内容特征而不是视频流本身来改进呈现通信系统的计算系统的功能。这可以包括订阅通信会话中的识别的用户和/或对象，这是通过订阅他们的身份或组身份实现的。然后，订阅的内容特征被系统跟踪，以确保在内容移动到其他不同的视频流时，更新传送给特定用户的视频流。这通过仅向用户发送用户有兴趣接收的视频而不是发送每个视频流来减少用于通信会话的网络流量，从而提供对计算机系统的功能的改进。一些实现方式还减少了最终用户客户端设备的处理负载，因为它们不再需要处理和显示每个流。此外，对于电池供电的设备，处理负载的减少具有相应的电池节省。

这还表示通过提供对计算设备的用户界面的改进来改进计算机系统的功能。例如，本公开描述了在通信会话期间呈现和概括可能的大量视频流数据的方法。该申请描述了基于视频流的内容来选择和呈现视频流的特定方式。如前所述，本申请基于用户的选择和视频流中的识别的用户来限制呈现给用户的视频流的数量。

图1示出了根据本公开的一些示例的示例性基于网络的通信服务100的框图。第一计算设备110、第二计算设备111、第三计算设备112和第四计算设备113可以是由通信服务器130和通信应用115的相应实例提供的同一活动的基于网络的通信会话(例如，视频会议会话)的成员。第一计算设备110可以执行通信应用115的第一实例(示为115-1)，第二计算设备111可以执行通信应用115的第二实例(示为115-2)，第三计算设备112可以执行通信应用115的第三实例(示为115-3)，并且第四计算设备113可以执行通信应用115的第四实例(示为115-4)。

通信应用115可以与通信服务器130通信以建立、加入和参与基于网络的通信会话。这包括发送、接收和呈现作为基于网络的通信会话一部分的语音、视频和内容数据中的一项或多项。在一些示例中，计算设备110、111、112和113中的一个或多个可以包含或通信地耦合到视频捕获设备，例如摄像机。在一些示例中，视频捕获设备可以是会议室捕获设备105的形式——其在图1中示出为耦合到第一计算设备110。会议室捕获设备105可以是可以捕获房间的大部分的相机、一组相机、360度相机等。

在一些示例中，会议室捕获设备105可以包括处理器和/或其他计算设备组件，例如图8所示。这些组件可以处理由一个或多个相机捕获的一个或多个视频流，例如拼接、变换、旋转、裁剪、通过面部识别识别用户、对象识别和标识等。处理还可以包括基于识别的用户和/或对象将捕获的视频流细分为多个视频流。

来自会议室捕获设备105的一个或多个视频流可以被发送到第一计算设备110，其中通信应用115-1可以接收视频流并且通过网络120将它们传递到通信服务器130。通信服务器130可以处理一个或多个视频流以识别内容特征，例如用户和/或对象。通信服务器130可以将单个视频流(例如显示360度视图的视频流)拆分成多个单独的视频流，分别显示每个识别的内容特征(例如，用户或对象)。

如前所述，第二计算设备111、第三计算设备112和第四计算设备113可以执行通信应用115的实例，分别表示为115-2、115-3和115-4。通信应用115的这些实例还可以与通信服务器130通信以建立、加入和参与基于网络的通信会话。这包括发送、接收和呈现作为基于网络的通信会话的一部分的语音、视频和内容数据中的一项或多项。共同地，通信应用115和通信服务器130通过在网络120上通信来提供基于网络的通信会话。

第二、第三和第四计算设备111、112和113分别可以或可以不通信地耦合到视频捕获设备。如图1所示，第二计算设备111和第三计算设备112耦合到摄像机，但是第四计算设备不耦合到摄像机。通信服务器130可以分别处理来自第一、第二、第三和第四计算设备110、111、112和113的一个或多个视频流。虽然第四计算设备113没有耦合到视频捕获设备，但第四计算设备113可以参与一个或多个视频流的屏幕共享或内容共享。如所指出的，通信服务器130可以识别内容特征，例如视频中的对象和/或用户。在一些示例中，通信服务器130可以将视频流拆分成两个单独的视频流，每个视频流显示单个内容特征。

第一、第二、第三和第四计算设备110、111、112和113可以订阅以接收由第一、第二、第三和第四计算设备110、111、112和113发送的视频流中的一个或多个的内容作为基于网络的通信会话的一部分。如前所述，在一些示例中，通信服务器130可以对视频流采用内容特征识别(例如，面部和/或对象识别)。在其他示例中，诸如第一计算设备110、第二计算设备111、第三计算设备112或第四计算设备113之类的计算设备中的一个或多个可以采用内容特征识别来识别视频流中的个人和/或对象(例如，确定他们的身份)和/或对象(例如，例如白板)。在又一示例中，诸如会议室捕获设备105之类的视频捕获设备之一可以采用内容特征识别。

在计算设备或通信耦合到计算设备的图像捕获设备采用面部识别和/或对象识别的示例中，这些设备连同它们生成的视频流一起发送视频流中显示的对象和/或用户的列表。通信服务器130然后可以聚合所有识别的对象和用户的列表并将该列表转发给用户计算设备。在通信服务器130检测并识别对象和用户的示例中，通信服务器130可以确定各种接收到的视频流中的所有对象和/或用户的列表。

用户可以通过通信应用(115-1、115-2、115-3和115-4)选择所列出的内容特征中的一个或多个，例如用户和/或对象。该选择可以被发送回通信服务器130，其中通信服务器130可以跟踪通信应用115-1、115-2、115-3和115-4中的每一个的订阅。通信服务器130然后可以发送具有与通信应用提交的订阅相匹配的识别的内容特征(例如识别的用户和其他对象)的视频流。例如，如果通信应用115-1的用户订阅以接收视频“John Smith”并且JohnSmith在由第三计算设备112提交的视频流中被识别，则该视频流被发送到通信应用115-1以供向通信应用115-1的用户显示。

在一些示例中，为了识别诸如用户的内容特征，系统可以将一个或多个视频帧与内容特征的一个或多个存储的图像模板进行比较。例如，可以将视频流中检测到的面部与向通信服务器130或不同服务器注册的面部识别模板进行比较。示例算法可以包括使用特征面的主成分分析、线性判别分析、使用Fischerface算法的弹性束图匹配、隐马尔可夫模型、使用张量表示的多线性子空间学习、支持向量机和神经元驱动的动态链接匹配。内容特征模板可以存储在与通信服务器130和/或诸如第一、第二、第三和第四计算设备(分别为110、111、112和113)的计算设备通信耦合的数据库中。

如前所述，通信服务器130和/或第一、第二、第三和第四计算设备110、111、112和113可以通信地耦合到或可以包括具有目录信息和/或可以包括基于网络的通信会话中的用户的身份信息(包括姓名、公司信息、职位等)的社交网络信息的数据库。

虽然图1示出了四个计算设备，110、111、112和113；可以理解，基于网络的通信会话可以包括多于或少于四个计算设备作为用户。

图2图示了根据本公开的一些示例的通信服务器130的框图200。在框图200中，示出了针对单个用户计算设备(第二计算设备111)的订阅过程和视频流传送过程流。其他计算设备201(例如，图1中的第一计算设备110、第三计算设备112、第四计算设备113)被表示为基于网络的通信会话中的其他用户计算设备201。

订阅组件205管理基于网络的通信会话的一个或多个用户的订阅。在一些示例中，订阅特定于每个用户和每个基于网络的通信会话，但在其他示例中，订阅可以应用于超过当前的基于网络的通信会话的每个用户(例如，它可以是被应用直到被用户更改为止的设置)。在一些示例中，可以在基于网络的通信会话期间、在基于网络的通信会话之前等进行订阅。

订阅组件205可以向每个用户计算设备发送可用内容特征(例如，对象和/或用户)的列表。该列表可以基于当前在基于网络的通信会话的视频流中识别的一组识别的内容特征。在一些示例中，列表可以随着新的内容特征被识别以及随着先前识别的内容特征不再被识别(例如，用户在任何视频流中不再可见)而改变。在一些示例中，可以在开始流式传输视频之前提供初始列表，该初始列表可以基于先前在一个或多个计算设备的位置中检测到的受邀用户和对象(例如，可以列出先前在作为基于网络的会议会话一部分的会议室中检测到的白板)。一旦视频流开始，可以基于实际检测到的和识别的内容特征来更新列表。

参与基于网络的通信会话的计算设备(例如第二计算设备111)可以接收可用内容特征的列表并将那些选项呈现给用户。然后用户可以从可用选项中进行选择，并且通信应用使用这些选择来制定订阅请求并将其发送到订阅组件205。订阅组件205然后可以将关于订阅的信息存储在订阅信息数据存储库210中。例如，订阅用户的标识符以及订阅用户有兴趣接收的内容特征和内容特征组可以存储在订阅信息数据存储库210中。

订阅组件可以基于在由计算设备(例如，第二计算设备111、其他计算设备201)发送的视频流中识别的内容特征来生成发送到计算设备以供选择的内容特征的可用列表。如前所述，用户可以订阅内容特征或内容特征组。例如，订阅组件可以与数据库接合以从识别的内容特征的列表中确定识别的内容特征所属的组。这些组可以添加到发送到计算设备的可用订阅列表中。示例数据库可以包括目录服务器225和社交网络服务230。

识别器组件215从计算设备接收各种视频流并且识别一个或多个内容特征。在一些示例中，识别器组件可以识别多个不同的内容特征，例如用户、对象等。识别器组件215可以采用单个识别算法和/或机器学习模型来检测多个不同的内容特征。在其他示例中，识别器组件215可以采用不同的识别算法和/或机器学习模型来检测多个内容特征中的每一个。

例如，识别器组件215可以利用一种或多种面部识别(例如，机器学习算法)算法，将检测到的面部与存储在内容特征模板数据存储库217中的面部识别模板相匹配，以识别用户。如本文所用，识别用户包括确定用户的唯一标识符，例如姓名、与用户相关联的数据记录等。

识别器组件215然后将视频流连同针对每个流指示识别的内容特征(例如，识别的人和/或对象)的标识符一起传递到分发组件220。在一些示例中，如果视频流显示多个识别的内容特征(例如，人和/或对象)，则识别器组件215可以将视频流分成多个视频流——每个视频流显示单个识别的内容特征。

分发组件220访问来自订阅信息数据存储库210的订阅信息、来自目录服务器225的目录信息和/或来自社交网络服务230的社交网络信息以及针对识别的内容特征(例如，用户和/或对象)的每个视频流的指示符，从而确定将哪些视频流发送到哪些计算设备。例如，对于每个特定视频流，分发组件220可以尝试将在特定视频流中识别的内容特征与存储在订阅信息数据存储库210中的订阅信息中的特定计算设备的订阅记录相匹配。该比较还包括检查以查看识别的内容特征是否是用户订阅的组的一部分。如果找到匹配，则分发组件220使特定视频流传输到特定计算设备。如果未找到匹配，则可以不将流发送到任何计算设备。可以基于订阅将一个或多个流发送到一个或多个计算设备。一个或多个用户可以基于组成员资格匹配一个或多个不同的订阅。

如前所述，订阅也可以基于情绪分析。例如，用户可以订阅以接收与用户情感相关的视频流。用户可以订阅以接收检测到的用户情感的视频流，例如快乐、悲伤、沮丧、愤怒等。在其他示例中，用户可以订阅以接收强烈的情感。例如，系统可以检测视频流中显示的用户的情感反应，并量化表达的情感水平。用户可以订阅以接收显示高于阈值情感反应水平的一种或多种不同情感的视频流。在一些示例中，可以通过动态贝叶斯网络、支持向量机和决策树来检测情感。在一些示例中，可以通过分析视频以检测面部肌肉运动并通过参考面部动作编码系统(FACS)和与FACS动作单元相关联的情感来检测情感。情感的强度可以基于面部肌肉运动的强度来确定。

在图2的示例中，只有一个视频流被发送到第二计算设备111，但是应当理解，一个以上的视频流可以被发送到第二计算设备111并且一个或多个视频流可以被发送到一个或多个其他计算设备201(取决于他们的订阅)。

在一些示例中，除了特定订阅的情况下或在没有特定订阅的情况下，还可以将默认的一个或多个视频流发送到计算设备。例如，可以在计算设备以其他方式指定他们有兴趣接收的视频流的主题之前发送活跃发言者视频流。

如前所述，图2中所示的功能性可以至少部分在第二计算设备111或其他计算设备201上执行例如，识别器组件215和/或订阅组件205的功能性可以在第二计算设备111或其他计算设备201中的一个或多个上执行。

图3示出了根据本公开的一些示例的由通信应用为基于网络的通信会话的第一用户提供的示例图形用户界面310的图示。显示允许用户调用通信应用的各种功能性的图标栏315，例如活动馈送、聊天功能、按各种组(例如，团队)组织通信和文件的组功能、可以提供基于网络的通信会话的会议功能、允许用户拨打和接收IP语音呼叫的呼叫功能、文件管理器、用户可以获得附加功能的商店、允许用户提交反馈的反馈按钮，以及类似物。如图3所示，用户当前处于基于网络的通信会话中，如会议功能图标左侧的指示器所示。

会议控制条320显示例如会议已经进行的经过时间(02:00)。会议控制条320还可以包括视频控件、音频控件、共享控件、记录控件等。此外，会议控制栏320可以具有允许用户使用即时消息与其他用户聊天、查看谁在通话以及挂断电话的控件。在一些示例中，并且虽然未在图3中示出，会议控制栏320可以具有用于订阅和取消订阅诸如用户、用户组、对象或对象组的一个或多个识别的内容特征的按钮。在其他示例中，订阅用户、对象或用户组和/或对象的控件可以是在选择会议控制栏320上的省略号“…”时显示的子菜单。

平台325可以在用户的会议或视频流中呈现用户的一个或多个表示。如果用户没有启用视频流式传输或没有视频捕获设备，则用户可以由化身代表。如果用户已经启用了视频并且正在流式传输，则该视频可以显示在平台325上。在图3中所示的会议中的所有用户都已经启用视频。在图3的示例中，其通信应用被显示的第一用户已订阅以接收视频流，该视频流显示了作为经理330的所有被识别的会议参与者和作为工程师340的所有被识别的会议参与者。

平台布局可以是网格布局，其中每个视频流显示在相同大小的框中，视频流被裁剪为头肩视角并与一个或多个行或列中的相邻视频流对齐。在其他示例中，每个视频流可以是原始分辨率。在又一些示例中，可以将一些视频流渲染得更大作为对用户的相对重要性的指示。例如，说话用户的视频流可能会被放大(不管发言者属于哪个组)。在一些示例中，如果活跃发言者不在订阅之一中，则除了所订阅的内容特征之外，活跃发言者也可以显示在平台上。

在一些示例中，所示的唯一视频流是用户订阅的视频流。在图3所示的示例中，用户订阅了“经理”组和“工程”组。用户可以相对于彼此重新组织组的排序和放置。例如，用户可以重新组织平台，使得展示工程师的视频流被放置在经理之前。在一些示例中，用户可以重新组织组内的用户。例如，用户可以将用户“Grace Elizabeth”移动到图3中的“WilliamStone”之前。在一些示例中，可以仅显示订阅的视频馈送，但在其他示例中，订阅的视频流可以被突出放置或突出显示(例如，在顶部、中心、与非订阅的视频流相比尺寸更大等)，并且非订阅的视频流可以是非突出显示。例如，非订阅的视频流可以放置在下方、侧面，可以通过滚动访问，并且可以小于订阅的视频流。

图4示出了根据本公开的一些示例的由通信应用为基于网络的通信会话的第一用户提供的示例图形用户界面410的图示。在图4的示例中，第一用户已经订阅了由满足属于决策者420组的标准的识别的人以及那些已经或最近表现出情感反应430的人提供的视频流。决策者420可以是识别的用户，通过他们在管理组中的成员资格，识别的用户被授权关于一个或多个会议主题做出决策。在一些示例中，会议的主题可以与一个或多个管理组匹配。例如，与工程相关的会议主题可以具有作为工程经理的决策者(与销售或营销管理形成对比)。

会议主题(topic)可以基于会议创建者输入的会议话题(subject)来确定，或者可以通过对会议内容(音频、视觉或两者)的分析来确定。会议主题可以是与将关键字映射到决策用户的关键字列表相匹配的关键字。也就是说，工程经理的组可以具有与他们相关联的某些关键字(例如，存储在简档中)，并且具有以下主题的会议可以触发作为多个用户的多个工程经理被标记为决策者：该主题匹配或包含关键字之一，其具有多个工程经理中的一个作为用户之一。在其他示例中，除了关键字之外或代替关键字，隐狄利克雷(LatentDirichlet Algorithm，LDA)算法可用于确定会议主题。LDA算法可以将会议标题、关于与会者的信息以及在一些示例中对会议的一部分(例如，开始部分)的音频的转录作为输入。然后将该主题用作数据库中的索引，该数据库返回作为该主题的决策者的管理组和/或经理的列表。如果返回的用户之一出席会议，则他们可以被标记为决策者。

一些示例中，系统可以自动订阅用户以接收一个或多个用户和/或用户组的视频流。例如，系统可以训练机器学习模型以选择特定的用户集和/或用户组。该模型可以是系统所有用户的通用模型，也可以是专门针对一组用户或特定用户训练的。该模型可以将用户的上下文(例如，日期、时间、位置、在公司中的职位)、会议主题、其他用户的身份、其他用户的组成员资格等作为输入。该模型可以生成建议订阅的列表，该列表可以呈现给用户。然后，用户可以为建议的用户添加或不添加订阅。可以基于过去的数据训练模型，过去的数据包括用户的上下文(例如，日期、时间、位置、在公司中的职位)、会议的主题、其他用户的身份、其他用户的组成员资格等。过去的数据可以用用户订阅的用户列表或用户输入的反馈分数来标记，从而对建议的视频流进行评级。用于创建模型的示例机器学习算法包括神经网络、决策树、决策森林、协同过滤、最近邻算法等。

图5示出了根据本公开的一些示例的用于在基于网络的通信会话中提供基于内容特征的订阅的方法500的流程图。在一些示例中，图5可以由通信服务器130来执行。在其他示例中，图5的操作中的一个或多个可以由通信应用115或诸如会议室捕获设备105之类的捕获设备来执行。

在操作510，系统可以确定在基于网络的通信会话的视频流中显示的内容特征。例如，可以应用面部识别算法来检测一个或多个面部并将它们与模板匹配以识别视频流中显示的用户。在其他示例中，对象识别算法可以识别一个或多个对象，例如白板。可以基于对视频的一个或多个帧的分析来做出该确定。在一些示例中，分析可以由通信应用或耦合到通信应用的捕获设备完成，并且确定是从那些设备读取用户身份的指示，例如通过通信应用发送的消息或视频的元数据。

在一些示例中，视频流中用户的标识独立于会议中用户的动作，例如作为发言人。所确定的标识可以是系统所有用户的独特标识符(字母数字或数字)。在一些示例中，标识用于查询数据库(例如活动目录数据库)以确定关于用户的信息，例如用户的姓名、用户的社交媒体连接、用户最近发布的内容等。该信息可以被显示或以其他方式对用户可用以在基于网络的通信系统的平台上查看。例如，用户可以将鼠标悬停在用户的视频流上并且可以显示该信息。

通信服务器130可以对通信服务器130从发送视频流的每个通信应用115接收的每个视频流执行操作510。在一些示例中，通信服务器130可以收集识别的内容特征(例如，视频流中所示的用户或对象)的列表并将该列表发送到通信应用115。

在一些示例中，通信服务器130可以确定识别的内容特征的列表所属的多个内容特征组，并且将那些作为订阅选项提供给通信应用115。例如，识别用户所属的组的列表、非人对象所属的对象组等。在一些示例中，如果视频流包括多个识别的内容特征，则通信服务器130可以将视频流拆分成多个视频流。例如，如果视频流显示两个人或对象，则通信服务器130可以将视频流拆分成显示第一人而不是第二人的第一部分和显示第二人而不是第一人的第二部分。

在操作520，通信服务器130可以从通信应用115接收对多个可用内容特征中的内容特征的选择。示例内容特征可以包括识别的用户、用户组、对象、对象组和/或类似特征。通信服务器130可以存储关于订阅的信息，例如哪个用户订阅了哪些其他用户、对象、用户组和对象组。

在操作530，通信服务器130可以响应于接收到对内容特征的选择，确定在操作510在视频流中观察到的内容特征与所选特征匹配。例如，如果在操作520，订阅用户选择了用户组，并且系统确定在操作510识别的人是否在所选用户组中。

在操作540，响应于确定在操作510在视频流中观察到的内容特征与从操作520选择的内容特征相匹配，使得将视频流传输到计算设备以供呈现。例如，如果在操作510在视频流中识别的人与在操作520接收的订阅相匹配，则可以将视频流传输到在操作520订阅的用户的计算设备。使得传输可以包括传输视频流，指示基于网络的通信会话的另一组件传输视频流，等等。

作为图1的示例应用，在操作510，系统可以基于对作为基于网络的通信会话的一部分接收的视频流的一个或多个视频帧的分析来确定在视频流中显示的人的身份。该身份可以独立于基于网络的通信会话中的人的动作。在操作520，参与基于网络的通信会话的计算设备可以发送对从多个可用用户组中选择的识别的用户组的选择并且通信服务器可以接收对从多个可用用户组中选择的识别的用户组的选择。响应于接收到对用户组的选择，系统可以在操作530确定在操作510的视频流中观察到的人是从操作520选择的用户组的一部分。在操作540，响应于确定在来自操作510的视频流中观察到的人是来自操作520的所选用户组的一部分，使得将视频流传输到计算设备以供呈现。

图6图示了根据本公开的一些示例的用于在基于网络的通信会话中提供基于内容的组订阅的方法600的流程图。方法600可以由通信服务器130执行。在其他示例中，一个或多个操作可以由通信应用115或捕获设备来执行，这些设备通信地耦合到执行通信应用115的计算设备。在操作610，通信服务器130可以从通信应用115接收与基于网络的通信会话相对应的一个或多个视频流。在操作620，通信服务器分析视频流，并使用一种或多种对象检测和/或识别算法来检测视频流中的一个或多个内容特征。例如，通过面部识别技术检测用户身份，检测诸如白板、图片、模型等对象。

在操作630，通信服务器130可以将来自操作610的接收到的视频流拆分成单独的视频流，其显示来自操作620的检测到的内容特征中的每一个。例如，如果视频流显示人和白板，则系统可以将其拆分成两个单独的视频流，一个显示人(而不是白板)，另一个显示白板(但不显示人)。在一些示例中，视频流可以替代地应用一个或多个操作来使特定内容特相对于视频流的其他特征进行突出显示，而不是剪裁掉其他检测到的内容特征。例如，如果视频流具有人和白板，则系统可以从该视频流创建两个视频流。一个视频流将对视频进行构图，使得以人为特征(例如，在帧中居中、放大、焦点对准等等)，而不以白板为特征(例如，未居中、较小、未聚焦等等)。第二视频流可以类似地以白板为特征，而不以人为特征。

在操作640，系统可以确定在操作620检测到的内容特征的组成员资格。例如，可以创建和存储视频流的记录，包括视频流标识符和内容特征的一个或多个标识符，和/或那些内容特征是其部分的组(例如检测用户组)。例如，系统可以利用目录服务(例如活动目录服务)、认证服务、社交网络服务等来确定识别的人所属的组。此外，可以再次分析视频以确定基于会议的角色组，例如活跃发言者、情绪分析等。进一步的操作可以包括确定决策者等。可以使用基于对象的类型而对对象进行分类的一个或多个本体来确定非人内容特征组。该组可以是对象的类型。例如，书写表面可以包括白板、纸、黑板等。

在操作650，系统可以确定一个或多个活动的订阅。例如，系统可以接收订阅请求并将这些请求存储在数据存储库中。订阅可以针对通信应用115的实例或基于登录到通信应用115的用户。在后一种情况下，订阅基于登录到通信应用的用户，并且在订阅可以应用于多于一个通信会话的示例中，用户可以登录到任何计算设备并且可以更新订阅以使得将适当的视频流发送给用户。订阅信息可以存储在数据存储库中，该数据存储库存储用户或通信应用标识符以及用户订阅的内容特征的列表。

在操作660，在基于网络的通信会话期间，系统可以确定与基于网络的通信会话中每个用户的每个订阅相匹配的视频流，并且将这些视频流传输到每个用户或使得将这些视频流传输到每个用户。

如本文所用，基于网络的通信会话可以是其中音频和/或视频协议具有已建立但尚未终止的活动连接的状态。这些协议承载使至少两个用户能够以基本实时的方式彼此发送音频和/或视频的音频和/或视频通信。基本上实时是指在生成时到达的任何音频和/或视频交换，考虑到预期的网络、传输和接收延迟。

如前所述，本公开的各个方面可以利用由一种或多种机器学习算法学习的一种或多种机器学习模型。例如，可以在视频流中检测到一个或多个内容特征；可以确定一个或多个建议订阅；可以对情感进行检测、分类以及确定情感的强度；之类的。图7示出了根据本公开的一些示例的示例机器学习组件700。机器学习组件700可以全部或部分由通信服务器130实现。在一些示例中，机器学习组件700可以全部或部分由通信应用115实现。在一些示例中，机器学习组件700可以通过视频捕获设备(例如会议室捕获设备105)来实现。在一些示例中，训练组件710可以由与预测组件720不同的设备实现。在这些示例中，模型780可以在第一台机器上创建，然后发送到第二台机器。

机器学习组件700利用训练组件710和预测组件720。训练组件710将训练特征数据730输入到特征确定组件750中。训练特征数据730可以被标记或可以未被标记。特征确定组件750根据训练特征数据730确定特征向量760的一个或多个特征。特征向量760的特征是一组信息输入并且是被确定为预测期望结果的信息。在一些示例中，特征确定组件750是机器学习算法770的一部分。例如，不能预测结果的训练特征数据730的特征可以被忽略或加权低于其他更相关的特征。

例如，在机器学习组件700用于检测内容特征的示例中，特征确定组件750从训练特征数据730中确定特征，这些特征可预测人或其他对象的身份的确定。在机器学习组件700用于建议内容特征订阅的示例中，特征确定组件750可以确定预测用户对内容特征的偏好的特征。在机器学习组件700用于确定情感和/或情感水平的示例中，特征确定组件750可以确定预测情感和/或该情感水平的特征。

选择用于包含在特征向量760中的特征可以是所有训练特征数据730，或者在一些示例中，可以是所有训练特征数据730的子集。可以由机器学习算法770利用特征向量760(连同任何适用的标签)来产生模型780。

在预测组件720中，可以将预测特征数据790输入到特征确定组件795。预测特征数据790可以是用于进行当前预测并且可以不被标记的数据。例如，要分析以确定是否要识别内容特征的一个或多个视频帧；用于确定建议订阅的用户上下文信息；和/或要被分析以确定所识别用户的情感的一个或多个视频帧。特征确定组件795可以确定与特征确定组件750相同的一组特征或不同的一组特征。在一些示例中，特征确定组件750和795是相同的组件或相同组件的不同实例。特征确定组件795产生特征向量797，其被输入到模型780中，模型780产生预测799。预测799可以是识别的内容特征、检测的情感(和情感水平)和/或推荐的内容订阅的指示。

训练组件710可以以离线方式操作以训练模型780。然而，预测组件720可以被设计成以在线方式操作。应当注意，模型780可以通过额外的训练和/或用户反馈定期更新。机器学习算法770可以从许多不同的潜在监督或无监督机器学习算法中选择。监督学习算法的示例包括人工神经网络、卷积神经网络、贝叶斯网络、基于实例的学习、支持向量机、决策树(例如，迭代二分法3、C4.5、分类和回归树(CART)、卡方自动交互检测器(CHAID)等)、随机森林、线性分类器、二次分类器、k最近邻、线性回归、逻辑回归和隐马尔可夫模型。无监督学习算法的示例包括期望最大化算法、向量量化和信息瓶颈方法。无监督模型可能没有训练组件710。

在一些示例中，模型780可以输出对视频流是否包括一个或多个内容特征的确定。在这些示例中，特征数据可以包括一个或多个视频帧、一个或多个用户面部识别模板等。训练特征数据730可以是一个或多个样本视频帧，其标记有样本视频帧是否匹配一个或多个模板以及它匹配哪一个或多个模板的指示。

如所指出的，模型780还可以输出对用户的推荐订阅的确定。在这些示例中，特征数据可以是用户上下文、会议上下文等。训练特征数据730可以是历史用户上下文、会议上下文等，在给定那些历史用户上下文、会议上下文等的情况下，用用户订阅的过去内容特征(和内容特征组)标记。

在其他示例中，模型780还可以检测情感和/或情感水平。在这些示例中，特征数据可以是情感线索、一个或多个视频帧或视频帧的特征等。训练特征数据730可以是标记有情感和/或情感水平的样本视频帧。

图8图示了示例机器800的框图，本文讨论的任何一种或多种技术(例如，方法)可以在其上执行。在替代实施例中，机器800可以作为独立设备操作或者可以连接(例如，联网)到其他机器。在联网部署中，机器800可以以服务器-客户端网络环境中以服务器机器、客户端机器或两者的能力运行。在示例中，机器800可以充当对等(P2P)(或其他分布式)网络环境中的对等机器。机器800可以实现通信服务器130、计算设备(例如图1的第一、第二、第三或第四计算设备110、111、112和113)等。机器800可以实现图2的通信服务器，图7的组件，图5和图6的方法，并产生图3和图4的GUI。机器800可以采用个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、移动电话、智能电话、web器件、网络路由器、交换机或网桥，或任何能够执行指定该机器要采取的动作的指令(顺序或其他)的机器。此外，虽然仅说明了单个机器，但术语“机器”也应理解为包括单独或联合执行一组(或多组)指令以执行本文讨论的任何一种或多种方法的机器的任何集合，如云计算、软件即服务(SaaS)、其他计算机集群配置。

如本文所述，示例可包括逻辑或多个组件、模块或机制(下文称为“模块”)，或可在逻辑或多个组件、模块或机制(下文称为“模块”)上操作。模块是能够执行指定操作的有形实体(例如硬件)，并且可以以某种方式配置或排列。在一个示例中，可以以指定方式将电路布置(例如，在内部或相对于诸如其他电路的外部实体)作为模块。在示例中，一个或多个计算机系统(例如，独立的、客户端或服务器计算机系统)或一个或多个硬件处理器的全部或部分可以由固件或软件(例如，指令、应用部分或应用)配置作为用于执行指定的操作的模块。在一个示例中，该软件可以驻留在机器可读介质上。在一个示例中，软件在由模块的底层硬件执行时，使硬件执行指定的操作。

因此，术语“模块”被理解为包含有形实体，即物理构造、具体配置(例如，硬连线)或临时(例如，暂时)配置(例如，编程)来以指定方式操作或执行本文所述的任何操作的部分或全部的实体。考虑临时配置模块的示例，每个模块都不需要在任何时刻实例化。例如，在模块包括使用软件配置的通用硬件处理器的情况下，通用硬件处理器可以在不同时间被配置为各个不同的模块。软件可以相应地配置硬件处理器，例如，在一个时间实例构成特定模块并且在不同时间实例构成不同模块。

机器(例如，计算机系统)800可以包括硬件处理器802(例如，中央处理单元(CPU)、图形处理单元(GPU)、硬件处理器核心，或它们的任何组合)、主存储器804和静态存储器806，其中一些或全部可以通过互连链路(例如，总线)808相互通信。机器800还可以包括显示单元810、字母数字输入设备812(例如，键盘)、以及用户界面(UI)导航设备814(例如，鼠标)。在示例中，显示单元810、输入设备812和UI导航设备814可以是触摸屏显示器。机器800可以另外包括存储设备(例如，驱动单元)816、信号生成设备818(例如，扬声器)、网络接口设备820和一个或多个传感器821，例如全球定位系统(GPS)传感器、指南针、加速度计或其他传感器。机器800可以包括输出控制器828，例如串行(例如，通用串行总线(USB)、并行或其他有线或无线(例如，红外(IR)、近场通信(NFC)等)连接，以与一个或多个外围设备(例如，打印机、读卡器等)通信或对其进行控制。

存储设备816可以包括机器可读介质822，其上存储有体现本文描述的任何一种或多种技术或功能或由本文描述的任何一种或多种技术或功能使用的一组或多组数据结构或指令824(例如，软件)。指令824在由机器800对其执行期间还可以完全或至少部分地驻留在主存储器804内、静态存储器806内或硬件处理器802内。在示例中，硬件处理器802、主存储器804、静态存储器806或存储设备816中的一个或任意组合可以构成机器可读介质。

虽然机器可读介质822被示为单个介质，但术语“机器可读介质”可以包括被配置为存储一个或多个指令824的单个介质或多个介质(例如，集中式或分布式数据库，和/或相关的高速缓存和服务器)。

术语“机器可读介质”可以包括能够存储、编码或携带用于由机器800执行的指令并且使得机器800执行本公开的任何一种或多种技术的任何介质，或者能够存储、编码或携带由此类指令使用或与此类指令相关联的数据结构的任何介质。非限制性机器可读介质示例可以包括固态存储器以及光学和磁性介质。机器可读介质的具体示例可以包括：非易失性存储器，例如半导体存储器设备(例如，电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM))和闪存设备；磁盘，例如内部硬盘和可移动磁盘；磁光盘；随机存取存储器(RAM)；固态硬盘(SSD)；和CD-ROM和DVD-ROM磁盘。在一些示例中，机器可读介质可以包括非暂时性机器可读介质。在一些示例中，机器可读介质可以包括不是瞬态传播信号的机器可读介质。

指令824可以进一步使用传输介质经由网络接口设备820在通信网络826上发送或接收。机器800可以使用多种传输协议中的任何一种(例如、帧中继、网际协议(IP)、传输控制协议(TCP)、用户数据报协议(UDP)、超文本传输协议(HTTP)等)来与一个或多个其他机器进行通信。示例通信网络可以包括局域网(LAN)、广域网(WAN)、分组数据网络(例如，互联网)、移动电话网络(例如，蜂窝网络)、普通老式电话(POTS)网络、和无线数据网络(例如，电气和电子工程师协会(IEEE)802.11系列标准，称为

IEEE 802.16系列标准，称为

)，IEEE 802.15.4系列标准、长期演进(LTE)系列标准、通用移动电信系统(UMTS)系列标准、对等(P2P)网络等。在一个示例中，网络接口设备820可以包括一个或多个物理插孔(例如，以太网、同轴或电话插孔)或一个或多个天线以连接到通信网络826。在一个示例中，网络接口设备820可以包括多个天线以使用单输入多输出(SIMO)、多输入多输出(MIMO)或多输入单输出(MISO)技术中的至少一种进行无线通信。在一些示例中，网络接口设备820可以使用多用户MIMO技术进行无线通信。

其他注释和示例

示例1是一种提供基于网络的通信会话的方法，该方法包括：基于对作为所述基于网络的通信会话的一部分接收的视频流的一个或多个视频帧的分析，确定视频流中所显示的人的身份，所确定的身份与所述基于网络的通信会话中的人的动作无关；从参与所述基于网络的通信会话的计算设备接收对多个可用用户组中的用户组的选择；并且响应于接收到对所述用户组的选择：基于所述人的身份确定在所述视频流中观察到的人是所选用户组的一部分；并且响应于确定在所述视频流中观察到的人是所选用户组的一部分，使得将所述视频流发送到所述计算设备以供呈现。

在示例2中，示例1的主题包括，基于对作为所述基于网络的通信会话的一部分接收的第二视频流的一个或多个视频帧的分析，确定在所述第二视频流中显示的第二人的身份，所确定的身份与所述基于网络的通信会话中的第二人的动作无关；基于所述第二人的身份确定在所述第二视频流中观察到的第二人是所选用户组的一部分；并且使得将所述第二视频流发送到所述计算设备以供呈现。

在示例3中，示例2的主题包括，基于对作为所述基于网络的通信会话的一部分接收的所述第二视频流的一个或多个附加视频帧的分析，确定所述第二人不再显示在所述第二视频流中；并且响应于确定所述第二人不再显示在所述第二视频流中，使得停止向所述计算设备发送所述第二视频流。

在示例4中，示例1-3的主题包括，其中基于对作为所述基于网络的通信会话的一部分接收的视频流的一个或多个视频帧的分析，确定在所述视频流中显示的人的身份包括：利用面部识别技术，所述面部识别技术将视频流中的面部与存储的与该人相对应的模板进行匹配。

在示例5中，示例1-4的主题包括，其中所述多个可用用户组包括工作职位、会议角色、情绪类型和会议角色。

在示例6中，示例1-5的主题包括，通过查询目录服务来确定所选用户组的多个成员。

在示例7中，示例1-6的主题包括，通过查询社交网络服务来确定所选用户组的多个成员。

在示例8中，示例1-7的主题包括，从计算设备接收对对象类型的选择；确定该对象类型的对象出现在第二视频流中；并且响应于确定该对象类型的对象出现在第二视频流中并且响应于接收到对象类型的选择，使得将第二视频流传输到计算设备以供呈现。

在示例9中，示例1-8的主题包括，其中使视频流发送到计算设备包括仅发送视频流而不发送作为基于网络的通信会话的一部分的多个其他视频流。

在示例10中，示例1-9的主题包括，基于对作为基于网络的通信会话的一部分接收的视频流的一个或多个视频帧的分析，确定视频流中显示的第二人的身份，身份与基于网络的通信会话中的角色无关；将视频流拆分成第一部分和第二部分，第一部分显示人，第二部分显示第二人；基于第二人的身份确定第二人不是所选用户组的一部分；并且其中使得将视频流发送到计算设备以供呈现包括导致发送第一部分而不是第二部分。

示例11是用于基于网络的通信会话的计算设备，该计算设备包括：处理器；存储器，存储指令，当执行所述指令时，使所述处理器执行操作，所述操作包括：基于对作为所述基于网络的通信会话的一部分接收的视频流的一个或多个视频帧的分析，确定所述视频流中显示的人的身份，所确定的身份与所述基于网络的通信会话中的人的动作无关；从参与所述基于网络的通信会话的计算设备接收对多个可用用户组中的用户组的选择；并且响应于接收到对所述用户组的选择：基于所述人的身份确定在所述视频流中观察到的人是所选用户组的一部分；并且响应于确定在所述视频流中观察到的人是所选用户组的一部分，使得将所述视频流发送所述到计算设备以供呈现。

在示例12中，示例11的主题包括，其中操作还包括：基于对作为所述基于网络的通信会话的一部分接收的第二视频流的一个或多个视频帧的分析，确定第二视频流中显示的第二人的身份，所确定的身份与基于网络的通信会话中的所述第二人的动作无关；基于所述第二人的身份确定在所述第二视频流中观察到的第二人是所选用户组的一部分；并且使得将所述第二视频流发送到所述计算设备以供呈现。

在示例13中，示例12的主题包括，其中操作进一步包括：基于对作为所述基于网络的通信会话的一部分接收的所述第二视频流的一个或多个附加视频帧的分析，确定所述第二人不再显示在所述第二视频流中；并且响应于确定所述第二人不再显示在所述第二视频流中，使得停止向所述计算设备发送所述第二视频流。

在示例14中，示例11-13的主题包括，其中基于对作为所述基于网络的通信会话的一部分接收的视频流的一个或多个视频帧的分析来确定在所述视频流中显示的人的身份的操作包括：利用面部识别技术，所述面部识别技术将所述视频流中的面部与存储的与该人对应的模板进行匹配。

在示例15中，示例11-14的主题包括，其中所述多个可用用户组包括工作职位、会议角色、情绪类型和会议角色。

在示例16中，示例11-15的主题包括，其中所述操作还包括：通过查询目录服务来确定所选用户组的多个成员。

在示例17中，示例11-16的主题包括，其中所述操作还包括：通过查询社交网络服务来确定所述所选用户组的多个成员。

在示例18中，示例11-17的主题包括，其中操作还包括：从所述计算设备接收对对象类型的选择；确定该对象类型的对象出现在第二视频流中；并且响应于确定该对象类型的对象出现在第二视频流中并且响应于接收到所述对象类型的选择，使得将所述第二视频流发送到所述计算设备以供呈现。

在示例19中，示例11-18的主题包括，其中导致所述视频流发送到所述计算设备的所述操作包括仅发送所述视频流而不发送作为所述基于网络的通信会话的一部分的多个其他视频流。

在示例20中，示例11-19的主题包括，其中操作进一步包括：基于对作为所述基于网络的通信会话的一部分接收的所述视频流的所述一个或多个视频帧的分析，确定所述视频流中显示的第二人的身份，所述身份与基于网络的通信会话中的角色无关；将视频流拆分成第一部分和第二部分，所述第一部分显示所述人，所述第二部分显示所述第二人；基于所述第二人的身份确定所述第二人不是所选用户组的一部分；并且其中使得将视频流发送到所述计算设备以供呈现包括导致发送所述第一部分而不是所述第二部分。

示例21是一种存储指令的机器可读存储介质，该指令在由机器执行时使机器执行包括以下各项的操作：基于对作为基于网络的通信会话的部分接收的视频流的一个或多个视频帧的分析来确定显示在视频流中的人的身份，所确定的身份与基于网络的通信会话中的人的动作无关；从参与基于网络的通信会话的计算设备接收多个可用用户组中的用户组的选择；并且响应于接收到对用户组的选择：基于人的身份确定在视频流中观察到的人是所选用户组的一部分；并且响应于确定在视频流中观察到的人是所选用户组的一部分，使得将视频流发送到计算设备以供呈现。

在示例22中，示例21的主题包括，其中操作还包括：基于对作为基于网络的通信会话的一部分接收的第二视频流的一个或多个视频帧的分析，确定在第二视频流中显示的第二人的身份，所确定的身份与基于网络的通信会话中的第二人的动作无关；基于第二人的身份确定在第二视频流中观察到的第二人是所选用户组的一部分；并使得将第二视频流发送到计算设备以供呈现。

在示例23中，示例22的主题包括，其中操作还包括：基于对作为基于网络的通信会话的一部分接收的第二视频流的一个或多个附加视频帧的分析，确定第二人不再显示在第二视频流中；并且响应于确定第二人不再显示在第二视频流中，使得停止向计算设备发送第二视频流。

在示例24中，示例21-23的主题包括，其中基于对作为基于网络的通信会话的一部分接收的视频流的一个或多个视频帧的分析确定视频流中显示的人的身份的操作包括：利用面部识别技术，面部识别技将视频流中的面部与存储的该人对应的模板进行匹配。

在示例25中，示例21-24的主题包括，其中多个可用用户组包括工作职位、会议角色、情绪类型和会议角色。

在示例26中，示例21-25的主题包括，其中操作还包括：通过查询目录服务确定所选用户组的多个成员。

在示例27中，示例21-26的主题包括，其中所述操作还包括：通过查询社交网络服务来确定所选用户组的多个成员。

在示例28中，示例21-27的主题包括，其中操作还包括：从计算设备接收对象类型的选择；确定该对象类型的对象出现在第二视频流中；并且响应于确定该对象类型的对象出现在第二视频流中并且响应于接收到对对象类型的选择，使得将第二视频流发送到计算设备以供呈现。

在示例29中，示例21-28的主题包括，其中使得将视频流发送到计算设备的操作包括仅发送视频流而不发送作为基于网络的通信会话的部分的多个其他视频流。

在示例30中，示例21-29的主题包括，其中操作还包括：基于对作为基于网络的通信会话的一部分接收的视频流的一个或多个视频帧的分析来确定视频流中显示的第二人的身份，该身份与基于网络的通信会话中的角色无关；将视频流拆分成第一部分和第二部分，第一部分显示人，第二部分显示第二人；基于第二人的身份确定第二人不是所选用户组的一部分；并且其中使得将视频流发送到计算设备以供呈现包括导致发送第一部分而不是第二部分。

示例31是一种用于提供基于网络的通信会话的设备，该设备包括：用于基于对作为基于网络的通信会话的一部分接收的视频流的一个或多个视频帧的分析来确定视频流中显示的人的身份的模块，所确定的身份与基于网络的通信会话中的人的动作无关；用于从参与基于网络的通信会话的计算设备接收多个可用用户组中的用户组的选择的模块；并且响应于接收到用户组的选择：用于基于人的身份确定在视频流中观察到的人是所选用户组的一部分的模块；以及用于响应于确定在视频流中观察到的人是所选用户组的一部分而使得将视频流发送到计算设备以供呈现的模块。

在示例32中，示例31的主题包括用于基于对作为基于网络的通信会话的一部分接收的第二视频流的一个或多个视频帧的分析来确定第二视频流中显示的第二人的身份的模块，所确定的身份与基于网络的通信会话中的第二人的动作无关；用于基于第二人的身份确定在第二视频流中观察到的第二人是所选用户组的一部分的模块；以及用于将第二视频流发送到计算设备以供呈现的模块。

在示例33中，示例32的主题包括用于基于对作为基于网络的通信会话的一部分接收的第二视频流的一个或多个附加视频帧的分析确定第二人不再显示在第二个视频流中的模块；并且响应于确定第二人不再显示在第二视频流中，用于使得停止将第二视频流发送到计算设备的模块。

在示例34中，示例31-33的主题包括，其中用于基于对作为基于网络的通信会话的一部分接收的视频流的一个或多个视频帧的分析来确定视频流中显示的人的身份的模块包括：用于利用面部识别技术的模块，该面部识别技术将视频流中的面部与存储的与人相对应的模板匹配。

在示例35中，示例31-34的主题包括，其中多个可用用户组包括工作职位、会议角色、情绪类型和会议角色。

在示例36中，示例31-35的主题包括用于通过查询目录服务来确定所选用户组的多个成员的装置。

在示例37中，示例31-36的主题包括用于通过查询社交网络服务来确定所选用户组的多个成员的装置。

在示例38中，示例31-37的主题包括：用于从计算设备接收对对象类型的选择的模块；用于确定该对象类型的对象出现在第二视频流中的模块；并且响应于确定该对象类型的对象出现在第二视频流中并且响应于接收到对对象类型的选择，用于使第二视频流发送到计算设备以供呈现的模块。

在示例39中，示例31-38的主题包括，其中用于将视频流发送到计算设备的模块包括用于仅发送视频流而不发送作为基于网络的通信会话的一部分的多个其他视频流的模块。

在示例40中，示例31-39的主题包括用于基于对作为基于网络的通信会话的一部分而接收的视频流的一个或多个视频帧的分析来确定视频流中显示的第二人的身份的模块，所述身份与基于网络的通信会话中的角色无关；用于将视频流拆分成第一部分和第二部分的模块，第一部分显示人，第二部分显示第二人；用于基于第二人的身份确定第二人不是所选用户组的一部分的模块；并且其中用于使得将视频流发送到计算设备以供呈现的模块包括用于导致发送第一部分而不发送第二部分的模块。

示例41是包括指令的至少一种机器可读介质，所述指令在由处理电路执行时使处理电路执行操作以实施示例1-40中的任一个。

示例42是一种装置，包括用于实施示例1-40中任一项的模块。

示例43是实施示例1-40中任一个的系统。

示例44是实施示例1-40中任一个的方法。

Claims

1.一种提供基于网络的通信会话的方法，所述方法包括：

基于对作为所述基于网络的通信会话的一部分接收的视频流的一个或多个视频帧的分析，确定所述视频流中所显示的人的身份，所确定的身份独立于所述人在所述基于网络的通信会话中的动作；

从参与所述基于网络的通信会话的计算设备接收对多个可用用户组中的用户组的选择；并且

响应于接收到对所述用户组的选择：

基于所述人的身份确定在所述视频流中观察到的所述人是所选用户组的一部分；并且

响应于确定在所述视频流中观察到的所述人是所选用户组的一部分，使得将所述视频流发送到所述计算设备以供呈现。

2.根据权利要求1所述的方法，还包括：

基于对作为所述基于网络的通信会话的一部分接收的第二视频流的一个或多个视频帧的分析，确定在所述第二视频流中显示的第二人的身份，所确定的身份独立于所述第二人在所述基于网络的通信会话中的动作；

基于所述第二人的身份确定在所述第二视频流中观察到的所述第二人是所选用户组的一部分；并且

使得将所述第二视频流发送到所述计算设备以供呈现。

3.根据权利要求2所述的方法，还包括：

基于对作为所述基于网络的通信会话的一部分接收的所述第二视频流的一个或多个附加视频帧的分析，确定所述第二人不再显示在所述第二视频流中；并且

响应于确定所述第二人不再显示在所述第二视频流中，使得停止将所述第二视频流发送到所述计算设备。

4.根据权利要求1所述的方法，其中，基于对作为所述基于网络的通信会话的一部分接收的视频流的一个或多个视频帧的所述分析，确定在所述视频流中显示的所述人的身份包括：

利用面部识别技术，所述面部识别技术将所述视频流中的面部与对应于所述人的存储的模板进行匹配。

5.根据权利要求1所述的方法，其中，所述多个可用用户组包括工作职位、会议角色、情绪类型和会议角色。

6.一种用于基于网络的通信会话的计算设备，所述计算设备包括：

处理器；

存储器，其存储指令，当执行所述指令时，使所述处理器执行操作，所述操作包括：

基于对作为所述基于网络的通信会话的一部分接收的视频流的一个或多个视频帧的分析，确定所述视频流中显示的人的身份，所确定的身份独立于所述人在所述基于网络的通信会话中的动作；

响应于接收到对所述用户组的选择：

7.根据权利要求6所述的计算设备，其中，所述操作还包括：

基于对作为所述基于网络的通信会话的一部分接收的第二视频流的一个或多个视频帧的分析，确定所述第二视频流中显示的第二人的身份，所确定的身份独立于所述第二人在所述基于网络的通信会话中的动作；

使得将所述第二视频流发送到所述计算设备以供呈现。

8.根据权利要求7所述的计算设备，其中，所述操作还包括：

9.根据权利要求6所述的计算设备，其中，基于对作为所述基于网络的通信会话的一部分接收的视频流的一个或多个视频帧的分析来确定在所述视频流中显示的所述人的身份的操作包括：

10.根据权利要求6所述的计算设备，其中，所述多个可用用户组包括工作职位、会议角色、情绪类型和会议角色。

11.根据权利要求6所述的计算设备，其中，所述操作还包括：通过查询目录服务来确定所选用户组的多个成员。

12.根据权利要求6所述的计算设备，其中，所述操作还包括：通过查询社交网络服务来确定所选用户组的多个成员。

13.根据权利要求6所述的计算设备，其中，所述操作还包括：

从所述计算设备接收对对象类型的选择；

确定所述对象类型的对象出现在第二视频流中；并且

响应于确定所述对象类型的所述对象出现在所述第二视频流中，并且响应于接收到对所述对象类型的所述选择，使得将所述第二视频流发送到所述计算设备以供呈现。

14.根据权利要求6所述的计算设备，其中，使得将所述视频流发送到所述计算设备的所述操作包括仅发送所述视频流而不发送作为所述基于网络的通信会话的一部分的多个其他视频流。

15.根据权利要求6所述的计算设备，其中，所述操作还包括：

基于对作为所述基于网络的通信会话的一部分接收的所述视频流的所述一个或多个视频帧的分析，确定所述视频流中显示的第二人的身份，所述身份独立于所述基于网络的通信会话中的角色；

将所述视频流拆分成第一部分和第二部分，所述第一部分显示所述人，并且所述第二部分显示所述第二人；

基于所述第二人的身份确定所述第二人不是所选用户组的一部分；并且

其中，使得将所述视频流发送到所述计算设备以供呈现包括使得发送所述第一部分而不是所述第二部分。