CN114902629A - 用于在通信会话期间提供动态控制的视图状态以改进参与的方法和系统 - Google Patents

Abstract

本文所公开的技术通过基于共享视频流中描绘的人的数量为通信会话提供动态控制的视图状态来改善用户参与及更高效地使用计算资源。在一些配置中，系统可以基于视频流中描绘的个体的数量来控制视频渲染的大小和位置。在一些配置中，可以在主要显示区域中渲染描绘阈值数量的人的流，并且可以在次要部分中渲染其他流。可以调整主要区域的大小以缩放描绘多人视频的视频，以使人的大小与单人视频流的渲染相均衡。这有助于系统提供更细粒度的控制，以均衡不同视频流中显示的每个人的表示。

Description

用于在通信会话期间提供动态控制的视图状态以改进参与的 方法和系统

背景技术

存在许多不同的通信系统允许用户协作。例如，一些系统允许人们通过使用实况视频流、实况音频流和其他形式的基于文本或基于图像的媒体进行协作。通信会话的参与者可以共享视频流，该视频流显示一个人或一组人、并显示共享的内容。这样的系统可以为通信会话的参与者提供模拟面对面会议的体验。

尽管存在许多不同类型的允许用户协作的系统，但是这样的系统仍然具有许多缺点。例如，当在线会议包括多个视频流时，例如，一些显示一个人而另一些显示一组人，大多数现有系统以渲染具有相等大小的每个流的布置来显示每个流。在这样的布置中，显示一组人的渲染可能不会针对每个人显示与显示单个人的渲染相同的细节级别。这样的用户界面布置可能不会最佳地促进用户参与，因为参与者可能无法平等地清楚地看到每个人的重要手势。这样的问题会阻碍用户参与，降低通信会话的效率，尤其是当一个人可能不会仅仅因为显示布置而被认为与其他人平等时。

不促进用户参与的软件应用可能导致关于计算资源的生产损失和效率低下。例如，通信会话(例如在线会议)的参与者在错过或忽略内容时可能需要参考录音或其他资源。如果用户在实况会议期间错过了要点，则可能需要重新发送内容。此类活动可能导致网络、处理器、存储器或其他计算资源的使用效率低下。此外，当会议期间参与者的参与水平受到负面影响时，这种生产损失可能会导致需要延长会议或后续会议，这进而又会占用额外的计算资源。当系统用于为大量参与者提供协作环境时，这种与计算资源有关的生产损失和效率低下会更加严重。

除了用户参与的损失之外，当通信系统不能有效地显示一个人的实况视频时，还可能导致许多其他低效率。参与者可能会错过重要的社交线索，例如，当一个人举手、开始说话、朝某个方向看时，等等。这些缺点有时需要用户与许多不同的系统手动交互。例如，如果错过提示等，则一些用户仍会在电话会议中向其他参与者发送短信或电子邮件。在帮助一个人与一群人建立协作协议时，这样的手动步骤可能会破坏一个人的工作流程并且效率非常低。现有系统的这些缺点可能导致生产力损失以及计算资源的低效使用。

发明内容

本文所公开的技术通过基于共享视频流中描绘的人的数量为通信会话提供动态控制的视图状态来改善用户参与及更高效效地使用计算资源。在一些配置中，系统可以基于视频流中描绘的个体的数量来控制视频渲染的视图状态，例如大小、位置或布置。在一些配置中，用户界面的主要区域被保留用于描绘阈值数量的人的视频馈送，并且用户界面的次要区域可以被保留用于描绘少于阈值数量的人的视频馈送。在一个说明性示例中，用户界面的主要区域被保留用于描绘多人的视频馈送，用户界面的其他区域被保留用于描绘单个人的视频馈送。本文公开的技术通过分析实况流或录制的流中描绘的人的上下文来提供优化的用户界面布置。这是对通常以类似方式显示不同类型视频流的现有系统的改进。当前公开的技术的一个好处是使多人视频流中描绘的人看起来与单人视频流中描绘的人大小相同。这有时需要多人视频流的渲染大于单人视频流的渲染。对每个流的大小的这种调整有助于系统提供对显示布置的更多控制，以均衡在用户界面内显示的每个人的表示。本文公开的特征通过使多人视频中的每个人的动作更易于可视化来帮助促进呈现者和观看者的用户参与，并且在一些实施例中，使多人视频中的人的显示与单人视频流中人的显示相均衡。这些技术还可以应用于视频流内的任何识别的对象，因为这些技术不仅限于识别视频流中描绘的人数。

除了在指定的显示区域内显示之外，还可以缩放描绘阈值数量的人的视频流以增加至少一个人的大小，以使多人视频中的人的大小与单人视频中的一个人的大小相均衡。缩放可以以多种不同的方式完成。例如，可以将缩放因子应用于描绘阈值数量的人的视频流。缩放因子的值可以基于不同流中描绘的人的比率。例如，系统可以将具有阈值数量的人的流中描绘的人数与具有少于阈值数量的人的视频流中的人数进行比较。这两个数字之间的差异可用于确定针对任一流的缩放因子。在另一示例中，描绘阈值数量的人的视频流可以通过定位在具有大于次要显示区域的大小的主要显示区域内来增加大小。主要显示区域和次要显示区域可以根据预定比例来调整大小，以适应多种不同的场景。例如，主要显示区域和次要显示区域的大小可以被调整为以次要显示区域中显示的视频流的大小的两倍或三倍来渲染用于主要显示区域的选定视频流。系统可以生成具有主要部分和次要部分的用户界面，其中主要部分具有比次要部分在视觉上更突出的位置和大小。

在一些配置中，可以将独特的缩放因子应用于每个流的个体渲染。可以针对每个流选择缩放因子以均衡在不同流中描绘的两个或更多个人的物理特征的至少一个维度。一个维度可以包括人的面部、头部、头顶的宽度和/或高度或可以通过对人的视频图像的分析来测量的任何其他维度。例如，考虑第一渲染描绘两个人而第二渲染描绘一个人的场景。在这个示例中，在没有应用缩放因子的情况下，渲染显示两人视频中的人看起来更小，例如，只有单人视频中人的一半大小。为了使每个人的显示大小均衡，可以选择缩放因子来增加两人视频的渲染的大小，这可以包括从图像裁剪边缘。另外或替代地，可以选择另一个缩放因子来减小单人视频的渲染的大小。

在一些配置中，可以基于每个视频中描绘的人的数量来选择每个视频的缩放因子。缩放因子的选择可以是线性的或非线性的。例如，两人视频可以放大两倍，三人视频可以放大三倍，等等。可替代地，两人视频的大小可以放大1.75倍，并且三人视频的大小可以放大2.15倍，等等。在另一个实施例中，可以基于所描绘的人的至少一个物理特征的维度来选择每个视频的缩放因子。例如，如果两人视频中的一个人从他们的头顶到下巴的测量值为2个测量单位，而单人视频中的一个人从他们的头顶到下巴的测量值为4个测量单位，则两人视频可以放大两倍。根据期望的结果，可以基于测量值选择其他缩放因子。通过均衡或至少部分均衡每个流中描绘的个体用户的至少一个维度，该系统可以通过允许观看者查看所显示手势的细节并减轻可能由以不同大小显示人而导致的任何视觉偏爱来帮助改善用户参与。

本文描述的示例是在协作环境的上下文中提供的，例如私人聊天会话、多用户编辑会话、小组会议、实况广播等。为了说明性目的，可以意识到，计算机管理协作环境涉及管理通信会话的任何类型的计算机，其中两台或更多台计算机共享视频数据，包括录制的视频流和实况视频流。此外，可以意识到，本文公开的技术可以应用于用于显示内容的任何用户界面布置。本公开的范围不限于与协作环境相关联的实施例。

本文公开的技术提供了改进现有计算机的许多特征。例如，处理器周期、存储器、网络带宽和功率等的计算资源的使用效率更高，因为系统可以动态控制描绘阈值数量的人的视频流的大小、位置和形状。通过提供为感兴趣对象提供更多视觉细节的动态控制的用户界面，本文公开的技术可以提供对计算资源的更高效使用。该系统可以通过减轻对额外通信系统的需要来改进用户与计算设备的交互，因为所公开的系统可以减轻或消除对重新发送、重复等内容的请求的需要。改进用户与设备的交互还可以减少不必要的或冗余的输入，从而减少无意的输入、更正的输入和使用计算资源的其他类型的用户交互。本文中未具体提及的其他技术益处也可以通过实施所公开的主题来实现。

本领域技术人员还将理解，本文描述的主题的方面可以在本文具体描述的那些之外的其他计算机系统配置上或结合其他计算机系统配置来实践，包括多处理器系统、基于微处理器的或可编程的消费电子产品、增强型现实或虚拟现实设备、视频游戏设备、掌上计算机、智能手机、智能电视、自动驾驶汽车、智能手表、电子阅读器、平板计算设备、专用硬件设备、联网设备等。

通过阅读以下具体实施方式和查看相关附图，将清楚上述明确描述的特征和技术优势之外的特征和技术优势。提供本概述以以简化形式介绍概念的选择，这些概念将在下面的详细描述中进一步描述。本发明内容不旨在识别所要求保护的主题的关键或基本特征，也不旨在用作确定所要求保护的主题范围的辅助。例如，术语“技术”可以指上面及整个文件所描述的上下文所允许的系统、方法、计算机可读指令、模块、算法、硬件逻辑和/或操作。

附图说明

参考附图来描述具体实施方式。在图中，参考编号的最左侧数字标识参考编号首次出现的图。不同图中相同的参考数字表示相似或相同的项目。对多个项目中的单个项目的引用可以使用带有字母序列中的字母的参考编号来指代每个单独的项目。对项目的通用引用可以使用没有字母序列的特定参考编号。

图1A图示了用于基于视频流中描绘的人数来配置用户界面布置的通信系统的方面。

图1B图示了在具有少于阈值数量的人的新流被添加到通信会话的场景中使用的通信系统的方面。

图1C图示了在具有阈值数量的人的新流被添加到通信会话的场景中使用的通信系统的方面。

图1D图示了在将纯音频流添加到通信会话的场景中使用的通信系统的方面。

图2A图示了在描绘一个人的新视频流被添加到通信会话的场景中使用的通信系统的方面。

图2B图示了在图2A的新视频流转换到显示两个人的缩放级别的场景中使用的通信系统的方面。

图2C图示了在图2A的新视频流转换到显示至少阈值数量的人的缩放级别的场景中使用的通信系统的方面。

图2D图示了重新配置的用户界面的各方面，该重新配置的用户界面具有保留用于渲染描绘至少阈值数量的人的新视频流的主要显示区域。

图3图示了具有第一显示区域、第二显示区域和第三显示区域的用户界面的方面，每个显示区域被保留用于不同类型的通信流。

图4A图示了在多个不同流基于每个视频流中描绘的个体数量而定位于各显示区域中的场景中使用的通信系统的方面。

图4B图示了在与流相关联的活动水平增加到阈值的场景中使用的通信系统的方面。

图4C图示了具有保留用于渲染具有阈值活动水平的视频流的显示区域的重新配置的用户界面的方面。

图5是图示用于用户界面的计算高效地生成的例程的方面的流程图。

图6是计算系统图，其示出了用于本文所公开的技术的说明性操作环境的方面。

图7是计算架构图，其示出了可以实现本文公开的技术的方面的计算设备的配置和操作的方面。

具体实施方式

以下具体实施方式针对用于通过基于视频流中描绘的人的数量为通信会话提供动态控制的视图状态来改善用户参与及更有效地使用计算资源的技术。在一些配置中，系统可以基于视频流中描绘的个体的数量来控制视频渲染的大小和位置。在一些配置中，用户界面包括被保留用于描绘多个人的视频馈送的主要显示区域，被保留用于描绘少于阈值数量的人的视频馈送的其他显示区域。用于控制描绘阈值数量的人的视频流的渲染的大小和位置的系统的额外细节在下文进行描述并且在结合图1A-1D描述的示例中示出。

图1A图示了用于基于视频流中描绘的人的数量来配置用户界面布置的系统100的方面。系统100可以包括服务器110和与用户103相关联的至少一个客户端设备101。服务器110可以管理具有视频分量和音频分量的多个数据流，从而允许客户端设备101与多个其他远程客户端设备进行通信。下文参考图6所示的系统602更详细地描述了管理客户端计算机之间的通信会话的服务器110的其他方面。下文也参考图6中所示的设备606更详细地描述了客户端设备101的其他方面。

在一些配置中，服务器110可以分析多个流111以识别具有描绘至少阈值118数量的个体119A的视频分量的选择流。在一些配置中，在该示例中包括第一流111A的选择流具有描绘达到或超过阈值118的个体119A的数量的视频分量。在一些配置中，阈值可以是预定数量。例如，预定数量可以是三(3)。因此，当流具有描绘至少三个人的视频分量时，可以选择该视频流并将其与其他流区分开。在该示例中，第一流111A被选择并且第一流111A的渲染111A'被定位在第一显示区域121(主要显示区域)中。不具有阈值数量的人的其他流，例如第二流111B，具有被定位在第二显示区域122(次要显示区域)中的渲染111B'。

第一显示区域的尺寸可以更大并且可以位于用户界面120内更中心的位置。第一显示区域可以具有维度，例如边，其大小与第二显示区域的维度成预定比率。该比率可以基于用于选择线程以在第一显示区域内显示的阈值。例如，如果阈值为三(3)人，则第一显示区域121的宽度可以是第二显示区域122的宽度的三倍。

可以利用用于确定在流的视频分量内描绘的个体数量的多种不同技术。在一个说明性示例中，可以利用合适的面部识别技术来识别流的视频分量内的个体。在其他示例中，识别预定形状和/或各种形式的运动其他技术可以用于确定在流的视频分量内描绘的个体的数量。这样的识别技术可以被任何合适的计算设备使用，例如服务器110、任何客户端设备101或其组合。一旦个体被识别和计数，系统就可以生成指示视频流中描绘的个体数量的元数据。当在服务器110处生成时，可以包括在通信会话数据113中的元数据可以从服务器110传送到客户端设备101。客户端设备可以利用元数据来确定用户界面的布置和用户界面中每个流渲染的位置和大小。

元数据可以标识视频中描绘的多个人以及表征与流相关联的人的角色的描述。指示每个个体的优先级的角色或其他数据可以使计算机基于流中描绘的个体的排序或角色来布置每个流的渲染。元数据还可以表征某些流，例如，表明多个人是观众成员或演示者。这样的元数据可以用于为不同类型的媒体内容选择显示区域。例如，虽然视频可以具有在视频分量中描绘的数百人，但是视频可能不会被选择用于第一显示区域122，这是因为在视频分量中描绘的人被表征为观众而不是演示者。

如图1A所示，服务器120可以将会话数据113和一个或多个流传送到包括客户端设备101的多个远程设备。会话数据113和一个或多个流111使得一个或多个远程计算机生成定义用户界面120的用户界面数据104，该用户界面120具有第一显示区域121和第二显示区域122。第一显示区域121被保留用于具有描绘至少阈值数量118的个体119A的视频分量的选择流(例如第一流111A)的渲染111A'。会话数据113可以导致在第二显示区域122内没有描绘阈值数量的个体的其他流(例如第二流111B)的渲染111B'。

图1B图示了在具有少于阈值数量的个体的新流被添加到通信会话的场景中的系统的方面。在这种场景中，服务器110和/或客户端设备101检测到新流111C的添加。然后，分析新流111C以确定在新流111C的视频分量中描绘的个体119C的数量小于阈值118。响应于确定个体119C的数量不超过阈值118，服务器120或客户端可以配置通信会话数据113以使至少一个客户端计算设备(例如客户端设备101)在第二显示区域122内显示新流111C的渲染111C。

图1C图示了在具有阈值数量的人的新流被添加到通信会话的场景中的系统100的方面。在这种场景中，服务器110和/或客户端设备101检测到新流111D的添加。然后分析新流111D以确定在新流111D的视频分量中描绘的个体119D的数量达到或超过阈值118。响应于确定个体119D的数量达到或超过阈值118，服务器120或客户端可以配置通信会话数据113以使至少一个客户端计算设备(例如客户端设备101)在第一显示区域121内显示新流111D的渲染111D'。

本文公开的实施例可以利用策略数据来确定用户界面的布置以及一个或多个视频流的个体渲染的大小和位置。例如，策略可以指示用户界面的主要区域被保留用于描绘阈值数量的人的视频馈送，并且用户界面的次要区域可以被保留用于描绘少于阈值数量的人的视频馈送。此外，策略可以定义这种安排的例外情况，并允许在满足一个或多个标准时在主要显示区域中渲染显示少于阈值的视频流。例如，当没有描绘阈值数量的人的视频流时，系统可以应用例外情况并允许具有少于阈值数量的人的流的渲染显示在主要显示区域内。然而，在这样的实施例中，当检测到描绘阈值数量的人的至少一个视频流时，系统可以移除例外情况并且排他地保留描绘至少阈值数量的人的主要区域视频流。

当用户输入提供覆盖时也可以应用例外情况。在又一示例中，当描绘阈值数量的人的视频流少于最小数量时，可以应用例外情况。例如，如果视频流的最小数量是二，并且只有一个描绘阈值数量的人的实况视频流，则系统还可以允许在主要显示区域内渲染仅描绘一个人的流。可以应用这种例外情况，直到存在描绘阈值数量的人的至少两个视频流为止。

现在参考图1D，下面示出并描述了将纯音频流添加到通信会话的示例场景。在这种场景中，服务器110和/或客户端设备101可以检测新流111E的添加。然后分析新流111E以确定流类型，其可以包括第一类型，例如音频和视频流，或第二类型，例如纯音频流。响应于确定新流111E是纯音频流，服务器120可以配置通信会话数据113以使至少一个客户端计算设备显示表示与第二显示区域122内的新流111E相关联的人或对象的图形元素111E'。在另一个实施例中，响应于确定新流111E是纯音频流，客户端设备可以使得显示表示与第二显示区域122内的新流111E相关联的人或对象的图形元素111E'。因此，第二显示区域122可被保留用于纯音频流和具有不满足一个或多个标准的活动水平的流。表示与新流111E相关联的人的图形元素111E'可以由相关联用户的静止图像来表示。诸如彩色环之类的补充图形元素135也可以定位在表示与新流111E相关联的人的图形元素111E'附近。当与第三流111C相关联的人正在讲话时，补充图形元素135可以产生一个或多个突出显示，例如改变颜色或线条粗细。

在另一个实施例中，表示与新流111E相关联的人的图形元素111E'可以位于第二显示区域下方。因此，用户界面可以具有被保留用于不具有视频流的项目的第三显示区域。下面参考图3更详细地描述了显示这些特征的实施例。

所描绘用户的数量的阈值可以基于多个因素。此外，所描绘用户的数量的阈值可以基于许多因素而随时间改变。例如，所描绘用户的数量的阈值可以基于当前在主要显示区域中渲染的视频的数量。在这样的实施例中，当在第一显示区域121中没有渲染视频时，系统可以建立第一阈值水平，例如两个人。然而，随着额外的流被添加到通信会话和/或额外的渲染被添加到第一显示区域121，阈值可以增加，例如，从两个人增加到五个人，以保持对更大的人群的关注。此功能有助于许多技术优势。例如，当没有足够的流来利用整个用户界面时，可以更多地利用主要显示区域。此外，它可以将更高优先级的流置于其他流之前。该益处基于这样一个前提，即单个视频流中描绘的更大的人群可以相对于具有较少人的流对通信会话有更多贡献的潜力。此外，可能需要缩放更大的人群的渲染，以使观众能够看到单个视频流中描绘的每个人的细节。

现在参考图2A-2D，涉及所显示的描绘单个人的视频分量转换为描绘四个人的视频分量的用户场景。在该示例中，流的视频分量，第四流111D，从描绘少于阈值数量的人的视频转换为描绘多于阈值数量的人的视频。结果，系统将流的渲染从次要显示区域转换到第一显示区域。如图2A所示，客户端设备101接收四个流：描绘四个人的第一流111A，以及描绘单个人的其他三个流111B、111C、111D。在这个示例中，为了说明的目的，阈值118是四个人。

一个或多个计算设备监控流111B、111C、111D，这些流111B、111C、111D描绘少于阈值118数量的个体119B。如本文所述，计算设备可以利用任何数量的技术来识别每个流中描绘的人。如图2B所示，第四流111D的内容随着缩放级别开始显示更多人而改变。从这样的转换开始，第四流111D的渲染111D'保持在第二显示区域122中，因为第四流111D中描绘的个体的数量保持在阈值118以下。

如图2C所示，当第四流111D的内容改变为描绘至少阈值数量的人，例如，四个人时，客户端设备101修改用户界面数据104，从而使用户界面120转换第四流111D的渲染111D'的大小和位置。在此示例中，渲染111D'从第二显示区域122移动到第一显示区域121。

图2D图示了由图2A-2C中所示的过程产生的重新配置的用户界面的各方面。用户界面120具有被保留用于描绘至少阈值数量的人的视频流的渲染的主要显示区域121。如图所示，第一显示区域121(在本文中也称为主要显示区域)被配置为大于第二显示区域122(在本文中也称为次要显示区域)。与在第二显示区域中的流的渲染相比，当在第一显示区域中显示时，该大小差异使得流的渲染更大。此外，系统可以限制在第一显示区域121中显示的流的数量以保持每个渲染的最小尺寸。例如，客户端或服务器可以将第一显示区域121中的渲染的数量限制为两(2)个，以允许每个渲染的特定大小。在一些配置中，第一显示区域121的位置也可以在用户界面120内更明显的位置。例如，第一显示区域121可以被定位成覆盖用户界面的中心点，而第二显示区域121可以被定位在用户界面的外围附近，并且不调整大小或定位成覆盖用户界面的中心点。

现在参考图3，下面示出并描述了具有被保留用于不同类型的通信流的第一显示区域、第二显示区域和第三显示区域的用户界面的各方面。在该示例中，第一显示区域121被保留用于具有在每个流的视频分量中描绘的阈值数量的人的流的渲染。第二显示区域122可以被保留用于具有少于阈值数量的描绘的个体的人的实况或录制的视频馈送的流的渲染。第三显示区域123可以被保留用于表示具有低于活动水平阈值或者当检测到纯音频流时的流的人或对象的图形元素。在一些配置中，第三显示区域123可以包括显示人的姓名、姓名首字母或其他标识符的图形元素。例如，在该示例中，第四流111D与视频和音频分量相关联。当流内描绘的用户的活动不满足活动阈值时，表示第四流111D的图形元素111D'被渲染在第三显示区域123内。这可能在系统检测到在流内描绘的用户没有移动、没有说话或没有执行特定手势时发生。但是当用户说话、移动或执行特定手势时，流的渲染可以移动到第二显示区域。

当流不包括视频分量时，流的渲染还可以在第三显示区域123内显示。在这样的场景中，渲染(例如第三流111C的渲染111C')可以由用户的静止图像来表示。诸如彩色环之类的补充图形元素135也可以被定位在纯音频流的代表性渲染111C'附近。当与第三流111C相关联的人正在讲话时，补充图形元素135可以生成一个或多个突出显示，例如改变颜色或线条粗细。

提供这些示例是为了说明性目的，而不应被解释为限制性的。可以意识到，可以基于每个流的一个或多个特征而在显示区域内表示其他流。流的类别，例如纯音频流、低活动水平的流或视频和音频流，可以定位在每个显示区域内，并随着流随着时间的推移转换到不同的类别而移动。

现在参考图4A-4C，示出并描述了涉及流从第三显示区域到第二显示区域的转换的用户场景。如图4A所示，用户界面包括第一显示区域、第二显示区域和第三显示区域。每个显示区域被保留用于不同类型的通信流。在该示例中，第一显示区域121被保留用于对在每个流的视频分量中具有阈值数量的描绘的人的流的渲染。第二显示区域122可以被保留用于对具有少于阈值数量的描绘的个体的人的实况或录制的视频流的流的渲染。第三显示区域123是被保留用于图形元素，这些图形元素表示具有低于阈值活动水平或者当检测到纯音频流时的流的人或对象。

如图4A所示，第一流111A包括描绘至少阈值数量的人的视频分量，例如四个人，因此第一流的渲染111A'显示在第一显示区域121内。第二流包括描绘少于阈值数量的人的视频分量。因此，第二流的渲染111B'显示在第二显示区域122内。第三流是纯音频流。因此，表示第三流的图形元素111C'的渲染被显示在第三显示区域123内。还示出，第四流111D由指示与流相关联的活动水平的元数据表征。此外，在本示例中，第四流是音频和视频流。活动水平可以基于关于与第四流相关联的人或内容的参与水平。例如，活动水平可以指示某人说话的速率、人说话的频率、人说话的音量等。当活动水平低于特定活动阈值141时，图形元素111D'可以显示在第三显示区域123内。

如图4B所示，当诸如第四流的流的活动水平121超过活动阈值141时，服务器120可以生成通信会话数据113，从而使一台或多台计算机重新配置用户界面120。在这个说明性示例中，当流的活动水平超过活动阈值时，相关联的图形元素111D'可以从第三显示区域123移动到第二显示区域122。除了被移动和/或重新调整大小之外，图形元素111D'还可以从作为用户的表示的图形元素转换为用户的实况或录制的视频流。图4C图示了由图4A-4B中所示的过程产生的重新配置的用户界面的方面。如图所示，第四流111D的渲染111D'显示在第二显示区域122内。另外，渲染可以被配置为显示第四流的视频分量，该视频分量显示用户的移动。

图5是图示例程500的方面的图，该例程500用于通过基于视频流中描绘的人的数量为通信会话提供动态控制的视图状态来改进用户参与及更高效地使用计算资源。本领域普通技术人员应当理解，本文公开的方法的操作不必以任何特定顺序呈现，并且以替代顺序执行一些或所有操作是可能的并且是预期的。为了便于描述和说明，操作已按演示顺序呈现。在不脱离所附权利要求的范围的情况下，可以添加、省略、一起执行和/或同时执行操作。

还应该理解，所说明的方法可以在任何时候结束并且不需要全部执行。可以通过执行包括在计算机存储介质上的计算机可读指令来执行这些方法的一些或所有操作，和/或基本上等效的操作，如本文所定义的。如在描述和权利要求中使用的术语“计算机可读指令”及其变体在本文中广泛使用以包括例程、应用、应用模块、程序模块、程序、组件、数据结构、算法等。计算机可读指令可以在各种系统配置上实现，包括单处理器或多处理器系统、小型计算机、大型计算机、个人计算机、手持计算设备、基于微处理器的可编程消费电子产品、它们的组合等。

因此，应当意识到，本文描述的逻辑操作被实现为(1)作为在诸如本文描述的那些的计算系统上运行的计算机实现的动作或程序模块的序列)和/或(2)作为计算系统内的互连机器逻辑电路或电路模块。实现方式是取决于计算系统的性能和其他要求的选择问题。因此，逻辑操作可以用软件、固件、专用数字逻辑以及它们的任何组合来实现。

另外，图5和其他图中所示的操作可以与上述示例呈现UI相关联地实施。例如，本文描述的各种设备和/或模块可以生成、发送、接收和/或显示与通信会话的内容(例如，实况内容、广播事件、录制的内容等)相关联的数据和/或包括远程计算设备、化身、频道、聊天会话、视频流、图像、虚拟对象和/或与通信会话相关联的应用的一个或多个参与者的渲染的呈现UI。

例程500开始于操作502，其中一个或多个计算设备分析通信会话的一个或多个流以识别描绘阈值数量的人的选择流。操作502可以利用多种不同的技术来识别图像或视频图像中的人。任何合适的面部识别技术都可以用来识别个人。此外，可以利用用于通过形状或特定移动或手势来识别人的任何合适的技术。

在流的视频分量中被识别的人可以基于他们所参与活动而从所描绘的人的数量的计数中被过滤掉。例如，系统可以仅对面对捕获视频图像的相机的个体进行计数，而没有面对相机的个体不计入与阈值的比较。说话的人也可以被计数，而一段时间内不说话的其他人则不被计数。可以识别不同类别的手势或移动，并且可以对处于预定类别的手势或移动中的个体进行计数并与阈值进行比较。

例程500进行到操作504，其中一个或多个计算设备生成通信会话数据113以使一个或多个远程计算机生成具有第一显示区域121和第二显示区域122的用户界面数据104，该第一显示区域121被保留用于具有描绘至少阈值数量118的个体的视频分量的选择流111A，第二显示区域111A被指定用于多个流111中的其他流111B。

接下来，在操作506，一个或多个计算设备，例如服务器120或其他计算机，将通信会话数据113传送到一个或多个客户端。通信会话数据113使客户端计算机生成具有第一显示区域121和第二显示区域122的用户界面数据104，第一显示区域121被保留用于具有描绘至少阈值数量118的个体的视频分量的选择流111A，第二显示区域111A被指定用于多个流111中的其他流111B。

接下来，在操作508，一个或多个计算设备监控流以检测活动水平和关于流中描绘的人数的改变。一种或多种技术可用于检测流中描绘的许多人。例如，面部识别或其他技术可用于识别和计算流中的个体。活动水平的改变可以涉及流中的音量改变、对人说话的检测、对语速的检测或视频内容中的改变，例如颜色改变、从人的实况视频流转换到数据文件或文档的渲染。

接下来，在操作510，当流中描绘的个体的数量超过阈值时，一个或多个计算设备可以修改视频渲染的位置和/或大小。在流中检测到的活动水平或人数的改变可以使得流的渲染从用户界面的第一区域移动到用户界面的第二区域。检测到的活动水平或流中人数的改变可以流的渲染被重新调整大小。操作510还可以涉及流类型内的改变，例如仅音频流转换为音频和视频流。

接下来，在操作512，系统可以分析用户活动以用于收集、分析和使用机器学习数据的目的。例如，当视频流从特定显示区域移动到另一个显示区域时，并且观看者响应于移动而与计算机交互时，系统可以记录指示用户交互的机器学习数据以针对未来的流调整阈值，例如，视频的阈值人数。例如，当系统检测到观看者的视线方向更专注于移动后的视频渲染时，系统可以针对一个或多个选定阈值提高优先级，以便在未来的流中使用。然而，如果观看者的视线不太集中，则系统可以提高或降低未来流的阈值。

应当意识到，上述主题可以实现为计算机控制的装置、计算机过程、计算系统，或者实现为诸如计算机可读存储介质之类的制品。示例方法的操作在各个块中说明并参考这些块进行总结。这些方法被图示为块的逻辑流，其中的每个块可以表示可以在硬件、软件或其组合中实现的一个或多个操作。在软件的上下文中，操作表示存储在一个或多个计算机可读介质上的计算机可执行指令，当由一个或多个处理器执行时，使一个或多个处理器能够执行所列举的操作。

通常，计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、模块、组件、数据结构等。描述操作的顺序不旨在被解释为限制，并且任何数量的描述的操作可以以任何顺序执行、以任何顺序组合、细分为多个子操作和/或并行执行以实施所描述的过程。所描述的过程可以由与一个或多个设备相关联的资源执行，例如一个或多个内部或外部CPU或GPU，和/或一个或多个硬件逻辑，例如现场可编程门阵列(“FPGA”)、数字信号处理器(“DSP”)或其他类型的加速器。

上述所有方法和过程可以体现在由一个或多个通用计算机或处理器执行的软件代码模块中，并且通过由一个或多个通用计算机或处理器执行的软件代码模块完全自动化。代码模块可以存储在任何类型的计算机可读存储介质或其他计算机存储设备中，例如下面描述的那些。一些或所有方法可以替代地体现在专用计算机硬件中，例如下面描述的那些。

在此描述和/或在附图中描绘的流程图中的任何例程描述、元素或块应被理解为潜在地表示包括用于实现例程中的特定逻辑功能或元件的一个或多个可执行指令的模块、段或代码部分。替代实现方式包括在本文描述的示例的范围内，其中元件或功能可以被删除，或者与所示出或讨论的顺序无序执行，包括基本上同步或以相反的顺序执行，这取决于所涉及的功能，如本领域技术人员将理解的那样。

图6是图示系统602可以在其中实施本文公开的技术的示例环境600的图。在一些实施方式中，系统602可用于收集、分析和共享定义一个或多个对象的数据，这些对象显示给通信会话604的用户。

如图所示，通信会话603可以在与系统602相关联或作为系统602的一部分的多个客户端计算设备606(1)到606(N)(其中N是具有2或更大值的数字)之间实现。客户端计算设备606(1)到606(N)使用户(也称为个体)能够参与通信会话603。

在该示例中，通信会话603在一个或多个网络608上由系统602托管。也就是说，系统602可以提供使客户端计算设备606(1)到606(N)的用户能够参与通信会话603(例如，通过实况观看和/或录制观看)的服务。因此，通信会话603的“参与者”可以包括用户和/或客户端计算设备(例如，多个用户可以在房间中通过使用单个客户端计算设备来参与通信会话)，用户和/或客户端计算设备中的每个可以与其他参与者进行通信。作为替代，通信会话603可以由使用对等技术的客户端计算设备606(1)到606(N)之一托管。系统602还可以托管聊天对话和其他团队协作功能(例如，作为应用套件的一部分)。

在一些实施方式中，这种聊天对话和其他团队协作功能被认为是与通信会话603不同的外部通信会话。在通信会话603中收集参与者数据的计算系统602可能能够链接到这种外部通信会话。因此，系统可以接收能够连接到这种外部通信会话的信息，例如日期、时间、会话细节等。在一个示例中，可以根据通信会话603进行聊天对话。另外，系统602可以托管通信会话603，该通信会话603包括至少多个共同位于会议地点(例如会议房间或礼堂)或位于不同的位置的参与者。

在本文描述的示例中，参与通信会话603的客户端计算设备606(1)至606(N)被配置为接收和渲染通信数据以在显示屏的用户界面上显示。通信数据可以包括实况内容和/或录制的内容的各种实例或流的集合。实况内容和/或录制的内容的各种实例或流的集合可以由诸如摄像机的一个或多个相机提供。例如，实况或录制的内容的个体流可以包括与由摄像机提供的视频馈送相关联的媒体数据(例如，捕获参与通信会话的用户的外观和语音的音频和视觉数据)。在一些实施方式中，视频馈送可以包括这样的音频和视觉数据、一个或多个静止图像和/或一个或多个化身。一个或多个静止图像还可包括一个或多个化身。

实况或录制内容的单独流的另一个示例可以包括媒体数据，该媒体数据包括参与通信会话的用户的化身以及捕捉用户语音的音频数据。实况或录制内容的单独流的又一个示例可以包括媒体数据，该媒体数据包括显示在显示屏上的文件以及捕获用户语音的音频数据。因此，通信数据内的各种实况或录制的内容流使得能够促进一组人之间的远程会议以及该组人内的内容共享。在一些实施方式中，通信数据内的各种实况或录制的内容流可以源自位于诸如房间之类的空间中的多个共同定位的摄像机，以现场记录或流式传输包括呈现的一个或多个个体和消费呈现内容的一个或多个个体的呈现内容。

参与者或出席者可以在活动发生时实时查看通信会话603的内容，或者可替代地，在活动发生之后的稍后时间通过记录来查看通信会话603的内容。在本文描述的示例中，参与通信会话603的客户端计算设备606(1)至606(N)被配置为接收和渲染通信数据以在显示屏的用户界面上显示。通信数据可以包括实况和/或录制的内容的各种实例或流的集合。例如，单独的内容流可以包括与视频馈送相关联的媒体数据(例如，捕获参与通信会话的用户的外观和语音的音频和视觉数据)。单独的内容流的另一个示例可以包括媒体数据，该媒体数据包括参与会议会话的用户的化身以及捕获用户语音的音频数据。单独的内容流的又一示例可以包括媒体数据，该媒体数据包括显示在显示屏上的内容项和/或捕获用户语音的音频数据。因此，通信数据内的各种内容流使得能够在分散在远程位置的一组人之间促进会议或广播呈现。

通信会话的参与者或出席者是处于相机或其他图像和/或音频捕获设备范围内的人，使得在该人观看和/或收听通过通信会话共享的内容时产生的人的动作和/或声音可以被捕获(例如，记录)。例如，参与者可能正坐在人群中，在发生舞台演示的广播位置观看共享内容。或者，参与者可能正坐在办公室会议室中，通过显示屏查看与其他同事的通信会话的共享内容。更进一步，参与者可能坐在或站在个人设备(例如，平板计算机、智能手机、计算机等)前，在他们的办公室或家中单独查看通信会话的共享内容。

图6的系统602包括设备610。设备610和/或系统602的其他组件可以包括经由一个或多个网络608彼此通信和/或与客户端计算设备606(1)到606(N)通信的分布式计算资源。在一些示例中，系统602可以是独立系统，其任务是管理诸如通信会话603的一个或多个通信会话的各个方面。作为示例，系统602可以由诸如SLACK、WEBEX、GOTOMEETING、GOOGLEHANGOUTS等实体管理。

网络608可以包括例如诸如因特网的公共网络、诸如机构和/或个人内联网的私有网络、或私有网络和公共网络的某种组合。网络608还可以包括任何类型的有线和/或无线网络，包括但不限于局域网(“LAN”)、广域网(“WAN”)、卫星网络、有线网络、Wi-Fi网络、WiMax网络、移动通信网络(例如，3G、4G等)或其任何组合。网络608可以利用通信协议，包括基于分组和/或基于数据报的协议，例如互联网协议(“IP”)、传输控制协议(“TCP”)、用户数据报协议(“UDP”)或其他类型的协议。此外，网络608还可以包括促进网络通信和/或形成网络硬件基础的多个设备，例如交换机、路由器、网关、接入点、防火墙、基站、中继器、骨干设备、之类的。

在一些示例中，网络608还可以包括能够连接到无线网络的设备，例如无线接入点(“WAP”)。示例支持通过在各种电磁频率(例如无线电频率)上发送和接收数据的WAP的连接性，包括支持电气和电子工程师协会(“IEEE”)802.11标准(例如802.l lg、802.11h、802.11ac等)的WAP和其他标准。

在各种示例中，设备610可以包括一个或多个计算设备，其在集群或其他分组配置中操作以共享资源、平衡负载、提高性能、提供故障转移支持或冗余，或用于其他目的。例如，设备610可以属于各种设备类别，例如传统服务器型设备、台式计算机型设备和/或移动型设备。因此，尽管被示为单一类型的设备或服务器类型的设备，设备610可以包括多种设备类型并且不限于特定类型的设备。设备610可以代表但不限于服务器计算机、台式计算机、网络服务器计算机、个人计算机、移动计算机、膝上型计算机、平板计算机或任何其他类型的计算设备。

客户端计算设备(例如，客户端计算设备606(1)到606(N)之一)(它们中的每一个在本文中也被称为“数据处理系统”)可以属于多种可以与设备610相同或不同的设备的类别，例如传统的客户端型设备、台式计算机型设备、移动型设备、专用型设备、嵌入式设备和/或可穿戴设备。因此，客户端计算设备可以包括但不限于台式计算机、游戏控制台和/或游戏设备、平板计算机、个人数据助理(“PDA”)、移动电话/平板混合器、膝上型计算机、电信设备、计算机导航型客户端计算设备，例如基于卫星的导航系统，包括全球定位系统(“GPS”)设备、可穿戴设备、虚拟现实(“VR”)设备、增强现实(“AR”)设备、植入式计算设备、汽车计算机、支持网络的电视、瘦客户端、终端、物联网(“IoT”)设备、工作站、媒体播放器、个人录像机(“PVR”)、机顶盒、相机、用于包含在计算设备中的集成组件(例如，外围设备)、电器或任何其他类型的计算设备。此外，客户端计算设备可以包括前面列出的客户端计算设备示例的组合，例如台式计算机型设备或与可穿戴设备组合的移动型设备等。

各种类别和设备类型的客户端计算设备606(1)到606(N)可以表示具有例如经由总线616可操作地连接到计算机可读介质694的一个或多个数据处理单元692的任何类型的计算设备，在某些情况下，总线616可以包括系统总线、数据总线、地址总线、PCI总线、Mini-PCI总线和任何种类的本地、外围和/或独立总线中的一种或多种。

存储在计算机可读介质694上的可执行指令可以包括例如操作系统619、客户端模块620、简档模块622以及可由数据处理单元692加载和执行的其他模块、程序或应用。

客户端计算设备606(1)至606(N)还可以包括一个或多个接口624以实现客户端计算设备606(1)至606(N)与其他网络设备(例如设备610)之间通过网络608的通信。这样的网络接口624可以包括一个或多个网络接口控制器(NIC)或其他类型的收发器设备以通过网络发送和接收通信和/或数据。此外，客户端计算设备606(1)至606(N)可以包括输入/输出(“I/O”)接口(设备)626，其允许与输入/输出设备通信，输入/输出设备诸如为包括外围输入设备的用户输入设备(例如，游戏控制器、键盘、鼠标、笔、诸如麦克风之类的语音输入设备、用于获取和提供视频馈送和/或静止图像的摄像机、触摸输入设备、手势输入设备等)和/或包括外围输出设备的输出设备(例如，显示器、打印机、音频扬声器、触觉输出设备等)。图6说明了客户端计算设备606(1)以某种方式连接到显示设备(例如，显示屏629(N))，该显示设备可以根据本文描述的技术显示UI。

在图6的示例环境600中，客户端计算设备606(1)至606(N)可以使用它们各自的客户端模块620来相互连接和/或与其他外部设备连接以参与通信会话603，或者为了向协作环境贡献活动。例如，第一用户可以利用客户端计算设备606(1)与另一个客户端计算设备606(2)的第二用户通信。当执行客户端模块620时，用户可以共享数据，这可以使客户端计算设备606(1)通过网络608连接到系统602和/或其他客户端计算设备606(2)至606(N)。

客户端计算设备606(1)到606(N)可以使用它们各自的简档模块622来生成参与者简档(图6中未示出)并将参与者简档提供给其他客户端计算设备和/或系统602的设备610。参与者简档可以包括用户或用户组的身份(例如，名称、唯一标识符(“ID”)等)、诸如个人数据之类的用户数据、诸如位置(例如，IP地址、建筑物中的房间等)之类的机器数据和技术能力等。参与者资料可用于注册参与者以进行通信会话。

如图6所示，系统602的设备610包括服务器模块630和输出模块632。在该示例中，服务器模块630被配置为从诸如客户端计算设备606(1)至606(N)的单独的客户端计算设备接收媒体流634(1)至634(N)。如上所述，媒体流可以包括视频馈送(例如，与用户相关联的音频和视频数据)、要与用户的化身的呈现一起输出的音频数据(例如，其中不传输用户的视频数据的纯音频体验)、文本数据(例如，文本消息)、文件数据和/或屏幕共享数据(例如，文档、幻灯片、图像、显示屏上显示的视频等)，等等。因此，服务器模块630被配置为在通信会话603的实况观看期间接收各种媒体流634(1)至634(N)的集合(该集合在本文中被称为“媒体数据634”)。在一些场景中，并非所有参与通信会话603的客户端计算设备都提供媒体流。例如，客户端计算设备可能只是一个消费或“收听”设备，因此它只接收与通信会话603相关联的内容，但不向通信会话603提供任何内容。

在各种示例中，服务器模块630可以选择要与参与的客户端计算设备606(1)至606(N)中的各个客户端计算设备共享的媒体流634的方面。因此，服务器模块630可以被配置为基于流634生成会话数据636和/或将会话数据636传递到输出模块632。然后，输出模块632可以将通信数据639传送到客户端计算设备(例如，客户端计算设备606(1)至606(3)参与通信会话的实时查看)。通信数据639可以包括由输出模块632基于与输出模块632相关联的内容650和基于接收到的会话数据636提供的视频、音频和/或其他内容数据。内容650可以包括流634或其他共享数据，例如图像文件、电子表格文件、幻灯片、文档等。流634可以包括描述由每个客户端计算机上的I/O设备626捕获的图像的视频分量。

如图所示，输出模块632向客户端计算设备606(1)发送通信数据639(1)，向客户端计算设备606(2)发送通信数据639(2)，并且向客户端计算设备606(3)发送通信数据639(3)，等等。发送到客户端计算设备的通信数据639可以相同或可以不同(例如，用户界面内的内容流的定位可以从一个设备到下一个设备不同)。

在各种实施方式中，设备610和/或客户端模块620可以包括GUI呈现模块640。GUI呈现模块640可以被配置为分析用于传送到一个或多个客户端计算设备606的通信数据639。具体地，在设备610和/或客户端计算设备606处的UI呈现模块640可以分析通信数据639以确定用于在关联的客户端计算设备606的显示屏629上显示视频、图像和/或内容的适当方式。在一些实施方式中，GUI呈现模块640可以提供视频、图像和/或内容到在关联的客户端计算设备606的显示屏629上渲染的呈现GUI 646。GUI呈现模块640可以使呈现GUI 646渲染在显示屏629上。呈现GUI 646可以包括视频、图像和/或由GUI呈现模块640分析的内容。

在一些实施方式中，呈现GUI 646可以包括多个部分或网格，其可以渲染或包括视频、图像和/或用于在显示屏629上显示的内容。例如，呈现GUI 646的第一部分可以包括呈现者或个体的视频馈送，呈现GUI 646的第二部分可以包括消费由呈现者或个体提供的会议信息的个体的视频馈送。GUI呈现模块640可以以适当地模仿演示者和个体可能正在共享的环境体验的方式填充呈现GUI 646的第一部分和第二部分。

在一些实施方式中，GUI呈现模块640可以放大或提供由视频馈送表示的个体的缩放视图，以便突出个体对呈现者的反应，例如面部特征。在一些实施方式中，呈现GUI 646可以包括与会议相关联的多个参与者的视频馈送，例如一般通信会话。在其他实施方式中，呈现GUI 646可以与诸如聊天频道、企业团队频道等的频道相关联。因此，呈现GUI 646可以与不同于一般通信会话的外部通信会话相关联。

图7图示了示出示例设备700(在本文中也称为“计算设备”)的示例组件的图，该示例设备700被配置为针对本文中公开的一些用户界面生成数据。设备700可以生成可以包括一个或多个部分的数据，这些部分可以渲染或包括视频、图像、虚拟对象和/或用于在显示屏629上显示的内容。设备700可以代表本文所描述的设备之一。另外或替代地，设备700可以代表客户端计算设备606之一。

如图所示，设备700包括一个或多个数据处理单元702、计算机可读介质704和通信接口706。设备700的组件例如通过总线709可操作地连接，总线709可以包括系统总线、数据总线、地址总线、PCI总线、Mini-PCI总线和任何种类的本地、外围和/或独立总线中的一种或多种。

如本文所使用的，诸如数据处理单元702和/或数据处理单元692的数据处理单元可以表示例如CPU类型的数据处理单元、GPU类型的数据处理单元、现场可编程门阵列(“FPGA”)、另一类DSP或其他硬件逻辑组件，在某些情况下，它们可能由CPU驱动。例如，但不限于，可以使用的说明性类型的硬件逻辑组件包括专用集成电路(“ASIC”)、专用标准产品(“ASSP”)、片上系统式系统(“SOC”)、复杂可编程逻辑器件(“CPLD”)等。

如本文所使用的，诸如计算机可读介质704和计算机可读介质694之类的计算机可读介质可以存储可由数据处理单元执行的指令。计算机可读介质还可以存储可由诸如外部CPU、外部GPU等外部数据处理单元执行和/或由诸如FPGA类型加速器、DSP类型加速器或任何其他内部或外部加速器执行的指令。在各种示例中，至少一个CPU、GPU和/或加速器被并入计算设备中，而在一些示例中，CPU、GPU和/或加速器中的一个或多个在计算设备外部。

计算机可读介质，在本文中也可称为计算机可读介质，可包括计算机存储介质和/或通信介质。计算机存储介质可以包括易失性存储器、非易失性存储器和/或其他持久性和/或辅助计算机存储介质、可移动和不可移动计算机存储介质中的一种或多种，其以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据之类的信息的任何方法或技术实现。因此，计算机存储介质包括包括在设备中的有形和/或物理形式的介质，和/或作为设备的一部分或在设备外部的硬件组件，包括但不限于随机存取存储器(“RAM”)、静态随机存取存储器(“SRAM”)、动态随机存取存储器(“DRAM”)、相变存储器(“PCM”)、只读存储器(“ROM”)、可擦除可编程只读存储器(“EPROM”)、电可擦可编程只读存储器(“EEPROM”)、闪存、光盘只读存储器(“CD-ROM”)、数字多功能磁盘(“DVD”)、光卡或其他光存储介质、磁盒、磁带、磁盘存储、磁卡或其他磁性存储设备或介质、固态存储设备、存储阵列、网络附接的存储、存储区域网络、托管计算机存储或任何其他存储存储器、存储设备和/或可用于存储和维护信息以供计算设备访问的存储介质。

与计算机存储介质相比，通信介质可以将计算机可读指令、数据结构、程序模块或其他数据体现在诸如载波或其他传输机制的调制数据信号中。如本文所定义，计算机存储介质不包括通信介质。也就是说，计算机存储介质本身不包括仅由调制数据信号、载波或传播信号组成的通信介质。

通信接口706可以表示例如网络接口控制器(“NIC”)或其他类型的收发器设备以通过网络发送和接收通信。此外，通信接口706可以包括一个或多个摄像机和/或音频设备722以实现视频馈送和/或静止图像等的生成。

在所示示例中，计算机可读介质704包括数据存储库708。在一些示例中，数据存储库708包括数据存储，例如数据库、数据仓库或其他类型的结构化或非结构化数据存储。在一些示例中，数据存储库708包括具有一个或多个表、索引、存储过程等的语料库和/或关系数据库，以实现包括例如，一个或多个超文本标记语言(“HTML”)表、资源描述框架(“RDF”)表、网络本体语言(“OWL”)表和/或可扩展标记语言(“XML”)表的数据访问。

数据存储库708可以存储用于存储在计算机可读介质704中和/或由数据处理单元702和/或加速器执行的进程、应用、组件和/或模块的操作的数据。例如，在一些示例中，数据存储库708可以存储会话数据710(例如，如图6中所示的会话数据636)、简档数据712(例如，与参与者简档相关联)和/或其他数据。会话数据710可以包括通信会话中的参与者(例如，用户和/或客户端计算设备)的总数、在通信会话中发生的活动、通信会话的受邀者列表和/或其他与何时以及如何进行或托管通信会话相关的数据。数据存储库708还可以包括内容数据714，例如包括视频、音频或用于在一个或多个显示屏629上渲染和显示的其他内容的内容。

备选地，一些或所有上述数据可以存储在一个或多个数据处理单元702上的单独存储器716上，例如CPU型处理器、GPU型处理器、FPGA型加速器、DSP型加速器和/或其他加速器上的存储器。在该示例中，计算机可读介质704还包括操作系统718和被配置为将设备700的功能和数据暴露给其他设备的应用接口710(API)。此外，计算机可读介质704包括一个或多个模块，例如服务器模块730、输出模块732和GUI呈现模块740，尽管所示模块的数量只是示例，并且数量可以改变更高或降低。即，本文结合所示模块描述的功能可以由一个设备上的更少数量的模块或更多数量的模块执行，或者分布在多个设备上。

本文呈现的公开内容还涵盖以下条款中阐述的主题。

示例条款A：由数据处理系统110执行的方法，该方法包括：分析多个流111以识别具有描绘至少阈值118数量的个体119A的视频分量的选择流；生成通信会话数据113，以使得生成具有第一显示区域121和第二显示区域122的用户界面，第一显示区域121被保留用于在个体渲染内具有描绘至少阈值数量118的个体的视频分量的所述选择流111A，第二显示区域111A被指定用于多个流111中的其他流111B；以及将包括多个流111的通信会话数据113发送到多个客户端计算设备101，通信会话数据113使至少一个客户端计算设备101生成具有第一显示区域121和第二显示区域122的用户界面120的显示，第一显示区域121被保留用于具有描绘至少阈值118数量的个体119A的视频分量的选择流111A的渲染111A'，第二显示区域122被指定用于描绘小于阈值118数量的个体119B的其他流111B的额外的渲染111B'。

示例条款B：条款A的方法，进一步包括：检测新流111C的添加；分析新流111C以确定在新流111C的视频分量中描绘的个体119C的数量小于阈值118；并且响应于确定个体的数量119C不超过阈值118，配置通信会话数据113以使至少一个客户端计算设备在第二显示区域122内显示新流111C的渲染111C'。

示例条款C：条款A和B的方法，进一步包括：检测新流111D的添加；分析新流111D以确定在新流111D的视频分量中描绘的个体119D的数量超过阈值118；并且响应于确定在新流111D的视频分量中描绘的个体119D的数量超过阈值118，配置通信会话数据113以使至少一个客户端计算设备在第一显示区域121内显示新流111D的渲染111D'。

示例条款D：条款A至C的方法，进一步包括：检测新流111E的添加；分析新流111E以确定新流111E包括音频分量而没有实况视频分量；并且响应于确定新流111E包括音频分量而没有实况视频分量，配置通信会话数据113以使所述至少一个客户端计算设备在第二显示区域122内显示表示与新流111E相关联的人的图形元素111E'。

示例条款E：条款A至D的方法，其中多个流111包括图2的额外的流111C，其中该方法进一步包括：监控描绘少于阈值118数量的个体119B的其他流111B、111C、111D以确定其他流111B、111C、111D的单个流是否开始包括描绘至少阈值数量118个体的视频分量；并且响应于确定单个流111D是否开始包括描绘至少阈值数量118的个体的视频分量，将单个流111D的渲染111D'从第二显示区域122转换到第一显示区域121。

示例条款F：条款A至E的方法，其中多个流111包括图3的额外的流111C，其中该方法进一步包括：分析图3的额外的流111C以确定额外的流111C包括没有实时视频分量的音频分量；并且响应于确定图3的额外的流111C包括音频分量而没有实况视频分量，配置通信会话数据113以使至少一个客户端计算设备在与第二显示区域122和第一显示区域121分离的第三显示区域123内显示表示图3中的新流111C的状态的图形元素111C'的渲染。

示例条款G：条款A至F的方法，其中多个流111包括图3的额外的流111D，其中该方法进一步包括：分析图3的额外的流111D以确定图3的额外的流111D的音频分量或视频分量的活动水平；确定额外的流的音频分量或视频分量的活动水平低于活动水平阈值；并且响应于确定额外的流的音频分量或视频分量的活动水平低于活动水平阈值，配置通信会话数据113以使至少一个客户端计算设备在第三显示区域123内显示表示图3的额外的流111D的图形元素图111D'，其中第二显示区域122位于第一显示区域121和第三显示区域123之间。

示例条款H：条款A至G的方法，其中多个流111包括图3的额外的流111D，其中该方法进一步包括：监控图3的额外的流111D以确定额外的流的音频分量或视频分量的活动水平开始超过活动水平阈值；并且响应于确定额外的流的音频分量或视频分量的活动水平开始超过活动水平阈值，将额外的流111D的渲染111D'从第三显示区域123转换到第二显示区域121。

示例条款I：条款A至H的方法，其中将缩放因子应用于选择流的渲染以使选择流的视频分量中描绘的至少一个个体的大小与其他流的视频分量中描绘的至少一个个体的大小相比在阈值差异之内。

示例条款J：一种系统606，包括：一个或多个处理单元692；以及计算机可读介质694，其上编码有计算机可执行指令以使一个或多个处理单元692：接收多个流111，多个流111中的个体流包括通信会话的视频分量和音频分量中的至少一个；识别多个流111中的选择流，选择流具有关联视频分量中描绘的至少阈值数量118的个体119A；并且引起具有第一显示区域121和第二显示区域122的用户界面120的显示，其中第一显示区域121被保留用于具有描绘至少阈值118数量的个体119A视频分量的选择流111A的渲染111A'，第二显示区域122被指定用于描绘低于阈值118数量的个体119B的其他流111B的额外的渲染111B'。

示例条款K：条款J的系统，其中基于识别在选择流的视频分量中描绘的多个个体的元数据、对选择的流的分析以识别在选择流的视频分量中描绘的个体中的至少一个来识别选择流。

示例条款L：条款J和K的系统，其中指令进一步使一个或多个处理单元：确定在新流111C的视频分量中描绘的个体119C的数量小于阈值118；以及响应于确定在新流111C的视频分量中描绘的个体119C的数量小于阈值118，在第二显示区域122内显示新流111C的渲染111C'。

示例条款M：条款J至L的系统，其中指令进一步使一个或多个处理单元：确定在新流111D的视频分量中描绘的个体119D的数量超过阈值118；以及响应于确定在新流111D的视频分量中描绘的个体119D的数量超过阈值118，在第一显示区域121内显示新流111D的渲染111D'。

示例条款N：条款J至M的系统，其中指令进一步使一个或多个处理单元：确定新流111E包括音频分量而没有实况视频分量；以及响应于确定新流111E包括音频分量而没有实况视频分量，在第二显示区域122内显示表示与新流111E相关联的人的图形元素111E'。

示例条款O：一种系统110，包括：用于分析多个流111以识别具有描绘至少阈值118数量的个体119A的视频分量的选择流的装置；用于生成通信会话数据113的装置，该通信会话数据113用于使一个或多个远程计算机生成具有第一显示区域121和第二显示区域122的用户界面数据104，第一显示区域121被保留用于具有描绘至少阈值数量118的个体的视频分量的选择流111A，第二显示区域111A被指定用于多个流111中的其他流111B；以及用于将包括多个流111的通信会话数据113传输到多个客户端计算设备101的装置，通信会话数据113使至少一个客户端计算设备101生成具有第一显示区域121和第二显示区域122的用户界面120的显示，第一显示区域121被保留用于具有描绘至少阈值118数量的个体119A的视频分量的选择流111A的渲染111A'，第二显示区域122被指定用于描绘小于阈值数量的个体119B的其他流111B的额外的渲染111B'。

示例条款P：条款O的系统，进一步包括：用于检测新流111C的添加的装置；用于分析新流111C以确定在新流111C的视频分量中描绘的个体119C的数量小于阈值118的装置；以及用于配置通信会话数据113以使至少一个客户端计算设备在第二显示区域122内显示新流111C的渲染111C的装置，其中响应于确定个人119C的数量不超过阈值118而配置通信会话数据113。

示例条款Q：条款O和P的系统，进一步包括：用于检测新流111D的添加的装置；用于分析新流111D以确定在新流111D的视频分量中描绘的个体119D的数量超过阈值118的装置；以及用于配置通信会话数据113以使至少一个客户端计算设备在第一显示区域121内显示新流111D的渲染111D'的装置，其中响应于确定在新流111D的视频分量中描绘的个体119D的数量超过阈值118而配置通信会话数据113。

示例条款R：条款O至Q的系统，进一步包括：用于检测新流111E的添加的装置；用于分析新流111E以确定新流111E包括音频分量而没有实况视频分量的装置；以及用于配置通信会话数据113以使至少一个客户端计算设备在第二显示区域122内显示表示与新流111E相关联的人的图形元素111E'的装置，响应于确定新流111E包括音频分量而没有实况视频分量而配置通信会话数据113。

示例条款S：条款O至R的系统，其中所述多个流111包括图2的额外的流111C，其中所述方法进一步包括：用于监控描绘小于阈值118数量的个体119B的其他流111B、111C、111D以确定其他流111B、111C、111D中的单个流是否开始包括描绘至少阈值数量118的个体的视频分量的装置；以及用于将单个流111D的渲染111D'从第二显示区域122转换到第一显示区域121的装置，该转换响应于单个流111D包括描绘至少阈值数量118的个体的视频分量而发生。

示例条款T：条款O至S的系统，其中多个流111包括图3的额外的流111C，其中该方法进一步包括：用于分析图3的额外的流111C以确定该额外的流111C包括音频分量而没有实况视频分量的装置；以及用于配置通信会话数据113以使至少一个客户端计算设备在与第二显示区域122和第一显示区域121分开的第三显示区域123内显示表示图3的新流111C的状态的图形元素111C'的渲染的装置，响应于确定图3的额外的流111C包括音频分量而没有实况视频分量而配置通信会话数据。

还应该意识到，可以对上述示例进行许多改变和修改，其中的元素应被理解为在其他可接受的示例中。所有这样的修改和改变都旨在包括在本公开的范围内并受以下权利要求保护。

最后，尽管各种配置已经以结构特征和/或方法行为特定的语言进行了描述，但应理解，在所附表示中定义的主题不一定限于所描述的特定特征或行为。相反，具体特征和动作被公开为实现要求保护的主题的示例形式。

Claims (14)

1.一种由数据处理系统执行的方法，所述方法包括：

分析多个流以识别具有描绘至少阈值数量的个体的视频分量的选择流；

生成通信会话数据以使得生成具有第一显示区域和第二显示区域的用户界面，所述第一显示区域被保留用于在个体渲染内具有描绘至少所述阈值数量的个体的所述视频分量的所述选择流，所述第二显示区域被指定用于所述多个流中的其他流；以及

将包括所述多个流的所述通信会话数据发送到多个客户端计算设备，所述通信会话数据使得至少一个客户端计算设备生成用户界面的显示，所述用户界面具有被保留用于所述选择流的第一组渲染的所述第一显示区域以及被指定用于其他流的第二组渲染的所述第二显示区域，在所述第一显示区域中所述选择流中的每个选择流使得显示所述个体渲染，每个个体渲染描绘至少所述阈值数量的个体，在所述第二显示区域中所述其他流中的每个其他流使得显示其他个体渲染，每个其他个体渲染描绘少于所述阈值数量的个体。

2.如权利要求1所述的方法，还包括：

检测新流的添加；

分析所述新流以确定在所述新流的视频分量中描绘的个体的数量小于所述阈值；以及

响应于确定所述个体的数量没有超过所述阈值，配置所述通信会话数据以使得所述至少一个客户端计算设备在所述第二显示区域内显示所述新流的渲染。

3.如权利要求1所述的方法，还包括：

检测新流的添加；

分析所述新流以确定在所述新流的视频分量中描绘的个体的数量超过所述阈值；以及

响应于确定在所述新流的视频分量中描绘的所述个体的数量超过所述阈值，配置所述通信会话数据以使得所述至少一个客户端计算设备在所述第一显示区域内显示所述新流的渲染。

4.如权利要求1所述的方法，还包括：

检测新流的添加；

分析所述新流以确定所述新流包括音频分量而没有实况视频分量；以及

响应于确定所述新流包括所述音频分量而没有所述实况视频分量，配置所述通信会话数据以使得所述至少一个客户端计算设备在所述第二显示区域内显示表示与所述新流相关联的人的图形元素。

5.如权利要求1所述的方法，其中，所述多个流包括额外的流，其中，所述方法还包括：

监控描绘少于所述阈值数量的个体的所述其他流以确定所述其他流中的单个流是否开始包括描绘至少所述阈值数量的个体的视频分量；以及

响应于确定所述单个流是否开始包括描绘至少所述阈值数量的个体的视频分量，将所述单个流的渲染从所述第二显示区域转换到所述第一显示区域。

6.如权利要求1所述的方法，其中，所述多个流包括额外的流，其中，所述方法还包括：

分析所述额外的流以确定所述额外的流包括音频分量而没有实况视频分量；以及

响应于确定所述额外的流包括所述音频分量而没有所述实况视频分量，配置所述通信会话数据以使得所述至少一个客户端计算设备在与所述第二显示区域和所述第一显示区域分离的第三显示区域内显示表示所述新流的状态的图形元素的渲染。

7.如权利要求1所述的方法，其中，所述多个流包括额外的流，其中，所述方法还包括：

分析所述额外的流以确定所述额外的流的音频分量或视频分量的活动水平；

确定所述额外的流的音频分量或视频分量的所述活动水平低于活动水平阈值；以及

响应于确定所述额外的流的音频分量或视频分量的所述活动水平低于所述活动水平阈值，配置所述通信会话数据以使得所述至少一个客户端计算设备在第三显示区域内显示表示所述额外的流的图形元素，其中，所述第二显示区域位于所述第一显示区域与所述第三显示区域之间。

8.如权利要求1所述的方法，其中，所述多个流包括额外的流，其中，所述方法还包括：

监控所述额外的流以确定所述额外的流的音频分量或视频分量的活动水平开始超过活动水平阈值；以及

响应于确定所述额外的流的音频分量或视频分量的所述活动水平开始超过所述活动水平阈值，将所述额外的流的渲染从第三显示区域转换到所述第二显示区域。

9.如权利要求1所述的方法，其中，将缩放因子应用于所述选择流的渲染以使在所述选择流的视频分量中描绘的至少一个个体的大小与在所述其他流的视频分量中描绘的至少一个个体的大小相比在阈值差异之内。

10.一种系统，包括：

一个或多个处理单元；以及

计算机可读介质，其上编码有计算机可执行指令以使得所述一个或多个处理单元进行以下操作：

接收多个流，所述多个流中的个体流包括通信会话的视频分量和音频分量中的至少一个；

识别所述多个流中的选择流，所述选择流在相关联的视频分量中描绘的个体渲染内具有至少阈值数量的个体；以及

使得显示具有第一显示区域和第二显示区域的用户界面，其中，所述第一显示区域被保留用于所述选择流的第一组渲染并且所述第二显示区域被指定用于其他流的第二组渲染，在所述第一显示区域中所述选择流中的每个选择流使得显示所述个体渲染，每个个体渲染在个体渲染内描绘至少所述阈值数量的个体，在所述第二显示区域中所述其他流中的每个其他流使得显示其他个体渲染，每个其他个体渲染描绘少于所述阈值数量的个体。

11.如权利要求10所述的系统，其中，所述选择流是基于以下中的至少一项来识别的：标识在所述选择流的视频分量中描绘的多个个体的元数据，以及对所述选择流的分析以识别在所述选择流的视频分量中描绘的个体。

12.如权利要求10所述的系统，其中，所述指令还使得所述一个或多个处理单元进行以下操作：

确定在所述新流的视频分量中描绘的个体的数量小于阈值；以及

响应于确定在所述新流的视频分量中描绘的所述个体的数量小于所述阈值，在所述第二显示区域内显示所述新流的渲染。

13.如权利要求10所述的系统，其中，所述指令还使得所述一个或多个处理单元进行以下操作：

确定在所述新流的视频分量中描绘的个体的数量超过阈值；以及

响应于确定在所述新流的视频分量中描绘的所述个体的数量超过所述阈值，在所述第一显示区域内显示所述新流的渲染。

14.如权利要求10所述的系统，其中，所述指令还使得所述一个或多个处理单元进行以下操作：

确定所述新流包括音频分量而没有实况视频分量；以及

响应于确定所述新流包括所述音频分量而没有所述实况视频分量，在所述第二显示区域内显示表示与所述新流相关联的人的图形元素。

Images