CN117616748A - 具有多种空间交互模式的视频会议系统 - Google Patents

具有多种空间交互模式的视频会议系统 Download PDF

Info

Publication number
CN117616748A
CN117616748A CN202280048624.3A CN202280048624A CN117616748A CN 117616748 A CN117616748 A CN 117616748A CN 202280048624 A CN202280048624 A CN 202280048624A CN 117616748 A CN117616748 A CN 117616748A
Authority
CN
China
Prior art keywords
user
mode
users
virtual
computing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280048624.3A
Other languages
English (en)
Inventor
C·皮特斯
A·M·东斯巴赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN117616748A publication Critical patent/CN117616748A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1818—Conference organisation arrangements, e.g. handling schedules, setting up parameters needed by nodes to attend a conference, booking network resources, notifying involved parties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H04L63/101—Access control lists [ACL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

描述了用于多出席者视频会议的系统和方法。系统可以从小组视频会议模式转变到空间视频会议模式。特别地，通过分配用户角色，与其他用户相比，特定用户可以对视频会议具有更大的控制。例如，主持人可能对视频会议系统具有更高的控制级别。因此，在本公开的示例实现中，特定用户可以影响两种或更多种视频会议模式之间的转换，如在小组视频会议模式和空间视频会议模式之间的转换。

Description

具有多种空间交互模式的视频会议系统
优先权声明
本申请基于申请日为2021年8月4日的美国申请第17/394,324号并要求其优先权，该申请通过引用方式并入本文。
技术领域
本公开总体上涉及视频会议技术。更具体地，本公开涉及用于视频会议的系统和方法，其包括或提供多种空间交互模式，如在具有虚拟交互空间的视频会议内的不同观看和排列模式。
背景技术
多出席者视频会议系统可以为视频会议的多个出席者向客户端设备提供视听流。通常，有许多参与者正在参与视频会议，并且这些参与者可以在显示屏上被可视化(例如，来自其他参与者的可视数据、呈现的内容、共享的内容等)。
然而，在现有的视频会议技术中，(多种)视频会议工具适用于传统的会议和讲座。例如，在某些现有的视频会议系统中，每个视听流的音频部分被一致地放置在与视频会议相关联的音频声场的前面和中央，并且每个视听流的视频部分以带有完整的相机视图的布局(例如，矩阵、网格、并排等)排列。无论会议类型、内容类型、屏幕上的参与者可能在哪里，或者参与者在会议中的角色如何，通常都会保持这种表示。这种传统的视频会议布局不适合非传统会议，如社交聚会、小群体教育、协作冲刺(collaborative sprints)、网络活动或大型活动。
特别地，在现有的视频会议布局中，参与者可能难以完全投入到非传统会议的体验或目的中。这种完全参与视频会议的努力会导致误解、疲劳、中断、无法分离多个扬声器/音频源等。这些缺点中的每一个都可能导致更长的视频会议，这可能导致计算资源的使用增加，如处理器使用、存储器使用、网络带宽等。此外，参与者可能无法访问参与非传统会议所需的应用、软件或工具。这可能导致参与者无法参加社交聚会、小群体教育、协作冲刺、网络活动等。此外，所有参与者可以接触到相同的共享资产，而不管他们在视频会议中的角色。
发明内容
本公开的实施例的方面和优点将在以下描述中部分地阐述，或者可以从描述中获知，或者可以通过实施例的实践获知。
本公开的一个示例方面涉及一种计算系统，该计算系统包括一个或多个处理器以及存储指令的一个或多个非暂时性计算机可读介质，该指令当由一个或多个处理器执行时使得计算系统执行操作。该操作包括接收分别与多个用户相关联的多个视听流。该操作包括提供第一操作模式中的视频会议，其中，在第一操作模式中，多个用户中的每一个用户都能够在视频会议的虚拟会议空间中自由移动他们相应的虚拟位置。该操作包括接收来自视频会议的多个用户中的第一用户的输入，该输入请求视频会议从第一操作模式到第二操作模式的转换，其中，在第二操作模式中，多个用户中的每一个用户的相应虚拟位置被分配给虚拟会议空间中的定义的锚点的集合中的一个锚点。该操作包括响应于来自第一用户的输入，使得视频会议从第一操作模式转换到第二操作模式。
本公开的另一个示例方面涉及一种用于具有多种空间模式的视频会议的计算机实现的方法。该方法包括由包括一个或多个计算设备的计算系统接收分别与多个用户相关联的多个视听流。该方法包括由计算系统提供第一操作模式中的视频会议，其中，在第一操作模式中，多个用户中的每一个用户能够在视频会议的整个虚拟会议空间中或者在虚拟会议空间内的锚点的集合当中自由移动他们相应的虚拟位置。该方法包括由计算系统接收来自视频会议的多个用户中的第一用户的输入，该输入请求视频会议从第一操作模式到第二操作模式的转换，其中，在第二操作模式中，多个用户中的至少一个用户的相应虚拟位置被分配并被固定到虚拟会议空间中的锚点的集合中的一个锚点。该方法包括由计算系统响应于来自第一用户的输入，使得视频会议从第一操作模式转换到第二操作模式。
本公开的另一个示例方面涉及存储指令的一个或多个非暂时性计算机可读介质，该指令可由一个或多个处理器执行以执行操作。该操作包括接收分别与多个用户相关联的多个视听流。该操作包括提供第一操作模式中的视频会议，其中，在第一操作模式中，多个用户中的每一个用户都能够在视频会议的虚拟会议空间中自由移动他们相应的虚拟位置，并且其中，对于视频会议的多个用户中的第一用户并且在第一操作模式中，每个其他用户的相应视听流的音频回放的相应音量与虚拟会议空间内第一用户的虚拟位置和每个其他用户的相应虚拟位置之间的相应距离负相关。该操作包括接收来自第一用户的输入以将虚拟会议空间内第一用户的虚拟位置从第一位置移动到第二位置；并且响应于该输入：确定虚拟会议空间内第一用户的虚拟位置和每个其他用户的相应虚拟位置之间的更新的相应距离；以及基于更新后的相应距离，动态地改变每个其他用户的相应视听流的音频回放。
本公开的另一个示例方面涉及用于具有空间和非空间模式的视频会议模式的计算系统。该计算系统包括一个或多个处理器以及存储指令的一个或多个非暂时性计算机可读存储介质，该指令可由一个或多个处理器执行以执行操作。该操作包括接收分别与多个用户相关联的多个视听流。该操作包括提供小组操作模式(huddle operating mode)中的视频会议，其中，在小组操作模式中，多个用户的每个视听流的音频回放的相应音量是相等的。该操作包括接收来自视频会议的多个用户中的第一用户的输入，该输入请求视频会议从小组操作模式到空间操作模式的转换，其中，在空间操作模式中，多个用户中的每一个用户在视频会议的虚拟会议空间内具有相应的虚拟位置，并且其中，在空间操作模式中，每个用户的音频回放的相应音量是每个用户在虚拟会议空间内的相应虚拟位置的函数。该操作包括响应于来自第一用户的输入，使得视频会议从小组操作模式转换到空间操作模式。
本公开的另一个示例方面涉及一种用于具有空间和非空间模式的视频会议的计算机实现的方法。该方法包括由包括一个或多个计算设备的计算系统接收分别与多个用户相关联的多个视听流。该方法包括由计算系统提供小组操作模式中的视频会议，其中，在小组操作模式中，多个用户的每个视听流的音频回放的相应音量是相等的。该方法包括由计算系统接收来自视频会议的多个用户中的第一用户的输入，该输入请求将视频会议从小组操作模式到空间操作模式的转换，其中，在空间操作模式中，多个用户中的每个用户在视频会议的虚拟会议空间内具有相应的虚拟位置，并且其中，在空间操作模式中，每个用户的音频回放的相应音量是每个用户在虚拟会议空间内的相应虚拟位置的函数。该方法包括由计算系统响应于来自第一用户的输入，使得视频会议从小组操作模式转换到空间操作模式。
本公开的另一个示例方面涉及共同存储指令的一个或多个非暂时性计算机可读介质，该指令当由包括一个或多个计算设备的计算系统执行时使得计算系统执行操作。该操作包括由计算系统接收分别与多个用户相关联的多个视听流。该操作包括由计算系统提供小组操作模式中的视频会议，其中，在小组操作模式中，多个用户的每个视听流的音频回放的相应音量是相等的。该操作包括由计算系统接收来自视频会议的多个用户中的第一用户的输入，该输入请求将视频会议从小组操作模式到空间操作模式的转换，其中，在空间操作模式中，多个用户中的每个用户在视频会议的虚拟会议空间内具有相应的虚拟位置，并且其中，在空间操作模式中，每个用户的音频回放的相应音量是每个用户在虚拟会议空间内的相应虚拟位置的函数。该操作包括由计算系统响应于来自第一用户的输入，使得视频会议从小组操作模式转换到空间操作模式。
本公开的其他方面涉及各种系统、装置、非暂时性计算机可读介质、用户界面和电子设备。
参考以下描述和所附权利要求，将更好地理解本公开的各种实施例的这些和其他特征、方面和优点。并入本说明书并构成其一部分的附图示出了本公开的示例实施例，并与描述一起用于解释相关原理。
附图说明
针对本领域普通技术人员的实施例的详细讨论在参考附图的说明书中阐述，其中：
图1描绘了根据本公开的示例实施例的示例计算系统的框图。
图2描绘了根据本公开的示例实施例的小组操作模式的示例。
图3A描绘了根据本公开的示例实施例的第一空间操作模式的示例。
图3B描绘了根据本公开的示例实施例的视频会议中的第一空间操作模式的示例。
图3C描绘了根据本公开的示例实施例的第一操作模式中的动态环的示例。
图4A描绘了根据本公开的示例实施例的第一操作模式中的集中特征的示例。
图4B描绘了根据本公开的示例实施例的将参与者分类到分组会议(breakout)房间的能力的示例。
图5A、图5B和图5C描绘了根据本公开的示例实施例的第二操作模式中的虚拟会议空间的示例布局。
图6描绘了根据本公开的示例实施例的第二操作模式中的多个预定义结构模式的示例。
图7描绘了示出根据本公开的示例实施例的切换到第二操作模式的示例过程的流程图。
在多个附图中重复的附图标记旨在标识多种实现中的相同特征。
具体实施方式
本公开的示例方面涉及用于视频会议的系统和方法，其包括或提供多种空间交互模式，如在具有虚拟交互空间的视频会议中的不同观看和排列模式。例如，当在多种形式的空间交互模式种操作时，视频会议可以包括本质上是二维或三维的虚拟会议空间。视频会议的参与者能够在虚拟会议空间内移动。例如，在一些模式中，用户可能能够在整个虚拟会议空间中自由移动(例如，没有限制)，而在其他模式中，用户能够在虚拟空间内的定义的锚点之间移动(或请求移动)。例如，每个用户可以在虚拟空间的图形表示中移动他们的虚拟头像(avatar)，以改变他们相应在虚拟空间内的位置。
根据本公开的一个方面，从给定用户的角度来看，与每个其他用户的视听流相关联的音频和/或视频可以根据虚拟空间内给定用户和其他用户之间的空间关系来修改或以其他方式呈现。例如，从给定用户的角度来看，在一些模式中(例如，第一空间操作模式)，每个其他用户的视听流的音频回放音量与虚拟会议空间内给定用户的虚拟位置和每个其他用户的虚拟位置之间的相应距离负相关。因此，在虚拟会议空间中较近的用户可以更大声，而在虚拟会议空间中较远的用户可以更柔和(或者完全静音)。在其他示例中(例如，在第二空间操作模式中)，从给定用户的角度来看，某个其他用户的音频回放的音量可以基于给定用户是否被分配到与虚拟会议空间中的其他用户相同的锚点。因此，给定用户可以听到和/或看到仅与位于虚拟会议空间内相同锚点处的其他用户相关联的音频和/或视频。
另外的示例方面还涉及用于基于从使用系统的一个或多个用户接收的输入在多种不同视频会议模式之间进行模式转换的技术。特别地，在一些实施方式中，用户角色可以被分配给至少一些用户。这些用户角色可以包括例如主持人、参与者等。特别地，通过分配用户角色，与其他用户相比，特定用户可以对视频会议具有更大的控制。例如，主持人可能对视频会议系统具有更高的控制级别。因此，在本公开的示例实现中，特定用户可以影响两种或更多种视频会议模式之间的转换，如在小组视频会议模式和空间视频会议模式之间的转换，而其他用户不能影响这种转换。因此，在本公开的示例实现中，每个特定用户可以控制视频会议模式。然后，可以接收来自至少一个特定用户的输入，因此模式从例如小组视频会议模式切换到空间视频会议模式，或者从空间视频会议模式切换到小组视频会议模式。以这种方式，视频会议的用户可以在相同个视频会议呼叫中参与小组会议和非传统会议模式。
更具体地，视频会议系统可以接收分别与视频会议中的多个参与者相关联的多个视听流。每个视听流可以包括音频数据和视频数据。在一些实施方式中，部分或全部参与者可以是人类参与者。例如，视觉数据可以对应于描绘人类参与者的视频，而音频数据可以对应于在人类参与者所处的环境中捕获的音频。在一些实施方式中，一些参与者可以对应于在部分或全部其他参与者之间共享的内容。例如，视听流可以对应于共享显示或其他共享内容(例如，由特定人类参与者从他们的设备共享，或者从第三方源或集成共享)。在另一示例中，一个视听流可以对应于多个人类参与者(例如，位于相同房间使用一套视听装备的多人)。
在一些实施方式中，视听流(例如，由参与者共享的显示流)可以包括动态视觉数据，而该流的音频数据为空值(null)或空白(blank)。在其他实施方式中，视听流可以包括动态音频数据，而该流的视觉数据为空值或空白(例如，在人类参与者将其视频“关闭”的情况下)。因此，如本文所使用的，术语视听流通常指可以包括音频和/或视频的定义的内容流。多个内容流可以源自相同设备(例如，在用户具有用于他们的视频/音频呈现的第一视听流和将来自他们的设备的内容共享给其他参与者的第二视听流的情况下)。
在一些实施方式中，对于视频会议中包括的部分或全部视听流，视频会议系统可以在小组操作模式内操作。在一些实施方式中，小组操作模式可以将多个用户排列成矩阵布局。无论用户在视频会议中的位置如何，小组操作模式也可以提供同等级别的音频回放。举例来说，小组操作模式可以以矩阵布局显示视听流。在矩阵布局中，视听流的视频数据可以排列在具有相等行和相等列(例如，1×1、2×2、3×3、4×4等)的表格中。并提供给用户显示。
根据本公开的一个方面，对于包括在视频会议中的部分或全部视听流，视频会议系统可以以第一空间操作模式提供视频会议。第一空间操作模式可以在视频会议的虚拟会议空间中显示视听流。在第一操作模式中，可以向用户分配视频会议的虚拟会议空间中的虚拟位置。例如，当第一操作模式中时，可以允许用户在视频会议的虚拟会议空间中自由移动他们相应的虚拟位置。例如，可以使用户能够将他们相应的虚拟头像拖放或以其他方式操纵到虚拟会议空间中的新位置。在一些实施方式中，第一空间操作模式可以被称为“休会(recess)”模式，在该模式中，每个人都可以自由地四处移动以及创建和离开对话舱。
在一些情况下，第二空间操作模式可以将视频会议的每个用户分配给虚拟会议空间中的定义的锚点的集合中的一个锚点。例如，每个用户可以被随机分配到一个锚点，或者可以被分配到在转换到第二空间操作模式之前最接近他们先前位置的锚点。锚点可以是虚拟会议空间中的预定义空间或区域。作为一个示例，用户可以被锁定到虚拟会议空间中的分配的锚点。作为另一个示例，用户可能能够在锚点之间移动。在更具体的示例中，用户可能只能在规定的(即有限的)数量的锚点之间移动。
在一些实施方式中，第二操作模式将视频会议的每个用户分配到最接近用户先前位置的锚点。因此，用户可能能够容易地识别他们在虚拟会议空间中的虚拟位置，因为它可能类似于他们在第一操作模式中的位置。在另一实施方式中，第二操作模式可以将每个用户分配给他们在虚拟会议空间中的先前位置(例如，如果第二操作模式先前在当前视频会议中被使用，则是用户在虚拟会议空间中的先前位置)。在一些实施方式中，某些用户或用户群体可以根据预定义的分配被分配给锚。例如，在视频会议技术到虚拟教室的示例应用中，可以根据预定义的分配将用户群体(例如，学生)分配给每个锚。例如，一个班级或不同阅读群体中的不同数学轨迹可以被分配给(并因此自动相应地定位在)对应于不同教室/班级的不同锚点。
在一些实施方式中，第二操作模式可以包含或被组织成“行”模式。在行模式中，多个用户可以被单独分配到视频会议的虚拟会议空间中的锚点的集合中的一个锚点。在某些情况下，音频回放可能专门限于用户的当前锚点。在行模式中，用户可以与另一个用户切换锚点，以改变他们的相对虚拟位置。在某些情况下，用户可能能够移动到可用的锚点来改变他们的相对虚拟位置。管理用户也可以将用户重新分配到另一个锚点，以改变他们的虚拟位置。在另一实施方式中，在行模式中，除了管理用户之外的所有用户都可以被单独分配给锚点的集合中的一个锚点。
行模式的一个示例用例是使管理员(例如，教师)能够单独和/或选择性地访问其他会议参与者(例如，学生)。例如，行模式可以被用于学生低头作业。每个学生都可以与其他学生分开，以便专注于自己的作业。教师和其他具有管理权限的人员可以观察房间中的任何人并与之互动。这有助于回答问题，并创造1:1互动的机会。
在一些实施方式中，第二操作模式可以包含或被组织成“pod”模式。在pod模式中，两个或更多用户被分配到锚点的集合中的至少一个锚点。音频回放可以专门限于用户的当前分配锚点的集合。在pod模式中，用户可以在分配的锚点的集合中自由移动他们的虚拟位置。在pod模式中，(多个)管理用户可以控制pod中包含的所有用户、pod是锁定还是解锁以供新用户加入，以及pod在虚拟会议空间中的虚拟位置。即使处于锁定状态，(多个)管理用户也可以加入pod。在pod模式中，每个用户的音频回放是与他们当前被分配的pod相关联的音频，但是用户可能能够听到以减小的音量的其他pod。
在一些示例中，pod模式可用于促进小群体工作。例如，小群体学生可以被分配到pod，他们可以在其中与pod中的其他人互动。教师和其他具有管理权限的人员可以观察房间中的任何人并与之互动。
在pod模式的一些实施方式中，管理用户可以控制包含在pod中的所有用户以及pod在虚拟会议空间中的虚拟位置。即使处于锁定状态，(多个)管理用户也可以加入pod。在pod模式的一些实现中，音频回放可以限于(多个)管理用户的音频。
根据本公开的另一方面，pod模式可以包含共享资产功能。共享资产功能可以允许用户共享如共享的资产(例如，白板、黑板、幻灯片、文档、电子表格等)的资产。(多个)管理用户可以控制用户或pod是否可以利用共享的资产功能。共享的资产功能可以自动向虚拟会议空间中的其他用户授予如编辑特征、查看特征和交互特征的权限。编辑特征将允许共同位于锚点的集合处的用户写入或改变共享的资产。
根据本公开的另一方面，视频会议系统可以至少部分地基于用户和其他用户的虚拟位置来确定虚拟会议空间内的每个视听流的虚拟音频位置。视频会议系统可以修改与每个视听流相关联的音频数据，以使得音频数据的回放具有为视听流确定的虚拟会议空间内的虚拟音频位置。视频会议系统然后可以提供具有修改后的音频数据的视听流，用于视频会议中的视听回放。
在一些实施方式中，视频会议系统可以修改与虚拟会议空间内的每个视听流相关联的音频数据。在一些实施方式中，每个用户的视听流的音频回放音量可以与虚拟会议空间内第一用户的虚拟位置和每个其他用户的虚拟位置之间的相应距离负相关。在一些示例中，第一用户的音频回放的音量可以基于另一用户离第一用户的距离或者第一用户是否被分配到与虚拟会议空间中的另一用户相同的锚点。
在一些实施方式中，视频会议系统可以不修改与虚拟会议空间内的每个视听流相关联的音频数据。音频回放对于所有用户可能是相同的，并且不会反映用户的虚拟位置。在一个示例中，如果用户被安排在矩阵布局中，则视频会议中的所有用户的音频回放将是相等的。
根据本公开的另一方面，用户可以将他们的本地视图修改为多种不同的风格。他们视图模式中的更改可以是仅在用户实例上可见的本地更改。有许多可能的视图模式。一个示例视图模式是邻居视图。在该视图中，用户被“缩小”，可以看到整个虚拟会议空间和参与者集合。另一个示例视图模式是对话视图模式。在该视图中，用户“放大”了他们自己的对话。对话中的参与者和协作资产被最大化，而其他参与者和资产可能不是可见的。
根据本公开的另一方面，第一空间操作模式或第二空间操作模式中的视频会议系统可以包含小地图。小地图可以显示虚拟会议空间的缩放视图。虚拟空间可以操作或控制类似于数字地图应用的地图。与示出用户的具体位置的虚拟空间的主要放大视图相比，小地图可以使用户能够通过查看空间的更大视图来导航虚拟空间。
根据本公开的另一方面，视频会议的虚拟会议空间中的用户可以具有围绕用户的相应虚拟头像的动态环。动态环可以提供与关于相应用户的度量相关联的信息。该度量可以是如用户发言的总时间的数据。举例来说，用户说得越多，相应用户的虚拟头像周围的动态环将增长或改变颜色。
在一些实施方式中，当在(多个)空间操作模式时，每个用户的视图可以从广角转换到面部跟踪。在空间聊天中，尝试通过剪切到用户面部附近的区域来最小化“浪费的”像素可能是有利的。
根据本公开的另一方面，视频会议系统可以接收来自视频会议的用户中的一个用户的输入，该输入请求视频会议在不同操作模式之间的转换(例如，在小组操作模式和/或一个或多个不同的空间操作模式之间)。在一些示例中，任何用户都可以请求视频会议在第一操作模式和第二操作模式之间转换。在其他实施例中，用户必须在与视频会议相关联的预定义访问控制列表上，以请求视频会议在第一操作模式和第二操作模式之间的转换。在一些实施方式中，可以在视频会议期间确定访问控制列表。访问控制列表可以定义能够在视频会议中引起模式转换的第一用户的集合。更具体地，访问控制列表可以定义视频会议的管理用户的集合。这些用户被预先批准影响视频会议的控制。在某些情况下，视频会议系统可以确定请求转换的用户是否被列在访问控制列表上。如果请求转换的用户被列在访问控制列表上，则视频会议系统可以响应于该请求使得视频会议从第一模式转换到第二模式。
因此，视频会议系统可以在视频会议中接收来自用户的输入。这些输入可以针对允许用户切换到多个不同的预定义锚点排列、加入新的pod并创建新的锚点、加入可用的开放空间、加入虚拟会议空间中的另一个锚点、放大以集中于当前虚拟位置，以及缩小到虚拟会议空间的扩展视图。作为示例，在第二操作模式中，用户能够自由移动并加入虚拟会议空间中的开放空间，用户可以使用集中特征和缩小特征来改变虚拟会议空间的当前局部视图。
本公开中描述的技术(例如，通常归因于视频会议系统的技术)可以在多种不同的设备上执行。作为一个示例，本文描述的技术(例如，在视频会议模式之间切换)可以在促进视频会议的服务器计算系统处执行。例如，当视频会议应用用于教育时，这种场景可能是有利的。作为另一示例，本文描述的技术(例如，在视频会议模式之间切换)可以在客户端计算设备(例如，与用户中的一个相关联的设备)处执行。例如，当会议需要从小组或专业环境转换到社交或团队环境时，这种场景可能是有利的。在一个示例中，将视频会议切换到不同的操作模式可以通过由执行视频会议web应用的浏览器应用执行的插件或其他计算机可读代码在客户端计算设备上执行。在另一示例中，客户端操作可以在专用视频会议应用中执行。
本公开提供了许多技术效果和益处。作为一个示例技术效果和益处，本公开的系统和方法使得用户能够参与非传统会议。以这种方式，用户可以参与社交聚会、小群体教育、协作冲刺、网络活动等。而不必切换到不同的应用。在相同视频会议应用中改进的功能可以使用户不需要购买或下载额外的软件。此外，所有用户都可以根据需要在视频会议内工作或参与，并且不会被束缚于相同的共享的资产，而不管他们在视频会议中的角色如何。
作为另一示例技术效果，本公开的系统和方法使多出席者视频会议中的参与者能够改进音频理解。更具体地，本公开修改来自视频会议中包括的部分或全部源(例如，每个视听流)的音频数据，使得音频数据的回放与用户在虚拟会议空间中的虚拟位置相关。以这种方式，视频会议的参与者可以容易地集中于当前的虚拟位置，并确定视频会议中包括的每个音频信号的来源。对音频源属性的改进的和直观的理解可以减少疲劳，并提供更容易理解和一致的用户体验，这对于有视觉障碍的用户可能是特别有利的。
作为另一示例技术效果，本公开的系统和方法还使得节约计算资源。具体而言，本公开的系统和方法使视频会议的参与者能够更容易地识别视频会议中包括的每个音频信号并将其归因于特定源。这可以减少视频会议中的混乱，这可以减少视频会议的长度，因为需要澄清的误解更少。较短的视频会议可以节省计算资源，如处理器使用、内存使用、网络带宽等。此外，用户可以像“听众”一样消费视频会议，其中这种基于内容类型、用户角色和可访问性设置的音频空间分布可能足以理解和跟随会议，通过省略视觉数据来节省带宽。
本文提出的技术可能对视觉受损的用户有特别的帮助，这些用户可能无法在视觉上确定当前说话者或音频源的身份。因此，作为示例，通过将音频空间中的虚拟位置分配给用户，视觉受损的用户可以辨别当前锚点的集合中的用户或虚拟会议空间的另一区域中的用户是否在讲话和/或声音属于共享的资产还是集成应用。
现在参考附图，将更详细地讨论本公开的示例实施例。
图1描绘了根据本公开的示例实施例的示例客户端-服务器环境100。客户端-服务器环境100包括通过网络180连接并通信的客户端计算设备102和服务器计算系统130。尽管描绘了单个客户端计算设备102，但是任意数量的客户端计算设备102可以被包括在客户端-服务器环境100中，并且通过网络180连接到服务器计算系统130。
在一些示例实施例中，客户端计算设备102可以是任何合适的设备，包括但不限于智能手机、平板电脑、膝上型电脑、台式计算机、游戏控制台或被配置成允许用户参与视频会议的任何其他计算机设备。客户端计算设备102可以包括一个或多个处理器112、存储器114、相关联的显示设备120、视频会议应用122、相机124、麦克风126和音频回放设备128(例如，(多个)扬声器，如立体声扬声器)。
一个或多个处理器112可以是任何合适的处理设备，如微处理器、微控制器、集成电路或其他合适的处理设备。存储器114可以包括任何合适的计算系统或介质，包括但不限于非暂时性计算机可读介质、RAM、ROM、硬盘驱动器、闪存驱动器或其他存储设备。存储器114可以存储可由一个或多个处理器112访问的信息，包括可由一个或多个处理器112执行的指令。指令可以是任何指令集合，该指令当由一个或多个处理器112执行时，使得一个或多个处理器112提供期望的功能。
具体而言，在一些设备中，存储器114可以存储用于客户端计算设备102和服务器计算设备130之间的视频会议的指令(例如，一个或多个视频会议应用122等)。客户端计算设备102可以实现指令以执行本公开的各方面，包括指引与服务器计算系统130的通信、向用户提供视频会议应用122和/或视频流、将接收到的视频流缩放到不同分辨率的显示区域、和/或生成并向服务器计算系统发送指令以请求显示区域的新视频流。
应当理解，术语“系统”可以指专用硬件、在更通用的处理器上执行的计算机逻辑或者它们的某种组合。因此，系统可以用硬件、专用电路、固件和/或控制通用处理器的软件来实现。在一个实施例中，系统可以被实现为存储在存储设备上、加载到存储器中并由处理器执行的程序代码文件，或者可以由计算机程序产品提供，例如存储在有形的计算机可读存储介质中的计算机可执行指令，该有形的计算机可读存储介质如RAM、硬盘或者光或磁介质。
存储器114还可以包括数据116，如视频会议数据(例如，在客户端计算设备102处捕获的或从服务器计算系统130接收的)，其可以由一个或多个处理器112检索、操纵、创建或存储。在一些示例实施例中，这样的数据可以在视频会议期间被访问并显示给客户端计算设备102的一个或多个用户，或者被发送给服务器计算系统130。
客户端计算设备102可以执行视频会议应用122。在一个示例中，视频会议应用122是专用的、专门构建的视频会议应用。在另一示例中，视频会议应用122是浏览器应用，其本地执行计算机可读代码(例如，通过(多个)处理器112)以提供作为web应用的视频会议。
视频会议应用122可以从相机124和/或麦克风126捕获视觉数据，并将该数据发送到服务器计算系统130。客户端计算设备102可以从服务器计算系统130接收来自视频会议的一个或多个其他参与者(例如，其他客户端计算设备102)的视听数据(例如，音频数据和/或视觉数据)。客户端计算设备102然后可以在相关联的显示设备120上向客户端计算设备102的用户显示接收到的视觉数据和/或用音频回放设备128向客户端计算设备102的用户回放接收到的音频数据。在一些示例实施例中，相机124从一个或多个用户收集视觉数据。相机124可以是能够捕获视觉数据的任何设备。麦克风126可以是能够捕获音频数据的任何设备。在一个示例中，网络摄像头可以充当相机和麦克风。
根据一些示例实施例，服务器计算系统130可以包括一个或多个处理器132、存储器134和视频会议系统140。存储器134可以存储可由一个或多个处理器132访问的信息，包括可由(多个)处理器执行的指令138和数据136。
服务器计算系统130可以使用未示出的网络通信设备与一个或多个客户端计算设备102通信。网络180可以是任何类型的通信网络，如局域网(例如，内联网)、广域网(例如，互联网)或其某种组合。一般而言，客户端计算设备102和服务器计算系统130之间的通信可以使用任何类型的有线和/或无线连接、使用各种通信协议(例如，TCP/IP、HTTP、RTP、RTCP等)、编码或格式(例如HTML、XML)和/或保护方案(例如VPN、安全HTTP、SSL)经由网络接口来携带。
服务器计算系统130可以包括视频会议系统140。在一些实施方式中，视频会议系统140可以被配置成便于由一个或多个客户端计算设备102执行的视频会议应用122的操作。作为示例，视频会议系统140可以从分别与多个视频会议出席者相关联的多个客户端计算设备102(例如，经由网络180)接收视听流。视频会议系统140可以向每个客户端计算设备102提供视听流。
视频会议应用122和/或视频会议系统140可以独立地或协作地操作来执行本文描述的任何技术。
图2描绘了根据本公开的示例实施例的小组操作模式的示例。具体而言，图2示出了处于小组操作模式的视频会议应用的基本用户界面200。用户界面200显示来自分别与视频会议中的多个参与者相关联的多个视听流的视觉数据。每个视听流可以包括音频数据和视频数据。在一些实施方式中，部分或全部参与者可以是人类参与者。例如，视觉数据可以对应于描绘人类参与者的视频，而音频数据可以对应于在人类参与者所处的环境中捕获的音频。例如，用户界面的区域202和204对应于描绘视频会议的两个不同人类参与者的视频。例如，小组操作模式可以具有矩阵布局206。
在一些实施方式中，一些参与者(未示出)可以对应于在部分或全部其他参与者之间共享的内容。例如，视听流可以对应于共享显示或其他共享内容(例如，由特定人类参与者从他们的设备共享，或者从第三方源或集成共享)。在另一示例中，一个视听流可以对应于多个人类参与者(例如，位于相同房间使用一套视听设备的多人)。
在一些实施方式中，视听流(例如，由参与者共享的显示流)可以包括动态视觉数据，而该流的音频数据为空值或空白。在其他实施方式中，视听流可以包括动态音频数据，而该流的视觉数据为空值或空白(例如，在人类参与者将其视频“关闭”的情况下)。因此，如本文所使用的，术语视听流通常指可以包括音频和/或视频的定义的内容流。多个内容流可以源自相同设备(例如，在用户具有用于他们的视频/音频呈现的第一视听流和将来自他们的设备的内容共享给其他参与者的第二视听流的情况下)。在一些实施方式中，第一用户的视听流可以由相应用户的视觉流周围的图标(未示出)或框来指示。突出显示的框或图标可以指示用户在访问控制列表上。
图3A描绘了根据本公开的示例实施例的第一空间操作模式的示例。具体而言，图3A示出了第一操作模式中的视频会议应用的基本用户界面300。用户界面300显示来自分别与视频会议中的多个参与者相关联的多个视听流的视觉数据。
在第一操作模式中，多个用户能够在虚拟会议空间302中自由移动。例如，由虚拟头像304代表的用户可以点击并拖放她的虚拟头像304到虚拟会议空间302中的任何地方。具体而言，图3A和图3B一起描绘了根据本公开的示例实施例的第一操作模式中的移动示例。具体而言，图3A和图3B示出了移动到虚拟会议空间302中的新的虚拟位置的用户虚拟头像304。
在一些实施方式中，每个其他用户的视听流的音频回放的音量可以与虚拟会议空间302内第一用户的虚拟位置和每个其他用户的相应虚拟位置之间的相应距离负相关。其他用户离第一用户越远，每个其他用户的音频回放越柔和。另一个用户离第一个用户越近，每个其他用户的音频回放就越大声。
图3C描绘了根据本公开的示例实施例的第一操作模式中的动态环。更具体地，动态环322提供信息。在一些实施方式中，当用户最近没有说话时，动态环将不会明显显示。当用户正在讲话并且之前已经讲话时，动态环322可以出现在用户的虚拟头像周围，内环324指示用户当前正在讲话。当用户最近说过话但当前没有说话时，动态环322可以显示，但可能没有内环(例如，如326所示)。通常，在一些示例中，当用户说话时，动态环322可以增长，然后当用户不说话时可以衰减。
图4A展示了用户在虚拟会议空间400内导航的能力。例如，地图风格的缩放和平移控件可以使用户能够在虚拟会议空间400中放大和缩小以及平移。这将允许用户在本地显示虚拟会议空间400的当前区域的缩小视图。类似地，用户可以缩小当前视图。缩小特征(未示出特定控件)可以允许用户在本地显示虚拟会议空间的扩展视图(未示出)。小地图402可以向用户提供关于他们在会议空间400内本地显示的位置的快速参考。在一些实施方式中，如果用户使用缩小特征来显示整个虚拟会议空间，则小地图402将不显示。
图4B描绘了根据本公开的示例实施例的将参与者分类到分组会议房间的能力的示例。例如，用户虚拟头像450可以被分类到虚拟会议空间内定义的多个不同的分组会议房间中。在所示示例中，两个分组会议房间被示为452和454。每个分组会议房间都可以有自己的音频和/或视频。用户可以通过移动他们的虚拟头像在分组会议房间之间切换(例如，受到管理控制)。
图5A、图5B和图5C表示第二操作模式中的多种模式。在一些情况下，第二空间操作模式可以将视频会议的每个用户分配给虚拟会议空间中的定义的锚点的集合中的一个锚点。例如，每个用户可以被随机分配到一个锚点，或者可以被分配到在转换到第二空间操作模式之前最接近他们先前位置的锚点。锚点可以是虚拟会议空间中的预定义空间或区域。作为一个示例，用户可以被锁定到虚拟会议空间中的分配的锚点。作为另一个示例，用户可能能够在锚点之间移动。在更具体的示例中，用户可能只能在规定的(即有限的)数量的锚点之间移动。
更具体地参考图5A，在一些实施方式中，第二操作模式可以包含或被组织成“pod”模式。在pod模式中，两个或更多用户被分配到锚点的集合中的至少一个锚点。例如，用户550和552被分配到与锚点554相关联的pod，而用户556和558被分配到与锚点560相关联的pod。
在一些实施方式中，音频回放可以专门限于用户的当前分配的锚点的集合。在pod模式中，用户可以在分配的锚点的集合中自由移动他们的虚拟位置。在pod模式中，(多个)管理用户可以控制pod中包含的所有用户、pod是锁定还是解锁以供新用户加入，以及pod在虚拟会议空间中的虚拟位置。即使处于锁定状态，(多个)管理用户也可以加入pod。在pod模式中，每个用户的音频回放是与他们当前被分配的pod相关联的音频，但是用户可能能够听到以减小的音量的其他pod。
在一些示例中，pod模式可用于促进小群体工作。例如，小群体学生可以被分配到pod，他们可以在其中与pod中的其他人互动。教师和其他具有管理权限的人员可以观察房间中的任何人并与之互动。
根据本公开的另一方面，pod模式可以包含共享资产功能。例如，对于与锚点560相关联的pod，文档562正在锚点560处的用户之间共享。共享资产功能可以允许用户共享如共享的资产(例如，白板、黑板、幻灯片、文档、电子表格等)的资产。管理用户可以控制用户或pod是否可以利用共享资产功能。共享资产功能可以自动向虚拟会议空间中的其他用户授予如编辑特征、查看特征和交互特征的权限。编辑特征将允许位于锚点的集合处的用户写入或改变共享的资产。
现在更具体地参考图5B和图5C，在一些实施方式中，第二操作模式可以包含或被组织成“行”模式。在行模式中，多个用户可以被单独分配到视频会议的虚拟会议空间中的锚点的集合中的一个锚点。例如，如图5B所示，用户504被单独分配到虚拟空间500中她自己的锚点。然而，管理员502可能能够在空间500中自由移动和/或选择性地访问每个不同的锚点。例如，如图5C所示，管理员502与用户510已经加入锚点。
在某些情况下，在行模式中，音频回放可能被排他地限制到用户的当前锚点。在行模式中，用户可以与另一个用户切换锚点，以改变他们的相对虚拟位置。在某些情况下，用户可能能够移动到可用的锚点来改变他们的相对虚拟位置。管理用户也可以将用户重新分配到另一个锚点，以改变他们的虚拟位置。在另一实施方式中，在行模式中，除了管理用户之外的所有用户都可以被单独分配给锚点的集合中的一个锚点。
行模式的一个示例用例是使管理员(例如，教师)能够单独和/或选择性地访问其他会议参与者(例如，学生)。例如，行模式可用于学生低头作业。每个学生都可以与其他学生分开，以便专注于自己的作业。教师和其他具有管理权限的人员可以观察房间中的任何人并与之互动。这有助于回答问题，并创造1:1互动的机会。
图6描绘了根据本公开的示例实施例的视频会议中的多个预定义结构模式的示例。图6示出了多个锚点的集合，其可以在多个预定义的锚点排列之间切换。锚点排列可以包括网格排列602或蜂巢排列606。在网格排列602中，网格锚点600以垂直或水平布局排列。在蜂巢排列606中，蜂巢定位点604以六边形排列。
图7示出了根据本公开的示例实施例的以第一操作模式呈现视听流并切换到第二操作模式的示例过程700。该方法被示出为指定所执行的操作的多组框，但是不必限于所示出的用于由各个框执行操作的顺序或组合。方法700的一个或多个部分可以由一个或多个计算设备来实现，例如，如图1所示的计算环境100的一个或多个计算设备。虽然在以下讨论的部分中，可能会参考特定的计算环境，但对其的参考仅是示例性的。这些技术不限于由在一个设备上操作的一个实体或多个实体来执行。
在702，过程700可以包括由一个或多个处理器接收分别与多个用户相关联的多个视听流，其中每个视听流包括音频数据和视觉数据。
在704，过程700可以包括由一个或多个处理器提供第一操作模式中的视频会议，其中，在第一操作模式中，多个用户中的每一个用户能够在视频会议的虚拟会议空间中自由移动他们相应的虚拟位置。
在706，过程700可以包括由一个或多个处理器接收来自视频会议的多个用户中的第一用户的输入，该输入请求视频会议从第一操作模式到第二操作模式的转换，其中，在第二操作模式中，多个用户中的每一个用户的相应虚拟位置被分配给虚拟会议空间中的定义的锚点的集合中的一个锚点。
在708，响应于来自第一用户的输入，一个或多个处理器可以使得视频会议从第一操作模式转换到第二操作模式。
本文讨论的技术涉及服务器、数据库、软件应用和其他基于计算机的系统，以及所采取的行动和发送到这些系统和从这些系统接收的信息。基于计算机的系统的固有灵活性允许在组件之间对任务和功能进行多种可能的配置、组合和划分。例如，本文讨论的过程可以使用单个设备或组件或者组合工作的多个设备或组件来实现。数据库和应用程序可以在单个系统上实现，也可以分布在多个系统上。分布式组件可以顺序或并行操作。
虽然本主题已经关于其各种具体示例实施例进行了详细描述，但是每个示例都是以解释的方式提供的，而不是对本公开的限制。本领域的技术人员在理解了前述内容之后，可以容易地对这些实施例进行变更、变型和等效。因此，本主题公开不排除对本主题的这种修改、变化和/或添加，这对于本领域普通技术人员来说是显而易见的。例如，作为一个实施例的一部分示出或描述的特征可以与另一个实施例一起使用，以产生又一个实施例。因此，本公开旨在覆盖这些改变、变化和等同物。

Claims (20)

1.一种用于具有空间和非空间模式的视频会议模式的计算系统，所述计算系统包括：
一个或多个处理器；以及
一个或多个存储指令的非暂时性计算机可读存储介质，所述指令由所述一个或多个处理器可执行以执行操作，所述操作包括：
接收分别与多个用户相关联的多个视听流；
提供小组操作模式中的视频会议，其中，在小组操作模式中，所述多个用户的每个视听流的音频回放的相应音量是相等的；
接收来自视频会议的所述多个用户中的第一用户的输入，所述输入请求视频会议从小组操作模式到空间操作模式的转换，其中，在空间操作模式中，所述多个用户中的每个用户在视频会议的虚拟会议空间内具有相应的虚拟位置，并且其中，在空间操作模式中，每个用户的音频回放的相应音量是每个用户在虚拟会议空间内的相应虚拟位置的函数；以及
响应于来自第一用户的输入，使得视频会议从小组操作模式转换到空间操作模式。
2.根据权利要求1所述的计算系统，其中，对于第一用户并且在空间操作模式中，每个其他用户的相应视听流的音频回放的相应音量与虚拟会议空间内第一用户的虚拟位置和每个其他用户的相应虚拟位置之间的相应距离负相关。
3.根据权利要求1-2中任一项所述的计算系统，其中，对于第一用户并且在空间操作模式中，与每个其他用户相关联的相应视听流的音频回放的相应音量是每个其他用户的相应虚拟位置被分配给与第一用户的虚拟位置相同还是不同的锚点的函数。
4.根据权利要求1-3中任一项所述的计算系统，其中：
提供小组操作模式中的视频会议包括在用户界面内以矩阵布局提供所述多个用户的排列；
在空间操作模式中，所述多个用户中的每一个用户的相应虚拟位置被分配给虚拟会议空间中的定义的锚点的集合中的一个锚点；以及
视频会议从第一操作模式到第二操作模式的转换包括将所述多个用户中的每一个用户分配到离他们在用户界面内的矩阵布局中的相应位置最近的锚点。
5.根据权利要求1-4中任一项所述的计算系统，其中所述操作还包括：
响应于来自第一用户的请求将视频会议从小组操作模式到空间操作模式的转换的输入，确定第一用户是否在与视频会议相关联的访问控制列表上，其中所述访问控制列表定义了能够在视频会议中使得模式转换的管理用户的集合。
6.根据权利要求1-5中任一项所述的计算系统，其中，对于第一用户并且在空间操作模式中，第一用户的相应视听流的相应视觉表示包括第一用户的相应视听流的视觉流的剪切部分。
7.根据权利要求1-6中任一项所述的计算系统，其中，空间操作模式包括pod模式，在pod模式中，所述多个用户中的两个或更多个被分配给锚点的集合中的至少一个锚点。
8.根据权利要求7所述的计算系统，其中，在pod模式中，所述多个用户中的每一个用户能够在所述锚点的集合当中自由移动他们相应的虚拟位置。
9.根据权利要求7所述的计算系统，其中，在pod模式中，每个用户的音频回放仅限于与用户的当前锚点相关联的音频。
10.根据权利要求7所述的计算系统，其中，在pod模式中，每个用户的音频回放包括以第一音量的与用户的当前锚点相关联的音频，以及以第二减小的音量的与一个或多个其他锚点相关联的音频。
11.根据权利要求1-10中任一项所述的计算系统，其中，在空间操作模式期间，所述指令还由所述一个或多个处理器可执行以执行至少一个操作，所述操作包括以下一项或多项：
从第一用户接收切换到不同锚点的第二输入；
从第一用户接收第三输入，以加入一个或多个用户来创建新的锚点；以及
从第一用户接收第四输入以加入虚拟会议空间中的可用开放空间。
12.根据权利要求1-11中任一项所述的计算系统，其中空间操作模式还包括虚拟会议空间的小地图，其中所述小地图显示虚拟会议空间的缩放视图。
13.根据权利要求1-12中任一项所述的计算系统，其中，在空间操作模式中，所述多个用户中的至少一个用户在用户界面中具有动态环，其中，所述动态环被配置为提供与关于所述多个用户中的至少一个用户的度量相关联的信息。
14.根据权利要求1-13中任一项所述的计算系统，其中，空间操作模式以以下至少一种方式显示给第一用户：
邻居视图，包括第一用户的虚拟会议空间的缩小视图；以及
对话视图，包括第一用户的虚拟会议空间的放大视图。
15.根据权利要求1所述的计算系统，其中至少空间操作模式包括共享资产功能，所述共享资产功能包括在共同位于虚拟会议空间内的所述锚点的集合中的一个锚点处的用户之间共享视图特征、编辑特征和交互特征中的至少一个。
16.一种用于具有空间和非空间模式的视频会议的计算机实现的方法，所述方法包括：
由包括一个或多个计算设备的计算系统接收分别与多个用户相关联的多个视听流；
由计算系统提供小组操作模式中的视频会议，其中，在小组操作模式中，所述多个用户的每个视听流的音频回放的相应音量是相等的；
由计算系统接收来自视频会议的所述多个用户中的第一用户的输入，所述输入请求视频会议从小组操作模式到空间操作模式的转换，其中，在空间操作模式中，所述多个用户中的每一个用户在视频会议的虚拟会议空间内具有相应的虚拟位置，并且其中，在空间操作模式中，每个用户的音频回放的相应音量是每个用户在虚拟会议空间内的相应虚拟位置的函数；以及
由计算系统响应于来自第一用户的输入，使得视频会议从小组操作模式转换到空间操作模式。
17.根据权利要求16所述的计算机实现的方法，其中，对于第一用户并且在空间操作模式中，每个其他用户的相应视听流的音频回放的相应音量与虚拟会议空间内第一用户的虚拟位置和每个其他用户的相应虚拟位置之间的相应距离负相关。
18.根据权利要求16-17中任一项所述的计算机实现的方法，其中，对于第一用户并且在空间操作模式中，与每个其他用户相关联的相应视听流的音频回放的相应音量是每个其他用户的相应虚拟位置被分配到与第一用户的虚拟位置相同还是不同的锚点的函数。
19.根据权利要求16-18中任一项所述的计算机实现的方法，其中：
由计算系统提供小组操作模式中的视频会议包括由计算系统在用户界面内以矩阵布局提供所述多个用户的排列；
在空间操作模式中，所述多个用户中的每一个用户的相应虚拟位置被分配给虚拟会议空间中的定义的锚点的集合中的一个锚点；并且
视频会议从第一操作模式到第二操作模式的转换包括将所述多个用户中的每一个用户分配到离他们在用户界面内的矩阵布局中的相应位置最近的锚点。
20.一个或多个共同存储指令的非暂时性计算机可读介质，所述指令当由包括一个或多个计算设备的计算系统执行时，使得所述计算系统执行操作，所述操作包括：
由计算系统接收分别与多个用户相关联的多个视听流；
由计算系统提供小组操作模式中的视频会议，其中，在小组操作模式中，所述多个用户的每个视听流的音频回放的相应音量是相等的；
由计算系统接收来自视频会议的所述多个用户中的第一用户的输入，所述输入请求视频会议从小组操作模式到空间操作模式的转换，其中，在空间操作模式中，所述多个用户中的每一个用户在视频会议的虚拟会议空间内具有相应的虚拟位置，并且其中，在空间操作模式中，每个用户的音频回放的相应音量是每个用户在虚拟会议空间内的相应虚拟位置的函数；以及
由计算系统响应于来自第一用户的输入，使得视频会议从小组操作模式转换到空间操作模式。
CN202280048624.3A 2021-08-04 2022-08-04 具有多种空间交互模式的视频会议系统 Pending CN117616748A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/394,324 2021-08-04
US17/394,324 US11637991B2 (en) 2021-08-04 2021-08-04 Video conferencing systems featuring multiple spatial interaction modes
PCT/US2022/039458 WO2023014903A1 (en) 2021-08-04 2022-08-04 Video conferencing systems featuring multiple spatial interaction modes

Publications (1)

Publication Number Publication Date
CN117616748A true CN117616748A (zh) 2024-02-27

Family

ID=83149066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280048624.3A Pending CN117616748A (zh) 2021-08-04 2022-08-04 具有多种空间交互模式的视频会议系统

Country Status (4)

Country Link
US (1) US11637991B2 (zh)
EP (1) EP4331222A1 (zh)
CN (1) CN117616748A (zh)
WO (1) WO2023014903A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017030985A1 (en) * 2015-08-14 2017-02-23 Pcms Holdings, Inc. System and method for augmented reality multi-view telepresence

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6850252B1 (en) 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
US7012630B2 (en) 1996-02-08 2006-03-14 Verizon Services Corp. Spatial sound conference system and apparatus
GB2349055B (en) 1999-04-16 2004-03-24 Mitel Corp Virtual meeting rooms with spatial audio
US7190775B2 (en) 2003-10-29 2007-03-13 Broadcom Corporation High quality audio conferencing with adaptive beamforming
US7688345B2 (en) 2004-10-15 2010-03-30 Lifesize Communications, Inc. Audio output in video conferencing and speakerphone based on call type
TW200743385A (en) 2006-05-05 2007-11-16 Amtran Technology Co Ltd Method of audio-visual communication using television and television using the same
US20070070177A1 (en) 2005-07-01 2007-03-29 Christensen Dennis G Visual and aural perspective management for enhanced interactive video telepresence
NO20071401L (no) 2007-03-16 2008-09-17 Tandberg Telecom As System og arrangement for naturtro videokommunikasjon
US20080252637A1 (en) 2007-04-14 2008-10-16 Philipp Christian Berndt Virtual reality-based teleconferencing
EP2145465A2 (en) 2007-04-14 2010-01-20 Musecom Ltd. Virtual reality-based teleconferencing
KR102597520B1 (ko) 2007-09-26 2023-11-06 에이큐 미디어 인크 오디오-비주얼 내비게이션 및 통신
US9176579B2 (en) 2008-12-29 2015-11-03 Avaya Inc. Visual indication of user interests in a computer-generated virtual environment
US9853922B2 (en) 2012-02-24 2017-12-26 Sococo, Inc. Virtual area communications
US10737185B2 (en) * 2009-03-18 2020-08-11 Microsoft Technology Licensing, Llc Virtual environment controls based on voice chat audio inputs
US8237771B2 (en) 2009-03-26 2012-08-07 Eastman Kodak Company Automated videography based communications
KR101706654B1 (ko) 2009-04-07 2017-02-16 러닝 트리 인터내셔날, 인크 하이브리드 코스 교육 시스템 및 방법
US8351589B2 (en) 2009-06-16 2013-01-08 Microsoft Corporation Spatial audio for audio conferencing
WO2011038285A2 (en) * 2009-09-24 2011-03-31 etape Partners, LLC Three dimensional digitally rendered environments
US8755432B2 (en) 2010-06-30 2014-06-17 Warner Bros. Entertainment Inc. Method and apparatus for generating 3D audio positioning using dynamically optimized audio 3D space perception cues
US10326978B2 (en) 2010-06-30 2019-06-18 Warner Bros. Entertainment Inc. Method and apparatus for generating virtual or augmented reality presentations with 3D audio positioning
US8848028B2 (en) 2010-10-25 2014-09-30 Dell Products L.P. Audio cues for multi-party videoconferencing on an information handling system
US20120216129A1 (en) 2011-02-17 2012-08-23 Ng Hock M Method and apparatus for providing an immersive meeting experience for remote meeting participants
US9286898B2 (en) 2012-11-14 2016-03-15 Qualcomm Incorporated Methods and apparatuses for providing tangible control of sound
CN104469256B (zh) 2013-09-22 2019-04-23 思科技术公司 沉浸式和交互式的视频会议房间环境
US9318121B2 (en) 2014-04-21 2016-04-19 Sony Corporation Method and system for processing audio data of video content
EP3254453B1 (en) 2015-02-03 2019-05-08 Dolby Laboratories Licensing Corporation Conference segmentation based on conversational dynamics
US20190354170A1 (en) * 2018-05-18 2019-11-21 High Fidelity, Inc. Generation of relative reputation scores within virtual reality environments
JP7206688B2 (ja) * 2018-08-16 2023-01-18 富士フイルムビジネスイノベーション株式会社 遠隔会議システムおよび端末装置
US11128484B2 (en) 2019-08-23 2021-09-21 Mitel Networks (International) Limited Advising meeting participants of their contributions based on a graphical representation
US11575531B2 (en) * 2020-06-02 2023-02-07 Preciate Inc. Dynamic virtual environment
US11076128B1 (en) * 2020-10-20 2021-07-27 Katmai Tech Holdings LLC Determining video stream quality based on relative position in a virtual space, and applications thereof

Also Published As

Publication number Publication date
US11637991B2 (en) 2023-04-25
EP4331222A1 (en) 2024-03-06
US20230044865A1 (en) 2023-02-09
WO2023014903A1 (en) 2023-02-09

Similar Documents

Publication Publication Date Title
US9749367B1 (en) Virtualization of physical spaces for online meetings
Nguyen et al. CollaVR: collaborative in-headset review for VR video
JP6734852B2 (ja) イベントを追跡し、仮想会議のフィードバックを提供するシステム及び方法
US10917613B1 (en) Virtual object placement in augmented reality environments
CN113170076B (zh) 一种用于通信会话的方法和系统
EP0958701B1 (en) Communication method and terminal
US11849257B2 (en) Video conferencing systems featuring multiple spatial interaction modes
US11595448B1 (en) Method and apparatus for automatically creating mirrored views of the video feed of meeting participants in breakout rooms or conversation groups during a videoconferencing session
US11394925B1 (en) Automated UI and permission transitions between presenters of a communication session
JP2004343761A (ja) 制作コンテンツをビデオ会議の受動的参加者に配信するための方法及びシステム
CN113196239A (zh) 对与在通信会话内所显示的对象相关的内容的智能管理
US10917608B1 (en) Dynamically controlled aspect ratios based on a number of participants depicted in communication video streams
CN116762332A (zh) 用于专用中断通信会话的受控用户界面转换
CN113302581A (zh) 交互式查看系统
CN113196219A (zh) 交互式编辑系统
Xu et al. Attention from afar: simulating the gazes of remote participants in hybrid meetings
CN113711170A (zh) 显示视频和相关用户文本的用户界面的上下文感知控制
CN116918305A (zh) 用于管理针对呈现者的消息通信的动态控制的许可
CN113196221A (zh) 交互式查看和编辑系统
CN117616748A (zh) 具有多种空间交互模式的视频会议系统
US20230386145A1 (en) Automation of audio and viewing perspectives for bringing focus to relevant activity of a communication session
Koleva et al. Experiencing a presentation through a mixed reality boundary
KR20240069907A (ko) 화상회의 및 화상교육 서비스를 위한 시스템 과 화상회의 및 화상교육 서비스 제공방법
Asai et al. Supporting presentation with mobile PC in distance lecture
Marrinan Data-Intensive Remote Collaboration using Scalable Visualizations in Heterogeneous Display Spaces

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination