CN108886600B - 用于在视频流中提供可选择的交互元素的方法和系统 - Google Patents

用于在视频流中提供可选择的交互元素的方法和系统 Download PDF

Info

Publication number
CN108886600B
CN108886600B CN201780017927.8A CN201780017927A CN108886600B CN 108886600 B CN108886600 B CN 108886600B CN 201780017927 A CN201780017927 A CN 201780017927A CN 108886600 B CN108886600 B CN 108886600B
Authority
CN
China
Prior art keywords
selectable interactive
display
selectable
interactive elements
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780017927.8A
Other languages
English (en)
Other versions
CN108886600A (zh
Inventor
R·W·赖利
K-L·古尔
B·D·克里斯蒂
J·D·马鲁斯卡
J·诺贝尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Publication of CN108886600A publication Critical patent/CN108886600A/zh
Application granted granted Critical
Publication of CN108886600B publication Critical patent/CN108886600B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本文描述了能够在360度视频流中提供可选择的交互元素的技术。可选择的交互元素是如下元素(例如，用户界面元素)：对该元素的选择发起提供与该元素所关联的对象有关的信息。例如，可选择的交互元素可被定位在360度视频流(例如，360度视频流的一部分或360度视频流整体)中的对象附近。用户界面元素的示例包括但不限于文本、图标和窗口小部件。

Description

用于在视频流中提供可选择的交互元素的方法和系统
技术领域
本发明涉及视频流，尤其涉及在360度视频流中提供多个可选择的交互元素。
背景技术
近年来，360度视频系统已变得日益流行。360度视频系统包括捕捉环境的360度图像的360度视频相机。例如，360度视频系统可以通过因特网提供对360度图像的访问以供显示在远程查看者的个人计算机上。
一种已在其中使用了360度视频系统的示例类型的环境是视频会议环境。例如，360度视频系统可被合并到视频会议系统，这使得视频会议的位于不同位置的参与者能够使用双向视频和音频传输来通信。视频会议可由360度视频相机所位于的会议室中的参与者(也称为，房间中参与者)主控，并且视频会议系统可以使房间中参与者能够与没有在会议室中的其他参与者(例如，远程参与者)实时通信。360度视频相机捕捉房间中参与者的图像，这可被示出在其他参与者的计算机的显示器上以促进房间中参与者与该其他参与者之间的通信。
常规360度视频系统通常将远程用户(例如，视频会议的上述其他参与者) 的用户体验限于仅查看360度图像或在360度图像和其他图像(例如，聚焦在会议室的特定房间中参与者的图像)之间进行选择。
发明内容
本文尤其描述了用于在360度视频流中提供可选择的交互元素的各种办法。可选择的交互元素是如下元素(例如，用户界面元素)：对该元素的选择发起提供与该元素所关联的对象有关的信息。例如，可选择的交互元素可在360 度视频流中(例如，360度视频流的一部分或360度视频流的整体)被定位在对象附近。用户界面元素的示例包括但不限于文本、图标以及窗口小部件。
在一示例办法中，由360度视频相机捕捉的360度视图中的对象被自动标识。可选择的交互元素(其被配置成合并到从360度视图中生成的360度视频流中)与相应对象相关联。每一可选择的交互元素可选择来提供与相应可选择的交互元素所关联的对象有关的信息。一个或多个可选择的交互元素被合并到 360度视频流的至少一部分中，使得该一个或多个可选择的交互元素被定位在该一个或多个相应可选择的交互元素所关联的一个或多个相应对象附近。
提供本概述以便以简化的形式介绍以下在详细描述中进一步描述的一些概念。本概述并不旨在标识所要求保护主题的关键特征或必要特征，也不旨在用于限制所要求保护主题的范围。此外，注意到本发明不限于在详细描述和/ 或本文的其它章节中所述的特定实施例。本文呈现这些实施例仅用于说明性的用途。基于本文包含的示教，附加的实施例对相关领域的技术人员将是显而易见的。
附图说明
本文结合的并且组成本说明书的一部分的附图示出了本发明的各实施例，并且还与本描述一起用于解释所涉及的原理以及使相关领域的技术人员能够实现和使用所公开的技术。
图1是根据一实施例的示例交互系统的框图。
图2-4是根据各实施例的示出360度视频流中的可选择的交互元素的示例计算设备的框图。
图5是根据一实施例的示出视频流的示例计算设备的框图。
图6是根据一实施例的示出内容的示例计算设备的框图。
图7是根据一实施例的示出图像的示例计算设备的框图。
图8-9是根据各实施例的描绘用于在360度视频流中提供可选择的交互元素的示例方法的流程图。
图10是根据一实施例的示例计算系统的框图。
图11描绘可在其中实现各实施例的示例计算机。
在结合附图理解下面阐述的详细描述时，所公开的技术的特征和优点将变得更加明显，在附图中，相同附图标记始终标识相应元素。在附图中，相同的附图标记一般指示相同、功能上相似和/或结构上相似的元素。元件在其中首次出现的附图由对应附图标记中的最左边的数字指示。
具体实施方式
I.引言
以下详细描述引用解说本发明的示例性实施例的附图。然而，本发明的范围不限于这些实施例，而是改为由所附权利要求书来限定。因而，附图中所示的实施例以外的实施例(诸如所解说的实施例的经修改版本)仍然可由本发明所涵盖。
在说明书中对“一个实施例”、“一实施例”、“示例实施例”等的引用指示所描述的实施例可包括特定特征、结构、或特性，但每一实施例可能不一定包括该特定特征、结构或特性。此外，此类短语不一定指同一实施例。此外，当结合一实施例描述特定特征、结构或特性时，所主张的是结合其他实施例来实现此类特征、结构或特性在相关领域的技术人员的知识内(无论是否显式地描述)。
II.示例实施例
本文描述的示例实施例能够在360度视频流中提供可选择的交互元素。可选择的交互元素是如下元素(例如，用户界面元素)：对该元素的选择发起提供与该元素所关联的对象有关的信息。例如，可选择的交互元素可被定位在360 度视频流(例如，360度视频流的一部分或360度视频流整体)中的对象附近。用户界面元素的示例包括但不限于文本、图标和窗口小部件。
与用于提供360度视频流的常规技术相比，本文描述的示例技术具有各种益处。例如，各示例技术可以提高在360度视频流中示出的人(例如，视频会议的本地参与者)与未在360度视频流中示出的360度视频流的查看者(例如，视频会议的远程参与者)之间的通信效率。各示例技术可以按各种方式中的任一种来提高用户效率，包括但不限于提高查看者的如下能力：标识360度视频流中示出的人(例如，视频会议中的发言者和该发言者对其发言的参与者)、获得与这些人有关的信息、查看和/或控制在360度视频相机所处的环境中提供的内容、向360度视频流中示出的人发送消息，等等。各示例实施例可以能够提供在环境中提供的内容的原始副本。例如，如果360度视频流中的内容的清晰度受损(例如，360度视频流中的内容模糊或具有相对低的分辨率)和/或由 360度视频流中的其他对象遮挡，则提供原始副本可以是有益的。各示例实施例可以使查看者能够改变该查看者查看环境的视角(例如，从房间的中心到房间的角落或墙壁，或反之)。
各示例技术可提高向360度视频流的查看者提供360度视频流的第一计算设备的效率和/或查看者的处理360度视频流以供显示给查看者的第二计算设备的效率。各示例技术可以降低用于向360度视频流的查看者提供360度视频流和相关联的信息所消耗的时间量和/或资源(例如，处理器、存储器、网络带宽)量。例如，360度视频流和/或所有此类信息不必从第一计算设备提供给第二计算设备。根据这一示例，360度视频流(例如，其一部分)和/或该信息可以基于对合并到360度视频流中的可选择的界面元素的选择来从第一设备选择性地提供给第二设备。
图1是根据一实施例的示例交互系统100的框图。一般而言，交互系统100 用于在360度视频流中提供可选择的交互元素。如图1所示，交互系统100包括本地计算设备102、网络104以及多个远程计算设备106A-106N。使用公知的网络通信协议通过网络104来实现本地计算设备102与远程计算设备 106A-106N之间的通信。网络104可以是广域网(如因特网)、局域网(LAN)、另一类型的网络、或它们的组合。
本地计算设备102是能够与远程计算设备106A-106N通信的处理系统。处理系统的示例是包括能够根据指令集来操纵数据的至少一个处理器的系统。例如，处理系统可以是计算机、游戏控制台、个人数字助理等。在一示例视频会议实施例中，本地计算设备102是视频会议设备，它被配置成促进视频会议的参与者之间的通信。本地计算设备102包括显示器112A-112D、360度相机114、本地话筒116、以及本地交互逻辑118。显示器112A-112D被配置成显示远程视频流146。远程视频流146包括远程视频流144A-144N中的一者或多者，它们由相应远程计算设备106A-106N提供。
360度相机114被配置成捕捉360度视图，这包括在360度相机114的视野130内的多个对象119A-119M。可被包括在多个对象119A-119M中的对象的示例包括但不限于人、相机、计算设备、显示器(例如，有源显示器)和白板(例如，粉笔板)。360度相机114被进一步配置成根据360度视图来生成 360度视频流132。360度视频流132包括一个或多个部分。例如，360度视频流132的每一部分可以与各部分中的其他部分分开，使得该相应部分可以在多个远程计算设备106A-106N中的一个或多个远程计算设备处与其他部分独立地查看。
在示例视频会议实施例中，多个对象119A-119M包括视频会议的在360 度相机114的视野130内的参与者。视频会议的在视野130内的每一参与者在此出于解说目的被称为“本地参与者”并且不旨在是限制性的。例如，本地参与者可以在会议室中。在一个示例中，视野130可以从360度相机114延伸指定(例如，预定)半径。在另一示例中，视野130可以延伸到本地参与者所处的房间的墙壁。视频会议的与远程计算设备106A-106N相关联的参与者不在 360度相机114的视野130内。出于解说目的且不旨在是限制性的，与远程计算设备106A-106N相关联的参与者在此被称为“远程参与者”。
本地话筒116被配置成接收人(例如，视频会议的本地参与者)的发言和人类可听的其他声音(例如，范围20赫兹到20000赫兹中的频率)。
本地交互逻辑118被配置成执行本文描述的操作中的一者或多者以在360 度视频流(例如，360度视频流132或者部分134A-134N中的一者或多者)中提供可选择的交互元素。例如，本地交互逻辑118可自动标识由360度相机114 捕捉的360度视图中的对象。本地交互逻辑118可以将可选择的交互元素与相应对象相关联。可选择的交互元素被配置成合并到360度视频流132中。每一可选择的交互元素可选择来提供与相应可选择的交互元素所关联的对象有关的信息。本地交互逻辑118可以将一个或多个可选择的交互元素合并到360度视频流132的至少一部分中，使得该一个或多个可选择的交互元素被定位在该一个或多个相应可选择的交互元素所关联的一个或多个相应对象附近。
例如，本地交互逻辑118可以将第一可选择的交互元素合并到第一部分 134A，将第二可选择的交互元素合并到第二部分(未示出)，以此类推。第一可选择的交互元素可被定位在第一部分134A中第一对象附近。第二可选择的交互元素可被定位在第二部分中第二对象附近，以此类推。
在一示例实施例中，由360度相机114捕捉的360度视图包括多个图像帧。例如，多个图像帧可对应于360度相机114的多个相应曝光。相应地，360度视图可被称为360度图像流，但各示例实施例的范围不限于此。根据这一实施例，每一图像帧包括多个图像像素。进一步根据这一实施例，360度视频流132 包括多个视频帧。进一步根据这一实施例，每一视频帧包括多个显示像素。
在这一实施例的一方面，360度相机114使用多个图像帧来生成多个相应视频帧。相应地，360度相机114可以使用每一图像帧中的图像像素来生成相应显示帧中的对应多个显示像素。例如，360度相机114可以使用多个图像帧中的第一图像帧中的第一多个图像像素来生成多个视频帧中的第一视频帧中的第一多个显示像素。360度相机114可以使用多个图像帧中的第二图像帧中的第二多个图像像素来生成多个视频帧中的第二视频帧中的第二多个显示像素，以此类推。
本地交互逻辑118可以从远程计算设备106A-106N中的一者或多者接收选择标识符138。例如，选择标识符138可包括来自相应远程计算设备106A-106N 的选择标识符136A-136N中的任何一者或多者。选择标识符136A-136N是响应于远程计算设备106A-106N的用户选择360度视频流132的提供给相应远程计算设备106A-106N的相应部分134A-134N中的相应可选择的交互元素来从相应远程计算设备106A-106N接收到的。相应地，选择标识符136A-136N标识由相应远程计算设备106A-106N的用户选择的相应可选择的交互元素。选择标识符136A-136N在下文进一步详细描述。
本地交互逻辑118可以提供与关联于由相应选择标识符138标识的相应可选择的交互元素的相应对象有关的信息实例140。例如，信息实例140可包括信息实例142A-142N中的任何一者或多者。第一信息实例142A与关联于由第一选择标识符136A标识的第一可选择的交互元素的第一对象有关。第二信息实例(未示出)与关联于由第二选择标识符(未示出)标识的第二可选择的交互元素的第二对象有关，以此类推。信息实例142A-142N中的每一者可包括与人(例如，视频会议的本地参与者)、界面(例如，用于生成消息或用于接收要呈现在本地计算设备102的环境中的显示器上的用户输入)、由所选择的相机(例如，环境中的除360度相机114以外的相机)捕捉的视频流、配置成要被呈现在环境中的显示器上的内容(例如，原始内容)、写在环境中的白板上的内容的图像等等有关的信息。
远程计算设备106A-106N是能够与本地计算设备102通信的处理系统。远程计算设备106A-106N包括相应远程显示器122A-122N、远程相机124A-124N、远程话筒126A-126N、以及远程交互逻辑128A-128N。
远程显示器122A-122N被配置成显示360度视频流132的相应部分 134A-134N。部分134A-134N中的每一者可包括360度视频流132的任何一个或多个部分(例如，整体)。例如，部分134A-134N中的每一者可以与部分 134A-134N中的任何一个或多个其他部分相同或不同。
远程相机124A-124N被配置成捕捉相应远程用户(例如，视频会议的远程参与者)的视图。例如，第一远程相机124A可被配置成捕捉拥有或以其他方式能访问第一远程计算设备106A的第一远程用户。在另一示例中，第N远程相机124N可被配置成捕捉拥有或以其他方式能访问第N远程计算设备106N 的第N远程用户。远程相机124A-124N被进一步配置成生成相应远程视频流 144A-144N。
远程话筒126A-126N被配置成接收相应远程用户的发言和人类可听的其他声音。
远程交互逻辑128A-128N被配置成执行本文描述的操作中的一者或多者以在360度视频流132的相应部分134A-134N中提供可选择的交互元素。例如，第一远程交互逻辑128A可自动标识由360度相机114捕捉的360度视图中的第一对象。例如，第一远程交互逻辑128A可以从本地交互逻辑118接收360 度视图。根据这一示例，第一远程交互逻辑128A可以将第一可选择的交互元素与相应第一对象相关联。第一可选择的交互元素被配置成合并到第一部分 134A中。(诸)第一可选择的交互元素中的每一者可选择来提供与相应第一可选择的交互元素所关联的第一对象有关的信息。第一远程交互逻辑128A可以将(诸)第一可选择的交互元素合并到(诸)第一部分134A中，以使得(诸) 第一可选择的交互元素被定位在(诸)第一部分134A中(诸)相应第一可选择的交互元素所关联的(诸)第一对象附近。
根据这一示例，第一远程交互逻辑128A可以确定选择(诸)第一可选择的交互元素中的指定的第一可选择的交互元素。作为响应，第一远程交互逻辑 128A可以提供与指定的第一可选择的交互元素所关联的第一对象有关的第一信息实例142A(例如，以供呈现在第一远程显示器122A上)。
在另一示例中，第N远程交互逻辑128N可自动标识由360度相机114捕捉的360度视图中的第N对象。例如，第N远程交互逻辑128N可以从本地交互逻辑118接收360度视图。根据这一示例，第N远程交互逻辑128N可以将 (诸)第N可选择的交互元素与(诸)相应第N对象相关联。(诸)第N可选择的交互元素被配置成合并到(诸)第N部分134N中，(诸)第N可选择的交互元素中的每一者可选择来提供与相应第N可选择的交互元素所关联的第 N对象有关的信息。第N远程交互逻辑128N可以将(诸)第N可选择的交互元素合并到(诸)第N部分134N中，以使得(诸)第N可选择的交互元素被定位在(诸)第N部分134N中(诸)相应第N可选择的交互元素所关联的(诸) 第N对象附近。
根据这一示例，第N远程交互逻辑128N可以确定选择(诸)第N可选择的交互元素中的指定的第N可选择的交互元素。作为响应，第N远程交互逻辑 128N可以提供与指定的第N可选择的交互元素所关联的第N对象有关的第N 信息实例142N(例如，以供呈现在第N远程显示器122N上)。
远程计算设备106A-106N可包括任何启用客户端的系统或设备，包括但不限于台式计算机、膝上型计算机、平板计算机、个人数字助理、蜂窝电话、可穿戴设备，等等。下文参考图2-10更详细地讨论用于在360度视频流中提供可选择的交互元素的示例技术。
本地交互逻辑118和/或远程交互逻辑128A-128N中的任一者可以按各种方式来实现以在360度视频流中提供可选择的交互元素，包括用硬件、软件、固件或其任何组合来实现。例如，本地交互逻辑118和/或远程交互逻辑 128A-128N中的任一者可被实现为配置成在一个或多个处理器中执行的计算机程序代码。在另一示例中，本地交互逻辑118和/或远程交互逻辑128A-128N 中的任一者可被实现为硬件逻辑/电路系统。例如，本地交互逻辑118和/或远程交互逻辑128A-128N中的任一者可以被实现在现场可编程门阵列(FPGA)、专用集成电路(ASIC)、因应用而异的标准产品(ASSP)、片上系统(SoC)、复杂可编程逻辑器件(CPLD)等。每个SoC可包括集成电路芯片，该集成电路芯片包括以下一个或多个：处理器(如微控制器、微处理器、数字信号处理器(DSP)等等)、存储器、一个或多个通信接口、和/或用于执行其功能的进一步的电路和/或嵌入式固件。
图2是根据一实施例的在360度视频流204中示出可选择的交互元素 214A-214E的示例计算设备200的框图。如图2所示，计算设备200包括在其上示出360度视频流204的一部分的显示器202。出于解说的目的且不旨在是限制性的，显示器202显示360度视频流204的一部分。将认识到，显示器202 可以显示360度视频流204整体。此外，可以说，可选择的交互元素214A-214E 被合并到360度视频流204中，而不管可选择的交互元素214A-214E是被合并到360度视频流204的一部分中还是360度视频流204的整体中。
360度视频流204包括人206A和206B(例如，视频会议的本地参与者)、显示器208以及白板210。显示器208被示为显示内容212，它读作“Sales Projections 2016(销售预测2016)”白板210被示为其上写有内容216。内容 216的仅一部分被示出在360度视频流204的在显示器202上示出的那一部分内。可选择的交互元素214A和214B与相应人206A和206B相关联。相应地，可选择的交互元素214A和214B被定位在360度视频流204中相应人206A和206B附近。可选择的交互元素214A可由计算设备200的用户选择来提供与人 206A有关的第一信息(例如，以使该第一信息被呈现在显示器202上)。可选择的交互元素214B可由用户选择来提供与人206B有关的第二信息(例如，以使该第二信息被呈现在显示器202上)。
出于解说的目的且不旨在是限制性的，显示器208被示为实现成图2中的有源显示器。相应地，显示器208包括相机，在本文中它被称为“第二相机”以避免与生成360度视频流204的360度相机混淆。可选择的交互元素214D 与显示器208(例如，其上示出的内容212)相关联，且可选择的交互元素214C 与第二相机相关联。相应地，可选择的交互元素214C和214D被分别定位在 360度视频流204中第二相机和显示器208附近。可选择的交互元素214C可由用户选择来提供与第二相机有关的第三信息(例如，以使该第三信息被呈现在显示器202上)。可选择的交互元素214D可由用户选择来提供与显示器208 有关的第四信息(例如，以使该第四信息被呈现在显示器202上)。
可选择的交互元素214E与白板210(例如，写在其上的内容)相关联。相应地，可选择的交互元素214E被定位在360度视频流204中白板210附近。可选择的交互元素214E可由用户选择来提供与白板210有关的第五信息(例如，以使该第五信息被呈现在显示器202上)。
图3是根据一实施例的在360度视频流304中示出可选择的交互元素 214B-214E的另一示例计算设备300的框图。如图3所示，计算设备300包括在其上示出360度视频流304的一部分的显示器302。图3描绘了选择图2中的可选择的交互元素214A的一个示例结果。例如，选择图2中的可选择的交互元素214A(其关联于人206A)可以使得与人206A有关的信息(例如，以上参考图2描述的第一信息)示出在显示器302上。在图3的实施例中，选择图2中的可选择的交互元素214A造成了信息窗口318(它包括与人206A有关的信息)被示出在显示器302上。出于解说的目的，可选择的交互元素214A 在视频流304中由信息窗口318遮挡。信息窗口318中的信息指定人206A的名字“Lisa Jones”；人206A的头衔或角色“销售经理(SalesManager)”；以及人206A工作的公司“XYZ公司(XYZ Corp.)”。
信息窗口318中的信息被提供用于解说目的且不旨在是限制性的。将认识到，信息窗口318可包括与人206A有关的任何合适的信息。信息窗口318包括可选择来使得信息窗口318被关闭(例如，以从显示器302移除)的标记为“X”的交互式元素。
图4是根据一实施例的在360度视频流404中示出可选择的交互元素 214A、214C和214D的另一示例计算设备400的框图。如图4所示，计算设备 400包括在其上示出360度视频流404的一部分的显示器402。图4描绘了选择图2中的可选择的交互元素214A的另一示例结果。在图4中，光标420被置于可选择的交互元素214A附近，以指示可选择的交互元素214A被选择。如在图4中所示，选择图2中的可选择的交互元素214A可以使得界面422示出在显示器402上。例如，以上参考图2描述的第一信息可包括界面422。界面 422被配置成使计算设备400的用户能够生成消息(例如，文本消息)以供递送给人206A。消息的示例包括但不限于社交更新、电子邮件、短消息服务(SMS) 消息、即时消息(IM)、在线聊天消息，等等。
在图4的实施例中，人206A的名字是“Bob”。界面422示出了对可选择的交互元素214A的选择发起向Bob发送消息。用户列出了消息的主题将是“Suggestion(建议)”。用户开始键入消息的主体，开头是“It would be great to....”。出于解说目的并且不旨在是限制性的，界面422被示为消耗显示器402 的大约一半，并且因此遮挡360度视频流404的大约一半。将认识到，界面422 可消耗显示器402的任何合适部分，且界面422不一定遮挡360度视频流404 的任何部分。例如，响应于可选择的交互元素214A被选择，360度视频流204 的在图2中示出的那一部分可以整体被提供在显示器402的第一区域中，并且界面422可被提供在显示器402的第二区域中。例如，360度视频流的该部分可被调整大小以适合在显示器402的第一区域中。
界面422包括可选择来使得消息被递送给人206A的虚拟“发送”按钮423。选择虚拟“发送”按钮还可使得界面422被关闭(例如，从显示器402移除)。
图5是根据一实施例的示出视频流504的示例计算设备500的框图。如图 5所示，计算设备500包括在其上示出视频流的显示器502。图5描绘了选择图2中的可选择的交互元素214C的示例结果。如图5所示，选择图2中的可选择的交互元素214C(其关联于被包括在显示器208中的第二相机)使得视频流504被示出在显示器502上。例如，以上参考图2描述的第三信息可包括视频流504。视频流504由第二相机捕捉。因而，视频流504提供了360度相机 524(它生成相应图2-4的360度视频流202、302和404)所处的环境的视角，其不同于360度相机524的视角。
例如，视频流504包括人206A和206B，他们也被包括在360度视频流202 中，但是从第二相机的视角来看的，其被包括在显示器208中。视频流504进一步包括人506C和506D、第三相机526以及360度相机524。
可选择的交互元素214A和214B与相应人206A和206B相关联。相应地，可选择的交互元素214A和214B被定位在视频流504中相应人206A和206B 附近。可选择的交互元素214A可由计算设备500的用户选择以提供与人206A 有关的第一信息。可选择的交互元素214B可由用户选择以提供与人206B有关的第二信息。
可选择的交互元素514C和514D与相应人506C和506D相关联。相应地，可选择的交互元素514C和514D被定位在视频流504中相应人506C和506D 附近。可选择的交互元素514C可由计算设备500的用户选择以提供与人506C 有关的第六信息。可选择的交互元素514D可由用户选择以提供与人506D有关的第七信息。
可选择的交互元素514F与第三相机526相关联，且可选择的交互元素514G 与360度相机524相关联。相应地，可选择的交互元素514F和514G被分别定位在360度视频流504中第三相机526和360度相机524附近。可选择的交互元素514F可由用户选择以提供与第三相机526有关的第八信息(例如，由第三相机526生成的视频流)。可选择的交互元素514G可由用户选择以提供与 360度相机524有关的第九信息(例如，由360度相机524生成的视频流202、 302和402中的任一者)。
图6是根据一实施例的示出内容212的示例计算设备600的框图。如图6 所示，计算设备600包括在其上示出内容212的显示器602。图6描绘了选择图2中的可选择的交互元素214D的示例结果。例如，选择图2中的可选择的交互元素214D(其关联于显示器208)可以使得与显示器208有关的信息(例如，以上参考图2描述的第四信息)示出在显示器602上。在图6的实施例中，与显示器208有关的信息是内容212，其被显示在显示器208上。相应地，在图6的实施例中，选择图2中的可选择的交互元素214D使得内容被示出在显示器602上。内容212(如在显示器602上所示)可以随内容212在显示器208 上变化而实时更新。相应地，可以向计算设备600的用户示出在360度相机524 所处的环境中的显示器208上示出给各个人(例如，人206A、206B、506C和 506D)的同一内容212的视图(例如，全屏视图)。
出于解说的目的且不旨在是限制性的，标记为“X”的交互式元素628被覆盖在内容212上。将认识到，交互式元素628不一定覆盖在内容212上。交互式元素628可选择来使得内容212的视图被关闭(例如，从显示器602移除)。例如，对交互元素628的选择可以使得内容212的视图被图2中所示的视频流 204替换。
作为补充或替换，选择图2中的可选择的交互元素214D可以使得在显示器602上示出的内容(例如，写在显示器602上的内容)被示出在显示器208 上。示出在显示器208上的内容可以随显示器602上所示的内容变化而实时更新。例如，显示器602可以是启用触摸的或启用悬停的显示器。启用触摸的显示器是配置成检测对象与启用触摸的显示器的接触的显示器。启用悬停的显示器是配置成检测在距启用悬停的显示器的某间隔距离内的对象的显示器。根据这一示例，当计算设备600的用户在显示器602上书写时(例如，使用手指或触控笔)，该书写可随着用户书写而实时地出现在显示器208上。相应地，可 (例如，与在显示器602上生成内容实时地)向显示器208的查看者(例如，人206A、206B、506C和/或506D中的任一者)示出在显示器602上所示的内容。
图7是根据一实施例的示出图像716的示例计算设备700的框图。如图6 所示，计算设备700包括在其上示出图像716的显示器702。图7描绘了选择图2中的可选择的交互元素214E的示例结果。例如，选择图2中的可选择的交互元素214E(其关联于白板210)可以使得与白板210有关的信息(例如，以上参考图2描述的第五信息)示出在显示器702上。在图7的实施例中，与白板210有关的信息是内容216的图像716，其被写在白板210上。相应地，在图7的实施例中，选择图2中的可选择的交互元素214E使得内容216的图像716被示出在显示器702上。
图像716可以是全屏图像(例如，消耗基本上全部显示器702)，但各示例实施例的范围不限于此。图像716可由任何合适的相机(诸如360度相机524 或第三相机526，它们两者都在上文参考图5描述)捕捉。内容216的图像716 可以是在指定时刻(例如，图像716被捕捉的时刻)(如写在白板210上的) 内容216的静止图像(例如，快照)。另外，(如在显示器702上所示的)图像716可以不随内容216在白板210上变化而实时更新。相反，图像716可响应于手动用户命令(这可使得捕捉经更新图像)来由内容216的经更新图像替换。
出于解说的目的且不旨在是限制性的，标记为“X”的交互式元素728被覆盖在图像716上。交互式元素728可选择来使得图像716被关闭(例如，从显示器702移除)。例如，对交互元素728的选择可以使得图像716被图2中所示的视频流204替换。
图8-9是根据各实施例的描绘用于在360度视频流中提供可选择交互元素的示例方法的流程图800和900。流程图800和900可例如由图1中所示的本地计算设备102和/或远程计算设备106A-106N中的任何一者或多者执行。出于解说的目的，参考图10中所示的计算设备1000来描述流程图800和900。例如，计算设备1000可以是图1中所示的本地计算设备102和/或远程计算设备106A-106N中的任何一者或多者的示例实现。如图10所示，计算设备1000 包括交互逻辑1002、显示器1004、相机1006以及存储1008。交互逻辑1002 包括标识逻辑1010、关联逻辑1012、合并逻辑1014、显示逻辑1016以及确定逻辑1018。基于有关流程图800和900的讨论，进一步的结构及操作的实施例对于相关领域的技术人员将是显而易见的。
如图8所示，流程图800的方法在步骤802处开始。在步骤802，自动标识由360度视频相机捕捉的360度视图中的对象。在一示例实现中，标识逻辑 1010自动标识由360度视频相机捕捉的360度视图1020中的对象。360度视频相机可被包括在相机1006中，但各示例实施例的范围不限于此。根据这一实现，标识逻辑1010可以生成对象标识符1024以标识相应对象。
在一示例实施例中，在步骤802自动标识对象包括从360度视图中的电子设备接收通知。该通知指示电子设备的存在。例如，标识逻辑1010可以从360 度视图1020中的电子设备接收通知1022。根据这一示例，通知1022指示电子设备的存在。该通知可进一步指示电子设备的位置，但各示例实施例的范围不限于此。在这一实施例的一方面，该通知是标识电子设备的红外信号。根据这一方面，该通知可唯一地标识电子设备(例如，基于该红外信号的频率和/或量级)根据这一实施例，在步骤802处自动标识对象进一步包括基于接收到该通知来自动标识360度视图中的电子设备。例如，标识逻辑1010可基于接收到通知1022自动标识360度视图1020中的电子设备。
在另一示例实施例中，在步骤802处自动标识对象包括从存储中接收(例如，检索)标识第一相应诸人的标识信息的实例。例如，存储1008可以存储标识信息1040的各实例。根据这一示例，标识逻辑1010可以从存储1008接收标识信息1040的实例。根据这一实施例，在步骤802处自动标识对象进一步包括将处于360度视图中的第二诸人的图像与标识信息的各实例相比较。图像由360度视频相机捕捉。第一诸人包括第二诸人。例如，标识逻辑1010可以将360度视图1020中的第二诸人的图像与标识信息1040的诸实例相比较。图像可由被包括在相机1006中的360度视频相机捕捉。进一步根据这一实施例，比较包括将第二诸人中的每一者与标识信息中的相应实例相比较以标识相应第二人。例如，标识逻辑1010可以将第二诸人中的每一者与标识信息1040 的相应实例相匹配以标识相应第二人。
应当注意，存储1008可以是任何合适类型的存储。一种类型的存储是数据库。例如，存储1008可以是关系数据库、实体-关系数据库、对象数据库、对象关系数据库、可扩展标记语言(XML)数据库，等等。
在步骤804，可选择的交互元素(其被配置成合并到从360度视图中生成的360度视频流中)与相应对象相关联。例如，可选择的交互元素可通过编程与相应对象相关联。可选择的交互元素的示例包括但不限于文本、图标和窗口小部件。每一可选择的交互元素可选择来提供与相应可选择的交互元素所关联的对象有关(例如描述)的信息。例如，每一可选择的交互元素可被配置成响应于对相应可选择的交互元素的选择来使得提供与相应可选择的交互元素所关联的对象有关的信息。
在一示例实现中，关联逻辑1012将可选择的交互元素1028与相应对象相关联。例如，存储1008可以存储元素信息1038。元素信息1038可包括指示相应可选择的交互元素1028的信息实例。根据这一示例，关联逻辑1012可以交叉引用对象标识符1024和元素信息1038以将可选择的交互元素1028与相应对象进行关联。例如，关联逻辑1012可以将对象标识符1024中的每一者与元素信息1038相比较，以将相应标识符与指示要关联于相应标识符的可选择的交互元素的信息实例相关联。例如，关联逻辑1012可以基于所指定的可选择的交互式元素的类型和/或配置来确定所指定的可选择的交互式元素要与所指定的标识符相关联。根据这一实现，关联逻辑1012可以响应于将可选择的交互元素1028与相应对象进行关联来生成关联信息1026。例如，关联信息1026 可指示可选择的交互元素1028与相应对象相关联。
将认识到，相机1006不一定捕捉360度相机视图1020和/或生成360度视频流1030，如图10中从相机1006引出的虚线所描绘的。
在步骤806，一个或多个可选择的交互元素被合并到360度视频流的至少一部分中，使得该一个或多个可选择的交互元素被定位在该一个或多个相应可选择的交互元素所关联的一个或多个相应对象附近。在一示例实现中，合并逻辑1014将一个或多个可选择的交互元素合并到360度视频流1030的至少一部分中，使得该一个或多个可选择的交互元素被定位在该一个或多个相应可选择的交互元素所关联的一个或多个相应对象附近。例如，合并逻辑1014可基于关联信息1026将该一个或多个可选择的交互元素合并到360度视频流1030的至少一部分中。显示逻辑1016可以使得360度视频流1030的至少该部分显示在(诸)显示器1004中的任何一者或多者上，但各示例实施例不限于此。
在一示例实施例中，将该一个或多个可选择的交互元素合并到360度视频流的至少该部分中包括将360度视频流从非交互式视频流变换成(例如，转换成)交互式视频流。非交互式视频流是用户不能与视频流中示出的元素进行交互的视频流(例如，用户不能选择该视频流中的元素来使得执行一操作)或者不包括用户能与其交互的元素的视频流。交互式视频流为不是非交互式视频流的视频流。根据这一实施例，变换360度视频流可包括将360度视频流从360 度视频流为非交互式的第一状态变换成360度视频流为交互式的第二状态。
在某些示例实施例中，可以不执行流程图800的一个或多个步骤802、804 和/或806。此外，可以执行作为步骤802、804、和/或806的补充或替换的步骤。例如，在一示例实施例中，在步骤802自动标识对象包括自动标识360度视图中的视频会议的本地参与者。每一本地参与者都在360度视频相机的视野内。根据这一实施例，在步骤804将可选择的交互元素与相应对象相关联包括将所指定的可选择的交互元素与本地参与者相关联。每一所指定的可选择的交互元素可选择来提供与相应所指定的可选择交互元素所关联的本地参与者有关的信息。例如，该信息可指示本地参与者相对于一项目的角色、本地参与者在组织内的位置、和/或本地参与者的名字。进一步根据这一实施例，在步骤 806将一个或多个可选择的交互元素合并到360度视频流的至少一部分包括将一个或多个所指定的可选择的交互元素定位在该一个或多个相应所指定的可选择的交互元素所关联的一个或多个本地参与者附近(例如，以供呈现在视频会议的没有处于360度视频相机的视野内的远程参与者的计算设备的显示器上)。
在这一实施例的一方面中，流程图800的方法进一步包括确定远程参与者选择了与第一本地参与者相关联的第一所指定的可选择的交互元素。远程参与者不在360度视频相机的视野内。例如，第一所指定的可选择的交互元素可以通过点击、双击、鼠标上悬、姿势(例如，眨眼、注视、点头、指点)、语音命令等等来被选择。确定远程参与者选择了第一所指定的可选择的交互元素可包括确定第一所指定的可选择的交互元素是经由远程参与者的计算设备来选择的(例如，经由远程参与者所拥有的或以其他方式与其相关联的计算设备)。例如，指派给远程参与者的计算设备的因特网协议(IP)地址可被用来确定第一所指定的可选择的交互元素是经由远程参与者的计算设备来选择的。根据这一示例，将经由其选择第一所指定的可选择的交互元素的计算设备的IP地址与指派给远程参与者的计算设备的参考IP地址相匹配可以指示经由其选择第一所指定的可选择的交互元素的计算设备是该远程参与者的计算设备。
例如，确定逻辑1018可以确定远程参与者选择了第一所指定的可选择的交互元素。根据这一示例，选择指示符1036可以指示远程参与者选择了第一所指定的可选择的交互元素。进一步根据这一示例，确定逻辑1018可以基于选择指示符1036来确定远程参与者选择了第一所指定的可选择的交互元素。确定逻辑1018可以响应于该确定来生成呈现指令1034。呈现指令1034可以指令显示逻辑1016以使得与第一本地参与者有关的信息被呈现在远程参与者的计算设备的显示器(例如，(诸)显示器1004中的任一者)上。
根据这一方面，流程图800的方法进一步包括基于远程参与者选择第一所指定的可选择的交互元素来使得与第一本地参与者有关的信息被呈现在远程参与者的计算设备的显示器上。例如，显示逻辑1016可以使得与第一本地参与者有关的信息被呈现在远程参与者的计算设备的显示器上。根据这一示例，显示逻辑1016可以将内容1042提供给远程参与者的计算设备或其显示器。内容1042可包括与第一本地参与者有关的信息。显示逻辑1016可以基于呈现指令1034将该信息提供给远程参与者的计算设备或其显示器。
在另一示例实施例中，在步骤802自动标识对象包括自动标识360度视图中的视频会议的本地参与者。每一本地参与者都在360度视频相机的视野内。根据这一实施例，在步骤804将可选择的交互元素与相应对象相关联包括将所指定的可选择的交互元素与本地参与者相关联。每一所指定的可选择的交互元素可由视频会议的远程参与者选择来提供界面，该界面被配置成使远程参与者能够生成用于递送给相应所指定的可选择的交互元素所关联的本地参与者的消息。消息的示例包括但不限于社交更新、电子邮件、短消息服务(SMS)消息、即时消息(IM)、在线聊天消息，等等。远程参与者不在360度视频相机的视野内。进一步根据这一实施例，在步骤806将一个或多个可选择的交互元素合并到360度视频流的至少一部分包括将一个或多个所指定的可选择的交互元素定位在该一个或多个相应所指定的可选择的交互元素所关联的一个或多个本地参与者附近(例如，以供呈现在远程参与者的计算设备的显示器上)。
在这一实施例的一方面中，流程图800的方法进一步包括确定远程参与者选择了与第一本地参与者相关联的第一所指定的可选择的交互元素。例如，确定逻辑1018可以确定远程参与者选择了第一所指定的可选择的交互元素。确定逻辑1018可以响应于该确定来生成呈现指令1034。呈现指令1034可以指令显示逻辑1016以使得在远程参与者的计算设备的显示器上提供界面。
根据这一方面，流程图800的方法进一步包括基于远程参与者选择第一所指定的可选择的界面元素来使得界面被提供在远程参与者的计算设备的显示器上。该界面使得远程参与者能够生成用于递送给第一本地参与者的消息。例如，显示逻辑1016可以使得界面被提供在远程参与者的计算设备的显示器上。根据这一示例，显示逻辑1016可以将内容1042提供给远程参与者的计算设备或其显示器。内容1042可包括该界面。显示逻辑1016可以基于呈现指令1034 将该界面提供给远程参与者的计算设备或其显示器。
在这一方面的示例中，流程图800的方法进一步包括响应于该消息被生成，使得经由网络将该消息递送给第一本地参与者的本地计算设备以供呈现在本地计算设备的显示器(例如，(诸)显示器1014中的任一者)上。例如，显示逻辑1016可以使得经由网络104将该消息递送给第一本地参与者的本地计算设备。
在又一示例实施例中，360度视图示出了包括视频会议的本地参与者的、 360度视相机的视野内的环境。例如，该环境可以是房间(例如，会议室)。根据这一实施例，在步骤802处自动标识对象包括自动标识环境中的第二相机。进一步根据这一实施例，在步骤804将可选择的交互元素与相应对象相关联包括将所指定的可选择的交互元素与第二相机相关联。所指定的可选择的交互元素可选择来提供由第二相机捕捉的视频流。例如，视频流可包括本地参与者中的至少一者。进一步根据这一实施例，在步骤806将一个或多个可选择的交互元素合并到360度视频流的至少该部分中包括将所指定的可选择的交互元素定位在第二相机附近。
在这一实施例的一个方面，与360度视频相机相关联的所指定的可选择的交互元素被合并到由第二相机捕捉的视频流中。例如，合并逻辑1014可以将所指定的可选择的交互元素合并到由第二相机捕捉的视频流中。根据这一方面，所指定的可选择的交互元素被定位在由第二相机捕捉的视频流中的360度视频相机附近。例如，合并逻辑1014可以将所指定的可选择的交互元素合并到由第二相机捕捉的视频流中的360度视频相机附近。进一步根据这一方面，所指定的可选择的交互元素可选择来提供360度视频流或其一部分。
例如，所指定的可选择的交互元素可选择来通过按提供指示360度视频相机相对于第二相机的位置的上下文的方式将第一相机视图变换成第二相机视图，以使得在远程参与者的计算设备的显示器上第一相机视图被第二相机视图替换。根据这一示例，第一相机视图不包括360度视频流。进一步根据这一示例，第二相机视图包括360度视频流。远程参与者不在360度视频相机的视野内。
在这一实施例的另一方面，流程图800的方法进一步包括确定远程参与者选择了所指定的可选择的交互元素。远程参与者不在360度视频相机的视野内。例如，确定逻辑1018可以确定远程参与者选择了所指定的可选择的交互元素。确定逻辑1018可以响应于该确定来生成呈现指令1034。呈现指令1034可指令显示逻辑1016以使得由第二相机捕捉的视频流被呈现在远程参与者的计算设备的显示器上。
根据这一方面，流程图800的方法进一步包括基于远程参与者选择了所指定的可选择的交互元素来使得由第二相机捕捉的视频流被呈现在远程参与者的计算设备的显示器上。例如，显示逻辑1016可以使得由第二相机捕捉的视频流被呈现在远程参与者的计算设备的显示器上。根据这一示例，显示逻辑 1016可以将内容1042提供给远程参与者的计算设备或其显示器。内容1042可包括由第二相机捕捉的视频流。显示逻辑1016可以基于呈现指令1034将该由第二相机捕捉的视频流提供给远程参与者的计算设备或其显示器。
例如，使得由第二相机捕捉的视频流被呈现可包括使得在远程参与者的计算设备的显示器上第一相机视图被第二相机视图替换。根据这一示例，第一相机视图不包括由第二相机捕捉的视频流。进一步根据这一示例，第二相机视图包括由第二相机捕捉的视频流。例如，使得第一相机视图被第二相机视图替换可包括按提供指示第二相机在环境中的位置的上下文的方式造成从第一相机视图到第二相机视图的变换。
在又一示例实施例中，360度视图示出了包括视频会议的本地参与者的、 360度视相机的视野内的环境。根据这一实施例，在步骤802处自动标识对象包括自动标识环境中的白板。进一步根据这一实施例，在步骤804将可选择的交互元素与相应对象相关联包括将所指定的可选择的交互元素与白板相关联。所指定的可选择的交互元素可选择来提供写在白板上的内容的图像。进一步根据这一实施例，在步骤806将一个或多个可选择的交互元素合并到360度视频流的至少该部分中包括将所指定的可选择的交互元素定位在白板附近。
在这一实施例的一方面，流程图800的方法进一步包括确定远程参与者选择了所指定的可选择的交互元素。远程参与者不在360度视频相机的视野内。例如，确定逻辑1018可以确定远程参与者选择了所指定的可选择的交互元素。确定逻辑1018可以响应于该确定来生成呈现指令1034。呈现指令1034可以指令显示逻辑1016提供内容的图像以供呈现在远程参与者的计算设备的显示器上。
根据这一方面，流程图800的方法进一步包括基于远程参与者选择所指定的可选择的交互元素来提供内容的图像以供呈现在远程参与者的计算设备的显示器上。例如，显示逻辑1016可以提供内容的图像以供呈现在远程参与者的计算设备的显示器上。根据这一示例，显示逻辑1016可以将内容1042提供给远程参与者的计算设备或其显示器。内容1042可包括内容的图像。显示逻辑1016可以基于呈现指令1034将该内容的图像提供给远程参与者的计算设备或其显示器。
在这一方面的一示例中，流程图800的方法进一步包括捕捉写在白板上的内容的图像。例如，相机1006可以捕捉写在白板上的内容的图像。根据这一示例，流程图800的方法进一步包括将所捕捉的内容的图像存储在存储中。例如，相机1006可以将内容的图像存储在存储1008中。进一步根据这一示例，流程图800的方法进一步包括从存储中检索内容的图像。例如，显示逻辑1016 可以从存储1008中检索内容的图像。进一步根据这一示例，提供内容的图像可包括基于远程参与者选择了所指定的可选择的交互元素来提供从存储中检索的内容的图像。
在又一示例实施例中，360度视图示出了包括视频会议的本地参与者的、 360度视相机的视野内的环境。根据这一实施例，在步骤802处自动标识对象包括自动标识环境中的显示器。进一步根据这一实施例，在步骤804将可选择的交互元素与相应对象相关联包括将所指定的可选择的交互元素与显示器相关联。所指定的可选择的交互元素可由视频会议的远程参与者选择来提供界面，该界面被配置成使得远程参与者能够提供输入以供呈现在显示器上。远程参与者不在360度视频相机的视野内。进一步根据这一实施例，在步骤806将一个或多个可选择的交互元素合并到360度视频流的至少该部分中包括将所指定的可选择的交互元素定位在显示器附近。
在这一实施例的一方面，流程图800的方法进一步包括确定远程参与者选择了所指定的可选择的交互元素。远程参与者不在360度视频相机的视野内。例如，确定逻辑1018可以确定远程参与者选择了所指定的可选择的交互元素。确定逻辑1018可以响应于该确定来生成呈现指令1034。呈现指令1034可以指令显示逻辑1016以使得在远程参与者的计算设备的第二显示器上提供界面。
根据这一方面，流程图800的方法进一步包括基于远程参与者选择第一所指定的可选择的交互元素来使得在远程参与者的计算设备的第二显示器上提供界面。例如，显示逻辑1016可以使得在远程参与者的计算设备的第二显示器上提供界面。根据这一示例，显示逻辑1016可以将内容1042提供给远程参与者的计算设备或其显示器。内容1042可包括该界面。显示逻辑1016可以基于呈现指令1034将该界面提供给远程参与者的计算设备或其显示器。
在这一方面的一示例中，流程图800的方法进一步包括确定经由该界面提供了输入。例如，确定逻辑1018可以确定经由该界面提供了输入。根据这一示例，流程图800的方法进一步包括响应于确定经由该界面提供了输入来使得该输入被示出在显示器上。例如，使得输入被示出在显示器上可包括使得该输入被实时地(例如，随着输入正经由界面被提供)示出在显示器上。例如，显示逻辑1016可以使得该输入被实时地示出在显示器上。
在这一实施例的一示例实现中，作为可选择来提供配置成使得远程参与者能够提供输入以供呈现在显示器上的界面的补充或替换，所指定的可选择的交互元素可选择来提供配置成经由显示器呈现的内容。在这一实现的一方面，基于远程参与者选择了所指定的可选择的交互元素，使得作为界面的补充或替换的内容被呈现在第二显示器上。例如，使得内容被呈现在第二显示器上可包括当内容被显示在环境中的显示器上时来使得内容被呈现在第二显示器上。在这一实现的另一方面，流程图800的方法可进一步包括使得远程参与者能够控制内容在第二显示器上的呈现。例如，显示逻辑1016可以提供用于使得远程参与者能够控制内容在第二显示器上的呈现的控件。根据这一示例，各控件可以使远程参与者能够对第二显示器上的内容进行暂停、停止、快进、回退、调整播放速度等等。
在该实现的另一方面，流程图800的方法进一步包括图9的流程图900中示出的一个或多个步骤。
如图9所示，流程图900的方法在步骤902处开始。在步骤902，作出如下确定：远程参与者选择了与环境中的显示器相关联的所指定的可选择的交互元素。远程参与者不在360度视频相机的视野内。例如，在步骤902确定远程参与者选择了所指定的可选择的交互元素可包括确定在内容正被显示在显示器上时远程参与者选择了所指定的可选择的交互元素。在一示例实现中，确定逻辑1018确定远程参与者选择了所指定的可选择的交互元素。
在步骤904，将显示在显示器上的内容以及存储在存储中的参考内容相比较以确定该内容和参考内容相同。在一示例实现中，确定逻辑1018将该内容与存储在存储1008中的该参考内容相比较以确定该内容和该参考内容相同。
在步骤906，基于远程参与者选择了所指定的可选择的交互元素并进一步基于该内容和来自存储的参考内容相同，在该内容被显示在环境中的显示器上时，使得该参考内容被呈现在远程参与者的计算设备的第二显示器上。在一示例实现中，显示逻辑1016使得在内容正被显示在环境中的显示器上时，来自存储1008的参考内容被呈现在第二显示器上。
将认识到，计算设备1000可不包括交互逻辑1002、显示器1004、相机1006、存储1008、标识逻辑1010、关联逻辑1012、合并逻辑1014、显示逻辑1016 和/或确定逻辑1018中的一者或多者。此外，计算设备1000可包括作为交互逻辑1002、显示器1004、相机1006、存储1008、标识逻辑1010、关联逻辑1012、合并逻辑1014、显示逻辑1016和/或确定逻辑1018的补充或替换的各组件。
远程交互逻辑128A-128N、本地交互逻辑118、交互逻辑1002、显示器1004、相机1006、存储1008、标识逻辑1010、关联逻辑1012、合并逻辑1014、显示逻辑1016、确定逻辑1018、流程图800和/或流程图900中的任何一者或多者可以用硬件、软件、固件或其任何组合来实现。
例如，远程交互逻辑128A-128N、本地交互逻辑118、交互逻辑1002、显示器1004、相机1006、存储1008、标识逻辑1010、关联逻辑1012、合并逻辑 1014、显示逻辑1016、确定逻辑1018、流程图800和/或流程图900中的任何一者或多者可以至少部分地实现为配置成在一个或多个处理器中执行的计算机程序代码。
在另一示例中，远程交互逻辑128A-128N、本地交互逻辑118、交互逻辑 1002、显示器1004、相机1006、存储1008、标识逻辑1010、关联逻辑1012、合并逻辑1014、显示逻辑1016、确定逻辑1018、流程图800和/或流程图900 中的任何一者或多者可以至少部分地实现为硬件逻辑/电路系统。此类硬件逻辑 /电路系统可包括一个或多个硬件逻辑组件。硬件逻辑组件的示例包括但不限于现场可编程门阵列(FPGA)、专用集成电路(ASIC)、因应用而异的标准产品(ASSP)、片上系统(SoC)、复杂可编程逻辑器件(CPLD)等。例如， SoC可包括集成电路芯片，该集成电路芯片包括以下一个或多个：处理器(如微控制器、微处理器、数字信号处理器(DSP)等等)、存储器、一个或多个通信接口、和/或用于执行其功能的其他电路和/或嵌入的固件。
III.一些示例实施例的进一步讨论
在360度视频流中提供多个可选择的交互元素的一示例方法中，在由360 度视频相机捕捉的360度视图中自动标识多个对象。该多个可选择的交互元素 (其被配置成合并到从360度视图中生成的360度视频流中)与多个相应对象相关联。每一可选择的交互元素可选择来提供与相应可选择交互元素所关联的对象有关的信息。多个可选择的交互元素中的一个或多个可选择的交互元素被合并到360度视频流的至少一部分中，以使得该一个或多个可选择的交互元素被定位在多个对象中的该一个或多个相应可选择的交互元素所关联的一个或多个相应对象附近。
在该示例方法的第一方面，自动标识多个对象包括自动标识360度视图中的视频会议的多个本地参与者。每一本地参与者都在360度视频相机的视野内。根据第一方面，将多个可选择的交互元素与多个相应对象进行关联包括将被包括在多个可选择的交互元素中的多个所指定的可选择的交互元素与多个本地参与者进行关联。每一所指定的可选择的交互元素可选择来提供与相应所指定的可选择的交互元素所关联的本地参与者有关的信息。进一步根据第一方面，将所述一个或多个可选择的交互元素合并到所述360度视频流的至少所述部分中包括：将所述多个所指定的可选择的交互元素中的一个或多个所指定的可选择的交互元素定位在所述多个本地参与者中的该一个或多个相应所指定的可选择的交互元素所关联的一个或多个本地参与者附近。
在该示例方法的第一方面的示例中，该示例方法进一步包括确定远程参与者选择了多个所指定的可选择的交互元素中的关联于多个本地参与者中的第一本地参与者的第一所指定的可选择的交互元素。远程参与者不在360度视频相机的视野内。根据第一方面的这一示例，该示例方法进一步包括基于所述远程参与者选择了所述第一所指定的可选择的交互元素，使得与所述第一本地参与者有关的信息被呈现在所述远程参与者的计算设备的显示器上。
在该示例方法的第二方面，自动标识多个对象包括自动标识360度视图中的视频会议的多个本地参与者。每一本地参与者都在360度视频相机的视野内。根据第二方面，将多个可选择的交互元素与多个相应对象进行关联包括将被包括在多个可选择的交互元素中的多个所指定的可选择的交互元素与多个本地参与者进行关联。每一所指定的可选择的交互元素可由视频会议的远程参与者选择来提供界面，该界面被配置成使远程参与者能够生成用于递送给相应所指定的可选择的交互元素所关联的本地参与者的消息。远程参与者不在360度视频相机的视野内。进一步根据第二方面，将所述一个或多个可选择的交互元素合并到所述360度视频流的至少所述部分中包括：将所述多个所指定的可选择的交互元素中的一个或多个所指定的可选择的交互元素定位在所述多个本地参与者中的该一个或多个相应所指定的可选择的交互元素所关联的一个或多个本地参与者附近。该示例方法的第二方面可以与该示例方法的第一方面结合在一起实现，但各示例实施例在该方面不受限制。
在该示例方法的第二方面的示例中，该示例方法进一步包括确定远程参与者选择了多个所指定的可选择的交互元素中的关联于多个本地参与者中的第一本地参与者的第一所指定的可选择的交互元素。根据第二方面的这一示例，该示例方法进一步包括基于所述远程参与者选择了第一所指定的可选择的交互元素，使得在所述远程参与者的计算设备的显示器上提供所述界面。该界面使得远程参与者能够生成用于递送给第一本地参与者的消息。
在该示例方法的第二方面的这一示例的实现中，该示例方法进一步包括响应于该消息被生成，使得该消息经由网络被递送给第一本地参与者的本地计算设备以供呈现在本地计算设备的显示器上。
在该示例方法的第三方面，所述360度视图示出了包括视频会议的多个本地参与者的、所述360度视相机的视野内的环境。根据第三方面，自动标识多个对象包括自动标识所述环境中的第二相机。进一步根据第三方面，将多个可选择的交互元素与多个相应对象进行关联包括将多个可选择的交互元素中的所指定的可选择的交互元素与第二相机进行关联。所指定的可选择的交互元素可选择来提供由第二相机捕捉的视频流。进一步根据第三方面，将一个或多个可选择的交互元素合并到360度视频流的至少该部分中包括将所指定的可选择的交互元素定位在第二相机附近。该示例方法的第三方面可以与该示例方法的第一和/或第二方面结合在一起实现，但各示例实施例在该方面不受限制。
在该示例方法的第三方面的示例中，该示例方法进一步包括确定远程参与者选择了所指定的可选择的交互元素，所述远程参与者不在所述360度视频相机的视野中。根据第三方面的这一示例，该示例方法进一步包括基于所述远程参与者选择了所指定的可选择的交互元素，使得由所述第二相机捕捉的视频流被呈现在所述远程参与者的计算设备的显示器上。
在该示例方法的第四方面，所述360度视图示出了包括视频会议的多个本地参与者的、所述360度视相机的视野内的环境。根据第四方面，自动标识多个对象包括自动标识环境中的显示器。进一步根据第四方面，将多个可选择的交互元素与多个相应对象进行关联包括将多个可选择的交互元素中的所指定的可选择的交互元素与显示器进行关联。所指定的可选择的交互元素可选择来提供配置成经由显示器呈现的内容。进一步根据第四方面，将一个或多个可选择的交互元素合并到360度视频流的至少该部分中包括将所指定的可选择的交互元素定位在显示器附近。该示例方法的第四方面可以与该示例方法的第一、第二和/或第三方面结合在一起实现，但各示例实施例在该方面不受限制。
在该示例方法的第四方面的第一示例中，该示例方法进一步包括确定远程参与者选择了所指定的可选择的交互元素。远程参与者不在360度视频相机的视野内。根据第四方面的第一示例，该示例方法进一步包括基于所述远程参与者选择了所指定的可选择的交互元素，使得在所述远程参与者的计算设备的第二显示器上呈现所述内容。
在该示例方法的第四方面的第二示例中，该示例方法进一步包括确定远程参与者选择了所指定的可选择的交互元素。远程参与者不在360度视频相机的视野内。根据第四方面的第二示例，该示例方法进一步包括将显示在显示器上的内容以及存储在存储中的参考内容相比较以确定该内容和参考内容相同。进一步根据第四方面的第二示例，该示例方法进一步包括基于远程参与者选择了所指定的可选择的交互元素并进一步基于该内容和来自存储的参考内容相同，在该内容被显示在环境中的显示器上时，使得该参考内容被呈现在远程参与者的计算设备的第二显示器上。
在该示例方法的第五方面，所述360度视图示出了包括视频会议的多个本地参与者的、所述360度视相机的视野内的环境。根据第五方面，自动标识多个对象包括自动标识环境中的显示器。进一步根据第五方面，将多个可选择的交互元素与多个相应对象进行关联包括将多个可选择的交互元素中的所指定的可选择的交互元素与显示器进行关联。所指定的可选择的交互元素可由视频会议的远程参与者选择来提供界面，该界面被配置成使得远程参与者能够提供输入以供呈现在显示器上。远程参与者不在360度视频相机的视野内。进一步根据第五方面，将一个或多个可选择的交互元素合并到360度视频流的至少该部分中包括将所指定的可选择的交互元素定位在显示器附近。该示例方法的第五方面可以与该示例方法的第一、第二、第三和/或第四方面结合在一起实现，但各示例实施例在该方面不受限制。
在该示例方法的第五方面的示例中，该示例方法进一步包括确定远程参与者选择了所指定的可选择的交互元素。根据第五方面的这一示例，该示例方法进一步包括基于远程参与者选择第一所指定的可选择的交互元素来使得在远程参与者的计算设备的第二显示器上提供界面。
在该示例方法的第五方面的这一示例的实现中，该示例方法进一步包括确定经由该界面提供了输入。根据这一实现，该示例方法进一步包括响应于该确定来使得该输入被示出在显示器上。
在该示例方法的第六方面，所述360度视图示出了包括视频会议的多个本地参与者的、所述360度视相机的视野内的环境。根据第六方面，自动标识多个对象包括自动标识环境中的白板。进一步根据第六方面，将多个可选择的交互元素与多个相应对象进行关联包括将多个可选择的交互元素中的所指定的可选择的交互元素与白板进行关联。所指定的可选择的交互元素可选择来提供写在白板上的内容的图像。进一步根据第六方面，将一个或多个可选择的交互元素合并到360度视频流的至少该部分中包括将所指定的可选择的交互元素定位在白板附近。该示例方法的第六方面可以与该示例方法的第一、第二、第三、第四和/或第五方面结合在一起实现，但各示例实施例在该方面不受限制。
在该示例方法的第六方面的示例中，该示例方法进一步包括确定远程参与者选择了所指定的可选择的交互元素。远程参与者不在360度视频相机的视野内。根据第六方面的这一示例，该示例方法进一步包括基于远程参与者选择了所指定的可选择的交互元素来提供内容的图像以供呈现在远程参与者的计算设备的显示器上。
在该示例方法的第七方面，自动标识360度视图中的多个对象包括接收来自360度视图中的电子设备的通知。该通知指示电子设备的存在。在第七方面，自动标识360度视图中的多个对象进一步包括基于接收到该通知来自动标识 360度视图中的电子设备。该示例方法的第七方面可以与该示例方法的第一、第二、第三、第四、第五和/或第六方面结合在一起实现，但各示例实施例在该方面不受限制。
在该示例方法的第八方面，自动标识360度视图中的多个对象包括从存储接收标识第一多个相应人的多个标识信息实例。根据第八方面，自动标识360 度视图中的多个对象进一步包括
将处于360度视图中的第二多个人的多个图像与多个标识信息实例相比较。多个图像由360度视频相机捕捉。第一多个人包括第二多个人。进一步根据第八方面，比较包括将第二多个人中的每一人与标识信息的相应实例相比较以标识第二多个人中的相应人。该示例方法的第八方面可以与该示例方法的第一、第二、第三、第四、第五、第六和/或第七方面结合在一起实现，但各示例实施例在该方面不受限制。
一种用于在360度视频流中提供多个可选择的交互元素的示例系统包括标识逻辑，其被配置成在由360度视频相机捕捉的360度视图中自动标识多个对象。该示例系统进一步包括关联逻辑，其被配置成将该多个可选择的交互元素 (其被配置成合并到从360度视图中生成的360度视频流中)与多个相应对象相关联。每一可选择的交互元素被配置成响应于对相应可选择的交互元素的选择来使得提供与相应可选择的交互元素所关联的对象有关的信息。该示例系统进一步包括合并逻辑，其被配置成将多个可选择的交互元素中的一个或多个可选择的交互元素合并到360度视频流的至少一部分中，以使得该一个或多个可选择的交互元素被定位在多个对象中的该一个或多个相应可选择的交互元素所关联的一个或多个相应对象附近。
在该示例系统的第一方面，标识逻辑被配置成在360度视图中自动标识视频会议的多个本地参与者。每一本地参与者都在360度视频相机的视野内。根据第一方面，关联逻辑被配置成将被包括在多个可选择的交互元素中的多个所指定的可选择的交互元素与多个本地参与者进行关联。每一所指定的可选择的交互元素被配置成响应于对相应所指定的可选择的交互元素的选择来使得提供与相应所指定的可选择的交互元素所关联的本地参与者有关的信息。进一步根据第一方面，合并逻辑被配置成将多个可选择的交互元素中的该一个或多个可选择的交互元素合并到360度视频流的至少该部分中，以使得多个所指定的可选择的交互元素中的一个或多个所指定的可选择的交互元素被定位在多个本地参与者中的该一个或多个相应所指定的可选择的交互元素所关联的一个或多个本地参与者附近。
在该示例系统的第一方面的示例中，该示例系统进一步包括确定逻辑，其被配置成确定远程参与者是否选择了所述多个所指定的可选择的交互元素中的关联于所述多个本地参与者中的第一本地参与者的第一所指定的可选择的交互元素，所述远程参与者不在所述360度视频相机的视野中。根据第一方面的这一示例，该示例系统进一步包括显示逻辑，其被配置成响应于确定所述远程参与者选择了所述第一所指定的可选择的交互元素，使得与所述第一本地参与者有关的信息被呈现在所述远程参与者的计算设备的显示器上。
在该示例系统的第二方面，标识逻辑被配置成在360度视图中自动标识视频会议的多个本地参与者。每一本地参与者都在360度视频相机的视野内。根据第二方面，关联逻辑被配置成将被包括在多个可选择的交互元素中的多个所指定的可选择的交互元素与多个本地参与者进行关联。每一所指定的可选择的交互元素被配置成响应于远程参与者选择相应所指定的可选择的交互元素，来使得提供界面(其被配置成使视频会议的远程参与者能够生成供递送给相应所指定的可选择的交互元素所关联的本地参与者的消息)。远程参与者不在360 度视频相机的视野内。进一步根据第二方面，合并逻辑被配置成将多个可选择的交互元素中的该一个或多个可选择的交互元素合并到360度视频流的至少该部分中，以使得多个所指定的可选择的交互元素中的一个或多个所指定的可选择的交互元素被定位在多个本地参与者中的该一个或多个相应所指定的可选择的交互元素所关联的一个或多个本地参与者附近。该示例系统的第二方面可以与该示例系统的第一方面结合在一起实现，但各示例实施例在该方面不受限制。
在该示例系统的第二方面的示例中，该示例系统进一步包括确定逻辑，其被配置成确定远程参与者是否选择了多个所指定的可选择的交互元素中的关联于多个本地参与者中的第一本地参与者的第一所指定的可选择的交互元素。根据第二方面的这一示例，该示例系统进一步包括显示逻辑，其被配置成响应于确定远程参与者选择第一所指定的可选择的交互元素来使得在远程参与者的计算设备的显示器上提供界面。该界面使得远程参与者能够生成用于递送给第一本地参与者的消息。
在该示例系统的第二方面的这一示例的一实现中，显示逻辑被进一步配置成响应于该消息被生成，使得该消息经由网络被递送给第一本地参与者的本地计算设备以供呈现在本地计算设备的显示器上。
在该示例系统的第三方面，所述360度视图示出了包括视频会议的多个本地参与者的、所述360度视相机的视野内的环境。根据第三方面，标识逻辑被配置成自动标识环境中的第二相机。进一步根据第三方面，关联逻辑被配置成将多个可选择的交互元素中的所指定的可选择的交互元素与第二相机进行关联。所指定的可选择的交互元素被配置成响应于对所指定的可选择的交互元素的选择来使得提供由第二相机捕捉的视频流。进一步根据第三方面，所述合并逻辑被配置成将所述多个可选择的交互元素中的所述一个或多个可选择的交互元素合并到所述360度视频流的至少所述部分中，以使得所指定的可选择的交互元素被定位在所述第二相机附近。该示例系统的第三方面可以与该示例系统的第一和/或第二方面结合在一起实现，但各示例实施例在该方面不受限制。
在该示例系统的第三方面的示例中，该示例系统进一步包括确定逻辑，其被配置成确定远程参与者是否选择了所指定的可选择的交互元素。远程参与者不在360度视频相机的视野内。根据第三方面的这一示例，该示例系统进一步包括显示逻辑，其被配置成响应于确定远程参与者选择所指定的可选择的交互元素来使得在远程参与者的计算设备的显示器上呈现由第二相机捕捉的视频流。
在该示例系统的第四方面，所述360度视图示出了包括视频会议的多个本地参与者的、所述360度视相机的视野内的环境。根据第四方面，标识逻辑被配置成自动标识环境中的显示器。进一步根据第四方面，关联逻辑被配置成将多个可选择的交互元素中的所指定的可选择的交互元素与显示器进行关联。所指定的可选择的交互元素被配置成响应于对所指定的可选择的交互元素的选择来使得提供被配置成经由显示器来呈现的内容。进一步根据第四方面，所述合并逻辑被配置成将所述多个可选择的交互元素中的所述一个或多个可选择的交互元素合并到所述360度视频流的至少所述部分中，以使得所指定的可选择的交互元素被定位在所述显示器附近。该示例系统的第四方面可以与该示例系统的第一、第二和/或第三方面结合在一起实现，但各示例实施例在该方面不受限制。
在该示例系统的第四方面的第一示例中，该示例系统进一步包括确定逻辑，其被配置成确定远程参与者是否选择了所指定的可选择的交互元素。远程参与者不在360度视频相机的视野内。根据第四方面的第一示例，该示例系统进一步包括显示逻辑，其被配置成响应于确定远程参与者选择所指定的可选择的交互元素来使得在远程参与者的计算设备的第二显示器上呈现内容。
在该示例系统的第四方面的第二示例中，该示例系统进一步包括确定逻辑，其被配置成确定远程参与者是否选择了所指定的可选择的交互元素。远程参与者不在360度视频相机的视野内。确定逻辑进一步被配置成将显示在所述显示器上的所述内容与存储在存储中的参考内容相比较，以确定所述内容和所述参考内容是否相同。根据第四方面的第二示例，该示例系统进一步包括显示逻辑，其被配置成响应于确定远程参与者选择了所指定的可选择的交互元素并进一步响应于确定所述内容和来自所述存储的参考内容相同，在所述内容被显示在所述环境中的所述显示器上时，使得所述参考内容被呈现在远程参与者的计算设备的第二显示器上。
在该示例系统的第五方面，所述360度视图示出了包括视频会议的多个本地参与者的、所述360度视相机的视野内的环境。根据第五方面，标识逻辑被配置成自动标识环境中的显示器。进一步根据第五方面，关联逻辑被配置成将多个可选择的交互元素中的所指定的可选择的交互元素与显示器进行关联。所指定的可选择的交互元素被配置成响应于远程参与者选择了所指定的可选择的交互元素来使得提供界面(其被配置成使视频会议的远程参与者能够提供输入以供呈现在显示器上)。远程参与者不在360度视频相机的视野内。进一步根据第五方面，所述合并逻辑被配置成将所述多个可选择的交互元素中的所述一个或多个可选择的交互元素合并到所述360度视频流的至少所述部分中，以使得所指定的可选择的交互元素被定位在所述显示器附近。该示例系统的第五方面可以与该示例系统的第一、第二、第三和/或第四方面结合在一起实现，但各示例实施例在该方面不受限制。
在该示例系统的第五方面的示例中，该示例系统进一步包括确定逻辑，其被配置成确定远程参与者是否选择了所指定的可选择的交互元素。根据第五方面的这一示例，该示例系统进一步包括显示逻辑，其被配置成响应于确定远程参与者选择所指定的可选择的交互元素来使得在远程参与者的计算设备的第二显示器上提供界面。
在该示例系统的第五方面的这一示例的一实现中，确定逻辑被配置成确定是否经由该界面提供了输入。根据这一实现，所述显示逻辑被配置成响应于确定经由所述界面提供了所述输入来使得所述输入被示出在所述显示器上。
在该示例系统的第六方面，所述360度视图示出了包括视频会议的多个本地参与者的、所述360度视相机的视野内的环境。根据第六方面，标识逻辑被配置成自动标识环境中的白板。进一步根据第六方面，关联逻辑被配置成将多个可选择的交互元素中的所指定的可选择的交互元素与白板进行关联，所指定的可选择的交互元素被配置成响应于选择该所指定的可选择的交互元素来使得提供在书写在白板上的内容的图像。进一步根据第六方面，所述合并逻辑被配置成将所述多个可选择的交互元素中的所述一个或多个可选择的交互元素合并到所述360度视频流的至少所述部分中，以使得所指定的可选择的交互元素被定位在所述白板附近。该示例系统的第六方面可以与该示例系统的第一、第二、第三、第四和/或第五方面结合在一起实现，但各示例实施例在该方面不受限制。
在该示例系统的第六方面的示例中，该示例系统进一步包括确定逻辑，其被配置成确定远程参与者是否选择了所指定的可选择的交互元素，所述远程参与者不在所述360度视频相机的视野中。根据第六方面的这一示例，合并逻辑被配置成响应于确定远程参与者选择所指定的可选择的交互元素来提供内容的图像以供呈现在远程参与者的计算设备的显示器上。
在该示例系统的第七方面，标识逻辑被配置成基于接收到来自电子设备的通知来自动标识360度视图中的电子设备。该通知指示电子设备的存在。该示例系统的第七方面可以与该示例系统的第一、第二、第三、第四、第五和/或第六方面结合在一起实现，但各示例实施例在该方面不受限制。
在该示例系统的第八方面，标识逻辑被配置成从存储中检索多个标识信息实例。根据第八方面，标识逻辑被配置成将处于360度视图中的第二多个人的多个图像与多个标识信息实例相比较。标识逻辑被配置成将第二多个人中的每一人与标识信息的相应实例相匹配以标识第二多个人中的相应人。进一步根据第八方面，多个图像由360度视频相机捕捉。进一步根据第八方面，第一多个人包括第二多个人。该示例系统的第八方面可以与该示例系统的第一、第二、第三、第四、第五、第六和/或第七方面结合在一起实现，但各示例实施例在该方面不受限制。
一种示例计算机程序产品包括其上记录有用于使基于处理器的系统能够在360度视频流中提供多个可选择的交互元素的计算机程序逻辑的计算机可读存储介质。计算机程序逻辑包括第一程序逻辑，其被配置成使所述基于处理器的系统能够自动标识由360度视频相机捕捉的360度视图中的多个对象。计算机程序逻辑进一步包括第二程序逻辑，其用于使得基于处理器的系统能够将该多个可选择的交互元素(其被配置成合并到从360度视图中生成的360度视频流中)与多个相应对象相关联。每一可选择的交互元素被配置成响应于对相应可选择的交互元素的选择来使得提供与相应可选择的交互元素所关联的对象有关的信息。计算机程序逻辑进一步包括第三程序逻辑，其用于使基于处理器的系统能够将多个可选择的交互元素中的一个或多个可选择的交互元素合并到360度视频流的至少一部分中，以使得该一个或多个可选择的交互元素被定位在多个对象中的该一个或多个相应可选择的交互元素所关联的一个或多个相应对象附近。
IV.示例计算机系统
图11描绘其中可实现各实施例的示例计算机1100。图1中所示的远程计算设备106A-106N和/或本地计算设备102；图2中所示的计算设备200；图3 中所示的计算设备300；图4中所示的计算设备400；图5中所示的计算设备 500；图6中所示的计算设备600；图7中所示的计算设备700；和/或图10中所示的(诸)计算设备1000中的任何一者或多者中的任何一者或多者可以使用计算机1100来实现，包括计算机1100的一个或多个特征和/或替换特征。计算机1100可以是例如常规个人计算机、移动计算机或工作站形式的通用计算设备，或者计算机1100可以是专用计算设备。此处所提供的对计算机1100的描述只是为了说明，并不是限制性的。各实施例也可以在(诸)相关领域的技术人员所知的其他类型的计算机系统中实现。
如图11所示，计算机1100包括处理单元1102、系统存储器1104和总线 1106，总线1106将包括系统存储器1104在内的各种系统组件耦合到处理单元 1102。总线1106表示若干类型的总线结构中的任何总线结构中的一个或多个，包括存储器总线或存储器控制器、外围总线、加速图形端口，以及处理器或使用各种总线体系结构中的任一种的局部总线。系统存储器1104包括只读存储器(ROM)1108和随机存取存储器(RAM)1110。基本输入/输出系统1112(BIOS) 被储存在ROM 1108中。
计算机1100还具有一个或多个以下驱动器：用于读写硬盘的硬盘驱动器 1114、用于读或写可移动磁盘1118的磁盘驱动器1116、以及用于读或写诸如 CD ROM、DVD ROM或其他光介质之类的可移动光盘1122的光盘驱动器 1120。硬盘驱动器1114、磁盘驱动器1116和光盘驱动器1120分别通过硬盘驱动器接口1124、磁盘驱动器接口1126和光盘驱动器接口1128连接到总线1106。驱动器以及它们相关联的计算机可读介质为计算机提供了对计算机可读指令、数据结构、程序模块，及其他数据的非易失存储器。虽然描述了硬盘、可移动磁盘和可移动光盘，但是，也可以使用诸如闪存卡、数字视频盘、随机存取存储器(RAM)、只读存储器(ROM)等等之类的其他类型的计算机可读存储介质来储存数据。
数个程序模块可被储存在硬盘、磁盘、光盘、ROM或RAM上。这些程序包括操作系统1130、一个或多个应用程序1132、其他程序模块1134以及程序数据1136。应用程序1132或程序模块1134可包括例如用于实现以下中的任何一者或多者的程序逻辑：远程交互逻辑128A-128N、本地交互逻辑118、交互逻辑1002、(诸)显示器1004、(诸)相机1006、存储1008、标识逻辑1010、关联逻辑1012、合并逻辑1014、显示逻辑1016、确定逻辑1018、流程图800(包括流程图800的任何步骤)和/或流程图900(包括流程图900的任何步骤)，如本文描述的。
用户可以通过诸如键盘1138和定点设备1140之类的输入设备向计算机 1100中输入命令和信息。其它输入设备(未示出)可包括话筒、操纵杆、游戏手柄、圆盘式卫星天线、扫描仪、触敏屏、相机、加速度计、陀螺仪等等。这些及其他输入设备常常通过耦合到总线1106的串行端口接口1142连接到处理单元1102，但是，也可以通过其他接口，诸如并行端口、游戏端口或通用串行总线(USB)，来进行连接。
显示设备1144(例如监视器)也通过诸如视频适配器1146之类的接口连接到总线1106。除了显示设备1144之外，计算机1100还可包括其他外围输出设备(未示出)，如扬声器和打印机。
计算机1100通过网络接口1150或适配器、调制解调器1152、或用于通过网络建立通信的其他装置连接到网络1148(例如，因特网)。调制解调器1152 (可以是内置的或外置的)通过串行端口接口1142连接到总线1106。
如此处所用的，术语“计算机程序介质”以及“计算机可读存储介质”用于泛指介质(例如非瞬态介质)，诸如与硬盘驱动器1114相关联的硬盘、可移动磁盘1118、可移动光盘1122，以及其他介质，诸如闪存卡、数字视频盘、随机读取存储器(RAM)、只读存储器(ROM)等。这些计算机可读存储介质与通信介质相区别且不交叠(不包括通信介质)。通信介质在诸如载波等已调制数据信号中承载计算机可读指令、数据结构、程序模块或其他数据。术语“已调制数据信号”意指以在信号中对信息进行编码的方式来使其一个或多个特性被设定或改变的信号。作为示例而非限制，通信介质包括诸如声学、RF、红外无线介质和其他无线介质，以及有线介质。各个示例实施例也针对这些通信介质。
如上文所指示的，计算机程序和模块(包括应用程序1132及其他程序模块1134)可被储存在硬盘、磁盘、光盘、ROM或RAM上。这样的计算机程序也可以通过网络接口1150或串行端口接口1142来接收。这些计算机程序在由应用程序执行或加载时使得计算机1100能够实现此处所讨论的实施例的特征。相应地，这样的计算机程序表示计算机1100的控制器。
示例实施例还涉及包括存储在任何计算机可用介质上的软件(例如计算机可读指令)的计算机程序产品。这样的软件，当在一个或多个数据处理设备中执行时，使数据处理设备如此处所描述的那样操作。实施例可使用现在已知或将来知晓的任何计算机可使用或计算机可读介质。计算机可读介质的示例包括，但不仅限于，诸如RAM、硬盘驱动器、软盘、CDROM、DVD ROM、zip 磁盘、磁带、磁存储设备、光存储设备、基于MEMS的存储设备、基于纳米技术的存储设备等等之类的存储设备。
可以认识到，所公开的技术不限于任何特定计算机或硬件类型。适当计算机和硬件的特定细节是公知的，并且不需要在本公开中详细提出。
V.结语
尽管已用结构特征和/或动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述具体特征或动作。相反，上述特定特征和动作是作为实现权利要求书的示例而公开的，并且其他等价特征和动作旨在处于权利要求书的范围内。

Claims (19)

1.一种在360度视频流中提供多个可选择的交互元素的方法，所述方法包括：
自动标识由360度视频相机捕捉的360度视图中的多个对象，所述360度视图示出了包括视频会议的多个本地参与者的、所述360度视频相机的视野内的环境；
将所述多个可选择的交互元素与多个相应对象进行关联，所述多个可选择的交互元素被配置成要合并到从所述360度视图生成的360度视频流中，所述多个可选择的交互元素可被选择来发起从存储中检索与相应可选择的交互元素所关联的对象有关的信息，所述与相应可选择的交互元素所关联的对象包括所述环境内的第二相机或所述环境内的白板；以及
将所述可选择的交互元素中的一个或多个合并到所述360度视频流的至少一部分中，使得所述一个或多个可选择的交互元素被定位在所述多个对象中的该一个或多个相应可选择的交互元素所关联的一个或多个相应对象附近。
2.如权利要求1所述的方法，其特征在于，自动标识所述多个对象包括：
自动标识所述360度视图中视频会议的多个本地参与者，每一本地参与者处于所述360度视频相机的视野内；
其中将所述多个可选择的交互元素与所述多个相应对象进行关联包括：
将被包括在所述多个可选择的交互元素中的多个所指定的可选择的交互元素与所述多个本地参与者进行关联，每一所指定的可选择的交互元素能被选择来提供与相应所指定的可选择的交互元素所关联的本地参与者有关的信息；以及
其中将所述一个或多个可选择的交互元素合并到所述360度视频流的至少所述部分中包括：
将所述多个所指定的可选择的交互元素中的一个或多个所指定的可选择的交互元素定位在所述多个本地参与者中的该一个或多个相应所指定的可选择的交互元素所关联的一个或多个本地参与者附近。
3.如权利要求2所述的方法，进一步包括：
确定远程参与者选择了所述多个所指定的可选择的交互元素中的关联于所述多个本地参与者中的第一本地参与者的第一所指定的可选择的交互元素，所述远程参与者不在所述360度视频相机的视野中；以及
基于所述远程参与者选择了所述第一所指定的可选择的交互元素，使得与所述第一本地参与者有关的信息被呈现在所述远程参与者的计算设备的显示器上。
4.如权利要求1所述的方法，其特征在于，
其中自动标识所述多个对象包括：
自动标识所述环境中的第二相机；
其中将所述多个可选择的交互元素与所述多个相应对象进行关联包括：
将所述多个可选择的交互元素中的所指定的可选择的交互元素与所述第二相机进行关联，所述所指定的可选择的交互元素能被选择来提供由所述第二相机捕捉的视频流；以及
其中将所述一个或多个可选择的交互元素合并到所述360度视频流的至少所述部分中包括：
将所述所指定的可选择的交互元素定位在所述第二相机附近。
5.如权利要求4所述的方法，进一步包括：
确定远程参与者选择了所指定的可选择的交互元素，所述远程参与者不在所述360度视频相机的视野中；以及
基于所述远程参与者选择了所指定的可选择的交互元素，使得由所述第二相机捕捉的视频流被呈现在所述远程参与者的计算设备的显示器上。
6.如权利要求1所述的方法，其特征在于，
其中自动标识所述多个对象包括：
自动标识所述环境中的白板；
其中将所述多个可选择的交互元素与所述多个相应对象进行关联包括：
将所述多个可选择的交互元素中的所指定的可选择的交互元素与所述白板进行关联，所述所指定的可选择的交互元素能被选择来提供被书写在所述白板上的内容的图像；以及
其中将所述一个或多个可选择的交互元素合并到所述360度视频流的至少所述部分中包括：
将所述所指定的可选择的交互元素定位在所述白板附近。
7.如权利要求6所述的方法，进一步包括：
确定远程参与者选择了所指定的可选择的交互元素，所述远程参与者不在所述360度视频相机的视野中；以及
基于所述远程参与者选择了所指定的可选择的交互元素，提供所述内容的图像以供呈现在所述远程参与者的计算设备的显示器上。
8.如权利要求1所述的方法，其特征在于，自动标识所述360度视图中的所述多个对象包括：
从存储接收标识第一多个相应人的多个标识信息实例；以及
将处于所述360度视图中的第二多个人的多个图像与所述多个标识信息实例相比较，所述多个图像由所述360度视频相机捕捉，所述第一多个相应人包括所述第二多个人，所述比较包括：
将所述第二多个人中的每一人与标识信息的相应实例相匹配以标识所述第二多个人中的相应人。
9.一种在360度视频流中提供多个可选择的交互元素的系统，所述系统包括：
标识逻辑模块，其被配置成自动标识由360度视频相机捕捉的360度视图中的多个对象，所述360度视图示出了包括视频会议的多个本地参与者的、所述360度视频相机的视野内的环境；
关联逻辑模块，其被配置成将所述多个可选择的交互元素与多个相应对象进行关联，所述多个可选择的交互元素被配置成要合并到从所述360度视图生成的360度视频流中，所述多个可选择的交互元素可被选择来发起从存储中检索与相应可选择的交互元素所关联的对象有关的信息，所述与相应可选择的交互元素所关联的对象包括所述环境内的显示器；以及
合并逻辑模块，其被配置成将所述可选择的交互元素中的一个或多个合并到所述360度视频流的至少一部分中，使得所述一个或多个可选择的交互元素被定位在所述多个对象中的该一个或多个相应可选择的交互元素所关联的一个或多个相应对象附近。
10.如权利要求9所述的系统，其特征在于，所述标识逻辑模块被配置成自动标识所述360度视图中视频会议的多个本地参与者，每一本地参与者处于所述360度视频相机的视野内；
其中所述关联逻辑模块被配置成将被包括在所述多个可选择的交互元素中的多个所指定的可选择的交互元素与多个本地参与者进行关联，每一所指定的可选择的交互元素被配置成响应于所述视频会议的远程参与者选择相应所指定的可选择的交互元素，来使得提供界面，所述界面被配置成使所述远程参与者能够生成供递送给相应所指定的可选择的交互元素所关联的本地参与者的消息，所述远程参与者不在所述360度视频相机的视野内；以及
其中所述合并逻辑模块被配置成将所述多个可选择的交互元素中的所述一个或多个可选择的交互元素合并到所述360度视频流的至少所述部分中，以使得多个所指定的可选择的交互元素中的一个或多个所指定的可选择的交互元素被定位在所述多个本地参与者中的所述一个或多个相应所指定的可选择的交互元素所关联的一个或多个本地参与者附近。
11.如权利要求10所述的系统，其特征在于，进一步包括：
确定逻辑模块，其被配置成确定远程参与者是否选择了多个所指定的可选择的交互元素中的关联于所述多个本地参与者中的第一本地参与者的第一所指定的可选择的交互元素；以及
显示逻辑模块，其被配置成响应于确定所述远程参与者选择了所述第一所指定的可选择的交互元素，使得在所述远程参与者的计算设备的显示器上提供所述界面，所述界面使所述远程参与者能够生成供递送给所述第一本地参与者的消息。
12.如权利要求11所述的系统，其特征在于，所述显示逻辑模块被进一步配置成响应于所述消息被生成，使得所述消息经由网络被递送给所述第一本地参与者的本地计算设备以供呈现在所述本地计算设备的显示器上。
13.如权利要求9所述的系统，其特征在于，
其中所述标识逻辑被配置成自动标识所述环境中的显示器；
其中所述关联逻辑模块被配置成将所述多个可选择的交互元素中的所指定的可选择的交互元素与所述显示器相关联，所指定的可选择的交互元素被配置成使得响应于对所指定的可选择的交互元素的选择来提供配置成要经由所述显示器呈现的内容；以及
其中所述合并逻辑模块被配置成将所述多个可选择的交互元素中的所述一个或多个可选择的交互元素合并到所述360度视频流的至少所述部分中，以使得所指定的可选择的交互元素被定位在所述显示器附近。
14.如权利要求13所述的系统，其特征在于，进一步包括：
确定逻辑模块，其被配置成确定远程参与者是否选择了所指定的可选择的交互元素，所述远程参与者不在所述360度视频相机的视野中；以及
显示逻辑模块，其被配置成响应于确定所述远程参与者选择了所指定的可选择的交互元素，使得所述内容被呈现在所述远程参与者的计算设备的第二显示器上。
15.如权利要求13所述的系统，其特征在于，进一步包括：
确定逻辑模块，其被配置成确定远程参与者是否选择了所指定的可选择的交互元素，所述远程参与者不在所述360度视频相机的视野中，
所述确定逻辑模块进一步被配置成将被显示在所述显示器上的所述内容与被存储在存储中的参考内容相比较，以确定所述内容和所述参考内容是否相同；以及
显示逻辑模块，其被配置成响应于确定远程参与者选择了所指定的可选择的交互元素并进一步响应于确定所述内容和来自所述存储的参考内容相同，在所述内容被显示在所述环境中的所述显示器上时，使得所述参考内容被呈现在远程参与者的计算设备的第二显示器上。
16.如权利要求9所述的系统，其特征在于，其中所述标识逻辑模块被配置成自动标识所述环境中的显示器；
其中所述关联逻辑模块被配置成将所述多个可选择的交互元素中的所指定的可选择的交互元素与所述显示器进行关联，所指定的可选择的交互元素被配置成响应于所述视频会议的远程参与者选择了所指定的可选择的交互元素，使得提供被配置成使所述远程参与者能够提供输入以供呈现在所述显示器上的界面，所述远程参与者不在所述360度视频相机的视野中；以及
其中所述合并逻辑模块被配置成将所述多个可选择的交互元素中的所述一个或多个可选择的交互元素合并到所述360度视频流的至少所述部分中，以使得所指定的可选择的交互元素被定位在所述显示器附近。
17.如权利要求16所述的系统，其特征在于，进一步包括：
确定逻辑模块，其被配置成确定所述远程参与者是否选择了所指定的可选择的交互元素；以及
显示逻辑模块，其被配置成响应于确定所述远程参与者选择了所指定的可选择的交互元素，使得所述界面被提供在所述远程参与者的计算设备的第二显示器上。
18.如权利要求17所述的系统，其特征在于，所述确定逻辑模块被配置成确定是否经由所述界面提供了所述输入：以及
其中所述显示逻辑模块被配置成响应于确定经由所述界面提供了所述输入来使得所述输入被示出在所述显示器上。
19.如权利要求9所述的系统，其特征在于，所述标识逻辑模块被配置成基于接收到来自所述360度视图中的电子设备的通知自动标识所述电子设备，所述通知指示所述电子设备的存在。
CN201780017927.8A 2016-03-15 2017-03-08 用于在视频流中提供可选择的交互元素的方法和系统 Active CN108886600B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/071,149 US9686510B1 (en) 2016-03-15 2016-03-15 Selectable interaction elements in a 360-degree video stream
US15/071,149 2016-03-15
PCT/US2017/021228 WO2017160539A1 (en) 2016-03-15 2017-03-08 Selectable interaction elements in a 360-degree video stream

Publications (2)

Publication Number Publication Date
CN108886600A CN108886600A (zh) 2018-11-23
CN108886600B true CN108886600B (zh) 2021-05-28

Family

ID=58387913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780017927.8A Active CN108886600B (zh) 2016-03-15 2017-03-08 用于在视频流中提供可选择的交互元素的方法和系统

Country Status (4)

Country Link
US (2) US9686510B1 (zh)
EP (1) EP3430802B1 (zh)
CN (1) CN108886600B (zh)
WO (1) WO2017160539A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10204397B2 (en) 2016-03-15 2019-02-12 Microsoft Technology Licensing, Llc Bowtie view representing a 360-degree image
US9686510B1 (en) 2016-03-15 2017-06-20 Microsoft Technology Licensing, Llc Selectable interaction elements in a 360-degree video stream
US10536691B2 (en) * 2016-10-04 2020-01-14 Facebook, Inc. Controls and interfaces for user interactions in virtual spaces
EP3461124B1 (en) 2017-09-25 2024-05-01 Ricoh Company, Ltd. Communication terminal, image communication system, display control method, and carrier means
EP3750106A4 (en) * 2018-07-30 2021-09-01 Hewlett-Packard Development Company, L.P. IDENTIFICATION THROUGH NEURAL NETWORKS OF OBJECTS IN 360 DEGREE IMAGES
US10516851B1 (en) * 2018-09-19 2019-12-24 Snap Inc. User interfaces to facilitate multiple modes of electronic communication
FR3094594A1 (fr) * 2019-03-29 2020-10-02 Orange Procédé de modification d’un contenu multimédia
CN109873973B (zh) * 2019-04-02 2021-08-27 京东方科技集团股份有限公司 会议终端和会议系统
CN110933508B (zh) * 2019-12-09 2022-02-01 北京奇艺世纪科技有限公司 一种视频播放方法、装置及电子设备
US11294474B1 (en) * 2021-02-05 2022-04-05 Lenovo (Singapore) Pte. Ltd. Controlling video data content using computer vision
US20220408029A1 (en) * 2021-06-16 2022-12-22 Plantronics, Inc. Intelligent Multi-Camera Switching with Machine Learning
WO2024010972A1 (en) * 2022-07-08 2024-01-11 Quantum Interface, Llc Apparatuses, systems, and interfaces for a 360 environment including overlaid panels and hot spots and methods for implementing and using same

Family Cites Families (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7382399B1 (en) 1991-05-13 2008-06-03 Sony Coporation Omniview motionless camera orientation system
US5990941A (en) 1991-05-13 1999-11-23 Interactive Pictures Corporation Method and apparatus for the interactive display of any portion of a spherical image
WO1998047291A2 (en) 1997-04-16 1998-10-22 Isight Ltd. Video teleconferencing
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6938069B1 (en) 2000-03-18 2005-08-30 Computing Services Support Solutions Electronic meeting center
US20030058368A1 (en) 2001-09-24 2003-03-27 Mark Champion Image warping using pixel pages
US20030095131A1 (en) 2001-11-08 2003-05-22 Michael Rondinelli Method and apparatus for processing photographic images
US20040008423A1 (en) 2002-01-28 2004-01-15 Driscoll Edward C. Visual teleconferencing apparatus
US20030220971A1 (en) 2002-05-23 2003-11-27 International Business Machines Corporation Method and apparatus for video conferencing with audio redirection within a 360 degree view
US7852369B2 (en) 2002-06-27 2010-12-14 Microsoft Corp. Integrated design for omni-directional camera and microphone array
US20040254982A1 (en) 2003-06-12 2004-12-16 Hoffman Robert G. Receiving system for video conferencing system
US20050025313A1 (en) 2003-06-19 2005-02-03 Wachtel Robert A. Digital imaging system for creating a wide-angle image from multiple narrow angle images
US7428000B2 (en) 2003-06-26 2008-09-23 Microsoft Corp. System and method for distributed meetings
US20050099492A1 (en) 2003-10-30 2005-05-12 Ati Technologies Inc. Activity controlled multimedia conferencing
US7355623B2 (en) * 2004-04-30 2008-04-08 Microsoft Corporation System and process for adding high frame-rate current speaker data to a low frame-rate video using audio watermarking techniques
US8270320B2 (en) 2004-09-30 2012-09-18 Avaya Inc. Method and apparatus for launching a conference based on presence of invitees
US8625754B1 (en) * 2005-10-24 2014-01-07 AT&T Intellectual Property II, L.P. via a transfer from AT&T Corp. Method and apparatus for providing information associated with embedded hyperlinked images
US8125509B2 (en) * 2006-01-24 2012-02-28 Lifesize Communications, Inc. Facial recognition for a videoconference
US8125508B2 (en) 2006-01-24 2012-02-28 Lifesize Communications, Inc. Sharing participant information in a videoconference
US8487976B2 (en) 2006-01-24 2013-07-16 Lifesize Communications, Inc. Participant authentication for a videoconference
US7932919B2 (en) 2006-04-21 2011-04-26 Dell Products L.P. Virtual ring camera
US8572183B2 (en) 2006-06-26 2013-10-29 Microsoft Corp. Panoramic video in a live meeting client
US7847815B2 (en) * 2006-10-11 2010-12-07 Cisco Technology, Inc. Interaction based on facial recognition of conference participants
US20080126167A1 (en) 2006-10-24 2008-05-29 Mid-America Consulting Group Invitee-participant matching system for meeting scheduling
US8289363B2 (en) 2006-12-28 2012-10-16 Mark Buckler Video conferencing
US8050917B2 (en) 2007-09-27 2011-11-01 Siemens Enterprise Communications, Inc. Method and apparatus for identification of conference call participants
US20090210789A1 (en) 2008-02-14 2009-08-20 Microsoft Corporation Techniques to generate a visual composition for a multimedia conference event
US8355041B2 (en) 2008-02-14 2013-01-15 Cisco Technology, Inc. Telepresence system for 360 degree video conferencing
US20090210491A1 (en) 2008-02-20 2009-08-20 Microsoft Corporation Techniques to automatically identify participants for a multimedia conference event
US8503653B2 (en) 2008-03-03 2013-08-06 Alcatel Lucent Method and apparatus for active speaker selection using microphone arrays and speaker recognition
US20090268008A1 (en) 2008-04-24 2009-10-29 Cisco Technology Inc. Media conference switching in a multi-device configuration
US20100040217A1 (en) 2008-08-18 2010-02-18 Sony Ericsson Mobile Communications Ab System and method for identifying an active participant in a multiple user communication session
US8514265B2 (en) 2008-10-02 2013-08-20 Lifesize Communications, Inc. Systems and methods for selecting videoconferencing endpoints for display in a composite video image
US8537196B2 (en) 2008-10-06 2013-09-17 Microsoft Corporation Multi-device capture and spatial browsing of conferences
US8489887B1 (en) 2008-12-31 2013-07-16 Bank Of America Corporation Biometric authentication for video communication sessions
US8284916B2 (en) 2009-01-14 2012-10-09 Alcatel Lucent Conference-call participant-information processing
US20100315483A1 (en) 2009-03-20 2010-12-16 King Keith C Automatic Conferencing Based on Participant Presence
US8798252B2 (en) 2009-03-24 2014-08-05 Microsoft Corporation Automatic utilization of resources in a realtime conference
US20100309284A1 (en) 2009-06-04 2010-12-09 Ramin Samadani Systems and methods for dynamically displaying participant activity during video conferencing
US8711198B2 (en) 2009-06-04 2014-04-29 Hewlett-Packard Development Company, L.P. Video conference
US9277021B2 (en) 2009-08-21 2016-03-01 Avaya Inc. Sending a user associated telecommunication address
EP2526507A1 (en) * 2010-01-20 2012-11-28 Telefonaktiebolaget L M Ericsson (PUBL) Meeting room participant recogniser
US8670018B2 (en) 2010-05-27 2014-03-11 Microsoft Corporation Detecting reactions and providing feedback to an interaction
US8675038B2 (en) 2010-09-28 2014-03-18 Microsoft Corporation Two-way video conferencing system
US20120079399A1 (en) 2010-09-28 2012-03-29 Ahmet Mufit Ferman Methods and Systems for Routing Meeting-Related Content
US8638354B2 (en) * 2010-10-01 2014-01-28 Creative Technology Ltd Immersive video conference system
US8791977B2 (en) * 2010-10-05 2014-07-29 Fujitsu Limited Method and system for presenting metadata during a videoconference
GB201017382D0 (en) 2010-10-14 2010-11-24 Skype Ltd Auto focus
JP5569329B2 (ja) 2010-10-15 2014-08-13 大日本印刷株式会社 会議システム、監視システム、画像処理装置、画像処理方法及び画像処理プログラム等
US9055189B2 (en) * 2010-12-16 2015-06-09 Microsoft Technology Licensing, Llc Virtual circular conferencing experience using unified communication technology
US8624955B2 (en) 2011-06-02 2014-01-07 Microsoft Corporation Techniques to provide fixed video conference feeds of remote attendees with attendee information
US10122970B2 (en) 2011-09-13 2018-11-06 Polycom, Inc. System and methods for automatic call initiation based on biometric data
US20130083151A1 (en) * 2011-09-30 2013-04-04 Lg Electronics Inc. Electronic device and method for controlling electronic device
US8890926B2 (en) 2011-11-02 2014-11-18 Microsoft Corporation Automatic identification and representation of most relevant people in meetings
US20130162752A1 (en) * 2011-12-22 2013-06-27 Advanced Micro Devices, Inc. Audio and Video Teleconferencing Using Voiceprints and Face Prints
US20130169742A1 (en) 2011-12-28 2013-07-04 Google Inc. Video conferencing with unlimited dynamic active participants
US9240970B2 (en) 2012-03-07 2016-01-19 Accenture Global Services Limited Communication collaboration
US8892123B2 (en) 2012-03-07 2014-11-18 Microsoft Corporation Identifying meeting attendees using information from devices
US20150189233A1 (en) 2012-04-30 2015-07-02 Goggle Inc. Facilitating user interaction in a video conference
US20140040928A1 (en) 2012-08-02 2014-02-06 Microsoft Corporation Audience polling system
US20140169699A1 (en) 2012-09-21 2014-06-19 Tamaggo Inc. Panoramic image viewer
US9210269B2 (en) 2012-10-31 2015-12-08 Cisco Technology, Inc. Active speaker indicator for conference participants
US8902274B2 (en) 2012-12-04 2014-12-02 Cisco Technology, Inc. System and method for distributing meeting recordings in a network environment
US9106652B2 (en) 2012-12-18 2015-08-11 International Business Machines Corporation Web conference overstay protection
JP6044328B2 (ja) 2012-12-26 2016-12-14 株式会社リコー 画像処理システム、画像処理方法およびプログラム
US10200654B2 (en) * 2013-02-27 2019-02-05 Szymczyk Matthew Systems and methods for real time manipulation and interaction with multiple dynamic and synchronized video streams in an augmented or multi-dimensional space
US20140278745A1 (en) 2013-03-15 2014-09-18 Toshiba Global Commerce Solutions Holdings Corporation Systems and methods for providing retail process analytics information based on physiological indicator data
US9008296B2 (en) 2013-06-10 2015-04-14 Microsoft Technology Licensing, Llc Catching up with an ongoing conference call
EP2838257B1 (en) 2013-08-15 2016-04-06 Alcatel Lucent A method for generating an immersive video of a plurality of persons
US20150049162A1 (en) 2013-08-15 2015-02-19 Futurewei Technologies, Inc. Panoramic Meeting Room Video Conferencing With Automatic Directionless Heuristic Point Of Interest Activity Detection And Management
US9787848B2 (en) 2013-10-18 2017-10-10 Plantronics, Inc. Multi-beacon meeting attendee proximity tracking
US9329833B2 (en) 2013-12-20 2016-05-03 Dell Products, L.P. Visual audio quality cues and context awareness in a virtual collaboration session
US9386270B2 (en) * 2014-01-15 2016-07-05 Cisco Technology, Inc. Displaying information about at least one participant in a video conference session
US9524588B2 (en) * 2014-01-24 2016-12-20 Avaya Inc. Enhanced communication between remote participants using augmented and virtual reality
US10204397B2 (en) 2016-03-15 2019-02-12 Microsoft Technology Licensing, Llc Bowtie view representing a 360-degree image
US9866400B2 (en) 2016-03-15 2018-01-09 Microsoft Technology Licensing, Llc Action(s) based on automatic participant identification
US9686510B1 (en) 2016-03-15 2017-06-20 Microsoft Technology Licensing, Llc Selectable interaction elements in a 360-degree video stream
US9706171B1 (en) 2016-03-15 2017-07-11 Microsoft Technology Licensing, Llc Polyptych view including three or more designated video streams

Also Published As

Publication number Publication date
WO2017160539A1 (en) 2017-09-21
EP3430802B1 (en) 2022-02-16
EP3430802A1 (en) 2019-01-23
CN108886600A (zh) 2018-11-23
US10444955B2 (en) 2019-10-15
US20170269820A1 (en) 2017-09-21
US9686510B1 (en) 2017-06-20

Similar Documents

Publication Publication Date Title
CN108886600B (zh) 用于在视频流中提供可选择的交互元素的方法和系统
US11849255B2 (en) Multi-participant live communication user interface
US11671697B2 (en) User interfaces for wide angle video conference
JP6998353B2 (ja) 複数参加者ライブ通信ユーザインターフェース
JP5559691B2 (ja) 音声及びビデオ通信のための機能向上したインタフェース
CN110720085B (zh) 语音通信方法
DE202015003891U1 (de) Vorgefertigte Antworten in Nachrichten
US11908246B2 (en) View layout configuration for increasing eye contact in video communications
AU2022228207A1 (en) Multi-participant live communication user interface
JP2019159261A (ja) 電子黒板、映像表示方法、プログラム
JPH06311510A (ja) 遠隔地間会議支援システム
US11843469B2 (en) Eye contact assistance in video conference
KR102265402B1 (ko) 다중 참가자 라이브 통신 사용자 인터페이스
CN117768693A (zh) 共享内容会话用户界面

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant