CN106416233A - 用于使用兴趣度算法进行视听通信的技术 - Google Patents

用于使用兴趣度算法进行视听通信的技术 Download PDF

Info

Publication number
CN106416233A
CN106416233A CN201580027953.XA CN201580027953A CN106416233A CN 106416233 A CN106416233 A CN 106416233A CN 201580027953 A CN201580027953 A CN 201580027953A CN 106416233 A CN106416233 A CN 106416233A
Authority
CN
China
Prior art keywords
audiovisual
interest
equipment
degree
streams
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580027953.XA
Other languages
English (en)
Other versions
CN106416233B (zh
Inventor
S·洛凯姆
O·本-沙洛姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN106416233A publication Critical patent/CN106416233A/zh
Application granted granted Critical
Publication of CN106416233B publication Critical patent/CN106416233B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1083—In-session procedures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

用于视听通信的技术包括视听服务器和多个视听客户端设备，所述视听客户端设备包括展示者设备和多个受众设备。每一个受众设备捕获视听流并将所述视听流传输至所述视听服务器。每一个受众设备还捕获如眼睛跟踪数据或面部表情数据等传感器输入数据并将抽象化传感器输入数据传输至所述视听服务器。所述抽象化传感器输入数据可以基于所述捕获的视听流。所述视听服务器基于所述传感器输入数据来确定与每一个受众设备相关联的兴趣度评级，并且基于所述兴趣度评级来选择一个或多个视听流。所述视听服务器将所述所选视听流传输至所述展示者设备。所述视听服务器可以基于来自所述展示者设备或者所述受众设备的反馈来更新兴趣度评级算法。对其他实施例进行了描述并要求保护。

Description

用于使用兴趣度算法进行视听通信的技术
相关美国专利申请的交叉引用
本申请要求于2014年6月27日提交的题为“TECHNOLOGIES FOR AUDIOVISUALCOMMUNICATION USING INTERESTINGNESS ALGORITHMS(用于使用兴趣度算法进行视听通信的技术)”的美国实用新型专利申请序列号14/317,607的优先权。
背景技术
视频电话会议是现代计算设备的流行应用，允许分布于全球的个人一起工作、学习和社交。相比音频或文本通信技术，视频通信可以提供视觉提示和其他重要的人类交互的更好机会。典型的视频电话会议系统可以基于所传输的信号的音频电频来识别电话会议的哪一方在发言。当显示各方时，可以放大或者以其他方式强调发言人，并且可以均匀地显示或者以其他方式削弱电话会议的其他方。对于具有大量参与者(例如，展示)的电话会议，可能难以详细地观察除了发言人以外的每一方或者以其他方式与其进行交互。
兴趣度是在数据挖掘和知识发现领域中使用的概念。处理大量数据可能涉及应用数据挖掘算法来识别数据内的模式以及之后将进一步分析仅集中在所识别的模式中的“令人感兴趣的”模式。因此，兴趣度是对以下事项的度量：在数据内所识别的哪些模式令人感兴趣的。具体地，兴趣度度量可以指示与数据集合相关的特定模式的相关性、准确度或代表性。在Data Mining and Knowledge Discovery Handbook(数据挖掘与知识发现手册)(编者：Oded Maimon(奥代德·迈蒙)和Lior Rokach(利奥·罗卡奇)，2010年第二版)中的Interestingness Measures:On Determining What Is Interesting(兴趣度度量：论确定什么是有趣的(Sigal Sahar(西加尔萨哈尔)))调查了用于测量兴趣度的各种技术和算法。
附图说明
在附图中，以示例的方式而非限制的方式来展示在本文中所描述的概念。为了说明的简单和清楚起见，在附图中所展示的元件不一定按比例绘制。在认为适当的情况下，在附图之间重复参考标号以表示相应或相似的元件。
图1是一种用于视听通信的系统的至少一个实施例的简化框图；
图2是可以由图1的系统建立的各种环境的至少一个实施例的简化框图；
图3是可以由图1和图2的视听客户端设备执行的一种用于捕获和显示视听流的方法的至少一个实施例的简化流程图；以及
图4是可以由图1和图2的视听服务器执行的一种用于分析、选择和传输视听流的方法的至少一个实施例的简化流程图。
具体实施方式
虽然本公开的概念易于经历各种修改和替代形式，但是在附图中已经通过示例的方式来示出了其特定实施例并且将在本文中详细地对其进行描述。然而，应当理解的是，不意在将公开的概念限制于所公开的特定形式，而相反，旨在覆盖与本公开和所附权利要求一致的所有修改型式、等效型式和替代型式。
在说明书中提到的“一个实施例”、“实施例”、“说明性施例”等指示所描述的实施例可以包括特定特征、结构或特性，但每一个实施例可能或者可能不一定包括该特定特征、结构或特性。此外，这种短语不一定指相同的实施例。此外，当关于实施例而描述了特定特征、结构或特性时，所认为的是，无论是否进行了明确描述，关于其他实施例来实现这种特征、结构或特性都在本领域技术人员的知识内。另外地，应当认识的是，包括在采用“至少一个A、B和C”的形式的列表中的项目可以指(A)、(B)、(C)、(A和B)、(B和C)或(A、B和C)。类似地，采用“A、B和C中的至少一者”的形式来列出的项目可以指(A)、(B)、(C)、(A和B)、(B和C)或(A、B和C)。
在一些情况下，可以在硬件、固件、软件或其任意组合中实施所公开的实施例。还可以将所公开的实施例实施为由瞬态或非瞬态机器可读(例如，计算机可读)存储介质承载或者存储在其上的可由一个或多个处理器来读取和执行的指令。机器可读存储介质可以具体化为任何存储设备、机制、或用于存储或传输采用机器可读形式的信息的其他物理结构(例如，易失性或非易失性存储器、介质盘、或其他介质设备)。
在附图中，可以采用特定安排和/或排序来示出一些结构特征或方法特征。然而，应当认识到的是，可能不需要此类特定的安排和/或排序。相反，在一些实施例中，可以采用不同于在说明性图中所示出的方式和/或顺序来安排这种特征。另外，在具体的图中包括结构性特征或方法特征并不意味着暗示在所有的实施例中都需要这个特征，并且在某些实施例中，可以不包括这个特征或者这个特征可以与其他特征组合。
现在参照图1，在说明性实施例中，一种用于视频会议的系统100包括能够通过网络110进行通信的多个视听客户端设备102和视听服务器108。可以按角色将视听客户端设备102进一步分类为视听展示者设备104和多个视听受众设备106。如以下所描述的，在使用中，视听客户端设备102中的每一个视听客户端设备捕获视听流并将视听流传输至视听服务器108。视听客户端设备102中的每一个视听客户端设备还捕获传感器输入数据并将传感器输入数据传输至视听服务器108。视听服务器108针对视听受众设备106中的每一个视听受众设备而基于传入的传感器输入数据来确定兴趣度评级，并且选择对应于具有高兴趣度评级的视听受众设备106的一个或多个视听流。视听服务器108将所选视听流传输至视听展示者设备104。视听服务器108可以基于从视听展示者设备104和/或视听受众设备106中接收的传感器输入数据来精化或者以其他方式改进兴趣度评级算法。在一些实施例中，视听服务器108可以将从视听展示者设备104中接收的视听流传输至视听受众设备106中的每一个视听受众设备。
因此，视听展示者设备104显示来自相对小数量的兴趣视听受众设备106的视听流，允许展示者更加详细地观察那些受众成员。因此，展示者可以意识到由一些受众成员显示的视觉和/或其他非语言线索，并且相应地对展示进行调整。例如，展示者可能能够更加容易地估计受众情绪、识别配合或不配合的受众成员、或者以其他方式改进展示的质量。
每一个视听客户端设备102可以具体化为用于执行在本文中所描述的功能的任何类型的设备。例如，每一个视听客户端设备102可以具体化为(不限于)智能电话、平板计算机、膝上计算机、笔记本计算机、移动计算设备、可穿戴计算设备、蜂窝电话、手机、消息传递设备、车辆远程信息处理设备、服务器计算机、台式计算机、工作站、分布式计算系统、多处理器系统、消费者电子设备、和/或被配置成用于执行在本文中所描述的功能的任何其他计算设备。说明性视听客户端设备102包括处理器120、输入/输出子系统122、存储器124、以及数据存储设备126。当然，在其他实施例中，每一个视听客户端设备102可以包括其他或附加部件，比如，在计算机中常见的部件(例如，各种输入/输出设备)。另外，在某些实施例中，这些示意性部件中的一个或多个可以结合在另一部件中，或另外形成其一部分。例如，在一些实施例中，可以将存储器124或者其部分结合到处理器120中。
处理器120可以具体化为能够执行在本文中所描述的功能的任何类型的处理器。例如，处理器120可以具体化为(多个)单核或多核处理器、数字信号处理器、微控制器、或其他处理器或处理/控制电路。类似地，存储器124可以具体化为能够执行在此所述功能的任何类型的易失性或非易失性存储器或数据储存器。在操作中，存储器124可以存储在如操作系统、应用、程序、库和驱动程序等视听客户端设备102的操作期间使用的各种数据和软件。存储器124经由I/O子系统122通信地耦合至处理器120，所述I/O子系统可以具体化为用于促进与视听客户端设备102的处理器120、存储器124、以及其他部件的输入/输出操作的电路和/或部件。例如，I/O子系统122可以具体化为、或能以其他方式包括用于促进输入/输出操作的存储器控制器中枢、输入/输出控制中枢、固件设备、通信链路(即，点到点链路、总线链路、线、电缆、光导、印刷电路板迹线等)和/或其他部件和子系统。在一些实施例中，I/O子系统122可以形成片上系统(SoC)的一部分，并且与视听客户端设备102的处理器120、存储器124和其他部件一起被结合在单个集成电路芯片上。
数据存储设备126可以具体化为配置成用于对数据进行短期或长期存储的任何类型的一种或多种设备，例如，存储器设备和电路、存储卡、硬盘驱动器、固态驱动器或其他数据存储设备。数据存储设备126可以存储由视听客户端设备102捕获的视听数据或传感器输入数据，或者要由视听客户端设备102呈现的视听数据。
每一个视听客户端设备102进一步包括通信电路128，所述通信电路可以具体化为能够实现视听客户端设备102、视听服务器108和/或其他远程设备之间的通信的任何通信电路、设备、或其集合。通信电路128可以被配置成用于使用任何一项或多项通信技术(例如，无线或有线通信)和相关联的协议(例如，以太网、蓝牙、WiMAX等)来实现这种通信。通信电路128可以具体化为网络适配器，包括无线网络适配器。
在说明性实施例中，每一个视听客户端设备102进一步包括显示器130、音频设备132、音频输入134、摄像头136、以及多个传感器138。视听客户端设备102的显示器130可以具体化为能够显示数字信息的任何类型的显示器，比如，液晶显示器(LCD)、发光二极管(LED)、等离子显示器、阴极射线管(CRT)、或者其他类型的显示设备。在一些实施例中，可以将显示器130耦合至触摸屏幕，以允许与视听客户端设备102的用户交互。音频设备132可以具体化为能够生成音频信号以供输出的任何设备，比如，纸盆扬声器、音频换能器、音频输出插孔、数模转换器(DAC)、或者其他类型的音频设备。
音频输入134可以具体化为能够捕获音频信号的任何传感器，比如，麦克风、线路输入插孔和相关联的电路、模数转换器(ADC)、或者其他类型的音频传感器。摄像头136可以具体化为数字摄像头或者与视听客户端设备102相整合或者以其他方式通信地耦合至所述视听客户端设备的其他数字成像设备。摄像头136包括电子图像传感器，比如，如互补金属氧化物半导体(CMOS)传感器或电荷耦合器件(CCD)等有源像素传感器(APS)。摄像头136可以用于捕获视听客户端设备102的环境的静止图像或视频图像，包括(在一些实施例中)捕获视听客户端设备102的用户。例如，视听展示者设备104的摄像头136可以捕获展示者，并且每一个视听受众设备106的摄像头136可以捕获受众成员。因此，在一些实施例中，音频输入134和摄像头136可以协作捕获适合用于视频会议的视听流。
传感器138能够生成传感器输入数据，所述传感器输入数据指示视听客户端设备102的环境。相应地，传感器138可能能够检测与视听客户端设备102的用户的状态相关的传感器输入数据，包括用户的关注水平、存在、或者对与视听客户端设备102的参与的其他指示。在一些实施例中，传感器138可以包括、被耦合至、或者被具体化为视听客户端设备102的其他部件，比如，音频输入134和/或摄像头136。在一些实施例中，传感器138可以包括眼睛跟踪传感器140和面部表情传感器142。另外地或可替代地，传感器138可以包括可穿戴设备、生物计量设备、以及能够测量用户的状态的其他设备。
眼睛跟踪传感器140可以具体化为能够确定用户的凝视方向的任何一个或多个有源或无源传感器。例如，在一些实施例中，眼睛跟踪传感器140可以使用有源红外发射器和红外检测器来追踪观察者眼睛随时间的运动。眼睛跟踪传感器140可以捕获从观察者眼睛的各种内部和外部特征中反射的红外光，并且由此计算观察者的凝视方向。在其他实施例中，眼睛跟踪传感器140可以具体化为能够记录用户眼睛运动的摄像机。在一些实施例中，眼睛跟踪传感器140可以收集针对用户双眼的眼睛跟踪数据，以便改进追踪准确度。在那些实施例中，眼睛跟踪传感器140可使用多余一个有源或无源传感器部件来追踪用户双眼。另外地或可替代地，在一些实施例中，眼睛跟踪传感器140可以执行三维眼睛跟踪，所述三维眼睛跟踪对用户眼睛的凝视方向连同用户眼睛所集中的距离进行追踪。例如，眼睛跟踪传感器140可以确定用户双眼的观察角度，允许计算到物体的距离。
在一些实施例中，传感器138可以包括面部表情传感器142。面部表情传感器142能够检测视听客户端设备102的用户的面部表情并对其进行分类。例如，面部表情传感器142可以对来自摄像头136和/或其他传感器138的数据进行分析以确定面部表情。面部表情传感器142可以具体化为视听客户端设备102的能够对面部表情进行分析的硬件、固件、软件或任何其他部件。另外地或可替代地，传感器138可以包括用于补充或替代眼睛跟踪传感器140和/或面部表情传感器142的其他传感器。例如，传感器138可以包括可以用于例如帮助确定用户心情的温度传感器，在一些实施例中与所检测的面部表情相关。
视听服务器108可以具体化为用于处理如在本文中所描述的视听流的任何类型的设备。例如，视听服务器108可以具体化为(不限于)服务器计算机、工作站、台式计算机、智能电话、平板计算机、膝上计算机、笔记本计算机、移动计算设备、蜂窝电话、手机、消息传递设备、车辆远程信息处理设备、分布式计算系统、多处理器系统、消费者电子设备、和/或被配置成用于执行在本文中所描述的功能的任何其他计算设备。进一步地，视听服务器108可以具体化为单个服务器计算设备或者服务器与相关联的服务器的集合。例如，在一些实施例中，视听服务器108可以具体化为用于执行在本文中所描述的功能的云服务。在这种实施例中，视听服务器108可以具体化为由分布在网络110上并且在公共或私有云中进行操作的多个计算设备来形成的“虚拟服务器”。相应地，尽管在图1中展示了视听服务器108并且以下将其描述为被具体化为单个服务器计算设备，但是应当认识的是，可以将视听服务器108具体化为一起协作促进以下所描述的功能的多个设备。
如在图1中所示出的，说明性视听服务器108可以包括类似于视听客户端设备102的部件和特征，比如，处理器180、I/O子系统182、存储器184、数据存储186、通信电路188、以及各种外围设备。视听服务器108的那些单独部件可以类似于每一个视听客户端设备102的相应部件，对其的描述适用于视听服务器108的相应部件，并且为了本说明书的清晰起见，不对其进行重复。
现在参照图2，在一些实施例中，每一个视听客户端设备102在操作期间建立环境200。说明性环境200包括视听捕获模块202、传感器控制模块206、以及显示模块210。如以下所描述的，在一些实施例中，环境200还可以包括兴趣度模块224。环境200的各种模块可以具体化为硬件、固件、软件或其组合。
视听捕获模块202被配置成用于捕获一个或多个视听流。例如，视听捕获模块202可以使用摄像头136和音频输入134来记录视听客户端设备102的用户的视频流。如以下所描述的，向传感器控制模块206和视听服务器108提供视听流。在一些实施例中，视听捕获模块202可以被配置成用于缩放或以其他方式集中视听流。如以下所描述的，视听客户端设备102可以从视听服务器108中接收用于将视听流集中在特定对象上的指令。在一些实施例中，可由子模块(例如，缩放控制模块204)执行那些功能。
传感器控制模块206被配置成用于捕获来自传感器138的传感器输入数据，以及用于分析并调节所捕获的传感器输入数据。传感器控制模块206还可以捕获、关联、或者以其他方式从视听捕获模块202中接收所捕获的视听流。传感器控制模块206可以过滤、处理、或者以其他方式将传感器输入数据变换成可以用于附加分析的格式。例如，传感器控制模块206可以生成更高抽象化水平的适合用于进一步分析的传感器数据。可以向视听服务器108和/或(在一些实施例中)视听客户端设备102的兴趣度模块224提供经调节的传感器输入数据。在一些实施例中，传感器控制模块206可以被配置成用于集中、引导、或者以其他方式指导传感器138和/或视听捕获模块202集中于特定对象。如以下所描述的，视听客户端设备102可以从视听服务器108中接收用于将传感器输入数据集中在特定对象上的指令。在一些实施例中，可由子模块(例如，传感器引导模块208)执行那些功能。
显示模块210被配置成用于从视听服务器108中接收一个或多个所选视听流以及用于显示所选视听流。如以下所描述的，可以基于由视听服务器108和/或视听客户端设备102的兴趣度模块224确定的兴趣度评级来选择视听流。所选特定视听流可以取决于每一个视听客户端设备102的角色；例如，视听受众设备106中的每一个视听受众设备可以从视听展示者设备104中接收视听流，并且视听展示者设备104可以从具有高兴趣度评级的视听受众设备106中接收一个或多个视听流。
仍参照图2，在一些实施例中，视听服务器108在操作期间建立环境220。说明性环境220包括混合器模块222和兴趣度模块224。环境220的各种模块可以具体化为硬件、固件、软件或其组合。
兴趣度模块224被配置成用于基于相关联的传感器输入数据和/或视听流来确定与视听客户端设备102相关联的兴趣度评级。在一些实施例中，可以针对视听受众设备106而不是视听展示者设备104而确定兴趣度评级。兴趣度评级可以提供对相关联的视听流的相关性、准确度、或代表性的指示。兴趣度模块224被进一步配置成用于基于兴趣度来对视听客户端设备102进行排名。另外地，兴趣度模块224被配置成用于基于从视听客户端设备102中接收的反馈来更新兴趣度算法。兴趣度模块224可以对可以用于更新兴趣度算法的兴趣度历史数据232进行维护。在一些实施例中，可由一个或多个子模块执行那些功能，例如，由评级模块226、排名模块228、或反馈模块230。
如以上所描述的，在一些实施例中，环境200还可以包括兴趣度模块224和/或兴趣度历史数据232。在那些实施例中，兴趣度模块224可以在环境200和环境220两者中执行相同的功能。另外地或可替代地，可以在环境200与环境220之间部分或完全地共享或以其他方式分配兴趣度模块224的功能。
混合器模块222被配置成从视听客户端设备102中接收视听流。混合器模块222还被配置成用于针对视听客户端设备102中的每一个视听客户端设备而基于兴趣度评级来选择一个或多个视听流，以及用于将所选视听流传输至适当的视听客户端设备102。例如，混合器模块222可以将从视听展示者设备104中接收的视听流传输至视听受众设备106中的每一个视听受众设备，并且可以将从具有高兴趣度评级的视听受众设备106中接收的一个或多个视听流传输至视听展示者设备104。
现在参照图3，在使用中，每一个视听客户端设备102可以执行用于视听通信的方法300。可由视听展示者设备104或视听受众设备106中的任何视听受众设备执行方法300。在一些实施例中，可以以不同的顺序来执行方法300的各种过程。方法300开始于框302，在所述框中，视听客户端设备102捕获视听输入流。视听流可以具体化为适合用于网络传输和/或显示的任何格式。可以使用摄像头136和音频输入134来捕获视听流。在一些实施例中，在框304中，视听客户端设备102可以基于从视听服务器108中接收的指令来集中于对象上。视听客户端设备102可以关于指定的对象而执行用于集中、指导、或者以其他方式改进所捕获的视听流的质量的任何技术。例如，视听客户端设备102可以集中、缩放、或者以其他方式指导摄像头136朝向所标识的发言人，以便扩大或改进所捕获的视听流的质量。
在框306中，视听客户端设备102将所捕获的视听输入流传输至视听服务器108。如以下所描述的，可以将视听输入流进一步传输至一个或多个其他视听客户端设备102。在一些实施例中，视听客户端设备102可以传输附加或可替代的视听流。例如，视听展示者设备104还可以将幻灯片、屏幕截图、展示笔记、或者其他补充内容传输至视听服务器108。
在框308中，视听客户端设备102使用传感器138来捕获传感器输入数据。传感器输入数据可以指示视听客户端设备102的用户(例如，展示者或受众成员)的状态或者(在一些实施例中)视听客户端设备102的一般环境(例如，背景噪音)。例如，传感器输入数据可以指示用户的面部表情(比如，用户是否微笑)、与用户相关联的眼睛跟踪信息、用户的情绪反应、或者用户的状态的任何其他参数。另外地或可替代地，在一些实施例中，视听客户端设备102可以捕获传感器数据，所述传感器数指示正在使用相同视听客户端设备102的若干用户的状态。在一些实施例中，在框310中，视听客户端设备102可以捕获来自眼睛跟踪传感器140的眼睛跟踪传感器数据。眼睛跟踪传感器数据可以指示用户的凝视方向。例如，眼睛跟踪传感器数据可以指示用户凝视显示器130上的特定点并且因此凝视在该点处显示的特定视听流。另外地或可替代地，眼睛跟踪传感器数据可以指示用户是否凝视显示器130或其他地方。在一些实施例中，在框312中，视听客户端设备102可以使用面部表情传感器142来捕获面部表情数据。当然，在一些实施例中，视听客户端设备102可以使用摄像头136来捕获面部表情数据，而无需使用不同的面部表情传感器142。在一些实施例中，在框314中，视听客户端设备102可以捕获与用户的讲话相关的音调和/或音高信息。视听客户端设备102可以使用音频输入134或任何其他音频输入和处理部件来捕获音调和/或音高信息。在一些实施例中，在框316中，视听客户端设备102可以捕获温度数据。温度水平可以指示视听客户端设备102的用户的温度，并且因此也可以指示用户的心情、警觉性、或其他属性。可以使用温度传感器、热成像仪、生物测量设备、或者能够确定温度的任何其他设备来捕获温度数据。
在一些实施例中，在框318中，视听客户端设备102可以基于从视听服务器108中接收的指令来使传感器138集中在对象上。类似于集中视听输入流，视听客户端设备102可以关于指定的对象而执行用于集中、指导、或者以其他方式改进传感器输入数据的质量的任何技术。例如，视听客户端设备102可以集中、缩放、或者以其他方式指导眼睛跟踪传感器140朝向所标识的发言人，以便扩大或改进传感器输入数据的质量。
在捕获传感器输入数据之后，在框320中，视听客户端设备102对传感器输入数据进行分析和抽象化。如以下所描述的，视听客户端设备102可以过滤、处理、或者以其他方式来将传感器输入数据变换成可由视听服务器108使用的抽象化传感器输入数据。抽象化传感器输入数据可以具体化为对更小尺寸、更高粒度、更高抽象化水平的传感器输入数据的表示。例如，在一些实施例中，视听客户端设备102可以处理原始传感器输入数据并且生成更高抽象化水平的适合用于进一步分析的传感器数据。例如，视听客户端设备102可以平滑处理或以其他方式过滤眼睛跟踪传感器数据以移除高频眼睛运动。在一些实施例中，视听客户端设备102可以处理原始视频数据以生成指示面部表情的数据，例如，描述用户面部特征的位置的数据或者面部表情的符号表示(例如，微笑、皱眉、困惑、兴趣等)。
如以下进一步描述的，在框322中，视听客户端设备102将经调节的传感器输入数据传输至视听服务器108以便进行分析。在一些实施例中，如以下所描述的，传感器输入数据可由视听服务器108用于确定与视听客户端设备102相关联的兴趣度水平。例如，视听服务器108可以对从视听受众设备106中接收的传感器输入数据进行分析以按兴趣度的顺序来对视听受众设备106进行排名。另外地或可替代地，在一些实施例中，传感器输入数据可由视听服务器108用作用于改进其兴趣度算法的反馈。作为另一个示例，视听服务器108可以对从视听展示者设备104中接收的传感器输入数据进行分析以判定用户关注水平是否与被分配至每一个所选视听流的兴趣度排名一致。
在框324中，视听客户端设备102从视听服务器108中接收一个或多个所选视听流。视听流中的每一个视听流可以源自不同的视听客户端设备102。例如，视听展示者设备104可以接收对应于具有相对高兴趣度评级的视听受众设备106的一个或多个视听流。相应地，每一个视听受众设备106可以接收源自视听展示者设备104的视听流。在一些实施例中，所选视听流可以是源自视听展示者设备104的若干视听流之一(例如，视频馈送、幻灯片流、屏幕截图流、展示笔记、或者其他替代性视听流)。
在框326中，视听客户端设备102在显示器130上显示所选视听流。视听客户端设备102可以采用任何适当格式来显示视听流，包括平铺视听流、层叠视听流、或者顺序地显示视听流。在一些实施例中，在框328中，视听客户端设备102可以显示对关联于视听流和/或其相关联的视听客户端设备102的兴趣度评级的指示。例如，视听客户端设备102可以叠加兴趣度的视觉指示器，比如，条形码、颜色编码、或者关于视听流的数字显示。作为另一个示例，视听客户端设备102可以基于基于兴趣度来强调特定视听流，例如，通过使用最大的尺寸或者在显示器130的中心显示最有兴趣的视听流。在显示所选视听流之后，方法300循环回框302以继续捕获视听流。
现在参照图4，在使用中，视听服务器108可以执行用于视听通信的方法400。方法400开始于框402，在所述框中，视听服务器108接收由视听客户端设备102中的每一个视听客户端设备捕获的视听流。视听流可以包括例如由视听客户端设备102的摄像头136和音频输入134捕获的视频馈送。另外地或可替代地，视听服务器108可以从视听客户端设备102中接收附加或可替代的视听流。例如，视听服务器108还可以从视听展示者设备104中接收幻灯片、屏幕截图、展示笔记、或者其他补充内容。
在框404中，视听服务器108从每一个视听客户端设备102的传感器控制模块206中接收传感器输入数据。如以上所描述的，传感器输入数据可以包括眼睛跟踪数据、面部表情数据、音调或音高数据、温度数据、或指示视听客户端设备102的环境或视听客户端设备102的用户的任何其他传感器数据。
在框406中，视听服务器108对关联于视听受众设备106中的每一个视听受众设备的兴趣度值进行评级。兴趣度值可以表示预期视听展示者设备104的用户对与视听受众设备106相关联的特定视听流多么感兴趣。因此，兴趣度值可以表示对特定视听受众设备106的准确度、相关性、或代表性的确定。例如，高兴趣度值可以指示相关联的受众成员是否专注、兴奋、或者以其他方式配合展示者，而低兴趣度值可以指示受众成员思想不集中、心不在焉、或者以其他方式不配合。作为另一个示例，高兴趣度值可以指示受众成员高度代表其他受众成员(即，受众成员显示了与许多其他受众成员相同的参与水平)。作为又一个示例，兴趣度值可以指示视听流是否与展示相关(例如，包括大声的背景噪音的视听流可能不是相关的)。另外地或可替代地，视听服务器108可以使用单个视听受众设备106来确定多个受众成员的兴趣度值。视听服务器108可以使用任何兴趣度算法来确定兴趣度值，包括主观兴趣度算法、客观兴趣度算法、公正兴趣度算法、或者任何其他兴趣度算法。
在一些实施例中，在框408中，视听服务器108可以向一个或多个视听客户端设备102传输用于集中传感器输入数据以改进兴趣度分析的指令。例如，视听服务器108可以确定：与特定兴趣度值相关联的置信水平较低，或者可以以其他方式使用更好的传感器输入数据来改进兴趣度值。如果可以改进传感器输入数据，那么视听服务器108可以生成用于集中传感器输入的指令。
尽管被展示为在视听服务器108上发生，但是在一些实施例中，可以在视听客户端设备102中的一个或多个视听客户端设备上完全或部分地生成兴趣度评级。例如，每一个视听客户端设备102可以完全或部分地确定其自己的兴趣度评级并将该兴趣度评级(或者部分兴趣度评级)提交至视听服务器108。
在框410中，视听服务器108按照视听受众设备106的相关联的兴趣度评级来对所述视听受众设备进行排名。视听服务器108可以使用任何适当的排名。例如，视听服务器108可以采用升序或降序来对视听受众设备106进行排名。
在框412中，视听服务器108基于相关联的兴趣度评级来选择一个或多个视听流，以便传输至每一个视听客户端设备102。在一些实施例中，在框414中，视听服务器108可以选择与最高排名的视听受众设备106相关联的一个或多个视听流，以便传输至视听展示者设备104。选择具有最高兴趣度评级的视听受众设备106可以允许展示者观察来自视听受众设备106的最准确、最相关、和最具代表性的视听流。另外地或可替代地，在一些实施例中，视听服务器108可以选择与最低排名的视听受众设备106(未示出)相关联的一个或多个视听流。例如，选择具有最低兴趣度评级的视听受众设备106可以允许指导者监测困惑的、不专注的、或者以其他方式不配合展示的受众成员。
在一些实施例中，在框416中，视听服务器108可以基于与视听受众设备106中的每一个视听受众设备相关联的兴趣度评级来选择展示者流。例如，如以上所讨论的，与视听受众设备106相关联的兴趣度评级可以指示受众成员是困惑的、不专注的、或者不配合的。在那些情况中，视听服务器108可以选择替代性或补充展示者流(例如，幻灯片、屏幕截图、展示笔记、或者其他流)以便传输至视听受众设备106。
在框418中，视听服务器108将所选视听流传输至视听客户端设备102中的每一个视听客户端设备。如以上所描述的，视听服务器108可以将一个或多个视听流传输至与具有最高兴趣度评级的视听受众设备106相关联的视听展示者设备104。进一步地，视听服务器108可以将一个或多个视听流从视听展示者设备104传输至视听受众设备106中的每一个视听受众设备。
在框420中，视听服务器108基于从视听客户端设备102中接收的反馈来更新兴趣度评级算法。视听服务器108可以存储历史兴趣度数据，包括之前的兴趣度排名和相关联的传感器输入数据，以供用于更新兴趣度评级算法。
在框422中，视听服务器108基于与展示者相关联的历史兴趣度数据来更新兴趣度算法。视听服务器108可以对源自视听展示者设备104的传感器输入数据和/或视听流进行分析，以判定展示者是否与通过兴趣度算法确定的兴趣度评级一致。在一些实施例中，在框424中，视听服务器108可以确定展示者的与每一个所选A/V流相关联的关注水平。例如，视听服务器108可以对来自视听展示者设备104的眼睛跟踪传感器数据进行分析，以确定展示者凝视所选视听流。接下来，在那些实施例中，在框426中，视听服务器108可以将所确定的展示者关注水平与关联于每一个所选视听流的兴趣度排名进行比较。例如，视听服务器108可以确定：展示者主要凝视特定视听流，但是特定视听流的排名低于其他视听流。视听服务器108可以基于该比较来更新兴趣度评级算法。
在框428中，视听服务器108基于与受众成员相关联的历史兴趣度数据来更新兴趣度算法。例如，可以基于特定面部表情、姿势、音调或音高信息、或者从视听受众设备106中接收的其他传感器输入数据来调整兴趣度算法。基于历史受众数据来更新兴趣度算法可以允许自动或紧急地识别与兴趣度相关联的特征(例如，面部表情、姿势、眼睛集中模式等)。另外地或可替代地，基于历史受众数据来更新兴趣度算法可以解释受众文化或组成的差异(例如，适应来自不同国家的受众的文化差异)。
在一些实施例中，在框430中，视听服务器108可以基于源自其他通信会话的历史展示者和/或受众数据来更新兴趣度算法。视听服务器108可以基于与涉及相同展示者和/或受众成员的先前通信会话相关联的数据来更新兴趣度算法。另外地或可替代地，视听服务器108可以基于与任先前通信会话(包括不涉及当前展示者和/或受众成员的会话)相关联的数据来更新兴趣度算法。在更新兴趣度评级算法之后，方法400循环回框402以继续从视听客户端设备102中接收视听流。
示例
以下提供了在本文中所公开的技术的说明性示例。所述技术的实施例可以包括以下所描述的示例中的任何一个或多个示例或者其任何组合。
示例1包括一种用于视听通信的视听服务器，所述视听服务器包括：混合器模块，所述混合器模块用于从多个视听受众设备接收多个视听流，其中，每一个视听流由相应的视听受众设备捕获；以及兴趣度模块，所述兴趣度模块用于：从所述多个视听受众设备中的每一个视听受众设备接收传感器输入数据，所述传感器输入数据指示所述相应的视听受众设备的用户的状态；使用兴趣度算法基于所述传感器输入数据来确定与每一个视听受众设备相关联的兴趣度评级；以及基于与每一个视听客户端设备相关联的所述兴趣度评级来选择所述多个视听流中的视听流；其中，所述混合器模块进一步用于将所述所选视听流传输至视听展示者设备。
示例2包括如示例1所述的主题，并且其中，所述兴趣度模块进一步用于基于所述相关联的兴趣度评级来对所述多个视听受众设备进行排名；并且其中，用于选择所述视听流包括用于选择由具有最高兴趣度评级的视听受众设备捕获的视听流。
示例3包括如示例1和2中任一项所述的主题，并且其中，所述兴趣度评级包括与每一个视听受众设备相关联的准确度值、相关度值或代表性值。
示例4包括如示例1至3中任一项所述的主题，并且其中，所述兴趣度评级指示所述视听受众设备的用户的参与水平。
示例5包括如示例1至4中任一项所述的主题，并且其中，所述传感器输入数据包括眼睛跟踪数据、面部表情数据、音高数据、音调数据、或温度数据。
示例6包括如示例1至5中任一项所述的主题，并且其中，所述兴趣度模块进一步用于：判定是否可以通过集中于所述用户的所述状态的特定参数来改进相应的视听受众设备的所述兴趣度评级的准确度；以及响应于确定可以改进所述兴趣度评级的所述准确度而向所述相应的视听受众设备传输用于将所述传感器输入数据集中在所述用户的所述特定参数上的指令。
示例7包括如示例1至6中任一项所述的主题，并且其中，所述兴趣度模块进一步用于基于所述兴趣度评级来更新所述兴趣度算法。
示例8包括如示例1至7中任一项所述的主题，并且其中，用于更新所述兴趣度算法包括用于：从所述视听展示者设备接收传感器输入数据，所述传感器输入数据指示所述视听展示者设备的物理环境；以及基于从所述视听展示者设备接收的所述传感器输入数据来更新所述兴趣度算法。
示例9包括如示例1至8中任一项所述的主题，并且其中，所述兴趣度模块进一步用于基于与每一个视听客户端设备相关联的所述兴趣度评级来选择所述多个视听流中的第二视听流；所述混合器模块进一步用于将所述第二视听流传输至所述视听展示者客户端设备；并且用于更新所述兴趣度算法包括用于：确定与所述所选视听流和所述第二视听流中的每一者相关联的展示者关注水平，所述展示者关注水平基于从所述视听展示者设备接收的所述传感器输入数据；将关联于所述所选视听流和所述第二视听流中的每一者的所述展示者关注水平与关联于每一个视听客户端设备的所述兴趣度评级进行比较；以及基于在所述展示者关注水平与所述兴趣度评级之间的比较来更新所述兴趣度算法。
示例10包括如示例1至9中任一项所述的主题，并且其中，用于更新所述兴趣度算法进一步包括用于基于从所述多个视听受众设备中的每一个视听受众设备接收的所述传感器输入数据来更新所述兴趣度算法。
示例11包括如示例1至10中任一项所述的主题，并且其中，用于更新所述兴趣度算法包括用于基于与另一个视听通信会话相关联的兴趣度评级来更新所述兴趣度算法。
示例12包括如示例1至11中任一项所述的主题，并且其中，所述另一个视听通信会话包括所述视听展示者设备的先前视听通信会话。
示例13包括如示例1至12中任一项所述的主题，并且其中，所述混合器模块进一步用于：从所述视听展示者设备接收展示者视听流；以及将所述展示者视听流传输至所述多个视听受众设备。
示例14包括如示例1至13中任一项所述的主题，并且其中，所述展示者视听流由所述视听展示者设备捕获。
示例15包括如示例1至14中任一项所述的主题，并且其中，所述混合器模块进一步用于：从所述视听展示者设备接收多个展示者视听流，所述多个展示者视听流包括展示者视听流；并且所述兴趣度模块进一步用于：使用所述兴趣度算法基于所述传感器输入数据来确定与每一个展示者视听流设备相关联的展示者兴趣度评级；以及基于与每一个展示者视听流相关联的所述展示者兴趣度评级来选择所述多个展示者视听流中的所述展示者视听流。
示例16包括如示例1至15中任一项所述的主题，并且其中，所述混合器模块进一步用于将与所述所选视听流相关联的所述兴趣度评级传输至视听展示者设备。
示例17包括一种用于视听通信的视听客户端设备，所述视听客户端设备包括：视听捕获模块，所述视听捕获模块用于(i)捕获视听输入流以及(ii)将所述视听输入流传输至视听服务器；以及传感器控制模块，所述传感器控制模块用于(i)捕获指示所述视听客户端设备的用户的状态的传感器输入数据；(ii)对所述传感器输入数据进行分析以生成表示所述传感器输入数据的抽象化传感器输入数据；以及(iii)将所述抽象化传感器输入数据传输至所述视听服务器。
示例18包括如示例17所述的主题，并且其中，所述视听客户端设备包括视听受众设备；并且所述传感器控制模块进一步用于(i)接收用于集中来自所述视听服务器的所述传感器输入数据的指令；以及(ii)响应于接收到所述指令而集中所述传感器输入数据。
示例19包括如示例17和18中任一项所述的主题，并且其中，所述传感器输入数据指示所述视听观众设备的用户的参与水平。
示例20包括如示例17至19中任一项所述的主题，并且其中，所述传感器输入数据包括眼睛跟踪传感器数据、面部表情传感器数据、音调音高传感器数据、或温度数据。
示例21包括如示例17至20中任一项所述的主题，并且其中，所述视听客户端设备包括视听展示者设备，所述视听展示者设备进一步包括显示模块，所述显示模块用于从所述视听服务器接收视听流，所述视听流源自视听受众设备并且是基于与所述视听受众设备相关联的兴趣度值而选择的；以及显示所述视听流。
示例22包括如示例17至21中任一项所述的主题，并且其中，用于显示所述视听流进一步包括用于显示对与所述视听流的所述视听受众设备相关联的所述兴趣度值的指示。
示例23包括如示例17至22中任一项所述的主题，并且进一步包括兴趣度模块，所述兴趣度模块用于使用兴趣度算法来确定与所述视听受众设备相关联的所述兴趣度评级。
示例24包括如示例17至23中任一项所述的主题，并且其中，所述兴趣度模块进一步用于基于所述抽象化传感器输入数据来更新所述兴趣度算法。
示例25包括如示例17至24中任一项所述的主题，并且其中，所述显示模块进一步用于从所述视听服务器接收第二视听流，所述第二视听流源自第二视听受众设备并且是基于与所述第二视听受众设备相关联的兴趣度值而选择的；并且用于更新所述兴趣度算法包括用于：确定与所述视听流和所述第二视听流中的每一者相关联的展示者关注水平，所述展示者关注水平基于所述抽象化传感器输入数据；将关联于所述视听流和所述第二视听流中的每一者的所述展示者关注水平与关联于每一个视听受众设备的所述兴趣度评级进行比较；以及基于在所述展示者关注水平与所述兴趣度评级之间的比较来更新所述兴趣度算法。
示例26包括一种用于视听通信的方法，所述方法包括：视听服务器从多个视听受众设备接收多个视听流，其中，每一个视听流由相应的视听受众设备捕获；所述视听服务器从所述多个视听受众设备中的每一个视听受众设备接收传感器输入数据，所述传感器输入数据指示所述相应的视听受众设备的用户的状态；所述视听服务器使用兴趣度算法基于所述传感器输入数据来确定与每一个视听受众设备相关联的兴趣度评级；所述视听服务器基于与每一个视听客户端设备相关联的所述兴趣度评级来选择所述多个视听流中的视听流；以及所述视听服务器将所述所选视听流传输至视听展示者设备。
示例27包括如示例26所述的主题，并且进一步包括：所述视听服务器基于所述相关联的兴趣度评级来对所述多个视听受众设备进行排名；其中，选择所述视听流包括选择由具有最高兴趣度评级的视听受众设备捕获的视听流。
示例28包括如示例26和27中任一项所述的主题，并且其中，确定所述兴趣度评级包括确定与每一个视听受众设备相关联的准确度值、相关度值或代表性值。
示例29包括如示例26至28中任一项所述的主题，并且其中，确定所述兴趣度评级包括确定指示所述视听受众设备的用户的参与水平的兴趣度评级。
示例30包括如示例26至29中任一项所述的主题，并且其中，接收所述传感器输入数据包括从所述视听客户端设备接收眼睛跟踪数据、面部表情数据、音高数据、音调数据、或温度数据。
示例31包括如示例26至30中任一项所述的主题，并且进一步包括：所述视听服务器判定是否可以通过集中于所述用户的所述状态的特定参数来改进相应的视听受众设备的所述兴趣度评级的准确度；以及所述视听服务器响应于确定可以改进所述兴趣度评级的准确度而向视听受众设备传输用于将所述传感器输入数据集中在所述用户的所述特定参数上的指令。
示例32包括如示例26至31中任一项所述的主题，并且进一步包括：所述视听服务器基于所述兴趣度评级来更新所述兴趣度算法。
示例33包括如示例26至32中任一项所述的主题，并且其中，更新所述兴趣度算法包括所述视听服务从所述视听展示者设备接收传感器输入数据，所述传感器输入数据指示所述视听展示者设备的物理环境；以及基于从所述视听展示者设备接收的所述传感器输入数据来更新所述兴趣度算法。
示例34包括如示例26至33中任一项所述的主题，并且进一步包括：所述视听服务器基于与每一个视听客户端设备相关联的所述兴趣度评级来选择所述多个视听流中的第二视听流；所述视听服务器将所述第二视听流传输至所述视听展示者客户端设备；其中，更新所述兴趣度算法包括：确定与所述所选视听流和所述第二视听流中的每一者相关联的展示者关注水平，所述展示者关注水平基于从所述视听展示者设备接收的所述传感器输入数据；将关联于所述所选视听流和所述第二视听流中的每一者的所述展示者关注水平与关联于每一个视听客户端设备的所述兴趣度评级进行比较；以及基于对所述展示者关注水平与所述兴趣度评级进行比较来更新所述兴趣度算法。
示例35包括如示例26至34中任一项所述的主题，并且其中，更新所述兴趣度算法进一步包括基于从所述多个视听受众设备中的每一个视听受众设备接收的所述传感器输入数据来更新所述兴趣度算法。
示例36包括如示例26至35中任一项所述的主题，并且其中，更新所述兴趣度算法包括基于与另一个视听通信会话相关联的兴趣度评级来更新所述兴趣度算法。
示例37包括如示例26至36中任一项所述的主题，并且其中，所述另一个视听通信会话包括所述视听展示者设备的先前视听通信会话。
示例38包括如示例26至37中任一项所述的主题，并且进一步包括：所述视听服务器从所述视听展示者设备接收展示者视听流，以及所述视听服务器将所述展示者视听流传输至所述多个视听受众设备。
示例39包括如示例26至38中任一项所述的主题，并且其中，接收所述展示者视听流包括接收由所述视听展示者设备捕获的展示者视听流。
示例40包括如示例26至39中任一项所述的主题，并且进一步包括：所述视听服务器从所述视听展示者设备接收多个展示者视听流，所述多个展示者视听流包括所述展示者视听流；所述视听服务器使用所述兴趣度算法基于所述传感器输入数据来确定与每一个展示者视听流设备相关联的展示者兴趣度评级；以及所述视听服务器基于与每一个展示者视听流相关联的所述展示者兴趣度评级来选择所述多个展示者视听流中的所述展示者视听流。
示例41包括如示例26至40中任一项所述的主题，并且其中，所述混合器模块进一步用于将与所述所选视听流相关联的所述兴趣度评级传输至视听展示者设备。
示例42包括一种用于视听通信的方法，所述方法包括：视听客户端设备捕获视听输入流；所述视听客户端设备将所述视听输入流传输至视听服务器；视听受众设备捕获传感器输入数据，所述传感器输入设备指示所述视听客户端设备的用户的状态；所述视听客户端设备对所述传感器输入数据进行分析以生成表示所述传感器输入数据的抽象化传感器输入数据；以及所述视听客户端设备将所述抽象化传感器输入数据传输至所述视听服务器。
示例43包括如示例42所述的主题，并且其中，所述视听客户端设备包括视听受众设备，所述方法进一步包括：所述视听受众设备接收用于集中来自所述视听服务器的所述传感器输入数据的指令；以及所述视听受众设备响应于接收到所述指令而集中所述传感器输入数据。
示例44包括如示例42和43中任一项所述的主题，并且其中，捕获所述传感器数据包括捕获指示所述视听受众设备的用户的参与水平的传感器数据。
示例45包括如示例42至44中任一项所述的主题，并且其中，捕获所述传感器输入数据包括捕获眼睛跟踪传感器数据、面部表情传感器数据、音调音高传感器数据、或温度数据。
示例46包括如示例42至45中任一项所述的主题，并且其中，所述视听客户端设备包括视听设备，所述方法进一步包括：所述视听展示者设备从所述视听服务器接收视听流，所述视听流源自视听受众设备并且是基于与所述视听受众设备相关联的兴趣度值而选择的；以及展示者所述视听展示者设备显示所述视听流。
示例47包括如示例42至46中任一项所述的主题，并且其中，显示所述视听流进一步包括显示对与所述视听流的所述视听受众设备相关联的所述兴趣度值的指示。
示例48包括如示例42至47中任一项所述的主题，并且进一步包括：所述视听展示者设备使用兴趣度算法来确定与所述视听受众设备相关联的所述兴趣度评级。
示例49包括如示例42至48中任一项所述的主题，并且进一步包括：基于所述抽象化传感器输入数据来更新所述兴趣度算法。
示例50包括如示例42至49中任一项所述的主题，并且进一步包括：所述视听展示者设备从所述视听服务器接收第二视听流，所述第二视听流源自第二视听受众设备并且是基于与所述第二视听受众设备相关联的兴趣度值而选择的；并且其中，更新所述兴趣度算法包括：确定与所述视听流和所述第二视听流中的每一者相关联的展示者关注水平，所述展示者关注水平基于所述抽象化传感器输入数据；将关联于所述视听流和所述第二视听流中的每一者的所述展示者关注水平与关联于每一个视听受众设备的所述兴趣度评级进行比较；以及基于对所述展示者关注水平与所述兴趣度评级进行比较来更新所述兴趣度算法。
示例51包括一种计算设备，所述计算设备包括：处理器；以及存储器，所述存储器具有存储于其中的多条指令，所述指令当由所述处理器执行时使所述计算设备执行如示例26至50中任一项所述的方法。
示例52包括一种或多种机器可读存储介质，所述一种或多种机器可读存储介质包括存储于其上的多条指令，所述指令响应于被执行而使计算设备执行如示例26至50中任一项所述的方法。
示例53包括一种计算设备，所述计算设备包括用于执行如示例26至50中任一项所述的方法的装置。
示例54包括一种用于视听通信的视听服务器，所述视听服务器包括：用于从多个视听受众设备接收多个视听流的装置，其中，每一个视听流由相应的视听受众设备捕获；用于从所述多个视听受众设备中的每一个视听受众设备接收传感器输入数据的装置，所述传感器输入数据指示所述相应的视听受众设备的用户的状态；用于使用兴趣度算法基于所述传感器输入数据来确定与每一个视听受众设备相关联的兴趣度评级的装置；用于基于与每一个视听客户端设备相关联的所述兴趣度评级来选择所述多个视听流中的视听流的装置；以及用于将所述所选视听流传输至视听展示者设备的装置。
示例55包括如示例54所述的主题，并且进一步包括：用于基于所述相关联的兴趣度评级来对所述多个视听受众设备进行排名的装置；其中，所述用于选择所述视听流的装置包括用于选择由具有最高兴趣度评级的视听受众设备捕获的视听流的装置。
示例56包括如示例54和55中任一项所述的主题，并且其中，所述用于确定所述兴趣度评级的装置包括用于确定与每一个视听受众设备相关联的准确度值、相关度值或代表性值的装置。
示例57包括如示例54至56中任一项所述的主题，并且其中，所述用于确定所述兴趣度评级的装置包括用于确定指示所述视听受众设备的用户的参与水平的兴趣度评级的装置。
示例58包括如示例54至57中任一项所述的主题，并且其中，所述用于接收所述传感器输入数据的装置包括用于从所述视听客户端设备接收眼睛跟踪数据、面部表情数据、音高数据、音调数据、或温度数据的装置。
示例59包括如示例54至58中任一项所述的主题，并且进一步包括：用于判定是否可以通过集中于所述用户的所述状态的特定参数来改进相应的视听受众设备的所述兴趣度评级的准确度的装置；以及用于响应于确定可以改进所述兴趣度评级的准确度而向视听受众设备传输用于将所述传感器输入数据集中在所述用户的所述特定参数上的指令的装置。
示例60包括如示例54至59中任一项所述的主题，并且进一步包括用于基于所述兴趣度评级来更新所述兴趣度算法的装置。
示例61包括如示例54至60中任一项所述的主题，并且其中，所述用于更新所述兴趣度算法的装置包括用于从所述视听展示者设备接收传感器输入数据的装置，所述传感器输入数据指示所述视听展示者设备的物理环境；以及用于基于从所述视听展示者设备接收的所述传感器输入数据来更新所述兴趣度算法的装置。
示例62包括如示例54至61中任一项所述的主题，并且进一步包括：用于基于与每一个视听客户端设备相关联的所述兴趣度评级来选择所述多个视听流中的第二视听流的装置；用于将所述第二视听流传输至所述视听展示者客户端设备的装置；其中，所述用于更新所述兴趣度算法的装置包括：用于确定与所述所选视听流和所述第二视听流中的每一者相关联的展示者关注水平的装置，所述展示者关注水平基于从所述视听展示者设备接收的所述传感器输入数据；用于将关联于所述所选视听流和所述第二视听流中的每一者的所述展示者关注水平与关联于每一个视听客户端设备的所述兴趣度评级进行比较的装置；以及用于基于对所述展示者关注水平与所述兴趣度评级进行比较来更新所述兴趣度算法的装置。
示例63包括如示例54至62中任一项所述的主题，并且其中，所述用于更新所述兴趣度算法的装置进一步包括用于基于从所述多个视听受众设备中的每一个视听受众设备接收的所述传感器输入数据来更新所述兴趣度算法的装置。
示例64包括如示例54至63中任一项所述的主题，并且其中，所述用于更新所述兴趣度算法的装置包括用于基于与另一个视听通信会话相关联的兴趣度评级来更新所述兴趣度算法的装置。
示例65包括如示例54至64中任一项所述的主题，并且其中，所述另一个视听通信会话包括所述视听展示者设备的先前视听通信会话。
示例66包括如示例54至65中任一项所述的主题，并且进一步包括：用于从所述视听展示者设备接收展示者视听流的装置；以及用于将所述展示者视听流传输至所述多个视听受众设备的装置。
示例67包括如示例54至66中任一项所述的主题，并且其中，所述用于接收所述展示者视听流的装置包括用于接收由所述视听展示者设备捕获的展示者视听流的装置。
示例68包括如示例54至67中任一项所述的主题，并且进一步包括：用于从所述视听展示者设备接收多个展示者视听流的装置，所述多个展示者视听流包括所述展示者视听流；用于使用所述兴趣度算法基于所述传感器输入数据来确定与每一个展示者视听流设备相关联的展示者兴趣度评级的装置；以及用于基于与每一个展示者视听流相关联的所述展示者兴趣度评级来选择所述多个展示者视听流中的所述展示者视听流的装置。
示例69包括如示例54至68中任一项所述的主题，并且进一步包括用于将与所述所选视听流相关联的所述兴趣度评级传输至视听展示者设备的装置。
示例70包括一种用于视听通信的视听客户端设备，所述视听客户端设备包括：用于捕获视听输入流的装置；用于将所述视听输入流传输至视听服务器的装置；用于捕获传感器输入数据的装置，所述传感器输入数据指示所述视听客户端设备的用户的状态；用于对所述传感器输入数据进行分析以生成表示所述传感器输入数据的抽象化传感器输入数据的装置；以及用于将所述抽象化传感器输入数据传输至所述视听服务器的装置。
示例71包括如示例70所述的主题，并且其中，所述视听客户端设备包括视听受众设备，所述试听受众设备进一步包括：用于接收用于集中来自所述视听服务器的所述传感器输入数据的指令的装置；以及用于响应于接收到所述指令而集中所述传感器输入数据的装置。
示例72包括如示例70和71中任一项所述的主题，并且其中，所述用于捕获所述传感器数据的装置包括用于捕获指示所述视听受众设备的用户的参与水平的传感器数据的装置。
示例73包括如示例70至72中任一项所述的主题，并且其中，所述用于捕获所述传感器输入数据的装置包括用于捕获眼睛跟踪传感器数据、面部表情传感器数据、音调音高传感器数据、或温度数据的装置。
示例74包括如示例70至73中任一项所述的主题，并且其中，所述视听客户端设备包括视听展示者设备，所述视听展示者设备进一步包括：用于从所述视听服务器接收视听流的装置，所述视听流源自视听受众设备并且是基于与所述视听受众设备相关联的兴趣度值而选择的；以及用于显示所述视听流的装置。
示例75包括如示例70至74中任一项所述的主题，并且其中，所述用于显示所述视听流的装置进一步包括用于显示对与所述视听流的所述视听受众设备相关联的所述兴趣度值的指示的装置。
示例76包括如示例70至75中任一项所述的主题，并且进一步包括用于使用兴趣度算法来确定与所述视听受众设备相关联的所述兴趣度评级的装置。
示例77包括如示例70至76中任一项所述的主题，并且进一步包括用于基于所述抽象化传感器输入数据来更新所述兴趣度算法的装置。
示例78包括如示例70至77中任一项所述的主题，并且进一步包括用于从所述视听服务器接收第二视听流的装置，所述第二视听流源自第二视听受众设备并且是基于与所述第二视听受众设备相关联的兴趣度值而选择的；并且其中，所述用于更新所述兴趣度算法的装置包括：用于确定与所述视听流和所述第二视听流中的每一者相关联的展示者关注水平的装置，所述展示者关注水平基于所述抽象化传感器输入数据；用于将关联于所述视听流和所述第二视听流中的每一者的所述展示者注意水平与关联于每一个视听受众设备的所述兴趣度评级进行比较的装置；以及用于对所述发言人注意水平与所述兴趣度评级进行比较来更新所述兴趣度算法的装置。

Claims (25)

1.一种用于视听通信的视听服务器，所述视听服务器包括：
混合器模块，所述混合器模块用于从多个视听受众设备接收多个视听流，其中，每一个视听流由相应的视听受众设备捕获；以及
兴趣度模块，所述兴趣度模块用于：
从所述多个视听受众设备中的每一个视听受众设备接收传感器输入数据，所述传感器输入数据指示所述相应的视听受众设备的用户的状态；
使用兴趣度算法基于所述传感器输入数据来确定与每一个视听受众设备相关联的兴趣度评级；以及
基于与每一个视听客户端设备相关联的所述兴趣度评级来选择所述多个视听流中的视听流；
其中，所述混合器模块进一步用于将所述所选视听流传输至视听展示者设备。
2.如权利要求1所述的视听服务器，其中，所述兴趣度模块进一步用于基于所述相关联的兴趣度评级来对所述多个视听受众设备进行排名；并且
其中，用于选择所述视听流包括用于选择由具有最高兴趣度评级的视听受众设备捕获的视听流。
3.如权利要求1所述的视听服务器，其中，所述兴趣度评级包括与每一个视听受众设备相关联的准确度值、相关度值或代表性值。
4.如权利要求1所述的视听服务器，其中，所述兴趣度评级指示所述视听受众设备的用户的参与水平。
5.如权利要求1所述的视听服务器，其中，所述传感器输入数据包括眼睛跟踪数据、面部表情数据、音高数据、音调数据、或温度数据。
6.如权利要求1所述的视听服务器，其中，所述兴趣度模块进一步用于：
判定是否可以通过集中于所述用户的所述状态的特定参数来改进相应的视听受众设备的所述兴趣度评级的准确度；以及
响应于确定了可以改进所述兴趣度评级的准确度而向所述相应的视听受众设备传输用于将所述传感器输入数据集中在所述用户的所述特定参数上的指令。
7.如权利要求1至6中任一项所述的视听服务器，其中：
所述兴趣度模块进一步用于(i)基于所述兴趣度评级来更新所述兴趣度算法以及(ii)基于与每一个视听客户端设备相关联的所述兴趣度评级来选择所述多个视听流中的第二视听流；
所述混合器模块进一步用于将所述第二视听流传输至所述视听展示者客户端设备；并且
其中，用于更新所述兴趣度算法包括用于：
从所述视听展示者设备接收传感器输入数据，所述传感器输入数据指示所述视听展示者设备的物理环境；
确定与所述所选视听流和所述第二视听流中的每一者相关联的展示者关注水平，所述展示者关注水平基于从所述视听展示者设备接收的所述传感器输入数据；
将关联于所述所选视听流和所述第二视听流中的每一者的所述展示者关注水平与关联于每一个视听客户端设备的所述兴趣度评级进行比较；以及
基于在所述展示者关注水平与所述兴趣度评级之间的比较来更新所述兴趣度算法。
8.如权利要求7所述的视听服务器，其中，用于更新所述兴趣度算法包括用于基于与另一个视听通信会话相关联的兴趣度评级来更新所述兴趣度算法，其中，所述另一个视听通信会话包括所述视听展示者设备的先前视听通信会话。
9.如权利要求1至6中任一项所述的视听服务器，其中：
所述混合器模块进一步用于：
从所述视听展示者设备接收多个展示者视听流，所述多个展示者视听流包括展示者视听流；以及
将所述展示者视听流传输至所述多个视听受众设备；并且
所述兴趣度模块进一步用于：
使用所述兴趣度算法基于所述传感器输入数据来确定与每一个展示者视听流设备相关联的展示者兴趣度评级；以及
基于与每一个展示者视听流相关联的所述展示者兴趣度评级来选择所述多个展示者视听流中的所述展示者视听流。
10.一种用于视听通信的视听客户端设备，所述视听客户端设备包括：
视听捕获模块，所述视听捕获模块用于(i)捕获视听输入流；以及(ii)将所述视听输入流传输至视听服务器；以及
传感器控制模块，所述传感器控制模块用于(i)捕获指示所述视听客户端设备的用户的状态的传感器输入数据；(ii)对所述传感器输入数据进行分析以生成表示所述传感器输入数据的抽象化传感器输入数据；以及(iii)将所述抽象化传感器输入数据传输至所述视听服务器。
11.如权利要求10所述的视听客户端设备，其中：
所述视听客户端设备包括视听受众设备；并且
所述传感器控制模块进一步用于(i)接收用于集中来自所述视听服务器的所述传感器输入数据的指令；以及(ii)响应于接收到所述指令而集中所述传感器输入数据。
12.如权利要求10所述的视听客户端设备，其中，所述视听客户端设备包括视听展示者设备，所述视听展示者设备进一步包括显示模块，所述显示模块用于：
从所述视听服务器接收视听流，所述视听流源自视听受众设备并且是基于与所述视听受众设备相关联的兴趣度值而选择的；以及
显示所述视听流。
13.如权利要求12所述的视听展示者设备，其中，用于显示所述视听流进一步包括用于显示对与所述视听流的所述视听受众设备相关联的所述兴趣度值的指示。
14.如权利要求12和13中任一项所述的视听展示者设备，进一步包括：
兴趣度模块，所述兴趣度模块用于(i)使用兴趣度算法来确定与所述视听受众设备相关联的所述兴趣度评级；以及(ii)基于所述抽象化传感器输入数据来更新所述兴趣度算法；
其中，所述显示模块进一步用于从所述视听服务器接收第二视听流，所述第二视听流源自第二视听受众设备并且是基于与所述第二视听受众设备相关联的兴趣度值而选择的；并且
其中，用于更新所述兴趣度算法包括用于：
确定与所述视听流和所述第二视听流中的每一者相关联的展示者关注水平，所述展示者关注水平基于所述抽象化传感器输入数据；
将关联于所述视听流和所述第二视听流中的每一者的所述展示者关注水平与关联于每一个视听受众设备的所述兴趣度评级进行比较；
以及
基于在所述展示者关注水平与所述兴趣度评级之间的比较来更新所述兴趣度算法。
15.一种用于视听通信的方法，所述方法包括：
由视听服务器从多个视听受众设备接收多个视听流，其中，每一个视听流由相应的视听受众设备捕获；
由所述视听服务器从所述多个视听受众设备中的每一个视听受众设备接收传感器输入数据，所述传感器输入数据指示所述相应的视听受众设备的用户的状态；
由所述视听服务器使用兴趣度算法基于所述传感器输入数据来确定与每一个视听受众设备相关联的兴趣度评级；
由所述视听服务器基于与每一个视听客户端设备相关联的所述兴趣度评级来选择所述多个视听流中的视听流；以及
由所述视听服务器将所述所选视听流传输至视听展示者设备。
16.如权利要求15所述的方法，进一步包括：
由所述视听服务器判定是否可以通过集中于所述用户的所述状态的特定参数来改进相应的视听受众设备的所述兴趣度评级的准确度；以及
由所述视听服务器响应于确定了可以改进所述兴趣度评级的准确度而向视听受众设备传输用于将所述传感器输入数据集中在所述用户的所述特定参数上的指令。
17.如权利要求15所述的方法，进一步包括：
由所述视听服务器基于所述兴趣度评级来更新所述兴趣度算法；
由所述视听服务器基于与每一个视听客户端设备相关联的所述兴趣度评级来选择所述多个视听流中的第二视听流；
由所述视听服务器将所述第二视听流传输至所述视听展示者客户端设备；
其中，更新所述兴趣度算法包括：
由所述视听服务器从所述视听展示者设备接收传感器输入数据，
所述传感器输入数据指示所述视听展示者设备的物理环境；
确定与所述所选视听流和所述第二视听流中的每一者相关联的展示者关注水平，所述展示者关注水平基于从所述视听展示者设备接收的所述传感器输入数据；
将关联于所述所选视听流和所述第二视听流中的每一者的所述展示者关注水平与关联于每一个视听客户端设备的所述兴趣度评级进行比较；以及
基于对所述展示者关注水平与所述兴趣度评级进行比较来更新所述兴趣度算法。
18.如权利要求15所述的方法，进一步包括：
由所述视听服务器从所述视听展示者设备接收多个展示者视听流，所述多个展示者视听流包括展示者视听流；
由所述视听服务器使用所述兴趣度算法基于所述传感器输入数据来确定与每一个展示者视听流设备相关联的展示者兴趣度评级；
由所述视听服务器基于与每一个展示者视听流相关联的所述展示者兴趣度评级来选择所述多个展示者视听流中的所述展示者视听流；以及
由所述视听服务器将所述展示者视听流传输至所述多个视听受众设备。
19.一种用于视听通信的方法，所述方法包括：
由视听客户端设备捕获视听输入流；
由所述视听客户端设备将所述视听输入流传输至视听服务器；
由视听受众设备捕获指示所述视听客户端设备的用户的状态的传感器输入数据；
由所述视听客户端设备对所述传感器输入数据进行分析以生成表示所述传感器输入数据的抽象化传感器输入数据；以及
由所述视听客户端设备将所述抽象化传感器输入数据传输至所述视听服务器。
20.如权利要求19所述的方法，其中，所述视听客户端设备包括视听受众设备，所述方法进一步包括：
由所述视听受众设备接收用于集中来自所述视听服务器的所述传感器输入数据的指令；以及
由所述视听受众设备响应于接收到所述指令而集中所述传感器输入数据。
21.如权利要求19所述的方法，其中，所述视听客户端设备包括视听展示者设备，所述方法进一步包括：
由所述视听展示者设备从所述视听服务器接收视听流，所述视听流源自视听受众设备并且是基于与所述视听受众设备相关联的兴趣度值而选择的；以及
由所述视听展示者设备显示所述视听流。
22.如权利要求21所述的方法，进一步包括：由所述视听展示者设备使用兴趣度算法来确定与所述视听受众设备相关联的所述兴趣度评级。
23.一种计算设备，包括：
处理器；以及
存储器，所述存储器具有存储于其中的多条指令，所述指令当由所述处理器执行时使所述计算设备执行如权利要求15至22中任一项所述的方法。
24.一种或多种机器可读存储介质，包括存储于其上的多条指令，所述指令响应于被执行而使计算设备执行如权利要求15至22中任一项所述的方法。
25.一种计算设备，包括用于执行如权利要求15至22中任一项所述的方法的装置。
CN201580027953.XA 2014-06-27 2015-05-27 用于视听通信的视听服务器、方法、设备 Active CN106416233B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/317,607 US9386272B2 (en) 2014-06-27 2014-06-27 Technologies for audiovisual communication using interestingness algorithms
US14/317,607 2014-06-27
PCT/US2015/032567 WO2015199871A1 (en) 2014-06-27 2015-05-27 Technologies for audiovisual communication using interestingness algorithms

Publications (2)

Publication Number Publication Date
CN106416233A true CN106416233A (zh) 2017-02-15
CN106416233B CN106416233B (zh) 2020-04-10

Family

ID=54931969

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580027953.XA Active CN106416233B (zh) 2014-06-27 2015-05-27 用于视听通信的视听服务器、方法、设备

Country Status (5)

Country Link
US (6) US9386272B2 (zh)
EP (1) EP3162052B1 (zh)
KR (1) KR101825569B1 (zh)
CN (1) CN106416233B (zh)
WO (1) WO2015199871A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11949967B1 (en) 2022-09-28 2024-04-02 International Business Machines Corporation Automatic connotation for audio and visual content using IOT sensors

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9386272B2 (en) 2014-06-27 2016-07-05 Intel Corporation Technologies for audiovisual communication using interestingness algorithms
US11956290B2 (en) * 2015-03-04 2024-04-09 Avaya Inc. Multi-media collaboration cursor/annotation control
WO2017136854A1 (en) * 2016-02-05 2017-08-10 New Resonance, Llc Mapping characteristics of music into a visual display
US10386923B2 (en) 2017-05-08 2019-08-20 International Business Machines Corporation Authenticating users and improving virtual reality experiences via ocular scans and pupillometry
US11290686B2 (en) 2017-09-11 2022-03-29 Michael H Peters Architecture for scalable video conference management
US10382722B1 (en) * 2017-09-11 2019-08-13 Michael H. Peters Enhanced video conference management
US11122240B2 (en) 2017-09-11 2021-09-14 Michael H Peters Enhanced video conference management
US11785180B2 (en) 2017-09-11 2023-10-10 Reelay Meetings, Inc. Management and analysis of related concurrent communication sessions
CN112042207A (zh) * 2018-05-31 2020-12-04 Nec显示器解决方案株式会社 显示系统、显示方法和程序
US11240470B2 (en) * 2019-07-08 2022-02-01 Nextiva, Inc. Multi-device teleconferences
US20210021439A1 (en) * 2019-07-19 2021-01-21 Nextiva, Inc. Measuring and Responding to Attention Levels in Group Teleconferences
WO2021105778A1 (en) * 2019-11-28 2021-06-03 Raman Abishek Sundar System and method for determining participant behavior during a real time interactive event
US11240469B1 (en) * 2020-12-18 2022-02-01 Frqncy, Inc. Systems and methods for audience interactions in real-time multimedia applications
US11621979B1 (en) * 2020-12-31 2023-04-04 Benjamin Slotznick Method and apparatus for repositioning meeting participants within a virtual space view in an online meeting user interface based on gestures made by the meeting participants
EP4334915A1 (en) * 2021-05-07 2024-03-13 Microsoft Technology Licensing, LLC Highlighting expressive participants in an online meeting

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040230651A1 (en) * 2003-05-16 2004-11-18 Victor Ivashin Method and system for delivering produced content to passive participants of a videoconference
JP2010141843A (ja) * 2008-12-15 2010-06-24 Brother Ind Ltd 会議システム、通信会議支援方法、会議端末装置及びプログラム
JP4585380B2 (ja) * 2005-06-03 2010-11-24 日本電信電話株式会社 次発言者検出方法、装置、およびプログラム
CN102170552A (zh) * 2010-02-25 2011-08-31 株式会社理光 一种视频会议系统及其中使用的处理方法
CN103548339A (zh) * 2011-05-19 2014-01-29 甲骨文国际公司 用于会议的时间相关的活动流
US8670018B2 (en) * 2010-05-27 2014-03-11 Microsoft Corporation Detecting reactions and providing feedback to an interaction

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7607981B2 (en) * 1996-12-30 2009-10-27 Walker Digital, Llc System and method for remote automated play of a gaming device
US6356303B1 (en) * 1997-02-05 2002-03-12 Canon Kabushiki Kaisha Camera control system with zoom lens control based on transmission time
US6894714B2 (en) * 2000-12-05 2005-05-17 Koninklijke Philips Electronics N.V. Method and apparatus for predicting events in video conferencing and other applications
JP3826827B2 (ja) * 2002-04-08 2006-09-27 日本電気株式会社 遠隔会議システムにおける発言管理システム
US8121886B2 (en) * 2004-12-03 2012-02-21 Ryma Technology Solutions Inc. Confidence based selection for survey sampling
US20070271580A1 (en) * 2006-05-16 2007-11-22 Bellsouth Intellectual Property Corporation Methods, Apparatus and Computer Program Products for Audience-Adaptive Control of Content Presentation Based on Sensed Audience Demographics
US20070282948A1 (en) * 2006-06-06 2007-12-06 Hudson Intellectual Properties, Inc. Interactive Presentation Method and System Therefor
EP2063767A4 (en) * 2006-09-05 2014-05-21 Innerscope Res Inc METHOD AND SYSTEM FOR DETERMINING THE RESPONSE OF A PUBLIC TO A SENSORY STIMULUS
EP2042969A1 (en) * 2007-09-28 2009-04-01 Alcatel Lucent Method for determining user reaction with specific content of a displayed page.
CN101842810B (zh) * 2007-10-30 2012-09-26 惠普开发有限公司 具有协作姿态检测的交互式显示系统
US20110052155A1 (en) * 2009-09-02 2011-03-03 Justin Desmarais Methods for producing low-cost, high-quality video excerpts using an automated sequence of camera switches
US20110072037A1 (en) * 2009-09-18 2011-03-24 Carey Leigh Lotzer Intelligent media capture, organization, search and workflow
US8628331B1 (en) * 2010-04-06 2014-01-14 Beth Ann Wright Learning model for competency based performance
JP2011228817A (ja) * 2010-04-15 2011-11-10 Sharp Corp 端末装置、監視装置、端末監視システム、端末装置の制御方法、監視装置の制御方法、制御プログラム、及び記録媒体
US8963987B2 (en) * 2010-05-27 2015-02-24 Microsoft Corporation Non-linguistic signal detection and feedback
WO2012051605A2 (en) * 2010-10-15 2012-04-19 Jammit Inc. Dynamic point referencing of an audiovisual performance for an accurate and precise selection and controlled cycling of portions of the performance
KR101412658B1 (ko) * 2010-11-15 2014-08-07 한국전자통신연구원 지오컨텍스트 생성 장치와 이를 이용한 공간 기반 상황 인식 서비스 제공 시스템 및 방법
US8520052B2 (en) * 2011-02-02 2013-08-27 Microsoft Corporation Functionality for indicating direction of attention
SG10201600432YA (en) * 2011-02-21 2016-02-26 Univ Singapore Apparatus, system, and method for annotation of media files with sensor data
US20120221960A1 (en) * 2011-02-28 2012-08-30 Robinson Ian N Collaborative workspace viewing for portable electronic devices
US8676937B2 (en) * 2011-05-12 2014-03-18 Jeffrey Alan Rapaport Social-topical adaptive networking (STAN) system allowing for group based contextual transaction offers and acceptances and hot topic watchdogging
US8842158B2 (en) * 2011-05-31 2014-09-23 Visionary Mobile Corporation System and method for teleconferencing
US8600956B2 (en) * 2011-08-16 2013-12-03 Nokia Corporation Method, apparatus and computer program product for providing conflicting point of interest information
JP2013135465A (ja) * 2011-12-27 2013-07-08 Sony Corp 音響信号処理装置、音響信号処理方法、プログラムおよび信号処理システム
US20130198629A1 (en) * 2012-01-28 2013-08-01 Microsoft Corporation Techniques for making a media stream the primary focus of an online meeting
US20130205314A1 (en) * 2012-02-07 2013-08-08 Arun Ramaswamy Methods and apparatus to select media based on engagement levels
US8866943B2 (en) * 2012-03-09 2014-10-21 Apple Inc. Video camera providing a composite video sequence
US8898687B2 (en) * 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
US20140091897A1 (en) * 2012-04-10 2014-04-03 Net Power And Light, Inc. Method and system for measuring emotional engagement in a computer-facilitated event
US8873851B2 (en) * 2012-06-29 2014-10-28 Intellectual Ventures Fund 83 Llc System for presenting high-interest-level images
US9014510B2 (en) * 2012-06-29 2015-04-21 Intellectual Ventures Fund 83 Llc Method for presenting high-interest-level images
JP2014050018A (ja) * 2012-09-03 2014-03-17 Ricoh Co Ltd 情報処理装置、ビデオ会議システム及びプログラム
US8897437B1 (en) * 2013-01-08 2014-11-25 Prosodica, LLC Method and system for improving call-participant behavior through game mechanics
US9412021B2 (en) * 2013-11-29 2016-08-09 Nokia Technologies Oy Method and apparatus for controlling transmission of data based on gaze interaction
US9386272B2 (en) 2014-06-27 2016-07-05 Intel Corporation Technologies for audiovisual communication using interestingness algorithms
US9491374B1 (en) * 2015-12-11 2016-11-08 Fuji Xerox Co., Ltd. Systems and methods for videoconferencing input and display management based on activity
JP1585380S (zh) 2017-04-24 2017-09-04

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040230651A1 (en) * 2003-05-16 2004-11-18 Victor Ivashin Method and system for delivering produced content to passive participants of a videoconference
CN1551632A (zh) * 2003-05-16 2004-12-01 ������������ʽ���� 向视频会议的消极参加者传递所制作内容的方法和系统
JP4585380B2 (ja) * 2005-06-03 2010-11-24 日本電信電話株式会社 次発言者検出方法、装置、およびプログラム
JP2010141843A (ja) * 2008-12-15 2010-06-24 Brother Ind Ltd 会議システム、通信会議支援方法、会議端末装置及びプログラム
CN102170552A (zh) * 2010-02-25 2011-08-31 株式会社理光 一种视频会议系统及其中使用的处理方法
US8670018B2 (en) * 2010-05-27 2014-03-11 Microsoft Corporation Detecting reactions and providing feedback to an interaction
CN103548339A (zh) * 2011-05-19 2014-01-29 甲骨文国际公司 用于会议的时间相关的活动流

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11949967B1 (en) 2022-09-28 2024-04-02 International Business Machines Corporation Automatic connotation for audio and visual content using IOT sensors
WO2024067198A1 (en) * 2022-09-28 2024-04-04 International Business Machines Corporation Automatic connotation for audio and visual content using iot sensors

Also Published As

Publication number Publication date
US20160381095A1 (en) 2016-12-29
EP3162052A4 (en) 2018-03-14
WO2015199871A1 (en) 2015-12-30
US10972518B2 (en) 2021-04-06
US20230051931A1 (en) 2023-02-16
CN106416233B (zh) 2020-04-10
US11863604B2 (en) 2024-01-02
KR20160146973A (ko) 2016-12-21
US20210297464A1 (en) 2021-09-23
US20240171622A1 (en) 2024-05-23
EP3162052A1 (en) 2017-05-03
KR101825569B1 (ko) 2018-02-05
US20150381932A1 (en) 2015-12-31
EP3162052B1 (en) 2019-05-01
US10440071B2 (en) 2019-10-08
US9386272B2 (en) 2016-07-05
US20200059499A1 (en) 2020-02-20
US11374991B2 (en) 2022-06-28

Similar Documents

Publication Publication Date Title
CN106416233A (zh) 用于使用兴趣度算法进行视听通信的技术
US10209516B2 (en) Display control method for prioritizing information
CN105519123B (zh) 实况众包的媒体流
US10779060B2 (en) Prediction model training via live stream concept association
CN104239416A (zh) 一种用户识别方法和系统
CN112199016B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
JP2015528120A (ja) 目のトラッキングに基づくディスプレイの一部の選択的強調
US10868999B2 (en) Eye gaze angle feedback in a remote meeting
KR101895846B1 (ko) 소셜 네트워킹 툴들과의 텔레비전 기반 상호작용의 용이화
US8803982B2 (en) Information processing apparatus, information processing method, program, and information processing system for determining a subject as being imaged by a plurality of imaging devices
US11568615B2 (en) Collaborative on-demand experiences
CN106462567A (zh) 增强的数据视图
US11681894B2 (en) Connected smart counter
JP2022142913A (ja) 会議支援制御装置および会議支援方法
EP3548996A1 (en) Eye gaze angle feedback in a remote meeting
CN114220175A (zh) 运动模式识别方法及其装置、设备、介质、产品
US11756302B1 (en) Managing presentation of subject-based segmented video feed on a receiving device
Ayyagari et al. CoSense: Creating shared emotional experiences
US11843829B1 (en) Systems and methods for recommending content items based on an identified posture
US20230388447A1 (en) Subject-based smart segmentation of video feed on a transmitting device
CN104349114A (zh) 共享内容的方法、设备和系统
CN113840100A (zh) 视频处理方法、装置和电子设备
Matsumura et al. InCamShare: An Automatic Playlist Creator Employs Users' Shared Experience on Mobile Devices
CN101742126A (zh) 具有视讯功能的可携式系统及提供视讯方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant