CN112655177B - 异步共同观看 - Google Patents

异步共同观看 Download PDF

Info

Publication number
CN112655177B
CN112655177B CN201980043254.2A CN201980043254A CN112655177B CN 112655177 B CN112655177 B CN 112655177B CN 201980043254 A CN201980043254 A CN 201980043254A CN 112655177 B CN112655177 B CN 112655177B
Authority
CN
China
Prior art keywords
user
reaction
initial user
engagement
reactions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980043254.2A
Other languages
English (en)
Other versions
CN112655177A (zh
Inventor
安德鲁·加罗德·博斯沃斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Inc
Original Assignee
Meta Platforms Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meta Platforms Inc filed Critical Meta Platforms Inc
Publication of CN112655177A publication Critical patent/CN112655177A/zh
Application granted granted Critical
Publication of CN112655177B publication Critical patent/CN112655177B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/52—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail for supporting social networking services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Computing Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

所公开的计算机实现的方法可以包括确定后续用户正在消费由初始用户先前消费的内容。计算机可以访问在初始用户消费内容时记录和同步的、初始用户对内容的各种反应。计算机可以进一步确定初始用户的反应中的至少一些具有高于预定阈值的参与度，然后提供具有高于预定阈值的参与度的反应，以用于在内容被后续用户消费时与内容同步地呈现给后续用户。还公开了各种其他方法、系统和计算机可读介质。

Description

异步共同观看
背景
内容的消费者通常喜欢与朋友和家人分享内容。这种分享通常涉及发送到某个网址的链接，或者可能发送到应用中的内容的直接链接。用户通常以异步方式查看或以其他方式消费此内容，其中一个用户首先查看该内容，然后将链接发送给随后查看该内容的其他用户。
一些内容分发网络已经发展为允许用户同时消费内容。例如，尽管位于不同的位置，但是电影观看平台允许成组的用户虚拟地聚集在同一观看室中，然后同时观看同一部电影。在电影播放期间，用户可以查看彼此对电影的反应(reaction)，看到各个组成员随电影一起兴奋或悲伤。然而，这些系统只为内容的同步消费而设计。
概述
如将在下面更详细地描述的，本公开描述了允许用户消费由其他用户先前消费过的内容，并在与内容的原始时间线(timeline)同步的情况下看到那些其他用户发生的反应的方法和系统。但是，只有他们满足最小参与度时，才会显示初始用户(initial user)的反应。因此，如果消费内容的初始用户只是观看或收听而没有反应，或者仅以最小的方式反应，则可能不会记录这些反应。相反，在一些示例中，只有那些足够相关的(involved)、强烈的(intense)或吸引人的(engaging)反应才会被记录。用户可以根据自己的喜好配置参与度(engagement level)。此外，当查看反应时，用户可以选择哪个显示器(或显示器的哪个部分)将显示记录的反应以及哪个显示器将显示主要内容。这样，稍后观看的用户可以完全控制他们看到哪些用户的反应，以及他们在哪些设备上看到这些反应。
在一个示例中，一种用于在反应满足最小参与度时，提供内容的同时提供用户反应的计算机实现的方法可以包括确定后续用户(subsequent user)正在消费内容，其中至少一些是初始用户先前消费过的。该方法可以包括访问在初始用户消费内容时记录和同步的、初始用户对内容的各种反应。该方法还可以包括确定初始用户的一些反应具有高于预定阈值的参与度。该方法还可以包括当内容被后续用户消费时，与内容同步地向后续用户提供参与度高于预定阈值的那些反应。
在一些示例中，初始用户对内容的反应包括视觉反应(visible reaction)、听觉反应(audible reaction)或由后续用户提供的用户应用或设备输入。在一些示例中，视觉反应可以是面部表情。在这种情况下，当初始用户的面部表情对应于预定面部表情或偏离预定基线面部表情特定量时，面部表情的参与度可以高于预定阈值。
在一些示例中，当视觉反应是身体姿势时，当身体姿势对应于预定身体姿势或超过身体运动的预定基线水平时，参与度可以高于预定阈值。在一些示例中，当反应是听觉反应时，当听觉反应超过预定音量(包括预定音调或包括特定词)时，听觉反应的参与度可以高于预定阈值。
在一些示例中，后续用户可能正在使用客户端设备来消费内容，并且参与度高于预定阈值的反应可以至少部分地在同一客户端设备上被呈现给后续用户。
在一些示例中，参与度高于预定阈值的反应可以至少部分地在与客户端设备相同的屏幕上的画中画视图中被呈现给后续用户。在一些示例中，当后续用户正在使用客户端设备来消费内容时，参与度高于预定阈值的反应可以至少部分地在不同于客户端设备的设备上被呈现给后续用户。在一些示例中，初始用户的反应由与初始用户在其上消费内容的客户端设备相关联的相机或麦克风记录。在一些示例中，可以赋予用户在消费内容的同时选择记录他们的反应的能力。
此外，用于当反应满足最小参与度时，提供内容的同时提供反应的相应系统可以包括几个模块(其中至少一些存储在存储器中)，这些模块包括处理器、系统存储器和内容监视模块，该内容监视模块确定后续用户正在消费内容，其中一些内容由不同的初始用户先前消费过。系统还可以包括数据访问模块，该数据访问模块访问在初始用户消费内容时记录和同步的、初始用户对内容的反应。系统还可以包括参与度确定模块，该参与度确定模块确定初始用户的反应具有高于预定阈值的参与度。系统还可以包括内容供应模块，该内容供应模块提供参与度高于预定阈值的反应，以用于当内容被后续用户消费时与内容同步地呈现给后续用户。
在一些示例中，如果反应度超过指定阈值，则系统可以向其他用户的计算设备发送通知。在一些示例中，初始用户的反应可以包括第三方应用的用户输入。在一些示例中，当内容被后续用户消费时，与内容同步地提供初始用户反应的有限子集。
在一些示例中，同步模块在具有高于预定阈值的参与度的初始用户的反应中的每一个的开始部分处将时间戳应用于内容。
在一些示例中，内容最初由包括初始用户在内的多个用户消费。在这种情况下，多个用户的反应可以被单独地记录和同步。更进一步地，呈现模块可以为具有高于预定阈值的参与度的用户的指定子集提供反应，以用于当内容被后续用户消费时与内容同步地呈现给后续用户。在一些示例中，内容是由第三方提供的，并且内容是用时间线标记(timelinemarker)和反应内容来被注释的。
在一些示例中，该系统还包括面部识别模块，该面部识别模块实现机器学习和/或人工智能来识别初始和/或后续用户的面部或面部特征。该系统还可以包括语音分析器，该语音分析器实现机器学习和/或人工智能以识别反应中的特定词、短语或声音。
在一些示例中，上述方法可以被编码为计算机可读介质上的计算机可读指令。例如，计算机可读介质可以包括一个或更多个计算机可执行指令，这些指令当由计算设备的至少一个处理器执行时可以使计算设备确定后续用户正在消费内容，其中至少一些由初始用户先前消费过。计算设备还可以访问在初始用户消费内容时记录和同步的、初始用户对内容的各种反应。计算设备还可以确定初始用户的一些反应具有高于预定阈值的参与度，然后提供参与度高于预定阈值的反应，以用于在内容被后续用户消费时与内容同步地呈现给后续用户。
根据本文描述的一般原理，来自上面提到的实施例中的任一个的特征可以彼此组合地被使用。当结合附图和权利要求阅读下面的详细描述时，这些和其他实施例、特征和优点将被更充分地理解。
附图简述
附图示出了许多示例性实施例，并且是说明书的一部分。连同下面的描述一起，这些附图展示并解释了本公开的各种原理。
图1示出了计算机体系结构，本文描述的实施例可以在其中操作，包括当反应满足最小参与度时，提供内容的同时提供反应。
图2示出了其中另一用户观看由用户消费和做出反应的内容的实施例。
图3示出了用于当反应满足最小参与度时，提供内容的同时提供反应的示例性方法的流程图。
图4示出了在满足最小参与度时可以存储的各种反应。
图5A示出了其中识别并存储视频反应数据的实施例。
图5B示出了其中识别并存储音频反应数据的实施例。
图5C示出了其中识别并存储应用或设备反应数据的实施例。
图6A示出了其中主要内容显示在监视器的主要部分上而反应内容显示在监视器的较小部分上的实施例。
图6B示出了其中主要内容显示在一个监视器上而反应内容显示在另一个监视器上的实施例。
图6C示出了其中主要内容显示在监视器上而反应内容显示在移动设备上的实施例。
图6D示出了其中主要内容显示在平板电脑上而反应内容显示在移动设备上的实施例。
图7示出了其中根据不同过滤器过滤用户反应的实施例。
图8示出了其中可以执行本文描述的实施例的计算环境。
在所有附图中，相同的附图标记和描述表示相似但不一定相同的元件。虽然本文所述的示例性实施例容许各种修改和替代的形式，但是特定的实施例在附图中作为示例被示出并且在本文将被详细描述。然而，本文描述的示例性实施例并不旨在受限于所公开的特定形式。更确切地，本公开涵盖落在所附权利要求的范围内的所有修改、等同物和替代方案。
示例性实施例的详细描述
本公开总体上涉及允许用户将内容与初始用户对同一内容的反应一起进行异步消费的系统和方法。在一些实施例中，并且如下面将更详细解释的，初始用户可以消费内容(例如，在电视上观看电影或棒球比赛)，并且当初始用户消费内容时，可以记录初始用户的现场反应(live reaction)并将现场反应与内容同步。后续用户以后可以消费同一内容(例如，观看电影或棒球比赛的重播)，并且当后续用户消费内容时，初始用户的至少一些反应可以与该内容被同步地呈现给后续用户。向后续用户呈现的初始用户的反应可以是初始用户的视频记录(例如，初始用户的面部)、初始用户的音频记录(例如，初始用户大笑或欢呼)、与内容相关的跨平台活动(例如，关于内容的社交媒体帖子)或其任意组合。初始用户的反应可以在后续用户正在其上消费内容的同一设备上(例如，通过屏幕上的画中画或者通过后续用户正在其上消费内容的设备的扬声器)或在另一设备上(例如，在屏幕上或者通过不用于消费内容的用户的移动电话或其他设备的扬声器)被呈现给后续用户。
在一些实施例中，只有足够有趣的或足够吸引人的或强烈的初始用户的反应才被呈现给后续用户。例如，如果内容是电影，并且初始用户只是茫然地、安静地观看电影，则初始用户在此期间的反应可能不够有趣，而不会呈现给后续用户(或者甚至当初始用户在现场时也不会被记录)。另一方面，如果初始用户的面部表情、姿势、语音或声音指示强烈的情绪响应(emotional response)，则初始用户在情绪响应时的反应可能足够有趣，以呈现给后续用户。一些实施例可以智能地确定初始用户的反应是否足够有趣以呈现给后续用户，并且仅呈现初始用户的足够有趣的反应。一些实施例可以仅当反应被认为足够有趣时才在数据存储中存储这些反应。可以通过多种方式来确定初始用户的反应是否足够有趣，这些方式包括通过对现场反应期间初始用户的视频的计算机视觉分析、通过对现场反应期间初始用户的计算机音频分析、通过对反应期间(或紧接其后)初始用户的活动的跨平台活动分析、或其任何合适的组合。
下面将参考图1-图8提供如何以及何时记录用户反应，以及如何将这些反应呈现给其他用户的详细描述。例如，图1示出了计算体系结构100，本文描述的许多实施例可以在该计算体系结构100中操作。计算体系结构100可以包括计算机系统101。计算机系统101可以包括至少一个处理器102和至少一些系统存储器103。计算机系统101可以是任何类型的本地或分布式计算机系统(包括云计算机系统)。计算机系统101可以包括用于执行各种不同功能的程序模块。程序模块可以是基于硬件的、基于软件的，或者可以包括硬件和软件的组合。每个程序模块可以使用或表示计算硬件和/或软件来执行指定的功能(包括下面描述的那些功能)。
例如，通信模块104可以被配置为与其它计算机系统进行通信。通信模块104可以包括能够从其它计算机系统接收数据和/或发送数据到其它计算机系统的任何有线或无线通信装置。这些通信装置可以包括无线电设备，例如包括基于硬件的接收器105、基于硬件的发射器106或能够接收和发送数据的组合的基于硬件的收发器。无线电设备可以是WIFI无线电设备、蜂窝无线电设备、蓝牙无线电设备、全球定位系统(GPS)无线电设备或其他类型的无线电设备。通信模块104可以被配置成与数据库、移动计算设备(例如移动电话或平板电脑)、嵌入式系统或其他类型的计算系统交互。
计算机系统101还可以包括内容监视模块108。内容监视模块108可以被配置成监视用户何时消费内容。内容可以是任何类型的用户或计算机生成的内容(包括视频内容、音频内容、书面内容、基于网络的内容、社交媒体内容、基于应用的内容或其他类型的内容)。简而言之，本文设想了可以呈现给用户以供消费的任何类型的数据，并且该数据在本文通常可以称为内容。通常，在下面的描述中，内容将被描述为视频内容，并且内容的消费将被称为观看，尽管这是任意选择的。
内容监视模块107可以确定后续用户115正在观看内容116。该内容116可能已经被包括初始用户117在内的各种其他用户观看过。当在本文使用这些术语时，在一些示例中，术语“初始用户”可以指消费内容并且(至少在一些情况下)同意记录他们的反应的用户(或用户组)。在一些示例中，术语“后续用户”可以指在稍后时间消费该内容的任何用户。稍后的时间可以是内容被初始用户查看后的仅仅几秒钟(或更短)，或者可以是几小时、几天或几年后。
当初始用户117正在观看内容116时，可以记录他或她的对内容的反应109。这些反应109可以记录在用户用来查看内容116的设备上，或者这些反应可以由另一个本地或远程计算机系统记录。这些反应可以包括但不限于由摄像机记录的视觉反应、由麦克风记录的听觉反应、与应用相关的反应(例如，提供诸如键入的输入或向应用提供姿势)、基于社交媒体的反应(例如，点赞(like)帖子、在分布式消息发送平台上向关注者发送短消息、对时间线进行评论等)、或者将指示用户正在对内容116做出反应的任何其他类型的手势或身体运动或设备交互。当用户的反应被记录时，进行记录的设备可以生成时间戳，该时间戳记录在内容116的持续时间内反应109何时发生。这些反应109然后可以与内容116一起被保存，并且然后可以与内容同步。因此，当后续用户115消费内容116时，初始用户的反应109可以与内容一起被显示或以其他方式被呈现。将在下面更详细地描述反应在哪里以及如何呈现给用户。
计算机系统101的数据访问模块108可以被配置成访问其他用户的反应，包括初始用户117的反应109。这些反应可以存储在例如数据储存器113中。这种存储的用户反应114可以经由本地或远程网络连接来访问，或者如果数据储存器是计算机系统101的一部分，则经由系统总线来访问。在其他情况下，初始用户的反应109可以在它们发生时被数据访问模块108访问，并且可以被提供给参与度确定模块110。
计算机系统101的参与度确定模块110可以被配置成确定初始用户反应的大小或幅度。如果给定的反应109是例如面部表情的变化，或者上下跳跃的动作，则参与度确定模块110可以确定用户的面部相对于基线水平改变了多少，或者可以确定用户的身体从静止位置移动了多少。参与度确定模块110还可以区分纯粹的运动(例如为了更舒适的位置而重新定位)和对内容的反应。如果反应109是听觉反应，则参与度确定模块110可以确定已经达到阈值分贝水平，或者在反应期间使用了给定的音调，或者说出了特定的词。如果反应109是基于应用的反应，则参与度确定模块110可以确定哪些输入被提供给应用，或者可以确定那些输入的结果。如果反应109是基于社交媒体的，则参与度确定模块110可以确定做出了哪些评论、或者点赞了哪些帖子或者分享了哪些照片等。
每种类型的反应可以具有其自己的阈值水平111，其适合于足够吸引人以呈现给后续用户115。将会理解，每种类型的反应都有不同的特征和不同的触发机制，其将动作识别为是否是对内容的反应。在许多情况下，用户的动作不会上升到值得向后续用户呈现的参与度。然而，当反应确实上升到该参与类型的阈值水平111时，该反应可以被记录并标记有时间戳。因此，当内容116被内容供应模块112呈现给后续用户(例如，用户115)时，初始用户的反应109可以与内容同步地被呈现。
图2示出了这样的内容呈现的示例。在200A中，示出了表示内容持续时间的内容时间线201。内容时间线201在0:00开始，并在14:43到达其终点。当初始用户202正在观看内容时，他们可能对该内容有反应。这些反应可以是积极的或消极的，并且可能以多种形式出现。如上参考图1所述，参与度确定模块110可以确定哪些反应109足够吸引人以被记录并与内容同步。因此，图1的参与度确定模块110可以确定反应1(203)发生在时间线201中的1:30，并且接收时间戳206A。反应1持续特定的时间量，如箭头和虚线所示。下面将进一步描述确定每个反应长度的方法。
沿着时间线201继续，反应2(204)(其持续时间更长)发生在10:26并接收时间戳206B，并且反应3(205)(持续时间短得多)发生在12:20并接收时间戳206C。然后，在200B，当后续用户207观看该内容时，提供相同的内容时间线201，但是该内容附加有初始用户的反应。当初始用户最初消费内容时，初始用户的反应在它们发生的确切时刻呈现在期望的显示器或设备上。以这种方式，后续用户207可以体验初始用户的反应，就好像后续用户正在与初始用户一起观看内容直播一样。这些概念将在下面关于图3的方法300进行更详细地解释。
图3示出了用于当反应满足最低参与度时，提供内容的同时提供用户反应的示例性计算机实现的方法300的流程图。图3中所示的步骤可以由任何合适的计算机可执行代码和/或计算系统(包括图1所示的计算机系统101)来执行。在一个示例中，在图3中所示的步骤中的每一个可以表示算法，其结构包括多个子步骤和/或由多个子步骤表示，将在下面更详细地提供其示例。
例如，图3从300开始，并在310进行到确定。该确定可以由图1的内容监视模块107来执行。内容监视模块107可以监视用户活动，以确定后续用户正在消费内容，其中该内容中的至少一些内容是由初始用户先前消费过的。例如，如图1所示，初始用户117可以消费内容116，并且可以在观看或以其它方式消费该内容时做出反应。
在至少一些实施例中，初始用户可以同意记录他们的反应。初始用户117可以同意记录他们的所有反应，或者只同意记录他们反应的选定子集。例如，初始用户117可以指示可以记录音频反应和视频反应，但是不能记录基于社交媒体的反应。初始用户用来观看内容的应用或平台可以向初始用户提供各种隐私选项，其允许用户指定可以记录哪些反应(或哪些类型的反应)。初始用户还可以返回(go back)并删除某些反应，或者指定只有某些用户可以看到某些反应。因此，本文描述的系统足够灵活，以允许初始用户指定由哪些人看到哪些反应。在一些示例中，如果需要，初始用户可以选择退出所有反应记录。
一旦初始用户117已经开始消费内容116，则数据访问模块108可以被配置为(在图3的步骤320)访问内容116连同在消费时记录和同步的、初始用户对内容的反应109。数据访问模块108可以基本上在反应109发生时访问它们，并将它们存储在长期和/或短期存储器中。数据访问模块108然后可以将这些初始用户反应109提供给参与度确定模块110。
参与度确定模块110可以(在图3的步骤330)确定具有高于预定阈值111的参与度的初始用户117的一些反应。对于初始用户提供的每种类型的反应109，该参与度可以不同。在一些实施例中，初始用户117可以针对每个反应类型指定参与阈值是什么。这样，只有那些满足参与阈值111的反应才会被记录。附加地或替代地，后续用户115可以针对每个内容类型指定参与阈值111是什么。在这种情况下，参与阈值将指定后续用户希望看到初始用户记录的反应中的哪些反应。低于阈值111的任何反应将被过滤掉，并且不向后续用户115示出。以这种方式，记录用户(即，初始用户117)和后续的消费用户115可以各自单独地指定哪些反应被记录以及哪些反应随内容一起被消费。这允许每个用户进行大量自定义以及关于初始用户的反应109采取了哪些操作进行控制。
一旦指定了参与度阈值111，则内容供应模块112然后(在步骤340)可以提供参与度高于预定阈值的那些反应以呈现给后续用户。当内容被后续用户115消费时，这些反应109可以与内容同步地被提供。如图2所示，初始用户的反应各自都被记录并被加上时间戳(例如，参见时间戳200A、200B和200C)。每个反应可以在与初始用户的身体运动、面部运动、叫喊(yell)、尖叫(scream)、社交媒体帖子或其他反应一致的时间开始，并且可以继续，直到计算机系统确定初始用户已经返回到反应开始之前存在的位置、表情或音量水平。机器学习和人工智能(AI)可用于分析视频和/或音频馈送(feed)，以确定很少或没有反应以及足够吸引人以被归类为可记录反应的反应之间的转换次数。机器学习和AI还可以用来确定反应何时结束，以及因此确定何时应该停止反应记录。在某些情况下，每个反应的开始和结束都可以各自用单独的时间戳来标记时间戳。
图4示出了初始用户关于一条内容可能具有的各种类型的反应401。例如，用户可以做出表示用户喜欢或不喜欢该条内容的面部表情402。用户可以微笑或扬起其眉毛或做出显示积极的反应的其他面部表情。类似地，用户可以皱眉、撅嘴或哭泣来指示对内容的消极反应。此外，用户可以以听觉方式做出反应(403)。这种听觉反应可以包括大声地喊叫、欢呼或叫喊。其他听觉反应可以包括表现出失望或可能是恐惧的音调。还有其它听觉反应可以通过机器学习或解释声音和识别词的AI软件来处理。然后可以分析这些识别出的词以确定这些词是表示喜欢还是不喜欢该内容。在某些情况下，所识别的短语可能是特定于上下文的，例如为特定的队或运动员欢呼，或者为进攻或防守更一般的欢呼。
在一些实施例中，反应401可以包括身体运动404，例如站起来、跳跃、挥舞拳头(fist pumping)、击掌另一个观众、坐下、无精打采、睡着、拍打膝盖、敲打桌子、投掷物体或以其他方式执行可解释为反应的身体动作。身体运动可以由照相机、可穿戴设备(例如，智能手表)、虚拟现实设备、空间传感器、计步器或设计用于捕获身体运动的其他硬件或软件系统来捕获。
在一些实施例中，反应401可以包括应用交互405。例如，当用户正在消费内容时，用户可以与诸如互联网浏览器、游戏、社交媒体应用或其他类型的应用之类的应用进行交互。初始用户可以使用该应用来评论他们正在消费的内容，或者可以评论其他帖子或新闻文章，这可能表明对该内容缺乏兴趣。用户可以在应用内采取指示对内容的喜欢或不喜欢的动作(例如向正在提供内容的社交媒体应用明确地提供喜欢或不喜欢的指示)。附加地或替代地，用户可以使用应用来提供与内容相关的评论(无论是口头的、文本的还是通过视频)。任何数量的应用交互或互联网网页交互都是可能的，并且如果对于该反应满足参与度阈值407，则任何一个都可以被记录为存储的反应408。更进一步，可以跟踪并记录任何类型的设备使用(device usage)406(包括拍照、发送文本消息、发送电子邮件或打电话)。同样，在大多数实施例中，将仅在选择加入的基础上提供这种活动跟踪，以保护初始用户的隐私。在某些情况下，这些设备使用反应可能只提供给初始用户选择的用户。
确定反应401是否将被记录由参与度阈值407来支配，并且可以另外由策略来确定。如上所述，内容的初始消费者可以完全控制允许或阻止所有反应的记录。在下面的示例中，假设初始用户已经同意其他人体验他们的反应。在某些情况下，初始用户可以选择哪些用户看到哪些类型的反应或者哪个级别的反应。因此，后续用户可能只看到那些属于特定类型或者足够强烈或吸引人以值得与该用户分享的反应。
参与度阈值407可以针对反应类型内的每个特定的反应来被单独地设定，或者可以针对整个反应类型来被概括地设定。在面部表情(例如，402)的情况下，例如，当初始用户的面部表情对应于预定面部表情(例如，面部表情匹配微笑的面部表情)或者偏离预定基线面部表情特定量时，面部表情的参与度可以高于预定阈值407。在一些情况下，视觉反应可以是身体姿势(例如，404)。在这样的情况下，当身体姿势对应于预定的身体姿势(例如，拍手或捂脸)或者超过身体运动的预定基线水平(例如，从椅子上跳起来)时，参与度407可以高于预定阈值。在一些情况下，当反应401是听觉反应(403)时，当听觉反应超过预定音量(包括预定音调或包括预定词)时，听觉反应的参与度可以高于预定阈值407。下面将参照图5A-图5C更全面地描述这些场景中的每一个。
机器学习和/或人工智能可用于识别词、手势、面部表情、设备活动、社交媒体活动或可被解释为对内容的反应的动作。如图5A-图5C所示，机器学习和AI硬件和/或软件模块可用于执行各种确定。例如，如图5A所示，视频反应馈送501A可以被发送到机器学习/AI模块502A。机器学习/AI模块502AA本身可以包括各种模块(包括面部识别模块503、面部运动监视器504和身体运动监视器505)。面部识别模块503可以被配置成观察用户的面部并确定用户正在做出什么类型的面部表情。面部识别模块503可以访问视频反应馈送501A，其可以包括来自用户设备的照相机和/或传感器数据。视频反应馈送501A可以仅包括用户的面部，或者可以包括用户的全身。面部识别模块503可以映射处于静止状态(rested state)的用户面部以确定用户的自然外观(包括他们的眼睛、鼻子、嘴、头发、眉毛、下巴、耳朵或其他特征的位置)。面部识别模块503可以被配置成确认用户的身份，以及与面部运动监视器504一起工作以确定用户的面部何时改变了表情。
在确定用户的面部已经改变了表情时，机器学习/AI模块502A可以确定发生了多少变化。机器学习/AI模块502A可以确定单个特征已经改变，或者多个面部特征已经改变。机器学习/AI模块502A可以确定一些面部特征有一点点改变，而其他特征改变很大。检测到的改变可以被分类为积极的、消极的或中性的。对应于强烈积极或强烈消极情绪的面部运动可以是超过参与度阈值506的那些面部运动。在其他情况下，仅适度地积极或消极的面部运动可以超过参与度阈值506。该阈值506可以专门为面部表情而建立，并且可以由其面部表情正在被捕获的初始用户来配置，或者可以由正在查看面部表情的形式的用户反应的后续用户来配置。
更进一步地，机器学习/AI模块520A的身体运动监视器可以接收视频反应馈送501A，并执行计算以确定是否发生了身体运动(如果是，则确定发生了哪种类型的身体运动)。身体运动监视器505可以被配置为将用户的身体运动与先前识别的身体运动相匹配，或者可以被配置为确定身体运动的总量。一旦确定，则该检测到的身体运动可以与参与度阈值506进行比较，以确定其是否足以有资格作为应当被存储(例如，507)并提供给后续用户的反应。
图5B示出了机器学习/AI模块502B，其可以包括与图5A的硬件和/或软件相同或不同的硬件和/或软件。图5B的机器学习/AI模块502B可以从初始用户接收音频反应馈送501B。机器学习/AI模块502B可以包括分贝(dB)计508，其确定音频反应馈送501B的声级。在一些情况下，参与度阈值511可以指定最小声级或dB度量。如果声级足够大，则它将被存储为记录的音频反应512。
机器学习/AI模块502B还可以包括音调分析器509。该音调分析器509可以被配置成接收音频反应馈送501B并分析初始用户语音的音调。如果检测到某些兴奋或愉快的音调，则这可能足以超过参与度阈值511。类似地，如果检测到某些庄重(demure)或悲伤的音调，则这可能足以超过阈值511。如果音调分析器509检测到强烈的或异常安静的声音音调，则这些还可以被记录为音频反应512。随着时间的推移，机器学习/AI模块502B可以在识别音调方面进行提高，并且可以学习哪些音调表示应该记录的反应以及哪些音调表示不感兴趣的反应。
机器学习/AI模块502B还可以包括语音识别模块510，其被配置为识别初始用户说出的词。语音识别模块510可以被配置成分析音频反应馈送501B并确定哪些声音是词，然后识别它们是哪些词。语音识别模块510可以简单地识别词，然后将这些词提供给处理器以用于确定词是否满足参与度阈值511。或者，语音识别模块510本身可以确定词是否足以有资格作为反应，并被存储在数据储存器中以供其他后续用户消费。
图5C包括机器学习/AI模块502C，其包括包含应用监视器513的模块。应用监视器513可以被配置为访问应用或设备反应馈送501C，其指示初始用户如何对一条内容做出反应。应用或设备反应馈送501C可以包括关于初始用户正在如何使用他们的设备的不同类型的信息(包括他们正在使用哪些应用、他们如何与应用进行交互、他们正在使用哪些类型的社交媒体平台、他们如何与那些平台进行交互)，或者可以识别与他们的设备或与设备上的应用进行的其他交互。应用监视器513可以识别用户与应用的交互，并将它们与关于应用反应的参与度阈值517进行匹配。如果应用反应符合足够吸引人的条件，则它们将作为记录的反应518存储在数据储存器中。类似地，设备监视器514可以被配置成识别初始用户与他们正在使用来消费内容的电子设备的交互。这些交互可以与设备交互的阈值参与度517进行比较，并且如果被认为足够吸引人，则其将被存储为反应518。
机器学习/AI模块502C还可以包括第三方网站或应用监视器515，其被配置为监视初始用户与第三方网站或应用的交互。更进一步地，机器学习/AI模块502C可以包括社交媒体监视器516，其监视初始用户与社交媒体平台相关的活动。在这两个模块(515和516)之间，可以监视初始用户的在线活动或与应用相关的活动的全部或选定部分(具有该用户的许可)。如果用户正在发表评论、发送短消息、点赞帖子、上传图片或视频、阅读动态消息(news feeds)或时间线或以其它方式与网站或社交媒体平台进行交互，则第三方网站或应用监视器515和/或社交媒体监视器516可以跟踪所执行的输入和动作，并记录超过那些类型的反应的参与度阈值517的那些输入和动作。
无论初始用户的反应采取何种形式，反应都可以以各种不同的形式呈现给后续用户。例如，在图6A中，主要内容(例如，电视节目)可以显示在电视或监视器601的大部分上，而反应内容603以画中画格式显示在监视器的一角。在这样的情况下，可以在同一屏幕上的画中画视图中向后续用户呈现参与度高于预定阈值(例如，图5C的517)的那些反应。如果后续用户正在移动设备上查看内容602和反应603，则主要内容可以显示在移动设备的大部分上，并且反应内容可以显示在移动设备的较小的画中画部分中。在某些情况下，如果反应是分布式消息或某些帖子的点赞，则消息或点赞通知可以叠加在用户用来消费主要内容的同一设备上的主要内容上。因此，无论主要内容是在电视、监视器、平板电脑、电话、手表还是其他设备上查看，反应内容603都可以以画中画模式显示在显示器的一角，或者反应内容可以以某种方式叠加在主要内容上。
在一些示例中，当后续用户正在使用客户端设备来消费内容时，参与度高于预定阈值的反应可以至少部分地在不同于客户端设备的设备上被呈现给后续用户(例如，参见图6B-图6D)。在一些示例中，初始用户的反应可以由与初始用户在其上消费内容的客户端设备相关联的照相机或麦克风来记录。显示主要内容和反应内容的许多其他场景也是可能的。
例如，图6B示出了实施例，其中主要内容602显示在一个电视或监视器601A上，而反应内容603显示在不同的电视或监视器601B上。这些监视器可能如图所示彼此紧邻，或者可能相隔一定距离。在其他实施例中，如图6C所示，主要内容602可以在电视或监视器601中显示，而反应内容603在诸如电话、平板电脑或手表的移动设备604中显示。反应内容603(无论是在同一监视器中还是在单独的设备中显示)与主要内容602同步，并且与图2中创建的时间戳200A-200C相匹配。
类似地，在图6D中，主要内容602可以在平板电脑605中显示，而反应内容603可以在移动电话604中显示。如本领域技术人员将理解的，基本上上述的任何组合都是可能的。此外，每个后续用户可以使用设置或策略来配置如何以及在哪里显示反应内容。这些策略可以是用户特定的(例如，使得当查看一个用户的反应内容时，它以图6B的方式显示，而另一个用户的内容以图6C所示的方式显示)。或者，策略可以是内容特定的(使得当观看电视节目时，反应内容以图6A所示的方式显示，而当观看电影时，反应内容以图6B所示的方式显示)。在某些情况下，后续用户可以提供手势或触摸输入来指示反应内容将被显示在哪里或哪个设备上。
可能存在当后续用户不想看到满足参与度阈值的所有反应时的情况。因此，并且如图7所示，可以实现各种过滤器710来减少向后续用户显示的反应的数量。每个后续用户可以完全控制他们看到哪些反应、哪些反应类型以及哪些特定用户的反应。后续用户最初可能(通过电子邮件、文本、应用通知等)接收到通知：与反应相关联的一条内容可供消费。该通知可以具有到内容的链接，或者可以直接包括内容。在查看内容之前，后续用户可能有机会设置应用于该条内容的过滤器或者通常应用于来自特定人或特定内容类型的内容的过滤器。一旦后续用户设置了过滤器，则计算机系统可以提供初始用户反应的有限子集。当内容被后续用户消费时，与内容同步地提供该反应的有限子集。
在图7中，一条内容709可以被多个初始用户(701、702、703和组704)消费。用户701提供反应705，用户702提供反应706，用户703提供反应707，并且组704提供反应708。在没有任何过滤器的情况下，所有这些反应(满足参与度阈值)将全部传递给后续用户。这可能会成为用户的负担。这样，后续用户(即，接收者717)可以实现用户过滤器711(例如，仅接收来自用户702的反应706和来自用户703的反应707)。在这样的情况下，用户过滤器711将过滤掉来自用户701的反应705和来自组704的反应708。如果接收者717改变主意并选择接收来自组704的反应708，则接收者可以使用组过滤器712以过滤出来自组内的反应。
例如，计算机系统可以使用机器学习和/或AI(通过语音或面部识别，或通过应用中的用户名)来确定来自用户组中的哪个用户正在提供反应。每个用户的反应可以以上述方式被单独地识别、加时间戳并与内容同步。然后，尽管可以签订(subscribe)接收者717以接收来自组704的反应708，但是接收者将仅接收来自由接收者选择的组内的那些用户的反应。当组成员的反应被检测和记录时(如果足够吸引人的话)，计算机系统可以被配置为排列最重要的反应或者最狂野的反应或者最有趣的反应等的列表。这些列表可以基于记录的视频、音频或应用数据自动生成，或者可以由用户生成。
反应类型过滤器713允许接收者717通过反应类型过滤来自不同用户的反应。因此，用户可以查看各种可用的反应类型(例如，在图4的401下列出的那些)，并且可以选择仅接收特定的反应类型。例如，不管是谁正在提供反应，接收者717可能只希望看到视觉和听觉用户反应。其他用户可能只关心社交媒体反应。因此，接收者717可以使用反应类型过滤器713来基于反应类型过滤反应。类似地，接收者717可以使用反应长度过滤器714来过滤掉太短或太长的反应，并且还可以使用反应数量过滤器715来基于它们的数量过滤掉反应。例如，过滤后的反应716的接收者可能只希望看到前15个反应，或者可能只希望看到来自反应不到5次的那些人的反应。所有这些过滤器可以相互组合使用以创造出接受者自己的反应的完美混合。在内容是公开的并且有数百或数千人观看并对其做出反应的情况下，这可能是特别有益的。过滤器可以提供接收者717期望的独特观看体验。
在一些示例中，内容可以由第三方提供。例如，电影或电视内容可以由在线视频流服务提供。在这样的情况下，本文的系统可以被配置成访问内容(或至少其相关联的元数据)，并且用表示反应何时发生的时间线标记来注释该内容(或元数据)。然后，可以(与第三方提供的主要内容同步地)向后续用户提供单独的反应内容馈送。尽管反应内容可以更深地嵌入主要内容或与主要内容整合，但是原生内容(native content)可以被类似地注释。
在一些示例中，上述方法可以被编码为计算机可读介质上的计算机可读指令。例如，计算机可读介质可以包括一个或更多个计算机可执行指令，这些指令当由计算设备的至少一个处理器执行时可以使计算设备确定后续用户正在消费内容(其中至少一些内容由初始用户先前消费过)。计算设备还可以访问在初始用户消费内容时记录和同步的、初始用户对内容的各种反应。计算设备还可以确定初始用户的一些反应具有高于预定阈值的参与度，然后提供参与度高于预定阈值的反应，以用于当内容被后续用户消费时与内容同步地呈现给后续用户。
图8是计算机系统的框图，计算系统可以用于实现一些实施例的特征(例如，实现内容供应模块)。计算系统800可以包括连接到互连件815的一个或更多个中央处理单元(“处理器”)805、存储器810、输入/输出设备825(例如，键盘和定点设备、显示设备)、存储设备820(例如，磁盘驱动器)和网络适配器830(例如，网络接口)。互连件815被示为表示由适当的网桥、适配器或控制器连接的任一个或更多个单独的物理总线、点到点连接或两者的抽象概念。因而，互连件815可以包括例如系统总线、外围部件互连件(PCI)总线或PCI-扩展总线、超传输或工业标准架构(ISA)总线、小型计算机系统接口(SCSI)总线、通用串行总线(USB)、IIC(I2C)总线或还被称为“火线”的电气和电子工程师协会(IEEE)标准1394总线。
存储器810和存储设备820可以表示可以存储实现各种实施例的至少部分的指令的计算机可读存储介质。此外，可以经由数据传输介质(例如，在通信链路上的信号)来存储或传输数据结构和消息结构。可以使用各种通信链路(例如互联网、局域网、广域网或点到点拨号连接)。因此，计算机可读介质可以包括计算机可读存储介质(例如，“非暂时性”介质)和计算机可读传输介质。
存储在存储器810中的指令可以被实现为软件和/或固件以对处理器805(一个或多个)进行编程来执行上面描述的动作。在一些实施例中，可以通过经由计算系统800(例如，经由网络适配器830)从远程系统下载这样的软件或固件来将这样的软件或固件最初提供给处理系统800。
因此，可以提供允许后续用户观看初始用户先前观看的内容，并看到原始内容的同时看到那些初始用户的反应的系统和方法。为了存储反应，然后将反应显示给后续用户，反应应该满足最小参与度。通过这种方式，后续用户不会被无趣的反应淹没。相反，只会显示后续用户感兴趣的那些反应。过滤器可用于专门选择特定类型的反应或来自特定用户的反应。在观看内容时，后续用户可以选择哪个或哪些设备显示主要内容以及哪个或那些设备显示反应内容。因此，稍后观看的用户可以完全控制他们看到哪些用户的反应以及他们在哪些设备上看到这些反应。
如上面所详述的，本文描述和/或示出的计算设备和系统广泛地表示能够执行计算机可读指令(例如在本文描述的模块中包含的那些指令)的任何类型或形式的计算设备或系统。在它们的最基本的配置中，这些计算设备(一个或多个)可以各自包括至少一个存储器设备和至少一个物理处理器。
在一些示例中，术语“存储器设备”通常指能够存储数据和/或计算机可读指令的任何类型或形式的易失性或非易失性存储设备或介质。在一个示例中，存储器设备可以存储、加载和/或维护本文描述的模块中的一个或更多个。存储器设备的示例包括但不限于随机存取存储器(RAM)、只读存储器(ROM)、闪存、硬盘驱动器(HDD)、固态驱动器(SSD)、光盘驱动器、高速缓存、这些部件中的一个或更多个的变形或组合或者任何其他合适的储存存储器。
在一些示例中，术语“物理处理器”通常指能够解释和/或执行计算机可读指令的任何类型或形式的硬件实现的处理单元。在一个示例中，物理处理器可以访问和/或修改存储在上述存储器设备中的一个或更多个模块。物理处理器的示例包括但不限于微处理器、微控制器、中央处理单元(CPU)、实现软核处理器的现场可编程门阵列(FPGA)、专用集成电路(ASIC)、这些部件中的一个或更多个的部分、这些部件中的一个或更多个的变形或组合或者任何其他合适的物理处理器。
尽管被示为单独的元件，但是本文描述和/或示出的模块可以表示单个模块或应用程序的部分。此外，在某些实施例中，这些模块中的一个或更多个可以表示一个或更多个软件应用或程序，其当由计算设备执行时可以使计算设备执行一个或更多个任务。例如，本文描述和/或示出的模块中的一个或更多个可以表示被存储和配置为在本文描述和/或示出的计算设备或系统中的一个或更多个上运行的模块。这些模块中的一个或更多个还可以表示被配置为执行一个或更多个任务的一个或更多个专用计算机的全部或部分。
此外，本文描述的模块中的一个或更多个可以将数据、物理设备和/或物理设备的表示从一种形式转换成另一种形式。例如，本文所述的模块中的一个或更多个可以接收待转换的数据、转换数据、输出转换的结果以执行功能、使用转换的结果来执行功能、以及存储转换的结果以执行功能。附加地或可替代地，本文所述的模块中的一个或更多个可以通过在计算设备上执行、在计算设备上存储数据、和/或以其他方式与计算设备交互来将处理器、易失性存储器、非易失性存储器和/或物理计算设备的任何其他部分从一种形式转换成另一种形式。
在一些实施例中，术语“计算机可读介质”通常指能够存储或携带计算机可读指令的任何形式的设备、载体或介质。计算机可读介质的示例包括但不限于传输类型介质(例如载波)以及非暂时性类型介质(例如磁性存储介质(例如，硬盘驱动器、磁带驱动器和软盘)、光学存储介质(例如，光盘(CD)、数字视频磁盘(DVD)和蓝光磁盘)、电子存储介质(例如，固态驱动器和闪存介质)以及其他分布系统)。
本文描述和/或示出的工艺参数和步骤的顺序仅作为示例被给出，并且可以根据需要变化。例如，虽然本文示出和/或描述的步骤可以以特定顺序被示出或讨论，但是这些步骤不必需要以所示出或讨论的顺序来被执行。本文描述和/或示出的各种示例性方法还可以省略本文描述或示出的步骤中的一个或更多个或者包括除了那些公开的步骤之外的附加步骤。
提供了前面的描述以使本领域中的其他技术人员能够最好地利用本文公开的示例性实施例的各种方面。该示例性描述并不旨在是穷尽的或限于所公开的任何精确形式。许多修改和变形是可能的，而不偏离本公开的精神和范围。本文公开的实施例应当在所有方面被认为是说明性的而不是限制性的。在确定本公开的范围时，应当参考所附权利要求及其等同物。
除非另外提出，否则如在说明书和权利要求中使用的术语“连接到”和“耦合到”(及其派生词)应被解释为允许直接和间接(即，经由其他元件或部件)连接两者。此外，如在说明书和权利要求中使用的术语“一个(a)”或“一个(an)”应被理解为意指“…中的至少一个”。最后，为了便于使用，如在说明书和权利要求中使用的术语“包括(including)”和“具有”(及其派生词)与词“包括(comprising)”可互换并具有与词“包括(comprising)”相同的含义。

Claims (20)

1.一种计算机实现的方法，包括：
确定后续用户正在消费视频内容，所述视频内容的至少一部分由初始用户先前消费过；
访问在初始用户消费所述视频内容时记录和同步的、初始用户对所述视频内容的一个或更多个反应，一个或更多个所述反应包括捕获的初始用户的至少一个现场视频反应；
确定包括初始用户的所述现场视频反应的一个或更多个所述反应具有高于预定阈值的参与度，所述参与度受到由初始用户和后续用户进行的单独定义的限制，允许初始用户指定自定义参与度，在初始用户的所述反应高于初始用户的所述自定义参与度时，记录初始用户的所述反应，并且允许后续用户指定自定义参与度，在初始用户的所述反应高于后续用户的所述自定义参与度时，呈现初始用户的所述反应以供查看；和
在确定初始用户的所述反应已达到由初始用户和后续用户定义的自定义参与度时，当所述视频内容被后续用户消费时，自动将包括所述现场视频反应的一个或更多个所述反应与所述视频内容同步地呈现给后续用户。
2.根据权利要求1所述的方法，其中，初始用户对所述视频内容的一个或更多个所述反应包括初始用户的视觉反应、初始用户的听觉反应或由初始用户提供的用户输入中的至少一个。
3.根据权利要求2所述的方法，其中，所述视觉反应包括面部表情，并且其中，当初始用户的所述面部表情对应于预定面部表情或偏离预定基线面部表情特定量时，所述面部表情的参与度高于所述预定阈值。
4.根据权利要求2所述的方法，其中，所述视觉反应包括身体姿势，并且其中，当所述身体姿势对应于预定的身体姿势或超过身体运动的预定基线水平时，所述参与度高于所述预定阈值。
5.根据权利要求2所述的方法，其中，当所述听觉反应有以下情形时，所述听觉反应的参与度高于所述预定阈值：
超过预定音量；
包括预定音调；或者
包括一个或更多个预定词。
6.根据权利要求1所述的方法，其中，后续用户正在使用客户端设备来消费所述视频内容，并且其中，参与度高于所述预定阈值的一个或更多个所述反应至少部分地在同一客户端设备上被呈现给后续用户。
7.根据权利要求6所述的方法，其中，参与度高于所述预定阈值的一个或更多个所述反应至少部分地在与所述客户端设备相同的屏幕上以画中画视图被呈现给后续用户。
8.根据权利要求1所述的方法，其中，后续用户正在使用客户端设备来消费所述视频内容，并且其中，参与度高于所述预定阈值的一个或更多个所述反应至少部分地在不同于所述客户端设备的设备上被呈现给后续用户。
9.根据权利要求1所述的方法，其中，初始用户的一个或更多个所述反应由与初始用户在其上消费所述视频内容的客户端设备相关联的照相机或麦克风记录。
10.根据权利要求1所述的方法，其中，初始用户选择加入以使初始用户的现场反应被记录下来。
11.一种系统，包括：
处理器；
系统存储器；
视频内容监视模块，其确定后续用户正在消费视频内容，所述视频内容的至少一部分由初始用户先前消费过；
数据访问模块，其访问在初始用户消费所述视频内容时记录和同步的、初始用户对所述视频内容的一个或更多个反应，一个或更多个所述反应包括捕获的初始用户的至少一个现场视频反应；
参与度确定模块，其确定包括初始用户的所述现场视频反应的一个或更多个所述反应具有高于预定阈值的参与度，所述参与度受到由初始用户和后续用户进行的单独定义的限制，允许初始用户指定自定义参与度，在初始用户的所述反应高于初始用户的所述自定义参与度时，记录初始用户的所述反应，并且允许后续用户指定自定义参与度，在初始用户的所述反应高于后续用户的所述自定义参与度时，呈现初始用户的所述反应以供查看；和
视频内容供应模块，其在确定初始用户的所述反应已达到由初始用户和后续用户定义的自定义参与度时，当所述视频内容被后续用户消费时，自动将包括所述现场视频反应的一个或更多个所述反应与所述视频内容同步地呈现给后续用户。
12.根据权利要求11所述的系统，还包括如果所述参与度超过指定阈值，向一个或更多个其他用户的计算设备发送通知。
13.根据权利要求11所述的系统，其中，初始用户的所述一个或更多个反应中的至少一个包括第三方应用的用户输入。
14.根据权利要求11所述的系统，其中，当所述视频内容被后续用户消费时，与所述视频内容同步地提供初始用户的反应的有限子集。
15.根据权利要求11所述的系统，其中，同步模块在具有高于预定阈值的参与度的初始用户的反应中的每一个的开始部分处将时间戳应用于所述视频内容。
16.根据权利要求11所述的系统，其中，所述视频内容由包括初始用户在内的多个用户消费，并且其中，所述多个用户的反应被单独地记录和同步。
17.根据权利要求16所述的系统，其中，呈现模块针对具有高于所述预定阈值的参与度的多个用户的指定子集提供反应，以用于当所述视频内容被后续用户消费时与所述视频内容同步地呈现给后续用户。
18.根据权利要求11所述的系统，其中，所述视频内容是由第三方提供的，并且其中，所述视频内容是用时间线标记和反应内容来被注释的。
19.根据权利要求11所述的系统，还包括以下项中的至少一项：
面部识别模块，其实现机器学习和/或人工智能以识别第一和/或初始用户的面部或面部特征；或者
语音分析器，其实现机器学习和/或人工智能以识别所述反应中的特定词、短语或声音。
20.一种计算机可读介质，包括：
计算机可读指令，其当由计算设备的至少一个处理器执行时使所述计算设备执行以下操作：
确定后续用户正在消费视频内容，所述视频内容的至少一部分由初始用户先前消费过；
访问在初始用户消费所述视频内容时记录和同步的、初始用户对所述视频内容的一个或更多个反应，一个或更多个所述反应包括捕获的初始用户的至少一个现场视频反应；
确定包括初始用户的所述现场视频反应的一个或更多个所述反应具有高于预定阈值的参与度，所述参与度受到由初始用户和后续用户进行的单独定义的限制，允许初始用户指定自定义参与度，在初始用户的所述反应高于初始用户的所述自定义参与度时，记录初始用户的所述反应，并且允许后续用户指定自定义参与度，在初始用户的所述反应高于后续用户的所述自定义参与度时，呈现初始用户的所述反应以供查看；和
在确定初始用户的所述反应已达到由初始用户和后续用户定义的自定义参与度时，当所述视频内容被后续用户消费时，自动将包括所述现场视频反应的一个或更多个反应与所述视频内容同步地呈现给后续用户。
CN201980043254.2A 2018-06-27 2019-08-12 异步共同观看 Active CN112655177B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/020,549 US10820060B1 (en) 2018-06-27 2018-06-27 Asynchronous co-watching
PCT/IB2019/056852 WO2020003292A1 (en) 2018-06-27 2019-08-12 Asynchronous co-watching

Publications (2)

Publication Number Publication Date
CN112655177A CN112655177A (zh) 2021-04-13
CN112655177B true CN112655177B (zh) 2022-09-06

Family

ID=67770550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980043254.2A Active CN112655177B (zh) 2018-06-27 2019-08-12 异步共同观看

Country Status (3)

Country Link
US (1) US10820060B1 (zh)
CN (1) CN112655177B (zh)
WO (1) WO2020003292A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11064255B2 (en) * 2019-01-30 2021-07-13 Oohms Ny Llc System and method of tablet-based distribution of digital media content
KR20210135683A (ko) * 2020-05-06 2021-11-16 라인플러스 주식회사 인터넷 전화 기반 통화 중 리액션을 표시하는 방법, 시스템, 및 컴퓨터 프로그램
US11277663B2 (en) 2020-05-18 2022-03-15 Mercury Analytics, LLC Systems and methods for providing survey data
US11361062B1 (en) * 2021-03-02 2022-06-14 Bank Of America Corporation System and method for leveraging microexpressions of users in multi-factor authentication
US11750883B2 (en) * 2021-03-26 2023-09-05 Dish Network Technologies India Private Limited System and method for using personal computing devices to determine user engagement while viewing an audio/video program
US11496333B1 (en) * 2021-09-24 2022-11-08 Cisco Technology, Inc. Audio reactions in online meetings
US20230328326A1 (en) * 2021-12-06 2023-10-12 Angel Studios, Inc. User Engagement

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104919485A (zh) * 2012-12-13 2015-09-16 微软技术许可有限责任公司 内容反应注释
CN107251020A (zh) * 2015-02-18 2017-10-13 谷歌公司 自适应媒体
CN107480614A (zh) * 2017-07-31 2017-12-15 广东欧珀移动通信有限公司 情绪管理方法、装置和终端设备
CN109872183A (zh) * 2019-01-16 2019-06-11 深圳壹账通智能科技有限公司 智能服务评价方法、计算机可读存储介质和终端设备
CN110019897A (zh) * 2017-08-01 2019-07-16 北京小米移动软件有限公司 显示图片的方法及装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7298930B1 (en) * 2002-11-29 2007-11-20 Ricoh Company, Ltd. Multimodal access of meeting recordings
US8081684B2 (en) * 2005-08-19 2011-12-20 Qualcomm Incorporated Picture-in-picture processing for video telephony
US20070100939A1 (en) * 2005-10-27 2007-05-03 Bagley Elizabeth V Method for improving attentiveness and participation levels in online collaborative operating environments
US8887068B2 (en) * 2009-07-31 2014-11-11 Verizon Patent And Licensing Inc. Methods and systems for visually chronicling a conference session
US20110161834A1 (en) * 2009-12-31 2011-06-30 omNovia Technology, Inc. Systems and Methods for Restoring and Recreating a Live On-Line Session
US8670018B2 (en) * 2010-05-27 2014-03-11 Microsoft Corporation Detecting reactions and providing feedback to an interaction
US9276892B2 (en) * 2011-11-29 2016-03-01 Liquid Girds Social dialogue listening, analytics, and engagement system and method
US20130304820A1 (en) * 2012-05-11 2013-11-14 Samsung Electronics Co., Ltd. Network system with interaction mechanism and method of operation thereof
US10762582B2 (en) 2012-07-19 2020-09-01 Comcast Cable Communications, Llc System and method of sharing content consumption information
US20140032265A1 (en) * 2012-07-26 2014-01-30 Experian Marketing Solutions, Inc. Systems and methods of aggregating consumer information
US20140233907A1 (en) * 2013-02-18 2014-08-21 Thomas Anderson Method and apparatus for creating and sharing multiple perspective images
EP3007456A4 (en) * 2013-05-30 2016-11-02 Sony Corp CLIENT DEVICE, METHOD, SYSTEM AND CONTROL PROGRAM
US9516259B2 (en) * 2013-10-22 2016-12-06 Google Inc. Capturing media content in accordance with a viewer expression
US9536329B2 (en) * 2014-05-30 2017-01-03 Adobe Systems Incorporated Method and apparatus for performing sentiment analysis based on user reactions to displayable content
US9734485B2 (en) * 2014-07-31 2017-08-15 Adobe Systems Incorporated Method and apparatus for providing a contextual timeline of an online interaction for use in assessing effectiveness
US20160042648A1 (en) * 2014-08-07 2016-02-11 Ravikanth V. Kothuri Emotion feedback based training and personalization system for aiding user performance in interactive presentations
US10645129B2 (en) * 2015-03-03 2020-05-05 Adobe Inc. Techniques for correlating engagement of attendees of an online conference to content of the online conference
US9967618B2 (en) * 2015-06-12 2018-05-08 Verizon Patent And Licensing Inc. Capturing a user reaction to media content based on a trigger signal and using the user reaction to determine an interest level associated with a segment of the media content
US10242007B2 (en) * 2015-07-14 2019-03-26 Verizon Patent And Licensing Inc. Automated media clipping and combination system
US20170034237A1 (en) * 2015-07-28 2017-02-02 Giga Entertainment Media Inc. Interactive Content Streaming Over Live Media Content
US9916866B2 (en) * 2015-12-22 2018-03-13 Intel Corporation Emotional timed media playback
US10504191B2 (en) * 2016-03-10 2019-12-10 Microsoft Technology Licensing, Llc Engagement-based selection of content for member segments of social networks
US9998796B1 (en) * 2016-12-12 2018-06-12 Facebook, Inc. Enhancing live video streams using themed experiences
CN109309878A (zh) * 2017-07-28 2019-02-05 Tcl集团股份有限公司 弹幕的生成方法及装置
CN107809674A (zh) * 2017-09-30 2018-03-16 努比亚技术有限公司 一种基于视频的用户反应获取、处理方法、终端及服务器
US10390097B1 (en) * 2018-05-30 2019-08-20 Rovi Guides, Inc. Systems and methods for creating an asynchronous social watching experience among users
US10990812B2 (en) * 2018-06-20 2021-04-27 Agora Lab, Inc. Video tagging for video communications

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104919485A (zh) * 2012-12-13 2015-09-16 微软技术许可有限责任公司 内容反应注释
CN107251020A (zh) * 2015-02-18 2017-10-13 谷歌公司 自适应媒体
CN107480614A (zh) * 2017-07-31 2017-12-15 广东欧珀移动通信有限公司 情绪管理方法、装置和终端设备
CN110019897A (zh) * 2017-08-01 2019-07-16 北京小米移动软件有限公司 显示图片的方法及装置
CN109872183A (zh) * 2019-01-16 2019-06-11 深圳壹账通智能科技有限公司 智能服务评价方法、计算机可读存储介质和终端设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Video Quality Assessment on Mobile Devices: Subjective, Behavioral and Objective Studies";Anush Krishna Moorthy，等;《IEEE Journal of Selected Topics in Signal Processing 》;20120808;全文 *
"视频网站个性化推荐服务模式研究";袁雅倩;《中国优秀硕士学位论文全文数据库信息科技辑》;20180815;全文 *

Also Published As

Publication number Publication date
CN112655177A (zh) 2021-04-13
US10820060B1 (en) 2020-10-27
WO2020003292A1 (en) 2020-01-02

Similar Documents

Publication Publication Date Title
CN112655177B (zh) 异步共同观看
US11148296B2 (en) Engaging in human-based social interaction for performing tasks using a persistent companion device
US10391636B2 (en) Apparatus and methods for providing a persistent companion device
US9894415B2 (en) System and method for media experience data
US20170206064A1 (en) Persistent companion device configuration and deployment platform
US10680993B2 (en) Sonic social network
WO2016011159A1 (en) Apparatus and methods for providing a persistent companion device
US20200275875A1 (en) Method for deriving and storing emotional conditions of humans
US20150031342A1 (en) System and method for adaptive selection of context-based communication responses
JP2018513511A (ja) メッセージ送信方法、メッセージ処理方法及び端末
WO2016007220A1 (en) Dynamic control for data capture
US20150254886A1 (en) System and method for generating animated content
KR102423257B1 (ko) 치매 환자의 기록 데이터 가공 서비스를 지원하는 시스템
WO2014025911A1 (en) Sensor input recording and translation into human linguistic form
WO2016206642A1 (zh) 机器人的控制数据的生成方法及装置
US11397601B2 (en) Interface and interruption management
US20210149952A1 (en) Information processing apparatus, information processing method, and program
US20180270178A1 (en) Method and apparatus for sharing materials in accordance with a context
US20210200500A1 (en) Telepresence device action selection
WO2018183812A1 (en) Persistent companion device configuration and deployment platform
US20170192995A1 (en) Method and device for managing personal media items

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: California, USA

Applicant after: Yuan platform Co.

Address before: California, USA

Applicant before: Facebook, Inc.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant