CN109565614A - 多个流调节 - Google Patents

多个流调节 Download PDF

Info

Publication number
CN109565614A
CN109565614A CN201780033493.0A CN201780033493A CN109565614A CN 109565614 A CN109565614 A CN 109565614A CN 201780033493 A CN201780033493 A CN 201780033493A CN 109565614 A CN109565614 A CN 109565614A
Authority
CN
China
Prior art keywords
user
content stream
group
content
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780033493.0A
Other languages
English (en)
Other versions
CN109565614B (zh
Inventor
奥列格·博格瑞利克
丽塔·H·沃哈比
艾利克斯·内什图特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN109565614A publication Critical patent/CN109565614A/zh
Application granted granted Critical
Publication of CN109565614B publication Critical patent/CN109565614B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/535—Tracking the activity of the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147—PVR [Personal Video Recorder]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4756—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for rating content, e.g. scoring a recommended movie
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4784—Supplemental services, e.g. displaying phone caller identification, shopping application receiving rewards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本文描述了用于多个流调节的系统和技术。可以接收多个内容流。可以对多个内容流进行排名。在用户观察多个内容流中的至少一个内容流时，可以对用户注意力水平进行评分。可以将用户注意力水平和至少一个内容流的排名与多个内容流的剩余排名进行比较以产生差异。可以基于差异对来自多个内容流的一组内容流执行流动作。

Description

多个流调节
优先权声明
本申请要求于2016年6月28日提交的序列号为15/195,203的美国申请的优先权权益，其全部内容通过引用合并于此。
技术领域
本文描述的实施例总体涉及视频信道调节，更具体地涉及多个流调节。
背景技术
视频信道调节(tuning)(例如，选择广播或有线电视系统中的节目)涉及对来自多个可用流中的视频内容流进行导航和选择。通常发布针对这些流的节目以允许用户识别找到期望节目的频道和时间。
附图说明
在不一定按比例绘制的附图中，相同附图标记可以描述不同视图中的类似组件。具有不同字母后缀的相同数字可以表示类似组件的不同实例。附图通过示例而非限制的方式一般地示出了本文件中讨论的各种实施例。
图1是根据实施例的包括用于多个流调节的系统的环境的示例的框图。
图2示出了根据实施例的用于多个流调节的系统的示例的框图。
图3示出了根据实施例的用于多个流调节的方法的示例的流程图。
图4示出了根据实施例的用于多个流调节的方法的示例的流程图。
图5是示出可以在其上实现一个或多个实施例的机器的示例的框图。
具体实施方式
随着包括频道在内的信息源的爆炸式增长，获取信息的问题不是缺乏信息的问题，而是在视频流、频道、和其他内容源的海洋中定位期望信息的问题。在考虑大众媒体(例如，电视)时，这个问题可能会恶化，因为通常关注单频道，设备和用户可能专注于这种媒体。例如，观看电视频道的用户可能必须跟踪供选择的节目的时间表以避免错过有趣的事件。对于没有时间表的事件(例如，突发新闻、证券交易所报告、无聊游戏中的惊喜等)，问题可能会恶化。
一些用户可能频繁地在若干频道或流之间进行切换，试图捕获重要事件或内容。必须进行这种频繁的切换通常会对观看者享受内容的能力产生负面影响，从而降低用户体验。此外，这些观看者可能在切换到已经正在进行的事件时错过重要细节，或可能在错过在背景发生的关键事件信息之后变得沮丧。此外，在没有其他事件发生时，通过不断切换当前内容可能会对观看者对该内容的享受产生负面影响。
针对上述问题的当前解决方案可以包括画中画(PIP)(例如，一次观看不止一个流)、或基于自动调度器的切换器以用于自动改变频道。这些技术允许同时观看有限数量的流，并且仍然让用户对所观看的内容以及从一个频道切换到另一频道的原因进行负责。此外，这些技术不能充分解决直播事件，并且可能需要复杂的“程序制定(programming)”，从而针对不熟练的用户降低这些技术的有效性。
为了解决上述技术困难，当前描述的系统和技术结合了相对于流中的内容信号、基于可观察的用户行为的多个流排名。因此，可以确保个人不会错过重要事件，同时免于亲自监视这些流或手动在流之间进行切换。通过在视频/音频设备中实现系统控制器以提供对流内容的实时评估，系统可以代表用户进行智能切换选择。该评估可以采用特定于每个观看者(例如，选择的观众)的兴趣得分(IS)或排名，模仿观看者自己将做出的选择。频道切换可能不是在所有情况下都是合适的或期望的。代替切换到另一频道，系统可以还通知(例如，提示)用户、将事件放在PIP窗口中、在背景播放事件、调整音频(例如，变得更大或更柔和)或视频(例如，变得更亮、更暗，或改变对比度、饱和度等等)设置，从而就事件的发生促进与用户的通信。
内容评估可以基于使用图像或语音识别引擎，该图像或语音识别引擎对频道的视频或音频流进行扫描。这些识别引擎可以应用预训练的或显式的模型来识别与用户相关的事件触发。然后，在一个触发模式匹配时，引擎可以发起预定义的后续动作。这些预定义的后续动作指导音频或视频选择和显示机制以向观看者呈现内容，或以另一方式与观看者进行通信(例如，通过向用户通信设备传输文本消息)。
将使用用户兴趣配置文件(User Interest Profile，UIP)来计算兴趣得分或排名，该UIP随着时间的推移利用用户观察来学习和改进。系统监视用户的行为，例如，选择哪些频道、何时发生频道改变、情感暗示(例如，对在观看、提醒、自动频道改变等期间捕获的用户的图像或音频的情绪分析)、类似用户的兴趣和选择等。基于用户对内容的反应或用户与内容的交互来对内容进行排名提供了一种强大且不断改进的机制，通过该机制可以正确地评估用户对当前用户不可见内容的兴趣，切换观看或音频设备以传递该内容，所有这些都不强迫用户理解该过程，更不需要手动干预。
实现本文提供的系统和技术提供了优于当前技术的以下益处。通过及时传送内容而不强迫用户自己切换频道来改善用户体验。例如，使用来自众多用户的内容排名来传递跟踪关键或重要直播事件的可靠方式。通过使得用户和开发人员不必明确定义内容兴趣规则，系统能够实现可扩展；随着附加的用户观察被注意到并且被结合到当前模型中，这些匹配模式与用户一起成长。此外，系统利用独特的高级交互场景案例(例如，基于情绪的频道选择或人群来源事件评级)来扩展简单的用户观察。简而言之，本系统和技术允许一种无关注机制(attention-free mechanism)以向用户传送有趣内容，而不需要大量的用户程序制定或调度管理，并且不需要大量的开发人员干涉，这提供了优于当今PIP或自动调度系统的益处。
图1是根据实施例的包括用于多个流调节(tuning)的系统105的环境100的示例的框图。系统105包括解码器110、内容传感器阵列115、传感器120、比较器125、和切换器130。解码器110被布置为接收多个内容流。解码器110将内容流提供给切换器130以用于最终显示在监视器145等等上，并且还将流提供给内容传感器阵列115以用于评估。解码器110被实现为与网络、天线或其他广域接收器接口连接以获得流数据。解码器110还被布置为将流数据解码为要由其他组件消耗或在监视器145上呈现的图像和声音的时间序列。解码可以包括数字文件格式解码、NTSC解码等。如图所示，虚线表示内容流通过系统105的移动，其中最终在监视器145上显示单个流。实线指示组件内消息传递，以最终选择要显示的内容流。
内容传感器阵列115被布置为对多个内容流进行排名。该排名包括针对用户配置文件(例如，UIP)评估内容流的图像、音频或元数据。在示例中，内容传感器阵列115包括多个内容传感器。在示例中，内容传感阵列115包括针对每个内容流的内容传感器。在示例中，对多个内容流进行排名包括，针对多个内容流中的每个内容流，内容传感器将一组测定(assay)应用于内容流以产生一组测定结果(artifact)。在示例中，该组测定中的成员是自动语音识别(ASR)。在该示例中，该组测定结果中与ASR测定相对应的成员是字符串(例如，内容流的音频部分中存在的话语或声音的转录或描述)。在示例中，递归神经网络(RNN)、应用于深度信念网络(DBN)的移动窗口、或卷积网络上的移动窗口中的至少一个被训练以实现ASR。
在示例中，该组测定中的成员是视觉分类器。在该示例中，该组测定结果中的成员包括与视觉分类器的输出相对应的对象标识。这类对象标识可以包括面部(例如，标识名人面部)、上下文(例如，棒球场)、或简单地为对象本身。在示例中，视觉分类器对内容流的静止图像样本进行操作。在示例中，视觉分类器对内容流的视频样本进行操作，其中，该样本是内容流的子集。该示例不同于通常用一些反馈神经网络实现的视频分类器。静止图像分类器的设计往往足以用于当前目的，同时降低与视频分类器相关联的硬件和训练成本。在示例中，视觉分类器被布置为执行光学字符识别(OCR)。在该示例中，对象标识采用描述对象标识的字符串(例如，单词、短语、句子等)的形式。因此，如果猫的图像被成功分类，则对象标识可以简单地是“猫”。然而，应当理解的是，可以使用更复杂的字符串，例如，“灰猫”、或甚至可解析的格式，例如，Javascript对象表示法(JSON)，例如，‘动物{“种类”：“猫”，“颜色”：“灰色”，“尺寸”：“大”，“名称”：{“名”：“Whiskers”，“姓”：“McWhiskerface”}}’。
可以在安装上述分类器之后通过固件等对其进行更新，并且可以通过传感器120和系统105的训练设备的操作来对其进行更新。也就是说，随着时间的推移，当针对内容流选择做出用户选择时(例如，用户立即覆盖内容流选择)，基础分类器被修改(例如，重新训练以结合附加反馈)并且被更新。以这种方式，内容传感器阵列115随着用户140一起演进。
传感器120被布置为在用户140观察多个内容流中的至少一个内容流时对用户注意力水平进行评分。如图所示，传感器120附接到相机以在视觉上观察用户140。传感器120还可以包括或附接到麦克风、非可见光传感器(例如，红外接近传感器)、超声传感器、电磁传感器、或甚至社交网络传感器(例如，接口或机器人，用于检查用户140在其他论坛(例如，社交网络、留言板等)中的帖子或活动)，以收集对用户104的观察。
在示例中，传感器120被布置为在采样时间段中观察用户动作，并且计算针对用户动作的注意力得分。用户动作是采样时间段期间用户的可分解活动。例如，用户动作可以是观看监视器145。例如，与保持在监视器145前面但是看着手持设备相比，该动作可以接收较高的注意力得分。这样的动作可以指示当前内容流有点有趣但是对于用户设备上的任意内容而言不够有趣。在另一示例中，用户动作可以是用户手动改变到替代频道，从而暗示用户对当前内容流不感兴趣(例如，低注意力得分)。
在示例中，为了观察用户动作，传感器120被布置为利用情绪分析来评估采样时间段期间的用户的一个或多个图像。在示例中，观察用户动作包括，传感器利用情绪分析来评估语音样本。情绪分析提供了用户状态的情感量化。通常可用于自动情绪分析的示例情感包括厌恶、愤怒、快乐或满足、以及无聊。在示例中，观察用户动作包括，传感器120接收与采样时间段相对应的主题的用户评级。在该示例中，用户明确参与对给定流的内容进行评级可以与当前内容流同时配对。因此，如果用户喜欢当前内容流，则对该内容流的各方面的偏好将被结合到传感器阵列115，以在将来提供更好的用户体验。
比较器125被布置为将用户注意力水平以及至少一个内容流的排名与多个内容流的剩余排名进行比较以产生差异。也就是说，内容流由传感器阵列115进行排名。传感器120还对当前用户注意力水平进行评分。当呈现具有高排名的内容流时，比较器125将对该内容流进行更有利地评级(相对于当前流)，建议切换器130呈现新的、排名更高的内容流。然而，如果用户注意力水平使得切换可能会有问题，则比较器125将指示切换器采取另一流动作，例如，向用户的电话发送通知、在PIP中提供新的内容流等。示例性的有问题的用户注意力水平可以包括指示用户非常关注当前内容流、真正享受当前内容流、或完全关注其他内容(例如，来电)的注意力水平。在这些情况中的每一种情况下，简单地切换到新的内容流可能损害用户体验或使得内容流的呈现干扰生活事件(例如，通过呼叫、或与房间中的某人争论、或意外等表示的生活事件)。比较器125平衡内容流排名(例如，评估内容流对用户140的可能价值的结果)和用户对当前内容流的注意力，其通常可以是内容流的代理(例如，完全没有注意力可以被视为此时不会进一步强加给用户140的队列)。
切换器130被布置为基于差异对来自多个内容流中的一组内容流执行流动作。流动作涉及流，例如，将内容流显示给监视器145。然而，给定多个内容流中的第二内容流(例如，当前或新的内容流)，以下是流动作的示例。在示例中，流动作是当第二内容流具有与屏幕上的当前内容流相比更高的排名时用第二内容流替换当前内容流。在示例中，流动作是用来自第二内容流的具有与当前音频流相比更高的排名的音频流替换当前音频流。在示例中，流动作是当第二内容时将第二内容流放置在屏幕上的画中画容器中。在示例中，流动作是记录第二内容流。在示例中，流动作是修改第二内容流的音频部分的音量。在示例中，流动作是向用户呈现关于第二内容流的通知。
切换器130还可以在其切换决策中结合用户上下文135。用户上下文135作为传感器阵列115对来自比较器125的经排名的流的实时修改进行操作。因此，可以通过切换器130来评估尚未结合到内容传感器阵列115中的用户反馈。因此，在示例中，切换器130被布置为基于测定结果评估来修改内容流的排名，测定结果由内容传感器阵列115中的内容传感器115产生。在示例中，切换器130被布置为在针对用户140的用户上下文135中评估一组测定结果以产生测定结果评估。在示例中，在用户上下文中评估一组测定结果包括，切换器130在用户上下文中执行字符串中的文本与令牌之间的语义比较。在示例中，切换器130被布置为将注意力得分与采样时间段期间来自内容流的一个或多个令牌相关联，并且更新用户上下文以包括针对一个或多个令牌的经修改的注意力得分。这里，包括与用户动作相对应的得分的令牌(该用户动作与对应于令牌的主题相关)可以被用来修改用户上下文135。例如，字符串可以包括精彩体育比赛的描述(例如，意外的拦截)，切换器130将内容流切换到监视器145，使得用户140可以观察到事件的结论。然后，用户140立即切换回频道。这里，用户上下文可以根据观察到的用户对重新设置频道的反应来减少或忽略未来频道切换操作对于比赛的描述。
在示例中，其中用户上下文135包括对于一组用户150的匹配群组。在用户上下文135中评估一组测定结果包括，切换器130使用来自该组用户150中的成员的第二用户上下文的一部分来产生测定结果评估。当针对用户140和给定内容流存在有限的用户上下文135或内容传感器阵列115训练时，该技术是有价值的添加。对等(peer)150可以在多个人口统计学基础上匹配用户140，例如，多个人口统计学可以包括年龄、经济状况、地点、关系状况、声称的兴趣、团体会员等。通常，对等150可以被提供有关于内容流的用户上下文信息，其值可以被推断给用户140。这些推断允许系统105填充关于用户140的知识空白，同时仍然为用户140提供响应式的准确的内容流选择。
图2示出了根据实施例的用于多个流调节的系统200的示例的框图。系统200包括内容跟踪系统204、扬声器252、和监视器254。如图所示，多个内容流202在内容跟踪系统204运行时通信地耦合到内容跟踪系统204。这种耦合可以采取多种形式，例如，通过网络连接(其中流内容被分组化并且共享物理资源(例如，通过互联网流式传播的信道))、或通过广播(无论是有线的(例如，同轴电缆)还是无线的(例如，无线广播电视))。
在流路径上存在一个或多个内容监视器205。如图所示，每个流202具有内容监视器205。而且，如图所示，虚线表示音频流路径，细实线表示视频流路径。内容监视器205可以包括语音识别器207、图像识别器209、和由识别器匹配的模式的数据存储211。语音识别器207和图像识别器209中的每一个都在计算机硬件中实现，并且体现用于这种目的的一个或多个分类器或统计引擎。例如，这些机制允许内容监视器205从预定义列表中检测图像或单词/短语。如果在流202中检测到一个或多个匹配模式，则内容监视器205将获取流切换引擎的指令系统中的相应动作，例如“切换到”、“记录”、“播放消息”等。然后，内容监视器205可以向流切换引擎220发起匹配触发(点线)。在示例中，匹配触发采用分组化消息的形式，例如，“切换请求{输入流ID，所需动作，优先级，超时}”。
用户感测引擎240是实现各种技术的子系统，用于结合可观察的用户行为来更新或修改内容监视器205的内容评分。可以被监视和被操作的示例用户行为包括，在给定时间选择特定频道、或用户对流202的特定场景、所发出的关键词或短语的情感反应。该学习基于例如用户感到厌倦(例如，视觉情绪分析)、打电话(例如，音频取样)、或频道预览，以匹配触发的形式直接向流切换引擎220提供用户上下文。用户感测引擎240的结果还可以提供(例如，通过查找用户当前感兴趣的主题的关键字)用于更新内容监视器205的匹配模式的基础，或用于校正/更新语音识别器207的分类器(例如，更新ASR模型以涵盖语音障碍情形)或图像识别器209的分类器的基础。在示例中，用户感测引擎240或内容监视器205可以实现或连接到用户界面，允许用户从预定义关键词和短语的表中选择关键词、或定义个人词典，从而调用匹配触发。匹配触发的后续操作将从特定设备支持的并且由原始设备制造商定义的预定义或经学习的操作的列表中选择。
流切换引擎220包括一个或多个输入和输出端口以及这些端口之间的切换器，用于管理音频和视频输出。例如，输入端口可以接受匹配触发，并且输出端口可以与扬声器252(或扬声器252的音频混合器)和视频输出驱动器250(例如，视频卡、混合器等)接口连接。如图所示，输出端口连接由将流切换引擎220连接到扬声器输入线和视频输出驱动器250的粗实线表示。通过接受匹配触发并且根据匹配触发进行动作，流切换引擎220根据预定义规则和从用户感测引擎240接收到的实际内容“兴趣状态”来显示流内容。如果基于(例如，根据匹配触发消息确定的)流排名，要显示不止一个流，则流切换器220可以通过忽略匹配触发、随机选择流202、或(例如，通过记录未示出的流202来)延迟上下文切换来解决冲突。
利用这些组件，内容跟踪系统204提供以下服务：运行若干流，选择内容以在输出设备(例如，扬声器252或监视器254)上呈现，将语音翻译成文本以进一步将流内容与用户期望内容的模型进行匹配，匹配来自视频内容的图像(例如，基于不同频率的快照)以执行与用户模型的内容匹配，通过基于用户模型的标准(例如，特殊关键字、短语、时间、时间段等)来切换流，以及当输出资源与内容排名之间存在竞争时记录音频或视频。
虽然从用户感测引擎240产生用户上下文和模型构建(其被记录在用户行为存储242中)，但是可能出现这样的情况，即在给定的一组环境下没有机会观察用户。这里，可以利用人群感测引擎260来增强内容跟踪系统204。人群感测引擎260在操作时耦合到其他用户的多个用户数据馈送262。数据馈送可以包括对等(例如，基于人口统计学的相关用户、类似的内容选择配置文件、重叠切换决定中的相似性、或用户自己的明确指定)的切换决定。
系统200运行的示例可以包括，用户已经将电视调节到体育频道。用户的手机铃声响起，用户降低了电视的音量。情绪和内容分析指示用户正在与爱人进行交谈。在这次谈话中，出乎意料的是，(通过在线或在起居室中的先前用户交互确定的)喜爱的球队的球员抢断了球。用户感测引擎240检测来自不同家庭的观看该比赛事件的其他人(例如，对等)的增加的心率、音频活动和物理运动。然而，用户并没有正看着监视器254(由诸如相机之类的本地传感器检测到)。当流切换引擎220查询动作表222时，匹配触发指示正在显示正确的流202，但是用户上下文需要附加动作，即向用户的健身可穿戴设备发送提醒消息，该消息指出“球队可能得分”。现在，用户的目光可以前往电视屏幕。在用户关注改变的情况下，流切换引擎240可以打开隐藏字幕，允许用户在保持这一动作的同时收听电话。如上所述，可以基于用户过去可能做过的事情来学习动作242，并且通过人群反应262来共享动作242，以增强内容跟踪系统的功效。
图3示出了根据实施例的用于多个流调节的方法300的示例的流程图。方法300的操作在计算机硬件中被实现，例如，上面和下面针对图1、图2和图4描述的计算机硬件(例如，电路)。
在操作305处，接收多个内容流。
在操作310处，对多个内容流进行排名。在示例中，对多个内容流进行排名包括，针对多个内容流中的每个内容流，将测定各个流，将评估测定结果，并且将使用结果来修改流排名。
在示例中，测定流包括，将一组测定应用于内容流以产生一组测定结果。在示例中，该组测定中的成员是自动语音识别(ASR)。在示例中，该组测定结果中与ASR测定相对应的成员是字符串。在示例中，递归神经网络(RNN)、应用于深度信念网络(DBN)的移动窗口、或卷积网络上的移动窗口中的至少一个被训练以实现ASR。
在实例中，该组测定中的成员是视觉分类器。在示例中，该组测定结果中的成员包括与视觉分类器的输出相对应的对象标识。在示例中，视觉分类器对内容流的静止图像样本进行操作。在示例中，视觉分类器对内容流的视频样本进行操作，该样本是内容流的子集。在示例中，视觉分类器执行光学字符识别(OCR)，并且其中对象标识是字符串。
在示例中，评估测定结果包括，在针对用户的用户上下文中评估该组测定结果以生成测定结果评估。在示例中，在用户上下文中评估该组测定结果包括，在用户上下文中执行字符串中的文本与令牌之间的语义比较，令牌包括与用户动作相对应的得分，用户动作与对应于令牌的主题相关。在示例中，用户上下文包括对于一组用户的匹配群组，并且其中，在用户上下文中评估该组测定结果包括，使用来自该组用户的成员的第二用户上下文的一部分来产生测定结果评估。在示例中，修改内容流的排名是基于测定结果评估的。
在操作315处，在用户观察多个内容流中的至少一个内容流时，对用户注意力水平进行评分。
在操作320处，将用户注意力水平和至少一个内容流的排名与多个内容流的剩余排名进行比较以产生差异。
在操作325处，基于差异对来自多个内容流的一组内容流执行流动作。在示例中，给定多个内容流中的第二内容流，流动作包括当第二内容流具有与屏幕上的当前内容流相比更高的排名时用第二内容流替换当前内容流。在示例中，流动作包括用来自第二内容流的具有与当前音频流相比更高的排名的音频流替换当前音频流。在示例中，流动作包括当第二内容时将第二内容流放置在屏幕上的画中画容器中。在示例中，流动作包括记录第二内容流。在示例中，流动作包括修改第二内容流的音频部分的音量。在示例中，流动作包括向用户呈现关于第二内容流的通知。
方法300的操作还可以包括通过观察用户来更新用户上下文的技术。以下操作讨论了这种技术。
可以在采样时间段中观察用户动作。在示例中，可以利用情绪分析来评估采样时间段期间的用户的一个或多个图像。在示例中，可以接收与采样时间段相对应的主题的用户评级。在示例中，可以利用情绪分析来评估语音样本。
可以计算针对用户动作的注意力得分。
可以将注意力得分与采样时间段期间来自内容流的一个或多个令牌关联。
可以更新用户上下文以包括针对一个或多个令牌的经修改的注意力得分。
图4示出了根据实施例的用于多个流调节的方法400的示例的流程图。方法400的操作在计算机硬件中被实现，例如，上面和下面关于图1、图2和图4描述的计算机硬件(例如，电路)。
在特定评估时间段的开始处，针对内容(例如，正在示出的内容)评估多个内容流(例如，操作405)。然后，在用户配置文件420以及可能的其他用户的用户配置文件或活动415的上下文中评估内容(例如，操作410)。内容排名的结果产生关于用户是否关注(由操作410的排名确定的)最佳选择的问题(例如，决定425)。
如果用户没有关注(例如，观看)最佳选择流，则系统评估是否增强内容的可见性(例如，决定435)。在一些情况下，例如，用户在打电话时，将不采取任何动作(例如，继续进行操作440)。在其他情况下，方法400将增强内容的可见性(例如，操作430)。可见性增强可以采用若干形式，例如，在主屏幕(例如，仅有的屏幕)上显示优选内容，增加音量，通过文本、电子邮件等向用户发送通知等等。如果用户已经关注最佳选择，则可见性增强可以是微妙的或简单地省略。
在系统采取动作(例如，可见性增强)之后，从用户收集隐式和显式反馈(例如，操作440)。隐式反馈通过系统传感器被收集，并且包括诸如以下内容：在可见性增强之前、期间或之后收集的来自视频、图像或音频数据的情绪分析，或注意用户是否在可见性增强之后改变频道，取消增强(例如，响应于音量升高而降低音量)，或简单地通过不作为接受增强。显式反馈可以包括评级，或使用另一用户界面来手动纠正系统的错误。
在收集隐式反馈和显式反馈之后，确定合并反馈的方式(例如，决定445)。一些反馈可能缺乏置信度、专用性、或时效性，而无法有效地改善系统。可以忽略这类反馈，并且方法400将结束(针对该迭代)。然而，一些反馈被用来调整用户配置文件420中存在的匹配、偏好、或其他规则、模型、分类器和设置。该更新的用户配置文件可以在将来用于增加系统对用户偏好的敏感度。
图5示出了在其上可以执行本文讨论的任意一个或多个技术(例如，方法)的示例机器500的框图。在替代实施例中，机器500可以作为独立设备操作，或可以连接(例如，联网)到其他机器。在联网部署中，机器500可以作为服务器-客户端网络环境中的服务器机器、客户端机器、或两者操作。在示例中，机器500可以用作对等(P2P)(或其他分布式)网络环境中的对等机器。机器500可以是个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、移动电话、Web设备、网络路由器、交换机或网桥、或能够(顺序地或以其他方式)执行指令(这些指令指定要由机器要采取的动作)的任意机器。此外，虽然仅示出单个机器，但术语“机器”也应当被理解为包括单独或联合执行一组(或多组)指令以执行本文讨论的任意一个或多个方法的机器的任意集合，例如，云计算、软件即服务(SaaS)、或其他计算机集群配置。
如本文所述，示例可以包括逻辑或多个组件或机制，或可以由逻辑或多个组件或机制来操作。电路是在有形实体中实现的电路的集合，其包括硬件(例如，简单电路、门、逻辑等)。电路成员随着时间的推移和底层硬件的变化可以是灵活的。电路包括可以在操作时单独地或组合地执行指定操作的成员。在示例中，电路的硬件可以被不可变地设计以执行特定操作(例如，硬连线)。在示例中，电路的硬件可以包括可变连接的物理组件(例如，执行单元、晶体管、简单电路等)，包括被物理地修改(例如，磁性地、电性地、对不变聚集粒子进行可移动放置等)以编码特定操作的指令的计算机可读介质。在连接物理组件时，硬件组件的基础电特性被改变，例如，从绝缘体变为导体，反之亦然。该指令使得嵌入式硬件(例如，执行单元或加载机构)能够通过可变连接在硬件中创建电路的成员，以在操作时执行特定操作的部分。因此，当设备操作时，计算机可读介质通信地耦合到电路的其他组件。在示例中，任意物理组件可以在不止一个电路的不止一个成员中被使用。例如，在操作中，执行单元可以在一个时间点在第一电路单元的第一电路中被使用，并且在不同时间由第一电路单元中的第二电路重用，或在不同时间由第二电路单元中的第三电路重用。
机器(例如，计算机系统)500可以包括硬件处理器502(例如，中央处理单元(CPU)、图形处理单元(GPU)、硬件处理器核心、或它们的任意组合)、主存储器504、和静态存储器506，它们中的一些或全部可以经由互连链路(例如，总线)508彼此通信。机器500还可以包括显示单元510、字母数字输入设备512(例如，键盘)、和用户界面(UI)导航设备514(例如，鼠标)。在示例中，显示单元510、输入设备512、和UI导航设备514可以是触摸屏显示器。机器500可以另外包括存储设备(例如，驱动单元)516、信号生成设备518(例如，扬声器)、网络接口设备520、以及一个或多个传感器521(例如，全球定位系统(GPS)传感器、罗盘、加速度计、或其他传感器)。机器500可以包括输出控制器528，例如，串行(例如，通用串行总线(USB))、并行、或其他有线或无线(例如，红外(IR)、近场通信(NFC)等)连接以与一个或多个外围设备(例如，打印机、读卡器等)通信或对其进行控制。
存储设备516可以包括机器可读介质522，在该机器可读介质522上存储有一组或多组数据结构或指令524(例如，软件)，该一组或多组数据结构或指令524体现任意一个或多个本文描述的技术或功能，或由任意一个或多个本文描述的技术或功能利用。指令624在由机器500执行期间还可以完全或至少部分地驻留在主存储器504内、静态存储器506内、或硬件处理器502内。在示例中，硬件处理器502、主存储器504、静态存储器506、或存储设备516中的一个或任意组合可以构成机器可读介质。
虽然机器可读介质522被示出为单个介质，但是术语“机器可读介质”可以包括被配置为存储一个或多个指令524的单个介质或多个介质(例如，集中式或分布式数据库、和/或相关联的缓存和服务器)。
术语“机器可读介质”可以包括能够存储、编码或携带由机器500执行并且使得机器500执行本公开的任意一个或多个技术的指令的，或能够存储、编码或携带由这类指令使用或与这类指令相关的数据结构的任意介质。非限制性机器可读介质示例可以包括固态存储器、以及光学和磁性介质。在示例中，大容量机器可读介质包括拥有多个具有不变(例如，静止)质量的粒子的机器可读介质。因此，大容量机器可读介质不是暂态传播信号。大容量机器可读介质的具体示例可以包括：非易失性存储器，例如，半导体存储器设备(例如，电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM))和闪存器件；磁盘，例如，内部硬盘和可移动磁盘；磁光盘；和CD-ROM和DVD-ROM磁盘。
指令524还可以通过通信网络526使用传输介质经由网络接口设备520利用多种传输协议(例如，帧中继、网际协议(IP)、传输控制协议(TCP)、用户数据报协议(UDP)、超文本传输协议(HTTP)等)中的任意一种被发送或接收。示例通信网络可以包括局域网(LAN)、广域网(WAN)、分组数据网络(例如，互联网)、移动电话网络(例如，蜂窝网络)、普通老式电话(POTS)网络、和无线数据网络(例如，称为Wi-的电气和电子工程师协会(IEEE)802.11标准族、称为的IEEE 802.16标准族)、IEEE 802.15.4标准族、对等(P2P)网络等。在示例中，网络接口设备520可以包括一个或多个物理插孔(例如，以太网、同轴或电话插孔)或一个或多个天线以连接到通信网络526。在示例中，网络接口设备520可以包括多个天线，以使用单输入多输出(SIMO)、多输入多输出(MIMO)、或多输入单输出(MISO)技术中的至少一个来进行无线通信。术语“传输介质”应当被理解为包括能够存储、编码或携带用于由机器500执行的指令的任意无形介质，并且包括数字或模拟通信信号、或用于促进这类软件的通信的其他无形介质。
附加说明和示例
示例1是一种用于多个流调节的系统，系统包括：解码器，用于接收多个内容流；内容传感器阵列，用于对多个内容流进行排名；传感器，用于在用户观察多个内容流中的至少一个内容流时对用户注意力水平进行评分；比较器，用于将用户注意力水平和至少一个内容流的排名与多个内容流的剩余排名进行比较以产生差异；以及切换器，用于基于差异对来自多个内容流的一组内容流执行流动作。
在示例2中，示例1的主题可选地包括，其中，对多个内容流进行排名包括，针对多个内容流中的每个内容流，内容传感器将一组测定应用于内容流以产生一组测定结果，并且其中，切换器用于：在针对用户的用户上下文中评估该组测定结果以生成测定结果评估；以及基于测定结果评估来修改内容流的排名。
在示例3中，示例2的主题任选地包括，其中，该组测定的成员是自动语音识别(ASR)，并且其中，该组测定结果中与ASR测定相对应的成员是字符串。
在示例4中，示例3的主题可选地包括，其中，递归神经网络(RNN)、应用于深度信念网络(DBN)的移动窗口、或卷积网络上的移动窗口中的至少一个被训练以实现ASR。
在示例5中，示例2-4中任一个或多个示例的主题可选地包括，其中，该组测定中的成员是视觉分类器，并且其中，该组测定结果的成员包括与视觉分类器的输出相对应的对象标识。
在示例6中，示例5的主题可选地包括，其中，视觉分类器对内容流的静止图像样本进行操作。
在示例7中，示例5-6中任一个或多个示例的主题可选地包括，其中，视觉分类器对内容流的视频样本进行操作，样本是内容流的子集。
在示例8中，示例5-7中任一个或多个示例的主题可选地包括，其中，视觉分类器被布置为执行光学字符识别(OCR)，并且其中，对象标识是字符串。
在示例9中，示例3-8中任一个或多个示例的主题可选地包括，其中，在用户上下文中评估该组测定结果包括，切换器在用户上下文中执行字符串中的文本与令牌之间的语义比较，令牌包括与用户动作相对应的得分，用户动作与对应于令牌的主题相关。
在示例10中，示例9的主题可选地包括，其中，传感器用于：在采样时间段中观察用户动作；计算针对用户动作的注意力得分；并且其中，切换器用于：将注意力得分与采样时间段期间来自内容流的一个或多个令牌关联；以及更新用户上下文以包括针对一个或多个令牌的经修改的注意力得分。
在示例11中，示例10的主题可选地包括，其中，观察用户动作包括，传感器用于执行以下操作中的至少一个：利用情绪分析来评估采样时间段期间的用户的一个或多个图像；接收与采样时间段相对应的主题的用户评级；或利用情绪分析来评估语音样本。
在示例12中，示例2-11中任一个或多个示例的主题可选地包括，其中，用户上下文包括到一组用户的匹配群组，并且其中，在用户上下文中评估该组测定结果包括，切换器使用来自该组用户的成员的第二用户上下文的一部分以产生测定结果评估。
在示例13中，示例1-12中任一个或多个示例的主题可选地包括，其中，给定多个内容流中的第二内容流，流动作是切换器执行的以下操作中的至少一个：当第二内容流具有与屏幕上的当前内容流相比更高的排名时，用第二内容流替换当前内容流；用来自第二内容流的具有与当前音频流相比更高的排名的音频流替换当前音频流；当第二内容时，将第二内容流放置在屏幕上的画中画容器中；记录第二内容流；修改第二内容流的音频部分的音量；或向用户呈现关于第二内容流的通知。
示例14是一种用于多个流调节的方法，方法包括：接收多个内容流；对多个内容流进行排名；在用户观察多个内容流中的至少一个内容流时，对用户注意力水平进行评分；将用户注意力水平和至少一个内容流的排名与多个内容流的剩余排名进行比较以产生差异；基于差异对来自多个内容流的一组内容流执行流动作。
在示例15中，示例14的主题可选地包括，其中，对多个内容流进行排名包括，针对多个内容流中的每个内容流：将一组测定应用于内容流以产生一组测定结果；在针对用户的用户上下文中评估该组测定结果以生成测定结果评估；以及基于测定结果评估来修改内容流的排名。
在示例16中，示例15的主题可选地包括，其中，该组测定的成员是自动语音识别(ASR)，并且其中，该组测定结果中与ASR测定相对应的成员是字符串。
在示例17中，示例16的主题可选地包括，其中，递归神经网络(RNN)、应用于深度信念网络(DBN)的移动窗口、或卷积网络上的移动窗口中的至少一个被训练以实现ASR。
在示例18中，示例15-17中任一个或多个示例的主题可选地包括，其中，该组测定的成员是视觉分类器，并且其中，该组测定结果的成员包括与视觉分类器的输出相对应的对象标识。
在示例19中，示例18的主题可选地包括，其中，视觉分类器对内容流的静止图像样本进行操作。
在示例20中，示例18-19中任一个或多个示例的主题可选地包括，其中，视觉分类器对内容流的视频样本进行操作，样本是内容流的子集。
在示例21中，示例18-20中任一个或多个示例的主题可选地包括，其中，视觉分类器执行光学字符识别(OCR)，并且其中，对象标识是字符串。
在示例22中，示例16-21中任一个或多个示例的主题可选地包括，其中，在用户上下文中评估该组测定结果包括，在用户上下文中执行字符串中的文本与令牌之间的语义比较，令牌包括与用户动作相对应的得分，用户动作与对应于令牌的主题相关。
在示例23中，示例22的主题可选地包括，在采样时间段中观察用户动作；计算针对用户动作的注意力得分；将注意力得分与采样时间段期间来自内容流的一个或多个令牌关联；以及更新用户上下文以包括针对一个或多个令牌的经修改的注意力得分。
在示例24中，示例23的主题可选地包括，其中，观察用户动作包括以下各项中的至少一项：利用情绪分析来评估采样时间段期间的用户的一个或多个图像；接收与采样时间段相对应的主题的用户评级；或利用情绪分析来评估语音样本。
在示例25中，示例15-24中任一个或多个示例的主题可选地包括，其中，用户上下文包括到一组用户的匹配群组，并且其中，在用户上下文中评估该组测定结果包括，使用来自该组用户的成员的第二用户上下文的一部分以产生测定结果评估。
在示例26中，示例14-25中任一个或多个示例的主题可选地包括，其中，给定多个内容流中的第二内容流，流动作是以下各项中的至少一项：当第二内容流具有与屏幕上的当前内容流相比更高的排名时，用第二内容流替换当前内容流；用来自第二内容流的具有与当前音频流相比更高的排名的音频流替换当前音频流；当第二内容时，将第二内容流放置在屏幕上的画中画容器中；记录第二内容流；修改第二内容流的音频部分的音量；或向用户呈现关于第二内容流的通知。
示例27是一种包括指令的机器可读介质，该指令在由机器执行时，使得机器执行示例14-26中任一项的方法。
示例28是一种包括用于执行示例14-26中任一项的方法的装置的系统。
示例29是一种用于多个流调节的系统，系统包括：用于接收多个内容流的装置；用于对多个内容流进行排名的装置；用于在用户观察多个内容流中的至少一个内容流时对用户注意力水平进行评分的装置；用于将用户注意力水平和至少一个内容流的排名与多个内容流的剩余排名进行比较以产生差异的装置；用于基于差异对来自多个内容流的一组内容流执行流动作的装置。
在示例30中，示例29的主题可选地包括，其中，用于对多个内容流进行排名的装置包括，针对多个内容流中的每个内容流：用于将一组测定应用于内容流以产生一组测定结果的装置；用于在针对用户的用户上下文中评估该组测定结果以生成测定结果评估的装置；以及用于基于测定结果评估来修改内容流的排名的装置。
在示例31中，示例30的主题可选地包括，其中，该组测定的成员是自动语音识别(ASR)，并且其中，该组测定结果中与ASR测定相对应的成员是字符串。
在示例32中，示例31的主题可选地包括，其中，递归神经网络(RNN)、应用于深度信念网络(DBN)的移动窗口、或卷积网络上的移动窗口中的至少一个被训练以实现ASR。
在示例33中，示例30-32中任一个或多个示例的主题可选地包括，其中，该组测定的成员是视觉分类器，并且其中，该组测定结果的成员包括与视觉分类器的输出相对应的对象标识。
在示例34中，示例33的主题可选地包括，其中，视觉分类器对内容流的静止图像样本进行操作。
在示例35中，示例33-34中任一个或多个示例的主题可选地包括，其中，视觉分类器对内容流的视频样本进行操作，样本是内容流的子集。
在示例36中，示例33-35中任一个或多个示例的主题可选地包括，其中，视觉分类器执行光学字符识别(OCR)，并且其中，对象标识是字符串。
在示例37中，示例31-36中任一个或多个示例的主题可选地包括，其中，用于在用户上下文中评估该组测定结果的装置包括，用于在用户上下文中执行字符串中的文本与令牌之间的语义比较的装置，令牌包括与用户动作相对应的得分，用户动作与对应于令牌的主题相关。
在示例38中，示例37的主题可选地包括，用于在采样时间段中观察用户动作的装置；用于计算针对用户动作的注意力得分的装置；用于将注意力得分与采样时间段期间来自内容流的一个或多个令牌关联的装置；以及用于更新用户上下文以包括针对一个或多个令牌的经修改的注意力得分的装置。
在示例39中，示例38的主题可选地包括，其中，用于观察用户动作的装置包括以下各项中的至少一项：用于利用情绪分析来评估采样时间段期间的用户的一个或多个图像的装置；用于接收与采样时间段相对应的主题的用户评级的装置；或用于利用情绪分析来评估语音样本的装置。
在示例40中，示例30-39中任一个或多个示例的主题可选地包括，其中，用户上下文包括到一组用户的匹配群组，并且其中，用于在用户上下文中评估该组测定结果的装置包括，用于使用来自该组用户的成员的第二用户上下文的一部分以产生测定结果评估的装置。
在示例41中，示例29-40中任一个或多个示例的主题可选地包括，其中，给定多个内容流中的第二内容流，流动作是以下各项中的至少一项：当第二内容流具有与屏幕上的当前内容流相比更高的排名时，用第二内容流替换当前内容流；用来自第二内容流的具有与当前音频流相比更高的排名的音频流替换当前音频流；当第二内容时，将第二内容流放置在屏幕上的画中画容器中；记录第二内容流；修改第二内容流的音频部分的音量；或向用户呈现关于第二内容流的通知。
上述具体实施方式包括对附图的引用，这些附图构成了具体实施方式的一部分。附图通过图示的方式示出了可以被实施的具体实施例。这些实施例在本文中也被称作“示例”。这类示例可以包括除那些被示出或描述的元素以外的元素。然而，本发明人还考虑到了仅提供被示出或描述的元素的示例。此外，针对本文示出或描述的具体示例(或其一个或多个方面)或者针对本文示出或描述的其他示例(或其一个或多个方面)，本发明人还考虑到了使用那些被示出或描述的元素(或其一个或多个方面)的任何组合或排列的示例。
在本文件中所提到的所有出版物、专利、和专利文献通过引用的方式被全部并入本文，就好像各自通过引用被并入一样。如果在通过引用而被并入的那些文件和本文件之间存在不一致的用法，则通过引用被并入的(一个或多个)参考文件中的用法应当被视为对本文件的用法的补充；对于不可协调的不一致性，以本文件中的用法为准。
在本文件中，如专利文件中常见的那样，术语“一”或“一个”被用于包括一个或一个以上，这独立于任何其他“至少一个”或“一个或多个”的实例或用法。在本文件中，除非另有指示，术语“或”被用于指代非排他性的或，即“A或B”包括“A而非B”、“B而非A”、以及“A和B”。在所附的权利要求中，术语“包括”和“其中”被用作相应术语“包含”和“其中”的通俗英语中的等同物。另外，在所附权利要求中，术语“包括”和“包含”是开放式的，即包括除了那些在这类术语后面列出的元素之外的元素的系统、设备、物品、或处理仍然被认为落入该权利要求的保护范围内。此外，在所附权利要求中，术语“第一”、“第二”、和“第三”等仅用作标号，而不意图强加对它们的对象的数字顺序要求。
上述描述的意图是说明性的，而不是限制性的。例如，上述描述的示例(或其一个或多个方面)可以被互相组合使用。本领域普通技术人员阅读上述描述后，可以使用其他实施例。摘要是为了使读者能快速确定本技术公开的性质，并且摘要的递交应理解为不用于解释或限制权利要求的范围或含义。另外，在上述详细说明中，各种特征可以被组合在一起以简化本公开。这不应当被解释为不在权利要求中的公开特征对于任何权利要求是必不可少的。相反，发明主题可能具有与特定公开实施例的所有特征相比更少的特征。因此，所附权利要求被结合到具体实施方式中，其中每项权利要求独立作为单独的实施例存在。实施例的范围应当参照所附权利要求与这些权利要求享有的等同物的全部范围一起被确定。

Claims (25)

1.一种用于多个流调节的系统，所述系统包括：
解码器，用于接收多个内容流；
内容传感器阵列，用于对所述多个内容流进行排名；
传感器，用于在用户观察所述多个内容流中的至少一个内容流时对用户注意力水平进行评分；
比较器，用于将所述用户注意力水平和所述至少一个内容流的排名与所述多个内容流的剩余排名进行比较以产生差异；以及
切换器，用于基于所述差异对来自所述多个内容流的一组内容流执行流动作。
2.根据权利要求1所述的系统，其中，对所述多个内容流进行排名包括，针对所述多个内容流中的每个内容流，所述内容传感器将一组测定应用于内容流以产生一组测定结果，并且其中，所述切换器用于：
在针对所述用户的用户上下文中评估该组测定结果以生成测定结果评估；以及
基于所述测定结果评估来修改所述内容流的排名。
3.根据权利要求2所述的系统，其中，该组测定中的成员是自动语音识别(ASR)，并且其中，该组测定结果中与所述ASR测定相对应的成员是字符串。
4.根据权利要求3所述的系统，其中，递归神经网络(RNN)、应用于深度信念网络(DBN)的移动窗口、或卷积网络上的移动窗口中的至少一个被训练以实现所述ASR。
5.根据权利要求2所述的系统，其中，该组测定中的成员是视觉分类器，并且其中，该组测定结果中的成员包括与所述视觉分类器的输出相对应的对象标识。
6.根据权利要求5所述的系统，其中，所述视觉分类器被布置为执行光学字符识别(OCR)，并且其中，所述对象标识是字符串。
7.根据权利要求3所述的系统，其中，在所述用户上下文中评估该组测定结果包括，所述切换器在所述用户上下文中执行令牌与所述字符串中的文本之间的语义比较，所述令牌包括与用户动作相对应的得分，所述用户动作与对应于所述令牌的主题相关。
8.根据权利要求7所述的系统，其中，所述传感器用于：
在采样时间段中观察所述用户动作；
计算针对所述用户动作的注意力得分；
并且其中，所述切换器用于：
将所述注意力得分与所述采样时间段期间来自内容流的一个或多个令牌关联；以及
更新所述用户上下文以包括针对所述一个或多个令牌的经修改的注意力得分。
9.根据权利要求8所述的系统，其中，观察所述用户动作包括，所述传感器执行以下操作中的至少一个：
利用情绪分析来评估所述采样时间段期间所述用户的一个或多个图像；
接收与所述采样时间段相对应的主题的用户评级；或
利用情绪分析来评估语音样本。
10.根据权利要求2所述的系统，其中，所述用户上下文包括对于一组用户的匹配群组，并且其中，在用户上下文中评估该组测定结果包括，所述切换器使用来自该组用户中的成员的第二用户上下文的一部分以产生所述测定结果评估。
11.根据权利要求1所述的系统，其中，给定所述多个内容流中的第二内容流，所述流动作是所述切换器执行的以下操作中的至少一个：
当所述第二内容流具有与屏幕上的当前内容流相比更高的排名时，用所述第二内容流替换所述当前内容流；
用来自第二内容流的具有与当前音频流相比更高的排名的音频流替换所述当前音频流；
当所述第二内容时，将所述第二内容流放置在屏幕上的画中画容器中；
记录所述第二内容流；
修改所述第二内容流的音频部分的音量；或
向所述用户呈现关于所述第二内容流的通知。
12.一种用于多个流调节的方法，所述方法包括：
接收多个内容流；
对所述多个内容流进行排名；
在用户观察所述多个内容流中的至少一个内容流时，对用户注意力水平进行评分；
将所述用户注意力水平和所述至少一个内容流的排名与所述多个内容流的剩余排名进行比较以产生差异；以及
基于所述差异对来自所述多个内容流的一组内容流执行流动作。
13.根据权利要求12所述的方法，其中，对所述多个内容流进行排名包括，针对所述多个内容流中的每个内容流：
将一组测定应用于内容流以产生一组测定结果；
在针对所述用户的用户上下文中评估该组测定结果以生成测定结果评估；以及
基于所述测定结果评估来修改所述内容流的排名。
14.根据权利要求13所述的方法，其中，该组测定中的成员是自动语音识别(ASR)，并且其中，该组测定结果中与所述ASR测定相对应的成员是字符串。
15.根据权利要求14所述的方法，其中，递归神经网络(RNN)、应用于深度信念网络(DBN)的移动窗口、或卷积网络上的移动窗口中的至少一个被训练以实现所述ASR。
16.根据权利要求13所述的方法，其中，该组测定中的成员是视觉分类器，并且其中，该组测定结果中的成员包括与所述视觉分类器的输出相对应的对象标识。
17.根据权利要求16所述的方法，其中，所述视觉分类器对所述内容流的静止图像样本进行操作。
18.根据权利要求16所述的方法，其中，所述视觉分类器对所述内容流的视频样本进行操作，所述样本是所述内容流的子集。
19.根据权利要求16所述的方法，其中，所述视觉分类器执行光学字符识别(OCR)，并且其中，所述对象标识是字符串。
20.根据权利要求14所述的方法，其中，在所述用户上下文中评估该组测定结果包括，在所述用户上下文中执行令牌与所述字符串中的文本之间的语义比较，所述令牌包括与用户动作相对应的得分，所述用户动作与对应于所述令牌的主题相关。
21.根据权利要求20所述的方法，包括：
在采样时间段中观察所述用户动作；
计算针对所述用户动作的注意力得分；
将所述注意力得分与所述采样时间段期间来自内容流的一个或多个令牌关联；以及
更新所述用户上下文以包括针对所述一个或多个令牌的经修改的注意力得分。
22.根据权利要求21所述的方法，其中，观察所述用户动作包括以下各项中的至少一项：
利用情绪分析来评估所述采样时间段期间所述用户的一个或多个图像；
接收与所述采样时间段相对应的主题的用户评级；或
利用情绪分析来评估语音样本。
23.根据权利要求13所述的方法，其中，所述用户上下文包括对于一组用户的匹配群组，并且其中，在用户上下文中评估该组测定结果包括，使用来自该组用户中的成员的第二用户上下文的一部分以产生所述测定结果评估。
24.根据权利要求12所述的方法，其中，给定所述多个内容流中的第二内容流，所述流动作是以下各项中的至少一项：
当所述第二内容流具有与屏幕上的当前内容流相比更高的排名时，用所述第二内容流替换所述当前内容流；
用来自第二内容流的具有与当前音频流相比更高的排名的音频流替换所述当前音频流；
当第二内容时，将所述第二内容流放置在屏幕上的画中画容器中；
记录所述第二内容流；
修改所述第二内容流的音频部分的音量；或
向所述用户呈现关于所述第二内容流的通知。
25.一种包括指令的机器可读介质，所述指令在由机器执行时，使得所述机器执行根据权利要求12-24中任一项所述的方法。
CN201780033493.0A 2016-06-28 2017-06-27 多个流调节 Active CN109565614B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/195,203 US9936239B2 (en) 2016-06-28 2016-06-28 Multiple stream tuning
US15/195,203 2016-06-28
PCT/US2017/039526 WO2018005510A1 (en) 2016-06-28 2017-06-27 Multiple stream tuning

Publications (2)

Publication Number Publication Date
CN109565614A true CN109565614A (zh) 2019-04-02
CN109565614B CN109565614B (zh) 2021-08-20

Family

ID=60677160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780033493.0A Active CN109565614B (zh) 2016-06-28 2017-06-27 多个流调节

Country Status (4)

Country Link
US (1) US9936239B2 (zh)
CN (1) CN109565614B (zh)
DE (1) DE112017002335T5 (zh)
WO (1) WO2018005510A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10540991B2 (en) * 2015-08-20 2020-01-21 Ebay Inc. Determining a response of a crowd to a request using an audio having concurrent responses of two or more respondents
US10390096B2 (en) * 2016-09-16 2019-08-20 DISH Technologies L.L.C. Collecting media consumer data
US10681421B2 (en) * 2017-01-03 2020-06-09 Turner Broadcasting System, Inc. Personalized, event-driven, and location-based consumption of media content
US9854292B1 (en) * 2017-01-05 2017-12-26 Rovi Guides, Inc. Systems and methods for determining audience engagement based on user motion
US10471360B2 (en) * 2017-03-06 2019-11-12 Sony Interactive Entertainment LLC User-driven spectator channel for live game play in multi-player games
US11159856B2 (en) 2017-07-10 2021-10-26 Sony Interactive Entertainment LLC Non-linear content presentation and experience
US10728622B2 (en) * 2017-08-25 2020-07-28 Sony Interactive Entertainment LLC Management of non-linear content presentation and experience
US10706701B2 (en) * 2018-01-12 2020-07-07 Qognify Ltd. System and method for dynamically ordering video channels according to rank of abnormal detection
US11065548B2 (en) * 2018-02-28 2021-07-20 Sony Interactive Entertainment LLC Statistical driven tournaments
US10953335B2 (en) 2018-02-28 2021-03-23 Sony Interactive Entertainment Inc. Online tournament integration
US10765957B2 (en) 2018-02-28 2020-09-08 Sony Interactive Entertainment LLC Integrating commentary content and gameplay content over a multi-user platform
US10814228B2 (en) 2018-02-28 2020-10-27 Sony Interactive Entertainment LLC Statistically defined game channels
US10953322B2 (en) 2018-02-28 2021-03-23 Sony Interactive Entertainment LLC Scaled VR engagement and views in an e-sports event
US10818142B2 (en) 2018-02-28 2020-10-27 Sony Interactive Entertainment LLC Creation of winner tournaments with fandom influence
US10792577B2 (en) 2018-02-28 2020-10-06 Sony Interactive Entertainment LLC Discovery and detection of events in interactive content
US10765938B2 (en) 2018-02-28 2020-09-08 Sony Interactive Entertainment LLC De-interleaving gameplay data
US10792576B2 (en) 2018-02-28 2020-10-06 Sony Interactive Entertainment LLC Player to spectator handoff and other spectator controls
WO2019182265A1 (ko) * 2018-03-21 2019-09-26 엘지전자 주식회사 인공 지능 기기 및 그의 동작 방법
EP3702935A1 (en) * 2019-02-28 2020-09-02 Rohde & Schwarz GmbH & Co. KG System for analyzing and interpreting at least one data stream as well as method of combining data fragments
US11012744B2 (en) * 2019-03-14 2021-05-18 Longtail Ad Solutions, Inc. Systems and methods for evaluating the engagement factor of videos
US11948076B2 (en) * 2019-10-25 2024-04-02 Sony Group Corporation Media rendering device control based on trained network model
US11166069B1 (en) * 2020-05-04 2021-11-02 International Business Machines Corporation Video content conversion
US20220321951A1 (en) * 2021-04-02 2022-10-06 Rovi Guides, Inc. Methods and systems for providing dynamic content based on user preferences

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1879413A (zh) * 2003-11-12 2006-12-13 皇家飞利浦电子股份有限公司 节目推荐系统
US20110072448A1 (en) * 2009-09-21 2011-03-24 Mobitv, Inc. Implicit mechanism for determining user response to media
CN102685566A (zh) * 2012-05-28 2012-09-19 北京网尚数字电影院线有限公司 一种音视频节目推荐方法
US20120254907A1 (en) * 2009-12-10 2012-10-04 Echostar Ukraine, L.L.C. System and method for selecting audio/video content for presentation to a user in response to monitored user activity
CN103546789A (zh) * 2013-08-23 2014-01-29 Tcl集团股份有限公司 一种电视节目推荐方法、系统及智能终端
CN103647800A (zh) * 2013-11-19 2014-03-19 乐视致新电子科技（天津）有限公司 推荐应用资源的方法及系统
CN104520841A (zh) * 2012-09-13 2015-04-15 英特尔公司 用于改进用户体验的方法和装置
CN104620522A (zh) * 2012-07-18 2015-05-13 谷歌公司 通过所检测到的身体标记来确定用户兴趣
CN105228033A (zh) * 2015-08-27 2016-01-06 联想(北京)有限公司 一种视频处理方法及电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6005597A (en) 1997-10-27 1999-12-21 Disney Enterprises, Inc. Method and apparatus for program selection
US20060251382A1 (en) 2005-05-09 2006-11-09 Microsoft Corporation System and method for automatic video editing using object recognition
MX2012000724A (es) 2009-07-16 2012-06-25 Bluefin Lab Inc Metodo de estimacion e indicacion de interes social en medios a base de tiempo.
US20130205314A1 (en) * 2012-02-07 2013-08-08 Arun Ramaswamy Methods and apparatus to select media based on engagement levels
US20140122069A1 (en) * 2012-10-30 2014-05-01 International Business Machines Corporation Automatic Speech Recognition Accuracy Improvement Through Utilization of Context Analysis
US10303768B2 (en) * 2015-05-04 2019-05-28 Sri International Exploiting multi-modal affect and semantics to assess the persuasiveness of a video

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1879413A (zh) * 2003-11-12 2006-12-13 皇家飞利浦电子股份有限公司 节目推荐系统
US20110072448A1 (en) * 2009-09-21 2011-03-24 Mobitv, Inc. Implicit mechanism for determining user response to media
US20120254907A1 (en) * 2009-12-10 2012-10-04 Echostar Ukraine, L.L.C. System and method for selecting audio/video content for presentation to a user in response to monitored user activity
CN102685566A (zh) * 2012-05-28 2012-09-19 北京网尚数字电影院线有限公司 一种音视频节目推荐方法
CN104620522A (zh) * 2012-07-18 2015-05-13 谷歌公司 通过所检测到的身体标记来确定用户兴趣
CN104520841A (zh) * 2012-09-13 2015-04-15 英特尔公司 用于改进用户体验的方法和装置
CN103546789A (zh) * 2013-08-23 2014-01-29 Tcl集团股份有限公司 一种电视节目推荐方法、系统及智能终端
CN103647800A (zh) * 2013-11-19 2014-03-19 乐视致新电子科技（天津）有限公司 推荐应用资源的方法及系统
CN105228033A (zh) * 2015-08-27 2016-01-06 联想(北京)有限公司 一种视频处理方法及电子设备

Also Published As

Publication number Publication date
WO2018005510A1 (en) 2018-01-04
US9936239B2 (en) 2018-04-03
CN109565614B (zh) 2021-08-20
US20170374402A1 (en) 2017-12-28
DE112017002335T5 (de) 2019-01-24

Similar Documents

Publication Publication Date Title
CN109565614A (zh) 多个流调节
US11676176B2 (en) Method and apparatus for adjusting a digital assistant persona
US11336959B2 (en) Method and apparatus for enhancing audience engagement via a communication network
CN106604046B (zh) 视频直播方法及装置
US8578415B2 (en) Information providing method, content display terminal, portable terminal, server device, information providing system and program
CN103997688B (zh) 智能交互系统、装置和方法
CN105556594B (zh) 声音识别处理装置、声音识别处理方法以及显示装置
CN104935980B (zh) 互动信息处理方法、客户端及服务平台
US20150049162A1 (en) Panoramic Meeting Room Video Conferencing With Automatic Directionless Heuristic Point Of Interest Activity Detection And Management
CN109243444A (zh) 语音交互方法、设备及计算机可读存储介质
CN106446782A (zh) 图像识别方法及装置
CN108702484A (zh) 通信事件
CN108696765A (zh) 视频播放中的辅助输入方法及装置
CN102905233A (zh) 一种终端功能推荐的方法及装置
JP6246498B2 (ja) 視聴者参加型テレビ番組放送方法及びシステム
CN104394437A (zh) 一种在线直播的开播方法及系统
JPWO2016136104A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2012177229A1 (en) Apparatus, systems and methods for identifying image objects using audio commentary
CN105727560B (zh) 一种视频会话和游戏的互动融合方法及装置
KR102114703B1 (ko) 방송 관리 서버 및 이를 이용한 방송 관리 방법
KR20160093292A (ko) 콘텐츠 제공 방법 및 상기 방법을 수행하는 콘텐츠 제공 서버, 해설자 단말
CN105388786B (zh) 一种智能提线木偶偶人控制方法
CN106792050A (zh) 视频广告的关闭方法及系统
DE112018007850B4 (de) Spracherkennungssystem und betriebsverfahren eines spracherkennungssystems
EP4080388A1 (en) Multimodal, dynamic, privacy preserving age and attribute estimation and learning methods and systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant