CN108353202A - 基于关注检测进行媒体内容控制的方法、系统和装置 - Google Patents

基于关注检测进行媒体内容控制的方法、系统和装置 Download PDF

Info

Publication number
CN108353202A
CN108353202A CN201680062543.3A CN201680062543A CN108353202A CN 108353202 A CN108353202 A CN 108353202A CN 201680062543 A CN201680062543 A CN 201680062543A CN 108353202 A CN108353202 A CN 108353202A
Authority
CN
China
Prior art keywords
concern
box
information
media content
media
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680062543.3A
Other languages
English (en)
Inventor
马克·弗朗西斯·鲁姆里奇
乔尔·M·弗格森
托马斯·爱德华·奥朗德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital Madison Patent Holdings SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN108353202A publication Critical patent/CN108353202A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42212—Specific keyboard arrangements
    • H04N21/42218—Specific keyboard arrangements for mapping a matrix of displayed objects on the screen to the numerical key-matrix of the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本原理的一个方面针对用于执行指令以执行至少一个媒体控制操作的方法、系统、装置和计算机可执行代码。其可以包括：监视提供的媒体内容和关注信息；基于关注信息确定关注检测；基于关注检测和附加关注信息来评估过滤条件；以及基于对过滤条件的肯定确定来提供媒体控制操作。该方法、系统和装置以及计算机可执行代码还可以显示媒体控制操作。

Description

基于关注检测进行媒体内容控制的方法、系统和装置
相关临时申请的引用
本申请要求于2015年9月1日提交的题为“Methods，Systems and Apparatus forMedia Content Control Based on Attention Detection”的美国临时申请第62/212668号的优先权，其内容整体以引用方式并入本文中。
技术领域
本实施例的原理总体上涉及用于显示音频/视频媒体内容的方法和装置。具体地，本原理涉及基于关注检测进行媒体内容控制的方法、系统和装置。
背景技术
许多电子和计算设备向多个用户的观众显示媒体内容(例如，图像、音频和/或视频内容)。然而，当一个或多个用户在一段时间内停止观看媒体内容时，可能会产生问题。例如，在内容正被播放时，存在当一个或多个用户离开房间时可能错过内容的风险。如果使用暂停按钮，则其他用户将空闲下来等待未知的时间。或者，暂停后紧随的内容可能不值得观看；从而在暂停操作被挂起时用户可能会看到不必要的内容。或者，尝试查找相关内容可能是耗时且不精确的过程。
附图说明
结合下面描述的附图，通过下面的具体实施方式可以显而易见本发明的特征和优点：
图1示出了根据本原理的系统的示意图。
图2示出了根据本原理的装置的示意图。
图3A示出了根据本原理的方法的流程图。
图3B示出了根据本原理的提供媒体内容控制操作的方法的流程图。
图4示出了根据本原理的方法的流程图。
图5示出了根据本原理的方法的流程图。
图6示出了根据本原理的方法的流程图。
图7示出了根据本原理的方法的流程图。
图8示出了根据本原理的用于显示媒体操作的用户界面的示意图。
发明内容
当一个或多个用户停止观看媒体内容时，需要尽量减少中断。例如，当多个观看者正在观看同一内容并且他们中的一个离开房间并计划返回时，需要一种方法来防止人们遗漏媒体内容。
本原理的一个方面针对用于执行指令以执行至少一个媒体控制操作的方法、系统、装置和计算机可执行代码。其可以包括：监视提供的媒体内容和关注信息；基于关注信息确定关注检测；基于关注检测和附加关注信息评估过滤条件；以及基于对过滤条件的肯定确定来提供媒体控制操作。该方法、系统和装置以及计算机可执行代码还可以显示媒体控制操作。
附加关注信息可以至少是事件记录或元数据。事件记录信息可以包括关于媒体内容的多个观看者的关注的信息。事件记录信息可以包括从以下组中选择的至少一项：持续时间、观看者人数、媒体内容的类型、时间信息、生物计量信息、观看模式、时间信息、显示信息和辅助设备。
事件记录信息至少包括事件记录。事件记录可以包括以下中的至少一项：与媒体内容的时间有关的时间戳、在媒体内容的时间处的媒体内容信息、以及在媒体内容的时间处的至少一个观看者的至少关注信息。媒体内容信息可以包括关键场景如何的指示、情节信息等。事件记录信息可以包括多个事件记录的日志，其中日志与每个事件记录的每个时间戳同步。关注检测可以基于确定观看者失去对媒体内容的关注超过阈值。
如果至少一个观看者恢复对媒体内容的关注，则过滤条件可以是肯定的。过滤条件可以基于元数据来确定，其中元数据是从以下组中选择的至少一项：一天中的时间、一周中的一天、天气状况、观看者的年龄、观看者的性别、观看屏幕的大小、每天消耗内容的小时数、地理位置和偏好简档。
提供媒体控制操作是以下至少一项：供应或激活媒体控制操作。媒体控制操作可对应于从以下组中选择的至少一项：倒回、暂停、快进和按时间戳跳转到媒体中的预先指定的位置。
具体实施方式
如本文所使用，“媒体内容”可被定义为包括任何类型的媒体，包括从任何源接收的任何类型的音频、视频和/或图像媒体内容。例如，“媒体内容”可以包括互联网内容、流媒体服务(例如，M-Go、Netflix、Hulu、亚马逊)、记录的视频内容、视频点播内容、广播内容、电视内容、电视节目(或节目内容)、广告、商业广告、音乐、电影、视频剪辑、交互游戏、基于网络的娱乐应用程序以及其它媒体资产。媒体资产可以包括任意和全部数字媒体格式，诸如音频文件、图像文件或视频文件。
本原理的一个方面涉及用于提供显示媒体内容控制操作选项的系统、装置和方法。具体地，本原理的一个方面涉及基于检测媒体内容的一个或多个观看者的关注改变(例如，失去或恢复关注)来提供显示媒体内容控制操作选项。
本原理的一个方面涉及接收关于媒体内容观看者的关注信息。例如，一个方面涉及从传感器(例如，摄像头、麦克风)接收关注信息。在一个示例中，关注信息可以涉及用于识别观看者是否正在观看媒体内容的视觉和音频信息。在一个示例中，可以确定关注值。例如，对于每个增加的观看者，关注值可以增加1，而对于每个失去的观看者，关注值可以减少1。或者，可以基于观看者的动作确定观看者的部分关注值。例如，可以用小数关注单位(从1.0到0.9到0.8…到零)来测量人的关注。
本原理的一个方面涉及基于特定条件(诸如当人在电影期间离开房间并随后返回时)提供媒体控制操作(例如，暂停、倒回)。在一个示例中，本原理的一个方面涉及一种装置(例如，媒体播放器、电视机、蓝光播放器、数字机顶盒、视频游戏系统、计算机、平板电脑、电话)，其可以确定和/或识别人何时离开房间和/或观看区域。当人在特定条件下返回时，该装置可提供将内容倒回到人离开房间/观看区域的时间。
本原理的一个方面涉及基于以下信息提供媒体内容控制操作，所述信息诸如：(i)观看者没有观看媒体内容的持续时间；(ii)正在观看或没有观看媒体内容的观看者人数；(iii)观看媒体内容的观看者总数；(iv)在观看者没有观看媒体内容的时间期间提供的媒体内容的类型；(v)时间信息(例如，一周中的一天、一天中的时间)；(vi)地理信息(例如位置、天气)；(vii)观看者信息(例如，年龄、姿势、偏好、生物计量信息)；(viii)观看区域内的辅助设备(例如，电话、平板电脑)以及观看者与这类设备的交互；(ix)显示器信息(例如，大小)；(x)观看模式(例如，每天观看内容的总小时数、每天观看的平均内容)。
本原理的一个方面涉及基于元数据的媒体控制操作。在一个示例中，可以分析元数据以确定返回到特定场景的可能性。例如，如果元数据指示不在场观看者遗漏了情节所必需的信息，则可以提供倒回媒体控制操作。
本原理的一个方面涉及分析元数据以确定是否提供媒体控制操作。这样的元数据可以包括一天中的时间、一周中的一天、天气状况、观看者的年龄、观看者的性别、观看屏幕的大小、每天观看电视的小时数、地理位置等。例如，可以基于确定一天中的晚些时候(例如，晚上9点以后)观看者不在场来提供倒回媒体控制操作。基于条件确定(例如，诸如当观看者返回时)，可以针对任何高关注度事件检查元数据的日志。高关注度事件可以包括电视剧中的曲折情节、体育内容中的比赛或得分事件等。
元数据可以包括涉及用户简档的信息。该简档可以包括偏好信息(例如，喜欢体育运动，讨厌喜剧)。媒体控制操作可以基于与这类用户简档相关的元数据来提供。例如，是否提供倒回选项可取决于用户的偏好。在另一示例中，如果内容与体育运动相关并且用户简档指示该用户喜欢体育运动，则系统可以提供倒回操作。然而，如果内容与喜剧相关并且用户简档指示用户不喜欢喜剧，则可以不提供倒回操作。
图1示出了根据本原理的系统100的示意图。系统100可以是装置(例如，设备)，或者可以由多个设备或装置组成。该装置可以包括能够处理指令并生成可显示图像的任何设备，包括机顶盒、蓝光播放器、电视机、智能电视、游戏机、笔记本电脑、全尺寸个人计算机、智能手机、平板电脑等。系统100可以包括媒体内容模块101、关注检测模块102、媒体命令模块103、处理单元104和存储器105。
媒体内容模块101可以从一个或多个源接收媒体内容。媒体内容可以经由任何通信介质来传输，包括经由广播(例如，电视和/或无线电)、无线通信、电缆、卫星广播、互联网或任何其它通信介质。媒体内容模块101可以从诸如国家广播服务(诸如美国广播公司(ABC)、美国国家广播公司(NBC)、哥伦比亚广播系统(CBS)或者任何其它广播服务)的广播附属管理者接收媒体内容。
媒体内容模块101可以接收并预处理媒体内容数据。预处理可以包括将数据从模拟格式转换为数字格式。媒体内容模块101还可以接收包括时间戳信息的元数据。时间戳可以识别媒体内容的场景或情节的开始和结束。根据本原理，元数据还可以包含本文描述的任何其它信息。
媒体内容模块101可以是装置、设备等。媒体内容模块101可以接收电信号、波形等。
关注检测模块102可以接收关注信息。关注信息可以与关注检测有关。关注信息可以与媒体内容的一个或多个观看者的关注有关。关注信息允许确定观看者是否已经停止、开始或返回观看接收到的媒体内容。在一个示例中，关注检测模块102可以接收允许其确定和/或识别观看者失去或增加关注的信息。例如，关注检测模块102可以跟踪人何时进入或离开区域以及如何将这样的进入/离开点映射到正在显示的媒体内容。在一个示例中，关注检测模块102可以包括用于感测关注信息(例如，用户是否正在观看媒体内容)的一个或多个传感器。或者，关注检测模块102可以从位于系统100外部的传感器接收信息。传感器可以感测关于媒体内容观看的视觉、音频和/或其它信息。传感器源可以包括摄像头、检测单元、图像捕获设备、运动感测设备、热感测设备、生物反馈设备和麦克风中的一个或多个。
在一个示例中，关注检测模块102可以接收关于用户是否在房间内或观看区域内的信息。在一个示例中，关注检测模块102可以从覆盖一个区域的摄像头接收信息。该区域可以对应于类似于和/或复制媒体内容的正常观看区域和/或听觉区域的视野和/或听觉场。
在一个示例中，关注检测模块102可以接收一个或多个媒体内容观看者的生物计量信息。生物计量信息可以接收自任何源，诸如视频摄像头、麦克风、温度计和/或其它生物测量设备。关注检测模块102可以接收关于观看者注视的信息(例如，注视是走神还是固定在观看屏幕上)。关注检测模块102可以接收关于区域中的对话水平的信息。
关注检测模块102可以接收其它生物计量测量结果(例如，用户的温度、用户的脉搏率)。关注检测模块102可以接收关于观看媒体内容的其他用户信息。这可以包括与面部表情、动作或其他人类识别特征相关的信息。例如，关注检测模块102可以基于头部朝向、眼睛跟踪方向以及与关注信息有关的任何其它信息来确定关注信息。
在一个示例中，关注检测模块102可以基于接收到的信息确定一个或多个观看者的关注水平。或者，关注检测模块102可以将接收到的信息传输到处理单元104以用于关于关注水平的确定。
关注检测模块102还可以接收用于创建关注事件记录的信息。该记录可以是与观看者的关注信息有关的记录日志的一部分。关注检测模块102可以创建关注事件记录或者可以将用于创建关注事件记录的信息提供给处理单元104。关注事件记录可以包括与检测到关注事件的时间相对应的时间戳、媒体内容识别信息(识别当时的媒体内容)、观看者识别信息(识别检测到观看者增加或失去关注)以及任何其它相关元数据(例如，场景元数据、节目类型、节目持续时间、开始时间、结束时间、表演信息、重新运行或新发布、关键场景或情节信息、节目质量指示(例如评级)、电影或电视节目信息)。
关注检测模块102可以是装置、设备等。关注检测模块102可以接收电信号、波等。
媒体命令模块103可以接收媒体内容操作命令。媒体内容操作命令可以经由从用户接收命令(例如，经由远程)的通信接口来接收。媒体命令模块103可以经由任何介质从任何输入设备(例如，键盘、鼠标、小键盘、图像捕获设备、运动感测设备、麦克风)接收信息。媒体命令模块103可以接收与媒体内容操作的控制有关的信息(例如，与暂停、倒回、快进和选择某个时间戳有关的命令)。
媒体命令模块103可以是装置、设备等。媒体命令模块103可以接收电信号、波等。
处理单元104至少包括经由系统总线可操作地耦接到其它组件的处理器(CPU)。处理单元104可以处理从媒体内容模块101、关注检测模块102和媒体命令模块103接收的媒体内容信息。处理单元104可以被配置成通过执行计算机代码来执行根据本原理的各种处理操作。在一个示例中，处理单元104可以执行结合图3到图7描述的技术。在一个示例中，处理单元104可以执行用于媒体内容模块101、关注检测模块102和/或媒体命令模块103的操作的处理。
在一个示例中，处理单元104可以根据本原理执行关注确定。处理单元104可以执行与确定用户是否正在观看媒体内容有关的处理操作。在一个示例中，处理单元104可以执行用于识别用户失去或增加关注的确定。例如，处理单元104可以执行关于人们进入/离开媒体播放器的区域以及这样的进入/离开点如何映射到正在观看的内容的确定。例如，处理单元104可以确定感测到的关注是高于还是低于阈值以指示增加关注。在另一示例中，处理单元104可以确定感测到的关注是高于还是低于阈值以指示失去关注。
处理单元104可以基于感测到的关注信息执行关注确定。处理单元104可以基于接收到的视觉信息、音频信息，生物计量测量(例如，关于人的注视、温度、脉搏的信息)、面部表情、动作或其他人类识别特征来执行确定。
在一个示例中，处理单元104可以接收和处理与媒体内容观看者有关的元数据。元数据可以包括关于与观看者相关联的用户简档的信息。该简档可以包括偏好信息(例如，喜欢运动，讨厌喜剧)。元数据信息可以存储在存储器105中。
处理单元104可以创建关注检测事件记录。处理单元104可以创建关注事件记录。关注事件记录可以包括对应于检测到关注事件的时间的时间戳、媒体内容识别信息(识别当时的媒体内容)、观看者识别信息(识别检测到观看者增加或失去关注)以及任何其它相关元数据(例如，场景元数据、节目类型、节目持续时间、开始时间、结束时间、表演信息、重新运行或新发布、关键场景或情节信息、节目质量指示(例如评级)、电影或电视节目信息)。关注事件记录可以用作确定是否提供媒体控制操作的过滤系统的触发器。关注事件记录可以存储在存储器105中。处理单元104可以使用关注事件记录作为用于确定是否提供媒体控制操作的过滤系统的触发器。
处理单元104可以基于关注事件记录和/或附加元数据来执行关注或过滤确定。例如，处理单元104可以基于以下中的一个或多个来执行过滤确定：(i)观看者没有观看媒体内容的持续时间；(ii)正在观看或没有观看媒体内容的观看者人数；(iii)观看媒体内容的观看者总数；(iv)在观看者没有观看媒体内容的时间期间提供的媒体内容的类型；(v)时间信息(例如，一周中的一天、一天中的时间)；(vi)地理信息(例如位置、天气)；(vii)观看者信息(例如，年龄、姿势、偏好、生物计量信息)；(viii)辅助设备(例如，电话、平板电脑)以及观看者与这类设备的交互；(ix)显示器信息(例如，大小)；(x)观看模式(例如，每天观看内容的总小时数、每天观看的平均内容)。处理单元104可执行用于确定是否提供媒体控制操作的过滤确定。处理单元104可以执行结合图3到图7所描述的过滤确定。
在一个示例中，处理单元104还可以基于元数据(例如，用户简档、媒体内容元数据)执行确定。处理单元104可以分析元数据以确定是否提供媒体控制操作。这样的元数据可以包括一天中的时间、一周中的一天、天气状况、观看者的年龄或性别、观看屏幕的大小、每天消耗内容的小时数、地理位置或任何其他观看者信息。例如，处理单元104可以分析元数据以确定返回到特定场景的可能性，其可从本地开发的先前数据或从对相同内容的其它消耗来确定。如果数据指示不在场的观看者遗漏了情节所必需的信息，则可以提供倒回媒体控制操作。在另一示例中，可以基于确定一天中的晚些时候(例如，晚上9点以后)观看者不在场来提供倒回媒体控制操作。处理单元104可以针对任何高关注度事件检查元数据的日志。高关注度事件可以包括电视剧中的曲折情节、体育内容中的比赛或得分事件等。
在另一示例中，处理单元104可以分析与用户简档有关的元数据。该简档可以包括偏好信息(例如，喜欢体育运动，讨厌喜剧)。处理单元104可以基于在用户简档中指示的用户偏好来执行处理确定。例如，如果内容与体育运动相关并且用户简档指示该用户喜欢体育运动，则系统可以提供倒回操作。然而，如果内容与喜剧相关并且用户简档指示用户不喜欢喜剧，则可以不提供倒回操作。也就是说，内容本身的各个方面可以确定是否发生各种媒体控制操作(例如，如果内容短于30分钟，则不倒回内容)。
处理单元104可以提供媒体内容控制操作。该提供可以是供应或激活这样的媒体内容。例如，处理单元104可以提供媒体内容控制操作的显示选项。在一个示例中，处理单元104可以提供媒体控制操作(例如，倒回、暂停、快进、将媒体内容设置到某个时间戳)的显示建议。例如，处理单元104可以提供显示具有在用户离开房间时的场景的小图像的图标以及倒回选项的指示。处理单元104还可以执行或激活媒体控制操作(例如，倒回、暂停、快进、将媒体内容设置到某个时间戳)。处理单元104还可以可选地执行图形处理、图像、音频和/或视频编码/解码以及音频编码/解码。
存储器105可以被配置成存储从媒体内容模块101、关注检测模块102和媒体命令模块103中的一个或多个接收的信息。存储器105可以是多种存储器类型中的一种或多种。例如，存储器105可以是HDD、DRAM、高速缓存、只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储设备(例如磁盘或光盘存储设备)、固态磁性设备等中的一种或多种。
存储器105可以存储被配置成执行根据图3到图7的技术的计算机可执行指令。如上所述，可执行指令可由处理单元104访问。可执行指令可以存储在随机存取存储器(“RAM”)中或可以存储在非暂时性计算机可读介质中。这种非暂时性计算机可读介质可以包括诸如例如电子、磁、光学、电磁或半导体介质之类的许多物理介质中的任何一种。合适的非暂时性计算机可读介质的更具体的示例包括但不限于便携式磁性计算机磁盘，诸如软盘或硬盘驱动器、只读存储器(“ROM”)、可擦除可编程只读存储器、便携式紧凑盘或可直接或间接耦接的其它存储设备。介质还可以包括一个或多个前述和/或其它设备的任何组合。
存储器105还可以存储时间戳信息和/或关注检测事件记录。存储器105还可以存储关注相关信息、用户相关信息(例如，用户简档)、媒体内容相关信息和元数据相关信息。存储器105还可以存储与观看者或用户信息和/或偏好有关的元数据。
如本领域技术人员容易设想的是，系统100还可以包括其它元件(未示出)，并且省略某些元件。例如，如本领域普通技术人员容易理解的那样，取决于本发明的具体实施方式，可以包括各种其它输入设备和/或输出设备。例如，可以使用各种类型的无线和/或有线输入和/或输出设备。此外，如本领域普通技术人员容易理解的那样，还可以使用各种配置的附加处理器、控制器、存储器等。鉴于本文提供的本原理的教导，本领域普通技术人员可以容易地设想到处理系统100的这些和其它变型。
此外，应该理解的是，系统100可以执行本文公开的技术。例如，系统100可以全部或部分地执行结合图3到图7描述的方法中的一个或多个。
而且，应该理解的是，下面关于图2描述的装置200可以用于实施本原理的相应实施例。设备200的部分或全部可以在系统100的一个或多个元件中实现。
图2示出了根据本原理的用于执行媒体内容控制操作的处理的示例性装置200的示意图。
装置200可以是能够处理指令并生成可显示图像的任何设备，包括但不限于机顶盒、蓝光播放器、电视机、智能电视、游戏机、笔记本电脑、个人计算机、智能手机、平板设备等。装置200可以包括存储器201、处理单元202、过滤管理器203、显示处理器204和显示器205。
存储器201可以是与结合图1描述的存储器105类似的存储器。例如，存储器201可以存储媒体内容、关注、事件记录和元数据信息。同样，处理单元202可以是与结合图1描述的处理单元104类似的处理单元。
过滤管理器203可以根据结合图3到图7描述的原理执行过滤过程。在一个示例中，过滤管理器203可以利用存储器201和处理单元202来执行过滤过程。在一个示例中，过滤管理器203可以在存储器201和处理单元202上实现。过滤管理器203可根据结合图1的处理单元104描述的原理执行过滤操作。
显示处理器204可以基于过滤管理器203的确定来生成显示媒体内容控制操作。在一个示例中，显示处理器204可以利用存储器201和处理单元202生成用于显示的信息。在一个示例中，显示处理器204可以在存储器201和处理单元202上实现。显示处理器204可以根据结合图1的处理单元104描述的原理执行操作。
虽然显示器205被显示为图2中的装置200的一部分，但在其它示例中，装置200可以仅与显示器205交互，该显示器可以是不同系统或设备(诸如内容消耗或内容呈现设备)的一部分，通过接口等耦接到设备200。
图3A示出了根据本原理的用于提供媒体内容控制操作的方法300的流程图。方法300可以在媒体内容被提供给多个观看者或用户时执行。
方法300包括用于接收关注信息的方框301。在一个示例中，方框301可以经由任何介质(例如有线、无线)从任何源(例如，传感器、计算设备)接收信息。
方框301可以接收与一个或多个媒体内容观看者或用户的关注有关的信息。在一个示例中，方框301可以接收一个或多个观看者或用户的关注确定(例如，失去、增加或恢复关注)的关注信息。在另一示例中，方框301可以接收可以用于确定一个或多个观看者或用户的关注信息的原始数据(例如，传感器数据)。在一个示例中，方框301可以接收结合图1中的关注检测模块102所描述的关注信息。
在一个示例中，方框301可以接收与生物反馈相关的信息。例如，方框301可以接收关于人的注视、温度、脉搏率等的信息。在另一示例中，方框301可以接收与用户的面部表情、动作或其他人类识别特征相关的信息。在一个示例中，方框301还可以接收时间戳信息。时间戳信息可以对应于事件记录，诸如结合图1中的关注检测模块102所描述的事件记录。
方框302可以基于所接收的关注来执行关注确定。在一个示例中，方框302可以确定媒体内容的一个或多个观看者或用户是否失去、增加和/或恢复关注。
方框302可以确定失去关注，诸如离开房间、离开显示器和/或麦克风附近、睡着、读书等。例如，方框302可以确定用户或观看者是否已经离开房间观看区域。方框302可以跟踪人何时进入/离开媒体播放器区域以及这样的进入/离开点如何映射到正在观看的内容。方框302可以类似地确定增加关注，诸如进入/返回房间、进入/返回到显示器和/或麦克风附近、从另一活动(例如睡觉、阅读)转移关注到媒体内容。方框302可以确定观看者的注视是走神还是固定在观看屏幕上。
在一个示例中，方框302可以基于从方框301接收的关注信息来确定关注值。在一个示例中，方框302可以确定离散关注值，其可以具有对应于内容的每个观看者/消费者的不同值。例如，方框302可以针对每个增加的观看者，将关注值增加1，并且针对每个失去的观看者，将计数减少1。在另一示例中，方框302可以基于观看者的动作确定观看者的部分关注值。例如，失去部分关注可以通过关注的转移(例如，睡觉、阅读、观看其它辅助设备、与他人进行对话)来表示。例如，对于已经转移关注的每个观看者，可以用小数关注单位(从1.0到0.9到0.8…到零)来测量人的关注。在一个示例中，方框302可以基于表2-表7来确定关注值。
在一个示例中，方框302可以确定是否存在关注改变。在一个示例中，方框302可以基于关注值来确定关注改变。在一个示例中，方框302可以将关注值与阈值进行比较(例如，确定关注值高于、等于和/或低于阈值)。方框302还可以确定是否存在关注的增加、失去或者恢复。基于关注改变的确定，方框302然后可以将控制传递到方框303。
方框302可以触发事件记录的创建，该事件记录包括识别与检测到的关注和/或对应的媒体内容有关的时间的时间戳。关注事件记录可以被提供给方框305。
方框303可以从方框302接收关注确定。例如，方框303可以从方框302接收关注触发信息，诸如确定关注改变和/或关注改变的量(例如，关注增加、失去或恢复的量)。在另一示例中，方框303可以接收关注已被改变的二元(是或否)指示和/或关注改变的类型(例如，失去、增加、恢复)。
方框303可以执行分析以确定是否提供媒体控制操作。方框303还可以确定应该提供哪种媒体内容控制操作。在一个示例中，方框303可以过滤不想要的中断，以便确定何时提供媒体控制操作。在一个示例中，方框303可以基于过滤关注确定来确定是否提供媒体控制操作。
方框303可以执行过滤关注确定。方框303可以基于过滤关注确定来确定是否提供媒体控制操作。在一个示例中，方框303可以基于关注确定(例如关注改变，诸如识别由多个媒体内容观看者构成的组中的一个或多个观看者失去、增加或恢复关注)来执行确定。方框303可以基于时间戳信息执行过滤确定。例如，方框303可以基于与对应的媒体内容一起存储的时间戳来执行确定。时间戳可以与媒体控制操作一起显示。时间戳还可以用于确定媒体控制操作应该操纵媒体内容的时间。例如，时间戳可以指示视频可以被倒回的时间。方框303还可以使用时间戳信息对媒体内容和观看者失去、增加和/或恢复对媒体内容的关注的时间进行分类。这些时间可以被称为触发点，其可以通过方框303进行分类以与媒体控制操作一起使用。
方框303可以基于来自方框305的事件记录信息(例如，日志)和来自方框306的其它元数据(例如，独立于关注确定的元数据)来执行过滤关注确定。例如，方框303可以评估以下一个或多个：(i)观看者没有观看媒体内容的持续时间；(ii)正在观看或没有观看媒体内容的观看者人数；(iii)观看媒体内容的观看者总数；(iv)在观看者没有观看媒体内容的时间期间提供的媒体内容的类型；(v)时间信息(例如，一周中的一天、一天中的时间)；(vi)地理信息(例如位置、天气)；(vii)观看者信息(例如，年龄、姿势、偏好、生物计量信息)；(viii)观看区域内的辅助设备(例如，电话、平板电脑)以及观看者与这类设备的交互；(ix)显示器信息(例如，大小)；(x)观看模式(例如，每天观看内容的总小时数、每天观看的平均内容)。方框303可以基于结合图3A和图4到图7描述的过程来执行过滤确定。
方框305可以向方框303提供关注事件记录的日志。事件记录可以基于各种信息，诸如对应于关注检测事件的时间戳、元数据和观看者识别信息。该记录可以包含可能与对应的关注事件记录一起存储的时间戳。事件记录还可以包括场景元数据。时间戳和/或事件记录可以用作用于确定是否提供媒体控制操作(例如，提供倒回)的过滤系统的触发器。事件记录还可以包含与关注事件相关联的观看者识别信息(例如，关于增加和/或失去关注的观看者的信息)。
方框306可以提供元数据(例如，用户简档、媒体内容元数据)。例如，方框303可以分析来自方框306的元数据以确定是否返回到特定场景。例如，如果元数据指示不在场观众遗漏了情节所必需的信息，则可以提供倒回媒体控制操作。方框303可以分析元数据以确定是否提供媒体控制操作。这样的元数据可以包括一天中的时间、一周中的一天、天气状况、观看者的年龄或性别、观看屏幕的大小、每天观看电视的小时数、地理位置等。例如，可以基于确定一天中的晚些时候(例如，晚上9点以后)观看者不在场来提供倒回媒体控制操作。基于条件确定(例如，诸如当观看者返回时)，方框303可以针对任何高关注度事件检查元数据的日志。高关注度事件可以包括电视剧中的曲折情节、体育内容中的比赛或得分事件等。基于在元数据内对高关注度事件场景的确定，方框303可以确定存在返回高关注度事件场景的高可能性。
在另一示例中，元数据可以涉及观看者简档。该简档可以包括偏好信息(例如喜欢运动，讨厌喜剧)。例如，是否提供倒回选项可取决于用户的偏好。例如，如果内容与体育运动相关并且用户简档指示该用户喜欢体育运动，则系统可以提供倒回操作。然而，如果内容与喜剧相关并且用户简档指示用户不喜欢喜剧，则可以不提供媒体控制操作。
在一个示例中，方框303可以基于观看者不在场的持续时间执行过滤确定。持续时间信息可以由方框305提供。如果不在场时间短(例如，低于或等于阈值)，则方框2030可以确定不提供媒体控制操作。如果不在场时间长(例如，高于阈值)，则方框303可以确定不提供媒体控制操作(例如，倒回操作)。方框303还可以考虑附加信息，诸如在不在场期间显示的内容是否不重要(在这种情况下，可以确定不提供媒体控制操作)。
方框303可以基于媒体内容的观看者人数来执行过滤确定。观看者人数可以由方框305提供。例如，方框303可以基于观看媒体内容的人数来确定应该提供的媒体内容操作的类型。例如，当观看者人数较少(例如，两个人)时，如果一个观看者不再观看媒体内容，则方框303可以确定暂停操作是最合适的。然而，当观看者人数高于阈值(例如，五个人)时，方框303可以确定在用户返回时应该提供倒回操作。例如，当只有两个人观看媒体内容并且一个人离开并返回时，暂停按钮提供了处理所需内容的不确定性的最佳方式。然而，对于一大群人来说，一个人离开不应该给团队带来不便。在另一示例中，方框303可以基于媒体内容来执行过滤确定。例如，方框303可以基于在人不在场时显示的媒体内容来执行过滤确定。在一个示例中，如果某种类型的场景或内容在观看者返回之前结束，则方框303可以确定不应提供媒体控制操作。如果某种类型的内容和/或内容场景在人返回之前结束，则方框303可以确定返回方对内容失去兴趣。如果媒体内容改变(例如，频道改变、媒体内容类型改变、输入源改变)，则方框303还可以确定可以不提供媒体内容控制操作。方框303可以确定在观看者返回之前执行的这种改变指示观看者对原始内容没有足够的兴趣。
方框303可以基于附加的检测信息执行过滤确定，诸如时间信息(例如，一周中的一天、一天中的时间)、地理信息(例如，位置、天气)、观看者信息(例如，年龄、姿势、偏好、生物计量信息)、观看区域内的辅助设备(例如，手机、平板电脑)和观看者与这类设备的交互、显示器信息(例如，大小)和观看模式(例如，每天观看内容的总小时数、每天观看的平均内容等)。方框303可以检查来自方框306的元数据以执行这类确定。例如，如果一天中的时间较晚(例如，晚上11点之后)，则方框303可以确定不应提供媒体控制操作。然而，如果在黄金时间期间(例如，在晚上8点到10点之间)正在观看媒体内容，则方框303可以确定提供媒体控制操作。在另一示例中，方框303可以确定应该基于地理信息提供媒体控制操作。例如，如果方框303确定媒体内容与观看者所在的地理区域特别相关，则方框303可以提供媒体内容倒回操作。地理信息可以由方框306提供。
在一个示例中，方框303可以基于观看者信息(例如，年龄、姿势、偏好、生物计量信息)确定应提供媒体控制操作。观看者信息可以是由方框306提供的元数据的一部分。例如，方框303可以确定如果观看者的姿势指示他在认真看节目，则应该提供媒体控制。如果节目特别适合观看者的年龄，则方框303可以确定应该提供媒体控制。如果观看者的偏好指示他对节目特别感兴趣(例如，如果观看者的简档指示对体育运动的偏好并且媒体内容是体育类型的节目)，则方框303可以确定应该提供媒体控制。
如果观看者的生物计量指示他在认真看节目(例如，通过增加的脉搏率)，则方框303可以确定应该提供媒体控制。在另一示例中，方框303可以基于确定观看者的关注度走神(例如，基于对观看者的注视的检测和/或对话水平的增加)来确定不应该提供媒体控制。如果确定离开房间的人不太有兴趣(例如，生物反馈指示这个人快睡着了)，则当这个人返回时可以禁止媒体控制操作。或者，如果观看者离开房间时生物反馈指示观看者高度感兴趣(例如，快速脉搏、瞳孔扩张)，则当观看者返回时可以提供媒体控制操作(例如，倒回操作)。
在一个示例中，方框303可以基于观看区域内的辅助设备(例如，电话、平板电脑)和观看者与这类设备的交互来确定是否应该提供媒体控制操作。例如，如果观看者开始广泛地与辅助设备交互，则方框303可以确定不应该提供媒体20控制操作。例如，如果观看者开始在平板上播放另外的媒体内容，则方框303可以不提供媒体控制操作。
在一个示例中，方框303可以基于观看模式(例如，每天观看内容的总小时数、每天观看的平均内容等)确定应该提供/激活媒体控制操作。例如，方框303可以为已经返回的用户以及每天观看媒体内容大量总小时数的用户或者观看媒体内容大量平均时间的用户提供媒体内容控制操作。
方框303可以基于表1确定是否提供媒体控制操作：
表1
在一个示例中，表1的“条件确定”列可以指示是否执行媒体控制操作(例如倒回、暂停、时间跳转)。
在另一示例中，方框303可以基于下面示出的表2-表7中的信息来确定是否提供媒体控制操作。在一个示例中，“关注确定”列可以对应于关注动作或条件。可以从方框302、从方框305的事件记录日志和/或从元数据方框306接收关注确定信息。“乘数”列可以与将乘以进行对应确定的观看者人数的乘数相对应。在一个示例中，“乘数”与关注确定人数相乘而得到的值是关注度改变值。然后使用关注变化值来确定是否已发生了关注改变。如果方框303确定已发生关注改变，则其可以将控制传递到方框304。
表2
关注确定 乘数
眼睛盯着电视的人 1.0
读书的人 0.5
睡觉的人 0.2
观看少儿节目的成人 0.5
观看冰球的成年男性 1.0
观看冰球的成年女性 0.7
观看浪漫电影的成年男性 0.7
观看浪漫电影的成年女性 1.0
表3
房间中的人 值
一个人 0
两个人 1
三个人 .75
四个或更多 0
表4
关注确定：从观看者计数减少所经过的时间？ 值
小于30秒 0
30秒到5分钟 1
5分钟到15分钟 .75
大于15分钟 0
表5
关注确定：内容是否结束？ 值
否 1
是 0
表6
表7
关注确定：不在场时段与节目持续时间的比率 值
小于4％ 0
4％到8％ 1
8％到15％ .75
大于15％ 0
方框303还可以组合一个或多个过滤条件确定。例如，方框303还可以评估上述的一个或多个过滤条件确定的组合。例如，方框303可以通过评估多个过滤条件确定来确定是否应该提供媒体控制操作。例如，每个过滤条件确定可以被提供用于媒体控制操作的值，并且这些值可以一起相乘以确定总的过滤值。然后可以将过滤值与阈值进行比较以确定是否提供媒体控制操作。在另一示例中，某些过滤条件确定可以被赋予较高的优先级或者可以优先于其它过滤条件确定。例如，基于不在场的持续时间确定不提供媒体控制操作可以具有较高的优先级，并且可以优先于与其相矛盾的基于以内容为基础的确定来确定提供媒体控制操作。
方框304可以基于从方框303接收到的过滤条件确定来提供显示媒体内容操作。在一个示例中，方框304可以提供以下媒体控制操作选项中的一个或多个：倒回、暂停、快进、将媒体内容设置到特定时间戳、将媒体内容设置到特定场景。方框304可以从要执行的媒体控制操作的方框303接收信息。在另一示例中，方框304可以通过与系统的交互来提供用于选择的多个媒体控制操作。方框304可以提供显示除了媒体控制操作之外的附加信息。例如，方框304可以提供显示与要显示的媒体内容的时间戳相对应的图像(例如，场景的屏幕截图)。在一个示例中，方框304可以确定提供媒体控制操作。在另一示例中，方框304可以自动执行或激活任意媒体控制操作，诸如暂停音量限制(例如，降低音量)和/或失去关注的指示。
图3B示出了根据本原理提供媒体内容控制操作的方法350的流程图。方法350可以在媒体内容被提供给多个观看者或用户时执行。
方法350可以包括用于接收关注信息的方框351。在一个示例中，方框351可以根据结合图3A的方框301描述的原理来接收关注信息。
方法350还可以包括用于执行关注确定的方框352。在一个示例中，方框352可根据结合图3A的方框302描述的原理执行关注确定。方框352然后可以确定是否存在关注增加、失去或恢复。如果方框352确定存在关注触发(是确定)，则其可以将控制传递到方框353。如果方框352确定不存在关注触发，则其可以将控制传递回方框351。
方框353可执行公共过滤器确定。在一个示例中，方框353的通用过滤器可以是结合图3A的方框303所描述的过滤器和过滤条件。在一个示例中，方框353可以检查来自方框380的事件记录日志和/或元数据信息，以确定是否应该应用公共过滤器。例如，方框353可以确定应该应用基于不在场持续时间的过滤器(例如，过滤器A)。方框353可以确定是否应该应用附加过滤器，诸如基于已经停止观看内容的观看者人数的过滤器(例如，过滤器B)。方框353可以确定应该应用多于一个过滤器。例如，方框353可以确定应该应用附加过滤器，诸如基于地理位置或一天中的时间的过滤器。或者，方框353可以确定应仅应用一个过滤器。然后，方框353可以将控制传递给确定的过滤器组，诸如方框360处的过滤器组A或方框370处的过滤器组B、过滤器A和B、和/或其它过滤器(C，D，…，等)。
方框360可以执行过滤器组A确定。在一个示例中，方框360可根据结合图3A描述的原理将关注值分配给过滤器组A。方框360然后可以将控制传递到方框361。
方框361可以将方框360中确定的值与阈值A进行比较。在一个示例中，可以根据表2-表7来确定阈值A。如果来自方框360的值确定肯定(是)条件(例如，过滤器组A的值大于等于阈值A)，则方框361可以将控制传递到方框362。否则，如果方框360确定否定(否)条件(例如，过滤器组A的值不大于等于阈值A)，则方框361可以将控制传递回方框351。
方框362可以提供媒体控制操作A。在一个示例中，方框362可以根据结合图3A的方框304描述的原理来提供媒体控制操作。
方框370可以执行过滤器组B确定。在一个示例中，方框370可以根据结合图3A描述的原理将关注值分配给过滤器组B。方框370然后可以将控制传递到方框371。
方框371可以将方框370中确定的值与阈值B进行比较。在一个示例中，阈值B可以根据表2-表7来确定。如果来自方框370的值确定了肯定(是)值(例如，过滤器组B的值大于等于阈值B)，则方框361可以将控制传递到方框372。否则，如果方框370确定否定(否)条件(例如，过滤器组B值不大于等于阈值B，则方框371可以将控制传递回方框351。
方框372可以提供媒体控制操作B。在一个示例中，方框372可以根据结合图3A的方框304描述的原理来提供媒体控制操作。在一个示例中，媒体控制操作B可以与方框362的媒体控制操作A相同或不同。在一个示例中，方框372可以确定媒体控制操作是否已经由另一过滤器组提供。如果已经提供了媒体控制操作，则方框372可以基于新确定的过滤器组来确定是否提供任何附加信息(例如，是否提供不同的媒体控制操作，是否停止提供较早的媒体控制操作，或者是否重新提供媒体控制操作)。
在一个示例中，方框353、360、361、362、370、371和372的确定可以基于来自事件记录和/或元数据方框380的信息。方框380可以对应于结合附图描述的方框305和306。
图4示出了根据本原理的方法400的流程图。方法400可以确定是否提供媒体控制操作。方法400可以由图3A的方法300执行，诸如例如由方法300的方框303和/或302执行。
方法400可以包括用于监视媒体内容的观看者人数的方框401。方框401可以接收用于确定媒体内容的观看者人数的关注信息。方框401可以监视观看区域中(例如，房间中或者观看或听觉区域中)的观看者人数。由方框401监视的观看者人数可以由值N来标识。方框401可以监视N的值并且将该值N提供给方框402。
方框402可以确定N的值是否大于或等于第一阈值。例如，方框402可以确定N的值(观看者人数)是否高于或等于第一阈值，诸如两个人的阈值。在另一示例中，第一阈值可以涉及可以根据表2-表7确定的关注值。该第一阈值表示激活系统的观看者或关注的最少人数。如果方框402确定N的值不大于或等于第一阈值，则其可以将控制返回到方框401以继续监视N的值。否则，如果方框402确定N的值大于或等于第一阈值，则其可以将控制传递到方框403。
方框403可以确定失去的观看者人数。失去的观看者人数可以由值M来标识。方框403可以接收用于确定媒体内容的失去的观看者人数的关注信息。方框403可以跟踪已经离开观看区域(例如，房间或者观看区域或听觉区域)的观看者人数。或者，方框403可以确定有多少观看者已经失去了关注(例如，转移注意力，开始观看辅助设备，通过对话水平指示关注的改变，指示人睡着的下降脉搏)。方框403可以确定M的值并将M的值提供给方框404。
方框404可以确定M的值是否大于或等于第二阈值。例如，方框403可以确定M的值(失去关注的观看者人数)是否高于或等于第二阈值，诸如两个人的阈值。第二阈值表示激活系统的观看者的最小人数或观看者的关注。第二阈值的示例是两名观看者离开房间。另一示例是一半的观看者离开。在另一示例中，第二阈值可以涉及可以根据表2-表7确定的关注值。如果方框404确定M的值不大于第二阈值，则其可以将控制返回到方框403。否则，如果方框404确定M的值大于或等于第二阈值，则其可以将控制传递到方框405。
方框405可以确定是否提供媒体控制操作。在一个示例中，方框405可以基于在方框404处确定失去关注来确定提供媒体控制操作。方框406可以自动地激活任何媒体控制操作，诸如暂停音量限制(例如，降低音量)、和/或失去关注的指示。
方框405可以基于在方框404处确定失去关注来提供显示用于执行媒体控制操作(例如，暂停功能)的选项。在另一示例中，方框405可以基于在方框404处确定失去关注来自动执行/激活媒体控制操作(例如，暂停)。如果方框405确定不提供媒体控制操作，则其可以将控制传递到方框406。如果方框405决定提供媒体控制操作，则其可以将控制提供到结束方法400的结束方框409。
方框406可以监视增加的观看者人数。增加的观看者人数可以由值P标识。增加的观看者人数可以与已经进入或返回到观看区域和/或将其关注返回媒体内容的观看者人数相对应。方框406可以接收用于确定媒体内容的增加的观看者人数的关注信息。方框406可以跟踪增加的观看者人数。方框406可以确定观看者是否已经进入观看区域(例如，房间或者观看区域或听觉区域)。方框406然后可以确定增加的观看者是否先前离开过观看区域(从而限定为返回的观看者)。在另一示例中，方框406可以确定观看者是否已经开始关注媒体内容和/或该观看者是否将他或她的关注返回到媒体内容。例如，方框406可以基于对观看者的注视和其它生物计量信息的分析来确定观看者是否已经恢复他或她的关注。方框406可监视P的值并将该P的值提供给方框407。
方框407可以确定P的值是否大于或等于第三阈值。例如，方框407可以确定P的值(已经增加关注的观看者人数)是否高于或等于第三阈值。第三阈值可以表示可以激活系统的返回观看者的最小人数。在另一示例中，第三阈值可以涉及可以根据表2-表7确定的关注值。如果方框407确定P的值不大于第三阈值，则其可以将控制返回到方框406。否则，如果方框407确定P的值大于或等于第三阈值，则其可以将控制传递到方框408。
方框408可以确定是否应该提供媒体控制操作。在一个示例中，方框408可以基于在方框407处确定增加关注来提供显示媒体控制操作。方框408可以基于在方框407处确定增加关注来提供显示媒体控制操作(例如，倒回功能、暂停功能)的建议。在另一示例中，方框408可以基于在方框407处确定增加关注来自动执行/激活媒体控制操作(例如，倒回)。例如，如果确定用户已经恢复关注媒体内容(例如，已经返回到显示媒体内容的房间)，则方框408可以提供倒回操作，直到用户失去对媒体内容的关注的时间为止。方框408可以将控制提供给结束方法400的结束方框409。
图5示出了根据本原理的方法500的流程图。方法500可以由图3A的方法300执行，诸如例如由方框302和/或302执行。
方法500可以包括方框501。方框501可以检测关注事件。例如，方框501可以确定观看者的关注是否已经失去、增加或恢复。例如，方框501可以确定观看者是否失去了关注(例如，通过离开观看区域或者通过诸如走神注视或睡着之类的其它指示)。方框501可以根据结合图3A的方框301和302所描述的原理来检测关注事件。如果针对一个或多个用户检测到关注事件，则方框501可以将控制传递到方框502。
方框502可以确定持续时间是否满足过滤条件。方框502可以确定增加或失去关注是否已经发生了至少最少量的时间。如果不在场时间短(例如，低于或等于阈值)和/或如果在不在场期间显示的内容不重要，则方框502可以确定不提供媒体控制操作。在一个示例中，方框502可以基于结合图3A(包括表4)描述的原理来执行持续时间过滤条件。如果不在场时间长(例如，高于阈值)，则方框502可以确定提供媒体控制操作(例如，倒回操作)。如果方框502确定提供媒体控制操作(“是”条件)，则其将控制传递到方框503。否则，如果方框502确定不提供媒体控制操作(“否”条件)，则其将控制传递到方框501。
方框503可以确定是否应该提供媒体控制操作。在一个示例中，方框503可以基于方框502的确定提供显示媒体控制操作。方框503可以基于方框502的确定提供显示媒体控制操作(例如，倒回功能、暂停功能)。在另一示例中，方框503可以基于方框502的确定自动地执行/激活媒体控制操作(例如，暂停、倒回)。例如，如果方框502确定用户在两个时间阈值之间(例如，小于10分钟但大于2分钟)的持续时间之后返回，则方框503可提供倒回操作或到与用户离开观看区域的时间相对应的媒体内容的时间戳的跳转操作。
图6示出了根据本原理的用于过滤确定的方法600的流程图。方法600可以由图3A的方法300执行，诸如例如由方框303执行。
方法600可以包括方框601。方框601可以检测关注失去事件。方框601可以根据结合图3A(包括方框301和302)描述的原理确定关注失去。例如，方框601可以通过离开观看区域或者通过诸如走神注视或睡着之类的其它指示来确定观看者是否失去了关注。如果针对一个或多个用户检测到关注事件，则方框601可以将控制传递到方框602。
方框602可以在检测事件之后监视媒体内容。方框602可以将关于媒体内容的信息提供给方框603。方框603可以执行媒体内容确定。具体地，方框603可以确定媒体内容片段(例如，情节或场景)是否已经结束或者媒体内容是否已经改变。如果方框603确定媒体内容片段已经结束或者媒体内容已经改变(“否”条件)，则方框603可以将控制传递到方框604。方框604可以指示媒体控制操作不合适。
然而，如果方框603确定媒体内容片段还没有结束或者媒体内容还没有改变(“是”条件)，则方框603可以将控制传递到方框605。方框605可以确定观看者的关注是否已经恢复。如果方框605检测到关注检测恢复，则其可以将控制传递到方框606。
方框606可以确定是否应该提供媒体控制操作。在一个示例中，方框606可以提供显示媒体控制操作。方框606可以提供媒体控制操作(例如，倒回功能、暂停功能)。在另一示例中，方框606可以自动执行/激活媒体控制操作(例如，暂停、倒回)。
图7示出了根据本原理的用于过滤确定的方法700的流程图。方法700可以由图3A的方法300执行。
方法700可以包括方框701。方框701可以检测关注事件。例如，方框701可以确定观看者的关注是否已经失去、增加或恢复。方框701可以根据结合图3A(包括方框301和302)描述的原理来确定关注事件。如果针对一个或多个用户检测到关注事件，则方框701可以将控制传递到方框702、704和706。
方框702可以执行过滤器1确定。例如，方框702可以根据结合图3A的方框303描述的原理执行过滤确定。或者，方框702可根据结合图4的方法400、图5的方法500或图6的方法600所描述的原理来执行过滤确定。方框702可以将控制传递到方框703以确定是否满足过滤器1条件。如果确定满足过滤器1条件，则方框703可以将控制传递到方框708。
方框704可以执行过滤器2确定。例如，方框704可以根据结合图3A的方框303所描述的原理来执行过滤确定。或者，方框704可根据结合图4的方法400、图5的方法500或图6的方法600所描述的原理来执行过滤确定。方框704可以将控制传递到方框705确定是否满足过滤器2条件。如果确定满足过滤器2条件，则方框705可以将控制传递到方框708。
方框706可以执行过滤器3确定。例如，方框706可以根据结合图3A的方框303所描述的原理来执行过滤确定。或者，方框706可根据结合图4的方法400、图5的方法500或图6的方法600所描述的原理执行过滤确定。方框706可以将控制传递到方框707以确定是否满足过滤器2条件。如果确定满足过滤器3条件，则方框707可以将控制传递到方框708。
方框708可以确定是否满足多于一个过滤条件。在一个示例中，可以存在少于三个的过滤器，或者可以存在多于由方框702、704和706所示的三个过滤器。方框708可以通过比较不同的过滤条件来执行过滤决议(resolution)。例如，可以存在激活媒体控制操作的不同场景。方框708可识别哪些场景被满足。在一个示例中，方框708可以对分配给方框702、704和706的过滤器的各种值进行求和。例如，方框703可以对结合图3A所讨论的值进行求和。方框703可以确定总值是否大于等于阈值。基于肯定确定，方框708可以将控制传递到方框709。
方框709可基于方框709的过滤决议确定来确定要输出的媒体控制操作。例如，方框709可以确定不应该提供媒体控制操作。或者，方框709可以提供显示媒体控制操作。方框709可以提供媒体控制操作(例如，倒回功能、暂停功能)。在另一示例中，方框709可以自动执行/激活媒体控制操作(例如，暂停、倒回)。
图8是根据本原理的用于显示媒体内容操作的用户界面的示意图。具体而言，图8示出了根据本原理的示例性用户界面800。用户界面800包括背景区域810，其中可以显示媒体内容。用户界面800还可以包括媒体内容控制显示区域820，其中可以显示建议的、根据本原理提供的媒体内容控制操作。显示区域820可以显示可以示出了建议的媒体内容控制操作的按钮830。在一个示例中，显示区域820可以在背景中显示在建议的媒体内容控制操作时显示的场景的图像。虽然为了说明的清楚起见，区域810和820在图8中呈现为空白，但推测可以在这些区域的一个或多个区域中显示媒体内容。虽然出于示例性目的示出了按钮830，但应该理解，其它控制机制也可以用于实现本原理。在一个示例中，控制显示区域820显示适合于根据本原理自动执行的媒体控制操作的图形。
本文已经阐述了许多具体细节以提供对本发明的透彻理解。然而，本领域技术人员将会理解，可以在没有这些具体细节的情况下实践以上示例。在其它实例中，众所周知的操作、组件和电路未被详细描述以免混淆本发明。可以理解，本文公开的具体结构和功能细节可以是代表性的，但不一定限制本发明的范围。
本发明的各种示例可以使用硬件元件、软件元件或两者的组合来实现。例如，可以使用可以存储一条指令或一组指令的计算机可读介质或物品来实现一些示例，其中如果所述指令被机器执行，则可以使机器执行根据实施例的方法和/或操作。这样的机器可以包括例如任何合适的处理平台、计算平台、计算设备、处理没备、计算系统、处理系统、计算机、处理器等，并且可以使用任何适当的硬件和/或软件来实现。计算机可读介质或物品可以包括例如任何合适类型的存储器单元、存储器设备、存储器物品、存储器介质、存储设备、存储物品、存储介质和/或存储单元。指令可以包括任何合适类型的代码，诸如源代码、编译代码、解译代码、可执行代码、静态代码、动态代码、加密代码等，这些代码使用任何合适的高级、低级、面向对象、可视化、编译和/或解译的编程语言来实现。

Claims (21)

1.一种执行至少一个媒体控制操作的方法，所述方法包括：
监视提供的媒体内容和关注信息；
基于所述关注信息确定关注检测；
基于所述关注检测和附加关注信息来评估过滤条件；以及
基于对所述过滤条件的肯定确定来提供所述媒体控制操作。
2.根据权利要求1所述的方法，还包括显示所述媒体控制操作。
3.根据权利要求1所述的方法，其中所述附加关注信息是从以下组中选择的至少一项：事件记录信息和元数据。
4.根据权利要求3所述的方法，其中所述事件记录信息包括从以下组中选择的至少一项：持续时间、观看者人数、媒体内容的类型、时间信息、生物计量信息、观看模式、时间信息、显示信息和辅助设备。
5.根据权利要求3所述的方法，其中所述事件记录信息至少包括事件记录，所述事件记录包括从以下组中选择的至少一项：与所述媒体内容的时间有关的时间戳、在所述媒体内容的时间处的媒体内容信息、以及在所述媒体内容的时间处的至少一个观看者的至少关注信息。
6.根据权利要求3所述的方法，其中所述事件记录信息包括多个事件记录的日志，其中所述日志与所述事件记录中的每个事件记录的每个时间戳同步。
7.根据权利要求6所述的方法，其中所述时间戳对应于在所述媒体内容期间当所述观看者增加或失去对所述媒体内容的关注时的时间。
8.根据权利要求1所述的方法，其中所述关注检测基于确定所述观看者失去对所述媒体内容的关注超过阈值。
9.根据权利要求3所述的方法，其中所述过滤条件是基于元数据确定的，其中所述元数据是从以下组中选择的至少一项：一天中的时间、一周中的一天、天气状况、观看者的年龄或性别、观看屏幕的大小、每天观看电视的小时数、地理位置和偏好简档。
10.根据权利要求1所述的方法，其中提供所述媒体控制操作是从以下组中选择的至少一项：供应或激活所述媒体控制操作。
11.一种执行至少一个媒体控制操作的系统，所述系统包括：
处理单元，被配置成监视提供的媒体内容和关注信息，所述处理单元还被配置成基于关注检测和附加关注信息评估过滤条件；以及
存储器，被配置成存储由所述处理单元使用的信息；
其中所述关注检测是基于所述关注信息确定的；
其中所述处理单元还基于对所述过滤条件的肯定确定来提供所述媒体控制操作。
12.根据权利要求11所述的系统，还包括用于显示所述媒体控制操作的显示处理器。
13.根据权利要求11所述的系统，其中所述附加关注信息是从以下组中选择的至少一项：事件记录信息和元数据。
14.根据权利要求13所述的系统，其中所述事件记录信息包括从以下组中选择的至少一项：持续时间、观看者人数、媒体内容的类型、时间信息、生物计量信息、观看模式、时间信息、显示信息和辅助设备。
15.根据权利要求13所述的系统，其中所述事件记录信息至少包括事件记录，所述事件记录包括从以下组中选择的至少一项：与所述媒体内容的时间有关的时间戳、在所述媒体内容的时间处的媒体内容信息、以及在所述媒体内容的时间处的至少一个观看者的至少关注信息。
16.根据权利要求13所述的方法，其中所述事件记录信息包括多个事件记录的日志，其中所述日志与所述事件记录中的每个事件记录的每个时间戳同步。
17.根据权利要求16所述的方法，其中所述时间戳对应于在所述媒体内容期间当所述观看者增加或失去对所述媒体内容的关注时的时间。
18.根据权利要求11所述的系统，其中所述关注检测基于确定所述观看者失去对所述媒体内容的关注超过阈值。
19.根据权利要求13所述的系统，其中所述过滤条件是基于元数据确定的，其中所述元数据是从以下组中选择的至少一项：一天中的时间、一周中的一天、天气状况、观看者的年龄或性别、观看屏幕的大小、每天观看电视的小时数、地理位置和偏好简档。
20.根据权利要求11所述的系统，其中提供所述媒体控制操作是从以下组中选择的至少一项：供应或激活所述媒体控制操作。
21.一种存储有用于执行方法的计算机可执行代码的非暂时性有形计算机可读存储介质，所述方法包括：
监视提供的媒体内容和关注信息；
基于所述关注信息确定关注检测；
基于所述关注检测和附加关注信息来评估过滤条件；以及
基于对所述过滤条件的肯定确定来提供所述媒体控制操作。
CN201680062543.3A 2015-09-01 2016-08-31 基于关注检测进行媒体内容控制的方法、系统和装置 Pending CN108353202A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562212668P 2015-09-01 2015-09-01
US62/212,668 2015-09-01
PCT/US2016/049786 WO2017040723A1 (en) 2015-09-01 2016-08-31 Methods, systems and apparatus for media content control based on attention detection

Publications (1)

Publication Number Publication Date
CN108353202A true CN108353202A (zh) 2018-07-31

Family

ID=56926306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680062543.3A Pending CN108353202A (zh) 2015-09-01 2016-08-31 基于关注检测进行媒体内容控制的方法、系统和装置

Country Status (6)

Country Link
US (1) US20180295420A1 (zh)
EP (1) EP3345400A1 (zh)
JP (1) JP2018530277A (zh)
KR (1) KR20180063051A (zh)
CN (1) CN108353202A (zh)
WO (1) WO2017040723A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110401872A (zh) * 2019-07-26 2019-11-01 青岛海尔科技有限公司 基于智能家居操作系统的事件提醒方法、装置及存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10939164B2 (en) * 2016-05-10 2021-03-02 Rovi Guides, Inc. Method and system for transferring an interactive feature to another device
US10652614B2 (en) * 2018-03-06 2020-05-12 Shoppar, Ltd. System and method for content delivery optimization based on a combined captured facial landmarks and external datasets
US10440440B1 (en) * 2018-03-23 2019-10-08 Rovi Guides, Inc. Systems and methods for prompting a user to view an important event in a media asset presented on a first device when the user is viewing another media asset presented on a second device
GB201809388D0 (en) * 2018-06-07 2018-07-25 Realeyes Oue Computer-Implemented System And Method For Determining Attentiveness of User
US11610044B2 (en) * 2018-07-30 2023-03-21 Primer Technologies, Inc. Dynamic management of content in an electronic presentation
WO2020176418A1 (en) * 2019-02-25 2020-09-03 PreTechnology, Inc. Method and apparatus for monitoring and tracking consumption of digital content
WO2020227340A1 (en) * 2019-05-06 2020-11-12 Google Llc Assigning priority for an automated assistant according to a dynamic user queue and/or multi-modality presence detection
US11632587B2 (en) * 2020-06-24 2023-04-18 The Nielsen Company (Us), Llc Mobile device attention detection
US11553247B2 (en) * 2020-08-20 2023-01-10 The Nielsen Company (Us), Llc Methods and apparatus to determine an audience composition based on thermal imaging and facial recognition
US11949948B2 (en) * 2021-05-11 2024-04-02 Sony Group Corporation Playback control based on image capture

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1460360A (zh) * 2001-03-29 2003-12-03 皇家菲利浦电子有限公司 基于用户活动的控制媒体播放器的方法和装置
WO2006061770A1 (en) * 2004-12-07 2006-06-15 Koninklijke Philips Electronics N.V. Intelligent pause button
US20110072452A1 (en) * 2009-09-23 2011-03-24 Rovi Technologies Corporation Systems and methods for providing automatic parental control activation when a restricted user is detected within range of a device
US20120324492A1 (en) * 2011-06-20 2012-12-20 Microsoft Corporation Video selection based on environmental sensing

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070033607A1 (en) * 2005-08-08 2007-02-08 Bryan David A Presence and proximity responsive program display
WO2007113580A1 (en) * 2006-04-05 2007-10-11 British Telecommunications Public Limited Company Intelligent media content playing device with user attention detection, corresponding method and carrier medium
JP2010004118A (ja) * 2008-06-18 2010-01-07 Olympus Corp デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体
ES2431016T5 (es) * 2009-09-23 2022-02-24 Rovi Guides Inc Sistemas y métodos para detectar automáticamente usuarios con regiones de detección de dispositivos de medios
US8347325B2 (en) * 2009-12-22 2013-01-01 Vizio, Inc. System, method and apparatus for viewer detection and action
US20140096152A1 (en) * 2012-09-28 2014-04-03 Ron Ferens Timing advertisement breaks based on viewer attention level

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1460360A (zh) * 2001-03-29 2003-12-03 皇家菲利浦电子有限公司 基于用户活动的控制媒体播放器的方法和装置
WO2006061770A1 (en) * 2004-12-07 2006-06-15 Koninklijke Philips Electronics N.V. Intelligent pause button
US20110072452A1 (en) * 2009-09-23 2011-03-24 Rovi Technologies Corporation Systems and methods for providing automatic parental control activation when a restricted user is detected within range of a device
US20120324492A1 (en) * 2011-06-20 2012-12-20 Microsoft Corporation Video selection based on environmental sensing

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110401872A (zh) * 2019-07-26 2019-11-01 青岛海尔科技有限公司 基于智能家居操作系统的事件提醒方法、装置及存储介质

Also Published As

Publication number Publication date
JP2018530277A (ja) 2018-10-11
WO2017040723A1 (en) 2017-03-09
KR20180063051A (ko) 2018-06-11
EP3345400A1 (en) 2018-07-11
US20180295420A1 (en) 2018-10-11

Similar Documents

Publication Publication Date Title
CN108353202A (zh) 基于关注检测进行媒体内容控制的方法、系统和装置
US11509956B2 (en) Systems and methods for assessing viewer engagement
KR101741352B1 (ko) 데이터 및 오디오/비디오 콘텐츠의 전달을 제어하는 관심도 평가
US8726304B2 (en) Time varying evaluation of multimedia content
US9092829B2 (en) Generating audience response metrics and ratings from social interest in time-based media
US9819983B2 (en) Multi-dimensional digital content selection system and method
CN105229629B (zh) 用于估计对媒体内容的用户兴趣的方法、电子设备和介质
US9531985B2 (en) Measuring user engagement of content
US20120324492A1 (en) Video selection based on environmental sensing
US20150319400A1 (en) Methods and systems for performing playback operations based on the length of time a user is outside a viewing area
EP2721833A2 (en) Providing video presentation commentary
KR20150021039A (ko) 컨텐트 요소에 대한 관람자 반응을 결정하기 위한 방법, 장치 및 시스템
US20140379456A1 (en) Methods and systems for determining impact of an advertisement
US20150348122A1 (en) Methods and systems for providing purchasing opportunities based on location-specific biometric data
CN101015206A (zh) 出现对象估计装置和方法、以及计算机程序
US9749700B1 (en) Automatic display of closed captioning information
US10194209B2 (en) Automatic display of closed captioning information
US11871081B2 (en) Leveraging emotional transitions in media to modulate emotional impact of secondary content
US20230379544A1 (en) Leveraging emotional transitions in media to modulate emotional impact of secondary content
CN105992065B (zh) 随选视讯社交互动方法和系统
KR101544547B1 (ko) 사용자에 의한 컨텐트 이용에 기초하여 광고를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190524

Address after: Paris France

Applicant after: Interactive digital CE patent holding Co.

Address before: I Si Eli Murli Nor, France

Applicant before: THOMSON LICENSING

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20201222

Address after: Paris France

Applicant after: Interactive Digital Madison Patent Holdings

Address before: Paris France

Applicant before: Interactive Digital CE Patent Holding Co.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20180731

RJ01 Rejection of invention patent application after publication