CN104620522B - 通过所检测到的身体标记来确定用户兴趣 - Google Patents

通过所检测到的身体标记来确定用户兴趣 Download PDF

Info

Publication number
CN104620522B
CN104620522B CN201380047953.7A CN201380047953A CN104620522B CN 104620522 B CN104620522 B CN 104620522B CN 201380047953 A CN201380047953 A CN 201380047953A CN 104620522 B CN104620522 B CN 104620522B
Authority
CN
China
Prior art keywords
user
interest
ftp
ftp client
client ftp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380047953.7A
Other languages
English (en)
Other versions
CN104620522A (zh
Inventor
戴维·迪普汉彭斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN104620522A publication Critical patent/CN104620522A/zh
Application granted granted Critical
Publication of CN104620522B publication Critical patent/CN104620522B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42212—Specific keyboard arrangements
    • H04N21/42218—Specific keyboard arrangements for mapping a matrix of displayed objects on the screen to the numerical key-matrix of the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Social Psychology (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

根据某些实施方式，公开了一种用于确定观看者兴趣的方法。该方法在客户端系统上执行，该客户端系统具有一个或多个处理器、相机以及存储一个或多个程序以便由一个或多个处理器执行的存储器。电子设备用相机来捕捉客户端系统的用户的视觉数据。该电子设备分析所捕捉的视觉数据以检测与客户端系统的用户相关联的兴趣的身体标记。该电子设备然后基于所检测到的兴趣的身体标记来确定用户相对于正在用户附近显示的媒体内容的兴趣水平。电子设备然后将所确定的兴趣水平发送到服务器系统；该服务器系统包括客户端系统的用户的兴趣简档。该电子设备然后至少部分地基于所确定的兴趣水平从服务器系统接收用于针对用户的附加媒体内容的推荐。

Description

通过所检测到的身体标记来确定用户兴趣
技术领域
公开的实施方式一般地涉及显示媒体内容领域并且更具体地涉及确定用户对所显示的媒体的兴趣。
背景技术
当前存在许多途径供用户消费媒体内容。除诸如传统电视、无线电或电影院中的投影屏之类的传统、非交互式途径之外，新的电子设备提供了用以消费媒体内容的附加途径，诸如经由计算机、智能电话或平板电脑通过因特网来流送内容。这些附加途径中的某些是交互式的，并且允许用户与媒体内容的分发者相交互。此增加的交互允许媒体内容的分发者或制作者向媒体内容的消费者提供更加个性化的服务。
用于媒体内容的制作者或分发者提供个性化服务的一个选择是通过推荐引擎。此类引擎基于关于用户知道的信息来选择要向用户推荐的新媒体内容。增加推荐引擎具有的关于特定用户的信息量增加推荐引擎正确地推荐用户将发现感兴趣的媒体内容的准确度。结果，收集关于用户发现对什么媒体内容感兴趣和用户未发现对什么媒体内容感兴趣的信息对于提供良好的用户体验而言是重要的。
用于查看媒体内容的新途径允许附加的交互，其允许媒体内容分发者更高效地收集关于用户兴趣的信息。一般地，用户通过选择感兴趣的水平或对媒体内容进行评级来指示对一条媒体内容的兴趣。许多推荐系统被直接地集成到媒体内容显示平台中并允许用户指示其是否发现对特定的一条媒体内容是感兴趣的。
发明内容
根据某些实施方式，公开了一种用于确定观看者兴趣的方法。该方法在客户端系统上执行，该客户端系统具有一个或多个处理器、相机以及存储一个或多个程序以便由一个或多个处理器执行的存储器。客户端系统用照相机来捕捉客户端系统的用户的视觉数据。客户端系统分析所捕捉的视觉数据以检测与客户端系统的用户相关联的兴趣的身体标记(physical indicia of interest)。客户端系统然后基于所检测到的兴趣的身体标记来确定用户相对于正在用户附近显示的媒体内容的兴趣水平。客户端系统然后将所确定的兴趣水平发送到服务器系统，其保持用于客户端系统的用户的兴趣简档。客户端系统然后至少部分地基于所确定的兴趣水平来从服务器系统接收用于针对用户的附加媒体内容的推荐。
根据某些实施方式，公开了一种用于确定观看者兴趣的客户端系统。该客户端系统具有一个或多个处理器、相机以及存储一个或多个程序以由一个或多个处理器执行的存储器。所述一个或多个程序包括用于用相机来捕捉客户端系统的用户的视觉数据的指令。在某些实施方式中，所述客户系统包括用于分析所捕捉的视觉数据以检测与客户端系统的用户相关联的兴趣的身体标记的指令。在某些实施方式中所述客户端系统还可包括用于基于所检测到的兴趣的身体标记来确定用户相对于正在用户附近显示的媒体内容的兴趣水平的指令。在某些实施方式中，所述客户端系统还包括用于向服务器系统发送所确定的兴趣水平的指令；该服务器系统包括用于客户端系统的用户的兴趣简档。在某些实施方式中，所述客户系统还包括用于至少部分地基于所确定的兴趣水平来从服务器系统接收用于针对用户的附加媒体内容的推荐的指令。
根据某些实施方式，公开了一种存储一个或多个程序的非瞬时计算机可读存储介质，所述一个或多个程序被配置成用于由具有相关联的相机的客户端系统执行。所述一个或多个程序还包括用于捕捉客户端系统的用户的视觉数据的指令。所述一个或多个程序还包括用于分析所捕捉的视觉数据以检测与客户端系统的用户相关联的兴趣的身体标记的指令。所述一个或多个程序还包括用于基于所检测到的兴趣的身体标记来确定用户相对于正在用户附近显示的媒体内容的兴趣水平的指令。所述一个或多个程序还可包括用于向服务器系统发送所确定的兴趣水平的指令；该服务器系统包括用于客户端系统的用户的兴趣简档。所述一个或多个程序还包括用于至少部分地基于所确定的兴趣水平来从服务器系统接收用于针对用户的附加媒体内容的推荐的指令。
附图说明
图1是图示出根据某些实施方式的包括具有显示器的客户端系统的客户端/服务器环境的框图。
图2A是图示出根据某些实施方式的客户端系统的框图。
图2B是根据某些实施方式的从服务器系统接收到的事件列表的框图。
图3是图示出根据某些实施方式的服务器系统的框图。
图4是图示出根据某些实施方式的使用所检测的用户身体标记来确定用户对正在与客户端系统相关联的显示器上显示的媒体感兴趣的过程的流程图。
图5A描述了根据某些实施方式的通过身体标记来确定用户兴趣的示例。
图5B描述了根据某些实施方式的通过身体标记来确定用户兴趣的示例。
图5C描述了根据某些实施方式的通过身体标记来确定用户兴趣的示例。
图6A描述了根据某些实施方式的通过跟踪所显示的对象并确定用户聚焦区来确定用户兴趣的示例。
图6B描述了根据某些实施方式的通过跟踪所显示的对象并确定用户聚焦区来确定用户兴趣的示例。
图6C描述了根据某些实施方式的通过跟踪所显示的对象并确定用户聚焦区来确定用户兴趣的示例。
图7是图示出根据某些实施方式的基于身体标记来检测用户兴趣的过程的流程图。
图8是图示出根据某些实施方式的基于身体标记来检测用户兴趣的过程的流程图。
图9是图示出根据某些实施方式的基于身体标记来检测用户兴趣的过程的流程图。
相同的附图标记遍及各图指示相应部分。
具体实施方式
在某些实施方式中，客户端系统的用户经由客户端系统在被集成到客户端系统中或与客户端系统相关联的显示器上查看媒体内容。媒体内容的提供者在确定用户对所显示的媒体内容的注意时发现巨大的价值，因为知道用户对媒体内容的兴趣可以帮助媒体提供者更接近于用户的兴趣来修整未来内容或推荐。因此，在某些实施方式中，通过针对用户兴趣的身体标记来分析用户的视觉数据(诸如来自图片或视频的视觉数据)来确定用户对所显示媒的体的兴趣。此类实施方式的优点是用户不必主动地向系统指示其兴趣。
在某些实施方式中，客户端系统包括检测与用户相关联的身体标记的能力。例如，客户端系统可访问相关联的相机或扩音器。客户端系统然后使用相机来捕捉和存储关于用户的视觉信息。客户端系统然后针对媒体内容中的任何兴趣的身体标记来分析所捕捉的视觉信息。
在某些实施例中，确定兴趣的身体标记包括使用注视跟踪技术来确定用户眼睛的位置。例如，客户端系统使用每个眼睛的位置和取向来确定用户相对于显示器而言正在看哪里。通过确定用户正在看哪里，客户端系统能够确定用户是否聚焦在显示器上。如果用户被确定为聚焦在相关联的显示器上，则客户端系统确定用户正在聚焦在屏幕的什么部分上。在某些实施方式中，客户端系统然后使用此信息来确定用于与当前正在显示的媒体相关联的用户的兴趣水平。
在某些实施方式中，根据视觉信息确定的兴趣的身体标记包括用户的头的位置。通过分析用户的头的位置，客户端系统能够估计用户正在看哪里并因此确定用户是否在看显示器。客户端系统然后估计用户对当前显示的媒体的兴趣。在其他实施方式中，所确定的兴趣的身体标记包括用户的身躯倾斜。在其他实施方式中，所确定的兴趣的身体标记是用户对在正在显示的媒体中发生的视觉或音频事件的反应。例如，在身体上对电影中的令人惊讶的视觉或令人吃惊的大声声音做出反应(例如跳起或尖叫)的用户与并未对电影中的大声声音做出反应的用户相比可能对其正在观看的电影更感兴趣。
在某些实施方式中，音频事件包括关于当前正在播放的歌曲的信息。该信息包括用于歌曲的每分钟拍子(或频率或周期性)。客户端系统102然后分析所捕捉的视觉信息以确定用户是否正在以与所检测的歌曲的周期性匹配的周期性(或频率或每分钟拍子)移动。用户以歌曲的相同频率移动(例如跳舞)指示与呈现的音频事件的积极用户参与。例如，如果歌曲正在单独地或作为电影的声音轨的一部分播放，则正好在被当前呈现的媒体吸引的用户更有可能在时间(舞蹈)方面随着音乐一起移动。
在某些实施方式中，客户端系统将所确定的兴趣水平发送到服务器系统以用于进一步处理、存储和使用(例如在推荐系统中)。在某些实施方式中，客户端系统在将兴趣信息发送到服务器系统之前去除个人可识别信息。在某些实施方式中，用户能够登录到随时间推移跟踪兴趣信息并保持用于用户的兴趣简档的服务上。
在某些实施方式中，服务器系统使用从客户端系统接收到的所确定的兴趣来增加推荐系统的准确度。例如，所确定的兴趣可以用来选择用户发现感兴趣的特定流派、表演者或主题。在某些实施方式中，可以将这些推荐呈现给用户以供选择。在某些实施方式中，客户端系统在没有用户交互的情况下自动地开始显示最高推荐的媒体。在某些实施方式中，用户必须选择要显示的特定媒体。
图1是图示出根据某些实施方式的客户端服务器环境100的框图。客户端服务器环境100包括作为客户端环境108的一部分的客户端系统102和服务器系统120。在某些实施方式中，客户端系统102-1包括显示器106-1和相机104-1。在某些实施方式中，用户环境108-2包括相机102-2和与客户端系统102-2相关联但并未集成到客户端系统102-2中的显示器106-2。服务器系统120包括推荐引擎122和媒体信息数据库130。通信网络接口112可连接到多种网络中的任何一个，包括局域网(LAN)、广域网(WAN)、无线网络、有线网络、因特网或此类网络的组合。
根据某些实施方式，客户端环境108-1包括客户端系统102。在某些实施方式中，客户端系统102-1包括结合的相机106-1和结合的显示器。结合的相机106-1是被包括在客户端系统102-1中并能够记录视觉信息的相机。结合的显示器104-1也被包括在客户端系统102-1中并在用户附近显示媒体。
在其他实施方式中，客户端环境108-2包括客户端系统102-2、与客户端系统102-2相关联但并未被集成到客户端系统102-2中的显示器104-2以及与客户端系统102-2相关联但并未被集成到客户端系统102-2中的相机106-2。照相机106-2能够捕捉正在与客户端系统102-2相关联的显示器104-2上显示的媒体附近的用户的视觉信息。相关联的显示器104-2被配置成在客户端系统102-2的用户附近显示媒体。
根据某些实施方式，客户端系统102从服务器系统120接收事件列表114。从服务器系统接收到的事件列表114包括在特定媒体期间发生的视觉或听觉事件的列表。在某些实施方式中，事件列表中的每个事件包括指示事件发生的时间的参考时间、事件的持续时间以及在视觉事件的情况下的事件所发生于的显示器上的近似位置。例如，用于电影的事件列表可包括以下事件列表：在11分钟37秒发生大声尖叫并持续3秒，在38分钟27秒在屏幕的左半边发生大的爆炸且持续15秒，并且在61分钟10秒在两个人物之间发生功夫打斗并持续2分17秒。
根据某些实施方式，客户端系统102将所确定的兴趣112发送到服务器系统120。所确定的兴趣表示客户端系统102基于身体标记进行的用户对在用户的附近当前或最近显示的媒体具有的兴趣水平的估计。可以适合于计量兴趣的任何格式来记录此确定的兴趣信息。例如，可用在0和1之间的数值来表示所确定兴趣，其中，0表示无所确定的兴趣且1表示满的或最大兴趣。替换地，可通过选择多个不同状态中的一个来表示兴趣。例如，可通过向用户分配三个可能兴趣值(高兴趣、中等兴趣或低兴趣)中的一个并将此值报告给服务器系统120来表示兴趣。在某些实施方式中，可使用这些兴趣记分系统的任何变化或组合。
根据某些实施方式，服务器系统120包括推荐引擎122和媒体信息数据库130。推荐引擎122被配置成收集关于特定用户的兴趣的信息。在某些实施方式中，从多个源收集此信息。例如，可以通过将用户搜索历史数据、用户web导航数据、用户媒体购买、所检测的兴趣的用户身体标记、用户自报告的对特定媒体的兴趣以及用户兴趣信息的任何其他源聚合来收集用户信息。基于所收集的用户兴趣数据，推荐引擎确定要推荐给用户的特定媒体。在某些实施方式中，由推荐引擎122确定的媒体自动开始在与客户端系统102相关联的显示器104上显示而不等待用户选择。在其他实施方式中，所选媒体在由用户选择之前不开始显示。
根据某些实施方式，媒体信息数据库130包括关于特定媒体的特定细节。例如，媒体信息数据库130包括流派信息、演员信息、导演信息、事件信息以及与特定媒体有关的其他信息。服务器系统120使用此信息来促进由推荐引擎122进行的潜在推荐的评估。服务器系统120还使用媒体信息数据库130来生成用于正在与客户端系统102相关联的显示器104上显示的特定媒体内容的事件列表114。
图2A是图示出根据某些实施方式的客户端系统102的框图。客户端系统102通常包括一个或多个处理单元(CPU)202、一个或多个网络接口210、存储器212、相关联的相机106以及用于将这些部件互连的一个或多个通信总线214。客户端系统102包括用户接口204。用户接口204包括相关联的显示设备104且可选地包括诸如键盘、鼠标、触摸敏感显示器或其他输入按钮208之类的输入装置。可选地，显示设备104包括音频设备或其他信息传输设备。此外，某些客户端系统使用扩音器或语音识别来补充或替换键盘。
存储器212包括高速随机存取存储器，诸如DRAM、SRAM、DDRRAM或其他随机存取固态存储器件；并且可以包括非易失性存储器，诸如一个或多个磁盘存储器件、光盘存储器件、闪速存储器件或其他非易失性固态存储器件。存储器212可以可选地包括位于远离一个或多个CPU 202处的一个或多个存储器件。存储器212或者替换地存储器212内的一个或多个非易失性存储器件包括非瞬时计算机可读存储介质。在某些实施方式中，存储器212或存储器212的计算机可读存储介质存储以下程序、模块和数据结构或其子集。
·操作系统216，其包括用于处理各种基本系统服务且用于执行硬件依赖任务的过程；
·网络通信模块218，被用于经由一个或多个通信网络接口210(有线或无线)和一个或多个通信网络(诸如因特网、其他广域网、局域网、城域网等)将客户端系统102连接到其他计算机；
·显示模块220，用于使得能够在与客户端系统102相关联的显示器104上显示媒体；
·一个或多个客户端系统102应用模块222，用于使得客户端系统102能够执行由客户端系统102提供的功能，包括但不限于：
o图像捕捉模块224，用于使用相关联的相机106来捕捉在客户端系统102附近的用户的视觉数据；
o图像分析模块230，用于分析由相机106捕捉的视觉数据以检测在所显示的媒体内容附近的用户的兴趣的身体标记，包括但不限于用户的眼睛的位置、用户的头的位置、用户的身躯的位置以及由用户进行的任何移动；
o事件跟踪模块232，用于从服务器系统(图1的120)接收事件列表并针对从服务器系统(图1的120)接收到的事件列表比较所检测的兴趣的身体标记，以通过比较在媒体期间发生的用户特定事件的身体反应来更准确地计量用户的兴趣；
o对象跟踪模块234，用于确定与客户端系统102相关联的显示器104上的特定对象的位置，通过分析用户的头和眼睛位置来确定用户的注视位置，确定在第一时间用户的注视位置是否与所确定的对象交叉，确定在第二时间用户的注视位置是否与所确定的对象交叉，并确定用户的注视位置在第一和第二时间两者是否与同一对象交叉；以及
o兴趣确定模块236，用于通过收集视觉信息来确定兴趣的身体标记并将所确定的兴趣的身体标记与从服务器系统(图1的120)接收到的事件列表或在与客户端系统102相关联的显示器104上显示的对象相比较来确定在客户端系统102附近的用户对当前正在与客户端系统102相关联的显示器104上显示的媒体的兴趣；以及
·数据模块240，用于存储与客户端系统102有关的数据，包括但不限于：
o视觉显示数据242，包括要在与客户端系统102相关联的显示器104上显示的数据，包括显示媒体所需的数据、显示用户接口以允许用户有效地控制客户端系统102所需的数据以及有效地使用相关联的显示器104所需的任何其他数据；
o用户数据244，包括关于客户端系统102的用户的信息，诸如用户简档、用户偏好和兴趣以及与有效地向用户提供服务有关的其他信息；
o事件数据246，包括从服务器系统(图1的120)接收到的数据，其列出当前正在显示或者将来将在与客户端系统102相关联的显示器104上显示的媒体中的音频或视觉事件；以及
o媒体数据248，包括与当前正在与客户端系统102相关联的显示器104上显示或者不久将在其上面显示的媒体相关联的数据。
图2B是根据某些实施方式的从服务器系统(图1的12)接收到的事件列表246的框图。每个事件列表包括一个或多个事件250。每个事件表示在特定的媒体内容的显示期间发生的特定音频或视觉事件。
在某些实施方式中，事件250包括关于事件的附加信息。在某些实施方式中，每个事件包括以下中的一个或多个：事件ID 252、时间254、持续时间256、屏幕上位置258以及附加描述260。包括在每个事件250中的时间254描述事件在相对于媒体开头的什么点发生。时间数据254允许客户端系统(图1的102)使兴趣的特定用户标记与特定事件250相关。在某些实施方式中，每个事件250包括描述事件从其起始时间254开始持续多长时间的持续时间。例如，尖叫声或令人惊奇的视觉将仅持续至多几秒，而汽车追逐或军队战斗场景可能具有几分钟或更多的持续时间。
在某些实施方式中，事件数据246还包括用于视觉事件的屏幕上位置258(此类信息并不是视频事件所必须的)。屏幕上位置数据包括指示正在显示器(图1的104)上的哪里显示视觉事件250的坐标。客户端系统(图1的102)使用此信息来确定用户是否聚焦于所显示的事件250。在某些实施方式中，事件数据246还包括描述事件250的描述信息260。在某些实施方式中，此信息由描述事件的种类或描述符列表组成。例如，汽车追逐事件可能包括诸如汽车追逐、BMW、高速驾驶、车辆特技以及城市驾驶之类的种类。
在某些实施方式中，描述信息260包括事件250的简要文本描述。例如，描述可以是“警察以高速通过巴黎市区追逐嫌疑犯”。在某些实施方式中，客户端系统(图1的102)使用此描述信息以及收集的身体标记信息来更具体地分析用户的兴趣。例如，客户端系统(图1的102)能够确定特定类型或种类的事件是否对用户而言具有特别的兴趣。然后可将此兴趣信息发送到服务器系统(图1的120)。
图3是图示出根据某些实施方式的服务器系统120的框图。服务器系统120通常包括一个或多个处理单元(CPU)302、一个或多个网络接口304、存储器306以及用于将这些部件互连的一个或多个通信总线308。
存储器306包括高速随机存取存储器，诸如DRAM、SRAM、DDRRAM或其他随机存取固态存储器件；并且可以包括非易失性存储器，诸如一个或多个磁盘存储器件、光盘存储器件、闪速存储器件或其他非易失性固态存储器件。存储器306可以可选地包括位于远离一个或多个CPU 302处的一个或多个存储器件。存储器306或者替换地存储器306内的一个或多个非易失性存储器件包括非瞬时计算机可读存储介质。在某些实施方式中，存储器306或存储器306的计算机可读存储介质存储以下程序、模块和数据结构或其子集。
·操作系统310，其包括用于处理各种基本系统服务且用于执行硬件依赖任务的过程。
·网络通信模块312，被用于经由一个或多个通信网络接口304(有线或无线)和一个或多个通信网络(诸如因特网、其他广域网、局域网、城域网等)将服务器系统120连接到其他计算机；
·一个或多个服务器应用模块314，用于使得服务器系统120能够执行由服务器系统120提供的功能，包括但不限于：
o推荐引擎122，用于使用收集的用户信息324和媒体信息引擎130来确定对于客户端系统(图2的102)的用户而言感兴趣的媒体，并将所确定的推荐发送给客户端系统(图2的102)的用户；
o媒体确定模块316，用于确定在客户端系统(图1的102)处显示的媒体，其中，通过从客户端系统(图1的102)接收媒体的标识、分析在与客户端系统(图1的102)相关联的显示器(图1的104)处显示的数据或者在其中正在由服务器系统120提供在客户端系统(图1的102)处显示的媒体的情况下确定媒体被发送到客户端系统(图1的102)来确定正在客户端系统(图1的102)处显示媒体；
o事件选择模块318，用于基于被确定为在与客户端电子显示器(图1的104)相关联的显示器(图1的104)上显示的媒体和存储在媒体信息数据库130中的信息来确定要发送到客户端系统(图1的102)的事件列表；以及
o数据接收模块320，用于从客户端系统(图1的102)接收数据，包括通过分析来自客户端系统(图1的102)的用户的身体标记来确定的兴趣信息326；以及
·一个或多个服务器数据模块322，用于存储与服务器系统120有关的数据，包括但不限于：
o媒体信息数据库130，包括关于特定媒体的特定细节，包括例如流派信息、演员信息、导演信息、事件信息以及与特定媒体有关的其他信息；
o用户数据324，包括关于客户端系统(图1的102)的用户的信息，诸如用户简档、用户偏好和兴趣以及与有效地向用户提供服务有关的其他信息；
o兴趣数据324，包括从客户端系统(图1的102)接收到的数据，其指示用户对一个或多个媒体具有的兴趣水平；以及
o媒体显示数据328，包括用于当服务器系统120向客户端系统(图1的102)提供媒体数据时在显示器上显示媒体内容的数据。
图4是图示出根据某些实施方式的使用所检测的用户身体标记来确定用户对正在与客户端系统(图1的102)相关联的显示器(图1的104)上显示的媒体的兴趣的过程的流程图。在某些实施方式中，服务器系统120最初向客户端系统102发送事件列表412。事件数据列表246包括关于在特定媒体期间发生的视觉或听觉事件的信息。在某些实施方式中，事件列表中的每个事件包括A)指示事件发生的时间的参考时间，B)用于事件的持续时间，以及在视觉事件的情况下，C)在事件所发生于的显示器上的近似位置。例如，用于电影的事件列表可包括以下事件列表：在11分钟37秒发生大声尖叫并持续3秒，在38分钟27秒在屏幕的左半边发生大的爆炸且持续15秒，并且在61分钟10秒在两个人物之间发生功夫打斗并持续2分17秒。
根据某些实施方式，客户端系统102接收事件列表412并在与客户端系统102相关联的显示器(图1的104)上显示媒体。客户端系统102从相关联的相机104接收视觉信息数据406。在某些实施方式中，客户端环境设备102分析从相机104接收到的视觉信息数据406以确定在客户端系统102的用户的视觉信息数据406中是否存在任何兴趣的身体标记。
在某些实施方式中，客户端系统102还从与客户端系统102相关联的扩音器接收音频数据408。然后可以分析此音频数据以确定是否存在来自用户的任何兴趣的音频标记。例如，如果从服务器120接收到的事件列表412包括很可能产生听觉反应的事件，诸如令人惊恐或吃惊的人物在紧张的时刻突然跳到屏幕上。对当前正在显示的媒体非常感兴趣的用户很可能对正在显示的媒体中的令人惊恐或吃惊的可怕事件可听地做出反应。
在某些实施方式中，客户端系统102分析从相机104和扩音器404接收到的数据以确定兴趣的身体标记。例如，通过分析从相机104接收到的视觉数据以确定用户的眼睛的位置并根据该信息来确定每只眼睛的视线且然后确定相对于显示器而言用户的注视聚焦在哪里。基于所确定的用户的注视点，客户端系统102能够估计用户对当前正在显示的媒体的兴趣。客户端系统102还能够通过分析用户的头的位置以大体上确定用户正在看哪里、用户的身躯倾斜以及用户对当前正在显示的媒体的反应来估计兴趣。
在某些实施方式中，客户端系统102使用从服务器系统120接收到的事件列表412来帮助确定用户的兴趣水平。客户端系统102使事件列表412与视觉数据406相关以改善客户端系统102准确地确定用户对当前正在显示的媒体的兴趣的能力。例如，如果事件列表412描述了在媒体中的特定点处的大的爆炸，则客户端系统102可以具体地看看用户是否具有对所述爆炸的身体反应。在身体上对特定事件做出反应的用户将被确定为比并未在身体上对特定事件做出反应的用户对当前显示的媒体更感兴趣。
根据某些实施方式，客户端系统将所确定的用户兴趣数据410发送到服务器系统120。用户兴趣数据410包括表示用户对特定媒体感兴趣的程度的分值或排名。用户兴趣数据410包括识别兴趣分值或排名所适用的媒体的数据。
根据某些实施方式，服务器系统120接收用户兴趣数据410并将其存储以供进一步使用。在某些实施方式中，服务器系统120使用此用户兴趣数据410作为用于推荐引擎(图1的122)更准确地预测对用户而言将感兴趣的附加媒体的数据。在不必要求来自用户的交互的情况下获得从客户端系统102接收到的用户兴趣数据410。另外，身体标记可指示用户对用户不知道或者如果不自动地收集信息的话用户将不会自愿向推荐引擎进行提供的媒体的兴趣。在某些实施方式中，将接收到的用户兴趣数据410与服务器系统已收集的关于用户的其他信息组合以进行关于未来推荐的更准确的确定。在某些实施方式中，用户能够登录到已为用户构造的用户简档的服务中。该用户简档包括用户先前指示的兴趣的更全面记录和与进行推荐有关的其他信息。
图5A描述了根据某些实施方式的通过身体标记来确定用户兴趣的示例。在本示例中，客户端系统(图1的102)分析捕捉的视觉数据以确定用户的眼睛的位置和旋转。基于所确定的用户的眼睛的位置和旋转，客户端系统(图1的102)确定眼睛的视线和该视线在哪里与当前正在显示媒体的显示器522交叉。客户端系统(图1的102)独立地映射每只眼睛。根据某些实施方式中，客户端系统(图1的102)确定左眼的视线在哪里与显示器522交叉并记录左眼注视点(A)504。客户端系统(图1的102)确定右眼的视线在哪里与显示器522交叉并记录右眼注视点(B)506。
根据某些实施方式，客户端系统(图1的102)测量左眼注视点(A)504与右眼注视点(B)506之间的距离。客户端系统(图1的102)使用测量的在左侧和右侧注视点之间的距离502来确定用户的焦点位于哪里。在某些实施方式中，客户端系统(图1的102)确定用户并未聚焦在与客户端系统(图1的102)相关联的显示器上。例如，当测量的在左侧注视点(504)与右侧注视点(506)之间的距离502大于预定值且因此客户端系统(图1的102)能够确定用户的焦点在显示器522后面时。确定用户的焦点在显示器522后面指示用户对当前显示的媒体没有很高的兴趣。在某些实施方式中，客户端系统(图1的102)确定用户的左侧注视点(504)和右侧注视点(506)并未与跟客户端系统(图1的102)相关联的显示器(图1的104)交叉，并因此确定用户并未聚焦在显示器(图1的104)上。
图5B描述了根据某些实施方式的通过身体标记来确定用户兴趣的示例。在本示例中，客户端系统(图1的102)确定观看者的左侧注视点(A)514和右侧注视点(B)512。根据某些实施方式，在左侧和右侧注视点之间的距离小于预定距离。当所确定的距离510小于预定距离时，客户端系统(图1的102)能够确定用户正聚焦在显示器524上并确定显示器524上的聚焦区508。聚焦区508表示用户正在聚焦到的显示器524上的区域。在某些实施方式中，当在左侧注视点514与右侧注视点512之间的距离510小于预定值时，客户端系统(图1的102)确定用户对当前显示的媒体的兴趣是相对高的。
图5C描述了根据某些实施方式的通过身体标记来确定用户兴趣的示例。在本示例中，客户端系统(图1的102)确定左侧注视点(A)520和右侧注视点(B)518。在某些实施方式中，左侧注视点(A)520在右侧注视点(B)518的右侧。在这种情况下，客户端系统(图1的102)可以确定用户的焦点在屏幕前面的某个东西上，无论在左侧注视点520与右侧注视点518之间的距离516如何。基于此确定，客户端系统(图1的102)确定用户对当前显示的媒体具有相对低的兴趣。
在某些实施方式中，多于一个用户在正在其相关联的显示器上显示媒体内容的客户端系统(图1的102)附近。在某些实施方式中，客户端系统(图1的102)将具有与每个用户关联的简档，并将单独地测量其兴趣。这是通过经由例如人脸识别来识别每个用户且然后跟踪每个个体的兴趣的身体标记来实现的。在其他实施方式中，客户端系统(图1的102)不具有与所有用户相关联的关联简档。在这种情况下，客户端系统(图1的102)将识别客户端系统(图1的102)的主要用户并确定主要用户的兴趣。可用人脸识别、到客户端系统(图1的102)的接近度或到与客户端系统(图1的102)相关联的遥控器的接近度来识别主要用户。
在某些实施方式中，客户端系统(图1的102)不具有用于每个用户的单独简档且不能或未识别主要用户。在这些情况下，客户端系统(图1的102)跟踪用于所有可用用户的兴趣水平且然后比较兴趣水平。根据所有可用用户都具有相当的兴趣水平的确定，将兴趣水平一起求平均值。根据所有可用用户都具有充分不同的兴趣水平、使得并未达成实际的一致的确定，各种不同的兴趣水平全部被丢弃，并且不向服务器系统(图1的120)发送兴趣水平。
图6A描述了根据某些实施例的通过跟踪所显示的对象并确定在第一时间点的用户聚焦区来确定用户兴趣的示例。在本示例中，客户端系统(图1的102)确定当前正在显示器610-1上显示的对象列表(对象A 604-1、B 606-1以及C 610-1)。客户端系统(图1的102)跟踪显示器608-1上的每个对象的位置并确定在多个不同的时间的用户的聚焦区602-1。经由通过时间跟踪显示器608-1上的对象的移动且还通过时间跟踪用户的聚焦区，客户端系统(图1的102)可以确定用户的聚焦区是否正在跟随特定对象。在某些实施方式中，通过不同时间确定用户的聚焦区602-1正在跟随特定对象指示用户对媒体的兴趣是高的。
根据某些实施方式，客户端系统(图1的102)确定用户的聚焦区602-1。客户端系统(图1的102)然后确定聚焦区602-1是否与当前在显示器608-1上显示的对象中的任何一个交叉。在本示例中，客户端系统(图1的102)与对象A 604-1交叉。客户端系统(图1的102)存储此信息以供将来使用。
图6B描述了根据某些实施例的通过跟踪所显示的对象并确定在第二时间点的用户聚焦区来确定用户兴趣的示例。在本示例中，对象与在图1中描述的那些相同，但是在第一时间与第二时间之间已移动。客户端系统(图1的102)确定在第二时间显示器608-2和用户的聚焦区602-2上的对象的位置。如可以看到的，相对于图6A中的时间处的显示，对象A604-2和对象B 606-2在显示器上已移动位置，并且对象C 610-1已完全离开显示器608-2。此外，对象D 612-2已进入显示器608-2。客户端系统(图1的102)确定用户聚焦区602-2的位置。在本示例中，用户聚焦区相对于如在图6A中看到的在第一时间的其位置已经移动。
根据某些实施例，客户端系统(图1的102)确定用户聚焦区602-2的位置和其是否与当前显示的任何对象交叉。在本示例中，用户的聚焦区602-2与对象A交叉。在某些实施方式中，客户端系统(图1的102)将来自第一时间的聚焦区交叉数据与来自第二时间的聚焦区交叉数据相比较以确定用户的聚焦区602-2从第一时间至第二时间是否已跟随特定对象。在本示例中，用户的聚焦区602-2在第一和第二时间两者都与对象A交叉。在某些实施方式中，客户端系统(图1的102)基于确定用户的聚焦区从第一时间至第二时间已跟随特定对象而确定用户对所显示的媒体的兴趣是相对高的。
图6C描述了根据某些实施例的通过跟踪所显示的对象并确定在第三时间点的用户聚焦区来确定用户兴趣的示例。在本示例中，对象与在图1中描述的那些相同，但是对象在第一时间与第三时间之间已经移动。客户端系统(图1的102)确定显示器608-3上的对象的位置和用户聚焦区602-3的位置。在本示例中，对象A 604-3和B 606-3从如图6A中所描述的第一时间开始已从原始位置移动。对象C 610-1已经离开显示器608-3且对象D 612-2已进入显示器608-3。与图6B中所描述的示例相比，用户的聚焦区602-3相对于图6A中所描述的第一时间处的其位置而言并未移动。因此，用户的聚焦点从第一时间至第二时间并未移动。在某些实施方式中，客户端系统(图1的120)基于尽管有所显示的对象的移动、但用户的聚焦区并未改变的事实确定用户对所显示的媒体的兴趣是相对低的。
图7是图示出根据某些实施方式的基于身体标记来检测用户兴趣的过程的流程图。图7中所示的每个操作可对应于存储在计算机存储器或计算机可读存储介质中的指令。用短划线(例如，具有短划线边界的方框)来指示可选操作。在某些实施方式中，图7中所描述的方法由客户端系统(图1的102)执行。
根据某些实施方式，客户端系统(图1的102)从服务器系统(图1的120)接收与正在客户端系统的用户附近显示的媒体相关联的事件列表(图2的246)(702)。在某些实施方式中，相机(图1的106)捕捉客户端系统(图1的102)的用户的视觉数据并将该视觉数据发送到客户端系统(图1的102)。在某些实施方式中，客户端系统(图1的102)分析捕捉的视觉数据以检测与客户端系统的用户相关联的兴趣的身体标记(706)。在某些实施方式中，分析捕捉的视觉数据包括确定用户的头的取向(708)。在某些实施方式中，分析捕捉的视觉数据包括检测从用户接收到的用户对事件列表的身体响应(710)。
根据某些实施例，客户端系统(图1的102)分析所捕捉的视觉数据包括确定用于第一只眼睛相对于显示器的第一注视点(712)。客户端系统(图1的102)还确定用于第二只眼睛相对于显示器的第二注视点714)。客户端系统(图1的102)还测量在第一注视点与第二注视点之间的距离(716)。客户端系统(图1的102)还基于第一注视点、第二注视点的位置以及它们之间的距离来确定用户的聚焦区(718)。
图8是图示出根据某些实施方式的基于身体标记来检测用户兴趣的过程的流程图。图8中所示的每个操作可对应于存储在计算机存储器或计算机可读存储介质中的指令。用短划线(例如，具有短划线边界的方框)来指示可选操作。在某些实施方式中，图8中所描述的方法由客户端系统(图1的102)执行。
根据某些实施方式，客户端系统(图1的102)分析所捕捉的视觉数据包括接收媒体内容流以便在客户端系统的用户附近显示(804)。客户端系统(图1的102)进一步分析媒体内容流以确定当前正在显示的多个对象，所述多个对象中的每一个具有关联(806)。客户端系统(图1的102)进一步确定在第一时间与用户的聚焦区相交叉的第一对象(808)。客户端系统(图1的102)进一步确定在第二时间与用户的聚焦区相交叉的第二对象(810)。客户端系统(图1的102)还包括确定聚焦区在第一时间和第二时间两者是否与同一对象交叉(812)。
例如，客户端系统(图1的102)识别屏幕上的三个对象、主要人物、车辆以及花灯。客户端系统(图1的102)在正在显示媒体的同时跟踪每个对象的位置。客户端系统(图1的102)还跟踪用户的视觉聚焦区。因此，如果客户端系统(图1的102)确定在第一时间用户的聚焦区与主要人物对象交叉且在第二时间尽管该对象已经移动、用户的聚焦区仍与该主要人物对象交叉，则客户端系统(图1的102)确定用户对此媒体的兴趣水平是相对高的。相反地，如果尽管所显示的对象改变位置，但用户的聚焦区仍未改变，则这指示用户的兴趣水平是相对低的。
图9是图示出根据某些实施方式的基于身体标记来检测用户兴趣的过程的流程图。图9中所示的每个操作可对应于存储在计算机存储器或计算机可读存储介质中的指令。用短划线(例如，具有短划线边界的方框)来指示可选操作。在某些实施方式中，图9中所描述的方法由客户端系统(图1的102)执行。
根据某些实施方式，客户端系统(图1的102)基于所检测到的兴趣的身体标记来确定用户相对于正在用户附近显示的媒体的兴趣水平(902)。客户端系统(图1的102)将确定的兴趣水平发送到服务器系统(图1的120)，包括用于客户端系统的用户的兴趣简档(904)。客户端系统(图1的102)至少部分地基于所确定的兴趣水平从服务器系统(图1的120)接收用于针对用户的附加媒体内容的推荐(906)。
已参考特定实施方式出于说明的目的描述了先前的描述。然而，以上说明性讨论并不意图是穷举的或使本发明局限于公开的精确形式。鉴于以上讲授内容，可以有许多修改和变更。选择和描述实施方式是为了最好地解释本发明的原理及其实际应用，从而使得本领域的技术人员以适合于预期的特定用途的各种修改最好地利用本发明和各种实施方式。
还将理解的是虽然在本文中使用术语第一、第二等来描述各种元件，但这些元件不应受到这些术语的限制。这些术语仅仅用来将一个元件与另一个区别开。例如，在不脱离本实施方式的范围的情况下，可以将第一接点称为第二接点，并且同样地，可以将第二接点称为第一接点。第一和第二接点两者都是接点，但其并不是同一接点。
在本文中的实施方式的描述中所使用的术语是仅仅用于描述特定实施方式的目的且并不意图是限制性的。如在实施方式的描述和所附权利要求中所使用的单数形式“一”、“一个”和“该”意图也包括复数形式，除非上下文另外清楚地指明。还将理解的是本文所使用的术语“和/或”指的是且涵盖关联列出项目中的一个或多个的任何和所有可能组合。还将理解的是当在本说明书中使用时，术语“包括”和/或“包含”指定所述特征、整体、步骤、操作、元件和/或部件的存在，但并不排除一个或多个其他特征、整体、步骤、操作、元件、部件和/或其群组的存在或添加。
根据上下文，可将如本文所使用的术语“如果”理解成“当...时”或“在...时”或“响应于确定”或“响应于检测到”。同样地，根据上下文，可将短语“如果确定”或“如果检测到(所述条件或事件)”理解成意指“在确定...时”或“响应于确定”或“在检测到(所述条件或事件)时”或“响应于检测到(所述条件或事件)”。

Claims (17)

1.一种用于确定观看者兴趣的方法，包括：
在具有一个或多个处理器、相机以及存储一个或多个程序以便由所述一个或多个处理器执行的存储器的客户端系统上：
用所述相机来捕捉所述客户端系统的用户的视觉数据；
分析所捕捉的视觉数据以检测与所述客户端系统的用户相关联的兴趣的身体标记，其中所述兴趣的身体标记包括与所述用户的眼睛的焦点有关的信息，包括由在左眼和右眼注视点之间的距离所确定的聚焦位置；
基于所检测到的兴趣的身体标记，确定所述用户相对于正在所述用户的附近显示的媒体内容的兴趣水平，包括通过将所述左眼和右眼注视点之间的距离与预定距离相比较来确定所述用户是否正聚焦在显示所述媒体内容的显示器上；
将所确定的兴趣水平以及服务器系统已收集的关于所述用户的其他信息发送到所述服务器系统；所述服务器系统包括所述客户端系统的所述用户的兴趣简档；以及
至少部分地基于所确定的兴趣水平从所述服务器系统接收用于针对所述用户的附加媒体内容的推荐。
2.根据权利要求1所述的方法，其中，分析所捕捉的视觉数据以检测兴趣的身体标记包括：
确定左眼相对于所述显示器的左注视点；
确定右眼相对于所述显示器的右注视点；以及
测量在所述左注视点与所述右注视点之间的距离。
3.根据权利要求2所述的方法，其中，分析所捕捉的视觉数据以检测兴趣的身体标记还包括：
基于所述左注视点、所述右注视点的位置以及它们之间的距离来确定所述用户的聚焦区。
4.根据权利要求1所述的方法，其中，分析所捕捉的视觉数据以检测兴趣的身体标记包括：
确定所述用户的头的取向。
5.根据权利要求1-4中任何一项所述的方法，进一步包括：
从所述服务器系统接收与正在所述客户端系统的所述用户附近显示的所述媒体内容相关联的事件列表。
6.根据权利要求5所述的方法，其中，分析所捕捉的视觉数据以检测兴趣的身体标记包括：
检测用户对从所述服务器系统接收到的所述事件列表的身体响应。
7.根据权利要求5所述的方法，其中，所述事件列表包括音频事件和视觉事件。
8.根据权利要求3所述的方法，其中，分析所捕捉的视觉数据以检测兴趣的身体标记进一步包括：
接收媒体内容流以便在所述客户端系统的所述用户附近显示；
分析所述媒体内容流以确定当前正在显示的多个对象，所述多个对象中的每个对象具有相关联的位置；
确定在第一时间与所述聚焦区交叉的第一对象，
确定在第二时间与所述聚焦区交叉的第二对象；以及
确定所述聚焦区是否在所述第一时间和所述第二时间都与同一对象交叉。
9.根据权利要求1-4中任何一项所述的方法，其中所述用户是在所述客户端系统附近的多个用户中的一个用户，并且其中所述客户端系统追踪所述多个用户中的两个或更多个用户的兴趣水平、并且当所述多个用户具有相当的兴趣水平时将兴趣水平一起求平均值以用于使所述服务器系统能生成用于所述附加媒体内容的所述推荐的目的。
10.根据权利要求1-4中任何一项所述的方法，其中所述用户是在所述客户端系统附近的多个用户中的一个用户，进一步包括：
将所述用户识别为主要用户，其中所述用户的兴趣水平被用来生成用于所述附加媒体内容的所述推荐。
11.根据权利要求1-4中任何一项所述的方法，其中，当所述用户的焦点在所述显示器之后或之前时，确定所述用户对于当前显示的媒体内容并没有较高兴趣。
12.一种用于确定观看者兴趣的电子设备，包括：
一个或多个处理器；
相机，
存储器，所述存储器存储将由所述一个或多个处理器执行的一个或多个程序,
所述一个或多个程序包括指令，所述指令用于：
用所述相机来捕捉客户端系统的用户的视觉数据；
分析所捕捉的视觉数据以检测与所述客户端系统的用户相关联的兴趣的身体标记，其中所述兴趣的身体标记包括与所述用户的眼睛的焦点有关的信息，包括由在左眼和右眼注视点之间的距离所确定的聚焦位置；
基于所检测到的兴趣的身体标记，确定所述用户相对于正在所述用户的附近显示的媒体内容的兴趣水平，包括通过将所述左眼和右眼注视点之间的距离与预定距离相比较来确定所述用户是否正聚焦在显示所述媒体内容的显示器上；
将所确定的兴趣水平以及服务器系统已收集的关于所述用户的其他信息发送到所述服务器系统；所述服务器系统包括所述客户端系统的所述用户的兴趣简档；以及
至少部分地基于所确定的兴趣水平从所述服务器系统接收用于针对所述用户的附加媒体内容的推荐。
13.根据权利要求12所述的电子设备，其中，分析所捕捉的视觉数据以检测兴趣的身体标记包括：
确定左眼相对于所述显示器的左注视点；
确定右眼相对于所述显示器的右注视点；以及
测量在所述左注视点与所述右注视点之间的距离。
14.根据权利要求13所述的电子设备，其中，分析所捕捉的视觉数据以检测兴趣的身体标记还包括：
基于所述左注视点、所述右注视点的位置以及它们之间的距离来确定所述用户的聚焦区。
15.根据权利要求12-14中任何一项所述的电子设备，进一步包括用于以下的指令：
从所述服务器系统接收与正在所述客户端系统的所述用户附近显示的媒体内容相关联的事件列表。
16.根据权利要求15所述的电子设备，其中，分析所捕捉的视觉数据以检测兴趣的身体标记包括：
检测用户对从所述服务器系统接收到的所述事件列表的身体响应。
17.根据权利要求14所述的电子设备，其中，分析所捕捉的视觉数据以检测兴趣的身体标记包括：
接收媒体内容流以便在所述客户端系统的所述用户附近显示；
分析所述媒体内容流以确定当前正在显示的多个对象，所述多个对象中的每个对象具有相关联的位置；
确定在第一时间与所述聚焦区交叉的第一对象；
确定在第二时间与所述聚焦区交叉的第二对象；以及
确定所述聚焦区是否在所述第一时间和所述第二时间都与同一对象交叉。
CN201380047953.7A 2012-07-18 2013-07-17 通过所检测到的身体标记来确定用户兴趣 Active CN104620522B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/552,579 US20140026156A1 (en) 2012-07-18 2012-07-18 Determining User Interest Through Detected Physical Indicia
US13/552,579 2012-07-18
PCT/US2013/050951 WO2014015075A1 (en) 2012-07-18 2013-07-17 Determining user interest through detected physical indicia

Publications (2)

Publication Number Publication Date
CN104620522A CN104620522A (zh) 2015-05-13
CN104620522B true CN104620522B (zh) 2018-11-02

Family

ID=48917690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380047953.7A Active CN104620522B (zh) 2012-07-18 2013-07-17 通过所检测到的身体标记来确定用户兴趣

Country Status (5)

Country Link
US (3) US20140026156A1 (zh)
EP (1) EP2875602A1 (zh)
KR (1) KR102025334B1 (zh)
CN (1) CN104620522B (zh)
WO (1) WO2014015075A1 (zh)

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9557885B2 (en) 2011-08-09 2017-01-31 Gopro, Inc. Digital media editing
US8965624B2 (en) 2012-08-14 2015-02-24 Ebay Inc. Method and system of vehicle tracking portal
US9344773B2 (en) * 2013-02-05 2016-05-17 Microsoft Technology Licensing, Llc Providing recommendations based upon environmental sensing
US20150235538A1 (en) * 2014-02-14 2015-08-20 GM Global Technology Operations LLC Methods and systems for processing attention data from a vehicle
US9754159B2 (en) 2014-03-04 2017-09-05 Gopro, Inc. Automatic generation of video from spherical content using location-based metadata
CN103942279B (zh) * 2014-04-01 2018-07-10 百度(中国)有限公司 搜索结果的展现方法和装置
CN104035982B (zh) * 2014-05-28 2017-10-20 小米科技有限责任公司 多媒体资源推荐方法及装置
US10466776B2 (en) * 2014-06-24 2019-11-05 Paypal, Inc. Surfacing related content based on user interaction with currently presented content
US9685194B2 (en) 2014-07-23 2017-06-20 Gopro, Inc. Voice-based video tagging
US9984293B2 (en) 2014-07-23 2018-05-29 Gopro, Inc. Video scene classification by activity
US9671862B2 (en) * 2014-10-15 2017-06-06 Wipro Limited System and method for recommending content to a user based on user's interest
JP6096161B2 (ja) * 2014-10-15 2017-03-15 ソニー株式会社 情報処理装置および情報処理方法
US9734870B2 (en) 2015-01-05 2017-08-15 Gopro, Inc. Media identifier generation for camera-captured media
US9679605B2 (en) 2015-01-29 2017-06-13 Gopro, Inc. Variable playback speed template for video editing application
EP3244556A4 (en) 2015-02-05 2018-01-10 Huawei Technologies Co. Ltd. Object presentation and recommendation method and device based on biological characteristic
US9986289B2 (en) 2015-03-02 2018-05-29 The Nielsen Company (Us), Llc Methods and apparatus to count people
WO2016187235A1 (en) 2015-05-20 2016-11-24 Gopro, Inc. Virtual lens simulation for video and photo cropping
US10893318B2 (en) 2015-06-26 2021-01-12 Thales Avionics, Inc. Aircraft entertainment systems with chatroom server
US20160381412A1 (en) * 2015-06-26 2016-12-29 Thales Avionics, Inc. User centric adaptation of vehicle entertainment system user interfaces
US10416875B1 (en) * 2015-06-30 2019-09-17 Groupon, Inc. Method, apparatus, and computer program product for facilitating the playback of interface events
US10049110B2 (en) * 2015-09-11 2018-08-14 Lenova (Singapore) Pte. Ltd. Content ranking based on person-to-person sharing
US9832504B2 (en) * 2015-09-15 2017-11-28 Google Inc. Event-based content distribution
US10204273B2 (en) 2015-10-20 2019-02-12 Gopro, Inc. System and method of providing recommendations of moments of interest within video clips post capture
US9721611B2 (en) 2015-10-20 2017-08-01 Gopro, Inc. System and method of generating video from video clips based on moments of interest within the video clips
US11540009B2 (en) 2016-01-06 2022-12-27 Tvision Insights, Inc. Systems and methods for assessing viewer engagement
EP4080794A1 (en) 2016-01-06 2022-10-26 TVision Insights, Inc. Systems and methods for assessing viewer engagement
US10109319B2 (en) 2016-01-08 2018-10-23 Gopro, Inc. Digital media editing
US11019385B2 (en) * 2016-01-20 2021-05-25 Samsung Electronics Co., Ltd. Content selection for networked media devices
US9905244B2 (en) * 2016-02-02 2018-02-27 Ebay Inc. Personalized, real-time audio processing
US10083537B1 (en) 2016-02-04 2018-09-25 Gopro, Inc. Systems and methods for adding a moving visual element to a video
US10776823B2 (en) * 2016-02-09 2020-09-15 Comcast Cable Communications, Llc Collection analysis and use of viewer behavior
DE102016203742A1 (de) * 2016-03-08 2017-09-14 Bayerische Motoren Werke Aktiengesellschaft Anwenderschnittstelle, Fortbewegungsmittel und Verfahren zur Unterstützung eines Anwenders bei der Bedienung einer Anwenderschnittstelle
US10599730B2 (en) * 2016-03-25 2020-03-24 International Business Machines Corporation Guided search via content analytics and ontology
US9838730B1 (en) 2016-04-07 2017-12-05 Gopro, Inc. Systems and methods for audio track selection in video editing
US9794632B1 (en) 2016-04-07 2017-10-17 Gopro, Inc. Systems and methods for synchronization based on audio track changes in video editing
US9838731B1 (en) 2016-04-07 2017-12-05 Gopro, Inc. Systems and methods for audio track selection in video editing with audio mixing option
CN105979366A (zh) * 2016-04-25 2016-09-28 乐视控股（北京）有限公司 智能电视及其内容推荐的方法、装置
US10845977B2 (en) 2016-06-03 2020-11-24 Samsung Electronics Co., Ltd Method and apparatus for displaying content
US9936239B2 (en) 2016-06-28 2018-04-03 Intel Corporation Multiple stream tuning
US10185891B1 (en) 2016-07-08 2019-01-22 Gopro, Inc. Systems and methods for compact convolutional neural networks
US9836853B1 (en) 2016-09-06 2017-12-05 Gopro, Inc. Three-dimensional convolutional neural networks for video highlight detection
US10110950B2 (en) * 2016-09-14 2018-10-23 International Business Machines Corporation Attentiveness-based video presentation management
US10684679B1 (en) * 2016-10-21 2020-06-16 Gopro, Inc. Systems and methods for generating viewpoints for visual content based on gaze
US11113289B2 (en) * 2016-10-28 2021-09-07 Apple Inc. Blending learning models for search support
US10284809B1 (en) 2016-11-07 2019-05-07 Gopro, Inc. Systems and methods for intelligently synchronizing events in visual content with musical features in audio content
US10262639B1 (en) 2016-11-08 2019-04-16 Gopro, Inc. Systems and methods for detecting musical features in audio content
US10405041B2 (en) * 2016-11-28 2019-09-03 Rovi Guides, Inc. Systems and methods for predictive spoiler prevention in media assets based on user behavior
GB2557313A (en) * 2016-12-06 2018-06-20 British Telecomm Delivery of media content
US9854292B1 (en) * 2017-01-05 2017-12-26 Rovi Guides, Inc. Systems and methods for determining audience engagement based on user motion
US10534966B1 (en) 2017-02-02 2020-01-14 Gopro, Inc. Systems and methods for identifying activities and/or events represented in a video
US10127943B1 (en) 2017-03-02 2018-11-13 Gopro, Inc. Systems and methods for modifying videos based on music
US10185895B1 (en) 2017-03-23 2019-01-22 Gopro, Inc. Systems and methods for classifying activities captured within images
US10083718B1 (en) 2017-03-24 2018-09-25 Gopro, Inc. Systems and methods for editing videos based on motion
US10142686B2 (en) * 2017-03-30 2018-11-27 Rovi Guides, Inc. System and methods for disambiguating an ambiguous entity in a search query based on the gaze of a user
EP3613224A4 (en) 2017-04-20 2020-12-30 TVision Insights, Inc. METHOD AND DEVICE FOR MULTI-TELEVISION MEASUREMENTS
US10187690B1 (en) 2017-04-24 2019-01-22 Gopro, Inc. Systems and methods to detect and correlate user responses to media content
US10929561B2 (en) * 2017-11-06 2021-02-23 Microsoft Technology Licensing, Llc Removing personally identifiable data before transmission from a device
US10200753B1 (en) * 2017-12-04 2019-02-05 At&T Intellectual Property I, L.P. Resource management for video streaming with inattentive user
CN111713014A (zh) 2017-12-15 2020-09-25 Dts公司 房间声学的基于占用的自动校正
CN108681940A (zh) * 2018-05-09 2018-10-19 连云港伍江数码科技有限公司 储物装置中人机交互方法、装置、储物装置及存储介质
CN108683946B (zh) * 2018-05-23 2020-10-27 成都智达万应科技有限公司 基于人脸识别和缓存机制实现在线视频教育的方法
CN112005248A (zh) * 2018-08-30 2020-11-27 惠普发展公司，有限责任合伙企业 计算设备注意力确定
US12008156B2 (en) * 2018-09-12 2024-06-11 International Business Machines Corporation Determining content values to render in a computer user interface based on user feedback and information
US10867391B2 (en) 2018-09-28 2020-12-15 Adobe Inc. Tracking viewer engagement with non-interactive displays
US11119573B2 (en) * 2018-09-28 2021-09-14 Apple Inc. Pupil modulation as a cognitive control signal
US11064255B2 (en) * 2019-01-30 2021-07-13 Oohms Ny Llc System and method of tablet-based distribution of digital media content
US10910854B2 (en) * 2019-02-11 2021-02-02 Alfi, Inc. Methods and apparatus for a tablet computer system incorporating a battery charging station
CN111127092B (zh) * 2019-12-20 2023-07-14 中富通集团股份有限公司 一种提高智能设备应用广告点击率的方法及存储介质
CN113386146A (zh) * 2020-03-14 2021-09-14 异起(上海)智能科技有限公司 一种切物体或食物的方法和装置
KR20210153826A (ko) * 2020-06-11 2021-12-20 삼성전자주식회사 디스플레이장치 및 그 제어방법
US11630508B1 (en) * 2020-06-12 2023-04-18 Wells Fargo Bank, N.A. Apparatuses and methods for securely presenting digital objects
US20220174357A1 (en) * 2020-11-30 2022-06-02 At&T Intellectual Property I, L.P. Simulating audience feedback in remote broadcast events
US11503090B2 (en) 2020-11-30 2022-11-15 At&T Intellectual Property I, L.P. Remote audience feedback mechanism
US20220377413A1 (en) * 2021-05-21 2022-11-24 Rovi Guides, Inc. Methods and systems for personalized content based on captured gestures
US20220415331A1 (en) * 2021-06-23 2022-12-29 The Nielsen Company (Us), Llc Methods and apparatus for panelist-based logins using voice commands
US20230370692A1 (en) * 2022-05-14 2023-11-16 Dish Network Technologies India Private Limited Customized content delivery
US11843829B1 (en) * 2022-05-24 2023-12-12 Rovi Guides, Inc. Systems and methods for recommending content items based on an identified posture

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6697502B2 (en) * 2000-12-14 2004-02-24 Eastman Kodak Company Image processing method for detecting human figures in a digital image
CA2933668C (en) * 2004-04-23 2019-01-08 The Nielsen Company (Us), Llc Methods and apparatus to maintain audience privacy while determining viewing of video-on-demand programs
US20050289582A1 (en) * 2004-06-24 2005-12-29 Hitachi, Ltd. System and method for capturing and using biometrics to review a product, service, creative work or thing
US7669213B1 (en) * 2004-10-28 2010-02-23 Aol Llc Dynamic identification of other viewers of a television program to an online viewer
US20060230415A1 (en) * 2005-03-30 2006-10-12 Cyriac Roeding Electronic device and methods for reproducing mass media content
EP2063767A4 (en) * 2006-09-05 2014-05-21 Innerscope Res Inc METHOD AND SYSTEM FOR DETERMINING THE RESPONSE OF A PUBLIC TO A SENSORY STIMULUS
US8782681B2 (en) * 2007-03-08 2014-07-15 The Nielsen Company (Us), Llc Method and system for rating media and events in media based on physiological data
US20110221913A1 (en) * 2007-08-09 2011-09-15 Panasonic Corporation Recorder
US20120123826A1 (en) * 2007-09-13 2012-05-17 French John R Shopping Cart Accountability Using Coupon Incentives with Participation Option
US9986293B2 (en) * 2007-11-21 2018-05-29 Qualcomm Incorporated Device access control
US20090313232A1 (en) * 2008-03-26 2009-12-17 Thomas Austin Tinsley Methods and Apparatus to Calculate Audience Estimations
US20100070987A1 (en) * 2008-09-12 2010-03-18 At&T Intellectual Property I, L.P. Mining viewer responses to multimedia content
JP5460691B2 (ja) * 2009-06-08 2014-04-02 パナソニック株式会社 注視対象判定装置及び注視対象判定方法
US8875167B2 (en) 2009-09-21 2014-10-28 Mobitv, Inc. Implicit mechanism for determining user response to media
US9071370B2 (en) * 2010-05-20 2015-06-30 CSC Holdings, LLC System and method for set top box viewing data
US8667519B2 (en) * 2010-11-12 2014-03-04 Microsoft Corporation Automatic passive and anonymous feedback system
US10148623B2 (en) * 2010-11-12 2018-12-04 Time Warner Cable Enterprises Llc Apparatus and methods ensuring data privacy in a content distribution network
US8526686B2 (en) * 2010-12-24 2013-09-03 Telefonaktiebolaget L M Ericsson (Publ) Dynamic profile creation in response to facial recognition
US9077458B2 (en) * 2011-06-17 2015-07-07 Microsoft Technology Licensing, Llc Selection of advertisements via viewer feedback
US9204189B1 (en) * 2011-07-14 2015-12-01 Google Inc. Using a conditional access module for TV viewership information
US8756641B2 (en) * 2011-07-28 2014-06-17 At&T Intellectual Property I, L.P. Method and apparatus for generating media content
US8913103B1 (en) * 2012-02-01 2014-12-16 Google Inc. Method and apparatus for focus-of-attention control
US20130227595A1 (en) * 2012-02-24 2013-08-29 Christen V. Nielsen Methods and apparatus to identify audience members
US8850469B1 (en) * 2012-03-05 2014-09-30 Google Inc. Distribution of video in multiple rating formats
US20140007148A1 (en) 2012-06-28 2014-01-02 Joshua J. Ratliff System and method for adaptive data processing
US9215022B2 (en) * 2012-07-18 2015-12-15 Google Inc. Logging individuals for TV measurement compliance
US9292160B2 (en) * 2012-11-30 2016-03-22 Verizon and Redbox Digital Entertainment Services, LLC Systems and methods for presenting media program accessibility information
US20140282645A1 (en) * 2013-03-12 2014-09-18 Eric R. Hammond Methods and apparatus to use scent to identify audience members

Also Published As

Publication number Publication date
US20140026156A1 (en) 2014-01-23
US20140344017A1 (en) 2014-11-20
EP2875602A1 (en) 2015-05-27
WO2014015075A1 (en) 2014-01-23
KR20150036713A (ko) 2015-04-07
CN104620522A (zh) 2015-05-13
US10134048B2 (en) 2018-11-20
KR102025334B1 (ko) 2019-09-25
US20180365711A1 (en) 2018-12-20
US10346860B2 (en) 2019-07-09

Similar Documents

Publication Publication Date Title
CN104620522B (zh) 通过所检测到的身体标记来确定用户兴趣
US20220150572A1 (en) Live video streaming services
EP3488618B1 (en) Live video streaming services with machine-learning based highlight replays
CN106464957B (zh) 实时数字助理知识更新
RU2597232C1 (ru) Способ предоставления видео в режиме реального времени и устройство для его осуществления, а также сервер и терминальное устройство
CN109118290B (zh) 方法、系统和计算机可读非暂时性存储介质
CN105229629B (zh) 用于估计对媒体内容的用户兴趣的方法、电子设备和介质
US9699431B2 (en) Automatic tracking, recording, and teleprompting device using multimedia stream with video and digital slide
US8583725B2 (en) Social context for inter-media objects
CN105868685A (zh) 一种基于人脸识别的广告推荐方法和装置
US10178341B2 (en) Network-based event recording
CN109783656B (zh) 音视频数据的推荐方法、系统及服务器和存储介质
US11151602B2 (en) Apparatus, systems and methods for acquiring commentary about a media content event
CN104025615A (zh) 交互式视频流
US12010406B2 (en) System for summary segment association and dynamic selection for viewing with a content item of interest
JP2015046089A (ja) 情報処理装置および情報処理方法
US10034049B1 (en) Audience attendance monitoring through facial recognition
WO2014064321A1 (en) Personalized media remix
US20180084022A1 (en) Collecting media consumer data
US20200272222A1 (en) Content search and pacing configuration
Segundo et al. CrowdSync: User generated videos synchronization using crowdsourcing
US20180160174A1 (en) Method and device for processing multimedia
CN115988228A (zh) 直播画面的热区显示方法、装置、设备及存储介质
CN105992065B (zh) 随选视讯社交互动方法和系统
CN110139171A (zh) 视频聚合方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant