CN104246660A - 用于基于隐式用户输入和行为的媒体的动态适应的系统和方法 - Google Patents

用于基于隐式用户输入和行为的媒体的动态适应的系统和方法 Download PDF

Info

Publication number
CN104246660A
CN104246660A CN201380018263.9A CN201380018263A CN104246660A CN 104246660 A CN104246660 A CN 104246660A CN 201380018263 A CN201380018263 A CN 201380018263A CN 104246660 A CN104246660 A CN 104246660A
Authority
CN
China
Prior art keywords
user
media
feature
opera
story
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380018263.9A
Other languages
English (en)
Inventor
G.卡姆希
R.弗伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN104246660A publication Critical patent/CN104246660A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8541—Content authoring involving branching, e.g. to different story endings

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

一种用于基于从至少一个传感器捕捉的用户的特点，动态适应具有在媒体装置上向用户呈现的多个剧情的媒体的系统和方法。在媒体的呈现期间，所述至少一个传感器捕捉用户特点，包括但不限于指示用户对正在呈现的媒体的主题的兴趣和/或关注的物理特点。系统基于捕捉的用户特点确定用户的兴趣等级，并且基于确定的用户兴趣等级管理媒体向用户的呈现，选择向用户呈现在用户兴趣等级上的剧情。

Description

用于基于隐式用户输入和行为的媒体的动态适应的系统和方法
技术领域
本公开内容涉及用于媒体适应的系统，并且更具体地说，涉及在媒体的呈现期间基于用户的特点动态适应媒体的系统和方法。
背景技术
随着技术的不断进步，计算装置和电子装置已变得广泛可用。因此，可用于此类装置的数字媒体的量和种类已增大。一些媒体可提供多个剧情，其中，用户可积极参与决定呈现哪个剧情。例如，在视频游戏的上下文中，在游戏进行期间的特定点，可向用户呈现用户可从中选择的一个或更多个故事情节，由此为用户提供多种结局。另外，视频游戏的故事情节可基于在游戏进行期间用户做出的正在进行的决定而更改。类似地，在电影的上下文中，一些电影可包括观看者可从中选择的备选结局。为用户提供对如何向他们呈现媒体的更大控制，特别是提供他们可从中选择的多个剧情，这可提高保留率和重放值。然而，基于用户输入适应媒体的一些当前系统和方法是有限的。例如，一些当前系统和方法要求用户主动参与选择媒体的所需版本，这对于一些用户而言是麻烦并且无吸引力的。
附图说明
从下面与所述主题一致的实施例的详细描述中，所述主题的特征和优点将显而易见，描述应参照附图理解，其中：
图1是示出与本公开内容的各种实施例一致，在媒体的呈现期间基于用户的特点动态适应媒体的系统的一个实施例的框图；
图2是示出与本公开内容的各种实施例一致，在媒体的呈现期间基于用户的特点动态适应媒体的系统的另一实施例的框图；
图3是更详细示出图1的系统的框图；
图4是示出与本公开内容的各种实施例一致的面部检测模块的一个实施例的框图；
图5是示出与本公开内容的各种实施例一致的剧情选择模块的一个实施例的框图；以及
图6是示出与本公开内容一致，用于选择和呈现媒体的剧情的一个实施例的流程图。
具体实施方式
通过概述，本公开内容一般指向一种用于基于从至少一个传感器捕捉的用户的特点，动态适应具有在媒体装置上向用户呈现的多个剧情的媒体的系统和方法。
在媒体的呈现期间，各种传感器可捕捉用户的特定特点，包括但不限于指示用户对正在呈现的媒体的主题的兴趣和/或关注的物理特点。系统可配置成基于捕捉的用户属性确定关注的兴趣等级。系统可还配置成基于确定的用户兴趣等级来管理媒体向用户的呈现，系统配置成基于用户兴趣等级确定媒体的剧情向用户的呈现。
与本公开内容一致的系统提供适应媒体的重放的自动部件，以适合用户的兴趣而不要求来自用户的主动输入（例如，对做出选择的提示的用户响应），由此在用户与向用户呈现媒体的媒体装置之间提供改进和直观的交互。另外，与本公开内容一致的系统为用户提供特制的娱乐体验，允许用户实时（或近实时）确定媒体的呈现的独特、动态版本。
转到图1，图中一般地示出与本公开内容一致的系统10的一个实施例。系统10包括媒体适应模块12、至少一个传感器14、媒体提供商16及媒体装置18。如本文中更详细讨论的，媒体适应模块12配置成在例如媒体装置18的显示器上来自媒体提供商16的媒体的呈现期间，接收从至少一个传感器14捕捉的数据。媒体适应模块12配置成基于捕捉的数据识别用户的至少一个特点。媒体适应模块12还配置成相对于在媒体装置18上呈现的媒体来确定用户的兴趣等级。媒体适应模块12还配置成基于用户的兴趣等级来适应在媒体装置18上媒体的呈现。在所示实施例中，媒体适应模块12、至少一个传感器14和媒体装置18是相互独立的。应注意的是，在其它实施例中，如本领域技术人员通常所理解的，例如如图2所示，媒体装置18可以可选地包括媒体适应模块12和/或至少一个传感器14。作为媒体装置18的一部分的媒体适应模块12和/或至少一个传感器14的可选包括而不是媒体装置18外部的元素在图2中通过虚线示出。
现在转到图3，其更详细示出图1的系统10。媒体装置18可配置成向用户提供由媒体提供商16提供的内容的视频和/或音频重放。具体而言，媒体提供商16可提供例如通过显示器19和/或扬声器（未示出）在媒体装置18上从视觉上和/或听觉上向用户呈现的一个或更多个媒体文件。媒体装置18可包括但不限于电视、电子公告牌、数字标牌、个人计算机(PC)、上网本、平板、智能电话、便携式数字助理(PDA)、便携式媒体播放器(PMP)、电子书及其它计算装置。
媒体装置18可配置成经例如有线连接或无线连接的任何已知方式，访问由媒体提供商16提供的一个或更多个媒体文件20。在一个实施例中，媒体装置18可配置成经网络（未示出）访问媒体文件20。可使用的适合网络的非限制性示例包括因特网、专用网、虚拟专用网(VPN)、公共交换电话网络(PSTN)、综合服务数字网络(ISDN)、数字订户线(DSL)、无线数据网络（例如，蜂窝电话网络）、能够携带数据的其它网络及其组合。在一些实施例中，从因特网、至少一个无线网络、至少一个蜂窝电话网络及其组合中选择网络。
媒体提供商16可包括但不限于公共和私人网站、社交网络网站、音频和/或视频网站、它们的组合及可提供例如在媒体装置18上可执行的视频和/或音频内容（例如，视频、音乐、游戏应用等）的内容的类似物。媒体提供商16也可包括可选择的种类的消费者电子装置，包括但不限于个人计算机、盒式录像机(VCR)、压缩盘/数字视频盘装置（CD/DVD装置）、接收电缆电视信号的电缆解码器、接收圆盘式卫星信号的卫星解码器和/或配置成存储和提供各种类型的可选择节目的媒体服务器。
媒体文件20可包括在媒体装置18上可呈现的任何类型的数字媒体，例如视频内容（例如，电影、电视节目）、音频内容（例如，音乐）、电子书内容、软件应用、游戏应用等。在下述示例中，本文中描述视频文件的动态适应。然而，应注意的是，与本公开内容一致的系统和方法也包括诸如音乐、电子书和/或视频游戏的其它媒体的动态适应。
如前面所讨论的，媒体适应模块12配置成接收从至少一个传感器14捕捉的数据。与本公开内容一致的系统10可包括配置成在媒体装置18上媒体文件20的呈现期间捕捉用户的各种属性的多种传感器，如可指示关于媒体文件20的内容的兴趣和/或关注的用户的物理特点。例如，在所示实施例中，媒体装置18包括配置成捕捉用户的一个或更多个数字图像的至少一个照相机14。照相机14包括用于捕捉表示包括一个或更多个人的环境的数字图像的（已知或以后发现的）任何装置，并且可具有适当的分辨率以进行如本文中所述在环境中一个或更多个人的面部分析。
例如，照相机14可包括静止照相机（即，配置成捕捉静止照片的照相机）或视频照相机（即，配置成在多个帧中捕捉多个移动图像的照相机）。照相机14可配置成捕捉在可见光谱中的图像，或者通过电磁光谱（例如但不限于红外光谱、紫外光谱等）的其它部分捕捉图像。照相机14可例如包括web照相机（如可与个人计算机和/或电视监视器相关联）、手持式装置照相机（例如，蜂窝电话照相机、智能电话照相机（例如，与iPhone?、Trio?、Blackberry?等相关联的照相机））、膝上型计算机照相机、平板计算机（例如但不限于iPad?、Galaxy Tab?及诸如此类）、电子书阅读器（例如但不限于Kindle?、Nook?及诸如此类）等。应注意的是，在其它实施例中，系统10也可包括配置成捕捉用户的各种属性的其它传感器，例如，配置成捕捉用户的话音数据的一个或更多个麦克风。
在所示实施例中，媒体适应模块12可包括配置成接收由照相机14捕捉的一个或更多个数字图像22的面部检测模块24。面部检测模块24配置成识别图像22内的面部和/或面部区域，并且可选地确定用户的一个或更多个特点（即，用户特点26）。虽然面部检测模块24可使用基于标记的方法（即，应用到用户面部的一个或更多个标记），但在一个实施例中，面部检测模块24利用基于无标记的方法。例如，面部检测模块24可包括通常定义明确并且可操作以接收标准格式图像（例如但不限于RGB彩色图像）并且至少在一定程度上识别图像中的面部的定制、专有、已知和/或以后开发的面部识别代码（或指令集）、硬件和/或固件。
面部检测模块24也可包括通常定义明确并且可操作以接收标准格式图像（例如但不限于RGB彩色图像）并且至少在一定程度上识别图像中的一个或更多个面部特点的定制、专有、已知和/或以后开发的面部特点代码（或指令集）。此类已知面部特点系统包括但不限于可在公共开放源计算机视觉(OpenCV?)包中找到的标准Viola-Jones升高级联(boosting cascade)框架。如本文中更详细讨论的，用户特点26可包括但不限于用户行为特点（例如但不限于向媒体装置18的显示器19凝视，向媒体装置18的显示器19上显示的特定主题凝视）和/或用户表情特点（例如，高兴、伤心、微笑、皱眉、惊讶、激动、瞳孔放大等）。
在媒体装置18上媒体文件20的呈现期间，媒体适应模块12可配置成持续监视用户，并且实时或近实时确定与媒体文件20的内容相关联的用户的反应。更具体地说，照相机14可配置成持续捕捉用户的一个或更多个图像22，并且面部检测模块24可基于一个或更多个图像22而持续确立用户特点26。
媒体适应模块12可包括配置成响应于媒体文件20的呈现而分析用户特点26并且基于用户特点26确定与媒体文件20的对应内容相关联的用户的兴趣等级的剧情选择模块28。如本文中更详细所述，剧情选择模块28可配置成确立与媒体装置18上呈现的媒体文件20的对应段（例如但不限于电影的场景、电子书的页面等）和相关联内容（例如但不限于在电影场景中显示的人物、页面中描述的人物等）相关联的用户兴趣等级。剧情选择模块28可还配置成基于用户兴趣等级，从媒体文件20的剧情数据库30中选择向用户呈现的一个或更多个剧情32(1)-32(n)。换而言之，媒体文件20的呈现可根据用户关于正在呈现的主题的兴趣等级而更改，由此提供媒体文件20的呈现的动态适应。
在与本公开内容一致的一个实施例中，媒体文件20可包括电影（下文称为“电影20”），其中，媒体适应模块12可配置成基于与电影20的内容相关联的用户的兴趣等级来动态适应电影20。电影20可包括多种剧情32，媒体适应模块12可根据与电影的预定义场景相关联的用户的兴趣等级从这些剧情中选择。类似于备选结局，不同剧情32的选择可导致电影的整个故事情节的多种更改。更具体地说，电影20可包括具有包括在故事情节中的预定义位置的一个或更多个决定点的整个故事情节。例如，可将电影的某些场景标记为决定点，而用户关于场景的内容的兴趣等级对于确定故事情节应如何展开的确定是至关重要的。每个决定点可与一个或更多个剧情32相关联。每个剧情32可包括电影20的故事情节的不同部分，并且可包括与用户的兴趣等级相关联的内容。取决于在标记为决定点的场景期间用户的兴趣等级，故事情节可更改以便更好地适应用户的兴趣等级。更具体地说，可选择包括对应于用户的兴趣等级的内容的剧情32，由此使电影适合用户的兴趣。因此，取决于对电影20的内容的特定用户兴趣，电影20可包括多种版本。
现在转到图4，图中一般地示出与本公开内容一致的面部检测模块24a的一个实施例。面部检测模块24a可配置成接收图像22并且至少在一定程度上识别图像22中的面部（或者可选择性地识别多个面部）。面部检测模块24a也可配置成至少在一定程度上识别图像22中的一个或更多个面部特点并且确定一个或更多个用户特点26。如本文中所述，用户特点26可基于由面部检测模块24a识别的一个或更多个面部参数生成。用户特点26可包括但不限于用户行为特点（例如但不限于向媒体装置18的显示器19凝视，向媒体装置18上显示的特定主题凝视）和/或用户表情特点（例如，笑、哭、微笑、皱眉、惊讶、激动、瞳孔放大等）。
例如，面部检测模块24a的一个实施例可包括面部检测/跟踪模块34、面部归一化模块36、标志检测模块38、面部模式模块40、面部姿态模块42及面部表情检测模块44。面部检测/跟踪模块34可包括通常定义明确并且可操作以至少在一定程度上检测和识别从照相机14接收的静止图像或视频流中人脸的大小和位置的定制、专有、已知和/或以后开发的面部跟踪代码（或指令集）。此类已知面部检测/跟踪系统例如包括发布为Paul Viola和Michael Jones，Rapid Object Detection using a Boosted Cascade of Simple Features, Accepted Conference on Computer Vision and Pattern Recognition, 2001的Viola和Jones的技术。这些技术通过在图像上详尽扫描窗口，使用自适应升高(AdaBoost)分类器的级联来检测面部。面部检测/跟踪模块34也可跨多个图像22跟踪面部或面部区域。
面部归一化模块36可包括通常定义明确并且可操作以归一化图像22中识别的面部的定制、专有、已知和/或以后开发的面部归一化代码（或指令集）。例如，面部归一化模块36可配置成旋转图像以对齐眼睛（如果眼睛的坐标已知），裁切图像到通常对应于面部的尺寸的更小尺寸，缩放图像以使眼睛之间的距离恒定，应用掩码以零化不在包含典型面部的椭圆形中的像素，直方图均衡化图像以平滑用于非屏蔽像素的灰度值的分布，和/或归一化图像使得非屏蔽像素具有均值0和标准偏差1。
标志检测模块38可包括通常定义明确并且可操作以至少在一定程度上检测和识别图像22中面部的各种面部特征的定制、专有、已知和/或以后开发的标志检测代码（或指令集）。标志检测中隐含的是至少在一定程度上已经检测到面部。可选地，一定程度的定位（例如，过程定位）可（例如，由面部归一化模块36）已执行以识别/聚焦在其中可能能够找到标志的图像22的地带/区域。例如，标志检测模块38可基于启发式分析，并且可配置成识别和/或分析眼睛（和/或眼角）、鼻子（例如，鼻尖）、下巴（例如，下巴尖）、颊骨和下颌的相对位置、大小和/或形状。此类已知标志检测系统包括六面点（即，来自左/右眼的眼角，和嘴角）以及六个面部点（即，绿点）。使用基于Viola-Jones的分类器，也可检测到眼角和嘴角。几何形状约束可并入六个面部点以反映其几何形状关系。
面部模式模块40可包括通常定义明确并且可操作以基于图像22中识别的面部标志识别和/或生成面部模式的定制、专有、已知和/或以后开发的面部模式代码（或指令集）。如可领会的，面部模式模块40可视为面部检测/跟踪模块34的一部分。
面部姿态模块42可包括通常定义明确并且可操作以至少在一定程度上检测和识别图像22中面部的姿态的定制、专有、已知和/或以后开发的面部朝向检测代码（或指令集）。例如，面部姿态模块42可配置成相对于媒体装置18的显示器19来确立图像22中面部的姿态。更具体地说，面部姿态模块42可配置成确定用户的面部是否朝向媒体装置18的显示器19，由此指示用户是否在观察在媒体装置18上显示的视频20。用户面部的姿态可指示用户对正在呈现的电影20的内容的兴趣等级。例如，如果确定用户面向媒体装置18的显示器19，则可确定与如果用户未面向媒体装置18的显示器19相比，用户对电影20的内容具有更高兴趣等级。
面部表情检测模块44可包括通常定义明确并且可操作以检测和/或识别图像22中用户的面部表情的定制、专有、已知和/或以后开发的面部表情检测和/或识别代码（或指令集）。例如，面部表情检测模块44可确定面部特征（例如，眼睛、嘴、脸颊、牙齿等）的大小和/或位置，并且比较面部特征和包括具有对应面部特征分类（例如，笑、哭、微笑、皱眉、激动、伤心等）的多个样本面部特征的面部特征数据库。用户的表情可与对正在呈现的电影20的内容的兴趣等级相关联。
面部检测模块24a也可包括眼睛检测/跟踪模块46和瞳孔放大检测模块48。眼睛检测/跟踪模块46可包括通常定义明确并且可操作以至少在一定程度上检测和识别图像22中用户的眼动和/或眼睛焦点的定制、专有、已知和/或以后开发的眼睛跟踪代码（或指令集）。类似于面部姿态模块42，眼睛检测/跟踪模块46可配置成相对于媒体装置18的显示器19确立用户眼睛对准的方向。更具体地说，面部检测/跟踪模块46可配置成确定用户的眼睛是否朝向媒体装置18的显示器19，由此指示用户是否在观察在媒体装置上显示的视频20。眼睛检测/跟踪模块46可还配置成确定用户眼睛朝向的媒体装置18的显示器19的特定区域。用户眼睛朝向的显示器19的区域的确定可指示在正呈现的电影20的一个或更多个场景期间用户对位于显示器19的该特定区域中的特定主题的兴趣。
例如，用户可对电影20的特定人物感兴趣。在与决定点相关联的场景期间，眼睛检测/跟踪模块46可配置成跟踪用户的眼动，并且识别用户的眼睛朝向的显示器19的特定区域，其中，显示器19的特定区域可与例如用户感兴趣的电影20的特定人物相关联。
瞳孔放大检测模块48可包括通常定义明确并且可操作以至少在一定程度上检测和识别图像22中眼睛的特点的定制、专有、已知和/或以后开发的眼睛跟踪代码（或指令集）。瞳孔放大检测中隐含的是至少在一定程度上已经检测到眼睛。可选的是，一定程度的定位（例如，过程定位）可（例如，由眼睛检测/跟踪模块46）已执行以识别/聚焦在图像22的面部的眼睛。例如，瞳孔放大检测模块48可基于启发式分析，并且可配置成识别和/或分析眼睛的瞳孔的相对位置、大小和/或形状。如通常所理解的一样，人的瞳孔的大小更改可指示用户对在媒体装置18上呈现的电影20的内容的兴趣。例如，瞳孔的放大可指示增大的兴趣等级。
面部检测模块24a可基于从图像22识别的一个或更多个参数生成用户特点26。在一个实施例中，面部检测模块24a可配置成生成在电影20的故事情节的预定义的决定点发生的用户特点26，由此提供用户对与对应决定点相关联的内容的反应（例如但不限于用户兴趣和/或关注）。例如，用户特点26可包括但不限于用户行为特点（例如但不限于向媒体装置18的显示器19凝视，向媒体装置18上显示的特定主题凝视）和/或用户表情特点（例如，笑、哭、微笑、皱眉、惊讶、激动、瞳孔放大等）。如本文中所述，用户特点26由剧情选择模块28用于确定用户关于当前向用户呈现的电影20的内容的兴趣等级，并且基于用户的兴趣等级来选择向用户呈现的电影20的剧情32。
现在转到图5，图中一般地示出与本公开内容一致的剧情选择模块28a的一个实施例。剧情选择模块28a配置成至少在一定程度上基于由面部检测模块24识别的用户特点26，从电影20的剧情数据库30选择至少一个剧情32。更具体地说，剧情选择模块28a可配置成基于由面部检测模块24识别和生成的用户特点26，确定用户关于场景的内容的兴趣等级，并且基于用户的兴趣等级选择剧情。
在所示实施例中，剧情选择模块28a包括兴趣等级模块50和确定模块52。如本文中所述，确定模块52配置成至少在一定程度上基于兴趣等级模块50的分析选择剧情32。兴趣等级模块50可配置成基于用户特点26确定用户的兴趣等级。例如，兴趣等级模块50可配置成在电影20的故事情节中的决定点期间分析用户的行为（例如但不限于向媒体装置18的显示器19凝视，向媒体装置18上显示的特定主题凝视）和/或用户表情（例如，笑、哭、微笑、皱眉、惊讶、激动、瞳孔放大等），并且确定对在决定点时间框内显示的内容的相关联兴趣等级。
例如，如果用户特点数据26指示用户面向媒体装置18的显示器19（例如，如面部姿态模块42所确定的），则兴趣等级模块50可推断用户在观看的电影20的内容令人满意，并且因此用户具有一些兴趣。如果用户特点数据26指示用户面向背离显示器19的方向，则兴趣等级模块50可推断用户对在显示的电影20的内容兴趣低或无兴趣。如果用户特点数据26指示用户在笑、微笑、哭或皱眉（例如，如面部表情检测模块44所确定的），则兴趣等级模块50可推断用户对用户在观看的电影20的内容具有一些兴趣。如果用户特点数据26指示用户在观看显示器19的特定区域（例如，如眼睛检测/跟踪模块46所确定的），则兴趣等级模块50可推断用户对显示器19的该区域的主题（例如，人物）具有一些兴趣。如果用户特点数据26指示用户的瞳孔在放大或者直径在增大（例如，如瞳孔放大检测模块48所确定的），则兴趣等级模块50可推断用户对在显示的电影20的内容具有一些兴趣。
确定模块52可配置成将与来自兴趣等级模块50的用户特点26相关联的兴趣等级加权和/或排序，并且基于兴趣等级识别向用户呈现的剧情32。例如，确定模块52可基于启发式分析、最佳拟合类型分析、递归分析、统计推断、统计归纳和/或推论统计，从剧情集合32(1)-32(n)中选择剧情32。
在一个实施例中，兴趣等级模块50可配置成生成用户的总兴趣等级。如果总兴趣等级满足或超过第一预定义的阈值或者降到低于第二预定义的阈值，则确定模块52可配置成识别与总兴趣等级相关联的剧情32，以便适应电影20的故事情节以更好地适合用户的兴趣。例如，如果确定用户在观看与决定点相关联的一个或更多个场景时对特定人物具有高兴趣等级，则确定模块52可配置成识别对应于用户的高兴趣等级的剧情32，其中，剧情32可包括在感兴趣的人物上具有更多焦点的场景。应领会的是，确定模块52在确定和选择场景32时不一定要考虑所有用户特点数据26。
例如，如果总兴趣等级未能满足或超过第一预定义的阈值并且降到低于第二预定义的阈值，则确定模块52可默认呈现电影32的故事情节的自然进行，并且不主动选择向用户呈现不同剧情32。当然，这些示例未详尽，并且确定模块52可利用其它选择技术和/或准则。
现在转到图6，图中示出用于选择和呈现与本公开内容一致的媒体的剧情的方法600的一个实施例的流程图。方法600包括接收用户的一个或更多个图像（操作610）。图像可使用一个或更多个照相机捕捉。可在捕捉的图像内识别面部和/或面部区域，并且可确定至少一个用户特点（操作620）。具体而言，可分析图像以确定一个或更多个以下用户特点：用户的行为（例如向媒体装置的显示器凝视，向媒体装置上显示的内容的特定主题凝视）和/或用户的情绪识别（例如，笑、哭、微笑、皱眉、惊讶、激动、瞳孔放大等）。
方法600也包括基于用户特点识别向用户呈现的媒体文件的剧情（操作630）。例如，方法600可基于用户特点确定用户的兴趣等级，并且识别向用户呈现的媒体文件的特定剧情。方法600还包括提供识别的剧情以便向用户呈现（操作640）。识别的剧情可例如在媒体装置上向用户呈现。然后，方法600可重复它自身。
虽然图6示出根据各种实施例的方法，但要理解的是，在任何实施例中，并非所有这些操作是必需的。实际上，本文中完全考虑了在本公开内容的其它实施例中，图6所示操作可以用任何附图中未明确示出的方式组合，但仍与本公开内容完全一致。因此，指向在一个附图中未确切示出的特征和/或操作的权利要求被认为是在本公开的范围和内容内。
另外，用于实施例的操作还已参照上述附图和伴随的示例进行描述。一些附图可包括逻辑流。虽然本文中所示的此类附图可包括特定的逻辑流，但可理解的是，逻辑流只提供可如何实现本文中所述的一般功能性的示例。此外，除非另有指示，否则，给定逻辑流不一定必须以所示顺序执行。另外，给定逻辑流可通过硬件元件、由处理器执行的软件元件或其任何组合实现。实施例并不限于此上下文。
与本公开内容一致的系统和方法提供适应媒体的重放的部件，以适合用户的兴趣而不要求来自用户的主动输入（例如，对做出选择的提示的用户响应），由此在用户与向用户呈现媒体的媒体装置之间提供改进和直观的交互。具体而言，系统和方法提供例如电影或书籍的媒体的故事情节的动态适应，产生相同电影或书籍的多种版本，从而增大保留率和提高重放值。另外，与本公开内容一致的系统为用户提供特制的娱乐体验，允许用户实时（或近实时）体验媒体的呈现的独特、动态版本。
如本文中任何实施例中使用的，术语“模块”可指配置成执行任何上面提及的操作的软件、固件和/或电路。软件可实施为记录在非暂时性计算机可读存储媒体上的软件包、代码、指令、指令集和/或数据。固件可实施为在存储器装置中硬编码（例如，非易失性）的代码、指令或指令集和/或数据。如本文中任何实施例中使用的，“电路”可例如单独或以任何组合方式包括硬连线电路、诸如包括一个或更多个单独指令处理核的计算机处理器的可编程电路、状态机电路和/或存储可编程电路执行的指令的固件。模块可全体或单独实施为形成更大系统的一部分的电路，例如，集成电路(IC)、片上系统(SOC)、台式计算机、膝上型计算机、平板计算机、服务器、智能电话等。
本文中所述任何操作可在包括一个或多个存储媒体的系统中实现，存储媒体上单独或组合存储在由一个或多个处理器执行时执行所述方法的指令。此处，处理器例如可包括服务器CPU、移动装置CPU和/或其它可编程电路。因此，预期本文中所述操作可跨诸如在不止一个不同物理位置的处理结构的多个物理装置分布。存储媒体可包括任何类型的有形媒体，例如任何类型的磁盘，包括硬盘、软盘、光盘、压缩盘只读存储器(CD-ROM)、可重写压缩盘(CD-RW)及磁光盘、半导体装置诸如只读存储器(ROM)、诸如动态和静止RAM的随机存取存储器(RAM)、可擦除编程只读存储器(EPROM)、电擦除可编程只读存储器(EEPROM)、闪存、固态磁盘(SSD)、磁卡或光学卡或适用于存储电子指令的任意类型的媒体。其它实施例可实现为由可编程控制装置执行的软件模块。存储媒体可以是非暂时性的。
如本文中所述，各种实施例可使用硬件元素、软件元素或其任何组合实现。硬件元素的示例可包括处理器、微处理器、电路、电路元素（例如，晶体管、电阻器、电容器、电感器等等）、集成电路、专用集成电路(ASIC)、可编程逻辑器件(PLD),、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、逻辑门、寄存器、半导体装置、芯片、微芯片、芯片集等等。
此说明书通篇对“一个实施例”或“一实施例”的引用指结合该实施例描述的特定特征、结构或特性包括在至少一个实施例中。因此，在此说明书通篇各个位置出现的“在一个实施例”或“在一实施例中”短语不一定全部指同一实施例。此外，特定的特征、结构或特性可在一个或多个实施例中以任何适合的方式组合。
根据本公开内容的一方面，提供了一种用于动态适应媒体向用户的呈现的设备。设备包括配置成接收用户的图像并且检测图像中的面部区域以及识别图像中用户的一个或更多个用户特点的面部检测模块。用户特点与媒体的对应主题相关联。设备还包括配置成接收与一个或更多个用户特点有关的数据，并且至少部分基于与一个或更多个用户特点有关的数据，选择与媒体相关联的多个剧情的至少一个剧情以便向用户呈现的剧情选择模块。
另一示例设备包括前面所述组件，并且剧情选择模块包括配置成基于与一个或更多个用户特点有关的数据，确定用户对媒体的主题的兴趣等级的兴趣等级模块和配置成基于与用户的兴趣等级有关的数据，识别至少一个剧情以便向用户呈现的确定模块，至少一个识别的剧情具有与用户感兴趣的主题有关的主题。
另一示例设备包括前面所述组件，并且用户的接收图像包括媒体向用户的呈现期间由照相机捕捉的信息。
另一示例设备包括前面所述组件，并且剧情选择模块配置成提供至少一个选择的剧情到具有显示器的媒体装置以便向用户呈现。
另一示例设备包括前面所述组件，并且一个或更多个用户特点从由面部检测和用户相对于显示器的移动、用户相对于显示器的眼睛方向和移动、用户相对于显示器的眼睛凝视的焦点、用户的瞳孔放大及用户的一个或更多个面部表情组成的群组中选择。
另一示例设备包括前面所述组件，并且面部检测模块还配置成识别在媒体的呈现期间用户的眼睛凝视聚焦的显示器的一个或更多个区域，其中，识别的区域指示用户对显示器的识别的区域内呈现的主题的兴趣。
另一示例设备包括前面所述组件，并且用户的一个或更多个面部表情从由笑、哭、微笑、皱眉、惊讶及激动组成的群组中选择。
另一示例设备包括前面所述组件，并且面部检测模块配置成在媒体的呈现期间在预定义的决定点识别用户的一个或更多个用户特点。
另一示例设备包括前面所述组件，并且媒体包括具有多个视频帧的视频文件。
另一示例设备包括前面所述组件，并且每个预定义的决定点对应于视频文件的一个或更多个相关联视频帧。
另一示例设备包括前面所述组件，并且视频文件的一个或更多个视频帧对应于至少一个剧情。
根据另一方面，提供了至少一种存储指令的计算机可访问媒体。在由一个或更多个处理器执行时，指令可促使计算机系统执行用于动态适应媒体向用户的呈现的操作。操作包括接收用户的图像，检测用户的图像中的面部区域，识别图像中用户的一个或更多个用户特点，一个或更多个用户特点与媒体的对应主题相关联，至少部分基于识别的一个或更多个用户特点，识别与媒体相关联的多个剧情的至少一个剧情以便向用户呈现，以及提供至少一个识别的剧情以便向用户显示。
另一示例计算机可访问媒体包括前面所述操作，并且还包括分析一个或更多个用户特点，以及基于一个或更多个用户特点确定用户对媒体的主题的兴趣等级。
另一示例计算机可访问媒体包括前面所述操作，并且识别媒体的剧情以便向用户呈现还包括分析用户对主题的兴趣等级，以及基于用户的兴趣等级，识别具有与用户感兴趣的主题有关的主题的媒体的多个剧情的至少一个剧情。
另一示例计算机可访问媒体包括前面所述操作，并且还包括检测在媒体向用户的呈现期间在多个预定义决定点之一捕捉的用户的图像中的面部区域，以及识别图像中用户的一个或更多个用户特点。
根据本公开内容的另一方面，提供了一种用于动态适应媒体向用户的呈现的方法。方法包括由面部检测模块接收用户的图像，并且由面部检测模块检测用户的图像中的面部区域，以及由面部检测模块识别图像中用户的一个或更多个用户特点。一个或更多个用户特点与媒体的对应主题相关联。方法还包括由剧情选择模块接收与用户的一个或更多个用户特点有关的数据，并且由剧情选择模块基于与一个或更多个用户特点有关的数据，识别与媒体相关联的多个剧情的至少一个剧情以便向用户呈现，以及由剧情选择模块提供至少一个识别的剧情以便向用户呈现。
另一示例方法包括前面所述操作，并且剧情选择模块包括兴趣等级模块和确定模块。
另一示例方法包括前面所述操作，并且还包括由兴趣等级模块分析与一个或更多个用户特点有关的数据，并且由兴趣等级模块基于与一个或更多个用户特点有关的数据，确定用户对媒体的主题的兴趣等级。
另一示例方法包括前面所述操作，并且还包括由确定模块分析用户对主题的兴趣等级，以及由确定模块基于用户的兴趣等级，识别具有与用户感兴趣的主题有关的主题的媒体的多个剧情的至少一个剧情。
另一示例方法包括前面所述操作，并且用户的接收图像包括媒体向用户的呈现期间由照相机捕捉的信息。
另一示例方法包括前面所述操作，并且提供至少一个识别的剧情以便向用户呈现包括传送与识别的剧情有关的数据到具有显示器的媒体装置以便向用户呈现。
另一示例方法包括前面所述操作，并且用户特点从由面部检测和用户相对于显示器的移动、用户相对于显示器的眼睛方向和移动、用户相对于显示器的眼睛凝视的焦点、用户的瞳孔放大及用户的一个或更多个面部表情组成的群组中选择。
另一示例方法包括前面所述操作，并且识别图像中用户的一个或更多个用户特点包括由面部检测模块识别在显示器上媒体的呈现期间用户的眼睛凝视聚焦的显示器的一个或更多个区域，其中，识别的区域指示用户对显示器的识别的区域内呈现的主题的兴趣。
另一示例方法包括前面所述操作，并且用户的一个或更多个面部表情从由笑、哭、微笑、皱眉、惊讶及激动组成的群组中选择。
本文中已采用的术语和表述用作描述的语言而不是限制，并且在此类术语和表述中，无意排除所示和所述的特征（或其部分）的任何等同物，以及可认识到各种修改在权利要求的范围内是可能的。相应地，权利要求旨在包括所有此类等同物。
已在本文中描述各种特征、方面和实施例。如本领域技术人员将理解的，特征、方面和实施例容易实现相互的组合及变化和修改。因此，本公开内容应视为涵盖此类组合、变化和修改。因此，本公开内容的广度和范围不应受任何上述示范实施例所限制，而是只应根据随附的权利要求及其等同物定义。

Claims (21)

1. 一种用于动态适应媒体向用户的呈现的系统，所述系统包括：
用于向用户呈现媒体的显示器；
照相机，配置成在所述显示器上所述媒体的呈现期间捕捉所述用户的一个或更多个图像；
面部检测模块，配置成检测在所述一个或更多个图像中的面部区域，并且识别所述一个或更多个图像中所述用户的一个或更多个用户特点，所述用户特点与所述媒体的对应主题相关联；以及
媒体适应系统，配置成接收与所述一个或更多个用户特点有关的数据，并且至少部分基于与所述一个或更多个用户特点有关的所述数据来适应在所述显示器上所述媒体向所述用户的呈现。
2. 如权利要求1所述的系统，其中所述媒体适应系统包括剧情选择模块，所述剧情选择模块包括配置成基于与所述一个或更多个用户特点有关的所述数据来确定所述用户对所述媒体的所述主题的兴趣等级的兴趣等级模块。
3. 如权利要求2所述的系统，其中所述剧情选择模块还包括配置成基于与所述用户的兴趣等级有关的所述数据，识别和选择与所述媒体相关联的多个剧情的至少一个剧情以便向所述用户呈现，所述至少一个识别的剧情具有与所述用户感兴趣的主题有关的主题。
4. 如权利要求3所述的系统，其中所述媒体包括具有多个视频帧的视频文件，其中一个或更多个视频帧对应于所述至少一个剧情。
5. 如权利要求4所述的系统，其中所述照相机配置成捕捉所述用户的所述一个或更多个图像，并且所述面部检测模块配置成在所述视频文件的呈现期间在预定义的决定点识别在所述用户中所述用户的所述一个或更多个用户特点。
6. 如权利要求5所述的系统，其中每个所述预定义的决定点对应于所述视频文件的一个或更多个相关联视频帧。
7. 如权利要求1所述的系统，其中从由音频文件、视频文件、电子书文件和软件应用组成的群组中选择所述媒体。
8. 如权利要求1-7任一项所述的系统，其中从所述用户相对于所述显示器的面部方向和移动、所述用户相对于所述显示器的眼睛方向和移动、所述用户相对于所述显示器的眼睛凝视的焦点、所述用户的瞳孔放大及所述用户的一个或更多个面部表情组成的群组中选择所述用户特点。
9. 如权利要求8所述的系统，其中所述面部检测模块还配置成识别在所述显示器上所述媒体的呈现期间所述用户的眼睛凝视聚焦的所述显示器的一个或更多个区域，其中识别的区域指示用户对所述显示器的所述识别的区域内呈现的主题的兴趣。
10. 如权利要求8所述的系统，其中从由笑、哭、微笑、皱眉、惊讶及激动组成的群组中选择所述用户的所述一个或更多个面部表情。
11. 一种用于动态适应媒体向用户的呈现的设备，所述设备包括：
面部检测模块，配置成检测在显示器上媒体向所述用户的呈现期间捕捉的用户的图像中的面部区域，并且识别所述用户的一个或更多个用户特点，所述用户特点与所述媒体的对应主题相关联；以及
媒体适应系统，配置成接收与所述一个或更多个用户特点有关的数据，并且至少部分基于与所述一个或更多个用户特点有关的所述数据来适应所述媒体向所述用户的呈现。
12. 如权利要求11所述的设备，其中所述媒体适应系统包括剧情选择模块，所述剧情选择模块包括配置成基于与所述一个或更多个用户特点有关的所述数据来确定用户对所述媒体的所述主题的兴趣等级的兴趣等级模块。
13. 如权利要求12所述的设备，其中所述剧情选择模块还包括配置成基于与所述用户的兴趣等级有关的所述数据，识别和选择与所述媒体相关联的多个剧情的至少一个剧情以便向所述用户呈现，所述至少一个识别的剧情具有与所述用户感兴趣的主题有关的主题。
14. 如权利要求11所述的设备，其中从所述用户相对于所述显示器的面部方向和移动、所述用户相对于所述显示器的眼睛方向和移动、所述用户相对于所述显示器的眼睛凝视的焦点、所述用户的瞳孔放大及所述用户的一个或更多个面部表情组成的群组中选择所述用户特点。
15. 一种用于动态适应媒体向用户的呈现的方法，所述方法包括：
检测媒体向所述用户的呈现期间捕捉的用户的图像中的面部区域；
识别所述图像中所述用户的一个或更多个用户特点，所述一个或更多个用户特点与所述媒体的对应主题相关联；
基于所述识别的一个或更多个用户特点，识别和选择所述媒体的剧情以便向所述用户呈现；以及
向所述用户呈现所述识别和选择的剧情。
16. 如权利要求15所述的方法，还包括：
分析所述一个或更多个用户特点；以及
基于所述一个或更多个用户特点，确定所述用户对所述媒体的所述主题的兴趣等级。
17. 如权利要求16所述的方法，其中识别所述媒体的剧情以便向所述用户呈现包括：
分析所述用户对所述主题的兴趣等级；以及
基于所述用户的兴趣等级，识别具有与所述用户感兴趣的所述主题有关的主题的所述媒体的多个剧情的至少一个剧情。
18. 如权利要求15所述的方法，其中所述媒体向所述用户的呈现包括在显示器上的呈现。
19. 如权利要求18所述的方法，其中所述识别在所述图像中所述用户的一个或更多个用户特点包括：
识别在所述显示器上所述媒体的呈现期间所述用户的眼睛凝视聚焦的所述显示器的一个或更多个区域，其中识别的区域指示用户对所述显示器的所述识别的区域内呈现的主题的兴趣。
20. 如权利要求18所述的方法，其中从所述用户相对于所述显示器的面部方向和移动、所述用户相对于所述显示器的眼睛方向和移动、所述用户相对于所述显示器的眼睛凝视的焦点、所述用户的瞳孔放大及所述用户的一个或更多个面部表情组成的群组中选择所述用户特点。
21. 至少一种存储指令的计算机可访问媒体，所述指令在由机器执行时，促使所述机器执行如权利要求15-20中任一项所述的方法的操作。
CN201380018263.9A 2012-03-16 2013-03-14 用于基于隐式用户输入和行为的媒体的动态适应的系统和方法 Pending CN104246660A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261611673P 2012-03-16 2012-03-16
US61/611673 2012-03-16
US13/617223 2012-09-14
US13/617,223 US20130243270A1 (en) 2012-03-16 2012-09-14 System and method for dynamic adaption of media based on implicit user input and behavior
PCT/US2013/031538 WO2013138632A1 (en) 2012-03-16 2013-03-14 System and method for dynamic adaption of media based on implicit user input and behavior

Publications (1)

Publication Number Publication Date
CN104246660A true CN104246660A (zh) 2014-12-24

Family

ID=49157693

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380018263.9A Pending CN104246660A (zh) 2012-03-16 2013-03-14 用于基于隐式用户输入和行为的媒体的动态适应的系统和方法

Country Status (5)

Country Link
US (1) US20130243270A1 (zh)
EP (1) EP2825935A4 (zh)
KR (1) KR101643975B1 (zh)
CN (1) CN104246660A (zh)
WO (1) WO2013138632A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110750161A (zh) * 2019-10-25 2020-02-04 郑子龙 一种交互系统、方法、移动设备及计算机可读介质
CN111193964A (zh) * 2020-01-09 2020-05-22 未来新视界教育科技(北京)有限公司 依据生理信号实时控制视频内容的方法和装置
CN108093296B (zh) * 2017-12-29 2021-02-02 厦门大学 一种影片自适应播放的方法及系统
CN113383295A (zh) * 2019-02-01 2021-09-10 苹果公司 调节数字内容以激发更大的瞳孔半径响应的生物反馈方法
CN113449124A (zh) * 2020-03-27 2021-09-28 阿里巴巴集团控股有限公司 数据处理方法、装置、电子设备及计算机存储介质

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8687840B2 (en) * 2011-05-10 2014-04-01 Qualcomm Incorporated Smart backlights to minimize display power consumption based on desktop configurations and user eye gaze
US9043818B2 (en) * 2012-05-23 2015-05-26 Fur Entertainment, Inc. Adaptive feedback loop based on a sensor for streaming static and interactive media content to animals
US20150208109A1 (en) * 2012-07-12 2015-07-23 Alexandre CHTCHENTININE Systems, methods and apparatus for providing multimedia content to hair and beauty clients
US9117382B2 (en) 2012-09-28 2015-08-25 Intel Corporation Device and method for automatic viewing perspective correction
EP2954459A4 (en) * 2013-02-08 2016-10-19 Emotient Inc HARVESTING MACHINE LEARNING TRAINING DATA FOR EXPRESSION RECOGNITION
JP6267789B2 (ja) 2013-06-27 2018-01-24 インテル・コーポレーション メディアコンテンツの中への視覚広告コンテンツの適応的な埋め込み
JP2015056141A (ja) * 2013-09-13 2015-03-23 ソニー株式会社 情報処理装置、および情報処理方法
US20150332166A1 (en) * 2013-09-20 2015-11-19 Intel Corporation Machine learning-based user behavior characterization
GB2519339A (en) * 2013-10-18 2015-04-22 Realeyes O Method of collecting computer user data
US10481749B1 (en) * 2014-12-01 2019-11-19 Google Llc Identifying and rendering content relevant to a user's current mental state and context
JP6553418B2 (ja) * 2015-06-12 2019-07-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示制御方法、表示制御装置及び制御プログラム
USD815892S1 (en) 2015-11-02 2018-04-24 Hidrate, Inc. Smart water bottle
US10664500B2 (en) 2015-12-29 2020-05-26 Futurewei Technologies, Inc. System and method for user-behavior based content recommendations
US10110950B2 (en) * 2016-09-14 2018-10-23 International Business Machines Corporation Attentiveness-based video presentation management
CN106534757B (zh) * 2016-11-22 2020-02-28 香港乐蜜有限公司 人脸交换方法、装置、主播终端及观众终端
US11403881B2 (en) * 2017-06-19 2022-08-02 Paypal, Inc. Content modification based on eye characteristics
JP2019047234A (ja) * 2017-08-31 2019-03-22 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、およびプログラム
WO2019067324A1 (en) * 2017-09-27 2019-04-04 Podop, Ip, Inc. SYSTEMS AND METHODS FOR NARRATIVE MULTIMEDIA PRESENTATION WITH INTERACTIVE AND AUTONOMOUS CONTENT SELECTION
JP7153256B2 (ja) * 2018-11-21 2022-10-14 日本電信電話株式会社 シナリオ制御装置、方法およびプログラム
US10945034B2 (en) * 2019-07-11 2021-03-09 International Business Machines Corporation Video fractal cross correlated action bubble transition
US20230370692A1 (en) * 2022-05-14 2023-11-16 Dish Network Technologies India Private Limited Customized content delivery
US11843829B1 (en) * 2022-05-24 2023-12-12 Rovi Guides, Inc. Systems and methods for recommending content items based on an identified posture

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020141614A1 (en) * 2001-03-28 2002-10-03 Koninklijke Philips Electronics N.V. Method and apparatus for eye gazing smart display
CN1557083A (zh) * 2001-09-20 2004-12-22 �ʼҷ����ֵ��ӹɷ����޹�˾ 基于用户注意力的实时多媒体内容递送的质量适配
US20050187437A1 (en) * 2004-02-25 2005-08-25 Masakazu Matsugu Information processing apparatus and method
US20060056509A1 (en) * 2004-09-16 2006-03-16 Tooru Suino Image display apparatus, image display control method, program, and computer-readable medium
US20070265507A1 (en) * 2006-03-13 2007-11-15 Imotions Emotion Technology Aps Visual attention and emotional response detection and display system
KR20080082526A (ko) * 2007-03-08 2008-09-11 소니 가부시끼 가이샤 화상 처리 장치, 화상 처리 방법, 및 프로그램
US20080218472A1 (en) * 2007-03-05 2008-09-11 Emotiv Systems Pty., Ltd. Interface to convert mental states and facial expressions to application input
CN101866215A (zh) * 2010-04-20 2010-10-20 复旦大学 在视频监控中采用视线跟踪的人机交互装置和方法
US20110164143A1 (en) * 2010-01-06 2011-07-07 Peter Rae Shintani TV demonstration
US20120051596A1 (en) * 2010-08-31 2012-03-01 Activate Systems, Inc. Methods and apparatus for improved motioin capture

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4414401B2 (ja) * 2006-02-10 2010-02-10 富士フイルム株式会社 顔特徴点検出方法および装置並びにプログラム
US8271962B2 (en) * 2006-09-12 2012-09-18 Brian Muller Scripted interactive screen media
US8308562B2 (en) * 2008-04-29 2012-11-13 Bally Gaming, Inc. Biofeedback for a gaming device, such as an electronic gaming machine (EGM)
US20100070987A1 (en) * 2008-09-12 2010-03-18 At&T Intellectual Property I, L.P. Mining viewer responses to multimedia content
KR101480564B1 (ko) * 2008-10-21 2015-01-12 삼성전자주식회사 안면 인식을 이용한 알람 제어 장치 및 방법
JP5221436B2 (ja) * 2009-04-02 2013-06-26 トヨタ自動車株式会社 顔特徴点検出装置及びプログラム
JP5460134B2 (ja) * 2009-06-11 2014-04-02 株式会社タイトー 顔認識機能を用いたゲーム装置
US9247903B2 (en) * 2010-06-07 2016-02-02 Affectiva, Inc. Using affect within a gaming context
WO2012051585A1 (en) * 2010-10-14 2012-04-19 Fixmaster, Inc. System and method for creating and analyzing interactive experiences
CA2775700C (en) * 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020141614A1 (en) * 2001-03-28 2002-10-03 Koninklijke Philips Electronics N.V. Method and apparatus for eye gazing smart display
CN1557083A (zh) * 2001-09-20 2004-12-22 �ʼҷ����ֵ��ӹɷ����޹�˾ 基于用户注意力的实时多媒体内容递送的质量适配
US20050187437A1 (en) * 2004-02-25 2005-08-25 Masakazu Matsugu Information processing apparatus and method
US20060056509A1 (en) * 2004-09-16 2006-03-16 Tooru Suino Image display apparatus, image display control method, program, and computer-readable medium
US20070265507A1 (en) * 2006-03-13 2007-11-15 Imotions Emotion Technology Aps Visual attention and emotional response detection and display system
US20080218472A1 (en) * 2007-03-05 2008-09-11 Emotiv Systems Pty., Ltd. Interface to convert mental states and facial expressions to application input
KR20080082526A (ko) * 2007-03-08 2008-09-11 소니 가부시끼 가이샤 화상 처리 장치, 화상 처리 방법, 및 프로그램
US20110164143A1 (en) * 2010-01-06 2011-07-07 Peter Rae Shintani TV demonstration
CN101866215A (zh) * 2010-04-20 2010-10-20 复旦大学 在视频监控中采用视线跟踪的人机交互装置和方法
US20120051596A1 (en) * 2010-08-31 2012-03-01 Activate Systems, Inc. Methods and apparatus for improved motioin capture

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108093296B (zh) * 2017-12-29 2021-02-02 厦门大学 一种影片自适应播放的方法及系统
CN113383295A (zh) * 2019-02-01 2021-09-10 苹果公司 调节数字内容以激发更大的瞳孔半径响应的生物反馈方法
CN110750161A (zh) * 2019-10-25 2020-02-04 郑子龙 一种交互系统、方法、移动设备及计算机可读介质
CN111193964A (zh) * 2020-01-09 2020-05-22 未来新视界教育科技(北京)有限公司 依据生理信号实时控制视频内容的方法和装置
CN113449124A (zh) * 2020-03-27 2021-09-28 阿里巴巴集团控股有限公司 数据处理方法、装置、电子设备及计算机存储介质

Also Published As

Publication number Publication date
KR101643975B1 (ko) 2016-08-01
US20130243270A1 (en) 2013-09-19
WO2013138632A1 (en) 2013-09-19
EP2825935A4 (en) 2015-07-29
EP2825935A1 (en) 2015-01-21
KR20140138798A (ko) 2014-12-04

Similar Documents

Publication Publication Date Title
CN104246660A (zh) 用于基于隐式用户输入和行为的媒体的动态适应的系统和方法
US10019653B2 (en) Method and system for predicting personality traits, capabilities and suggested interactions from images of a person
Yang et al. Benchmarking commercial emotion detection systems using realistic distortions of facial image datasets
US8154615B2 (en) Method and apparatus for image display control according to viewer factors and responses
US8489115B2 (en) Sensor-based mobile search, related methods and systems
US20160191995A1 (en) Image analysis for attendance query evaluation
US10108852B2 (en) Facial analysis to detect asymmetric expressions
US10524005B2 (en) Facilitating television based interaction with social networking tools
KR20130136557A (ko) 개인화된 광고 선택 시스템 및 방법
US10873697B1 (en) Identifying regions of interest in captured video data objects by detecting movement within higher resolution frames of the regions
KR20130136574A (ko) 개인 맞춤형 프로그램 선택 시스템 및 방법
US20170330265A1 (en) Method and Apparatus for Presenting Object Based on Biometric Feature
Gwon et al. Robust eye and pupil detection method for gaze tracking
JP2019091487A (ja) 閲覧者行動に基づいてメディアコンテンツをベンチマークする方法
Yang et al. Zapping index: using smile to measure advertisement zapping likelihood
CN111382655A (zh) 一种举手行为识别方法及装置、电子设备
Harichandana et al. PrivPAS: A real time Privacy-Preserving AI System and applied ethics
KR100827848B1 (ko) 영상 통화 기록을 이용하여 디지털 데이터에 포함된 인물을인식하고 화면에 영상을 디스플레이하는 방법 및 시스템
Turk Over twenty years of eigenfaces
Heni et al. Facial emotion detection of smartphone games users
Takahashi et al. An estimator for rating video contents on the basis of a viewer's behavior in typical home environments
CN107463884A (zh) 虹膜识别方法及装置
Hashmani et al. Hybrid automation of student activity records in virtual learning environments in semi-dark scenarios
EP4096209B1 (en) Information processing device, information processing method, and information processing program
CN116456161A (zh) 直播间推荐链接的弹窗控制方法、装置及网络直播系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20141224