CN101770506B - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN101770506B
CN101770506B CN2009102611225A CN200910261122A CN101770506B CN 101770506 B CN101770506 B CN 101770506B CN 2009102611225 A CN2009102611225 A CN 2009102611225A CN 200910261122 A CN200910261122 A CN 200910261122A CN 101770506 B CN101770506 B CN 101770506B
Authority
CN
China
Prior art keywords
content
watching
value
data
vision attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2009102611225A
Other languages
English (en)
Other versions
CN101770506A (zh
Inventor
福地正树
芦原隆之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101770506A publication Critical patent/CN101770506A/zh
Application granted granted Critical
Publication of CN101770506B publication Critical patent/CN101770506B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
    • H04H60/33—Arrangements for monitoring the users' behaviour or opinions

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供了信息处理装置、信息处理方法和程序。信息处理装置包括：视线检测单元，被配置来检测正在观看内容数据的观看者的视线，并输出作为检测结果的视线信息；观看状况估计单元，被配置来基于所输出的视线信息以及与内容数据相关的视觉关注度信息来估计观看者的观看状况；以及内容建议单元，被配置来基于所估计出的观看状况来为观看者作出针对内容数据的各种建议。

Description

信息处理装置、信息处理方法和程序
技术领域
本发明涉及信息处理装置、信息处理方法和程序，尤其是涉及允许基于用户观看内容数据的状况来作出有关内容数据的各种建议的信息处理装置、信息处理方法和程序。
背景技术
随着因特网和/或有线电视的高速扩散以及内容产业的增长，在日常生活的各种情景中，提供基于各个用户的嗜好和情形状况从大量信息和/或内容数据选择的信息和/或呈现从其中选择的内容数据已变得很重要。实施了各种方法来实现上述任务。
存在在“P.Resnick，N.Iacovou，M.Suchak，P.Bergstrom，and J.Ried 1.″GroupLens？：Open Architecture for Collaborative Filtering of Netnews.″Conference on Computer Supported Cooperative Work，pp.175-186，1994”中公开的称为“协同过滤”的一种技术。根据协同过滤，基于多个用户的购买历史和/或行动历史来确定以与目标用户相同的方式作出反应的不同用户。然后，基于所确定的不同用户的历史来推荐目标用户尚未体验的商品。
因此，目标用户可以接收对未购买商品的推荐。特别地，目标用户可以接收对以与目标用户相同的方式作出反应的不同用户购买过并高度评价的商品的推荐。
这样，通过协同过滤而达到的对商品的推荐对于用户判断是否应当购买该商品而言是有效的。
发明内容
但是，因为用户在一预定时间内保持使用内容数据，并且用户作出的反应在该预定时间期间随时间改变，所以协同过滤在推荐内容数据时不必然有效。
例如，根据通过协同过滤达到的内容数据推荐，不同用户作出的反应被用作用于选择所推荐内容数据的标准。但是，不同用户所采取的反应是对内容数据的最终反应，例如，“讨人喜欢”、“既不是讨人喜欢也不是不讨人喜欢”、“不讨人喜欢”等。即，通过协同过滤达到的内容数据推荐不考虑对内容数据的最终反应是如何获得的，也就是说，例如，对用户而言内容数据的哪个部分讨人喜欢的和/或不讨人喜欢。
用户会有意识地评价对内容数据的偏好。但是，用户难以参考其关于内容数据的感觉来用语言具体描述内容数据是“讨人喜欢的”和/或“不讨人喜欢的”。
可以考虑通过估计用户的感觉并搜索用户对其显示出与所估计的感觉相同的感觉的内容数据来推荐内容数据的方法。但是，通过上述方法难以确定并推荐未知的、用户可能感兴趣的内容数据。此外，存在对不善表达内容数据的用户。在这种情况下，难以估计上述用户的感觉。
因此，很难基于用户的观看状况来对内容数据作出建议。
因此，本发明基于用户的观看状况来提供有关内容数据的各种建议。
根据本发明一个实施例的信息处理装置包括：视线检测单元，被配置来检测正在观看内容数据的观看者的视线，并输出作为检测结果的视线信息；观看状况估计单元，被配置来基于所输出的视线信息以及与所述内容数据相关的视觉关注度信息来估计所述观看者的观看状况；以及内容建议单元，被配置来基于所估计出的观看状况来为所述观看者作出针对所述内容数据的各种建议。
观看状况估计单元还基于观看状况估计的结果来估计观看状态，并且内容建议单元基于所估计出的观看状态来作出针对所述内容数据的各种建议。
定义了指示出所述观看者的观看状况的观看状况变量，并且至少一个预定类型的观看状态与所述观看状况变量的至少两个可能范围的每一个相关联，并且所述观看状况估计单元通过计算所述观看状况变量的值来估计所述观看状况，并且通过确定与所述至少两个可能范围中、所述观看状况变量的值所属于的范围相关联的那一类型的观看状态来估计所述观看状态。
至少一个预定类型的所建议行动与至少两种所述观看状态的每一种相关联，并且所述内容建议单元基于与通过所述观看状况估计单元确定的那一类型的观看状态相关联的那一类型的所建议行动，来为所述观看者作出建议。
定义了基于与所述观看者的视线所停留的区域相关的视觉关注度信息的大小而可变化的分值，并且所述观看状况估计单元以预定时间为周期基于刚刚从所述视线检测单元输出的视线信息以及与所述内容数据相关联的视觉关注度信息来计算所述分值，并且基于到当前周期为止所获得的、至少次中的每次获得的分值来计算所述观看状况变量的值。
根据本发明一个实施例的信息处理方法和程序对应于根据本发明该实施例的上述信息处理装置。
根据本发明的信息处理装置、信息处理方法和程序，正在观看内容数据的观看者的视线被检测出，并且作为检测结果的视线信息被输出，观看者的观看状况被基于所输出的视线信息和与内容数据相关的视觉关注度信息来估计出，并且针对内容数据的各种建议被基于所估计出的观看状况来为观看者作出。
本发明允许根据用户观看内容数据的状况来作出有关内容数据的各种建议。
附图说明
图1A是被提供来图示出关注吸引程度之间的差异的示图；
图1B是被提供来图示出关注吸引程度之间的差异的另一示图；
图2是示出根据本发明一个实施例、被设置为一种信息处理系统的内容建议系统的示例性功能配置的功能框图；
图3A是图示出视觉关注度的示图；
图3B是图示出视觉关注度的另一示图；
图4示出了示例性视线信息；
图5是图示出通过图2所示的内容建议系统执行的示例性内容建议处理的流程图；
图6是详细图示出在图5所示的步骤S2执行的示例性观看状况估计处理的流程图；
图7详细地图示出在图5所示的步骤S3执行的示例性观看状态估计处理；
图8是详细图示出在图5所示的步骤S3执行的示例性观看状态估计处理(对应于图7的示例)的流程图；
图9详细地图示出在图5所示的步骤S4执行的示例性所建议行动确定处理；
图10是详细图示出在图5所示的步骤S4执行的示例性所建议行动确定处理(对应于图9的示例)的流程图；
图11是示出图5所示的内容建议处理的特定结果的示图；
图12是示出根据本发明一个实施例、被设置为一种信息处理系统的内容建议系统的示例性功能配置的功能框图，其中，该功能框图示出了与图2所示的示例不同的示例；
图13是示出根据本发明一个实施例、被设置为一种信息处理系统的内容建议系统的示例性功能配置的功能框图，其中，该功能框图示出了与图2和/或图12所示的示例不同的示例；
图14是示出更新视觉关注度信息的方法的一个具体示例的示图，其中，该示图示出了与图13的示例不同的示例；以及
图15是示出根据本发明一个实施例、被设置为一种信息处理系统的个人计算机硬件的框图。
具体实施方式
本发明允许基于用户观看内容数据的状况来作出有关内容数据的各种建议。
这里，术语“内容数据”一般被理解为通过人的创造性活动而产生的数据。本发明可以用于全体内容数据。
例如，经由电子计算机而被提供来呈现关于以下各项和/或与以下各项有关的信息的程序是内容数据的一个示例：电影、音乐、演出、戏剧、相片、漫画、动画、计算机游戏等的字符、图画、颜色、声音、动作或者视频和/或其组合。内容数据的任何示例都可用于本发明。
但是，在以下描述中，内容数据可以是适当地存储在数字多媒体盘(DVD)中的电视广播节目的数据和/或电影数据等，以便使本发明更加可以理解。
可以通过使用视觉关注度来作出有关内容数据的各种建议，从而实现本发明。
这里，术语“视觉关注度”表示图像的各个区域的关注吸引程度，即，在图像的各个区域中观察到的视线集中程度。
也就是说，人往往认为人一次感知在人眼之前扩展开的空间中面向人的180度空间。但是，实际上，人的中心视场对应于大约4到10度的空间。因此，人通过有意或无意地逐渐移动人眼来感知面向人的整个180度空间。例如，当人观看电视接收器的画面图像(下文中称为电视画面)时，人基于所显示的视频高速地在电视画面上移动人的视线。此外，对于给予用户的视觉刺激，人不必然随机地观看区域，而是以某种重复性来观看各区域。因此，并不是电视画面的每一个区域都吸引关注，而是，关注吸引程度在电视画面的各个区域之间变化。
图1图示出了关注吸引程度之间的差异。
例如，当向人们示出图1A的静止图像时，人们的视线最多集中于示出绿色运动轿车中的人的区域T1，如图1B所示。在区域T1之后，人们的视线集中于围绕区域T1的区域T2、示出建筑物等的区域T3、以及示出山峰的区域T4和T5中的每一个。其它区域很难吸引人们的视线。
因此，同一图像包括人的视线集中的区域以及视线不集中的区域。因此，根据本发明一个实施例，图像各个区域的视线集中程度，即，图像各个区域的关注吸引程度被定义为视觉关注度，并且基于视觉关注度来作出有关内容数据的各种建议。
更具体而言，如在图1B中例示性示出的，具有最高值的视觉关注度V1被指派给区域T1，具有中间值的视觉关注度V2被指派给区域T2至T5的每一个，并且具有最低值的视觉关注度V3被指派给其它各个区域。这样，视觉关注度可以在各个区域之间变化，如视觉关注度V1至V3的情况那样，从而可以基于用户观看内容数据的状况来作出有关内容数据的各种建议。
下文中，将参考图2及后面的图来描述使用上述视觉关注度的本发明的实施例。
本发明的实施例
[内容建议系统1的示例配置]
图2是示出根据本发明一个实施例、示例性地被提供作为信息处理系统的内容建议系统1的示例功能配置的功能框图。
内容建议系统1包括内容数据库(DB)11、视觉关注度DB12、视觉关注度估计单元13、视觉关注度标记单元14、视线检测单元15、观看状况估计单元16、内容建议单元17和视频显示单元18。
在本说明书中，术语“系统”表示包括多个处理设备和/或处理单元的整体装置。也就是，内容建议系统1可以包括至少一个设备。此外，并不限制于图2，在各个功能框图中示出的各个功能块可被提供为软件、硬件、或软件和硬件的组合。
内容DB11存储至少一个内容数据项目。视频信息和关于内容数据的信息，例如关于广播日期、标题、表演者等的信息(下文中称为元数据)，被添加到至少一个内容数据项目的每一个。基于从视觉关注度DB12、视觉关注度估计单元13、视觉关注度标记单元14和内容建议单元17发送的请求数据而输出至少一个内容数据项目的每一个。此外，不是内容数据整体，而是适当地其一部分(例如仅仅单独的元数据)被从内容DB11输出。
视觉关注度DB12存储关于针对存储在内容DB11中的各个内容数据项目所每次观察到的视觉关注度的信息(下文中称为视觉关注度信息)。在上述实施例中，例如，与各个内容数据项目相对应的视频信息包括多个帧。在该情况下，与各个帧相对应的视觉关注度信息被存储在视觉关注度DB12中。更具体地，向各个帧中包括的各个像素指派具有值0或1的视觉关注度。在该情况下，与预定帧相对应的视觉关注度信息变为指示出各像素的视觉关注度的值(0或1)的集合体。这里，指示出各个像素的视觉关注度的值被确定为像素值，从而包括这些像素值的图像数据(下文中称为视觉关注度图像数据)可被用作视觉关注度信息。也就是，在上述实施例中，采用视觉关注度图像数据作为相应帧的视觉关注度信息。
在该情况下，例如，当视觉关注度图像数据是单色图像的数据(其中，0被确定为白色，而1被确定为黑色)时，区域的颜色随着其视觉关注度增高而逼近黑色，并且随着其视觉关注度降低而逼近白色。更具体地，由于包括在相应帧中的示出领导角色和/或主要角色的脸部、说话者脸部的区域等的关注度增高，所以该区域的颜色逼近黑色。另一方面，示出表演者和/或与内容数据的故事无关的背景的区域等的视觉关注度降低，从而上述区域的颜色逼近白色。
将参考图3A和3B进一步描述视觉关注度。
图3A和3B的每一个图示出了视觉关注度。图3A示出了内容数据中包括的视频信息的示例性显示的预定帧。图3B示出了与图3A所示的帧相对应的视觉关注度信息，即，被示例性显示的视觉关注度图像数据。这里，在图3A中示出的被示例性显示的帧，是与图1A所示的静止图像相同的图像，以便使本发明更加可理解。
根据图3B所示的示例性显示的视觉关注度信息，具有高值(例如，1)的视觉关注度V1被指派给区域T1，从而所显示区域T1的颜色为黑色，如在图1B中所描述的。由于具有中间值(例如，0.5)的视觉关注度V2被指派给区域T2至T5的每一个，所以区域T2至T5的每一个的颜色为灰色。此外，由于具有低值(例如，0)的视觉关注度V3被指派给其它区域，所以其颜色为白色。
图3B所示的示例性显示的帧被提供作为预定帧的示例视觉关注度信息。因此，理所当然地，与图3B的视觉关注度信息不同的视觉关注度信息被提供给不同帧。也就是，区域的视觉关注度随着时间逝去而不断改变，即使区域在空间上为一个并且是同一个区域也是如此。也就是说，在一帧中指派的视觉关注度的分布随着情景改变而随时间逝去而改变。
此外，生成视觉关注度信息的方法不受特别限制。例如，可以采用基于通过图2所示的视觉关注度估计单元13指派的视觉关注度来生成视觉关注度信息的方法。
更具体地，视觉关注度估计单元13从内容DB11获取预定内容数据。视觉关注度估计单元13通过分析预定内容数据中包括的每一个帧的特性来估计并(每次)向每一个帧的每一个区域指派视觉关注度。从而，生成每一个帧的视觉关注度信息。也就是，在上述实施例中，生成了与各个帧相对应的视觉关注度图像数据项目。因此，视觉关注度估计单元13将各个帧的视觉关注度信息项目的集合体的数据存储在视觉关注度DB12中作为预定内容数据的视觉关注度信息。也就是，在上述实施例中，包括与各个帧相对应的视觉关注度图像数据项目的视频数据被存储在视觉关注度DB12中作为预定内容数据的视觉关注度信息。存储在内容DB11中的每一个内容数据项目经历了通过视觉关注度估计单元13执行的上述一系列处理过程，从而视觉关注度信息被针对每一个内容数据项目而生成并被存储在视觉关注度DB12中。
这里，视觉关注度估计单元13所使用的估计视觉关注度的方法不受特别限制。例如，可以采用通过使用包括脸部检测器和/或人体检测器、对象检测器等的图像识别系统来估计视觉关注度的方法。在该情况下，变得可以估计视觉关注度并将具有高值的视觉关注度指派给帧中包括的如下区域，该区域例如示出了名人和/或领导角色的图像或者重要项目。
通过使用人类视觉系统的特性来估计视觉关注度的方法可被用作由视觉关注度估计单元13使用的估计视觉关注度的方法。人类视觉系统具有如下属性：将具有与周围特性不同的特性的地方感知为“显眼地方(＝引人注意的地方＝突出部分)”并将视线集中于该地方。“显眼地方”包括独立的红点、在白墙上示出的黑点、与垂直线交叉示出的水平线、与整个图像画面不同地移动的地方等等。变得可以采用如下方法：该方法基于人类视觉系统的特性，估计对于给定内容数据的每一个帧用户将视线集中于哪个区域，并根据该估计结果来估计并指派视觉关注度。除了上述方法之外，变得还可以采用如下方法：该方法估计视觉关注度并将具有更高值的视觉关注度指派给帧的中心区域，这是因为人具有以比观看画面图像的中心的周围高的频率来观看中心的习惯。
此外，除了通过使用视觉关注度估计单元13执行的方法之外，生成视觉关注度信息的方法还可以包括：基于根据不同用户观看内容数据的视线而统计地获得的视觉关注度来生成视觉关注度信息的方法。更进一步地，生成视觉关注度信息的方法还可以包括：基于根据内容创建者创建内容数据的意图而指派给各个帧的视觉关注度，来生成视觉关注度信息的方法。当采用上述方法时，指派给每一个帧的各个区域的视觉关注度是已知的。因此，可预先将已知视觉关注度的数据存储在视觉关注度标记单元14中。结果，视觉关注度标记单元14可以从内容DB11获取预定内容数据，读取已指派给该预定内容数据中包括的各个帧的视觉关注度，并生成该预定内容数据的视觉关注度信息。所生成的视觉关注度信息被存储在视觉关注度DB12中。
因此，视觉关注度信息生成方法自身不受特别限制，并且根据供采用的生成方法而使用视觉关注度估计单元13和/或视觉关注度标记单元14。此外，原本地，内容建议系统1自身不必然生成视觉关注度信息，从而已有的视觉关注度信息可预先被存储在视觉关注度DB12中。也就是，内容建议系统1可以不包括视觉关注度估计单元13和视觉关注度标记单元14。因此，在图2中，用虚线来指示出视觉关注度估计单元13和视觉关注度标记单元14。
视线检测单元15例如通过指向用户U的眼睛周围区域的红外相机、普通的电荷耦合器件(CCD)相机等来检测用户U的视线，并将作为检测结果的视线信息呈递给观看状况估计单元16。在上述实施例中，例如，视线检测单元15确定视线存在于在视频显示单元18上显示的帧图像(和/或视频显示单元18外)的哪个区域。视线检测单元15将指示出示出用户U的视线的区域的信息呈递给观看状况估计单元16作为视线信息。
此外，由视线检测单元15执行的视线检测方法自身不受特别限制，因而视线检测方法不限于上述方法。除了上述方法之外，例如，视线检测单元15可以通过固定到例如用户U的头部上的红外相机、普通CCD相机等来检测用户U的视线。此外，视线检测单元15可以通过使用固定在用户U所处环境中的红外相机、普通CCD相机等来检测用户U的视线。
图4示出了示例性的视线信息。在图4中，点P1、P2和P3指示出包括用户U的视线的区域。因此，在图4所示的示例中，指示出点P1到P3的信息被呈递给视线检测单元15作为视线信息。此外，将点P1到P3联接在一起的虚线指示出用户U的视线的轨迹。视线信息可以包括关于用户U的视线的轨迹的信息。此外，可以在产生内容数据之后预先手动标记视线信息。
图2所示的观看状况估计单元16通过对从视线检测单元15发送的视线信息与从视觉关注度DB12发送的视觉关注度信息进行比较来估计用户U的观看状况，并基于估计结果来估计观看状态。
当用户U集中精神地观看内容数据时，用户U观看内容数据中包括的每一个帧中的具有高视觉关注度的区域。由于具有高视觉关注度的区域根据情景的改变而不断地改变到另一个区域，所以视线根据区域的改变而改变。另一方面，当用户U漫不经心地观看内容数据时，用户U不一定观看内容数据中包括的每一个帧中的具有高视觉关注度的区域。不是观看具有高视觉关注度的区域，用户U通常观看具有低视觉关注度的区域和/或画面图像之外的区域。因此，例如，随着在用户U观看内容数据期间观看具有低视觉关注度的区域的时间长度的增加(随着用户U处在上述观看状况中的时间长度的增加)，变得可以估计出用户U漫不经心地并未观看内容数据，作为用户U的观看状态。因此，在上述实施例中定义了一变量，其中，该变量的值基于用户U观看具有低视觉关注度的区域和/或在画面图像之外的区域的时间总量而增大，并且基于用户U观看具有高视觉关注度的区域的时间总量而减小。下文中，将上述变量称为观看状况变量C。后面将参考图6等来描述观看状况变量C的细节。
观看状况变量C不限于在上述实施例中示例性地阐明的那个。例如，观看状况变量C可以是通过将用户U所观看的区域与在画面图像中示出的具有最高视觉关注度的区域之间的距离用作指标而生成的变量。此外，观看状况变量C可以是通过将用户U所观看的区域的视觉关注度用作指标而生成的变量。
观看状况估计单元16基于观看状况变量C的值的大小来分类观看状态，以便估计用户U的观看状态。也就是，在上述实施例中，基于观看状况变量C的大小来分类的变量被定义为指示出用户U的观看状态的变量。下文中，将上述变量称为观看状态变量S。更具体地，在上述实施例中，指示出以下六种观看状态的每一个值被定义为观看状态变量S的可能值。也就是，指示出包括以下各项的六种观看状态的各个的值：WATCHING(用户U观看内容数据的状态)、BORINGL1(用户U开始变得厌烦的状态)、BORINGL2(用户U很厌烦的状态)、NOT WATCHING(用户U未在观看内容数据的状态)、SLEEPING(用户U正在睡觉的状态)、以及AWAY(用户U未在视频显示设备前方的状态)。随着观看状况变量C的值的增大，指示出各个状态的值被确定为按状态WATCHING、BORINGL1、BORINGL2、NOT WATCHING、SLEEPING、和AWAY的顺序的观看状态变量S。后面将描述指示出六种观看状态的各个的值的细节。
当然，观看状态变量S的可能值不特别限制于上述六种值。例如，指示出包括状态BLINK(眨眼)、TEMPORAL_AWAY(非常短时间内移开眼睛)等的各种观看状态的各个值可被用作观看状态变量S。此外，不是掌握观看状态作为上述离散状态，而是作为连续改变的状态，从而观看状态变量S可以具有模拟值而不是数字值。
观看状况估计单元16确定适于当前观看状态的值作为指示出用户U的观看状态的上述变量S，并将所确定值的数据发送到内容建议单元17。后面将参考图7等来描述观看状态变量S的其它细节。
内容建议单元17基于从观看状况估计单元16发送的观看状态变量S以及存储在内容DB11中的各个内容数据项目来作出适于用户U的针对内容数据的各种建议。
例如，内容建议单元17基于观看状态变量S确定用户U漫不经心地未在观看内容数据。
在该情况下，内容建议单元17可以建议用户U中断和/或停止观看内容数据。如果用户U接受上述建议，则内容建议单元17向视频显示单元18下达中断和/或停止显示内容数据的指令。视频显示单元18基于上述指令而中断和/或停止显示内容数据。
此外，例如，内容建议单元17可以从存储在内容DB11中的内容数据项目中选择可以提起用户U的兴趣的新内容数据，并建议用户U将观看主题从当前内容数据改变为该新内容数据。当用户U接受上述建议时，内容建议单元17从内容DB11获取该新内容数据，并将该新内容数据呈递给视频显示单元18。视频显示单元18显示新内容数据中包括的各个帧图像以使得用户U可以观看该新内容数据。
这样，视频显示单元18可以在内容建议单元17的控制之下显示各种类型的内容数据项目。视频显示单元18可以包括电视接收器、个人计算机的监视器、移动电话的显示单元等。
[内容建议处理]
图5是示出通过如图2所示地配置的内容建议系统1执行的处理过程中、被执行来作出针对内容数据的各种建议的一示例系列的处理过程(下文中称为内容建议处理)的流程图。
在步骤S1，视线检测单元15生成关于用户U的视线的信息。用户U的视线信息被呈递给观看状况估计单元16。从而，处理行进到步骤S2。
在步骤S2，观看状况估计单元16基于用户U的视线信息和视觉关注度信息来计算上述观看状况变量C的值。下文中，将在步骤S2执行的上述处理称为观看状况估计处理。后面将参考图6描述观看状况估计处理的示例细节。
在步骤S3，观看状况估计单元16基于观看状况变量C的值来估计并计算上述观看状态变量S的值。下文中，将在步骤S3执行的上述处理称为观看状态估计处理。后面将参考图7和8来描述观看状态估计处理的示例细节。观看状态变量S的数据被呈递给内容建议单元17，从而处理行进到步骤S4。
在步骤S4，内容建议单元17基于观看状态变量S的值来确定有关内容数据的各种建议。所建议的行动表示由内容建议系统1基于用户的观看状况建议的用户行动，和/或由内容建议单元17自身执行的处理的细节而不是用户行动。例如，如果确定用户对所显示的内容数据感到厌烦，则内容建议系统1可以将停止和/或中断所显示的内容数据或者显示不同的内容数据确定为所建议行动。
更具体地，在上述实施例中，基于观看状态变量S的值来分类的变量被示例性地定义为指示出有关内容数据的各种所建议行动的变量。下文中，将上述各个变量称为所建议行动变量A。内容建议单元17基于观看状态变量S的值来计算所建议行动变量A的值。下文中，将在步骤S4执行的上述处理称为所建议行动确定处理。后面将参考图9和10来描述所建议行动确定处理的示例细节。
在步骤S5，内容建议单元17判断所建议行动变量A的值是否改变了。
如果所建议行动变量A的值未改变，判定在步骤S5的答案为否，则处理返回到步骤S1，并且再次执行与步骤S1及后续步骤相对应的处理。也就是，包括在步骤S1到S5执行的处理过程的循环处理被重复直到所建议行动变量A的值改变为止。在循环处理期间，持续地建议与所建议行动变量A的当前值相对应的内容数据。
之后，每一次重复与步骤S1到S5相对应的循环处理，就更新观看状况变量C的值。然后，基于观看状况变量C的更新值来适当地改变观看状态变量S的值。结果，当所建议行动变量A的值改变时，判定在步骤S5的答案为是，从而处理行进到步骤S6。
在步骤S6，内容建议单元17基于所建议行动变量A的值来作出有关内容数据的各种建议。也就是，在上述实施例中，例如，有关内容数据的至少一个预定类型的所建议行动预先与所建议行动变量A的预定值和/或预定范围相关联。因此，内容建议单元17识别与所建议行动变量A的值相关联的行动，建议用户U采取所建议行动，或者由内容建议单元17自身执行所建议行动而不是用户U的行动。这里，后面将参考图9等来描述所建议行动的具体类型。
在步骤S7，内容建议单元17判断结束处理的指令是否已被发送。
如果结束处理的指令未被发出，判定在步骤S7的答案为否，则处理返回到步骤S1，并且重复从S1开始及其后续步骤的处理。也就是说，包括在步骤S1到S7执行的处理过程的循环处理被重复直到结束处理的指令被发出为止。
也就是，以预定周期(例如，1秒)重复执行与步骤S1到S7相对应的循环处理。从而，在预定周期(例如，1秒)内不断地改变观看状况变量C的值。此外，当用户U的观看状况改变并且结果观看状况变量C的值改变为超过预定门限时，观看状态变量S的值改变并且最终所建议行动变量A的值改变。从而，由内容建议单元17执行的所建议行动的类型改变。这样，基于用户U的内容观看状况来建议有关内容数据的各种所建议行动。
当在那之后发出结束处理的指令时，判定在步骤S7的答案为是，并结束内容建议处理。
下文中，将按顺序分别描述内容建议处理中的在步骤S2执行的观看状况估计处理、在步骤S3执行的观看状态估计处理以及在步骤S4执行的所建议行动确定处理。
[观看状况估计处理]
图6是图示出在图5所示的步骤S2执行的观看状况估计处理的示例细节的流程图。
在步骤S21，观看状况估计单元16判断观看状况估计处理是否是第一次处理。
如果判定观看状况估计处理不是第一次处理，则处理行进到步骤S23。
另一方面，如果观看状况估计处理是第一次处理，则判定步骤S21的答案为是，并且处理行进到步骤S22。
在步骤S22，观看状况估计单元16将观看状况变量C的值初始化为零(C＝0)。跟着，结束观看状况估计处理，也就是，结束与图5所示的步骤S2相对应的处理，并且处理行进到在步骤S3执行的观看状态估计处理。在该情况下，观看状况变量C的值为零，并且在步骤S3执行观看状态估计处理。
另一方面，如果观看状况估计处理是第二次处理或者以后的处理，则判定步骤S21的答案为否，并且处理行进到步骤S23。也就是，通过先前的观看状况估计处理计算出的值被用作观看状况变量C的值，并且从步骤S23开始及后续的一系列处理过程被执行。
在步骤S23，观看状况估计单元16判断用户U是否在观看显示画面图像。
如果用户U未在观看显示画面图像，则判定步骤S23的答案为否，从而处理行进到步骤S26。在步骤S26，观看状况估计单元16将罚常数(penalty constant)C1与观看状况变量C的原始值相加，并将通过上述相加获得的值设置为观看状况变量C的新值(C＝C+C1)。也就是说，观看状况变量C的值被更新为使得该值增加了罚常数C1那么多。
相反，当用户U在观看显示画面图像时，判定在步骤S23的答案为是，并且处理行进到步骤S24。
在步骤S24，观看状况估计单元16判断用户U是否在观看具有高视觉关注度的部位。例如，观看状况估计单元16基于刚好在作出判断之前从视线检测单元15发送的视线信息来判断存在用户的视线的部位的视觉关注度的值是否等于或大于阈值。如果视觉关注度的值等于或大于阈值，则判定用户正在观看具有高视觉关注度的部位。如果视觉关注度的值小于阈值，则判定用户U未在观看具有高视觉关注度的部位。
如果用户U未在观看具有高视觉关注度的部位，则判定步骤S24的答案为否，并且处理行进到步骤S27，在步骤S27，观看状况估计单元16将罚常数C2与观看状况变量C的原始值相加，并将通过该相加获得的值设置为观看状况变量C的新值(C＝C+C2)。也就是说，观看状况变量C的值被更新为使得该值增加了罚常数C2那么多。
相反，当用户U正在观看具有高视觉关注度的部位时，判定步骤S24的答案为是，从而处理行进到步骤S25，其中，观看状况估计单元16从观看状况变量C的原始值减去奖励常数(reward constant)C3，并将通过相减获得的值设置为观看状况变量C的新值(C＝C-C3)。也就是说，观看状况变量C的值被更新为使得该值减小了奖励常数C3那么多。
因此，结束了通过观看状况估计单元16执行的观看状况估计处理。罚常数C1和C2的每一个是满足表达式C1＞＝C2＞0的常数。此外，奖励常数C3是满足表达式C＞C3的常数。
观看状况变量C指示出用户U集中精神地观看内容数据的程度。但是，在上述实施例中，用户U观看内容数据的精神集中度随着观看状况变量C的值减小而增大。换而言之，用户U观看内容数据的精神集中度随着观看状况变量C的值增大而减小。因此，在预定周期中观察用户的观看状况，并且每当用户U未在观看显示画面图像时就向观看状况变量C加上罚常数C1。此外，每当用户U未在观看具有高视觉关注度的部位时就向观看状况变量C加上罚常数C2，从而在增大的方向上更新观看状况变量C的值。此外，对于用户U漫不经心地观看内容数据的程度，变得可以认识到：在用户U未观看显示画面图像时达到的程度高于在用户U未在观看具有高视觉关注度的部位时(在用户U至少在观看显示画面图像的状况中)达到的程度。因此，在上述实施例中，罚常数C1被设置为高于罚常数C2的值。
此外，如果在观看状况估计处理期间仅通过加上罚常数C1和/或罚常数C2来更新观看状况变量C，则每次观看状况估计处理被重复，观看状况变量C的值都保持增长，即使用户U再次对内容数据感兴趣并且再次开始集中精神地观看内容数据也是如此。因此，当用户U观看具有高视觉关注度的部位时，确定用户U再次开始集中精神地观看内容数据，并且通过使用奖励常数C3来减小观看状况变量C的值。
当图6所示的上述观看状况估计处理结束时，与图5所示的步骤S2相对应的处理结束，从而处理行进到与步骤S3相对应的观看状态估计处理。
[观看状态估计处理]
下文中，将参考图7和8描述观看状态估计处理的示例细节。
图7示出了一表格，该表格示出包括观看状况变量C的阈值、观看状态和观看状态变量S的三种类型的数据项目之间的关系。
在上述实施例中，观看状况估计单元16基于图7所示的表格来估计并计算观看状态变量S的值。
也就是，如图7所示，基于观看状况变量C的可能范围定义了六种类型的观看状态，并且唯一地指示出这六种类型的观看状态的每一种的值被提供作为观看状态变量S。
更具体地，当观看状况变量C的值落在从零到小于阈值C_BORINGL1(0＜＝C＜C_BORINGL1)的范围内时获得的观看状态被确定为WATCHING(用户U正在观看内容数据的状态)。指示出WATCHING的值S_1被附加到WATCHING(用户U正在观看内容数据的状态)作为观看状态变量S。也就是，当在挨着的前一步骤或者步骤S2执行的观看状况估计处理的计算结果，即，观看状况变量C的值至少为零并且小于阈值C_BORINGL1时，观看状况估计单元16估计并计算值S_1作为观看状态变量S。
当观看状况变量C的值落在从阈值C_BORINGL1到小于阈值C_BORINGL2(C_BORINGL1＜＝C＜C_BORINGL2)的范围内时获得的观看状态被确定为BORINGL1(用户U开始变得厌烦的状态)。指示出BORINGL1的值S_2被附加到BORINGL1(用户U开始变得厌烦的状态)作为观看状态变量S。也就是，当在挨着的前一步骤或者步骤S2执行的观看状况估计处理的计算结果，即，观看状况变量C的值至少是C_BORINGL1并且小于阈值C_BORINGL2时，观看状况估计单元16估计并计算值S_2作为观看状态变量S。
当观看状况变量C的值落在从阈值C_BORINGL2到小于阈值C_NOT_WATCHING(C_BORINGL2＜＝C＜C_NOT_WATCHING)的范围内时获得的观看状态被确定为BORINGL2(用户U很厌烦的状态)。指示出BORINGL2的值S_3被附加到BORINGL2(用户U很厌烦的状态)作为观看状态变量S。也就是，当在挨着的前一步骤或者步骤S2执行的观看状况估计处理的计算结果，即，观看状况变量C的值至少是C_BORINGL2并且小于阈值C_NOT_WATCHING时，观看状况估计单元16估计并计算值S_3作为观看状态变量S。
当观看状况变量C的值落在从阈值C_NOT_WATCHING到小于阈值C_SLEEPING(C_NOT_WATCHING＜＝C＜C_SLEEPING)的范围内时获得的观看状态被确定为NOT WATCHING(用户未在观看内容数据的状态)。指示出NOT_WATCHING的值S_4被附加到NOT WATCHING(用户U未在观看内容数据的状态)作为观看状态变量S。也就是，当在挨着的前一步骤或者步骤S2执行的观看状况估计处理的计算结果，即，观看状况变量C的值至少是C_NOT_WATCHING并且小于阈值C_SLEEPING时，观看状况估计单元16估计并计算值S_4作为观看状态变量S。
当观看状况变量C的值落在从阈值C_SLEEPING到小于阈值C_AWAY(C_SLEEPING＜＝C＜C_AWAY)的范围内时获得的观看状态被确定为SLEEPING(用户在睡觉的状态)。指示出SLEEPING的值S_5被附加到SLEEPING(用户U在睡觉的状态)作为观看状态变量S。也就是，当在挨着的前一步骤或者步骤S2执行的观看状况估计处理的计算结果，即，观看状况变量C的值至少是C_SLEEPING并且小于阈值C_AWAY时，观看状况估计单元16估计并计算值S_5作为观看状态变量S。
当观看状况变量C的值落在等于或大于阈值C_AWAY(C_AWAY＜＝C)的范围内时获得的观看状态被确定为AWAY(用户U不在视频显示设备前方的状态)。指示出AWAY的值S_6被附加到AWAY(用户U不在视频显示设备前方的状态)作为观看状态变量S。也就是，当在挨着的前一步骤或者步骤S2执行的观看状况估计处理的计算结果，即，观看状况变量C的值等于或大于C_AWAY时，观看状况估计单元16估计并计算值S_6作为观看状态变量S。
图8是图示出在图5所示的步骤S3执行的观看状态估计处理，即，基于图7所示的表格执行的观看状态估计处理的示例细节的流程图。
在步骤S41，观看状况估计单元16判断观看状况变量C的值是否等于或大于阈值C_BORINGL1(表达式C＞＝C_BORINGL1是否成立)。
当观看状况变量C的值落在从零到小于阈值C_BORINGL1(0＜＝C＜C_BORINGL1)的范围内时，判定步骤S41的答案为否，并且处理行进到步骤S47。
在步骤S47，观看状况估计单元16将指示出WATCHING的值S_1设置为观看状态变量S。也就是说，指示出WATCHING的值S_1被估计并计算为观看状态变量S，并且观看状态估计处理结束。从而，处理从步骤S3行进到步骤S4，如图5所示。
相反，当观看状况变量C的值等于或大于阈值C_BORINGL1时，判定步骤S41的答案为是，并且处理行进到步骤S42。
在步骤S42，观看状况估计单元16判断观看状况变量C的值是否等于或大于阈值C_BORINGL2(表达式C＞＝C_BORINGL2是否成立)。
当观看状况变量C的值落在从阈值C_BORINGL1到小于阈值C_BORINGL2(C_BORINGL1＜＝C＜C_BORINGL2)的范围内时，判定步骤S42的答案为否，并且处理行进到步骤S48。
在步骤S48，观看状况估计单元16将指示出BORINGL1的值S_2设置为观看状态变量S。也就是说，指示出BORINGL1的值S_2被估计并计算为观看状态变量S并且观看状态估计处理结束。从而，处理从步骤S3行进到步骤S4，如图5所示。
相反，当观看状况变量C的值等于或大于阈值C_BORINGL2时，判定步骤S42的答案为是，并且处理行进到步骤S43。
在步骤S43，观看状况估计单元16判断观看状况变量C的值是否等于或大于阈值C_NOT_WATCHING(表达式C＞＝C_NOT_WATCHING是否成立)。
当观看状况变量C的值落在从阈值C_BORINGL2到小于阈值C_NOT_WATCHING(C_BORINGL2＜＝C＜C_NOT_WATCHING)的范围内时，判定步骤S43的答案为否，并且处理行进到步骤S49。
在步骤S49，观看状况估计单元16将指示出BORINGL2的值S_3设置为观看状态变量S。也就是说，指示出BORINLGL2的值S_3被估计并计算为观看状态变量S，并且观看状态估计处理结束。从而，处理从步骤S3行进到步骤S4，如图5所示。
相反，当观看状况变量C的值等于或大于阈值C_NOT_WATCHING时，判定步骤S43的答案为是，并且处理行进到步骤S44。
在步骤S44，观看状况估计单元16判断观看状况变量C的值是否等于或大于阈值C_SLEEPING(表达式C＞＝C_SLEEPING是否成立)。
当观看状况变量C的值落在从阈值C_NOT_WATCHING到小于阈值C_SLEEPING(C_NOT_WATCHING＜＝C＜C_SLEEPING)的范围内时，判定步骤S44的答案为否，并且处理行进到步骤S50。
在步骤S50，观看状况估计单元16将指示出NOT WATCHING的值S_4设定为观看状态变量S。也就是说，指示出NOT WATCHING的值S_4被估计并计算为观看状态变量S，并且观看状态估计处理结束。从而，处理从步骤S3行进到步骤S4，如图5所示。
相反，当观看状况变量C的值等于或大于阈值C_SLEEPING时，判定步骤S44的答案为是，并且处理行进到步骤S45。
在步骤S45，观看状况估计单元16判断观看状况变量C的值是否等于或大于阈值C_AWAY(表达式C＞＝C_AWAY是否成立)。
当观看状况变量C的值落在从阈值C_SLEEPING到小于阈值C_AWAY(C_SLEEPING＜＝C＜C_AWAY)的范围内，判定步骤S45的答案为否，并且处理行进到步骤S51。
在步骤S51，观看状况估计单元16将指示出SLEEPING的值S_5设置为观看状态变量S。也就是说，指示出SLEEPING的值S_5被估计并计算为观看状态变量S，并且观看状态估计处理结束。从而，处理从步骤S3行进到步骤S4，如图5所示。
相反，当观看状况变量C的值等于或大于阈值C_AWAY时，判定步骤S45的答案为是，并且处理行进到步骤S46。
在步骤S46，观看状况估计单元16将指示出AWAY的值S_6设置为观看状态变量S。也就是说，指示出AWAY的值S_6被估计并计算为观看状态变量S，并且观看状态估计处理结束。从而，处理从步骤S3行进到步骤S4，如图5所示。
因此，结束了通过观看状况估计单元16执行的观看状态估计处理，并且结束了与图5所示的步骤S3相对应的处理。相应地，处理从步骤S3行进到与如图5所示的所建议行动确定处理相对应的步骤S4。
[所建议行动确定处理]
下文中，将参考图9和10描述所建议行动确定处理的示例细节。
图9示出了一表格，该表格示出指示出观看状态变量S、所建议行动和所建议行动变量A的三种类型的数据项目之间的关系。
在上述实施例中，内容建议单元17基于图9所示的表格来计算所建议行动变量A的值。
也就是，如图9所示，基于观看状态变量S的值来定义了六种类型的所建议行动，并且唯一地指示出这六种类型的所建议行动的每一种的值被提供作为所建议行动变量A。
更具体地，当观看状态变量S为值S_1(S＝S_1)和/或错误值时执行的所建议行动被确定为DO NOTHING(什么也不做)。指示出DONOTHING的值A1被附加到行动DO NOTHING的数据作为所建议行动变量A。因此，当在挨着的前一步骤或步骤S3执行的观看状态估计处理的计算结果，即观看状态变量S为值S_1时，内容建议单元17计算出值A1作为所建议行动变量A。此外，在观看状态变量S的值为错误值的情况下，内容建议单元17也计算出值A1作为所建议行动变量A。变量S的值为错误值的情况表示观看状态变量S具有与值S_1到S_6的每一个不同的值。
当观看状态变量S为值S_2(S＝S_2)时执行的所建议行动为行动VERIFY(确认)。指示出行动VERIFY的值A2被附加到行动VERIFY的数据作为所建议行动变量A。因此，当在挨着的前一步骤或步骤S3执行的观看状态估计处理的计算结果，即观看状态变量S为值S_2时，内容建议单元17计算出值A2作为所建议行动变量A。
当观看状态变量S为值S_3(S＝S_3)时执行的所建议行动为行动ACTION1(行动1)。指示出行动ACTION1的值A3被附加到行动ACTION1的数据作为所建议行动变量A。因此，当在挨着的前一步骤或步骤S3执行的观看状态估计处理的计算结果，即观看状态变量S为值S_3时，内容建议单元17计算出值A3作为所建议行动变量A。
当观看状态变量S为值S_4(S＝S_4)时执行的所建议行动为行动ACTION2(行动2)。指示出行动ACTION2的值A4被附加到行动ACTION2的数据作为所建议行动变量A。因此，当在挨着的前一步骤或步骤S3执行的观看状态估计处理的计算结果，即观看状态变量S为值S_4时，内容建议单元17计算出值A4作为所建议行动变量A。
当观看状态变量S为值S_5(S＝S_5)时执行的所建议行动为行动ACTION3(行动3)。指示出行动ACTION3的值A5被附加到行动ACTION3的数据作为所建议行动变量A。因此，当在挨着的前一步骤或步骤S3执行的观看状态估计处理的计算结果，即观看状态变量S为值S_5时，内容建议单元17计算出值A5作为所建议行动变量A。虽然在上述实施例中定义的所建议行动ACTION包括行动ACTION1到ACTION3，但是所建议行动ACTION的类型不受特别限制。
当观看状态变量S为值S_6(S＝S_6)时执行的所建议行动为行动TURN OFF(关断电源)。指示出行动TURN OFF的值A6被附加到行动TURN OFF的数据作为所建议行动变量A。因此，当在挨着的前一步骤或步骤S3执行的观看状态估计处理的计算结果，即观看状态变量S为值S_6时，内容建议单元17计算出值A6作为所建议行动变量A。
图10是图示出在图5所示的步骤S4执行的所建议行动确定处理，即，基于图9所示的表格执行的所建议行动确定处理的示例性细节的流程图。
在步骤S61，内容建议单元17判断观看状态变量S是否具有值S_1(指示出WATCHING的值)。
当观看状态变量S具有值S_1时，判定步骤S61的答案为是，并且处理行进到步骤S68。
在步骤S68，内容建议单元17将指示出行动DO NOTHING的值A1设置为所建议行动变量A。也就是说，指示出行动DO NOTHING的值A1被计算出，并且所建议行动确定处理结束。从而，处理从步骤S4行进到步骤S5，如图5所示。
相反，当观看状态变量S为与值S_1不同的值时，判定步骤S61的答案为否，并且处理行进到步骤S62。
在步骤S62，内容建议单元17判断观看状态变量S是否是值S_2(指示出BORINGL1的值)。
如果观看状态变量S为值S_2，判定步骤S62的答案为是，并且处理行进到步骤S69。
在步骤S69，内容建议单元17将指示出行动VERIFY的值A2设置为所建议行动变量A。也就是说，指示出行动VERIFY的值A2被计算出，并且所建议行动确定处理结束。从而，处理从步骤S4行进到步骤S5，如图5所示。
相反，当观看状态变量S为与值S_2不同的值时，判定步骤S62的答案为否，并且处理行进到步骤S63。
在步骤S63，内容建议单元17判断观看状态变量S是否是值S_3(指示出BORINGL2的值)。
如果观看状态变量S为值S_3，判定步骤S63的答案为是，并且处理行进到步骤S70。
在步骤S70，内容建议单元17将指示出行动ACTION1的值A3设置为所建议行动变量A。也就是说，指示出行动ACTION1的值A3被计算出，并且所建议行动确定处理结束。从而，处理从步骤S4行进到步骤S5，如图5所示。
相反，当观看状态变量S为与值S_3不同的值时，判定步骤S63的答案为否，并且处理行进到步骤S64。
在步骤S64，内容建议单元17判断观看状态变量S是否是值S_4(指示出NOT WATCHING的值)。
如果观看状态变量S为值S_4，判定步骤S64的答案为是，并且处理行进到步骤S71。
在步骤S71，内容建议单元17将指示出行动ACTION2的值A4设置为所建议行动变量A。也就是说，指示出行动ACTION2的值A4被计算出，并且所建议行动确定处理结束。从而，处理从步骤S4行进到步骤S5，如图5所示。
相反，当观看状态变量S为与值S_4不同的值时，判定步骤S64的答案为否，并且处理行进到步骤S65。
在步骤S65，内容建议单元17判断观看状态变量S是否是值S_5(指示出SLEEPING的值)。
如果观看状态变量S为值S_5，判定步骤S65的答案为是，并且处理行进到步骤S72。
在步骤S72，内容建议单元17将指示出行动ACTION3的值A5设置为所建议行动变量A。也就是说，指示出行动ACTION3的值A5被计算出，并且所建议行动确定处理结束。从而，处理从步骤S4行进到步骤S5，如图5所示。
相反，当观看状态变量S为与值S_5不同的值时，判定步骤S65的答案为否，并且处理行进到步骤S66。
在步骤S66，内容建议单元17判断观看状态变量S是否是值S_6(指示出AWAY的值)。
如果观看状态变量S为值S_6，判定步骤S66的答案为是，并且处理行进到步骤S73。
在步骤S73，内容建议单元17将指示出行动TURN OFF的值A6设置为所建议行动变量A。也就是说，指示出行动TURN OFF的值A6被计算出，并且所建议行动确定处理结束。从而，处理从步骤S4行进到步骤S5，如图5所示。
相反，当观看状态变量S为与值S_6不同的值时，判定步骤S66的答案为否，并且处理行进到步骤S67。
在步骤S67，内容建议单元17将指示出行动DO NOTHING的值A1设置为所建议行动变量A。也就是说，指示出行动DO NOTHING的值A1被计算出，并且所建议行动确定处理结束。从而，处理从步骤S4行进到步骤S5，如图5所示。
当上述所建议行动确定处理结束时，与图5所示的步骤S4相对应的处理结束，并且处理行进到步骤S5。
如果作为与步骤S1到S4相对应的上述一系列处理过程的结果，所建议行动变量A改变了，则判定步骤S5的答案为是，并且处理行进到步骤S6。
在步骤S6，内容建议单元17基于所建议行动变量A的值来作出有关内容数据的各种建议。
例如，当指示出行动DO NOTHING的值A1被设置为所建议行动变量A时，内容建议单元17建议行动DO NOTHING。也就是，内容建议单元17不建议任何行动。
例如，当指示出行动VERIFY的值A2被设置为所建议行动变量A时，内容建议单元17建议行动VERIFY。例如，内容建议单元17判断用户U当前所观看的内容数据的显示是否应当继续。
例如，当指示出行动ACTION1的值A3被设置为所建议行动变量A时，内容建议单元17建议行动ACTION1。更具体地，例如，如果被执行来建议观看替代内容数据的所建议行动被定义成行动ACTION1，则内容建议单元17例如建议观看任意替代内容数据。
例如，当指示出行动ACTION2的值A4被设置为所建议行动变量A时，内容建议单元17建议行动ACTION2。更具体地，例如，如果被执行来推荐替代内容数据的所建议行动被定义成行动ACTION2，则内容建议单元17推荐替代的预定内容数据并且建议观看该预定内容数据。
例如，当指示出行动ACTION3的值A5被设置为所建议行动变量A时，内容建议单元17建议行动ACTION3。更具体地，例如，如果被执行来停止当前在显示的内容数据的所建议行动被定义成行动ACTION3，则内容建议单元17例如建议停止当前所显示的内容数据。这里，内容建议单元17可以直接停止当前所显示的内容数据。
例如，当指示出行动TURN OFF的值A6被设置为所建议行动变量A时，内容建议单元17建议行动TURN OFF(关断电源)。这里，内容建议单元17可以直接关断内容建议系统的电源。
下文中，将参考具体示例进一步描述内容建议处理。
图11示出了图5所示内容建议处理的特定结果。
图11的部分A示出了在各个时间t观察到的、观看状况变量C随时间的演变。在图11的部分A中，纵轴指示出观看状况变量C。此外，参考图7所示的表格描述的阈值被沿纵轴示出。也就是，以增大的顺序设置了各个阈值C_BORINGL1、C_BORINGL2、C_NOT_WATCHING、C_SLEEPING、C_AWAY，作为为观看状况变量C设置的阈值。横轴是指示出时间t的时基。上述时基在图11的部分A、B和C之间共享。
图11的部分B示出了在各个时间t观察到的、与观看状态变量S相对应的观看状态随时间的演变。图11的部分C示出了与所建议行动变量A相对应的所建议行动随时间的演变。
图11示例性地示出针对每一个时间t(例如，以秒为单位)执行一次包括图5所示的内容建议处理的步骤S1到S7的循环处理。在该情况下，针对每一个时间t执行一次与步骤S2相对应的观看状况估计处理，以使得观看状况变量C的值不断改变。当观看状况变量C的值改变为超过预定门限时，观看状态变量S的值在与观看状况变量C的值改变时的时间t执行的步骤S3相对应的观看状态估计处理期间改变。这样，观看状态变量S的值改变，从而所建议行动变量A的值通过在下一步骤或步骤S4执行的所建议行动确定处理而改变。其结果是，通过在下一步骤或者步骤S6执行的处理，基于所建议行动变量A的改变值来作出建议。
更具体地，例如通过在图5所示的内容建议处理的步骤S2执行的观看状况估计处理，观看状况变量C的值在时间t0被初始化为零(图6所示的步骤S21为是以及步骤S22)。因而，通过在时间t0执行的与步骤S3相对应的观看状态估计处理，值S_1被估计出并且被计算为观看状态变量S(图8所示的步骤S41为否以及步骤S47)。因此，在时间t0获得的观看状态变为与值S_1相对应的行动WATCHING。因此，通过在时间t0执行的与步骤S4相对应的所建议行动确定处理，值A1被设置为所建议行动变量A的值(图10所示的步骤S61为是以及步骤S68)。因此，在时间t0执行的所建议行动变为与该值A相对应的行动DO NOTHING。由于在时间t0，值A1重新被计算为所建议行动变量A，所以判定通过在步骤S5执行的处理而获得的答案为是，并且通过在下一步骤或者步骤S6执行的处理，基于所建议行动变量A的值A1而建议行动DO NOTHING。
在时间t1，在与图5所示的内容建议处理的步骤S2相对应的观看状况估计处理期间，观看状况变量C的值被估计并计算为图11的部分A所示的值，即，落在从零到小于阈值C_BORINGL1的范围内的值。因此，在时间t1执行的与步骤S3相对应的观看状态估计处理期间，值S 1被估计并计算为观看状态变量S(图8所示的步骤S41为否以及步骤S47)。因此，在时间t1获得的观看状态变为与值S_1相对应的状态WATCHING。因此，通过在时间t1执行的与步骤S4相对应的所建议行动确定处理，值A1被设置为所建议行动变量A的值(图10所示的步骤S61为是以及步骤S68)。因而，在时间t1执行的所建议行动变为与该值A相对应的行动DO NOTHING。这样，在时间t1，值A1被计算为所建议行动变量A。但是，由于在前一时间t(例如，时间t0)相同值A1被计算为所建议行动变量A，所以在时间t1执行的步骤S5判定答案为否，并且处理返回到步骤S1，从而在下一时间t开始一系列处理过程。也就是，在该情况下，基于所建议行动变量A的值A1作出的对行动DO NOTHING的建议被维持。
在时间t2，在与图5所示的内容建议处理的步骤S2相对应的观看状况估计处理期间，观看状况变量C的值被估计并计算为图11的部分A所示的值，即，落在从阈值C_BORINGL1到小于阈值C_BORINGL2的范围内的值。因此，在时间t2执行的与步骤S3相对应的观看状态估计处理期间，值S_2被估计并计算为观看状态变量S(图8所示的步骤S42为否以及步骤S48)。因此，在时间t2获得的观看状态变为与值S_2相对应的状态BORINGL1。因此，通过在时间t2执行的与步骤S4相对应的所建议行动确定处理，值A2被设置为所建议行动变量A的值(图10所示的步骤S62为是以及步骤S69)。因而，在时间t2执行的所建议行动变为与值A相对应的行动VERIFY。这样，在时间t2，值A2被计算为所建议行动变量A。由于在时间t2，值A2被重新计算为所建议行动变量A，所以判定通过在步骤S5执行的处理而获得的答案为是，并且通过在下一步骤或步骤S6执行的处理，基于所建议行动变量A的值A2而建议行动VERIFY。
在时间t5，在与图5所示的内容建议处理的步骤S2相对应的观看状况估计处理期间，观看状况变量C的值被估计并计算为图11的部分A所示的值，即，落在从阈值C_BORINGL2到小于阈值C_NOT_WATCHING的范围内的值。因此，在时间t5执行的与步骤S3相对应的观看状态估计处理期间，值S_3被估计并计算为观看状态变量S(图8所示的步骤S43为否以及步骤S49)。因此，在时间t5获得的观看状态变为与值S_3相对应的状态BORINGL2。因此，通过在时间t5执行的与步骤S4相对应的所建议行动确定处理，值A3被设置为所建议行动变量A的值(图10所示的步骤S63为是以及步骤S70)。因而，在时间t5执行的所建议行动变为与该值A相对应的行动ACTION1。这样，在时间t5，值A3被计算为所建议行动变量A。由于在时间t5，值A3被重新计算为所建议行动变量A，所以判定通过在步骤S5执行的处理而获得的答案为是，并且通过在下一步骤或步骤S6执行的处理，基于所建议行动变量A的值A3而建议行动ACTION1。
在时间t5之后的时间t再次执行相同处理。也就是，由于在时间t6到时间t14的每一个都更新所建议行动变量A的值，所以判定通过在步骤S5执行的处理而获得的答案为是，并且通过在下一步骤或步骤S6执行的处理，基于所建议行动变量A的更新值而作出各种建议。然后，由于在时间t6到时间t14的每一个，相同值被计算为所建议行动变量A，所以判定通过在步骤S5执行的处理而获得的答案为否，从而处理返回到步骤S1，并且在下一时间t开始这一系列处理过程。也就是，在该情况下，相同建议被维持。
因此，观看状态变量S的值以及所建议行动变量A的值随着观看状况变量C的值改变而改变。然后，基于所建议行动变量A的改变值来执行所建议行动。因而，内容建议系统1允许采取行动以便建议适于用户U的观看状况的内容数据。
[内容建议系统2的示例配置]
图12示出了根据本发明一个实施例的信息处理系统。也就是，图12是示出与图2所示的示例性内容建议系统不同的内容建议系统2的示例性功能配置的功能框图。
内容建议系统2包括内容DB11、视觉关注度估计单元13、视线检测单元15、观看状况估计单元16、内容建议单元17和视频显示单元18。
在图12中，与图2所示的组件相同的组件被用相同标号表示。此外，将适当地省略冗余描述。
在图2所示的内容建议系统1中，视觉关注度信息被临时存储在视觉关注度DB12中，并被呈递给观看状况估计单元16。与之不同，在图12所示的内容建议系统2中省略了视觉关注度DB12。因此，通过视觉关注度估计单元13生成的视觉关注度信息被实时地呈递给观看状况估计单元16。
此外，从内容DB11发送的内容数据经由视觉关注度估计单元13而被呈递给内容建议单元17。
[内容建议系统3的示例性配置]
图13示出了根据本发明一个实施例的信息处理系统。也就是，图13是示出与图2和12所示的示例性内容建议系统不同的内容建议系统3的示例性功能配置的功能框图。
在图13中，与图2所示的组件相同的组件被用相同标号表示。此外，将适当地省略冗余描述。
除了图2所示的内容建议系统1的组件之外，内容建议系统3还包括视觉关注度信息更新单元19。
从视线检测单元15发送到观看状况估计单元16的用户U的视线信息被反馈给视觉关注度信息更新单元19。因此，视觉关注度信息更新单元19基于反馈给视觉关注度信息更新单元19的用户U的视线信息来更新存储在视觉关注度DB12中的各个视觉关注度信息项目。这样，视觉关注度信息基于从观看状况估计单元16发送的用户U的视线信息而被更新，使得视觉关注度信息受用户U的观看特性影响。
这里，由视觉关注度信息更新单元19执行的更新视觉关注度信息的方法不特别限制于图13所示的示例方法。例如，如图14所示，可以采用基于至少两个用户U1到UN(N表示至少为2的整数)的视线信息来更新视觉关注度信息的方法。这里，至少两个用户U1到UN可以包括用户U。
[更新视觉关注度信息的方法的具体示例]
图14示出了通过视觉关注度信息更新单元19执行的更新视觉关注度信息的方法的一个具体示例。也就是，图14图示出了与图13所示的示例不同的示例。
也就是，图14仅示出了图13示例性地示出的内容建议系统3的组件中的内容DB11、视觉关注度DB12和视觉关注度信息更新单元19。此外，与图13示例性地示出的内容建议系统3等同的单个系统被用于用户UK(K表示1到N的任意整数值)。在上述系统的组件中，图14仅示出了视频显示单元18-K、视线检测单元15-K和观看状况估计单元16-K。此外，只要内容建议系统3的视觉关注度信息更新单元19能够获取各个用户U1到UN的视线信息，生成视线信息的方法不特别限制于图14所示的示例方法。
如图14所示，相同的内容数据被显示在各个视频显示单元18-1到18-N中。因而，用户U1到UN可以观看显示在各个视频显示单元18-1到18-N上的内容数据。此外，当然，内容数据在视频显示单元18-1到18-N上显示的时间帧可以彼此不同。
视线检测单元15-1到15-N将正在观看内容数据的用户U1到UN的视线信息项目呈递给各个观看状况估计单元16-1到16-N。观看状况估计单元16-1到16-N将用户U1到UN的各个视线信息项目发送到视觉关注度信息更新单元19。
视觉关注度信息更新单元19通过将用户U1到UN的视线信息项目作为统计数据来学习，从而更新在视觉关注度DB 12中存储的视觉关注度信息项目。
如果存储在上述视觉关注度DB 12中的视觉关注度信息项目可以在由用户U1到UN使用的系统之间共享，则这些视觉关注度信息项目可以在用户U以及U1到UN之间共享。根据图14所示的示例，用户U和U1到UN使用不同系统。但是，不限于图14所示的示例，用户U以及U1到UN的至少一部分可以共享并使用同一系统。
顺带提及，可以通过硬件和/或软件来执行上述一系列处理过程。
在该情况下，图15所示的个人计算机至少可以是上述信息处理系统的一部分。
在图15中，中央处理单元(CPU)101基于存储在只读存储器(ROM)102中的程序和/或从存储单元108加载到随机访问存储器(RAM)103的程序来执行各种处理过程。此外，由CPU 101使用以便执行各种处理过程的数据也适当地被存储在RAM 103中。
CPU 101、ROM 102和RAM 103经由连接到输入和输出接口105的总线104相互连接。
输入和输出接口105连接到输入单元106、输出单元107、存储单元108和通信单元109，输入单元106包括键盘、鼠标等，输出单元107包括显示器等，存储单元108包括硬盘等，通信单元109包括调制解调器、终端适配器等。通信单元109控制经由包括因特网在内的网络在个人计算机与另一装置(未示出)之间执行的通信。
此外，驱动器110适当地连接到输入和输出接口105，并且可移除介质111被适当地装载在输入和输出接口105上，可移除介质111包括磁盘、光盘、磁光盘、半导体存储器等。从可移除介质111读取的计算机程序被适当地安装在存储单元108中。
当通过软件来执行一系列处理过程时，构成该软件的程序被从网络和/或记录介质安装到计算机，该计算机被包括在专门设计的计算机和/或能够通过安装在其中的各种程序来执行各种功能的通用个人计算机中。
包括上述程序的记录介质不仅包括可移除介质(封装介质)111(包括磁盘(包括软盘)、光盘(包括致密盘只读存储器(CD-ROM)和数字多功能盘(DVD))、磁光盘(包括迷你盘(MD))、半导体存储器等)，其中，可移除介质111与装置的主体分离并且被分发来向用户呈递程序并存储程序，而且还包括存储程序并且预先包括在装置主体中来呈递给用户的ROM 102、存储单元108中包括的硬盘等，如图15所示。
此外，在本说明书中，描述在记录介质中存储的程序的步骤不仅包括以根据所写顺序的时序执行的处理，而且还包括不必然以时序执行而是可以并行和/或分离地执行的处理。
本申请包含与2008年12月26日向日本专利局提交的日本优先专利申请JP 2008-332131所公开的主题相关的主题，该申请的全部内容通过引用而结合于此。
本领域技术人员应当了解，在所附权利要求或其等同物的范围内，可以依据设计要求和/或其它因素进行各种修改、组合、子组合和变更。

Claims (7)

1.一种信息处理装置，包括：
视线检测装置，被布置来检测正在观看内容数据的观看者的视线，并输出作为检测结果的视线信息；
观看状况估计装置，被布置来基于所输出的视线信息，判断观看者是否在观看内容数据，并且在判断出观看者在观看内容数据的情况下判断存在观看者的视线的区域的视觉关注度是否是高视觉关注度，并且被布置来基于这些判断的结果来估计指示出观看者集中精神地观看内容数据的程度的观看状况，其中，所述视觉关注度与内容数据相关并且定义了内容数据的各个区域吸引大多数人关注的程度；以及
内容建议装置，被布置来基于所估计出的观看状况来为所述观看者作出针对所述内容数据的各种建议。
2.根据权利要求1所述的信息处理装置，
其中，所述观看状况估计装置还基于观看状况估计的结果来估计观看状态，并且
其中，所述内容建议装置基于所估计出的观看状态来作出针对所述内容数据的各种建议。
3.根据权利要求2所述的信息处理装置，
其中，定义了指示出所述观看者的观看状况的观看状况变量，并且至少一个预定类型的观看状态与所述观看状况变量的至少两个可能范围的每一个相关联，并且
其中，所述观看状况估计装置通过计算所述观看状况变量的值来估计所述观看状况，并且通过确定与所述至少两个可能范围中、所述观看状况变量的值所属于的范围相关联的那一类型的观看状态来估计所述观看状态。
4.根据权利要求3所述的信息处理装置，
其中，至少一个预定类型的所建议行动与至少两种类型的所述观看状态的每一种相关联，并且
其中，所述内容建议装置基于与通过所述观看状况估计装置确定的那一类型的观看状态相关联的类型的所建议行动，来为所述观看者作出建议。
5.根据权利要求3所述的信息处理装置，
其中，定义了基于与所述观看者的视线所停留的区域相关的视觉关注度信息的大小而可变化的分值，并且
其中，所述观看状况估计装置以预定时间为周期基于刚刚从所述视线检测装置输出的视线信息以及与所述内容数据相关联的视觉关注度信息来计算所述分值，并且基于到当前周期为止所获得的、至少一次中的每次获得的分值来计算所述观看状况变量的值。
6.一种信息处理方法，包括以下步骤：
检测正在观看内容数据的观看者的视线，并输出作为检测结果的视线信息；
基于所输出的视线信息，判断观看者是否在观看内容数据，并且在判断出观看者在观看内容数据的情况下判断存在观看者的视线的区域的视觉关注度是否是高视觉关注度，并且基于这些判断的结果来估计指示出观看者集中精神地观看内容数据的程度的观看状况，其中，所述视觉关注度与内容数据相关并且定义了内容数据的各个区域吸引大多数人关注的程度；以及
基于所估计出的观看状况来为所述观看者作出针对所述内容数据的各种建议。
7.一种信息处理装置，包括：
用于检测正在观看内容数据的观看者的视线并输出作为检测结果的视线信息的装置；
用于基于所输出的视线信息判断观看者是否在观看内容数据、并且在判断出观看者在观看内容数据的情况下判断存在观看者的视线的区域的视觉关注度是否是高视觉关注度、并且基于这些判断的结果来估计指示出观看者集中精神地观看内容数据的程度的观看状况的装置，其中，所述视觉关注度与内容数据相关并且定义了内容数据的各个区域吸引大多数人关注的程度；以及
用于基于所估计出的观看状况来为所述观看者作出针对所述内容数据的各种建议的装置。
CN2009102611225A 2008-12-26 2009-12-28 信息处理装置、信息处理方法和程序 Expired - Fee Related CN101770506B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008332131A JP4775671B2 (ja) 2008-12-26 2008-12-26 情報処理装置および方法、並びにプログラム
JP2008-332131 2008-12-26

Publications (2)

Publication Number Publication Date
CN101770506A CN101770506A (zh) 2010-07-07
CN101770506B true CN101770506B (zh) 2012-12-26

Family

ID=42286517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009102611225A Expired - Fee Related CN101770506B (zh) 2008-12-26 2009-12-28 信息处理装置、信息处理方法和程序

Country Status (3)

Country Link
US (2) US9179191B2 (zh)
JP (1) JP4775671B2 (zh)
CN (1) CN101770506B (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5841538B2 (ja) * 2011-02-04 2016-01-13 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 関心度推定装置および関心度推定方法
JP2012165181A (ja) * 2011-02-07 2012-08-30 Sony Corp 映像再生装置と映像再生方法およびプログラム
US8620113B2 (en) 2011-04-25 2013-12-31 Microsoft Corporation Laser diode modes
US8760395B2 (en) 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
JP5786539B2 (ja) * 2011-08-09 2015-09-30 富士通株式会社 目視対象物判定装置、目視対象物判定方法および目視対象物判定プログラム
CN102955763B (zh) * 2011-08-22 2016-07-06 联想(北京)有限公司 显示方法和显示装置
US8635637B2 (en) 2011-12-02 2014-01-21 Microsoft Corporation User interface presenting an animated avatar performing a media reaction
US9100685B2 (en) 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
US8898687B2 (en) 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
CA2775700C (en) 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
JP5847646B2 (ja) * 2012-05-17 2016-01-27 日本電信電話株式会社 テレビ制御装置、テレビ制御方法及びテレビ制御プログラム
KR101978743B1 (ko) 2012-10-19 2019-08-29 삼성전자주식회사 디스플레이 장치, 상기 디스플레이 장치를 제어하는 원격 제어 장치, 디스플레이 장치 제어 방법, 서버 제어 방법 및 원격 제어 장치 제어 방법
US20150029087A1 (en) * 2013-07-24 2015-01-29 United Video Properties, Inc. Methods and systems for adjusting power consumption in a user device based on brain activity
JP6403286B2 (ja) * 2013-07-31 2018-10-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報管理方法及び情報管理装置
JP2015046089A (ja) * 2013-08-29 2015-03-12 ソニー株式会社 情報処理装置および情報処理方法
KR20150136316A (ko) * 2014-05-27 2015-12-07 삼성전자주식회사 정보 제공을 위한 전자 장치, 방법 및 시스템
US10204658B2 (en) 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
JP6542551B2 (ja) * 2015-03-16 2019-07-10 株式会社日本総合研究所 商品比較システム，比較情報提案装置およびその制御方法
US9565481B1 (en) 2015-09-04 2017-02-07 International Business Machines Corporation Event pop-ups for video selection
US9510051B1 (en) * 2015-11-12 2016-11-29 International Business Machines Corporation Pop-ups for video suggestions based on social messages
JP5956051B1 (ja) * 2015-12-14 2016-07-20 株式会社ガイア・システム・ソリューション 情報提供システム
US20170220358A1 (en) * 2016-02-02 2017-08-03 Lenovo (Singapore) Pte. Ltd. Identification and presentation of element at a first device to control a second device
US11089280B2 (en) 2016-06-30 2021-08-10 Sony Interactive Entertainment Inc. Apparatus and method for capturing and displaying segmented content
WO2018079166A1 (ja) * 2016-10-26 2018-05-03 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
US10599915B2 (en) * 2017-01-19 2020-03-24 International Business Machines Corporation Providing suggested content based on user detected gesture
CN107613289B (zh) * 2017-10-19 2019-02-05 何翔 一种基于眨眼检测的视频内容分析方法及装置
WO2019177585A1 (en) * 2018-03-13 2019-09-19 Rovi Guides, Inc. Systems and methods for displaying a notification at an area on a display screen that is within a line of sight of a subset of audience members to whom the notification pertains
CN111654751B (zh) * 2019-04-16 2023-03-03 上海铼锶信息技术有限公司 一种调整电视观看距离的交互方法及系统
JP7392377B2 (ja) * 2019-10-10 2023-12-06 沖電気工業株式会社 機器、情報処理方法、プログラム、情報処理システムおよび情報処理システムの方法
US20240077941A1 (en) * 2019-11-15 2024-03-07 Sony Group Corporation Information processing system, information processing method, and program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1856063A (zh) * 2005-04-20 2006-11-01 乐金电子（沈阳）有限公司 利用视线识别的图像录像系统及其控制方法
CN1969249A (zh) * 2004-06-18 2007-05-23 托比技术有限公司 基于眼跟踪控制计算机装置的装置、方法及计算机程序
WO2008102533A1 (ja) * 2007-02-20 2008-08-28 Panasonic Corporation 視聴質判定装置、視聴質判定方法、視聴質判定プログラム、および記録媒体

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695879A (en) * 1986-02-07 1987-09-22 Weinblatt Lee S Television viewer meter
US6968333B2 (en) * 2000-04-02 2005-11-22 Tangis Corporation Soliciting information based on a computer user's context
US7120880B1 (en) * 1999-02-25 2006-10-10 International Business Machines Corporation Method and system for real-time determination of a subject's interest level to media content
JP3482923B2 (ja) * 1999-10-28 2004-01-06 セイコーエプソン株式会社 自動構図決定装置
US20020178440A1 (en) * 2001-03-28 2002-11-28 Philips Electronics North America Corp. Method and apparatus for automatically selecting an alternate item based on user behavior
US20030063222A1 (en) * 2001-10-03 2003-04-03 Sony Corporation System and method for establishing TV setting based on viewer mood
US8561095B2 (en) * 2001-11-13 2013-10-15 Koninklijke Philips N.V. Affective television monitoring and control in response to physiological data
US8292433B2 (en) * 2003-03-21 2012-10-23 Queen's University At Kingston Method and apparatus for communication between humans and devices
JP2004312401A (ja) * 2003-04-08 2004-11-04 Sony Corp 再生装置および再生方法
WO2005113099A2 (en) * 2003-05-30 2005-12-01 America Online, Inc. Personalizing content
JP4092697B2 (ja) * 2004-04-07 2008-05-28 ソニー株式会社 情報処理装置および方法、プログラム並びに記録媒体
US20060007135A1 (en) * 2004-07-06 2006-01-12 Kazuyuki Imagawa Image display device and viewing intention judging device
US7730505B2 (en) * 2004-09-02 2010-06-01 Panasonic Corporation Stream reproducing device
JP2006180179A (ja) * 2004-12-22 2006-07-06 Toshiba Corp テレビジョンセット
JP4536558B2 (ja) * 2005-03-11 2010-09-01 株式会社エム・エム・エヌ テレビ番組の視聴質測定方法
JP2006277192A (ja) * 2005-03-29 2006-10-12 Advanced Telecommunication Research Institute International 映像表示システム
EP1913555B1 (en) * 2005-08-04 2018-05-23 Philips Lighting Holding B.V. Apparatus for monitoring a person having an interest to an object, and method thereof
BRPI0619388A2 (pt) * 2005-11-29 2011-10-04 Google Inc aplicações sociais e interativas para mìdia de massa
US20070150916A1 (en) * 2005-12-28 2007-06-28 James Begole Using sensors to provide feedback on the access of digital content
JP2007274621A (ja) * 2006-03-31 2007-10-18 Victor Co Of Japan Ltd 画像伝送システム及び画像伝送方法
JP5146315B2 (ja) * 2006-05-15 2013-02-20 日本電気株式会社 映像再生装置、映像再生方法、および映像再生用プログラム
US20070271580A1 (en) * 2006-05-16 2007-11-22 Bellsouth Intellectual Property Corporation Methods, Apparatus and Computer Program Products for Audience-Adaptive Control of Content Presentation Based on Sensed Audience Demographics
JP4162015B2 (ja) * 2006-05-18 2008-10-08 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US20100004977A1 (en) * 2006-09-05 2010-01-07 Innerscope Research Llc Method and System For Measuring User Experience For Interactive Activities
JP2008160512A (ja) * 2006-12-25 2008-07-10 Seiko Epson Corp 再生装置、電子機器、再生方法、および、プログラム
US8065254B1 (en) * 2007-02-19 2011-11-22 Google Inc. Presenting a diversity of recommendations
US20090070798A1 (en) * 2007-03-02 2009-03-12 Lee Hans C System and Method for Detecting Viewer Attention to Media Delivery Devices
US20090217315A1 (en) * 2008-02-26 2009-08-27 Cognovision Solutions Inc. Method and system for audience measurement and targeting media
US8350844B2 (en) * 2007-08-20 2013-01-08 International Business Machines Corporation Monitoring user attention in a computer-simulated environment
US8243141B2 (en) * 2007-08-20 2012-08-14 Greenberger Hal P Adjusting a content rendering system based on user occupancy
US9479274B2 (en) * 2007-08-24 2016-10-25 Invention Science Fund I, Llc System individualizing a content presentation
US20100011388A1 (en) * 2008-07-10 2010-01-14 William Bull System and method for creating playlists based on mood
US20100107184A1 (en) * 2008-10-23 2010-04-29 Peter Rae Shintani TV with eye detection

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1969249A (zh) * 2004-06-18 2007-05-23 托比技术有限公司 基于眼跟踪控制计算机装置的装置、方法及计算机程序
CN1856063A (zh) * 2005-04-20 2006-11-01 乐金电子（沈阳）有限公司 利用视线识别的图像录像系统及其控制方法
WO2008102533A1 (ja) * 2007-02-20 2008-08-28 Panasonic Corporation 視聴質判定装置、視聴質判定方法、視聴質判定プログラム、および記録媒体

Also Published As

Publication number Publication date
JP2010154395A (ja) 2010-07-08
US20160029081A1 (en) 2016-01-28
US20100169905A1 (en) 2010-07-01
JP4775671B2 (ja) 2011-09-21
CN101770506A (zh) 2010-07-07
US9877074B2 (en) 2018-01-23
US9179191B2 (en) 2015-11-03

Similar Documents

Publication Publication Date Title
CN101770506B (zh) 信息处理装置、信息处理方法和程序
Vicary et al. Joint action aesthetics
Speicher et al. VRShop: a mobile interactive virtual reality shopping environment combining the benefits of on-and offline shopping
US10021454B2 (en) Method and apparatus for providing personalized content
CN107003733B (zh) 用于共享增强现实呈现的技术
US20140337868A1 (en) Audience-aware advertising
CN102436626A (zh) 计算交互式广告会话的逐个交互的费用
CN103812761A (zh) 用于使用增强现实提供社交网络服务的设备和方法
Chandra et al. Market practices and the bazaar: Technology consumption in ICT markets in the global south
CN105898487A (zh) 一种面向智能机器人的交互方法和装置
US20140325540A1 (en) Media synchronized advertising overlay
KR102122563B1 (ko) 가상 현실 공간을 이용한 쇼핑몰 플랫폼 구축 시스템
Sykes Making sense of beauty vlogging
Barile et al. ICT solutions for the OR. C. HE. STRA project: From personalized selection to enhanced fruition of cultural heritage data
KR102122564B1 (ko) 객체의 위치 정보를 바탕으로 생성된 가상현실 공간을 이용한 전시장 플랫폼 구축 시스템
KR102122565B1 (ko) 접근 권한을 바탕으로 입장 가능한 가상 현실 전시장 플랫폼 구축 시스템
Cuadra et al. Democratizing design and fabrication using speech: Exploring co-design with a voice assistant
Choi et al. Determinants of User Satisfaction with Mobile VR Headsets: The Human Factors Approach by the User Reviews Analysis and Product Lab Testing.
Gonzalez Morin et al. Full body video-based self-avatars for mixed reality: from E2E system to user study
KR20200085463A (ko) 전자장치 및 그 제어방법
US20150172607A1 (en) Providing vicarious tourism sessions
CN114710553A (zh) 信息获取方法、信息推送方法以及终端设备
Anwar et al. A Moving Metaverse: QoE challenges and standards requirements for immersive media consumption in autonomous vehicles
US20130212607A1 (en) Method of conducting auctions and audience guided events utilizing closed network satellite broadcasts to multiple location digital theater environments with integrated real time audience interaction
KR102193630B1 (ko) 아바타를 통한 실시간 vr 서비스 장치, 방법 및 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20121226

Termination date: 20151228

EXPY Termination of patent right or utility model