CN102473264B - 根据观看者因素和反应进行图像显示控制的方法和装置 - Google Patents

Abstract

本发明涉及用于根据图像观看者的注意力反应来选择和显示图像的设备、系统和方法。图像捕捉设备捕捉潜在地包含图像显示设备的观看者的空间区域的观看者图像，观看者检测机构分析所述观看者图像以及确定潜在观看者是否正在观察显示屏。注视模式分析机构通过分析观看者的脸部表情和其他感觉输入所表现的观看者的情绪反应来识别观看者对当前显示的图像的反应，然后根据示出的观看者的注意力反应修改待显示的图像的选择。

Description

根据观看者因素和反应进行图像显示控制的方法和装置

技术领域

本发明涉及图像的适应性选择和显示，更特别地，本发明涉及基于检测到的图像观看者的存在和反应的图像选择和显示，所述图像包括数字媒体框或其他图像显示系统或设备(例如电子相框或其他显示设备)中的独立图像和例如视频片段的连续图像，所述观看者的反应包括观看者的情绪和行为反应或者推断的图像观看者的意图或愿望。

背景技术

从可能非常大量的例如照片和视频片段的静态和连续图像中对所需图像进行索引、分类、存储和选择性显示是一个共性的且长期存在的问题。数字成像技术的发展显著地加剧了这一问题，因为与基于胶片的方法相比，数字成像技术利于通过很少的工作以大大增加的数量生成大量的新图像。

识别、分类和索引图像的任务传统上是由手动执行的，即某人查看每个图像，识别图像的内容，并根据其内容或其他有关标准(例如获取图像的地点和时间)对图像进行分类和索引。公知的，该方法是缓慢、单调和易于出错的，当用于对图像进行识别和分类的标准改变时，必须重复该方法。

现有技术包括用于帮助图像的索引和分类的多种方法和系统，其示例显示在美国专利7,236,960、5,946,444和6,608,563以及美国专利公开2007/0177805、2007/0098303、2004/0126038和2004/0126038以及许多其他类似和相关的出版物中。现有技术的所有这些方法和系统都用于根据基于图像内容的标准对图像集的图像进行识别、分类、组织或索引。例如，通常的标准可以包括获取图像的日期、时间和位置以及涉及图像内容的信息。相应地，例如可以通过各种图像分析方法获取图像内容，例如图像特征识别技术，由图像捕捉设备生成的图像元数据，内置GPS设备，或者通过例如RFID标记或音频感测在图像获取时从图像中的人或物读取或记录的信息。一旦被索引，就可以根据存储在图像索引中的信息或形成图像索引的信息从图像集中选择图像，所述信息通常基于用于识别图像和对图像进行分类的标准，并根据用户限定的附加标准(例如页码或相册格式定义)被显示。

但是，所回顾的现有技术的这些方法和系统要求使用者或服务提供者或默认的系统有意地以及直接地参与到过程当中，特别是参与到对图像进行分析、识别、分类、索引和显示的特定标准的选择和限定当中。对于只是偶尔对图像集进行识别、分类、组织和显示的使用者而言，这种要求是特别繁重的，因为这样的使用者通常不熟悉用于对图像进行识别、分类和索引的标准，或者不熟悉该标准的有效选择和组合，可能经常获得不令人满意的结果。

在显示来自于一个或多个集的图像时也存在相关的问题。例如，许多图像存储和显示系统，从在线服务到个人计算机再到手持式设备，包括例如iPod的设备，要求使用者直接主动地选择待显示的图像或图像组。这样的系统和设备还经常要求使用者至少有意地初始化显示，并且经常要求使用者主动控制图像的显示，例如“幻灯片放映”中的图像序列间隔。改变正在显示的图像或图像组经常是很难的，其要么需要初始化新的显示操作，要么在例如数字相框的一些设备中需要将整个新的图像组载入设备。

美国专利7,174,029公开了一种方法和装置，该装置包括显示器，该显示器用于感测一个或多个个体的特性并提供信息的自动选择和呈现，从而定制特定的内容/程序以根据个体提高显示的有效性。可以使用包括数码相机、运动传感器、地毯中的压力敏感传感器、音频传感器、RFID卡等等的感测设备来感测基本为静态的特性，所述静态的特性以人口统计特征、心理统计特征、人群和身份为基础，对于个体而言是稳定的。个体的这些非暂态特性例如是年龄、性别、脸部毛发、眼镜和身高。该文献强调可以使用这些静态特性对个体进行分类，以区分他们对不同产品的需求和偏好以及由此可能对不同的广告信息程序的反应。即使使用多于一个的静态特性对个体进行分类，在个体与显示器交互的过程中基于该分类的图像显示仍然是不变的。

在Burrow的2006年的名称为“Ubiquitousinteractiveartdisplays：aretheywantedandintuitive？”的文献中描述了一种交互式艺术品显示系统，其包括摄像机以估计观看者距离显示器的接近程度以及观看者脸部相对于显示器的位置。当观看者接近、停止或远离艺术品显示时，使用这些估计来逐渐地浏览视频序列。在该文献中，基于观看者的接近程度和观看者脸部的检测来呈现信息。但是，没有基于观看者的个体特性、情绪、反应或行为的信息定制。

上述文献都没有认识到或者公开对不同类型的信息进行反应和处理的需要、偏好和能力在很大程度上可能取决于个体的外部和内部行为条件，这些条件是瞬态的并且与局部和短期的事件有关，例如意图、情绪、精神和心理状态、以及特定活动和互动的参与；以及个体对显示内容的直接的情绪和行为反应。此外，一般而言，被我们称为显示控制的例如步速、重复、形式选择(视觉静态、视频、音频、触觉)、特殊效果、变换等等的呈现独立的图像和信息的方法和过程也需要考虑这些外部和内部条件。因此，识别使用者的兴趣、情绪、行为、意图、社会和环境背景为对使用者的需求、个人偏好和兴趣做出反应的交互式系统提供了有利的特性。

为了克服这些使用者交互需求，许多现有的图像存储和显示系统提供了随机呈现图像的选择，但是这种随机显示可能与使用者目前的思想状态、意图或观看活动的背景无关。即使考虑了个体的某些特性，这些特性也是非瞬态的，换言之，它们不随时间变化，因此不能评估观看者对图像的反应。

Comenarez等人的名称为“Moodbasedvirtualphotoalbum”的美国专利6,931,147公开了基于感测的观看者情绪提供照片的基于情绪的呈现的系统。该方法包括以下步骤：使用相机捕捉观看者的脸部图像；使用模式识别算法分析该图像，从而通过比较该脸部表情与多个先前存储的与一系列情绪相关的脸部表情的图像确定观看者的情绪；然后基于与观看者的脸部表情相关的情绪识别从存储器中提取一组照片。该系统包括相机、用户界面、处理器和显示器，该处理器分析观看者的脸部图像，以与用于确定观看者情绪的一组预先选择的脸部表情图像进行比较，该显示器用于相应于观看者情绪显示一组数码照片。

上述系统根据所确定的观看者情绪呈现图像并更新图像，从而对观看者的脸部表情和推导出的情绪做出反应，因此，上述系统试图克服目前通用的方法和系统的局限性，目前通用的方法和系统使用根本不涉及使用者身份要素的提取机制或者响应例如性别、年龄等固定特性的提取机制。但是，该系统具有几个缺点。首先，其明确地仅针对影响从脸部表情辨别的观看者情绪，从而将其应用和交互模式限制为捕捉和响应观看者的情绪的脸部表情。因此，其他有意义的状况和使用者的行动，例如运动、交谈、特殊的活动、环境(背景)条件不能引起适当的显示内容修改。例如，如果使用者匆忙地接近交互式显示系统以检查排定的会议的时间，并且因为使用者可能迟到他/她的脸部表现出焦虑，那么系统应当坚持尝试改变使用者的情绪，例如显示激起积极情感的巧克力的图像，或者基于预先确定的狗的图片与积极情绪之间的关联显示狗的图像。

第二，在该系统中基于通过摄像机获得的使用者的脸部图像来识别情绪。但是，还存在可以从其他与使用者相关的信号推导出的多种情绪反应。这样的信号例如对应于手势、手和身体的姿态、步态、音频和语音信号、生物电信号和眼睛运动等等。

第三，由于没有感测和监视使用者的注意力和兴趣的方法，该显示系统的响应和维持使用者的注意力的能力受到限制。例如，该系统不能推断使用者是否正在观看显示器并对与系统的交互感兴趣。

第四，该系统不具有区分不同观看者的手段。因此，不能识别出不同的家庭成员对相同的图像具有不同的交互需求和情绪反应。

例如，儿童和少年可能对观看自己的图像产生积极的反应以及更感兴趣，但是对观看家庭成员的图像不那么感兴趣，而成人将喜欢他们的孩子的图像。

通过感测形式的组合提供识别使用者身份和反应的方法，基于在预定时间内与使用者的行动相关的变化的行为、脸部和其他形式呈现图像、多媒体和其他信息材料，以便提供为个体需求和交互意愿而定制的吸引人的交互能力和对使用者的响应，通过这样的方式，本发明克服了以上和其他缺点——这是一种呈现多媒体、视频和其他信息程序并且与其进行交互的智能化方法，该方法允许显示系统以智能化的方式适当地考虑观看者的交互意愿、思想状态和身份特性。

本发明应对现有技术的这些以及其他问题，为现有技术的这些以及其他问题提供了解决方案。

发明内容

本发明涉及根据感测和解释观看者的身份、意图和行动的表象选择和显示图像和信息程序的设备、系统和方法，所述观看者的身份、意图和行动是通过图像观看者的行为和情绪反应来表达的，包括：显示、推理和控制机构，用于从图像或信息程序的库中选择通过图像或信息程序显示设备显示的至少一个图像或信息程序；以及图像或信息程序控制机构，用于确定观看者对当前显示的图像或信息程序的交互意图和响应并且提供识别观看者对当前显示的图像的反应的响应输出。

用于根据观看者的意图和响应显示图像和信息程序的本发明包括：图像捕捉设备，用于在潜在地包含所述图像显示设备的观看者的空间区域中捕捉观看者图像；观看者检测机构，用于分析所述观看者图像以及确定潜在观看者是否正在观察显示屏或者将要观察显示器以及与显示器进行交互。所述图像捕捉设备包括用于捕捉观看者的多模式图像的多种传感器，包括音频、运动、接近、热、电磁场和化学传感器。本发明包括头部、脸部、眼睛和身体语言相关行为分析机构，用于通过分析由观看者的脸部表情、身体语言、行为表现、首饰和注视所表现的观看者的行为、身体、情绪反应和偏好(结合过往反应的历史以及通过系统从观看者的电子日历、日程表或类似数据库或者通过其他方式可知的关于未来活动的信息)来识别观看者的身份、对当前显示的图像和/或信息程序的交互意图和响应。然后，如果需要，根据指示的观看者反应修改待显示的图像或信息程序的选择。

本发明是一种用于根据图像观看者的脸部表情反应来选择待显示的图像的图像显示机构，包括：显示控制机构，用于从图像库中选择通过图像显示设备进行显示的至少一个图像；以及图像控制机构，用于确定观看者对当前显示的图像的反应，以及提供识别观看者对当前显示的图像的反应的响应输出。

本发明还涉及一种用于根据图像观看者的脸部表情和行为反应来选择待显示的图像的图像显示机构，包括：显示控制机构，用于从图像库中选择通过图像显示设备进行显示的至少一个图像；以及图像控制机构，用于确定观看者对当前显示的图像的注意力，以及根据观看者对当前显示的图像的脸部表情和行为反应的至少其中之一提供响应输出。

本发明还涉及一种用于根据图像观看者的脸部表情和行为反应来选择待显示的图像的方法，包括以下步骤：从图像库中选择用于通过图像显示设备进行显示的至少一个图像；通过分析图像观看者的脸部表情和注视模式确定观看者对当前显示的图像的反应；以及基于观看者对当前显示的图像的反应提供响应输出。

本发明还一种图像显示设备，包括：图像库，用于存储至少一个图像组中的至少一个图像；图像显示器；显示控制机构，用于从图像库中选择通过图像显示器进行显示的至少一个图像；以及图像控制机构，用于确定观看者对当前显示的图像的反应，以及根据观看者对当前显示的图像的反应提供响应输出。

附图说明

虽然以特别指出和明确声明本发明的主题的权利要求总结本说明书，但是可以相信，结合附图阅读以下描述可以更好的理解本发明，其中：

图1是示例性图像显示设备的概略表示；

图2是图像显示设备的电子器件和存储器控制单元的概略表示；以及

图3是图像显示控制机构的概略表示。

图4是检测观看者存在和观看者注视判断的过程图。

图5是基于注视判断评估注意力和观看专注度的过程图。

具体实施方式

如上文简述，本发明涉及用于图像和信息程序的适应性选择和显示的方法和系统，特别涉及根据检测到的图像观看者的存在和反应，包括观看者的情绪反应或推断的图像或信息程序观看者的意图或愿望，对包括图像显示系统或设备(例如电子相框、个人计算机或连接到服务提供商的计算机/终端、平板显示器或包括移动电话或PDA的个人便携式设备上的显示器)中的独立图像和连续图像(例如视频短片)在内的图像进行选择和显示的方法和系统。

图1和2分别显示了用于实施本发明的示例性图像显示设备10的概略表示，图像显示设备10中包括图像显示系统12，图像显示系统12中包括图像显示控制机构12C。图1、图2和图3中显示的示例性图像显示设备10、图像显示系统12以及图像显示控制机构12C被表示为例如由电子数码相框显示器构成，但是如上所述，其也可以由能够显示静态和连续图像的任何系统或设备构成，例如个人计算机、作为从远程服务提供商进行连接的终端的个人计算机、笔记本电脑或记事本或手持式设备，例如iPod或电话型设备等等。

如图1所示，在下文中被称为显示设备10的示例性图像显示设备10例如包括：支撑平面显示屏10B的框架10A；连接到显示屏10B的电子器件和存储器单元10C，其用于存储和通过显示屏10B显示的图像和信息程序10E的一个或多个组10D；以及连接到电子器件和存储器单元10C的本地控制输入10F，其能够在数据存储介质中存储预定数据，用于设备10的直接用户控制。显示设备10可以进一步包括：连接到电子器件和存储器单元10C的无线调制解调器10G，其用于从远程节点10H下载图像和信息程序10E，所述远程节点10H例如是至服务提供商10J的连接10I；连接到电子器件和存储器单元10C的本地媒体设备10K，例如磁盘驱动器单元，或者电子器件和存储器单元10C和本地图像源10M之间的连接10L，例如某种形式的个人计算机。

根据本发明，显示设备10进一步包括能够在可见波长范围内操作或者对例如红外的更宽范围的波长敏感的图像捕捉设备10N，例如数码相机或成像传感器，或者一组数码相机或成像传感器。此外，数码相机可以是能够捕捉环境的光谱图像的多光谱或超光谱相机，或者在光谱的多个范围内操作的数码相机的组合。显示设备10可以进一步包括如下详述的向用于控制显示设备10的电子器件和存储器单元10C提供图像和数据输入10O的其他电子和/或化学传感器10P。本领域技术人员可以理解，显示设备10和显示系统12的其他元件(例如各种形式的电源及其各种实施方式)也包含在设备10和系统12中，在此不再对其进行描述，因为这些元件在本领域中是公知的。

参考图2，电子器件和存储器单元10C通常包括用于存储图像和信息程序10E的一个或多个组10D的存储器12A，所述图像和信息程序10E例如通过无线调制解调器10G从远程节点10H、通过连接10I从服务提供商10J、从本地媒体设备10K、或者从本地图像源10M接收。存储器单元10C中还包括系统控制机构12B和图像显示控制机构12C，所述系统控制机构12B通常由用于控制设备10的一般操作的程序模块构成，所述图像显示控制机构12C通常由如下所述的用于控制图像10E的选择和显示的程序模块构成。系统控制机构12B和图像显示控制机构12C控制处理器单元12D，处理器单元12D相应地控制存储器12A、平面显示屏10B、图像捕捉设备10N、电子和/或化学传感器10P的操作以及可以在设备10中实施的本地控制输入10F、无线调制解调器10G、至服务提供商10J的连接10I、本地媒体设备10K和本地图像源10M的操作。

控制处理器单元12D，存储器12A、平面显示屏10B、本地控制输入10F、无线调制解调器10G、至服务提供商10J的连接、本地媒体设备10K和本地图像源10M的系统控制机构12B的结构、功能和操作在本领域中是公知的，可以被本领域技术人员理解，因此不需要在此进一步描述。因此以下将着重于用于控制图像和信息程序10E的选择和显示的图像显示控制机构12C的结构、功能和操作。

因此参考如图3所示的图像显示控制机构12C，图像显示控制机构12C通常由多个程序模块构成以及在下文中被说明和讨论为由程序模块构成，图像显示控制机构12C包括显示控制机构14，该显示控制机构14响应包含将要从待显示的图像和信息程序10E的一个或多个组10D中选择的图像和信息程序10E的图像标识14B的图像列表14A。就这一点而言，如下所述，显示控制机构14可包括例如与显示的图像和信息程序10E或者显示的图像和信息程序10E的不同主旨、论题或主题的不同潜在观看者相关的多个图像列表14A。

显示控制机构14还可以包括显示定义14C，该显示定义14C包含用于控制何时以及如何通过显示屏10B显示选择的图像和信息程序10E的显示参数14D。显示参数14D例如可包括：以定义的次序还是随机选择的方式显示图像和信息程序10E、连续图像之间的计时、序列中的图像数量、图像之间的过渡，例如淡入/淡出、放大/缩小或者其他的显示过渡方式，例如当检测到观看者在观看屏幕时调整环境亮度水平，根据识别的观看者的偏好修改整体显示和特定于图像的亮度以及显色性，自动改变图形用户界面以适应观看者的偏好等等，包括显示背景和辅助显示参数(例如伴音)。但是，这些机构是本领域技术人员公知的，可以使用各种已知方法中的任意一种来实施，因此不再详细描述显示控制结构14。

但是，如图所示，图形显示控制机构12C进一步包括根据观看者的注意力、情绪和行为反应控制显示控制机构14以及确定设备和系统应该如何对注意力、情绪和行为信号的这些变化(即指定时间周期内观看者的瞬态的注意力、情绪和身体姿态或行动)进行反应的图形控制机构16。这些特征动态地调节所显示的图形和信息程序10E的选择，至少是动态地调节显示操作的一些参数(例如显示序列的初始化)以及至少是动态地调节一些显示参数(例如颜色和亮度渲染、显示序列的类型和间隔等等)。根据本发明，图形控制机构16根据检测到的图像观看者的存在和注意力、行为和情绪反应以及推断的图像观看者的意图或愿望控制这些图像控制参数，而不是通过观看者直接或者甚至有意识的输入控制这些图像控制参数。

为了这些目的，图形控制机构16包括并且连接于图像捕捉设备10N和电子传感器10P，图像捕捉设备10N例如通常是一个或多个数码相机或成像传感器，电子传感器10P例如是声学、运动、振动、温度、电场、化学或接近传感器。图像捕捉设备10N安装在框架10A上或者框架10A内，以便感测、观察和扫描框架10A前方的所选择的很可能包括正在接近或观察显示屏10B的观看者的身体、脸部和特征的空间体。

如图3所示，图像控制机构16从图像捕捉设备10N接收观看者图像16A，观看者图像16A被提供给图像控制机构16的图像分析机构16B，用于下述的分析。如上所述，观看者图像16A是框架10A前方的所选择的当观看者实际上存在时很可能包括显示屏10B的观看者的身体、头部、脸部和特征的空间体的图像。可以根据下面讨论的图像分析单元16B的操作以及图像控制机构16对观看者的外表和观看者对正在显示的图像10E的反应的理想反应时间周期性地或者连续地更新观看者图像16A。

如图3所示，图像分析结构16B的图像分析过程16C反复执行对观看者图像16A的一系列图像分析操作，以连续和动态地控制通过显示屏10B进行的图像和信息程序10E的显示。例如，观看者检测过程18A分析当前观看者图像16A的内容，以确定当前观看者图像16A是否包括可被识别为脸部或头部从而可能包括显示屏10B的潜在观看者的图像或区域，这通常是通过分析观看者图像16A的形态学和光谱学直方图实现的。如果观看者检测过程18A在预定的可能性阈值以外确定观看者图像16A包括或者可能包括显示屏10B的潜在观看者，观看者识别过程18A产生观看者存在输出20A。观看者存在输出20A相应地例如初始化观看者图像16A分析过程中的下一个步骤，并且例如可以初始化通过显示屏10B进行的图像和信息程序10E的初始显示。

当接收到观看者存在输出20A时，脸部识别过程18B通常再次通过观看者图像16A的形态学和光谱学直方图分析来分析当前观看者图像16A，以便确定观看者图像16A是否包含可被识别为脸部的区域或图像。如果过程识别出观看者图像16A的区域包括脸部，则脸部识别过程18B产生脸部识别输出20B，该脸部识别输出20B表示已经检测到脸部以及识别到观看者图像16A的相应区域。

图像分析过程16C可以进一步包括观看者识别过程18C，观看者识别过程18C将试图提供通过观看者图像捕捉设备10N成像的空间区域中存在的观看者的特别识别，以便匹配目前的观看者(如果已知)与一个或多个相应的图像列表14A或图像标识14B，从而例如初始化与该观看者关联的图像和/或信息程序10E的显示，其中，可以通过各种方式建立匹配和/或关联，例如通过观看者的姓名、各种形式的观看者的ID，或者通过观看者的外表，与观看者具有预定关系的其他人物和物体的外表，或者其他适当形式的关联。但是应认识到，为了根据检测到的观看者对图像的反应控制图像的显示，图像分析过程16C不需要包括观看者识别过程18C。

为了这一目的，当接收到脸部识别输出20B时，观看者识别过程18C通常再次通过观看者图像16A的形态学和光谱学直方图分析来分析观看者图像16A，以便识别观看者图像16A中存在的脸部的特定特征。然后观看者识别过程18C比较从观看者图像16A识别的脸部特征与存储在观看者脸部库16D中的一个或多个先前识别的观看者脸部的特征，并产生可以提供给显示控制机构14的相应的观看者识别输出20C。如果观看者识别过程18C识别出在观看者图像16A中存在特定的观看者，则显示控制机构14可以相应地选择图像列表14A或者修改图像列表14A，以根据通过各种关联形式和规则识别出的观看者选择图像和/或信息程序10E或者图像和/或信息程序10E的一个或多个组10D。在某些实施例中，关联可以利用将观看者外表与图像和/或信息程序10E中描绘的人物的外表相匹配以及基于匹配结果选择进行显示的图像，或者在其他实施例中，执行图像和/或信息程序10E的额外分析以找到被成像的主题，例如非常频繁地与观看者一起出现在图像中的用于推断观看者的关系和偏好的人物、动物对象、或事件。此外，可以分析与观看者相关联的图像和/或信息程序，以确定它们的共同特性和特征，例如涉及颜色分布、对比度、亮度的低级特性，位置(例如室内/室外)、地点(例如海滩)、地理位置、主题(例如浪漫、体育等)，以建立用于将图像和/或信息程序与观看者和观看者反应相匹配和关联的新规则。如果观看者识别过程18C不能识别出与在观看者图像16A中识别的脸部特征相对应的特定观看者，观看者识别输出20C将表示该事实。然后显示控制机构14可以选择图像列表14A或修改图像列表14A，以识别一个或多个随机或默认的图像和/或信息程序10E或者图像和/或信息程序10E的组10D，以进行显示。

最后，关于观看者检测和识别过程，必须注意可以使用除图像分析以外的方法来确定观看者的存在和识别，例如射频识别(RFID)芯片的询问或者由潜在的观看者携带的其他识别信号。

观看者存在输出20A还被提供给视线过程18D，视线过程18D利用图像理解方法来检测脸部特征，包括眼睛和眼睛的瞳孔，以及观看者图像16A中存在的观看者的其他脸部特征。视线过程18D利用该信息来确定观看者实际上是否正在观看显示屏10B以及显示屏10B上目前正在显示的图像和/或信息程序10E，如果是，产生相应的显示观察输出20D。

如果显示观察输出20D指示观看者实际上正在观察显示屏幕10B以及显示屏幕10B上显示的图像或信息程序10E，观看者响应过程18E使用脸部表情分析算法在至少一定程度上确定观看者对正在显示的图像和/或信息程序10E的反应，特别包括观看者对显示的图像和/或信息程序10E的情绪反应。相应地，涉及观看者对显示的图像和/或信息程序10E的情绪反应的信息包括可用于推断观看者对于显示的图像和/或信息程序10E的愿望或意图的信息。

观看者反应过程18E产生观看者反应输出20E，观看者反应输出20E表示观看者对于目前正在显示的图像和/或信息程序10E的反应，反应输出20E被提供给显示控制机构14。于是，显示控制机构14相应地修改当前图像列表14A或选择图像列表14A，以选择优化观看者对于显示的图像和/或信息程序10E的反应的图像和/或信息程序10E或者图像和/或信息程序10E的一个或多个组10D。

例如，如果在当前图像列表14A中识别的观看者对于图像和/或信息程序10E的反应大体上是积极的，那么显示控制机构14可以继续显示在当前图像列表14A中识别的图像和/或信息程序10E。观看者的反应被理解为在观看者的脸部特征中检测到的瞬态变化；身体语言特性，例如身体位置、头部和身体的姿态、运动(包括朝显示器运动或远离显示器、停止、徘徊等等)；和/或在行动、发音和词语反应方面的行为表情，包括笑、喊叫、批评等等，通常这些变化出现在观看者正在观察图像和/或信息程序10E的非常短的预定时间间隔内，例如观看者的脸部表情从没有笑容(即中立)到有笑容(即愉快)的转变。

但是，如果观看者的反应在预定时间间隔内倾向于消极的，那么显示控制机构14可以选择其他图像和/或信息程序10E或者图像和/或信息程序10E的其他组10D，这可以由存储在例如上文所述的显示控制机构14中的与图像列表14A关联的观看者偏好信息来指导。

如果观看者的反应倾向于是混合性的，那么显示控制机构14可以修改图像列表14A以通过其他图像标识14B来代替与消极反应关联的图像标识14B，从而有效地产生将与观看者关联的新的图像列表14A。例如可以通过搜索图像和/或信息程序10E或者图像和/或信息程序10E的组10D来寻找与目前正在显示的图像10E类似并且接收到有利反应的图像，从而执行选择新的图像和/或信息程序10E或者图像和/或信息程序10E的组10D以代替接收到不利反应的图像和/或信息程序10E的过程。如本领域中公知的和了解的，例如通过寻找具有共同或类似日期、时间和获取位置、类似的低级特征(例如颜色直方图、纹理或区域)、类似的内容的图像可以识别类似的图像，其中所述类似的内容例如基于图像形态学、美学属性(例如内容或观点)、以及语义特性(例如主题、事件、特定对象、地点或场景)。

最后，关于待显示图像的选择，应注意，如上所述，根据观看者的反应修改图像的一个或多个组10D将产生包含针对该观看者定制的图像和/或信息程序10E的新组10D。还必须注意，不需要修改图像和/或信息程序10E的一个或多个组10D的内容，相反，例如通过将相应的数据增加到相应的图像列表14A的相应的图像标识14B，可以指示一个或多个观看者对组10D的图像10E的反应，无论是积极的反应、消极的反应或者介乎于其间的某种反应。从而这一过程所产生的图像列表14A将提供观看者对一个或多个图像列表14A的图像10E的反应的汇编或评述。此外，还必须注意，不必仅仅为了提供具有积极结果的列表而修改图像列表14A，而是可以为了提供使观看者具有消极或中立反应的图像10E的组10D而修改图像列表14A，从而形成观看者不喜欢的图像的列表，而不是形成观看者喜欢的图像的列表。

在本发明的另一个实施例中，应该理解上述系统可以结合在由连接的显示器构成的网络中，例如位于一个家庭中或者分布在多个地点的相框，所述相框基于对与一个或多个其他的连接框交互的观看者的存在、情绪、行为反应的感测改变至少一些连接框中的内容。例如，观看者观看其配偶的照片并且微笑——因此妻子办公桌上的连接到该观看者的显示器的另一个显示相框显示她的丈夫的照片。通过这种方式，上述系统传递情绪和行为反应，作为“想念你”的图片传输。

在另一个相关实施例中，该交互式系统根据使用者的情绪、意图、行为和环境向使用者呈现多个行动选项。例如，当观看者在沙发上观看显示器并且表现得疲惫时(从时间、使用者的外表和环境，即沙发来进行推断)，显示器提出作为最终选择的选项的多个用于放松和休闲观看的信息程序。在行动选项实施例的另一个示例中，进餐过程中的使用者扫视个人显示器，系统回顾最新的视频、电子邮件或其他消息，并提供用于对它们进行处理的命令，即观看、回复、删除、存储等等。

当前描述的系统的其他方面包括可能的一次显示多个图像然后重新排列和缩放这些图像的呈现形式，该呈现形式例如根据观看者的情绪和行为动作强调兴趣和注意力所在的项目。智能框系统的其他类型的反应包括：基于检测附近的存在使系统不再休眠或者改变内容，为使用者更新媒体/图片消息，呈现媒体动画，例如播放表现为静态影像的视频和/或增加计算机图形，跟踪主题链接以便针对观看者注意力呈现任意特定主题的更多内容，播放音乐或改变音乐，向远程使用者发送兴趣、注意力、意识或理解的验证，基于使用者身份识别显示个人化内容，对使用者情绪做出反应：加强、引导、修改等等，在图片中反映观看者，提供与图片相关的有趣信息，连接到其他人的图像/多媒体内容，通过引入相关的影像和多媒体从而提供媒体增强的谈话来支持存在的人的谈话。

本发明的一个重要方面是系统不仅仅包含观看者的脸部特征的识别和分析，实际上，系统还包括对大量额外的心理和行为特性及因素的分析，特别是除了观看者的脸部表情以外的响应于显示内容的生理行为的交互和修改。如参考图4和图5所述，在脸部识别之前，或者结合脸部识别，在步骤101和103，本系统检测和确定观看者的存在和观看者相对于显示器的位置以及观看者的存在和位置的任何变化，以指示这样的行为。这是严格确定使用者是否正在注意显示器的第一步骤，从而系统可以对其自身以及显示内容进行修改，以便继续和更好地吸引和提高观看者的注意力以及与显示的交互。

在本发明的实施例中，如图4所示，系统通过图像捕捉设备10N或者通过一种或多种感测形式10P来检测个体的存在，所述感测形式例如是视频运动、热、化学、和运动感测(即接近)、振动、音频和远程电场感测。摄像机将利用如上所述的人物和脸部识别算法检测人物对象的存在。步骤103的观看者相对于显示器的位置的确定可以通过接近传感器来实现，例如可以使用具有低频电磁场的非接触式接近传感器来检测人物的存在。

可以使用例如无源红外传感器(PIR)的运动传感器来检测观看者的存在以及具有特定温度的红外源(例如观看人)何时经过具有另一温度的红外源(例如墙壁)的前方。此外，距离传感器(例如超声范围探测器)和激光器可以精确地测量其前方的最接近的人或观看者的距离。这样的传感器通常具有在10厘米到7米之间变化的范围。

本发明还构思使用振动传感器，振动传感器实质上是基于振动冲击传感器的运动检测和定位系统。该系统的操作原理是基于这样的事实：每个运动的人引起声振波沿着其被位于地面的不同点处的传感器检测的表面传播。数据处理算法基于神经网络的应用。在步骤105，系统允许定义观看者的运动的轨迹，同时保持该轨迹本身是绝对不可察觉的。该轨迹是重要的，因为其能够基于观看者速度或轨迹中的变化实现决策过程和算法的发展。例如，以垂直于显示器平面的角度不断接近显示器的观看者可能变得对显示器中显示的内容或信息感兴趣。以平行于显示器平面的轨迹高速通过显示器而没有进行减速的观看者可能没有被显示器上的内容和信息吸引。在这种情况下，在步骤109，系统可以改变或修改信息和内容，并尝试基于位置和轨迹再次检测观看者的存在或初始的兴趣。但是必须指出，在替代实施例中，步骤103、105和107可以是可选的或被省略的，以直接前进到步骤111中的脸部特征确定。在这种情况下，可以在本发明的不同步骤执行涉及改变和修改信息和内容的步骤109，所述不同步骤的目的是检测观看者相对于显示器的位置以及他或她对显示内容的兴趣。

可以使用声学或音频传感器来检测显示器附近的指示与人相关的物理活动的声学信号，所述物理活动例如是行走、讲话、使用例如手机、MP3播放器等设备。可以使用电场传感器通过感测指示人的生物电活动来检测观看人的存在。这种传感器的一个例子可以是能够在远处感测心脏的电活动或者其他类型的生物信号的新型的低噪音高输入阻抗探针。可以在RJ.Prance，S.Beardsore-Rust，A.Aydin，C.J.Harland和H.Prance的“Biologicalandmedicalapplications”，Proc.ESAAnnualMeetingonElectrostatics2008，PaperN2中找到该传感器的描述。

一旦获得和确定了观看者的检测和相对位置和/或速度，系统就尝试更具体地确定使用者是否正在注意显示器。确定使用者或观看者是否被显示的信息所吸引或者注意显示的信息的优选方法是检测观看者的目光是否指向显示器。为此，在步骤111通过作为显示系统一部分的摄像机或其他图像捕捉设备来获取观看者的脸部图像，以及执行脸部特征的检测。检测人脸的方法在数字图像处理领域中是公知的。例如，在下列文章中描述了在图像中寻找人脸的脸部检测方法：Jones，M.J.；Viola，P.，“FastMulti-viewFaceDetection”，IEEEConferenceonComputerVisionandPatternRecognition(CVPR)，June2003。

一旦通过系统分辨出脸部位置，就可以使用公知方法来定位脸部特征(例如眼睛、鼻子、嘴等等)，所述公知方法例如包括具有匹配嘴、眼睛和虹膜/巩膜边界的定位的模板的能量最小化方法。还可以使用主动外表模型来寻找脸部特征，在优选实施例中，步骤113的定位脸部特征点的方法是基于人脸的主动形状模型根据识别与眼睛、嘴、鼻子、眉毛等等相关的多个脸部特征点以及定义观看者的眼睛、嘴和鼻子以及整体脸部结构的轮廓(即局部解剖学)的算法来进行的。基于观看者的特征的轮廓和整体脸部结构以及对脸部及其对称数据的了解，在步骤115可以估计观看者相对于相机的头部姿态，以及因此可以估计观看者相对于显示的内容的头部姿态。可选地，进行头部姿态估计之后，可以进行内容的改变和修改，以尝试检测可能与显示的内容相关联的观看者的头部姿态的变化。

头部姿态包括三个角分量：偏航、俯仰和滚转。偏航是指头部关于垂直轴左右转动的角度。俯仰是指头部关于横向轴上下指向的角度。滚转是指头部关于垂直于正面的轴左右倾斜的角度。偏航和俯仰被称为面外转动，因为在偏航和俯仰中脸部指向的方向相对于正面变化。相反，滚转被称为面内转动，因为在滚转中脸部指向的方向不相对于正面变化。

用于姿态估计的基于模型的技术通常从图像中再现和生成个体的三维头部形状，然后在步骤117-121使用预定的三维模型来估计头部的定向。在本系统的优选实施例中，边缘曲线(例如眼睛、嘴唇和眉毛的轮廓)被首先定义为三维模型。接下来，搜索输入图像以寻找与模型中定义的曲线相对应的曲线。在步骤119建立模型中的边缘曲线与输入图像之间的对应关系之后，在步骤121通过以多种姿态角迭代地调整三维模型以及确定与输入图像表现出最紧密的曲线拟合的调整来估计头部姿态。表现出最紧密的曲线拟合的姿态角被确定为输入图像的姿态角。因此，复合三维模型的观看者轮廓是进一步进行姿态估计的重要工具，其使精细的三维模型和改进的观看者识别成为可能。

在替代实施例中，代替在步骤113-121中执行的基于模型的姿态估计或者作为其补充，可以使用包括基于外表的方法、基于特征的技术或者多种技术的组合的其他技术来进行姿态估计。用于姿态估计的基于外表的技术可以通过比较个体的头部与处于已知定向的脸部的模板图像库来估计头部姿态。认为个体的头部与其最相似的模板图像具有相同的定向。其他基于外表的技术可以利用神经网络或机器学习或其他用于对头部姿态进行分类的分类方法。在A.Savakis，M.Erhard，J.Schimmel，和J.Hnatow的具有以下名称的文章中描述了用于姿态估计的基于特征的方法：“AMulti-CameraSystemforReal-TimePoseEstimation，”Proc.SPIEDefenseandSecuritySymposium，IntelligentComputing：TheoryandApplicationsV，Orlando，FL，April2007。在该文章中，提取两只眼睛和嘴可以从遵循人体生物约束的几何模型中得到偏航估计，而假定俯仰和滚转都很小。

头部姿态估计是很重要的，因为其用于在步骤123提供注视判断以及观看者是否正在朝显示器看。这是基于这样的观察结果，即通常注视方向与头部姿态是共线的。转到图5，为了使注视判断具有更强的鲁棒性，在步骤125需要识别瞳孔相对于眼睛中心的位置。为了进一步确定观看者正在观看显示器上呈现的内容和信息以及正在关注该信息，在步骤127，评估眼睛随时间的运动方式，以及在步骤129，评估与显示器上呈现的信息或图像相关联的眼睛随时间的运动方式。基于观看者头部姿态和瞳孔位置而估计的眼睛运动被表示为眼睛注视的固着(fixation)，并且在其相对于显示的图像和/或信息程序的位置、其空间和时间次序、以及持续时间方面分析眼睛运动，从而在步骤131观看者的头部姿态和对显示器的长时间的眼睛注视可以指示观看者正在注意信息和内容。在替代实施例中，可以直接从步骤123的注视判断(其直接来自于头部姿态估计)来评估步骤127的眼睛运动方式和相应的眼睛固着，而省略步骤125。在这种情况下，眼睛运动方式和眼睛固着的评估将是近似的，而且基于上述的关于头部姿态与注视方向共线的观察结果。

在根据显示的图像出现注视固着的情况下，所呈现的信息材料的属性和视觉特征与观看者的视觉注意力有关。存在多种注意力控制机构，其通常被称为外源性注意力和内源性注意力。内源性注意力与显示的信息和内容的元素有关，所述元素通常取决于任务和/或经验，并通常是由对象驱动的。

另一方面，外源性注意力是由低级视觉特征，例如局部对比度、颜色、运动所决定的，并且通常与内容本身的主题的影响或者观看者的目标和动机无关，或者超出内容本身的主题的影响或者观看者的目标和动机。与由意向驱动的内源性注意力相比，这些低级视觉特征能够无意地抓住外源性注意力。外源性注意力控制的模型采用显著性地图，该显著性地图指示给定位置的相对重要性或激活程度。可以通过图像分析来计算这样的显著性地图，从而提取地图的低级视觉特征，即颜色、定向、局部对比度等等。然后，对于每个位置，将计算的局部特征的强度相加，以获得合成的显著性地图。然后根据现有模型，显著性地图定义视觉场以及相应的眼睛运动中的注意力控制，其中仅进行自下向上的视觉处理。

但是，通过内源性控制机构(例如自上而下的增益或者内源性的基于特征的控制机构)调制自下向上的激活，所述内源性控制机构反映并强调特定的特征地图对当前任务和环境中的显著性的贡献。此外，可以进行基于场景的内源性控制，其将注意力引导到很可能与任务和场景的粗糙空间特性或主题相关的视觉场区域(例如参见A.Torralba，A.Oliva，M.Castelhano和J.M.Henderson的“ContextualGuidanceofAttentioninNaturalscenes：TheroleofGlobalfeaturesonobjectsearch”，PsychologicalReview.VoI113(4)766-786，Oct，2006)。

在步骤133中，将视觉注意力与注视相关，并基于“人在观看视觉环境中的什么对象”来分析视觉注意力。因此，通过交互式显示系统获得的注视信息以及相应的人所固定注视的图像的特性提供了推断观看者的注意力焦点以及他或她对图像和信息材料的内容和特征的视觉兴趣的基础。

通过以下步骤可以举例说明基于检测人正在注意哪里以及推断使用者对环境的注意力焦点与智能显示系统进行交互的算法：确定使用者的注视方向，确定注视(固着)的空间位置和方式，以及基于注视信息确定使用者是否正在注意显示器。通过这样的信息，系统可以采取进一步的步骤：分析与固着相关的当前视觉显示信息，以解释注意力、兴趣和注意力控制的特性。基于该分析，系统可以根据前一步骤改变显示的信息或内容的特性。

例如，在步骤133中，首先确定的观看者的几个注视固着(gazefixation)可指示观看者被显著的低级特征吸引，这些低级特征是颜色、对比度、边缘。该方式是外源性的，不表示特定对象的兴趣或优选的观看：观看潜在兴趣对象的可能性不会随着时间增大，相反，这可能表示人对描绘的对象有积极的反应(例如参见Shimojo等人的“Gazebiasbothreflectsandinfluencespreference”，NatureNeuroscience，6，pp.1317-1322，2003)。在替代实施例中，还可以使用情绪的脸部表情来验证观看者的积极反应的缺失。为了吸引观看者的注意力，在步骤135，以非常显著的特征呈现信息和内容的修改以及显示的特性，从而让使用者继续观看屏幕，同时也可以改变主题。

在另一个示例中，观看者的固着主要显示注意力控制的内源性属性，确定观看者的固着集中于内容中所呈现的某些对象，而不是简单地接受自下而上的显著特征。这可以被解释为使用者对描绘的主题和对象感兴趣。在步骤137可以显示具有相同对象和主题的更多图像，或者可以改变显示或呈现特性以维持观看和回馈观看者的注意。或者，可以结合观看者的固着分析使用脸部表情识别，以更精确地确定观看者的观看意图和情绪反应。

系统通过修改内容来回馈观看者的注意，通过这种方式促进持续的交互。已知将这样的交互和相关的内容和信息载入显示程序中能够增强使用者的兴趣，从而提供更有效的信息处理。关键是确定哪些信息是相关的。具有图像和环境理解特征的观看感测系统提供相关的信息，然后，该信息用于提供目标内容修改和适当的交互。

可以自动采用多种技术来实现本发明，例如在一个实施例中，多个信息程序同时呈现在大型显示器上。观看者的注视、身体姿势和运动反映了观看者对一个程序的偏好，建立观看者对一个程序的偏好，以通过重新设置显示的内容和信息将观看者使用者最感兴趣或最关注的程序内容呈现在显示器的中心位置或者最接近对象的位置。可以保持其他程序内容仍然可见，但是相对于观看者的偏好对其他程序内容的相对尺寸和位置进行调整。可以使用强调使用者的兴趣的其他方法，例如，通过突出观看者正在注视的内容和信息。重新设置所呈现的信息以回馈使用者的兴趣的更复杂的方法是根据针对不同类别的使用者所观察到的信息处理中的实验显示的偏好来调整内容。例如关于性别差异，已经显示女性观看者倾向于通过将其注意力集中在视觉环境的局部特征(例如地标)上而在空间环境中对自己进行定向，而男性倾向于全局地勘察环境并且更注意其全局结构。因此，如果检测到观看者的性别，则可以进行判断以重新设置显示信息的视觉设计和内容，从而保证根据观看者的有利的信息处理能力对信息进行呈现。例如，可以通过分析由数码相机或成像传感器捕捉的观看者的图像使用如下文章中描述的算法来确定观看者的性别：A.Gallagher，A.Blose，T.Chen，在“JointlyEstimatingDemographicsandHeightwithaCalibratedCamera”中，IEEEInternationalConferenceonComputerVision(ICCV)，2009。

由系统确定的这些附加的物理和环境特性也可以作为修改观看者对于视觉内容和信息的感兴趣程度的基础。可以通过空间和时间修改来修改任何所呈现的信息程序的视觉内容，所述空间和时间修改例如是通过改变局部区域的亮度和颜色来突出这些局部区域，以便沿着预定的路径引导观看者的注视，其中该预定的路径是为已知其对信息程序的内容的感兴趣水平的观看者而建立的。

许多在线广告公司使用横幅或者弹出窗口将使用者的注视吸引到屏幕的特定位置，以此希望吸引观看者的注意。但是，数据显示这一技术通常产生负面的效果，因为使用者或观看者发现它分散注意力并且令人讨厌。同时，根据心理学实验的该数据显示可以通过引导观看者的注视以重复之前的对内容和信息的修改做出成功和适当的反应的一个或多个观看者的注视来解决这样的问题。

对观看者的感兴趣程度的修改方法以如下的方式操作：类似于步骤123-135以及137，系统获得对应于对信息程序表现出目标感兴趣程度的第一观看者的眼睛运动的注视和模式。然后在步骤139和141，系统生成注视模式算法，以引导可能对信息程序感兴趣的任意观看者的注视。在步骤143识别第二观看者之后，该算法包括在步骤145连续强调某些显示区域，以突出显示的信息内容的与对信息程序具有目标感兴趣水平的第一观看者的注视扫描路径相对应的部分。基于统计分析和与每个观看者的显著特征的比较，在每个观看者之后可以使用与每个连续的观看者相关的注视模式来更新和修改该算法。通过这种方式，可以开发出应用于不同类别的观看者的多种不同算法，以便向观看者呈现最相关的信息和内容。

在本发明的另一方面，系统可以通过结合对观看者进行描述的元素修改显示器上的内容或信息。从心理学实验已知，观看者偏爱看起来熟悉的图像。观看者还倾向于对熟悉的图像观看更长的时间。其他实验证实观看者偏爱与他们自己以及他们的近亲的脸部相似的脸部。甚至如果根据观看者的脸部对政治领袖的脸部进行变形，则观看者倾向于判断该领袖更有力、更可信等等。因此可以预期，如果信息程序使用熟悉的图像和多媒体材料，那么该信息程序可以更有效地吸引和维持观看者的注意力、兴趣和优先的回顾，同时产生理想的影响。

因此，总而言之，本发明的用于图像的适应性显示的方法和系统将通过观看者的特征的脸部表情分析连续确定观看者对图像的反应，以便确定观看者对图像的情绪和其他反应，并将相应地调整显示给使用者的图像组。

已经特别参考本发明的特定优选实施例详细描述了本发明，但是应理解，在本发明的精神和范围内可以实施改变和修改。

部件列表

10图像显示设备

10A框架

10B显示屏

10C存储器单元

10D图像组

10E图像

10F本地控制输入

10G无线调制解调器

10H远程节点

10I连接

10J服务提供商

10K本地媒体设备

10L连接

10M本地图像源

10N图像获取设备

10O图像输入

10P传感器

12图像显示系统

12A存储器

12B系统控制机构

12C图像显示控制机构

12D处理器单元

13显示控制机构

14A图像列表

14B图像标识

14C显示定义

14D显示参数

16图像控制机构

16A观看者图像

16B图像分析机构

16C图像分析过程

16D观看者脸部库

18A观看者检测过程

18B脸部识别过程

18C观看者识别过程

18D视线过程

18E观看者反应过程

20A观看者存在输出

20B脸部识别输出

20C观看者识别输出

20D显示观察输出

20E观看者响应输出。

Claims (17)

1.一种用于根据观看者对于显示的图像的注意力特性来控制图像显示设备上的图像的显示的图像显示机构，包括：

图像控制机构，用于：

通过估计观看者的头部姿势以及至少基于所述头部姿势来评估观看者的眼睛的运动方式，确定观看者的眼睛注视的固着；

确定观看者对所述图像显示设备上的当前显示的图像的注意力特性；

将所述注意力特性分为外源性注意力或内源性注意力；以及

响应于所述注意力特性是外源性注意力或内源性注意力而控制所述图像显示设备上的一个或多个图像的显示。

2.根据权利要求1所述的图像显示机构，其中所述图像控制机构包括：

图像捕捉设备，用于在潜在地包含所述图像显示设备的观看者的空间区域中捕捉至少一个观看者图像；

观看者检测机构，用于分析所述至少一个观看者图像以及确定图像显示屏的观看者是否存在于所述空间区域中；以及

视线过程，用于确定所述空间区域中存在的观看者是否正在注视所述图像显示屏；

并且其中所述观看者的注意力特性被确定为包括所述空间区域中存在的所述观看者是否正在注视所述图像显示屏的指示。

3.根据权利要求1所述的图像显示机构，其中所述图像控制机构包括注视模式分析机构，所述注视模式分析机构用于确定注视图像显示屏的观看者的注视模式；

并且其中所述观看者的注意力特性包括确定的注视模式。

4.根据权利要求1所述的图像显示机构，其中：

通过修改至少一个图像，通过控制连续图像的显示之间的计时，通过控制图像之间的过渡，通过控制图像组的显示序列，通过加入伴音或者通过控制来自于图像库的图像或图像组的选择来控制所述一个或多个图像的显示。

5.根据权利要求1所述的图像显示机构，其中响应于当前显示的图像的内容，所述观看者的注意力特性是基于观看者的脸部特征、身体语言特性、发音和词语反应、注视模式或其组合中的改变而确定的。

6.根据权利要求2所述的图像显示机构，进一步包括：

观看者脸部库，用于存储至少一个使用者的脸部特征；以及

观看者识别机构，用于从观看者图像提取观看者脸部特征，以及将来自于观看者图像的观看者脸部特征与至少一个使用者的脸部特征进行比较；以及

其中当所述观看者识别机构在从观看者图像提取的观看者脸部特征和特别使用者的脸部特征之间识别出对应性时，通过从与所述特别使用者关联的图像组中选择至少一个待显示的图像来控制所述一个或多个图像的显示。

7.根据权利要求6所述的图像显示机构，其中与所述特别使用者关联的所述图像组包含以预定的方式与所述特别使用者相对应的被成像的主题。

8.根据权利要求7所述的图像显示机构，其中：

在所述图像显示设备上显示与所述特别使用者关联的个人化内容。

9.一种用于根据观看者的注意力特性来控制图像的显示的方法，包括以下步骤：

通过估计观看者的头部姿势以及至少基于所述头部姿势来评估观看者的眼睛的运动方式，确定观看者的眼睛注视的固着；

在图像显示设备上显示来自于图像库的至少一个图像；

确定所述观看者对于显示的至少一个图像的注意力特性；

将所述注意力特性分为外源性注意力或内源性注意力；以及

响应于所述注意力特性是外源性注意力或内源性注意力而控制所述图像显示设备上的一个或多个图像的显示。

10.根据权利要求9所述的方法，其中在所述图像显示设备上的一个或多个图像的显示的控制也响应于由观看者观看的显示的图像的分析。

11.根据权利要求9所述的方法，进一步包括以下步骤：

捕捉潜在地包含图像显示设备的观看者的空间区域的至少一个观看者图像；

分析所述至少一个观看者图像，以及确定图像显示屏的观看者是否存在于所述空间区域中；

确定所述空间区域是否包括能够被识别为脸部的区域；

确定存在于所述空间区域中的所述观看者是否正在观察图像显示屏；以及

确定存在于所述空间区域中的正在观察图像显示屏的观看者的注视模式，并且其中在所述图像显示设备上的一个或多个图像的显示的控制进一步响应于确定的注视模式。

12.根据权利要求11所述的方法，其中一个或多个图像的显示的控制包括：

根据确定的注视模式修改来自于所述图像库的图像的选择。

13.根据权利要求11所述的方法，其中根据外源性或内源性注意力的数据存储介质中存储的预定数据而将所述注意力特性分为外源性注意力或内源性注意力。

14.根据权利要求9所述的方法，其中通过修改至少一个图像，通过控制连续图像的显示之间的计时，通过控制图像之间的过渡，通过控制图像组的显示序列，通过加入伴音或者通过控制来自于图像库的图像或图像组的选择来控制所述一个或多个图像的显示。

15.根据权利要求9所述方法，其中所述一个或多个图像的显示的控制包括根据所述注意力特性选择与当前图像具有预定关系的图像。

16.根据权利要求9所述的方法，进一步包括以下步骤：

访问用于存储至少一个使用者的脸部特征的观看者脸部库；以及

从观看者图像提取观看者脸部特征，以及通过将来自于所述观看者图像的观看者脸部特征与所述至少一个使用者的脸部特征进行比较来识别使用者；

选择或修改与识别的使用者相关联的至少一个后续图像。

17.根据权利要求16所述的方法，进一步包括以下步骤：从图像组中选择待显示的图像，所述图像组对应于与使用者具有预定关联的图像主题。