CN101999108B - 大笑检测器以及用于追踪对媒体呈现的情绪反应的系统和方法 - Google Patents

Abstract

例如通过麦克风和/或摄像机可以被动地采集对媒体呈现的情绪反应形式的信息。该信息可以在媒体呈现中在时间参考级别被绑定至元数据，并被用来检查媒体呈现的内容以评估该内容的质量或用户对该内容的情绪反应，和/或将该信息影射到人口统计上。情绪反应的被动采集可以被用来将情绪添加为语音或面部表情检测的元素，以便利用这样的信息，例如以判断内容的质量或者为未来的内容判断不同个体的特性，所述未来的内容将被提供给所述不同个体或者在人口统计上位置类似的那些人。因此，本发明询问和回答了这样的问题：什么使人们快乐，什么使他们大笑，他们发现什么有趣，厌烦，激动。

Description

大笑检测器以及用于追踪对媒体呈现的情绪反应的系统和方法

技术领域

本发明的实施例涉及交互式媒体。更具体地，本发明的实施例涉及追踪对媒体呈现的情绪反应。

背景技术

Khiet P.Truong和David A.van leeuwen的Automatic discrimination betweenlaughter and speech(Speech Communication，Volume 49，Issue 2，2007年2月，第144-158页)提出一种将大笑作为语音成分来检测的技术。Carlos Busso、ZhigangDeng、Serdar Yildirim、Murtaza Bulut、Chul Min Lee、Abe Kazemzadeh、Sungbok Lee、Ulrich Neumann、Shrikanth Narayanan的Analysis of EmotionRecognition using Facial Expressions，Speech andMultimodal Information(情绪研究组，语音分析和解释实验室，集成媒体系统中心，电气工程系，计算机科学系，维特比工程学院，南加州大学，洛杉矶，http://sail.usc.edu)也已经提出了一种从面部表情检测情绪的技术。

遗憾的是，到目前为止还没有提出在媒体回放期间对情绪反应进行被动采集，以判断或分析内容片段的质量，或者相对于内容属性、用户建档(profiling)、未来内容的人口统计(demographic)挖掘和目标确定(targeting)来评估内容的质量。因此，在现有技术中需要一种既识别情绪又以某种有效的方式使用该信息的技术。

发明内容

本发明的实施例克服了与现有技术相关联的缺点，本发明的实施例涉及这样一种技术，其用于被动地采集对媒体呈现的情绪反应形式的信息，将该信息绑定(tie)至元数据，并且使用它来针对什么内容是好的内容而检查媒体呈现的内容，以及使用它以将该信息影射(project)到人口统计上。

附图说明

通过结合附图来考虑下面的详细描述，能够容易地理解本发明的教导，在附图中：

图1是示出根据本发明的用于追踪情绪反应的系统的一个实施例的示意框图；

图2是示出根据本发明的用于追踪情绪反应的系统的另一实施例的示意框图；

图3是示出根据本发明的媒体帧和相应元数据的流的媒体呈现的图示；

图4是示出根据本发明的涉及与媒体呈现有关的情绪反应的信息的检测和处理的流程图；以及

图5是示出根据本发明的元数据与和建立一或多个人口统计有关的个体和群组简档的关联的示意框图。

具体实施方式

虽然下面的详细描述为了说明的目的而包含许多特定细节，但是本领域任何普通技术人员将会认识到，对下面的细节的许多变化和改变都在本发明的范围内。因此，在对于所要求保护的发明而言不失任何一般性并且不对其施加限制的情况下，陈述了下面描述的本发明的示例性实施例。

本发明的一个实施例追踪个体的情绪反应(例如对媒体呈现的情绪反应)，将该情绪反应与引起它的刺激相关，以及然后集合在个体的群体上所得到的反应数据，例如以评估媒体呈现的方面，即哪些方面是好的、是受到好评的、具有最大的娱乐价值，以及哪些方面不是好的、没有受到好评、或者无趣，例如它好笑吗？它的哪个部分好笑？人们喜欢该商业广告节目吗？它事实上是商业广告节目吗？那首歌正在令人微笑吗？

本发明的另一个实施例同时追踪多个个体在媒体或其他呈现期间的情绪反应。例如，可以将网络设备放置在被建档(profile)为具有一定数量用户的位置。诸如面部和声音检测之类的因素允许系统将反应匹配到特定个体。这样，例如通过邮政编码等等，可以对一个家庭进行建档，可以对一个群组进行建档。校准步骤将训练该系统来识别每个个体，例如通过声音和面部特征。

因此，本发明的一个实施例测试人对媒体呈现的反应以识别与该媒体呈现有关的适当的以及相反地不适当的表情部分。

出于在此讨论的目的，媒体呈现可以包括例如但不限于：电视节目、电影、实况演出、录制的音乐、体育事件、视频游戏、交互式娱乐等等。本发明的一个实施例包括用于检测个体对媒体呈现的情绪反应的传感器，例如大笑(laugh)传感器，其在一个实施例中包括例如：麦克风、视频摄像机、这二者的组合、或某一其他传感器，例如用于测量皮肤电反应的设备、心率监视器(EKG)、运动检测器、压力传感器等等。

图1是示出根据本发明的用于追踪情绪反应的系统的示意框图。在一个使用麦克风和/或视频摄像机来检测大笑的实施例中，一旦检测到大笑，就识别该个体所受到的刺激，并存储将该呈现和所引起的反应联系起来的数据。就最简单的意义上来说，本发明被实施在PC 13中，所述PC 13例如是膝上型计算机，其具有用于捕获发声的内置麦克风15和/或用于捕获姿势和/或面部表情的视频摄像机16。该PC上安装并运行的应用程序例如观察在因特网上冲浪的个体10，并在个体会话期间的不同点检测个体的发声17/18，例如大笑，或者诸如鼓掌或嘘声之类的其他声音。

本发明另一实施例可提供3D摄像机，例如ZCam^TM，其由3DV系统制造，用于捕获姿势、轮廓(profile)、动作和外形(shape)。例如，3D摄像机可被用来基于头部形状(例如个体的鼻子的形状)、大小、身体形状等等来识别个体。如果本发明被用来一次追踪一人以上的情绪反应，和/或如果个体的面部没有被呈现给该摄像机，则这一点特别有用。此外，本发明的这一方面既允许追踪作为情绪反应的指示的姿势或其他身体动作，又允许将这种姿势和身体动作与诸如大笑之类的情绪反应的其他指示联系起来。另外，一个以上个体的交互可以被追踪并被用来识别情绪反应，例如当两个个体相互举手击掌时。

又一实施例提供微笑检测器，例如Cyber-Shot W120，其由索尼公司制造，并且结合了面部检测和微笑检测特征。

本发明的一个实施例可被配置成提供网络连接14，其被用来将所捕获的表示个体对媒体呈现的反应的信息转发给服务器11，所述服务器11将个体的反应(即大笑)与媒体呈现的使这个人大笑的部分相关。本领域技术人员将会认识到，网络和服务器并非本发明的操作所必需的，以及本发明也可以仅仅在本地被实施。本发明还识别与该媒体相关联的任何元数据，例如以便为个体创建简档。通过任何这样的技术来检测个体的反应本身，例如在个体的反应与包括例如关于数据库12的大笑的已知的那些反应之间的查找和比较。这些已知的反应可以是音频和/或视频中的任何一个，例如大笑的声音和/或与大笑相关联的面部表情。为媒体呈现保持时间线，并且每当检测到个体的反应时就注释该时间线。

虽然到目前为止实例描述了大笑的检测，但是本领域技术人员将会认识到，本发明检测其他情绪，例如悲伤、兴奋、发怒、欢乐、感兴趣、厌倦、腔调(tone)等等。例如，可以通过用户把目光从呈现中移开、打呵欠、或者讨论呈现来指示厌倦；可以通过安静或者用户认真地观看呈现来表明感兴趣。本发明还可以追踪情绪的级别或者强度，例如用户大笑得多久和多大声音可以指示场景多好笑。

此外，将检测到的个体反应的类型与媒体呈现的引起这种反应的部分联系起来。因此，一些个体可能通过大笑来对呈现的特定部分作出反应，而其他个体可能通过厌恶来作出反应。本发明在大的个体群体上采集这些反应，并且可以获得对媒体呈现的每个反应引起部分的情绪效应的整体理解。

因此，本发明的一个实施例识别可检测的、情绪的、发自内心的(visceral)反应，并且然后识别下述中的任何一项：与反应相关联的媒体呈现的类型，在媒体呈现期间反应出现的时间，媒体呈现的引起反应的位置，以及用于下述的所述反应的值(value)：对于诸如呈现未来的目标广告的这类用途进行建档，或者采集群组反应以识别特定价值(merit)的呈现或者呈现的部分。

一个实施例应用如上所述在媒体呈现期间所采集的信息以获得简档，例如用于基于对媒体呈现或对媒体呈现的特定方面的群组反应来确定广告的目标的简档。本发明询问并回答了这样的问题：什么使人们快乐？什么使他们大笑？他们发现什么有趣？厌烦？激动？特别地，本发明被动地收集这个，从而仅仅观察每个个体，并且不要求每个个体主动提供反应。这是有价值的，因为只有某些个体愿意主动提供意见，并且同样地，只有群体中的该部分参与投票。这往往会扭曲所获得的结果。通过仅仅采集个体对媒体呈现的未经请求的反应，本发明准确地识别整组个体的反应。

图2是示出根据本发明的用于追踪情绪反应的系统的另一实施例的示意框图。在图2中，示出个体10在他的客厅中因他的电视21上的节目而狂笑17。摄像机16记录该个体在呈现期间的面部表情。麦克风15捕获他的声音反应。分别由摄像机和麦克风捕获的视频和音频被耦合到游戏控制台22，其识别用户、检测到的情绪(例如检测到大笑和微笑)、检测到情绪的时间、频道(在电视节目的情况下)、以及节目名称。该信息可以被本地使用，或者可以通过网络连接被发送以用于进一步的处理，正如在此所讨论的那样。例如基于个体的邮政编码、有线电视提供商等等，其他信息可以与个体的信息(例如用户简档、人口统计值)相关联。

图3是示出根据本发明的媒体帧和相应元数据的流的媒体呈现的图示。在图3中，个体1到n观看一个包含几个笑话的媒体呈现，所述几个笑话在包括该呈现的时间跨度上被呈现。检测每个个体对每个笑话的反应并将其与该笑话进行相关。

图4是示出根据本发明的涉及与媒体呈现有关的情绪反应的信息的检测和处理的流程图。比图3进一步，图4示出媒体呈现会话的流程。为一个或多个个体进行媒体呈现(300)，并且检测个体的反应(310)。每当对于每个个体出现反应时，就标记该呈现(320)以识别该反应、该个体、以及该呈现的引起该个体给出该反应的部分。一旦该呈现结束(330)，所采集的信息就被用来为每个个体以及为作为一个群组的个体们创建简档(360)以识别个体和群组人口统计(370)；并且被用来建立直方图(340)，其被用来关于诸如价值、引起预定反应的能力等等之类的因素来识别该呈现的关键方面(350)。

图5是示出根据本发明的元数据与和建立一个或多个人口统计有关的个体和群组简档的关联的示意框图。图5的上部示出图3的呈现时间线。图5的下部示出由所检测到的个体反应所产生的人口统计。例如，笑话1令个体1和2产生大笑，并且因此基于个体1和2的简档，发现该笑话适合包括男性、年龄18-34的人口统计。同样，笑话3令个体1产生微笑，但令个体n产生皱眉。因而，发现笑话3落入男性、年龄12-17的人口统计中。最后，笑话N令个体2产生皱眉，以及令个体n鼓掌。在这种情况下，确定笑话N在女性、年龄35-37的人口统计中产生反应。出于解释本发明的目的，图5的实例被大大简化。在实际应用中，抽样群组可能大得多以获得有效的人口统计。此外，本发明不需要被应用到群组中，但是可以与单个个体一起使用来识别个体的人口统计，例如出于确定广告的目标的目的。

应当注意，虽然本发明从媒体呈现方面进行了描述，但是该呈现可以是实况呈现或者个体可以观察或参与的任何其他事件。例如，可以在个体与视频游戏的交互期间、在Web浏览会话期间、或者在参加实况事件时，采集个体的反应。因此，将会非常有价值的是，例如将大笑传感器与机顶盒相关联地使用来确定在该客厅中处于该位置的人们何时响应于他们正在观看的内容而大笑。此外，重要的不仅仅是他们正在观看什么内容，而具体的是该呈现的什么内容产生诸如大笑之类的观众反应，即哪个笑话被认为好笑。因此，本发明包含度量的级别，其可被用来精确地发现哪些呈现中的哪些序列中的哪些帧能够引起个体的反应，并且与个体的简档配合，精确地发现以这种方式反应的个体具有的特性。基于该信息，可以在将来向该个体显示更符合该个体肯定地反应的那些事情的广告，或者可以为群组进行呈现，所述群组具有与对通过观看这样的呈现的那些人的肯定的接受具有某种确信的那些所观察个体类似的特性。

因此，存在可以由利用本发明所采集的信息做出的至少两种有价值的用途。一种用途是判断内容的质量。另一种用途是针对未来的内容判断不同个体的特性，所述未来的内容将被提供给所述不同个体或者在人口统计上位置类似的那些人。

在后一种情况下，当在媒体呈现期间随着时间的过去对用户进行建档时，存在例如以每秒30帧显示在电视屏幕上的媒体流、以及连接到大笑传感器(更一般而言是情绪传感器)的麦克风。在大笑传感器的实例中，大笑是非常容易检测的发声，并且当在不同参考点检测到它时，本发明的一个实施例将相应元数据添加到下至时间参考元素的媒体流，例如帧级，以及甚至下至处于该帧中的对象。在帧级，理解下述将是有用的，例如：是否存在一辆红色轿车、一辆大众汽车、一支笔、一个图片帧；存在许多绿色吗；动作发生在高尔夫球场吗；是否定义了色饱和的量，存在多少颜色；其是暗场景吗，等等。因此，元数据是丰富的，并且与位于任何帧时刻的实际呈现流相关联。可以在元数据中相互关联帧或帧序列的属性，从而本发明说明潜在因素(latency)，例如什么组成笑话的妙语。因此，从这样的元数据可以确定个体的反应的背景。

因此，元数据流提供另一组用途，因为它提供了对什么触发发声的理解。如上所述，发声可以通过麦克风来采集；其可以由摄像机来采集；其可以由例如EKG或者皮肤电反应设备来采集。因此，本发明的一个实施例检测情绪状态。在一个实施例中，这些检测机构是娱乐设备或游戏控制台的一部分，或者可以被嵌入到例如远程控制器中。例如，远程控制器上的指纹传感器可与发声或情绪状态的检测相结合使用来确定还有谁例如在改变频道。这种信息的一种用途是至少关于个体的简档、以及个体的情绪状态，在检测个体标识的生物计量(biometric)级别上提供动态广告。

本发明因此包含捕获涉及个体的包括音频、视频、生物计量、以及运动(例如经由运动检测器)中的任何一种的信息。如上所述，一个基本实施例包括检测大笑发声，例如使用语音识别系统。

本发明不仅识别个体的简档，而且个体的简档可以进一步识别朋友网络和共享网络、以及人口统计、和个体可能被置于其中的其他等级。本发明可以被广泛地放置到媒体呈现流中，例如机顶盒、支持网络的游戏控制台(例如索尼游戏站)、远程控制器等等。本发明因此设想了集成到网络中，其中从检测该群体中情绪反应所捕获的所有数据允许任何人口统计的目标确定。结果，分析家会问例如“回到情绪上来。什么使这些人大笑？”。本发明于是能够返回例如引起这种反应的前十件事的直方图。分析家然后会弄清特定的目标市场，例如以便关于直方图中第一、第二、第三、以及第四等级而查看特定年龄范围内的平均分布。在这一方面，与本发明的该实施例关联提供的数据挖掘的级别允许识别任何落在标准分布之外的个体。因此，本发明提供一种形式的焦点群组，其基于被动地捕获的并且识别一个或多个个体对例如媒体呈现的反应的信息而被实时生成。

本发明不必限于视听呈现。例如，如果播放歌曲并且一个人在微笑，或者如果他在随着该歌曲歌唱，那么本发明被用来捕获该有用信息。如果在一个事件中人们在欢呼，那么本发明被用来捕获该有用信息。例如，在体育赛事中，本发明可以被用来告知，观众是否喜欢一个队多于另一个队。

因此，本发明提供一种方法和装置，用于被动地采集对媒体呈现的情绪反应形式的信息，将该信息绑定至时间线上的元数据，例如在帧级，以及然后使用它来针对什么内容是好的内容而检查媒体呈现的内容，并且还将该信息影射到人口统计。结果，例如，下次个体打开他的电视机时，个体的有线提供商可以提供对该个体而言更有趣的广告。

虽然上面是本发明优选实施例的完整说明，但是有可能使用各种替换、修改和等价物。因此，本发明的范围不应当参考上面的说明来确定，而是代之以应当参考所附权利要求连同它们的等价物的全部范围来确定。在此所述的任何特征(无论是否为优选的)都可以与在此所述的任何其他特征(无论是否为优选的)相结合。在下面的权利要求中，不定冠词“一”或“一个”是指在物品之后的项目的一个或多个的数量，除了另有明确说明的之外。所附权利要求不应被解释为包括装置加功能的限定，除非这样的限定通过使用短语“用于…的装置”被显式地记载在给定的权利要求中。

Claims (19)

1.—种用于被动地采集对媒体呈现的情绪反应形式的信息的装置，包括：

媒体呈现，其被可察觉地显示给至少一个个体；

检测器，用于在所述媒体呈现的显示期间捕获所述至少一个个体对所述媒体呈现的情绪反应；

处理器，用于将所述情绪反应与所述媒体呈现的包含引起所述情绪反应的刺激的部分相关，

其中，所述处理器进一步适于将所述所得到的情绪反应数据绑定至媒体呈现时间线，

所述处理器适于集合在个体的群体上所得到的情绪反应数据以评估所述媒体呈现的至少一个方面，

所述处理器适于集合对于个体所得到的情绪反应数据以建立与所述媒体呈现的至少一个方面有关的用户简档，

所述处理器进一步适于将所述所得到的情绪反应数据绑定至在帧级的媒体呈现时间线。

2.权利要求1所述的装置，所述处理器适于根据所述媒体呈现的所述至少一个方面的所述评估来检查所述媒体呈现内容。

3.权利要求1所述的装置，所述处理器适于将所述所得到的情绪反应数据影射到一个或多个人口统计种类上。

4.权利要求1所述的装置，所述处理器适于使用对所述媒体呈现的所述情绪反应以识别与所述媒体呈现有关的适当的以及相反地不适当的表情部分。

5.权利要求1所述的装置，所述检测器包括下述中的任何一项：

用于捕获发声的麦克风、用于捕获姿势和/或面部表情的视频摄像机、EKG、或者皮肤电反应设备。

6.权利要求1所述的装置，所述处理器适于识别与所述媒体呈现相关联的任何元数据，以便为所述至少一个个体建立简档。

7.权利要求1所述的装置，所述情绪反应包括下述中的任何一项：

大笑、兴奋、感兴趣、厌倦、欢乐、悲伤、发怒、腔调、以及情绪反应的强度和/或持续时间。

8.权利要求1所述的装置，所述处理器适于在大的个体群体上采集所述情绪反应，以及适于确定对所述媒体呈现的每个反应产生部分的情绪效应的整体理解。

9.—种用于被动地采集对媒体呈现的情绪反应形式的信息的方法，包括以下步骤：

向至少一个个体可察觉地显示媒体呈现；

被动地识别所述至少一个个体对所述媒体呈现的至少一部分的可检测的、情绪的、发自内心的反应；

识别下述中的任何一项：与所述反应相关联的媒体呈现的类型，在所述媒体呈现期间所述反应出现的时间，所述媒体呈现的引起所述反应的位置，以及用于建档或者用于采集群组反应的所述反应的值；以及

将所述反应数据绑定至媒体呈现时间线，

所述识别的值被用于以下步骤：

建立直方图以关于一个或多个预定因素来识别所述媒体呈现的关键方面；

所述识别步骤进一步包括以下步骤：

识别引起个体的情绪反应的所述媒体呈现的特定序列的特定帧。

10.权利要求9所述的方法，所述识别的值被用来建立简档以用于以下步骤：

呈现未来的目标广告。

11.权利要求9所述的方法，所述识别的值被用来采集群组反应以用于以下步骤：

识别特定价值的媒体呈现或媒体呈现的部分。

12.权利要求9所述的方法，所述识别的值被用于以下步骤：

将元数据与个体和群组简档相关联；以及

基于所述关联来建立一个或多个人口统计。

13.权利要求9所述的方法，进一步包括以下步骤：

与个体的简档配合，识别对所述媒体呈现显示出情绪反应的个体的特性；以及

将所述特性与所述媒体呈现的引起所述情绪反应的那些部分相关。

14.权利要求9所述的方法，进一步包括以下步骤：

识别与所述情绪反应有关的至少一个特定帧中的对象。

15.权利要求9所述的方法，进一步包括以下步骤：

识别导致情绪反应的所述媒体呈现中的时间序列。

16.权利要求9所述的方法，进一步包括以下步骤：

向所述个体提供生物计量检测机制，以供与情绪反应的检测结合使用，以便将所述个体的标识与所述情绪反应联系起来。

17.一种用于被动地采集对媒体呈现的情绪反应形式的信息的方法，包括以下步骤：

向至少一个个体可察觉地显示媒体呈现；

被动地识别所述至少一个个体对所述媒体呈现的至少一部分的可检测的、情绪的、发自内心的反应；

识别下述中的任何一项：与所述反应相关联的媒体呈现的类型，在所述媒体呈现期间所述反应出现的时间，所述媒体呈现的引起所述反应的位置，以及用于建档或者用于采集群组反应的所述反应的值；以及

将所述反应数据绑定至媒体呈现时间线，

所述方法进一步包括以下步骤：

识别所述个体的简档；

所述方法进一步包括以下步骤：

使用所述个体的简档来识别下述中的任何一项：朋友网络、共享网络、以及所述个体可以被置于其中的人口统计。

18.权利要求17所述的方法，进一步包括以下步骤：

基于所述个体对所述媒体呈现的情绪反应，确定用于递送给所述个体的特定市场中的广告的目标。

19.权利要求17所述的方法，被动地识别所述至少—个个体对所述媒体呈现的至少—部分的可检测的、情绪的、发自内心的反应的所述步骤进一步包括以下步骤：

利用3D摄像机捕获姿势、轮廓、动作、和外形中的任何一个，以用于下述中的任何一项：识别个体，一次追踪一人以上的情绪反应，追踪姿势或其他身体动作以作为情绪反应的指示，将姿势和/或身体动作与情绪反应的其他指示联系起来，以及识别两个或更多个个体的情绪反应。