CN104050587A - 用于主观广告有效性分析的方法和设备 - Google Patents

Abstract

公开了用于主观广告有效性分析的方法和设备。一种系统包括被配置为接收广告的处理器。所述处理器还被配置为将广告呈现给车辆乘员。所述处理器还被配置为：使用车辆相机可视地记录广告呈现的过程期间的乘员响应。所述处理器还被配置为分析可视地记录的响应以估计用户对于广告的反应，以及基于所述分析针对呈现的广告调整广告变量度量。

Description

用于主观广告有效性分析的方法和设备

技术领域

说明性实施例总体涉及一种用于主观广告有效性分析的方法和设备。

背景技术

从电视机到商店中的售货员，广告是人类交流的一种形式。人们尤其善于与他人进行面对面的交流，但是迄今为止，已经开发出满足日益增加的技术社会的通信需求的技术。

人类交流是言语和非言语交互的结合。通过面部表情、肢体姿势和其他非言语的线索，人依旧可以有效地与其他人交流。在情感交流中尤其如此。实际上，令人意想不到的是，93%的感情交流通过面部表情、姿势或声音变化而非言语地或啪啦语言性（para-linguistically）地发生。在广告领域内的许多发现和体验还表明应该加强可视的情感交流。

广告有更加艰巨的任务：开发被普遍理解的作为用于交流复杂想法的完整交流的基础的示例和范例的通用集合。为此，优选有声通信作为文本或文本到语音（TTS）通信。与语音结合的可视通信甚至比单独的语音还要好，这使得对话的双方可以看见和听见对方的声音、表情和姿势。由于良好的交流很重要，因此面对面交流仍然是优选的，这是为什么政客和CEO仍然出差以彼此会面并且零售商仍然需要销售人员的原因。

第EP1557810号欧洲专利申请总体涉及一种显示布置，包括：图像显示装置，具有用于显示的两组或更多组图像；相机，朝向观看显示器的用户的方位；面部检测器，用于检测由相机捕捉到的图像中的人的面部，该面部检测器被布置为在至少两种面部分类中检测面部；以及响应于由面部检测器在一个或更多个不同时间段检测到面部分类的频率，选择将在每天的那个时间显示在图像显示装置上的一组图像的装置。

第2012/0265616号美国专利申请总体涉及一种对动态选择广告内容有效的系统和方法。在示例中，可针对目标广告区域接收目标感官内容和标识信息。可分析目标感官内容和标识信息以确定目标广告区域的特征。基于满足预定义函数的条件的特征，可确定广告内容的子集。在一些实施例中，可在远程计算装置上执行动态选择广告内容。其他实施例可采用广告内容的子集用于目标广告区域中的消费。

第2012/0243751号美国专利申请总体涉及在人上收集的并用于分析情感的面部信息。面部信息可用于确定描绘人们在脸上所具有的默认表情的基准面孔。与该基准面孔的偏差可用于估计情感并还可用于推测心理状态。可针对各种表情（包括笑、皱眉和眯眼）为面部图像自动打分。可在该基准面孔分析期间使用图像描述符和图像分类符。

发明内容

在第一说明性实施例中，一种系统包括被配置为接收广告的处理器。所述处理器还被配置为将广告呈现给车辆乘员。所述处理器还被配置为：使用车辆相机可视地记录广告呈现的过程期间的乘员响应。所述处理器还被配置为分析可视地记录的响应以估计用户对于广告的反应，以及基于所述分析针对呈现的广告调整广告变量度量。

广告呈现包括可视呈现。

广告呈现包括可听呈现。

处理器被配置为通过车辆相机记录用户响应。

用户响应包括面部表情。

对面部表情的分析得出确定的用户情感状态。

利用用户对广告的基于情感状态的响应，使用用户情感状态来更新用户资料。

在第二说明性实施例中，一种系统包括被配置为接收包括面部识别传送指令的广告的处理器。所述处理器还被配置为使用车辆相机捕捉车辆乘员的图像或视频以记录用户表情状态。所述处理器还被配置为分析用户表情状态，以及当用户表情状态符合面部识别传送指令时，传送广告。

面部识别传送指令包括用于在面部状态与特定情感相应期间传送广告的指令。

面部识别传送指令至少部分地基于先前观察到的响应，其中，在所述响应下，利用积极记录的响应传送相似广告。

随预定义片段中的广告传送的过程，记录面部表情。

处理器还被配置为：在广告传送期间记录用户面部表情，并利用用户对广告的基于记录的用户面部表情的响应来更新用户资料。

在广告响应的更新期间对预定义片段进行关联以对应于特定广告片段。

在第三说明性实施例中，一种计算机实现的方法包括接收包括面部识别传送指令的广告。所述方法还包括使用车辆相机捕捉车辆乘员的图像或视频以记录用户表情状态。此外，所述方法包括分析用户表情状态，以及当用户表情状态符合面部识别传送指令时，传送广告。

面部识别传送指令包括用于在面部状态与特定情感相应期间传送广告的指令。

面部识别传送指令至少部分地基于先前观察到的响应，其中，在所述响应下，利用积极记录的响应传送相似广告。

随预定义片段中的广告传送的过程，记录面部表情。

所述方法还包括：在广告传送期间记录用户面部表情，并利用用户对广告的基于记录的用户面部表情的响应来更新用户资料。

在广告响应的更新期间对预定义片段进行关联以对应于特定广告片段。

附图说明

图1示出说明性的车辆计算系统；

图2A、图2B、图2C和图2D示出示例性面部表情和分析；

图3示出用于分析面部表情的说明性处理；

图4示出说明性广告分析系统；

图5示出用于广告数据收集的说明性处理；

图6示出用于广告数据收集的第二说明性处理；

图7示出富媒体播放器环境中的面部识别的说明性示例；

图8示出用于广告估计的情绪测试的示例。

具体实施方式

根据需要，在此公开本发明的详细实施例；然而，将理解的是，所公开的实施例仅仅是本发明的示例，本发明可以以各种替代形式实现。附图无需按比例绘制；可夸大或最小化一些特征以示出特定组件的细节。因此，在此公开的具体结构和功能细节将不被解释为限制，而仅仅是作为用于教导本领域技术人员以各种方式利用本发明的代表性基础。

图1示出针对车辆31的基于车辆的计算系统（VCS）1的示例框式拓扑图。这种基于车辆的计算系统1的示例是由福特汽车公司制造的SYNC系统。设置有基于车辆的计算系统的车辆可包含位于车辆中的可视前端界面4。如果设置有例如触敏屏幕，则用户还能够与所述界面交互。在另一说明性实施例中，通过按钮按压、可听语音和语音合成来进行交互。

在图1中所示的说明性实施例1中，处理器3控制基于车辆的计算系统的操作的至少某部分。设置在车辆中的处理器允许命令和程序的车载处理。此外，处理器连接到非永久性存储器5和永久性存储器7两者。在该说明性性实施例中，非永久性存储器是随机存取存储器（RAM），而永久性存储器是硬盘驱动器（HDD）或闪存。

处理器还设置有允许用户与处理器进行交互的多个不同的输入。在该说明性实施例中，麦克风29、辅助输入25（用于输入33）、USB输入23、GPS输入24、和蓝牙输入15均被提供。还设置有输入选择器51，以允许用户在各种输入之间互换。在对麦克风和辅助连接器两者的输入被传送到处理器之前，通过转换器27将所述输入从模拟转换为数字。尽管未示出，但是与VCS进行通信的多个车辆组件和辅助组件可使用车辆网络（诸如但不限于CAN总线）以向VCS（或其组件）传送数据并传送来自于VCS（或其组件）的数据。

对系统的输出可包括但不限于可视显示器4以及扬声器13或立体声系统输出。扬声器连接到放大器11并通过数模转换器9从处理器3接收其信号。还可分别沿19和21所示的双向数据流产生到远程蓝牙装置（诸如PND54）或USB装置（诸如车辆导航装置60）的输出。

在一说明性实施例中，系统1使用蓝牙收发器15与用户的移动装置53（例如，蜂窝电话、智能电话、PDA或具有无线远程网络连接能力的任何其它装置）进行通信17。移动装置随后可用于通过例如与蜂窝塔57的通信55来与车辆31外部的网络61进行通信59。在一些实施例中，蜂窝塔57可以是WiFi接入点。

移动装置和蓝牙收发器之间的示例性通信由信号14表示。

可通过按钮52或相似输入来指示移动装置53与蓝牙收发器15进行配对。因此，CPU被指示车载蓝牙收发器将与移动装置中的蓝牙收发器进行配对。

可利用例如与移动装置53关联的数据计划、话上数据或DTMF音调在CPU3和网络61之间传送数据。可选择地，可期望包括具有天线18的车载调制解调器63以便在CPU3和网络61之间通过语音频带传送数据16。移动装置53随后可用于通过例如与蜂窝塔57的通信55来与车辆31外部的网络61进行通信59。在一些实施例中，调制解调器63可与蜂窝塔57建立通信20，以与网络61进行通信。作为非限制性示例，调制解调器63可以是USB蜂窝调制解调器，并且通信20可以是蜂窝通信。

在一说明性实施例中，处理器设置有包括与调制解调器应用软件进行通信的API的操作系统。调制解调器应用软件可访问蓝牙收发器上的嵌入式模块或固件，以完成与（诸如设置在移动装置里的）远程蓝牙收发器的无线通信。蓝牙是IEEE802PAN（个域网）协议的子集。IEEE802LAN（局域网）协议包括WiFi并且与IEEE802PAN具有相当多的交叉功能。两者都适合于车辆内的无线通信。可以在本领域使用的另一通信方式是自由空间光通信（诸如IrDA）和非标准化消费者IR协议。

在另一实施例中，移动装置53包括用于语音频带或宽带数据通信的调制解调器。在话上数据的实施例中，当移动装置的拥有者能够在数据正被传送的同时通过装置说话时，可实现已知为频分复用的技术。在其它时间，当拥有者没有使用装置时，数据传送可使用整个带宽（在一示例中是300Hz至3.4kHz）。尽管频分复用对于车辆与互联网之间的模拟蜂窝通信而言可能是常见的并且仍在使用，但其已经很大程度上被用于数字蜂窝通信的码域多址（CDMA）、时域多址（TDMA）、空域多址（SDMA）的混合体所替代。这些都是ITU IMT-2000（3G）兼容的标准，并且为静止或者行走的用户提供高达2mbs的数据速率以及为在移动的车辆内的用户提供385kbs的数据速率。3G标准现在正被为车辆内的用户提供100mbs以及为静止的用户提供1gbs的IMT-Advanced（4G）所替代。如果用户拥有与移动装置关联的数据计划，则所述数据计划可允许宽带传输且系统可使用宽得多的带宽（加速数据传送）。在另一实施例中，移动装置53被安装至车辆31的蜂窝通信装置（未示出）所替代。在另一实施例中，移动装置53可以是能够通过例如（而非限制）802.11g网络（即WiFi）或WiMax网络进行通信的无线局域网（LAN）装置。

在一实施例中，传入数据可经由话上数据或数据计划穿过移动装置、穿过车载蓝牙收发器并进入车辆的内部处理器3。例如，在某些临时数据的情况下，数据可被存储在HDD或其它存储介质7上，直至不再需要所述数据的时候为止。

其它可与车辆接口连接的源包括：具有例如USB连接56和/或天线58的个人导航装置54、具有USB62或其它连接的车辆导航装置60、车载GPS装置24、或者具有到网络61的连接能力的远程导航系统（未示出）。USB是一类串行网络协议中的一种。IEEE1394（火线）、EIA（电子工业协会）串行协议、IEEE1284（Centronics端口）、S/PDIF（索尼/飞利浦数字互连格式）和USB-IF（USB应用者论坛）形成了装置到装置串行标准的骨干。多数协议可被实施为用于电通信或光通信。

此外，CPU能与各种其它的辅助装置65进行通信。这些装置可通过无线连接67或有线连接69来连接。辅助装置65可包括但不限于个人媒体播放器、无线保健装置、便携式计算机等。

此外或可选择地，CPU可使用例如WiFi收发器71而连接到基于车辆的无线路由器73。这可允许CPU在本地路由器73的范围内连接到远程网络。

除了具有通过位于车辆中的车辆计算系统执行的示例性处理之外，在某些实施例中，还可以通过与车辆计算系统通信的计算系统来执行示例性处理。这样的系统可包括但不限于：无线装置（例如但不限于移动电话）或者通过无线装置连接的远程计算系统（例如但不限于服务器）。总体上，这些系统可被称为车辆相关计算系统（VACS）。在某些实施例中，VACS的特定组件可根据系统的特定实施方案而执行处理的特定部分。通过示例而并非限制的方式，如果处理具有与配对的无线装置发送或者接收信息的步骤，则很可能由于无线装置不会与自身“发送和接收”信息，因此无线装置不执行该处理。本领域的普通技术人员将理解何时不适合对给定解决方案应用特定的VACS。在所有解决方案中，预期至少位于车辆内的车辆计算系统（VCS）自身能够执行示例性处理。

日益增加的人机交互大部分通过采用人的能力的机器来接近人人交互的能力。计算机可将其自身表现为具有拟人声音、姿势和表情的虚拟化身。说明性实施例关注于使用机器视觉来识别车辆中的人的面部表情/情感表达（emotional expression）并对其做出合适的反应。

已经尝试教计算机理解人的主观情感表达并注意人的感觉如何，尤其是在广告领域中。计算机已经记录了人们对于广告的反应，如人们是否在笑、人们是否在皱眉、人们是否震惊和惊讶、甚至于人们是否在关注。面部表情/肢体表达描绘了情感响应的丰富画面，为广告、品牌效应和产品/服务满意度提供不可估量的洞察力。

当人们在车中收听节目或广告时，该情况与人们观看电视时有所不同。由车辆的几何结构和约束构建了人们的方位，并且由乘员分类系统确定他们的存在。由于行驶的线性和前向特性，乘员注视方向大多数时候是向前的。为了避免危险的视线干扰，车辆媒体目前大多数都是面向音频的。通常由于有限的尺寸，车辆记录装置一般接收头部和面部的图像而不是整个身体。

从图像确定情感将帮助测量广告有效性。这样做将使用用于识别可通过天生和普遍的表情确定的人类普遍情感的策略。两种这样做的系统是公知的。达尔文首先在他的著作《人和动物的情感表达》中通过利用人和哺乳类动物的表情来识别特定情感，并沿着进化道路跟踪动物的表情以及情感行为来处理了这个问题。由于达尔文的情感是在人和动物中观察到的（包括爱、同情、憎恶、怀疑、羡慕、嫉妒、贪婪、报复、欺骗、奉献、狡猾、内疚、虚荣、自负、野心、骄傲、谦卑），因此它们被认为是普遍性的。

最近，由Paul Ekman和他的同事开发的面部运动编码系统（FACS）已经被广泛使用。FACS系统识别可通过自动识别或人群来源识别可靠地确定的七种基本普遍情感：愤怒、厌恶、恐惧、高兴、悲伤、惊讶和中性。它们是中脑边缘系统的情感并可被组合地且利用估计强度来识别。它们被广泛认为是普遍且非自主的。已经开发出多种面部表情识别算法，并将其在来自诸如NVISO、Visual Recognition、Noldus FaceReader等的商业软件中实施。

图2A至图2D示出根据FACS的示例性面部表情和分析。考虑眉毛201、211、221、231、眼203、213、223、233以及嘴205、215、225、235来确定表情中的情感内容的各种程度。

针对每个面部表情，存在可被确定的多个可能的情感。在该说明性示例中，情感是惊讶、高兴、悲伤、疑惑、厌恶、愤怒和正常。如果需要则还可以添加其他情感。

每个情感还具有与其相关联的可信度，在该示例中是从0到1。如从图2A可以看出，在眉毛201相对静止、眼203处于标准开度、且嘴大部分静止的情感状态下，情感状态209最对应的是“正常”。这可代表基准表情。

在图2B中，眉毛211变平、眼213变窄且嘴唇215向下弯曲。基于这些观察，当前的新情感状态219对应可信度最高的是“悲伤”，虽然疑惑紧随其后。

在图2C中，眉毛221当前扬起，眼223张大且嘴225也张大。这个新表情229与“惊讶”最符合，尽管该表情与“高兴”也高度符合。

最后，在图2D中，眉毛231在有点变平，眼233稍微变窄且嘴235向上弯。该表情239与“高兴”具有最高符合程度。

当应对驾驶员（该驾驶员在驾驶期间通过VCS与计算机通信，从而有可能与广告交互、进行购买或对某些服务给出评价（例如，对于经销商服务的满意度））时，对主观情感表达的检测可发挥重要作用。目前，用户对于这样的系统的一个抱怨是系统通常不能对“对话式”会话进行良好响应。

四岁的小孩对于带有情感的对话语句的理解可能比花费上百万美元开发出的计算系统的精确度更高。这是由于这些系统通常根据关键词来操作，且还由于这些系统不能体会上下文且不理解任何情感。另一方面，人们可能偏向于利用非言语的情感表达说出主观的话语，这与由通常是客观表达的一连串话语组成的对话相反。取代在经销商服务体验之后的明确的评级评价，车辆乘员可例如带有不同情感（语调）或给出面部表情（明显的笑容或中性）地说出“它很好”，即使是相同的人，这样的“它很好”也可能基于面部表情、语调或姿势而具有完全不同的含义。

针对车辆中的广告空间（以及获得产品/服务评价）的竞争变得越来越激烈。在打印媒介中使用的广告方法现在已经转移到在线广告，并开始用于车辆中。说明性实施例提供一种用于测量车内广告的影响过程、车内广告的有效性以及对产品/服务售后的满意度（包括主观情感表达）的安全方式，并还可在该区域中收集数据以更多地理解关于人类情感表达。

示例性的说明性广告系统由前端人机接口、机器学习系统和表情（面部）识别系统以及后端控制系统构成。此外，为了便携性并为了增强学习能力，所述系统使用基于云的存储和计算。前端人机接口可与驾驶员通信并基于很多现有选项（语音、触摸或面部表情/情感表达、触觉（相机、方向盘、座椅和控制）等）接收言语和非言语的输入。针对图4提供对该系统的更多讨论。

图3示出用于分析面部表情的说明性处理。在该说明性示例中，在301，所述处理在用户处于车辆中的某时间点开始。在该示例中，用户可以是车辆相机的可视范围内的任何乘员。通过面部识别，VCS可识别在相机可视范围内将被监视的乘员。在303，所述处理扫描任何潜在可识别的对象/乘员，并在307确定用户是否在车辆数据库中。

如果用户在数据库中，则在309，所述处理检索与用户相关的信息。在识别了用户之后，可回顾并分析该用户过去的广告点击历史。在311，所述系统开始通过使用面部/姿势/语调表达识别软件来学习如何解释用户的主观情感表达。

如果对于系统而言用户是新用户，则使用现有一般模型作为开始点，并且基于来自用户的反馈，系统随着每次使用快速变得更好，并随着时间越来越好地理解非言语表达的含义。机器学习处理基于统计方法，其中，所述统计方法的示例包括对环境掠夺者（contextual bandit）、贝叶斯学习或人工神经网络的使用。一旦系统开发出用户的心理测量映射模型，具有相机的系统就可采用主观情感输入（例如，面部表情）并将量化的命令（例如，是或否、好或坏）传送到车辆控制系统。

前端控制应用在车辆中运行并使用包括相机的对话系统以：a)与用户交互并获得对于广告、生意、产品推荐、服务等的反馈；b)记录用户的反馈和肢体表达。基于云的信息过滤器（后端控制系统）：a)处理输入数据，获得相关用户信息，b)过滤用户响应并去除不需要的信息；c)对用户表情进行分类和索引，将用户反馈动态地聚类为组并将它们与用户信息（人群统计信息、车辆信息）融合。在任何时刻，广告商可做出请求并且系统将获取相关信息输入。此外，机器学习软件可处理个人驾驶员的历史数据，并随着时间而越来越好地识别该驾驶员的非言语表达。

例如，如果驾驶员刚刚完成经销商服务访问并返回车中，则车辆可识别驾驶员并询问对这次体验的评价。驾驶员可能说“好”或只是大笑了一下或者竖起了大拇指。该评价响应通过车辆内的相机被非言语地记录。可通过控制应用首先将输入发送到消息云。消息过滤器将处理表情，识别情感表达，随后将其链接到评价结果（打分）。在车辆将结果连同驾驶员信息（VIN号、人群统计信息）一起发送到广告商或服务提供商（例如经销商）之后，广告商可随后确定如何应对。

基于观察到的言语和非言语的响应，系统尝试估计驾驶员是不感兴趣（例如中性表情）或不满意（313）、一般感兴趣或一般满意（315）还是非常感兴趣或非常满意（317）。如果用户不感兴趣或不满意，则所述处理可在319询问问题或尝试找到用户以该态度反应的原因。如果用户满意、感兴趣或非常感兴趣，则所述处理可在321（在现在或未来）推荐相似服务或广告。用户对于各种服务和广告的反应还可被存储在数据库中以用于以后的参考。

图4示出说明性广告分析系统。在该说明性示例中，VCS模块包含可与在电话或其他移动装置403上运行的应用通信的应用链接模块。例如，该模块可将广告数据馈送到移动装置（如果提供了广告的话），从而可基于观察到的用户偏好推荐特定广告。在该说明性实施例中，OEM接口应用417在应用419和应用链接模块之间的移动装置上运行。

还提供非言语表达记录器413作为VCS的一部分。其记录由广告产生的视觉表达。结合该记录，应用或来自应用的广告可发送关于广告的数据，从而记录器可知晓广告的上下文来估计广告。例如而非限制，针对麦当劳的广告可具有与其相关联的诸如“快餐”、“食物”和“汉堡包”的标签。当表达记录器测量表达以估计对于广告的响应时，所述处理可确定用户喜欢还是不喜欢与这些标签相关的广告。来自其他卖家的其他广告可只具有与其相关联的一些标签，因此可通过重复的观察分类出用户针对特定标签的反应。例如，另一广告可能是针对FIVE GUYS HAMBURGERS。如果该广告仅具有与其相关联的“食物”和“汉堡包”，并且用户对该广告的响应是喜欢而对麦当劳的广告的响应是不喜欢，则可猜测用户不喜欢麦当劳，不喜欢快餐或者在呈现麦当劳广告的时候不饿（还有其它可能结论）。通过重复观察和过滤，可确定复杂的用户偏好的集合。

在该示例中的VCS401还包括可用于广告回放的媒体播放器415。还将输入提供给VCS的是HMI（人机接口）407和车辆系统409。

HMI包括但不限于诸如相机、扬声器、语音识别功能、方向盘输入、仪表盘和触摸屏显示器的元件。车辆系统包括但不限于导航功能和硬件、驾驶员状态测量（诸如工作负荷估计器和驾驶员高兴度估计）、车辆识别信息和驾驶员历史（即，驾驶员资料）。

通过移动装置，VCS还与云405通信。所述云提供高级计算资源，所述资源可包括服务器421、数据管理器423、广告服务器425和学习软件427。由于在车辆中可能难以包括用于分析面部表情的足够的计算能力，因此所述云可提供用于面部分析目的的更多计算资源。可将表情的图像、或对图像数据点的测量或其他的表达相关数据发送到云以用于进一步的分析和估计。

图5示出用于广告数据收集的说明性处理。在该说明性示例中，在501，所述处理通过在车辆上播放广告开始。除了被呈现给用户之外，该广告还可具有与其相关联的对于跟踪用户对广告以及相似类型的广告的反应有用的数据。例如，由于用户可能在午餐时间对基于食物的广告表示更关心，因此还可跟踪时间数据、环境数据和其他数据。类似地，当下雨时，用户可能更倾向于利用免下车餐厅。

在播放广告时，在503，面部识别软件启用并开始记录用户情感并为用户情感打上时间戳。可通过相机的使用记录这些用户情感，将这些用户情感打上时间戳以与广告进行比较（甚至是下至广告的分数部分），并如图2A至图2D中所示进行估计。在505，还可从车辆BS收集车辆环境信息。车辆环境信息可包括关于车辆状态（速度、位置）的信息、关于用户（乘客数量、重量、大小）的信息、环境信息（天气、交通量）以及任何其他的有用信息。

在该示例中，系统在507至少测量乘员的数量并在507测量驾驶员分心等级。驾驶员分心可以是对驾驶员可能给予任意广告多少注意力的有用指示符，并可被用于脾气分析。例如，如果驾驶员高度分心且交通量大，则“愤怒”的响应可能与广告无关。

在509，一旦广告结束，所述处理可估计随着广告时间的面部表情的范围，估计环境信息并估计任何其它的相关变量。在513，该信息可用于更新广告数据，并且在515还可将对特定广告的估计添加到用户资料以用于更新。

图6示出用于广告数据收集的第二说明性实施例。在该说明性实施例中，广告关键针对（key）特定情感状态。例如，当用户明显愤怒的时候可能不期望播放广告，这是由于广告商可能不希望他们的产品被无意识地与愤怒相关联。广告商甚至可以对在用户处于特定情感状态时播放广告支付额外红利。

在该处理中，在601，面部识别软件开始基于表情检测情感状态。如在图2A至图2D中所示，可估计表情以用于分析驾驶员情感状态。在603，当达到期望的情感状态时，广告开始播放。

当广告播放时，在605，面部识别软件再次开始记录用户情感状态并为响应打上时间戳。这对于确定当在特定情感状态下呈现广告时广告有多成功是有用的。例如，如果人处于“悲伤”状态，并且最喜欢的食物的广告被播放，则此（可能在食物中找到安慰的）人可能从“悲伤”转移到“正常”。情感估计还可与用户行为（即，如果车辆在接下来的5分钟内访问餐馆）相结合以用于进一步分析。知道用户在特定食物或一般的食物中得到安慰之后，可以建议在用户处于“悲伤”状态时提供食物广告。

类似的，可能没有来自用户的响应，或者用户的状态可能从“低落”状态（诸如“悲伤”）转移到“更糟”状态（诸如“愤怒”）。如果在“悲伤”状态下播放的广告与使得用户“愤怒”的广告之间存在可测量的相关性，则可建议在“悲伤”状态期间避免该广告（或类似的其他广告）。

如前所述，在607，还可收集车辆环境信息。该信息包括任何可测量的或可报告的变量，该变量可用于确定可估计广告的成功的环境。虽然在存在多个变量的情况下可能难以基于给定变量辨别用户响应，但是长期分析可帮助细化针对任何给定变量的特定因子。

此外，在该实施例中，乘员的数量和分心的等级被测量，与之前在图5中示出的示例的情况相同。

一旦广告结束，所述处理就可再次分析随时间的面部识别、环境信息和其他可能对于反应有效果和/或可被估计与给定反应的关系的合适变量。当变量对于反应“有效果”时，这意味着在通常观察到的情况下（其他变量都是中性的），该变量倾向于产生被识别的效果（例如，时间=午餐时间，效果=通常对于食物广告的积极响应）。因此，在该观察到的情况下，基于用户在午餐时间对广告的视觉响应，可建议在时间变量等于“午餐时间”（或饭点或等同物）时传送食物广告。

类似地，特定变量可能与给定反应有关系。例如，如果用户“高兴”，则他们可能更倾向于进行“冲动购买”。广告商通常知道他们的产品是否被认为是“冲动购买”，并且（在此非限制模型下）更期望在对应于“高兴”的用户状态期间播放“冲动购买”广告。

此外，在615，可基于观察到的响应更新针对每个广告的广告数据。在617，该数据可被上传到用户资料。该数据还可被保存在其他资料，诸如“组资料”。“组资料”是当在一组人在场的情况下播放广告时识别组响应的资料。“组资料”可包括特定成员、人群统计类型成员（例如，成人和小孩）或只是与在场的任何人的组相关。

图7示出富媒体播放器环境中的面部识别的说明性示例。在该说明性示例中，所述处理以与针对图6的方式相同的方式开始。在701，面部识别处理启用，在703，当识别出或“猜测到”正确的情感时，将回放广告内容。

当广告正在播放时，在705，面部识别软件继续查看并记录情感状态。此外，在该说明性示例中，所述状态被打上时间戳，然而在另一模型中，还可以测量随着广告的进行的平均状态。

在该示例中，在707，广告有机会动态地适应驾驶员响应。在此示出多个状态，尽管在合适的情况下广告可使用更少或更多的状态。此外，为了分支目的，可将特定状态聚为一组。也就是说，已被确定为对相似类型的广告透露出相似响应的状态可造成被播放的广告的相似分支。

在该示例中，分支是基于具有与其相关联的动态内容的广告。例如，商场广告可提供一些普遍的针对在商场购物的鼓励。由于商场具有多个商店和餐馆，因此有机会针对特定用户定制广告。例如，如果用户悲伤，但是在播放基于食物的广告时变得高兴，则商场广告可在大体上广告了商场之后分支到食物广告。类似地，如果在用户高兴时用户倾向于对服装广告做出积极响应，则商场广告可在用户高兴时分支到服装广告。

在说明性实施例中，以非限制性方式呈现与七个情感状态相应的广告的七个分支。基于用户是惊讶（709）、悲伤（711）、高兴（713）、愤怒（715）、傲慢（717）、沮丧（719）还是中性（721），可播放不同的广告片段。在该示例中，可播放与各种情感相应的片段722、723、725、727、729、731、733，但是如所叙述的，可以对任意数量的片段分组。此外或可选择地，可基于需要的其他情感添加其他片段。

最后，在735，可播放结束片段，其中，所述结束片段可包括例如基于先前片段的动态内容，或可只是静态片段。在适当的情况下，随后在737，广告可被重复或可结束。

图8示出用于广告估计的情绪测试的示例。在该说明性实施例中，特定广告被发送到车辆以用于情绪测试。例如，如果卖家开发出可能是有问题的应用的广告，则该卖家可能希望在正常发行前在多个用户中测试该广告以及用户状态，以获得对广告何时有可能获得测试成功的感知。

在801，将包括情绪测试指令的广告发送到车辆。在适当的时间，广告可在车辆中回放。在803，这可包括基于预定义的回放间隔的多次回放。此外，在805，基于在预设间隔之后的时间（该时间可用于估计随时间的反应），所述处理将执行情绪测试。

例如，在807，测试可开始于询问关于乘员对产品的观点的问题。作为响应，在809，驾驶员可提供关于产品和加入意见的输入。此外，在811，车内相机可记录图像和时间戳。在813，可分析这些图像和时间戳并将它们与呈现的广告的时刻相关联。

此外，在815，可在驾驶员说出特定词语时针对可测量的情感分析图像。由于在该说明性实施例中对语音提供测量，因此在面部识别分析中可忽略嘴。在另一示例中，仅在不测量语音输入的情况下可包括嘴部。

在817，问问题的时间和问题被回答的时间之间的时间延迟被记录为针对问题的熟悉度的测量。此外，在819，在适当的情况下，基于测量的因子和变量来记录和更新广告及可关联测量的索引。此外，在821，可记录基于观察到的索引的广告有效性。

虽然以上已经描述了示例性实施例，但是这些实施例不意图描述本发明的所有可能形式。相反，在本说明书中使用的词语是描述的词语而非限制的词语，应理解，在不脱离本发明的精神和范围的情况下，可进行各种改变。此外，各种实现实施例的特征可被组合以形成本发明的进一步的实施例。

Claims (10)

1.一种计算机实现的方法，包括：

接收广告；

将广告呈现给车辆乘员；

使用车辆相机可视地记录广告呈现的过程期间的乘员响应；

分析可视地记录的响应以估计用户对于广告的反应；

基于所述分析针对呈现的广告调整广告变量度量。

2.如权利要求1所述的方法，其中，广告呈现包括可视呈现和可听呈现中的至少一种。

3.如权利要求1所述的方法，其中，所述记录包括通过车辆相机记录用户响应。

4.如权利要求1所述的方法，其中，用户响应包括面部表情。

5.如权利要求4所述的方法，其中，对面部表情的分析得出确定的用户情感状态。

6.如权利要求5所述的方法，其中，利用用户对广告的基于情感状态的响应，使用用户情感状态来更新用户资料。

7.一种计算机实现的方法，包括：

接收包括面部识别传送指令的广告；

使用车辆相机捕捉车辆乘员的图像或视频以记录用户表情状态；

分析用户表情状态；

当用户表情状态符合面部识别传送指令时，传送广告。

8.如权利要求7所述的方法，其中，面部识别传送指令包括用于在面部状态与特定情感相应期间传送广告的指令。

9.如权利要求7所述的方法，其中，面部识别传送指令至少部分地基于先前观察到的响应，其中，在所述响应下，利用积极记录的响应传送相似广告。

10.如权利要求7所述的系统，其中，随预定义片段中的广告传送的过程，记录面部表情。