CN104252229A - 用于通过跟踪驾驶员眼睛视线来检测驾驶员是否对广告感兴趣的设备和方法 - Google Patents

Abstract

一种用于向车辆或可佩带外壳提供广告的控制器，以及一种计算机可读介质，其在由一个或多个处理器执行时执行操作来向所述车辆或可佩带外壳提供广告。第一信号输入端接收第一摄像机信号，第二信号输入端接收第二摄像机信号，并且至少一个信号输出端向至少一个声换能器进行传输，所述声换能器向用户提供音频广告。可布置在所述控制器内的计算机逻辑确定广告的所捕获图像的方向与用户眼睛视线的方向是否彼此对应，且如果彼此对应，那么所述计算机逻辑将音频广告输出到音频换能器。

Description

用于通过跟踪驾驶员眼睛视线来检测驾驶员是否对广告感兴趣的设备和方法

相关申请的交叉引用

本申请要求2013年6月28日提交的美国临时申请序列号61/840,965的权益，所述临时申请的全部内容以引用的方式并入本文。

技术领域

本文所公开的方面一般涉及用于通过跟踪驾驶员眼睛视线方向来检测驾驶员是否对视觉广告感兴趣，以便将通常与视觉广告相关的音频广告提供给驾驶员的装置和方法。

背景技术

为了引起兴趣，提供许多不同类型的广告来显示给车辆上的驾驶员。驾驶员在驾驶时可能会观看视觉街头广告(例如广告牌)，并试图记住广告上提供的信息。在某些情况下，驾驶员可能需要将他/她的视线从道路上移开来理解广告上的信息，从而从驾驶车辆的任务中分散注意力。许多街头广告并未针对观看者来定制，因为它们通常在本质上是静态的。这样的静态街头广告并不具备察觉到观看者偏好的能力，并且一般不能包括太多的信息，以保持可读性。此外，广播广告在大多数情况下对于驾驶员是没有意义的，因为它们既不是个性化的，也不是定制的。

发明内容

控制器的实施方案可向用户提供广告。所述控制器可以包括第一信号输入端，其接收第一摄像机信号，所述第一摄像机信号指示用户正在观看的方向。所述控制器还可以包括第二信号输入端，其接收第二摄像机信号，所述第二摄像机信号包括来自周围环境的一个或多个广告的所捕获图像。所述控制器还可以包括信号输出端，其驱动至少一个声换能器。所述控制器还可以包括计算机逻辑，其经过编程来确定朝向广告的所捕获图像中的每一个的方向，以及用户正在观看的所指示方向是否对应于广告的所捕获图像的方向。在确定所述两个方向对应之后，所述计算机逻辑可确定一个或多个广告的情境，并通过所述信号输出端来输出对应于所确定情境的音频广告。

在各种实施方案中，用于提供广告的控制器可以提供在可佩带装置中。所述控制器可以包括第一信号输入端，其可以接收第一摄像机信号，所述第一摄像机信号指示眼睛视线方向。所述控制器还可以包括第二信号输入端，其可以接收第二摄像机信号，所述第二摄像机信号包括来自周围环境的一个或多个广告的所捕获图像。所述控制器可以包括信号输出端，其驱动至少一个声换能器。所述控制器还可以包括计算机逻辑，其经过编程来确定广告的所捕获图像中的每一个的方向，以及所指示的眼睛视线方向是否对应于广告的所捕获图像中的一个的所确定方向。在证实所述两个方向对应之后，所述计算机逻辑可确定一个或多个广告中的一个的情境，并向所述信号输出端输出广告的音频信号，所述广告的情境与一个或多个广告中的所述一个的情境相匹配。所述第一摄像机提供第一摄像机信号，所述至少一个第二摄像机提供第二摄像机信号，并且所述至少一个声换能器可以布置在至少一个可佩带外壳中。

包括程序的计算机可读介质可以在所述程序由处理器中的一个或多个执行时执行操作，所述处理器输入视觉广告并且向用户输出相应的音频广告。所述程序可确定用户正在观看的方向。然后，所述程序可以确定用户周围的多个广告的位置以及用户是否正在对应于所述多个广告中的一个的方向上观看。所述程序可确定正在观看的广告的情境。所述程序可以输出音频广告，所述音频广告的情境对应于正在观看的广告的情境。

上述优点和其它各种优点和特征可以从以下结合附图进行的对一个或多个代表性实施方案的详细描述中显而易见。

附图说明

在所附权利要求书中特定指出本公开的实施方案。然而，通过参考以下详细描述以及附图，各种实施方案的其它特征将变得更加明显，并将得到最好的理解：

图1是根据各种实施方案的系统控制器的方框图；

图2是布置在轿车中的根据各种实施方案的系统的一个实施方案的方框图；

图3示出基于来自用户正在观看的视觉广告的情境向用户提供音频广告的方法；

图4是布置在轿车中的根据各种实施方案的系统的一个实施方案的方框图；

图5A示出基于来自用户正在观看的视觉广告的情境向用户提供音频广告的方法；

图5B示出基于来自用户正在观看的视觉广告的情境向用户提供音频广告的方法；

图6示出用于确定驾驶员是否在观看广告的示例性场景；

图7是布置在轿车中的根据各种实施方案的系统的一个实施方案的方框图；

图8示出基于来自用户正在观看的视觉广告的情境向用户提供音频广告的方法；

图9描绘示出用于确定用户正在观看哪一个广告的方法的示例性场景；

图10描绘示出用于确定用户正在观看哪一个广告的方法的示例性场景；并且

图11描绘示出用于确定用户正在观看的广告的情境的方法的示例性场景。

具体实施方式

按照要求，本文公开了本发明的详细实施方案；然而，应理解的是，所公开的实施方案仅仅是本发明的示例，所述实施方案可以体现为各种替代形式。附图不一定是按比例绘制；某些特征可能被夸大或最小化以显示特定部件的细节。因此，本文中公开的特定结构细节和功能细节不应被解释为是限制性的，而是仅仅作为教导本领域技术人员以不同方式运用本发明的代表性基础。

本公开的实施方案通常提供多个电路或其它电气装置。所有提到的电路和其它电气装置及其各自所提供的功能性并不意图限于仅包括本文所示出和描述的。虽然可以将特定的标签分配给所公开的各种电路或其它电气装置，但是这样的标签并不意图限制电路和其它电气装置的操作范围。基于所期望的电气实行方案的特定类型，这样的电路和其它电气装置可以任何方式彼此组合和/或分开。

应认识到，本文所公开的任何电路或其它电气装置可以包括任意数量的微处理器、集成电路、存储器装置(例如，闪存、随机存取存储器(RAM)、只读存储器(ROM)、电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)，或上述存储器的其它合适的变体)以及软件，上述各者彼此合作来执行本文所公开的操作。此外，本文所公开的电气装置中的任何一个或多个可以被配置来执行体现在非暂时性计算机可读介质上的计算机程序，其被编程来执行本文所公开的任何数量的功能。

本文描述的各种实施方案可提供与用户感兴趣的广告(例如，广告牌)有关的定制音频广告。可以以一种使驾驶员的注意力分散减少到最低限度的方式向驾驶员提供关于感兴趣的特定产品/公司/服务的信息。

除了广告外，用户还可以查看道路标志(例如，与事故或其它前方道路危险、道路封闭、行驶路线、绕道和/或出口相关)来触发与道路标志相关的音频信息的输出。所述系统还可以用于其它视觉信息。例如，驾驶员可以查看道路标志，如交通或道路危险警告、公路立交信息等，以使得用户可以接收补充所述视觉信息的音频数据。用户可以查看的视觉广告和/或其它信息在本文中称为视觉信息。

各种实施方案可以布置在车辆上以使得可以通过车辆上的音频系统来播放与驾驶员所观看的广告牌或其它广告相关的音频广告。其它各种实施方案可以基于通过眼睛视线跟踪、图像辨识和/或位置数据来观察到的用户对广告(例如广告牌)感兴趣，来向可佩带外壳提供定制的音频广告。同样可以便利的方式向用户提供关于感兴趣的特定产品/公司/服务的信息。

实施方案可以包括各种多模式设备，所述设备尤其可以观察驾驶员的眼睛视线并且检测对广告和其它形式的视觉广告的扫视，以使得响应于用户对广告牌感兴趣，可以通过车载或便携式信息娱乐系统来播放相关的音频广告。这样的实施方案可以通过但不限于用户的扫视时间长度或检测到多次扫视同一个广告牌来理解用户对特定视觉广告感兴趣。响应于用户对视觉广告感兴趣，可以通过信息娱乐系统来播放与视觉广告的内容相关的特定音频广告，从而为用户提供有关在视觉广告中宣传的产品、公司、服务等的更多信息。

这样的音频广告可以定制为包括针对用户的个性化信息。例如，可提供关于在最靠近用户当前位置的位置购买产品的信息。通过允许访问用户的个人数据(例如，驾驶员的位置、前进方向、导航目的地、确切路线、驾驶员以前对产品感兴趣等)，可将定制体验解锁来提供量身定制的广告，这些广告可能包括特别优惠或具体报价。

在各种实施方案中，驾驶员可以收集信息并接收有用的广告，而不会从首要的驾驶任务中分散注意力。通过检测驾驶员与广告牌的长时间和/或多次目光接触，本文所公开的各种实施方案可以提供驾驶员感兴趣的有意义并且情境化的广告。可以基于驾驶员在驾驶时观看哪些广告牌和广告来定制信息，并且可以向驾驶员提供详细的听觉信息，以使得驾驶员在试图阅读街头广告上的细节时不分散注意力。驾驶员可以将他/她的视线保持在道路上，并通过车载信息娱乐系统接收感兴趣的信息，而无需在小键盘或键盘上打字或无需说出命令，从而将驾驶员的注意力分散减少到最低限度。

在各种实施方案中，用户也可在非车辆通行期间(例如，在步行或骑自行车时)接收与视觉广告(例如，广告牌)相关的音频广告。在各种实施方案中，控制器可以检测用户与视觉广告的长时间和/或多次目光接触。然后，控制器可以将与视觉广告相关的音频广告输出到音频换能器(例如，扬声器)。可以基于用户在通行过程中观看哪些广告牌和广告来定制信息，并且可以向用户提供详细的听觉信息。用户可以方便地接收广告而不会干扰用户的活动。

现在参看图1，在各种实施方案中，控制器108可包括第一信号输入端102和第二信号输入端104。控制器108还可以包括信号输出端106。第一信号输入端102可以接收第一摄像机信号。第一摄像机信号可以从第一数字成像仪(例如，数字摄像机)传输而来，其可以指示用户的眼睛视线方向。第二信号输入端104可以从第二数字成像仪(例如，数字摄像机)接收第二摄像机信号，所述第二数字成像仪可以捕获用户环境的至少一部分的图像。在一些情况下，多个数字成像仪可组合起来使用，以提供用户环境的更大的视野。信号输出端106可以将信号传输到声换能器，声换能器又可以将所传输的信号再现为音频(例如，音频广告)。在各种实施方案中，控制器108可以包括计算机处理器110(在本文中也可称为“计算机逻辑”)。计算机处理器110可以分析用户环境的所捕获图像，来识别广告中的广告。计算机处理器110可以分析在第一信号输入端102上接收到的第一摄像机信号和在第二信号输入端104上接收到的第二摄像机信号，来确定所指示的眼睛视线方向是否对应于用户环境的所捕获图像中的所识别广告的方向。如果计算机处理器110确定来自第一摄像机信号的所指示眼睛视线方向对应于来自第二摄像机信号的所识别广告的方向，那么计算机处理器110可以将输出信号(例如，与所识别广告相关的音频广告)传输到信号输出端106。

在各种实施方案中，控制器108可以包括存储器模块114，其可以存储多个音频广告。处理器110可以从多个音频广告中选择与来自第二摄像机信号的所识别广告相关的特定音频广告。然后，处理器110可以输出选定的音频广告。例如，每个音频广告可以存储为计算机音频文件(例如，MP3文件)，以使得计算机处理器110可以选择文件并且执行文件。执行这样的声音文件可以产生音频信号，所述音频信号可以由计算机处理器110输出到信号输出端106。在各种实施方案中，控制器108可包括数据收发器112(例如，Wi-Fi或蜂窝数据连接)，其使得处理器110能够与远程计算机系统通信。远程计算机系统可以包括音频广告的数据库。处理器110可以通过数据收发器112与远程计算机系统通信，以检索音频广告。在各种实施方案中，控制器108可以将在存储器114中本地存储的音频广告与通过数据收发器112在远程计算机系统上访问的音频广告组合起来。

在各种实施方案中，计算机处理器110可确定哪个音频广告与来自第二摄像机信号的所识别广告相关。例如，处理器110可以使用图像辨识来识别所识别广告中的人、物体或场所，以识别所述广告的情境(例如，企业或产品的名称或标识)。作为另一个实例，处理器110可以使用文字辨识来识别情境。在各种其它实施方案中，处理器110可以通过数据收发器112将所识别广告的图像发送到远程计算机系统，以使远程计算机系统能够执行图像分析。

图2示出用于提供与轿车的驾驶员所查看的广告相对应的音频广告的系统10的实施方案。系统10可以包括系统控制器13和定位在车辆16周围的眼睛视线跟踪器系统14。例如，眼睛视线跟踪器系统14可以包括一个或多个眼睛视线传感器，所述传感器布置在车厢中，用来检测驾驶员22的头部位置和/或眼睛视线方向。在各种实施方案中，眼睛视线跟踪器系统14可以包括任何数量的眼睛视线传感器(例如，摄像机)和眼睛视线控制器(未示出)。系统10还可以包括信息娱乐系统18。例如，信息娱乐系统18可以包括显示屏(例如，汽车中的显示屏，其显示导航数据、气候控制设置、广播电台等中的一个或多个)和车辆收音机。信息娱乐系统18可连接到车载扬声器24。系统12还可以包括定位在车辆16周围的一个或多个面向外部(或前方)的摄像机20(以下称为“摄像机20”)。系统控制器13可以与眼睛视线跟踪器系统14和摄像机20通信，以便执行本文所公开的各种操作。系统控制器13可以整合在信息娱乐系统18内，或可以在信息娱乐系统18的外部实施。

眼睛视线跟踪器系统14可以被配置来检测并跟踪驾驶员22在驾驶时的眼睛视线方向。眼睛视线跟踪器系统14的一个或多个眼睛视线传感器可以安装在车辆16的仪表板上、车辆16的顶蓬(或车顶)上，或安装在有利于使眼睛视线传感器面对驾驶员的脸的任何其它位置。眼睛视线传感器的实例由和SmartEye AB提供。这样的眼睛视线传感器可以并入基于红外照明器的角膜反射跟踪。在另一个实例中，眼睛视线传感器可以是基于飞行时间的深度传感器，或立体视觉，其并入了传感器处理中间软件。这些类型的传感器的实例由PMDTec、和SeeingEyeWorks^TM提供。此外，眼睛视线传感器可以是基于红色、绿色和蓝色(RGB)的成像仪，其具有视觉处理中间软件。眼睛视线传感器也可以实施为基于激光、雷达以及超声波的传感器。

眼睛视线跟踪器系统可以连续工作，并且可以跟踪用户的眼睛视线的任何移动，从而在车辆处于运动中时测量眼睛视线方向的变化(例如，当用户在通行期间跟踪广告时，所述系统测量眼睛视线的变化速率并且计算从用户到广告的距离)。远离用户的广告将由移动较慢的眼睛视线来跟踪，相反，靠近的广告将由移动较快的眼睛视线来跟踪。

在各种实施方案中，各种眼睛视线传感器可以跟踪驾驶员22头部的定向，来代替跟踪驾驶员的眼睛视线方向。这种实行方案的实例由Seeing提出，其尤其提供了将头部定向和/或头部姿势提供为三维矢量的中间软件(faceAPI)。还应认识到，所述传感器可以用二维矢量(例如，通过提供水平头部角度)来提供头部定向。

在各种实施方案中，系统10可以被配置来确定驾驶员22是否观看广告12超过预定时间量(例如两秒)、次数超过预定量(例如，两次)和/或总累计时间超过预定量(例如，驾驶员多次观看广告，总共是两秒的累计查看时间)。这样的条件可以指示驾驶员22对广告12的内容感兴趣。系统控制器13可以触发摄像机20捕获广告12的图像，用于图像辨识。一旦辨识出广告12的图像，系统控制器13就可以将与广告12对应(即，与之相关或相关联)的相关音频广告传输到信息娱乐系统18。通过播放相应的音频广告，驾驶员22可能能够将他的视线保持在道路上(而不是观看广告一段较长的时间)，并且可以给驾驶员22呈现所述广告上并未提供的额外信息。在某些情况下，音频广告可以存储在远程计算机系统上。系统控制器13和/或信息娱乐系统18可以通过由数据收发机提供的互联网连接26来与远程计算机系统通信。

在某些实施方案中，可以为用户提供按钮，用户或驾驶员可以在暂时观看广告时按下这个按钮，以指示对广告感兴趣。允许驾驶员以这种替代方式指示感兴趣可以使系统发现感兴趣的广告所花费的时间减少到最低限度，从而使将视线从道路上移开所用的时间减少到最低限度。驾驶员可以按下的按钮可以是任何用户接口元件，其包括：物理按钮、数字接口上的图标、方向盘的力的测量(例如，驾驶员暂时按压在方向盘的左侧)、语音命令、面部线索、手势，或向系统表达其应当遵循用户眼睛视线的任何其它方式。

图3示出方法40的实施方案，系统12可以执行所述方法来提供与图2中所示的广告12相关的音频广告。在操作42中，系统控制器13可以监测驾驶员22的眼睛视线的方向，来确定驾驶员22是否对广告12(在面向外部的摄像机20可以看见的可能几个广告之中)感兴趣。例如，如果驾驶员观看广告达预定时间量，那么系统控制器13可以确定驾驶员对广告12感兴趣。作为另一个实例，如果驾驶员观看广告的次数超过预定量，那么系统控制器13可以确定驾驶员对广告12感兴趣。作为另一个实施例，如果驾驶员观看广告12的总累计时间超过预定量(例如，如果他多次观看广告12，且观看广告12所用的总时间量超过预定时间量)，那么系统控制器13可以确定驾驶员22对广告12感兴趣。如果系统控制器13确定驾驶员对特定的广告(例如，广告12)感兴趣，那么方法40可以移动到操作44。

在操作44中，系统控制器13可以控制且/或启动摄像机20来捕获广告12的图像且/或执行对所述图像的图像辨识。摄像机20可以包括用于捕获广告12的图像并且用于执行图像辨识的硬件和软件的任何组合。摄像机20可以实施为RGB成像仪。因此，然后可以处理由摄像机20捕获的图像，并且使其与对应于已知广告的信息相匹配，以辨识内容和/或情境(例如，品牌、产品、公司、服务、信息、标识等)。在各种实施方案中，可以通过无线连接26获得对应于已知广告的信息。在一个实例中，此条件可以基于图像辨识所提供的各种产品。一旦广告12的图像被捕获且/或基于图像辨识加以分析，方法40就可以移动到操作46。

在操作46中，摄像机20可将关于广告12的信息传输到信息娱乐系统18和/或系统控制器13。然后，信息娱乐系统18可以通过车载扬声器24提供音频相关广告。音频相关广告可以与驾驶员22所查看的广告12的情境相关联、对应，或相关。应认识到，信息娱乐系统18可包括用于与车载扬声器24连接，以便播放音频相关广告的收音机。信息娱乐系统18还可以包括例如的收音机，其中这种信息是通过驾驶员22的手机来播放或是通过与驾驶员22手机的接口由车载扬声器24来播放。还应认识到，可以将车载扬声器24替换为头戴式耳机(例如，耳机)、助听器装置、可佩带扬声器等。

信息娱乐系统18可连接到无线连接26，以便与服务器(未示出)通信。例如，服务器可以经由无线连接26将音频相关广告提供给信息娱乐系统18，以便向驾驶员22播放。应认识到，音频相关广告可向驾驶员22提供与广告12中所提供的信息类似的信息或与广告牌上的广告12中所提供的信息不同的信息。

图4描绘用于提供与驾驶员表示兴趣的广告12相关的音频广告的系统10′的另一个实施方案。系统10′可包括车载全球定位系统(GPS)模块28，其可以提供车辆16的GPS坐标。如本文所述的GPS通常是指任何和/或所有的全球导航卫星系统，所述系统包括GPS、GLONASS、Galileo、BeiDou等。设备10′可进一步包括数据库30，其可存储驾驶员可以查看的不同广告的位置(例如，GPS坐标)以及与所述广告中的每一个相关的音频广告。在一个实例中，数据库30可以是车辆16的车载数据库。在另一个实例中，数据库30可以相远隔地定位(例如，远程计算机系统)，并且车辆16可以经由无线连接26与远程计算机系统无线通信，以提供广告12的GPS坐标，以使得可检索对应的音频广告。

在图4所描绘的实施方案中，眼睛视线跟踪器系统14可执行图2中的系统控制器13的功能。因此，当车辆16接近数据库30中所存储的广告的GPS位置中的一个或多个(例如，在广告的预定距离内)时，眼睛视线跟踪器14可以开始以下操作：跟踪驾驶员22眼睛视线，来确定驾驶员22是否对广告12的内容感兴趣(如上所述)。在眼睛视线跟踪器系统14跟踪驾驶员22的眼睛视线时，GPS模块28可确定车辆16的GPS坐标。系统10′还可以通过根据车辆16的连续GPS坐标确定行驶方向和/或根据车辆16上的罗盘来确定车辆的定向。通过确定驾驶员22的眼睛视线相对于车辆定向的方向，可以确定驾驶员22眼睛视线(例如，相对于磁北)的方向。系统10′可以计算出原点在所确定的GPS坐标处并且方向在驾驶员22的眼睛视线的所确定方向上延伸的矢量。如果所计算的矢量与数据库30中的广告的位置相交，那么系统10′可确定驾驶员22在观看所述广告。

如上文所讨论的，眼睛视线跟踪器系统14可确定驾驶员22是否对他/她所观看的广告感兴趣。如果眼睛视线跟踪器系统14确定驾驶员22对特定广告12感兴趣，那么眼睛视线跟踪器系统14可以触发摄像机20来捕获广告12的图像。摄像机20可以执行图像辨识来确定广告12的内容。或者，车辆16可以访问数据库30并且将所捕获图像与所述数据库中所存储的数据进行比较，来确定广告12的内容。更进一步，车辆16可以访问数据库30来获取地理编码广告牌位置的GPS坐标(例如，由广告公司等提供)并且将车辆的当前位置(如车载GPS28所提供)及驾驶员22视线方向针对地理编码广告牌位置进行匹配，以确定驾驶员22感兴趣的广告。

图5A和图5B描述方法60和60′，系统10′可实施所述方法来提供与用户所查看的广告相关的音频广告。在操作62中，眼睛视线跟踪器系统14可确定车辆16是否定位在离广告12(例如，广告牌)的预定距离内(例如，500米或某一其它合适的值内)。例如，眼睛视线跟踪器系统14可以从车载GPS18接收车辆位置(或车辆GPS坐标)，并且可以搜索数据库30来找到位置(例如，广告牌的GPS坐标)与车辆的GPS坐标最接近的广告。一旦眼睛视线跟踪器系统14基于从车载GPS28和数据库30接收到的信息确定车辆16定位在广告12的预定距离内，方法60就可进行到操作64。

在操作64中，眼睛视线跟踪器系统14可以跟踪驾驶员22的眼睛视线方向。或者，眼睛视线跟踪器系统14可以跟踪驾驶员22的头部的定向。

在操作66中，眼睛视线跟踪器系统14可以响应于眼睛视线跟踪器系统14跟踪驾驶员22的眼睛视线来确定车辆16的GPS坐标和方向。

在操作68中，眼睛视线跟踪器系统14可确定驾驶员22是否观看广告12达预定时间量、次数超过预定量，和/或总累计时间超过预定量，以确定驾驶员22是否对广告感兴趣。如果驾驶员22感兴趣，那么方法60可进行到操作70(图5A中)或操作70′(图5B中)。

参看图5A，在操作70′中，眼睛视线跟踪器系统14可通过控制或启动摄像机20来捕获广告12的图像并执行对所述图像的图像辨识来辨识广告的情境。如上所述，摄像机20可以包括用于捕获广告12的图像并且用于执行图像辨识的硬件和软件的任何组合。

参看图5B，在操作70′中，眼睛视线跟踪器系统14可以通过访问数据库30并检索与在与驾驶员22的所检测眼睛视线方向相交的位置处的广告的情境来辨识广告的情境。换句话说，可以访问数据库30来获取地理编码广告牌位置的GPS坐标(例如，由广告公司等提供)并且将车辆的当前位置(如车载GPS28所提供)及驾驶员22视线方向针对地理编码广告牌位置进行匹配，以确定驾驶员22感兴趣的广告。

在操作72中，信息娱乐系统18可以向驾驶员22输出与视觉广告12相关的音频广告。

图6描绘示例性场景，其中系统(如图2中的系统10或图4中的系统10′)可以确定用户(例如，驾驶员22)是否在观看广告牌12。例如，在车辆16(例如，轿车)中，系统10或10′可确定车辆16相对于参考方向63(如磁北)的具有角度α的方向64。系统10或10′可通过使用罗盘或通过根据连续GPS位置计算出行进方向来确定角度α。系统10或10′还可以确定驾驶员眼睛视线和/或头部定向相对于车辆16的具有角度β的方向65，其中角度β是相对于角度α的。例如，角度β可以是相对于行进方向(由角度α指示)。通过将角度β与角度α相组合，通过将β与α相加或从α减去β，可以相对于参考方向(如磁北)来表示角度α+β。系统10或10′还可以确定车辆16的GPS位置67(即，地理位置)和与车辆16最接近的任何广告(例如，广告牌12)的GPS位置66(即，地理位置)。系统10或10′可以计算出原点在车辆16的GPS坐标处并且方向等于角度α+β的矢量。如果矢量与广告牌12的GPS坐标相交(或与围绕广告牌12的区域62相交)，那么系统可以确定驾驶员22在观看广告牌12。

如果系统10或10′确定驾驶员22已经观看广告12并且对广告12感兴趣，那么摄像机20可以捕获广告12的图像，以便由信息娱乐系统18用来确定广告的情境。然后，信息娱乐系统18可以通过车载扬声器24提供音频相关广告，这个音频相关广告与驾驶员22所查看的广告12相关联。如上所述，应认识到，信息娱乐系统18可包括用于与车载扬声器24连接以便播放音频相关广告的音频系统，或者可以实施为的无线电台，其中这样的信息是通过驾驶员22的手机来播放或是通过与驾驶员22手机的接口由车载扬声器24来播放。另外，信息娱乐系统18可连接到无线连接26，以便与服务器(未示出)通信。服务器可以经由无线连接26将音频相关广告提供给信息娱乐系统18，以便向驾驶员22播放。

应认识到，音频相关广告可以基于车辆16的位置和车辆前进方向加以定制。例如，如果车辆16是前往旧金山并且驾驶员22对特定汽车制造商(例如，丰田、福特等)的广告牌广告感兴趣，那么可以将音频相关广告定制成包括驾驶员22路线上或目的地处的所述汽车制造商的经销商的位置信息，包括经销商营业时间等。更进一步，可以将音频相关广告定制成包括对新车的初始报价，假设驾驶员22可以将他/她的当前车辆16折旧换新，并且使细节(如当前车辆16的型号、样式、年限、通过车辆16的诊断数据的当前行驶里程)可用于经由无线连接26传输。车辆16中的导航系统(未示出)可接收音频相关广告所详述的信息，如兴趣点的位置，以使得驾驶员22可选择将所述兴趣点添加到他/她的当前路线。

图7示出用于将与视觉广告12有关的音频广告提供给驾驶员22的系统10″的另一个实施方案。系统10″可以包括摄像机20，其可以检测视觉广告12的图像。系统10″还可以包括眼睛视线跟踪器系统14，其可以确定驾驶员22的眼睛视线方向。如上所述，眼睛视线跟踪器系统14可确定驾驶员22是否观看广告12超过预定时间量、次数超过预定量，和/或总累计时间超过预定量，以确定驾驶员22是否对视觉广告12感兴趣。如果驾驶员22对广告12感兴趣，那么信息娱乐系统18可以通过车载扬声器24提供音频相关广告，这个音频相关广告与驾驶员22所参看的且摄像机20所捕获的广告12的情境相关联。

图8描述方法80，图7的系统10″可实施所述方法来将与视觉广告12相关的音频广告提供给驾驶员22。在操作82中，摄像机20可以扫描与系统10″最接近的环境来获得广告的图像(例如，广告12的图像)。在操作84中，眼睛视线跟踪器系统14可以跟踪驾驶员22的眼睛视线方向。在操作86中，眼睛视线跟踪器系统14可以通过确定驾驶员22是否已经观看广告达预定时间量、次数超过预定量，和/或总累计时间超过预定量来确定驾驶员22是否对广告感兴趣。如果驾驶员22对广告感兴趣，那么在操作88中，信息娱乐系统18可以通过车载扬声器24来提供与广告12的情境相关联的音频相关广告。

一般来说，额外的实施方案可包括在一个或多个车载显示器(例如，中心控制台、仪表盘、抬头显示器(HUD)、乘客显示器等)上提供视觉信息的设备，所述设备将视觉信息与音频流加在一起或替换音频流。虽然结合眼睛视线跟踪器系统14来使用的传感器可以安装在车辆16上来测量眼睛视线方向或头部定向，但是所述传感器可以：(i)附接到驾驶员22的眼镜，(ii)附接到驾驶员的项链(例如，“护身符装置”，可以表现为珠宝吊坠)，(iii)佩带在手表上，(iv)佩带在头带或头环上，(v)佩带在身体的任何部位，(vi)附接到衣物，如皮带扣等，(vii)定位在驾驶员的移动装置(例如，智能手机、平板电脑等)上，(viii)是便携式的并且可附接到车辆16(例如，自行车、摩托车等)/可从车辆16上移除。

额外的实施方案包括：(i)通过利用驾驶员22的偏好(例如，来自他/她的社交媒体现况)来改进定制，(ii)向设备添加指示“稍后提醒我！”的按钮或口头命令，且通过电子邮件或其它社交媒体通道向驾驶员22传输来自广告牌或音频广告的信息，(iii)允许任何一个或多个设备将驾驶员感兴趣的东西通知给广告代理商，这允许广告代理商以后关于对其产品的兴趣来跟进驾驶员，(iv)与外部装置通信，以便获得额外的处理能力(例如，智能手机、智能手表或使用无线网络直接连接到远程服务器)。

图9、图10和图11描绘额外场景，其中系统(例如，系统10、系统10′或者系统10″)可确定用户正在观看哪个广告和/或用户正在观看的广告的情境。图9示出车辆902在包括围绕车辆902的多个紧密间隔广告(例如，广告牌)906和908的环境中行驶。例如，图9可以描绘车辆902驶过纽约市的时代广场，其中广告并排地和垂直地密集排列。在这种场景中，使用GPS来确定车辆902的位置并且基于GPS位置和驾驶员眼睛视线的方向来计算矢量可能无法正常工作，因为GPS位置计算的固有误差可能会导致系统识别错误的广告。为了示出这一点，图9包括箭头904a，其指示车辆902驾驶员可能的眼睛视线方向。如果计算出的GPS位置指示汽车位于图9中所示的位置，那么系统将确定驾驶员在观看广告906c。然而，如果系统确定车辆902处于图9中所示的位置后面(由于计算出的GPS位置的误差)，那么系统可能错误地确定驾驶员在观看广告906d或906e。由于GPS位置计算的误差，可以在如图9中所示的场景中实施跟踪眼睛视线方向和朝向视觉检测到的广告的方向的系统。如图9中所示，一个或多个现场摄像机可以捕获车辆902周围的环境的图像，其包括在车辆902右侧的广告906和在车辆左侧的广告908的图像。所捕获图像还可以包括相对于彼此垂直堆叠的广告的图像。广告的所捕获图像可由系统相对于车辆(例如，相对于车辆的直线行驶方向)加以定向。类似地，车辆驾驶员的眼睛视线和/或头部定向的方向可以相对于车辆加以定向。系统可通过确定驾驶员的眼睛视线方向是否对应于广告的所捕获图像的定向来确定驾驶员是否正在观看特定广告。例如，如果驾驶员的眼睛视线在箭头904a的方向上，那么眼睛视线方向对应于广告906c的所捕获图像的定向。因此，系统可以确定驾驶员是在观看广告906c。类似地，如果驾驶员的眼睛视线在箭头904b的方向上，那么眼睛视线方向对应于广告908a的所捕获图像的定向。因此，系统可以确定驾驶员是在观看广告908a。

图10示出一种场景，其中系统(例如，系统10、系统10′或系统10″)可以识别广告的所捕获图像的边界(例如，界线)，并且可以通过确定用户的眼睛视线方向是否在广告的边界内来确定用户(例如，驾驶员)是否在看广告。图10示出车辆1002正在驶向两个广告(例如，广告牌)1006和1008，所述两个广告在面向外部的摄像机的视野1010内。第一广告1006经过定向以使得：左边界定向成相对于车辆行进方向成角度α1，并且右边界定向成相对于车辆行进方向成角度α2。因此，如果用户的眼睛视线方向θ1在角度α1与角度α2之间，那么系统可确定驾驶员正在观看第一广告1006。类似地，第二广告1008经过定向以使得：左边界定向成相对于车辆行进方向成角度β1，并且右边界定向成相对于车辆行进方向成角度β2。因此，如果用户的眼睛视线方向θ2在角度β1与角度β2之间，那么系统可确定驾驶员正在观看第一广告1006。以类似的方式，系统可以识别广告的垂直边界(例如，顶部和底部边界)，并确定用户的垂直眼睛视线方向是否在特定广告的所述垂直边界之间。在某些环境中，如纽约市的时代广场，其中广告并排地且垂直地紧密间隔开，系统可以识别每个广告的水平和垂直边界，并且如果眼睛的视线方向在水平角度和垂直角度下是在广告的边界内，那么可确定用户在观看特定广告。为清楚起见，图10示出观察点1004，朝向广告的角度(或定向)和眼睛视线方向都是从这个观察点加以确定。在实践中，用户眼睛位置可能不同于面向外部的摄像机的位置，这可能需要系统执行计算或变换来对齐两个观察点。

图11描绘示例性场景，其中系统(例如，系统10、系统10′或者系统10″)识别用户(例如，车辆1102的驾驶员)正在观看的远处广告并且识别所述广告的情境。在所述场景中，用户沿着道路1100驶向单个远处广告牌1104。在所述区域中没有其它广告牌1104，但是广告牌太远以至于驾驶员或面向外部的摄像机不能识别广告牌的内容。另外，由于广告牌1104在远处，因此眼睛视线跟踪器系统14可能无效，这是因为在确定眼睛视线方向1106或1108和/或头部定向时的任何误差都可能导致系统算错用户是否在看广告牌1104。在操作的一部分中，系统可以将单独的广告牌1104识别为与车辆1102相对最接近(通过搜索数据库来找到地理位置与车辆1102的GPS位置最接近的广告牌)。由于附近环境不包括其它广告牌，因此系统可以推断，朝向道路一侧的任何眼睛视线方向都是指向广告牌1104。例如，图11示出：第一箭头1106，其对应于沿道路1100一直向前的眼睛视线方向；以及第二箭头1108，其对应于朝向道路1100一侧的眼睛视线方向。如果眼睛视线方向朝向道路一侧，则系统可以推断用户正在观看已知是沿着道路一侧的广告。此外，在一定距离处，广告牌1104的外观尺寸可能太小，以至于面向外部的摄像机不能识别广告牌中的对象、图像和/或文字来识别所述广告的情境。另外，系统可以访问包含广告牌1104的地理位置的数据库来识别广告牌的情境。如上所述，广告牌的情境可以存储在数据库中。因此，系统可以在广告牌1104是检测地可见时，但是在广告牌1104的细节可由用户辨别之前开始播放与广告牌1104的情境相关的音频广告。一般来说，用户可以在视觉上察觉到广告。然而，广告牌可能太远，以至于不能理解其情境。系统可以调查附近环境、用户周围的环境，并且在用户接近广告牌1104时播放任何音频广告(或其它音频信息)。

如上所述，音频广告可以与用户环境中的视觉广告的情境相关。在示例性场景中，在开车时，关于新智能手机的广告(或广告牌)可能吸引驾驶员的注意力。驾驶员可以多次观看广告，试图了解在广告中所包括的全部细节。本文所公开的系统可以辨识驾驶员对广告感兴趣，并且捕获广告的图像。使用图像检测和辨识技术，设备可以检测广告的内容并检索适当的音频流。此外，使用车载导航系统数据，可以按驾驶员的位置、前进方向、导航目的地和确切路线来定制检索到的音频流。系统可以通过汽车扬声器来开始关于新智能手机的音频广告的流传输过程。音频广告可以为驾驶员提供有关新产品的额外信息，其包括：在考虑到驾驶员的当前位置、路线和目的地的情况下，购买手机的最方便地点。

在另一个示例性场景中，驾驶员可以向北前往旧金山，并且可查看户外LED显示器上关于新丰田车型的有趣广告。驾驶员可能多次扫视所述广告(为了记住各种细节)。由于驾驶员对所述广告的多次查看，根据各种实施方案的系统可以播放来自丰田的音频广告，这个音频广告具有所述广告的主题车的细节，这些细节包括关于最靠近用户路线或旧金山目的地的丰田经销商的定制细节(例如，使用从导航系统中拉取的数据)。如果驾驶员希望将他的当前车辆折旧换新为新丰田车型，通过使用与驾驶员的当前车辆相关的内部数据(例如，样式、型号、年限、行驶里程等)，系统可以播放可能包括初始报价的音频广告。在这种情况下，通过简单地按压信息娱乐系统上的按钮(或类似物)，驾驶员可以添加所建议的丰田经销商作为他的路线上的沿途停车点或终点。

本文所公开的一个或多个方面使驾驶员有可能听到视觉广告的细节，而不必阅读这些细节，从而减少注意力分散，并且使驾驶员能够将他的视线保持在道路上。鉴于上述情况，音频广告可能是有意义的并且是针对驾驶员表示感兴趣的东西来量身定制。此外，音频广告可以基于驾驶员的车辆和位置来定制。

此外，本文所公开的一个或多个方面可以：(i)减少驾驶员在驾驶车辆时的认知负荷和注意力分散，从而改进安全性，(ii)改进有限的视觉广告可以提供的信息的数量和质量，并且(iii)向感兴趣的驾驶员传递定制的细节。因此，广告可能会更有效，传达更多的信息并且指向感兴趣的驾驶员。从驾驶员的角度来看，广告获选择来匹配他们的兴趣，同时减少注意力分散并且提供对于他/她来说特别重要的额外情境信息。

本文所公开的一个或多个方面提供两个互补的系统。一个系统可以是基于摄像机的系统，其调查附近环境来找到广告或类似物，并且使用眼睛视线跟踪器系统来检测并跟踪驾驶员的视线，从而允许信息娱乐系统基于驾驶员在驾驶员附近环境中已经观看的广告来提供音频广告。第二个系统可以是基于位置的系统，其通过使用GPS来确定车辆的位置和附近环境中的广告，从而在为驾驶员播放音频广告之前，允许信息娱乐系统确定驾驶员周围的广告且允许眼睛视线跟踪器确定驾驶员正在观看哪个广告牌。每个系统可独立工作，或两个系统可以协同工作。例如，每个系统可以确定用户可能对哪些广告感兴趣以及那些广告的情境可能是什么。由此产生的确定可以彼此交叉核对，以确保系统的准确操作。

在上述示例性场景中，主要是关于轿车和驾驶员来描述所述系统。系统也可以并入于行人、骑自行车的人等所使用的便携式和/或可佩带部分中。例如，音频换能器可以并入于行人所佩带的耳机或耳塞中。类似地，眼睛跟踪摄像机和面向外部的摄像机可以并入于眼镜(例如，太阳镜、带度数的眼镜或如Google的头戴式显示器)中。计算机逻辑和/或计算机处理器可以并入于专用外壳中且/或可以并入于智能手机等中。例如，计算机逻辑可以实施为在智能手机、平板电脑或其它便携式计算机装置上运行的应用程序。

虽然在上文描述示例性实施方案，但并不意图这些实施方案描述本发明的所有可能形式。实际上，在说明书中使用的措词是用于描述而非限制的措词，且应理解的是，可以进行各种变化而不会脱离本发明的精神和范畴。此外，各种实施方案的特征可以组合起来，以形成本发明的其它实施方案。

本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括一个或多个计算机可读存储介质，其上具有计算机可读程序指令，所述计算机可读程序指令用于使处理器执行本发明的各方面。

计算机可读存储介质可以是能够保留和存储由指令执行装置使用的指令的有形装置。计算机可读存储介质可以是，例如，但不限于，电子存储装置、磁性存储装置、光学存储装置、电磁存储装置、半导体存储装置或上述装置的任何合适组合。计算机可读存储介质的更具体实例的非穷尽列表包括以下各者：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)、存储棒、软盘、机械编码装置(如穿孔卡或槽中的凸起结构，其上记录有指令)，以及前述存储介质的任何合适组合。如本文所用的计算机可读存储介质不应被解释为本身是暂时的信号，如无线电波或其它自由传播的电磁波、通过波导或其它传输介质传播的电磁波(例如，穿过光纤电缆的光脉冲)，或通过导线传输的电信号。

本文所述的计算机可读程序指令可以通过网络(例如，互联网、局域网、广域网和/或无线网络)从计算机可读存储介质下载到相应计算/处理装置或下载到外部计算机或外部存储装置。网络可以包括铜传输电缆、光学传输纤维、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理装置中的网络适配卡或网络接口从网络接收计算机可读程序指令并且转发将计算机可读程序指令，以便存储在相应计算/处理装置内的计算机可读存储介质中。

用于执行本发明的操作的计算机可读程序指令可以是汇编程序指令、指令集体系结构(ISA)指令、机器指令、机器相关指令、微码、固件指令、状态设置数据，或者是用一种或多种编程语言的任何组合所编写的源代码或目标代码，所述编程语言包括面向对象的编程语言(如Smalltalk、C++等)和传统的程序性编程语言(如“C”编程语言或类似的编程语言)。计算机可读程序指令可以完全在用户的计算机上执行，部分地在用户的计算机上执行，作为独立的软件包执行，部分地在用户的计算机上且部分地在远程计算机上执行，或完全在远程计算机或服务器上执行。在后一种场景中，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以连接到外部计算机(例如，使用互联网服务提供商，通过网络)。在一些实施方案中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可执行计算机可读程序指令，方法是通过利用计算机可读程序指令的状态信息来个性化所述电子电路，以便执行本发明的各方面。

本文中参照根据本发明的实施方案的方法、设备(系统)和计算机程序产品的流程图图解和/或方框图来描述本发明的各方面。应了解，流程图图解和/或方框图的每个方框以及流程图图解和/或方框图中的方框的组合可以由计算机程序指令来实施。

可以将这些计算机可读程序指令提供给通用计算机、专用计算机或其它可编程数据处理设备的处理器以便产生一种机器，这样使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实施流程图和/或方框图的方框中所指定的功能/动作的手段。这些计算机可读程序指令还可以存储在可以引导计算机、可编程数据处理设备或其它装置以特定方式起作用的计算机可读存储介质中，这样使得其中存储有指令的计算机可读存储介质构成一种制品，所述制品包括实施流程图和/或方框图的方框中所指定的功能/动作的各方面的指令。

计算机可读程序指令还可以加载到计算机、其它可编程数据处理设备或其它装置上以引起在计算机、其它可编程设备或其它装置上执行一系列操作步骤，从而产生计算机实施的过程，这样使得在计算机、其它可编程设备或其它装置上执行的指令实施流程图和/或方框图的方框中所指定的功能/操作。

附图中的流程图和方框图示出根据本发明的各种实施方案的系统、方法和计算机程序产品的可能实行方案的体系结构、功能性和操作。在这方面，流程图或方框图中的每个方框可以表示指令的模块、区段或部分，其包括用于实施所指定的逻辑功能的一个或多个可执行指令。在一些替代实行方案中，方框中提到的功能可以不按附图中提到的顺序出现。例如，连续展示的两个方框实际上可以大致上同时执行，或者这些方框有时可以按相反的顺序执行，这取决于所涉及的功能性。还应当指出的是，方框图和/或流程图图解的每个方框以及方框图和/或流程图图解中的方框的组合可以由基于专用硬件的系统来实施，所述系统执行指定的功能或动作或者执行专用硬件和计算机指令的组合。

Claims (19)

1.一种用于提供音频信息的控制器，所述控制器包括：

第一信号输入端，其被配置来接收第一摄像机信号，所述第一摄像机信号指示用户正在观看的方向；

第二信号输入端，其被配置来接收第二摄像机信号，所述第二摄像机信号包括一个或多个视觉信息的所捕获图像；

信号输出端，其被配置来驱动至少一个声换能器；以及

计算机逻辑，其被编程来：

确定朝向所述一个或多个视觉信息的所捕获图像中的每一个的方向；

确定所述用户正在观看的所指示方向是否对应于所述一个或多个视觉信息中的一个的所捕获图像的所确定方向；并且

在确定所述用户正在观看的所述所指示方向对应于所述一个或多个视觉信息中的一个之后：

确定所述一个或多个视觉信息中的所述一个的情境；并且

将与所述一个或多个视觉信息中的所述一个的所述情境相关的音频信息输出到所述信号输出端。

2.如权利要求1所述的控制器，其中第一摄像机连接到所述第一信号输入端，其中至少一个第二摄像机连接到所述第二信号输入端，其中至少一个声换能器连接到所述信号输出端，其中所述第一摄像机、所述至少一个第二摄像机、所述至少一个声换能器以及所述计算机逻辑被布置在轿车中，其中第一摄像机模块被布置在所述轿车的车厢中，以确定所述用户正在观看的方向，且其中所述至少一个第二摄像机是以面向外部的布置来布置在所述车辆上。

3.如权利要求1所述的控制器，其进一步包括数据收发器，其中在确定所述用户正在观看所述一个或多个视觉信息中的一个之后，所述计算机逻辑通过所述数据收发器从远程数据库检索所述音频信息。

4.如权利要求1所述的控制器，其中所述第一摄像机检测所述用户的眼睛视线方向，且其中所述用户正在观看的所述所指示方向是所述检测到的眼睛视线方向。

5.如权利要求1所述的控制器，其中所述第一摄像机检测所述用户的头部定向，所述头部定向包括所述用户的头部所面对的方向，且其中所述用户正在观看的所述所指示方向是所述用户的头部所面对的所述检测方向。

6.如权利要求1所述的控制器，其中所述计算机逻辑进一步通过以下步骤中的至少一个来确定所述用户是否对所述一个或多个视觉信息中的感兴趣：

确定所述用户已经在所述一个或多个视觉信息中的所述一个的方向上观看至少预定的时间量；

确定所述用户已经在所述一个或多个视觉信息中的所述一个的方向上观看超过预定次数；以及

确定所述用户已经在所述一个或多个视觉信息中的所述一个的方向上观看的总累计时间量超过预定量，

从用户接口(例如，物理按钮、数字接口上的图标等)接收输入信号；

且其中在确定所述用户对所述一个或多个视觉信息中的所述一个感兴趣之后，所述计算机逻辑输出所述音频信息。

7.如权利要求1所述的控制器，其中所述至少一个声换能器包括布置在车辆中的音频扬声器。

8.一种用于提供音频信息的可佩带控制器，所述控制器包括：

第一信号输入端，其被配置来接收第一摄像机信号，所述第一摄像机信号指示眼睛视线方向；

第二信号输入端，其被配置来接收第二摄像机信号，所述第二摄像机信号包括一个或多个视觉信息的所捕获图像；

信号输出端，其被配置来驱动至少一个声换能器；以及

计算机逻辑，其被编程来：

确定朝向所述一个或多个视觉信息的所捕获图像中的每一个的方向；

确定所指示眼睛视线方向是否对应于所述一个或多个视觉信息中的一个的所述所捕获图像的所确定方向；并且

在确定所述所指示眼睛视线方向对应于所述一个或多个视觉信息中的一个之后：

确定所述一个或多个视觉信息中的所述一个的情境；并且

将与所述一个或多个视觉信息中的所述一个的所述情境相关的音频信息输出到所述信号输出端，

其中提供所述第一摄像机信号的第一摄像机、提供所述第二摄像机信号的所述至少一个第二摄像机，以及所述至少一个声换能器是布置在至少一个可佩带外壳中。

9.如权利要求8所述的控制器，其中所述第一摄像机是布置在可佩带的头戴式装置中。

10.如权利要求8所述的控制器，其中所述至少一个声换能器是布置在耳机中，且其中所述至少一个第二摄像机是布置在用于所述耳机的外壳中。

11.如权利要求10所述的控制器，其中所述计算机逻辑是布置在用于所述耳机的所述外壳中。

12.如权利要求10所述的控制器，其中所述计算机逻辑是布置在智能手机中。

13.如权利要求8所述的控制器，其进一步包括数据收发器，其中在确定所述所指示眼睛视线方向对应于所述一个或多个视觉信息中的一个的所述所捕获图像的所述所确定方向之后，所述数据收发器将所述一个或多个视觉信息中的所述一个的所述所捕获图像传输到远程计算机系统并且从所述远程计算机系统接收所述音频信息。

14.一种计算机可读介质，其包括程序，所述程序在由一个或多个处理器执行时执行包括以下步骤的操作：

确定用户正在观看的方向；

确定多个视觉信息相对于所述用户的位置；

确定所述用户是否正在对应于所述多个视觉信息中的一个的方向上观看；

确定所述多个视觉信息中的所述一个的情境；以及

将与所述多个视觉信息中的所述一个的所述情境相关的音频信息输出到所述用户。

15.如权利要求14的所述的计算机可读介质，其中确定所述用户正在观看的方向包括确定所述用户相对于参考方向的眼睛视线方向，其中确定所述多个视觉信息相对于所述用户的位置包括确定相对于所述参考方向的朝向所述多个视觉信息中的每一个的至少一个方向，且其中确定所述用户是否正在对应于所述多个视觉信息中的一个的方向上观看包括确定所述眼睛视线方向是否在所述多个视觉信息中的所述一个的所述至少一个方向的预定义阈值内。

16.如权利要求15所述的计算机可读介质，其中确定所述多个视觉信息的每一个的至少一个方向包括：确定相对于所述参考方向的第一方向，所述第一方向对应于所述多个视觉信息中的每一个的第一边界；以及确定相对于所述参考方向的第二方向，所述第二方向对应于所述多个视觉信息中的每一个的第二边界，其中所述第二边界与所述第一边界相对，且其中确定所述眼睛视线方向是否在所述多个视觉信息中的所述一个的所述至少一个方向的预定义阈值内包括所述所确定眼睛视线方向是否在所述多个视觉信息中的所述一个的所述第一方向与所述第二方向之间。

17.如权利要求16所述的计算机可读介质，其中确定所述多个视觉信息中的每一个的至少一个方向进一步包括：确定相对于所述参考方向的第三方向，所述第三方向对应于所述多个视觉信息中的每一个的第三边界；以及确定相对于所述参考方向的第四方向，所述第四方向对应于所述多个视觉信息中的每一个的第四边界，其中所述第三边界垂直于所述第一边界，其中所述第四边界与所述第三边界相对，且其中确定所述眼睛视线方向是否在所述多个视觉信息中的所述一个的所述至少一个方向的预定义阈值内包括所述所确定眼睛视线方向是否在所述多个视觉信息中的所述一个的所述第三方向与所述第四方向之间。

18.如权利要求14所述的计算机可读介质，其中确定所述多个视觉信息中的所述一个的情境包括：

接收所述多个视觉信息中的所述一个的图像；

将所述接收到的图像与数据库中的多个图像进行比较，其中所述数据库中的每个图像与情境相关联；以及

在使来自所述数据库的图像与所述接收到的图像匹配之后，使来自所述数据库的所述匹配图像的所述情境与所述多个视觉信息中的所述一个相关联。

19.如权利要求14所述的计算机可读介质，其中确定所述多个视觉信息中的所述一个的情境包括：

确定所述一个或多个视觉信息中的所述一个的地理位置；

查询包括多个地理参考视觉信息的数据库，其中每个地理参考视觉信息与情境相关联；以及

在使所述所确定地理位置与地理参考视觉信息匹配之后，使所述匹配地理参考广告的所述情境与所述多个视觉信息中的所述一个相关联。