CN102982753A - 人物跟踪和互动广告 - Google Patents

Abstract

公开一种广告系统。在一个实施例中，系统包括：广告站，包括显示器，并且配置成经由显示器向潜在顾客提供广告内容；以及一个或多个照相装置，配置成当潜在顾客接近广告站时捕获其图像。该系统还可包括数据处理系统，该数据处理系统分析所捕获图像，以便确定潜在顾客的注视方向和人体姿势方向，并且基于所确定注视方向和人体姿势方向来确定潜在顾客对广告内容的感兴趣程度。还公开了各种其它系统、方法和制造产品。

Description

人物跟踪和互动广告

技术领域

关于联邦资助研发声明

本发明根据国家司法研究所授予的批准号2009-SQ-B9-K013在政府支持下进行。政府在本发明中具有某些权利。

一般来说，本公开涉及个人的跟踪，以及在一些实施例中，涉及使用跟踪数据来推断用户兴趣，并且增强互动广告环境中的用户体验。

背景技术

产品和服务的广告是无处不在的。广告牌、标牌和其它广告媒体争夺潜在顾客的注意力。近来，引入了鼓励用户参与的互动广告显示。虽然广告是普遍的，但是可能难以确定广告的特定形式的功效。例如，广告商可能难以(或者付费给广告商的客户)确定特定广告是否有效地引起做广告产品或服务的增加的销售或兴趣。对于标牌或互动广告显示，情况可能尤其是这样。由于吸引对产品或服务的注意力并且增加产品或服务的销售中的广告的有效性在判定这种广告的价值方面是重要的，所以需要更好地评估和确定以这类方式所提供的广告的有效性。

发明内容

下面提出范围与最初要求保护的本发明相称的某些方面。应当理解，呈现这些方面只是为读者提供当前所公开主题的各个实施例可能采取的某些形式的概述，这些方面而并不是要限制本发明的范围。实际上，本发明可包含下面可能没有提出的各个方面。

当前所公开主题的一些实施例一般可涉及个人的跟踪。在某些实施例中，跟踪数据可与互动广告系统结合使用。例如，在一个实施例中，系统包括：广告站，包括显示器，并且配置成经由显示器向潜在顾客提供广告内容；以及一个或多个照相装置，配置成当潜在顾客接近广告站时捕获其图像。该系统还可包括数据处理系统，其中包括处理器以及具有供处理器执行的应用指令的存储器，数据处理系统配置成执行应用指令，以便分析所捕获图像以确定潜在顾客的注视方向和人体姿势方向，并且基于所确定注视方向和人体姿势方向来确定潜在顾客对广告内容的感兴趣程度。

在另一个实施例中，方法包括接收关于经过显示广告内容的广告站的人们的注视方向或人体姿势方向中的至少一个的数据，并且处理所接收数据以推断人们对广告站所显示的广告内容的感兴趣程度。在另一实施例中，方法包括从至少一个照相装置来接收图像数据，并且电子地处理图像数据，以便估计图像数据中所示人物的人体姿势方向和注视方向，而与此人的运动方向无关。

在另一实施例中，制造包括其中存储了可执行指令的一个或多个非暂时计算机可读介质。可执行指令可包括适合接收关于经过显示广告内容的广告站的人们的注视方向的数据，以及适合分析关于注视方向的所接收数据以推断人们对广告站所显示的广告内容的感兴趣程度的指令。

上述特征的各种细化可相对于本文所述主题的各个方面而存在。其它特征也可结合在这些各个方面。这些细化和附加特征可单独地或者以任何组合而存在。例如，下面相对于所示实施例的一个或多个所述的各种特征可单独地或者以任何组合结合到本公开的所述实施例的任一个中。以上所述的概述同样只是意在使读者熟悉本文所公开主题的某些方面和上下文，而没有对要求保护的主题进行限制。

附图说明

通过参照附图来阅读以下详细描述，将会更好地了解本技术的这些及其它特征、方面和优点，附图中，相似标号在附图中通篇表示相似部件，其中：

图1是按照本公开的一实施例、包括具有数据处理系统的广告站的广告系统的框图；

图2是按照本公开的一实施例、包括数据处理系统以及通过网络进行通信的广告站的广告系统的框图；

图3是用于提供本公开所述的功能性并且按照本公开的一实施例的基于处理器的装置或系统的框图；

图4示出走过按照本公开的一实施例的广告站的人物；

图5是按照本公开的一实施例、图4的人物和广告站的平面图；

图6一般地示出按照本公开的一实施例、用于基于用户感兴趣程度来控制广告站所输出的内容的过程；以及

图7-10是按照本公开的某些实施例、可通过分析用户跟踪数据来推断的用户对广告站所输出的广告内容的兴趣的各种程度的示例。

具体实施方式

下面将描述当前所公开主题的一个或多个具体实施例。在提供这些实施例的简要描述的工作中，本说明书中可能没有描述实际实现的所有特征。应当理解，在任何这种实际实现的开发中，如同任何工程或设计项目中那样，必须进行许多实现特定的判定以便实现开发人员的特定目标，例如符合系统相关和业务相关限制，这些限制可对每个实现而改变。此外，应当理解，这种开发工作可能是复杂且费时的，但仍然是获益于本公开的技术人员进行的设计、制作和制造的日常事务。在介绍本技术的各个实施例的元件时，限定词“一”、“一个”、“该”和“所述”预计表示存在元件的一个或多个。术语“包含”、“包括”和“具有”预计包括在内，并且表示可存在除了列示元件之外的附加元件。

本公开的某些实施例涉及个人的跟踪方位，例如人体姿势和注视方向。此外，在一些实施例中，这种信息可用于推断用户与提供给用户的广告内容的互动以及对广告内容的兴趣。信息还可用于增强对互动广告内容的用户体验。注视(gaze)是“注意焦点(focus of attention)”的强烈指示，这提供交互性的有用信息。在一个实施例中，系统从固定照相装置视图(camera view)并且使用一组摇摄-倾斜-变焦(Pan-Tilt-Zoom：PTZ)照相装置来联合跟踪个人的人体姿势和注视，以便得到高分辨率的高质量视图。人们的人体姿势和注视可使用运行于来自固定和摇摄-倾斜-变焦(PTZ)照相装置的视图融合的集中跟踪器来跟踪。但是在其它实施例中，人体姿势和注视方向中的一个或两者可从仅单个照相装置(例如一个固定照相装置或一个PTZ照相装置)的图像数据来确定。

在图1中示出按照一个实施例的系统10。系统10可以是包括用于向附近的人们(即，潜在顾客)输出广告的广告站12的广告系统。所示广告站12包括显示器14和扬声器16，以便向潜在顾客输出广告内容18。在一些实施例中，广告内容18可包括具有视频和音频的多媒体内容。但是，任何适当广告内容18可由广告站12来输出，例如包括仅视频、仅音频以及具有或没有音频的静止图像。

广告站12包括用于控制广告站12的各种组件以及用于输出广告内容18的控制器20。在所示实施例中，广告站12包括用于从显示器14附近的区域中捕获图像数据的一个或多个照相装置22。例如，一个或多个照相装置22可定位成捕获使用或者经过显示器14的潜在顾客的影像。照相装置22可包括至少一个固定照相装置或者至少一个PTZ照相装置的任一个或两者。例如，在一个实施例中，照相装置22包括四个固定照相装置和四个PTZ照相装置。

还可随广告站12包含结构光元件24，如图1一般所示。例如，结构光元件24可包括视频投影仪、红外发射器、聚光灯或激光笔中的一个或多个。这类装置可用于主动地促进用户互动。例如，投射光(无论采取激光、聚光灯还是另外某种直射光的形式)可用于将广告系统12的用户的注意力导向特定位置(例如查看或者与特定内容互动)，可用于使用户惊奇等。另外，结构光元件24可用于向环境提供附加照明，以便促进分析来自照相装置22的图像数据中的理解和对象识别。虽然图1中照相装置22示为广告站12的一部分并且结构光元件24示为远离广告站12，，但是将会理解，系统10的这些及其它组件可按照其它方式来设置。例如，虽然在一个实施例中，系统10的显示器14、一个或多个照相装置22和其它组件可设置在共用壳体中，但是在其它实施例中，这些组件也可设置在独立壳体中。

此外，数据处理系统26可包含在广告站12中，以便接收和处理(例如来自照相装置22的)图像数据。具体来说，在一些实施例中，可处理图像数据，以便确定各种用户特性，并且跟踪照相装置22的观察区中的用户。例如，数据处理系统26可分析图像数据，以便确定每个人的位置、移动方向、跟踪历史、人体姿势方向和注视方向或角度(例如相对于移动方向或人体姿势方向)。另外，这类特性则可用于推断个人对广告站12的兴趣或参与的程度。

虽然数据处理系统26示为结合在图1的控制器20中，但是要注意，在其它实施例中，数据处理系统26可独立于广告站12。例如，图2中，系统10包括经由网络28连接到一个或多个广告站12的数据处理系统26。在这类实施例中，广告站12的照相装置22(或者监测这类广告站周围的区域的其它照相装置)可经由网络28向数据处理系统26提供图像数据。数据则可由数据处理系统26来处理，以便确定预期特性以及被成像人对广告内容的感兴趣程度，如下面所论述的。以及数据处理系统26可经由网络28向广告站12输出这种分析的结果或者基于该分析的指令。

按照一个实施例，控制器20和数据处理系统26的任一个或两者可采取基于处理器的系统30(例如计算机)的形式来提供，如图3所示。这种基于处理器的系统可执行本公开中所述的功能性，例如分析图像数据、确定人体姿势和注视方向以及确定用户对广告内容的兴趣。所示的基于处理器的系统30可以是通用计算机，例如个人计算机，它配置成运行各种软件，包括实现本文所述功能性的全部或部分的软件。备选地，基于处理器的系统30尤其还可包括配置成基于作为系统的组成部分所提供的专业软件和/或硬件来实现本技术的全部或部分的大型计算机、分布式计算系统或者专用计算机或工作站。此外，基于处理器的系统30可包括单个处理器或者多个处理器，以便促进当前所公开功能性的实现。

一般来说，基于处理器的系统30可包括微控制器或微处理器32，例如中央处理器(CPU)，它可执行系统30的各种例程和处理功能。例如，微处理器32可执行配置成实现某些过程的各种操作系统指令以及软件例程。例程可存储在制造产品中或者由制造产品来提供，制造产品包括诸如存储器34(例如个人计算机的随机存取存储器(RAM))之类的一个或多个非暂时计算机可读介质或者一个或多个大容量存储装置36(例如内部或外部硬盘驱动器、固态存储装置、光盘、磁存储装置或者任何其它适当存储装置)。另外，微处理器32处理作为各种例程或软件程序的输入所提供的数据，例如作为基于计算机的实现中的本技术的组成部分所提供的数据。

这种数据可存储在存储器34或大容量存储装置36中或者由其提供。备选地，这种数据可经由一个或多个输入装置38提供给微处理器32。输入装置38可包括人工输入装置，例如键盘、鼠标等。另外，输入装置38可包括网络装置，例如有线或无线以太网卡、无线网络适配器或者任意配置成促进经由诸如局域网或因特网之类的任何适当通信网络28与其它装置的通信的各种端口或装置。通过这种网络装置，系统30可与无论是靠近还是远离系统30的其它联网电子系统交换数据以及进行通信。网络28可包括促进通信的各种组件，包括交换机、路由器、服务器或者其它计算机、网络适配器、通信线缆等。

微处理器32所生成的结果、例如通过按照一个或多个所存储例程来处理数据所得到的结果可经由诸如显示器40或打印机42之类的一个或多个输出装置向操作人员报告。基于所显示或打印的输出，操作人员可例如经由输入装置38来请求附加或备选处理或者提供附加或备选数据。基于处理器的系统30的各种组件之间的通信通常可经由芯片组以及电连接系统30的组件的一个或多个总线或互连来实现。

参照图4和图5可更好地了解广告系统10、广告站12和数据处理系统26的操作，图4一般地示出广告环境50。在这些图示中，人52正通过安装在墙壁54上的广告站12。一个或多个照相装置22(图1)可设置在环境50中，并且捕获人52的影像。例如，一个或多个照相装置22可安装在广告站12(例如在显示器14周围的框架中)、在广告站12的人行道对面、在远离广告站12的墙壁54上等等。当人52走过广告站12时，人52可沿方向56行进。另外，当人52沿方向56行走时，人52的人体姿势可沿方向58(图5)，同时注视方向或人52可沿方向60朝向广告站12的显示器14(例如此人可能正观看显示器14上的广告内容)。如图5最好地示出，当人52沿方向56行进时，人52的身体62可变成面向方向58的姿势。同样，人52的头部64可沿方向60转向广告站12，从而允许人52观看广告站12所输出的广告内容。

按照一个实施例的用于互动广告的方法一般示为图6中的流程图70。系统10可例如经由照相装置22来捕获用户影像(框72)。这样捕获的影像可存储任何适当的时间长度，以便允许对这类图像进行处理，这可包括实时、准实时或在稍后时间进行处理。该方法还可包括接收用户跟踪数据(框74)。这种跟踪数据可包括以上所述的那些特性，例如注视方向、人体姿势方向、运动方向、位置等的一个或多个。这种跟踪数据可通过处理所捕获影像来接收(例如采用数据处理系统26)，以便得出这类特性。但是在其它实施例中，数据可从另外某个系统或源来接收。下面接着图7-10的描述来提供用于确定诸如注视方向和人体姿势方向之类的特性的技术的一个示例。

一旦被接收，可处理用户跟踪数据，以便推断广告站12附近的潜在顾客对输出广告内容的感兴趣程度(框76)。例如，可处理人体姿势方向和注视方向的任一个或两者，以便推断用户对广告站12所提供的内容的感兴趣程度。另外，广告系统10可基于潜在顾客的所推断感兴趣程度来控制广告站12所提供的内容(框78)。例如，如果用户正示出对输出内容的最小兴趣，则广告站12可更新广告内容，以便鼓励新用户观看或者与广告站进行互动。这种更新可包括改变所显示内容的特性(例如，改变颜色、角色、亮度等)、开始所显示内容的新回放部分(例如角色呼唤行人)或者(例如由控制器20)完全选择不同内容。如果附近用户的感兴趣程度较高，则广告站12可改变内容以保持用户的注意力或者鼓励进一步互动。

一个或多个用户或潜在顾客的兴趣的推断可基于所确定特性的分析，并且参照图7-10会更好地理解。例如，在图7所示的实施例中，用户82和用户84一般地示为走过广告站12。在本叙述中，用户82和84的行进方向56、人体姿势方向58和注视方向60一般地与广告站12平行。因此，在这个实施例中，用户82和84没有走向广告站12，其人体姿势没有面向广告站12，并且用户82和84没有看广告站12。因此，由这个数据，广告系统10可推断用户82和84没有兴趣或不参与广告站12所提供的广告内容。

图8中，用户82和84沿其相应行进方向56行进，他们的身体姿势58沿相似方向。但是他们的注视方向60均朝向广告站12。给定注视方向60，广告系统10可推断用户82和84至少看一下广告站12所提供的广告内容，从而比图7所示情况呈现更高的感兴趣程度。可从用户观看广告内容的时间长度作出其它推断。例如，如果用户朝广告站12看了长于阈值时间量，则可推断较高感兴趣程度。

图9中，用户82和84可处于静止位置，其中人体姿势方向58和注视方向60朝向广告站12。通过分析这种事件中的影像，广告系统10可确定用户82和84已经停下以便观看，并且推断用户对广告站12所显示的广告更感兴趣。类似地，图10中，用户82和84均可呈现朝广告站12的人体姿势方向58，可以是静止的，并且可具有一般面向彼此的注视方向60。由这种数据，广告系统10可推断用户82和84对广告站12所提供的广告内容感兴趣，以及当注视方向60一般朝向相对用户时，还推断用户82和84是集体与广告内容进行互动或者讨论广告内容的组群的一部分。类似地，取决于用户与广告站12或者所显示内容的接近性，广告系统还可推断用户正与广告站12的内容进行互动。还将会理解，位置、移动方向、人体姿势方向、注视方向等等可用于推断用户的其它关系和活动(例如推断组群中的一个用户首先对广告站感兴趣，并且引起组群中的其他人对输出内容的注意)。

示例：

如上所述，广告系统10可从所捕获图像数据来确定某些跟踪特性。下面提供用于通过估计无约束环境中的多个个人的位置、人体姿势和头部姿势方向来跟踪注视方向的一个实施例。这个实施例把来自固定照相装置的人物检测与从主动控制摇摄-倾斜-变焦(PTZ)照相装置所得到的定向人脸检测相结合，并且使用序列蒙特卡洛滤波(sequential Monte Carlo filtering)和MCMC(即马尔可夫链蒙特卡洛(Markov chain Monte Carlo))取样的组合从运动方向单独地估计人体姿势和头部姿势(注视)方向。在监视中跟踪人体姿势和注视方面存在许多有益效果。它允许跟踪人们的注意焦点，能够优化用于生物测定人脸捕获的现用照相装置的控制，并且能够提供成对人之间的更好互动度量。注视和人脸检测信息的可用性还改进用于拥挤环境中进行跟踪的定位和数据关联。虽然本技术可在如上所述的互动广告环境中是有用的，但是要注意，本技术可广泛地应用于许多其它环境。

检测和跟踪无约束条件下、例如大量客运交接站、运动场所和操场中的个体在许多应用中会是重要的。除此之外，对其注视和意向的理解因总体移动自由和频繁遮断而更为棘手。此外，标准监视视频中的人脸图像通常是低分辨率的，这限制了检测速率。不像顶多得到注视信息的一些先前方式，在本公开的一个实施例中，多视图摇摄-倾斜-变焦(PTZ)照相装置可用于解决人体姿势和头部取向的实时联合整体跟踪的问题。可假定在大多数情况下，注视能够通过头部姿势合理地得出。下面所使用的“头部姿势”指的是注视或视觉注意焦点，并且这些术语可互换地使用。集成和同步所耦合的人物跟踪器、姿势跟踪器和注视跟踪器，因而经由相互更新和反馈的健壮(robust)跟踪是可能的。对注视角进行推理的能力提供注意的充分指示，这对监视系统可以是有益的。具体来说，作为事件识别的互动模型的一部分，可能重要的是知道一组个人是否面向彼此(例如交谈)、面向共同方向(例如在冲突将要发生之前看另一组群)或者相互避开(例如因为他们不相关或者因为他们处于“防卫”形成中)。

下面所述的实施例提供统一框架来将多视图人物跟踪与不同步PTZ注视跟踪耦合，以便联合并且健壮地估计姿势和注视，其中所耦合的粒子滤波跟踪器(particle filtering tracker)联合估计人体姿势和注视。在人物跟踪可用于控制PTZ照相装置、从而允许人脸检测和注视估计的执行的同时，所产生的人脸检测位置又可用于进一步改进跟踪性能。这样，能够主动平衡跟踪信息，以便在使捕获正面人脸视图的概率为最大方面控制PTZ照相装置。本实施例可被认为是对使用个人的行走方向作为注视方向的指示的先前工作的改进，这在人们静止的情况下中止。当前所公开框架是一般的，并且可适用于许多其它基于视觉的应用。例如，它可允许生物测定的最佳人脸捕获，特别是在人们是静止的环境下，因为它直接从人脸检测来得到注视信息。

在一个实施例中，固定照相装置的网络用于执行站点范围(sitewide)人物跟踪。这个人物跟踪器驱动一个或多个PTZ照相装置以个人为目标以得到特写视图。集中跟踪器对地平面(例如表示目标个人在其上移动的地面的平面)进行操作，以便把来自人物跟踪和人脸跟踪的信息整合在一起。由于对于从人脸检测来推断注视的大计算负担，人物跟踪器和人脸跟踪器可不同步操作以实时运行。本系统能够对单个或多个照相装置进行操作。多照相装置设定可改进拥挤条件下的整体跟踪性能。这种情况下的注视跟踪在执行高级推理方面也是有用的，例如以便分析社交互动、注意模型和行为。

每个个人可采用状态向量

来表示，其中x是(X，Y)地平面度量世界(groundplane metric world)上的位置，v是地平面上的速率，α是地平面法线周围的人体的水平取向，是水平注视角，以及θ是垂直注视角(地平线之上为正，而地平面之下为负)。在这个系统中存在两种类型的观测：人物检测(z，R)，其中z是地平面位置测量，并且R是这个测量的不确定性；以及人脸检测(z，R，γ，ρ)，其中附加参数γ和ρ是水平和垂直注视角。每个人物的头部和脚部位置从基于图像的人物检测来提取，并且使用无迹变换(unscented transform：UT)分别后投射(backproject)到世界头平面(world headplane)(例如在人的头部水平处与地平面平行的平面)和地平面。随后，PTZ视图中的人脸位置和姿势将使用PittPatt人脸检测器来得到。其度量世界地平面位置再次通过反向投影来得到。人脸姿势通过匹配人脸特征来得到。个人的注视角通过将图像空间中的人脸摇摄和旋转角映射到世界空间来得到。最后，世界注视角通过经由n_w＝n_imgR^-T将图像局部人脸法线n_img映射到世界坐标(world coordinate)中来得到，其中R是投影P＝[R|t]的旋转矩阵。观测注视角(γ，ρ)直接从这个法线向量来得到。人脸的宽度和高度用于估计人脸位置的协方差置信等级。协方差再次使用从图像到头平面的UT从图像投射到地平面，之后接着到地平面的下投影(down projection)。

与其中单独从位置来估计人的注视角而忽略速度和人体姿势的先前工作相对照，本实施例对运动方向、人体姿势和注视之间的关系正确地建模。首先，在这个实施例中，人体姿势并不是严格地依赖于运动方向。尤其当人们按组群等待或站立时，人们能够后向和横向移动(尽管对于增加的横向速度，人们的运动变得不可能，并且，在甚至更大的速度时，只可采取前向运动)。其次，头部姿势并不依赖于运动方向，而是对相对于人体姿势能够采取什么姿势存在比较严格的限制。在这种模型下，人体姿势的估计不是微不足道的，因为它仅宽松地耦合到注视角和速度(这又仅间接地观测)。整个状态估计可使用序列蒙特卡洛滤波器来执行。假定用于将测量与随时间的跟踪关联的方法，对于序列蒙特卡洛滤波器，下面指定如下方面：(i)动态模型，以及(ii)我们的系统的观测模型。

动态模型：按照以上描述，状态向量为

状态预测模型分解如下：

$p\left(s_{t+1}\right|s_t)=p\left(q_{t+1}\right|q_t)p\left({\mathrm{\α}}_{t+1}\right|v_{t+1},{\mathrm{\α}}_t)---\left(1\right)$

使用简化q＝(x，v)＝(x，y，v_x，v_y)。对于位置和速度，假定标准线性动态模型

其中，

表示正态分布，F_t是与x_t+1＝x_t+v_tΔt对应的标准恒定速度状态预估，以及Q_t是标准系统动态(standard system dynamics)。等式(1)中的第二项描述在考虑当前速度向量下的人体姿势的传播(propagation)。假定下述模型

其中，P^f＝0.8是人向前行走的概率(对于中等速度0.5ms/s＜v＜2m/s)，P^b＝0.15是向后行走的概率(对于中等速度)，以及P^o＝0.05是基于实验试探(experimental heuristics)允许任意姿势与移动方向关系的背景概率(background probability)。通过v_t+1来表示速度向量v_t+1的方向，以及通过σ_vα表示移动向量与人体姿势之间的偏差的预计分布。前面的项N(α_t+1-α_t，σ_α)表示系统噪声分量，这又限制人体姿势随时间的变化。姿势的所有变化归因于与恒定姿势模型的偏差。

等式(1)中的第三项描述在考虑当前人体姿势下的水平注视角的传播。假定下述模型

其中，通过和P_g＝0.6加权的两项定义相对于身体姿势(α_t+1)的注视角

的分布，这允许

的范围之内的任意值，但偏向人体姿势周围的分布。最后，等式(1)中的第四项描述倾斜角的传播

其中第一项对人物趋向于偏向水平方向建模，以及第二项表示噪声。要注意，在所有上述等式中，必须注意角差。

为了在时间上向前传播粒子，需要从状态转变密度等式(1)进行取样，给定加权样本

的前一集合。在针对位置、速度和垂直头部姿势时，这易于进行。速度、人体姿势和水平头部姿势之间的松散耦合由转变密度的重要集合等式(3)和等式(4)来表示。为了从这些转变密度来生成样本，执行两个马尔可夫链蒙特卡洛(MCMC)。等式(3)所示，使用Metropolis取样器按如下方式来得到新样本：

●开始：将设置为粒子i的

●提出步骤：通过从跳跃分布(jump distribution)

进行取样来提出新样本

●接受步骤：设置 $r=p\left(a_{t+1}^i\right[k+1\left]\right|v_{t+1}{a}_{t+1}^i)/p\left(a_{t+1}^i\right[k\left]\right|v_{t+1}{a}_t^i).$ 如果r≥1，则接受新样本。否则，以概率r来接受它。如果未被接受，则设置 $a_{t+1}^i=1[k+1]=a_{t+1}^i\left[k\right].$

●重复：直到k＝N个步骤已经完成。

通常仅执行固定少量的步骤(N＝20)。上述取样对于等式(4)中的水平头部角重复进行。在两种情况下，跳跃分布设置成等于系统噪声分布，除了方差的一小部分之外，即，对于人体姿势

相似地定义

和

上述MCMC取样确保仅生成遵守预期系统噪声分布以及遵守松散相对姿势限制的粒子。发现1000个粒子是充分的。

观测模型：在按照其加权

和时间上前向传播来对粒子分布

进行取样(如上所述使用MCMC)之后，得到新样本集合

按照随后描述的观测似然模型来对样本进行加权。对于人物检测的情况，观测可由(z_t+1，R_t+1)来表示，并且似然模型为：

对于人脸检测的情况(z_t+1，R_t+1，γ_t+1，ρ_t+1)，观测似然模型为

其中λ(.)是由分别由注视向量

和所观测人脸方向(γ_t+1，ρ_t+1)所表示的单位圆上的点之间的测地距(以角度表示)。

λ((γ_t+1，ρ_t+1)，(φ_t+1，θ_t+1))＝arccos(sinρ_t+1sinθ_t+1

+cosρ_t+1cosθ_t+1cos(γ_t+1-φ_t+1)).

值σ_λ是归因于人脸方向测量的不确定性。总体上，跟踪状态更新过程如算法1中所概括的进行工作：

算法1

数据关联：至此，我们假定观测已经指配给跟踪。在这一小节将详细描述如何执行观测对跟踪指配。为了实现多人的跟踪，观测必须随时间指配给跟踪。在我们的系统中，观测从多个照相装置视图不同步地发生。观测在考虑(可能时变)投影矩阵下投射到共同世界参考框中，并且由集中跟踪器按照获取观测的顺序来消耗。对于各时间步，必须将一组(人物或人脸)检测

指配给跟踪

构建距离量度

以便使用Munkres算法来确定观测l对跟踪k的最佳一对一指配。没有被指配给跟踪的观测可能被确认为新目标，并且用于产生新候选跟踪。没有获得对其指配的检测的跟踪在时间上前向传播，并且因而没有经过加权更新。

人脸检测的使用引起可用于改进跟踪的位置信息的附加来源。结果表明，这在人脸检测器对人-人遮挡不太灵敏的拥挤环境中是特别有用的。另一个优点在于，注视信息将附加成分引入检测对跟踪指配距离量度，这有效地工作以将定向人脸指配给人物跟踪。

对于人物检测，按下式从目标框(target gate)来计算度量：

${\mathrm{\μ}}_t^k=\frac{1}{N}\underset{i}{\mathrm{\Σ}}{x}_t^{\mathrm{ki}},{\mathrm{\Σ}}_t^{\mathrm{kl}}=\frac{1}{N-1}\underset{i}{\mathrm{\Σ}}(x_t^{\mathrm{ki}}-{\mathrm{\μ}}_t^k){(x_t^{\mathrm{ki}}-{\mathrm{\μ}}_t^k)}^T+R_t^l,$

其中，

是观测l的位置协方差，以及是在时间t的跟踪k的第i个粒子的位置。距离量度则表示为：

$C_{\mathrm{kl}}^l={({\mathrm{\μ}}_t^k-z_t^l)}^T{\left({\mathrm{\Σ}}_t^{\mathrm{kl}}\right)}^{-1}({\mathrm{\μ}}_t^k-z_t^l)+\log \left|{\mathrm{\Σ}}_t^{\mathrm{kl}}\right|$

对于人脸检测，以上所述通过角距离的附加项得到扩大：

其中，从所有粒子注视角平均的一阶球形时刻来计算

和

σ_λ是与这个时刻的标准偏差，

是观测l中的水平和垂直注视观测角。由于只有PTZ照相装置提供人脸检测以及只有固定照相装置提供人物检测，所以数据关联采用所有人物检测或者所有人脸检测来执行；混合关联的注视没有发生。

本发明的技术效果包括用户的跟踪以及允许基于这种跟踪来确定用户对广告内容的感兴趣程度的改进。在互动广告环境中，被跟踪个人也许能够在无约束环境中自由移动。但是，通过整合来自各种照相装置视图的跟踪信息并且确定诸如每个人的位置、移动方向、跟踪历史、人体姿势和注视角之类的某些特性，数据处理系统26可通过观测之间的平滑和内插来估计每个个人的瞬时人体姿势和注视。甚至在因遮挡而缺失观测或者因移动PTZ照相装置的运动模糊而缺失稳定人脸捕获的情况下，当前实施例仍然能够随时间使用“最佳猜测”内插和外插来保持跟踪器。另外，当前实施例允许确定特定个人是否对正进行广告节目具有强烈注意或者有兴趣(例如，当前与互动广告站进行互动、只经过或者只停下以便玩一下广告站)。另外，当前实施例允许系统直接推断一组人是否共同与广告站进行互动(例如某人当前正与同伴讨论(展示相互注视)，要求他们参与，或者询问父母对购买的支持？)。此外，基于这种信息，广告系统能够最佳地更新其情节/内容，以便最好地针对涉及等级。以及通过对人们的注意作出反应，系统还展现极强的智能能力，这增加普及性，并且鼓励更多人尝试与系统进行互动。

虽然本文仅说明和描述了本发明的某些特征，但本领域的技术人员将会想到多种修改和变更。因此要理解，所附权利要求预计涵盖落入本发明的真实精神之内的所有这类修改和变更。

Claims (25)

1.一种系统，包括：

广告站，包括显示器并且配置成经由所述显示器向潜在顾客提供广告内容；

一个或多个照相装置，配置成当潜在顾客接近所述广告站时捕获潜在顾客的图像；以及

数据处理系统，包括处理器以及具有供所述处理器执行的应用指令的存储器，所述数据处理系统配置成执行所述应用指令，以便分析所述所捕获图像以确定潜在顾客的注视方向和身体姿势方向，并且基于所述所确定注视方向和身体姿势方向来确定潜在顾客对所述广告内容的感兴趣程度。

2.如权利要求1所述的系统，其中，所述广告站包括控制器，以便基于所述所确定的潜在顾客感兴趣程度来选择内容。

3.如权利要求1所述的系统，包括结构光元件，其中，控制器基于所述所确定的潜在顾客的感兴趣程度来控制所述结构光元素。

4.如权利要求1所述的系统，其中，所述广告站配置成向潜在顾客提供互动广告内容。

5.如权利要求1所述的系统，其中，所述广告站包括所述数据处理系统。

6.一种方法，包括：

接收数据，所述数据为关于经过显示广告内容的广告站的人们的注视方向或人体姿势方向中的至少一个的数据；以及

处理所述所接收数据，以便推断人们对所述广告站所显示的所述广告内容的感兴趣程度。

7.如权利要求6所述的方法，包括所述广告站基于经过所述广告站的人们的所推断感兴趣程度来自动更新所述广告内容。

8.如权利要求7所述的方法，其中，更新所述广告内容包括选择将要由所述广告站显示的不同广告内容。

9.如权利要求6所述的方法，其中，接收关于注视方向或人体姿势方向中的至少一个的数据包括接收关于注视方向的数据，并且处理所述所接收数据以推断人们的感兴趣程度包括检测至少一个人朝所述广告站看了超过阈值时间量。

10.如权利要求6所述的方法，其中，接收关于注视方向或人体姿势方向中的至少一个的数据包括接收关于注视方向和人体姿势方向的数据，并且处理所述所接收数据包括处理关于注视方向和人体姿势方向的所述所接收数据以推断人们对所述广告内容的所述感兴趣程度。

11.如权利要求10所述的方法，其中，处理关于注视方向和人体姿势的所述所接收数据包括确定一组人集体与所述广告站进行互动。

12.如权利要求11所述的方法，其中，处理关于注视方向和人体姿势的所述所接收数据包括确定至少两个人正谈论所述广告站。

13.如权利要求10所述的方法，其中，处理关于注视方向和人体姿势的所述所接收数据包括确定人们是否正与所述广告站进行互动。

14.如权利要求6所述的方法，包括将光束从结构光源投射到某个区域，以便指导至少一个人观看所述区域或者与所述区域中显示的内容进行互动。

15.一种方法，包括：

从至少一个照相装置接收图像数据；以及

电子地处理所述图像数据，以便估计所述图像数据中所示的某人的身体姿势方向和注视方向，而与此人的运动方向无关。

16.如权利要求15所述的方法，其中，从至少一个照相装置接收图像数据包括仅从单个固定照相装置来接收图像数据，并且电子地处理所述图像数据包括电子地处理仅来自所述单个固定照相装置的所述图像数据。

17.如权利要求15所述的方法，其中，从至少一个照相装置接收图像数据包括从多个照相装置来接收图像数据，并且电子地处理所述图像数据包括电子地处理来自所述多个固定照相装置的至少两个照相装置的每个的所述图像数据。

18.如权利要求17所述的方法，包括在无约束环境中使用至少一个固定照相装置和至少一个摇摄-倾斜-变焦照相装置来捕获所述图像数据。

19.如权利要求18所述的方法，包括基于来自所述至少一个固定照相装置的数据来跟踪人物，以及基于所述人物的跟踪来控制所述至少一个摇摄-倾斜变焦照相装置，以便捕获所述人物的近景视图，并且促进注视方向的估计。

20.如权利要求19所述的方法，包括使用产生于对所述至少一个摇摄-倾斜-变焦照相装置的控制的人脸检测位置来改进使用所述至少一个固定照相装置的跟踪性能。

21.如权利要求17所述的方法，其中，从多个照相装置接收图像数据包括接收邻接广告站的区域的图像数据。

22.如权利要求15所述的方法，其中，处理所述图像数据以估计人体姿势方向和注视方向包括使用序列蒙特卡罗滤波器。

23.一种制造，包括：

其上存储了可执行指令的一个或多个非暂时计算机可读介质，所述可执行指令包括：

适合接收关于经过显示广告内容的广告站的人们的注视方向的数据的指令；以及

适合分析关于注视方向的所述所接收数据以推断人们对所述广告站所显示的所述广告内容的感兴趣程度。

24.如权利要求23所述的制造，其中，所述一个或多个非暂时计算机可读介质包括其上至少共同存储了所述可执行指令的多个非暂时计算机可读介质。

25.如权利要求23所述的制造，其中，所述一个或多个非暂时计算机可读介质包括计算机的存储介质或随机存取存储器。

Images