CN101233540A - 用于监控对目标感兴趣的人的装置及其方法 - Google Patents

Abstract

本发明涉及一种监控对目标感兴趣的人(101)的方法。该方法包括步骤：(210)提供数据处理器(111)，所述数据处理器(111)用于获得与人和多个目标(131、132、133)中的至少一个之间的远程交互相关的交互数据；(240)使用数据处理器来分析交互数据，以识别所述人感兴趣的一个特定目标(133)；以及(250)获得与特定目标相关的附加数据，以向所述人告知所述特定目标。对交互数据的分析可以包括：步骤(220)，识别所述人感兴趣的远程位置；以及步骤(230)，确定所述多个目标相对于所述远程位置的位置。

Description

用于监控对目标感兴趣的人的装置及其方法

本发明涉及一种用于监控对目标感兴趣的人的方法，以及一种用于监控对目标感兴趣的人的装置。本发明还涉及一种包括所述装置的系统以及一种计算机程序产品。

JP2003/271084公开了一种位于书店内的系统，其用于监控经过书店橱窗的潜在顾客。该系统包括摄像机和显示器，所述摄像机和显示器与中央处理单元(处理器)相连。摄像机配置为获取顾客的图像，以及将图像提供给处理器。处理器配置为对图像进行处理以及分别控制摄像机和显示器。处理器还配置为根据图像来确定潜在顾客的性别和年龄。显示器安装在书店的橱窗上，使得顾客可以从书店外面看到显示器上的信息。处理器能够计算顾客面部的中线，以确定顾客所观看的方向。如果处理器确定顾客向书店橱窗的方向观看，则处理器将自动地根据顾客的性别和年龄来控制显示器显示例如待售杂志列表的信息。

所述已知系统具有如下缺点，即，例如由于对所监控顾客的图像的处理方式以及对将展示的信息的选择方式，不能适当地向潜在顾客提供信息。潜在顾客仅仅看到针对所确定的性别和年龄而预先选择的信息，然而，例如由于错误地确定了年龄或者希望在显示器上看到其它信息的顾客对所述预先选择的信息不感兴趣，则可能最好不向顾客展示该信息。

希望提供如下方法，该方法监控对目标感兴趣的人并高效地选择向该人展示的信息。应当以能够准确选择适合于该人的信息的方式来对该人进行监控。

本发明的方法包括步骤：

-提供数据处理器，所述数据处理器用于获得与人和多个目标中的至少一个之间的远程交互相关的交互数据，

-使用数据处理器分析交互数据，以识别该人感兴趣的一个特定目标，以及

-获得与特定目标相关的附加数据，以向该人告知该特定目标。

例如，通过对作为交互数据而提供给数据处理器的一个或多个图像进行分析，能够确定人相对于目标的位置。数据处理器可以根据至少一个图像来确定该人向特定方向观看。可根据人的观看方向和人的位置来识别特定目标。当获知该人对特定目标尤其感兴趣时，可以针对所识别的特定目标进行进一步的信息展示或者进一步的用户交互。当对人进行监控时，由于可以向该人示出明确地关联于特定目标的具体信息，所以附加数据准确地匹配了该人的兴趣。例如，如果通过商店橱窗注视特定目标(达到一段特定的时间)，则该人的兴趣就是毫无疑问的。

在从JP2003/271084中获知的系统中，仅仅一般性地确定人是否在观看显示器。例如，该系统不能推断出该人对哪种杂志感兴趣。如果准确地确定了年龄，则该系统可能仅仅显示该人将会感兴趣的杂志列表。显示器的全部内容适用于潜在顾客。无论如何，该已知系统不能检测出该潜在顾客对于所显示杂志中的那些杂志有特别的兴趣。

本发明的装置包括数据处理器，所述数据处理器用于：

-获得与人和多个目标中的至少一个之间的远程交互相关的交互数据，

-分析交互数据，以识别该人感兴趣的一个特定目标，

-获得与特定目标相关的附加数据，以向该人告知该特定目标。

所述装置能够识别该人感兴趣的特定目标，以及提供关于特定目标的相应信息。所述装置可以根据本发明的方法进行操作。

将参照下列附图，通过实例进一步说明和描述本发明的这些及其它方面：

图1是根据本发明的系统的实施例的功能框图；

图2是本发明的方法的实施例。

如图1所示，本发明的多个可能实现方式中的一种实现方式提供了一种系统100，其用于监控商店橱窗105附近的人。系统100包括：装置110，用于监控可能是商店潜在顾客的人101；展示单元，例如显示屏120，用于显示关于目标的信息，例如人101可通过商店橱窗105看见的待售商品131、132和133；以及一个或多个监控单元，例如摄像机141和142。

图1中所示的系统100配置于经由商店橱窗105而与人101相分隔的商店区域中。但是，该系统也可能配置用于监控正位于商店区域内的人。

摄像机141和142可用于捕获视频数据，使得商品131、132和133前方或者附近的区域被覆盖。例如，如果人101在商店橱窗105附近，则该人将处于摄像机141和142所监控的区域内。此外，摄像机可以用实时模式将视频数据输送到装置110。

装置110可以包括数据处理器111(也称为“处理器”)，其用于获得摄像机141和142提供的视频数据。视频数据可示出人101与商品131、132和133中的至少一个之间是否存在“远程交互”。远程交互可能涉及人101正在向一个商品驻足注视、人101正用手指指向一个商品、在人101和另一顾客(未示出)之间关于一个商品的交谈以及人对商店橱窗105的触摸。远程交互涉及人101的行为，但该人不必使用任何附加的电子装置来进行交互。

装置110可以附加地包括存储器单元(未示出)，例如，公知的RAM(随机存取存储器)存储器模块。处理器110可配置为从存储器单元读取至少一个指令，以启动所述装置的功能。

处理器111可执行对视频数据的分析，以检测人101的观看方向D以及位置。该分析可以涉及在JP2003/271084中公开的检测人头部的位置和倾斜度的方法。可选地，可以使用眼睛跟踪方法，其利用了人的注视与人眼瞳孔相对位置之间的关系。所述方法还可以使用亮眼效应(bright eye effect)，其是眼睛视网膜的高反射特性所产生的。进入眼睛的大量光线通过瞳孔而被反射。

在一个实施例中，处理器111配置为执行图像分析算法，以用于检测人101的手指所指向的方向(未示出)。手指指向方法可为眼睛注视分析增加可靠性。可以对通过手指指向方法和眼睛注视分析所确定的方向进行比较，以推导出例如人101对于商品131、132和133中的一个所指示的“平均”方向。

一旦确定了人的观看方向和人的位置，就获得关于商品131、132和133位置的信息，以确定人的观看方向与其中一个商品之间的相交点。

存在多种方法来检测商品的位置。一种选择是使用检测器网格150(例如，有源RFID天线的)来检测附着在相应商品131、132和133上的RFID标签161、162和163。至少很多大商店使用某种类型的RFID标签来为其商品加标签。根据本发明的RFID标签161、162和163还可以存储相应商品131、132和133的标识符。标识符可提供商品的名称、价格或者仅仅提供商品的唯一编码。在一个具体实施例中，RFID标签存储用于通过显示屏120向人101展示相应商品的信息。例如，RFID标签可存储用于启动对相应商品的照亮的触发器。

另一种确定商品位置的方法是使用交互地图(未示出)来定义位置。商店的销售代理可使用装置110来用户可操作地定义地图上的位置。例如，装置110可具有用户界面，以使得销售代理能够指定商品位置。该装置可以存储地图，并将其用于找到商品的坐标。

利用检测器网格150，获得商品131、132和133的坐标及其标识符，并提供给装置110。此外，数据处理器111可将商品131、132和133的坐标与人的观看方向D以及人101的位置进行比较。该比较可以揭示人101所观看的一个特定商品，例如商品133。通过这种方式，数据处理器可以识别出特定的商品133及其标识符。

在已获得特定商品的标识符之后，数据处理器111可以使用来自标识符的编码，查询用于存储与特定商品133相关的附加数据的商品数据库(未示出)。附加数据可以包括描述特定商品的技术规范的媒体内容数据或者用于推销特定商品的视频剪辑等。

附加数据(例如，媒体内容数据)被显示在显示屏120上。人101可以在观看特定商品或者用手指指出特定商品之后，立即看到关于该特定商品的信息。

媒体内容数据可以包括视觉信息(例如，视频图像、照片、图片)、音频信息、文本信息以及其它数字数据中的至少一个或者其组合，其中，所述其它数字数据例如根据MPEG-7标准的元数据，所述MPEG-7标准可用于通过采样以及通过使用词汇的搜索项来描述和搜索数字化资料。

根据一个实施例，商品131、132和133所位于的商店区域可设有一个或多个麦克风(未示出)，以用于生成音频数据并向处理器111提供该音频数据。音频数据可涉及商品前面的人们之间的谈话或者人101的语音命令。处理器111可从音频数据中提取与商品相关的关键字。关键字可被预先确定，例如，“TV”、“DVD播放器”、“家庭影院系统”，或者可将启发式话音分析算法用于提取音频数据中可能与商品相关的部分。处理器111可以使用从音频数据的相关话音中识别的关键字或文本来查询商品数据库，以便找到可能在谈话中描述的或者人101所提及的商品131、132和133中之一。从而，可以识别出特定目标133。

在另一个实施例中，通过对人101在商店橱窗105上的一次或多次触摸进行检测，识别特定目标。商店橱窗可以包含一个网格，该网格具有例如电容性触摸检测器(未示出)或者其它用于检测在商店橱窗上的触摸位置的触摸检测器。触摸检测器可向处理器111发送具有触摸位置的触摸输入数据。处理器可将触摸位置映射到商品131、132和133的坐标上，以确定哪个商品离橱窗上的触摸最近。例如，将最近的商品识别为特定商品133。

优选地，装置110可以耦接到接近度检测器(未示出)，其用于感应人101是否在商店橱窗105附近。接近度感应器可安装在商店橱窗处。当检测到人101位于商店橱窗前面时，接近度感应器可以生成激活信号。当接收到激活信号时，处理器111可以发起对人的监控处理。

可使用其它用于向人告知特定目标的装置来代替显示屏120。例如，系统100可以包括自动可移动投射灯，用于照亮特定目标。从而，对特定目标感兴趣的人可以更好地观看被照亮的特定目标。可选地，商品131、132和133可以位于可旋转平台上。装置110可以单独地控制其中一个平台，以旋转被识别为特定目标的一个相应商品。在另一个实例中，使用投射灯(未示出)来代替显示屏120，用于将关于特定商品的附加数据投射在商店橱窗105上。商店橱窗可以具有适于显示所投设的附加数据的特定结构。

图1中所示的实施例还可适用于图书馆、展会、博物馆或者其它向公众呈现物品的公共场合。但是，本发明并不限于对物品的识别。例如，图1中所示的实施例可应用于例如在互联网商店中提供在线商品广告。显示屏120可以视觉性地显示商品，使得商品不必物理地位于商店橱窗和显示屏之间，如图1所示。眼睛注视检测和手指指向可用于远程检测人101对所显示商品之一的兴趣。一旦识别出人101感兴趣的特定商品，显示屏120就可以显示关于该特定商品的附加信息。

图2示出本发明的方法的实施例。该实施例包括步骤210，其中，使用处理器111来获得交互数据，例如，摄像机141和142提供的视频数据、麦克风生成的音频数据或者具有人101的触摸位置的触摸输入数据。在步骤220中，检测人101的眼睛注视方向D，以及根据视频数据确定人101的位置。可选地或附加地，手指指向方法能够检测人101的手指所指向的方向(未示出)；或者，从音频数据提取关键字或所识别的话音。根据步骤230，确定目标的位置。例如，RFID检测器的网格150用于检测RFID标签161、162和163。也可以使用指示商品位置的交互地图。在步骤240中，基于所感兴趣的远程位置(例如，与人的观看方向或者手指所指向的方向相对应的位置)以及商品131、132和133的位置，识别特定目标133。在一个实施例中，步骤230和240对应于使用来自音频数据的关键字或者所识别的话音来查询商品数据库，以找到可能在谈话中所描述的或者人101所提及的商品131、132和133之一。最后，步骤250用于获得附加数据。根据附加数据，对特定目标进行照亮、旋转或者与关于特定目标的附加信息一起在显示屏上进行显示。

该方法能够通过仅仅改变对人所感兴趣的特定目标的展示，来调整呈现给人的目标展示。从而，特定目标的展示被个性化。这可以对于人101对特定目标133的感知产生良好效果。本发明能够在系统100和人101之间进行直观简便的交互，使得人101能够接收感兴趣的信息，而无需任何附加设备与系统进行交互。

在该方法的另一个实施例中，装置110可以在一个特定的时间段内识别一个以上的特定目标。人101可能首先简要地扫视整个范围的商品131、132和133，然后定位于最感兴趣的一个商品上。对于这种情况，装置110可以配置为计算人101观看商品131、132和133之一的时间、人101指向其中一个商品的时间等。当人101将注意力从一个商品转换到另一个商品时，该装置可以控制显示屏120显示相应商品的附加数据。作为下一个步骤，该装置可以找到获得最长时间关注的一个商品。从而，装置110识别出进一步特定目标。在一个实例中，该装置还使得显示屏120显示关于所述进一步特定商品的更详细的附加信息。该装置还可为销售代理生成听觉或视觉信号，其指示潜在顾客可能要决定购买所述进一步特定商品。可选地，该装置可以使显示屏120显示邀请人101进入商店以获得进一步帮助的消息。

可以在本发明概念的范围内实现各种变型和改进。例如，在一个实施例中，根据本发明的系统实现在单个设备中，或者，该系统包括服务提供商和顾客。可选地，该系统可以包括分布式的彼此位置较远的设备。在另一个实施例中，装置110可适用于使用互联网搜索引擎来搜索关于特定商品的附加数据。

处理器可执行软件程序，以启动执行本发明方法的各个步骤。该软件可使本发明的装置独立于其所运行的地点。例如，为了启动装置，处理器可向其它(外部)设备发送软件程序。当软件被制造或开发以运行于消费电子产品上时，独立方法权利要求书和计算机程序产品权利要求可用于保护本发明。外部设备可使用已有技术(例如，蓝牙、IEEE 802.11[a-g]等)与处理器相连。处理器可根据UPnP(通用即插即用)标准与外部设备交互。

将“计算机程序”理解为表示存储于计算机可读介质(例如软盘)上的、可通过网络(例如互联网)下载或者以任意其它方式购买的任何软件产品。

多种程序产品可实现本发明的系统功能和方法，并且所述程序产品可以用多种方式与硬件结合或者位于不同的设备中。可以通过包括多个独立元件的硬件以及通过被适当编程的计算机来实现本发明。在列举了若干模块的装置权利要求中，这些模块中的一些模块可以用同一个硬件实现。

Claims (14)

1.一种监控对目标感兴趣的人(101)的方法，所述方法包括步骤：

(210)提供数据处理器(111)，所述数据处理器(111)用于获得与所述人和多个目标(131、132、133)中的至少一个之间的远程交互相关的交互数据，

(240)使用所述数据处理器分析所述交互数据，以识别所述人感兴趣的一个特定目标(133)，以及

(250)获得与所述特定目标相关的附加数据，以向所述人告知所述特定目标。

2.根据权利要求1所述的方法，其中，对所述交互数据的分析包括：

步骤(220)，识别所述人感兴趣的远程位置，以及

步骤(230)，确定所述多个目标相对于所述远程位置的位置。

3.根据权利要求1所述的方法，包括下列步骤中的任何一个或者组合：

使用至少一个视频摄像机(141、142)来获得作为与所述远程交互相关的所述交互数据的视频数据，以及向所述数据处理器提供所述视频数据的步骤，

使用至少一个麦克风来获得作为与所述远程交互相关的所述交互数据的音频数据，以及向所述数据处理器提供所述音频数据的步骤，

使用触摸检测器来获得作为与所述远程交互相关的所述交互数据的触摸输入数据，以及向所述数据处理器提供所述触摸输入数据的步骤，其中所述触摸检测器相对于所述多个目标是远程的。

4.根据权利要求1所述的方法，其中，所述数据处理器配置为眼睛注视检测器，所述眼睛注视检测器用于确定人的观看方向(D)以及所述方向与所述特定目标的相交点。

5.根据权利要求1所述的方法，其中，识别一个以上的特定目标，还包括确定多个特定目标中的进一步特定目标的步骤，其中所述进一步特定目标吸引了所述人的更多兴趣。

6.根据权利要求1所述的方法，其中，所述多个目标被显示在显示屏(120)上。

7.根据权利要求6所述的方法，还包括使所述人能够在显示器上看到所述附加数据的步骤。

8.根据权利要求1的任何一项所述的方法，其中，一个或多个目标是所述人可看见的物品。

9.根据权利要求8所述的方法，还包括使用所述附加数据，通过对所述特定目标的照亮或者物理移动来主动地向所述人呈现所述特定目标的步骤。

10.根据权利要求8所述的方法，其中，所述多个目标的位置和所述远程交互的相应类型被可变地定义在交互地图中。

11.根据权利要求8所述的方法，其中，所述多个目标位于商店区域中。

12.一种装置(110)，用于监控对目标感兴趣的人(101)，所述装置包括数据处理器(111)，所述数据处理器(111)用于：

获得与所述人和多个目标(131、132、133)中的至少一个之间的远程交互相关的交互数据，

分析所述交互数据，以识别所述人感兴趣的一个特定目标(133)，

获得与所述特定目标相关的附加数据，以向所述人告知所述特定目标。

13.一种系统(100)，用于监控对目标感兴趣的人(101)，所述系统包括如权利要求11所述的装置(110)以及下列任何一个或者组合：

视频摄像机(141、142)，用于获得作为与所述远程交互相关的所述交互数据的视频数据，以及向所述装置提供所述视频数据，

麦克风，用于获得作为与所述远程交互相关的所述交互数据的音频数据，以及向所述装置提供所述音频数据，

触摸检测器，用于获得作为与所述远程交互相关的所述交互数据的触摸输入数据，以及向所述装置提供所述触摸输入数据，其中所述触摸检测器相对于所述多个目标是远程的。

14.一种启动可编程设备的计算机程序产品，当执行所述产品的计算机程序时，实现权利要求1至11中的任何一项所述的方法。

Images