CN103300815A

CN103300815A - 眼球关注点确定方法、装置和系统

Info

Publication number: CN103300815A
Application number: CN2012100687202A
Authority: CN
Inventors: 杜珣弤; 左晶晶; 何成霞; 朱琪
Original assignee: O2Micro China Co Ltd
Current assignee: O2Micro China Co Ltd
Priority date: 2012-03-15
Filing date: 2012-03-15
Publication date: 2013-09-18
Anticipated expiration: 2032-03-15
Also published as: US20130243332A1; TW201337772A; CN103300815B; TWI505195B

Abstract

本发明涉及一种眼球关注点确定方法、装置和系统。眼球关注点确定方法包括：获取眼球的视频信息；根据所述视频信息，确定所述眼球的位置信息和所述眼球的有效区域；根据所述眼球的位置信息、所述眼球的有效区域和预设关注条件，确定所述眼球的关注点。眼球关注点确定装置包括：视频信息获取模块、眼球位置信息确定模块、眼球有效区域确定模块。本发明提供的眼球关注点确定方法、装置和系统可以应用于商场、超市等场所，用以对普通顾客喜好的产品进行统计。

Description

眼球关注点确定方法、装置和系统

技术领域

本发明涉及眼球跟踪技术领域，具体涉及一种眼球关注点确定方法、装置和系统。

背景技术

眼球运动跟踪系统在很多方面存在需求。例如，当顾客进入商店时，店员往往会上前询问顾客想要购买何种商品，而此种行为常常会引起顾客的反感。如果在商场中安放眼球运动跟踪系统，则通过上述系统能够跟踪记录顾客的眼球运动，并记录眼球在物体上停留的时间、次数等统计数据，从而确定其感兴趣的商品。当然，上述眼球运动跟踪系统还可以应用于银行、机场等场所，以用于根据顾客的关注点向顾客提供其所需要的相关信息。

发明内容

在下文中给出关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

本发明的一个主要目的在于，提供眼球关注点确定方法、装置和系统。

根据本发明的一个方面，提供了一种眼球关注点确定方法，该方法包括：获取眼球的视频信息；根据所述视频信息，确定所述眼球的位置信息和所述眼球的有效区域；根据所述眼球的位置信息、所述眼球的有效区域和预设关注条件，确定所述眼球的关注点。

根据本发明的另一个方面，提供了一种眼球关注点确定装置，该装置包括：视频信息获取模块，用于获取眼球的视频信息；眼球位置信息确定模块，用于根据所述视频信息，确定所述眼球的位置信息；眼球有效区域确定模块，用于根据所述视频信息，确定所述眼球的有效区域；眼球关注点确定模块，用于根据所述眼球的位置信息、所述眼球的有效区域和预设关注条件，确定所述眼球的关注点。

根据本发明的另一个方面，提供了一种眼球关注点确定系统，该系统包括：至少两个眼球关注点确定装置和服务器，其中：所述眼球关注点确定装置，用于确定所述眼球的关注点，并对所述眼球的关注点进行统计，生成关注点数据集，将所述关注点数据集上传到所述服务器，使其他眼球关注点确定装置通过局域网或互联网与所述服务器进行互联，共享所述关注点数据集；所述服务器，用于接收所述眼球关注点确定装置发送的关注点数据集，并向所述其他提供所述关注点数据集。

本发明实施例，通过根据所述视频信息，确定所述眼球的位置信息和所述眼球的有效区域；进而根据所述眼球的位置信息、所述眼球的有效区域和预设关注条件，确定所述眼球的关注点。本发明提供的眼球关注点确定方法可以应用于商场、超市等场所，用以对普通顾客喜好的产品进行统计。通过以下结合附图对本发明的最佳实施例的详细说明，本发明的这些以及其他优点将更加明显。

附图说明

参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似的技术特征或部件将采用相同或类似的附图标记来表示。

图1是示出根据本发明实施例的眼球关注点确定方法流程图；

图2是示出根据本发明实施例的又一眼球关注点确定方法流程图；

图3是示出根据本发明实施例的眼睛分区示意图；

图4是示出根据本发明实施例的眼球的有效区域示意图；

图5是示出根据本发明的实施例的眼球关注点确定装置的框图；

图6是示出根据本发明的实施例的又一眼球关注点确定装置的框图；

以及

图7是示出根据本发明的实施例的眼球关注点确定系统的框图。

具体实施方式

下面参照附图来说明本发明的实施例。在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意，为了清楚的目的，附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。

图1示出了根据本发明实施例提供的一种眼球关注点确定方法，所述方法包括以下步骤：

S101：获取眼球的视频信息；

S102：根据所述视频信息，确定所述眼球的位置信息和所述眼球的有效区域；

S103：根据所述眼球的位置信息、所述眼球的有效区域和预设关注条件，确定所述眼球的关注点。

本发明实施例，通过根据所述视频信息，确定所述眼球的位置信息和所述眼球的有效区域；进而根据所述眼球的位置信息、所述眼球的有效区域和预设关注条件，确定所述眼球的关注点。本发明提供的眼球关注点确定方法可以应用于商场、超市等场所，用以对普通顾客喜好的产品进行统计。

如图2所示，在上一实施例的基础上，本发明实施例提供的又一眼球关注点确定方法，所述方法包括以下步骤：

S201：获取眼球的视频信息；

其中，该视频信息由若干帧图像组成。可选的，可通过摄像头获取眼球的视频信号。优选的，为了减小计算量及存储量，可以选取灰阶摄像头采集图像。当然，也可以采取其它摄像装置，例如红外摄像装置，以避免图像采集受到光线的影响而出现偏差。此外，还可以使灰阶摄像头与红外摄像头协同工作，以获取更准确的图像信息。

S202：截取所述视频信息中m个帧图像；

本步骤中，可利用各种处理手段对图像进行处理，例如图像压缩、图像增强、图像复原、图像分割等。通过图像处理，得到用于分析的有效图像数据。在此步骤，还可去除错误采集得到的无关图像。并对该有效的图像数据截取m个帧图像，其中m为大于或等于1的自然数。

S203：根据预设的眼球运动分区和所述帧图像，确定所述眼球的位置信息。

其中，由于人类眼睛的视觉暂留现象是每秒24帧的标准，在本步骤中，优选的，截取m值为6～7帧来分析眼球的动作。其中，每一帧图像对应于眼球的一个位置。将这6～7帧图像按顺序排好，相应地得到眼球位置的依次变化。

进一步的，如图3所示，把人的眼睛所在区域均分成九个子区域，该九个子区域即为预设的眼球运动分区。其中，A表示眼球在左边，眼睛在向左看；同样的，B、C、D、E分别表示眼球在右、上、下、中的位置。将所述帧图像映射到预设的九个子区域，从而确定出该眼球处于该九个子区域的具体位置。

S204：根据所述视频信息，确定所述眼球的可运动路径；

由于人眼球的运动弧度范围在一个固定区间内，因此可根据该视频信息确定该眼球对应的可运动路径，该运动路径可以是一个精确的值，也可以是一个运动区间。

S205：根据所述可运动路径，生成所述眼球的有效区域。

本步骤中，通过该可运动路径，计算出基于该可运动路劲的运动覆盖面积，该运动覆盖面积即为该有效区域。

S206：根据所述眼球的位置信息，确定所述眼球在所述有效区域的映射点；

本步骤中，该映射点为该眼球的位置信息在该有效区域内的映射点。即将该眼球的位置信息与该有效区域进行叠加，该眼球落在该有效区域的点即为该映射点。

以人看电视为例，进一步说明如何获取人的目光落在电视机上的位置，也就是定位人眼关注点。假定人相对于电视机的位置是不动的，如图4所示，将眼球的有效区域进行标定后分成六个子区域。由于人与电视机是面对面的，因此，眼球在眼睛有效区域的位置与其目光落在电视机上的位置呈镜像关系。例如，眼球在图5所示的位置1，即表示电视机上相应的位置1被关注。而如果眼球在位置6，则其目光落在电视机的位置6处。当然，对人眼有效区域的划分不局限于6个子区域，例如，可以对应于图3划分为9个子区域。或者为了粗略划分以降低存储量及计算量，可将其划分为4个子区域。此外，对子区域的划分也不必是均分的。

S207：当所述映射点满足所述预设关注条件时，确定所述映射点为所述眼球的关注点。

可选的，所述预设关注条件包括预设关注时间条件，和/或预设关注频率条件。

本步骤中，当预设关注条件为预设关注时间条件时，例如，预设关注时间条件为3秒，则当该映射点在该有效区域内停留时间为3秒或三秒以上时，确定该映射点为所述眼球的关注点。当预设关注条件为预设关注频率条件时，例如，预设关注频率条件为2次/分钟，则当该映射点在每分钟2次或2次以上出现在该有效区域内时，确定该映射点为所述眼球的关注点。

本发明实施例提供的眼球关注点确定方法可应用于很多场所，如商场、超市等商户。该众多应用场景中，了解顾客的购物需求是很重要的。以往通过店员上前询问的方式往往会被顾客认为是对自己购物的打扰，因此将眼球运动跟踪系统应用于商场，能够在不打扰顾客的同时，方便、准确地获取顾客购物需求方面的信息。进一步的，本实施例所提供的方法，还可以用于当该眼球所属个体为该应用场景的注册用户时，如超市的注册用户，向该注册用户提供与其关注点涉及信息相关的商品信息，如其所关心的商品的款式、价格、折扣以及商品是否有更新、新到货等信息。优选的，当该注册用户绑定了具体的终端时，向其所在终端发送相关信息。如果顾客为非注册用户，该眼球运动跟踪系统可以仅对其关注点信息进行采集和统计。

其中，顾客持有的终端设备可以是便携式计算机、移动电话或其他接收装置。进一步的，顾客可以商户提供的相关应用软件下载到便携式计算机、移动电话或其他接收装置，并注册成为该服务项目(提供商品信息)的会员，即成为该商户的注册用户。关于识别顾客是否为注册用户，可以通过眼球图像信息的比较或者通过设备ID进行身份识别，本领域技术人员应当理解，还存在其他识别方式。

优选的，本实施例还可对所述眼球的关注点进行统计，生成关注点数据集，将所述关注点数据集上传到服务器，使其他终端通过局域网或互联网与服务器进行互联，共享所述关注点数据集。例如，本发明实施例提供的眼球关注点确定方法应用于超市且该超市有其他连锁超市，则该任意超市均可统计顾客对商品的关注信息，从而实现连锁超市间顾客关注商品的共享。

如图5所示，本发明实施例还提供了一种眼球关注点确定装置，所述装置包括：视频信息获取模块301、眼球位置信息确定模块302、眼球有效区域确定模块303以及眼球关注点确定模块304。

其中，视频信息获取模块301，用于获取眼球的视频信息；

眼球位置信息确定模块302，用于根据所述视频信息，确定所述眼球的位置信息；

眼球有效区域确定模块303，用于根据所述视频信息，确定所述眼球的有效区域；

眼球关注点确定模块304，用于根据所述眼球的位置信息、所述眼球的有效区域和预设关注条件，确定所述眼球的关注点。

如图6所示，在上一实施例的基础上，本发明还提供了一种眼球关注点确定装置，其中，眼球位置信息确定模块302具体包括；

帧图像截取单元3021，用于截取所述视频信息中m个帧图像；

优选的，m为6或7。

眼球位置信息确定单元3022，用于根据预设的眼球运动分区和所述帧图像，确定所述眼球的位置信息。

该眼球有效区域确定模块303具体包括：

可运动路径确定单元3031，用于根据所述视频信息，确定所述眼球的可运动路径；

有效区域生成单元3032，用于根据所述可运动路径，生成所述眼球的有效区域。

该眼球关注点确定模块304具体包括：

有效区域映射点确定单元3041，用于根据所述眼球的位置信息，确定所述眼球在所述有效区域的映射点；

眼球关注点确定单元3042，用于当所述映射点满足所述预设关注条件时，确定所述映射点为所述眼球的关注点。

进一步的，所述装置还包括：

关注点数据集生成模块305，用于对所述眼球的关注点进行统计，生成关注点数据集；

关注点数据集共享模块306，用于将所述关注点数据集上传到服务器，使其他终端通过局域网或互联网与服务器进行互联，共享所述关注点数据集。

所述预设关注条件包括预设关注时间条件，和/或预设关注频率条件。

如图7所示，本发明实施例还提供了一种眼球关注点确定系统，该系统包括至少两个眼球关注点确定装置401和服务器402，其中：

所述眼球关注点确定装置401，用于确定所述眼球的关注点，并对所述眼球的关注点进行统计，生成关注点数据集，将所述关注点数据集上传到所述服务器，使其他眼球关注点确定装置通过局域网或互联网与所述服务器进行互联，共享所述关注点数据集；

所述服务器402，用于接收所述眼球关注点确定装置发送的关注点数据集，并向所述其他眼球关注点确定装置提供所述关注点数据集。

本领域的普通技术人员应理解，在此所例举的是示例性的，本发明并不局限于此。

在本说明书中，“第一”、“第二”以及“第N个”等表述是为了将所描述的特征在文字上区分开，以清楚地描述本发明。因此，不应将其视为具有任何限定性的含义。

作为一个示例，上述方法的各个步骤以及上述设备的各个组成模块和/或单元可以实施为软件、固件、硬件或其组合，并作为相应设备中的一部分。上述装置中各个组成模块、单元通过软件、固件、硬件或其组合的方式进行配置时可使用的具体手段或方式为本领域技术人员所熟知，在此不再赘述。

在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其他实施方式中使用，与其他实施方式中的特征相组合，或替代其他实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其他特征、要素、步骤或组件的存在或附加。

此外，本发明的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发明的技术范围构成限制。

本发明及其优点，但是应当理解在不超出由所附的权利要求所限定的本发明的精神和范围的情况下可以进行各种改变、替代和变换。而且，本发明的范围不仅限于说明书所描述的过程、设备、手段、方法和步骤的具体实施例。本领域内的普通技术人员从本发明的公开内容将容易理解，根据本发明可以使用执行与在此的相应实施例基本相同的功能或者获得与其基本相同的结果的、现有和将来要被开发的过程、设备、手段、方法或者步骤。因此，所附的权利要求旨在在它们的范围内包括这样的过程、设备、手段、方法或者步骤。

Claims

1.一种眼球关注点确定方法，其特征在于，所述方法包括：

获取眼球的视频信息；

根据所述视频信息，确定所述眼球的位置信息和所述眼球的有效区域；

根据所述眼球的位置信息、所述眼球的有效区域和预设关注条件，确定所述眼球的关注点。

2.根据权利要求1所述的方法，其特征在于，所述根据所述视频信息，确定所述眼球的位置信息具体包括；

截取所述视频信息中m个帧图像，其中，m为大于或等于1的自然数；

根据预设的眼球运动分区和所述帧图像，确定所述眼球的位置信息。

3.根据权利要求2所述的方法，其特征在于，所述m是6或7。

4.根据权利要求1所述的方法，其特征在于，所述根据所述视频信息，确定所述眼球的有效区域具体包括：

根据所述视频信息，确定所述眼球的可运动路径；

根据所述可运动路径，生成所述眼球的有效区域。

5.根据权利要求1所述的方法，其特征在于，所述根据所述眼球的位置信息、所述眼球的有效区域和预设关注条件，确定所述眼球的关注点具体包括：

根据所述眼球的位置信息，确定所述眼球在所述有效区域的映射点；

当所述映射点满足所述预设关注条件时，确定所述映射点为所述眼球的关注点。

6.根据权利要求1所述的方法，其特征在于，在所述确定所述眼球的关注点的步骤之后，所述方法还包括：

对所述眼球的关注点进行统计，生成关注点数据集；

将所述关注点数据集上传到服务器，使其他终端通过局域网或互联网与服务器进行互联，共享所述关注点数据集。

7.根据权利要求1所述的方法，其特征在于，所述预设关注条件包括预设关注时间条件，和/或预设关注频率条件。

8.一种眼球关注点确定装置，其特征在于，所述装置包括：

视频信息获取模块，用于获取眼球的视频信息；

眼球位置信息确定模块，用于根据所述视频信息，确定所述眼球的位置信息；

眼球有效区域确定模块，用于根据所述视频信息，确定所述眼球的有效区域；

眼球关注点确定模块，用于根据所述眼球的位置信息、所述眼球的有效区域和预设关注条件，确定所述眼球的关注点。

9.根据权利要求8所述的装置，其特征在于，所述眼球位置信息确定模块具体包括；

帧图像截取单元，用于截取所述视频信息中m个帧图像，其中，m为大于或等于1的自然数；

眼球位置信息确定单元，用于根据预设的眼球运动分区和所述帧图像，确定所述眼球的位置信息。

10.根据权利要求9所述的装置，其特征在于，所述m是6或7。

11.根据权利要求8所述的装置，其特征在于，所述眼球有效区域确定模块303具体包括：

可运动路径确定单元，用于根据所述视频信息，确定所述眼球的可运动路径；

有效区域生成单元，用于根据所述可运动路径，生成所述眼球的有效区域。

12.根据权利要求8所述的装置，其特征在于，所述眼球关注点确定模块具体包括：

有效区域映射点确定单元，用于根据所述眼球的位置信息，确定所述眼球在所述有效区域的映射点；

眼球关注点确定单元，用于当所述映射点满足所述预设关注条件时，确定所述映射点为所述眼球的关注点。

13.根据权利要求8所述的装置，其特征在于，所述装置还包括：

关注点数据集生成模块，用于对所述眼球的关注点进行统计，生成关注点数据集；

关注点数据集共享模块，用于将所述关注点数据集上传到服务器，使其他终端通过局域网或互联网与服务器进行互联，共享所述关注点数据集。

14.根据权利要求8所述的装置，其特征在于，所述预设关注条件包括预设关注时间条件，和/或预设关注频率条件。

15.一种眼球关注点确定系统，其特征在于，所述系统包括至少两个眼球关注点确定装置和服务器，其中：

所述眼球关注点确定装置，用于确定所述眼球的关注点，并对所述眼球的关注点进行统计，生成关注点数据集，将所述关注点数据集上传到所述服务器，使其他眼球关注点确定装置通过局域网或互联网与所述服务器进行互联，共享所述关注点数据集；

所述服务器，用于接收所述眼球关注点确定装置发送的关注点数据集，并向所述其他眼球关注点确定装置提供所述关注点数据集。