CN106296235A - 兴趣度评估方法和兴趣度评估装置 - Google Patents

Abstract

本发明公开了一种兴趣度评估方法和兴趣度评估装置。所述兴趣度评估方法用于评估用户对于包括多个对象元素的对象的兴趣度，所述兴趣度评估方法包括：识别所述用户观看的焦点对象，记录所述用户对于所述焦点对象的对象观看次数和对象观看时间；识别所述用户观看的所述焦点对象的焦点对象元素，记录所述用户对于所述焦点对象元素的对象元素观看时间；以及判断所述焦点对象或所述焦点对象元素是否改变，如果所述焦点对象或所述焦点对象元素改变，则基于所述对象观看次数和对象观看时间以及所述对象元素观看时间，评估并且更新对应于所述焦点对象的兴趣度。

Description

兴趣度评估方法和兴趣度评估装置

技术领域

本发明涉及兴趣度评估的领域，更具体地，本发明涉及一种兴趣度评估方法和使用该兴趣度评估方法的兴趣度评估装置。

背景技术

在诸如车展的展会现场，每个参展商需要在自己的展位附近配置多个销售人员，每个销售人员需要靠自己人眼观察寻找对于自家展品感兴趣的潜在客户。通常，如果访客在展品边徘徊注视很久，其就可能被判断为具有潜在的购买需求。然而，这种依靠人眼观察判断的方式需要耗费过多人力，并且这种判断依赖于销售人员的主观判断而没有统一的规范标准，不同的销售人员往往会做出不同的判断，导致判断的精度不高。

因此，希望能够自动评估用户(诸如，展会中的访客)对于对象(诸如，展会中的展品)的兴趣度。现有的提供兴趣度评估方案要么高度依赖功能设计和用户的主动参与，从而导致缺乏客观性；要么其精度受硬件(例如相机分辨率、天线、部署方式等)以及环境(例如光线、信号干扰、遮挡等)制约。

发明内容

鉴于上述问题，本发明提供一种兴趣度评估方法和使用该兴趣度评估方法的兴趣度评估装置，其能够实现用户对于包括多个对象元素的对象的兴趣度的客观和准确评估。

根据本发明实施例，提供了一种兴趣度评估方法，用于评估用户对于包括多个对象元素的对象的兴趣度，所述兴趣度评估方法包括：识别所述用户观看的焦点对象，记录所述用户对于所述焦点对象的对象观看次数和对象观看时间；识别所述用户观看的所述焦点对象的焦点对象元素，记录所述用户对于所述焦点对象元素的对象元素观看时间；以及判断所述焦点对象或所述焦点对象元素是否改变，如果所述焦点对象或所述焦点对象元素改变，则基于所述对象观看次数和对象观看时间以及所述对象元素观看时间，评估并且更新对应于所述焦点对象的兴趣度。

此外，根据本发明实施例的兴趣度评估方法，其中所述对象具有预先注册的结构化数据，所述结构化数据包括所述对象的对象标识符和对象特征信息，所述对象元素的对象元素标识符和对象元素特征信息，所述对象元素特征信息包括所述对象元素的元素图像和从所述元素图像提取的局部图像特征信息。

此外，根据本发明实施例的兴趣度评估方法，还包括：在识别所述用户观看的焦点对象之前，检测所述用户是否移动，如果所述用户未移动，则开始识别所述用户观看的焦点对象。

此外，根据本发明实施例的兴趣度评估方法，其中所述检测所述用户是否移动包括：获取所述用户的原始加速度数据；从所述原始加速度数据移除重力加速度数据和噪声信号，获取三轴线性加速度数据；以及基于所述三轴线性加速度数据的模，判断所述用户是否移动。

此外，根据本发明实施例的兴趣度评估方法，其中所述识别所述用户观看的焦点对象包括：基于所述用户与周围的对象的距离，识别所述用户观看的焦点对象。

此外，根据本发明实施例的兴趣度评估方法，其中所述基于所述用户与周围的对象的距离，识别所述用户观看的焦点对象包括：利用所述用户与对象之间的无线信号的收发，发现所述用户周围的对象；基于所述无线信号的强度，确定预定数目的接近对象集合；捕获所述用户视野的视野图像；以及基于所述用户视野的视野图像的特征信息以及所述接近对象集合中每个对象的对象特征信息，识别所述用户观看的焦点对象。

此外，根据本发明实施例的兴趣度评估方法，其中识别所述用户观看的所述焦点对象的焦点对象元素包括：捕获所述用户视野的视野图像；提取所述视野图像的局部图像特征信息；以及基于提取的所述视野图像的局部图像特征信息以及预先注册的对象元素的局部图像特征信息，识别所述用户观看的所述焦点对象的焦点对象元素。

此外，根据本发明实施例的兴趣度评估方法，还包括：跟踪所述焦点对象元素；以及确定所述视野图像中所述焦点对象元素的坐标相对于预先注册的元素图像的坐标的转换关系。

此外，根据本发明实施例的兴趣度评估方法，还包括：判断所述焦点对象的兴趣度是否大于预定阈值；如果所述兴趣度大于预定阈值，则基于所述转换关系，在所述视野图像中显示所述焦点对象的所述对象特征信息和/或所述焦点对象元素的对象元素特征信息。

根据本发明的另一实施例，提供了一种兴趣度评估装置，用于评估用户对于包括多个对象元素的对象的兴趣度，所述兴趣度评估装置包括：图像捕获单元，用于捕获所述用户视野的视野图像；处理单元，用于识别所述视野图像中的所述用户观看的焦点对象以及所述用户观看的所述焦点对象的焦点对象元素；以及存储单元，用于存储所述用户对于所述焦点对象的对象观看次数和对象观看时间以及所述用户对于所述焦点对象元素的对象元素观看时间；其中，所述处理单元判断所述焦点对象或所述焦点对象元素是否改变，如果所述焦点对象或所述焦点对象元素改变，则基于所述对象观看次数和对象观看时间以及所述对象元素观看时间，评估并且更新对应于所述焦点对象的兴趣度。

此外，根据本发明另一实施例的兴趣度评估装置，其中所述存储单元还用于存储所述对象的预先注册的结构化数据，所述结构化数据包括所述对象的对象标识符和对象特征信息，所述对象元素的对象元素标识符和对象元素特征信息，所述对象元素特征信息包括所述对象元素的元素图像和从所述元素图像提取的局部图像特征信息。

此外，根据本发明另一实施例的兴趣度评估装置，还包括：传感器单元，用于检测所述用户是否移动，其中，如果确定所述用户未移动，则所述处理单元开始识别所述用户观看的焦点对象。

此外，根据本发明另一实施例的兴趣度评估装置，其中所述传感器单元获取所述用户的原始加速度数据，所述处理单元从所述原始加速度数据移除重力加速度数据和噪声信号，获取三轴线性加速度数据；以及基于所述三轴线性加速度数据的模，判断所述用户是否移动。

此外，根据本发明另一实施例的兴趣度评估装置，其中所述处理单元基于所述用户与周围的对象的距离，识别所述用户观看的焦点对象。

此外，根据本发明另一实施例的兴趣度评估装置，还包括：无线信号收发单元，用于执行所述用户与对象之间的无线信号的收发，其中，所述处理单元基于所述无线信号的强度，确定预定数目的接近对象集合；基于所述用户视野的视野图像的特征信息以及所述接近对象集合中每个对象的对象特征信息，识别所述用户观看的焦点对象。

此外，根据本发明另一实施例的兴趣度评估装置，其中所述处理单元提取所述视野图像的局部图像特征信息；并且基于提取的所述视野图像的局部图像特征信息以及预先注册的对象元素的局部图像特征信息，识别所述用户观看的所述焦点对象的焦点对象元素。

此外，根据本发明另一实施例的兴趣度评估装置，其中所述处理单元跟踪所述焦点对象元素；并且确定所述视野图像中所述焦点对象元素的坐标相对于预先注册的元素图像的坐标的转换关系。

此外，根据本发明另一实施例的兴趣度评估装置，还包括：显示单元，用于执行所述视野图像和/或所述焦点对象的所述对象特征信息和/或所述焦点对象元素的对象元素特征信息的显示，其中，所述处理单元判断所述焦点对象的兴趣度是否大于预定阈值；如果所述兴趣度大于预定阈值，则基于所述转换关系，在所述视野图像中显示所述焦点对象的所述对象特征信息和/或所述焦点对象元素的对象元素特征信息。

根据本发明实施例的兴趣度评估方法和使用该兴趣度评估方法的兴趣度评估装置，不但利用对象整体特征(例如，用户对于对象的观看时间)，还利用对象所包括的对象元素特征(例如，用户对于对象元素的观看时间)来评估用户对该对象的兴趣度，从而能够客观和准确地识别和评估用户对于对象整体以及对象所包括的具体细节的兴趣度。

要理解的是，前面的一般描述和下面的详细描述两者都是示例性的，并且意图在于提供要求保护的技术的进一步说明。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是图示根据本发明实施例的兴趣度评估装置的框图；

图2是图示根据本发明实施例的兴趣度评估装置的示意图；

图3是图示根据本发明实施例的对象及其对象元素的示意图；

图4是图示根据本发明实施例的兴趣度评估方法的流程图；

图5是进一步图示根据本发明实施例的兴趣度评估方法中判断用户是否移动的流程图；

图6是图示根据本发明实施例判断用户是否移动的原理示意图；

图7是进一步图示根据本发明实施例的兴趣度评估方法中识别焦点对象的流程图；

图8是图示根据本发明实施例识别焦点对象的示意图；

图9是进一步图示根据本发明实施例的兴趣度评估方法中识别焦点对象元素的流程图；

图10是图示根据本发明实施例识别焦点对象的示意图；以及

图11是图示根据本发明实施例的兴趣度评估方法中更新兴趣度以及基于更新的兴趣度执行显示的流程图。

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本公开中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

以下，将参考附图详细描述本发明的优选实施例。

首先，将参照图1和图2描述根据本发明实施例的兴趣度评估装置。根据本发明实施例的兴趣度评估装置可以是诸如智能眼镜的穿戴式电子设备。当然，本领域的技术人员容易理解的是，根据本发明实施例的兴趣度评估装置不限于此，而是可以包括能够客观和准确地识别和评估用户对于对象整体以及对象所包括的具体细节的兴趣度的兴趣度评估装置。为了便于描述的目的，以下将以诸如智能眼镜的穿戴式电子设备为例进行描述。

图1是图示根据本发明实施例的兴趣度评估装置的框图。如图1所示，根据本发明实施例的兴趣度评估装置10具有处理单元101、图像捕获单元102、存储单元103、传感器单元104和无线信号收发单元105。

具体地，所述处理单元101可以是所述兴趣度评估装置10的中央处理单元(CPU)。可替代地，所述处理单元101还可以是所述兴趣度评估装置10的专用处理单元(诸如专用集成电路(ASIC)等)。在本发明的一个实施例中，所述处理单元101用于识别使用所述兴趣度评估装置10的用户观看的焦点对象以及所述用户观看的所述焦点对象的焦点对象元素，并且基于所述对象观看次数和对象观看时间以及所述对象元素观看时间，评估并且更新对应于所述焦点对象的兴趣度。随后，将参照附图进一步描述具体的识别和评估处理过程。

所述图像捕获单元102用于捕获所述用户视野的视野图像。在本发明的一个实施例中，所述图像捕获单元102捕获的视野图像为所述处理单元101的分析处理对象，所述处理单元101识别所述视野图像中的焦点对象和焦点对象元素。在本发明的一个实施例中，用户观看的对象包括多个对象元素。随后，将参照附图示例对象与其多个对象元素之间的关系。

所述存储单元103用于存储由所述处理单元101确定的所述用户对于所述焦点对象的对象观看次数和对象观看时间以及所述用户对于所述焦点对象元素的对象元素观看时间。此外，所述存储单元103还用于存储为所述对象的预先注册的结构化数据。所述结构化数据包括所述对象的对象标识符和对象特征信息，所述对象元素的对象元素标识符和对象元素特征信息，所述对象元素特征信息包括所述对象元素的元素图像和从所述元素图像提取的局部图像特征信息。随后，将参照附图示为对象以及其多个对象元素预先注册的结构化数据。

所述传感器单元104用于检测所述用户是否移动。在本发明的一个实施例中，所述传感器单元104可以为加速度传感器。在本发明的一个实施例中，所述处理单元101仅在检测到所述用户未移动时，进行焦点对象以及焦点对象元素的识别以及兴趣度的评估。

所述无线信号收发单元105用于执行所述用户与对象之间的无线信号的收发。在本发明的一个实施例中，所述无线信号收发单元105可以为蓝牙收发器。容易理解的是，本发明不限于此，所述无线信号收发单元105还可以是诸如红外、NFC等其他无线信号收发器。在本发明的一个实施例中，所述处理单元101基于所述无线信号收发单元105收发的所述无线信号的强度，确定所述用户与周围的对象的距离。随后，将参照附图进一步描述所述无线信号收发单元105辅助识别用户当前的焦点对象的过程。

需要理解的是，图1示出的所述兴趣度评估装置10及其各个组成单元仅仅是示意性的，根据本发明实施例的兴趣度评估装置可以包括但不限于上述单元。例如，根据本发明实施例的兴趣度评估装置还可以包括显示单元、输入单元等。

图2是图示根据本发明实施例的兴趣度评估装置的示意图。如图2所示，根据本发明实施例的兴趣度评估装置图示为智能眼镜。除了配置有如图1所示的处理单元101、图像捕获单元102、存储单元103、传感器单元104和无线信号收发单元105外，还配置有显示单元106。在本发明的一个实施例中，所示显示单元106用于执行由兴趣度评估装置识别的焦点对象的对象特征信息和/或焦点对象元素的对象元素特征信息的显示。

图3是图示根据本发明实施例的对象及其对象元素的示意图。在根据本发明实施例的兴趣度评估方法中，为了实现不但利用对象整体特征，而且还利用对象所包括的对象元素特征来评估用户对该对象的兴趣度，需要预先从相似对象中抽象出关键元素(即，对象元素)。此外，注册每个对象元素的元素图像并且从所述元素图像提取的局部图像特征信息。

如图3所示，描述以车展中的车辆作为对象30的示例。所示的对象30包括关键元素，即对象元素31(轮胎)、对象元素32(发动机)和对象元素33(方向盘)。如此，预先注册对象30的结构化数据如下：

<object id＝‘30’color＝‘…’info＝‘…’>

<element id＝‘31’type＝‘tire’image＝‘…’info＝‘…’/>

<element id＝‘32’type＝‘engine’image＝‘…’info＝‘…’/>

<element id＝‘33’type＝‘wheel’image＝‘…’info＝‘…’/>

</object>

在如上所述的结构化数据中，描述和注册：

1)每个对象的ID和特征(例如对象主色、对象信息等)；

2)每个对象元素的ID和特征(例如元素类型、元素图片、元素信息等)；

3)每个对象元素图像预先被注册为模式图片，并从中提取局部图像特征信息(在本发明的一个实施例中，即SIFT特征)。

在本发明的一个实施例中，在包括多个对象的场景中(诸如车展现场)，预先要将车展中的全部对象利用结构化数据进行描述和注册。结构化数据可以存储在为用户(即，车展的观众)提供的如图2所示的兴趣度评估装置的存储单元103中。本发明不限于此，可替代地，结构化数据可以存储在与兴趣度评估装置物理上分离的数据中心(诸如，服务器)中，并且在兴趣度评估装置需要时经由兴趣度评估装置与数据中心之间的通信信道从数据中心检索、调用并且载入兴趣度评估装置。

以上，描述了根据本发明实施例的兴趣度评估装置的功能框图和配置示意图。以下，将参照多个流程图进一步描述根据本发明实施例的兴趣度评估方法。

图4是图示根据本发明实施例的兴趣度评估方法的流程图。如图4所示，根据本发明实施例的兴趣度评估方法包括以下步骤：

在步骤S41中，识别用户观看的焦点对象，记录用户对于焦点对象的对象观看次数和对象观看时间。以下，将参照流程图和示意图进一步详细描述如何识别用户观看的焦点对象的步骤。在本发明的一个实施例中，在识别用户观看的焦点对象之后，处理单元控制计时器记录用户的观看时间。此外，处理单元还记录用户对于焦点对象的对象观看次数。此后，处理进到步骤S42。

在步骤S42中，判断用户当前观看的焦点对象是否改变。如果在步骤S42中获得否定结果，即用户当前观看的焦点对象没有改变，则处理返回步骤S41，继续记录用户对于焦点对象的对象观看次数和对象观看时间。

相反地，如果在步骤S42中获得肯定结果，即用户当前观看的焦点对象发生改变，则处理同时进到步骤S43和S47。

在步骤S43中，处理单元控制重启第一计时器和第二计时器。在本发明的一个实施例中，第一计时器用于对于用户观看焦点对象的时间计时，第二计时器用于对于用户观看焦点对象元素的时间计时。

在步骤S43之后，处理进到步骤S44。在步骤S44中，处理单元识别用户观看的焦点对象的焦点对象元素，记录用户对于焦点对象元素的对象元素观看时间。以下，将参照流程图和示意图进一步详细描述如何识别用户观看的焦点对象元素的步骤。在本发明的一个实施例中，在识别用户观看的焦点对象元素之后，处理单元控制第二计时器记录用户的观看时间。此后，处理进到步骤S45。

在步骤S45中，判断用户当前观看的焦点对象元素是否改变。如果在步骤S45中获得否定结果，即用户当前观看的焦点对象元素没有改变，则处理返回步骤S44，继续记录用户对于焦点对象元素的对象元素观看时间。

相反地，如果在步骤S45中获得肯定结果，即用户当前观看的焦点对象元素发生改变，则处理同时进到步骤S46和S47。

在步骤S46中，处理单元控制重启第二计时器。在步骤S46之后，处理返回到步骤S41，以便重新识别用户观看的焦点对象。

与步骤S43或步骤S46同步地(即，在判断焦点对象或焦点对象元素改变之后)，在步骤S47中，处理单元基于对象观看次数和对象观看时间以及对象元素观看时间，评估并且更新对应于焦点对象的兴趣度。以下，将参照附图和公式进一步详细描述基于对象观看次数和对象观看时间以及对象元素观看时间，量化兴趣度的步骤。

在如图4所示的根据本发明实施例的兴趣度评估方法中，不但基于用户观看整体对象的观看次数和观看时间，而且还基于用户观看整体对象中包括的焦点对象元素的时间执行兴趣度的评估，从而能够更加精确地识别用户感兴趣的对象以及对象的具体对象元素，以便实现根据评估的兴趣度，更加准确地为用户提供关于其感兴趣对象和对象元素的信息。以下，将参照附图进一步详细描述根据评估的兴趣度为用户提供关于其感兴趣对象和对象元素的信息的显示的过程。

在本发明的一个优选实施例中，为了焦点对象和焦点对象元素识别的准确性，需要首先检测用户是否在移动。由于用户处于移动状态下，将降低焦点对象和焦点对象元素识别的准确性，所以只有在判断用户没有移动的情况下，才启动如图4所示的兴趣度评估方法。图5是进一步图示根据本发明实施例的兴趣度评估方法中判断用户是否移动的流程图。图6是图示根据本发明实施例判断用户是否移动的原理示意图。

如图5所示，判断用户是否移动的过程包括以下步骤：

在步骤S501中，获取用户的原始加速度数据。在本发明的一个实施例中，由诸如加速度传感器的传感器单元104获取用户的加速度数据。此后，处理进到步骤S502。

在步骤S502中，从原始加速度数据移除重力加速度数据。此后，处理进到步骤S503。

在步骤S503中，进一步移除加速度数据中的噪声信号。此后，处理进到步骤S504。

在步骤S504中，基于三轴线性加速度数据的模，判断所述用户是否移动。

如图6所示，通过如图5所示的步骤S501到S504，获得用户60的三轴线性加速度Linear_Acc(X,Y,Z)。

在本发明的一个实施例中，基于三轴线性加速度的模，利用双峰值检测判断用户是否在移动。

三轴线性加速度的模由以下公式(1)表示：

$\mathrm{Magnitude}=\sqrt{{{\mathrm{Linear}\_\mathrm{Acc}}_x}^2+{{\mathrm{Linear}\_\mathrm{Acc}}_y}^2+{{\mathrm{Linear}\_\mathrm{Acc}}_x}^2}--\left(1\right)$

图6的右部示出了三轴线性加速度的模M随着时间T变化的示意图。在图6所示的三轴线性加速度的模M中出现双峰结构，表明具有该三轴线性加速度的用户处于移动状态下。

需要注意的是，本发明不限于利用三轴线性加速度检测。在本发明的另一实施例中，利用图像捕获单元捕获图像执行帧差检测。具体地，通过获取前后两帧图像的亮度差的绝对值，判断其是否大于预定阈值，以便分析捕获的视频或图像序列的运动特性。

图7是进一步图示根据本发明实施例的兴趣度评估方法中识别焦点对象的流程图。图8是图示根据本发明实施例识别焦点对象的示意图。

如图7所示，识别焦点对象的过程包括以下步骤：

在步骤S701中，利用用户与对象之间的无线信号的收发，发现用户周围的对象。如上所述，在根据本发明实施例的兴趣度评估装置以及对象中都配置有匹配的无线信号收发单元，以便利用兴趣度评估装置与对象之间的无线信号收发，发现用户周围的多个对象。发现的每个对象可以表示为Object_i(id，RSSI)，其中RSSI是代表兴趣度评估装置与对象Object_i之间的无线信号的强度的值。此后，处理进到步骤S702。

在步骤S702中，基于无线信号的强度RSSI，确定预定数目的接近对象集合。在本发明的一个实施例中，基于无线信号的强度RSSI，兴趣度评估装置和对象之间的距离d可以用以下公式(2)表示：

$d=10\frac{\mathrm{ABS}\left(\mathrm{RSSI}\right)-\mathrm{ABS}\left(A\right)}{10n}---\left(2\right)$

通过上述步骤S701和S702，确定了由预定数目的对象组成的接近对象集合。为了进一步精确地识别用户正在观看该接近对象集合中的哪个具体对象，还需要通过图像捕获单元捕获的对象的特征信息辅助判断。在步骤S702之后，处理进到步骤S703。

在步骤S703中，捕获用户当前观看的用户视野的视野图像。此后，处理进到步骤S704。

在步骤S704中，处理单元基于用户视野的视野图像的特征信息以及接近对象集合中每个对象的对象特征信息，识别用户观看的焦点对象。如上所述，在步骤S702中确定的接近对象集合中的每个对象具有预先注册的结构化数据，其包括每个对象的特征信息(诸如，对象的主色调等)。在步骤S704中，加载接近对象集合中的每个对象的结构化数据，处理单元识别在步骤S703中识别的视野图像的特征信息，将识别的视野图像的特征信息与接近对象集合中的每个对象的结构化数据进行比较，以便将具有与所述视野图像的特征信息相同的对象特征信息的对象识别为用户观看的焦点对象。

如图8所示，基于公式(2)确定用户60与对象61之间的距离为L，对象61是接近对象集合中的对象。此外，进一步基于用户60的图像捕获单元捕获的主色调与对象61预先注册的结构化数据代表的对象的主色调相同，确定对象61为焦点对象61。

如上所述，在识别用户观看的焦点对象之后，还可以进一步识别用户观看的焦点对象中的焦点对象元素。图9是进一步图示根据本发明实施例的兴趣度评估方法中识别焦点对象元素的流程图。图10是图示根据本发明实施例识别焦点对象的示意图。

如图9所示，识别焦点对象元素的过程包括以下步骤：

在步骤S901中，捕获用户视野的视野图像。此后，处理进到步骤S902。

在步骤S902中，提取视野图像的局部图像特征信息。此后，处理进到步骤903。

在步骤S903中，基于提取的视野图像的局部图像特征信息以及预先注册的对象元素的局部图像特征信息，识别用户观看的焦点对象的焦点对象元素。

如图10所示，捕获用户60的视野图像62，并且提取视野图像62的局部图像特征信息，同时加载焦点对象30的对象元素31到33的预先注册的局部图像特征信息。通过将上述二者进行比较，识别用于60观看的焦点对象元素63(即，对象元素32)。

在步骤S903中确定焦点对象元素之后，处理进到步骤S904。

在步骤S904中，跟踪焦点对象元素。在本发明的一个实施例中，利用光流跟踪用户当前观看的焦点对象元素。此后，处理进到步骤S905。

在步骤S905中，确定视野图像中焦点对象元素的坐标相对于预先注册的元素图像的坐标的转换关系。在本发明的一个实施例中，该转换关系可以用以下公式(3)表示：

q·K＝R^T(p·K-T) (3)

其中，p为预先注册的元素图像中的点，q为视野图像中相对应的点(p和q在三维物理空间中是同一点)。已知n组点坐标(p,q)和图像捕获单元的参数矩阵K(预先标定的值)，则可以求解旋转矩阵R和平移向量T。通过求解到的旋转矩阵R和平移向量T，估算出用户当前的焦点对象元素的三维姿态，用于此后执行关于焦点对象元素的信息的显示。

图11是图示根据本发明实施例的兴趣度评估方法中更新兴趣度以及基于更新的兴趣度执行显示的流程图。

如图11所示，在如上所述的步骤S47中，基于对象观看次数和对象观看时间以及对象元素观看时间，评估并且更新对应于焦点对象的兴趣度。

具体地，处理单元通过如图4所示的过程，记录了用户对于每个对象的观看次数和观看时间Objecti(id,num,time)，以及用于用户每个对象的对象元素的观看时间Elementj(id,num,time)。则对于每单元时间T_unit，可以将量化用户对于每个对象以及对象元素的观看计数值为公式(4)：

$\mathrm{Count}\left({\mathrm{Element}}_j\right)=\frac{\mathrm{Time}\left({\mathrm{Element}}_i\right)}{T_{\mathrm{unit}}}\mathrm{Count}\left({\mathrm{Object}}_j\right)=\frac{\mathrm{Time}\left({\mathrm{Object}}_i\right)}{T_{\mathrm{unit}}}---\left(4\right)$

进一步地，可以通过以下公式(5)得到量化的用户对于每个对象的兴趣度Degree_of_Interest(Object_i)：

$\mathrm{Degree}\_\mathrm{of}\_\mathrm{Interest}\left({\mathrm{Object}}_i\right)=\frac{\mathrm{Num}\left({\mathrm{object}}_i\right)}{{\mathrm{\&Sigma;}}_{i=1}^n\mathrm{Num}\left({\mathrm{Object}}_i\right)}\&times;\frac{\mathrm{Count}\left({\mathrm{Object}}_i\right)}{{\mathrm{\&Sigma;}}_{i=1}^n\mathrm{Count}\left({\mathrm{Object}}_i\right)}\&times;\underset{j=1}{\overset{m}{\mathrm{\&Sigma;}}}(\mathrm{Weight}\left({\mathrm{Element}}_j\right)\&times;\mathrm{Coumt}\left({\mathrm{Element}}_j\right))---\left(5\right)$

在步骤S47中通过上述公式得到量化的兴趣度之后，处理进到步骤S48。

在步骤S48，判断兴趣度是否高于预定阈值。

如果在步骤S48中获得否定结果，即兴趣度不高于预定阈值，则处理返回图4中的步骤S41，继续执行焦点对象和焦点对象元素的识别。

相反地，如果在步骤S48中获得肯定结果，即兴趣度高于预定阈值，则处理进到步骤S49。

在步骤S49中，基于在步骤S905中确定的转换关系，显示焦点对象的对象特征信息和/或焦点对象元素的对象元素特征信息。在本发明的一个实施例中，由于获取了三维姿态(即，所述转换关系)，所以可以确保焦点对象的对象特征信息和/或焦点对象元素的对象元素特征信息实时地在适当的位置显示。

以上，参照图1到图11描述了根据本发明实施例的兴趣度评估方法和使用该兴趣度评估方法的兴趣度评估装置。根据本发明实施例的兴趣度评估方法和使用该兴趣度评估方法的兴趣度评估装置不但利用对象整体特征(例如，用户对于对象的观看时间)，还利用对象所包括的对象元素特征(例如，用户对于对象元素的观看时间)来评估用户对该对象的兴趣度，从而能够客观和准确地识别和评估用户对于对象整体以及对象所包括的具体细节的兴趣度。

需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

最后，还需要说明的是，上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理，而且包括并行或分别地、而不是按时间顺序执行的处理。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的硬件平台的方式来实现，当然也可以全部通过硬件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

以上对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (18)

1.一种兴趣度评估方法，用于评估用户对于包括多个对象元素的对象的兴趣度，所述兴趣度评估方法包括：

识别所述用户观看的焦点对象，记录所述用户对于所述焦点对象的对象观看次数和对象观看时间；

识别所述用户观看的所述焦点对象的焦点对象元素，记录所述用户对于所述焦点对象元素的对象元素观看时间；以及

判断所述焦点对象或所述焦点对象元素是否改变，如果所述焦点对象或所述焦点对象元素改变，则基于所述对象观看次数和对象观看时间以及所述对象元素观看时间，评估并且更新对应于所述焦点对象的兴趣度。

2.如权利要求1所述的兴趣度评估方法，其中所述对象具有预先注册的结构化数据，所述结构化数据包括所述对象的对象标识符和对象特征信息，所述对象元素的对象元素标识符和对象元素特征信息，所述对象元素特征信息包括所述对象元素的元素图像和从所述元素图像提取的局部图像特征信息。

3.如权利要求2所述的兴趣度评估方法，还包括：

在识别所述用户观看的焦点对象之前，检测所述用户是否移动，如果所述用户未移动，则开始识别所述用户观看的焦点对象。

4.如权利要求3所述的兴趣度评估方法，其中所述检测所述用户是否移动包括：

获取所述用户的原始加速度数据；

从所述原始加速度数据移除重力加速度数据和噪声信号，获取三轴线性加速度数据；以及

基于所述三轴线性加速度数据的模，判断所述用户是否移动。

5.如权利要求2所述的兴趣度评估方法，其中所述识别所述用户观看的焦点对象包括：

基于所述用户与周围的对象的距离，识别所述用户观看的焦点对象。

6.如权利要求5所述的兴趣度评估方法，其中所述基于所述用户与周围的对象的距离，识别所述用户观看的焦点对象包括：

利用所述用户与对象之间的无线信号的收发，发现所述用户周围的对象；

基于所述无线信号的强度，确定预定数目的接近对象集合；

捕获所述用户视野的视野图像；以及

基于所述用户视野的视野图像的特征信息以及所述接近对象集合中每个对象的对象特征信息，识别所述用户观看的焦点对象。

7.如权利要求2到6的任一所述的兴趣度评估方法，其中识别所述用户观看的所述焦点对象的焦点对象元素包括：

捕获所述用户视野的视野图像；

提取所述视野图像的局部图像特征信息；以及

基于提取的所述视野图像的局部图像特征信息以及预先注册的对象元素的局部图像特征信息，识别所述用户观看的所述焦点对象的焦点对象元素。

8.如权利要求7所述的兴趣度评估方法，还包括：

跟踪所述焦点对象元素；以及

确定所述视野图像中所述焦点对象元素的坐标相对于预先注册的元素图像的坐标的转换关系。

9.如权利要求8所述的兴趣度评估方法，还包括：

判断所述焦点对象的兴趣度是否大于预定阈值；

如果所述兴趣度大于预定阈值，则基于所述转换关系，在所述视野图像中显示所述焦点对象的所述对象特征信息和/或所述焦点对象元素的对象元素特征信息。

10.一种兴趣度评估装置，用于评估用户对于包括多个对象元素的对象的兴趣度，所述兴趣度评估装置包括：

图像捕获单元，用于捕获所述用户视野的视野图像；

处理单元，用于识别所述视野图像中的所述用户观看的焦点对象以及所述用户观看的所述焦点对象的焦点对象元素；以及

存储单元，用于存储所述用户对于所述焦点对象的对象观看次数和对象观看时间以及所述用户对于所述焦点对象元素的对象元素观看时间；

其中，所述处理单元判断所述焦点对象或所述焦点对象元素是否改变，如果所述焦点对象或所述焦点对象元素改变，则基于所述对象观看次数和对象观看时间以及所述对象元素观看时间，评估并且更新对应于所述焦点对象的兴趣度。

11.如权利要求10所述的兴趣度评估装置，其中所述存储单元还用于存储所述对象的预先注册的结构化数据，所述结构化数据包括所述对象的对象标识符和对象特征信息，所述对象元素的对象元素标识符和对象元素特征信息，所述对象元素特征信息包括所述对象元素的元素图像和从所述元素图像提取的局部图像特征信息。

12.如权利要求11所述的兴趣度评估装置，还包括：

传感器单元，用于检测所述用户是否移动，

其中，如果确定所述用户未移动，则所述处理单元开始识别所述用户观看的焦点对象。

13.如权利要求12所述的兴趣度评估装置，其中

所述传感器单元获取所述用户的原始加速度数据，所述处理单元从所述原始加速度数据移除重力加速度数据和噪声信号，获取三轴线性加速度数据；以及基于所述三轴线性加速度数据的模，判断所述用户是否移动。

14.如权利要求11所述的兴趣度评估装置，其中

所述处理单元基于所述用户与周围的对象的距离，识别所述用户观看的焦点对象。

15.如权利要求14所述的兴趣度评估装置，还包括：

无线信号收发单元，用于执行所述用户与对象之间的无线信号的收发，

其中，所述处理单元基于所述无线信号的强度，确定预定数目的接近对象集合；基于所述用户视野的视野图像的特征信息以及所述接近对象集合中每个对象的对象特征信息，识别所述用户观看的焦点对象。

16.如权利要求11到15的任一所述的兴趣度评估装置，其中

所述处理单元提取所述视野图像的局部图像特征信息；并且

基于提取的所述视野图像的局部图像特征信息以及预先注册的对象元素的局部图像特征信息，识别所述用户观看的所述焦点对象的焦点对象元素。

17.如权利要求16所述的兴趣度评估装置，其中

所述处理单元跟踪所述焦点对象元素；并且

确定所述视野图像中所述焦点对象元素的坐标相对于预先注册的元素图像的坐标的转换关系。

18.如权利要求17所述的兴趣度评估装置，还包括：

显示单元，用于执行所述视野图像和/或所述焦点对象的所述对象特征信息和/或所述焦点对象元素的对象元素特征信息的显示，

其中，所述处理单元判断所述焦点对象的兴趣度是否大于预定阈值；

如果所述兴趣度大于预定阈值，则基于所述转换关系，在所述视野图像中显示所述焦点对象的所述对象特征信息和/或所述焦点对象元素的对象元素特征信息。