CN111259702B - 一种用户兴趣的估计方法及装置 - Google Patents

Abstract

本发明提供了一种用户兴趣的估计方法及装置。本发明实施例通过设置于目标对象位置处的全景相机，可以获得以目标对象为中心的全景图像，进而将该全景图像中的人物轨迹转换为俯视投影视角下的坐标，从而可以减少后续轨迹处理时的运算量，简化兴趣度的计算，降低对处理设备的处理能力要求。另外，本发明实施例还可以在兴趣度的计算中，综合考虑目标用户的移动速度以及与目标对象的距离等因素，可以提高兴趣度估计的准确性。

Description

一种用户兴趣的估计方法及装置

技术领域

本发明涉及视频监控及图像处理技术领域，具体涉及一种用户兴趣的估计方法及装置。

背景技术

目前，随着视频监控算法准确度的提升以及物联网中的计算设备计算能力的提升，通过视频监控来寻找潜在客户和常客的方法变得越来越流行。例如，在展出某种商品(如汽车)的应用场景中，可以通过采集商品周围的客户(人)的图像，通过对客户的行为分析，可以确定所述客户是否对该商品感兴趣，甚至可以分析出客户对该商品的感兴趣的程度，从而可以用于寻找潜在客户和估计客户兴趣，如包括喜欢的商品、购买意图和感兴趣的功能等。

现有技术在估计客户的兴趣时，通常是通过普通相机来分析轨迹并寻找感兴趣的点，例如空域-时域轨迹分析和轨迹行为分析等方法。上述方法通常存在计算量大，对设备处理能力要求高等缺点。

发明内容

本发明实施例要解决的技术问题是提供一种用户兴趣的估计方法及装置，用以降低用户兴趣度估计的计算量和对设备处理能力的要求。

为解决上述技术问题，本发明实施例提供的用户兴趣的估计方法，包括：

获取位于目标对象处的全景相机所拍摄的连续多帧全景图像，所述连续多帧全景图像中包括有目标用户；

从所述连续多帧全景图像中提取所述目标用户的第一轨迹点，将所述第一轨迹点转换为三维坐标系统下的第二轨迹点，并将所述第二轨迹点从球体表面的俯视方向投影到二维极坐标下，得到二维极坐标下所述目标用户的第三轨迹点；

根据所述目标用户的第三轨迹点，拟合得到所述目标用户的轨迹曲线；

计算所述目标用户的轨迹曲线与多个样本兴趣曲线的相似度，确定与所述目标用户的轨迹曲线相似度最高的目标样本兴趣曲线，根据所述目标样本兴趣曲线对应的兴趣度，确定所述目标用户对所述目标对象的目标兴趣度。

优选的，上述方法中，所述根据所述目标样本兴趣曲线对应的兴趣度，确定所述目标用户对所述目标对象的目标兴趣度的步骤，包括：

将所述目标样本兴趣曲线对应的兴趣度，直接作为所述目标兴趣度。

优选的，上述方法中，所述根据所述目标样本兴趣曲线对应的兴趣度，确定所述目标用户对所述目标对象的目标兴趣度的步骤，包括：

获取一参考速度以及所述目标用户在所述连续多帧全景图像内的平均移动速度，所述参考速度是在所述连续多帧全景图像的持续时长内，以所述目标用户与目标对象的平均距离为半径，绕所述目标对象一周所需要的最小速度；

在所述平均移动速度不大于所述参考速度时，将所述目标样本兴趣曲线对应的兴趣度，直接作为所述目标兴趣度；

在所述平均移动速度大于所述参考速度时，根据所述目标样本兴趣曲线对应的兴趣度以及参考圈数，计算所述目标兴趣度，其中，所述参考圈数是所述目标对象按照所述平均移动速度和轨迹曲线，在所述连续多帧全景图像内可以完成的绕所述目标对象的圈数，且所述目标兴趣度与所述目标样本兴趣曲线对应的兴趣度以及所述参考圈数均为正相关关系。

优选的，上述方法中，在所述计算所述目标用户的轨迹曲线与多个样本兴趣曲线的相似度的步骤之前，所述方法还包括：

按照样本兴趣曲线的尺度，对所述目标用户的轨迹曲线进行归一化处理。

优选的，上述方法中，所述根据所述用户的第三轨迹点，拟合得到所述用户的轨迹曲线的步骤，包括：

通过对所述第三轨迹点的聚类分析，删除所述第三轨迹点中的噪点；

将所述二维极坐标划分成以中心点为圆心的多个相同大小的扇区，根据每个扇区中的第三轨迹点，计算每个扇区的轨迹样本点，其中，所述轨迹样本点的半径为所述扇区内的第三轨迹点的平均半径；

连接各个扇区的轨迹样本点，生成所述目标用户的轨迹曲线。

优选的，上述方法中，在连接各个扇区的轨迹样本点之前，所述方法还包括：

根据每个扇区中的第三轨迹点的数量，计算每个扇区中的第三轨迹点的密度，其中，所述密度与所述扇区中的第三轨迹点的数量正相关，与所述扇区中的轨迹样本点的半径负相关；

将所述密度小于预定门限的扇区中的轨迹样本点删除。

本发明实施例还提供了一种用户兴趣的估计装置，包括：

图像获取单元，用于获取位于目标对象处的全景相机所拍摄的连续多帧全景图像，连续多帧全景图像中包括有目标用户；

坐标变换单元，用于从所述连续多帧全景图像中提取所述目标用户的第一轨迹点，将所述第一轨迹点转换为三维坐标系统下的第二轨迹点，并将所述第二轨迹点从球体表面的俯视方向投影到二维极坐标下，得到二维极坐标下所述目标用户的第三轨迹点；

曲线拟合单元，用于根据所述目标用户的第三轨迹点，拟合得到所述目标用户的轨迹曲线；

兴趣度计算单元，用于计算所述目标用户的轨迹曲线与多个样本兴趣曲线的相似度，确定与所述目标用户的轨迹曲线相似度最高的目标样本兴趣曲线，根据所述目标样本兴趣曲线对应的兴趣度，确定所述目标用户对所述目标对象的目标兴趣度。

优选的，上述估计装置中，所述兴趣度计算单元，还用于：

将所述目标样本兴趣曲线对应的兴趣度，直接作为所述目标兴趣度；

或者，

获取一参考速度以及所述目标用户在所述连续多帧全景图像内的平均移动速度，所述参考速度是在所述连续多帧全景图像的持续时长内，以所述目标用户与目标对象的平均距离为半径，绕所述目标对象一周所需要的最小速度；在所述平均移动速度不大于所述参考速度时，将所述目标样本兴趣曲线对应的兴趣度，直接作为所述目标兴趣度；以及，在所述平均移动速度大于所述参考速度时，根据所述目标样本兴趣曲线对应的兴趣度以及参考圈数，计算所述目标兴趣度，其中，所述参考圈数是所述目标对象按照所述平均移动速度和轨迹曲线，在所述连续多帧全景图像内可以完成的绕所述目标对象的圈数，且所述目标兴趣度与所述目标样本兴趣曲线对应的兴趣度以及所述参考圈数均为正相关关系。

优选的，上述估计装置中，所述曲线拟合单元，还用于通过对所述第三轨迹点的聚类分析，删除所述第三轨迹点中的噪点；将所述二维极坐标划分成以中心点为圆心的多个相同大小的扇区，根据每个扇区中的第三轨迹点，计算每个扇区的轨迹样本点，其中，所述轨迹样本点的半径为所述扇区内的第三轨迹点的平均半径；连接各个扇区的轨迹样本点，生成所述目标用户的轨迹曲线。

优选的，上述估计装置中，所述曲线拟合单元，还用于在连接各个扇区的轨迹样本点之前，根据每个扇区中的第三轨迹点的数量，计算每个扇区中的第三轨迹点的密度，其中，所述密度与所述扇区中的第三轨迹点的数量正相关，与所述扇区中的轨迹样本点的半径负相关；将所述密度小于预定门限的扇区中的轨迹样本点删除。

本发明实施例还提供了一种用户兴趣的估计装置，包括：

处理器；

和存储器，所述存储器中存储有计算机程序指令，

其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：

获取位于目标对象处的全景相机所拍摄的连续多帧全景图像，连续多帧全景图像中包括有目标用户；

从所述连续多帧全景图像中提取所述目标用户的第一轨迹点，将所述第一轨迹点转换为三维坐标系统下的第二轨迹点，并将所述第二轨迹点从球体表面的俯视方向投影到二维极坐标下，得到二维极坐标下所述目标用户的第三轨迹点；

根据所述目标用户的第三轨迹点，拟合得到所述目标用户的轨迹曲线；

计算所述目标用户的轨迹曲线与多个样本兴趣曲线的相似度，确定与所述目标用户的轨迹曲线相似度最高的目标样本兴趣曲线，根据所述目标样本兴趣曲线对应的兴趣度，确定所述目标用户对所述目标对象的目标兴趣度。

与现有技术相比，本发明实施例提供的用户兴趣的估计方法及装置，通过设置于目标对象位置处的全景相机，可以获得以目标对象为中心的全景图像，进而将该全景图像中的人物轨迹转换为极坐标系下的坐标，由于极坐标系下的轨迹点坐标的半径就可以反映出目标用户对目标对象的兴趣程度，从而可以减少后续轨迹处理时的运算量，简化兴趣度的计算，降低对处理设备的处理能力要求。另外，本发明实施例还可以在兴趣度的计算中，综合考虑目标用户的移动速度以及与目标对象的距离等因素，可以提高兴趣度估计的准确性。

附图说明

图1为本发明实施例的用户兴趣的估计方法的一种应用场景的示意图；

图2为本发明实施例提供的一种用户兴趣的估计方法的流程示意图；

图3为本发明实施例提供的将全景图像中的轨迹点变换到三维坐标系统的一个示例；

图4为本发明实施例提供的曲线拟合的一个示例；

图5为本发明实施例提供的样本兴趣曲线的一个示例；

图6为本发明实施例提供的轨迹曲线归一化处理的一个示例；

图7为本发明实施例提供的一种用户兴趣的估计装置的结构示意图；

图8为本发明实施例提供的一种用户兴趣的估计装置的结构示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。

在本发明的各种实施例中，应理解，下述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

图1为本发明实施例的用户兴趣的估计方法的一种应用场景的示意图。在图1中，一辆汽车11正在展厅中进行展出，在汽车11的顶部设置有一个全景相机12，用于对汽车周围的环境进行实时监控，采集以汽车11为中心的全景图像。图1中示出了多个参观人员13～15，他们位于车辆的周围，可能走向车辆，也可能离开车辆，还可能围绕车身移动。本发明实施例的用户兴趣的估计方法，可以对上述场景中汽车11周边的人进行监控，进而可以估计出每个人对汽车11感兴趣的程度。在上述场景中，汽车顶部或内部还可以设置一个具有计算处理能力的设备，如物联网中的计算设备，具体可以是边缘设备(edge-device)等设备，该设备(图1中未示出)可以用于实施本发明实施例的用户兴趣的估计方法。

为了降低兴趣度估计的计算量，降低对处理设备的处理能力要求，本发明实施例提供了一种用户兴趣的估计方法，可以用于估计目标用户对目标对象感兴趣的程度。这里，目标用户具体可以是人，目标对象可以各种物品，如展出的车辆或艺术品等。本发明实施例中，在目标对象处设置一全景相机，用于以目标对象为中心，拍摄目标对象周边的全景图像。如图2所示，该用户兴趣的估计方法包括：

步骤21，获取位于目标对象处的全景相机所拍摄的连续多帧全景图像，连续多帧全景图像中包括有目标用户。

这里，本发明实施例将全景相机设置于目标对象处，例如设置在目标对象的中心。以展出的汽车为例，可以在车顶的中心位置处设置该全景相机。通过全景相机可以采集目标对象周边的全景图像。为了便于描述，下文中将以一个目标用户为例进行说明，针对更多数量的目标用户的场景，则可以利用本发明实施例的估计方法，分别对每个目标用户进行处理，从而可以获得各个目标用户对目标对象的兴趣度。

全景相机可以拍摄连续的全景图像，一个用户在目标对象周边的移动轨迹通常是连续的，本发明实施例在具体处理时，可以提取出包含有目标用户的连续多帧全景图像，利用上述连续多帧全景图像进行后续的兴趣度估计处理。具体的，可以利用行人检测等算法，识别出全景图像中的每个人并提取出包括某个人的连续多帧全景图像，以利用这些全景图像分析该人对目标对象的兴趣度。

步骤22，从所述连续多帧全景图像中提取所述目标用户的第一轨迹点，将所述第一轨迹点转换为三维坐标系统下的第二轨迹点，并将所述第二轨迹点从球体表面的俯视方向投影到二维极坐标下，得到二维极坐标下所述目标用户的第三轨迹点。

本发明实施例可以从步骤21中获得的连续多帧全景图像中提取所述目标用户的第一轨迹点，在后续处理中，仅针对目标用户的轨迹点而不是针对整幅全景图像进行处理，可以大大降低运算量。

这里，第一轨迹点是每帧全景图像中目标用户所在的位置点。具体的，以行人检测算法为例，通常可以获得某个行人在全景图像中的矩形包围框，可以将该矩形包围框底部区域的中心点，作为该行人在该全景图像中的第一轨迹点。当然，本发明实施例也可以采用矩形包围框内的其他点作为该行人的第一轨迹点，本发明实施例对此不做具体限定。

通常，用户对自己感兴趣的事物会主动的接近，以在更近的距离下进行更为仔细的观察。因此，目标用户与目标对象之间的距离大小，是兴趣度估计中的一个重要指标。本发明实施例通过坐标系变换的方式，将目标用户的轨迹点转换至二维极坐标系下，通过二维极坐标系的坐标进行表示。由于全景图像是以目标对象为中心进行拍摄的，在进行步骤22的坐标系转换后，轨迹点在二维极坐标系的坐标的半径，即为目标用户与目标对象之间的距离，通过上述坐标系的变换处理，可以大大降低后续兴趣度估计的运算量。

图3给出了将全景图像中的轨迹点变换到三维坐标系统的一个示例。全景图像中的第一轨迹点在二维坐标系统中生成，例如全景图像可以通过等距柱状投影的全景视图31来表示。视图32中给出了全景视图31中检测到的多个用户的第一轨迹点的一个示例。本示例中将等距柱状投影的全景视图31转换为球体表面视图33：从二维平面(全景视图31)中的轨迹中提取三维立体的位置信息。三维坐标数据可以帮助在三维空间跟踪用户的移动，并估算用户的兴趣。例如，全景视图31的二维坐标系F(u,v)，可以通过公式

和

变换到球体表面视图33的三维坐标系/>

这里，W和H是等距柱状投影的全景视图31的宽和高。/>

是球体表面视图33中的纬度，λ是球体表面视图33中的经度。假设某个用户在全景视图31中的轨迹点坐标为(u₀,v₀)，通过上述公式可以将该第一轨迹点(u₀,v₀)，投影到球体表面视图33中的第二轨迹点/>

轨迹点和中心点之间的距离从球面的俯视方向上更容易计算，因为目标对象在俯视图34的中心位置。因此，可以通过公式ρ＝R*sinλ和/>

将第二轨迹点投影到二维极坐标系F(ρ,θ)，得到第三轨迹点(ρ₀,θ₀)。这里，R是球体的半径，ρ是到球心的距离，θ是和预设的参考方向的夹角。视图35给出了多个用户的轨迹点在俯视图中的一个示例。通常情况下，用户与目标对象间的距离，和该用户对目标对象的兴趣程度负相关。例如，如果人对目标对象兴趣度越大，ρ将变得越小。

步骤23，根据所述目标用户的第三轨迹点，拟合得到所述目标用户的轨迹曲线。

这里，可以从每帧全景图像中获取目标用户的一个第三轨迹点，通过对连续多帧全景图像中获得的多个第三轨迹点进行曲线拟合，可以获得所述目标用户的轨迹曲线。

需要说明的是，在步骤23中进行曲线拟合之前，本发明实施例可以通过对第三轨迹点集合的聚类分析，删除所述第三轨迹点中的噪点，然后对剩余的第三轨迹点进行曲线拟合。考虑到人的移动轨迹通常是连续的，因此可以通过聚类算法对目标用户的第三轨迹点的集合进行聚类处理，得到这些离散点归属的多个类别，通过离散点分析算法，从第三轨迹点中确定出离散点，所谓的离散点是指这些轨迹点与大多数轨迹点所属的类别偏离较远，通过删除这些离散点，可以使得后续拟合得到的曲线与目标用户的实际移动轨迹更加匹配。图4提供了步骤23的一个示例，其中，最左侧的视图为包括有多个用户的第三轨迹点，中间的视图标示出了所确定的离散点(即噪声点)，最右侧的视图则是曲线拟合后得到的两个用户(用户1和用户2)的拟合曲线。

下面提供本发明实施例中的曲线拟合的一种具体实现方式。将所述二维极坐标划分成以中心点为圆心的多个相同大小的扇区，根据每个扇区中的第三轨迹点，计算每个扇区的轨迹样本点，其中，扇区i的轨迹样本点TC_i的半径

为所述扇区i内的第三轨迹点的平均半径：

以上公式中，

表示扇区i中的轨迹样本点TC_i的半径，N_i表示扇区i中的第三轨迹点的数量；ρ_k表示扇区i中的第三轨迹点k的半径。

所述轨迹样本点和所述参考方向的夹角，可以取该扇区的两条边中的任一条与所述参考方向的夹角，或者去该扇区的中心线与所述参考方向的夹角。

这里，扇区的大小，可以折衷考虑到运算量和曲线精度的要求。通常，更多的扇区，需要更多的运算量和更高的精度。图4中的示例包括了16个扇区，通常本发明实施例可以设置不少于16个扇区。通过以上方式可以在扇区中生成一个轨迹样本点，然后连接各个扇区的轨迹样本点，生成所述目标用户的轨迹曲线。在连接轨迹样本点时，可以将某个扇区的轨迹样本点，与相邻扇区中的轨迹样本点相连。由于用户移动轨迹通常存在一定的连续性，因此，对于某个轨迹样本点，通常至少存在一个相邻扇区包括有轨迹样本点。通过以上连接处理，可以形成目标用户的轨迹曲线。

更进一步的，由于全景相机通常是以一个固定帧率采集图像，而用户的移动轨迹通常存在着一定的连续性。在以目标对象为中心点的顶部视图中，假设用户的移动速度相对稳定，那么如果用户离目标对象越近，则采集到的同一扇区内轨迹点通常越少，反之，用户离目标对象越远，则同一扇区内的轨迹点将越多。基于以上因素，本发明实施例可以进一步删除某些可能是干扰信息(如噪声)的轨迹样本点。为此，本发明实施例在连接各个扇区的轨迹样本点之前，还可以根据每个扇区中的第三轨迹点的数量，计算每个扇区中的第三轨迹点的密度，其中，所述密度与所述扇区中的第三轨迹点的数量正相关，与所述扇区中的轨迹样本点的半径负相关。然后，将所述密度小于预定门限的扇区中的轨迹样本点删除。上述预定门限可以根据各个扇区的密度的平均值设置，例如设置为平均值的60％或其他数值，也可以根据经验值来设置。

某个扇区i中的第三轨迹点的密度densityTC_i的一种计算公式为：

其中，N_i表示扇区i中的第三轨迹点的数量；

表示扇区i中的轨迹样本点的半径；ρ_k表示扇区i中的第三轨迹点k的半径。

当然，以上所示的公式仅为本发明实施例可以采用的一种计算公式的示例，本发明实施例还可以采用其他类似公式进行密度计算，只需要满足上述正相关和负相关的要求即可。

另外，需要说明的是，本发明实施例进行曲线拟合还可以采用现有技术的相关曲线拟合算法进行实现，本发明对此不做具体限定，为节约篇幅本文不再一一详细说明。

步骤24，计算所述目标用户的轨迹曲线与多个样本兴趣曲线的相似度，确定与所述目标用户的轨迹曲线相似度最高的目标样本兴趣曲线，根据所述目标样本兴趣曲线对应的兴趣度，确定所述目标用户对所述目标对象的目标兴趣度。

这里，样本兴趣曲线可以通过它们的兴趣程度来预先定义和保存。兴趣程度根据对轨迹形状和兴趣程度之间关系的经验预定义。图5给出了样本兴趣曲线的一个示例，该示例中包括有多个级别的样本兴趣曲线，其中，级别1包括有一种样本兴趣曲线，为一个完整的圆形轨迹。级别2包括圆心角为270°的4个样本兴趣曲线，级别3包括圆心角为180°的4个样本兴趣曲线，级别4包括圆心角为90°的4个样本兴趣曲线。基于用户行为的分析，用户在对目标对象进行观察时，用户对目标对象兴趣越大，所形成移动轨迹的圆心角越大。因此上述4个级别的样本兴趣曲线中，级别越小的样本兴趣曲线，对应的兴趣度越高。

在获得目标用户的轨迹曲线后，分别计算目标用户的轨迹曲线与多个样本兴趣曲线的相似度。相似度的计算可以参考现有技术的曲线相似度的计算算法。在进行相似度计算之前，本发明实施例可以按照样本兴趣曲线的尺度，对所述目标用户的轨迹曲线进行归一化处理。图6给出了归一化处理的一个示例，其中的点61表示极坐标系的中心点，以中心点为中心，形成一个包围用户的轨迹曲线Traj_p的最小正方形62，假设该正方形的边长为S_p。类似的，对于样本兴趣曲线，也可以获得类似的边长，假设为S。在进行归一化处理时，可以按照S/S_p的缩放尺度，对用户的轨迹曲线Traj_p进行归一化处理，使其大小与样本兴趣曲线相匹配，以便于简化后续的相似度计算。例如，使用以下公式计算得到归一化的轨迹曲线Traj’_p：

其中，(x_p，α，y_p，α)∈Traj_p，(x′_p，α，y′_p，α)∈Traj′_p。

下面将提供一种本发明实施例可以采用的相似度计算的示例，需要指出的是，以下示例并不用于限定本发明，本发明实施例还可以采用其他现有技术的曲线相似度的计算算法。

利用如下公式可以计算归一化后的目标用户的轨迹曲线Traj’_p和样本兴趣曲线之间的相似度(如形状相似度)。

其中，(x_i,β,y_i,β)∈Curve_i。

S_p,i是Traj’_p和样本兴趣曲线Curve_i之间的相似度,其中Curve_i是第i个样本兴趣曲线。在第i个样本兴趣曲线上，取M_i个的点，例如，可以从该样本兴趣曲线上等间隔的取M_i个的参考点，即相邻参考点之间的样本兴趣曲线部分的长度相同。然后针对每个参考点，按照以上公式计算Traj’_p的点与每个参考点之间的距离，寻找到使得该距离最小的Traj’_p的点，并获得一个最小距离的平方值(即(x′_p，α-x_i，β)²+(y′_p，α-y_i，β)²)；并对所有M_i个参考点计算该平方值的平均值，并计算该平均值的平方根，得到轨迹曲线Traj’_p和样本兴趣曲线i的形状相似度S_p,i。

假设Traj’_p与样本兴趣曲线j的形状相似度S_p,j为最小，表明Traj_p与样本兴趣轨迹曲线Curve_j最相似，Traj_p为目标样本兴趣曲线。后续，可以根据目标样本兴趣曲线Curve_j的兴趣度来确定目标用户对目标对象的兴趣度。

在确定了目标样本兴趣曲线之后，计算目标兴趣度的一种计算方式为：直接将所述目标样本兴趣曲线对应的兴趣度，作为所述目标兴趣度。例如，假设轨迹曲线Traj_p与级别1的样本兴趣曲线最相似，则上述步骤24中，可以将级别1的样本兴趣曲线对应的兴趣度1/SL_p，直接作为所述目标用户对所述目标对象的目标兴趣度。

在实际应用中，若目标用户绕目标对象多圈以对目标对象进行观察，则可以反映出目标用户对目标对象较为感兴趣。通常的，圈数越多，感兴趣的程度越高。当然，也有可能用户虽然没有完成完整的一圈观察，但是在观察过程中沿某个非闭合轨迹来回移动进行观察，此种情况也反映出用户对目标对象较为感兴趣。为此，本发明实施例提供了目标兴趣度的另一种计算方式，在该计算方式中，根据目标用户的移动速度以及轨迹曲线，确定目标用户在所述连续多帧全景图像的持续时间内是否绕目标对象进行了一圈以上的观察，据此确定所述目标用户的目标兴趣度。具体的，本发明实施例可以获取一参考速度以及所述目标用户在所述连续多帧全景图像内的平均移动速度，所述参考速度是在所述连续多帧全景图像的持续时长内，以所述目标用户与目标对象的平均距离为半径，绕所述目标对象一周所需要的最小速度；然后，在所述平均移动速度不大于所述参考速度时，将所述目标样本兴趣曲线对应的兴趣度，直接作为所述目标兴趣度；在所述平均移动速度大于所述参考速度时，根据所述目标样本兴趣曲线对应的兴趣度以及参考圈数，计算所述目标兴趣度，其中，所述参考圈数是所述目标对象按照所述平均移动速度和轨迹曲线，在所述连续多帧全景图像内可以完成的绕所述目标对象的圈数，且所述目标兴趣度与所述目标样本兴趣曲线对应的兴趣度以及所述参考圈数均为正相关关系。

下面进一步给出上述计算方式的一个具体计算公式，需要指出的是，以下公式并不用于限定本发明，满足上述相关性关系的其他公式亦可用于本方案：

以上公式中，SPEED表示所述目标用户p在所述连续多帧全景图像内的平均移动速度；Time_p表示所述连续多帧全景图像的持续时长；M_p表示所述目标用户p的轨迹样本点的数量；

表示所述目标用户p的轨迹样本点i的半径；TCC_p表示所述目标用户p的轨迹样本点的平均半径，以此作为所述目标用户与目标对象的平均距离；1/SL_p表示所述目标样本兴趣曲线对应的兴趣度；d(SL_p，TCC_p,Time_p)表示所述目标兴趣度。

以上公式中，当SPEED大于2π*TCC_p/Time_p时，表示按照目标用户的轨迹曲线和平均移动速度，在所述连续多帧全景图像的持续时长中可以绕目标对象进行大于1圈的观察；当SPEED不大于2π*TCC_p/Time_p时，表示按照目标用户的轨迹曲线和平均移动速度，在所述连续多帧全景图像的持续时长中可以绕目标对象进行一圈以下的观察。

可以用于表示所述参考圈数。可以看出，所述目标兴趣度与所述目标样本兴趣曲线对应的兴趣度以及所述参考圈数均为正相关关系。

通过以上步骤，本发明实施例通过设置于目标对象位置处的全景相机，可以获得以目标对象为中心的全景图像，通过坐标系间的变换处理，减少了后续轨迹处理时的运算量，简化兴趣度的计算，降低对处理设备的处理能力要求。另外，本发明实施例还可以在兴趣度的计算中，综合考虑目标用户的移动速度以及与目标对象的距离等因素，可以提高兴趣度估计的准确性。

基于以上实施例所提供的用户兴趣的估计方法，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意方法实施例中的用户兴趣的估计方法的方法中的步骤。

基于以上方法，本发明实施例还提供了实施上述方法的装置，请参考图7，本发明实施例提供的用户兴趣的估计装置70，包括：

图像获取单元71，用于获取位于目标对象处的全景相机所拍摄的连续多帧全景图像，连续多帧全景图像中包括有目标用户；

坐标变换单元72，用于从所述连续多帧全景图像中提取所述目标用户的第一轨迹点，将所述第一轨迹点转换为三维坐标系统下的第二轨迹点，并将所述第二轨迹点从球体表面的俯视方向投影到二维极坐标下，得到二维极坐标下所述目标用户的第三轨迹点；

曲线拟合单元73，用于根据所述目标用户的第三轨迹点，拟合得到所述目标用户的轨迹曲线；

兴趣度计算单元74，用于计算所述目标用户的轨迹曲线与多个样本兴趣曲线的相似度，确定与所述目标用户的轨迹曲线相似度最高的目标样本兴趣曲线，根据所述目标样本兴趣曲线对应的兴趣度，确定所述目标用户对所述目标对象的目标兴趣度。

通过以上各单元，本发明实施例的估计装置70，可以获得以目标对象为中心的全景图像，进而将该全景图像中的人物轨迹转换为极坐标系下的坐标，从而可以减少后续轨迹处理时的运算量，简化兴趣度的计算，降低对处理设备的处理能力要求。

优选的，所述兴趣度计算单元74，还可以用于：

将所述目标样本兴趣曲线对应的兴趣度，直接作为所述目标兴趣度；

或者，

获取一参考速度以及所述目标用户在所述连续多帧全景图像内的平均移动速度，所述参考速度是在所述连续多帧全景图像的持续时长内，以所述目标用户与目标对象的平均距离为半径，绕所述目标对象一周所需要的最小速度；在所述平均移动速度不大于所述参考速度时，将所述目标样本兴趣曲线对应的兴趣度，直接作为所述目标兴趣度；以及，在所述平均移动速度大于所述参考速度时，根据所述目标样本兴趣曲线对应的兴趣度以及参考圈数，计算所述目标兴趣度，其中，所述参考圈数是所述目标对象按照所述平均移动速度和轨迹曲线，在所述连续多帧全景图像内可以完成的绕所述目标对象的圈数，且所述目标兴趣度与所述目标样本兴趣曲线对应的兴趣度以及所述参考圈数均为正相关关系。

通过以上处理，所述兴趣度计算单元74可以在兴趣度的计算中，综合考虑目标用户的移动速度以及与目标对象的距离等因素，可以提高兴趣度估计的准确性。

优选的，所述兴趣度计算单元74可以包括：归一化处理单元，用于在计算所述目标用户的轨迹曲线与多个样本兴趣曲线的相似度之前，按照样本兴趣曲线的尺度，对所述目标用户的轨迹曲线进行归一化处理。通过归一化处理，可以简化后续曲线相似度计算的运算量。

优选的，所述曲线拟合单元73，还用于通过对所述第三轨迹点的聚类分析，删除所述第三轨迹点中的噪点；将所述二维极坐标划分成以中心点为圆心的多个相同大小的扇区，根据每个扇区中的第三轨迹点，计算每个扇区的轨迹样本点，其中，所述轨迹样本点的半径为所述扇区内的第三轨迹点的平均半径；连接各个扇区的轨迹样本点，生成所述目标用户的轨迹曲线。通过所述曲线拟合单元73的上述处理，本发明实施例可以简化轨迹曲线的生成。

优选的，所述曲线拟合单元73，还用于在连接各个扇区的轨迹样本点之前，根据每个扇区中的第三轨迹点的数量，计算每个扇区中的第三轨迹点的密度，其中，所述密度与所述扇区中的第三轨迹点的数量正相关，与所述扇区中的轨迹样本点的半径负相关；将所述密度小于预定门限的扇区中的轨迹样本点删除。通过以上处理，可以删除干扰数据，提高后续兴趣度计算的准确度。

请参考图8，本发明实施例还提供了用户兴趣的估计装置的一种硬件结构框图，如图8所示，该用户兴趣的估计装置800包括：

处理器802；和

存储器804，在所述存储器804中存储有计算机程序指令，

其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器802执行以下步骤：

获取位于目标对象处的全景相机所拍摄的连续多帧全景图像，所述连续多帧全景图像中包括有目标用户；

从所述连续多帧全景图像中提取所述目标用户的第一轨迹点，将所述第一轨迹点转换为三维坐标系统下的第二轨迹点，并将所述第二轨迹点从球体表面的俯视方向投影到二维极坐标下，得到二维极坐标下所述目标用户的第三轨迹点；

根据所述目标用户的第三轨迹点，拟合得到所述目标用户的轨迹曲线；

计算所述目标用户的轨迹曲线与多个样本兴趣曲线的相似度，确定与所述目标用户的轨迹曲线相似度最高的目标样本兴趣曲线，根据所述目标样本兴趣曲线对应的兴趣度，确定所述目标用户对所述目标对象的目标兴趣度。

进一步地，如图8所示，该用户兴趣的估计装置800还包括网络接口801、输入设备803、硬盘805、和显示设备806。

上述各个接口和设备之间可以通过总线架构互连。总线架构可以是包括任意数量的互联的总线和桥。具体由处理器802代表的一个或者多个中央处理器(CPU)，以及由存储器804代表的一个或者多个存储器的各种电路连接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其它电路连接在一起。可以理解，总线架构用于实现这些组件之间的连接通信。总线架构除包括数据总线之外，还包括电源总线、控制总线和状态信号总线，这些都是本领域所公知的，因此本文不再对其进行详细描述。

所述网络接口801，可以连接至网络(如因特网、局域网等)，从视频源接收全景相机拍摄的全景视频帧数据，并可以将接收到的视频帧数据保存在硬盘805中。

所述输入设备803，可以接收操作人员输入的各种指令，并发送给处理器802以供执行。所述输入设备803可以包括键盘或者点击设备(例如，鼠标、轨迹球(trackball)、触感板或者触摸屏等)。

所述显示设备806，可以将处理器802执行指令获得的结果进行显示，例如实时显示所述目标用户对所述目标对象的目标兴趣度的计算结果等。

所述存储器804，用于存储操作系统运行所必须的程序和数据，以及处理器802计算过程中的中间结果等数据。

可以理解，本发明实施例中的存储器804可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)或闪存。易失性存储器可以是随机存取存储器(RAM)，其用作外部高速缓存。本文描述的装置和方法的存储器804旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施方式中，存储器804存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统8041和应用程序8042。

其中，操作系统8041，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序8042，包含各种应用程序，例如浏览器(Browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序8042中。

本发明上述实施例揭示的方法可以应用于处理器802中，或者由处理器802实现。处理器802可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器802中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器802可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器804，处理器802读取存储器804中的信息，结合其硬件完成上述方法的步骤。

可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。

对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。

具体地，所述计算机程序被处理器802执行时还可实现如下步骤：将所述目标样本兴趣曲线对应的兴趣度，直接作为所述目标兴趣度。

具体地，所述计算机程序被处理器802执行时还可实现如下步骤：获取一参考速度以及所述目标用户在所述连续多帧全景图像内的平均移动速度，所述参考速度是在所述连续多帧全景图像的持续时长内，以所述目标用户与目标对象的平均距离为半径，绕所述目标对象一周所需要的最小速度；在所述平均移动速度不大于所述参考速度时，将所述目标样本兴趣曲线对应的兴趣度，直接作为所述目标兴趣度；在所述平均移动速度大于所述参考速度时，根据所述目标样本兴趣曲线对应的兴趣度以及参考圈数，计算所述目标兴趣度，其中，所述参考圈数是所述目标对象按照所述平均移动速度和轨迹曲线，在所述连续多帧全景图像内可以完成的绕所述目标对象的圈数，且所述目标兴趣度与所述目标样本兴趣曲线对应的兴趣度以及所述参考圈数均为正相关关系。

具体地，所述计算机程序被处理器802执行时还可实现如下步骤：在所述计算所述目标用户的轨迹曲线与多个样本兴趣曲线的相似度的步骤之前，按照样本兴趣曲线的尺度，对所述目标用户的轨迹曲线进行归一化处理。

具体地，所述计算机程序被处理器802执行时还可实现如下步骤：通过对所述第三轨迹点的聚类分析，删除所述第三轨迹点中的噪点；将所述二维极坐标划分成以中心点为圆心的多个相同大小的扇区，根据每个扇区中的第三轨迹点，计算每个扇区的轨迹样本点，其中，所述轨迹样本点的半径为所述扇区内的第三轨迹点的平均半径；连接各个扇区的轨迹样本点，生成所述目标用户的轨迹曲线。

具体地，所述计算机程序被处理器802执行时还可实现如下步骤：在连接各个扇区的轨迹样本点之前，根据每个扇区中的第三轨迹点的数量，计算每个扇区中的第三轨迹点的密度，其中，所述密度与所述扇区中的第三轨迹点的数量正相关，与所述扇区中的轨迹样本点的半径负相关；将所述密度小于预定门限的扇区中的轨迹样本点删除。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述用户兴趣的估计方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁盘或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (11)

1.一种用户兴趣的估计方法，其特征在于，包括：

获取位于目标对象处的全景相机所拍摄的连续多帧全景图像，所述连续多帧全景图像中包括有目标用户；

从所述连续多帧全景图像中提取所述目标用户的第一轨迹点，将所述第一轨迹点转换为三维坐标系统下的第二轨迹点，并将所述第二轨迹点从球体表面的俯视方向投影到二维极坐标下，得到二维极坐标下所述目标用户的第三轨迹点；

根据所述目标用户的第三轨迹点，拟合得到所述目标用户的轨迹曲线；

计算所述目标用户的轨迹曲线与多个样本兴趣曲线的相似度，确定与所述目标用户的轨迹曲线相似度最高的目标样本兴趣曲线，根据所述目标样本兴趣曲线对应的兴趣度，确定所述目标用户对所述目标对象的目标兴趣度。

2.根据权利要求1所述的估计方法，其特征在于，所述根据所述目标样本兴趣曲线对应的兴趣度，确定所述目标用户对所述目标对象的目标兴趣度的步骤，包括：

将所述目标样本兴趣曲线对应的兴趣度，直接作为所述目标兴趣度。

3.根据权利要求1所述的估计方法，其特征在于，所述根据所述目标样本兴趣曲线对应的兴趣度，确定所述目标用户对所述目标对象的目标兴趣度的步骤，包括：

获取一参考速度以及所述目标用户在所述连续多帧全景图像内的平均移动速度，所述参考速度是在所述连续多帧全景图像的持续时长内，以所述目标用户与目标对象的平均距离为半径，绕所述目标对象一周所需要的最小速度；

在所述平均移动速度不大于所述参考速度时，将所述目标样本兴趣曲线对应的兴趣度，直接作为所述目标兴趣度；

在所述平均移动速度大于所述参考速度时，根据所述目标样本兴趣曲线对应的兴趣度以及参考圈数，计算所述目标兴趣度，其中，所述参考圈数是所述目标对象按照所述平均移动速度和轨迹曲线，在所述连续多帧全景图像内可以完成的绕所述目标对象的圈数，且所述目标兴趣度与所述目标样本兴趣曲线对应的兴趣度以及所述参考圈数均为正相关关系。

4.根据权利要求1所述的估计方法，其特征在于，

在所述计算所述目标用户的轨迹曲线与多个样本兴趣曲线的相似度的步骤之前，所述方法还包括：

按照样本兴趣曲线的尺度，对所述目标用户的轨迹曲线进行归一化处理。

5.根据权利要求1至4任一项所述的估计方法，其特征在于，所述根据所述用户的第三轨迹点，拟合得到所述用户的轨迹曲线的步骤，包括：

通过对所述第三轨迹点的聚类分析，删除所述第三轨迹点中的噪点；

将所述二维极坐标划分成以中心点为圆心的多个相同大小的扇区，根据每个扇区中的第三轨迹点，计算每个扇区的轨迹样本点，其中，所述轨迹样本点的半径为所述扇区内的第三轨迹点的平均半径；

连接各个扇区的轨迹样本点，生成所述目标用户的轨迹曲线。

6.根据权利要求5所述的估计方法，其特征在于，

在连接各个扇区的轨迹样本点之前，所述方法还包括：

根据每个扇区中的第三轨迹点的数量，计算每个扇区中的第三轨迹点的密度，其中，所述密度与所述扇区中的第三轨迹点的数量正相关，与所述扇区中的轨迹样本点的半径负相关；

将所述密度小于预定门限的扇区中的轨迹样本点删除。

7.一种用户兴趣的估计装置，其特征在于，包括：

图像获取单元，用于获取位于目标对象处的全景相机所拍摄的连续多帧全景图像，连续多帧全景图像中包括有目标用户；

坐标变换单元，用于从所述连续多帧全景图像中提取所述目标用户的第一轨迹点，将所述第一轨迹点转换为三维坐标系统下的第二轨迹点，并将所述第二轨迹点从球体表面的俯视方向投影到二维极坐标下，得到二维极坐标下所述目标用户的第三轨迹点；

曲线拟合单元，用于根据所述目标用户的第三轨迹点，拟合得到所述目标用户的轨迹曲线；

兴趣度计算单元，用于计算所述目标用户的轨迹曲线与多个样本兴趣曲线的相似度，确定与所述目标用户的轨迹曲线相似度最高的目标样本兴趣曲线，根据所述目标样本兴趣曲线对应的兴趣度，确定所述目标用户对所述目标对象的目标兴趣度。

8.根据权利要求7所述的估计装置，其特征在于，

所述兴趣度计算单元，还用于：

将所述目标样本兴趣曲线对应的兴趣度，直接作为所述目标兴趣度；

或者，

获取一参考速度以及所述目标用户在所述连续多帧全景图像内的平均移动速度，所述参考速度是在所述连续多帧全景图像的持续时长内，以所述目标用户与目标对象的平均距离为半径，绕所述目标对象一周所需要的最小速度；在所述平均移动速度不大于所述参考速度时，将所述目标样本兴趣曲线对应的兴趣度，直接作为所述目标兴趣度；以及，在所述平均移动速度大于所述参考速度时，根据所述目标样本兴趣曲线对应的兴趣度以及参考圈数，计算所述目标兴趣度，其中，所述参考圈数是所述目标对象按照所述平均移动速度和轨迹曲线，在所述连续多帧全景图像内可以完成的绕所述目标对象的圈数，且所述目标兴趣度与所述目标样本兴趣曲线对应的兴趣度以及所述参考圈数均为正相关关系。

9.根据权利要求7或8所述的估计装置，其特征在于，

所述曲线拟合单元，还用于通过对所述第三轨迹点的聚类分析，删除所述第三轨迹点中的噪点；将所述二维极坐标划分成以中心点为圆心的多个相同大小的扇区，根据每个扇区中的第三轨迹点，计算每个扇区的轨迹样本点，其中，所述轨迹样本点的半径为所述扇区内的第三轨迹点的平均半径；连接各个扇区的轨迹样本点，生成所述目标用户的轨迹曲线。

10.根据权利要求9所述的估计装置，其特征在于，

所述曲线拟合单元，还用于在连接各个扇区的轨迹样本点之前，根据每个扇区中的第三轨迹点的数量，计算每个扇区中的第三轨迹点的密度，其中，所述密度与所述扇区中的第三轨迹点的数量正相关，与所述扇区中的轨迹样本点的半径负相关；将所述密度小于预定门限的扇区中的轨迹样本点删除。

11.一种用户兴趣的估计装置，其特征在于，包括：

网络接口、输入设备、硬盘、显示设备、处理器；

和存储器，所述存储器中存储有计算机程序指令，

其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行以下步骤：

获取位于目标对象处的全景相机所拍摄的连续多帧全景图像，连续多帧全景图像中包括有目标用户；

从所述连续多帧全景图像中提取所述目标用户的第一轨迹点，将所述第一轨迹点转换为三维坐标系统下的第二轨迹点，并将所述第二轨迹点从球体表面的俯视方向投影到二维极坐标下，得到二维极坐标下所述目标用户的第三轨迹点；

根据所述目标用户的第三轨迹点，拟合得到所述目标用户的轨迹曲线；

计算所述目标用户的轨迹曲线与多个样本兴趣曲线的相似度，确定与所述目标用户的轨迹曲线相似度最高的目标样本兴趣曲线，根据所述目标样本兴趣曲线对应的兴趣度，确定所述目标用户对所述目标对象的目标兴趣度。

Images