CN102122346A - 基于视频分析的实体店面顾客兴趣点采集方法 - Google Patents

Abstract

本发明公开了一种基于视频分析的实体店面顾客兴趣点采集方法，包括如下步骤：(1)利用摄像头对实体店面中的展品进行定位、识别及标注；(2)跟踪实体店面中顾客的运动轨迹，通过顾客是否触碰展品或者停留在展品周围是否超过预定时间来判断顾客是否对展品感兴趣；(3)对顾客感兴趣的展品信息进行统计和反馈。通过对顾客兴趣点信息的有效采集、分析、挖掘，可以提升实体店面的管理水平、客户对店面的服务满意度、降低库存，加快展品销售及周转，全面提升经济效益。

Description

基于视频分析的实体店面顾客兴趣点采集方法

技术领域

本发明涉及一种顾客兴趣点采集方法，尤其涉及一种基于视频图像分析技术实现的实体店面顾客兴趣点采集方法，属于商务智能技术领域。

背景技术

当前，零售业的市场竞争日益激烈，作为市场最终端的顾客行为日益成为企业研究的重点。可以说谁抓住了顾客的心，谁就抓住了市场，谁就抓住了企业的未来。在此背景下，快速准确地获取顾客兴趣点信息成为企业赢得市场竞争的关键。

实体店面仍然在零售业中占据主导的地位。典型的实体店面如服装店、礼品店、汽车展厅、配件店、超市等，可以通过顾客在其店内的消费行为，利用统计分析获得顾客的购物习惯、购物兴趣以及购物倾向等信息。进一步地，大型的商业连锁企业，尤其是品牌连锁店，希望对其各地分店的顾客兴趣点进行全面的整合及分析，以便结合各地分店的地理位置及所在区域的人口信息，从中挖掘出顾客消费的一般规律。

目前，零售业中常用的顾客兴趣点信息采集方法有：随机抽样发放调查表调查、信息采集员现场收集汇总、对客户购买物品的购物框进行分析、电话回访、随机全程购物跟踪等。但是，这些方法普遍存在信息收集时间长、费用高、精确度低、无效信息多、信息收集不全面等问题，例如最常采用的随机发放抽样调查表的方法，在实际调查过程中，许多顾客因时间等一些原因，对调查表中设计的问题胡乱填写，应付了事，甚至有些顾客因此而对门店产生反感。另外，制作调查问卷、聘请调查人员等费用也是一笔较大的开支。

对于商业连锁企业而言，常用的做法是派遣专门的信息采集员，对各个区域的销售数据进行采集汇总，并通过手机、电脑等工具上传到总公司进行汇总。这种做法同样存在上述的问题，而且汇总周期长、信息误差大、费用更加高昂。

总之，由于零售业中信息技术的普及程度还不够高，加之成本等诸方面的制约，使得现有的实体店面很难实现对顾客兴趣点信息的有效收集整理。

另一方面，现有的视频图像分析技术日益成熟。例如在申请号为200910152520.3的中国发明专利申请中，公开了一种基于视觉注意的视频感兴趣区域的提取方法，该方法提取的感兴趣区域融合了静态图像域视觉注意、运动视觉注意和深度视觉注意，有效抑制各视觉注意提取内在的单一性和不准确性，解决了静态图像域视觉注意中的复杂背景引起的噪声问题，解决了运动视觉注意无法提取局部运动和运动幅度小的感兴趣区域，能够从纹理复杂的背景和运动环境中提取出感兴趣区域；另外，通过该方法获取的感兴趣区域除符合人眼对静态纹理视频帧的视觉感兴趣特性和人眼对运动对象感兴趣的视觉特性外，还符合在立体视觉中对深度感强或距离近的对象感兴趣的深度感知特性，符合人眼立体视觉的语义特征。另外，在申请号为201010195802.4的中国发明专利申请中，公开了一种人体动作识别的训练方法，包括：从视频文件中提取时空兴趣点；将所有时空兴趣点根据其所包含的特征描述子量化到相应的视频单词上，并为视频单词生成统计直方图；根据视频单词所在时空邻域内的时空上下文信息得到该视频单词所在时空邻域内的其它视频单词，由该视频单词与某一满足时空约束的其它视频单词形成时空视频词组；对视频单词所在时空邻域内的时空上下文做聚类，得到语境单词，由视频单词与语境单词形成时空视频单词团体；从时空视频词组中选择代表性时空视频词组，从时空视频单词团体中选择代表性时空视频单词团体；利用视频单词、代表性时空视频词组、代表性时空视频单词团体中的一种特征或将多种特征融合后的结果训练分类器。

但是，现有技术中并没有将视频图像分析技术应用到实体店面顾客兴趣点信息采集的成熟解决方案。

发明内容

本发明所要解决的技术问题在于提供一种基于视频分析的实体店面顾客兴趣点采集方法。该采集方法基于视频图像分析技术实现，可以有效捕捉顾客在实体店面浏览时的兴趣点所在。

为实现上述的发明目的，本发明采用下述的技术方案：

一种基于视频分析的实体店面顾客兴趣点采集方法，通过在实体店面分布的多个摄像头实现，其特征在于包括如下步骤：

(1)利用所述摄像头对实体店面中的展品进行定位、识别及标注；

(2)跟踪实体店面中顾客的运动轨迹，通过顾客是否触碰展品或者停留在展品周围是否超过预定时间来判断顾客是否对所述展品感兴趣；

(3)对顾客感兴趣的展品信息进行统计和反馈。

其中，在所述步骤(1)中，首先利用展品的样本图片建立样本图片库，然后基于样本图片的数据对所述摄像头所采集的展品图像进行初步的匹配、识别，对每个展品图像给出可能与之匹配的展品名称，最后经由人工审核确定。

或者，在所述步骤(1)中，所述摄像头根据所述展品上附着的品牌、型号的标识进行识别。

或者，在所述步骤(1)中，所述摄像头根据所述展品所在橱窗上的商品标签进行识别。

在所述步骤(2)中，所述摄像头如果发现视频图像中出现了移动物体，则分割出所述移动物体的图像并进行识别；当确定移动物体为活动的人形物体时认为顾客进入，随即对所述顾客赋予一个系统编号，开始跟踪所述顾客的运动轨迹。

在所述步骤(2)中，在一段设定的时间长度内，通过顾客头部的中心在展品周围的空间偏离度是否小于阈值来判断顾客是否停留在展品周围。

在所述步骤(2)中，通过识别视频图像中分割出的顾客区域是否部分覆盖视频图像中分割出的展品区域，并且展品在部分覆盖的时间段内位置、形状是否发生改变来判断顾客是否与展品接触。

一种基于视频分析的实体店面顾客兴趣点采集系统，包括在实体店面分布的多个摄像头，其特征在于还包括：

展品定位标识单元，用于利用所述摄像头对实体店面中的展品进行定位、识别及标注；

顾客兴趣点判断单元，用于跟踪实体店面中顾客的运动轨迹，通过顾客是否触碰展品或者停留在展品周围是否超过预定时间来判断顾客是否对所述展品感兴趣；

顾客兴趣点统计单元，用于对顾客感兴趣的展品信息进行统计和反馈。

本发明所提供的实体店面顾客兴趣点采集方法可以快速准确地捕捉顾客在实体店面浏览时的兴趣点信息。通过对顾客兴趣点信息的有效采集、分析、挖掘，可以提升实体店面的管理水平、客户对店面的服务满意度、降低库存，加快展品销售及周转，全面提升经济效益。

附图说明

下面结合附图和具体实施方式对本发明作进一步的详细说明。

图1为摄像头直接根据展品上附着的品牌型号标识进行识别的示意图；

图2为摄像头根据展品所在橱窗上的商品标签进行识别的示意图；

图3为本发明所提供的实体店面顾客兴趣点采集方法的操作流程示意图；

图4为将视频分析的顾客行为信息描述转变成系统记录的示意图；

图5为本实体店面顾客兴趣点采集方法的应用前景示意图。

具体实施方式

本发明所提供的实体店面顾客兴趣点采集方法主要通过如下的技术环节实现：对店面中展品的定位、标注及识别；对顾客的轨迹追踪及对顾客兴趣点的跟踪和发掘；对顾客兴趣点信息的统计与反馈等。下面分别展开详细的说明。

1)展品的定位、识别及标注

目前，较大规模的实体店面都会设置由多个摄像头和监视器等构成的闭路监视系统。在该闭路监视系统中，具备彩色摄像、自动变焦能力的摄像头安装在货架区域的上方，可以对实体店面的顾客购物情况进行全方位动态实时监视。由现有的闭路监视系统与计算机等设备组合成的顾客兴趣点采集系统为实现本采集方法奠定了必要的硬件基础。该顾客兴趣点采集系统的硬件部分是计算机视觉领域普通技术人员都能掌握的常规设计，在此就不赘述了。

在本发明中，通过闭路监视系统中的摄像头在店面内合理布局(具体布局方式可以参考现有的闭路监视系统。该闭路监视系统已有成熟的解决方案，可以做到基本不留死角)，能“看到”店面内所有陈列的展品。这样，顾客兴趣点采集系统的使用者可以在尚无顾客访问信息的视频画面中，框选各种展品，并手动输入展品名字或从展品型号的下拉框选项中进行选择，从而完成展品的识别、标注工作。

在本发明的实施例中，可以通过多种方式实现对展品的识别和标注，分别说明如下：

第一种识别方式：闭路监视系统中的摄像头直接根据展品上附着的品牌、型号的标识进行识别。具体而言，当摄像头采集的视频图像精度达到一定程度，且顾客兴趣点采集系统自身已经积累了大量已标注的展品影像时，顾客兴趣点采集系统可以直接识别出展品的品牌、型号，并提示客户选择确定。例如如图1所示，在数码相机的视频截图上有该相机的品牌、型号标识，通过对轮廓外观特征的图像分析，首先识别其分属的大类“相机”，进一步通过OCR(Optical CharacterRecognition，光学字符识别)等技术对上面印制的品牌型号标识进行分析并识别出来。

第二种识别方式：闭路监视系统中的摄像头根据展品所在橱窗上的商品标签进行识别。如图2所示，当摄像头采集的视频图像精度达到一定程度，顾客兴趣点采集系统可以直接“观看”展品所在橱窗位置的商品标签，通过OCR技术和/或手写体识别技术等识别出展品的品牌、型号，并提示客户选择确定。

上述第一种识别方式直接采集并识别展品的品牌、型号信息，但适用的展品范围有限。对于一些形状不确定或者没有在表面印制品牌、型号标识的展品而言效果不佳。第二种识别方式所获得的展品品牌、型号信息更加准确，但对商品标签的依赖程度较高。如果商品标签的安放位置不佳或者记载的信息错误，会严重影响识别结果的准确性。

在第三种识别方式中，考虑到展品一般都有相应的样本图片，因此可以建立一个样本图片库，并且让顾客兴趣点采集系统中的计算机通过基于内容的图像检索(CBIR，Content-Based Image Retrieval)软件进行预先“学习”。在实际识别过程中，CBIR软件可以基于已有的样本图片的数据对摄像头所采集的展品图像进行初步的匹配、识别，对每个展品图像给出可能与之匹配的展品名称，最后经由人工审核确定。一旦展品被唯一标识后，其在视频场景中的移动追踪，可以通过业已成熟的移动物体追踪技术(具体可以参见http://en.wikipedia.org/wiki/Video_tracking及相关参考文献)实现，在此就不详细赘述了。

当展品被识别、标注后，通过计算机视觉、图像处理等技术手段，可以对展品所在区域的视频图像进行图像分割、对展品区域进行特征抽取，如形状特征、灰度分布、颜色空间特征等，并基于这些特征进行展品的分类、聚类等。

基于这些特征及展品所在的大致位置，顾客兴趣点采集系统可以在周边位置这一限制条件下，正确匹配及识别展品。具体而言，通过分析所提取的特征与周围其他展品的特征的区别，建立分类器，并追踪该展品在周边位置内的位移。如果该展品在视频图像中消失，顾客兴趣点采集系统可以直接发现。

2)顾客的轨迹追踪及对顾客兴趣点的跟踪和发掘

参照图3所示，顾客兴趣点采集系统通过分布于店面各处的摄像头实施监控。顾客进入店面后，顾客兴趣点采集系统首先可以发现视频图像中出现了移动物体，随之在视频图像中分割出移动物体的图像并进行识别。当确定移动物体为活动的人形物体时，认为顾客已经进入，然后自动提取顾客的体态特征，自动分割识别出顾客。顾客兴趣点采集系统随即对该顾客赋予一个系统编号，开始跟踪顾客的运动轨迹。

顾客在后续的购物过程中，顾客兴趣点采集系统会根据视频中的图像，使用针对人体的视频匹配跟踪模型进行相似性匹配，跟踪顾客整体及其头脸部分的运动轨迹。此处提到的针对人体的视频匹配跟踪模型，实际上是前文提及的移动物体追踪技术针对特定的人形物体的具体实现。该模型考虑了人的面部和头部的颜色、纹理特征、躯干形态、四肢形体及躯干、四肢、头部的相互位置和连接关系，用来识别移动物体是否人形物体及其头脸部，并追踪整体及各部分的移动轨迹。对此，可以参考Zui Zhang等的论文《Tracking People in Crowds bya Part Matching Approach》(刊载于《Proceedings of the 2008 IEEEFifth International Conference on Advanced Video and SignalBased Surveillance》，p.88-95，September 01-03，2008)和Christopher Richard Wren等的论文《Pfinder：Real-Time Trackingof the Human Body》(刊载于《IEEE Transactions on PatternAnalysis and Machine Intelligence》，v.19，n.7，p.780-785，July1997)，在此就不详细说明了。

当顾客停留在某展品周围超过预定时间时，即一段设定的时间长度内，顾客头部的中心(通过顾客头部区域的重心计算得到)在展品周围的空间偏离度小于某个阈值时，顾客兴趣点采集系统可以发出存在顾客兴趣点的提示，例如闪动标记该展品的框等，并如图4所示的那样，在数据库中写入相应的记录。在判断顾客是否触碰某展品时，顾客兴趣点采集系统可以通过识别视频图像中通过图像分割得出的顾客区域是否接触或者部分覆盖视频图像中通过图像分割得出的展品区域，并且相应的展品在前后两个时间点内位置、形状是否发生改变来判断顾客是否触碰了某展品。

当顾客离开后，被顾客身体遮住的展品(原来有可能被顾客身体遮挡住看不到)将会被顾客兴趣点采集系统重新定位，顾客兴趣点采集系统可以识别该展品对应于顾客到来之前的大致区域的某展品，并识别出已匹配的目标位移，并在数据库中写入一条顾客兴趣点记录。此记录表示：顾客移动过此展品，可能有兴趣。

进一步，基于图像处理的人像分析技术，顾客兴趣点采集系统可以识别顾客的性别、面容老化程度；基于OCR等技术，顾客兴趣点采集系统可以识别顾客穿衣的颜色、风格及品牌。关于这些技术的进一步说明，可以参考李玉山编著的《数字视觉视频技术》(西安电子科技大学出版社2006年出版)或斯蒂格(Steger，C.)、尤里奇(Ulrich，M.)和威德曼(Wiedemann，C.)著的《机器视觉算法与应用》(清华大学出版社2008年出版)，在此就不详细赘述了。

3)对顾客兴趣点信息的统计与反馈

利用上述的技术手段，顾客兴趣点采集系统的数据库中一旦写入某个顾客在某处停留已久或顾客触碰过某展品的记录，顾客兴趣点采集系统可以通过手机短信或者电脑弹窗等方式通知店员，内容为：某处客户可能对某展品感兴趣，请提供服务。顾客兴趣点采集系统可以进一步要求店员与顾客沟通，了解其兴趣点所在，并通过顾客兴趣点采集系统提供的用户接口，以手机短信或者电脑弹窗等方式标注该特定场景中的客户兴趣、客户对展品的反馈-包括客户喜欢该展品的哪个特点，对哪些展品表示不满或者犹豫等。

在具体实施时，上述的各操作步骤可以以计算机软件或者固件的形式安装在顾客兴趣点采集系统的计算机中，例如在顾客兴趣点采集系统中设置以软件形式实现的展品定位标识单元，用于利用摄像头对实体店面中的展品进行定位、识别及标注；顾客兴趣点判断单元，用于跟踪实体店面中顾客的运动轨迹，通过顾客是否触碰展品或者停留在展品周围是否超过预定时间来判断顾客是否对展品感兴趣；顾客兴趣点统计单元，用于对顾客感兴趣的展品信息进行统计和反馈。

利用本顾客兴趣点采集系统所获得的顾客兴趣点信息，经过进一步数据加工后可以获知不同族群(男、女、老、幼)对不同展品的兴趣；不同展品的兴趣与最终购买的转化率；顾客对不同展品、不同类型的反馈(抱怨、称赞)及原因(贵、颜色太深等)；顾客的购买轨迹(同样的顾客，买了某些东西后对购买另一件东西的概率有多大)；对进货样式及价格的策略的改变；进货量的预计(涉及打折后卖出率的预估)；库存的预计(涉及打折后卖出率的预估)等。

如图5所示，这些顾客兴趣点信息的采集及分析，对于品牌店及其母公司的订货采购计划、展品价格策略、库存计划、店内展品布局方案的制定，都具有极其重要的意义。通过视频监控及分析，可以识别出访客在店内的行动轨迹，发现访客的兴趣点，基于对顾客在专卖店的浏览行为和店员的服务进行分析，在以下3方面提升实体店面的竞争力：

1)通过陈列商品兴趣度分析，有效改善进货、库存管理；

2)为店主提供绩效分析的有力工具；

3)为店员导购管理提供科学的手段。

以上对本发明所提供的基于视频分析的实体店面顾客兴趣点采集方法进行了详细的说明，但显然本发明的具体实现形式并不局限于此。对于本技术领域的一般技术人员来说，在不背离本发明的权利要求范围的情况下对它进行的各种显而易见的改变都在本发明的保护范围之内。

Claims (8)

1.一种基于视频分析的实体店面顾客兴趣点采集方法，通过在实体店面分布的多个摄像头实现，其特征在于包括如下步骤：

(1)利用所述摄像头对实体店面中的展品进行定位、识别及标注；

(2)跟踪实体店面中顾客的运动轨迹，通过顾客是否触碰展品或者停留在展品周围是否超过预定时间来判断顾客是否对所述展品感兴趣；

(3)对顾客感兴趣的展品信息进行统计和反馈。

2.如权利要求1所述的实体店面顾客兴趣点采集方法，其特征在于：

所述步骤(1)中，首先利用展品的样本图片建立样本图片库，然后基于样本图片的数据对所述摄像头所采集的展品图像进行初步的匹配、识别，对每个展品图像给出可能与之匹配的展品名称，最后经由人工审核确定。

3.如权利要求1所述的实体店面顾客兴趣点采集方法，其特征在于：

所述步骤(1)中，所述摄像头根据所述展品上附着的品牌、型号的标识进行识别。

4.如权利要求1所述的实体店面顾客兴趣点采集方法，其特征在于：

所述步骤(1)中，所述摄像头根据所述展品所在橱窗上的商品标签进行识别。

5.如权利要求1所述的实体店面顾客兴趣点采集方法，其特征在于：

所述步骤(2)中，所述摄像头如果发现视频图像中出现了移动物体，分割出所述移动物体的图像并进行识别；当确定移动物体为活动的人形物体时认为顾客进入，随即对所述顾客赋予系统编号，开始跟踪所述顾客的运动轨迹。

6.如权利要求1所述的实体店面顾客兴趣点采集方法，其特征在于：

所述步骤(2)中，在一段设定的时间长度内，通过顾客头部的中心在展品周围的空间偏离度是否小于阈值来判断顾客是否停留在展品周围。

7.如权利要求1所述的实体店面顾客兴趣点采集方法，其特征在于：

所述步骤(2)中，通过识别视频图像中分割出的顾客区域是否与视频图像中分割出的展品区域有相接触或覆盖部分，并且所述展品在存在接触或覆盖的时间段内位置、形状是否发生改变来判断顾客是否触碰所述展品。

8.一种基于视频分析的实体店面顾客兴趣点采集系统，包括在实体店面分布的多个摄像头，其特征在于还包括：

展品定位标识单元，用于利用所述摄像头对实体店面中的展品进行定位、识别及标注；

顾客兴趣点判断单元，用于跟踪实体店面中顾客的运动轨迹，通过顾客是否触碰展品或者停留在展品周围是否超过预定时间来判断顾客是否对所述展品感兴趣；

顾客兴趣点统计单元，用于对顾客感兴趣的展品信息进行统计和反馈。

Images