CN108647242A - 一种热力图的生成方法和系统 - Google Patents

Abstract

本发明公开了一种热力图的生成方法和系统，其中，该方法包括：获取至少包含顾客面部的柜台实景图像；对柜台实景图像进行识别，得到顾客的身份信息、顾客在柜台区域的位置信息及顾客的关注信息；基于身份信息、位置信息及关注信息，生成顾客、商品与柜台区域相关联的热力图。本发明能够基于生成的热力图发现吸引关注的情况受商品类型、商品摆放位置、顾客所处位置或者顾客本身属性所影响的程度，以便进一步优化柜台设计或制定为顾客提供与之匹配度最高的商品的推荐/推销策略。

Description

一种热力图的生成方法和系统

技术领域

本发明属于零售技术领域，具体涉及一种热力图的生成方法和系统。

背景技术

在当前零售行业中，商城柜台的布局、商品的摆放已成为经营者考虑的重要问题之一。能够为经营者提供决策信息的一般是商品的新鲜度、利润率、流行度，以及柜台的客流量等。但大部分决策还是依赖于经营者的主观臆断。如何将消费者喜欢中意的商品推送到顾客的眼前是一个关键的问题，如果能为经营者提供更准确的决策依据，将能更好的帮助销售、提升营业额。

现有技术中已经出现以商城各个零售区域的热力图来支持决策，通过监测系统来检测商城的多个零售区域，确定每个零售区域的人群数量，并且该监测系统包括多个传感器，如摄像机，运动传感器等；通过热力图生成模块生成每个零售区域基于人群数量的热力图；然后通过热力图分析模块确定顾客的购物场景和路线，从而为经营者提供各个零售区域的决策数据。不过，该技术未提及将摄像头采集的图像进行人脸识别，并将人脸数据映射到柜台来构建热力图。

发明内容

(一)发明目的

本发明的目的是提供一种能够为经营者提供决策信息的热力图的生成方法和系统。

(二)技术方案

为解决上述问题，本发明的第一方面提供了一种商品热力图的生成方法，包括：获取至少包含顾客面部的柜台实景图像；对所述柜台实景图像进行识别，得到顾客的身份信息、顾客在柜台区域的位置信息及顾客的关注信息；基于所述身份信息、位置信息及关注信息，生成顾客、商品与柜台区域相关联的热力图。

进一步地，基于人脸识别得到所述顾客的身份信息。

进一步地，对所述柜台实景图像进行识别，得到顾客在柜台区域的位置信息包括：识别所述顾客在所述柜台实景图像中的图像位置；识别所述柜台实景图像在预设的柜台模型中的位置映射关系；根据所述位置映射关系将所述顾客的图像位置映射到所述柜台模型中的模型位置。

进一步地，所述识别所述柜台实景图像在预设的柜台模型中的位置映射关系包括：调整所述柜台实景图像以将所述柜台实景图像与所述柜台模型重合叠加；至少根据叠加区域及调整量计算所述柜台实景图像到所述柜台模型的偏移量，得到所述位置映射关系。

进一步地，所述方法中，对所述柜台实景图像进行识别，得到顾客的关注信息还包括：根据图像识别得到顾客位置和/或顾客关注的方向；将顾客位置和/或顾客关注的方向结合商品的基本信息和商品位置得到顾客与商品的关注关联信息；其中，所述商品的基本信息和商品位置由图像识别或由预设的柜台模型得到。

进一步地，基于商品识别模型识别所述图像中商品的基本信息；其中，所述商品识别模型是基于预存的商品图像和对应商品的基本信息训练得到。

进一步地，所述根据图像识别得到顾客关注的方向，包括：识别所述图像中顾客的人脸朝向、视线方向和视线焦点中的至少一项作为顾客关注的方向。

进一步地，识别所述人脸朝向作为顾客关注的方向，包括：基于所述图像中包含的顾客的眼睛和鼻子的位置形成十字坐标系；旋转所述十字坐标系的横轴并平移纵轴到所述十字坐标系的原点，得到对称十字坐标系；将两个坐标系的原点相连形成的射线作为顾客关注的方向。

进一步地，将顾客关注的方向结合商品的基本信息和商品位置得到顾客与商品的关注关联信息包括：确定所述顾客关注的方向与柜台商品的交叉点；识别交叉点区域的商品，或识别交叉点的位置后根据商品位置确定商品；建立顾客与商品的关注关联关系，其中，所述顾客与商品的关注关联关系包括每一顾客所关注的商品信息和/或关注每一商品的顾客信息。

进一步地，所述顾客、商品与柜台区域相关联的热力图包括：基于顾客属性的柜台区域热力图和/或基于商品属性的柜台区域热力图。

进一步地，所述顾客属性包括会员信息、历史行为、消费水平、年龄、性别、情绪和反应中的至少一个。

根据本发明的另一个方面，还提供了一种商品热力图的生成系统，包括：图像获取模块，用于获取至少包含顾客面部的柜台实景图像；识别模块，用于对所述柜台实景图像进行识别，得到顾客的身份信息、顾客在柜台区域的位置信息及顾客的关注信息；热力图生成模块，用于基于所述身份信息、位置信息以及关注信息，生成顾客、商品与柜台区域相关联的热力图。

进一步地，所述坐标位置识别模块，进一步用于基于人脸识别得到所述顾客的身份信息。

进一步地，所述识别模块包括：图像位置识别子模块，用于识别所述顾客在所述柜台实景图像中的图像位置；位置映射识别子模块，用于识别所述柜台实景图像在预设的柜台模型中的位置映射关系；映射子模块，用于根据所述位置映射关系将所述顾客的图像位置映射到所述柜台模型中的模型位置。

进一步地，所述位置映射识别子模块包括：叠加单元，用于调整所述柜台实景图像以将所述柜台实景图像与所述柜台模型重合叠加；计算单元，用于至少根据叠加区域及调整量计算所述柜台实景图像到所述柜台模型的偏移量，得到所述位置映射关系。

进一步地，所述识别模块包括：位置及方向识别子模块，用于根据图像识别得到顾客位置和/或顾客关注的方向；关联信息处理模块，用于将顾客位置和/或顾客关注的方向结合商品的基本信息和商品位置得到顾客与商品的关注关联信息；其中，所述商品的基本信息和商品位置由图像识别或由预设的柜台模型得到。

进一步地，所述系统还包括：商品信息识别模块，用于基于商品识别模型识别所述图像中商品的基本信息；其中，所述商品识别模型是基于预存的商品图像和对应商品的基本信息训练得到。

进一步地，所述位置及方向识别子模块包括：方向识别单元，用于识别所述图像中顾客的人脸朝向、视线方向和视线焦点中的至少一项作为顾客关注的方向

进一步地，所述方向识别单元包括：十字坐标形成子单元，用于基于所述图像中包含的顾客的眼睛和鼻子的位置形成十字坐标系；旋转子单元，用于旋转所述十字坐标系的横轴并平移纵轴到所述十字坐标系的原点，得到对称十字坐标系；连接子单元，用于将两个坐标系的原点相连形成的射线作为顾客关注的方向。

进一步地，所述关联信息处理模块包括：交叉点确定子模块，用于确定所述顾客关注的方向与柜台商品的交叉点；交叉点商品识别子模块，用于识别交叉点区域的商品，或识别交叉点的位置后根据商品位置确定商品；关联关系建立子模块，用于建立顾客与商品的关注关联关系，其中，所述顾客与商品的关注关联关系包括每一顾客所关注的商品信息和/或关注每一商品的顾客信息。

进一步地，所述顾客、商品与柜台区域相关联的热力图包括：基于顾客属性的柜台区域热力图和/或基于商品属性的柜台区域热力图。

进一步地，所述顾客属性包括会员信息、历史行为、消费水平、年龄、性别、情绪和反应中的至少一个。

根据本发明实施例的另一个方面，提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令用于使计算机执行上述任一种商品热力图的生成方法。

根据本发明实施例的另一个方面，提供一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，使计算机执行上述任一种商品热力图的生成方法。

(三)有益效果

本发明的上述技术方案具有如下有益的技术效果：通过获取至少包括顾客面部的柜台实景图像，然后对柜台实景图像进行识别，得到顾客的身份信息、顾客在柜台区域的位置信息及顾客的关注信息，并基于身份信息、位置信息及关注信息，生成顾客、商品与柜台区域相关联的热力图，从而发现吸引关注的情况受商品类型、商品摆放位置、顾客所处位置或者顾客本身属性所影响的程度，以便进一步优化柜台设计或为顾客提供最匹配的推荐/推销。

附图说明

图1是本发明实施例的一种热力图的生成方法的流程示意图；

图2是本发明实施例的热力图的生成方法中步骤S2的一种实施方式的流程图；

图3是本发明实施例中柜台模型的结构图；

图4是本发明实施例的一种热力图的生成方法中步骤S2a1的一种实施方式的流程图；

图5是本发明实施例的一种热力图的生成方法中步骤S2的另一种实施方式的流程图；

图6是本发明实施例的一种热力图的生成方法中步骤S2b0的一种具体实施方式的流程示意图；

图7是以图6所示本发明实施例为例介绍的一个示例的原理示意图；

图8是本发明实施例的一种热力图的生成方法中步骤S2b1的一种具体实施方式的原理示意图；

图9是本发明实施例一种柜台区域热力图的生成方法的原理示意图；

图10是本发明实施例一种商品热力图的生成方法的原理示意图；

图11是本发明实施例一种热门商品热力图的生成方法的原理示意图；

图12是本发明实施例的一种基于会员的柜台区域热力图的生成方法的原理示意图；

图13是本发明实施例的一种热力图的生成方法的另一种具体实施方式的流程示意图；

图14是本发明实施例的一种热力图的生成系统的结构示意图；

图15是本发明实施例的一种热力图的生成系统中识别模块的一种实施方式的结构示意图；

图16是本发明实施例的一种热力图的生成系统中位置映射识别子模块的一种实施方式的结构示意图；

图17是本发明实施例的一种热力图的生成系统中识别模块的另一具体实施方式的结构示意图；

图18是本发明实施例的一种热力图的生成系统的另一具体实施方式的结构示意图；

图19是本发明实施例的一种热力图的生成系统中位置及方向识别子模块的结构示意图；

图20是本发明实施例的一种热力图的生成系统中方向识别单元的结构示意图；

图21是本发明实施例的一种热力图的生成系统中关联信息处理模块的结构示意图；

图22是本发明实施例的一种电子设备的结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

本发明实施例的方法所依赖的硬件结构为摄像头，摄像头可以预先部署在商场的各个区域，例如：某一区域方位、某一柜台或者某一商品处。

图1是本发明实施例的一种热力图的生成方法的流程示意图。

如图1所示，一种热力图的生成方法，包括如下步骤S1-S3：

S1，获取至少包含顾客面部的柜台实景图像；

其中，柜台实景图像可以是由设置在柜台处的摄像头采集得到，柜台实景图像可以包括顾客面部、柜台和柜台摆放商品等目标在内。

进一步地，在由设置在柜台处的摄像头采集至少包含顾客面部的柜台实景图像时，还可以设置一拍摄时间阈值，当摄像头检测到顾客且该顾客在柜台前停留时间超过拍摄时间阈值时，则自动拍摄包含顾客面部在内的图像。具体地，摄像头可以是基于人脸识别技术检测顾客以及顾客在待拍摄图像中的位置信息，当待拍摄图像中顾客面部位置信息在拍摄时间阈值内未发生变化时，则控制摄像头进行拍摄，得到至少包含顾客面部在内的柜台实景图像。

S2，对柜台实景图像进行识别，得到顾客的身份信息、顾客在柜台区域的位置信息及顾客的关注信息；

其中，顾客的身份信息包括：顾客的年龄、性别、以及是否为该商场的或者该商品所在商家的会员等。顾客的关注信息则是指顾客所关注的对象，例如某一商品或者商品导购。

具体地，是基于人脸识别技术对柜台实景图像中的顾客面部进行识别，得到顾客的身份信息、顾客在柜台区域的位置信息及顾客的关注信息。

S3，基于身份信息、位置信息及关注信息，生成顾客、商品与柜台区域相关联的热力图。

若以某一商场为对象生成热力图，则可以看到在该商场的各个柜台处分布的顾客数量，和不同身份信息的顾客在各个柜台的分布数量，以及各个柜台区域位置或者各个商品的关注量，从而了解顾客、商品与柜台区域之间的关联程度。

本发明实施例通过对每一次拍摄定位的人脸位置进行识别，得到顾客的身份信息、顾客在柜台区域的位置信息及顾客的关注信息，以此为基础形成顾客、商品和柜台区域相关联的热力图，对于商场而言，可以判断商场的什么区域顾客停留最多，顾客停留最多的柜台即为热门柜台，进一步地，经营者可以得知哪些商品更加热门，以及柜台的哪些位置更容易受欢迎，进而进行导流和提升柜台位置的价值，为经营者提供决策依据，进行销售策略的调整以及销售人员的安排。从而发现吸引关注的情况受商品类型、商品摆放位置、顾客所处位置或者顾客本身属性所影响的程度，以便进一步优化柜台设计或为顾客提供最匹配的推荐/推销。

图2是本发明实施例的热力图的生成方法中步骤S2的一种实施方式的流程图。

如图2所示，步骤S2中对柜台实景图像进行识别，得到顾客在柜台区域的位置信息，包括步骤S2a0-S2a2：

S2a0，识别顾客在柜台实景图像中的图像位置；

在本发明实施例中，可以是通过人脸识别的方式识别顾客在柜台实景图像中的图像位置。

S2a1，识别柜台实景图像在预设的柜台模型中的位置映射关系；

其中，柜台实景图像为二维图像，柜台模型为三维模型(柜台模型可以基于实景图像建立，也可以先设计柜台模型，然后按模型来装修柜台，设计好的柜台模型请参见图3)。位置映射关系是指：预先拍摄的图像中每一坐标位置都存在到柜台模型的大致偏移量，基于该偏移量，就可以将步骤S2a0识别的顾客的图像位置映射至柜台模型中相应位置处。具体地，柜台实景图像到柜台模型的大致偏移量是指柜台实景图像中多个关键点的特征或位置与柜台模型中关键点的特征或位置之间的映射关系。而由于柜台实景图像和柜台模型均包括多个关键点的特征和位置，关键点包括关键商品、特定结构(例如柜台边角等)以及特殊标记等，因此柜台实景图像与柜台模型的叠加是通过二者中共同的关键点来实现的，即识别柜台实景图像中包括的关键点及其位置，将识别出的关键点和位置与柜台模型中的关键点和位置进行叠加以及比对，则得到柜台实景图像到柜台模型的映射，即得到位置映射关系。

进一步地，确定图像中物体对象(包括顾客、商品和关键点等)的位置还可以是根据摄像头的位置和拍摄角度进行辅助计算得到。

S2a2，根据位置映射关系将顾客的图像位置映射到柜台模型中的模型位置。

其中，顾客的图像位置是指顾客面部在柜台实景图像中的位置，模型位置是指顾客的图像位置在柜台模型中进行叠加比对后的对应位置。具体的叠加方法可参见前述的关键点叠加比对方法。

图4是本发明实施例的一种热力图的生成方法中步骤S2a1的一种实施方式的流程图。

如图4所示，步骤S2a1包括如下子步骤S2a10-S2a11：

S2a10，调整柜台实景图像以将柜台实景图像与柜台模型重合叠加；

具体地，在对柜台实景图像调整以将柜台实景图像与柜台模型重合叠加时，可以是通过平移使二者在横轴或纵轴方向重合叠加在一起，在叠加过程中还可以通过旋转使得方向一致，以及通过缩放等方式实现柜台模型中的关键点叠加比对。

S2a11，至少根据叠加区域及调整量计算柜台实景图像到柜台模型的偏移量，得到位置映射关系。

在本发明实施例中，调整量可以是旋转角度、旋转方向和缩放比例等参数。

图5是本发明实施例的一种热力图的生成方法中步骤S2的另一种实施方式的流程图。

如图5所示，步骤S2中，对柜台实景图像进行识别，得到顾客的关注信息还包括：

S2b0，根据图像识别得到顾客位置和/或顾客关注的方向；

具体地，是基于人脸识别得到人脸位置作为顾客位置，以及识别人脸朝向、视线方向和/或焦点方向作为顾客关注的方向，由于顾客位置和商品位置大致相同，因此，可以认为顾客位置即为商品位置，另外，顾客关注的方向可以延伸至商品所处位置处，因此根据顾客关注的方向可以进一步了解顾客关注的商品。

进一步地，识别顾客关注的方向是识别图像中顾客的人脸朝向、视线方向和视角焦点中的至少一项作为顾客关注的方向，具体的计算算法可参见现有技术的算法。

S2b1，将顾客位置和/或顾客关注的方向结合商品的基本信息和商品位置得到顾客与商品的关注关联信息；其中，商品的基本信息和商品位置由图像识别或由预设的柜台模型得到。

具体地，图像中商品的基本信息是基于商品识别模型识别得到，商品识别模型是基于后台预先上传的商品图像和对应商品的基本信息训练得到。在将包括商品的图像输入商品识别模型后，则能够识别出商品的基本信息。商品的基本信息包括：商品名称、商品品类或商品品牌。或者基于商品在拍摄的图像中的相对位置以及后台的CRM(CustomerRelationship Management，客户关系管理)系统预存的每一商品和对应的维护区域范围的关系，进行位置索引识别得到不同商品的基本信息。

进一步地，由于每一商品在后台的CRM系统中均对应一维护区域范围，因此，在通过商品识别模型识别出商品的基本信息后，还能够基于商品的基本信息在后台的CRM(Customer Relationship Management，客户关系管理)系统中匹配得到商品位置。

图6是本发明实施例中步骤S2b0的一种具体实施方式的流程示意图。

如图6所示，步骤S2b0中，识别人脸朝向作为顾客关注的方向，包括：

S2b01，基于图像中包含的顾客的眼睛和鼻子的位置形成十字坐标系；

具体地，是以顾客的两个眼睛所在的直线为横轴，鼻子所在的直线为纵轴，形成十字坐标系。

S2b02，旋转十字坐标系的横轴并平移纵轴到十字坐标系的原点，得到对称十字坐标系；

其中，旋转的步骤可以是顺时针旋转，也可以是逆时针旋转，依据具体情况而定。

S2b03，将两个坐标系的原点相连形成的射线作为顾客关注的方向。

图7是以图6所示本发明实施例为例介绍的一个示例的原理示意图。

如图7所示，可以看到，水平方向的直线(实线)为顾客的眼睛所在的直线形成的横轴X，竖直方向的直线(虚线)为顾客的鼻子所在的直线形成的纵轴Y，二者形成的十字状结构为十字坐标系，原点为O，图中X经顺时针旋转得到X’，Y轴经平移得到Y’，X’与Y’交叉存在一原点O’，将O与O’连接形成一射线，即为顾客关注的方向。

进一步地，如图8所示，步骤S2b1中，将顾客关注的方向结合商品的基本信息和商品位置得到顾客与商品的关注关联信息，包括如下子步骤S2b10-S2b12：

S2b10，确定顾客关注的方向与柜台商品的交叉点；

具体地，是通过将上一实施例中得到的射线进行延伸从而会使得射线与某一柜台商品交叉，得到交叉点。

S2b11，识别交叉点区域的商品，或识别交叉点的位置后根据商品位置确定商品；

本发明实施例中，识别交叉点区域的商品可以是通过商品识别模型进行识别，或者是在识别得到交叉点的位置后，根据交叉点的位置匹配商品位置，从而在后台的CRM系统中，基于商品位置匹配得到商品的基本信息，最终定位某一商品。

S2b12，建立顾客与商品的关注关联关系，其中，顾客与商品的关注关联关系包括每一顾客所关注的商品信息和/或关注每一商品的顾客信息。

其中，每一顾客所关注的商品信息可以唯一，关注每一商品的顾客信息可以是多个顾客。

在一个实施方式中，顾客、商品与柜台区域相关联的热力图包括：基于顾客属性的柜台区域热力图和/或基于商品属性的柜台区域热力图。其中，基于顾客属性的柜台区域热力图包括会员热力图、差异化人群热力图、个人历史/兴趣热力图等；基于商品属性的柜台区域热力图包括热门商品/分类热力图、热点摆放位置热力图、关注来自区域热力图等。更进一步地，还可以根据商品信息及人脸识别的顾客属性来做更细致的分析，即基于顾客属性的柜台区域热力图和基于商品属性的柜台区域热力图，比如：特定顾客与特定商品的区域热力图，由于这类热力图体现的是某一类顾客对某一类商品的关注情况受双方位置的影响的情况，因此可以了解比如什么商品最受顾客欢迎、什么顾客最喜欢本柜台的商品、或是商品摆放位置/顾客所处位置对商品受欢迎程度的影响等信息，由此来提供更为精细化的柜台布局策略。

下面通过几个示例对本发明的热力图进行说明：

图9是本发明实施例一种基于商品属性的柜台区域热力图的生成方法的原理示意图。

如图9所示，是由摄像头拍摄的实体图和柜台3D模型图计算得到位置映射的大致偏移量(位置映射关系)，进而通过人脸识别技术在摄像头拍摄的客流照片中识别出人脸位置的坐标信息(顾客在图像中的X轴和Y轴的坐标位置)，再根据人脸位置的坐标信息以及位置映射的大致偏移量，将顾客的图像位置映射至柜台模型中相应位置处，即得到顾客在热力图中的位置，最终得到基于商品属性的柜台区域热力图。具体的实施方法可参见图1、图2和图4实施例介绍的方法步骤。

图10是本发明实施例一种商品热力图的生成方法的原理示意图。

如图10所示，通过不同区域方位部署的摄像头拍照得到包含顾客面部的图像，通过人脸识别可以获取到图像中的人脸位置，进而根据人脸位置在后台的CRM系统中查询每一人脸位置在对应位置处的商品，即可以得到各商品下的所有人脸，最终基于各商品下的人脸形成商品热力图。具体的实施方法可参见图1和图5实施例介绍的方法步骤。

图11是本发明实施例一种热门商品热力图的生成方法的原理示意图。

在一个可选的实施例中，可以通过对不同品类或品牌的商品进行图像建模，通过图像识别对商品进行区分，进而可以获取不同商品的热门程度，最终根据柜台内所摆设的具体商品实现针对不同商品的热力图。具体地，如图11所示，预先对不同品类或品牌的商品建立一图像特征库，图像特征库中包括商品、商品位置和商品的基本信息的映射关系，在对通过摄像头拍照的图像进行分析得到商品的基本信息后，进而可以在图像特征库中进行匹配得到商品位置，另外，还可以通过对摄像头拍照的图像进行人脸识别得到人脸位置以及人脸朝向，最终经过商品位置和人脸位置以及人脸朝向的匹配，形成热门商品热力图。具体的实施方法可参见图1、图5、图6和图7实施例介绍的方法步骤。

基于顾客属性的热力图是通过对顾客的属性进行识别，进而基于顾客的属性，生成基于顾客属性的柜台区域热力图。其中，顾客的属性包括会员信息、历史行为、消费水平、年龄、性别、情绪和反应中的至少一个。从而可以实现针对不同人群的热力图，从而支持面向不同人群的营销策略实施。以顾客的会员信息为例进行说明，请参见图12：

图12是本发明实施例的一种基于会员的柜台区域热力图的生成方法的原理示意图。

如图12所示，通过对摄像头拍摄的图像进行人脸识别，得到人脸位置以及人脸图像ID，以及根据该人脸图像ID在客户关系管理系统中查询其是否为会员，然后在前述实施例的柜台区域热力图或者商品热力图的基础上，对会员进行标识，从而可以针对会员构建柜台区域热力图或商品热力图。进而得到基于商城会员的热力分析，可以支持针对会员的营销策略，由于会员一般都是商城销售的主要消费者，因此经营者通过该热力图可以了解商城会员在不同柜台，以及柜台不同方位的热度分析可以通过本方案得到支持数据，从而可以采取针对性的营销策略和手段，有力提升商城柜台的销售水平。

通过本发明实施例，经营者可以了解商城会员在不同柜台，以及柜台不同方位的热度分析，从而可以采取针对性的营销策略和手段。

具体地，人脸图像是否为会员的判断有两种：

第一种：使用发明名称为《微信扫描触发人脸图像采集》的方法进行判断，即如果能够识别该顾客，则表示该顾客为会员，如果不能识别该顾客，则显示一个二维码并邀请顾客关注，该顾客可以通过微信进行扫码，在扫码之后进行关注，这时微信会将顾客的信息推送到CRM系统中来，此时，该顾客即成为会员。

第二种：店员协助顾客入会，通过人脸识别，为当前下单的顾客人脸id做入会处理。后续拍照时，系统通过该人脸id查询是否为会员。

作为一种可选的实施方式，本发明还可以基于商品热力图，统计设定时间段内关注各商品的顾客数量。例如：对一段时间内各个商品的客流量进行统计，以热力图的形式表示，则可以了解到该时间段内各个商品的客流量的热力分布情况。例如：分别统计周末和周内，或者上班时间和下班时间内同一商品的客流量，或者同一时间段不同商品的客流量，则可以了解到不同时间段顾客对同一商品的关注度，或者同一时间段顾客对不同商品的关注度，从而使经营者合理制定经营策略，例如：可以把热销或者新品放置在热点位置，从而获取更多顾客的关注，实现主动推荐的作用。

通过以上几个示例，可以得到顾客、商品与柜台区域相关联的热力图。

在一个可选的实施方式中，商品热力图中每类商品对应的顾客的颜色区分于其他类商品的顾客，以便能够快速区分客流量，可观性更强。

图13是本发明实施例的一种热力图的生成方法的另一种具体实施方式的流程示意图。

如图13所示，热力图的生成方法还包括如下步骤S1301-S1302：

S1301，设置商品的至少两种热力图颜色，至少两种热力图颜色分别表示商品的客流量等于设定的客流量阈值，或者大于设定的客流量阈值；

S1302，如果商品的热力图颜色持续处于至少两种热力图颜色，则发送调整商品的提醒信息。

其中，还可以包括步骤S1303，如果商品的热力图颜色未持续处于至少两种热力图颜色，则不发送调整商品的提醒信息。

例如：通过设定某一段时间(可以是1\2小时等任一时段)内针对某一商品的热力图颜色，如果在某一段时间内某商品的热力情况一直处于或者高于该颜色表示的热力情况，则对该商品自动触发提醒补货等调整。

作为一种可选的实施方式，还可以通过实时监测柜台内关注各个或各类商品的客流量，进而构建同一时刻不同商品的热力图，从而可以看到同一商品在不同位置的热力分布情况，也可以看出不同商品在某一区域内的整体关注度的分布情况，实时反应柜台内各个商品的受关注程度。比如：同一时间点某一柜台内的酸奶和面包的热力分布图；以及柜台不同位置关注酸奶的客流热力图情况。

通过本发明实施例，经营者可以了解各类商品的热门程度，以及各商品在不同柜台方位的热门程度，也可依据柜台各方位摆放的商品得出不同品牌、品类的热门程度，为经营者提供经营策略或为消费者提供推荐/推销。

图14是本发明实施例的一种热力图的生成系统的结构示意图。

如图14所示，一种热力图的生成系统，包括：

图像获取模块1，用于获取至少包含顾客面部的柜台实景图像；

识别模块2，用于对所述柜台实景图像进行识别，得到顾客的身份信息、顾客在柜台区域的位置信息及顾客的关注信息；

热力图生成模块3，用于基于所述身份信息、位置信息以及关注信息，生成顾客、商品与柜台区域相关联的热力图。

进一步地，识别模块2还用于基于人脸识别得到所述顾客的身份信息。

图15是本发明实施例的一种热力图的生成系统中识别模块的一种实施方式的结构示意图。

如图15所示，识别模块2包括：

图像位置识别子模块21，用于识别所述顾客在所述柜台实景图像中的图像位置；

位置映射识别子模块22，用于识别所述柜台实景图像在预设的柜台模型中的位置映射关系；

映射子模块23，用于根据所述位置映射关系将所述顾客的图像位置映射到所述柜台模型中的模型位置。

图16是本发明实施例的一种热力图的生成系统中位置映射识别子模块的一种实施方式的结构示意图。

如图16所示，位置映射识别子模块22包括：

叠加单元220，用于调整所述柜台实景图像以将所述柜台实景图像与所述柜台模型重合叠加；

计算单元221，用于至少根据叠加区域及调整量计算所述柜台实景图像到所述柜台模型的偏移量，得到所述位置映射关系。

图17是本发明实施例的一种热力图的生成系统中识别模块的另一实施方式的结构示意图。

如图17所示，识别模块2包括：

位置及方向识别子模块24，用于根据图像识别得到顾客位置和/或顾客关注的方向；

关联信息处理模块25，用于将顾客位置和/或顾客关注的方向结合商品的基本信息和商品位置得到顾客与商品的关注关联信息；其中，所述商品的基本信息和商品位置由图像识别或由预设的柜台模型得到。

图18是本发明实施例的一种热力图的生成系统的结构示意图。

如图18所示，该热力图的生成系统还包括：

商品信息识别模块4，用于基于商品识别模型识别所述图像中商品的基本信息；其中，所述商品识别模型是基于预存的商品图像和对应商品的基本信息训练得到。

图19是本发明实施例的一种热力图的生成系统中位置及方向识别子模块的结构示意图。

如图19所示，位置及方向识别子模块24包括：

方向识别单元240，用于识别所述图像中顾客的人脸朝向、视线方向和视线焦点中的至少一项作为顾客关注的方向。

图20是本发明实施例的一种热力图的生成系统中方向识别单元的结构示意图。

如图20所示，方向识别单元240包括：

十字坐标形成子单元2401，用于基于所述图像中包含的顾客的眼睛和鼻子的位置形成十字坐标系；

旋转子单元2402，用于旋转所述十字坐标系的横轴并平移纵轴到所述十字坐标系的原点，得到对称十字坐标系；

连接子单元2403，用于将两个坐标系的原点相连形成的射线作为顾客关注的方向。

图21是本发明实施例的一种热力图的生成系统中关联信息处理模块的结构示意图。

如图21所示，关联信息处理模块25包括：

交叉点确定子模块250，用于确定所述顾客关注的方向与柜台商品的交叉点；

交叉点商品识别子模块251，用于识别交叉点区域的商品，或识别交叉点的位置后根据商品位置确定商品；

关联关系建立子模块252，用于建立顾客与商品的关注关联关系，其中，所述顾客与商品的关注关联关系包括每一顾客所关注的商品信息和/或关注每一商品的顾客信息。

其中，顾客、商品与柜台区域相关联的热力图包括：基于顾客属性的柜台区域热力图和/或基于商品属性的柜台区域热力图。

其中，顾客属性包括会员信息、历史行为、消费水平、年龄、性别、情绪和反应中的至少一个。

需要说明的是，本发明一种热力图的生成系统是与涉及计算机程序流程的一种热力图的生成方法一一对应的系统，由于在前已经对一种热力图的生成方法的步骤流程进行了详细描述，在此不再对一种热力图的生成系统的实施过程进行赘述。

本发明具有以下有益效果：

1、通过对获取到的包含顾客在内的图像进行人脸识别，得到顾客的具体位置，进而获得柜台各个区域的3D图像，从而为经营者提供经营策略；

2、通过形成柜台各个或各类商品的热力图，使经营者可直观地看到不同区域客流的分布情况；

3、通过人脸分析还可以判断人脸朝向，更加准确获取柜台各个区域和商品摆放位置的热门程度；

4、根据柜台内所摆设的具体商品实现针对不同商品的热力图，通过对不同品类或品牌的商品进行图像建模，通过图像识别对商品进行区分，进而可以获取不同商品的热门程度；

5、通过人脸识别自动匹配商城会员的照片和信息，并将识别结果映射到柜台各个区域的3D图像，形成针对会员的柜台不同区域的热力图。

本发明实施例还提供了一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令用于使计算机执行上述任一个实施例的方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

如图22所示，一种执行前述方法的电子设备，包括一个或多个处理器2201以及与一个或多个处理器通信连接的存储器2202，图22中以一个处理器为例。

电子设备还可以包括：输入装置2203和输出装置2204，输入装置2203用于输入获取的至少包含顾客面部的图像，输出装置2204用于生成的基于商品属性的柜台区域热力图或基于商品属性的商品热力图。

处理器2201、存储器2202、输入装置2203和输出装置2204可以通过总线或者其他方式连接，图22中以通过总线连接为例。

存储器2202作为一种非暂态计算机可读存储介质。可用于存储非暂态软件程序、非暂态计算机可执行程序，如本发明实施例中的一种热力图的生成方法对应的软件程序、指令以及模块。处理器2201通过运行存储在存储器2202中的非暂态软件程序、指令以及模块，执行一种热力图的生成系统的各种功能应用以及数据处理，即实现上述方法实施例的方法步骤。

存储器2202可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据一种商品热力图的生成系统的使用所创建的数据等。此外，存储器2202可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件，闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器2202可选包括相对于处理器2201远程设置的存储器，这些远程存储器可以通过网络连接至一种热力图的生成系统。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置2203可接收输入的至少包含顾客面部的图像，以及产生与输入的图像的热力图的生成系统的用户设置以及功能控制有关的键信号输入。输入装置2203可以包括触摸屏、键盘等，也可以包括有线接口、无线接口等。输出装置2204可包括显示屏等显示设备。

一个或多个软件程序、指令存储在存储器2202中，当被一个或多个处理器2201执行时，执行上述任一实施例中的一种热力图的生成方法。

在本发明实施例中，一个或多个处理器能够：执行前述任一实施例的一种热力图的生成方法。

应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

Claims (10)

1.一种热力图的生成方法，其特征在于，包括：

获取至少包含顾客面部的柜台实景图像；

对所述柜台实景图像进行识别，得到顾客的身份信息、顾客在柜台区域的位置信息及顾客的关注信息；

基于所述身份信息、位置信息及关注信息，生成顾客、商品与柜台区域相关联的热力图。

2.根据权利要求1所述的一种热力图的生成方法，其特征在于，基于人脸识别得到所述顾客的身份信息。

3.根据权利要求1所述的一种热力图的生成方法，其特征在于，所述方法中，对所述柜台实景图像进行识别，得到顾客在柜台区域的位置信息包括：

识别所述顾客在所述柜台实景图像中的图像位置；

识别所述柜台实景图像在预设的柜台模型中的位置映射关系；

根据所述位置映射关系将所述顾客的图像位置映射到所述柜台模型中的模型位置。

4.根据权利要求3所述的一种热力图的生成方法，其特征在于，所述识别所述柜台实景图像在预设的柜台模型中的位置映射关系包括：

调整所述柜台实景图像以将所述柜台实景图像与所述柜台模型重合叠加；

至少根据叠加区域及调整量计算所述柜台实景图像到所述柜台模型的偏移量，得到所述位置映射关系。

5.根据权利要求1所述的一种热力图的生成方法，其特征在于，所述方法中，对所述柜台实景图像进行识别，得到顾客的关注信息还包括：

根据图像识别得到顾客位置和/或顾客关注的方向；

将所述顾客位置和/或顾客关注的方向结合商品的基本信息和商品位置得到顾客与商品的关注关联信息；其中，所述商品的基本信息和商品位置由图像识别或由预设的柜台模型得到。

6.根据权利要求5所述的一种热力图的生成方法，其特征在于，

基于商品识别模型识别所述图像中商品的基本信息；其中，所述商品识别模型是基于预存的商品图像和对应商品的基本信息训练得到。

7.根据权利要求5所述的一种热力图的生成方法，其特征在于，所述根据图像识别得到顾客关注的方向，包括：

识别所述图像中顾客的人脸朝向、视线方向和视线焦点中的至少一项作为顾客关注的方向。

8.根据权利要求7所述的一种热力图的生成方法，其特征在于，识别所述人脸朝向作为顾客关注的方向，包括：

基于所述图像中包含的顾客的眼睛和鼻子的位置形成十字坐标系；

旋转所述十字坐标系的横轴并平移纵轴到所述十字坐标系的原点，得到对称十字坐标系；

将两个坐标系的原点相连形成的射线作为顾客关注的方向。

9.根据权利要求5所述的一种热力图的生成方法，其特征在于，将顾客关注的方向结合商品的基本信息和商品位置得到顾客与商品的关注关联信息包括：

确定所述顾客关注的方向与柜台商品的交叉点；

识别交叉点区域的商品，或识别交叉点的位置后根据商品位置确定商品；

建立顾客与商品的关注关联关系，其中，所述顾客与商品的关注关联关系包括每一顾客所关注的商品信息和/或关注每一商品的顾客信息。

10.根据权利要求1所述的一种热力图的生成方法，其特征在于，所述顾客、商品与柜台区域相关联的热力图包括：

基于顾客属性的柜台区域热力图和/或基于商品属性的柜台区域热力图。