CN114220141B - 基于人脸识别的店铺常客识别方法 - Google Patents

基于人脸识别的店铺常客识别方法 Download PDF

Info

Publication number
CN114220141B
CN114220141B CN202111393275.2A CN202111393275A CN114220141B CN 114220141 B CN114220141 B CN 114220141B CN 202111393275 A CN202111393275 A CN 202111393275A CN 114220141 B CN114220141 B CN 114220141B
Authority
CN
China
Prior art keywords
customer
store
image
target
customers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111393275.2A
Other languages
English (en)
Other versions
CN114220141A (zh
Inventor
邢智涣
兰雨晴
余丹
王丹星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Standard Intelligent Security Technology Co Ltd
Original Assignee
China Standard Intelligent Security Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Standard Intelligent Security Technology Co Ltd filed Critical China Standard Intelligent Security Technology Co Ltd
Priority to CN202111393275.2A priority Critical patent/CN114220141B/zh
Publication of CN114220141A publication Critical patent/CN114220141A/zh
Application granted granted Critical
Publication of CN114220141B publication Critical patent/CN114220141B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明的实施例公开基于人脸识别的店铺常客识别方法，涉及图像识别技术领域。所述方法包括：实时采集目标店铺的入口图像和店内图像；通过图像识别技术识别出入口图像中的顾客以及各顾客的特征和属性；通过图像识别技术识别出店内图像中的顾客，根据顾客特征匹配出每位顾客从进店到离店期间对应的全部店内图像；根据各顾客从进店到离店期间对应的全部店内图像，确定每位顾客在目标店铺内的行动路线；根据顾客在目标店铺内的行动路线，确定每位顾客在目标店铺各区域的热力百分值；根据预定时间段内各顾客在目标店铺各区域的热力百分值，获得预定时间段内指定属性下不同分类顾客对目标店铺的热力图。本发明能在顾客无感的情况下获得顾客信息。

Description

基于人脸识别的店铺常客识别方法
技术领域
本发明属于图像识别技术领域，尤其涉及基于人脸识别的店铺常客识别方法。
背景技术
为了获得更好的收益，店铺常常需要分析顾客的信息及其购买行为，如蛋糕店，分析统计哪类顾客，喜欢购买什么口味的蛋糕，便于店铺进行备货和制定推销策略，从而不仅能有效地减少浪费行为，也能提高顾客的满意度，从而有效地增加顾客量和收益。
分析顾客的信息及其购买行为，就必须先要采集到顾客信息及其购买行为的数据，目前，顾客信息及其购买行为的采集方案主要有两种，一是通过支付方式，二是通过会员卡方式；其中，通过支付方式采集到的数据主要为顾客使用了那种支付，如微信、支付宝、银联，及购买商品总额，无法获取到详细购买数据或顾客信息；通过会员卡方式能采集到数据包括会员卡对应的注册顾客信息及其对应的购买商品数据，但是会员卡存在被他人使用，使得采集到的顾客信息不准确，并且也只能采集到会员顾客信息，无法采集到非会员的顾客信息。
发明内容
有鉴于此，本发明实施例提供基于人脸识别的店铺常客识别方法，用于解决现有采集店铺常客识信息方案采集顾客信息不准确、不全面的问题。本发明通过对实时采集到的店铺内的图像信息进行图像识别获得顾客信息，对顾客完全无感，不会对顾客造成不便；同时可以复用现有店铺内摄像头，具有实施成本低的优点，及能够收集顾客高价值、全方位数据，能对店铺经营起到指导作用。
本发明实施例提供基于人脸识别的店铺常客识别方法，该方法包括：
实时采集目标店铺的入口图像和店内图像；所述店内图像通过安装在目标店铺内中心顶部的固定摄像头按照固定采集周期对目标店铺内拍摄得到；
通过图像识别技术识别出所述入口图像中的顾客以及各顾客的特征和属性；
通过图像识别技术识别出店内图像中的顾客，根据顾客特征匹配出每位顾客从进店到离店期间对应的全部店内图像；
根据各顾客从进店到离店期间对应的全部店内图像，确定每位顾客在所述目标店铺内的行动路线；
根据顾客在所述目标店铺内的行动路线，确定每位顾客在所述目标店铺各区域的热力百分值；所述热力百分值用于表征顾客对所述目标店铺内各区域的热度贡献程度；
根据预定时间段内各顾客在所述目标店铺各区域的热力百分值，获得预定时间段内指定属性下不同分类顾客对所述目标店铺的热力图。
在一可选实施例中，所述根据各顾客从进店到离店期间对应的全部店内图像，确定每位顾客在所述目标店铺内的行动路线，包括：
在所述固定摄像头拍摄的店内图像内建立二维直角坐标系；所述二维直角坐标系以所述店内图像的左下顶点为原点，以所述店内图像的的左边框向上为Y轴正向，以所述店内图像的下边框向右为X轴正向，并且所述X轴的单位长度为所述店内图像横向相邻两个坐标点之间的距离，Y轴的单位长度为所述店内图像纵向相邻两个坐标点之间的距离；
对每位顾客从进店到离店期间对应的全部店内图像按照图像采集时间由前往后进行排序，得到每位顾客对应的图像序列；
对于每位顾客，确定该顾客在其对应的图像序列中的每帧店内图像中的位置坐标；
对于每位顾客，根据该顾客在每帧店内图像中的位置坐标，计算该顾客在其对应的图像序列中的每前后相邻两帧店内图像中的位置坐标之间的距离；
对于第e位顾客，判断i是否小于n；其中，i的初始值为1，i为正整数，n为第e个顾客对应的图像序列中的店内图像的总帧数；
若对于第e位顾客，i小于n，则在所述二维直角坐标系中，以第e位顾客在其对应的图像序列中的第i帧店内图像中的位置坐标处为起点生成第i条线段，然后将所述第i条线段绕所述起点旋转直至线段的另一端到达第e位顾客在其对应的图像序列中的第i+1帧店内图像中的位置坐标处停止，形成第e位顾客在所述第i帧店内图像的采集时间点到所述i+1帧店内图像的采集时间点之间的行动路线，随后令i＝i+1并返回执行所述判断i是否小于n的步骤；
若对于第e位顾客，i不小于n，则将当前在所述二维直角坐标系中形成的第e位顾客的行动路线确定为第e位顾客在所述目标店铺内的行动路线。
在一可选实施例中，所述对于每位顾客，根据该顾客在每帧店内图像中的位置坐标，计算该顾客在其对应的图像序列中的每前后两帧相邻店内图像中的位置坐标之间的距离，包括：
根据以下第一公式计算每位顾客在其对应的图像序列中的每前后相邻两帧店内图像中的位置坐标之间的距离：
Figure BDA0003369515550000031
其中，Le(i,i+1)表示第e位顾客在其对应的图像序列中的第i帧店内图像中的位置坐标与第i+1帧店内图像中的位置坐标之间的距离；(xe,i,ye,i)表示第e位顾客在其对应的图像序列中的第i帧店内图像中的位置坐标；(xe,i+1,ye,i+1)表示第e位顾客在其对应的图像序列中的第i+1帧店内图像中的位置坐标。
在一可选实施例中，所述根据顾客在所述目标店铺内的行动路线，确定每位顾客在所述目标店铺各区域的热力百分值，包括：
根据每位顾客的行动路线和预先设置的目标店铺各区域的位置，确定每位顾客经过目标店铺各区域的决定值；
根据第二公式计算每位顾客在所述目标店铺各区域的热力百分值；
其中，所述第二公式为：
Figure BDA0003369515550000032
所述第二公式中，De,k表示第e位顾客在目标店铺的第k个区域的热力百分值；E(k)表示第e位顾客经过目标店铺的第k个区域的决定值，若第e位顾客的行动路线经过目标店铺的第k个区域则E(k)＝1，反之E(k)＝0；k＝1,2,…K；K为所述目标店铺内的区域总数；f()表示判断函数，若括号内的算式为真则函数值为1，若括号内的算式为假则函数值为0；(xk,min,yk,min)表示目标店铺的第k个区域在店内图像中离所述二维直角坐标系的原点距离最近的点的坐标；(xk,max,yk,max)表示目标店铺的第k个区域在店内图像中离所述二维直角坐标系的原点距离最远的点的坐标；∧表示且符号，当符号两端的数值都为1时运算结果才为1，其余情况都为0；(xe,i,ye,i)表示第e位顾客在其对应的图像序列中的第i帧店内图像中的位置坐标。
在一可选实施例中，所述根据预定时间段内各顾客在所述目标店铺各区域的热力百分值，获得预定时间段内指定属性下不同分类顾客对所述目标店铺的热力图，包括：
将预定时间段内进入所述目标店铺的全部顾客按照指定属性进行分类，得到所述指定属性下的每个分类对应的顾客组；
根据预定时间段内每个顾客组中的顾客在所述目标店铺各区域的热力百分值，确定预定时间段内所述指定属性下的每个分类顾客对所述目标店铺各区域的颜色标识值；
根据预定的颜色和颜色标示值的对应关系，对目标店铺的标准图内的各区域按照其颜色标识值对应的颜色进行标注，得到预定时间段内指定属性下不同分类顾客对所述目标店铺的热力图。
在一可选实施例中，所述根据预定时间段内每个顾客组中的顾客在所述目标店铺各区域的热力百分值，确定预定时间段内所述指定属性下的每个分类顾客对所述目标店铺各区域的颜色标识值，包括：
根据以下第三公式计算预定时间段内所述指定属性下的每个分类顾客对所述目标店铺各区域的颜色标识值：
Figure BDA0003369515550000041
其中，Sk,a表示预定时间段内指定属性下的第a个分类顾客对所述目标店铺的第k个区域的颜色标识值；Ta表示指定属性下的第a个分类对应的顾客组中的顾客总数；
Figure BDA0003369515550000051
表示指定属性下的第a个分类对应的顾客组中的第t个顾客对所述目标店铺的第k个区域的热力百分值；
Figure BDA0003369515550000052
表示向上取整；t＝1,2,…,Ta；N为预设的热力图的标识颜色总数；a＝1,2,…,A；A为所述指定属性下的分类总数。
在一可选实施例中，所述指定属性为性别、年龄、新常客中的。
在一可选实施例中，所述N等于7。
在一可选实施例中，所述预定时间段为1天。
本发明提供的基于人脸识别的店铺常客识别方法，首先通过图像识别技术，从实时采集到的店铺的入口图像和店内图像中，识别出顾客以及各顾客的特征和属性，然后获得各顾客对应的图像集，并根据此图像集，确定每位顾客在所述目标店铺内的行动路线；接着根据行动路线，获得每位顾客在所述目标店铺各区域的热力百分值；最后根据各顾客在所述目标店铺各区域的热力百分值，获得预定时间段内指定属性下不同分类顾客对所述目标店铺的热力图。本发明通过对实时采集到的店铺内的图像信息进行图像识别获得顾客信息，对顾客完全无感，不会对顾客造成不便；同时可以复用现有店铺内摄像头，具有实施成本低的优点，及能够收集顾客高价值、全方位数据，能对店铺经营起到指导作用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的基于人脸识别的店铺常客识别方法实施例一流程图；
图2为本发明实施例提供的基于人脸识别的店铺常客识别方法实施例二流程图；
图3为S212的一种实施方法流程图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1为本发明实施例提供的基于人脸识别的店铺常客识别方法实施例一流程图。参见图1，该方法包括如下步骤S101-S106：
S101：实时采集目标店铺的入口图像和店内图像。
其中，所述店内图像通过安装在目标店铺内中心顶部的固定摄像头按照固定采集周期对目标店铺内拍摄得到。店铺的入口图像可以通过安装在目标店铺门口的摄像头拍摄得到。
本实施例中，采集目标店铺的入口图像，主要目的是通过图像识别技术，获得入店的每个顾客的信息，具体地，可以为每个顾客按照进店顺序进行编号作为该顾客的唯一标识，使得不会遗漏任何一位顾客，便于后续对每个顾客进行分析；采集店内图像，便于后续对店内每个顾客的行为进行分析，获得顾客行动路径和对商品的关注程度等信息。
S102：通过图像识别技术识别出所述入口图像中的顾客以及各顾客的特征和属性。
本实施例中，可以通过店铺内中心顶部的固定摄像头，及店铺内其他摄像头协同，采用图像识别技术，即可获得顾客的性别、年龄、新常客的属性和特征信息。例如，是男性还是女性顾客，是小孩/青年/老人顾客，便于后续开展归类分析，获得有针对性的分析结果。
S103：通过图像识别技术识别出店内图像中的顾客，根据顾客特征匹配出每位顾客从进店到离店期间对应的全部店内图像。
本实施例中，为了保护顾客人脸信息的安全性，可以提取顾客人脸特征信息，如人脸特征值，此值可作为顾客人脸的唯一标识，根据此标识，即可获得每位顾客从进店到离店期间对应的全部店内图像，便于后续开展针对每个顾客进店行为分析。
S104：根据各顾客从进店到离店期间对应的全部店内图像，确定每位顾客在所述目标店铺内的行动路线。
本实施例中，顾客在店铺内的行动路线，从客观上反映了顾客在店铺内的活动情况，此活动情况也反映了乘客对店内商品的关注度。
S105：根据顾客在所述目标店铺内的行动路线，确定每位顾客在所述目标店铺各区域的热力百分值。
其中，所述热力百分值用于表征顾客对所述目标店铺内各区域的热度贡献程度。
本实施例中，通过店铺热力百分值，可以知晓每个顾客的购物习惯以及在每个区域内(每个区域一般对应着至少一类商品)的停留情况，进而收集到了单个顾客的行为数据，对顾客可以起到购物指导作用。
S106：根据预定时间段内各顾客在所述目标店铺各区域的热力百分值，获得预定时间段内指定属性下不同分类顾客对所述目标店铺的热力图。
本实施例中，所述指定属性包括：性别、年龄、新常客中的一种。通过直观的热力图，可以让店铺经营者通过直观图形化颜色，了解不同分类(如男性、女性)的顾客对商品的关注度，从而能有效地引导店铺的经营活动，便于获得更高的营收，同时提高顾客的购物体验。
本实施例提供的基于人脸识别的店铺常客识别方法，首先通过图像识别技术，从实时采集到的店铺的入口图像和店内图像中，识别出顾客以及各顾客的特征和属性，然后获得各顾客对应的图像集，并根据此图像集，确定每位顾客在所述目标店铺内的行动路线；接着根据行动路线，获得每位顾客在所述目标店铺各区域的热力百分值；最后根据各顾客在所述目标店铺各区域的热力百分值，获得预定时间段内指定属性下不同分类顾客对所述目标店铺的热力图。本发明通过对实时采集到的店铺内的图像信息进行图像识别获得顾客信息，对顾客完全无感，不会对顾客造成不便；同时可以复用现有店铺内摄像头，具有实施成本低的优点，及能够收集顾客高价值、全方位数据，能对店铺经营起到指导作用。
图2为本发明实施例提供的基于人脸识别的店铺常客识别方法实施例二流程图。参见图2，该方法包括：
S201：实时采集目标店铺的入口图像和店内图像。
S202：通过图像识别技术识别出所述入口图像中的顾客以及各顾客的特征和属性。
S203：通过图像识别技术识别出店内图像中的顾客，根据顾客特征匹配出每位顾客从进店到离店期间对应的全部店内图像。
本实施例中，步骤S201-S203的具体实施方式类似于上述步骤S101-S103，此处不再赘述。
S204：在所述固定摄像头拍摄的店内图像内建立二维直角坐标系。
所述二维直角坐标系以所述店内图像的左下顶点为原点，以所述店内图像的的左边框向上为Y轴正向，以所述店内图像的下边框向右为X轴正向，并且所述X轴的单位长度为所述店内图像横向相邻两个坐标点之间的距离，Y轴的单位长度为所述店内图像纵向相邻两个坐标点之间的距离。
S205：对每位顾客从进店到离店期间对应的全部店内图像按照图像采集时间由前往后进行排序，得到每位顾客对应的图像序列。
本实施例中，将每位顾客从进店到离店期间对应的全部店内图像按照图像采集时间由前往后进行排序得到的图像序列，客观的描述了顾客从店内到出店的过程中活动情况。
S206：对于每位顾客，确定该顾客在其对应的图像序列中的每帧店内图像中的位置坐标。
本实施例中，顾客在店内图像中的位置坐标，即准确的反映了顾客在店内走过的位置信息。
S207：对于每位顾客，根据该顾客在每帧店内图像中的位置坐标，计算该顾客在其对应的图像序列中的每前后相邻两帧店内图像中的位置坐标之间的距离。
优选地，根据以下第一公式计算每位顾客在其对应的图像序列中的每前后相邻两帧店内图像中的位置坐标之间的距离：
Figure BDA0003369515550000091
其中，Le(i,i+1)表示第e位顾客在其对应的图像序列中的第i帧店内图像中的位置坐标与第i+1帧店内图像中的位置坐标之间的距离；(xe,i,ye,i)表示第e位顾客在其对应的图像序列中的第i帧店内图像中的位置坐标；(xe,i+1,ye,i+1)表示第e位顾客在其对应的图像序列中的第i+1帧店内图像中的位置坐标。
本实施例中，根据每个顾客从进店到出店的所有全局图像中每个顾客的坐标位置得到相邻两个坐标位置的距离，进而使得系统可以根据所述距离值生成相应的线段，从而将顾客的在店内的路线准确自动刻画出来。
S208：对于第e位顾客，判断i是否小于n；是则执行S209，否则执行S210。
其中，i的初始值为1，i为正整数，n为第e个顾客对应的图像序列中的店内图像的总帧数。
S209：在所述二维直角坐标系中，以第e位顾客在其对应的图像序列中的第i帧店内图像中的位置坐标处为起点生成第i条线段，然后将所述第i条线段绕所述起点旋转直至线段的另一端到达第e位顾客在其对应的图像序列中的第i+1帧店内图像中的位置坐标处停止，形成第e位顾客在所述第i帧店内图像的采集时间点到所述i+1帧店内图像的采集时间点之间的行动路线，随后令i＝i+1并返回S208。
本实施例中，本发明可以采用了计算机系统方式实现，此系统会自动以前一帧坐标位置处为起点生成所述相邻两个坐标位置的距离长度的线段，然后所述线段会绕着前一帧坐标位置进行旋转直至线段的另一端到达后一帧坐标位置处停止，从而完成在全局图像中将两个坐标位置进行连接，然后将i的值从1取值到n-1，重复前述“两个坐标位置进行连接”的步骤，进而就可以得到所述顾客完整的店内路线。
S210：将当前在所述二维直角坐标系中形成的第e位顾客的行动路线确定为第e位顾客在所述目标店铺内的行动路线。
S211：根据顾客在所述目标店铺内的行动路线，确定每位顾客在所述目标店铺各区域的热力百分值。
作为一可选实施例，本步骤S211，包括：
S2111：根据每位顾客的行动路线和预先设置的目标店铺各区域的位置，确定每位顾客经过目标店铺各区域的决定值。
S2112：根据第二公式计算每位顾客在所述目标店铺各区域的热力百分值；
其中，所述第二公式为：
Figure BDA0003369515550000101
所述第二公式中，De,k表示第e位顾客在目标店铺的第k个区域的热力百分值，De,k越大表明所述第e个顾客在第k个区域内的相对停留时间较长，即对于第k个区域来说所述第e个顾客贡献了De,k的店铺热力值；E(k)表示第e位顾客经过目标店铺的第k个区域的决定值，若第e位顾客的行动路线经过目标店铺的第k个区域则E(k)＝1，反之E(k)＝0；k＝1,2,…K；K为所述目标店铺内的区域总数；f()表示判断函数，若括号内的算式为真则函数值为1，若括号内的算式为假则函数值为0；(xk,min,yk,min)表示目标店铺的第k个区域在店内图像中离所述二维直角坐标系的原点距离最近的点的坐标；(xk,max,yk,max)表示目标店铺的第k个区域在店内图像中离所述二维直角坐标系的原点距离最远的点的坐标，其中由于在店铺内货物的摆放都是按照矩形的形式摆放的，所以每个区域都是矩形区域，离原点最近的点应为矩形区域的左下角顶点，离原点最远的点应为矩形区域的右上角顶点；Λ表示且符号，当符号两端的数值都为1时运算结果才为1，其余情况都为0；(xe,i,ye,i)表示第e位顾客在其对应的图像序列中的第i帧店内图像中的位置坐标。
本实施例中，根据每个顾客的进店路线以及每个顾客的坐标位置得到每个顾客所对应的店铺热力百分值，进而根据所述每个顾客所对应的店铺热力百分值可以知晓每个顾客的购物习惯以及在每个区域内的停留情况，进而收集到了单个顾客的行为数据，对顾客可以起到购物指导作用，
S212：根据预定时间段内各顾客在所述目标店铺各区域的热力百分值，获得预定时间段内指定属性下不同分类顾客对所述目标店铺的热力图。
作为一可选实施例，如图3所示，本步骤S212，包括：
S301：将预定时间段内进入所述目标店铺的全部顾客按照指定属性进行分类，得到所述指定属性下的每个分类对应的顾客组。
本实施例中，所述预定时间段为1天。每个顾客购物可能存在着较大差异，但是如果将每个顾客进行分类，同一类的顾客具有更多的共性，也具有一致的购买习惯，掌握了共同习惯后，店主的营销活动才有落脚点，才能更精准的提供服务，使顾客体验感更好。
S302：根据预定时间段内每个顾客组中的顾客在所述目标店铺各区域的热力百分值，确定预定时间段内所述指定属性下的每个分类顾客对所述目标店铺各区域的颜色标识值。
优选地，根据以下第三公式计算预定时间段内所述指定属性下的每个分类顾客对所述目标店铺各区域的颜色标识值：
Figure BDA0003369515550000111
其中，Sk,a表示预定时间段内指定属性下的第a个分类顾客对所述目标店铺的第k个区域的颜色标识值；Ta表示指定属性下的第a个分类对应的顾客组中的顾客总数；
Figure BDA0003369515550000112
表示指定属性下的第a个分类对应的顾客组中的第t个顾客对所述目标店铺的第k个区域的热力百分值；
Figure BDA0003369515550000113
表示向上取整；t＝1,2,…,Ta；N为预设的热力图的标识颜色总数；a＝1,2,…,A；A为所述指定属性下的分类总数。
本实施例中，可将店铺一天内采集的顾客按照不同性别、不同年龄、新客及常客可分别进行分类，并分成多类，为统一计算将所有分类情况统一为分成a类，例如按照性别或新客常客进行分类，则a＝1,2即分为两类，a＝1时为性别为男的一类，a＝2时为性别为女的一类，并可将第a类情况中的第t个顾客记做at。
S303：根据预定的颜色和颜色标示值的对应关系，对目标店铺的标准图内的各区域按照其颜色标识值对应的颜色进行标注，得到预定时间段内指定属性下不同分类顾客对所述目标店铺的热力图。
本实施例中，在第三公式中，所述N的取值为7，则对应的Sk＝7,6,5,4,3,2,1,0；可以将各个值与每个颜色相对应，便于后续按照颜色填充不同的区域得到热力图，例如：可预先设置颜色和颜色标示值的对应关系为7,6,5,4,3,2,1,0分别对应的颜色为红，橙，黄，绿，青，蓝，紫，白这八种颜色，通过第三公式求取店铺的所有区域的颜色标注值，然后对店铺的所有区域按照其对应的颜色标注值进行颜色标注进而得到对应的店铺热力图，在所述店铺热力图中颜色越靠红色方向表示店铺的热力值越大，越靠紫色方向表示店铺的热力值越小，若为白色则表示该区域内一天中没有人和路线经过此区域。
本实施例中，根据每一类中的每个顾客所对应的店铺热力百分值进行汇总得到每一类顾客对应的当天店铺热力图，此热力图具有简单、直观的优点，根据所述每一类顾客对应的当天店铺热力图，按照顾客类别可以对店铺经营起到对不同类型的用户服务的指导作用。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (7)

1.基于人脸识别的店铺常客识别方法，其特征在于，包括以下步骤：
实时采集目标店铺的入口图像和店内图像；所述店内图像通过安装在目标店铺内中心顶部的固定摄像头按照固定采集周期对目标店铺内拍摄得到；
通过图像识别技术识别出所述入口图像中的顾客以及各顾客的特征和属性；
通过图像识别技术识别出店内图像中的顾客，根据顾客特征匹配出每位顾客从进店到离店期间对应的全部店内图像；
根据各顾客从进店到离店期间对应的全部店内图像，确定每位顾客在所述目标店铺内的行动路线；
根据顾客在所述目标店铺内的行动路线，确定每位顾客在所述目标店铺各区域的热力百分值；所述热力百分值用于表征顾客对所述目标店铺内各区域的热度贡献程度；
根据预定时间段内各顾客在所述目标店铺各区域的热力百分值，获得预定时间段内指定属性下不同分类顾客对所述目标店铺的热力图；
其中，所述根据各顾客从进店到离店期间对应的全部店内图像，确定每位顾客在所述目标店铺内的行动路线，包括：
在所述固定摄像头拍摄的店内图像内建立二维直角坐标系；所述二维直角坐标系以所述店内图像的左下顶点为原点，以所述店内图像的的左边框向上为Y轴正向，以所述店内图像的下边框向右为X轴正向，并且所述X轴的单位长度为所述店内图像横向相邻两个坐标点之间的距离，Y轴的单位长度为所述店内图像纵向相邻两个坐标点之间的距离；
对每位顾客从进店到离店期间对应的全部店内图像按照图像采集时间由前往后进行排序，得到每位顾客对应的图像序列；
对于每位顾客，确定该顾客在其对应的图像序列中的每帧店内图像中的位置坐标；
对于每位顾客，根据该顾客在每帧店内图像中的位置坐标，计算该顾客在其对应的图像序列中的每前后相邻两帧店内图像中的位置坐标之间的距离；
对于第e位顾客，判断i是否小于
Figure 393351DEST_PATH_IMAGE001
；其中，i的初始值为1，i为正整数，
Figure 145275DEST_PATH_IMAGE001
为第
Figure 388038DEST_PATH_IMAGE002
个顾客对应 的图像序列中的店内图像的总帧数；
若对于第e位顾客，i小于
Figure 518805DEST_PATH_IMAGE001
，则在所述二维直角坐标系中，以第e位顾客在其对应的图像 序列中的第i帧店内图像中的位置坐标处为起点生成第i条线段，然后将所述第i条线段绕 所述起点旋转直至线段的另一端到达第e位顾客在其对应的图像序列中的第帧店内图像中 的位置坐标处停止，形成第e位顾客在所述第i帧店内图像的采集时间点到所述帧店内图像 的采集时间点之间的行动路线，随后令并返回执行所述判断i是否小于的步骤；
若对于第e位顾客，i不小于，则将当前在所述二维直角坐标系中形成的第e位顾客的行动路线确定为第e位顾客在所述目标店铺内的行动路线；
其中，所述根据顾客在所述目标店铺内的行动路线，确定每位顾客在所述目标店铺各区域的热力百分值，包括：
根据每位顾客的行动路线和预先设置的目标店铺各区域的位置，确定每位顾客经过目标店铺各区域的决定值；
根据第二公式计算每位顾客在所述目标店铺各区域的热力百分值；
其中，所述第二公式为：
Figure DEST_PATH_IMAGE003
所述第二公式中，
Figure 595345DEST_PATH_IMAGE004
表示第
Figure 834566DEST_PATH_IMAGE002
位顾客在目标店铺的第
Figure DEST_PATH_IMAGE005
个区域的热力百分值；
Figure 21965DEST_PATH_IMAGE006
表示 第
Figure 272817DEST_PATH_IMAGE002
位顾客经过目标店铺的第
Figure 238368DEST_PATH_IMAGE005
个区域的决定值，若第
Figure 840251DEST_PATH_IMAGE002
位顾客的行动路线经过目标店铺的 第
Figure 300182DEST_PATH_IMAGE005
个区域则
Figure 405541DEST_PATH_IMAGE007
，反之
Figure 417360DEST_PATH_IMAGE008
；
Figure 365593DEST_PATH_IMAGE009
；
Figure 753849DEST_PATH_IMAGE010
为所述目标店铺内的区域总数；
Figure 854660DEST_PATH_IMAGE011
表示判 断函数，若括号内的算式为真则函数值为1，若括号内的算式为假则函数值为0；
Figure 771801DEST_PATH_IMAGE012
表示目标店铺的第
Figure 472909DEST_PATH_IMAGE005
个区域在店内图像中离所述二维直角坐标系的原点距离最近的点的坐 标；
Figure 399277DEST_PATH_IMAGE013
表示目标店铺的第
Figure 354595DEST_PATH_IMAGE005
个区域在店内图像中离所述二维直角坐标系的原点距 离最远的点的坐标；
Figure 708216DEST_PATH_IMAGE014
表示且符号，当符号两端的数值都为1时运算结果才为1，其余情况都 为0；
Figure 506407DEST_PATH_IMAGE015
表示第
Figure 384537DEST_PATH_IMAGE002
位顾客在其对应的图像序列中的第
Figure 318995DEST_PATH_IMAGE016
帧店内图像中的位置坐标。
2.如权利要求1所述的基于人脸识别的店铺常客识别方法，其特征在于，所述对于每位顾客，根据该顾客在每帧店内图像中的位置坐标，计算该顾客在其对应的图像序列中的每前后两帧相邻店内图像中的位置坐标之间的距离，包括：
根据以下第一公式计算每位顾客在其对应的图像序列中的每前后相邻两帧店内图像中的位置坐标之间的距离：
Figure 984463DEST_PATH_IMAGE017
其中，
Figure 269951DEST_PATH_IMAGE018
表示第e位顾客在其对应的图像序列中的第
Figure 662755DEST_PATH_IMAGE016
帧店内图像中的位置坐标与第
Figure DEST_PATH_IMAGE019
帧店内图像中的位置坐标之间的距离；
Figure 858244DEST_PATH_IMAGE015
表示第e位顾客在其对应的图像序列中的 第
Figure 819247DEST_PATH_IMAGE016
帧店内图像中的位置坐标；
Figure 451085DEST_PATH_IMAGE020
表示第e位顾客在其对应的图像序列中的第
Figure 257367DEST_PATH_IMAGE019
帧 店内图像中的位置坐标。
3.如权利要求1所述的基于人脸识别的店铺常客识别方法，其特征在于，所述根据预定时间段内各顾客在所述目标店铺各区域的热力百分值，获得预定时间段内指定属性下不同分类顾客对所述目标店铺的热力图，包括：
将预定时间段内进入所述目标店铺的全部顾客按照指定属性进行分类，得到所述指定属性下的每个分类对应的顾客组；
根据预定时间段内每个顾客组中的顾客在所述目标店铺各区域的热力百分值，确定预定时间段内所述指定属性下的每个分类顾客对所述目标店铺各区域的颜色标识值；
根据预定的颜色和颜色标示值的对应关系，对目标店铺的标准图内的各区域按照其颜色标识值对应的颜色进行标注，得到预定时间段内指定属性下不同分类顾客对所述目标店铺的热力图。
4.如权利要求3所述的基于人脸识别的店铺常客识别方法，其特征在于，所述根据预定时间段内每个顾客组中的顾客在所述目标店铺各区域的热力百分值，确定预定时间段内所述指定属性下的每个分类顾客对所述目标店铺各区域的颜色标识值，包括：
根据以下第三公式计算预定时间段内所述指定属性下的每个分类顾客对所述目标店铺各区域的颜色标识值：
Figure 431997DEST_PATH_IMAGE021
其中，
Figure 173688DEST_PATH_IMAGE022
表示预定时间段内指定属性下的第
Figure 433768DEST_PATH_IMAGE023
个分类顾客对所述目标店铺的第
Figure 168374DEST_PATH_IMAGE005
个区域 的颜色标识值；
Figure 931931DEST_PATH_IMAGE024
表示指定属性下的第
Figure 844523DEST_PATH_IMAGE023
个分类对应的顾客组中的顾客总数；
Figure 591899DEST_PATH_IMAGE025
表示指定属 性下的第
Figure 739984DEST_PATH_IMAGE023
个分类对应的顾客组中的第
Figure 748260DEST_PATH_IMAGE026
个顾客对所述目标店铺的第
Figure 221967DEST_PATH_IMAGE005
个区域的热力百分 值；
Figure 66426DEST_PATH_IMAGE027
表示向上取整；
Figure 18202DEST_PATH_IMAGE028
；N为预设的热力图的标识颜色总数；
Figure 880984DEST_PATH_IMAGE029
；
Figure 260013DEST_PATH_IMAGE030
为所述指 定属性下的分类总数。
5.如权利要求4所述的基于人脸识别的店铺常客识别方法，其特征在于，所述指定属性为性别、年龄、新常客中的。
6.如权利要求4所述的基于人脸识别的店铺常客识别方法，其特征在于，所述N等于7。
7.如权利要求3-6任一项所述的基于人脸识别的店铺常客识别方法，其特征在于，所述预定时间段为1天。
CN202111393275.2A 2021-11-23 2021-11-23 基于人脸识别的店铺常客识别方法 Active CN114220141B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111393275.2A CN114220141B (zh) 2021-11-23 2021-11-23 基于人脸识别的店铺常客识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111393275.2A CN114220141B (zh) 2021-11-23 2021-11-23 基于人脸识别的店铺常客识别方法

Publications (2)

Publication Number Publication Date
CN114220141A CN114220141A (zh) 2022-03-22
CN114220141B true CN114220141B (zh) 2022-09-02

Family

ID=80697889

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111393275.2A Active CN114220141B (zh) 2021-11-23 2021-11-23 基于人脸识别的店铺常客识别方法

Country Status (1)

Country Link
CN (1) CN114220141B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359625A (zh) * 2018-11-16 2019-02-19 南京甄视智能科技有限公司 基于头肩检测和人脸识别技术判断顾客身份的方法和系统
CN112016485A (zh) * 2020-08-31 2020-12-01 罗普特科技集团股份有限公司 一种基于人脸识别的客流统计方法和系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008257488A (ja) * 2007-04-05 2008-10-23 Multi Solution:Kk 顔認証応用インストアマーケティング分析システム
CN108647242B (zh) * 2018-04-10 2022-04-29 北京天正聚合科技有限公司 一种热力图的生成方法和系统
CN109272347A (zh) * 2018-08-16 2019-01-25 苏宁易购集团股份有限公司 一种门店客流量的统计分析方法及系统
CN109871804A (zh) * 2019-02-19 2019-06-11 上海宝尊电子商务有限公司 一种店铺人流识别分析的方法和系统
CN110334569B (zh) * 2019-03-30 2022-09-16 深圳市晓舟科技有限公司 客流量进出识别方法、装置、设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109359625A (zh) * 2018-11-16 2019-02-19 南京甄视智能科技有限公司 基于头肩检测和人脸识别技术判断顾客身份的方法和系统
CN112016485A (zh) * 2020-08-31 2020-12-01 罗普特科技集团股份有限公司 一种基于人脸识别的客流统计方法和系统

Also Published As

Publication number Publication date
CN114220141A (zh) 2022-03-22

Similar Documents

Publication Publication Date Title
Wilson et al. Predictive inequity in object detection
CN109993595B (zh) 个性化推荐商品及服务的方法、系统及设备
US8577705B1 (en) Method and system for rating the role of a product category in the performance of a store area
US20080159634A1 (en) Method and system for automatically analyzing categories in a physical space based on the visual characterization of people
US7974869B1 (en) Method and system for automatically measuring and forecasting the behavioral characterization of customers to help customize programming contents in a media network
US20100312660A1 (en) System for sales optimization utilizing biometric customer recognition technique
JP5002441B2 (ja) マーケティングデータ分析方法、マーケティングデータ分析システム、データ分析サーバ装置およびプログラム
CN110766454B (zh) 门店的顾客到访信息收集方法以及门店子系统架构
JP2006285409A (ja) 店舗等における人数及び人流カウント方法並びにこれらを利用したインストアマーチャンダイジングの提言方法。
KR20190007681A (ko) 매장 분석 장치 및 방법
CN108846724A (zh) 数据分析方法和系统
JP7102920B2 (ja) 情報処理装置、情報処理方法、プログラム及び情報処理システム
CN109658194A (zh) 一种基于视频追踪的客户推荐方法及系统
JP2012252613A (ja) 顧客行動追跡型映像配信システム
US11093974B2 (en) Image attribute processing system, image attribute processing apparatus, and method of processing image attributes
KR20160011804A (ko) 얼굴인식기술을 이용하여 추출된 고객의 성별 및 연령 정보에 기초하여 매장 이용 고객에 대한 마케팅 정보를 제공하는 방법
CN113887884A (zh) 商超服务系统
WO2021104388A1 (en) System and method for interactive perception and content presentation
US11321887B2 (en) Article design
CN114220141B (zh) 基于人脸识别的店铺常客识别方法
CN117495513A (zh) 一种基于大数据和人工智能的购物推荐方法及系统
CN113392295A (zh) 数据标注方法、平台、电子设备和计算机存储介质
KR101224879B1 (ko) 얼굴인식을 이용한 매장관리시스템 및 방법
CN115482014B (zh) 一种二手车虚假车源的识别方法和装置
US11151584B1 (en) Method and system for collecting shopper response data tied to marketing and merchandising elements

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant