CN108537166B - 确定货架浏览量以及分析浏览量的方法和装置 - Google Patents

确定货架浏览量以及分析浏览量的方法和装置 Download PDF

Info

Publication number
CN108537166B
CN108537166B CN201810307576.0A CN201810307576A CN108537166B CN 108537166 B CN108537166 B CN 108537166B CN 201810307576 A CN201810307576 A CN 201810307576A CN 108537166 B CN108537166 B CN 108537166B
Authority
CN
China
Prior art keywords
shelf
customer
grids
target customer
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810307576.0A
Other languages
English (en)
Other versions
CN108537166A (zh
Inventor
薛贵荣
叶巧敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Tianran Intelligent Technology Co ltd
Original Assignee
Shanghai Tianran Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Tianran Intelligent Technology Co ltd filed Critical Shanghai Tianran Intelligent Technology Co ltd
Priority to CN201810307576.0A priority Critical patent/CN108537166B/zh
Publication of CN108537166A publication Critical patent/CN108537166A/zh
Application granted granted Critical
Publication of CN108537166B publication Critical patent/CN108537166B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种确定货架浏览量以及分析浏览量的方法和装置,将顾客停留的时间和相应的货架相关信息关联起来以获得确定的货架浏览量,解决了现有技术中缺少货架和客流量信息结合的缺点,有效提高了后续分析的准确性。其中确定货架浏览量以及分析浏览量的方法包括:获取货架所在区域的多帧视频图像;对多帧视频图像进行目标检测,以检测多帧视频图像中经过区域的至少一个顾客;根据目标检测的结果,确定至少一个顾客对货架上的陈列品的浏览量。

Description

确定货架浏览量以及分析浏览量的方法和装置
技术领域
本发明涉及图像识别领域,尤其涉及一种确定货架浏览量以及分析浏览量的方法和装置。
背景技术
如今线下购物相比线上购物依然占有不可撼动的市场容量,而线下传统零售商对于场地资金、人力投入巨大,因此对其进行充分利用,提高资源使用率变得尤为重要。为了积极应对冲击和市场变化,越来越多的传统零售商开始需要对生产、营销等环节做数据化、智能化的升级改造,以为消费者打造进一步消费升级,同时获取更多的经济效益,提高市场竞争力。
现有的技术多投入大量的人力去进行客流量或浏览量的统计,效率低下且耗费大量人力物力资源。另外,虽然有些技术可以利用计算机对客流量做出数据化的分析和统计,但也不能有效的确定商品的浏览量。
因此,亟待提供一种能够有效确定商品的浏览量的技术。
发明内容
有鉴于此,本发明提供一种确定货架浏览量以及分析浏览量的方法和装置,能够有效确定商品的浏览量。
根据本发明的一个方面,提供了一种确定货架浏览量的方法,包括获取货架所在区域的多帧视频图像;对所述多帧视频图像进行目标检测,以检测多帧视频图像中经过区域的至少一个顾客;根据目标检测的结果,确定至少一个顾客对货架上的陈列品的浏览量。
在一实施例中,根据目标检测的结果,确定至少一个顾客对货架上的陈列品的浏览量,包括:根据目标检测的结果,确定顾客在区域的停留时间;根据至少一个顾客在区域的停留时间,确定至少一个顾客对货架上的陈列品的浏览量。
在一实施例中,根据目标检测的结果,确定至少一个顾客在区域的停留时间,包括:根据多帧视频图像中每帧视频图像的目标检测的结果,确定检测到的目标顾客在视频图像中的位置;对视频图像进行格栅化处理,得到多个格栅,并将多个格栅与多个格栅中的至少一种陈列品相关联;根据目标顾客在视频图像中的位置,计算目标顾客在多个格栅中的停留时间;其中,根据至少一个顾客在区域的停留时间,确定至少一个顾客对货架上的陈列品的浏览量,包括:根据目标顾客在多个格栅的停留时间以及多个格栅与至少一种陈列品相关联的信息确定目标顾客对货架上的陈列品的浏览量。
在一实施例中,根据目标顾客在视频图像中的位置,计算目标顾客在多个格栅中的停留时间,包括:根据目标顾客在视频图像中的位置和目标顾客的朝向确定多个格栅的权重,其中,顾客面对的格栅被赋予的权重大于顾客面对的格栅周边的格栅被赋予的权重;将目标顾客在多个格栅中的实际停留时间与多个格栅相对应的权重进行计算,得到目标顾客在多个格栅中的加权停留时间。
在一实施例中,根据目标顾客在视频图像中的位置,计算目标顾客在多个格栅中的停留时间,包括:根据目标顾客在视频图像中的位置和目标顾客的视线平行位置确定多个格栅的权重,其中,目标顾客的视线平行位置的格栅被赋予的权值大于目标顾客视线平行位置上下的格栅被赋予的权值;将目标顾客在多个格栅中的实际停留时间与多个格栅相对应的权重进行计算,得到目标顾客在多个格栅中的加权停留时间。
在一实施例中,在根据目标检测的结果,确定至少一个顾客对货架上的陈列品的浏览量后,还包括:将浏览量数据发送给数据分析终端以基于浏览量数据进行相应的分析,其中浏览量数据包括至少一个顾客对货架上的陈列品的浏览量。
在一实施例中,对多帧视频图像进行目标检测,包括:
利用网络识别模型对多帧视频图像进行目标检测,其中网络识别模型是利用机器学习方法对货架所在区域的多个样本图像进行训练得到的,网络识别模型的提取特征包括至少一个顾客中的每个顾客的至少一个特征。
在一实施例中,至少一个特征包括人脸特征、行为特征和眼部特征中的至少一个。
根据本发明的另一个方面,提供一种分析浏览量的方法,包括:获取至少一个顾客对货架上的陈列品的浏览量数据,其中浏览量数据是根据对货架所在区域的多帧视频图像进行目标检测得到的目标检测的结果确定的;获取货架上的陈列品的销售量数据;根据货架上的陈列品的销售量数据和货架上的陈列品的浏览量数据得到陈列品分析数据和决策建议。
在一实施例中,货架上的陈列品的销售量数据包括货架上的陈列品的销售量排名数据,货架上的陈列品的浏览量数据包括货架上的陈列品的浏览量排名数据,根据货架上的陈列品的销售量数据和货架上的陈列品的浏览量数据得到陈列品分析数据和决策建议,包括:将货架上的陈列品的销售量排名数据以及货架上的陈列品的浏览量排名数据中排名均排在最后N位的陈列品进行淘汰处理;或将货架上的陈列品的销售量排名数据高于平均值以及货架上的陈列品的浏览量排名数据中排名低于平均值的陈列品调整到浏览量排名前N位的货架上;或对货架上的陈列品的销售量排名数据低于平均值以及货架上的陈列品的浏览量排名数据中排名高于平均值的陈列品进行促销。
在一实施例中,货架上的陈列品的销售量数据包括门店内货架上的陈列品的销售数据,货架上的陈列品的浏览量数据包括门店内货架上的陈列品的浏览量数据,根据货架上的陈列品的销售量数据和货架上的陈列品的浏览量数据得到陈列品分析数据和决策建议,包括:根据门店内货架上的陈列品的销售数据,求门店的销售量总值;以及根据门店内货架上的陈列品的浏览量数据,求门店的浏览量总值;根据门店的销售量总值以及门店的浏览量总值,求门店的销售转化率;比较多个门店的销售转化率,得到多个门店的销售转化率排名数据;对销售转化率排名数据中后N名的门店进行至少一个陈列品的陈列品分析以及决策。
在一实施例中,还包括将陈列品分析数据以及决策建议发送给应用终端以辅助决策者进行相关决策,其中,陈列品分析数据包括以下至少一项:货架上的陈列品的销售量数据、货架上的陈列品的销售量排名数据、货架上的陈列品的浏览量数据、货架上的陈列品的浏览量排名数据、门店的浏览量总值、门店的销售量总值、门店的浏览量总值排名和门店的销售量总值排名,决策建议包括以下至少一项:促销决策、淘汰决策和陈列品替换决策。
根据本发明的一个方面,提供一种确定货架浏览量的装置,包括:图像获取模块,配置为获取货架所在区域的多帧视频图像;目标检测模块,配置为对多帧视频图像进行目标检测,以检测多帧视频图像中经过区域的至少一个顾客;浏览量确定模块,配置为根据目标检测的结果,确定至少一个顾客对货架上的陈列品的浏览量。
在一实施例中,浏览量确定模块具体配置为:根据目标检测的结果,确定顾客在区域的停留时间;根据至少一个顾客在区域的停留时间,确定至少一个顾客对货架上的陈列品的浏览量。
在一实施例中,浏览量确定模块具体配置为:根据多帧视频图像中每帧视频图像的目标检测的结果,确定检测到的目标顾客在视频图像中的位置;对视频图像进行格栅化处理,得到多个格栅,并将多个格栅与多个格栅中的至少一种陈列品相关联;根据目标顾客在视频图像中的位置,计算目标顾客在多个格栅中的停留时间;根据目标顾客在多个格栅的停留时间以及多个格栅与至少一种陈列品相关联的信息确定目标顾客对货架上的陈列品的浏览量。
在一实施例中,浏览量确定模块具体配置为:根据目标顾客在视频图像中的位置和目标顾客的朝向确定多个格栅的权重,其中,顾客面对的格栅被赋予的权重大于顾客面对的格栅周边的格栅被赋予的权重;将目标顾客在多个格栅中的实际停留时间与多个格栅相对应的权重进行计算,得到目标顾客在多个格栅中的加权停留时间。
在一实施例中,浏览量确定模块具体配置为:根据目标顾客在视频图像中的位置和目标顾客的视线平行位置确定多个格栅的权重,其中,目标顾客的视线平行位置的格栅被赋予的权值大于目标顾客视线平行位置上下的格栅被赋予的权值;将目标顾客在多个格栅中的实际停留时间与多个格栅相对应的权重进行计算,得到目标顾客在多个格栅中的加权停留时间。
在一实施例中,还包括:浏览量数据发送模块,配置为将浏览量数据发送给数据分析终端以基于浏览量数据进行相应的分析,其中浏览量数据包括至少一个顾客对货架上的陈列品的浏览量。
在一实施例中,目标检测模块具体配置为:利用网络识别模型对多帧视频图像进行目标检测,其中网络识别模型是利用机器学习方法对货架所在区域的多个样本图像进行训练得到的,网络识别模型的提取特征包括至少一个顾客中的每个顾客的至少一个特征。
在一实施例中,至少一个特征包括具体配置为包括人脸特征、行为特征和眼部特征中的至少一个。
根据本发明的另一个方面,提供一种分析浏览量的装置,包括:数据获取模块,配置为获取至少一个顾客对货架上的陈列品的浏览量数据以及货架上的陈列品的销售量数据,其中浏览量数据是根据对货架所在区域的多帧视频图像进行目标检测得到的目标检测的结果确定的;数据分析模块,配置为根据货架上的陈列品的销售量数据和货架上的陈列品的浏览量数据得到陈列品分析数据和决策建议。
在一实施例中,数据获取模块具体配置为包括货架上的陈列品的销售量排名数据,货架上的陈列品的浏览量数据包括货架上的陈列品的浏览量排名数据,数据分析模块具体配置为:将货架上的陈列品的销售量排名数据以及货架上的陈列品的浏览量排名数据中排名均排在最后N位的陈列品进行淘汰处理;或将货架上的陈列品的销售量排名数据高于平均值以及货架上的陈列品的浏览量排名数据中排名低于平均值的陈列品调整到浏览量排名前N位的货架上;或对货架上的陈列品的销售量排名数据低于平均值以及货架上的陈列品的浏览量排名数据中排名高于平均值的陈列品进行促销。
在一实施例中,数据获取模块具体配置为包括门店内货架上的陈列品的销售数据,货架上的陈列品的浏览量数据包括门店内货架上的陈列品的浏览量数据,数据分析模块具体配置为:根据门店内货架上的陈列品的销售数据,求门店的销售量总值;以及根据门店内货架上的陈列品的浏览量数据,求门店的浏览量总值;根据门店的销售量总值以及门店的浏览量总值,求门店的销售转化率;比较多个门店的销售转化率,得到多个门店的销售转化率排名数据;对销售转化率排名数据中后N名的门店进行至少一个陈列品的陈列品分析以及决策。
在一实施例中,还包括:数据发送模块,配置为将陈列品分析数据以及决策建议发送给应用终端以辅助决策者进行相关决策,其中,陈列品分析数据包括以下至少一项:货架上的陈列品的销售量数据、货架上的陈列品的销售量排名数据、货架上的陈列品的浏览量数据、货架上的陈列品的浏览量排名数据、门店的浏览量总值、门店的销售量总值、门店的浏览量总值排名和门店的销售量总值排名,决策建议包括以下至少一项:促销决策、淘汰决策和陈列品替换决策。
本发明实施例提供了一种确定货架浏览量以及分析浏览量的方法和装置,通过获取货架所在区域的多帧视频图像,对该多帧视频图像进行目标检测,以检测该多帧视频图像中经过该货架所在区域的至少一个顾客,最后确定至少一个顾客对货架上的陈列品的浏览量。由于本发明实施例可以通过目标检测识别多帧视频图像中的目标顾客,并将顾客停留的时间与相应的货架上的陈列品关联,从而确定陈列品的浏览量,因此能够有效确定陈列品的浏览量,并提高了后续分析的准确性。
附图说明
图1所示为本发明一实施例提供的确定货架浏览量的方法的流程示意图。
图2所示为本发明一实施例提供的分析浏览量的方法的流程示意图。
图3所示为本发明另一实施例提供的确定货架浏览量的流程示意图。
图4所示为本发明另一实施例提供的分析浏览量的流程示意图。
图5所示为本发明一实施例提供的确定货架浏览量和分析浏览量的示意图。
图6所示为本发明一实施例提供的确定货架浏览量的装置的结构示意图。
图7所示为本发明一实施例提供的分析浏览量的装置的结构示意图。
图8所示为本发明一示例性实施例的用于对网络流量进行调度的装置的框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1所示为本发明一实施例提供的确定货架浏览量的方法的流程示意图,图1的方法可由计算装置,例如识别处理服务器,执行。如图1所示,确定货架浏览量的方法包括:
100:获取货架所在区域的多帧视频图像。
具体而言,获取货架所在区域的多帧视频图像的方法可以有多种,例如:可以是本地实时提取的多帧视频图像,也可以是本地过往的多帧视频图像,还可以是从其他机构或场所获取到的异地实时或过往的多帧视频图像等。本发明对获取货架所在区域的多帧视频图像的方式不做具体限定。
举例来说,该多帧视频图像包括至少一个货架作为背景的画面,每个货架的至少一部分包含在该多帧视频图像中,以可以从该多帧视频图像中识别货架为准。该多帧视频图像中还可以包括至少一个顾客,在顾客出现在该多帧视频图像中的时候,以可以在该多帧视频图像中同时出现在图像中的顾客和货架为准。本发明的实施例对货架的类型不做具体限定,该货架可以是超市的货架,也可以是仓库的货架,海关的集装箱等,还可以是书店或图书馆的书架等,只要是起放置货物或物品作用的支架都在本发明的实施例的保护范围内。
110:对该多帧视频图像进行目标检测,以检测该多帧视频图像中经过该区域的至少一个顾客。
具体地,可以通过例如服务器使用目标检测网络对该多帧视频图像的每一帧进行目标检测。首先,在训练阶段,可以通过获取大量现场环境图像,标注环境中的顾客部分为检测目标,目标顾客形态应尽量丰富覆盖所有形态,之后将标注后的图像作为训练数据,得到目标检测网络,例如,深度学习模型。其次,在检测阶段,可以使用已训练好的目标检测网络对多帧视频图像进行检测,判断图像中是否包含顾客,以及具体的位置信息。
可以理解的是,本领域普通技术人员可以通过上述步骤的描述对多帧视频图像进行目标检测,本发明的实施例并不限于此,本领域普通技术人员也可以使用其他方法进行目标识别。在通过计算设备例如服务器进行上述步骤时,执行的服务器可以是本地的服务器,也可以通过发送设备将多帧视频图像发送到某地的服务器再进行处理。
120:根据该目标检测的结果,确定至少一个顾客对该货架上的陈列品的浏览量。
具体而言,根据前述的目标检测,可以得到顾客在某一个货架前的停留帧数,其中该帧数是广义上的帧数概念,通过对每帧所代表的时间进行设定,可以计算出该顾客对该货架上的陈列品的浏览时间。
举例来说通过该顾客对该货架上的陈列品的浏览时间,可以在一定期限内确定出该顾客的浏览量,其中浏览量的信息可以是例如以日、周、月、季度、年等为单位的浏览时间总和,也可以是例如某一个货架在该商场中所有货架中浏览时间的占比。本发明不对浏览量的表现形式做具体限定。
根据本发明的实施例,在120中,可以根据目标检测的结果,确定顾客在该区域的停留时间,并根据至少一个顾客在该区域的停留时间,确定至少一个顾客对该货架上的陈列品的浏览量。
在确定顾客在该区域的停留时间的过程中,需要获取该顾客在该区域停留的图像的帧数,具体帧数所代表的时间可以根据需求进行设定,例如一帧的图像时间可以为1秒,也可以为0.01秒等时间。例如,一帧图像的时间为1秒时,经过目标检测的过程,得到200帧图像都是某一个顾客在某一个货架前停留的,则可以根据这200帧图像得到该货架的某一个顾客的浏览量是200秒。当多个顾客同时停留在该货架前时,根据目标识别方法,可以识别出所有在多帧图像内的人类目标,然后对于每个目标都需要获取相对应的图像帧数,以计算出每个顾客停留在该货架前的时间,最后该货架的总浏览量为多个顾客的在该货架前停留时间的总和。需要了解的是,浏览量可以被界定为在单位时间内被浏览的时间总和,例如某货架在以一个月为周期时,在这一个月中总的被浏览时间即为该货架的月浏览量。本发明对浏览量周期的界定不做任何限制,可以是一天,一周,一个月,一个季度或一年等,也可以是例如某一个货架在该商场中所有货架中浏览时间的占比。
在根据至少一个顾客在该区域的停留时间确定至少一个顾客对货架上的陈列品的浏览量的过程中,可以获取与货架对应的陈列品的信息,货架上的陈列品信息可以录入到计算装置,例如服务器中,以便将货架与具体的陈列品信息相关联。在货架与具体的陈列品信息相关联之后,上述的货架的总浏览量就可以和具体的陈列品相对应。例如一列货架上摆放的都是同一个品牌和型号的杯子,如果该货架的浏览量是每月150小时,则可以确定该同一个品牌和型号的杯子的月浏览量是150小时。需要注意的是,陈列品的种类在本发明中也不做任何限定,陈列品可以是超市的食品,衣物,也可以是书架或书店的书籍等。
根据本发明的实施例,在120中,可以根据多帧视频图像中每帧视频图像的目标检测的结果,确定检测到的目标顾客在视频图像中的位置,然后对视频图像进行格栅化处理,得到多个格栅,并将多个格栅与多个格栅中的至少一种陈列品相关联,再根据目标顾客在视频图像中的位置,计算目标顾客在多个格栅中的停留时间,其中,根据至少一个顾客在区域的停留时间,确定至少一个顾客对货架上的陈列品的浏览量,包括:根据目标顾客在多个格栅的停留时间以及多个格栅与至少一种陈列品相关联的信息确定目标顾客对货架上的陈列品的浏览量。
具体来说,通过目标检测方法可以在多帧视频图像中的每帧图像里确定目标顾客的位置,此步骤的目的是将该目标顾客的位置与相应的货架关联,再将该相应的货架与货架上相应的陈列品关联,从而最后得到该目标顾客在相应的陈列品上的浏览量信息。
举例来说,通过对摄像头位置的调试,某个摄像头所拍摄到的视频图像中可以包含4个货架,该4个货架分布在视频图像的上半部分,然后将该视频图像进行格栅化处理,例如可以在此例中将视频图像分割为四个部分,每个部分可以包含一个货架和该货架前供顾客浏览货架的空间,四个格栅从左到右依次为格栅1到4,对应货架1到4,其中货架1到4依次摆放陈列品1到4。当通过目标检测方法检测到目标顾客时,则可以确定该目标顾客在该视频图像中的位置,从而确定该目标顾客所在位置是在哪一个格栅,例如目标顾客站在了格栅1中,由于已经将格栅和陈列品的信息进行了一一对应,因此可以确定该顾客站在了格栅1前,然后确定该顾客正在浏览格栅1中的陈列品1。然后通过例如计算该目标顾客格栅1前停留的帧数,得到目标客户在格栅1中浏览陈列品1的浏览量信息。
需要注意的是,以上例子只是作为示例性举例进行说明,本发明的实施例并不限于此。例如进行格栅化处理时,一个格栅可以包括多个货架以减少统计的工作量。本领域的普通技术人员应该容易想到前述例子的替代方案,这些替代方案也应都属于本发明的保护范围内。
根据本发明的实施例,在120中,可以根据目标顾客在视频图像中的位置和目标顾客的朝向确定多个格栅的权重,其中,顾客面对的格栅被赋予的权重大于顾客面对的格栅周边的格栅被赋予的权重,再将目标顾客在多个格栅中的实际停留时间与多个格栅相对应的权重进行计算,得到目标顾客在多个格栅中的加权停留时间。
具体来说,该实施例是针对目标顾客在水平方向上具体浏览的是哪个货架问题提供了解决方案,进一步增加了统计货架上陈列品浏览量的精确性。例如出现当顾客站在两个格栅之间时,又例如当顾客虽然站在货架前但背对该货架时等特殊情况时,可以通过本实施例提供的方法解决。在本实施例中,除使用上述目标识别方法以外,还加入了人脸朝向分析的方法用来首先识别出顾客在视频图像中所处的位置信息,然后基于该位置信息通过人脸朝向分析,得到在视频图像的区域中,该目标顾客在当前帧的视频图像中所浏览的是哪个货架,对目标客户浏览的货架赋予最高的权重,其他的货架则按照位置关系依次递减,所有货架的权重相加得到的值应该为1。然后再对目标顾客在多个格栅中的实际停留时间与多个格栅相对应的权重进行计算,例如可以将目标顾客在多个格栅中的实际停留时间与多个格栅相对应的权重相乘,从而得到该目标顾客浏览的多个货架上的陈列品的加权停留时间。
举例说明,当顾客所站的货架与该顾客所浏览的货架不是同一个时,假设获取的多帧视频图像中的一帧图像中,已经对该视频图像进行了格栅化处理,其中包括四个格栅,依次是格栅1到4对应货架1到4和相应的供顾客浏览货架的空间。当顾客驻足在格栅2相应的货架前时,通过对该图像的人脸朝向分析,例如获得顾客的脸实际朝向是对着格栅1的位置,则对格栅1赋予最多的权值,例如0.6,然后对目标顾客所站的格栅2赋予较少的权值,例如0.3,最后在对目标顾客视线可及范围内的格栅例如此例中的格栅3赋予最少的权值例如0.1。如果在100帧图像中目标顾客的位置和朝向都没有任何变化,假设1帧图像的时间为1秒,则可以推算出,格栅1的目标顾客浏览时间为60秒,格栅2的目标顾客浏览时间为30秒,格栅3的目标顾客浏览时间为10秒。
举例说明,当顾客所站的货架与该顾客所浏览的货架是同一个时。假设该图像已经进行了前述处理。当顾客驻足在货架2相应的格栅中时,通过对该图像的人脸朝向分析,例如获得顾客的脸实际朝向也是对着货架2的位置,则对货架2赋予最多的权值,例如0.8,然后对目标顾客所站的货架2两侧的视线所及范围内的货架1和货架3分别赋予0.1的权值。最后按照上述例子中的数据则可以推算出,货架1的目标顾客浏览时间为80秒,货架2和货架3的目标顾客浏览时间均为10秒。
应当理解,本实施例中所使用的识别目标顾客所浏览货架的方法,并不限于人脸朝向分析,本领域普通技术人员所知的可识别出图像中目标的朝向或者所看方位的技术都可以应用到本实施例中。例子中对权重的限定也不局限于此,任何在本发明实施例的情景中对多个货架进行权重分配的方法都应属于本发明所保护的范围,在此不再赘述。
根据本发明的实施例,在120中,可以根据目标顾客在视频图像中的位置和目标顾客的视线平行位置确定多个格栅的权重,其中,目标顾客的视线平行位置的格栅被赋予的权值大于目标顾客视线平行位置上下的格栅被赋予的权值,再将目标顾客在多个格栅中的实际停留时间与多个格栅相对应的权重进行计算,得到目标顾客在多个格栅中的加权停留时间。
具体来说,该实施例是针对目标顾客在垂直方向上具体浏览的是货架中哪个陈列品的问题提供了解决方案,进一步增加了统计货架上不同陈列品浏览量的精确性。例如当货架中的一列中摆放不同的陈列品,则可以根据目标顾客在视频图像中的位置和目标顾客的视线平行位置确定多个格栅的权重,其中,目标顾客的视线平行位置的格栅被赋予的权值大于目标顾客视线平行位置上下的格栅被赋予的权值。
举例说明,例如已经判断出目标顾客所浏览的货架,但该货架中的垂直分布的四个格中摆放了不同的陈列品,从上到下依次为陈列品1到4,其中陈列品3的水平位置符合目标顾客视频平行位置的条件。根据经验判断,可以赋予陈列品3最高的权值,例如0.5,对与陈列品3垂直相邻的陈列品2和4赋予次之的权值,例如0.2,对离陈列品3最远的陈列品1赋予最少的权值例如0.1。如果通过计算,该目标顾客在货架前的停留时间是100秒,则可以推算出该目标顾客在陈列品3的停留时间为50秒,在陈列品2和4的停留时间均为20秒,在陈列品1的停留时间为10秒。依照此种方法,可以在货架中摆放了不同陈列品的时候对该货架中具体的陈列品的停留时间进行区分,以提高统计陈列品停留时间的准确性。
应当理解,本实施例中对权重的限定并不局限于此,任何在本发明实施例的情景中对多个陈列品进行权重分配的方法都应属于本发明所保护的范围,在此不再赘述。
根据本发明的另一实施例,在根据目标检测的结果,确定至少一个顾客对货架上的陈列品的浏览量后,图1的方法还包括:将浏览量数据发送给数据分析终端以基于浏览量数据进行相应的分析,其中浏览量数据包括至少一个顾客对货架上的陈列品的浏览量。
具体来说,在计算机设备例如本地服务器统计出目标顾客对货架上的陈列品的浏览量数据后,通过发送设备发送该浏览量数据到某地的分析设备例如分析服务器中进行分析处理,或者可以在本地的例如分析服务器中进行处理。本发明对分析过程所使用的设备种类和该设备所在的位置不进行限定。综合数据可以是单纯的多个陈列品的停留时间信息,也可以是根据特定的周期例如年、月、日限定后的浏览量信息,还可以包括除该浏览量信息外更多的有利于分析的数据信息例如销售数据,门店位置,门店面积等其他数据信息。
根据本发明的实施例,对多帧视频图像进行目标检测,可以利用网络识别模型对多帧视频图像进行目标检测,其中网络识别模型是利用机器学习方法对货架所在区域的多个样本图像进行训练得到的,网络识别模型的提取特征包括至少一个顾客中的每个顾客的至少一个特征。
具体来说,可以采用例如深度学习的方法进行目标检测。例如,首先输入待进行目标识别的多帧视频图像,然后利用选择性搜索(selective search)算法在图像中从上到下提取N个建议窗口(Region Proposal),之后将整张图片输入卷积神经网络(CNN),进行特征提取,然后把建议窗口映射到CNN的最后一层卷积特征地图(feature map)上,之后通过ROI池(ROI pooling)层使每个建议窗口生成固定尺寸的特征地图,最后利用探测分类概率(Softmax Loss)和探测边框回归(Smooth L1Loss)对分类概率和边框回归(Bounding boxregression)联合训练以检测目标顾客。
可以理解的是,本领域普通技术人员可以通过上述步骤的描述对多帧视频图像进行目标检测,而目标检测的其他方法,本领域普通技术人员也可以使用其他方法进行目标识别,目标识别的对象可以是人或其他运动物体,可以根据需要进行调整,本发明对目标的类型和目标识别的数量不做具体限制。在通过计算设备例如服务器进行上述步骤时,服务器可以是本地的服务器,也可以通过发送设备将多帧视频图像发送到某地的服务器再进行处理。
根据本发明的实施例,对多帧视频图像进行目标检测,可以利用网络识别模型对多帧视频图像进行目标检测,其中网络识别模型是利用机器学习方法对货架所在区域的多个样本图像进行训练得到的,网络识别模型的提取特征包括至少一个顾客中的每个顾客的至少一个特征,其中至少一个特征可以包括人脸特征,行为特征和眼部特征中的至少一个。
举例来说,人脸特征可以是人脸朝向分析后得到的特征。例如使用多摄像机系统,由于能覆盖较大的监控区域,可以有效的解决遮挡问题。在多摄像机环境下,对于同一个目标,多个摄像机可以从不同的角度进行拍摄,从而可以得到不同视角下的图像。因各摄像机的方位,角度是已知的,因此可以通过对各图像进行分析,来得到人脸的朝向信息。
识别人脸朝向的过程可以采用例如将色度分析与灰度分析相结合的方法,这样可分别的得到人体头部的二值化图像和人体头部肤色区域所对应的二值化图像,然后分别计算每帧图像中肤色区域占人体头部区域的比率(一般来说,该比率越大,则标识其朝向该采集摄像头方向的可能性就越大),最后,根据得到的肌肤图像的各自的比率值,就可以判断出人体的朝向方向。
具体来说,假设在目标货架的拍摄区域中,在东南西北四个方位分别装有四个摄像头,当目标顾客驻足在该货架区域时,即进入该四个摄像头的拍摄区域时,可以提取出四个摄像头在同一时间的同一帧图像,经过上述的识别人脸朝向处理后,四个摄像头的同一时间的同一帧图像会得到四个比率值,假设有三个货架A、B和C摆放在西边朝向东边,从北到南依次是货架A、B和C,如果西摄像头的比率值最大,南摄像头和北摄像头的比率值次之且南摄像头和北摄像头的比率值基本相等,东摄像头的比率值最小,则可以推算出顾客正在浏览货架B上的陈列品。如果检测到的比率值中,西摄像头的比率值最大,南摄像头次之,北摄像头较南摄像头次之,东摄像头最小,则可以推断出该顾客正在浏览货架C上的陈列品。当顾客浏览货架A上的陈列品时,四个摄像头的比率值从大到小应是:西摄像头>北摄像头>南摄像头>东摄像头。其他的情况例如当北摄像头或者南摄像头检测到的比率值最大时,则可以推定该顾客只是路过并没有浏览在该监控区域的货架上的陈列品。在上述例子中的其他的情况本领域的普通技术人员可以以此类推,并且随着摄像头数量的增加,得到的人脸朝向信息会越准确,具体操作方法在此不再赘述。另外,当东西两侧和/或南北两侧都摆放了货物的时候,依照比率值做出的顾客脸部朝向推断都可以依照上述的描述做出类比。
识别人脸朝向的过程也可以采用例如通过在一帧图像中获取人体头部区域和头部肤色区域,以计算出人体头部区域中各白像素点X坐标的均值(以下简称头部X均值)以及人体头部肤色区域中各白色像素点X坐标的均值(以下简称头部肤色X均值),通过比较人体头部区域面积和头部肤色区域面积来获取一帧图像中顾客头部偏转的幅度,在通过比较头部X均值和头部肤色X均值来判断该顾客的头偏向哪一边。
具体来说,首先得到人体头部区域面积和头部肤色区域面积,然后求得头部肤色区域面积与人体头部区域面积的比(以下简称面积比),之后再通过计算得到头部X均值和头部肤色X均值。首先使用该面积比来判断人脸的朝向是大体面对镜头,还是背对镜头。这里的判断标准可以通过例如设定一个阈值的方式来进行判断,如果是背对镜头的情况,则不需要再去检测人脸的朝向,如果是大体面对镜头的情况,则使用头部X均值和头部肤色X均值进行人脸朝向判断。具体来说,假设检测区域中只有一个摄像头,该摄像头放置在该区域的北面,镜头朝向南面,从该摄像头中提取的一帧图像中,若计算所得头部肤色X均值小于头部X均值,则可以判断出在该一帧图像中,该顾客的头部偏向左边,根据镜头的镜像原理,可推断出在实际场景中该顾客的面部偏向右边,即面向北偏东方向。如果在该检测区域中的北边从西到东依次摆放了货架A、B和C,在上述例子中则可以判断该顾客虽然站在货架B的位置,但却在浏览货架C上的陈列品。反之当顾客浏览货架A上的陈列品时,也可以通过上述描述做出相应推断。如果想要更加具体的判断人脸朝向的幅度,则可以通过设定一个头部X均值与头部肤色X均值之间差值的绝对值实现。应当了解,这种方法是获得大致的人脸朝向的方法,适用于对单一摄像头拍摄到的一帧图像进行人脸朝向判别。该方法可以和上述的基于多个摄像头的情况下进行人脸朝向识别的方法进行结合使用,以更加精确的判断出在检测区域中人脸的朝向信息。例如可以使用多个摄像头进行人脸朝向的判断,然后再分别根据检测该区域的每个摄像头中的图像使用单一摄像头的人脸朝向判断,这两种方法的判断结果应该近似或互补,结合这两种方法的人脸朝向判断不单可以提升检测的准确率,还可以在检测系统内进行自检,防止误判的情况发生。
应当知道,上述的方法只是作为示例性来说明人脸朝向识别的方法,本领域技术人员应该了解,通过其他现有方法例如前述通过行为识别特征和眼部识别特征达到人脸朝向的识别目的的方法,都可应用在本发明的实施例中,本发明对此不作限定,其他判断顾客朝向的识别方法在此不再赘述。
可选地,如图2所示,为本发明一实施例提供的分析浏览量的方法的流程示意图,作为另一实施例,在将至少包含至少一个顾客对货架上的陈列品的浏览量的综合数据发送给数据分析终端以基于综合数据进行相应的分析后,图1的方法还包括:
200:获取至少一个顾客对货架上的陈列品的浏览量数据,其中浏览量数据是根据对货架所在区域的多帧视频图像进行目标检测得到的目标检测的结果确定的。
210:获取货架上的陈列品的销售量数据。
220:根据货架上的陈列品的销售量数据和货架上的陈列品的浏览量数据得到陈列品分析数据和决策建议。
具体来说,分析服务器可以从图1的图像处理服务器获取顾客对货架上的陈列品的浏览量数据,同时也可以从图像处理服务器获取更多的有利于分析的数据信息例如销售数据等。可替代地,上述销售数据也可以通过其它途径或方式获得,例如,图2的执行装置例如分析服务器可以接收人工输入的销售数据,或者从其它设备接收销售数据。在得到上述数据后,分析服务器将上述数据进行处理,得到多类数据,例如将所述货架上的陈列品的销售量作为第一排序维度进行排序,得到所述货架上的陈列品的销售量排名数据,将所述货架上的陈列品的浏览量作为第二排序维度进行排序,得到所述货架上的陈列品的浏览量排名数据,将所述货架上的陈列品的浏览量求和,得到门店的浏览量总值,以及将所述货架上的陈列品的销售量求和,得到门店的销售量总值。本发明对数据计算的方法不做限定,本领域技术人员可以利用其他计算方法对上述数据进行后续的分析,在此不再赘述。最后根据上述的多类数据可以进行例如单一门店内多个货架上陈列品的分析或者例如多个门店之间的销售以及货架浏览量的分析。
应当了解,对综合数据的分析和以此得到的决策建议并不限于本实施例中的例子,任何在本发明的情景中通过综合数据进行的一系列分析都应包含在本发明的保护范围内。
根据本发明的实施例,货架上的陈列品的销售量数据包括货架上的陈列品的销售量排名数据,货架上的陈列品的浏览量数据包括货架上的陈列品的浏览量排名数据,根据货架上的陈列品的销售量数据和货架上的陈列品的浏览量数据得到陈列品分析数据和决策建议,包括:将货架上的陈列品的销售量排名数据以及货架上的陈列品的浏览量排名数据中排名均排在最后N位的陈列品进行淘汰处理;或将货架上的陈列品的销售量排名数据高于平均值以及货架上的陈列品的浏览量排名数据中排名低于平均值的陈列品调整到浏览量排名前N位的货架上;或对货架上的陈列品的销售量排名数据低于平均值以及货架上的陈列品的浏览量排名数据中排名高于平均值的陈列品进行促销。
具体来说,本实施例是针对单一门店的多个货架上的陈列品进行的分析和决策。该分析和决策并不局限于特定数量的货架以及陈列品,只要是综合数据中包含的货架和陈列品都可以用于进行分析和决策,本发明对分析和决策的目标标的数量不做任何限制。
举例来说,例如一门店内共有100个货架,可以利用的信息包括但不限于100个货架的浏览量信息以及排名,100个货架上相应陈列品的浏览量信息以及排名和100个货架上相应的陈列品的销售量信息以及排名。利用100个货架上相应陈列品的浏览量和销售量排名信息可以做出如下决策:提取出该100个货架上相应的陈列品的销售量和浏览量排名中均排在后10位的陈列品进行淘汰,因为浏览量可以代表顾客的关注程度,销售量可以代表顾客的最终购买欲望,如果这两项均排名在后面的陈列品,可以证明该陈列品不适合在该门店中进行出售。其中例如在销售量排名后10位的陈列品中只有5个陈列品出现在浏览量排名后10位中,则淘汰这同时出现在销售量排名后10位和浏览量排名后10位中的5个陈列品。还可以提取出100个货架上相应的陈列品的销售量排名前10位和浏览量排名中排在后10位的陈列品进行陈列品货架替换处理,因为这些陈列品属于顾客购买欲望很强的产品,但是被摆在了顾客不容易看到的货架上,所以应该将这些畅销陈列品放在顾客更加容易看到的地方。例如将这些陈列品替换到浏览量排名排在前10位的陈列品的货架上,以使这些陈列品获得更高的浏览量来获得更高的销量。还可以提取出100个货架上相应的陈列品的销售量排名后10位和浏览量排名中排在前10位的陈列品进行促销处理,因为这些陈列品是顾客关注度很高但购买欲望不强的,通过例如促销降价的处理可以激发顾客的购买欲望,以提高该陈列品的销量。
应当了解,本实施例中上述的具体例子的排位信息只是作为示例性说明,实际中的排名信息并不局限于此,可以采用例如平均值(上例中50位作为分界线)等方法进行界定,同时针对不同种类的陈列品例如畅销陈列品、高关注度陈列品等所采取的决策也不限于此,本领域的普通技术人员应该容易想到替换方案,在此不再赘述。
根据本发明的实施例,货架上的陈列品的销售量数据包括门店内货架上的陈列品的销售数据,货架上的陈列品的浏览量数据包括门店内货架上的陈列品的浏览量数据,根据货架上的陈列品的销售量数据和货架上的陈列品的浏览量数据得到陈列品分析数据和决策建议,包括:根据门店内货架上的陈列品的销售数据,求门店的销售量总值;以及根据门店内货架上的陈列品的浏览量数据,求门店的浏览量总值;根据门店的销售量总值以及门店的浏览量总值,求门店的销售转化率;比较多个门店的销售转化率,得到多个门店的销售转化率排名数据;对销售转化率排名数据中后N名的门店进行至少一个陈列品的陈列品分析以及决策。
具体来说,本实施例是先针对多个门店的销售转化率的排名信息进行比较,筛选出排名靠后的门店再进行如前述实施例中对该门店中多个货架上的陈列品的分析和决策。该分析和决策并不局限于特定数量的货架以及陈列品,只要是综合数据中包含的货架和陈列品都可以用于进行分析和决策,本发明对分析和决策的目标标的数量不做任何限制。
举例说明,首先根据综合信息中的门店内货架上的陈列品的销售数据以及门店内货架上的陈列品的浏览量数据,求得门店的销售量总值以及门店的浏览量总值,求得的方法可以使用简单的数量叠加或者使用加权叠加的方式进行计算。然后根据门店的销售量总值以及门店的浏览量总值,求门店的销售转化率,销售转化率通过对使用销售量总值除以浏览量总值求得,因此,若销售转化率高,则证明客户群在浏览相对较短的时间内购买的相对较多的产品,所以销售转化率高的门店在单位时间内获取的销售流水金额更高,反之亦然。也因此,销售转化率低的门店,可以使用上述的对单一门店内的货架上的陈列品进行分析和决策的方法,以提高销售转化率,从而提高门店获取收益的能力。
应当了解,门店的排名可以不局限于销售转化率,也可以是其他数据例如销售率,投资回报率等信息进行排名,本发明对门店排名的方式不做具体限定。
根据本发明的实施例,图2的方法还包括:将陈列品分析数据以及决策建议发送给应用终端以辅助决策者进行相关决策,其中,陈列品分析数据包括以下至少一项:货架上的陈列品的销售量数据、货架上的陈列品的销售量排名数据、货架上的陈列品的浏览量数据、货架上的陈列品的浏览量排名数据、门店的浏览量总值、门店的销售量总值、门店的浏览量总值排名和门店的销售量总值排名,决策建议包括以下至少一项:促销决策、淘汰决策和陈列品替换决策。
具体来说,陈列品分析的结果和相应的决策建议会在计算机设备例如服务器中进行存储并通过发送装置发送给应用终端以辅助决策者进行相关决策,其中应用终端包括但不限于手机终端,计算机终端等可以查看该分析数据和决策建议的设备。
应该了解,本实施例中的分析数据和决策建议所包括的内容并不限于此,对其他类型的分析数据和决策建议在此不再赘述。
图3所示为本发明另一实施例提供的确定货架浏览量的方法的流程示意图。
300:识别处理服务器通过例如摄像头等拍摄装置获取货架所在区域的多帧视频图像。
305:识别处理服务器对该多帧视频进行格栅化处理,其中该格栅中应至少包括一个货架。
310:识别处理服务器将多帧视频图像中的多个格栅和多个货架进行关联。
315:识别处理服务器在多帧视频图像中识别出目标顾客在该视频图像中的位置。
320:识别处理服务器使用人脸朝向识别方法识别该目标客户的在该多帧视频图像中的朝向,以推测该目标客户所浏览的具体栅格中的货架,并确定该目标顾客视线所及范围内的多个栅格的权重。
325:识别处理服务器使用身高经验权重的方法,对320中赋予权重的栅格中的货架中每列的不同产品赋予不同的权重。
330:识别处理服务器通过统计该目标顾客在该浏览状态不变时的视频图像帧数信息,得到该目标顾客的实际浏览时间。
335:识别处理服务器通过将320和325中的不同权重与330中的实际浏览时间相乘,得到多个不同陈列品的该目标顾客的浏览时间。
340:识别处理服务器通过将335中统计出的多个不同陈列品的单一目标顾客的浏览时间进行整理,统计出单一陈列品的多个目标顾客的总浏览时间。
345:识别处理服务器通过统计某固定期限内的浏览时间总量例如每月某个陈列品的浏览时间总量,得到多个不同陈列品的每月浏览量。
350:识别处理服务器将多个不同陈列品的每月浏览量以及其他数据例如销售量数据等录入到计算机装置例如服务器中存储。
355:识别处理服务器发送货架上的陈列品的浏览量数据以及货架上的陈列品的销售量数据给分析服务器。
需要知道的是,步骤350和355中的销售量数据可以不包含在存储和发送的数据中,该销售量数据和/或其他对分析决策有利的数据可以通过其他渠道或步骤获取,在本实施例中并不限定这些数据的必要性,但货架和/或陈列品的浏览量数据应包含在步350和355中存储和发送的数据中。
如图4所示为本发明另一实施例提供的分析浏览量的方法的流程示意图。
400:分析服务器接收该货架上的陈列品的浏览量数据以及货架上的陈列品的销售量数据。
410:分析服务器将400中相同类别的数据进行排名处理并计算出更多分析所需数据,包括但不限于:货架上的陈列品的销售量排名数据,货架上的陈列品的浏览量排名数据,门店的浏览量总值,门店的销售量总值,门店的浏览量总值排名,门店的销售量总值排名。
420:分析服务器通过对410中排名数据的分析,得到相应的决策建议,决策建议包括但不限于:促销决策,淘汰决策,陈列品替换决策,门店选择决策。
430:分析服务器将410和420得到的数据信息进行存储。
440:分析服务器通过发送装置发送410和420得到的数据信息给应用终端。
450:应用终端浏览和查看410和420得到的数据信息,以进行正确的关于门店、货架以及陈列品的商业决策。
应当理解,图3中的执行设备例如服务器与图4中的执行设备例如分析服务器只是示例性的执行设备,本发明对执行实施例中步骤的设备不做具体限定。
图5所示为本发明一实施例提供的确定货架浏览量和分析浏览量的示意图。如图3中的实施例所述,由图5中的多个摄像头获取所需要进行处理的多帧视频图像,之后执行步骤305至355的设备为图5中的识别处理服务器,在图3实施例中,该识别处理服务器还具有存储数据和发送数据的功能。然后由该识别处理服务器发送至少包含货架和/或陈列品的数据信息给例如分析、决策和处理服务器。
在图5中的分析、决策和处理服务器接收到所需的数据后,进行如图4中的分析、决策和存储处理。然后将处理后的数据信息发给图5中的应用终端,使得应用终端的使用者可以得到该关于门店、货架以及陈列品的商业决策。
应当了解,图5中执行的设备例如识别处理服务器设置在采集图像的本地,即门店,是为了将采集的大量图像数据在本地处理为数字化的数据,然后再传输给异地的例如分析、决策和存储服务器,以减少网络传输的压力。但是,为了其他需要也可以对这些服务器的位置做出调整,例如将图5中的分析、决策和存储服务器分散的和识别处理服务器放在同一地点,通过各门店对各自门店数据的分析、决策和存储后,分别发给应用终端,或者将集中式的分析、决策和存储服务器设置在某一门店,其他门店都将数据发给该集中式的分析、决策和存储服务器等,执行步骤的设备所在的物理位置不应该局限于本发明的实施例。
图6所示为本发明一实施例提供的确定货架浏览量的装置的结构示意图。以下模块与上述实施例对应,是用于实现上述实施例步骤的装置,具体步骤及相关说明在此不再赘述,该确定货架浏览量的装置10包括:
图像获取模块20,配置为获取货架所在区域的多帧视频图像。
目标检测模块30,配置为对多帧视频图像进行目标检测,以检测多帧视频图像中经过区域的至少一个顾客,并具体配置为利用网络识别模型对多帧视频图像进行目标检测,其中网络识别模型是利用机器学习方法对货架所在区域的多个样本图像进行训练得到的,网络识别模型的提取特征包括至少一个顾客中的每个顾客的至少一个特征,其中至少一个特征包括具体配置为包括人脸特征、行为特征和眼部特征中的至少一个。
浏览量确定模块40,配置为根据目标检测的结果,确定至少一个顾客对货架上的陈列品的浏览量。并具体配置为根据目标检测的结果,确定顾客在区域的停留时间;根据至少一个顾客在区域的停留时间,确定至少一个顾客对货架上的陈列品的浏览量。并进一步配置为根据多帧视频图像中每帧视频图像的目标检测的结果,确定检测到的目标顾客在视频图像中的位置;对视频图像进行格栅化处理,得到多个格栅,并将多个格栅与多个格栅中的至少一种陈列品相关联;根据目标顾客在视频图像中的位置,计算目标顾客在多个格栅中的停留时间;根据目标顾客在多个格栅的停留时间以及多个格栅与至少一种陈列品相关联的信息确定目标顾客对货架上的陈列品的浏览量。并进一步配置为根据目标顾客在视频图像中的位置和目标顾客的朝向确定多个格栅的权重,其中,顾客面对的格栅被赋予的权重大于顾客面对的格栅周边的格栅被赋予的权重;将目标顾客在多个格栅中的实际停留时间与多个格栅相对应的权重进行计算,得到目标顾客在多个格栅中的加权停留时间。并具体配置为根据目标顾客在视频图像中的位置和目标顾客的视线平行位置确定多个格栅的权重,其中,目标顾客的视线平行位置的格栅被赋予的权值大于目标顾客视线平行位置上下的格栅被赋予的权值;将目标顾客在多个格栅中的实际停留时间与多个格栅相对应的权重进行计算,得到目标顾客在多个格栅中的加权停留时间。
浏览量数据发送模块50,配置为将浏览量数据发送给数据分析终端以基于浏览量数据进行相应的分析,其中浏览量数据包括至少一个顾客对货架上的陈列品的浏览量。
图7所示为本发明一实施例提供的分析浏览量的装置的结构示意图。以下模块与上述实施例对应,是用于实现上述实施例步骤的装置,具体步骤及相关说明在此不再赘述,该分析浏览量的装置10包括:
数据获取模块20,配置为获取至少一个顾客对货架上的陈列品的浏览量数据以及货架上的陈列品的销售量数据,其中浏览量数据是根据对货架所在区域的多帧视频图像进行目标检测得到的目标检测的结果确定的。并具体配置为包括货架上的陈列品的销售量排名数据,货架上的陈列品的浏览量数据包括货架上的陈列品的浏览量排名数据,门店内货架上的陈列品的销售数据,货架上的陈列品的浏览量数据包括门店内货架上的陈列品的浏览量数据。
数据分析模块30,配置为根据货架上的陈列品的销售量数据和货架上的陈列品的浏览量数据得到陈列品分析数据和决策建议。并具体配置为将货架上的陈列品的销售量排名数据以及货架上的陈列品的浏览量排名数据中排名均排在最后N位的陈列品进行淘汰处理;或将货架上的陈列品的销售量排名数据高于平均值以及货架上的陈列品的浏览量排名数据中排名低于平均值的陈列品调整到浏览量排名前N位的货架上;或对货架上的陈列品的销售量排名数据低于平均值以及货架上的陈列品的浏览量排名数据中排名高于平均值的陈列品进行促销。并具体配置为根据门店内货架上的陈列品的销售数据,求门店的销售量总值;以及根据门店内货架上的陈列品的浏览量数据,求门店的浏览量总值;根据门店的销售量总值以及门店的浏览量总值,求门店的销售转化率;比较多个门店的销售转化率,得到多个门店的销售转化率排名数据;对销售转化率排名数据中后N名的门店进行至少一个陈列品的陈列品分析以及决策。
数据发送模块40,配置为将陈列品分析数据以及决策建议发送给应用终端以辅助决策者进行相关决策,其中,陈列品分析数据包括以下至少一项:货架上的陈列品的销售量数据、货架上的陈列品的销售量排名数据、货架上的陈列品的浏览量数据、货架上的陈列品的浏览量排名数据、门店的浏览量总值、门店的销售量总值、门店的浏览量总值排名和门店的销售量总值排名,决策建议包括以下至少一项:促销决策、淘汰决策和陈列品替换决策。
图8所示为本发明一示例性实施例的用于对网络流量进行调度的装置的框图。
参照图8,装置800包括处理组件810,其进一步包括一个或多个处理器,以及由存储器820所代表的存储器资源,用于存储可由处理组件810的执行的指令,例如应用程序。存储器820中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件810被配置为执行指令,以执行上述对图像进行分类方法。
装置800还可以包括一个电源组件被配置为执行装置800的电源管理,一个有线或无线网络接口被配置为将装置800连接到网络,和一个输入输出(I/O)接口。装置800可以操作基于存储在存储器820的操作系统,例如Windows ServerTM,Mac OS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
一种非临时性存储介质,当存储介质中的指令由上述装置800的处理器执行时,使得上述装置800能够执行一种网络流量调度方法,包括:接收用户智能流量服务器发送的多个关键性能指标;将多个关键性能指标中的至少一个与至少一个关键性能指标对应的预设值进行比对,并基于比对结果对流量分配规则进行调整;以及向用户智能流量服务器发送调整后的流量分配规则,以使用户智能流量服务器基于调整后的流量分配规则对网络流量进行调度。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (4)

1.一种确定货架浏览量的方法,其特征在于,包括:
获取货架所在区域的多帧视频图像;
对所述多帧视频图像进行目标检测,以检测所述多帧视频图像中经过所述区域的至少一个顾客;
根据所述多帧视频图像中每帧视频图像的目标检测的结果,确定检测到的目标顾客在所述视频图像中的位置;
对所述视频图像进行格栅化处理,得到多个格栅,并将所述多个格栅与所述多个格栅中的至少一种陈列品相关联;
根据所述目标顾客在所述视频图像中的位置,计算所述目标顾客在所述多个格栅中的停留时间;
根据所述目标顾客在所述视频图像中的位置和所述目标顾客的面部朝向确定所述多个格栅的权重,或根据所述目标顾客在所述视频图像中的位置和所述目标顾客的视线平行位置确定所述多个格栅的权重,其中,所述顾客面对的格栅或所述目标顾客视线平行位置的格栅被赋予的权重大于所述顾客面对的格栅周边的格栅或所述目标顾客视线平行位置上下的格栅被赋予的权重;
将所述目标顾客在所述多个格栅中的停留时间与所述多个格栅相对应的所述权重进行计算,得到所述目标顾客在所述多个格栅中的加权停留时间;
根据所述目标顾客在所述多个格栅的加权停留时间以及所述多个格栅与所述至少一种陈列品相关联的信息确定所述目标顾客对所述货架上的陈列品的浏览量。
2.根据权利要求1所述的方法,其特征在于,在根据所述目标顾客在所述多个格栅的加权停留时间以及所述多个格栅与所述至少一种陈列品相关联的信息确定所述目标顾客对所述货架上的陈列品的浏览量后,还包括:
将浏览量数据发送给数据分析终端以基于所述浏览量数据进行相应的分析,其中所述浏览量数据包括所述至少一个顾客对所述货架上的陈列品的浏览量。
3.根据权利要求1、2中的任一项所述的方法,其特征在于,所述对所述多帧视频图像进行目标检测,包括:
利用网络识别模型对所述多帧视频图像进行目标检测,其中所述网络识别模型是利用机器学习方法对所述货架所在区域的多个样本图像进行训练得到的,所述网络识别模型的提取特征包括所述至少一个顾客中的每个顾客的至少一个特征,其中,所述至少一个特征包括人脸特征、行为特征和眼部特征中的至少一个。
4.一种确定货架浏览量的装置,其特征在于,包括:
图像获取模块,配置为获取货架所在区域的多帧视频图像;
目标检测模块,配置为对所述多帧视频图像进行目标检测,以检测所述多帧视频图像中经过所述区域的至少一个顾客;
浏览量确定模块,配置为根据所述多帧视频图像中每帧视频图像的目标检测的结果,确定检测到的目标顾客在所述视频图像中的位置;对所述视频图像进行格栅化处理,得到多个格栅,并将所述多个格栅与所述多个格栅中的至少一种陈列品相关联;根据所述目标顾客在所述视频图像中的位置,计算所述目标顾客在所述多个格栅中的停留时间;根据所述目标顾客在所述视频图像中的位置和所述目标顾客的面部朝向确定所述多个格栅的权重,或根据所述目标顾客在所述视频图像中的位置和所述目标顾客的视线平行位置确定所述多个格栅的权重,其中,所述顾客面对的格栅或所述目标顾客视线平行位置的格栅被赋予的权重大于所述顾客面对的格栅周边的格栅或所述目标顾客视线平行位置上下的格栅被赋予的权重;将所述目标顾客在所述多个格栅中的停留时间与所述多个格栅相对应的所述权重进行计算,得到所述目标顾客在所述多个格栅中的加权停留时间;根据所述目标顾客在所述多个格栅的加权停留时间以及所述多个格栅与所述至少一种陈列品相关联的信息确定所述目标顾客对所述货架上的陈列品的浏览量。
CN201810307576.0A 2018-04-08 2018-04-08 确定货架浏览量以及分析浏览量的方法和装置 Active CN108537166B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810307576.0A CN108537166B (zh) 2018-04-08 2018-04-08 确定货架浏览量以及分析浏览量的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810307576.0A CN108537166B (zh) 2018-04-08 2018-04-08 确定货架浏览量以及分析浏览量的方法和装置

Publications (2)

Publication Number Publication Date
CN108537166A CN108537166A (zh) 2018-09-14
CN108537166B true CN108537166B (zh) 2020-10-02

Family

ID=63483366

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810307576.0A Active CN108537166B (zh) 2018-04-08 2018-04-08 确定货架浏览量以及分析浏览量的方法和装置

Country Status (1)

Country Link
CN (1) CN108537166B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376689B (zh) * 2018-11-20 2021-01-26 图普科技(广州)有限公司 人群分析方法及装置
CN109598213B (zh) * 2018-11-20 2021-04-06 图普科技(广州)有限公司 人脸朝向聚合方法及装置
CN109242580B (zh) * 2018-11-28 2020-12-29 北京腾云天下科技有限公司 确定目标品牌在指定城市的推荐入驻商场的方法
CN111681018A (zh) * 2019-03-11 2020-09-18 宏碁股份有限公司 顾客行为分析方法与顾客行为分析系统
CN110070299B (zh) * 2019-04-29 2022-11-18 成都云盯科技有限公司 一种商品货架整洁度评分方法及系统
CN110322945B (zh) * 2019-06-10 2022-11-11 广西臻笛生物科技有限公司 一种植物复配的智能筛选方法
CN111008866A (zh) * 2019-11-29 2020-04-14 北京市商汤科技开发有限公司 资源配置数据的处理方法、装置及存储介质
CN114529317A (zh) * 2020-10-30 2022-05-24 广东飞企互联科技股份有限公司 一种店铺商品的浏览量和成交量监控方法和系统
CN112508626A (zh) * 2020-12-18 2021-03-16 北京市商汤科技开发有限公司 一种信息处理方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102122346A (zh) * 2011-02-28 2011-07-13 济南纳维信息技术有限公司 基于视频分析的实体店面顾客兴趣点采集方法
CN105678591A (zh) * 2016-02-29 2016-06-15 北京时代云英科技有限公司 一种基于视频分析的商业智能化经营决策支撑系统和方法
CN107424273A (zh) * 2017-07-28 2017-12-01 杭州宇泛智能科技有限公司 一种无人超市的管理方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8189926B2 (en) * 2006-12-30 2012-05-29 Videomining Corporation Method and system for automatically analyzing categories in a physical space based on the visual characterization of people
US20140278742A1 (en) * 2013-03-15 2014-09-18 Michael Joseph MacMillan Store-wide customer behavior analysis system using multiple sensors

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102122346A (zh) * 2011-02-28 2011-07-13 济南纳维信息技术有限公司 基于视频分析的实体店面顾客兴趣点采集方法
CN105678591A (zh) * 2016-02-29 2016-06-15 北京时代云英科技有限公司 一种基于视频分析的商业智能化经营决策支撑系统和方法
CN107424273A (zh) * 2017-07-28 2017-12-01 杭州宇泛智能科技有限公司 一种无人超市的管理方法

Also Published As

Publication number Publication date
CN108537166A (zh) 2018-09-14

Similar Documents

Publication Publication Date Title
CN108537166B (zh) 确定货架浏览量以及分析浏览量的方法和装置
JP7311524B2 (ja) ユーザによって購入された商品を識別するための方法および装置ならびにインテリジェント棚システム
US20220270063A1 (en) Produce and bulk good management within an automated shopping environment
US10963947B2 (en) Method, a device and a system for checkout
CN109726759B (zh) 无人售货方法、装置、系统、电子设备及计算机可读介质
US20190220692A1 (en) Method and apparatus for checkout based on image identification technique of convolutional neural network
CN109993595B (zh) 个性化推荐商品及服务的方法、系统及设备
CN113674037B (zh) 一种基于购物行为的数据采集和推荐方法
CN105678591A (zh) 一种基于视频分析的商业智能化经营决策支撑系统和方法
CN111263224B (zh) 视频处理方法、装置及电子设备
CN108961005A (zh) 信息推送方法、装置、电子设备及介质
CN106846049B (zh) 一种基于电商平台关联广告的大数据分析方法及其系统
CN101826154A (zh) 关系分析方法、关系分析程序、以及关系分析装置
US20200387865A1 (en) Environment tracking
CN111222389A (zh) 商超货架上商品的分析方法和系统
CN114282816A (zh) 一种生鲜区大屏幕电子标签自动管理系统
CN111951258A (zh) 一种基于边缘计算的货架缺货预警分析系统及方法
CN113887884A (zh) 商超服务系统
CN113888254A (zh) 货架商品管理方法和电子设备
WO2017155466A1 (en) Method and system for visitor tracking at a pos area
CN113706227A (zh) 一种货架商品推荐方法及装置
CN114255377A (zh) 一种智能货柜的差异商品检测分类方法
CN110689389A (zh) 基于计算机视觉的购物清单自动维护方法及装置、存储介质、终端
CN111260685B (zh) 视频处理方法、装置及电子设备
CN111428743B (zh) 商品识别方法、商品处理方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant