CN111127096B - 基于头肩和人脸识别的商品区域客流优化统计方法与系统 - Google Patents
基于头肩和人脸识别的商品区域客流优化统计方法与系统 Download PDFInfo
- Publication number
- CN111127096B CN111127096B CN201911336509.2A CN201911336509A CN111127096B CN 111127096 B CN111127096 B CN 111127096B CN 201911336509 A CN201911336509 A CN 201911336509A CN 111127096 B CN111127096 B CN 111127096B
- Authority
- CN
- China
- Prior art keywords
- commodity
- head
- shoulder
- camera
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Finance (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Entrepreneurship & Innovation (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Game Theory and Decision Science (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于头肩和人脸识别的商品区域客流优化统计方法与系统,包括:在门店内布设至少一部全景摄像机,对商品的背景区域进行划分形成商品区域,设定目标商品的区域边界线,并在区域边界线的两端自动生成垂直于地面的平行线,形成垂直于地面的一个有界平面,标记为目标商品的关注平面;至少一个摄像机作为抓拍摄像机;当用户进入全景摄像机监测画面,生成唯一头肩TrackID并持续跟踪头肩轨迹坐标;当从从非商品区域进入商品区域后,定期同步人员TrackID数据到抓拍摄像机;抓拍摄像机获取到人员的头肩TrackID后,抓拍人脸并识别人脸的偏向角度;判断人脸偏向角度对外的延长线与目标商品的关注平面是否有交叉,如无交叉,则关注客流不计数。
Description
技术领域
本发明涉及头肩检测技术及其应用领域,具体而言涉及基于头肩和人脸识别的商品区域客流优化统计方法与系统。
背景技术
商场门店热区管理系统是一种基于大数据分析的智能化系统,其应用会对商场的管理带来很大的便利,门店热区管理系统可以帮助商场分析热门的店铺区域,选择适合的促销位置等等。通过商场门店热区管理系统,商场管理可以对制定区域内的人流量聚集程度进行分析,判断顾客对某一区的关注度,从而精准判断商圈消费者的潜在需求实现精准化营销来提高商场人流量。
同时商场通过以云端视频分析技术为基础的顾客轨迹门店热区管理系统,对店铺进行全天候的监测统计区域内一天/一周/一月,甚至更长时间的累积所有位置上人员停留人数和时间,用不同颜色来区分不同位置上的“客流热力”,并基于此数据进行客流关注度分析、促销活动分析以及客流动线分析,为科学进行商品分区选择、陈列展示、促销活动的开展以及货架陈列与路径规划提供决策依据。
目前,现有的商品热区管理与分析系统,分为前端和后端,前端包括摄像头和边缘计算设备,后端包括服务器,主要用于对前端采集的图像以及统计数据进行聚类和分析。在前端,主要依托摄像机以及头肩检测技术,统计停留在此商品区域范围的客流人次,但此方式无法判断顾客是路过此区域还是真的关注此商品,当顾客在此商品区域停留时,有时存在顾客背向商品区域或观看其他商品等情况,与实际应用场景下的商品热区统计结果有较大的差距。
发明内容
本发明目的在于优化商品区域关注客流的统计方法,通过全景和抓拍摄像机组合识别顾客在商品区域的关注方向和停留距离,来综合分析顾客是否为目标区域的真实关注人员,提升商品区域关注数据统计的精准度。
为达成上述目的,本发明提供的基于头肩和人脸识别的商品区域客流优化统计方法,包括:
在门店内布设至少一部全景摄像机,通过该全景摄像机对商品的背景区域进行划分形成商品区域,设定目标商品的区域边界线,并在区域边界线的两端自动生成垂直于地面的平行线,形成垂直于地面的一个有界平面,此平面区域标记为目标商品的关注平面;
在商品的货架位置布设至少一个摄像机作为抓拍摄像机,通过该摄像机抓拍位于其前方的人脸,并基于人脸的移动进行距离识别;
当用户进入全景摄像机的监测画面时,响应于监测到头肩框则生成唯一头肩TrackID并持续跟踪头肩轨迹坐标;
当用户头肩轨迹从从非商品区域进入商品区域后,定期同步人员的头肩TrackID数据到对应的抓拍摄像机;
抓拍摄像机获取到人员的头肩TrackID后,自动抓拍人脸并识别人脸的偏向角度;
判断人脸偏向角度对外的延长线与目标商品的关注平面是否有交叉,如无交叉,则关注客流不计数。
进一步地,如果判断人脸偏向角度对外的延长线与目标商品的关注平面是发生交叉,则判断此人员头肩TrackID的头肩坐标位置与目标商品关注平面的垂直距离是否大于某个阈值,当距离低于设定阈值时,则关注客流不计数;当距离超过阈值时,则判定人员头肩TrackID关注目标商品,关注客流计数增加1。
进一步地,所述全景摄像机安装在门店内的顶部空间,并且监测多个目标商品区域,对全景摄像机的画面中多个目标商品区域进行划分,设定各商品区域边界线。
进一步地,所述抓拍摄像机与全景摄像机的画面中划分的一个或者多个目标商品的商品区域相关联。
进一步地,以设定的周期T同步人员的头肩TrackID数据到对应的抓拍摄像机,T取值为0.1-1s。
根据本发明还提出一种基于头肩和人脸识别的商品区域客流优化统计系统,包括:
至少一部全景摄像机,布设在门店内的顶部空间,通过该全景摄像机对商品的背景区域进行划分形成商品区域,设定目标商品的区域边界线,并在区域边界线的两端自动生成垂直于地面的平行线,形成垂直于地面的一个有界平面,此平面区域标记为目标商品的关注平面;
至少一个摄像机,布设在商品的货架位置,作为抓拍摄像机,通过该摄像机抓拍位于其前方的人脸,并基于人脸的移动进行距离识别;
至少一个计算设备,用于:
2)当用户进入全景摄像机的监测画面时,响应于监测到头肩框则生成唯一头肩TrackID并持续跟踪头肩轨迹坐标;
2)当用户头肩轨迹从从非商品区域进入商品区域后,定期同步人员的头肩TrackID数据到对应的抓拍摄像机,并控制抓拍摄像机获取到人员的头肩TrackID后,自动抓拍人脸并识别人脸的偏向角度;以及
3)判断人脸偏向角度对外的延长线与目标商品的关注平面是否有交叉,如无交叉,则关注客流不计数。
进一步地,所述至少一个计算设备还被设置成:
如果判断人脸偏向角度对外的延长线与目标商品的关注平面是发生交叉,则判断此人员头肩TrackID的头肩坐标位置与目标商品关注平面的垂直距离是否大于某个阈值,当距离低于设定阈值时,则关注客流不计数;当距离超过阈值时,则判定人员头肩TrackID关注目标商品,关注客流计数增加1。
进一步地,所述至少一个计算设备为设置在门店内的边缘计算设备。
进一步地,所述至少一个计算设备为本地服务器或者云服务器。
如此,本发明提出的优化商品区域关注客流的统计方法,通过全景和抓拍摄像机组合识别顾客在商品区域的关注方向和停留距离,来综合分析顾客是否为目标区域的真实关注人员,提升商品区域关注情况的精准度。
应当理解,前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的发明主题的一部分。另外,所要求保护的主题的所有组合都被视为本公开的发明主题的一部分。
结合附图从下面的描述中可以更加全面地理解本发明教导的前述和其他方面、实施例和特征。本发明的其他附加方面例如示例性实施方式的特征和/或有益效果将在下面的描述中显见,或通过根据本发明教导的具体实施方式的实践中得知。
附图说明
附图不意在按比例绘制。在附图中,在各个图中示出的每个相同或近似相同的组成部分可以用相同的标号表示。为了清晰起见,在每个图中,并非每个组成部分均被标记。现在,将通过例子并参考附图来描述本发明的各个方面的实施例,其中:
图1是本发明的基于头肩检测与人脸识别的优化商品区域关注客流的统计方法的流程示意图。
具体实施方式
为了更了解本发明的技术内容,特举具体实施例并配合所附图式说明如下。
在本公开中参照附图来描述本发明的各方面,附图中示出了许多说明的实施例。本公开的实施例不必定意在包括本发明的所有方面。应当理解,上面介绍的多种构思和实施例,以及下面更加详细地描述的那些构思和实施方式可以以很多方式中任意一种来实施,这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外,本发明公开的一些方面可以单独使用,或者与本发明公开的其他方面的任何适当组合来使用。
结合图1所示,本发明提出一种基于头肩和人脸识别的商品区域客流优化统计方法,包括:
在门店内布设至少一部全景摄像机,通过该全景摄像机对商品的背景区域进行划分形成商品区域,设定目标商品的区域边界线,并在区域边界线的两端自动生成垂直于地面的平行线,形成垂直于地面的一个有界平面,此平面区域标记为目标商品的关注平面;
在商品的货架位置布设至少一个摄像机作为抓拍摄像机,通过该摄像机抓拍位于其前方的人脸,并基于人脸的移动进行距离识别;
当用户进入全景摄像机的监测画面时,响应于监测到头肩框则生成唯一头肩TrackID并持续跟踪头肩轨迹坐标;
当用户头肩轨迹从从非商品区域进入商品区域后,定期同步人员的头肩TrackID数据到对应的抓拍摄像机;
抓拍摄像机获取到人员的头肩TrackID后,自动抓拍人脸并识别人脸的偏向角度;
判断人脸偏向角度对外的延长线与目标商品的关注平面是否有交叉,如无交叉,则关注客流不计数。
进一步地,如果判断人脸偏向角度对外的延长线与目标商品的关注平面是发生交叉,则判断此人员头肩TrackID的头肩坐标位置与目标商品关注平面的垂直距离是否大于某个阈值,当距离低于设定阈值时,则关注客流不计数;当距离超过阈值时,则判定人员头肩TrackID关注目标商品,关注客流计数增加1。
进一步地,所述全景摄像机安装在门店内的顶部空间,并且监测多个目标商品区域,对全景摄像机的画面中多个目标商品区域进行划分,设定各商品区域边界线。
进一步地,所述抓拍摄像机与全景摄像机的画面中划分的一个或者多个目标商品的商品区域相关联。
进一步地,以设定的周期T同步人员的头肩TrackID数据到对应的抓拍摄像机,T取值为0.1-1s。
根据本发明公开的实施例,还提出一种基于头肩和人脸识别的商品区域客流优化统计系统,包括:
至少一部全景摄像机,布设在门店内的顶部空间,通过该全景摄像机对商品的背景区域进行划分形成商品区域,设定目标商品的区域边界线,并在区域边界线的两端自动生成垂直于地面的平行线,形成垂直于地面的一个有界平面,此平面区域标记为目标商品的关注平面;
至少一个摄像机,布设在商品的货架位置,作为抓拍摄像机,通过该摄像机抓拍位于其前方的人脸,并基于人脸的移动进行距离识别;
至少一个计算设备,用于:
3)当用户进入全景摄像机的监测画面时,响应于监测到头肩框则生成唯一头肩TrackID并持续跟踪头肩轨迹坐标;
2)当用户头肩轨迹从从非商品区域进入商品区域后,定期同步人员的头肩TrackID数据到对应的抓拍摄像机,并控制抓拍摄像机获取到人员的头肩TrackID后,自动抓拍人脸并识别人脸的偏向角度;以及
3)判断人脸偏向角度对外的延长线与目标商品的关注平面是否有交叉,如无交叉,则关注客流不计数。
进一步地,所述至少一个计算设备还被设置成:
如果判断人脸偏向角度对外的延长线与目标商品的关注平面是发生交叉,则判断此人员头肩TrackID的头肩坐标位置与目标商品关注平面的垂直距离是否大于某个阈值,当距离低于设定阈值时,则关注客流不计数;当距离超过阈值时,则判定人员头肩TrackID关注目标商品,关注客流计数增加1。
进一步地,所述至少一个计算设备为设置在门店内的边缘计算设备。
进一步地,所述至少一个计算设备为本地服务器或者云服务器。
虽然本发明已以较佳实施例揭露如上,然其并非用以限定本发明。本发明所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作各种的更动与润饰。因此,本发明的保护范围当视权利要求书所界定者为准。
Claims (9)
1.一种基于头肩和人脸识别的商品区域客流优化统计方法,其特征在于,包括:
在门店内布设至少一部全景摄像机,通过该全景摄像机对商品的背景区域进行划分形成商品区域,设定目标商品的区域边界线,并在区域边界线的两端自动生成垂直于地面的平行线,形成垂直于地面的一个有界平面,此平面区域标记为目标商品的关注平面;
在商品的货架位置布设至少一个摄像机作为抓拍摄像机,通过该摄像机抓拍位于其前方的人脸,并基于人脸的移动进行距离识别;
当用户进入全景摄像机的监测画面时,响应于监测到头肩框则生成唯一头肩TrackID并持续跟踪头肩轨迹坐标;
当用户头肩轨迹从非商品区域进入商品区域后,定期同步人员的头肩TrackID数据到对应的抓拍摄像机;
抓拍摄像机获取到人员的头肩TrackID后,自动抓拍人脸并识别人脸的偏向角度;
判断人脸偏向角度对外的延长线与目标商品的关注平面是否有交叉,如无交叉,则关注客流不计数。
2.根据权利要求1所述的基于头肩和人脸识别的商品区域客流优化统计方法,其特征在于,如果判断人脸偏向角度对外的延长线与目标商品的关注平面是发生交叉,则判断此人员头肩TrackID的头肩坐标位置与目标商品关注平面的垂直距离是否大于某个阈值,当距离低于设定阈值时,则关注客流不计数;当距离超过阈值时,则判定人员头肩TrackID关注目标商品,关注客流计数增加1。
3.根据权利要求1所述的基于头肩和人脸识别的商品区域客流优化统计方法,其特征在于,所述全景摄像机安装在门店内的顶部空间,并且监测多个目标商品区域,对全景摄像机的画面中多个目标商品区域进行划分,设定各商品区域边界线。
4.根据权利要求1所述的基于头肩和人脸识别的商品区域客流优化统计方法,其特征在于,所述抓拍摄像机与全景摄像机的画面中划分的一个或者多个目标商品的商品区域相关联。
5.根据权利要求1所述的基于头肩和人脸识别的商品区域客流优化统计方法,其特征在于,以设定的周期T同步人员的头肩TrackID数据到对应的抓拍摄像机,T取值为0.1-1s。
6.一种基于头肩和人脸识别的商品区域客流优化统计系统,其特征在于,包括:
至少一部全景摄像机,布设在门店内的顶部空间,通过该全景摄像机对商品的背景区域进行划分形成商品区域,设定目标商品的区域边界线,并在区域边界线的两端自动生成垂直于地面的平行线,形成垂直于地面的一个有界平面,此平面区域标记为目标商品的关注平面;
至少一个摄像机,布设在商品的货架位置,作为抓拍摄像机,通过该摄像机抓拍位于其前方的人脸,并基于人脸的移动进行距离识别;
至少一个计算设备,用于:
1)当用户进入全景摄像机的监测画面时,响应于监测到头肩框则生成唯一头肩TrackID并持续跟踪头肩轨迹坐标;
2)当用户头肩轨迹从非商品区域进入商品区域后,定期同步人员的头肩TrackID数据到对应的抓拍摄像机,并控制抓拍摄像机获取到人员的头肩TrackID后,自动抓拍人脸并识别人脸的偏向角度;以及
3)判断人脸偏向角度对外的延长线与目标商品的关注平面是否有交叉,如无交叉,则关注客流不计数。
7.根据权利要求6所述的基于头肩和人脸识别的商品区域客流优化统计系统,其特征在于,所述至少一个计算设备还被设置成:
如果判断人脸偏向角度对外的延长线与目标商品的关注平面是发生交叉,则判断此人员头肩TrackID的头肩坐标位置与目标商品关注平面的垂直距离是否大于某个阈值,当距离低于设定阈值时,则关注客流不计数;当距离超过阈值时,则判定人员头肩TrackID关注目标商品,关注客流计数增加1。
8.根据权利要求6或7所述的基于头肩和人脸识别的商品区域客流优化统计系统,其特征在于,所述至少一个计算设备为设置在门店内的边缘计算设备。
9.根据权利要求6或7所述的基于头肩和人脸识别的商品区域客流优化统计系统,其特征在于,所述至少一个计算设备为本地服务器或者云服务器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911336509.2A CN111127096B (zh) | 2019-12-23 | 2019-12-23 | 基于头肩和人脸识别的商品区域客流优化统计方法与系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911336509.2A CN111127096B (zh) | 2019-12-23 | 2019-12-23 | 基于头肩和人脸识别的商品区域客流优化统计方法与系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111127096A CN111127096A (zh) | 2020-05-08 |
CN111127096B true CN111127096B (zh) | 2022-08-16 |
Family
ID=70501109
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911336509.2A Active CN111127096B (zh) | 2019-12-23 | 2019-12-23 | 基于头肩和人脸识别的商品区域客流优化统计方法与系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111127096B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112507786B (zh) * | 2020-11-03 | 2022-04-08 | 浙江大华技术股份有限公司 | 人体多部位检测框关联方法、装置、电子装置和存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016021200A (ja) * | 2014-07-15 | 2016-02-04 | パナソニックIpマネジメント株式会社 | 判定方法、判定システム、及び判定装置 |
CN109448026A (zh) * | 2018-11-16 | 2019-03-08 | 南京甄视智能科技有限公司 | 基于头肩检测的客流统计方法和系统 |
-
2019
- 2019-12-23 CN CN201911336509.2A patent/CN111127096B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016021200A (ja) * | 2014-07-15 | 2016-02-04 | パナソニックIpマネジメント株式会社 | 判定方法、判定システム、及び判定装置 |
CN109448026A (zh) * | 2018-11-16 | 2019-03-08 | 南京甄视智能科技有限公司 | 基于头肩检测的客流统计方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN111127096A (zh) | 2020-05-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9165212B1 (en) | Person counting device, person counting system, and person counting method | |
US10943204B2 (en) | Realtime video monitoring applied to reduce customer wait times | |
Del Pizzo et al. | Counting people by RGB or depth overhead cameras | |
US10387897B2 (en) | Retail sales opportunity loss cause analysis based on image analysis of shelf display | |
US9846811B2 (en) | System and method for video-based determination of queue configuration parameters | |
US11250644B2 (en) | Method and system for queue length analysis | |
US8873794B2 (en) | Still image shopping event monitoring and analysis system and method | |
US8855361B2 (en) | Scene activity analysis using statistical and semantic features learnt from object trajectory data | |
US20150120237A1 (en) | Staying state analysis device, staying state analysis system and staying state analysis method | |
CN105678591A (zh) | 一种基于视频分析的商业智能化经营决策支撑系统和方法 | |
US9443135B2 (en) | Person counting device, person counting system, and person counting method | |
US10410333B2 (en) | Product monitoring device, product monitoring system, and product monitoring method | |
US20150310365A1 (en) | System and method for video-based detection of goods received event in a vehicular drive-thru | |
CN110309702B (zh) | 一种门店货柜视频监控管理系统 | |
CN109508586B (zh) | 一种客流统计方法、装置及设备 | |
KR20190124114A (ko) | 유동인구 데이터와 pos데이터를 활용한 상권분석 빅데이터 시스템 | |
CN108537166A (zh) | 确定货架浏览量以及分析浏览量的方法和装置 | |
JP6549400B2 (ja) | 車両の列ならびに歩行者の列におけるドライブでの立ち去りおよび歩行での立ち去りについてビデオベースで検出するためのシステムおよび方法 | |
US20180158063A1 (en) | Point-of-sale fraud detection using video data and statistical evaluations of human behavior | |
EP2147514A1 (en) | Method and system for audience measurement and targeting media | |
CN112950254A (zh) | 一种信息处理方法、装置、电子设备及存储介质 | |
CN111127096B (zh) | 基于头肩和人脸识别的商品区域客流优化统计方法与系统 | |
JP6516702B2 (ja) | 人数集計システム、人数集計方法、及び人数集計結果の閲覧方法 | |
EP3879435A1 (en) | Method for analysing the behaviour of people in physical spaces and system for said method | |
US20220366575A1 (en) | Method and system for gathering information of an object moving in an area of interest |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP01 | Change in the name or title of a patent holder | ||
CP01 | Change in the name or title of a patent holder |
Address after: No.568 longmian Avenue, gaoxinyuan, Jiangning District, Nanjing City, Jiangsu Province, 211000 Patentee after: Xiaoshi Technology (Jiangsu) Co.,Ltd. Address before: No.568 longmian Avenue, gaoxinyuan, Jiangning District, Nanjing City, Jiangsu Province, 211000 Patentee before: NANJING ZHENSHI INTELLIGENT TECHNOLOGY Co.,Ltd. |