CN108537828B - 一种店铺数据分析方法及系统 - Google Patents

一种店铺数据分析方法及系统 Download PDF

Info

Publication number
CN108537828B
CN108537828B CN201810339387.1A CN201810339387A CN108537828B CN 108537828 B CN108537828 B CN 108537828B CN 201810339387 A CN201810339387 A CN 201810339387A CN 108537828 B CN108537828 B CN 108537828B
Authority
CN
China
Prior art keywords
pedestrian
store
jth
frame image
shop
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810339387.1A
Other languages
English (en)
Other versions
CN108537828A (zh
Inventor
尹酉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Bo Rui Zhi Sheng Technology Co ltd
Original Assignee
Chengdu Bo Rui Zhi Sheng Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Bo Rui Zhi Sheng Technology Co ltd filed Critical Chengdu Bo Rui Zhi Sheng Technology Co ltd
Priority to CN201810339387.1A priority Critical patent/CN108537828B/zh
Publication of CN108537828A publication Critical patent/CN108537828A/zh
Application granted granted Critical
Publication of CN108537828B publication Critical patent/CN108537828B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/66Analysis of geometric attributes of image moments or centre of gravity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种店铺数据分析方法及系统。该分析方法包括:获取摄像头拍摄的视频图像,采用基于深度学习的神经网络模型检测第t帧图像中是否包括行人;如果包括行人,获得行人的参数,并对行人进行跟踪;更新经过店铺的总人数;判断行人是否进入店铺;当行人进入店铺时,更新进入店铺的总人数;获取收银系统当前的付款笔数;根据更新后的经过店铺总人数和进入店铺的总人数,获得进店转化率;根据更新后的进入店铺总人数和付款笔数,获得付款转化率;将行人的参数、进店转化率和付款转化率进行数据组合,得到店铺的数据分析结果。采用本发明的分析方法或系统,提高了行人检测效率,节省了人力物力,同时提高计算精度,减少了人为统计带来的误差。

Description

一种店铺数据分析方法及系统
技术领域
本发明涉及智能商业领域,特别是涉及一种店铺数据分析方法及系统。
背景技术
店铺运营过程中,通常需要对店铺的数据进行分析,其中包括对店铺转化率进行分析。目前店铺转化率数据计算时,店主需先获知当日客流量统计数据,然后手工统计当日各个渠道支付数据,例如:微信,支付宝,现金,银行卡等,最后再手工的进行转化率数据计算。而且客流量统计时,通常需要店主手动的统计进店人数,上述操作需每日统计整理计算,整理过程繁琐,效率低,且很可能实际执行者非同一人,导致数据分析结果存在较大的误差。
发明内容
本发明的目的是提供一种店铺数据分析方法及系统,以提高对店铺数据分析的效率,降低分析结果的误差,提高准确度。
为实现上述目的,本发明提供了如下方案:
一种店铺数据分析方法,所述分析方法包括:
获取摄像头拍摄的视频图像,所述视频图像包括多帧图像,所述摄像头安装于店铺的门口斜上方;
对于第t帧图像,采用基于深度学习的神经网络模型检测所述第t帧图像中是否包括行人,得到第一检测结果;
当所述第一检测结果表示所述第t帧图像中包括行人时,获得所述行人的参数;所述行人的参数包括:个数、行人位置和特征向量;
根据所述行人的参数对行人进行跟踪;
更新经过店铺的总人数;
判断所述行人是否进入店铺,得到第二判断结果;
当所述第二判断结果表示所述行人进入店铺时,更新进入店铺的总人数;
获取收银系统当前的付款笔数;
根据更新后的经过店铺的总人数和更新后的进入店铺的总人数,获得进店转化率;
根据所述更新后的进入店铺的总人数和所述付款笔数,获得付款转化率;
将所述行人的参数、所述进店转化率和所述付款转化率进行数据组合,得到所述店铺的数据分析结果。
可选的,所述对于第t帧图像,采用基于深度学习的神经网络模型检测所述第t帧图像中是否包括行人,得到第一检测结果,具体包括:
采用所述神经网络模型检测所述第t帧图像中的物体参数,所述物体参数包括物体个数、物体种类、物体位置坐标和物体的特征向量;
判断所述物体参数中物体种类是否包括“人类”;
当所述物体种类包括“人类”时,则所述第t帧图像中包括行人,将所述物体种类为“人类”的物体确定为行人;
当所述物体种类不包括“人类”时,则所述第t帧图像中不包括行人。
可选的,所述当所述第一检测结果表示所述第t帧图像中包括行人时,获得所述行人的参数,具体包括:
对于第j个行人,采用所述神经网络模型获得所述第j个行人的子种类,所述子种类为种类“人类”的分类,包括“男孩”、“男人”、“老人男”、“女孩”、“女人”、“老人女”;
获取所述第j个行人的位置矩形Lj=(Xj,Yj,Wj,Hj),其中Xj为所述第j个行人在所述第t帧图像中的横坐标,Yj为所述第j个行人在所述第t帧图像中的纵坐标,Wj为所述第j个行人的位置矩形在所述第t帧图像中的宽度,Hj为所述第j个行人的位置矩形在所述第t帧图像中的高度;
获取所述第j个行人的位置矩形的质心坐标Cj=(x_c,y_c);
获取所述第j个行人对应的特征向量Vj。
可选的,所述根据所述行人的参数对行人进行跟踪,具体包括:
获取所述第j个行人的索引Uj;
获得所述第j个行人的初始质心坐标ICj;
获得行人被发现的最新帧号Fj;
确定行人被计数状态CSj的值为第一设定值,所述第一设定值表示所述第j个行人被计入经过店铺的总人数中;
判断前t-1帧图像中是否均不包括行人,得到第三判断结果;
当所述第三判断结果表示前t-1帧图像中均不包括行人时,对于第t帧图像中的第j个行人,
将所述第j个行人的质心坐标Cj确定为初始质心坐标ICj;
确定行人被发现的最新帧号Fj的值为0;
确定描述所述第j个行人的数据字典LISTj={id:Uj,loc:Lj,cen:Cj,Vec:Vj,init_L:ICj,fra:Fj,count:CSj};
当所述第三判断结果表示前t-1帧图像中包括行人时,获得所述前t-1帧图像中的行人;
获得所述第t帧图像中的第j个行人与所述前t-1帧图像中的行人的综合距离,得到综合距离的集合Dis(j)={Dis(1,j),Dis(2,j),…,Dis(i,j),…,Dis(n,j)},其中Dis(i,j)表示第t帧图像中的第j个行人与所述前t-1帧图像中第i个跟踪行人的综合距离;
获取所述综合距离的集合中综合距离的最小值Dis(k,j);所述Dis(k,j)为所述前t-1帧图像中第k个行人与所述第t帧图像中的第j个行人的综合距离;
判断所述综合距离的最小值Dis(k,j)是否小于设定距离值,得到第四判断结果;
当所述第四判断结果表示所述综合距离的最小值Dis(k,j)小于设定距离值时,将第j个行人的位置矩形Lj确定为第k个行人的位置矩形;
将第j个行人的位置矩形的质心坐标Cj确定为第k个行人的位置矩形的质心坐标;
将第j个行人的特征向量Vj确定为第k个行人的特征向量;
将第k个行人的被发现的最新帧号Fk确定为t;
将描述所述第k个行人的数据字典更新为LISTk={id:Uk,loc:Lj,cen:Cj,Vec:Vj,init_L:ICk,fra:Fk,count:CSk};其中Uk为所述第k个行人的索引;ICk为所述第k个行人的初始质心坐标;Fk为第k个行人被发现的最新帧号;CSj为第k个行人被计数的状态;
当所述第四判断结果表示所述综合距离的最小值Dis(k,j)不小于设定距离值时,将第j个行人的被发现的最新帧号Fj确定为t;
获得描述所述第j个行人的数据字典LISTj={id:Uj,loc:Lj,cen:Cj,Vec:Vj,init_L:ICj,fra:Fj,count:CSj}。
可选的,所述获得描述所述第j个行人的数据字典LISTj={id:Uj,loc:Lj,cen:Cj,Vec:Vj,init_L:ICj,fra:Fj,count:CSj},之后还包括:
计算t-Fj的值m;
判断m是否小于设定帧数差,得到第五判断结果;
当所述第五判断结果表示m不小于设定帧数差时,删除所述描述所述第j个行人的数据字典LISTj={id:Uj,loc:Lj,cen:Cj,Vec:Vj,init_L:ICj,fra:Fj,count:CSj}。
可选的,所述判断所述行人是否进入店铺,具体包括:
获取进入店铺的界线L_C,所述界线的坐标为L_C(X1,Y1,X2,Y2),其中L(X1,Y1)为所述界线与店铺入口的一个交点,C(X2,Y2)为所述界线与店铺入口的另一个交点;
对于第p个行人,获取所述第p个行人的数据字典LISTp={id:Up,loc:Lp,cen:Cp,Vec:Vp,init_L:ICp,fra:Fp,count:CSp};其中Up为所述第p个行人的索引,Lp为所述第p个行人的位置矩形,Cp为所述第p个行人的位置矩形的质心坐标,Vp为所述第p个行人对应的特征向量,ICp为所述第p个行人的初始质心坐标,Fp为第p个行人被发现的最新帧号,CSp为第p个行人被计数的状态;
判断是否满足yp_c>Yc且CSp为0且yp_i<min(Y1,Y2);其中yp_c为第p个行人的位置矩形的质心坐标Cp的纵坐标,Yc=min(Y1,Y2)+(max(Y1,Y2)-min(Y1,Y2))/2,yp_i为初始质心坐标ICp的纵坐标;
当满足yp_c>Yc且CSp为0且yp_i<min(Y1,Y2)时,则确定所述第p个行人进入店铺,将所述第p个行人被计数的状态CSp的值更新为第二设定值,所述第二设定值表示所述第p个行人被计入进入店铺的总人数中;
当不满足yp_c>Yc且CSp为0且yp_i<min(Y1,Y2)时,则确定所述第p个行人未进入店铺。
可选的,所述将所述行人的参数、所述进店转化率和所述付款转化率进行数据组合,得到所述店铺的数据分析结果,之后还包括:
将所述店铺的数据分析结果上传至服务器,并打上时间戳进行存储。
一种店铺数据分析系统,所述分析系统包括:
视频图像获取模块,用于获取摄像头拍摄的视频图像,所述视频图像包括多帧图像,所述摄像头安装于店铺的门口斜上方;
行人检测模块,用于对于第t帧图像,采用基于深度学习的神经网络模型检测所述第t帧图像中是否包括行人,得到第一检测结果;
行人的参数获取模块,用于当所述第一检测结果表示所述第t帧图像中包括行人时,获得所述行人的参数;所述行人的参数包括:个数、行人位置和特征向量;
行人跟踪模块,用于根据所述行人的参数对行人进行跟踪;
经过店铺的总人数更新模块,用于更新经过店铺的总人数;
第二判断模块,用于判断所述行人是否进入店铺,得到第二判断结果;
进入店铺的总人数更新模块,用于当所述第二判断结果表示所述行人进入店铺时,更新进入店铺的总人数;
付款笔数获取模块,用于获取收银系统当前的付款笔数;
进店转化率获取模块,用于根据更新后的经过店铺的总人数和更新后的进入店铺的总人数,获得进店转化率;
付款转化率获取模块,用于根据所述更新后的进入店铺的总人数和所述付款笔数,获得付款转化率;
数据分析结果获取模块,用于将所述行人的参数、所述进店转化率和所述付款转化率进行数据组合,得到所述店铺的数据分析结果。
可选的,所述行人检测模块具体包括:
物体参数检测单元,用于采用所述神经网络模型检测所述第t帧图像中的物体参数,所述物体参数包括物体个数、物体种类、物体位置坐标和物体的特征向量;
物体种类判断单元,用于判断所述物体参数中物体种类是否包括“人类”;
行人确定单元,用于当所述物体种类包括“人类”时,则所述第t帧图像中包括行人,将所述物体种类为“人类”的物体确定为行人;当所述物体种类不包括“人类”时,则所述第t帧图像中不包括行人。
可选的,所述第二判断模块具体包括:
进入店铺的界线获取单元,用于获取进入店铺的界线L_C,所述界线的坐标为L_C(X1,Y1,X2,Y2),其中L(X1,Y1)为所述界线与店铺入口的一个交点,C(X2,Y2)为所述界线与店铺入口的另一个交点;
数据字典获取单元,对于第p个行人,用于获取所述第p个行人的数据字典LISTp={id:Up,loc:Lp,cen:Cp,Vec:Vp,init_L:ICp,fra:Fp,count:CSp};其中Up为所述第p个行人的索引,Lp为所述第p个行人的位置矩形,Cp为所述第p个行人的位置矩形的质心坐标,Vp为所述第p个行人对应的特征向量,ICp为所述第p个行人的初始质心坐标,Fp为第p个行人被发现的最新帧号,CSp为第p个行人被计数的状态;
判断单元,用于判断是否满足yp_c>Yc且CSp为0且yp_i<min(Y1,Y2);其中yp_c为第p个行人的位置矩形的质心坐标Cp的纵坐标,Yc=min(Y1,Y2)+(max(Y1,Y2)-min(Y1,Y2))/2,yp_i为初始质心坐标ICp的纵坐标;
进入店铺确定单元,当满足yp_c>Yc且CSp为0且yp_i<min(Y1,Y2)时,用于确定所述第p个行人进入店铺,将所述第p个行人被计数的状态CSp的值更新为第二设定值,所述第二设定值表示所述第p个行人被计入进入店铺的总人数中;当不满足yp_c>Yc且CSp为0且yp_i<min(Y1,Y2)时,则确定所述第p个行人未进入店铺。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
使用基于深度学习的神经网络模型,由于深度学习的高层特征,行人检测率比传统的hog,haar方式有了明显的提高。自动的统计进店总数、经过总数,自动计算付费转化率、进店转化率,所以节省了人力物力,同时计算精度也有所提高,减少了人为统计带来的误差。将运营数据数据自动的上传到服务器,自动备份,店铺数据安全性有一定的提升。也便于未来对于数据可视化展示,以及数据挖掘等工作开展。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明店铺数据分析方法的流程示意图;
图2为本发明店铺数据分析系统的结构示意图
图3为本发明店铺数据分析方法中行人计数的示意图;
图4为本发明中信息交互的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明店铺数据分析方法的流程示意图。如图1所示,所述分析方法包括:
步骤101:获取摄像头拍摄的视频图像。所述视频图像包括多帧图像,所述摄像头安装于店铺的门口斜上方,启动摄像头,此时摄像头实时抓取店门监控视频帧,通过usb或者wifi的方式将视频帧传输至PC控制器。
步骤102:对于第t帧图像,采用基于深度学习的神经网络模型检测所述第t帧图像中是否包括行人。
具体的,采用所述神经网络模型检测所述第t帧图像中的物体参数,所述物体参数包括物体个数、物体种类、物体位置坐标和物体的特征向量;然后判断所述物体参数中物体种类是否包括“人类”;当所述物体种类包括“人类”时,则所述第t帧图像中包括行人,将所述物体种类为“人类”的物体确定为行人;当所述物体种类不包括“人类”时,则所述第t帧图像中不包括行人。
其中基于深度学习的神经网络模型是训练好的模型,训练过程如下:
步骤1,建立一个深度卷积神经网络(下文简称神经网络)。此步骤创建用于检测帧图像中的行人个数和每个行人位置坐标(x,y,w,h)的深度神经网络模型。神经网络模型采用single shot multibox detector模型。神经网络输入图像大小443*443,3通道模式。神经网络输出为帧图像中的物体个数、每个物体的类别号、每个物体在画面中的具体坐标(x,y,w,h)。在后续的跟踪步骤中,系统会只选择画面中跟踪被判别为人类(person)的物体进行跟踪。
步骤2,预训练神经网络:此步骤为利用PASCALVOC2012数据集预训练步骤1所述神经网络,得到神经网络各个神经元的基础权重数据文件。训练数据采用修改过后的PASCALVOC2012图像数据集,修改后共包含25个类别。主要增加了男孩,男人,老人男,女孩,女人,老人女共6个类别。训练参数选择:初始学习率(learning rate)lr=0.001,动量(momentum)=0.9,衰减系数(weight decay)=0.0005,每次输入图片数(minibatch size)=32,学习率衰减系数(learning rate decay)=0.0001,衰减策略为每1个迭代衰减一次。一共训练1000个迭代。训练完毕后得到基础权重数据文件。
步骤3,通过数据微调(fine-tuning)神经网络:此步骤根据店铺实际画面情况微调神经网络。首先利用摄像头抓取一段店铺门口的视频,摄像头拍摄角度即为后续安装时的角度。时间大致为2~5小时左右。从中挑选出5000张入店行人的帧图像作为fine-tuning的样本,其中包含有如下情况:单个行人,多个并排行人,多个交叉行人,无行人,男孩,男人,老人男,女孩,女人,老人女等。然后按照PASCALVOC2012数据格式标注并整理好数据。将步骤1所述神经网络模型文件使用步骤2中所述基础权重文件进行初始化后,开始微调训练。训练参数选择:同步骤2参数。训练完毕后得到微调(fine-tuning)后的神经网络权重数据文件,进而得到训练好的神经网络模型。
步骤103:当第t帧图像中包括行人时,获得所述行人的参数。所述行人的参数包括:个数、行人位置和特征向量。
具体获取行人的参数包括以下过程:
对于第j个行人,采用所述神经网络模型获得所述第j个行人的子种类,所述子种类为种类“人类”的分类,包括“男孩”、“男人”、“老人男”、“女孩”、“女人”、“老人女”;
获取所述第j个行人的位置矩形Lj=(Xj,Yj,Wj,Hj),其中Xj为所述第j个行人在所述第t帧图像中的横坐标,Yj为所述第j个行人在所述第t帧图像中的纵坐标,Wj为所述第j个行人的位置矩形在所述第t帧图像中的宽度,Hj为所述第j个行人的位置矩形在所述第t帧图像中的高度;
获取所述第j个行人的位置矩形的质心坐标Cj=(x_c,y_c);
获取所述第j个行人对应的特征向量Vj。
步骤104:根据行人的参数对行人进行跟踪。跟踪的过程具体包括:
获取所述第j个行人的索引Uj;
获得所述第j个行人的初始质心坐标ICj;
获得行人被发现的最新帧号Fj;
确定行人被计数状态CSj的值为第一设定值,所述第一设定值表示所述第j个行人被计入经过店铺的总人数中;
判断前t-1帧图像中是否均不包括行人,得到第三判断结果;
当所述第三判断结果表示前t-1帧图像中均不包括行人时,对于第t帧图像中的第j个行人,
将所述第j个行人的质心坐标Cj确定为初始质心坐标ICj;
确定行人被发现的最新帧号Fj的值为0;
确定描述所述第j个行人的数据字典LISTj={id:Uj,loc:Lj,cen:Cj,Vec:Vj,init_L:ICj,fra:Fj,count:CSj};
当所述第三判断结果表示前t-1帧图像中包括行人时,获得所述前t-1帧图像中的行人;
获得所述第t帧图像中的第j个行人与所述前t-1帧图像中的行人的综合距离,得到综合距离的集合Dis(j)={Dis(1,j),Dis(2,j),…,Dis(i,j),…,Dis(n,j)},其中Dis(i,j)表示第t帧图像中的第j个行人与所述前t-1帧图像中第i个跟踪行人的综合距离;
获取所述综合距离的集合中综合距离的最小值Dis(k,j);所述Dis(k,j)为所述前t-1帧图像中第k个行人与所述第t帧图像中的第j个行人的综合距离;
判断所述综合距离的最小值Dis(k,j)是否小于设定距离值,得到第四判断结果;
当所述第四判断结果表示所述综合距离的最小值Dis(k,j)小于设定距离值时,将第j个行人的位置矩形Lj确定为第k个行人的位置矩形;
将第j个行人的位置矩形的质心坐标Cj确定为第k个行人的位置矩形的质心坐标;
将第j个行人的特征向量Vj确定为第k个行人的特征向量;
将第k个行人的被发现的最新帧号Fk确定为t;
将描述所述第k个行人的数据字典更新为LISTk={id:Uk,loc:Lj,cen:Cj,Vec:Vj,init_L:ICk,fra:Fk,count:CSk};其中Uk为所述第k个行人的索引;ICk为所述第k个行人的初始质心坐标;Fk为第k个行人被发现的最新帧号;CSj为第k个行人被计数的状态;
当所述第四判断结果表示所述综合距离的最小值Dis(k,j)不小于设定距离值时,将第j个行人的被发现的最新帧号Fj确定为t;
获得描述所述第j个行人的数据字典LISTj={id:Uj,loc:Lj,cen:Cj,Vec:Vj,init_L:ICj,fra:Fj,count:CSj}。此时,获得的数据字典即为行人的参数表达形式。
步骤105:更新经过店铺的总人数。获取了行人的参数之后,根据行人的参数对行人进行跟踪,避免出现对同一行人重复计数的结果,因此,对行人跟踪后,当有新的行人出现时,将经过店铺的总人数加1,完成更新。
步骤106:判断所述行人是否进入店铺;如果是,执行步骤107,如果否,执行步骤108。判断行人是否进入店铺的过程如下:
获取进入店铺的界线L_C,所述界线的坐标为L_C(X1,Y1,X2,Y2),其中L(X1,Y1)为所述界线与店铺入口的一个交点,C(X2,Y2)为所述界线与店铺入口的另一个交点;
对于第p个行人,获取所述第p个行人的数据字典LISTp={id:Up,loc:Lp,cen:Cp,Vec:Vp,init_L:ICp,fra:Fp,count:CSp};其中Up为所述第p个行人的索引,Lp为所述第p个行人的位置矩形,Cp为所述第p个行人的位置矩形的质心坐标,Vp为所述第p个行人对应的特征向量,ICp为所述第p个行人的初始质心坐标,Fp为第p个行人被发现的最新帧号,CSp为第p个行人被计数的状态;
判断是否满足yp_c>Yc且CSp为0且yp_i<min(Y1,Y2);其中yp_c为第p个行人的位置矩形的质心坐标Cp的纵坐标,Yc=min(Y1,Y2)+(max(Y1,Y2)-min(Y1,Y2))/2,yp_i为初始质心坐标ICp的纵坐标;
当满足yp_c>Yc且CSp为0且yp_i<min(Y1,Y2)时,则确定所述第p个行人进入店铺,将所述第p个行人被计数的状态CSp的值更新为第二设定值,所述第二设定值表示所述第p个行人被计入进入店铺的总人数中;
当不满足yp_c>Yc且CSp为0且yp_i<min(Y1,Y2)时,则确定所述第p个行人未进入店铺。
步骤107:更新进入店铺的总人数。行人进入店铺后,将进入店铺的总人数加1,完成更新。
步骤108:获取收银系统当前的付款笔数。
步骤109:根据更新后的经过店铺的总人数和更新后的进入店铺的总人数,获得进店转化率,当步骤106判断的经过店铺的行人未进入店铺时,进入店铺的总人数无需更新,此时计算进店转化率采用未更新的进入店铺的总人数。此步骤有两种触发条件。条件a)每隔一定时间计算系统主动从计数系统中获取当经过总数和进店总数。条件b)每当计数软件的经过总数或进店总数变化时主动通知计算系统。当以上两种情况中的任一种情况发生时,进行如下计算:进店转化率=进入店铺的总人数/经过店铺的总人数。
步骤110:根据所述更新后的进入店铺的总人数和所述付款笔数,获得付款转化率。付费转化率=进入总数/当前付款总笔数。
步骤111:将行人的参数、进店转化率和付款转化率进行数据组合,得到店铺的数据分析结果。之后将店铺的数据分析结果上传至服务器,并打上时间戳进行存储。计算系统上传数据触发条件为:定时器触发。具体方式为每隔一定时间,计算系统会上传进店总数以及男女数、经过总数以及男女数、进店转化率、付费转化率等运营数据至服务器。服务器收到数据后,将数据组合称为新的记录并打上时间戳存储。
图2为本发明店铺数据分析系统的结构示意图。如图2所示,所述分析系统包括:
视频图像获取模块201,用于获取摄像头拍摄的视频图像,所述视频图像包括多帧图像,所述摄像头安装于店铺的门口斜上方;
行人检测模块202,用于对于第t帧图像,采用基于深度学习的神经网络模型检测所述第t帧图像中是否包括行人,得到第一检测结果;
行人的参数获取模块203,用于当所述第一检测结果表示所述第t帧图像中包括行人时,获得所述行人的参数;所述行人的参数包括:个数、行人位置和特征向量;
行人跟踪模块204,用于根据所述行人的参数对行人进行跟踪;
经过店铺的总人数更新模块205,用于更新经过店铺的总人数;
第二判断模块206,用于判断所述行人是否进入店铺,得到第二判断结果;
进入店铺的总人数更新模块207,用于当所述第二判断结果表示所述行人进入店铺时,更新进入店铺的总人数;
付款笔数获取模块208,用于获取收银系统当前的付款笔数;
进店转化率获取模块209,用于根据更新后的经过店铺的总人数和更新后的进入店铺的总人数,获得进店转化率;
付款转化率获取模块210,用于根据所述更新后的进入店铺的总人数和所述付款笔数,获得付款转化率;
数据分析结果获取模块211,用于将所述行人的参数、所述进店转化率和所述付款转化率进行数据组合,得到所述店铺的数据分析结果。
其中,所述行人检测模块202具体包括:
物体参数检测单元,用于采用所述神经网络模型检测所述第t帧图像中的物体参数,所述物体参数包括物体个数、物体种类、物体位置坐标和物体的特征向量;
物体种类判断单元,用于判断所述物体参数中物体种类是否包括“人类”;
行人确定单元,用于当所述物体种类包括“人类”时,则所述第t帧图像中包括行人,将所述物体种类为“人类”的物体确定为行人;当所述物体种类不包括“人类”时,则所述第t帧图像中不包括行人。
所述第二判断206具体包括:
进入店铺的界线获取单元,用于获取进入店铺的界线L_C,所述界线的坐标为L_C(X1,Y1,X2,Y2),其中L(X1,Y1)为所述界线与店铺入口的一个交点,C(X2,Y2)为所述界线与店铺入口的另一个交点;
数据字典获取单元,对于第p个行人,用于获取所述第p个行人的数据字典LISTp={id:Up,loc:Lp,cen:Cp,Vec:Vp,init_L:ICp,fra:Fp,count:CSp};其中Up为所述第p个行人的索引,Lp为所述第p个行人的位置矩形,Cp为所述第p个行人的位置矩形的质心坐标,Vp为所述第p个行人对应的特征向量,ICp为所述第p个行人的初始质心坐标,Fp为第p个行人被发现的最新帧号,CSp为第p个行人被计数的状态;
判断单元,用于判断是否满足yp_c>Yc且CSp为0且yp_i<min(Y1,Y2);其中yp_c为第p个行人的位置矩形的质心坐标Cp的纵坐标,Yc=min(Y1,Y2)+(max(Y1,Y2)-min(Y1,Y2))/2,yp_i为初始质心坐标ICp的纵坐标;
进入店铺确定单元,当满足yp_c>Yc且CSp为0且yp_i<min(Y1,Y2)时,用于确定所述第p个行人进入店铺,将所述第p个行人被计数的状态CSp的值更新为第二设定值,所述第二设定值表示所述第p个行人被计入进入店铺的总人数中;当不满足yp_c>Yc且CSp为0且yp_i<min(Y1,Y2)时,则确定所述第p个行人未进入店铺。
下面以一个具体实施方式来进行说明:
本技术方案由三个子系统组成,如附图3所示,图3为本发明中信息交互的示意图。
三个子系统分别为:客流计数系统(下文简称计数系统),转化率计算系统(下文简称计算系统),远程云端服务器(以下简称服务器)。
计数系统:由一台安装有支持高性能加速计算软硬件的计算机(下文简称pc),一个普通摄像头(下文简称摄像头),和一套客流计数软件(以下简称计数软件)组成。其上安装计数软件。摄像头与pc数据传输方式为usb数据线或wifi。计算系统通过深度学习检测以及跟踪算法跟踪画面中的每个行人及行动方向。
客流数据统计,目前视觉方案中现有技术大部分采用的是检测画面中行人的hog或者haar特征等其他低级特征的方法来检测行人,此方法由于没有使用到图像的高层视觉特征,检测的客流不太准确,抗形变能力差,对摄像头角度要求高,经常出现误检、漏检的情况;物理方案则很难排除类人的物体,例如大型猫狗,小型运货推车等,因此导致客流数据统计失真。
计算系统:是一套软件系统,可与技术系统一起安装在同一pc上,或单独安装在其他计算机上。计算系统负责计算店铺的转化率以及上传数据至服务器。
服务器:可以是任意接入互联网的主机,其上安装有数据接收软件(下文简称接收软件)和普通数据库。接收软件负责接收来自计算系统的转化率、客户流量数据并存储。
当日客流量转化率的计算过程分为三步:客流统计、转化率计算和数据上传至服务器。
客流计数过程如下:
步骤1,连接好摄像头和pc。pc中安装好计数软件和训练好的神经网络模型与权重文件。pc要保证接入互联网保证以确保计算软件和服务器中接收软件的连接。
步骤2,启动计数软件,计数软件摄像头,同时启动计算软件。摄像头启动后持续拍摄店门实时画面通过wifi/USB传送至pc的计数软件中。计数软件启动定时器T0,计算软件启动定时器T1,T2。
步骤3,计数软件建立1个空行的人数组P_A,用于存放当前全部跟踪到的行人。建立进店总数变量C_E以及分类别变量男孩进店数C_E_male_y、男人进店数C_E_male_m、老人男进店数C_E_male_o、女孩进店数C_E_female_y、女人进店数C_E_female_m、老人女进店数C_E_female_o,经过总数变量P_C=0以及分类别变量男孩经过总数P_C_male_y、男人经过总数P_C_male_m、老人男经过总数P_C_male_o、女孩经过总数P_C_female_y、女人经过总数P_C_female_m、老人女经过总数P_C_female_o,以上变量全部初始化为0。
步骤4,计数软件将拍摄的到的每一帧画面帧输入已经训练好的神经网络,进行行人检测。神经网络针对每帧画面,输出检测到的物体个数、类别、物体的具体位置矩形(x,y,w,h),同时神经网络的每层会产生每个物体的特征向量,后续可供计数软件使用。神经网络会对25类物体进行检测,最终确定被判定为属于“人类”的物体,包含:男孩,男人,老人男,女孩,女人,老人女。在后续的步骤中简化定义“未检测出行人”为:未检测出任何物体或未检测出6个属于人类别的物体。
步骤5,假设画面为第t帧。
假设未检测到任何行人,则只进行步骤6中跟踪行人删除判断和跟踪行人计数判断。
假设第t帧检测出m个行人且P_A为空,说明t-1帧以及之前帧中无满足条件的跟踪行人。则为第t帧第j个行人分配唯一的UUID作为索引,记为Uj。同时记录下第j个行人的位置矩形,记为Lj=(Xj,Yj,Wj,Hj)。同时通过Lj计算第j个行人位置矩形的质心坐标,记为Cj=(x_c,y_c)。同时记录第j个行人由神经网络输出的特征向量,记为Vj。同时记第j个行人的初始质心初始坐标ICj(x_i,y_i)=Cj。同时,记录行人被发现/更新帧号Fj=0。同时,设置行人被计数状态CSj=0。将上述第j个行人的Uj,Lj,Cj,Vj,ICj,Fj,CSj组合成一个用于描述行人的数据字典LISTj={id:Uj,loc:Lj,cen:Cj,Vec:Vj,init_L:ICj,fra:Fj,count:CSj}.
将上述全部m个行人的字典插入P_A中。
将经过总数P_C增加m。
根据检测时判定的类别相应增加其经过总数子类别。例如判断行人为“男孩”,那么此时P_C_female_y增加1。
假设第t帧检测出m个行人且P_A中跟踪行人个数为n。则分别计算第t帧的第k个行人与P_A中n个跟踪行人的综合距离的集合Dis(k)={Dis(1,k),Dis(2,k),…,Dis(j,k),…,Dis(n,k)},其中Dis(j,k)=a*C_D(j,k)+b*V_D(j,k)+c/A_R(j,k)表示第t帧的第k个行人与P_A中第j个跟踪行人的综合距离,其中C_D(j,k)表示第t帧第k个行人和P_A中第j个跟踪行人之间的质心欧式距离,V_D(j,k)表示第t帧第k个行人和P_A中第j个跟踪行人之间的特征向量余弦距离,A_R(j,k)表示第t帧第k个行人和P_A中第j个跟踪行人之间的位置矩形面积重叠的倒数,a,b,c分别是权重系数,0<a<1,0<b<1,0<c<1且a+b+c=1。接着对第t帧画的第k个行人与P_A中全部行人的综合距离集合Dis(k)进行排序,取Dis(k)中最小值。假设第t帧的第k个行人与P_A中第i个跟踪行人综合距离最小值为Dis(i,k),则进行如下判断:如果Dis(i,k)<dis_same(设定距离值),其中dis_same是预先设定好的综合距离判定阈值,那么认为第2帧第k个目标为P_A中第i个跟踪行人的后续,更新P_A中第i个行人的数据字典为LISTi={id:Ui,loc:Lk,cen:Ck,Vec:Vk,init_L:ICi,fra:Fi,count:CSi},令Fi=t;如果Dis(i,k)>dis_same,则认为第t帧中的第k个行人为新目标,在P_A中插入第t帧第k个目标的数据字典LISTk={id:Uk,loc:Lk,cen:Ck,Vec:Vk,init_L:ICk,fra:Fk,count:CSk},ICk=Ck,Fk=t。同时P_C增加1,同时进店总数相应的子类别数增加1:例如判断行人为“男孩”,那么此时P_C_female_y增加1。
步骤6,跟踪行人删除判断。方法如下:在任一帧t完成步骤5后,如前所述对P_A中的每个跟踪行人p,有跟踪字典LISTp={id:Up,loc:Lp,cen:Cp,Vec:Vp,ICp,fra:Fp,count:CSp}。如果t-Fp>5(设定帧数差)或t-Fp=5则视为次行人已经丢失,从P_A删除LISTp;如果t-Fp<5,则观察后续t-Fp帧的跟踪情况而定。
步骤7,进店计数。如附图4所示,图4为本发明店铺数据分析方法中行人计数的示意图;画面中心店门处设置一横线,定义为界线,坐标为L_C(X1,Y1,X2,Y2)。则有Yc=min(Y1,Y2)+(max(Y1,Y2)-min(Y1,Y2))/2。对于每帧t,P_A中的任一跟踪行人LISTp={id:Up,loc:Lp,cen:Cp,Vec:Vp,ICp,fra:Fp,count:CSp},有计数操作如下:
1)如果Cp中y_c>Yc且CSp为0且初始质心坐标ICp中y_i<min(Y1,Y2),则将进入店铺人数C_E加1,设置CSp=1,同时增加进店总数相应的子类别数:例如判断行人为“男孩”,那么此时C_E_female_y增加1;
2)其他情况不进行任何操作;
转化率计算过程如下:
步骤1,计数软件上报数据C_E、C_E_male_y、C_E_male_m、C_E_male_o、C_E_female_y、C_E_female_m、C_E_female_o、P_C、P_C_male_y、P_C_male_m、P_C_male_o、P_C_female_y、P_C_female_m、P_C_female_o给计算软件。计数软件将上述数据组装成适当的http报文发送至计算软件。上报成功后计数软件定时器重置T0。
步骤2,计算软件定时查询C_E、C_E_male_y、C_E_male_m、C_E_male_o、C_E_female_y、C_E_female_m、C_E_female_o、P_C、P_C_male_y、P_C_male_m、P_C_male_o、P_C_female_y、P_C_female_m、P_C_female_o。每当定时器T1触发,计算软件发送http报文给计数软件助农查询上述睡觉。查询成功后定时器T1重置。
步骤3,计算软件每当T1触发或接收到计数软件上报数据,会通过http协议主动的向收银系统查询当日的收银笔数C_P。然后计算付费转化率C_R=C_P/C_E,进店转化率E_R=C_E/P_C。
数据上传过程如下:
步骤1,计算软件发送C_E、C_E_male_y、C_E_male_m、C_E_male_o、C_E_female_y、C_E_female_m、C_E_female_o、P_C、P_C_male_y、P_C_male_m、P_C_male_o、P_C_female_y、P_C_female_m、P_C_female_o、C_P、E_R、C_R给服务器中的接收软件。每当计算软件的T2触发时,计算软件会将上述数据通过http的方式传输给服务器的接收。
步骤2,接收软件存储数据。当接收到来自计算软件的C_E、C_E_male_y、C_E_male_m、C_E_male_o、C_E_female_y、C_E_female_m、C_E_female_o、P_C、P_C_male_y、P_C_male_m、P_C_male_o、P_C_female_y、P_C_female_m、P_C_female_o、C_P、E_R、C_R数据后。接收软件将数据组装成r={id,C_E,C_E_male_y,C_E_male_m,C_E_male_o,C_E_female_y,C_E_female_m,C_E_female_o,P_C,P_C_male_y,P_C_male_m,P_C_male_o,P_C_female_y,P_C_female_m,P_C_female_o,C_P,E_R,C_R,timestamp}格式的记录,插入对应数据库应的表中。
通常店铺客流量,转化率数据一般统计在本地,很容易造成数据的丢失。也不利于日后通过数据挖掘的方式对运营数据进行分析。而采用本发明的方式,则可以降低数据丢失的风险。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种店铺数据分析方法,其特征在于,所述分析方法包括:
获取摄像头拍摄的视频图像,所述视频图像包括多帧图像,所述摄像头安装于店铺的门口斜上方;
对于第t帧图像,采用基于深度学习的神经网络模型检测所述第t帧图像中是否包括行人,得到第一检测结果;
当所述第一检测结果表示所述第t帧图像中包括行人时,获得所述行人的参数;所述行人的参数包括:个数、行人位置和特征向量;具体包括:对于第j个行人,采用所述神经网络模型获得所述第j个行人的子种类,所述子种类为种类“人类”的分类,包括“男孩”、“男人”、“老人男”、“女孩”、“女人”、“老人女”;获取所述第j个行人的位置矩形Lj=(Xj,Yj,Wj,Hj),其中Xj为所述第j个行人在所述第t帧图像中的横坐标,Yj为所述第j个行人在所述第t帧图像中的纵坐标,Wj为所述第j个行人的位置矩形在所述第t帧图像中的宽度,Hj为所述第j个行人的位置矩形在所述第t帧图像中的高度;获取所述第j个行人的位置矩形的质心坐标Cj=(x_c,y_c);获取所述第j个行人对应的特征向量Vj;
根据所述行人的参数对行人进行跟踪;
更新经过店铺的总人数;
判断所述行人是否进入店铺,得到第二判断结果;
当所述第二判断结果表示所述行人进入店铺时,更新进入店铺的总人数;
获取收银系统当前的付款笔数;
根据更新后的经过店铺的总人数和更新后的进入店铺的总人数,获得进店转化率;
根据所述更新后的进入店铺的总人数和所述付款笔数,获得付款转化率;
将所述行人的参数、所述进店转化率和所述付款转化率进行数据组合,得到所述店铺的数据分析结果。
2.根据权利要求1所述的分析方法,其特征在于,所述对于第t帧图像,采用基于深度学习的神经网络模型检测所述第t帧图像中是否包括行人,得到第一检测结果,具体包括:
采用所述神经网络模型检测所述第t帧图像中的物体参数,所述物体参数包括物体个数、物体种类、物体位置坐标和物体的特征向量;
判断所述物体参数中物体种类是否包括“人类”;
当所述物体种类包括“人类”时,则所述第t帧图像中包括行人,将所述物体种类为“人类”的物体确定为行人;
当所述物体种类不包括“人类”时,则所述第t帧图像中不包括行人。
3.根据权利要求1所述的分析方法,其特征在于,所述根据所述行人的参数对行人进行跟踪,具体包括:
获取所述第j个行人的索引Uj;
获得所述第j个行人的初始质心坐标ICj;
获得行人被发现的最新帧号Fj;
确定行人被计数状态CSj的值为第一设定值,所述第一设定值表示所述第j个行人被计入经过店铺的总人数中;
判断前t-1帧图像中是否均不包括行人,得到第三判断结果;
当所述第三判断结果表示前t-1帧图像中均不包括行人时,对于第t帧图像中的第j个行人,
将所述第j个行人的质心坐标Cj确定为初始质心坐标ICj;
确定行人被发现的最新帧号Fj的值为0;
确定描述所述第j个行人的数据字典LISTj={id:Uj,loc:Lj,cen:Cj,Vec:Vj,init_L:ICj,fra:Fj,count:CSj};
当所述第三判断结果表示前t-1帧图像中包括行人时,获得所述前t-1帧图像中的行人;
获得所述第t帧图像中的第j个行人与所述前t-1帧图像中的行人的综合距离,得到综合距离的集合Dis(j)={Dis(1,j),Dis(2,j),…,Dis(i,j),…,Dis(n,j)},其中Dis(i,j)表示第t帧图像中的第j个行人与所述前t-1帧图像中第i个跟踪行人的综合距离;
获取所述综合距离的集合中综合距离的最小值Dis(k,j);所述Dis(k,j)为所述前t-1帧图像中第k个行人与所述第t帧图像中的第j个行人的综合距离;
判断所述综合距离的最小值Dis(k,j)是否小于设定距离值,得到第四判断结果;
当所述第四判断结果表示所述综合距离的最小值Dis(k,j)小于设定距离值时,将第j个行人的位置矩形Lj确定为第k个行人的位置矩形;
将第j个行人的位置矩形的质心坐标Cj确定为第k个行人的位置矩形的质心坐标;
将第j个行人的特征向量Vj确定为第k个行人的特征向量;
将第k个行人的被发现的最新帧号Fk确定为t;
将描述所述第k个行人的数据字典更新为LISTk={id:Uk,loc:Lj,cen:Cj,Vec:Vj,init_L:ICk,fra:Fk,count:CSk};其中Uk为所述第k个行人的索引;ICk为所述第k个行人的初始质心坐标;Fk为第k个行人被发现的最新帧号;CSj为第k个行人被计数的状态;
当所述第四判断结果表示所述综合距离的最小值Dis(k,j)不小于设定距离值时,将第j个行人的被发现的最新帧号Fj确定为t;
获得描述所述第j个行人的数据字典LISTj={id:Uj,loc:Lj,cen:Cj,Vec:Vj,init_L:ICj,fra:Fj,count:CSj}。
4.根据权利要求3所述的分析方法,其特征在于,所述获得描述所述第j个行人的数据字典LISTj={id:Uj,loc:Lj,cen:Cj,Vec:Vj,init_L:ICj,fra:Fj,count:CSj},之后还包括:
计算t-Fj的值m;
判断m是否小于设定帧数差,得到第五判断结果;
当所述第五判断结果表示m不小于设定帧数差时,删除所述描述所述第j个行人的数据字典LISTj={id:Uj,loc:Lj,cen:Cj,Vec:Vj,init_L:ICj,fra:Fj,count:CSj}。
5.根据权利要求3所述的分析方法,其特征在于,所述判断所述行人是否进入店铺,具体包括:
获取进入店铺的界线L_C,所述界线的坐标为L_C(X1,Y1,X2,Y2),其中L(X1,Y1)为所述界线与店铺入口的一个交点,C(X2,Y2)为所述界线与店铺入口的另一个交点;
对于第p个行人,获取所述第p个行人的数据字典LISTp={id:Up,loc:Lp,cen:Cp,Vec:Vp,init_L:ICp,fra:Fp,count:CSp};其中Up为所述第p个行人的索引,Lp为所述第p个行人的位置矩形,Cp为所述第p个行人的位置矩形的质心坐标,Vp为所述第p个行人对应的特征向量,ICp为所述第p个行人的初始质心坐标,Fp为第p个行人被发现的最新帧号,CSp为第p个行人被计数的状态;
判断是否满足yp_c>Yc且CSp为0且yp_i<min(Y1,Y2);其中yp_c为第p个行人的位置矩形的质心坐标Cp的纵坐标,Yc=min(Y1,Y2)+(max(Y1,Y2)-min(Y1,Y2))/2,yp_i为初始质心坐标ICp的纵坐标;
当满足yp_c>Yc且CSp为0且yp_i<min(Y1,Y2)时,则确定所述第p个行人进入店铺,将所述第p个行人被计数的状态CSp的值更新为第二设定值,所述第二设定值表示所述第p个行人被计入进入店铺的总人数中;
当不满足yp_c>Yc且CSp为0且yp_i<min(Y1,Y2)时,则确定所述第p个行人未进入店铺。
6.根据权利要求1所述的分析方法,其特征在于,所述将所述行人的参数、所述进店转化率和所述付款转化率进行数据组合,得到所述店铺的数据分析结果,之后还包括:
将所述店铺的数据分析结果上传至服务器,并打上时间戳进行存储。
7.一种店铺数据分析系统,其特征在于,所述分析系统包括:
视频图像获取模块,用于获取摄像头拍摄的视频图像,所述视频图像包括多帧图像,所述摄像头安装于店铺的门口斜上方;
行人检测模块,用于对于第t帧图像,采用基于深度学习的神经网络模型检测所述第t帧图像中是否包括行人,得到第一检测结果;
行人的参数获取模块,用于当所述第一检测结果表示所述第t帧图像中包括行人时,获得所述行人的参数;所述行人的参数包括:个数、行人位置和特征向量;具体包括:对于第j个行人,采用所述神经网络模型获得所述第j个行人的子种类,所述子种类为种类“人类”的分类,包括“男孩”、“男人”、“老人男”、“女孩”、“女人”、“老人女”;获取所述第j个行人的位置矩形Lj=(Xj,Yj,Wj,Hj),其中Xj为所述第j个行人在所述第t帧图像中的横坐标,Yj为所述第j个行人在所述第t帧图像中的纵坐标,Wj为所述第j个行人的位置矩形在所述第t帧图像中的宽度,Hj为所述第j个行人的位置矩形在所述第t帧图像中的高度;获取所述第j个行人的位置矩形的质心坐标Cj=(x_c,y_c);获取所述第j个行人对应的特征向量Vj;
行人跟踪模块,用于根据所述行人的参数对行人进行跟踪;
经过店铺的总人数更新模块,用于更新经过店铺的总人数;
第二判断模块,用于判断所述行人是否进入店铺,得到第二判断结果;
进入店铺的总人数更新模块,用于当所述第二判断结果表示所述行人进入店铺时,更新进入店铺的总人数;
付款笔数获取模块,用于获取收银系统当前的付款笔数;
进店转化率获取模块,用于根据更新后的经过店铺的总人数和更新后的进入店铺的总人数,获得进店转化率;
付款转化率获取模块,用于根据所述更新后的进入店铺的总人数和所述付款笔数,获得付款转化率;
数据分析结果获取模块,用于将所述行人的参数、所述进店转化率和所述付款转化率进行数据组合,得到所述店铺的数据分析结果。
8.根据权利要求7所述的分析系统,其特征在于,所述行人检测模块具体包括:
物体参数检测单元,用于采用所述神经网络模型检测所述第t帧图像中的物体参数,所述物体参数包括物体个数、物体种类、物体位置坐标和物体的特征向量;
物体种类判断单元,用于判断所述物体参数中物体种类是否包括“人类”;
行人确定单元,用于当所述物体种类包括“人类”时,则所述第t帧图像中包括行人,将所述物体种类为“人类”的物体确定为行人;当所述物体种类不包括“人类”时,则所述第t帧图像中不包括行人。
9.根据权利要求7所述的分析系统,其特征在于,所述第二判断模块具体包括:
进入店铺的界线获取单元,用于获取进入店铺的界线L_C,所述界线的坐标为L_C(X1,Y1,X2,Y2),其中L(X1,Y1)为所述界线与店铺入口的一个交点,C(X2,Y2)为所述界线与店铺入口的另一个交点;
数据字典获取单元,对于第p个行人,用于获取所述第p个行人的数据字典LISTp={id:Up,loc:Lp,cen:Cp,Vec:Vp,init_L:ICp,fra:Fp,count:CSp};其中Up为所述第p个行人的索引,Lp为所述第p个行人的位置矩形,Cp为所述第p个行人的位置矩形的质心坐标,Vp为所述第p个行人对应的特征向量,ICp为所述第p个行人的初始质心坐标,Fp为第p个行人被发现的最新帧号,CSp为第p个行人被计数的状态;
判断单元,用于判断是否满足yp_c>Yc且CSp为0且yp_i<min(Y1,Y2);其中yp_c为第p个行人的位置矩形的质心坐标Cp的纵坐标,Yc=min(Y1,Y2)+(max(Y1,Y2)-min(Y1,Y2))/2,yp_i为初始质心坐标ICp的纵坐标;
进入店铺确定单元,当满足yp_c>Yc且CSp为0且yp_i<min(Y1,Y2)时,用于确定所述第p个行人进入店铺,将所述第p个行人被计数的状态CSp的值更新为第二设定值,所述第二设定值表示所述第p个行人被计入进入店铺的总人数中;当不满足yp_c>Yc且CSp为0且yp_i<min(Y1,Y2)时,则确定所述第p个行人未进入店铺。
CN201810339387.1A 2018-04-16 2018-04-16 一种店铺数据分析方法及系统 Active CN108537828B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810339387.1A CN108537828B (zh) 2018-04-16 2018-04-16 一种店铺数据分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810339387.1A CN108537828B (zh) 2018-04-16 2018-04-16 一种店铺数据分析方法及系统

Publications (2)

Publication Number Publication Date
CN108537828A CN108537828A (zh) 2018-09-14
CN108537828B true CN108537828B (zh) 2020-12-04

Family

ID=63480350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810339387.1A Active CN108537828B (zh) 2018-04-16 2018-04-16 一种店铺数据分析方法及系统

Country Status (1)

Country Link
CN (1) CN108537828B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109658128A (zh) * 2018-11-19 2019-04-19 浙江工业大学 一种基于yolo和质心跟踪的门店入店率统计方法
CN110378931A (zh) * 2019-07-10 2019-10-25 成都数之联科技有限公司 一种基于多摄像头的行人目标移动轨迹获取方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1521640A (zh) * 2003-02-14 2004-08-18 ٷ� 用于分派数字内容的系统和方法以及一种边缘服务器
CN102713955A (zh) * 2009-07-29 2012-10-03 肖普基克公司 用于出现的检测的方法和系统
CN107609960A (zh) * 2017-10-18 2018-01-19 口碑(上海)信息技术有限公司 推荐理由生成方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011011930A1 (de) * 2011-02-18 2012-08-23 Hella Kgaa Hueck & Co. Verfahren und System zur Bestimmung einer Anzahl von Übergangsobjekten
US9390334B2 (en) * 2011-03-31 2016-07-12 Panasonic Intellectual Property Management Co., Ltd. Number of persons measurement device
US9552522B2 (en) * 2014-01-11 2017-01-24 Verint Systems Ltd. Counting and monitoring method using face detection
US10262328B2 (en) * 2014-04-25 2019-04-16 Conduent Business Services, Llc System and method for video-based detection of drive-offs and walk-offs in vehicular and pedestrian queues

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1521640A (zh) * 2003-02-14 2004-08-18 ٷ� 用于分派数字内容的系统和方法以及一种边缘服务器
CN102713955A (zh) * 2009-07-29 2012-10-03 肖普基克公司 用于出现的检测的方法和系统
CN107609960A (zh) * 2017-10-18 2018-01-19 口碑(上海)信息技术有限公司 推荐理由生成方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Automated image-based tracking and its application in ecology;Dell, A. I., et.al;《Trends in ecology & evolution》;20141231;全文 *

Also Published As

Publication number Publication date
CN108537828A (zh) 2018-09-14

Similar Documents

Publication Publication Date Title
CN104303193B (zh) 基于聚类的目标分类
US20230222844A1 (en) Parking lot management and control method based on object activity prediction, and electronic device
CN110399835B (zh) 一种人员停留时间的分析方法、装置及系统
US11875569B2 (en) Smart video surveillance system using a neural network engine
CN101095149A (zh) 图像比较
CN110569754A (zh) 图像目标检测方法、装置、存储介质及设备
CN110717358B (zh) 访客人数统计方法、装置、电子设备及存储介质
CN108537828B (zh) 一种店铺数据分析方法及系统
KR102260123B1 (ko) 지역내 이벤트감지장치 및 그 장치의 구동방법
CN111259868A (zh) 基于卷积神经网络的逆行车辆检测方法、系统及介质
CN111814510A (zh) 一种遗留物主体检测方法及装置
CN113052039B (zh) 一种交通路网行人密度检测的方法、系统及服务器
CN111353338A (zh) 一种基于营业厅视频监控的能效改进方法
US11948373B2 (en) Automatic license plate recognition
CN114721403B (zh) 基于OpenCV的自动驾驶控制方法、装置及存储介质
CN112800841A (zh) 一种行人计数方法、装置、系统及计算机可读存储介质
CN116110127A (zh) 一种多联动的加油站套现行为识别系统
JP6893812B2 (ja) 物体検出装置
US20230154192A1 (en) Person flow analysis method and system, electronic device, and readable storage medium
Thomanek et al. A scalable system architecture for activity detection with simple heuristics
CN114926764A (zh) 一种工业场景下的遗留物检测方法和系统
Guo et al. ANMS: attention-based non-maximum suppression
CN110956644B (zh) 一种运动轨迹确定方法及系统
CN110717544A (zh) 一种垂直鱼眼镜头下行人属性分析方法及系统
US20230360402A1 (en) Video-based public safety incident prediction system and method therefor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant