CN112200112A - 一种店铺全景人群热力分析的系统 - Google Patents

一种店铺全景人群热力分析的系统 Download PDF

Info

Publication number
CN112200112A
CN112200112A CN202011118125.6A CN202011118125A CN112200112A CN 112200112 A CN112200112 A CN 112200112A CN 202011118125 A CN202011118125 A CN 202011118125A CN 112200112 A CN112200112 A CN 112200112A
Authority
CN
China
Prior art keywords
data
dimensional
panoramic
shop
heat map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011118125.6A
Other languages
English (en)
Inventor
翟祥龙
张子鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yantai Chuangyi Software Co ltd
Original Assignee
Yantai Chuangyi Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yantai Chuangyi Software Co ltd filed Critical Yantai Chuangyi Software Co ltd
Priority to CN202011118125.6A priority Critical patent/CN112200112A/zh
Publication of CN112200112A publication Critical patent/CN112200112A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明具体涉及一种店铺全景人群热力分析的系统,包括感知与处理模块,数据库模块,以及用户模块,感知与处理模块包括用于负责原始数据的获得与数据分析处理的相机,以及将人群检测的结果生成热图效果的数据处理终端,热图效果用于将热图信息与图像信息进一步生成二维全景、三维场景的热图;数据库模块包括用于负责数据去重、数据上传、以及数据库其他操作的数据库服务器;用户模块包括用于通过电脑、平板、手机等终端设备进行画面展示和数据分析展示截面的API终端,并且为用户提供API,使用户高效地查询店铺人群信息。能够以实现较准确的对店铺人群热力分析,同时结合店铺实景进行展示二维、三维全景多角度,并提高用户体验感。

Description

一种店铺全景人群热力分析的系统
技术领域
本发明属于物联网技术领域,具体涉及一种店铺全景人群热力分析的系统。
背景技术
在商场的日常管理和运行模式设定和调整中,为了有效的提高商场管理水品和管理工作的有效性,需要对商场在日常运行中的商品销售情况及顾客的流动、分布及购买情况进行全程的监控并分析,商家希望对人流进行热力分析,分析数据经后处理,可对商场布置、货品摆放等等提供设计参考,而当前主要是通过日常的营业报表进行间接的分析,且分析过程也主要是通过工作人员根据经验和报表数据判断,因此分析的数据可靠性不足,且工作效率低下。
针对这一现状,迫切需要开发一种新型商场信息大数据分析系统,以满足实际使用的需要在商场的日常管理和运行模式设定和调整中,为了有效的提高商场管理水品和管理工作的有效性,需要对商场在日常运行中的商品销售情况及顾客的流动、分布及购买情况进行全程的监控并分析。
现有客流检测与分析方法上,有的使用一组无关联的相机,分别对特定店铺局部场景进行数据采集;有的通过分析wifi信号,在手机或其他终端设备接入wifi后分析得到定位数据,这种方式必须要求客户打开wifi,而且需要密集部署,成本较高;有的通过额外附加红外检测等检测设备或传感器检测人的位置,结合相机分析数据,检测效果与店铺环境没有很好的融合。
在数据的表现方式上,对虚拟场景展示的传统手段通常是静态的平面图片和动态的视频。静态图片只能提供场景的某一个角度图像,即使是广角镜头,也不能有效全面的对场景进行表现;而动态视频虽然可以让用户对场景有全面的了解,可图像视角依然有限,观看方式取决于拍摄者的拍摄方式,并不自由。还有的只是单一位置全景相机(如鱼眼相机,或相机组),形成的最终效果是某一位置的360度全景图,无法完整覆盖较大店铺以及区域间有遮挡物的店铺。
利用上述方法得到的人群热力图生成的结果与店铺实景相分离,处理结果不能与店铺真实环境相结合,生成结果也非店铺全景;而且在不同相机/传感器获取的数据之间找不到关联性;而通过分析wifi信号获得人流数据的方法,因为存在客户终端未连wifi的情况,所以并不准确,如果要求客户进店佩戴某种信号发射终端,则会降低用户体验,而且wifi检测需要密集部署,成本较高。
因此,一种能够准确获取人群热力,并结合店铺实景进行人群热力分析,提高用户购买体验的店铺人群热力分析系统是商家亟需解决的问题。
发明内容
针对现有技术存在的问题,本发明主要目的是提供一种店铺全景人群热力分析的系统,以实现较准确的对店铺人群热力分析,同时结合店铺实景进行展示二维、三维全景多角度,并提高用户体验感。
为达到上述目的,本发明采取的技术方案是:一种店铺全景人群热力分析的系统,包括感知与处理模块,数据库模块,以及用户模块,所述感知与处理模块包括用于负责原始数据的获得与数据分析处理的相机,以及将人群检测的结果生成热图效果的数据处理终端,所述热图效果用于将热图信息与图像信息进一步生成二维全景、三维场景的热图,所述数据去重,会将拍摄重叠区域的目标进行去重处理;
所述数据库模块包括用于数据库增删改查相关操作的数据库服务器;
所述用户模块包括用于通过电脑、平板、手机等终端设备进行画面展示和数据分析展示截面的API终端,并且为用户提供API,使用户高效地查询店铺人群信息。
上述的店铺全景人群热力分析的系统,所述相机包括安装在店铺各监测区域的单目相机、深度相机,用于获得相关监测区域的图片/视频数据,并通过有线/无线网络保存在存储服务器;所述数据处理终端利用机器学习算法对采集的数据进行检测,随后服务器将检测结果与原始数据结合,形成全景效果,最终整合为店铺全景热图结果数据。上述全景效果分为二维全景图和三维全景图:对二维全景图,是根据检测坐标形成单张图片的热图效果后,变换矩阵将各图拼接成全景热图效果;对三维全景图,是使用俯视视角获得的检测坐标,在三维场景构建后,将去重坐标形成的热图效果投影到相应地面位置上。
上述的店铺全景人群热力分析的系统,所述数据处理终端还包括一店铺人群检测模块,所述店铺人群检测模块通过前期采集数据制作的数据集,经机器学习训练得到模型,并选择检测所述相机组共同拍摄的时段,只对共同时段的数据进行目标识别,生成背景图和检测目标坐标。
上述的店铺全景人群热力分析的系统,所述深度相机获取二维和/或三维信息,所述数据处理终端将二维和/或三维信息生成二维和/或三维效果,将检测目标坐标整合,生成二维和/或三维店铺热图效果。
上述的店铺全景人群热力分析的系统,所述数据处理终端包括数据去重模块,所述数据去重模块根据所述相机的变换矩阵和相关数据检查并去除相重叠的检测目标坐标/检测框,上传数据。
上述的店铺全景人群热力分析的系统,所述数据库模块,用于保存数据处理结果,并提供数据增删改查服务。
上述的店铺全景人群热力分析的系统,所述API终端包括数据展示模块,用于访问所述数据库模块保存的结果数据或结果保存路径,生成并展示统计曲线、二维和/或三维店铺热图效果。
通过上述一种店铺全景人群热力分析的系统的有益效果是:与现有技术相比,本发明可对商场或人流密度大流动性大区域的不同时间段、不同区域的人群流量进行分析,形成全景数据结果,并且无观察角度限制,利用三维/二维展示店铺环境,得到分析数据后对整体经营进行改善,提高用户的购买体验。
附图说明
图1为店铺人群热力分析系统整体结构工作示意图;
图2为本系统货架管理系统工作流程图;
图3为本系统相机安装位置示意图;
图4为本系统店铺人群检测工作示意图;
图5为本系统店铺人群检测效果生成工作示意图;
图6为本系统数据去重工作示意图。
具体实施方式
为进一步说明本发明的技术方案,下面结合附图及具体实施方式对本发明进行详细说明。
一种店铺全景人群热力分析的系统,包括感知与处理模块,数据库模块,以及用户模块,感知与处理模块包括用于负责原始数据的获得与数据分析处理的相机,以及将人群检测的结果生成热图效果的数据处理终端,热图效果用于将热图信息与图像信息进一步生成二维全景、三维场景的热图,所述数据去重,会将拍摄重叠区域的目标进行去重处理;
数据库模块包括用于数据库增删改查相关操作的数据库服务器;
用户模块包括用于通过电脑、平板、手机等终端设备进行画面展示和数据分析展示截面的API终端,并且为用户提供API,使用户高效地查询店铺人群信息。
相机包括安装在店铺各监测区域的单目相机、深度相机,用于获得相关监测区域的图片/视频数据,并通过有线/无线网络保存在存储服务器;数据处理终端利用机器学习算法对采集的数据进行检测,随后服务器将检测结果与原始数据结合,形成全景效果,最终整合为店铺全景热图结果数据。全景效果分为二维全景图和三维全景图:对二维全景图,是根据检测坐标形成单张图片的热图效果后,变换矩阵将各图拼接成全景热图效果;对三维全景图,是使用俯视视角获得的检测坐标,在三维场景构建后,将去重坐标形成的热图效果投影到相应地面位置上。
数据处理终端还包括一店铺人群检测模块,所述店铺人群检测模块通过前期采集数据制作的数据集,经机器学习训练得到模型,并选择检测所述相机组共同拍摄的时段,只对共同时段的数据进行目标识别,生成背景图和检测目标坐标。
深度相机获取二维和/或三维信息,数据库处理终端将二维和/或三维信息生成二维和/或三维效果,将检测目标坐标整合,生成二维和/或三维店铺热图效果。
数据处理终端包括数据去重模块,数据去重模块根据所述相机的变换矩阵和相关数据检查并去除相重叠的检测目标坐标/检测框,上传数据。
数据库模块,用于保存数据处理结果,并提供数据增删改查服务。
API终端包括数据展示模块,用于访问所述数据库模块保存的结果数据或结果保存路径,生成并展示统计曲线、二维和/或三维店铺热图效果。
具体如下:
如图1-3所示,使用多相机(单目相机、双目相机)终端获取视频或图像数据,使用深度学习、图像处理等算法在服务器对获得的图像数据进行分析、处理、去重,生成二维与三维的全店全景热图效果,去重后的数据会上传数据库,最终在展示页面按用户输入的分析区域呈现效果与各种数据分析图表,可进行三维立体热区展示和二维全景热区展示。相关数据库数据也可按不同需求(如,选择不同展示色谱),进行调用,按需生成不同效果。
1、店铺人群热力分析系统结构
本发明提出的店铺人群热力分析系统包含,感知与处理模块,数据库模块以及用户模块。
(1)感知与处理模块:本模块负责原始数据的获得与数据分析处理,因为拍摄终端也可设为边缘端数据处理设备,所以这里将两个功能视为一个模块。人群检测的结果会生成热图效果,假设同一人或不同人在同一位置,如果停留越久,该位置热度越高。数据去重后,热图信息与图像信息会进一步生成二维全景、三维场景的热图,同时数据上传数据库。其中,数据去重,会将拍摄重叠区域的目标进行去重处理。
(2)数据库模块:本模块负责数据库增删改查操作,用于存储数据,并为感知与处理模块及用户模块提供数据支撑。
(3)用户模块:本模块通过电脑,平板,手机等终端设备进行画面展示和数据分析展示,并且为用户提供API,使用户高效地查询店铺人群信息。
2、店铺人群热力分析系统总体方案
本系统数据由安装在店铺各监测区域的单目相机、深度相机获得。首先,安装在相关监测区域的相机获得图片/视频数据,数据通过有线/无线网络保存在存储服务器。分析服务器会利用机器学习算法对采集的数据进行检测,随后服务器将检测结果与原始数据结合,形成全景效果,最终整合为店铺全景热图结果数据。
本系统的实施例还提供一种可进行检测分析的边缘端服务器,该边缘端设备可完成数据采集与人群检测处理(也可选择主服务器处理)。后期结果处理与效果生成一般使用主服务器,如边缘端性能足够,也可边缘端完成。效果生成包括热图效果生成,图像拼接,resize图像等。
3、关于相机的安装:相机呈网格状(如图3所示)安装在楼层顶板,镜头竖直向下或略有倾斜,相邻相机视野有重叠,且总视野能覆盖监视区域。
如图4所示:关于生成检测目标坐标和背景图,本系统的精度主要取决于训练模型。通过前期采集数据制作的数据集,经机器学习训练可得到模型,模型可根据需要,使用新结构或新数据再训练、再部署。
(1)对视频进行目标检测之前,默认选择检测相机组共同拍摄的时段,从而只对共同时段的数据进行目标识别,使得接下来图像拼接时数据具有一致性。目标检测时使用原始视频/图像数据,以提升检测精度;
(2)遍历各相机数据,对数据进行目标检测,获取坐标与ID;
(3)从各相机获得无人背景图,进行相关图像处理。
如图5所示:关于生成热图效果,遍历各相机进行检测后,需要进行热图效果生成和二维三维效果生成,得到全景热图。通过深度相机可获取三维信息,这些在处理服务器生成三维效果,整合检测点数据后,可以生成三维全景店铺热图效果和二维全景平面图热图效果。其中,三维全景店铺热图效果可以多角度查看,而且与店铺环境相结合;二维店铺全景热图结合拍摄背景展示,背景图拼接可选择多种模式,包括但不限于:自动特征匹配拼接、人工选点匹配拼接、直接拼接、平面布置图展示等。
如图6所示:关于数据去重和数据展示,三维全景生成或特征匹配模式进行拼接时,会存在不同相机检测位置重叠的情况,所以检测点数据上传数据库前,会根据变换矩阵和先关数据检查并去除相重叠的检测坐标/检测框,然后再上传数据库。Web端会根据用户在效果图选定的区域,查询检测数据,生成统计曲线等相关展示效果。
数据展示时,坐标检测与其他数据可以多种方式生成效果,包括但不限于:基于店铺全景3D效果的热图、基于店铺全景平面图的热图、多区域热度数据分析曲线图等。
(1)输入拼接变换数据与深度数据;
(2)遍历投影变换后的坐标点,判断是否在重叠区域,不保留冗余坐标;
(3)去重数据上传到数据库;
根据用户请求的区域信息,使用数据库数据生成各种数据分析图。
通过上述技术方案,本发明与现有技术相比,取得以下有益效果:1、可对商场、超市等不同时间段不同区域的人群流量进行分析,形成全景数据结果;2、三维效果展示无观察位置限制,无观察角度限制。二维效果展示结合店铺环境图像;3、使用神经网络、深度学习,适用多场景,后期可补充数据使精度持续提升;4、根据生成的店铺全景热图效果合理布局店铺,提高顾客购物体验。
上述实施例只是为了说明本发明的结构构思和特点,其目的在于让本领域内的普通技术人员能够了解本发明的内容并据以实施,并不能以此限定本发明的保护范围。凡是根据本发明内容的实质所做出的等效变化或修饰,都应该涵盖在本发明的保护范围之内。

Claims (7)

1.一种店铺全景人群热力分析的系统,包括感知与处理模块,数据库模块,以及用户模块,其特征在于:
所述感知与处理模块包括用于负责原始数据的获得与数据分析处理的相机,以及将人群检测的结果生成热图效果的数据处理终端,所述热图效果用于将热图信息与图像信息进一步生成二维全景、三维场景的热图,所述数据去重,会将拍摄重叠区域的目标进行去重处理;
所述数据库模块包括用于数据库增删改查相关操作的数据库服务器;
所述用户模块包括用于通过电脑、平板、手机等终端设备进行画面展示和数据分析展示截面的API终端,并且为用户提供API,使用户高效地查询店铺人群信息。
2.根据权利要求1所述的店铺全景人群热力分析的系统,其特征是:所述相机包括安装在店铺各监测区域的单目相机、深度相机,用于获得相关监测区域的图片/视频数据,并通过有线/无线网络将数据保存在存储服务器;所述数据处理终端利用机器学习算法对采集的数据进行检测,随后服务器将检测结果与原始数据结合,形成全景效果,最终整合为店铺全景热图结果数据。
3.根据权利要求2所述的店铺全景人群热力分析的系统,其特征是:所述数据处理终端还包括一店铺人群检测模块,所述店铺人群检测模块通过前期采集数据制作的数据集,经机器学习训练得到模型,并选择检测所述相机组共同拍摄的时段,只对共同时段的数据进行目标识别,生成背景图和检测目标坐标。
4.根据权利要求3所述的店铺全景人群热力分析的系统,其特征是:所述深度相机获取二维和/或三维信息,所述数据处理终端将二维和/或三维信息生成二维和/或三维效果,将检测目标坐标整合,生成二维和/或三维店铺热图效果。
5.根据权利要求4所述的店铺全景人群热力分析的系统,其特征是:所述数据处理终端包括数据去重模块,所述数据去重模块根据所述相机的变换矩阵和相关数据检查并并去除相重叠的检测目标坐标/检测框,上传数据至数据库。
6.根据权利要求5所述的店铺全景人群热力分析的系统,其特征是:所述数据库,用于保存数据处理结果,并提供数据增删改查服务。
7.根据权利要求6所述的店铺全景人群热力分析的系统,其特征是:所述API终端包括数据展示模块,用于访问所述数据库模块保存的结果数据或结果保存路径,生成并展示统计曲线、热图等相关展示效果。
CN202011118125.6A 2020-10-19 2020-10-19 一种店铺全景人群热力分析的系统 Pending CN112200112A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011118125.6A CN112200112A (zh) 2020-10-19 2020-10-19 一种店铺全景人群热力分析的系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011118125.6A CN112200112A (zh) 2020-10-19 2020-10-19 一种店铺全景人群热力分析的系统

Publications (1)

Publication Number Publication Date
CN112200112A true CN112200112A (zh) 2021-01-08

Family

ID=74008811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011118125.6A Pending CN112200112A (zh) 2020-10-19 2020-10-19 一种店铺全景人群热力分析的系统

Country Status (1)

Country Link
CN (1) CN112200112A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017162014A (ja) * 2016-03-07 2017-09-14 株式会社リコー 通信端末、画像通信システム、表示方法、及びプログラム
CN108287533A (zh) * 2018-02-08 2018-07-17 武汉智丽丰信息科技有限公司 一种基于vr全景展示的工业制造数据采集系统
CN109978753A (zh) * 2017-12-28 2019-07-05 北京京东尚科信息技术有限公司 绘制全景热力图的方法和装置
CN110543867A (zh) * 2019-09-09 2019-12-06 北京航空航天大学 一种多摄像头条件下的人群密度估测系统及方法
CN110619807A (zh) * 2018-06-20 2019-12-27 北京京东尚科信息技术有限公司 生成全局热力图的方法和装置
CN111191637A (zh) * 2020-02-26 2020-05-22 电子科技大学中山学院 一种基于无人机视频采集的人群聚集度检测及呈现方法
CN111212380A (zh) * 2020-02-14 2020-05-29 深圳震有科技股份有限公司 指定区域人员流动监测处理方法及装置、设备、介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017162014A (ja) * 2016-03-07 2017-09-14 株式会社リコー 通信端末、画像通信システム、表示方法、及びプログラム
CN109978753A (zh) * 2017-12-28 2019-07-05 北京京东尚科信息技术有限公司 绘制全景热力图的方法和装置
CN108287533A (zh) * 2018-02-08 2018-07-17 武汉智丽丰信息科技有限公司 一种基于vr全景展示的工业制造数据采集系统
CN110619807A (zh) * 2018-06-20 2019-12-27 北京京东尚科信息技术有限公司 生成全局热力图的方法和装置
CN110543867A (zh) * 2019-09-09 2019-12-06 北京航空航天大学 一种多摄像头条件下的人群密度估测系统及方法
CN111212380A (zh) * 2020-02-14 2020-05-29 深圳震有科技股份有限公司 指定区域人员流动监测处理方法及装置、设备、介质
CN111191637A (zh) * 2020-02-26 2020-05-22 电子科技大学中山学院 一种基于无人机视频采集的人群聚集度检测及呈现方法

Similar Documents

Publication Publication Date Title
US10977818B2 (en) Machine learning based model localization system
US10277836B2 (en) Communication terminal, image management apparatus, image processing system, method for controlling display, and computer program product
AU2013315491B2 (en) Methods, devices and systems for detecting objects in a video
US9210385B2 (en) Method and system for metadata extraction from master-slave cameras tracking system
US20190208177A1 (en) Three-dimensional model generating device and three-dimensional model generating method
JP6184271B2 (ja) 撮像管理装置、撮像管理システムの制御方法およびプログラム
JP5093053B2 (ja) 電子カメラ
CN111046725B (zh) 一种基于监控视频的人脸识别和点云融合的空间定位方法
JP6182607B2 (ja) 映像監視システム、監視装置
Kawanishi et al. Shinpuhkan2014: A multi-camera pedestrian dataset for tracking people across multiple cameras
KR101181967B1 (ko) 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
US9842268B1 (en) Determining regions of interest based on user interaction
CN112085534B (zh) 一种关注度分析方法、系统及存储介质
US20230394834A1 (en) Method, system and computer readable media for object detection coverage estimation
CN113298708A (zh) 三维房型的生成方法、装置及设备
Dabove et al. Close range photogrammetry with tablet technology in post-earthquake scenario: Sant’Agostino church in Amatrice
JP2017028688A (ja) 画像管理装置、画像管理方法及びプログラム
CN112200112A (zh) 一种店铺全景人群热力分析的系统
KR102152319B1 (ko) 3d 공간상에서 객체의 위치와 크기를 계산하는 방법 및 이를 이용한 영상관제시스템
KR101036107B1 (ko) 고유식별 정보를 이용한 증강 현실 구현시스템
KR101997799B1 (ko) 관심영역 연관 영상 제공시스템
KR20200040603A (ko) 상권 정보 제공 시스템 및 방법
Greco et al. 360 tracking using a virtual PTZ camera
JP7310935B2 (ja) 表示システムおよび表示方法
JP7357649B2 (ja) 識別を容易にするための方法および装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210108