CN108306962A - 一种商业大数据分析系统 - Google Patents

一种商业大数据分析系统 Download PDF

Info

Publication number
CN108306962A
CN108306962A CN201810088491.8A CN201810088491A CN108306962A CN 108306962 A CN108306962 A CN 108306962A CN 201810088491 A CN201810088491 A CN 201810088491A CN 108306962 A CN108306962 A CN 108306962A
Authority
CN
China
Prior art keywords
data
distributed
passenger flow
shop
analysis system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810088491.8A
Other languages
English (en)
Other versions
CN108306962B (zh
Inventor
陶宇
魏臻江
陈慧萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Campus of Hohai University
Original Assignee
Changzhou Campus of Hohai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Campus of Hohai University filed Critical Changzhou Campus of Hohai University
Priority to CN201810088491.8A priority Critical patent/CN108306962B/zh
Publication of CN108306962A publication Critical patent/CN108306962A/zh
Application granted granted Critical
Publication of CN108306962B publication Critical patent/CN108306962B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G06F16/183—Provision of network file services by network file servers, e.g. by using NFS, CIFS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Development Economics (AREA)
  • Databases & Information Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

一种商业大数据分析系统，以Browser/Server结构作为分析系统的整体架构，包括WIFI探针，接收服务器，分布式数据分析系统，HDFS分布式文件系统，HBASE分布式数据库以及之间的相连网络。本发明采用WIFI探针设备嗅探手机MAC地址提取商业客流数据，进行大数据分析，以B/S结构作为系统的整体架构，将管理系统放在Web端，采用单台物理服务器构建服务器集群收集数据并分布式存储在服务器端。在便捷操作的基础上，对海量数据进行有效的存储、分析、分类、形成具条理的商业大数据分析体系，用户可通过本系统进行便捷的商业客流数据指标分析结果查看。

Description

一种商业大数据分析系统
技术领域
本发明涉及一种商业大数据分析系统，属于管理技术领域。
背景技术
随着科学技术的高速发展，我们已步入数字化、网络化的时代。网上购物愈益流行，然而，受到产品质量检验和实际体验感的限制，线下商店当然是不可替代的，很多顾客仍然希望进入实体店亲身试用挑选。
首先开发探针设备能够采集客户唯一的定位标识，比如MAC地址，通过数据分析技术，采用离线计算和实时计算结合的方式，为商业环境提供科学的、全面的数据决策依据。不仅对营销能力的评估，也可以对管理上进行优化。利用探针数据的客流分析打破模式束缚，不仅仅只是提供可信的客流数据分析，同时还可以通过本系统随时查看店铺内的客流量情况，并根据客流高峰时段，对店内工作人员进行合理分配，提高人力资源利用率，并在一定程度上降低经营成本。
发明内容
本发明的目的是提供一种商业大数据分析系统，通过分布式数据分析技术，采用离线计算和实时计算结合的方式，为商业环境提供科学的、全面的数据决策依据。
一种商业大数据分析系统，以 Browser/Server 结构作为分析系统的整体架构，所述整体架构包括WIFI探针，接收服务器，分布式数据分析系统，HDFS分布式文件系统，HBASE分布式数据库以及之间的相连网络；
基于上述整体框架的分析系统提供客流数据接收、客流数据分布式存储、基础客流数据分析、数据实时展示、客流定位实现热度统计、智能客流数据预测和决策支持系统服务；
所述客流数据接收基于WIFI探针对设定信号覆盖范围内开启WIFI手机MAC地址的嗅探，进而采集客流信息；
所述基础客流数据分析对店铺周围客流量、实时入店量及入店率、新老顾客占比、顾客活跃度、顾客驻店时长、顾客来访周期、深入访问顾客占比和跳出访问顾客占比的数据指标进行分析；且支持所有数据分析指标的历史比较与环比分析和限定时间范围的历史数据查询；
所述客流数据分布式存储采用HBASE分布式数据库进行存储，并采用HDFS分布式文件系统对文件进行管理；
所述数据实时展示通过WIFI探针每三秒向可支持高并发的接收服务器发送数据，分布式集群架构的服务器后台Spark数据快速分析的时间小于三秒，传至前台可视化，实现实时数据展示；
所述客流定位通过三个WIFI探针结合实现区域覆盖，采用三角质心定位算法对顾客进行定位，给实体店的场地划分合理区域，统计区域内人数，分析得出区域热度；
所述智能客流数据预测，由分布式数据分析系统中采用Scala语言编写的后台数据分析模块实现，结合存储在HDFS分布式文件系统中的离线数据和实时数据，并采用人工智能科学中Machine learning领域中的二项Logistic线性回归算法对未来一个时间维度的客流进行预测，不断训练模型，并结合实际情况对周数据进行特色训练,提供有效的预测数据；
所述决策支持系统结合历史数据、预测数据为商家提供相关客流变化的营销方案，结合区域热度、预测数据提供与店铺或者商城的人员安排相关的营销方案，对商城中各个店铺根据客流排名，排名出现波动时会提醒商家及时做出决策调整；
所述分析系统的规则使用支持用户在前台系统界面针对分布式数据分析系统的数据分析模块进行自定义设置，包括用户对数据分析所采纳的范围阈值的合理设置、对在店铺中的探针实施远程监控及状态设置和WIFI探针的工作状态监控。
优选地，所述分析系统针对不同的商业应用规模，设计多种探针于商业中的应用设置模式，针对小型店铺安装单个WIFI探针，满足数据分析要求；针对中大型商铺和商城安装多个WIFI探针实现室内定位，满足多种需求。
优选地，所述WIFI探针嗅探采集到的客流信息包括顾客手机MAC地址、时间戳、手机信号强度和距离数据的存储形式；所述客流数据分布式存储中支持来店时间戳、来电次数、用户MAC的多表键值存储。
优选地，所述历史数据查询由用户通过手动设置查询数据时间范围，通过HBASE分布式数据库中数据表记录的唯一时间戳，实现任一时间里的数据记录可调用，并支持一键截图，用于营销方案整理。
优选地，所述入店率采用入店判断逻辑进行分析，使用两个WIFI探针放置于店前和店内，设店前的WIFI探针为1号，店内的WIFI探针为2号，两个WIFI探针的信号覆盖范围的交叠空间包含入口，顾客进入交叠空间即被注册，通过分别解析客流数据中顾客距离1、2号探针的距离的固定变化判断顾客入店。
优选地，所述分布式数据分析系统包括分布式计算平台，运用于分布式主从机协调处理WIFI探针嗅探到的客流数据，所述分布式计算平台搭建在Linux系统上，采用Hadoop分布式数据分析平台结合Spark分布式数据分析框架提供分布式数据分析环境，采用HBASE分布式数据库，分布式事务协调框架ApacheZookeeper协助实现任务间调度协调，分布式集群的搭建采用一台装有Ubuntu系统的主机做Clond1指定为Master，其他Ubuntu主机系做ClondOther指定为slave，多台主机机器处于同一局域网下。
优选地，所述接收服务器应对高并发机制采用Tomcat纵向分布集群，采用负载均衡器MOD_JK实现负载均衡，实现单台接收服务器的吞吐量得到有效提升，有效因素应对1300台设备的并发请求。
优选地，所述智能客流数据预测采用Machine learning二项logistic线性回归算法，结合存储于HDFS分布式文件系统中的离线数据与HBASE数据库表中实时数据进行模型训练，结合人流具体情况，工作日人流相对偏少，节假日相对较多的客流数据特点，进行周数据预测，为商家提供更为有效参考。
优选地，所述实时数据展示采用一种实时处理机制，包括数据的JSON解析，数据的键值查询、位置的坐标化、正则使用、客流数据的日志生成以及前端设计的数据异步加载，时间均小于数据的发送周期，分布式数据分析系统主机与从机协调处理事务，为大规模数据的存储和分析提供稳定的运行环境。
优选地，所述区域热度通过设置多组WIFI探针于空间布局上形成多个三角拓扑采用三角质心定位算法实现定位，实现区域覆盖、划分，不同区域顾客以MAC和位置登记，实现统计，采用热力图形式予以热度可视化，从而可提供热度预警，规避人流集中所带来的风险。
有益效果：本发明提供的一种商业大数据分析系统，采用WIFI探针设备嗅探手机MAC地址提取商业客流数据，进行大数据分析，以 B/S 结构作为系统的整体架构，将管理系统放在Web端，采用单台物理服务器构建服务器集群收集数据并分布式存储在服务器端。在便捷操作的基础上，对海量数据进行有效的存储、分析、分类、形成具条理的商业大数据分析体系，用户可通过本系统进行便捷的商业客流数据指标分析结果查看，本系统将用户体验放在首位位置，实现了客流数据实时化，支持数据多时间维度的环比历史比、客流数据预测功能，实现营销方案推送、店铺排名波动提醒形成全方位决策支持。
附图说明
图1为本发明的系统架构图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
如图1所示，一种商业大数据分析系统，以 Browser/Server 结构作为分析系统的整体架构，所述整体架构包括WIFI探针，接收服务器，分布式数据分析系统，HDFS分布式文件系统，HBASE分布式数据库以及之间的相连网络；
基于上述整体框架的分析系统提供客流数据接收、客流数据分布式存储、基础客流数据分析、数据实时展示、客流定位实现热度统计、智能客流数据预测和决策支持系统服务；
所述客流数据接收基于WIFI探针对设定信号覆盖范围内开启WIFI手机MAC地址的嗅探，进而采集客流信息；
所述基础客流数据分析对店铺周围客流量、实时入店量及入店率、新老顾客占比、顾客活跃度、顾客驻店时长、顾客来访周期、深入访问顾客占比和跳出访问顾客占比的数据指标进行分析；且支持所有数据分析指标的历史比较与环比分析和限定时间范围的历史数据查询；
所述客流数据分布式存储采用HBASE分布式数据库进行存储，并采用HDFS分布式文件系统对文件进行管理；
所述数据实时展示通过WIFI探针每三秒向可支持高并发的接收服务器发送数据，分布式集群架构的服务器后台Spark数据快速分析的时间小于三秒，传至前台可视化，实现实时数据展示；
所述客流定位通过三个WIFI探针结合实现区域覆盖，采用三角质心定位算法对顾客进行定位，给实体店的场地划分合理区域，统计区域内人数，分析得出区域热度；
所述智能客流数据预测，由分布式数据分析系统中采用Scala语言编写的后台数据分析模块实现，结合存储在HDFS分布式文件系统中的离线数据和实时数据，并采用人工智能科学中Machine learning领域中的二项Logistic线性回归算法对未来一个时间维度的客流进行预测，不断训练模型，并结合实际情况对周数据进行特色训练,提供有效的预测数据；
所述决策支持系统结合历史数据、预测数据为商家提供相关客流变化的营销方案，结合区域热度、预测数据提供与店铺或者商城的人员安排相关的营销方案，对商城中各个店铺根据客流排名，排名出现波动时会提醒商家及时做出决策调整；
所述分析系统的规则使用支持用户在前台系统界面针对分布式 数据分析系统的数据分析模块进行自定义设置，包括用户对数据分析所采纳的范围阈值的合理设置，例如设置每周来访小于n次为低活跃度、对在店铺中的探针实施远程监控及状态设置，例如远程短信控制电源通断和WIFI探针的工作状态监控。
优选地，所述分析系统针对不同的商业应用规模，设计多种探针于商业中的应用设置模式，针对小型店铺安装单个WIFI探针，满足数据分析要求；针对中大型商铺和商城安装多个WIFI探针实现室内定位，满足多种需求。
优选地，所述WIFI探针嗅探采集到的客流信息包括顾客手机MAC地址、时间戳、手机信号强度和距离数据的存储形式；所述客流数据分布式存储中支持来店时间戳、来电次数、用户MAC的多表键值存储。
优选地，所述历史数据查询由用户通过手动设置查询数据时间范围，通过HBASE分布式数据库中数据表记录的唯一时间戳，实现任一时间里的数据记录可调用，并支持一键截图，用于营销方案整理。
优选地，所述入店率采用入店判断逻辑进行分析，使用两个WIFI探针放置于店前和店内，设店前的WIFI探针为1号，店内的WIFI探针为2号，两个WIFI探针的信号覆盖范围的交叠空间包含入口，顾客进入交叠空间即被注册，通过分别解析客流数据中顾客距离1、2号探针的距离的固定变化判断顾客入店。
优选地，所述分布式数据分析系统包括分布式计算平台，运用于分布式主从机协调处理WIFI探针嗅探到的客流数据，所述分布式计算平台搭建在Linux系统上，采用Hadoop分布式数据分析平台结合Spark分布式数据分析框架提供分布式数据分析环境，采用HBASE分布式数据库，分布式事务协调框架ApacheZookeeper协助实现任务间调度协调，分布式集群的搭建采用一台装有Ubuntu系统的主机做Clond1指定为Master，其他Ubuntu主机系做ClondOther指定为slave，多台主机机器处于同一局域网下。
优选地，所述接收服务器应对高并发机制采用Tomcat纵向分布集群，采用负载均衡器MOD_JK实现负载均衡，实现单台接收服务器的吞吐量得到有效提升，有效因素应对1300台设备的并发请求。
优选地，所述智能客流数据预测采用Machine learning二项logistic线性回归算法，结合存储于HDFS分布式文件系统中的离线数据与HBASE数据库表中实时数据进行模型训练，结合人流具体情况，工作日人流相对偏少，节假日相对较多的客流数据特点，进行周数据预测，为商家提供更为有效参考。
优选地，所述实时数据展示采用一种实时处理机制，包括数据的JSON解析，数据的键值查询、位置的坐标化、正则使用、客流数据的日志生成以及前端设计的数据异步加载，时间均小于数据的发送周期，分布式数据分析系统主机与从机协调处理事务，为大规模数据的存储和分析提供稳定的运行环境。
优选地，所述区域热度通过设置多组WIFI探针于空间布局上形成多个三角拓扑采用三角质心定位算法实现定位，实现区域覆盖、划分，不同区域顾客以MAC和位置登记，实现统计，采用热力图形式予以热度可视化，从而可提供热度预警，规避人流集中所带来的风险。
本发明中，智能客流数据预测系统基于人工智能科学Machine learning领域中二项logistic线性回归算法，输入系统的训练数据是存储于HDFS文件系统中商店的历史数据。
选用HDFS文件系统，是因为HDFS文件系统作为Hadoop生态技术圈底层的关键技术之一，被设计成适合运行在通用硬件上的分布式文件系统。但HDFS文件系统是一个高度容错性的系统，适合部署在连接的机器上。HDFS文件系统能够提供高吞吐量的数据访问，非常适合大规模数据集上的应用，从而适合处理高并发，贴合商场数据应用场景。
选用Spark分布式数据分析框架，且主要的数据分析功能基于Scala语言编程实现，Spark的核心思路就是将数据集缓存在内存中加快读取速度，同时用lineage关联的RDD以较小的性能代价保证数据的鲁棒性。RDD是弹性分布式数据也是spark的核心，完全弹性的，如果数据丢失一部分还可以重建。RDD有自动容错、位置感知调度和可伸缩性，通过数据检查点和记录数据更新金象容错性检查。通过SparkContext.textFile()加载文件变成RDD，然后通过transformation构建新的RDD，通过action将RDD存储到外部系统。适用领域正如其目标作用域，Spark适用于需要多次操作特定数据集的应用场合。需要反复操作的次数越多，所需读取的数据量越大，受益越大。
采用分布式事务协调框架ApacheZooKeeper，因为其目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。
选用HBASE分布式数据库，是因为HBASE是运行在Hadoop上的NoSQL数据库，它是一个分布式的并可扩展的大数据仓库，也就是说HBASE分布式数据库能够利用HDFS的分布式处理模式，可在一组商业硬件上存储许多具有数十亿行和上百万列的大表。除去Hadoop的优势，HBASE分布式数据库本身就是十分强大的数据库，它能够融合key/value(键值)存储模式带来实时查询的能力，以及通过Spark进行离线处理或者批处理的能力。总的来说，HBASE分布式数据库能够让你在大量的数据中查询记录。这对于商业大数据的分析具有较大的益处，也能为历史比较，环比提供有效的支持。
而采用人工智能科学Machine learning领域中的二项Logistic线性回归算法回归模型由搭建在分布式计算平台上的分布式数据分析系统主机对存储于各个从机HBASE数据库中历史数据结合实时数据进行预测,不断训练模型，可以为商家提供有效的参考信息。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的两种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围 。

Claims (10)

1.一种商业大数据分析系统，其特征在于：以 Browser/Server 结构作为分析系统的整体架构，所述整体架构包括WIFI探针，接收服务器，分布式数据分析系统，HDFS分布式文件系统，HBASE分布式数据库以及之间的相连网络；
基于上述整体框架的分析系统提供客流数据接收、客流数据分布式存储、基础客流数据分析、数据实时展示、客流定位实现热度统计、智能客流数据预测和决策支持系统服务；
所述客流数据接收基于WIFI探针对设定信号覆盖范围内开启WIFI手机MAC地址的嗅探，进而采集客流信息；
所述基础客流数据分析对店铺周围客流量、实时入店量及入店率、新老顾客占比、顾客活跃度、顾客驻店时长、顾客来访周期、深入访问顾客占比和跳出访问顾客占比的数据指标进行分析；且支持所有数据分析指标的历史比较与环比分析和限定时间范围的历史数据查询；
所述客流数据分布式存储采用HBASE分布式数据库进行存储，并采用HDFS分布式文件系统对文件进行管理；
所述数据实时展示通过WIFI探针每三秒向可支持高并发的接收服务器发送数据，分布式集群架构的服务器后台Spark数据快速分析的时间小于三秒，传至前台可视化，实现实时数据展示；
所述客流定位通过三个WIFI探针结合实现区域覆盖，采用三角质心定位算法对顾客进行定位，给实体店的场地划分合理区域，统计区域内人数，分析得出区域热度；
所述智能客流数据预测，由分布式数据分析系统中采用Scala语言编写的后台数据分析模块实现，结合存储在HDFS分布式文件系统中的离线数据和实时数据，并采用人工智能科学中Machine learning领域中的二项Logistic线性回归算法对未来一个时间维度的客流进行预测，不断训练模型，并结合实际情况对周数据进行特色训练,提供有效的预测数据；
所述决策支持系统结合历史数据、预测数据为商家提供相关客流变化的营销方案，结合区域热度、预测数据提供与店铺或者商城的人员安排相关的营销方案，对商城中各个店铺根据客流排名，排名出现波动时会提醒商家及时做出决策调整；
所述分析系统的规则使用支持用户在前台系统界面针对分布式数据分析系统的数据分析模块进行自定义设置，包括用户对数据分析所采纳的范围阈值的合理设置、对在店铺中的探针实施远程监控及状态设置和WIFI探针的工作状态监控。
2.根据权利要求1所述的商业大数据分析系统，其特征在于：所述分析系统针对不同的商业应用规模，设计多种探针于商业中的应用设置模式，针对小型店铺安装单个WIFI探针，满足数据分析要求；针对中大型商铺和商城安装多个WIFI探针实现室内定位，满足多种需求。
3.根据权利要求1或2所述的商业大数据分析系统，其特征在于：所述WIFI探针嗅探采集到的客流信息包括顾客手机MAC地址、时间戳、手机信号强度和距离数据的存储形式；所述客流数据分布式存储中支持来店时间戳、来电次数、用户mac的多表键值存储。
4.根据权利要求3所述的商业大数据分析系统，其特征在于：所述历史数据查询由用户通过手动设置查询数据时间范围，通过HBASE分布式数据库中数据表记录的唯一时间戳，实现任一时间里的数据记录可调用，并支持一键截图，用于营销方案整理。
5.根据权利要求1或4所述的商业大数据分析系统，其特征在于：所述入店率采用入店判断逻辑进行分析，使用两个WIFI探针放置于店前和店内，设店前的WIFI探针为1号，店内的WIFI探针为2号，两个WIFI探针的信号覆盖范围的交叠空间包含入口，顾客进入交叠空间即被注册，通过分别解析客流数据中顾客距离1、2号探针的距离的固定变化判断顾客入店。
6.根据权利要求5所述的商业大数据分析系统，其特征在于：所述分布式数据分析系统包括分布式计算平台，运用于分布式主从机协调处理WIFI探针嗅探到的客流数据，所述分布式计算平台搭建在Linux系统上，采用Hadoop分布式数据分析平台结合Spark分布式数据分析框架提供分布式数据分析环境，采用HBASE分布式数据库，分布式事务协调框架ApacheZookeeper协助实现任务间调度协调，分布式集群的搭建采用一台装有Ubuntu系统的主机做Clond1指定为Master，其他Ubuntu主机系做ClondOther指定为slave，多台主机机器处于同一局域网下。
7.根据权利要求6所述的商业大数据分析系统，其特征在于：所述接收服务器应对高并发机制采用Tomcat纵向分布集群，采用负载均衡器MOD_JK实现负载均衡，实现单台接收服务器的吞吐量得到有效提升，有效因素应对1300台设备的并发请求。
8.根据权利要求7所述的商业大数据分析系统，其特征在于：所述智能客流数据预测采用Machine learning二项logistic线性回归算法，结合存储于HDFS分布式文件系统中的离线数据与HBASE数据库表中实时数据进行模型训练，结合人流具体情况，工作日人流相对偏少，节假日相对较多的客流数据特点，进行周数据预测，为商家提供更为有效参考。
9.根据权利要求8所述的商业大数据分析系统，其特征在于：所述实时数据展示采用一种实时处理机制，包括数据的JSON解析，数据的键值查询、位置的坐标化、正则使用、客流数据的日志生成以及前端设计的数据异步加载，时间均小于数据的发送周期，分布式数据分析系统主机与从机协调处理事务，为大规模数据的存储和分析提供稳定的运行环境。
10.根据权利要求9所述的商业大数据分析系统，其特征在于：所述区域热度通过设置多组WIFI探针于空间布局上形成多个三角拓扑采用三角质心定位算法实现定位，实现区域覆盖、划分，不同区域顾客以MAC和位置登记，实现统计，采用热力图形式予以热度可视化，从而可提供热度预警，规避人流集中所带来的风险。
CN201810088491.8A 2018-01-30 2018-01-30 一种商业大数据分析系统 Active CN108306962B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810088491.8A CN108306962B (zh) 2018-01-30 2018-01-30 一种商业大数据分析系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810088491.8A CN108306962B (zh) 2018-01-30 2018-01-30 一种商业大数据分析系统

Publications (2)

Publication Number Publication Date
CN108306962A true CN108306962A (zh) 2018-07-20
CN108306962B CN108306962B (zh) 2021-09-28

Family

ID=62867257

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810088491.8A Active CN108306962B (zh) 2018-01-30 2018-01-30 一种商业大数据分析系统

Country Status (1)

Country Link
CN (1) CN108306962B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985865A (zh) * 2018-08-27 2018-12-11 广州联欣自动识别技术有限公司 智能门店的顾客数据分析方法和系统
CN109191177A (zh) * 2018-08-01 2019-01-11 杭州湘甬机械设备有限公司 一种基于线下数据的线上广告投放方法及系统
CN109451423A (zh) * 2018-11-14 2019-03-08 重庆雾都科技有限公司 一种精确营销的智能盒子
CN109542867A (zh) * 2018-11-26 2019-03-29 成都四方伟业软件股份有限公司 分布式数据采集方法及装置
CN109712681A (zh) * 2018-12-21 2019-05-03 河海大学常州校区 一种基于体征大数据的车载分析系统
CN109729171A (zh) * 2019-01-10 2019-05-07 七彩安科智慧科技有限公司 一种小镇认知矩阵物联网的构建方法
CN110113775A (zh) * 2019-04-25 2019-08-09 华南理工大学 一种地铁车站客流监测方法及系统
CN110175873A (zh) * 2019-05-24 2019-08-27 深圳市无忧宝科技有限公司 精准营销方法及装置
CN110570228A (zh) * 2019-07-26 2019-12-13 上海汇纳数据科技有限公司 一种商场类型分类方法、装置、存储介质及电子设备
CN111242666A (zh) * 2018-11-29 2020-06-05 Tcl集团股份有限公司 基于大数据分析的门店选址方法、存储介质及服务器端
CN111401947A (zh) * 2020-03-11 2020-07-10 支付宝(杭州)信息技术有限公司 信息处理方法、装置及电子设备
CN111490886A (zh) * 2019-01-25 2020-08-04 北京数安鑫云信息技术有限公司 一种网络数据处理方法及系统
CN112269930A (zh) * 2020-10-26 2021-01-26 北京百度网讯科技有限公司 建立区域热度预测模型、区域热度预测的方法及装置
CN112560938A (zh) * 2020-12-11 2021-03-26 上海哔哩哔哩科技有限公司 模型训练方法、装置及计算机设备
CN113282937A (zh) * 2021-05-25 2021-08-20 中国科学院青海盐湖研究所 一种自适应盐湖科技产业综合数据存储平台
CN113810475A (zh) * 2021-08-30 2021-12-17 中国电子科技集团公司第五十四研究所 一种基于大数据架构的Wifi探针设备管控系统
CN117131001A (zh) * 2023-10-25 2023-11-28 北京优特捷信息技术有限公司 一种分布式大数据有序智能分管方法、系统及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140211986A1 (en) * 2013-01-29 2014-07-31 Dr. Joseph Ernest Dryer Apparatus and method for monitoring and counting traffic
CN105869388A (zh) * 2016-05-31 2016-08-17 苏州朗捷通智能科技有限公司 一种公交客流数据采集及起讫点的分析方法及系统
CN106792456A (zh) * 2016-12-21 2017-05-31 浙江省公众信息产业有限公司 数据分析系统和方法
CN106982411A (zh) * 2017-03-20 2017-07-25 华南理工大学 一种基于wifi探针数据的实时客流统计方法
CN107086935A (zh) * 2017-06-16 2017-08-22 重庆邮电大学 基于wifi ap的人流量分布预测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140211986A1 (en) * 2013-01-29 2014-07-31 Dr. Joseph Ernest Dryer Apparatus and method for monitoring and counting traffic
CN105869388A (zh) * 2016-05-31 2016-08-17 苏州朗捷通智能科技有限公司 一种公交客流数据采集及起讫点的分析方法及系统
CN106792456A (zh) * 2016-12-21 2017-05-31 浙江省公众信息产业有限公司 数据分析系统和方法
CN106982411A (zh) * 2017-03-20 2017-07-25 华南理工大学 一种基于wifi探针数据的实时客流统计方法
CN107086935A (zh) * 2017-06-16 2017-08-22 重庆邮电大学 基于wifi ap的人流量分布预测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
TOR A. MYRVOLL: "Counting Public Transport Passenger Using WiFi Signatures of Mobile Devices", 《2017 IEEE 20TH INTERNATIONAL CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS (ITSC)》 *
XITING LIU: "HMF: Heatmap and WiFi Fingerprint-Based Indoor Localization with Building Layout Consideration", 《2016 IEEE 22ND INTERNATIONAL CONFERENCE ON PARALLEL AND DISTRIBUTED SYSTEMS (ICPADS)》 *
李邦鹏: ""基于深度学习的室内时空客流预测"", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109191177A (zh) * 2018-08-01 2019-01-11 杭州湘甬机械设备有限公司 一种基于线下数据的线上广告投放方法及系统
CN108985865A (zh) * 2018-08-27 2018-12-11 广州联欣自动识别技术有限公司 智能门店的顾客数据分析方法和系统
CN109451423A (zh) * 2018-11-14 2019-03-08 重庆雾都科技有限公司 一种精确营销的智能盒子
CN109542867A (zh) * 2018-11-26 2019-03-29 成都四方伟业软件股份有限公司 分布式数据采集方法及装置
CN111242666A (zh) * 2018-11-29 2020-06-05 Tcl集团股份有限公司 基于大数据分析的门店选址方法、存储介质及服务器端
CN109712681A (zh) * 2018-12-21 2019-05-03 河海大学常州校区 一种基于体征大数据的车载分析系统
CN109729171B (zh) * 2019-01-10 2021-07-30 七彩安科智慧科技有限公司 一种小镇认知矩阵物联网的构建方法
CN109729171A (zh) * 2019-01-10 2019-05-07 七彩安科智慧科技有限公司 一种小镇认知矩阵物联网的构建方法
CN111490886A (zh) * 2019-01-25 2020-08-04 北京数安鑫云信息技术有限公司 一种网络数据处理方法及系统
CN110113775A (zh) * 2019-04-25 2019-08-09 华南理工大学 一种地铁车站客流监测方法及系统
CN110175873A (zh) * 2019-05-24 2019-08-27 深圳市无忧宝科技有限公司 精准营销方法及装置
CN110570228A (zh) * 2019-07-26 2019-12-13 上海汇纳数据科技有限公司 一种商场类型分类方法、装置、存储介质及电子设备
CN111401947A (zh) * 2020-03-11 2020-07-10 支付宝(杭州)信息技术有限公司 信息处理方法、装置及电子设备
CN112269930A (zh) * 2020-10-26 2021-01-26 北京百度网讯科技有限公司 建立区域热度预测模型、区域热度预测的方法及装置
CN112269930B (zh) * 2020-10-26 2023-10-24 北京百度网讯科技有限公司 建立区域热度预测模型、区域热度预测的方法及装置
CN112560938A (zh) * 2020-12-11 2021-03-26 上海哔哩哔哩科技有限公司 模型训练方法、装置及计算机设备
CN112560938B (zh) * 2020-12-11 2023-08-25 上海哔哩哔哩科技有限公司 模型训练方法、装置及计算机设备
CN113282937A (zh) * 2021-05-25 2021-08-20 中国科学院青海盐湖研究所 一种自适应盐湖科技产业综合数据存储平台
CN113810475A (zh) * 2021-08-30 2021-12-17 中国电子科技集团公司第五十四研究所 一种基于大数据架构的Wifi探针设备管控系统
CN117131001A (zh) * 2023-10-25 2023-11-28 北京优特捷信息技术有限公司 一种分布式大数据有序智能分管方法、系统及存储介质
CN117131001B (zh) * 2023-10-25 2024-01-16 北京优特捷信息技术有限公司 一种分布式大数据有序智能分管方法、系统及存储介质

Also Published As

Publication number Publication date
CN108306962B (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
CN108306962A (zh) 一种商业大数据分析系统
Afifi et al. Heuristic solutions for the vehicle routing problem with time windows and synchronized visits
Acar et al. A healthcare network design model with mobile hospitals for disaster preparedness: A case study for Istanbul earthquake
Zhong et al. Measuring variability of mobility patterns from multiday smart-card data
Hauser et al. Towards digital transformation in fashion retailing: A design-oriented IS research study of automated checkout systems
Fukunari et al. A network queuing approach for evaluation of performance measures in autonomous vehicle storage and retrieval systems
US9569672B2 (en) Optimizing video stream processing
Benlic et al. Breakout local search for the multi-objective gate allocation problem
CN107818133A (zh) 一种基于大数据的居民区网络能力分析方法及系统
CN103890714A (zh) 涉及基于集群的资源池的主机感知资源管理的系统和方法
US11435732B2 (en) Cognitive and adaptive telemetry
Sun et al. Device‐Free Wireless Localization Using Artificial Neural Networks in Wireless Sensor Networks
CN106027328A (zh) 一种基于应用容器部署的集群监控的方法及系统
Nguyen et al. Multivariate LSTM-based location-aware workload prediction for edge data centers
Abrishami et al. Smart stores: A scalable foot traffic collection and prediction system
CN106897410A (zh) 一种基于大数据的WiFi增值服务系统及实现方法
JP7273601B2 (ja) 混雑解析装置及び混雑解析方法
CN109558991A (zh) 基于自贩机的货道量推荐方法、装置、设备及存储介质
CN109857829A (zh) 一种地理信息数据融合系统
Boyacı et al. Extended hypercube models for large scale spatial queueing systems
CN108510106A (zh) 一种基于排队论和广义随机petri网的机场安检流程优化方法
Au et al. Establishing a three-step model of designing the polling stations for shorter queue and smaller waiting time: a case study using computer simulation
Dai et al. Research on the design and application of sports competition ticketing platform based on edge computing
Dobler Implementation of a time step based parallel queue simulation in MATSim
Li Supply Chain Efficiency and Effectiveness Management Using Decision Support Systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant