CN117172607A - 基于公共空间服务的数据采集和项目运营分析系统 - Google Patents
基于公共空间服务的数据采集和项目运营分析系统 Download PDFInfo
- Publication number
- CN117172607A CN117172607A CN202311195640.8A CN202311195640A CN117172607A CN 117172607 A CN117172607 A CN 117172607A CN 202311195640 A CN202311195640 A CN 202311195640A CN 117172607 A CN117172607 A CN 117172607A
- Authority
- CN
- China
- Prior art keywords
- data
- group
- user behavior
- public space
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 37
- 230000000694 effects Effects 0.000 claims abstract description 116
- 238000012986 modification Methods 0.000 claims abstract description 46
- 230000004048 modification Effects 0.000 claims abstract description 46
- 238000007405 data analysis Methods 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000012360 testing method Methods 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000004140 cleaning Methods 0.000 claims abstract description 11
- 230000005540 biological transmission Effects 0.000 claims abstract description 7
- 238000013079 data visualisation Methods 0.000 claims abstract description 7
- 238000012800 visualization Methods 0.000 claims abstract description 7
- 238000010606 normalization Methods 0.000 claims abstract description 6
- 238000005457 optimization Methods 0.000 claims description 33
- 230000001419 dependent effect Effects 0.000 claims description 22
- 238000013500 data storage Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000008901 benefit Effects 0.000 claims description 7
- 230000006698 induction Effects 0.000 claims description 7
- 230000005494 condensation Effects 0.000 claims description 6
- 238000009833 condensation Methods 0.000 claims description 6
- 238000013480 data collection Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 6
- 238000002474 experimental method Methods 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 6
- 238000006467 substitution reaction Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 5
- 208000025174 PANDAS Diseases 0.000 claims description 4
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 claims description 4
- 235000016496 Panda oleosa Nutrition 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 4
- 238000013439 planning Methods 0.000 claims description 4
- 238000013468 resource allocation Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000000546 chi-square test Methods 0.000 claims description 3
- 230000005855 radiation Effects 0.000 claims description 3
- 240000000220 Panda oleosa Species 0.000 claims 1
- 230000006872 improvement Effects 0.000 description 11
- 240000004718 Panda Species 0.000 description 3
- 230000008092 positive effect Effects 0.000 description 3
- 208000003464 asthenopia Diseases 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开一种基于公共空间服务的数据采集和项目运营分析系统，采用电商指标分析方法进行数据采集和项目运营分析，方法包括：设备部署与连接、数据采集与传输、数据处理与数据分析和数据可视化与展示，本发明属于项目运营分析领域。本方案采用人体感应模块和人脸识别模块采集公共空间的人流量数据；采用Python生态第三方库对采集到的连续用户行为数据进行清洗，保证数据的完整性和规范性，采用AB测试科学地量化优化修改方案的效果；采用RFM模型对用户进行分类，实现用户画像；采用Power BI实现可视化从而提高信息流的可阅读性。
Description
技术领域
本发明属于项目运营分析领域，具体是指一种基于公共空间服务的数据采集和项目运营分析系统。
背景技术
线下公共空间服务项目运营活动的竞争越来越激烈，激烈的竞争促进了数据采集和项目运营分析系统的发展，如何采集线下公共空间服务项目运营活动的相关数据并进行业务层面所需要的数据分析也受到越来越多的关注。
现有的项目运营分析系统基本都是针对线上运营活动，线上运营活动通常使用网站埋点的方法获取用户的行为数据。但线下公共空间服务项目运营活动与线上运营活动不同，线下公共空间服务项目运营活动缺少针对现场部署并采集特定数据的硬件设备系统；
现有的数据采集和项目运营分析系统依托于前置获得的直接输入，数据较为原始，格式杂乱，有空数据、脏数据和重复数据的存在。原始数据没有经过统一的整合与清洗，难以保证每次线下公共空间服务项目运营活动收集到的信息种类和详细条目是规范的且能被数据存储层所接受的；
数据分析经常需要对比之前线下公共空间服务项目运营活动的历史数据，针对本次线下公共空间服务项目运营活动的数据指标的效果评估，可以在排除每次线下公共空间服务项目运营活动不确定性和不可复现的基础上，确认此次针对线下公共空间服务项目运营活动的优化修改方案是否对线下公共空间服务项目运营活动举办的效果产生了影响，是否具有正面作用，是否获得了正面增益等问题仅凭单次活动的数据对比或者个人积累的活动经验来做出一个主观性的判决是不准确的；
大量的数据流使人感到疲惫，文字承载的信息有限，人不必可避免地产生视觉疲劳，抵触单纯的文本数据，导致决策管理人员无法获取准确的数据信息并做出项目决策。
发明内容
针对上述情况，为克服现有技术的缺陷，本发明提供了一种基于公共空间服务的数据采集和项目运营分析系统。
本发明采用人体感应模块和人脸识别模块别相结合的方式，科学部署终端节点设备，提供一种基于公共空间的人流量数据采集方法。本发明采用Python生态第三方库对原始数据进行清洗，采用了一种基于统计学原理的AB测试方案，提供一种借助Power BI的信息流可视化方案，有效提高决策者输入输出信息的体验。
本发明采取的技术方案如下：本发明提供了一种基于公共空间服务的数据采集和项目运营分析系统，采用电商指标分析方法进行数据采集和项目运营分析，所述基于公共空间服务的数据采集和项目运营分析系统包括数据采集层、数据处理层、数据存储层、数据分析层和数据展示层。
所述数据采集层采用终端节点设备进行数据采集，数据采集层的数据包括终端节点设备采集的数据信息和后台订单记录，终端节点设备包括以线下公共空间服务项目运营活动为中心、预设距离为半径的边界设置的多对人体感应模块A、线下公共空间服务项目运营活动的内场入口处设置的人体感应模块B和线下公共空间服务项目运营活动的内场入口处设置的人脸识别模块。
将人体感应模块A采集到的原始数据定义为数据a，数据a即以项目运营活动为中心、预设距离为半径的边界人流量；将人体感应模块B采集到的原始数据定义为数据b，数据b即内场入口处人流量；将人脸识别模块采集到的原始数据定义为数据c，数据c包括用户ID_a，人脸信息、进入进出标记和记录时间；将后台订单记录定义为数据d，数据d包括编号、订单ID、用户ID_b、下单时间、品类号、件数和订单总价。
终端节点设备采集的数据a、数据b、数据c和数据d和后台订单记录通过IEEE802.15.1传递给网关，网关采用TCP/IP协议链接网络服务器；
所述数据处理层整合数据a、数据b、数据c和数据d为连续用户行为数据，对连续用户行为数据进行清洗和预处理操作，得到初步观测指标；
所述数据存储层由网关和网络服务器组成，网络服务器设有数据库，存储连续用户行为数据和初步观测指标；
所述数据分析层调用并分析连续用户行为数据和初步观测指标形成高级观测指标，使用RFM模型对用户进行分类，形成用户分类数据；
所述数据展示层采用Power BI数据分析工具与数据库建立连接，完成可视化展示；
所述电商指标分析方法包括以下步骤：
步骤S1：设备部署与连接，将终端节点设备部署到线下公共空间服务项目运营活动区域；
步骤S2：数据采集与传输，数据a、数据b、数据c和数据d经过整合形成连续用户行为数据，连续用户行为数据经过清洗和预处理后形成初步观测指标，连续用户行为数据和初步观测指标通过IEEE 802.15.1传递给网关，网关采用TCP/IP协议链接网络服务器，将连续用户行为数据和初步观测指标交给网络服务器，网络服务器将其存储至数据库中；
步骤S3：数据处理与数据分析，数据分析层访问数据库中的连续用户行为数据和初步观测指标并进行分析整理，形成高级观测指标和用户分类数据，并将高级观测指标和用户分类数据保存到数据库中；
步骤S4：数据可视化与展示，利用Power BI实现连续用户行为数据、初步观测指标、高级观测指标和用户分类数据的可视化。
作为本方案的进一步改进，在步骤S1中，设备部署与连接具体包括以下步骤：
步骤S11：在线下公共空间服务项目运营活动辐射范围区域设置人体感应模块A，采集数据a；
步骤S12：在线下公共空间服务项目运营活动的内场入口处设置人体感应模块B和人脸识别模块，采集数据b和数据c；
作为本方案的进一步改进，在步骤S11和S12中，为了获得更多用户行为数据，将数据a、数据b、数据c和数据d整合关联，作为多个独立用户在线下公共空间服务项目运营活动的连续用户行为数据进行分析；
步骤S13：将连续用户行为数据传递给数据处理层。
作为本方案的进一步改进，在步骤S2中，为了减小数据存储层和数据分析层的压力，只有经过清洗的连续用户行为数据才能传递给网关并存储至网络服务器的数据库中，清洗方法包括以下步骤：
步骤S21：使用Python生态科学计算第三方库pandas、numpy和scipy对连续用户行为数据进行清洗，有效去除空数据、脏数据和重复数据，提高数据的规范性和统一性；
步骤S22：经过清洗的连续用户行为数据导出为CSV格式，方便数据存储层存储和数据分析层读取等后续处理。
作为本方案的进一步改进，在步骤S22中，为了减小数据存储层和数据分析层的压力，在连续用户行为数据文件导出CSV格式并存储至网络服务器之前，采用分布式计算，在连续用户行为数据经过清洗后，直接进行预处理操作，预处理包括以下步骤：
步骤S221：初步分析计算经过清洗后的连续用户行为数据，形成初步观测指标，初步观测指标包括付费人数、消费总量GMV、最终成单量、运营转化率、访问时长、PV访问量和UV独立访客；
步骤S222：计算运营转化率、访问时长、PV访问量和UV独立访客，所用公式如下：
式中，OCR代表运营转化率，PF_entrance代表线下公共空间服务项目运营活动的内场入口处人流量，PF_range代表以线下公共空间服务项目运营活动为中心、预设距离为半径的边界人流量；
式中，LOV代表访问时长，DT代表内场入口离开时间，ET代表内场入口进入时间；
PV访问量：对一段时间内的所有访问线下公共空间服务项目运营活动的客户总数；
UV独立访客：对一段时间内的所有访问线下公共空间服务项目运营活动的客户去重后的总数。
作为本方案的进一步改进，在步骤S3中，优化修改方案是对历史项目运营活动的效果提出优化建议所形成的方案，本发明提出在数据分析和数据处理前增加AB测试作为判定优化修改方案是否有效可信的前置条件；在本发明中，将清洗后的连续用户行为数据作为样本，将清洗后的连续用户行为数据的数量作为样本量；在本发明中，最小样本量是指科学有效地表达优化修改方案对项目运营活动举办的效果产生了影响所需要的最少数量；只有经过AB测试，确定样本量大于或等于最小样本量，才允许数据分析层调用该线下公共空间服务项目运营活动的连续用户行为数据和初步观测指标，优化修改方案获得的结论才是可信的；AB测试具体方法包括以下步骤：
步骤S31：收集调用优化修改方案前的样本，作为对照组；
步骤S32：分析优化修改方案前的样本，作出优化改进的假设，提出优化建议；
步骤S33：确定绩效指标，绩效指标包括消费总量GMV、复购率、ARPU人均消费价格和ARPPU每付费用户平均收益；
步骤S34：将连续用户行为数据和初步观测指标记为资源，将绩效指标记为奖励，采用基于UCB和条件推理树的AB测试资源动态分配算法进行优化修改方案；
作为本方案的进一步改进，在步骤S34中，基于UCB和条件推理树的AB测试资源动态分配算法具体包括以下步骤：
步骤S341：在活动开始前，将历史项目运营活动收集的资源作为训练集；条件推理树的目的是正确地识别出哪些资源和奖励之间的联系是类似的；首先对训练集的因变量(奖励)和每个自变量(资源)进行卡方检验，计算p值公式如下：
p＝1-P(χ2＞χ0 2)
其中，χ2是卡方统计量；χ0 2是理论值；P(χ2＞χ0 2)是卡方分布的概率密度函数；
步骤S342：选择p值小于阈值的自变量进入条件推理树模型；
步骤S343：确定最佳预测变量；在进入条件推理树模型的自变量中，选择与因变量的相关性最高的那个自变量作为第一次执行二进制拆分的自变量，即最佳预测变量，用置换检验来确定最佳预测变量；置换检验步骤如下：
步骤S3431：首先计算出自变量和因变量的均值和标准差，将自变量中的部分值替换为来自因变量相应的部分值，计算出置换后的均值和标准差；
步骤S3432：比较自变量的均值和标准差与置换后的因变量的均值和标准差之间的差异，如果这些差异显著，那么就认为自变量和因变量分布不同，相关性差；如果差异不显著，则认为自变量和因变量相关性强；
步骤S344：重复步骤S342至步骤S343，建立细分条件推理树模型，模型的每个叶节点就是创建的多个识别同构组，简称组；
步骤S345：每个组由UCB执行动态分配；在活动开始后，将本次项目运营活动收集的资源作为测试集，对每个识别同构组分配一个UCB，每个UCB都是独立的，可以随时停止本识别同构组的资源分配，UCB算法如下：
步骤S3451：将第i组得到的资源数记为ni；如果第i组ni为0，则将本次资源分配给该组；如果没有资源数为0的，则将本次资源分配给置信区间上限最大的组，计算置信区间上限最大的识别同构组的公式如下：
其中，i为置信区间上限最大的组号，argmax表示该列表中元素最大值的组号；K是组的数量；N是资源分配总量；是第j组的平均奖励；nj是第j组得到的资源数；
步骤S3452：更新置信区间上限最大的组号第i组的平均奖励和置信区间上限最大的组号第i组得到的资源数ni，计算公式如下：
ni＝ni+1
其中，r为新获得的奖励；
步骤S3453：第i组获得新的奖励后，UCB更新奖励r；
步骤S346：重复步骤S345，直至所有资源完成动态分配；
基于UCB和条件推理树的AB测试资源动态分配算法可以在资源有限的项目运营活动中，同时实施并检验多个优化修改方案；并且，在项目运营活动进行过程中，该算法能够及时检测并停止为某个正面效果不明显甚至具有负面效果的优化修改方案分配资源，在寻找最佳优化修改方案的过程中避免造成资源浪费。
步骤S35：计划并实施应用优化修改方案后的线下公共空间服务项目运营活动，并采集优化修改方案后的样本，作为实验组；
步骤S36：每个组的最小样本量计算如下：
式中，δ代表的是预期实验组和对照组两组数据的差值，α是犯第一类错误的概率，通常α取值0.05，即置信度是(1-α)是0.95％，β是第二类错误的概率，β取值0.2，即统计功效的取值1-β是0.8，σ代表的是样本的标准差，衡量的是样本的波动性，可以由计算样本的标准差计算得到；
当绩效指标为绝对值/比率指标时，样本的标准差σ2的计算公式：
σ2＝PA(1-PA)+PB(1-PB)
式中，PA是对照组的观测数据；PB为实验组的观测数据；
步骤S37：判断优化修改方案效果的可信性和有效性，即判断样本量是否已经大于或等于所需要的最小样本量：如果样本量大于或等于所需要的最小样本量，则能够以1-α的置信度得出优化修改方案对项目运营活动的效果产生影响的结论；如果样本量小于所需要的最小样本量，则得出优化修改方案对项目运营活动的效果产生影响的结论是不准确的，样本量需要大于或等于最小样本量才允许接下来数据分析层的操作。
进一步地，在步骤S37中，所述数据处理与数据分析，数据分析层访问网络服务器收集到的连续用户行为数据和初步观测指标，并对其进行分析整理，形成高级观测指标，高级观测指标的生成包括以下步骤：
步骤S371：高级观测指标包括不同时间区间内的场内留存人数、弹出率、复购率、ARPU人均消费价格和ARPPU每付费用户平均收益，所用公式如下：
弹出率：判断符合访问时长小于设定时长阈值的记录总数与内场入口处人流量的比值；
复购率：在某时间窗口内重复消费用户(消费两次及以上的用户)在总消费用户中所占比；
式中，ARPU代表每用户平均收益，GMV代表消费总量，PV代表访问量；
式中，ARPPU代表每付费用户平均收益，GMV代表消费总量，NOP代表付费人数；
步骤S372：统计高级观测指标与历史高级观测指标的时间环比和时间同比，采用RFM模型对用户进行分类获得用户分类数据，并将分析统计后的高级观测指标和用户分类数据传输到数据展示层。
作为本方案的进一步改进，在步骤S372中，使用RFM模型对用户进行分类，对连续用户行为数据和初步观测指标进行分析实现用户画像，有效识别客户，合理分配运营资源，达到用户价值和产品目标的最大化，具体包括以下步骤：
步骤S3721：统计所有用户数据，按照最近一次消费时间间隔、消费频率、消费金额分类统计，统计原则如下：
对于最近1次消费时间间隔，即R，上一次消费离得越近，也就是R的值越小，用户价值越高；
对于消费频率，即F，购买频率越高，也就是F的值越大，用户价值越高；
对于消费金额，即M，消费金额越高，也就是M的值越大，用户价值越高；
比如：一位客户最近消费时间间隔较近，R＝0；最近消费频率较高，F＝1；消费金额较高，M＝1，则这位客户属于重要保持客户；
表一
步骤S3722：归类整理所有用户分类的后台订单记录和用户数量，形成用户分类数据，并传输至数据展示层；
作为本方案的进一步改进，在步骤S3721中，使用基于K-Means++聚类算法对普通的RFM模型进行改进，具体包括以下步骤：
步骤S37211：将每条连续用户行为数据和初步观测指标标记为一个样本点，随机选择一个样本点作为第一个初始化的聚类质心；
步骤S37212：计算每一个样本点与已经初始化的聚类质心之间的欧几里得距离，欧几里得距离计算公式如下：
其中，d为欧几里得距离；m为欧氏空间的维度；z为任一样本点；x为聚类质心；表示样本点z的第j个坐标；xj表示聚类质心x的第j个坐标；
步骤S37213：使用加权概率分布随机选择一个新的样本点作为新的聚类质心，欧几里得距离较大的点，被选取作为聚类质心的概率较大；
步骤S37214：重复上述过程，直到K个聚类质心都被确定；
步骤S37215：属于同一个聚类质心的所有样本点的集合称为该聚类质心的点群，所有样本点选择该样本点到K个聚类质心的欧几里得距离最短的聚类质心，则该样本点属于该聚类质心的点群；
步骤S37216：更新聚类质心，即移动聚类质心到属于该聚类质心的点群的中心，求新聚类质心Z的坐标，所用公式如下：
其中，Zj为聚类质心Z的第j个坐标；n为该聚类质心的点群中所有样本点的数量；为该点群的第i个样本点的第j个坐标；
步骤S37217：重复步骤S36215到S36216，直到聚类质心没有移动；
步骤S37218：使用轮廓系数对步骤S37211到步骤S37217中得到的K个聚类进行评估，计算轮廓系数计算公式为：
其中，S(i)是样本点zi的轮廓系数；a(i)是样本点zi对同一点群其他样本点的平均距离，称为凝聚度；b(i)是样本点zi到最临近簇所有样本点的平均距离，称为分离度；
最临近簇就是离zi样本点平均距离c(i)最小的点群，其中最临近簇定义如下：
其中，Ck是任一点群；c(i)是样本点zi到最临近簇的平均距离；p为点群Ck中的任一样本点；n为点群Ck的样本点的总量；
求出点群个数为K时所有样本点的轮廓系数再求平均值，得到平均轮廓系数，平均轮廓系数的取值在[-1，1]，由轮廓系数公式可以观察出，凝聚度a(i)越小，分离度b(i)越大，分类效果越好，平均轮廓系数也越大；
步骤S37219：重复步骤S36211到S36218，取分类效果最好的K值，即平均轮廓系数最大时的K值的分类作为最佳聚类，并输出最佳聚类各个点群的样本点集合作为用户分类数据，传输至数据表示层。
进一步地，在步骤S4中，所述数据可视化与展示，包括以下内容：
步骤S41：将连续用户行为数据、初步观测指标、高级观测指标和用户分类数据以CSV的格式导入到Power BI中，并利用Power BI数据分析工具的Power Query模块对其进行整理；
步骤S42：通过SQL Server构建由连续用户行为数据、初步观测指标、高级观测指标和用户分类数据组成的数据集，并将所述Power BI与所述SQL Server连接，完成PowerBI与SQL Server的关系建立；
步骤S43：利用Power BI数据分析工具的Power View模块对数据集进行报表绘制，完成可视化展示。
采用上述方案本发明取得的有益效果如下：
(1)针对项目运营活动缺少针对线下公共空间服务数据采集方案的问题，本发明采用人体感应模块和人脸识别模块相结合的方式，将终端节点设备部署在内场入口处和以线下公共空间服务项目运营活动为中心、预设距离为半径所形成的范围边界，以提供一种基于公共空间服务的人流量数据采集方法，降低企业的投资成本的同时，也方便终端节点设备的部署和回收。
(2)针对终端节点设备采集到的数据较为原始，格式杂乱，存在脏数据，空数据，重复性数据，以及原始数据没有经过统一的清洗和优化的问题，采用Python生态第三方库对原始数据进行预处理，保证数据的完整性和规范性。
(3)针对线下公共空间服务项目运营活动的优化修改方案对线下公共空间服务项目运营活动举办的效果是否产生了影响，是否具有正面作用，是否获得了正面增益等问题，本发明采用了一种基于统计学原理的AB测试方案。有效避免了仅凭单次活动的数据对比或者个人积累的活动经验做出主观判决的可能性，排除所述线下公共空间服务项目运营活动不确定性和不可复现的风险，科学地量化优化修改方案的效果。
(4)针对大量的数据流使人感到疲惫，文字承载的信息有限，人不必可避免地产生视觉疲劳，抵触单纯的文本数据，导致决策管理人员无法获取准确的数据信息并做出项目决策的问题。本发明提供了一种借助Power BI的信息流可视化方案。有效增加了数据可阅读性，提高了决策者输入输出信息的体验。
附图说明
图1为本发明提供的一种基于公共空间服务的数据采集和项目运营分析系统的流程示意图；
图2为本发明提供的一种基于公共空间服务的数据采集和项目运营分析系统的结构示意图；
图3为本发明提供的一种数据采集层的终端节点设备、网关、网络服务器的连接框图。
其中，100、人体感应模块A，200、人体感应模块B，300、人脸识别模块，400、后台订单记录。
图4为图1中步骤S3的流程示意图；
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
参阅图1，本发明采取的技术方案如下：
步骤S1：设备部署与连接，将终端节点设备部署到线下公共空间服务项目运营活动区域；
步骤S2：数据采集与传输，数据a、数据b、数据c和数据d经过整合形成连续用户行为数据，连续用户行为数据经过清洗和预处理后形成初步观测指标，连续用户行为数据和初步观测指标通过IEEE 802.15.1传递给网关，网关采用TCP/IP协议链接网络服务器，将连续用户行为数据和初步观测指标交给网络服务器，网络服务器将其存储至数据库中；
步骤S3：数据处理与数据分析，数据分析层访问数据库中的连续用户行为数据和初步观测指标并进行分析整理，形成高级观测指标和用户分类数据，并将高级观测指标和用户分类数据保存到数据库中；
步骤S4：数据可视化与展示，利用Power BI实现连续用户行为数据、初步观测指标、高级观测指标和用户分类数据的可视化。
参阅图2，本发明提供了一种基于公共空间服务的数据采集和项目运营分析系统，所述基于公共空间服务的数据采集和项目运营分析系统包括数据采集层、数据处理层、数据存储层、数据分析层和数据展示层。所述数据采集层采用终端节点设备进行数据采集，数据采集层的数据包括终端节点设备采集的数据信息和后台订单记录，终端节点设备包括以线下公共空间服务项目运营活动为中心、预设距离为半径的边界设置的多对人体感应模块A、线下公共空间服务项目运营活动的内场入口处设置的人体感应模块B和线下公共空间服务项目运营活动的内场入口处设置的人脸识别模块。
将人体感应模块A采集到的原始数据定义为数据a，数据a即以项目运营活动为中心、预设距离为半径的边界人流量；将人体感应模块B采集到的原始数据定义为数据b，数据b即内场入口处人流量；将人脸识别模块采集到的原始数据定义为数据c，数据c包括用户ID_a，人脸信息、进入进出标记和记录时间；将后台订单记录定义为数据d，数据d包括编号、订单ID、用户ID_b、下单时间、品类号、件数和订单总价。
终端节点设备采集的数据a、数据b、数据c和数据d和后台订单记录通过IEEE802.15.1传递给网关，网关采用TCP/IP协议链接网络服务器；
所述数据处理层整合数据a、数据b、数据c和数据d为连续用户行为数据，对连续用户行为数据进行清洗和预处理操作，得到初步观测指标；
所述数据存储层由网关和网络服务器组成，网络服务器设有数据库，存储连续用户行为数据和初步观测指标；
所述数据分析层调用并分析连续用户行为数据和初步观测指标形成高级观测指标，使用RFM模型对用户进行分类，形成用户分类数据；
所述数据展示层采用Power BI数据分析工具与数据库建立连接，完成可视化展示。
参阅图3，在步骤S1中，设备部署与连接的过程由以下步骤实现：
步骤S11：在线下公共空间服务项目运营活动辐射范围区域设置人体感应模块A，采集数据a；
步骤S12：在线下公共空间服务项目运营活动的内场入口处设置人体感应模块B和人脸识别模块，采集数据b和数据c；
作为本方案的进一步改进，在步骤S11和S12中，为了获得更多用户行为数据，将数据a、数据b、数据c和数据d整合关联，作为多个独立用户在线下公共空间服务项目运营活动的连续用户行为数据进行分析；
步骤S13：将连续用户行为数据传递给数据处理层。
参阅图3，在步骤S11和S12中，为了获得更多用户行为数据，将的数据a、数据b、数据c和数据d整合关联，作为多个独立用户在线下公共空间服务项目运营活动的连续用户行为数据进行分析。
参阅图3，在步骤S2中，为了减小数据存储层和数据分析层的压力，本发明对连续用户行为数据进行清洗和预处理操作，具体方法包括以下步骤：
步骤S21：使用Python生态科学计算第三方库pandas、numpy和scipy对连续用户行为数据进行清洗，有效去除空数据、脏数据和重复数据，提高数据的规范性和统一性；
步骤S22：经过清洗的连续用户行为数据导出为CSV格式，方便数据存储层存储和数据分析层读取等后续处理。
参阅图3，在步骤S22中，为了减小数据存储层和数据分析层的压力，在数据文件导出CSV格式并存储至网络服务器之前，采用分布式计算，清洗后的连续用户行为数据直接进行预处理操作，包括以下步骤：
步骤S221：初步分析计算经过清洗后的连续用户行为数据，形成初步观测指标，初步观测指标包括付费人数、消费总量GMV、最终成单量、运营转化率、访问时长、PV访问量和UV独立访客；
步骤S222：计算运营转化率、访问时长、PV访问量和UV独立访客，所用公式如下：
式中，OCR代表运营转化率，PF_entrance代表线下公共空间服务项目运营活动的内场入口处人流量，PF_range代表以线下公共空间服务项目运营活动为中心、预设距离为半径的边界人流量；
式中，LOV代表访问时长，DT代表内场入口离开时间，ET代表内场入口进入时间；
PV访问量：对一段时间内的所有访问线下公共空间服务项目运营活动的客户总数；
UV独立访客：对一段时间内的所有访问线下公共空间服务项目运营活动的客户去重后的总数。
参阅图4，在步骤S3中，经过AB测试，确定清洗后的连续用户行为数据的数量大于等于最小样本量，才允许数据分析层调用该线下公共空间服务项目运营活动的连续用户行为数据和初步观测指标，具体步骤如下：
步骤S31：收集调用优化修改方案前的样本，作为对照组；
步骤S32：分析优化修改方案前的样本，作出优化改进的假设，提出优化建议；
步骤S33：确定绩效指标，绩效指标包括消费总量GMV、复购率、ARPU人均消费价格和ARPPU每付费用户平均收益；
步骤S34：将连续用户行为数据和初步观测指标记为资源，将绩效指标记为奖励，采用基于UCB和条件推理树的AB测试资源动态分配算法进行优化修改方案；
步骤S35：计划并实施应用优化修改方案后的线下公共空间服务项目运营活动，并采集优化修改方案后的样本，作为实验组；
步骤S36：每个组的最小样本量计算如下：
式中，δ代表的是预期实验组和对照组两组数据的差值；α是犯第一类错误的概率；通常α取值0.05，即置信度是(1-α)是0.95％；β是第二类错误的概率，β取值0.2，即统计功效的取值1-β是0.8；σ代表的是样本的标准差，衡量的是样本的波动性，可以由计算样本的标准差计算得到；
当绩效指标为绝对值/比率指标时，样本的标准差的计算公式：
σ2＝PA(1-PA)+PB(1-PB)
式中，σ2是样本的标准差；PA是对照组的观测数据；PB为实验组的观测数据；
步骤S37：判断优化修改方案效果的可信性和有效性，即判断样本量是否已经大于或等于所需要的最小样本量：如果样本量大于或等于所需要的最小样本量，则能够以1-α的置信度得出优化修改方案对项目运营活动的效果产生影响的结论；如果样本量小于所需要的最小样本量，则得出优化修改方案对项目运营活动的效果产生影响的结论是不准确的，样本量需要大于或等于最小样本量才允许接下来数据分析层的操作。
实施例一，参阅图1，本方案的电商指标分析方法的实现过程由以下步骤实现：
步骤S1：设备部署与连接，将终端节点设备部署到线下公共空间服务项目运营活动区域；
步骤S2：数据采集与传输，数据a、数据b、数据c和数据d经过整合形成连续用户行为数据，连续用户行为数据经过清洗和预处理后形成初步观测指标，连续用户行为数据和初步观测指标通过IEEE 802.15.1传递给网关，网关采用TCP/IP协议链接网络服务器，将连续用户行为数据和初步观测指标交给网络服务器，网络服务器将其存储至数据库中；
步骤S3：数据处理与数据分析，数据分析层访问数据库中的连续用户行为数据和初步观测指标并进行分析整理，形成高级观测指标和用户分类数据，并将高级观测指标和用户分类数据保存到数据库中；
步骤S4：数据可视化与展示，利用Power BI实现连续用户行为数据、初步观测指标、高级观测指标和用户分类数据的可视化。
实施例二，参阅图1和图2，该实施例基于上述实施例，所述数据分析层访问网络服务器收集到的连续用户行为数据和初步观测指标，对其进行分析整理，包括以下步骤：
步骤S371：高级观测指标包括不同时间区间内的场内留存人数、弹出率、复购率、ARPU人均消费价格和ARPPU每付费用户平均收益，所用公式如下：
弹出率：判断符合访问时长小于设定时长阈值的记录总数与内场入口处人流量的比值；
复购率：在某时间窗口内重复消费用户在总消费用户中所占比；
式中，ARPU代表每用户平均收益，GMV代表消费总量，PV代表访问量；
式中，ARPPU代表每付费用户平均收益，GMV代表消费总量，NOP代表付费人数；
步骤S372：统计高级观测指标与历史高级观测指标的时间环比和时间同比，采用RFM模型对用户进行分类获得用户分类数据，并将分析统计后的高级观测指标和用户分类数据传输到数据展示层。
作为本方案的进一步改进，在步骤S372中，使用RFM模型对用户进行分类，对连续用户行为数据和初步观测指标进行分析实现用户画像，有效识别客户，合理分配运营资源，达到用户价值和产品目标的最大化，具体包括以下步骤：
步骤S3721：统计本实施例中的用户数据，按照最近一次消费时间间隔、消费频率、消费金额分类统计；在本实施例中，一位客户最近消费时间间隔较近，最近消费频率较高，消费金额较高，则这位客户属于重要保持客户；
步骤S3722：归类整理实施例中的用户分类的后台订单记录，形成用户分类数据，并传输至数据展示层。
实施例三，该实施例基于上述实施例，本实施例与上述实施例仅为用户类型不同，本实施例中，用户最近消费时间间隔较远，最近消费频率较低，消费金额较高，这位用户属于重要发展客户。
实施例四，该实施例基于上述实施例，本实施例与上述实施例仅为用户类型不同，本实施例中，用户最近消费时间间隔较远，最近消费频率较高，消费金额较高，这位用户属于重要价值客户。
实施例五，该实施例基于上述所有的实施例，在步骤S3721中，使用基于K-Means++聚类算法对普通的RFM模型进行改进，具体包括以下步骤：
步骤S37211：将每条连续用户行为数据和初步观测指标标记为一个样本点，随机选择一个样本点作为第一个初始化的聚类质心；
步骤S37212：计算每一个样本点与已经初始化的聚类质心之间的欧几里得距离，欧几里得距离计算公式如下：
其中，d为欧几里得距离；m为欧氏空间的维度；z为任一样本点；x为聚类质心；表示样本点z的第j个坐标；xj表示聚类质心x的第j个坐标；
步骤S37213：使用加权概率分布随机选择一个新的样本点作为新的聚类质心，欧几里得距离较大的点，被选取作为聚类质心的概率较大；
步骤S37214：重复上述过程，直到K个聚类质心都被确定；
步骤S37215：属于同一个聚类质心的所有样本点的集合称为该聚类质心的点群，所有样本点选择该样本点到K个聚类质心的欧几里得距离最短的聚类质心，则该样本点属于该聚类质心的点群；
步骤S37216：更新聚类质心，即移动聚类质心到属于该聚类质心的点群的中心，求新聚类质心Z的坐标，所用公式如下：
其中，Zj为聚类质心Z的第j个坐标；n为该聚类质心的点群中所有样本点的数量；为该点群的第i个样本点的第j个坐标；
步骤S37217：重复步骤S36215到S36216，直到聚类质心没有移动；
步骤S37218：使用轮廓系数对步骤S37211到步骤S37217中得到的K个聚类进行评估，计算轮廓系数计算公式为：
其中，S(i)是样本点zi的轮廓系数；a(i)是样本点zi对同一点群其他样本点的平均距离，称为凝聚度；b(i)是样本点zi到最临近簇所有样本点的平均距离，称为分离度；
最临近簇就是离zi样本点平均距离c(i)最小的点群，其中最临近簇定义如下：
其中，Ck是任一点群；c(i)是样本点zi到最临近簇的平均距离；p为点群Ck中的任一样本点；n为点群Ck的样本点的总量；
求出点群个数为K时所有样本点的轮廓系数再求平均值，得到平均轮廓系数，平均轮廓系数的取值在[-1，1]，由轮廓系数公式可以观察出，凝聚度a(i)越小，分离度b(i)越大，分类效果越好，平均轮廓系数也越大；
步骤S37219：重复步骤S36211到S36218，取分类效果最好的K值，即平均轮廓系数最大时的K值的分类作为最佳聚类，并输出最佳聚类各个点群的样本点集合作为用户分类数据，传输至数据表示层。
实施例六，参阅图2和图3，该实施例基于上述实施例，数据处理和传输由以下步骤实现：
使用Python生态科学计算第三方库pandas、numpy和scipy对连续用户行为数据进行清洗，有效去除空数据、脏数据和重复数据，提高数据的规范性和统一性。在导出CSV格式并存储至网络服务器之前，采用分布式计算，将清洗后的连续用户行为数据，计算付费人数、消费总量GMV、最终成单量、运营转化率、访问时长、PV访问量和UV独立访客。连续用户行为数据经过清洗和预处理后，通过IEEE 802.15.1传递给网关，网关采用TCP/IP协议链接网络服务器，网络服务器将初步观测指标和连续用户行为数据存储至数据库中。
实施例七，参阅图4，该实施例基于上述实施例，为了科学量化优化修改方案的效果，本发明提出增加AB测试作为判定优化修改方案是否有效可信的前置条件，AB测试由以下步骤实现：
步骤S31：收集调用优化修改方案前的样本，作为对照组；
步骤S32：分析优化修改方案前的样本，作出优化改进的假设，提出优化建议；
步骤S33：确定绩效指标，绩效指标包括消费总量GMV、复购率、ARPU人均消费价格和ARPPU每付费用户平均收益；
步骤S34：将连续用户行为数据和初步观测指标记为资源，将绩效指标记为奖励，采用基于UCB和条件推理树的AB测试资源动态分配算法进行优化修改方案；
作为本方案的进一步改进，在步骤S34中，基于UCB和条件推理树的AB测试资源动态分配算法具体包括以下步骤：
步骤S341：在活动开始前，将历史项目运营活动收集的资源作为训练集；条件推理树的目的是正确地识别出哪些资源和奖励之间的联系是类似的；首先对训练集的因变量(奖励)和每个自变量(资源)进行卡方检验，计算p值公式如下：
p＝1-P(χ2＞χ0 2)
其中，χ2是卡方统计量，χ0 2是理论值，P(χ2＞χ0 2)是卡方分布的概率密度函数；
步骤S342：选择p值小于阈值的自变量进入条件推理树模型；
步骤S343：确定最佳预测变量；在进入条件推理树模型的自变量中，选择与因变量的相关性最高的那个自变量作为第一次执行二进制拆分的自变量，即最佳预测变量，用置换检验来确定最佳预测变量；置换检验步骤如下：
步骤S3431：首先计算出自变量和因变量的均值和标准差，将自变量中的部分值替换为来自因变量相应的部分值，计算出置换后的均值和标准差；
步骤S3432：比较自变量的均值和标准差与置换后的因变量的均值和标准差之间的差异，如果这些差异显著，那么就认为自变量和因变量分布不同，相关性差；如果差异不显著，则认为自变量和因变量相关性强；
步骤S344：重复步骤S342至步骤S343，建立细分条件推理树模型，模型的每个叶节点就是创建的多个识别同构组，简称组；
步骤S345：每个组由UCB执行动态分配；在活动开始后，将本次项目运营活动收集的资源作为测试集，对每个识别同构组分配一个UCB，每个UCB都是独立的，可以随时停止本识别同构组的资源分配，UCB算法如下：
步骤S3451：将第i组得到的资源数记为ni；如果第i组ni为0，则将本次资源分配给该组；如果没有资源数为0的，则将本次资源分配给置信区间上限最大的组，计算置信区间上限最大的识别同构组的公式如下：
其中，i为置信区间上限最大的组号，argmax表示该列表中元素最大值的组号；K是组的数量；N是资源分配总量；是第j组的平均奖励；nj是第j组得到的资源数；
步骤S3452：更新置信区间上限最大的组号第i组的平均奖励^和置信区间上限最大的
μi
组号第i组得到的资源数ni，计算公式如下：
ni＝ni+1
其中，r为新获得的奖励；
步骤S3453：第i组获得新的奖励后，UCB更新奖励r；
步骤S346：重复步骤S345，直至所有资源完成动态分配；
基于UCB和条件推理树的AB测试资源动态分配算法可以在资源有限的项目运营活动中，同时实施并检验多个优化修改方案；并且，在项目运营活动进行过程中，该算法能够及时检测并停止为某个正面效果不明显甚至具有负面效果的优化修改方案分配资源，在寻找最佳优化修改方案的过程中避免造成资源浪费。
步骤S35：计划并实施应用优化修改方案后的线下公共空间服务项目运营活动，并采集优化修改方案后的样本，作为实验组；
步骤S36：每个组的最小样本量计算如下：
式中，δ代表的是预期实验组和对照组两组数据的差值，α是犯第一类错误的概率，通常α取值0.05，即置信度是(1-α)是0.95％，β是第二类错误的概率，β取值0.2，即统计功效的取值1-β是0.8，σ代表的是样本的标准差，衡量的是样本的波动性，可以由计算样本的标准差计算得到；
当绩效指标为绝对值/比率指标时，样本的标准差的计算公式：
σ2＝PA(1-PA)+PB(1-PB)
式中，PA是对照组的观测数据；PB为实验组的观测数据；
步骤S37：判断优化修改方案效果的可信性和有效性，即判断样本量是否已经大于或等于所需要的最小样本量：如果样本量大于或等于所需要的最小样本量，则能够以1-α的置信度得出优化修改方案对项目运营活动的效果产生影响的结论；如果样本量小于所需要的最小样本量，则得出优化修改方案对项目运营活动的效果产生影响的结论是不准确的，样本量需要大于或等于最小样本量才允许接下来数据分析层的操作。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
以上对本发明及其实施方式进行了描述，这种描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。
Claims (10)
1.基于公共空间服务的数据采集和项目运营分析系统，所述系统包括数据采集层、数据处理层、数据存储层、数据分析层和数据展示层，其特征在于：
所述数据采集层采用终端节点设备进行数据采集，数据采集层的数据包括终端节点设备采集的数据信息和后台订单记录，终端节点设备包括以线下公共空间服务项目运营活动为中心、预设距离为半径的边界设置的多对人体感应模块A、线下公共空间服务项目运营活动的内场入口处设置的人体感应模块B和线下公共空间服务项目运营活动的内场入口处设置的人脸识别模块；
人体感应模块A采集到的原始数据定义为数据a，数据a即以项目运营活动为中心、预设距离为半径的边界人流量；人体感应模块B采集到的原始数据定义为数据b，数据b即内场入口处人流量；人脸识别模块采集到的原始数据定义为数据c，数据c包括用户ID_a，人脸信息、进入进出标记和记录时间；将后台订单记录定义为数据d，数据d包括编号、订单ID、用户ID_b、下单时间、品类号、件数和订单总价；
终端节点设备采集的数据a、数据b、数据c和数据d和后台订单记录通过IEEE 802.15.1传递给网关，网关采用TCP/IP协议链接网络服务器；
所述数据处理层整合数据a、数据b、数据c和数据d为连续用户行为数据，对连续用户行为数据进行清洗和预处理操作，得到初步观测指标；
所述数据存储层由网关和网络服务器组成，网络服务器设有数据库，存储连续用户行为数据和初步观测指标；
所述数据分析层调用并分析连续用户行为数据和初步观测指标形成高级观测指标，使用RFM模型对用户进行分类，形成用户分类数据；
所述数据展示层采用Power BI数据分析工具与数据库建立连接，完成可视化展示；
所述基于公共空间服务的数据采集和项目运营分析系统采用电商指标分析方法进行数据采集和项目运行分析，所述电商指标分析方法包括以下步骤：
步骤S1：设备部署与连接，将终端节点设备部署到线下公共空间服务项目运营活动区域；
步骤S2：数据采集与传输，数据a、数据b、数据c和数据d经过整合形成连续用户行为数据，连续用户行为数据经过清洗和预处理后形成初步观测指标，连续用户行为数据和初步观测指标通过IEEE 802.15.1传递给网关，网关采用TCP/IP协议链接网络服务器，将连续用户行为数据和初步观测指标交给网络服务器，网络服务器将其存储至数据库中；
步骤S3：数据处理与数据分析，数据分析层访问数据库中的连续用户行为数据和初步观测指标并进行分析整理，形成高级观测指标和用户分类数据，并将高级观测指标和用户分类数据保存到数据库中；
步骤S4：数据可视化与展示，利用Power BI实现连续用户行为数据、初步观测指标、高级观测指标和用户分类数据的可视化。
2.根据权利要求1所述的一种基于公共空间服务的数据采集和项目运营分析系统，其特征在于：
在步骤S1中，设备部署与连接包括以下步骤：
步骤S11：在线下公共空间服务项目运营活动辐射范围区域设置人体感应模块A，采集数据a；
步骤S12：在线下公共空间服务项目运营活动的内场入口处设置人体感应模块B和人脸识别模块，采集数据b和数据c；
步骤S13：将数据a、数据b、数据c和数据d整合关联，作为多个独立用户在线下公共空间服务项目运营活动的连续用户行为数据进行分析；
步骤S14：将连续用户行为数据传递给数据处理层。
3.根据权利要求2所述的一种基于公共空间服务的数据采集和项目运营分析系统，其特征在于：
在步骤S2中，所述数据采集与传输具体包括以下步骤：
步骤S21：本发明使用Python生态科学计算第三方库pandas、numpy和scipy对连续用户行为数据进行清洗，有效去除空数据、脏数据和重复数据，提高数据的规范性和统一性；
步骤S22：采用分布式计算，对清洗后的连续用户行为数据进行预处理操作，将经过清洗和预处理的连续用户行为数据导出为CSV格式并存储至网络服务器。
4.根据权利要求3所述的一种基于公共空间服务的数据采集和项目运营分析系统，其特征在于：
在步骤S22中，所述预处理具体包括以下步骤：
步骤S221：初步分析计算经过清洗后的连续用户行为数据，形成初步观测指标，初步观测指标包括付费人数、消费总量GMV、最终成单量、运营转化率、访问时长、PV访问量和UV独立访客；
步骤S222：计算运营转化率、访问时长、PV访问量和UV独立访客，所用公式如下：
式中，OCR代表运营转化率，PF_entrance代表线下公共空间服务项目运营活动的内场入口处人流量，PF_range代表以线下公共空间服务项目运营活动为中心、预设距离为半径的边界人流量；
式中，LOV代表访问时长，DT代表内场入口离开时间，ET代表内场入口进入时间；
PV访问量：对一段时间内的所有访问线下公共空间服务项目运营活动的客户总数；
UV独立访客：对一段时间内的所有访问线下公共空间服务项目运营活动的客户去重后的总数。
5.根据权利要求4所述的一种基于公共空间服务的数据采集和项目运营分析系统，其特征在于：
在步骤S3中，数据处理与分析，具体包括以下步骤：
步骤S31：将清洗后的连续用户行为数据作为样本，将清洗后的连续用户行为数据的数量作为样本量，在本发明中，最小样本量是指科学有效地表达优化修改方案对项目运营活动举办的效果产生了影响所需要的最少数量；收集调用优化修改方案前的样本，作为对照组；
步骤S32：分析优化修改方案前的样本，作出优化改进的假设，提出优化建议；
步骤S33：确定绩效指标，绩效指标包括消费总量GMV、复购率、ARPU人均消费价格和ARPPU每付费用户平均收益；
步骤S34：将连续用户行为数据和初步观测指标记为资源，将绩效指标记为奖励，采用基于UCB和条件推理树的AB测试资源动态分配算法进行优化修改方案；
步骤S35：计划并实施应用优化修改方案后的线下公共空间服务项目运营活动，并采集优化修改方案后的样本，作为实验组；
步骤S36：每个组的最小样本量计算如下：
式中，δ代表的是预期实验组和对照组两组数据的差值，α是犯第一类错误的概率，通常α取值0.05，即置信度是1-α是0.95％，β是第二类错误的概率，β取值0.2，即统计功效的取值1-β是0.8，σ代表的是样本的标准差，衡量的是样本的波动性，可以由计算样本的标准差计算得到；
当绩效指标为绝对值/比率指标时，样本的标准差的计算公式：
σ2＝PA(1-PA)+PB(1-PB)
式中，PA是对照组的观测数据；PB为实验组的观测数据；
步骤S37：判断优化修改方案效果的可信性和有效性，即判断样本量是否已经大于或等于所需要的最小样本量：如果样本量大于或等于所需要的最小样本量，则能够以1-α的置信度得出优化修改方案对项目运营活动的效果产生影响的结论；如果样本量小于所需要的最小样本量，则得出优化修改方案对项目运营活动的效果产生影响的结论是不准确的，样本量需要大于或等于最小样本量才允许接下来数据分析层的操作。
6.根据权利要求5所述的一种基于公共空间服务的数据采集和项目运营分析系统，其特征在于：
在步骤S34中，采用基于UCB和条件推理树的AB测试资源动态分配算法具体包括以下步骤：
步骤S341：在活动开始前，将历史项目运营活动收集的资源作为训练集；条件推理树的目的是正确地识别出哪些资源和奖励之间的联系是类似的；将奖励记为因变量，资源记为自变量；首先对训练集的因变量和每个自变量进行卡方检验，计算p值公式如下：
p＝1-P(χ2＞χ0 2)
其中，χ2是卡方统计量；χ0 2是理论值；P(χ2＞χ0 2)是卡方分布的概率密度函数；
步骤S342：选择p值小于阈值的自变量进入条件推理树模型；
步骤S343：确定最佳预测变量；在进入条件推理树模型的自变量中，选择与因变量的相关性最高的那个自变量作为第一次执行二进制拆分的自变量，即最佳预测变量，用置换检验来确定最佳预测变量；置换检验首先需要计算出自变量和因变量的均值和标准差，将自变量中的部分值替换为来自因变量相应的部分值，计算出置换后的均值和标准差；再比较自变量的均值和标准差与置换后的因变量的均值和标准差之间的差异，如果这些差异显著，那么就认为自变量和因变量分布不同，相关性差；如果差异不显著，则认为自变量和因变量相关性强；
步骤S344：重复步骤S342至步骤S343，建立细分条件推理树模型，模型的每个叶节点就是创建的多个识别同构组，简称组；
步骤S345：每个组由UCB执行动态分配；在活动开始后，将本次项目运营活动收集的资源作为测试集，对每个识别同构组分配一个UCB，每个UCB都是独立的，可以随时停止本识别同构组的资源分配；UCB算法首先将第i组得到的资源数记为ni；如果第i组ni为0，则将本次资源分配给该组；如果没有资源数为0的，则将本次资源分配给置信区间上限最大的组，计算置信区间上限最大的识别同构组的公式如下：
其中，i为置信区间上限最大的组号，argmax表示该列表中元素最大值的组号；K是组的数量；N是资源分配总量；是第j组的平均奖励；nj是第j组得到的资源数；更新置信区间上限最大的组号第i组的平均奖励/>和置信区间上限最大的组号第i组得到的资源数ni，计算公式如下：
ni＝ni+1
其中，r为新获得的奖励；第i组获得新的奖励后，UCB更新奖励r；
步骤S346：重复步骤S345，直至所有资源完成动态分配。
7.根据权利要求6所述的一种基于公共空间服务的数据采集和项目运营分析系统，其特征在于：
在步骤S37中，所述数据分析层的操作，具体包括以下步骤：
步骤S371：数据分析层访问网络服务器收集到的连续用户行为数据和初步观测指标，并对其进行分析整理，形成高级观测指标；高级观测指标包括不同时间区间内的场内留存人数、弹出率、复购率、ARPU人均消费价格和ARPPU每付费用户平均收益，所用公式如下：
弹出率：判断符合访问时长小于设定时长阈值的记录总数与内场入口处人流量的比值；
复购率：在某时间窗口内重复消费用户在总消费用户中所占比；
式中，ARPU代表每用户平均收益，GMV代表消费总量，PV代表访问量；
式中，ARPPU代表每付费用户平均收益，GMV代表消费总量，NOP代表付费人数；
步骤S372：统计高级观测指标与历史高级观测指标的时间环比和时间同比，采用RFM模型对用户进行分类获得用户分类数据，并将分析统计后的高级观测指标和用户分类数据传输到数据展示层。
8.根据权利要求7所述的一种基于公共空间服务的数据采集和项目运营分析系统，其特征在于：
在步骤S372中，所述采用RFM模型对用户进行分类获得用户分类数据，具体包括以下步骤：
步骤S3721：统计所有用户数据，按照最近一次消费时间间隔、消费频率、消费金额分类统计，统计原则如下：
对于最近1次消费时间间隔，即R，上一次消费离得越近，也就是R的值越小，用户价值越高；
对于消费频率，即F，购买频率越高，也就是F的值越大，用户价值越高；
对于消费金额，即M，消费金额越高，也就是M的值越大，用户价值越高；
步骤S3722：归类整理所有用户分类的后台订单记录和用户数量，形成用户分类数据，并传输至数据展示层。
9.根据权利要求8所述的一种基于公共空间服务的数据采集和项目运营分析系统，其特征在于：
在步骤S3721中，所述使用基于K-Means++聚类算法对普通的RFM模型进行改进，具体包括以下步骤：
步骤S37211：将每条连续用户行为数据和初步观测指标标记为一个样本点，随机选择一个样本点作为第一个初始化的聚类质心；
步骤S37212：计算每一个样本点与已经初始化的聚类质心之间的欧几里得距离，欧几里得距离计算公式如下：
其中，d为欧几里得距离；m为欧氏空间的维度；z为任一样本点；x为聚类质心；表示样本点z的第j个坐标；xj表示聚类质心x的第j个坐标；
步骤S37213：使用加权概率分布随机选择一个新的样本点作为新的聚类质心，欧几里得距离较大的点，被选取作为聚类质心的概率较大；
步骤S37214：重复上述过程，直到K个聚类质心都被确定；
步骤S37215：属于同一个聚类质心的所有样本点的集合称为该聚类质心的点群，所有样本点选择该样本点到K个聚类质心的欧几里得距离最短的聚类质心，则该样本点属于该聚类质心的点群；
步骤S37216：更新聚类质心，即移动聚类质心到属于该聚类质心的点群的中心，求新聚类质心Z的坐标，所用公式如下：
其中，Zj为聚类质心Z的第j个坐标；n为该聚类质心的点群中所有样本点的数量；为该点群的第i个样本点的第j个坐标；
步骤S37217：重复步骤S36215到S36216，直到聚类质心没有移动；
步骤S37218：使用轮廓系数对步骤S37211到步骤S37217中得到的K个聚类进行评估，计算轮廓系数计算公式为：
其中，S(i)是样本点zi的轮廓系数；a(i)是样本点zi对同一点群其他样本点的平均距离，称为凝聚度；b(i)是样本点zi到最临近簇所有样本点的平均距离，称为分离度；
最临近簇就是离zi样本点平均距离c(i)最小的点群，其中最临近簇定义如下：
其中，Ck是任一点群；c(i)是样本点zi到最临近簇的平均距离；p为点群Ck中的任一样本点；n为点群Ck的样本点的总量；
求出点群个数为K时所有样本点的轮廓系数再求平均值，得到平均轮廓系数，平均轮廓系数的取值在[-1，1]，由轮廓系数公式可以观察出，凝聚度a(i)越小，分离度b(i)越大，分类效果越好，平均轮廓系数也越大；
步骤S37219：重复步骤S36211到S36218，取分类效果最好的K值，即平均轮廓系数最大时的K值的分类作为最佳聚类，并输出最佳聚类各个点群的样本点集合作为用户分类数据，传输至数据表示层。
10.根据权利要求9所述的一种基于公共空间服务的数据采集和项目运营分析系统，其特征在于：
在步骤S4中，所述数据可视化与展示，具体包括以下步骤：
步骤S41：将连续用户行为数据、初步观测指标、高级观测指标和用户分类数据以CSV的格式导入到Power BI中，并利用Power BI数据分析工具的Power Query模块对其进行整理；
步骤S42：通过SQLServer构建由连续用户行为数据、初步观测指标、高级观测指标和用户分类数据组成的数据集，并将所述Power BI与所述SQL Server连接，完成Power BI与SQLServer的关系建立；
步骤S43：利用Power BI数据分析工具的Power View模块对数据集进行报表绘制，完成可视化展示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311195640.8A CN117172607A (zh) | 2023-09-16 | 2023-09-16 | 基于公共空间服务的数据采集和项目运营分析系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311195640.8A CN117172607A (zh) | 2023-09-16 | 2023-09-16 | 基于公共空间服务的数据采集和项目运营分析系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117172607A true CN117172607A (zh) | 2023-12-05 |
Family
ID=88942824
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311195640.8A Pending CN117172607A (zh) | 2023-09-16 | 2023-09-16 | 基于公共空间服务的数据采集和项目运营分析系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117172607A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109993569A (zh) * | 2018-02-09 | 2019-07-09 | 上海长晓网络科技有限公司 | 一种商圈管理系统及其方法 |
| CN110413680A (zh) * | 2019-06-26 | 2019-11-05 | 广州鹰云信息科技有限公司 | 购物中心运营数据管理决策系统及方法 |
| CN110705747A (zh) * | 2019-08-27 | 2020-01-17 | 广州交通信息化建设投资营运有限公司 | 一种基于大数据的智慧公共交通云脑体系 |
| CN113569659A (zh) * | 2021-07-05 | 2021-10-29 | 深圳智慧园区信息技术有限公司 | 一种基于大数据的客流量分析方法、系统、智能终端及存储介质 |
| CN114741378A (zh) * | 2022-04-06 | 2022-07-12 | 广西师范大学 | 一种多数据源旅游目的地的数据中台系统及其方法 |
| WO2023061959A1 (en) * | 2021-10-14 | 2023-04-20 | Hitachi, Ltd. | Control of a complex environment |
| CN116523311A (zh) * | 2023-05-06 | 2023-08-01 | 建信金融科技有限责任公司 | 服务点监测处理方法、装置、设备、存储介质及产品 |
| US11741565B1 (en) * | 2022-05-24 | 2023-08-29 | Chengdu Qinchuan Iot Technology Co., Ltd. | Method, internet of things system and storage medium of public transport management in a smart urban |
-
2023
- 2023-09-16 CN CN202311195640.8A patent/CN117172607A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109993569A (zh) * | 2018-02-09 | 2019-07-09 | 上海长晓网络科技有限公司 | 一种商圈管理系统及其方法 |
| CN110413680A (zh) * | 2019-06-26 | 2019-11-05 | 广州鹰云信息科技有限公司 | 购物中心运营数据管理决策系统及方法 |
| CN110705747A (zh) * | 2019-08-27 | 2020-01-17 | 广州交通信息化建设投资营运有限公司 | 一种基于大数据的智慧公共交通云脑体系 |
| CN113569659A (zh) * | 2021-07-05 | 2021-10-29 | 深圳智慧园区信息技术有限公司 | 一种基于大数据的客流量分析方法、系统、智能终端及存储介质 |
| WO2023061959A1 (en) * | 2021-10-14 | 2023-04-20 | Hitachi, Ltd. | Control of a complex environment |
| CN114741378A (zh) * | 2022-04-06 | 2022-07-12 | 广西师范大学 | 一种多数据源旅游目的地的数据中台系统及其方法 |
| US11741565B1 (en) * | 2022-05-24 | 2023-08-29 | Chengdu Qinchuan Iot Technology Co., Ltd. | Method, internet of things system and storage medium of public transport management in a smart urban |
| CN116523311A (zh) * | 2023-05-06 | 2023-08-01 | 建信金融科技有限责任公司 | 服务点监测处理方法、装置、设备、存储介质及产品 |
Non-Patent Citations (1)
| Title |
|---|
| 贾桂霞;贾桂云;李向伟;张睿敏;: "基于Python的聚类方法在电商客户细分中的应用研究", 兰州文理学院学报(自然科学版), no. 03, 10 May 2018 (2018-05-10), pages 55 - 58 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Carroll et al. | Household classification using smart meter data | |
| WO2021184630A1 (zh) | 基于知识图谱定位排污对象的方法及相关设备 | |
| CN104036360B (zh) | 一种基于磁卡考勤行为的用户数据处理系统及处理方法 | |
| CN111324642A (zh) | 一种面向电网大数据分析的模型算法选型与评价方法 | |
| CN108876034B (zh) | 一种改进的Lasso+RBF神经网络组合预测方法 | |
| CN109284988A (zh) | 数据分析系统及方法 | |
| CN110990718B (zh) | 一种公司形象提升系统的社会网络模型构建模块 | |
| CN108647730A (zh) | 一种基于历史行为共现的数据划分方法及系统 | |
| CN107274066B (zh) | 一种基于lrfmd模型的共享交通客户价值分析方法 | |
| CN112016769B (zh) | 管理相对人风险预测以及信息推荐方法及装置 | |
| CN116823496A (zh) | 基于人工智能的智能保险风险评估和定价系统 | |
| CN114912787A (zh) | 一种企业危险废物瞒报漏报风险的智能评估方法 | |
| Radhakrishnan et al. | Application of data mining in marketing | |
| CN111506635A (zh) | 一种基于自回归和朴素贝叶斯算法的居民用电行为分析的系统及方法 | |
| CN112330095A (zh) | 一种基于决策树算法的质量管理方法 | |
| CN114004654A (zh) | 基于大数据分析的互联网卡用户画像构建方法及系统 | |
| CN108459997A (zh) | 基于深度学习和神经网络的高偏态数据价值概率预测方法 | |
| CN111797942A (zh) | 用户信息的分类方法及装置、计算机设备、存储介质 | |
| Johny et al. | Customer churn prediction: A survey | |
| CN107093005A (zh) | 基于大数据挖掘算法实现办税服务厅自动分级的方法 | |
| Tang et al. | Leveraging socioeconomic information and deep learning for residential load pattern prediction | |
| CN117172607A (zh) | 基于公共空间服务的数据采集和项目运营分析系统 | |
| CN115048472A (zh) | 一种通信行业家庭圈智能识别的方法、装置及设备 | |
| Wang | Intelligent quality management using knowledge discovery in databases | |
| Asghari et al. | Selecting and prioritizing the electricity customers for participating in demand response programs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |