CN105787074A - 基于用户线下lbs轨迹结合线上浏览行为的大数据系统 - Google Patents

Abstract

本发明公开了基于用户线下LBS轨迹结合线上浏览行为的大数据系统，它涉及网络技术领域；它具体的操作步骤为：步骤一：建立Wi‑Fi提供上网环境：在全国各地商业及居民区域铺设商用Wi‑Fi供用户上网功能；步骤二：路由器开启Wi‑Fi数据采集功能；步骤三：上传上网场所资料；步骤四：后台系统的建立；步骤五：上传路由器采集数据；步骤六：数据的挖掘分析与聚合；步骤七：建立数据集市供各应用场景使用；本发明弥补传统大数据系统数据缺失而无法形成数据闭环的缺陷，使分析的用户画像更精准，数据使用场景范围更广泛、数据使用成本更低。

Description

基于用户线下 LBS 轨迹结合线上浏览行为的大数据系统

技术领域：

本发明涉及网络技术领域，具体涉及一种基于用户线下LBS轨迹结合线上浏览行为的大数据系统。

背景技术：

传统的大数据是通过用户海量网上行为轨迹进行的客观分析，而不是主观引导判断，大部分用户85%的时间都活动在线下，传统大数据拥有非常多的隐性成本，看起来很美，但是其实大部分的数据只有20%的数据量是有足够的数据样本做大数据的，其它的地方都非常稀缺，例如：如果一个人每天或每周都购物网站，那么就很容易猜到他要什么，但是一年才上1至2次购物网站购买的人，大数据怎么能知道这个人到底要什么；像这样缺少闭环的大数据，正因为大部份数据都没有足够数据样本，太多数据需要填补的缺失值，而这些缺失值是线上数据无法填补的(例如：大量的缺失值存在于数据集市中，这不仅严重影响了信息查询质量，还会扭曲数据挖掘与数据分析结论)，那么就导致数据应用率低、隐性成本高，不能满足高效精准数据利用的刚性需求。假如：有个系统可以把用户经常活动的区域、喜欢逛什么地方、人缘关系、家庭成员、喜欢的品牌结合线上数据（消费分层是什么、喜欢什么品牌的衣服、支付能力怎么样，消费频率等等）这样就能把数据形成闭环，使数据最大化利用。再例如：某酒店生意火爆准备再开张一个分店，那么通常都是通过第三方机构或者自己组建团队经过一轮又一轮的人工走访，观察商业环境周围人流量，接下来以人为主观性的判断所选地址是否适合开酒吧，因为没有实际的、可量化的载体可参照，这样其实就是非常浪费资源、成本非常高并且达不到预期效果的，再来看像这种场景化的需求，网上的数据没法支持这样的应用场景的。假如：有个系统可以查询，哪个商业街往常人流量有多少，人流量当中又大约有多少客户喜欢夜生活和逛酒吧，这样就更能支撑这个商业街是否适合开酒吧。类拟于这种线下商业强需求的有很多，如：医院急诊室、传统电视、景区、汽车销售、私家停车场、儿童游乐场等等都需要有线下的数据支持。

发明内容：

本发明的目的在于针对现有技术的缺陷和不足，提供基于用户线下LBS轨迹结合线上浏览行为的大数据系统。

为了解决背景技术所存在的问题，本发明的基于用户线下LBS轨迹结合线上浏览行为的大数据系统，它具体的操作步骤为：

步骤一：建立Wi-Fi提供上网环境：在全国各地商业及居民区域铺设商用Wi-Fi供用户上网功能；

步骤二：路由器开启Wi-Fi数据采集功能：

(2.1)、Wi-Fi设备开启上网旁录功能或在h5网页中插入收集数据的js脚本，上网旁录及js脚本负责收集用户的上网信息，并对当次收集的冗余数据进行过滤；

(2.2)、Wi-Fi设备开启嗅探功能，WIFI模块所发出的无线广播信号进行设备的感知，记录用户的访问行为和轨迹，通过手机MAC地址所采集用户线下行为轨迹；

步骤三：上传上网场所资料（所述上网场所为线下商户）：路由铺设时，上传路由铺设的场所详细地理位置、场所名称、门牌照片、场所场景图片、地址、联系人、联系方式，将这些信息通过app上传至后台系统，后台系统将临时创建商户维一标识；

步骤四：后台系统的建立：

(4.1)、后台系统通过铺设的路由上报的心跳信息与商户信息匹配，将两者建立隶属关系；

(4.2)、后台系统管理人员对步骤三中上传的商户信息进行信息准确性核对及编辑；

步骤五：上传路由器采集数据：将步骤二中采集到的上网浏览数据以及设备相关信息上传到云端服务器；

本发明的商用Wi-Fi通过portal页面验证方式（所述portal页面验证方式，包含但不仅限于：手机短信、微信、QQ等验证方式），验证上网用户安全性及用户数据唯一完整性，记录用户上网时间/下线时间、设备相关信息；

步骤六：数据的挖掘分析与聚合：

百米大数据系统根据步骤五及其它数据来源，再结合步骤三中的数据进行数据来源归类、数据收集、数据组织、数据转化/存储、模型构建、数据分析、预测处理，并大量使用机器学习与人工智能算法，对庞大的观测数据进行挖掘分析与聚合；根据分析聚合后的用户数据，结合场所业态、区域属性数据为用户标注所属标签形成完整的用户画像,并存储于数据库中；所述数据库采用开源的面向列的分布式数据库；

步骤七：建立数据集市供各应用场景使用：数据组织过程中对数据进行解析、清洗、重构，并填补缺失值；然后对通过数据准备的非结构化、半结构化的数据处理成机器语言或索引；将结构化数据进行数据过滤，最后进行数据抽取，将数据融合形成一个新数据集提供给各应用场景系统。

本发明有益效果为：弥补传统大数据系统数据缺失而无法形成数据闭环的缺陷，使分析的用户画像更精准，数据使用场景范围更广泛、数据使用成本更低。

附图说明：

图1为本发明的结构示意图。

具体实施方式：

下面结合附图，对本发明作进一步的说明。

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施方式，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅用以解释本发明，并不用于限定本发明。

如图1所示，本具体实施方式采用如下技术方案：它具体的操作步骤为：

步骤一：建立Wi-Fi提供上网环境：在全国各地商业及居民区域铺设商用Wi-Fi供用户上网功能；

步骤二：路由器开启Wi-Fi数据采集功能：

(2.1)、Wi-Fi设备开启上网旁录功能或者在h5网页中插入收集数据的js脚本，上网旁录及js脚本负责收集用户的上网信息，并对当次收集的冗余数据进行过滤；

(2.2)、Wi-Fi设备开启嗅探功能，WIFI模块所发出的无线广播信号进行设备的感知，记录用户的访问行为和轨迹，通过手机MAC地址所采集用户线下行为轨迹，比如喜欢逛什么地方，一周逛几次；

步骤三：上传上网场所资料（所述上网场所为线下商户）：路由铺设时，上传路由铺设的场所详细地理位置、场所名称、门牌照片、场所场景图片、地址、联系人、联系方式，将这些信息通过app上传至后台系统，后台系统将临时创建商户维一标识（商户ID 也叫网关ID）；

步骤四：后台系统的建立：

(4.1)、后台系统通过铺设的路由上报的心跳信息与商户信息匹配，将两者建立隶属关系（商家1 : N路由）；

(4.2)、后台系统管理人员对步骤三中上传的商户信息进行信息准确性核对及编辑；

步骤五：上传路由器采集数据：将步骤二中采集到的上网浏览数据以及设备相关信息上传到云端服务器；

本发明的商用Wi-Fi通过portal页面验证方式，验证上网用户安全性及用户数据唯一完整性（普通认证：后台验证用户是否为黑名单用户，是黑名单用户那么拦截该用户不能上网，不是黑名单用户，那么服务器与路由器间为用户建立唯一鉴权码token；短信认证：通过发短信的形式验证用户合法性，合法则为用户建立唯一鉴权码token，不合法即拦截该用户不能上网；微信认证：通过走微信鉴权，鉴权成功则为用户建立唯一鉴权码token；QQ、360、Wi-Fi万能钥匙验证…），记录用户上网时间/下线时间、设备相关信息；

步骤六：数据的挖掘分析与聚合：

百米大数据系统根据步骤五及其它数据来源，再结合步骤三中的数据（当前上网场所）进行数据来源归类（来源主要包含：Wi-Fi嗅探、用户终端设备信息、所在场所信息、当前上网记录信息）、数据收集（数据主要包含：业务数据、LOG日志文件、消息/事件、拓展部门线下采集）、数据组织、数据转化/存储、模型构建、数据分析、预测处理并大量使用机器学习与人工智能算法对庞大的观测数据进行挖掘分析与聚合；根据分析聚合后的用户数据，结合场所业态、区域属性数据为用户标注所属标签形成完整的用户画像,并存储于数据库中；所述数据库采用开源的面向列的分布式数据库；

步骤七：建立数据集市供各应用场景使用：由于元数据中有噪声数据、冗余数据及缺失值等，数据组织过程中对数据进行解析、清洗、重构，并填补缺失值以提高待挖掘数据的质量；然后对通过数据准备的非结构化、半结构化的数据处理成机器语言或索引，如：上网记录、Wi-Fi嗅探、LOG日志资料等转换成加权逻辑或是模糊逻辑，并且不同的词语映射到标准的值；将结构化数据进行数据过滤，提炼出有意义数据，剔除无效数据以提高分析效率。最后进行数据抽取，即检测数据的相关性和关联性：关联的数据表现出更多的特定用户活动特征，关联的数据本身也可以用于个性化服务，例如：从用户上网的数据和时间数据的关联性中，可能会发现用户生活习惯及上网频率；将数据融合形成一个新数据集提供给各应用场景系统。

以上所述，仅用以说明本发明的技术方案而非限制，本领域普通技术人员对本发明的技术方案所做的其它修改或者等同替换，只要不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (1)

1.基于用户线下LBS轨迹结合线上浏览行为的大数据系统，其特征在于：它具体的操作步骤为：

步骤一：建立Wi-Fi提供上网环境：在全国各地商业及居民区域铺设商用Wi-Fi供用户上网功能；

步骤二：路由器开启Wi-Fi数据采集功能：

(2.1)、Wi-Fi设备开启上网旁录功能或在h5网页中插入收集数据的js脚本，上网旁录及js脚本负责收集用户的上网信息，并对当次收集的冗余数据进行过滤；

(2.2)、Wi-Fi设备开启嗅探功能，WIFI模块所发出的无线广播信号进行设备的感知，记录用户的访问行为和轨迹，通过手机MAC地址所采集用户线下行为轨迹；

步骤三：上传上网场所资料：路由铺设时，上传路由铺设的场所详细地理位置、场所名称、门牌照片、场所场景图片、地址、联系人、联系方式，将这些信息通过app上传至后台系统，后台系统将临时创建商户维一标识；

步骤四：后台系统的建立：

(4.1)、后台系统通过铺设的路由上报的心跳信息与商户信息匹配，将两者建立隶属关系；

(4.2)、后台系统管理人员对步骤三中上传的商户信息进行信息准确性核对及编辑；

步骤五：上传路由器采集数据：将步骤二中采集到的上网浏览数据以及设备相关信息上传到云端服务器；

步骤六：数据的挖掘分析与聚合：

百米大数据系统根据步骤五及其它数据来源，再结合步骤三中的数据进行数据来源归类、数据收集、数据组织、数据转化/存储、模型构建、数据分析、预测处理并大量使用机器学习与人工智能算法对庞大的观测数据进行挖掘分析与聚合；根据分析聚合后的用户数据，结合场所业态、区域属性数据为用户标注所属标签形成完整的用户画像,并存储于数据库中；所述数据库采用开源的面向列的分布式数据库；

步骤七：建立数据集市供各应用场景使用：数据组织过程中对数据进行解析、清洗、重构，并填补缺失值；然后对通过数据准备的非结构化、半结构化的数据处理成机器语言或索引；将结构化数据进行数据过滤，最后进行数据抽取，将数据融合形成一个新数据集提供给各应用场景系统。