CN111026801A - 一种辅助保险类电商运营快速决策工作的方法及系统 - Google Patents

一种辅助保险类电商运营快速决策工作的方法及系统 Download PDF

Info

Publication number
CN111026801A
CN111026801A CN201911356640.5A CN201911356640A CN111026801A CN 111026801 A CN111026801 A CN 111026801A CN 201911356640 A CN201911356640 A CN 201911356640A CN 111026801 A CN111026801 A CN 111026801A
Authority
CN
China
Prior art keywords
data
product
time
module
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201911356640.5A
Other languages
English (en)
Inventor
尹雯雯
吴苛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Focus Technology Co Ltd
Original Assignee
Focus Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Focus Technology Co Ltd filed Critical Focus Technology Co Ltd
Priority to CN201911356640.5A priority Critical patent/CN111026801A/zh
Publication of CN111026801A publication Critical patent/CN111026801A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/08—Insurance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Probability & Statistics with Applications (AREA)
  • Game Theory and Decision Science (AREA)
  • Technology Law (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

本发明公开了一种辅助保险类电商运营快速决策的方法，包括：步骤1、收集源数据并通过ETL存储在ods层中，所述源数据包括实时数据源和离线数据源；步骤2、对ods层数据进行规整化处理，建设dw层的事实表数据仓库模型；步骤3、设计dw层的公共维表，计算离线指标和实时指标，具体为：根据离线指标和实时指标的计算规则设计dw层公共维表层，进一步由dw层事实表和公共维度表关联，计算得到数据集市表；步骤4、将上述步骤3得到的数据集市表载入FineBI，设计前端展示的仪表盘。达到不仅能对用户行为进行深入分析，为企业挖掘产品快速增长极契机，也能让运营、产品人人加入分析平台，提升营销决策效率的效果。

Description

一种辅助保险类电商运营快速决策工作的方法及系统
技术领域
本发明涉及保险类电子商务领域，特别是涉及一种辅助保险类电商运营快速决策工作的方法及系统。
背景技术
随着大数据技术的成熟，互联网+数字化经营成为电商行业的经营趋势，一方面，运营决策的好坏直接影响ROI的转化。另一方面，同行竞争以及用户消费行为的多样化很难保证让精心准备的运营策划活动带来更好的效益。所以，非常需要一种能辅助运营快速决策的方法及系统，尤其是也适用于保险类电商平台。
目前市场有成熟的运营分析系统工具，类似神策智能运营、GrowingIO、诸葛io等，但是由于业务的更新迭代以及个性化定制需求的存在，工具不能满足全部的运营决策需求，研发的痛点是怎样快速提升实时性计算，满足运营的决策效率和速度；运营的痛点是怎样轻松衡量营销活动带来的用户新增、活跃、转化等。
一个良好的数据仓库架构，在各个业务系统的元数据通过ETL同步到操作性数据仓库ODS后，要对ODS数据要进行面向主题域建模形成dw层数据仓库，dw层包含面向业务和分析的事实表以及公共维度表。数据集市层是针对某一个业务领域建立模型，具体用户(决策层)查看数据集市层生成的报表。
FineBI是帆软推出的一款商业智能产品，Spider引擎支持大数据计算，跨数据源整合，协助企业及时调整策略做出更好的决策，增强企业的可持续竞争性。
发明内容
本发明所要解决的技术问题是克服现有技术的不足，提供一种辅助保险类电商运营快速决策工作的方法及系统。
为解决上述技术问题，本发明提供一种保险类电商辅助运营快速决策工作的方法，其特征在于，包括如下步骤：
步骤1、收集源数据并通过ETL存储在ods层中，所述源数据包括实时数据源和离线数据源；
步骤2、对ods层数据进行规整化处理，建设dw层的事实表数据仓库模型；
步骤3、设计dw层的公共维表，计算离线指标和实时指标，具体为：根据离线指标和实时指标的计算规则设计dw层公共维表层，由dw层事实表和公共维度表关联，计算得到数据集市表；
步骤4、将上述步骤3得到的数据集市表载入FineBI，设计前端展示的仪表盘。
所述步骤1中，所述源数据包括网站日志数据、网站客户数据和网站产品数据，所述网站日志数据包含WEB端、WAP端和APP端用户访问日志数据；所述网站客户数据包含会员基础信息和交易数据；所述网站产品数据包含保险产品上架及下架信息；具体步骤如下：
步骤1-1、所述网站日志数据直接接入flog实时日志后，通过流式计算实时数据源统计实时指标，导入Oracle数据库作为离线指标，通过离线计算离线数据源统计离线指标；
步骤1-2、网站客户数据和网站产品数据导入数据库ods层后，ETL存储过程用增量方式抽取数据，并且将kettle的执行调度频次改为5分钟收取一次业务库数据。
所述步骤2中，对ods层数据进行规整化处理，建设dw层的事实表数据仓库模型，具体步骤如下：
步骤2-1、对进入数据库dw层的数据表进行规范化处理，具体为,将网站日志数据的WEB端、WAP端和APP端日志合并为一个日志表dw_xyz_probe_all_agg_d，处理粒度为：每日、平台、会员ID、cookie、是否为活动专题页面、页面名称、产品id、产品名称、险种名称、访问PV、停留时长；对网站日志数据的实时指标，接入flog实时日志，Flink同时消费不止一个topic中的数据，指定每个分区的offset用以确定消费数据的位置,指定Checkpoint的模式用以确定数据的一次性语义,设置Restart的参数用以指定重启策略；
步骤2-2、对于网站客户数据和网站产品数据，将业务表从ods层下沉到dw层，具体为：所述dw层划分出四个业务域：会员注册域，会员登录域，会员交易域和产品属性域，对进入数据库的ods层的数据表，经清洗数据后，下沉dw层。
所述步骤3中，设计dw层的公共维表层，具体步骤如下：
步骤3-1、处理公共维表层，具体为，将公共维表层划分五个域：产品域、时间域、修饰词域、会员来源域和订单来源域。所述产品域用于存放产品基础信息，所述产品基础信息包括保险商品对应的基础产品ID、包装产品ID、险种目录和产品名称。所述时间域用于存放时间日历信息，所述时间日历信息包括年、月、季度和周。所述修饰词域用于存放修饰词表，所述修饰词表的时限包括当前日期的上一周、当前日期的前7天、当前日期的上一月和当前日期的前30天，所述修饰词表的时限用于计算周期性快照指标，具体为：建立自定义函数f_ope_staff_getdate，返回当前日期所需要的表table(f_ope_staff_getdate(sysdate))；所述会员域用于存放会员来源信息dim_xyz_ope_staff_src_code。所述订单来源域用于存放订单产生平台信息dim_xyz_ope_staff_order_code；
步骤3-2、计算离线指标和实时指标，基于步骤2-1设计的日志dw_xyz_probe_all_agg_d计算日志KPI，所述日志KPI的内容包括：访问PV、访问UV和平均访问时长；基于dw层的会员注册域，会员登录域，会员交易域和产品属性域，计算交易KPI、会员KPI和产品画像，所述交易KPI的内容包括：订单交易、产品交易、买家数、收藏数、分享数、新老买家和用户重购，所述会员KPI的内容包括：新增会员和活跃会员，所述产品画像的内容包括：适用职业、性别、年龄段、平台偏好和险种偏好；具体为：
步骤3-2-1、所述离线指标中，所述交易KPI的内容包括：当前时间、最近7天、APP端、新增会员、活跃会员、订单交易、访问PV、访问UV、平均访问时长和用户重购；所述会员KPI的内容包括：当前时间、最近7天、APP端、产品、访问PV、访问UV、平均访问时长、买家数、收藏数、分享数、客单价、支付转化、新老买家；所述产品画像的内容包括：每日，APP端，新会员收益、积分消费、邀请注册和购买、订单交易和活动专题页面访问；
离线指标计算完成后，所有数据集市表都包括的表结构为：统计日期、统计周期、平台类型、指标名称、指标值；
步骤3-2-2、针对实时指标部分，将新增会员，新增订单、新增订单金额及新增访问指标实时化计算，计算方式是将多端实时日志整合计算并实时存储到数据库中。
所述步骤4中，设计FineBI前端展现具体为：
步骤4-1、FineBI环境准备，具体为：通过小管理员权限进行数据库连接，导入DB数据表，建立自主数据集，发布目录。
步骤4-2、DB数据导入，非直连表直接选择对应数据库用户下的DB表，直连表写为SQL语句。自主数据集按照FineBI展示机制具体为：对DB数据按照页面展示建立自助数据集和筛选框自助维度数据集；所述筛选框自助维度数据集用作页面筛选按钮，所述筛选框自助维度数据集的内容包括：“自助_周期类型：修饰词类型维表”、“自助_时间维表：数值型日期，日期型日期”、“自助_平台类型：APP，WAP，PC、小程序、微信公众号”、“自助_产品维表：包装产品ID，基础产品ID、产品名称、品种”和“自助_险种维表：险种名称”；
步骤4-3、仪表盘页面设计，web架构的前端报表工具通过拖拽做出报表；
步骤4-4、发布，开放目录权限。
所述步骤1-2中，所述增量方式抽取数据具体为：把目标ods表的最大update_time时间取出记为update_time_max，与业务库表的update_time作比较，若业务库表的update_time大于等于update_time_max,取出数据插入到临时temp表；根据主键唯一标识，删除ods表相同主键值；将temp表数据插入到目标ods表，完成ods库的数据插入。
一种辅助保险类电商运营快速决策工作的系统，其特征在于：包括依次相连的数据源模块、数据预处理模块和FineBI数据展示模块；所述数据源模块用于向后续模块提供数据；所述数据源模块中包括访问日志模块和业务系统模块，所述访问日志模块用于用户行为记录，所述业务系统模块用于存储订单交易信息、客户信息和产品信息；所述数据处理模块用于进行离线和实时两种计算方式的数据处理，所述FineBI数据展示模块用于生成运营系统，包括相连的展示数据预处理模块和页面开发模块，所述页面开发模块包括数据看板模块、产品概览模块、产品明细模块、新品分析模块和历史明细模块，所述展示数据预处理模块用于为数据展示做准备，包括导入DB表和开发自助数据集；所述数据看板模块用于按照平台、统计周期观察新增会员、活跃会员、UV、访问时长、专题页趋势、交易订单趋势、新会员收益趋势、积分消费趋势、邀请注册和购买趋势，用于将平台类型、统计周期类型作为参数跳转用户重购分析页面。所述产品概览模块用于按照平台类型、统计周期类型观察某个产品UV、PV、访问时长、支付买家数、支付保费金额、产品收藏数、收藏分享数、访问明细、险种访问明细、险种买家数明细、险种新老买家数明细；用于将平台类型、统计周期类型作为参数跳转用户重购分析页面，用于将平台类型、统计周期类型、险种名称作为参数跳转险种指标周同比分析。所述产品明细模块用于按照平台类型、统计周期类型观察所有产品UV、PV、访问时长、支付买家数、支付保费金额、产品收藏数、收藏分享数、访问明细；可将平台类型、统计周期类型作为参数跳转用户重购分析页面。可将平台类型、统计周期类型、产品ID作为参数跳转单品分析KPI、单品增加支付、客单以及产品画像模块。所述新品分析模块用于按照平台类型、统计周期类型观察新上架产品的UV、PV、访问时长、支付买家数、支付保费金额、产品收藏数、收藏分享数和访问明细；所述历史明细模块用于按照平台类型查看各个指标历史至今的情况。
本发明所达到的有益效果:
1.辅助运营进行快速决策，满足个性化需求，帮助运营快速了解市场和客户，细分客户群体，营造更好的营销环境.
2.发现用户痛点，挖掘增长契机，提升活跃留存。
附图说明
图1为本发明的示例性实施例的方法流程示意图；
图2为本发明的示例性实施例中的系统结构示意图。
具体实施方式
下面结合附图和示例性实施例对本发明作进一步的说明：
如图1所示的一种辅助保险类电商运营快速决策的方法，包括如下步骤：
步骤1、收集源数据并通过ETL存储在ods层中，所述源数据包括实时数据源和离线数据源；
步骤2、对ods层数据进行规整化处理，建设dw层的事实表数据仓库模型；
步骤3、设计dw层的公共维表，计算离线指标和实时指标，具体为：根据离线指标和实时指标的计算规则设计dw层公共维表层，进一步由dw层事实表和公共维度表关联，计算得到数据集市表；
步骤4、将上述步骤3得到的数据集市表载入FineBI，设计前端展示的仪表盘。
所述步骤1中，所述源数据包括网站日志数据、网站客户数据和网站产品数据，所述网站日志数据包含WEB、WAP(触屏)、APP端用户访问日志数据，包含访问时间，会话序列，访问先后步骤，访问页面，访问cookie，访问产品，访问来源，停留时长等信息。所述网站客户数据包含会员基础信息(性别、住址、账户积分等)，交易数据(订单数据、保单信息数据)。网站产品数据保险产品上架下架信息，产品险种信息，产品当前包装名称。电商平台网站日志数据、网站客户数据和网站产品数据都需要进行如下两个步骤：
步骤1-1、网站日志数据直接接入公司flog实时日志后，导入Oracle数据库作为离线指标计算数离线据源；所述网站日志数据直接接入公司flog实时日志后，进行流计算统计实时指标，不必再导入Oracle数据库。
步骤1-2、网站客户数据和网站产品数据导入数据库ods层后，根据离线指标与实时指标计算的需要，对ETL存储过程改为增量方式抽取数据，并且将kettle的执行调度频次提高，可改为5分钟收取一次业务库数据。
增量方式抽取数据具体为：先把目标ods表的最大update_time时间取出记为update_time_max，与业务库表的update_time作比较，若业务库表的update_time>＝update_time_max,取出数据插入到临时temp表；根据主键唯一标识，删除ods表相同主键值；再将temp表数据插入到目标ods表，完成ods库的数据插入。
所述步骤2中，要对进行数据规整化处理，搭建底层数据仓库模型：主要是针对进入数据库的数据表进行规范化处理。
步骤2-1、对进入数据库dw层的数据表进行规范化处理，具体为,将网站日志数据的三端日志合并为一个日志表dw_xyz_probe_all_agg_d，处理粒度为：每日、平台、会员ID、cookie、是否为活动专题页面、页面名称、产品id、产品名称、险种名称、访问PV、停留时长；由于访问流量是到时间秒的，因此可以按天汇总要求和，即sum(PV)和sum(停留时长)；对网站日志数据的实时指标，直接接入公司现有的flog实时日志，Flink同时消费不止一个topic中的数据，通过指定每个分区的offset来确定消费数据的位置,通过指定Checkpoint的模式来保证数据的一次性语义,通过设置Restart的参数指定重启策略。
步骤2-2、对于网站客户数据和网站产品数据，将业务表从ods层处理到dw层，具体分为四个业务域：会员注册域，会员登录域，会员交易域、产品属性域。对进入数据库的ods层的数据表，根据需求规则清洗数据，下沉dw层；
步骤3、基于步骤2，分别计算离线指标和实时指标，具体步骤如下：
步骤3-1、处理公共维表层，具体为，将公共维表层划分五个域：产品域、时间域、修饰词域、会员来源域、订单来源域；所述产品域用于存放产品基础信息，所述产品基础信息包括保险商品对应的基础产品ID、包装产品ID、险种目录和产品名称；所述时间域用于存放时间日历信息，所述时间日历信息包括年、月、季度和周；所述修饰词域用于存放修饰词表，所述修饰词表的时限包括最近一周(当前日期的上一周)、最近7天(当前日期的前7天)、最近30天(当前日期的前30天)和最近一个月(当前日期的上一月)，用于为计算周期性快照指标做准备，具体操作方式是建立自定义函数f_ope_staff_getdate，返回当前日期所需要的表table(f_ope_staff_getdate(sysdate))；所述会员域用于存放会员来源信息dim_xyz_ope_staff_src_code；所述订单来源域用于存放订单产生平台信息dim_xyz_ope_staff_order_code。
步骤3-2、基于步骤2设计的底层日志表dw_xyz_probe_all_agg_d计算日志KPI(访
问PV，访问UV，平均访问时长)。基于dw层四个业务域，计算交易KPI(订单交易、产品交易、买家数、收藏数、分享数、新老买家、用户重购)、会员KPI(新增会员、活跃会员)、产品画像(适用职业、性别、年龄段、平台偏好、险种偏好等)；具体为：
步骤3-2-1、针对离线指标的计算，结合步骤3-1与步骤3-2，计算出包括当前时间，最近7天，APP端，新增会员、活跃会员、订单交易、访问PV，访问UV，平均访问时长、用户重购指标的交易KPI指标；计算出包括当前时间，最近7天，APP端，户外运动人身意外伤害保险经济款产品，访问PV，访问UV，平均访问时长、买家数、收藏数、分享数、客单价、支付转化、新老买家的会员KPI指标；计算出包括每日、APP端、新会员收益、积分消费(会员积分进行订单抵扣和礼物兑换)、邀请注册和购买(邀请他人注册购买可获得积分)、订单交易、活动专题页面访问的产品画像。
指标计算完成后，所有集市表都有相似的表结构：统计日期，统计周期，平台类型，
指标名称，指标值。用户登入FineBI系统后，将可以快速切换关注的周期，平台，产品，获取数据速度更加便捷。用户也可以切换分析页面，获取历史至今的所有KPI数据。
步骤3-2-2、针对实时指标部分，将新增会员，新增订单、新增订单金额及新增访问指标实时化计算，计算方式是将多端实时日志整合计算并实时存储到数据库中。
步骤4、FineBI前端展现设计，因为FineBI是web架构，所以设计流程需要如下操作：
步骤4-1、FineBI环境准备，需要小管理员权限，可以进行数据库连接、导入DB数
据表，建立自主数据集，发布目录。
步骤4-2、DB数据非直连导入，配置数据拉取方式(增量或者全量)，设置调度刷新频次，
实时数据需要SQL数据直连。对DB数据按照页面展示需要建立自助数据集和筛选框维度数据集。筛选框维度数据集包含：自助_周期类型(修饰词类型)、自助_时间维表(数值型日期，日期型日期)、自助_平台类型(APP，WAP，PC等)、自助_产品维表(包装产品ID，基础产品ID、产品名称、险种)、自助_险种维表(险种名称)。自助数据集基础操作：(1)当前日期的自助数据集(利用帆软内置动态传参操作：选择统计日期＝当前日期)；(2)上周同期的自助数据集(统计日期＝上周且当前日期的数据集)；(3)当前日期的自助数据集左关联上周同期的自助数据集形成需要自助数据集，例如：统计日期，平台类型，统计周期，当前PV，上周同期PV，当前周同比。这种计算方式，弥补FineBI前端文本框组件计算环比的不足。
步骤4-3、仪表盘页面设计：选择对应的自助数据集，拖拽字段，调整组件位置，设置数据联动、美化页面UI等制作。
步骤4-4、发布，开放目录权限。
如图2所示的一种辅助保险类电商运营快速决策工作的系统的结构示意图，包括依次相连的数据源模块、数据预处理模块和FineBI数据展示模块；所述数据源模块中包括访问日志模块和业务系统模块；：
数据源模块，用于向后续模块提供数据；
访问日志模块(包含官网日志数据)：用于用户行为记录；
业务系统模块(包含网站客户数据、网站产品数据)：用于存储保险电商订单交易信息、客户信息、产品信息；
数据处理模块，用于将进行离线和实时两种计算方式，数据处理规则见实施例流程，步骤1至步骤3；
所述FineBI数据展示模块用于生成运营系统，包括相连的展示数据预处理模块和页面开发模块，
FineBI数据预处理模块：用于为数据展示做准备，包括导入DB表、开发自助数据集；
页面开发模块包含：数据看板模块、产品概览模块、产品明细模块、新品分析模块、历史明细模块，页面内之间数据联动，页面间设置参数跳转；
数据看板模块：可按照平台类型，统计周期类型观察新增会员、活跃会员、UV、访问时长、专题页趋势、交易订单趋势、新会员收益趋势、积分消费趋势、邀请注册和购买趋势；可将平台类型，统计周期类型作为参数跳转用户重购分析页面；
产品概览模块：可按照平台类型，统计周期类型观察某个产品UV、PV、访问时长、支付买家数、支付保费金额、产品收藏数、收藏分享数、访问明细、险种访问明细、险种买家数明细、险种新老买家数明细；可将平台类型，统计周期类型作为参数跳转用户重购分析页面；可将平台类型，统计周期类型、险种名称作为参数跳转险种指标周同比分析；
产品明细模块：可按照平台类型，统计周期类型观察所有产品UV、PV、访问时长、支付买家数、支付保费金额、产品收藏数、收藏分享数、访问明细；可将平台类型，统计周期类型作为参数跳转用户重购分析页面。可将平台、统计周期(修饰词类型)、产品作为参数跳转单品分析页面，单品增加支付、客单以及产品画像模块；
新品分析模块：可按照平台类型，统计周期类型观察某个新上架产品UV、PV、访问时长、支付买家数、支付保费金额、产品收藏数、收藏分享数、访问明细；该页面直接看出公司新投放产品的受欢迎程度；
历史明细模块：可按照平台类型，查看各个指标历史至今每天的情况。这个可供运营查看历史数据，分析历史至今的行为趋势，作为营销策略的辅助数据。
本发明主要用于提供一种辅助保险类电商运营快速决策的方法及系统，不仅能对用户行为进行深入分析，为企业挖掘产品快速增长极契机，也能让运营、产品人人加入分析平台，提升营销决策效率。
以上实施例不以任何方式限定本发明，凡是对以上实施例以等效变换方式做出的其它改进与应用，都属于本发明的保护范围。

Claims (7)

1.一种辅助保险类电商运营快速决策工作的方法，其特征在于，包括如下步骤：
步骤1、收集源数据并通过ETL存储在ods层中，所述源数据包括实时数据源和离线数据源；
步骤2、对ods层数据进行规整化处理，建设dw层的事实表数据仓库模型；
步骤3、设计dw层的公共维表，计算离线指标和实时指标，具体为：根据离线指标和实时指标的计算规则设计dw层公共维表层，由dw层事实表和公共维度表关联，计算得到数据集市表；
步骤4、将上述步骤3得到的数据集市表载入FineBI，设计前端展示的仪表盘。
2.如权利要求1所述的一种辅助保险类电商运营快速决策工作的方法，其特征在于：所述步骤1中，所述源数据包括网站日志数据、网站客户数据和网站产品数据，所述网站日志数据包含WEB端、WAP端和APP端用户访问日志数据；所述网站客户数据包含会员基础信息和交易数据；所述网站产品数据包含保险产品上架及下架信息；具体步骤如下：
步骤1-1、所述网站日志数据直接接入flog实时日志后，通过流式计算实时数据源统计实时指标，导入Oracle数据库作为离线指标，通过离线计算离线数据源统计离线指标；
步骤1-2、网站客户数据和网站产品数据导入数据库ods层后，ETL存储过程用增量方式抽取数据，并且将kettle的执行调度频次改为5分钟收取一次业务库数据。
3.如权利要求2所述的一种辅助保险类电商运营快速决策工作的方法，其特征在于：所述步骤2中，对ods层数据进行规整化处理，建设dw层的事实表数据仓库模型，具体步骤如下：
步骤2-1、对进入数据库dw层的数据表进行规范化处理，具体为,将网站日志数据的WEB端、WAP端和APP端日志合并为一个日志表dw_xyz_probe_all_agg_d，处理粒度为：每日、平台、会员ID、cookie、是否为活动专题页面、页面名称、产品id、产品名称、险种名称、访问PV、停留时长；对网站日志数据的实时指标，接入flog实时日志，Flink同时消费不止一个topic中的数据，指定每个分区的offset用以确定消费数据的位置,指定Checkpoint的模式用以确定数据的一次性语义,设置Restart的参数用以指定重启策略；
步骤2-2、对于网站客户数据和网站产品数据，将业务表从ods层下沉到dw层，具体为：所述dw层划分出四个业务域：会员注册域，会员登录域，会员交易域和产品属性域，对进入数据库的ods层的数据表，经清洗数据后，下沉dw层。
4.如权利要求3所述的一种辅助保险类电商运营快速决策工作的方法，其特征在于：所述步骤3中，设计dw层的公共维表层，具体步骤如下：
步骤3-1、处理公共维表层，具体为，将公共维表层划分五个域：产品域、时间域、修饰词域、会员来源域和订单来源域；所述产品域用于存放产品基础信息，所述产品基础信息包括保险商品对应的基础产品ID、包装产品ID、险种目录和产品名称；所述时间域用于存放时间日历信息，所述时间日历信息包括年、月、季度和周；所述修饰词域用于存放修饰词表，所述修饰词表的时限包括当前日期的上一周、当前日期的前7天、当前日期的上一月和当前日期的前30天，所述修饰词表的时限用于计算周期性快照指标，具体为：建立自定义函数f_ope_staff_getdate，返回当前日期所需要的表table(f_ope_staff_getdate(sysdate))；所述会员域用于存放会员来源信息dim_xyz_ope_staff_src_code；所述订单来源域用于存放订单产生平台信息dim_xyz_ope_staff_order_code；
步骤3-2、计算离线指标和实时指标，基于步骤2-1设计的日志dw_xyz_probe_all_agg_d计算日志KPI，所述日志KPI的内容包括：访问PV、访问UV和平均访问时长；基于dw层的会员注册域，会员登录域，会员交易域和产品属性域，计算交易KPI、会员KPI和产品画像，所述交易KPI的内容包括：订单交易、产品交易、买家数、收藏数、分享数、新老买家和用户重购，所述会员KPI的内容包括：新增会员和活跃会员，所述产品画像的内容包括：适用职业、性别、年龄段、平台偏好和险种偏好；具体为：
步骤3-2-1、所述离线指标中，所述交易KPI的内容包括：当前时间、最近7天、APP端、新增会员、活跃会员、订单交易、访问PV、访问UV、平均访问时长和用户重购；所述会员KPI的内容包括：当前时间、最近7天、APP端、产品、访问PV、访问UV、平均访问时长、买家数、收藏数、分享数、客单价、支付转化、新老买家；所述产品画像的内容包括：每日，APP端，新会员收益、积分消费、邀请注册和购买、订单交易和活动专题页面访问；
离线指标计算完成后，所有数据集市表都包括的表结构为：统计日期、统计周期、平台类型、指标名称、指标值；
步骤3-2-2、针对实时指标部分，将新增会员，新增订单、新增订单金额及新增访问指标实时化计算，计算方式是将多端实时日志整合计算并实时存储到数据库中。
5.如权利要求4所述的一种辅助保险类电商运营快速决策工作的方法，其特征在于，所述步骤4中，设计FineBI前端展现具体为：
步骤4-1、FineBI环境准备，具体为：通过小管理员权限进行数据库连接，导入DB数据表，建立自主数据集，发布目录；
步骤4-2、DB数据导入，非直连表直接选择对应数据库用户下的DB表，直连表写为SQL语句；自主数据集按照FineBI展示机制具体为：对DB数据按照页面展示建立自助数据集和筛选框自助维度数据集；所述筛选框自助维度数据集用作页面筛选按钮，所述筛选框自助维度数据集的内容包括：“自助_周期类型：修饰词类型维表”、“自助_时间维表：数值型日期，日期型日期”、“自助_平台类型：APP，WAP，PC、小程序、微信公众号”、“自助_产品维表：包装产品ID，基础产品ID、产品名称、品种”和“自助_险种维表：险种名称”；
步骤4-3、仪表盘页面设计，web架构的前端报表工具通过拖拽做出报表；
步骤4-4、发布，开放目录权限。
6.如权利要求5所述的一种辅助保险类电商运营快速决策工作的方法，其特征在于，所述步骤1-2中，所述增量方式抽取数据具体为：把目标ods表的最大update_time时间取出记为update_time_max，与业务库表的update_time作比较，若业务库表的update_time大于等于update_time_max,取出数据插入到临时temp表；根据主键唯一标识，删除ods表相同主键值；将temp表数据插入到目标ods表，完成ods库的数据插入。
7.一种根据权利要求1-6之一所述方法进行的保险类电商辅助运营快速决策工作的系统，其特征在于：包括依次相连的数据源模块、数据预处理模块和FineBI数据展示模块；所述数据源模块用于向后续模块提供数据；所述数据源模块中包括访问日志模块和业务系统模块，所述访问日志模块用于用户行为记录，所述业务系统模块用于存储订单交易信息、客户信息和产品信息；所述数据处理模块用于进行离线和实时两种计算方式的数据处理，所述FineBI数据展示模块用于生成运营系统，包括相连的展示数据预处理模块和页面开发模块，所述页面开发模块包括数据看板模块、产品概览模块、产品明细模块、新品分析模块和历史明细模块，所述展示数据预处理模块用于为数据展示做准备，包括导入DB表和开发自助数据集；所述数据看板模块用于按照平台、统计周期观察新增会员、活跃会员、UV、访问时长、专题页趋势、交易订单趋势、新会员收益趋势、积分消费趋势、邀请注册和购买趋势，用于将平台类型、统计周期类型作为参数跳转用户重购分析页面；所述产品概览模块用于按照平台类型、统计周期类型观察某个产品UV、PV、访问时长、支付买家数、支付保费金额、产品收藏数、收藏分享数、访问明细、险种访问明细、险种买家数明细、险种新老买家数明细；用于将平台类型、统计周期类型作为参数跳转用户重购分析页面，用于将平台类型、统计周期类型、险种名称作为参数跳转险种指标周同比分析；所述产品明细模块用于按照平台类型、统计周期类型观察所有产品UV、PV、访问时长、支付买家数、支付保费金额、产品收藏数、收藏分享数、访问明细；可将平台类型、统计周期类型作为参数跳转用户重购分析页面；可将平台类型、统计周期类型、产品ID作为参数跳转单品分析KPI、单品增加支付、客单以及产品画像模块；所述新品分析模块用于按照平台类型、统计周期类型观察新上架产品的UV、PV、访问时长、支付买家数、支付保费金额、产品收藏数、收藏分享数和访问明细；所述历史明细模块用于按照平台类型查看各个指标历史至今的情况。
CN201911356640.5A 2019-12-25 2019-12-25 一种辅助保险类电商运营快速决策工作的方法及系统 Withdrawn CN111026801A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911356640.5A CN111026801A (zh) 2019-12-25 2019-12-25 一种辅助保险类电商运营快速决策工作的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911356640.5A CN111026801A (zh) 2019-12-25 2019-12-25 一种辅助保险类电商运营快速决策工作的方法及系统

Publications (1)

Publication Number Publication Date
CN111026801A true CN111026801A (zh) 2020-04-17

Family

ID=70213185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911356640.5A Withdrawn CN111026801A (zh) 2019-12-25 2019-12-25 一种辅助保险类电商运营快速决策工作的方法及系统

Country Status (1)

Country Link
CN (1) CN111026801A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767267A (zh) * 2020-06-18 2020-10-13 杭州数梦工场科技有限公司 元数据处理方法、装置、电子设备
CN112084182A (zh) * 2020-09-10 2020-12-15 重庆富民银行股份有限公司 一种用于数据集市和数据仓库的数据建模方法
CN112418941A (zh) * 2020-11-26 2021-02-26 欧冶云商股份有限公司 一种基于实时流的资源人气计算方法、系统及存储介质
CN112507029A (zh) * 2020-12-18 2021-03-16 上海哔哩哔哩科技有限公司 数据处理系统及数据实时处理方法
CN113344714A (zh) * 2021-05-27 2021-09-03 北京优全智汇信息技术有限公司 保险行业专用客户管理分析系统及其分析方法
CN116188078A (zh) * 2023-02-06 2023-05-30 北京高阳捷迅信息技术有限公司 营销活动的指标体系构建方法、装置、存储介质及服务器
CN116823464A (zh) * 2023-06-06 2023-09-29 海通期货股份有限公司 数据资产管理平台、电子设备及计算机可读存储介质
CN111767267B (zh) * 2020-06-18 2024-05-10 杭州数梦工场科技有限公司 元数据处理方法、装置、电子设备

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111767267A (zh) * 2020-06-18 2020-10-13 杭州数梦工场科技有限公司 元数据处理方法、装置、电子设备
CN111767267B (zh) * 2020-06-18 2024-05-10 杭州数梦工场科技有限公司 元数据处理方法、装置、电子设备
CN112084182A (zh) * 2020-09-10 2020-12-15 重庆富民银行股份有限公司 一种用于数据集市和数据仓库的数据建模方法
CN112418941A (zh) * 2020-11-26 2021-02-26 欧冶云商股份有限公司 一种基于实时流的资源人气计算方法、系统及存储介质
CN112507029A (zh) * 2020-12-18 2021-03-16 上海哔哩哔哩科技有限公司 数据处理系统及数据实时处理方法
CN113344714A (zh) * 2021-05-27 2021-09-03 北京优全智汇信息技术有限公司 保险行业专用客户管理分析系统及其分析方法
CN116188078A (zh) * 2023-02-06 2023-05-30 北京高阳捷迅信息技术有限公司 营销活动的指标体系构建方法、装置、存储介质及服务器
CN116823464A (zh) * 2023-06-06 2023-09-29 海通期货股份有限公司 数据资产管理平台、电子设备及计算机可读存储介质
CN116823464B (zh) * 2023-06-06 2024-03-26 海通期货股份有限公司 数据资产管理平台、电子设备及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN111026801A (zh) 一种辅助保险类电商运营快速决策工作的方法及系统
Ahlemeyer-Stubbe et al. A practical guide to data mining for business and industry
Ballard et al. Data modeling techniques for data warehousing
Rasmussen et al. Business dashboards: a visual catalog for design and deployment
Khan et al. Business intelligence: an integrated approach
Li et al. A MIDAS modelling framework for Chinese inflation index forecast incorporating Google search data
Corr et al. Agile data warehouse design: Collaborative dimensional modeling, from whiteboard to star schema
US20050055289A1 (en) Multi-dimensional business information accounting software engine
CN108388955A (zh) 基于随机森林和逻辑回归的客户服务策略制定方法、装置
CN101706926A (zh) 一种卷烟消费信息调查及处理方法
CN111737338A (zh) 一种基于大数据画像闭环营销数据分析方法
Ahlemeyer-Stubbe et al. Monetizing Data: How to Uplift Your Business
Ahmed et al. Understanding the business value creation process for business intelligence tools in the UAE
Even et al. Economics-driven data management: An application to the design of tabular data sets
Smith Business and e-government intelligence for strategically leveraging information retrieval
Albano Decision support databases essentials
Prowle et al. Management accounting in the contemporary business world
Rumondor et al. Designing an Online Analytical Processing (OLAP) for Project Feasibility Study in Siau Tagulandang Biaro District
Gupta et al. A Review of Data Warehousing and Business Intelligence in different perspective
CN110442794B (zh) 一种分析师画像系统的构建方法
Bondarenko et al. Special features of corporate budget planning: contemporary approach
US20120233115A1 (en) Real-time document management system and method
Granebring et al. Service‐oriented architecture is a driver for daily decision support
Wang et al. Visual analysis of e-commerce user behavior based on log mining
Gerry Poverty in employment: a political economy of petty commodity production in Dakar, Senegal

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200417

WW01 Invention patent application withdrawn after publication